JP6862905B2 - Image processing equipment and programs - Google Patents
Image processing equipment and programs Download PDFInfo
- Publication number
- JP6862905B2 JP6862905B2 JP2017032855A JP2017032855A JP6862905B2 JP 6862905 B2 JP6862905 B2 JP 6862905B2 JP 2017032855 A JP2017032855 A JP 2017032855A JP 2017032855 A JP2017032855 A JP 2017032855A JP 6862905 B2 JP6862905 B2 JP 6862905B2
- Authority
- JP
- Japan
- Prior art keywords
- parameter
- moving image
- determination
- event
- occurred
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Analysis (AREA)
Description
本発明は、画像処理装置およびプログラムに関する。 The present invention relates to an image processing apparatus and a program.
従来、撮像装置によって撮像された動画像に基づいて、撮像された動画像（撮像動画像）に所定の事象が生じているか否かを判定する技術が知られている。例えば、撮像動画像に写る被写体の動きを検出し、被写体の動きと所定のパラメータとを比較することによって、撮像動画像に所定の事象が生じているか否かを判定する技術が知られている（例えば、特許文献１参照）。かかる技術においては、撮像装置の設置場所、および、１秒あたりの撮像フレーム数に従って、パラメータが選択される。 Conventionally, there is known a technique for determining whether or not a predetermined event has occurred in an captured moving image (imaging moving image) based on a moving image captured by an imaging device. For example, there is known a technique of detecting the movement of a subject in a captured moving image and comparing the movement of the subject with a predetermined parameter to determine whether or not a predetermined event has occurred in the captured moving image. (See, for example, Patent Document 1). In such a technique, parameters are selected according to the installation location of the imaging device and the number of imaging frames per second.
しかしながら、撮像装置によって撮像された動画像に所定の事象が生じているか否かをより高精度に判定することを可能とする技術が提供されることが望まれる。例えば、パラメータの特定をより適切に行うことによって、より適切に特定したパラメータに基づいて、動画像に所定の事象が生じているか否かをより高精度に判定することを可能とする技術が提供されることが望まれる。 However, it is desired to provide a technique capable of more accurately determining whether or not a predetermined event has occurred in a moving image captured by an imaging device. For example, there is provided a technique capable of more accurately determining whether or not a predetermined event has occurred in a moving image based on the more appropriately specified parameters by more appropriately specifying the parameters. It is hoped that it will be done.
上記問題を解決するために、本発明のある観点によれば、先頭から末尾まで昇順または降順に並べられた複数通りの候補パラメータと入力動画像とを取得するデータ取得部と、前記複数通りの候補パラメータの先頭から順に用いて、前記入力動画像に所定の事象が生じているか否かを、少なくとも判定結果が変化するまで繰り返し判定し、前記判定結果が変化する候補パラメータに基づいて、撮像動画像に前記事象が生じているか否かを判定するための判定用パラメータを特定するパラメータ特定部と、を備える、画像処理装置が提供される。 In order to solve the above problem, according to a certain viewpoint of the present invention, a data acquisition unit for acquiring a plurality of candidate parameters arranged in ascending or descending order from the beginning to the end and an input moving image, and the plurality of methods. Using the candidate parameters in order from the beginning, it is repeatedly determined whether or not a predetermined event has occurred in the input moving image until at least the determination result changes, and the captured moving image is based on the candidate parameter in which the determination result changes. An image processing apparatus is provided that includes a parameter specifying unit that specifies a determination parameter for determining whether or not the event has occurred in the image.
前記パラメータ特定部は、前記データ取得部によって前記事象が生じていない前記入力動画像が取得された場合、前記入力動画像に前記事象が生じていると判定しなくなった候補パラメータ、または、前記入力動画像に前記事象が生じていると判定し始めた候補パラメータの一つ前の候補パラメータを、前記判定用パラメータとして特定し、前記データ取得部によって前記事象が生じている前記入力動画像が取得された場合、前記入力動画像に前記事象が生じていると判定しなくなった候補パラメータの一つ前の候補パラメータ、または、前記入力動画像に前記事象が生じていると判定し始めた候補パラメータを、前記判定用パラメータとして特定してよい。 The parameter specifying unit is a candidate parameter or a candidate parameter that does not determine that the event has occurred in the input moving image when the input moving image in which the event has not occurred is acquired by the data acquisition unit. The candidate parameter immediately before the candidate parameter that has begun to determine that the event has occurred in the input moving image is specified as the determination parameter, and the input in which the event has occurred by the data acquisition unit. When the moving image is acquired, it is determined that the event has occurred in the candidate parameter immediately before the candidate parameter that is no longer determined that the event has occurred in the input moving image, or in the input moving image. The candidate parameter that has begun to be determined may be specified as the determination parameter.
前記パラメータ特定部は、前記データ取得部によって前記事象が生じていない前記入力動画像が取得された場合、前記入力動画像に前記事象が生じていると判定しなくなった候補パラメータ、または、前記入力動画像に前記事象が生じていると判定し始めた候補パラメータの一つ前の候補パラメータを、前記判定用パラメータとして特定してよい。 The parameter specifying unit is a candidate parameter or a candidate parameter that does not determine that the event has occurred in the input moving image when the input moving image in which the event has not occurred is acquired by the data acquisition unit. The candidate parameter immediately before the candidate parameter that has begun to determine that the event has started to occur in the input moving image may be specified as the determination parameter.
前記パラメータ特定部は、前記データ取得部によって前記事象が生じていない前記入力動画像が取得された場合、前記入力動画像に前記事象が生じていると判定しなくなった候補パラメータを、前記判定用パラメータとして特定してよい。 When the input moving image in which the event has not occurred is acquired by the data acquisition unit, the parameter specifying unit selects a candidate parameter that is no longer determined to have caused the event in the input moving image. It may be specified as a judgment parameter.
前記パラメータ特定部は、前記データ取得部によって前記事象が生じていない前記入力動画像が取得された場合、前記入力動画像に前記事象が生じていると判定し始めた候補パラメータの一つ前の候補パラメータを、前記判定用パラメータとして特定してよい。 The parameter specifying unit is one of the candidate parameters that started to determine that the event has occurred in the input moving image when the input moving image in which the event has not occurred is acquired by the data acquisition unit. The previous candidate parameter may be specified as the determination parameter.
前記画像処理装置は、前記判定用パラメータを用いて、前記撮像動画像に前記事象が生じているか否かを判定する状態判定部を備えてよい。 The image processing device may include a state determination unit that determines whether or not the event has occurred in the captured moving image by using the determination parameter.
前記画像処理装置は、前記撮像動画像に前記事象が生じていると判定された場合、前記事象の検知結果の表示を制御する検知結果表示制御部を備えてよい。 The image processing device may include a detection result display control unit that controls the display of the detection result of the event when it is determined that the event has occurred in the captured moving image.
前記パラメータ特定部は、前記入力動画像に基づいて、第１の時間範囲におけるオプティカルフローの対応位置ごとの平均値を第１の平均特徴量として算出するとともに前記第１の時間範囲よりも短い第２の時間範囲におけるオプティカルフローの対応位置ごとの平均値を第２の平均特徴量として算出し、前記第１の平均特徴量と前記第２の平均特徴量とに応じた所定の演算結果と閾値との関係に基づいて、前記入力動画像に前記事象が生じているか否かを判定してよい。 Based on the input moving image, the parameter specifying unit calculates an average value for each corresponding position of the optical flow in the first time range as a first average feature amount, and is shorter than the first time range. The average value for each corresponding position of the optical flow in the time range of 2 is calculated as the second average feature amount, and a predetermined calculation result and threshold value corresponding to the first average feature amount and the second average feature amount. Based on the relationship with, it may be determined whether or not the event occurs in the input moving image.
前記判定用パラメータは、前記第１の時間範囲、前記第２の時間範囲、および、前記閾値の少なくともいずれか一つを含んでよい。 The determination parameter may include at least one of the first time range, the second time range, and the threshold value.
前記判定用パラメータは、前記オプティカルフローが算出される時間的な密度、および、前記オプティカルフローが算出される空間的な密度の少なくともいずれか一つを含んでよい。 The determination parameter may include at least one of the temporal density at which the optical flow is calculated and the spatial density at which the optical flow is calculated.
前記画像処理装置は、前記撮像動画像に基づいて検出されたオプティカルフローに応じた表示を制御するオプティカルフロー表示制御部と、前記判定用パラメータの変更操作が入力された場合、前記判定用パラメータを変更するパラメータ変更部と、を備えてよい。 The image processing device includes an optical flow display control unit that controls a display according to an optical flow detected based on the captured moving image, and a determination parameter when a change operation of the determination parameter is input. It may be provided with a parameter changing unit to be changed.
前記パラメータ特定部は、過去に使用されたパラメータが記録されている場合、前記過去に使用されたパラメータを用いて、前記入力動画像に前記過去に使用されたパラメータに対応する事象が生じているか否かを判定し、前記画像処理装置は、前記データ取得部によって前記事象が生じていない前記入力動画像が取得された場合かつ前記パラメータ特定部によって前記入力動画像に前記事象が生じていないと判定された場合、または、前記データ取得部によって前記事象が生じている前記入力動画像が取得された場合かつ前記パラメータ特定部によって前記入力動画像に前記事象が生じていると判定された場合、前記過去に使用されたパラメータおよび前記過去に使用されたパラメータに関連する情報のうち、少なくともいずれか一方の表示を制御するパラメータ情報表示制御部を備えてよい。 When the parameters used in the past are recorded, the parameter specifying unit uses the parameters used in the past to determine whether an event corresponding to the parameters used in the past has occurred in the input moving image. The image processing apparatus determines whether or not, and when the input moving image in which the event has not occurred is acquired by the data acquisition unit and the event has occurred in the input moving image by the parameter specifying unit. If it is determined that there is no such event, or if the input moving image in which the event occurs is acquired by the data acquisition unit and the parameter specifying unit determines that the event has occurred in the input moving image. If so, the parameter information display control unit that controls the display of at least one of the parameters used in the past and the information related to the parameters used in the past may be provided.
前記過去に使用されたパラメータに関連する情報は、前記過去に使用されたパラメータを用いて判定がなされた事象の種類、前記判定に使用された動画像を撮像した撮像装置による撮像距離、および、前記撮像装置の画角の少なくともいずれか一つを含んでよい。 Information related to the parameters used in the past includes the type of event determined using the parameters used in the past, the imaging distance by the imaging device that captured the moving image used in the determination, and It may include at least one of the angles of view of the image pickup apparatus.
前記パラメータ特定部は、前記過去に使用されたパラメータの選択操作が入力された場合、前記過去に使用されたパラメータを前記判定用パラメータとして特定してよい。 When the parameter selection operation used in the past is input, the parameter specifying unit may specify the parameter used in the past as the determination parameter.
前記パラメータ特定部は、前記入力動画像上に設けた領域ごとの前記事象に基づいて、前記領域ごとに前記判定用パラメータを特定してよい。 The parameter specifying unit may specify the determination parameter for each region based on the event for each region provided on the input moving image.
また、本発明の別の観点によれば、コンピュータを、先頭から末尾まで昇順または降順に並べられた複数通りの候補パラメータと入力動画像とを取得するデータ取得部と、前記複数通りの候補パラメータの先頭から順に用いて、前記入力動画像に所定の事象が生じているか否かを、少なくとも判定結果が変化するまで繰り返し判定し、前記判定結果が変化する候補パラメータに基づいて、撮像動画像に前記事象が生じているか否かを判定するための判定用パラメータを特定するパラメータ特定部と、を備える、画像処理装置として機能させるためのプログラムが提供される。 Further, according to another aspect of the present invention, a data acquisition unit for acquiring a plurality of candidate parameters and input moving images arranged in ascending or descending order from the beginning to the end of the computer, and the plurality of candidate parameters. Whether or not a predetermined event has occurred in the input moving image is repeatedly determined from the beginning of the above until at least the determination result changes, and the captured moving image is based on the candidate parameters in which the determination result changes. A program for functioning as an image processing device is provided, which includes a parameter specifying unit for specifying a determination parameter for determining whether or not the event has occurred.
以上説明したように本発明によれば、撮像装置によって撮像された動画像に所定の事象が生じているか否かをより高精度に判定することを可能とする技術が提供される。 As described above, according to the present invention, there is provided a technique capable of determining with higher accuracy whether or not a predetermined event has occurred in a moving image captured by an imaging device.
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the present specification and the drawings, components having substantially the same functional configuration are designated by the same reference numerals, so that duplicate description will be omitted.
また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合がある。ただし、実質的に同一の機能構成を有する複数の構成要素等の各々を特に区別する必要がない場合、同一符号のみを付する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、異なる実施形態の類似する構成要素等の各々を特に区別する必要がない場合、同一符号のみを付する。 Further, in the present specification and the drawings, a plurality of components having substantially the same functional configuration may be distinguished by adding different numbers after the same reference numerals. However, if it is not necessary to distinguish each of a plurality of components having substantially the same functional configuration, only the same reference numerals are given. Further, similar components of different embodiments may be distinguished by adding different alphabets after the same reference numerals. However, if it is not necessary to distinguish each of the similar components of different embodiments, only the same reference numerals are given.
（０．概要）
まず、本実施形態の概要について説明する。一般的に、撮像装置によって撮像された動画像に基づいて、撮像された動画像（撮像動画像）に所定の事象が生じているか否かを判定する技術が知られている。例えば、撮像動画像に写る被写体の動きを検出し、被写体の動きと所定のパラメータとを比較することによって、撮像動画像に所定の事象が生じているか否かを判定する技術が知られている（例えば、特許文献１参照）。かかる技術においては、撮像装置の設置場所、および、１秒あたりの撮像フレーム数に従って、パラメータが選択される。
(0. Overview)
First, the outline of the present embodiment will be described. Generally, there is known a technique for determining whether or not a predetermined event has occurred in a captured moving image (captured moving image) based on a moving image captured by an imaging device. For example, there is known a technique of detecting the movement of a subject in a captured moving image and comparing the movement of the subject with a predetermined parameter to determine whether or not a predetermined event has occurred in the captured moving image. (See, for example, Patent Document 1). In such a technique, parameters are selected according to the installation location of the imaging device and the number of imaging frames per second.
しかし、本明細書においては、撮像装置によって撮像された動画像に所定の事象が生じているか否かをより高精度に判定することを可能とする技術について主に説明する。例えば、特許文献１に記載された技術においては、試行錯誤しながらパラメータを特定する必要があるため、パラメータの特定に手間が掛かってしまう。本明細書においては、パラメータの特定をより適切に行うことによって、より適切に特定したパラメータに基づいて、動画像に所定の事象が生じているか否かをより高精度に判定することを可能とする技術について主に説明する。
However, in the present specification, a technique that makes it possible to determine with higher accuracy whether or not a predetermined event has occurred in a moving image captured by an imaging device will be mainly described. For example, in the technique described in
以上、本実施形態の背景について説明した。 The background of this embodiment has been described above.
（１．第１の実施形態）
続いて、第１の実施形態について説明する。
(1. First Embodiment)
Subsequently, the first embodiment will be described.
［１−１．システムの概要］
まず、第１の実施形態に係る画像処理システムの構成例について説明する。
[1-1. System overview]
First, a configuration example of the image processing system according to the first embodiment will be described.
図１は、第１の実施形態に係る画像処理システムの構成例を示す図である。図１に示すように、第１の実施形態に係る画像処理システム１Ａは、画像処理装置１０Ａと、撮像装置３０とを備える。なお、後に説明する第２の実施形態に係る画像処理システム１Ｂは、画像処理装置１０Ａの代わりに画像処理装置１０Ｂを備え、第３の実施形態に係る画像処理システム１Ｃは、画像処理装置１０Ａの代わりに画像処理装置１０Ｃを備え、第４の実施形態に係る画像処理システム１Ｄは、画像処理装置１０Ａの代わりに画像処理装置１０Ｄを備える。
FIG. 1 is a diagram showing a configuration example of an image processing system according to the first embodiment. As shown in FIG. 1, the
図１に示すように、画像処理装置１０Ａおよび撮像装置３０は、有線または無線により通信を行うことが可能である。例えば、画像処理装置１０Ａおよび撮像装置３０は、直接接続されていてもよいし、ネットワークを介して接続されていてもよい。画像処理装置１０Ａおよび撮像装置３０がネットワークを介して接続されている場合、かかるネットワークの種類は特に限定されない。例えば、かかるネットワークは、インターネットを含んでいてよい。あるいは、撮像装置３０は、画像処理装置１０Ａと別体ではなく、一体化されていてもよい。
As shown in FIG. 1, the
撮像装置３０は、検出対象領域を含んだ撮像範囲を連続的に撮像して動画像を得る。ここで、撮像装置３０が設置される位置は限定されない。また、検出対象領域は、撮像範囲の全体であってもよいし、一部であってもよい。なお、本明細書においては、撮像装置３０が固定カメラである場合を主に想定する。しかし、撮像装置３０は可動カメラであってもよい。例えば、撮像装置３０は、ＰＴＺ（パン・チルト・ズーム）カメラであってもよい。撮像装置３０によって撮像された動画像は、画像処理装置１０Ａに提供される。
The
画像処理装置１０Ａは、撮像装置３０から提供された動画像を取得する。そして、画像処理装置１０Ａは、撮像装置３０から提供された動画像に基づいて、動画像に所定の事象が生じているか否かを判定する。所定の事象は特に限定されない。本明細書においては、所定の事象の例として、車両走行ルートの変化（例えば、避走など）を主に想定する。しかし、所定の事象は、他の車両走行ルートの変化（例えば、逆走など）であってもよい。
The
あるいは、所定の事象は、車両走行ルートの変化以外の何らかの変化（例えば、正常時に規則的な動きを示すものが、異常時に示す規則に反した動きなど）であってもよい。例えば、車両走行ルートの変化は、ベルトコンベア上を搬送される物品の動きの変化に置き換えられてもよいし、人々の流れ（例えば、初詣に参拝する人々の流れなど）の変化に置き換えられてもよい。あるいは、所定の事象は、何らかの自然現象（例えば、土石流、落下物、がけ崩れ、津波、噴火など）であってもよい。なお、以下の説明においては、動画像に所定の事象が生じている状態を「動画像に異常が生じている」や「動画像が異常である」などとも言い、所定の事象が生じている状態の動画像を「異常が生じている動画像」などとも言う。また動画像に所定の事象が生じていない状態を「動画像に異常が生じていない」や「動画像が正常である」などとも言い、所定の事象が生じていない状態の動画像を「異常が生じていない動画像（正常な動画像）」などとも言う。 Alternatively, the predetermined event may be some change other than the change of the vehicle traveling route (for example, a movement showing a regular movement in the normal state violates the rule shown in the abnormal time). For example, changes in the vehicle travel route may be replaced by changes in the movement of goods transported on the conveyor belt, or by changes in the flow of people (for example, the flow of people worshiping at the first visit). May be good. Alternatively, the predetermined event may be some natural phenomenon (eg, debris flow, falling objects, landslides, tsunamis, eruptions, etc.). In the following description, the state in which a predetermined event occurs in the moving image is also referred to as "an abnormality has occurred in the moving image" or "an abnormality has occurred in the moving image", and the predetermined event has occurred. The moving image of the state is also called "moving image in which an abnormality occurs". In addition, the state in which a predetermined event does not occur in the moving image is also called "no abnormality has occurred in the moving image" or "the moving image is normal", and the moving image in the state in which the predetermined event has not occurred is "abnormal". It is also called "moving image without occurrence (normal moving image)".
このとき、画像処理装置１０Ａは、動画像に所定の事象が生じているか否かを判定するための判定用パラメータを特定する。画像処理装置１０Ａは、判定用パラメータを用いて、動画像に所定の事象が生じているか否かを判定する。また、画像処理装置１０Ａは、所定の事象が生じている領域を検知結果として出力することが可能である。なお、画像処理装置１０Ａによる判定の詳細については、後に詳細に説明する。
At this time, the
なお、図１に示した例では、画像処理装置１０Ａおよび撮像装置３０がそれぞれ一つずつ存在する。しかし、画像処理装置１０Ａおよび撮像装置３０は、それらのいずれか一方が複数存在してもよいし、それらの双方それぞれが複数ずつ存在してもよい。すなわち、画像処理装置１０Ａおよび撮像装置３０それぞれの数は特に限定されない。
In the example shown in FIG. 1, there is one
以上、第１の実施形態に係る画像処理システム１Ａの構成例について説明した。
The configuration example of the
［１−２．画像処理装置の機能構成例］
続いて、第１の実施形態に係る画像処理装置１０Ａの機能構成例について説明する。図２は、第１の実施形態に係る画像処理装置１０Ａの機能構成例を示すブロック図である。図２に示すように、第１の実施形態に係る画像処理装置１０Ａは、制御部１１０Ａ、操作部１２０、通信部１３０、記憶部１４０および表示部１５０を備える。
[1-2. Function configuration example of image processing device]
Subsequently, a functional configuration example of the
制御部１１０Ａは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などを含み、記憶部１４０により記憶されているプログラムがＣＰＵによりＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）に展開されて実行されることにより、その機能が実現され得る。このとき、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。あるいは、制御部１１０Ａは、専用のハードウェアにより構成されていてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。
The
操作部１２０は、ユーザから入力される操作を受け付ける。また、操作部１２０は、ユーザから受け付けた操作を制御部１１０Ａに提供することが可能である。本明細書においては、操作部１２０がタッチパネルである場合を主に想定するが、操作部１２０はタッチパネル以外の入力装置（例えば、ボタンなど）であってもよい。
The
通信部１３０は、撮像装置３０との間で通信を行うための通信インタフェースである。上記したように、本明細書においては、通信部１３０が有線による通信を行う場合を主に想定するが、通信部１３０は、無線による通信を行ってもよい。
The
記憶部１４０は、制御部１１０Ａを動作させるためのプログラムおよびデータを記憶することが可能な記憶装置である。また、記憶部１４０は、制御部１１０Ａの動作の過程で必要となる各種データを一時的に記憶することもできる。例えば、記憶装置は、不揮発性の記憶装置であってよい。
The
表示部１５０は、制御部１１０Ａによる制御に従って出力を行う機能を有する。例えば、表示部１５０は、制御部１１０Ａによる検知結果を出力することが可能である。ここで、表示部１５０の形態は特に限定されない。例えば、表示部１５０は、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置、ランプなどの表示装置であってよい。
The
なお、図２に示した例では、操作部１２０、通信部１３０、記憶部１４０および表示部１５０が、画像処理装置１０Ａの内部に設けられている。しかし、これらの機能部の一部または全部は、画像処理装置１０Ａの外部に設けられていてもよい。ここで、制御部１１０Ａは、データ取得部１１１、パラメータ特定部１１２Ａ、状態判定部１１３および検知結果表示制御部１１４を備える。制御部１１０Ａが備えるこれらの各機能部の詳細については、後に説明する。
In the example shown in FIG. 2, the
以上、第１の実施形態に係る画像処理装置１０Ａの機能構成例について説明した。
The functional configuration example of the
［１−３．機能詳細］
続いて、画像処理システム１Ａの機能詳細について説明する。まず、撮像装置３０によって撮像された動画像（撮像動画像）に所定の事象が生じているか否かを判定する手法の例として、動画像に車両走行ルートの変化（例えば、避走など）が発生したか否かを判定する例を説明する。しかし、上記したように、動画像に所定の事象が生じているか否かの判定は、動画像に車両走行ルートの変化（例えば、避走など）が発生したか否かの判定に限定されない。
[1-3. detail of function]
Subsequently, the functional details of the
図３は、車両走行ルートの変化が時系列に沿って撮像装置３０によって撮像された複数の画像の例を示す図である。図３を参照すると、撮像装置３０によって時系列に沿って撮像された複数の画像の例が示されている。より具体的には、時刻の古いほうから順に、時刻Ｔ２１において画像Ｇ２１が撮像され、時刻Ｔ２２において画像Ｇ２２が撮像され、時刻Ｔ２３において画像Ｇ２３が撮像され、時刻Ｔ２４において画像Ｇ２４が撮像されている。
FIG. 3 is a diagram showing an example of a plurality of images in which changes in the vehicle traveling route are captured by the
ここでは、検出対象領域が画像の全体領域である場合を例として主に説明する。しかし、検出対象領域は、画像の全体領域に限定されない。例えば、検出対象領域は、画像の一部の領域であってもよい。図３を参照すると、画像Ｇ２１には、規則的な動きを示す車両が写っている。一方、画像Ｇ２２には、土砂Ｋ２によって道路の一部が塞がれてしまったために、その土砂Ｋ２を避けるように走行する車両の動きが不規則になっている様子が写っている。画像Ｇ２３および画像Ｇ２４にも、不規則な動きを示す車両が写っている。 Here, a case where the detection target area is the entire area of the image will be mainly described as an example. However, the detection target area is not limited to the entire area of the image. For example, the detection target area may be a part of the image. Referring to FIG. 3, image G21 shows a vehicle showing regular movement. On the other hand, the image G22 shows that a part of the road is blocked by the earth and sand K2, so that the movement of the vehicle traveling so as to avoid the earth and sand K2 is irregular. Images G23 and G24 also show vehicles showing irregular movements.
なお、図３に示した画像Ｇ２１〜Ｇ２４は、撮像装置３０によって撮像された動画像の一部に過ぎない。したがって、画像Ｇ２１〜Ｇ２４の間（具体的には、画像Ｇ２１と画像Ｇ２２との間、画像Ｇ２２と画像Ｇ２３との間、画像Ｇ２３と画像Ｇ２４との間）には、撮像装置３０によって撮像された他の画像が存在する。撮像装置３０によって動画像が撮像されると、撮像装置３０によって撮像された動画像は、撮像動画像として画像処理装置１０Ａに提供される。
The images G21 to G24 shown in FIG. 3 are only a part of the moving image captured by the
画像処理装置１０Ａにおいては、通信部１３０が撮像動画像を受信すると、データ取得部１１１が撮像動画像を取得する。状態判定部１１３は、データ取得部１１１によって取得された撮像動画像に異常が生じているか否かを判定する。なお、本明細書においては、状態判定部１１３が、パラメータ特定部１１２Ａによって特定された判定用パラメータを用いて、撮像動画像に異常が生じているか否かを判定する場合を想定する。パラメータ特定部１１２Ａによる判定用パラメータの特定については、後に詳細に説明する。
In the
図４は、状態判定部１１３の機能を説明するための図である。図４を参照すると、通信部１３０によって受信された撮像動画像Ｇ２の例が示されている。撮像動画像Ｇ２には、図３に示した画像Ｇ２１〜Ｇ２４も含まれている。図４に示した例においては、撮像動画像Ｇ２に含まれる複数の画像のうち、撮像時刻が新しい画像ほど右側に示されている。状態判定部１１３は、図４に示すように、撮像動画像Ｇ２のうち、隣接する２つの画像間の動きベクトルをそれぞれ画素ごとに算出することによって、オプティカルフローを検出する。図４には、画素ごとの動きベクトル（オプティカルフロー）の時系列に沿った集合が、動き情報群Ｍ２として示されている。
FIG. 4 is a diagram for explaining the function of the
画像処理装置１０Ａにおいて、状態判定部１１３は、第１の時間範囲ｔ２１における動きベクトル（オプティカルフロー）の対応位置ごとの平均値を第１の平均特徴量として算出する。以下では、第１の平均特徴量を「長時間動き平均ベクトル」とも言う。なお、動き平均ベクトルは、動きベクトル（数式１）を用いて、以下の（数式２）のように表現され得る。
In the
図４を参照すると、長時間動き平均ベクトルＶ２１が示されている。ここで、図面の簡便さのため、図４には、長時間動き平均ベクトルＶ２１として、一部の画素における動き平均ベクトルしか示されていない。しかし、本明細書においては、長時間動き平均ベクトルＶ２１が、第１の時間範囲ｔ２１において対応する画素ごとに算出された動きベクトルの平均値である場合を想定する。 With reference to FIG. 4, a long-time motion average vector V21 is shown. Here, for the sake of simplicity of drawing, FIG. 4 shows only the motion average vector in some pixels as the long-time motion average vector V21. However, in the present specification, it is assumed that the long-time motion average vector V21 is the average value of the motion vectors calculated for each corresponding pixel in the first time range t21.
一方、状態判定部１１３は、第１の時間範囲ｔ２１よりも短い第２の時間範囲ｔ２３における動きベクトル（オプティカルフロー）の対応位置ごとの平均値を第２の平均特徴量として算出する。以下では、第２の平均特徴量を「短時間動き平均ベクトル」とも言う。
On the other hand, the
図４を参照すると、短時間動き平均ベクトルＶ２３が示されている。ここで、図面の簡便さのため、図４には、短時間動き平均ベクトルＶ２３として、一部の画素における動き平均ベクトルしか示されていない。しかし、本明細書においては、短時間動き平均ベクトルＶ２３が、第２の時間範囲ｔ２３において対応する画素ごとに算出された動きベクトルの平均値である場合を想定する。 With reference to FIG. 4, the short-time motion average vector V23 is shown. Here, for the sake of simplicity of drawing, FIG. 4 shows only the motion average vector in some pixels as the short-time motion average vector V23. However, in the present specification, it is assumed that the short-time motion average vector V23 is the average value of the motion vectors calculated for each corresponding pixel in the second time range t23.
図４を参照すると、第１の時間範囲ｔ２１と第２の時間範囲ｔ２３とが異なるため、長時間動き平均ベクトルＶ２１と短時間動き平均ベクトルＶ２３との間には、差分が生じている。さらに、画像に何らかのノイズが含まれていたとしても、そのノイズの大部分は平均化によって相殺されてしまう。そのため、短時間動き平均ベクトルＶ２３にはノイズがほとんど含まれなくなり、撮像動画像Ｇ２に異常が生じているか否かがより高精度に判定される。 Referring to FIG. 4, since the first time range t21 and the second time range t23 are different, there is a difference between the long-time motion average vector V21 and the short-time motion average vector V23. Moreover, even if the image contains some noise, most of the noise is offset by the averaging. Therefore, the short-time motion average vector V23 contains almost no noise, and it is determined with higher accuracy whether or not an abnormality has occurred in the captured moving image G2.
なお、図４には、第１の時間範囲ｔ２１および第２の時間範囲ｔ２３の終了時点が現在（すなわち、最新の画像が撮像された時点）である例が示されている。しかし、第１の時間範囲ｔ２１および第２の時間範囲ｔ２３の終了時点は、厳密に現在でなくてもよい（すなわち、最新の画像よりも前の画像が撮像された時点）であってもよい。また、第１の時間範囲ｔ２１および第２の時間範囲ｔ２３は、厳密に一致していなくてもよい。すなわち、第１の時間範囲ｔ２１および第２の時間範囲ｔ２３の終了時点は、ずれていてもよい。 Note that FIG. 4 shows an example in which the end points of the first time range t21 and the second time range t23 are the present (that is, the time when the latest image is captured). However, the end point of the first time range t21 and the second time range t23 does not have to be exactly the present (that is, the time when the image before the latest image is captured). .. Further, the first time range t21 and the second time range t23 do not have to be exactly the same. That is, the end points of the first time range t21 and the second time range t23 may be different from each other.
状態判定部１１３は、長時間動き平均ベクトルＶ２１と短時間動き平均ベクトルＶ２３とに応じた所定の演算結果と閾値との関係に基づいて、撮像動画像Ｇ２に異常が生じているか否かを判定する。例えば、状態判定部１１３は、所定の演算結果が閾値を超える画素が存在する場合に、撮像動画像Ｇ２に異常が生じていると判定する。一方、状態判定部１１３は、所定の演算結果が閾値を超える画素が存在しない場合に、撮像動画像Ｇ２に異常が生じていないと判定する。
The
ここで、長時間動き平均ベクトルＶ２１と短時間動き平均ベクトルＶ２３とに応じた所定の演算は特に限定されない。例えば、所定の演算は、長時間動き平均ベクトルＶ２１と短時間動き平均ベクトルＶ２３との間の角度（以下、「両ベクトルの間の角度」とも言う。）に応じた量、および、長時間動き平均ベクトルＶ２１と短時間動き平均ベクトルＶ２３との差分（以下、「差分ベクトル」とも言う。）の大きさに応じた量のうち、少なくともいずれか一つの演算を含んでもよい。 Here, the predetermined calculation according to the long-time motion average vector V21 and the short-time motion average vector V23 is not particularly limited. For example, a predetermined operation is an amount corresponding to an angle between the long-time motion average vector V21 and the short-time motion average vector V23 (hereinafter, also referred to as “angle between both vectors”), and a long-term motion. At least one of the operations according to the magnitude of the difference between the average vector V21 and the short-time motion average vector V23 (hereinafter, also referred to as “difference vector”) may be included.
ここで、両ベクトルの間の角度に応じた量は、角度の平均値であってもよいし、角度の分散であってもよい。また、差分ベクトルの大きさに応じた量は、差分ベクトルの大きさの平均値（または合計値）であってもよいし、差分ベクトルの大きさの変化量（例えば、差分ベクトルの大きさの時間による一階微分など）の平均値（または合計値）であってもよいし、差分ベクトルの大きさが所定の大きさを上回る領域（以下、「動き領域」とも言う。）の面積であってもよい。 Here, the amount depending on the angle between the two vectors may be the average value of the angles or the variance of the angles. Further, the amount according to the size of the difference vector may be the average value (or the total value) of the size of the difference vector, or the amount of change in the size of the difference vector (for example, the size of the difference vector). It may be the average value (or total value) of the first-order differential with time, etc., or the area of the region where the magnitude of the difference vector exceeds a predetermined magnitude (hereinafter, also referred to as "movement region"). You may.
上記したように、本例では、車両走行ルートの変化が異常として判定される場合を想定している。ここで、車両走行ルートの変化などといった規則に反した動きが発生した場合には、動きの方向が変化することが想定される。そこで、規則に反した動きの発生が異常として判定される場合、状態判定部１１３による所定の演算は、長時間動き平均ベクトルＶ２１と短時間動き平均ベクトルＶ２３との間の角度に応じた量の演算であるのがよい。
As described above, in this example, it is assumed that the change in the vehicle traveling route is determined as abnormal. Here, when a movement contrary to a rule such as a change in the vehicle traveling route occurs, it is assumed that the direction of the movement changes. Therefore, when it is determined that the occurrence of movement contrary to the rule is abnormal, the predetermined calculation by the
本例では、状態判定部１１３による所定の演算が、両ベクトルの間の角度の分散の演算である場合を例として主に説明する。ここで、動きベクトルは、（数３）のように表現され、動き平均ベクトル（長時間動き平均ベクトルＶ２１および短時間動き平均ベクトルＶ２３それぞれ）は、（数４）のように表現され、長時間動き平均ベクトルＶ２１と短時間動き平均ベクトルＶ２３との間の角度の平均値は、（数５）のように表現され、両ベクトルの間の角度の分散は、（数式６）のように表現される。
In this example, the case where the predetermined calculation by the
状態判定部１１３は、所定の演算に基づいて得られた結果（この例では、両ベクトルの間の角度の分散）が閾値を超える画素が存在する場合に、撮像動画像Ｇ２に異常が生じていると判定する。一方、状態判定部１１３は、所定の演算に基づいて得られた結果（この例では、両ベクトルの間の角度の分散）が閾値を超える画素が存在しない場合に、撮像動画像Ｇ２に異常が生じていないと判定する。
The
以上においては、状態判定部１１３による所定の演算が、長時間動き平均ベクトルＶ２１と短時間動き平均ベクトルＶ２３との間の角度に応じた量の演算である場合を主に説明した。しかし、上記したように、土石流の発生が異常として判定される場合も想定される。ここで、土石流などといった自然現象が発生した場合には、撮像動画像Ｇ２における動きの大きさが変化することが想定される。そこで、自然現象の発生が異常として判定される場合、状態判定部１１３による所定の演算は、差分ベクトルの大きさに応じた量の演算であるのがよい。
In the above, the case where the predetermined calculation by the
ここでは、差分ベクトルの大きさに応じた量の演算として、差分ベクトルの大きさの平均値の演算である場合を例として主に説明する。ここで、長時間動き平均ベクトルＶ２１、短時間動き平均ベクトルＶ２３および差分ベクトルの大きさの平均値は、（数式７）のように表現される。 Here, as the calculation of the quantity according to the size of the difference vector, the case where the calculation is the average value of the size of the difference vector will be mainly described as an example. Here, the average values of the magnitudes of the long-time motion average vector V21, the short-time motion average vector V23, and the difference vector are expressed as (Formula 7).
以上において、状態判定部１１３が、撮像動画像に異常が生じているか否かを判定する例を説明した。上記したように、状態判定部１１３は、パラメータ特定部１１２Ａによって特定された判定用パラメータを用いて、撮像動画像に異常が生じているか否かを判定する。ここで、判定用パラメータとしては、様々なパラメータが想定される。以下では、判定用パラメータの例について説明する。
In the above, an example in which the
図５は、判定用パラメータの例を示す図である。図５に示すように、判定用パラメータの種類としては、上記した第１の時間範囲ｔ２１、上記した第２の時間範囲ｔ２３、（上記した演算結果と比較される）閾値などが想定される。また、図５に示すように、判定用パラメータの種類としては、密度などが想定される。密度は、オプティカルフローが算出される時間的な密度（例えば、１フレームごと、３フレームごとなど）であってもよいし、オプティカルフローが算出される空間的な密度（例えば、１画素ごと、３画素ごとなど）であってもよい。 FIG. 5 is a diagram showing an example of determination parameters. As shown in FIG. 5, as the type of the determination parameter, the above-mentioned first time range t21, the above-mentioned second time range t23, the threshold value (compared with the above-mentioned calculation result), and the like are assumed. Further, as shown in FIG. 5, the type of the determination parameter is assumed to be density or the like. The density may be the temporal density at which the optical flow is calculated (eg, every 1 frame, every 3 frames, etc.), or the spatial density at which the optical flow is calculated (eg, every pixel, 3). It may be pixel by pixel, etc.).
かかる判定用パラメータの値が変化した場合、異常が生じているという判定のされやすさは変化することが想定される。以下では、異常が生じているという判定がされやすいことを「異常判定の条件」が「緩い」とも言う。一方、異常が生じているという判定がされにくいことを「異常判定の条件」が「厳しい」とも言う。 When the value of the determination parameter changes, it is assumed that the ease with which it is determined that an abnormality has occurred changes. In the following, it is also referred to that the "condition for determining an abnormality" is "loose" because it is easy to determine that an abnormality has occurred. On the other hand, it is also said that the "condition for determining an abnormality" is "strict" because it is difficult to determine that an abnormality has occurred.
例えば、図５に示すように、判定用パラメータが第１の時間範囲ｔ２１である場合、判定用パラメータの値が大きいほど、（第１の時間範囲ｔ２１と第２の時間範囲ｔ２３との差が大きくなりやすくなり、上記の演算結果が閾値を超えやすくなるため）異常判定の条件は厳しくなることが想定される。一方、図５に示すように、判定用パラメータが第２の時間範囲ｔ２３である場合、判定用パラメータの値が小さいほど、（第１の時間範囲ｔ２１と第２の時間範囲ｔ２３との差が大きくなりやすくなり、上記の演算結果が閾値を超えやすくなるため）異常判定の条件は厳しくなることが想定される。 For example, as shown in FIG. 5, when the determination parameter is the first time range t21, the larger the value of the determination parameter, the greater the difference between (the difference between the first time range t21 and the second time range t23). It is expected that the conditions for determining an abnormality will become stricter (because the above calculation result tends to exceed the threshold value). On the other hand, as shown in FIG. 5, when the determination parameter is the second time range t23, the smaller the value of the determination parameter, the greater the difference between the first time range t21 and the second time range t23. It is expected that the conditions for determining an abnormality will become stricter (because the above calculation result tends to exceed the threshold value).
また、図５に示すように、判定用パラメータが閾値である場合、判定用パラメータの値が小さいほど、（上記の演算結果が閾値を超えやすくなるため）異常判定の条件は厳しくなることが想定される。一方、図５に示すように、判定用パラメータが密度である場合、判定用パラメータの値が大きいほど、（上記の長時間動き平均ベクトルと上記の短時間動き平均ベクトルとの差が大きくなりやすくなり、上記の演算結果が閾値を超えやすくなるため）異常判定の条件は厳しくなることが想定される。 Further, as shown in FIG. 5, when the determination parameter is a threshold value, it is assumed that the smaller the value of the determination parameter, the stricter the condition for abnormality determination (because the above calculation result tends to exceed the threshold value). Will be done. On the other hand, as shown in FIG. 5, when the determination parameter is density, the larger the value of the determination parameter, the larger the difference between the above-mentioned long-time movement average vector and the above-mentioned short-time movement average vector. Therefore, it is expected that the conditions for determining an abnormality will be strict (because the above calculation result tends to exceed the threshold value).
以下では、パラメータ特定部１１２Ａが、これらの判定用パラメータの一つを特定する例を説明する。しかし、パラメータ特定部１１２Ａは、これらの判定用パラメータのいずれか二つ以上を特定してもよい。かかる場合には、パラメータ特定部１１２Ａは、これらの判定用パラメータのいずれか二つ以上のそれぞれをどのようにして特定してもよい。一例として、パラメータ特定部１１２Ａは、これらの判定用パラメータのいずれか二つ以上のそれぞれを独立的に特定してもよい。
Hereinafter, an example in which the
図６は、判定用パラメータを特定する手法の第１の例を説明するための図である。まず、記憶部１４０によって、先頭から末尾まで異常判定の条件が厳しい順に並べられた複数通りの候補パラメータがあらかじめ記憶されている。例えば、異常判定の条件が厳しい順とは、第１の時間範囲ｔ２１および密度であれば、大きい順（すなわち、降順）に相当し、第２の時間範囲ｔ２３および閾値であれば、小さい順（すなわち、昇順）に相当する。候補パラメータは、判定用パラメータの候補に相当する。また、ここでは、複数通りの候補パラメータの例として、異常判定の条件が厳しい順に並べられた候補パラメータＰ１〜Ｐ４が用いられる場合を想定する。しかし、候補パラメータの数は４つに限定されず、複数であればよい。
FIG. 6 is a diagram for explaining a first example of a method for specifying a determination parameter. First, the
データ取得部１１１は、記憶部１４０によって記憶されている候補パラメータＰ１〜Ｐ４を取得する。また、データ取得部１１１は、判定用パラメータを特定するための入力動画像を取得する。なお、本明細書においては、判定用パラメータを特定するための入力動画像と、状態判定部１１３によって異常が生じているか否かが判定される撮像動画像とにおいて、撮像対象領域が同じである場合を主に想定する。すなわち、判定用パラメータを特定するための入力動画像も、撮像装置３０によって撮像されて画像処理装置１０Ａに提供される場合を主に想定する。しかし、判定用パラメータを特定するための入力動画像と、状態判定部１１３によって異常が生じているか否かが判定される撮像動画像とにおいて、撮像対象領域は異なっていてもよい。このとき、判定用パラメータを特定するための入力動画像は、あらかじめ記憶部１４０によって記憶されていてもよい。
The
図６に示した例では、入力動画像に異常が生じていないこと（正常であること）が確認されている。入力動画像に異常が生じていないことは、どのように確認されてもよい。例えば、入力動画像に異常が生じていないことは入力動画像が撮像されるときに人によって確認されてもよい。あるいは、入力動画像に異常が生じていないことは、あらかじめ記憶部１４０によって記憶された入力動画像が再生されて表示されたときに人によって確認されてもよい。
In the example shown in FIG. 6, it is confirmed that no abnormality has occurred in the input moving image (it is normal). It may be confirmed in any way that no abnormality has occurred in the input moving image. For example, it may be confirmed by a person when the input moving image is imaged that no abnormality has occurred in the input moving image. Alternatively, it may be confirmed by a person that no abnormality has occurred in the input moving image when the input moving image stored in advance by the
パラメータ特定部１１２Ａは、候補パラメータＰ１〜Ｐ４の先頭から順に用いて、入力動画像に異常が生じているか否かを、少なくとも判定結果が変化するまで繰り返し判定する。そして、パラメータ特定部１１２Ａは、判定結果が変化する候補パラメータに基づいて、判定用パラメータを特定する。かかる構成によれば、状態判定部１１３によって誤判定される可能性を低減しつつ、異常判定の条件が緩すぎないような判定用パラメータを特定することが可能となる。したがって、かかる構成によれば、撮像動画像に異常が生じているか否かをより高精度に判定することが可能となる。
The
図６に示した例では、パラメータ特定部１１２Ａは、先頭の候補パラメータＰ１を用いて、入力動画像に異常が生じているか否かを判定し、判定結果「異常」を得ている。続いて、パラメータ特定部１１２Ａは、続く候補パラメータＰ２を用いて、入力動画像に異常が生じているか否かを判定し、判定結果「異常」を得ている。したがって、候補パラメータＰ２においては、判定結果が「変化なし」である。
In the example shown in FIG. 6, the
続いて、パラメータ特定部１１２Ａは、続く候補パラメータＰ３を用いて、入力動画像に異常が生じているか否かを判定し、判定結果「正常」を得ている。したがって、候補パラメータＰ３においては、判定結果が「変化あり」である。そこで、パラメータ特定部１１２Ａは、判定結果が変化する候補パラメータＰ３に基づいて、判定用パラメータを特定する。
Subsequently, the
図６に示した例では、データ取得部１１１によって異常が生じていない入力動画像が取得されているため、パラメータ特定部１１２Ａは、判定結果が変化する候補パラメータ（すなわち、入力動画像に対して異常と判定しなくなった候補パラメータ）Ｐ３を、判定用パラメータとして特定している。かかる構成によれば、状態判定部１１３によって誤判定される可能性を低減しつつ、異常判定の条件が緩すぎないような判定用パラメータを特定することが可能となる。
In the example shown in FIG. 6, since the input moving image in which no abnormality has occurred is acquired by the
さらに、異常が生じている入力動画像をあらかじめ用意するのが困難な場合も想定される。しかし、図６に示した例のように、異常が生じていない入力動画像を用いて判定用パラメータが特定されれば、異常が生じている入力動画像をあらかじめ用意する必要がなくなる。また、図６に示した例のように、異常判定の条件が厳しい順に候補パラメータを用いた判定を行うことによって、異常が生じている画素が検出された時点で次の候補パラメータを用いた判定に処理が移行されるため、処理時間が低減される。 Further, it may be difficult to prepare an input moving image in which an abnormality has occurred in advance. However, as in the example shown in FIG. 6, if the determination parameter is specified using the input moving image in which the abnormality has not occurred, it is not necessary to prepare the input moving image in which the abnormality has occurred in advance. Further, as in the example shown in FIG. 6, by performing the determination using the candidate parameters in the order of stricter abnormality determination conditions, the determination using the next candidate parameter is performed when the pixel in which the abnormality occurs is detected. Since the processing is transferred to, the processing time is reduced.
図７は、判定用パラメータを特定する手法の第２の例を説明するための図である。ここでは、記憶部１４０によって、先頭から末尾まで異常判定の条件が緩い順に並べられた複数通りの候補パラメータがあらかじめ記憶されている。例えば、異常判定の条件が緩い順とは、第１の時間範囲ｔ２１および密度であれば、小さい順（すなわち、昇順）に相当し、第２の時間範囲ｔ２３および閾値であれば、大きい順（すなわち、降順）に相当する。ここでは、複数通りの候補パラメータの例として、異常判定の条件が緩い順に並べられた候補パラメータＰ４〜Ｐ１が用いられる場合を想定する。
FIG. 7 is a diagram for explaining a second example of the method of specifying the determination parameter. Here, the
データ取得部１１１は、記憶部１４０によって記憶されている候補パラメータＰ４〜Ｐ１を取得する。また、データ取得部１１１は、判定用パラメータを特定するための入力動画像を取得する。図７に示した例では、入力動画像に異常が生じていないこと（正常であること）が確認されている。
The
パラメータ特定部１１２Ａは、候補パラメータＰ４〜Ｐ１の先頭から順に用いて、入力動画像に異常が生じているか否かを、少なくとも判定結果が変化するまで繰り返し判定する。そして、パラメータ特定部１１２Ａは、判定結果が変化する候補パラメータに基づいて、判定用パラメータを特定する。かかる構成によれば、状態判定部１１３によって誤判定される可能性を低減しつつ、異常判定の条件が緩すぎないような判定用パラメータを特定することが可能となる。したがって、かかる構成によれば、撮像動画像に異常が生じているか否かをより高精度に判定することが可能となる。
The
図７に示した例では、パラメータ特定部１１２Ａは、先頭の候補パラメータＰ４を用いて、入力動画像に異常が生じているか否かを判定し、判定結果「正常」を得ている。続いて、パラメータ特定部１１２Ａは、続く候補パラメータＰ３を用いて、入力動画像に異常が生じているか否かを判定し、判定結果「正常」を得ている。したがって、候補パラメータＰ３においては、判定結果が「変化なし」である。
In the example shown in FIG. 7, the
続いて、パラメータ特定部１１２Ａは、続く候補パラメータＰ２を用いて、入力動画像に異常が生じているか否かを判定し、判定結果「異常」を得ている。したがって、候補パラメータＰ２においては、判定結果が「変化あり」である。そこで、パラメータ特定部１１２Ａは、判定結果が変化する候補パラメータＰ２に基づいて、判定用パラメータを特定する。
Subsequently, the
図７に示した例では、データ取得部１１１によって異常が生じていない入力動画像が取得されているため、パラメータ特定部１１２Ａは、判定結果が変化する候補パラメータ（すなわち、入力動画像に対して異常と判定し始めた候補パラメータ）Ｐ２の一つ前の候補パラメータＰ３を、判定用パラメータとして特定している。かかる構成によれば、状態判定部１１３によって誤判定される可能性を低減しつつ、異常判定の条件が緩すぎないような判定用パラメータを特定することが可能となる。
In the example shown in FIG. 7, since the input moving image in which no abnormality has occurred is acquired by the
さらに、異常が生じている入力動画像をあらかじめ用意するのが困難な場合も想定される。しかし、図７に示した例のように、異常が生じていない入力動画像を用いて判定用パラメータが特定されれば、異常が生じている入力動画像をあらかじめ用意する必要がなくなる。 Further, it may be difficult to prepare an input moving image in which an abnormality has occurred in advance. However, as in the example shown in FIG. 7, if the determination parameter is specified using the input moving image in which the abnormality has not occurred, it is not necessary to prepare the input moving image in which the abnormality has occurred in advance.
図８は、判定用パラメータを特定する手法の第３の例を説明するための図である。まず、記憶部１４０によって、先頭から末尾まで異常判定の条件が厳しい順に並べられた複数通りの候補パラメータがあらかじめ記憶されている。例えば、異常判定の条件が厳しい順とは、第１の時間範囲ｔ２１および密度であれば、大きい順（すなわち、降順）に相当し、第２の時間範囲ｔ２３および閾値であれば、小さい順（すなわち、昇順）に相当する。ここでは、複数通りの候補パラメータの例として、異常判定の条件が厳しい順に並べられた候補パラメータＰ１〜Ｐ４が用いられる場合を想定する。しかし、候補パラメータの数は４つに限定されず、複数であればよい。
FIG. 8 is a diagram for explaining a third example of the method of specifying the determination parameter. First, the
データ取得部１１１は、記憶部１４０によって記憶されている候補パラメータＰ１〜Ｐ４を取得する。また、データ取得部１１１は、判定用パラメータを特定するための入力動画像を取得する。
The
図８に示した例では、入力動画像に異常が生じていることが確認されている。入力動画像に異常が生じていることは、どのように確認されてもよい。例えば、入力動画像に異常が生じていることは入力動画像が撮像されるときに人によって確認されてもよい。あるいは、入力動画像に異常が生じていることは、あらかじめ記憶部１４０によって記憶された入力動画像が再生されて表示されたときに人によって確認されてもよい。
In the example shown in FIG. 8, it is confirmed that an abnormality has occurred in the input moving image. It may be confirmed in any way that an abnormality has occurred in the input moving image. For example, it may be confirmed by a person that an abnormality has occurred in the input moving image when the input moving image is captured. Alternatively, it may be confirmed by a person that an abnormality has occurred in the input moving image when the input moving image stored in advance by the
パラメータ特定部１１２Ａは、候補パラメータＰ１〜Ｐ４の先頭から順に用いて、入力動画像に異常が生じているか否かを、少なくとも判定結果が変化するまで繰り返し判定する。そして、パラメータ特定部１１２Ａは、判定結果が変化する候補パラメータに基づいて、判定用パラメータを特定する。かかる構成によれば、状態判定部１１３によって誤判定される可能性を低減しつつ、異常判定の条件が緩すぎないような判定用パラメータを特定することが可能となる。したがって、かかる構成によれば、撮像動画像に異常が生じているか否かをより高精度に判定することが可能となる。
The
図８に示した例では、パラメータ特定部１１２Ａは、先頭の候補パラメータＰ１を用いて、入力動画像に異常が生じているか否かを判定し、判定結果「異常」を得ている。続いて、パラメータ特定部１１２Ａは、続く候補パラメータＰ２を用いて、入力動画像に異常が生じているか否かを判定し、判定結果「異常」を得ている。したがって、候補パラメータＰ２においては、判定結果が「変化なし」である。続いて、パラメータ特定部１１２Ａは、続く候補パラメータＰ３を用いて、入力動画像に異常が生じているか否かを判定し、判定結果「異常」を得ている。したがって、候補パラメータＰ３においては、判定結果が「変化なし」である。
In the example shown in FIG. 8, the
続いて、パラメータ特定部１１２Ａは、続く候補パラメータＰ４を用いて、入力動画像に異常が生じているか否かを判定し、判定結果「正常」を得ている。したがって、候補パラメータＰ４においては、判定結果が「変化あり」である。そこで、パラメータ特定部１１２Ａは、判定結果が変化する候補パラメータＰ４に基づいて、判定用パラメータを特定する。
Subsequently, the
図８に示した例では、データ取得部１１１によって異常が生じている入力動画像が取得されているため、パラメータ特定部１１２Ａは、判定結果が変化する候補パラメータ（すなわち、入力動画像に対して異常と判定しなくなった候補パラメータ）Ｐ４の一つ前の候補パラメータＰ４を、判定用パラメータとして特定している。かかる構成によれば、状態判定部１１３によって誤判定される可能性を低減しつつ、異常判定の条件が緩すぎないような判定用パラメータを特定することが可能となる。
In the example shown in FIG. 8, since the input moving image in which the abnormality has occurred is acquired by the
さらに、図８に示した例のように、異常判定の条件が厳しい順に候補パラメータを用いた判定を行うことによって、異常が生じている画素が検出された時点で次の候補パラメータを用いた判定に処理が移行されるため、処理時間が低減される。 Further, as in the example shown in FIG. 8, by performing the determination using the candidate parameters in the order of stricter abnormality determination conditions, the determination using the next candidate parameter is performed when the pixel in which the abnormality occurs is detected. Since the processing is transferred to, the processing time is reduced.
図９は、判定用パラメータを特定する手法の第４の例を説明するための図である。ここでは、記憶部１４０によって、先頭から末尾まで異常判定の条件が緩い順に並べられた複数通りの候補パラメータがあらかじめ記憶されている。例えば、異常判定の条件が緩い順とは、第１の時間範囲ｔ２１および密度であれば、小さい順（すなわち、昇順）に相当し、第２の時間範囲ｔ２３および閾値であれば、大きい順（すなわち、降順）に相当する。ここでは、複数通りの候補パラメータの例として、異常判定の条件が緩い順に並べられた候補パラメータＰ４〜Ｐ１が用いられる場合を想定する。
FIG. 9 is a diagram for explaining a fourth example of the method of specifying the determination parameter. Here, the
データ取得部１１１は、記憶部１４０によって記憶されている候補パラメータＰ４〜Ｐ１を取得する。また、データ取得部１１１は、判定用パラメータを特定するための入力動画像を取得する。図９に示した例では、入力動画像に異常が生じていることが確認されている。
The
パラメータ特定部１１２Ａは、候補パラメータＰ４〜Ｐ１の先頭から順に用いて、入力動画像に異常が生じているか否かを、少なくとも判定結果が変化するまで繰り返し判定する。そして、パラメータ特定部１１２Ａは、判定結果が変化する候補パラメータに基づいて、判定用パラメータを特定する。かかる構成によれば、状態判定部１１３によって誤判定される可能性を低減しつつ、異常判定の条件が緩すぎないような判定用パラメータを特定することが可能となる。したがって、かかる構成によれば、撮像動画像に異常が生じているか否かをより高精度に判定することが可能となる。
The
図９に示した例では、パラメータ特定部１１２Ａは、先頭の候補パラメータＰ４を用いて、入力動画像に異常が生じているか否かを判定し、判定結果「正常」を得ている。続いて、パラメータ特定部１１２Ａは、続く候補パラメータＰ３を用いて、入力動画像に異常が生じているか否かを判定し、判定結果「異常」を得ている。したがって、候補パラメータＰ３においては、判定結果が「変化あり」である。そこで、パラメータ特定部１１２Ａは、判定結果が変化する候補パラメータＰ３に基づいて、判定用パラメータを特定する。
In the example shown in FIG. 9, the
図９に示した例では、データ取得部１１１によって異常が生じている入力動画像が取得されているため、パラメータ特定部１１２Ａは、判定結果が変化する候補パラメータ（すなわち、入力動画像に対して異常と判定し始めた候補パラメータ）Ｐ３を、判定用パラメータとして特定している。かかる構成によれば、状態判定部１１３によって誤判定される可能性を低減しつつ、異常判定の条件が緩すぎないような判定用パラメータを特定することが可能となる。
In the example shown in FIG. 9, since the input moving image in which the abnormality has occurred is acquired by the
続いて、第１の実施形態に係る画像処理システム１Ａにおける判定用パラメータ特定の動作例について説明する。図１０は、第１の実施形態に係る画像処理システム１Ａにおける判定用パラメータ特定の動作例を示すフローチャートである。なお、以下に説明する判定用パラメータ特定の動作例は、画像処理システム１Ａにおける判定用パラメータ特定の動作の一例に過ぎない。したがって、画像処理システム１Ａにおける判定用パラメータ特定の動作は、以下に説明する判定用パラメータ特定の動作例に限定されない。
Subsequently, an operation example of specifying the determination parameter in the
まず、画像処理装置１０Ａにおいては、データ取得部１１１によって入力動画像が取得される（Ｓ１１）。続いて、パラメータ特定部１１２Ａは、記憶部１４０から最初の候補パラメータを取得する（Ｓ１２）。パラメータ特定部１１２Ａは、取得した候補パラメータを用いて入力動画像に異常が生じているか否かを判定することによって、判定結果を得る。
First, in the
続いて、パラメータ特定部１１２Ａは、判定結果が変化しない限り（Ｓ１３において「Ｎｏ」）、次の候補パラメータを取得し（Ｓ１４）、取得した候補パラメータを用いて入力動画像に異常が生じているか否かを判定することによって、判定結果を得て、Ｓ１３に動作を移行させる。一方、パラメータ特定部１１２Ａは、判定結果が変化した場合（Ｓ１３において「Ｙｅｓ」）、判定結果が変化した際の候補パラメータに基づいて、判定用パラメータを特定し（Ｓ１５）、判定用パラメータ特定の動作を終了させる。
Subsequently, the
このようにして特定された判定用パラメータを用いて、状態判定部１１３によって、撮像動画像に異常が生じているか否かが判定される。検知結果表示制御部１１４は、状態判定部１１３によって、撮像動画像に異常が生じていると判定された場合、異常の検知結果の表示を制御する。一例として、検知結果表示制御部１１４は、状態判定部１１３によって、撮像動画像に異常が生じていると判定された場合、異常が生じている領域（異常検知領域）が検知結果の例として表示されるように表示部１５０を制御する。
Using the determination parameters identified in this way, the
図１１は、異常検知領域の表示例を示す図である。図１１を参照すると、検知結果表示制御部１１４は、撮像動画像Ｇ２５が表示部１５０によって表示されるように、表示部１５０を制御している。また、検知結果表示制御部１１４は、撮像動画像Ｇ２５における異常検知領域Ｄ２５（例えば、車両の避走が検知された領域）が他の領域と異なる態様によって表示されるように表示部１５０を制御している。例えば、図１１に示した例のように、検知結果表示制御部１１４は、撮像動画像Ｇ２５における異常検知領域Ｄ２５に対して所定の表示オブジェクト（例えば、網掛けなど）が表示されるように表示部１５０を制御してもよい。
FIG. 11 is a diagram showing a display example of the abnormality detection area. Referring to FIG. 11, the detection result
続いて、第１の実施形態に係る画像処理システム１Ａにおける状態判定の動作例について説明する。図１２は、第１の実施形態に係る画像処理システム１Ａにおける状態判定の動作例を示すフローチャートである。なお、以下に説明する状態判定の動作例は、画像処理システム１Ａにおける状態判定の動作の一例に過ぎない。したがって、画像処理システム１Ａにおける状態判定の動作は、以下に説明する状態判定の動作例に限定されない。
Subsequently, an operation example of the state determination in the
まず、画像処理装置１０Ａにおいて、状態判定部１１３は、パラメータ特定部１１２Ａによって特定された判定用パラメータを取得する（Ｓ２１）。続いて、撮像装置３０は、動画像を撮像し、撮像した動画像を画像処理装置１０Ａに提供する。撮像装置３０によって提供された動画像は、データ取得部１１１によって撮像動画像として取得される（Ｓ２２）。続いて、状態判定部１１３は、判定用パラメータと撮像動画像とに基づいて、状態判定（撮像動画像に異常が生じているか否かの判定）を行って判定結果を得る（Ｓ２３）。
First, in the
検知結果表示制御部１１４は、判定結果が異常である場合（Ｓ２４において「Ｙｅｓ」）、異常が生じている領域（異常検知領域）が検知結果の例として表示されるように表示部１５０を制御し（Ｓ２５）、処理をＳ２６に移行させる。一方、状態判定部１１３は、判定結果が正常である場合（Ｓ２４において「Ｎｏ」）、動作をＳ２６に移行させる。データ取得部１１１は、動作を継続する場合には（Ｓ２６において「Ｎｏ」）、動作をＳ２２に移行させる。一方、データ取得部１１１は、動作を終了させる場合には（Ｓ２６において「Ｙｅｓ」）、動作を終了させる。
The detection result
以上、第１の実施形態について説明した。 The first embodiment has been described above.
（２．第２の実施形態）
続いて、第２の実施形態について説明する。図１に示したように、第２の実施形態に係る画像処理システム１Ｂは、第１の実施形態に係る画像処理システム１Ａと比較して、画像処理装置１０Ａの代わりに画像処理装置１０Ｂを備える。したがって、以下では、撮像装置３０についての説明は省略し、画像処理装置１０Ｂについて主に説明する。
(2. Second embodiment)
Subsequently, the second embodiment will be described. As shown in FIG. 1, the
［２−１．画像処理装置の機能構成例］
まず、第２の実施形態に係る画像処理装置１０Ｂの機能構成例について説明する。図１３は、第２の実施形態に係る画像処理装置１０Ｂの機能構成例を示すブロック図である。図１３に示すように、第２の実施形態に係る画像処理装置１０Ｂは、第１の実施形態に係る画像処理装置１０Ａと比較して、制御部１１０Ａの代わりに制御部１１０Ｂを備える。したがって、以下では、操作部１２０、通信部１３０、記憶部１４０および表示部１５０についての説明は省略し、制御部１１０Ｂのうち制御部１１０Ａとの差分について主に説明する。
[2-1. Function configuration example of image processing device]
First, a functional configuration example of the
図１３に示すように、制御部１１０Ｂは、制御部１１０Ａと同様に、データ取得部１１１、パラメータ特定部１１２Ａ、状態判定部１１３および検知結果表示制御部１１４を備える。また、制御部１１０Ｂは、オプティカルフロー検出部１１５、オプティカルフロー表示制御部１１６およびパラメータ変更部１１７を備える。制御部１１０Ｂが備えるこれらの各機能部の詳細について、後に説明する。
As shown in FIG. 13, the
［２−２．機能詳細］
続いて、画像処理システム１Ｂの機能詳細について説明する。第２の実施形態においても、第１の実施形態と同様に、データ取得部１１１が、撮像動画像を取得する。そして、第２の実施形態においては、オプティカルフロー検出部１１５が、データ取得部１１１によって取得された撮像動画像に基づいて、オプティカルフローを検出する。オプティカルフロー表示制御部１１６は、オプティカルフローに応じた表示を制御する。
[2-2. detail of function]
Subsequently, the functional details of the
図１４は、オプティカルフローの表示例を示す図である。図１４を参照すると、オプティカルフロー表示制御部１１６は、画素ごとの動きベクトル（オプティカルフロー）の時系列に沿った集合（動き情報群Ｍ２）が表示部１５０によって表示されるように、表示部１５０を制御している。なお、図１４に示した例においては、矢印の向きによって、動きベクトルの向きが示され、矢印の大きさによって動きベクトルの大きさが示されている。しかし、動きベクトルの向きおよび大きさは、他の態様によって示されてもよい。例えば、動きベクトルの向きは、色の種類（例えば、黄色、赤色など）の違いによって示されてもよいし、動きベクトルの大きさは、色の濃淡によって示されてもよい。
FIG. 14 is a diagram showing a display example of the optical flow. Referring to FIG. 14, the optical flow
また、図１４に示すように、オプティカルフロー表示制御部１１６は、判定用パラメータを変更するための表示オブジェクト（例えば、スライダ）の表示を制御する。ユーザは、かかる表示オブジェクトを操作することによって、判定用パラメータの変更操作を入力することが可能である。なお、表示オブジェクトは、スライダに限定されない。例えば、表示オブジェクトは、判定用パラメータを直接入力するための入力欄などであってもよい。また、図１４に示された例では、判定用パラメータとして、第１の時間範囲ｔ２１、第２の時間範囲ｔ２３、閾値および密度が表示されている。
Further, as shown in FIG. 14, the optical flow
第２の実施形態において、ユーザは、このようにして表示されたオプティカルフローを見ながら、判定用パラメータの変更操作によって、判定用パラメータを変更することが可能である。第２の実施形態は、ユーザが、パラメータ特定部１１２Ａによって特定された判定用パラメータを変更（調整）する場合に有用である。判定用パラメータの変更操作がユーザによって入力された場合、パラメータ変更部１１７は、変更操作に基づいて、判定用パラメータを変更する。例えば、図１４に示したように、オプティカルフロー表示制御部１１６によって、ＯＫボタン１５１の表示が制御される場合、判定用パラメータの変更操作は、ＯＫボタン１５１を選択する操作によって確定されてもよい。
In the second embodiment, the user can change the determination parameter by the determination parameter change operation while observing the optical flow displayed in this way. The second embodiment is useful when the user changes (adjusts) the determination parameter specified by the
状態判定部１１３は、判定用パラメータが変更されない場合、パラメータ特定部１１２Ａによって特定された判定用パラメータを用いて、状態判定（撮像動画像に異常が生じているか否かの判定）を行えばよい。一方、状態判定部１１３は、パラメータ変更部１１７によって判定用パラメータが変更された場合、変更後の判定用パラメータを用いて、状態判定（撮像動画像に異常が生じているか否かの判定）を行えばよい。
When the determination parameter is not changed, the
なお、オプティカルフロー検出部１１５によって検出されたオプティカルフローは、記憶部１４０に記録されて、後に使用されてもよい。ここで、記憶部１４０に記録されたオプティカルフローはどのように使用されてもよい。一例として、状態判定部１１３によって誤判定がされた場合、パラメータ特定部１１２Ａは、記憶部１４０に記録されている過去のオプティカルフローを取得し、過去のオプティカルフローに基づいて、判定用パラメータを再度特定してもよい。
The optical flow detected by the optical
続いて、第２の実施形態に係る画像処理システム１Ｂにおける判定用パラメータ変更の動作例について説明する。図１５は、第２の実施形態に係る画像処理システム１Ｂにおける判定用パラメータ変更の動作例を示すフローチャートである。なお、以下に説明する状態判定の動作例は、画像処理システム１Ｂにおける判定用パラメータ変更の動作の一例に過ぎない。したがって、画像処理システム１Ｂにおける判定用パラメータ変更の動作は、以下に説明する判定用パラメータ変更の動作例に限定されない。
Subsequently, an operation example of changing the determination parameter in the
まず、画像処理装置１０Ｂにおいて、オプティカルフロー表示制御部１１６は、パラメータ特定部１１２Ａによって特定された判定用パラメータを取得する（Ｓ３１）。続いて、撮像装置３０は、動画像を撮像し、撮像した動画像を画像処理装置１０Ｂに提供する。撮像装置３０によって提供された動画像は、データ取得部１１１によって撮像動画像として取得される（Ｓ３２）。続いて、オプティカルフロー検出部１１５は、撮像動画像からオプティカルフローを検出する（Ｓ３３）。
First, in the
オプティカルフロー表示制御部１１６は、オプティカルフローの表示を制御する（Ｓ３４）。このとき、オプティカルフロー表示制御部１１６は、パラメータ特定部１１２Ａによって特定された判定用パラメータの表示を制御してよい。そうすれば、現在の判定用パラメータをユーザに把握させることが可能である。パラメータ変更部１１７は、操作部１２０によって判定用パラメータの変更操作が検出された場合、変更操作に基づいて、判定用パラメータを変更する（Ｓ３６）。
The optical flow
データ取得部１１１は、動作を継続する場合には（Ｓ３７において「Ｎｏ」）、動作をＳ３２に移行させる。一方、データ取得部１１１は、動作を終了させる場合には（Ｓ３７において「Ｙｅｓ」）、動作を終了させる。
When the
以上、第２の実施形態について説明した。 The second embodiment has been described above.
（３．第３の実施形態）
続いて、第３の実施形態について説明する。図１に示したように、第３の実施形態に係る画像処理システム１Ｃは、第１の実施形態に係る画像処理システム１Ａと比較して、画像処理装置１０Ａの代わりに画像処理装置１０Ｃを備える。したがって、以下では、撮像装置３０についての説明は省略し、画像処理装置１０Ｃについて主に説明する。
(3. Third Embodiment)
Subsequently, the third embodiment will be described. As shown in FIG. 1, the
［３−１．画像処理装置の機能構成例］
まず、第３の実施形態に係る画像処理装置１０Ｃの機能構成例について説明する。図１６は、第３の実施形態に係る画像処理装置１０Ｃの機能構成例を示すブロック図である。図１６に示すように、第３の実施形態に係る画像処理装置１０Ｃは、第１の実施形態に係る画像処理装置１０Ａと比較して、制御部１１０Ａの代わりに制御部１１０Ｃを備える。したがって、以下では、操作部１２０、通信部１３０、記憶部１４０および表示部１５０についての説明は省略し、制御部１１０Ｃのうち制御部１１０Ａとの差分について主に説明する。
[3-1. Function configuration example of image processing device]
First, a functional configuration example of the
図１６に示すように、制御部１１０Ｃは、制御部１１０Ａと同様に、データ取得部１１１、状態判定部１１３および検知結果表示制御部１１４を備える。また、制御部１１０Ｃは、パラメータ特定部１１２Ｂ、パラメータ情報記録制御部１１８およびパラメータ情報表示制御部１１９を備える。制御部１１０Ｃが備えるこれらの各機能部の詳細について、後に説明する。
As shown in FIG. 16, the
［３−２．機能詳細］
続いて、画像処理システム１Ｃの機能詳細について説明する。第３の実施形態においても、第１の実施形態と同様に、データ取得部１１１が、入力動画像を取得する。そして、第３の実施形態においては、パラメータ特定部１１２Ｂは、過去に使用されたパラメータが記憶部１４０に記録されていない場合、第１の実施形態と同様に、入力動画像に基づいて、判定用パラメータを特定する。パラメータ特定部１１２Ｂによって特定された判定用パラメータが状態判定部１１３によって使用されると、パラメータ情報記録制御部１１８は、状態判定部１１３によって使用された判定用パラメータが、過去に使用されたパラメータとして記憶部１４０に記録されるように制御する。
[3-2. detail of function]
Subsequently, the functional details of the
また、パラメータ情報記録制御部１１８は、状態判定部１１３によって使用された判定用パラメータに関連する情報も、過去に使用されたパラメータに関連する情報として、記憶部１４０に記録されるように制御してよい。
Further, the parameter information
図１７は、過去に使用されたパラメータおよび過去に使用されたパラメータに関連する情報の例を示す図である。図１７に示すように、過去に使用されたパラメータに関連する情報は、過去に使用されたパラメータを用いて判定がなされた事象の種類を含んでもよい。事象の種類は、状態判定部１１３によって判定可能であるとして上記した各種の事象であってよい。図１７に示した例では、事象の種類として、避走、逆走、落下物、がけ崩れが示されている。
FIG. 17 is a diagram showing an example of parameters used in the past and information related to the parameters used in the past. As shown in FIG. 17, the information related to the parameters used in the past may include the type of event determined using the parameters used in the past. The type of event may be the various events described above, assuming that it can be determined by the
また、図１７に示したように、過去に使用されたパラメータに関連する情報は、状態判定部１１３による判定に使用された撮像動画像を撮像した撮像装置３０の画角を含んでもよい。また、図１７に示したように、過去に使用されたパラメータに関連する情報は、撮像装置３０による撮像距離（例えば、撮像装置３０から道路までの最短距離など）を含んでもよい。
Further, as shown in FIG. 17, the information related to the parameters used in the past may include the angle of view of the
ここで、過去に使用されたパラメータに関連する情報は、どのようにして設定されてもよい。例えば、事象の種類は、ユーザによって設定されてもよいし、状態判定部１１３によって撮像動画像から自動的に決定されてもよい。また、撮像距離は、ユーザによって設定されてもよいし、状態判定部１１３によって撮像動画像から自動的に測定されてもよい。また、画角は、撮像装置３０から取得されてよい。
Here, the information related to the parameters used in the past may be set in any way. For example, the type of event may be set by the user, or may be automatically determined from the captured moving image by the
パラメータ特定部１１２Ｂは、過去に使用されたパラメータが記憶部１４０に記録されている場合、過去に使用されたパラメータを用いて、入力動画像に過去に使用されたパラメータに対応する事象が生じているか否かを判定する。
When the parameters used in the past are recorded in the
そして、データ取得部１１１によって、かかる事象が生じていないことが確認された入力動画像（正常な入力動画像）が取得された場合、かつ、パラメータ特定部１１２Ｂによって、過去に使用されたパラメータを用いて、入力動画像に事象が生じていない（入力動画像が正常である）と判定された場合、過去に使用されたパラメータは、誤判定されないパラメータであると考えられる。そこで、かかる場合、パラメータ情報表示制御部１１９は、過去に使用されたパラメータおよび過去に使用されたパラメータに関連する情報のうち、少なくともいずれか一方の表示を制御してよい。これにより第３の実施形態に係る画像処理システム１Ｃは、データ取得部１１１によって取得された入力動画像に対して過去に使用されたパラメータを用いても、適切にかかる事象の発生を判定できることを、ユーザに提示することができる。
Then, when the input moving image (normal input moving image) confirmed that such an event has not occurred is acquired by the
図１８は、過去に使用されたパラメータを用いた判定結果の例を示す図である。図１８に示した例では、データ取得部１１１によって取得された入力動画像に各事象が生じていない（入力動画像が正常である）ことが確認されている。また、パラメータ特定部１１２Ｂによって、過去に使用されたパラメータＰ５を用いて、入力動画像に事象「避走」が生じていない（入力動画像が正常である）と判定されている。また、パラメータ特定部１１２Ｂによって、過去に使用されたパラメータＰ６を用いて、入力動画像に事象「逆走」が生じていない（入力動画像が正常である）と判定されている。
FIG. 18 is a diagram showing an example of a determination result using parameters used in the past. In the example shown in FIG. 18, it is confirmed that each event does not occur in the input moving image acquired by the data acquisition unit 111 (the input moving image is normal). Further, the
一方、パラメータ特定部１１２Ｂによって、過去に使用されたパラメータＰ７を用いて、入力動画像に事象「落下物」が生じている（入力動画像が異常である）と判定されている。また、パラメータ特定部１１２Ｂによって、過去に使用されたパラメータＰ８を用いて、入力動画像に事象「がけ崩れ」が生じている（入力動画像が異常である）と判定されている。
On the other hand, the
かかる例においては、過去に使用されたパラメータＰ５、過去に使用されたパラメータＰ６が、誤判定されないパラメータであると考えられる。そこで、かかる場合、パラメータ情報表示制御部１１９は、過去に使用されたパラメータＰ５および過去に使用されたパラメータＰ５に関連する情報のうち、少なくともいずれか一方の表示を制御してよい。また、パラメータ情報表示制御部１１９は、過去に使用されたパラメータＰ６および過去に使用されたパラメータＰ６に関連する情報のうち、少なくともいずれか一方の表示を制御してよい。これにより第３の実施形態に係る画像処理システム１Ｃは、データ取得部１１１によって取得された入力動画像に対して過去に使用されたパラメータＰ５またはＰ６を用いても、適切にかかる事象（避走または逆走）の発生を判定できることを、ユーザに提示することができる。
In such an example, the parameter P5 used in the past and the parameter P6 used in the past are considered to be parameters that are not erroneously determined. Therefore, in such a case, the parameter information
図１９は、過去に使用されたパラメータおよび過去に使用されたパラメータに関連する情報の表示例を示す図である。図１９に示したように、パラメータ情報表示制御部１１９は、過去に使用されたパラメータＰ５および過去に使用されたパラメータＰ５に関連する情報（事象の種類、撮像距離、画角）の表示を制御してよい。また、パラメータ情報表示制御部１１９は、過去に使用されたパラメータＰ６および過去に使用されたパラメータＰ６に関連する情報（事象の種類、撮像距離、画角）の表示を制御してよい。
FIG. 19 is a diagram showing a display example of parameters used in the past and information related to the parameters used in the past. As shown in FIG. 19, the parameter information
パラメータ特定部１１２Ｂは、過去に使用されたパラメータの選択操作が入力された場合、過去に使用されたパラメータを判定用パラメータとして特定する。例えば、図１９に示したように、パラメータ情報表示制御部１１９によって、ＯＫボタン１５１の表示が制御される場合、過去に使用されたパラメータの選択操作は、ＯＫボタン１５１を選択する操作によって確定されてもよい。また、パラメータ情報表示制御部１１９によって、取消ボタン１５２の表示が制御される場合、過去に使用されたパラメータの選択操作は、取消ボタン１５２を選択する操作によって取り消されてもよい。
When the parameter selection operation used in the past is input, the
なお、データ取得部１１１によって事象が生じている（入力動画像が異常である）ことが確認された入力動画像が取得された場合、かつ、パラメータ特定部１１２Ｂによって入力動画像に事象が生じている（入力動画像が異常である）と判定された場合、過去に使用されたパラメータは、誤判定されないパラメータであると考えられる。そこで、かかる場合、パラメータ情報表示制御部１１９は、過去に使用されたパラメータおよび過去に使用されたパラメータに関連する情報のうち、少なくともいずれか一方の表示を制御してよい。これにより第３の実施形態に係る画像処理システム１Ｃは、データ取得部１１１によって取得された入力動画像に対して過去に使用されたパラメータを用いても、適切にかかる事象の発生を判定できることを、ユーザに提示することができる。そして、パラメータ特定部１１２Ｂは、過去に使用されたパラメータの選択操作が入力された場合、過去に使用されたパラメータを判定用パラメータとして特定すればよい。
When the input moving image confirmed that the event has occurred (the input moving image is abnormal) is acquired by the
以上、第３の実施形態について説明した。 The third embodiment has been described above.
（４．第４の実施形態）
続いて、第４の実施形態について説明する。図１に示したように、第４の実施形態に係る画像処理システム１Ｄは、第１の実施形態に係る画像処理システム１Ａと比較して、画像処理装置１０Ａの代わりに画像処理装置１０Ｄを備える。したがって、以下では、撮像装置３０についての説明は省略し、画像処理装置１０Ｄについて主に説明する。
(4. Fourth Embodiment)
Subsequently, the fourth embodiment will be described. As shown in FIG. 1, the
［４−１．画像処理装置の機能構成例］
まず、第４の実施形態に係る画像処理装置１０Ｄの機能構成例について説明する。図２０は、第４の実施形態に係る画像処理装置１０Ｄの機能構成例を示すブロック図である。図２０に示すように、第４の実施形態に係る画像処理装置１０Ｄは、第１の実施形態に係る画像処理装置１０Ａと比較して、制御部１１０Ａの代わりに制御部１１０Ｄを備える。したがって、以下では、操作部１２０、通信部１３０、記憶部１４０および表示部１５０についての説明は省略し、制御部１１０Ｄのうち制御部１１０Ａとの差分について主に説明する。
[4-1. Function configuration example of image processing device]
First, a functional configuration example of the
図２０に示すように、制御部１１０Ｄは、制御部１１０Ａと同様に、データ取得部１１１、状態判定部１１３および検知結果表示制御部１１４を備える。また、制御部１１０Ｄは、パラメータ特定部１１２Ｃ、領域情報取得部１２１を備える。制御部１１０Ｄが備えるこれらの各機能部の詳細について、後に説明する。
As shown in FIG. 20, the
［４−２．機能詳細］
続いて、画像処理システム１Ｄの機能詳細について説明する。第４の実施形態においては、状態判定部１１３が、入力動画像における複数の検出対象領域ごとに異なる状態判定を行う（複数の検出対象領域ごとに異なる事象が生じているか否かを判定する）。なお以降の説明において、複数の検出対象領域のそれぞれを単に「領域」と言う。記憶部１４０には、領域ごとに座標と事象の種類との対応関係が記録されている。したがって、領域情報取得部１２１は、領域ごとの座標と事象の種類との対応関係（領域情報）を取得し、パラメータ特定部１１２Ｃは、記憶部１４０に記録されている対応関係に基づいて、領域ごとに異なる判定用パラメータを特定する。
[4-2. detail of function]
Subsequently, the functional details of the
図２１は、領域ごとの座標と事象の種類との対応関係の例を示す図である。図２１に示すように、領域Ｒ１に生じているか否かが判定される事象の種類「逆走」と領域Ｒ１の座標「ｒ１」とが対応付けられている。また、領域Ｒ２に生じているか否かが判定される事象の種類「避走」と領域Ｒ２の座標「ｒ２」とが対応付けられている。第４の実施形態においては、かかる対応関係が、記憶部１４０にあらかじめ記録されている。なお、図２１に示した例では、領域Ｒ１と領域Ｒ２とが隣接しているが、領域Ｒ１と領域Ｒ２とは、離れていてもよいし、一部が重複していてもよい。
FIG. 21 is a diagram showing an example of the correspondence between the coordinates for each region and the type of event. As shown in FIG. 21, the type of event "reverse run" for which it is determined whether or not it occurs in the area R1 is associated with the coordinate "r1" of the area R1. Further, the type "escape" of the event for which it is determined whether or not it occurs in the area R2 is associated with the coordinates "r2" of the area R2. In the fourth embodiment, such a correspondence is recorded in advance in the
第１の実施形態と同様に、データ取得部１１１は、入力動画像を取得する。そして、第４の実施形態においては、パラメータ特定部１１２Ｃは、領域ごとの座標と事象の種類との対応関係を取得する。パラメータ特定部１１２Ｃは、領域ごとの座標と事象の種類とに基づいて、領域ごとに判定用パラメータを特定する。１つの領域あたりの判定用パラメータの特定は、第１の実施形態に係る判定用パラメータの特定と同様になされてよい。かかる構成によれば、領域ごとに異なる事象に対応する判定用パラメータが特定されるため、領域ごとに異なった事象が生じているか否かの判定をより高精度に行うことが可能となる。
Similar to the first embodiment, the
続いて、第４の実施形態に係る画像処理システム１Ｄにおける判定用パラメータ特定の動作例について説明する。図２２は、第４の実施形態に係る画像処理システム１Ｄにおける判定用パラメータ特定の動作例を示すフローチャートである。なお、以下に説明する判定用パラメータ特定の動作例は、画像処理システム１Ｄにおける判定用パラメータ特定の動作の一例に過ぎない。したがって、画像処理システム１Ｄにおける判定用パラメータ特定の動作は、以下に説明する判定用パラメータ特定の動作例に限定されない。
Subsequently, an operation example of specifying the determination parameter in the
まず、画像処理装置１０Ｄにおいては、データ取得部１１１によって入力動画像が取得される（Ｓ１１）。続いて、パラメータ特定部１１２Ｃは、最初の領域の座標を取得する（Ｓ１６）。そして、パラメータ特定部１１２Ｃは、記憶部１４０から最初の候補パラメータを取得する（Ｓ１２）。パラメータ特定部１１２Ｃは、取得した候補パラメータを用いて入力動画像にその領域の事象が生じているか否かを判定することによって、判定結果を得る。
First, in the
続いて、パラメータ特定部１１２Ｃは、判定結果が変化しない限り（Ｓ１３において「Ｎｏ」）、次の候補パラメータを取得し（Ｓ１４）、取得した候補パラメータを用いて入力動画像にその領域の事象が生じているか否かを判定することによって、判定結果を得て、Ｓ１３に動作を移行させる。一方、パラメータ特定部１１２Ｃは、判定結果が変化した場合（Ｓ１３において「Ｙｅｓ」）、判定結果が変化した際の候補パラメータに基づいて、その領域の判定用パラメータを特定する（Ｓ１７）。
Subsequently, the
パラメータ特定部１１２Ｃは、全領域の判定用パラメータを特定しない限り（Ｓ１８において「Ｎｏ」）、次の領域の座標を取得し（Ｓ１９）、取得した候補パラメータを用いて入力動画像にその領域の事象が生じているか否かを判定することによって、判定結果を得て、Ｓ１３に動作を移行させる。一方、パラメータ特定部１１２Ｃは、全領域の判定用パラメータを特定した場合（Ｓ１８において「Ｙｅｓ」）、判定用パラメータ特定の動作を終了させる。
Unless the determination parameter of the entire area is specified (“No” in S18), the
以上、第４の実施形態について説明した。 The fourth embodiment has been described above.
（５．ハードウェア構成例）
続いて、本発明の実施形態に係る画像処理装置１０のハードウェア構成例について説明する。
(5. Hardware configuration example)
Subsequently, a hardware configuration example of the
図２３は、本発明の実施形態に係る画像処理装置１０のハードウェア構成を示す図である。画像処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３と、ホストバス９０４と、ブリッジ９０５と、外部バス９０６と、インタフェース９０７と、入力装置９０８と、出力装置９０９と、ストレージ装置９１０と、通信装置９１１と、を備える。
FIG. 23 is a diagram showing a hardware configuration of the
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って画像処理装置１０内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバス等から構成されるホストバス９０４により相互に接続されている。
The
ホストバス９０４は、ブリッジ９０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バス等の外部バス９０６に接続されている。なお、必ずしもホストバス９０４、ブリッジ９０５および外部バス９０６を分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
The
入力装置９０８は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバー等ユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路等から構成されている。画像処理装置１０を操作するユーザは、この入力装置９０８を操作することにより、画像処理装置１０に対して各種のデータを入力したり処理動作を指示したりすることができる。
The
出力装置９０９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置、ランプ等の表示装置およびスピーカ等の音声出力装置を含む。
The
ストレージ装置９１０は、データ格納用の装置である。ストレージ装置９１０は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置等を含んでもよい。ストレージ装置９１０は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）で構成される。このストレージ装置９１０は、ハードディスクを駆動し、ＣＰＵ９０１が実行するプログラムや各種データを格納する。
The storage device 910 is a device for storing data. The storage device 910 may include a storage medium, a recording device for recording data on the storage medium, a reading device for reading data from the storage medium, a deleting device for deleting the data recorded on the storage medium, and the like. The storage device 910 is composed of, for example, an HDD (Hard Disk Drive). The storage device 910 drives a hard disk and stores programs and various data executed by the
通信装置９１１は、例えば、ネットワークに接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置９１１は、無線通信または有線通信のどちらに対応してもよい。
The
以上において、本発明の実施形態の詳細について説明した。 In the above, the details of the embodiment of the present invention have been described.
（５．本実施形態の効果）
以上に説明したように、本実施形態によれば、先頭から末尾まで昇順または降順に並べられた複数通りの候補パラメータと入力動画像とを取得するデータ取得部１１１と、複数通りの候補パラメータの先頭から順に用いて、入力動画像に所定の事象が生じているか否かを、少なくとも判定結果が変化するまで繰り返し判定し、判定結果が変化する候補パラメータに基づいて、撮像動画像に事象が生じているか否かを判定するための判定用パラメータを特定するパラメータ特定部１１２Ａと、を備える、画像処理装置１０Ａが提供される。
(5. Effect of this embodiment)
As described above, according to the present embodiment, the
かかる構成によれば、状態判定部１１３によって誤判定される可能性を低減しつつ、異常判定の条件が緩すぎないような判定用パラメータを特定することが可能となる。したがって、かかる構成によれば、撮像動画像に異常が生じているか否かをより高精度に判定することが可能となる。
According to such a configuration, it is possible to specify a determination parameter so that the condition for abnormality determination is not too loose, while reducing the possibility of erroneous determination by the
（６．変形例の説明）
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
(6. Explanation of modified example)
Although the preferred embodiments of the present invention have been described in detail with reference to the accompanying drawings, the present invention is not limited to such examples. It is clear that a person having ordinary knowledge in the field of technology to which the present invention belongs can come up with various modifications or modifications within the scope of the technical idea described in the claims. , These are also naturally understood to belong to the technical scope of the present invention.
例えば、上記では、撮像装置３０がＰＴＺ（パン・チルト・ズーム）カメラであってもよい旨を説明した。しかし、撮像装置３０の撮像範囲がＰＴＺによって変化してしまうと、意図しないタイミングで検出対象領域に異常状態が発生したと判定されてしまう可能性がある。そこで、ＰＴＺが実行されるときには、状態判定部１１３による判定が実行されないようにするとよい。あるいは、ＰＴＺが実行されるときには、検知結果表示制御部１１４による表示制御がなされないようにするとよい。
For example, in the above description, the
１（１Ａ、１Ｂ、１Ｃ、１Ｄ） 画像処理システム
１０（１０Ａ、１０Ｂ、１０Ｃ、１０Ｄ） 画像処理装置
３０ 撮像装置
１１０（１１０Ａ、１１０Ｂ、１１０Ｃ、１１０Ｄ） 制御部
１１１ データ取得部
１１２（１１２Ａ、１１２Ｂ、１１２Ｃ） パラメータ特定部
１１３ 状態判定部
１１４ 検知結果表示制御部
１１５ オプティカルフロー検出部
１１６ オプティカルフロー表示制御部
１１７ パラメータ変更部
１１８ パラメータ情報記録制御部
１１９ パラメータ情報表示制御部
１２１ 領域情報取得部
１２０ 操作部
１３０ 通信部
１４０ 記憶部
１５０ 表示部
1 (1A, 1B, 1C, 1D) Image processing system 10 (10A, 10B, 10C, 10D)
Claims (15)
前記複数通りの候補パラメータの先頭から順に用いて、前記入力動画像に所定の事象が生じているか否かを、少なくとも判定結果が変化するまで繰り返し判定し、前記判定結果が変化する候補パラメータに基づいて、撮像動画像に前記事象が生じているか否かを判定するための判定用パラメータを特定するパラメータ特定部と、
を備え、
前記パラメータ特定部は、
前記データ取得部によって前記事象が生じていない前記入力動画像が取得された場合、
前記入力動画像に前記事象が生じていると判定しなくなった候補パラメータ、または、前記入力動画像に前記事象が生じていると判定し始めた候補パラメータの一つ前の候補パラメータを、前記判定用パラメータとして特定する、
画像処理装置。 A data acquisition unit that acquires multiple candidate parameters and input video images arranged in ascending or descending order from the beginning to the end.
Using the plurality of candidate parameters in order from the beginning, it is repeatedly determined whether or not a predetermined event has occurred in the input moving image until at least the determination result changes, and based on the candidate parameter in which the determination result changes. A parameter specifying unit that specifies a determination parameter for determining whether or not the event has occurred in the captured moving image, and a parameter specifying unit.
Equipped with a,
The parameter specifying part is
When the input moving image in which the event does not occur is acquired by the data acquisition unit,
A candidate parameter that no longer determines that the event has occurred in the input moving image, or a candidate parameter that is one before the candidate parameter that has begun to determine that the event has occurred in the input moving image. Specified as the determination parameter,
Image processing device.
前記データ取得部によって前記事象が生じている前記入力動画像が取得された場合、
前記入力動画像に前記事象が生じていると判定しなくなった候補パラメータの一つ前の候補パラメータ、または、前記入力動画像に前記事象が生じていると判定し始めた候補パラメータを、前記判定用パラメータとして特定する、
請求項１に記載の画像処理装置。 The parameter identification unit,
If the input moving image in which the event has occurred is obtained by pre-Symbol data acquisition unit,
The candidate parameter immediately before the candidate parameter that is no longer determined to have the event in the input moving image, or the candidate parameter that has begun to determine that the event has occurred in the input moving image. Specified as the determination parameter,
Images it is processing device according to claim 1.
前記複数通りの候補パラメータの先頭から順に用いて、前記入力動画像に所定の事象が生じているか否かを、少なくとも判定結果が変化するまで繰り返し判定し、前記判定結果が変化する候補パラメータに基づいて、撮像動画像に前記事象が生じているか否かを判定するための判定用パラメータを特定するパラメータ特定部と、 Using the plurality of candidate parameters in order from the beginning, it is repeatedly determined whether or not a predetermined event has occurred in the input moving image until at least the determination result changes, and based on the candidate parameter in which the determination result changes. A parameter specifying unit that specifies a determination parameter for determining whether or not the event has occurred in the captured moving image, and a parameter specifying unit.
を備え、 With
前記パラメータ特定部は、 The parameter specifying part is
前記データ取得部によって前記事象が生じている前記入力動画像が取得された場合、 When the input moving image in which the event occurs is acquired by the data acquisition unit,
前記入力動画像に前記事象が生じていると判定しなくなった候補パラメータの一つ前の候補パラメータ、または、前記入力動画像に前記事象が生じていると判定し始めた候補パラメータを、前記判定用パラメータとして特定する、 The candidate parameter immediately before the candidate parameter that is no longer determined to have the event in the input moving image, or the candidate parameter that has begun to determine that the event has occurred in the input moving image. Specified as the determination parameter,
画像処理装置。 Image processing device.
前記判定用パラメータを用いて、前記撮像動画像に前記事象が生じているか否かを判定する状態判定部を備える、
請求項１〜３のいずれか一項に記載の画像処理装置。 The image processing device is
A state determination unit for determining whether or not the event has occurred in the captured moving image by using the determination parameter is provided.
The image processing apparatus according to any one of claims 1 to 3.
前記撮像動画像に前記事象が生じていると判定された場合、前記事象の検知結果の表示を制御する検知結果表示制御部を備える、
請求項１〜４のいずれか一項に記載の画像処理装置。 The image processing device is
When it is determined that the event has occurred in the captured moving image, the detection result display control unit for controlling the display of the detection result of the event is provided.
The image processing apparatus according to any one of claims 1 to 4.
前記入力動画像に基づいて、第１の時間範囲におけるオプティカルフローの対応位置ごとの平均値を第１の平均特徴量として算出するとともに前記第１の時間範囲よりも短い第２の時間範囲におけるオプティカルフローの対応位置ごとの平均値を第２の平均特徴量として算出し、前記第１の平均特徴量と前記第２の平均特徴量とに応じた所定の演算結果と閾値との関係に基づいて、前記入力動画像に前記事象が生じているか否かを判定する、
請求項１〜５のいずれか一項に記載の画像処理装置。 The parameter specifying part is
Based on the input moving image, the average value for each corresponding position of the optical flow in the first time range is calculated as the first average feature amount, and the optical in the second time range shorter than the first time range is calculated. The average value for each corresponding position of the flow is calculated as the second average feature amount, and based on the relationship between the predetermined calculation result and the threshold value according to the first average feature amount and the second average feature amount. , Determining whether or not the event has occurred in the input moving image,
The image processing apparatus according to any one of claims 1 to 5.
請求項６に記載の画像処理装置。 The determination parameter includes at least one of the first time range, the second time range, and the threshold value.
The image processing apparatus according to claim 6.
請求項６に記載の画像処理装置。 The determination parameter includes at least one of the temporal density in which the optical flow is calculated and the spatial density in which the optical flow is calculated.
The image processing apparatus according to claim 6.
前記撮像動画像に基づいて検出されたオプティカルフローに応じた表示を制御するオプティカルフロー表示制御部と、
前記判定用パラメータの変更操作が入力された場合、前記判定用パラメータを変更するパラメータ変更部と、
を備える、請求項１〜８のいずれか一項に記載の画像処理装置。 The image processing device is
An optical flow display control unit that controls display according to the optical flow detected based on the captured moving image, and an optical flow display control unit.
When the operation for changing the judgment parameter is input, the parameter change unit for changing the judgment parameter and the parameter change unit.
The image processing apparatus according to any one of claims 1 to 8.
過去に使用されたパラメータが記録されている場合、前記過去に使用されたパラメータを用いて、前記入力動画像に前記過去に使用されたパラメータに対応する事象が生じているか否かを判定し、
前記画像処理装置は、
前記データ取得部によって前記事象が生じていない前記入力動画像が取得された場合かつ前記パラメータ特定部によって前記入力動画像に前記事象が生じていないと判定された場合、または、
前記データ取得部によって前記事象が生じている前記入力動画像が取得された場合かつ前記パラメータ特定部によって前記入力動画像に前記事象が生じていると判定された場合、
前記過去に使用されたパラメータおよび前記過去に使用されたパラメータに関連する情報のうち、少なくともいずれか一方の表示を制御するパラメータ情報表示制御部を備える、
請求項１〜９のいずれか一項に記載の画像処理装置。 The parameter specifying part is
When the parameters used in the past are recorded, the parameters used in the past are used to determine whether or not an event corresponding to the parameters used in the past has occurred in the input moving image.
The image processing device is
When the input moving image in which the event does not occur is acquired by the data acquisition unit and when the parameter specifying unit determines that the event does not occur in the input moving image, or
When the input moving image in which the event occurs is acquired by the data acquisition unit and when it is determined by the parameter specifying unit that the event occurs in the input moving image.
A parameter information display control unit for controlling the display of at least one of the parameters used in the past and the information related to the parameters used in the past is provided.
The image processing apparatus according to any one of claims 1 to 9.
請求項１０に記載の画像処理装置。 Information related to the parameters used in the past includes the type of event determined using the parameters used in the past, the imaging distance by the imaging device that captured the moving image used in the determination, and Includes at least one of the angles of view of the imaging device.
The image processing apparatus according to claim 10.
前記過去に使用されたパラメータの選択操作が入力された場合、前記過去に使用されたパラメータを前記判定用パラメータとして特定する、
請求項１０または１１に記載の画像処理装置。 The parameter specifying part is
When the selection operation of the parameter used in the past is input, the parameter used in the past is specified as the determination parameter.
The image processing apparatus according to claim 10 or 11.
前記入力動画像上に設けた領域ごとの前記事象に基づいて、前記領域ごとに前記判定用パラメータを特定する、
請求項１〜１２のいずれか一項に記載の画像処理装置。 The parameter specifying part is
Based on the event for each region provided on the input moving image, the determination parameter is specified for each region.
The image processing apparatus according to any one of claims 1 to 12.
先頭から末尾まで昇順または降順に並べられた複数通りの候補パラメータと入力動画像とを取得するデータ取得部と、
前記複数通りの候補パラメータの先頭から順に用いて、前記入力動画像に所定の事象が生じているか否かを、少なくとも判定結果が変化するまで繰り返し判定し、前記判定結果が変化する候補パラメータに基づいて、撮像動画像に前記事象が生じているか否かを判定するための判定用パラメータを特定するパラメータ特定部と、
を備え、
前記パラメータ特定部は、
前記データ取得部によって前記事象が生じていない前記入力動画像が取得された場合、
前記入力動画像に前記事象が生じていると判定しなくなった候補パラメータ、または、前記入力動画像に前記事象が生じていると判定し始めた候補パラメータの一つ前の候補パラメータを、前記判定用パラメータとして特定する、
画像処理装置として機能させるためのプログラム。 Computer,
A data acquisition unit that acquires multiple candidate parameters and input video images arranged in ascending or descending order from the beginning to the end.
Using the plurality of candidate parameters in order from the beginning, it is repeatedly determined whether or not a predetermined event has occurred in the input moving image until at least the determination result changes, and based on the candidate parameter in which the determination result changes. A parameter specifying unit that specifies a determination parameter for determining whether or not the event has occurred in the captured moving image, and a parameter specifying unit.
Equipped with a,
The parameter specifying part is
When the input moving image in which the event does not occur is acquired by the data acquisition unit,
A candidate parameter that no longer determines that the event has occurred in the input moving image, or a candidate parameter that is one before the candidate parameter that has begun to determine that the event has occurred in the input moving image. Specified as the determination parameter,
A program for functioning as an image processing device.
先頭から末尾まで昇順または降順に並べられた複数通りの候補パラメータと入力動画像とを取得するデータ取得部と、 A data acquisition unit that acquires multiple candidate parameters and input video images arranged in ascending or descending order from the beginning to the end.
前記複数通りの候補パラメータの先頭から順に用いて、前記入力動画像に所定の事象が生じているか否かを、少なくとも判定結果が変化するまで繰り返し判定し、前記判定結果が変化する候補パラメータに基づいて、撮像動画像に前記事象が生じているか否かを判定するための判定用パラメータを特定するパラメータ特定部と、 Using the plurality of candidate parameters in order from the beginning, it is repeatedly determined whether or not a predetermined event has occurred in the input moving image until at least the determination result changes, and based on the candidate parameter in which the determination result changes. A parameter specifying unit that specifies a determination parameter for determining whether or not the event has occurred in the captured moving image, and a parameter specifying unit.
を備え、 With
前記パラメータ特定部は、 The parameter specifying part is
前記データ取得部によって前記事象が生じている前記入力動画像が取得された場合、 When the input moving image in which the event occurs is acquired by the data acquisition unit,
前記入力動画像に前記事象が生じていると判定しなくなった候補パラメータの一つ前の候補パラメータ、または、前記入力動画像に前記事象が生じていると判定し始めた候補パラメータを、前記判定用パラメータとして特定する、 The candidate parameter immediately before the candidate parameter that is no longer determined to have the event in the input moving image, or the candidate parameter that has begun to determine that the event has occurred in the input moving image. Specified as the determination parameter,
画像処理装置として機能させるためのプログラム。 A program for functioning as an image processing device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017032855A JP6862905B2 (en) | 2017-02-24 | 2017-02-24 | Image processing equipment and programs |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017032855A JP6862905B2 (en) | 2017-02-24 | 2017-02-24 | Image processing equipment and programs |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018136895A JP2018136895A (en) | 2018-08-30 |
| JP6862905B2 true JP6862905B2 (en) | 2021-04-21 |
Family
ID=63366992
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017032855A Active JP6862905B2 (en) | 2017-02-24 | 2017-02-24 | Image processing equipment and programs |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6862905B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110290426B (en) * | 2019-06-24 | 2022-04-19 | 腾讯科技（深圳）有限公司 | Method, device and equipment for displaying resources and storage medium |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002312769A (en) * | 2001-04-16 | 2002-10-25 | Matsushita Electric Ind Co Ltd | Monitoring device and parameter setting method therefor |
| JP2006163614A (en) * | 2004-12-03 | 2006-06-22 | Matsushita Electric Ind Co Ltd | Image processing device and method |
-
2017
- 2017-02-24 JP JP2017032855A patent/JP6862905B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018136895A (en) | 2018-08-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4730431B2 (en) | Target tracking device | |
| EP1622107B1 (en) | System, device and method for object tracing | |
| JP4915655B2 (en) | Automatic tracking device | |
| JP5829679B2 (en) | IMAGING DEVICE, FOCUSING CONTROL METHOD OF IMAGING DEVICE, AND INTEGRATED CIRCUIT | |
| JP5213613B2 (en) | Image processing apparatus, image processing method, imaging apparatus, and program | |
| US20180285656A1 (en) | Information processing apparatus, information processing method, and computer-readable storage medium, for estimating state of objects | |
| JP5272886B2 (en) | Moving object detection apparatus, moving object detection method, and computer program | |
| US20150016671A1 (en) | Setting apparatus, output method, and non-transitory computer-readable storage medium | |
| JP6347211B2 (en) | Information processing system, information processing method, and program | |
| JP7446060B2 (en) | Information processing device, program and information processing method | |
| JP6544996B2 (en) | Control device and control method | |
| JP2009140307A (en) | Person detector | |
| JP2017125974A (en) | Display device, display method and program | |
| JP6862905B2 (en) | Image processing equipment and programs | |
| JP6191160B2 (en) | Image processing program and image processing apparatus | |
| JP5697587B2 (en) | Vehicle fire detection device | |
| CN106101857A (en) | The display packing of a kind of video pictures and device | |
| JP4821355B2 (en) | Person tracking device, person tracking method, and person tracking program | |
| JP2010124028A (en) | Monitoring apparatus | |
| JP5217841B2 (en) | Image processing apparatus and method for supporting parameter setting relating to defect detection on image | |
| EP3467428A1 (en) | Information processing device, information processing method, program, and image capturing system | |
| JP6058720B2 (en) | Information output device, detection device, program, and information output method | |
| JP5132705B2 (en) | Image processing device | |
| JP6981554B2 (en) | Identification system, parameter value update method and program | |
| JP2018055151A (en) | Flame detector and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190327 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190328 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191115 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201222 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210218 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210302 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210315 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6862905 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |