JP5350444B2 - Method and device for the automatic visual event detection - Google Patents

Method and device for the automatic visual event detection Download PDF


Publication number
JP5350444B2 JP2011168412A JP2011168412A JP5350444B2 JP 5350444 B2 JP5350444 B2 JP 5350444B2 JP 2011168412 A JP2011168412 A JP 2011168412A JP 2011168412 A JP2011168412 A JP 2011168412A JP 5350444 B2 JP5350444 B2 JP 5350444B2
Grant status
Patent type
Prior art keywords
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Application number
Other languages
Japanese (ja)
Other versions
JP2011258220A (en )
Original Assignee
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date




    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion


Disclosed are methods and apparatus for automatic visual detection of events, for recording images of those events and retrieving them for display and human or automated analysis, and for sending synchronized signals to external equipment when events are detected. An event corresponds to a specific condition, among some time-varying conditions within the field of view of an imaging device, that can be detected by visual means based on capturing and analyzing digital images of a two-dimensional field of view in which the event may occur. Events may correspond to rare, short duration mechanical failures for which obtaining images for analysis is desirable. Events are detected by considering evidence obtained from an analysis of multiple images of the field of view, during which time moving mechanical components can be seen from multiple viewing perspectives.


[発明の背景] Background of the Invention
本発明は、高速ビデオ事象検出、動作分析、画像記録、自動画像分析に関係するものである。 The present invention, high-speed video event detection, motion analysis, image recording, is related to the automatic image analysis.

[関連技術の説明] [Description of the Related Art]
人の目では速すぎて見ることが難しい機械システムの分析動作のために、高速画像記録装置を使うことは、当技術分野で周知である。 For analysis operation is difficult mechanical system to look too fast the human eye, the use of high-speed image recording apparatus is well known in the art. これらの装置は、スローモーションまたは、スチール画像としての画像を表示し、人間のユーザーのために高速機械動作を見て、分析するために、機械処理の毎秒数百または数千の画像を取得し、録画するものである。 These devices, slow motion, or to display the image as a still image, a look at the high-speed machine operation for human users, in order to analyze, to acquire images per second hundreds or thousands of machines processing , it is intended to record.

特に関心があるものに、機械処理において故障を引き起こす場合がある、まれな、短時間の機械的事象の記録である。 Those of particular interest, can cause a failure in a machine process, rare, which is a recording of the short mechanical events. 事象がまれで短時間であるという事実は、特別な課題を生む。 The fact that the event is a short period of time is rare, produce a special challenge. たとえば、画像記録装置が毎秒1000画像を録音するとすれば、事象は、3ミリ秒続き、平均一時間に一度起こる。 For example, if the image recording apparatus to record per second 1000 image, event, 3 ms lasts occurs once mean an hour. 追加の装置なしに、人間のユーザーが事象を含む2または3の事象を見つけるために平均360万の写真を見る必要があるであろう。 Without additional equipment, the human user would need to see a picture of the average 3.6 million in order to find the two or three events, including an event.

事象が起こる場合、示す画像記録装置のトリガ信号を供給することにより、この課題に対応することは、当技術分野で周知のことである。 If the event occurs, by supplying a trigger signal of the image recording apparatus shown, it is well known that in the art for this task. 画像記録装置は、最新の画像の限られた数を保存し、トリガ信号が事象が起こったことを示す場合、録画の最後の一秒であると言い、簡単な追加時間を記録し、終了する。 The image recording apparatus stores a limited number of the latest image, which indicates that the trigger signal has occurred event, say the last one second of recording, to record a brief additional time and ends . これは、事象の前後の両方で見る、各画像の少数をユーザーに与える。 This gives look at both before and after the event, a small number of each image to the user. 更に、各画像がトリガ信号により示された事象の時間に関連して取得された場合、ユーザーは、確実に分かる。 Further, when each image is acquired in connection with the time indicated events by the trigger signal, the user is found to reliably.

明らかに、この方法の成功は、的確なトリガ信号を生成することができるかどうかによる。 Clearly, the success of this method depends on whether it is possible to generate an accurate trigger signal. この目的のために光検出器を使うことは、当技術分野で周知のことである。 It is well known that in the art to use a light detector for this purpose. 例示的な光検出器は、物体の表面の点により反映される、または、物体が通過する可能性のある経路沿いに送信される光の強度に対応する光源と単一光電子センサーを持つ。 Exemplary optical detectors is reflected by a point of the surface of the object, or, with a light source and a single photoelectron sensor corresponding to the intensity of light transmitted along the path that might object passes. ユーザーの調整可能な感度閾値は、光検出器の出力信号に電圧を加える上の(または、下の)光強度を確立する。 Adjustable sensitivity threshold of users, on applying a voltage to the output signal of the light detector (or under) establishing a light intensity.

それは、しばしば、複数の光検出器がトリガ信号を供給する必要がある例である。 It is often the case that must plurality of photodetectors to supply a trigger signal. たとえば、機械処理が製造ラインの生産離散物体である場合、事象は、部品不足で物体の生産に対応し、一つは、物体が存在する時に検出するもの、もう一つは、部品不足を検出するためのものとして、少なくとも2つの光検出器が必要である。 For example, if the mechanical treatment is a production discrete objects of the production line, events, things correspond to the production of the object at the component shortage, one, to detect when an object is present, the other is, detects the component shortage as for requires at least two photodetectors. 時々、複雑な事象を検出するために2つ以上の検出器が必要である。 Sometimes, it requires two or more detectors to detect complex event.

しかし、トリガ信号の供給に光検出器を使うことには、次のような幾つかの欠点がある。 However, the use of optical detectors for the supply of the trigger signal, has several drawbacks as follows.
・一つ以上の点で送信または、反射される光の強度の単純な測定は、事象を検出するためには不十分である場合がある。 And transmitting at one or more points or simple measurement of the intensity of light reflected may be insufficient to detect events.
・確実に正確な点を見るように、各光検出器の位置を調整するのは難しい。 · Ensuring accurate to view the points, it is difficult to adjust the position of each photodetector.
・測定された点は、機械的な処理の通常操作の間、あちこち移動させてはならない。 - the measured points during normal operation of the mechanical treatment should not be allowed to move around.
・複数の光検出器の必要性は、導入、設定を難しくさせる。 - need for multiple photodetectors, introduction, make it difficult to set.

トリガ信号の供給に機械視覚システムを使うことは、当技術分野で周知のことである。 The use of machine vision systems to the supply of the trigger signals is well known that in the art. 機械視覚システムは、二次元の視野のデジタル画像を取得でき、画像を分析し、決定することができる装置である。 Machine vision system can obtain a digital image of the two-dimensional field of view, analyzing the image, it is a device that can be determined. 画像は、積分時間、または、シャッター時間と呼ばれる、短時間に、レンズにより配置に焦点される光に対して、感光部材の二次元配置を感光させることにより取得する。 Image integration time, or, referred to as shutter time, short time, to light focused on the arrangement by the lens, it obtains by sensitizing a two-dimensional arrangement of the photosensitive member. その配置は、撮像装置と呼ばれ、個々の要素は、ピクセルと呼ばれる。 The arrangement is referred to as an imaging device, the individual elements, called pixels. 各ピクセルは、シャッター時間でそれに向かって行く光の強度を測定する。 Each pixel measures the intensity of light going towards it in the shutter time. 測定された強度値は、デジタル数に変換され、画像形成のための視覚システムのメモリで保存され、それは、決定のための当技術分野で周知の方法を用いて、コンピュータのようなデジタル処理要素で分析される。 The measured intensity values ​​is converted to a digital number, stored in the memory of the vision system for image formation, it is using methods well known in the art for the determination, the digital processing elements such as a computer in are analyzed.

機械視覚システムは、光検出器の限度を避けることができる。 Machine vision system can avoid the limit of the photodetector. 一つの機械視覚システムが、多くの光検出器に交換でき、単一点強度測定の代わりに、広範な明るさのパターンの高度な測定を行う。 One machine vision system, can be replaced in a number of optical detectors, instead of a single point intensity measurement, for advanced measurement of the pattern of extensive brightness. 見る位置を調整するには、スクリュードライバーやレンチの代わりにグラフィカル・ユーザー・インターフェイスを使ってすることができ、それらの位置は、それ自身の画像の内容に基づき、各画像を移動させることができる。 To adjust the viewing position may be with a graphical user interface instead of a screwdriver or wrench, their positions are based on the contents of its own image, it is possible to move each image .

しかし、機械視覚システムには、下記のような固有の欠点がある。 However, machine vision systems, there are inherent disadvantages such as the following.
・機械視覚システムは一般に、事象が個々の物体の検査に関係するものであるときにしか一般に適しない。 - machine vision systems are generally not generally suitable only when event is related to the inspection of individual objects.
・機械視覚システムは、遅すぎて短時間しか持続しない事象を検出できないため、不良品のような事象により発生する長期間持続する状態を探さなければいけない。 · Machine vision system, because it can not detect an event that does not last only a short period of time is too slow, you do not have to find a long-lasting state generated by such events as of the defective product.

ここで留意すべきは、機械視覚システムが、トリガ信号を供給するのに使われたとき、それは、高速画像記録装置とは別々のものであることである。 Here should be noted, machine vision systems, when used to provide the trigger signal, it is that the high-speed image recording apparatus is intended separate. それは、検出された事象を含む画像は、見れないし、その装置より取得された画像を分析できない。 It image including the detected event, do not look, can not analyze the images obtained from the device. たとえ、それらの画像が機械視覚システムで利用できるとしても、とてつもなく割合が高く、生産されるので、従来の設計の機械視覚システムより分析されない。 Even if the images are available in a machine vision system, high enormously rate, because it is produced, not analyzed from the machine vision system of conventional design.

視覚検出器の方法と装置は、トリガ事象が起こったことを検出するための従来の技術の光検出器と機械視覚システムの上記に説明される限度を克服することができる、新規の方法とシステムを教える。 The method and apparatus of the visual detector, can overcome the limitations described above of the prior art optical detectors and machine vision system for detecting that a trigger event has occurred, a novel method and system teach. また、これらの教えは、原型の教えの範囲の下で、改善を導く発明のための材料を提供する。 Further, these teachings, under the scope of the teachings of the prototype, provides a material for the invention leads to improvement. 以下の章では、視覚検出器の方法と装置を簡単に要約し、それに続く章では、本発明により扱われた問題を提示する。 The following chapters, briefly summarized the method and apparatus of the visual detector, chapter that follows, presents the problem addressed by the present invention.

[視覚検出器の方法と装置] Method and apparatus of the visual Detector
視覚検出器の方法と装置は、検出され、検査された物体が位置し得る二次元の視野のデジタル画像を取得し、画像を分析し、決定することに基づいて、物体の自動光電子工学の検出と検査のためのシステムと方法を供給する。 The method and apparatus of the visual detector is detected, obtains a digital image of the field of view of the two-dimensional the inspected object can be located by analyzing the image, determined based on the detection of the automatic optoelectronic objects and supplying a system and method for inspection. これらのシステムと方法は、広範なエリアから反映した明るさのパターンを分析し、物体の多くの区別できる特徴に対処し、ソフトウェア手段を通して、ライン切り替えを供給し、不確かな利用できる物体の位置に対応する。 These systems and methods may analyze the brightness of the pattern reflecting the broad area, addresses the features that can many distinct objects, through software means, supply line switch, the position of an object that can be utilized uncertain corresponding. それらは、従来の技術の機械視覚システムよりもあまり高価ではなく、設定するのがより簡単で、はるかに高速で操作できる。 They are not very expensive than the machine vision system of the prior art, easier to set, it can be operated much faster. これらのシステムと方法は、更に、物体が動くことの多くの見通しを活用し、トリガなしに操作でき、適切な同期化される出力信号を供給し、当業者に明らかであるほかの重要で役に立つ能力を供給する。 These systems and methods may further utilize many prospect of the object moves, can be operated without a trigger, and supplies an output signal that is appropriate synchronization, important and useful for other be apparent to those skilled in the art and supplies the ability.

視覚検出器の方法と装置の一つの態様は、従来の技術の視覚システムよりも高速で一連の画像をを取得し、分析できる、視覚検出器と呼ばれる、装置である。 One embodiment of the method and apparatus of the visual detector, than the vision systems of the prior art obtains a series of images at a high speed, can be analyzed, it referred to as visual detector is a device. 取得され、分析されたこのような一連の画像が、フレームと呼ばれる。 Is obtained, such a series of images are analyzed, called frames. 動いているものが視野(FOV)を通過した場合、フレームレートと呼ばれる、フレームが取得され、分析される割合が、それが多数の連続フレーム内に見られることが十分に高いと言われる。 If what is moving passed the visual field (FOV), called the frame rate, the frame is obtained, the ratio being analyzed, it may be seen in a number of successive frame is said to be sufficiently high. 物体が連続するフレーム間で動いているので、視野で多くの位置に置かれ、それゆえに、照明に関連した多数の視覚の視点と位置から見られる。 Since moving between frames in which the object is continuously placed in many positions in the field, therefore, it is seen from the viewpoint and the position of a number of visual related to lighting.

視覚検出器の方法と装置のもう一つの態様は、動的画像分析と呼ばれる、物体が視野に位置し、多数のフレームを取得し、分析することにより、フレームのそれぞれから得られる証拠の合成結果を基にすることにより、物体を検査するための方法である。 Another embodiment of the method and apparatus of the visual detector is called dynamic image analysis, the object is positioned in the visual field, we obtain the number of frames, by analyzing, combining the results of the evidence from each frame by based on a method for inspecting an object. その方法は、単一のフレームを基づいて、決定する従来の技術の機会視覚システムを超える重要な利点を供給する。 The method provides a significant advantage over opportunities vision systems in the prior art based on a single frame is determined.

更に、視覚検出器の方法と装置のもう一つの態様は、視覚事象検出と呼ばれる、視野で起こる可能性のある事象を検出するための方法である。 Furthermore, another embodiment of the method and apparatus of the visual detector, called a visual event detection, a method for detecting an event that can occur in the field of view. 事象は、視野を通過する物体であり、視覚事象検出を使うことにより、トリガ信号の必要なしに、物体を検出する。 Event is an object passing through the field of view, by using the visual event detection, without the need for a trigger signal, to detect objects.

視覚検出器の方法と装置の追加の態様は、そこに示される図の研究と詳細な説明で明らかになるだろう。 Additional aspects of the method and apparatus of the visual detector will become apparent in the studies and detailed description of the view shown therein.

多数の視点から画像を得るために、検出され、検査される物体が、連続のフレーム間で少なくとも視野の少数の割合で、少なくとも2、3ピクセルで動くことが好ましい。 In order to obtain images from a plurality of viewpoints, are detected, the object to be examined, a few percentage of at least field between successive frames, it is preferable to move at least 2 pixels. 視覚検出器の方法と装置によれば、物体の動きは、フレームにつき、FOVの約1/ 4以下であることが一般に好ましく、例示的な具体例では、たったFOVの5%もしくはそれ以下であることが好ましい。 According to the method and apparatus of the visual detector, the object of the movement, per frame, it is generally preferably about 1/4 or less FOV, in the exemplary embodiment, is 5% or less only FOV it is preferable. これは、製造処理を遅くするだけでなく、十分な高フレームレートを供給することにより、達成することが好ましい。 This not only slows down the production process, by supplying a sufficiently high frame rate, it is preferable to achieve. 例のシステムでは、フレームレートは、少なくとも毎秒200フレームで、もう一つの例では、フレームレートは、物体が視覚検出器に出現する平均の割合の少なくとも40倍である。 In the example system, the frame rate is at least 200 frames per second, in another example, the frame rate is at least 40 times the average proportion of the object appears to the visual detector.

例示的なシステムは、毎秒500フレームまで取得し、分析できるように教えられている。 The exemplary system is to get up 500 frames per second, it has been taught to be analyzed. このシステムは、従来の技術の視覚システムよりもはるかに少ないピクセルを持つ、超敏感な撮像装置を利用している。 The system than vision systems of the prior art with much fewer pixels utilizes a super sensitive imaging device. 高感度は、低価なLEDを用いて、とても短いシャッター時間を可能にし、それは、それぞれ少数のピクセルの合成でとても短い取得時間を可能にする。 High sensitivity, using inexpensive as LED, to enable very short shutter times, it allows for very short acquisition time for the synthesis of the respective small number of pixels. 撮像装置は、分析操作で動的にピクセルデータを受取り、保存できる、デジタル・シグナル・プロセッサ(DSP)へ接続する。 Imaging device, dynamically receive pixel data in the analysis operation, can be stored, is connected to the digital signal processor (DSP). そこで教えられ、DSPのための適応するソフトウェアを用い、実行された方法を使い、一般に各フレームを分析する時間は、次のフレームを取得するのに必要とされる時間内で保持することができる。 Therefore taught, using software adapted for DSP, using was performed methods, typically the time to analyze each frame can be held within the time required to get the next frame . 取得と分析の方法と装置は、好ましい高フレームレートを供給するために合成される。 Method and apparatus acquisition and analysis are combined to provide the preferred high frame rate. 本発明の物体を用い、撮像装置、DSPと照明のの能力を注意深く一致させることにより、例示的なシステムは、従来の技術の機械視覚システムよりも著しく低価にすることができる。 Using an object of the present invention, an imaging apparatus, by carefully matching the capabilities of the DSP and lighting, the exemplary system can be significantly lower cost than the machine vision system of the prior art.

視覚事象検出の方法は、連続フレームを取得し、事象が起こっている、もしくは、起こった証拠を決定するために各フレームを分析することを含む。 The method of visual event detection obtains successive frames has occurred event, or includes analyzing each frame to determine what happened evidence. 視覚事象検出がトリガ信号の必要なしに、物体を検出するのに使われた場合、分析は、物体が視野に位置している証拠を決定する。 The visual event detection without the need for a trigger signal, when used to detect an object, analysis determines the evidence that the object is located in the visual field.

例示的な方法では、証拠は、物体検出加重と称する、物体が視野に位置している信頼度のレベルを示す値の形式である。 In an exemplary method, evidence, it referred to as an object detection weight, in the form of a value indicating a level of confidence that the object is located in the visual field. その値は、信頼度のレベルの範囲、または、証拠を導く情報のいくつかの項目を示す数で、高いまたは、低い信頼度を示す、単にはい/いいえの選択であってもよい。 Its value is in the range of confidence levels, or the number indicating the number of items of information leading to evidence higher or show a low reliability, it may be simply yes / no choice. このような数の例の一つとして、そこに更に説明された、いわゆるファジー論理値である。 One such number of examples are further described therein, the so-called fuzzy logic values. ここで留意すべきは、機械は、画像から完璧な決定をすることができないので、不完全な証拠に基づいて判断をすることになる。 Here noted, the machine can not be a perfect determined from the image, so that the decisions based on incomplete evidence.

物体検出を実行する場合、各フレームは、物体が視野に位置しているということを十分に示す証拠があるかどうかを決定するために試験される。 When performing object detection, each frame is examined to determine whether there is evidence of sufficient that the object is located in the visual field. 単にはい/いいえの値が使われた場合、その値が「はい」であれば、証拠は、十分であると見なされ得る。 If you simply yes / no value has been used, if the value is "yes", evidence may be considered to be sufficient. 数が使われた場合、充足は、閾値までの数を比較することにより決定されてよい。 If the number is used, satisfaction may be determined by comparing the number to threshold. 証拠が十分であるフレームは、有効フレームと称する。 Evidence is sufficient frame is referred to as the active frames. ここで留意すべきは、手元にある特定のアプリケーションの理解に基づいて、視覚検出器を設定する人間のユーザーによって結局のところは定義されたもので十分な証拠は、構成されていることである。 Here should be noted, based on the understanding of the particular application at hand, after all the human user to set a visual detector sufficient evidence as defined is that it is constructed . 視覚検出器は、自動的にその決定をする定義に適応する。 Visual detector is adapted to define for the automatic decision.

物体検出を実行する場合、視野を通過した各物体は、視覚検出器の高フレームレートによって、多数の有効フレームを生成する。 When performing object detection, the object passing through the field of view, the high frame rate of the visual detector, generates a large number of valid frames. しかし、いくつかの視点または、ほかの状態であり得る、視野を物体が通過するために、これらのフレームは、事象が視野に位置している証拠は十分でないので、正確には連続ではない場合がある。 However, some perspective or may be in another state, for viewing the object passes, these frames, because events evidence that located in the visual field is not sufficient, if not continuous exactly there is. したがって、有効フレームが見つかった場合、物体の検出を始め、多くの連続する無効フレームが見つかるまで終了しないことが好ましい。 Therefore, if the valid frame is found, including the detection of an object, it is preferable not completed until an invalid frame number of consecutive. この数は、ユーザーにより適切に選択される。 This number is selected properly by the user.

有効フレームのセットが視野を通過する物体に対応することができるということがわかると、物体が実際に検出されたかどうかを決定するためにさらなる分析を実行することが好ましい。 When it can be seen that it is possible to correspond to an object set of valid frames passes through the field of view, it is preferable to perform a further analysis to determine whether the object is actually detected. このさらなる分析は、有効フレームの数、物体検出加重の合計、平均物体検出加重、および、同等のものを含む、有効フレームの統計を考慮することができる。 This further analysis, the number of valid frames, the sum of the object detection weighted average object detection weight, and includes equivalents, can be considered statistically valid frame.

動的画像分析の方法は、物体を検査するための多数のフレームを取得し、分析することを含み、「検査」は、物体の状態についての情報を決定することを意味する。 The method of dynamic image analysis obtains a number of a frame for inspecting an object, the method comprising analyzing, "inspection" is meant to determine information about an object state of. この方法の一つの例では、物体の状態は、ユーザーにより必要に応じて選ばれた検査基準をその物体が満たすかどうかを含む。 In one example of this method, the object state includes whether the test criteria selected as needed by the user the object satisfies.

視覚検出器の方法と装置の態様では、視覚事象検出方法により選ばれた有効フレームは、物体を検査するために動的画像分析方法により使われたものであるので、動的画像分析は、視覚事象検出と組み合わされる。 In embodiments of the method and apparatus of the visual detector, the valid frame chosen by visual event detection method, since those were used by a dynamic image analysis method for inspecting an object, the dynamic image analysis, visual combined with the event detection. 視覚検出器の方法と装置のその他の態様では、動的画像分析により使われたフレームは、トリガ信号に応答することで取得することができる。 In other embodiments of the method and apparatus of the visual detector, the frame that was used by the dynamic image analysis can be obtained by responding to the trigger signal.

このような各フレームは、物体が検査基準を満たす証拠を決定するために分析される。 Each such frame is analyzed to determine the evidence that object satisfies the inspection standard. 一つの例示的な方法では、物体合格スコアと称する、物体が検査基準を満たす信頼のレベルを示す値の形式である。 In one exemplary method, referred to as object passing score is in the form of a value indicating a level of confidence that the object satisfies the inspection standard. 物体の検出加重と同様に、その値は、高い、または、低い信頼度や、信頼度のレベルの範囲や証拠を導く情報のいくつかの項目を示すファジー論理値のような数を示す、単にはい/いいえの選択であってよい。 Like the detection weight of the object, its value indicates a high, or low, or reliability, a number such as fuzzy logic value indicating a number of items of information to guide the scope and proof of confidence level is simply Yes / No of which may be selected.

物体の状態は、物体合格スコアの平均または、百分率のような、物体合格スコアの統計から決定されてよい。 Object state, the average of the object passing score or, as a percentage, may be determined from the statistics of an object passing score. また、状態は、物体決定加重を用い、加重平均または、加重百分率のような、加重統計により決定されてもよい。 The state is, using the object determined weighted, the weighted average or as a weighted percentage, it may be determined by a weighted statistics. 加重統計は、その信頼が、物体が実際にそのフレームの視野に位置していることが高いことを特徴とする、フレームから更に重要な証拠として重きをおく。 Weighted statistics, its reliability is characterized by high that they are located within the field-of-view of the fact that frame object, put emphasis as more important evidence from the frame.

物体の検出と検査の証拠は、物体の一つ以上の可視特徴についての情報のためのフレームを検査することによって得られる。 Detection evidence of inspecting objects are obtained by examining the frame for information about one or more visual characteristics of the object. 可視特徴は、放射光の量、パターン、または、その他の特徴が、物体の出現、独自性、状態についての情報を伝達する、その物体の一部分である。 Visible features, the amount of emitted light, the pattern, or other characteristics, the appearance of the object, transmitting information about the unique, state, which is part of the object. 光は、物体の外部または内部の情報源の反映、伝達、または、屈折、または、物体の内部の情報源であることを含むが、それらに限らない、いくつかの処理または、処理の組み合わせにより、放射される。 Light reflected on the object external or internal sources, transmission, or refractive, or, including that the information source within the object, but not limited to, a number of processing or by a combination of treatment , it is emitted.

視覚検出器の方法と操作の一つの態様は、物体検出加重と物体合格スコアを含み、それに対し、証拠が必要とされる各フレームの一つ以上の関心領域で画像分析操作により、証拠を得る方法である。 One embodiment of the method and operation of the visual detector comprises object detection weights and object passing score, whereas, the image analysis operations with one or more regions of interest of each frame are required evidence obtained evidence it is a method. この方法の一つの例では、画像分析操作は、関心領域でピクセル値に基づいて測定を算定し、その測定は、物体の可視特徴の適切な特徴に応答するものである。 In one example of this method, the image analysis operations calculated measurement on the basis of the pixel values ​​in the region of interest, the measurement is in response to the appropriate features of the object visible features. 測定は、閾値操作による論理値に転換され、関心領域から得られた論理値は、フレームの証拠を形成するために組み合わされる。 Measurements are converted to the logical value by thresholding, logical values ​​obtained from regions of interest are combined to form a proof frame. 論理値は、必要に応じて、二元またはファジーの閾値と論理結合を使う、二元、またはファジー論理値である。 Logic value, if necessary, use a threshold and logical combination of the binary or fuzzy, is a binary or fuzzy logic values.

視覚事象検出のため、物体が視野に位置していることの証拠が関心領域、測定、閾値、論理合成、および、他のここに更に説明されたパラメータにより、有効に定義され、それは、まとめて視覚検出器の設定と呼ばれ、本発明の与えられたアプリケーションのために必要に応じて、ユーザーにより選ばれる。 For visual event detection, evidence a region of interest of an object is located in the visual field, the measurement threshold, logic synthesis, and, by further description parameters here other, effectively defined, it collectively called setting of the visual detector, as required for the application given the present invention, are selected by the user. 同様に、視覚検出器の設定は、十分な証拠を構成するものとして定義される。 Similarly, setting the visual detector is defined as constituting sufficient evidence.

動的画像分析のために、物体が検査基準を満たす証拠はまた、視覚検出器の設定により、有効に定義される。 For dynamic image analysis and evidence object satisfies the inspection standard, the setting of the visual detector, it is effectively defined.

[問題点の検討] [Study of the problem]
高速事象検出、動作分析、画像記録のためのトリガを供給する光検出器と機械視覚システムの与えられた限度は、高速視覚事象検出を供給することにより、および、それを高速画像記録と統合することにより、トリガ信号の必要性を避ける方法とシステムの改善が必要である。 High speed event detection, motion analysis, limits given photodetector and machine vision system for supplying a trigger for image recording, by supplying the high-speed visual event detection, and integrates it high-speed image recording and it makes it necessary to improve the method and system avoiding the need for a trigger signal.

視覚検出器の方法と装置は、動作分析で使うための画像記録で統合を学ばせないで、ほかの利点で、高速視覚事象検出を供給する新規の画像分析の方法とシステムを学ばせる。 The method and apparatus of the visual detector, not let learn integrated image recording for use with motion analysis, in addition to the advantages, thereby learn new method for the image analysis and system for providing high-speed visual event detection. 従って、事象の自動視覚検出、記録、検索のための新規の役に立つ方法とシステムを達成するための好ましい画像記録と表示能力を用い、好ましい要素と視覚検出器の方法と装置の設定を組み合わせた方法とシステムの改善が必要である。 Thus, automated vision detection of an event, recording, using the preferred image recording and display capabilities to achieve a new useful method and system for searching, combining setting method and apparatus of the preferred elements and visual detector method there is a need for an improved system and.

更に、視覚検出器の方法と装置は、視野を通過する個々の物体に対応する事象を検出することを主として、視覚事象検出の実例となる具体例を供給する。 Furthermore, the method and apparatus of the visual detector, primarily to detect the event corresponding to individual objects passing through the field of view and provides a specific example illustrative of visual event detection. これらの教授は、ほかの事象タイプを検出するのに使用できることは当業者には明らかであろうが、そこに教えられない改善はまた、このような事象を検出するのに役立つことができる。 These professors, but it will be apparent to those skilled in the art that can be used to detect other event types, improvement not taught there may also be useful to detect such events. 従って、さまざまな事象を検出するのにその実用性を改善するために視覚事象検出の教授を広げる必要がある。 Therefore, it is necessary to extend the teaching of the visual event detection to improve its utility to detect a variety of events.

[発明の概要] [Summary of the Invention]
本発明により、事象の自動視覚検出、記録および検索のための方法およびシステムが提供される。 The present invention, automated vision detection of events, methods and systems are provided for recording and retrieval. 本明細書では、 In the present specification,
・「事象」とは、視覚手段により検出できる、撮像装置の視野内の一部の時間変化条件の中の特定条件を指す。 • "event" can be detected by visual means, it refers to the specific conditions in the part of the time change conditions in the field of view of the imaging device.
・「自動視覚検出」とは、前記撮像装置により取得された画像の内容を基本にして、人間の介入または外部のトリガ信号を必要とせずに事象が検出されることを意味する。 • "automated vision detection", and the contents of the image acquired by the imaging device to the basic, events without requiring human intervention or external trigger signal is meant to be detected.
・「記録」とは、前記事象がメモリに保管される前、保管される間、および/または保管された後に対応する画像を意味する。 · "Recording", the event before it is stored in the memory means an image corresponding after being between the storage and / or storage.
・「検索」とは、これらの画像が、人間のユーザーのための表示などの目的のために検索され、さらに、画像分析システムによりさらに自動分析されることを意味する。 · A "search", these images are retrieved for purposes such as display for a human user, further means being further automatically analyzed by the image analysis system.

本明細書において開示される方法およびシステムは、事象が発生したことを外部機器に発信する、および事象がいつ発生したかを示す同期出力パルスを提供するなど、しかしこれらに限定されない任意の目的のために、事象の自動視覚検出に有用である。 The methods and systems disclosed herein, transmits that event has occurred in the external equipment, and the like events to provide a synchronous output pulse indicating when generated, but any purpose, including but not limited to for useful for automatic visual detection of events. 機械的処理の高速運動分析にさらに有用であり、短時間のまれな事象の画像用のその他任意の応用が望ましい。 Is more useful in high-speed motion analysis of mechanical treatment, is preferable any other applications for image rare event for a short time.

本発明の開示に従い、ビジョン検出器またはその他の適切なデバイスは、一部の特別な条件に対応するイベントが発生することのある機械的処理などのように、その視野が一部の時間変化条件を含むように配置され、事象を検出するように構成される。 In accordance with the teachings of the present invention, the vision detector, or other suitable devices, such as mechanical processing with an event corresponding to a part of the special conditions occur, the field of view portion of the time change condition It is arranged to include, configured to detect an event. 前記ビジョン検出器は、各フレームが視野の画像である、一連のフレームを取得する。 The vision detector, each frame is the image of the field of view, acquiring a series of frames. さらに、視覚検出器の方法と装置で開示された方法およびシステムなど、しかしこれらに限定されない任意のさまざまな方法およびシステムを使用して、以下でさらに詳細が明らかになるように、視野で事象が発生したという証拠を取得するために前記フレームを分析する。 Furthermore, a method and system disclosed in the method and apparatus of the visual detector, but using any of a variety of methods and systems are not limited to, as further detailed become apparent below, events in the field of view analyzing the frame to obtain evidence that has occurred.

事象が発生すると、分析は、事象が発生したという十分な証拠を明らかにする「事象フレーム」のセットを識別する。 When the event occurs, the analysis identifies a set of reveal "event frame" sufficient evidence that the event has occurred. セットは、事象フレームを1個だけ含むこともあるが、複数の事象フレームを含むこともある。 Set is sometimes including event frame only one, may also include a plurality of event frames. 本明細書で開示される例示的実施形態では、事象フレームは一連のフレームで連続しているが、事象フレームが完全に連続していない場合も、本発明の範囲内において実施例を考案することは容易である。 In the exemplary embodiment disclosed herein, but the event frame are continuous in a series of frames, even if the event frame is not completely continuous, devising an embodiment within the scope of the present invention it is easy.

次の例を考慮する。 Consider the following example. 検出される事象は、許容範囲外で移動している運動機械構成要素に対応する。 Events detected corresponds to the movement machine component moving at unacceptable. ビジョン検出器は、許容範囲外の視野の領域である、誤差範囲の構成要素を検出するように構成される。 Vision detector is an area out-of-tolerance field, configured to detect the components of the error range. 一部の機械サイクルでは、構成要素は3個の連続フレームの間、誤差範囲を通過運動すると想定する。 In some machine cycle, the components during the three consecutive frames, assume that through movement error range. さらに、フレームの分析により、構成要素が第一番目と第三番目のフレームで誤差範囲にあることを示す証拠は強く、構成要素が第二番目のフレームで誤差範囲にあることを示す証拠は弱いことが明らかになると想定する。 Furthermore, analysis of the frame, evidence indicating that the component is in the error range in the first-th and the third frame is strong evidence indicating that the component is in the error range at the second frame is weak it is assumed to become apparent. これは、第二番目のフレームの照明に対する構成要素の視点または位置が、構成要素が見えにくい視点または位置であるために発生することがある。 This viewpoint or position of the components with respect to the illumination of the second frame, which may occur because the components are not easily viewpoint or position visible. また、分析により、構成要素は、3個の重要なフレームの前後で、多数のフレームがその範囲にあったとは考えにくいことも明らかにする。 Furthermore, by analysis, component, before and after the three key frame, multiple frames reveals also unlikely was in that range.

事象フレームのセットは、第一番目のフレームが前記事象が発生していることを強く示す証拠を明らかにしたときに開始し、以降のフレームが前記事象が継続していることを示す証拠がないときに第三番目のフレームで終了した。 The set of events frame, evidence that first-th frame starts when revealed evidence strongly suggest that the event occurs, continues subsequent frames said event It was completed in the first third of the frame when there is no. 第一番目と第三番目のフレームを合わせた肯定的な証拠と、第二番目のフレームの弱い証拠は、事象が発生したと結論づけるに十分であると判断される。 And positive evidence combined FIRST and the third frame, the weak evidence of second-th frame is determined to be sufficient to conclude that an event has occurred. この例では、3個のフレームが事象フレームである。 In this example, three frames are event frame.

一部の実施例では、第二番目のフレームは事象フレームとは見なされない。 In some embodiments, the second frame is not considered an event frame. 第二番目のフレームを事象フレームであると考えるかどうかの選択は、本発明の範囲内ではどちらにも考えることができる。 Selection whether second th frame considered an event frame, within the scope of the present invention can also be considered in both the. 本明細書に開示された例示的実施形態では、事象フレームは連続的であり、第二番目のフレームを含むと考える。 In the exemplary embodiment disclosed herein, the event frame is continuous, considered to include a second-th frame.

証拠が事象が発生したと決定するために十分であると判断されると、複数の選択されたフレームが一連のフレームから選ばれて、メモリに記録される。 When evidence is determined to be sufficient to determine that an event has occurred, a plurality of selected frames is selected from a series of frames, is recorded in the memory. フレームは、事象フレーム、または、後述するように計算される記録時間に対する一連のフレームの中の位置に応じて、記録されるために選択される。 Frame event frame or, in accordance with the position in the sequence of frames for recording time that is calculated as described below, is selected to be recorded. 事象フレーム自体が記録されることもあるが、一連のフレームの中の事象フレームの前のフレームが記録されることもある。 Sometimes event frame itself is recorded, sometimes previous frame event frame in a sequence of frames are recorded. また、一連のフレームの中の事象フレームの後のフレームが記録されることもある。 Also, sometimes frame after the event frame in a sequence of frames are recorded. 例示的実施形態では、記録時間に対してユーザーが指定した時間間隔内で取得されたフレームが記録される。 In an exemplary embodiment, the frame that the user is acquired within the specified time interval with respect to the recording time is recorded. 別の例示的実施形態では、事象フレームと事象フレームの直前および直後の連続フレームなど、予め決定された数のフレームが記録される。 In another exemplary embodiment, such as continuous frames immediately before and after the event frame and the event frame, determined number of frames are recorded in advance.

これらの保管された選択フレームからのフレームが、コマンドに応答して検索され、コマンドを発行するために、グラフィカルユーザーインターフェイスを使用している人間のユーザーのための表示、さらに、コマンドを発行している画像分析システムによりさらに自動化された画像分析など、さまざまな目的のために使用される。 Frames from these the stored selected frame is retrieved in response to a command, to issue a command, the display for human user using a graphical user interface, further issues a command an image analysis which is further automated by image analysis system are, used for a variety of purposes.

フレームが人間のユーザーのために表示される実施例では、一般的には一度にいくつかのフレームを表示することが望ましいが、典型的にはユーザーが各画像で有用な詳細を見るために十分なディスプレイ解像度で記録した画像を一度にすべて表示することは実用的ではない。 In the example frame is displayed for the human user, but in general it is desirable to display several frames at a time, typically sufficient to help users see useful details on each image it is not practical to display all the recorded images at a display resolution at a time. 本発明に従い、記録されたフレームの一部が一度に表示される。 In accordance with the present invention, a part of the frame recorded is displayed at a time. ユーザーは、表示される部分を前後に移動するスクロールコマンドを発行することにより、表示される部分を選択する。 The user, by issuing a scroll command to move the portion to be displayed before and after, to select a portion to be displayed. 一度に表示される部分は、数個のフレームを含むことが好ましいが、最低1つのフレームを含むことができる。 Portion displayed at a time, it is preferable to include several frames may include at least one frame.

例示的実施形態として、フレームはグラフィカルユーザーインターフェイス(GUI)を使用して表示される。 In the illustrative embodiment, the frame is displayed using a graphical user interface (GUI). 一度に表示されるフレーム部分は、GUIの「映写スライドウィンドウ」に含まれており、低解像度の連続した「サムネイル」画像としてフレーム部分を表示する。 Frame portion to be displayed at a time are included in the "filmstrip window" of GUI, and displays the frame portion as a low-resolution continuous "thumbnail" images. サムネイル画像の解像度は、有用な数の画像を一度に見ることができるに十分な低解像度にも、各画像の詳細を見ることができる高解像度にも選択される。 Resolution of the thumbnail image, also low enough resolution to be able to see the useful number of images at a time, even a high resolution can see the details of each image is selected. スクロールコマンドは、従来のGUI要素により提供される。 Scrolling commands is provided by a conventional GUI elements.

この例示的実施例は、さらに、画像表示ウィンドウにおいて、完全な解像度で前記フレーム部分の1個のフレームを表示する。 The illustrative embodiment further, in the image display window to display one frame of the frame portion in full resolution. スクロールコマンドにより映写スライドを前後に移動すると、画像表示ウィンドウに表示されるフレームも前後に移動する。 Moving the filmstrip back and forth by the scroll command, also a frame to be displayed on the image display window is moved back and forth.

例示的実施例では、視野において事象が発生したという証拠は、事象が発生しているまたは発生した信用レベルを示す、「事象検出加重」と呼ばれる値の形で各フレームに取得される。 In the exemplary embodiment, events in the field of view is evidence that occurred, indicating the trust level events which have or has failed, are acquired in each frame in the form of a value called "event detection weight". 前記値は、信用レベルの高低を示す簡単なはい/いいえの選択、信用レベルの範囲を示す数字、または証拠を伝達する情報の任意の項目のことがある。 The value may of any item of information to transmit credit level simple yes / no choice indicates the level of the numbers indicating the range of trust levels or evidence. このような数の一例は、ファジー論理値と呼ばれるもので、詳細は後述される。 An example of such a number is called a fuzzy logic value, details will be described later. 画像から完璧な決定を下すことができる機械はないので、不完全な証拠を基本にして決定することになる。 Since the machine does not capable to make a perfect determined from the image, it will be determined in the basic incomplete evidence.

事象検出加重は、フレームの1つ以上の対象領域上の画像分析演算により、各フレームに対して取得される。 Event detection weights, by image analysis operations on one or more target regions of the frame, is obtained for each frame. 例示的実施形態では、各画像分析演算は、対象領域のピクセル値を基本にして測定を計算するが、測定は領域の光量、パターン、またはその他の特徴に対応する。 In an exemplary embodiment, the image analysis operations is to calculate the measured pixel value of the target area on the base, the measurement corresponds to the light intensity, pattern, or other features, regions. 測定は、閾値演算により論理値に変換され、対象領域から取得された論理値は、フレームの事象検出加重を計算するために組み合わされる。 Measurements are converted to a logical value by the threshold value operation, logical values ​​acquired from the target region are combined to calculate the event detection weight of the frame. 論理値は、バイナリまたはファジー論理値で、閾値と論理の組み合わせは必要に応じてバイナリまたはファジーである。 Logic value, in the binary or fuzzy logic values, the combination of thresholds and logic is a binary or fuzzy if necessary.

例示的実施例では、以下の場合の事象フレームは連続フレームのセットである。 In an exemplary embodiment, the event frame if the following is a set of consecutive frames.
・セットの最初と最後のフレームの事象検出加重が閾値を超える場合。 If the of the set first and event detection weight of the last frame exceeds a threshold.
・最後のフレームの後に、事象検出加重が閾値を超えないフレームが少なくとも一部の決定済みの個数だけある場合。 - after the last frame, when the frame event detection weight does not exceed the threshold value there is only the number already determined for at least some.
・フレームセットの事象検出加重が一部の決定済み条件を満足する場合。 • If the frame set of event detection weights to satisfy a portion of the already-determined conditions.

この目的のために、任意の適切な条件を定義してもよいが、条件は下記のものに限定される: For this purpose, it may define any suitable conditions, conditions are limited to the following:
・セットにあるフレームの個数、 - the number of frames in the set,
・平均事象検出加重、 Average event detection weight,
・事象検出加重合計、 · Event detection weighted sum,
・事象検出加重の中央値、 Median event detection weight,
・事象検出加重が閾値を超える、セットにあるフレームの個数またはフレームの割合。 - event detection weight exceeds the threshold value, the ratio of the number or frame of frames in the set.

本発明により記録されるフレームは、取得された時間でスタンプされることが望ましい。 Frames to be recorded by the present invention, it is desirable that the stamped with the obtained time. 事象の詳細調査を可能にするために、タイムスタンプは、例えば、時刻ではなく、事象自体の発生時間に相対的にタイムスタンプすることが最も有用である。 To enable detailed examination of events, the time stamp, for example, not the time, it is most useful to relatively timestamp the time of occurrence of the event itself. 事象フレームは事象の全体的な時間範囲を定義するが、特定時間は定義しない。 Event frame defines the overall time range of events, but the specific time is not defined. 事象の特定の有効な時間を取得するには、視覚検出器の方法と装置で開示されたようにマークタイプを使用することがある。 To obtain a certain effective time events may use the mark type as disclosed in the method and apparatus of the visual detector. 開示されているように、記録時間は、物体が一部の架空の固定基準点を交差する時間であり、開示に従い正確に計算できる。 As disclosed, the recording time, the object is time to cross a part of the imaginary fixed reference point can be calculated precisely according to the disclosure.

しかしながら、すべての事象が基準点を交差する物体に対応するわけではない。 However, not all events corresponding to the object that intersects the reference point. 例えば、事象は、視野で機械構成要素が前後に移動するストローク動作に対応することがある。 For example, events, machine component in field of view may correspond to a stroke motion of moving back and forth. このような場合、記録時間は、通常、基準点の交差ではなく、ストロークの頂点として定義することがより有用になる。 In this case, the recording time is usually not the intersection of the reference point, be defined as the vertex of the stroke becomes more useful. 基準点の周囲の動作は、フロー事象と呼ばれ、前後の動作はストローク事象と呼ばれる。 Operation around the reference point is called the flow event, before and after the operation is called a stroke event. 本発明は、フローとストローク事象のいずれかを選択するための方法およびシステム、および、ストローク事象の記録時間を計算するための方法およびシステムを含む(フロー事象のための記録時間は視覚検出器の方法と装置で開示された)。 The present invention relates to a method and system for selecting one of the flow and the stroke events, and recording time for the (flow events including methods and systems for calculating the recording time of the stroke event visual detector It disclosed a method and apparatus).

本発明による事象検出は、視覚検出器の方法と装置で開示された視覚事象検出の例であり、「視覚事象検出の方法は連続したフレームの取得と事象が発生するまたは発生した証拠を決定するための各フレームの分析に関与する」と説明される。 Event detection according to the present invention, an example of the disclosed visual event detected by the method and apparatus of the visual detector, the method of "visual event detection determines the evidence acquisition and events that are or occur the occurrence of consecutive frames It is described to be involved "in the analysis of each frame for. 本明細書で開示されるように、視覚事象検出は、主に、検出される事象が視野を通過する別々の物体に対応して、一般的に物体を点検することが好ましい実施例に対して向けられる。 As disclosed herein, visual event detection, primarily in response to a separate object event detected passes through the field of view, with respect to the preferred embodiment that typically inspect the object directed. 読み手は、本明細書に開示される物体検出加重と物体通過スコア、および、本発明で使用される事象検出加重の間に非常な類似性があることに気づくであろう。 Reader is object detection weights and object passing score as disclosed herein, and will be aware that during the event detection weights used in the present invention has great similarity. 確かに、物体検出加重または物体通過スコアを取得するために本明細書に開示された任意の方法または装置は、事象検出加重を取得するために使用できる。 Indeed, any method or apparatus disclosed herein to obtain the object detection weight or object passing score can be used to retrieve the event detection weight. 唯一の違いは、これらの加重やスコアが取得されるやり方ではなく、使用される目的である。 The only difference is, not in a way that these weights and scores are obtained, an object to be used.

さらに、物体が視野を通過したことを検出、またはさらに具体的には、不良物体が視野を通過したことを検出することは、本発明に従い事象を検出、記録および検索するために望ましいことがある事象の例である。 Further, detecting that an object has passed through the field of view, or more specifically, to detect that the failure object has passed through the field of view, detect events in accordance with the present invention, it is desirable to record and search it is an example of an event. 確かに、視野を通過する物体を検出することと、上記の例のように誤差範囲に入る機械構成要素を検出することにはほとんど違いはない。 Indeed, the method comprising: detecting an object passing through the field of view, there is little difference in detecting the mechanical components entering the error range as in the example above. このように、視覚検出器の方法と装置の開示は、一般的に本発明の例示的実施形態と考えることができ、記録および検索方法およびシステム、および改善された事象検出方法およびシステムは本明細書の開示により追加される。 Thus, the disclosed methods and apparatus of the visual detector, generally can be considered as an exemplary embodiment of the present invention, recording and retrieval method and system, and improved event detection method and system herein It is added by the disclosure of the book.

本発明は、添付の図面と併せて詳細な説明を読むことで明らかになるであろう。 The present invention will become apparent by reading the details in conjunction with the accompanying drawings described.

本発明による視覚事象の検出、記録および検索のためのシステムの説明的実施例を示す。 Detection of visual event according to the invention, showing the illustrative embodiment of a system for recording and retrieval. この場合、事象は製造ラインを移動する物体の不良ラベルの適用に相当する。 In this case, the event corresponds to application of a defective label object moving production line. 本発明による事象を検出するシステムのための典型的な操作サイクルを説明するタイムラインを示す。 It shows a timeline illustrating a typical operating cycle for the system to detect the event in accordance with the present invention. 例示的実施形態により実施される分析手順を説明するフローチャートを示す。 A flowchart illustrating the analysis procedure performed by the illustrative embodiment. 例示的実施形態において、視覚事象検出のために証拠がどのように加重されるかを示す。 In an exemplary embodiment, indicating how the weighted evidence for visual event detection. 例示的実施形態において事象検出のために収集されて使用されるデータを示す。 Showing data is collected and used for event detection in an exemplary embodiment. 本発明によるシステムの概要図を示す。 It shows a schematic diagram of a system according to the present invention. 本発明によるシステムの一部として使用できるビジョン検出器の説明的実施例のブロック図を示す。 It shows a block diagram of an illustrative embodiment of a vision detector that can be used as part of a system according to the present invention. 例示的実施形態において、物体が存在するかどうか、検査に合格するかどうかの判断など、証拠を加重して決定するために使用されるファジー論理要素を示す。 In the exemplary embodiment, whether the object is present, such as inspection of whether to pass judgment shows fuzzy logic elements used to determine weighted evidence. 例示的実施形態により、フレームを分析し、決定し、入力を感知し、出力信号を制御するために使用されるソフトウェア要素(例えば、コンピュータ読み込み可能媒体のプログラム命令)のセットの組織を示す。 The exemplary embodiment analyzes the frame, determined by sensing an input, indicating a set of tissue software elements that are used to control the output signal (e.g., program instructions computer-readable medium). 視覚事象検出の例示的実施形態をさらに説明するために使用される、事象検出パラメータのユーザー設定のためのHMI部分を示す。 It is used to further illustrate an exemplary embodiment of a visual event detection, indicating the HMI portion for user settings event detection parameters. ある物体例に誤って適用されたラベルを検出するために使用されることがある、ビジョン検出器の設定例の一部を示す。 May be used to detect the labels applied incorrectly an object example, shows part of a configuration example of a vision detector. 図11の例のセットアップに対応する設定の別の部分を示す。 It shows another portion of settings corresponding to the setup of the example of FIG. 11. ラベル適用アームに対して誤った位置にある物体例を検出するために使用されることがある、ビジョン検出器の設定例の一部を示す。 May be used to detect objects example is in the wrong position relative to the label application arm, showing a part of configuration example of a vision detector. 図13のセットアップ例に対応する設定の別の部分を示す。 It shows another portion of the corresponding set up the example of FIG. 13. 製造サイクルで、伸び不足または伸び過ぎのラベル適用アームを検出するために使用されることがある、ビジョン検出器の設定例の一部を示す。 In the production cycle, may be used to detect the label application arm elongation missing or stretch too, shows a part of a configuration example of a vision detector. 図15のセットアップ例の伸び不足または伸び過ぎのアームを検出するためにどのように証拠を加重するかを示す。 How indicate weight the evidence to detect arm elongation missing or stretch too far up the example of FIG. 15. 連続ウェブの欠陥に対応する事象を検出するために本発明を設定する1つの方法を示す。 It shows one way to configure the present invention to detect event corresponding to the defect of the continuous web. 出力信号を事象の発生時間にどのように同期するかを説明するために使用されるタイミング図を示す。 It shows a timing diagram used to explain how to synchronize the output signals to the time of occurrence of events. ストローク事象の場合に記録時間がどのように計算されるかを示す。 It indicates recording time when a stroke event how is calculated. 出力信号のユーザー設定のためのHMIの部分を示す。 It shows the HMI portion for user setting of the output signal. 検出された事象の画像を記録するためのメモリ配列を示す。 A memory array for recording an image of the detected event. 映写スライドウィンドウと画像表示ウィンドウを含み、事象に対応して記録され検索された画像を表示するグラフィカルユーザーインターフェイスの一部を示す。 It includes a projection sliding window and the image display window, showing a portion of a graphical user interface that displays an image retrieved is recorded corresponding to the event.

[本発明の基本動作] Basic operation of the present invention]
図1は、生産ラインで発生することがある一定の事象を検出して、事象の画像を記録および検索するように設定されるビジョン検出器の例示的実施形態を示す。 Figure 1 shows detect certain events that may occur on the production line, an exemplary embodiment of a vision detector set to record and retrieve images of an event. コンベア1 00は、物体例110、112、114、116および118などの物体を運搬し、物体112のラベル120のように、各物体にラベルを貼る動作をするラベル貼り機械160を左から右に通過する。 Conveyor 1 00, carrying an object, such as object Examples 110, 112 and 118, like the label 120 of the object 112, to the right labeling machine 160 to operate to label each object from the left pass. ラベル貼り機械160は、各ラベルを各物体に貼り付けるように動作する運動アーム162を含む。 Labeling machine 160 includes a motion arm 162 that operates to paste the label to each object. ラベル貼り機械160とアーム16 2は、本発明を説明する目的で示されており、必ずしも工業生産においてラベルを貼るために使用される任意の特定の機械を示すものではない。 Labeling machine 160 and the arm 162 is shown for the purpose of illustrating the present invention does not necessarily indicate any particular machine used in order to label the industrial production.

ラベル貼り機械160は、ときには誤動作することがあり、例えば、物体116の表面で右下角が曲がっているように、誤って貼られたラベル122が発生する。 Labeling machine 160, sometimes may malfunction, for example, as bent lower right corner on the surface of the object 116, a label 122 affixed incorrectly generated. 多くの工業生産ラインは、光検出器、マシンビジョンシステム、またはビジョン検出器のように、不良品116を検出して不合格にするために、ある形式の自動光電気検出を使用する。 Many industrial production lines, optical detectors, machine vision systems, or as a vision detector, in order to reject to detect defective products 116, using automatic light electrical detection of some form. このような検査は、不良品が消費者に届けられることを防ぐことにおいて価値があるが、そもそも不良品が製造されることを防ぐためには役立たない。 Such testing is of value in preventing that the defective product is delivered to the consumer, the first place defective products does not help to prevent is produced. 本発明の1つの目的は、不良品が実際に作成されていることを示す画像を提供することにより、製造技術者が不良品の原因を診断して修正することを支援することである。 One object of the present invention is to provide an image showing that the defective products are actually created, it is to assist the manufacturing engineer to diagnose and correct the cause of defective products.

コンベア100は、物体を製造目的で運搬することに加えて、物体とビジョン検出器130の視野の間に相対的運動を発生させる。 Conveyor 100, in addition to transporting the object in the production object, to generate a relative movement between the field of view of the object and vision detector 130. ほとんどの製造ラインでは、コンベアの動きは、ビジョン検出器130により受信でき、視覚検出器の方法と装置および本明細書で開示されるさまざまな目的で使用される、信号140を発生するシャフトエンコーダ132により追跡される。 In most production lines, the movement of the conveyor can receive a vision detector 130, is used for various purposes disclosed methods and apparatus herein visual detector, shaft encoder 132 which generates a signal 140 It is tracked by. 例えば、信号140は、ビジョン検出器130により、記録点と呼ばれる、物体112が架空の基準点150を交差する時点への基準として使用できる。 For example, the signal 140, the vision detector 130, referred to as a recording point can be used as a reference to the time when the object 112 intersects the imaginary reference point 150.

ビジョン検出器130は、適切な視覚条件を基本にして、視野において発生することがある一定の事象を検出する。 Vision detector 130, the appropriate visual conditions in the basic, detects a certain event that may occur in the field. 図1の例示的実施形態では、事象は、アーム162によりラベルを誤って貼ることに相当し、以下でさらに説明されるようにさまざまなやり方で検出できる。 In the exemplary embodiment of FIG. 1, the event corresponds to be affixed incorrectly labeled by the arm 162, can be detected in various ways as described further below. 画像は、事象前、事象中、および事象後に記録される。 Image, before events are recorded in the event and after the event. 製造技術者のような人間のユーザーは、ラベルが誤って貼られてしまう機械の問題を診断できるように、記録された画像を検索するために、信号142を経由して、ヒト−マシンインターフェイス134と相互にやり取りする。 The human user, such as a manufacturing engineer, to allow diagnosis of the machine would affixed incorrectly label problems, to find the recorded image, via signal 142, human - machine interface 134 each other to interact with.

別の実施例では、ビジョン検出器を通過するのは、個別の物体ではなく、材料が連続して流れる。 In another embodiment, to pass a vision detector, not individual objects, flows material continuously. 例えば、ウェブ上には、以下に提供される例がある。 For example, on the web, there are examples provided below. 事象検出、記録および検索の目的では、個別の物体と材料の連続した流れではほとんど違いはない。 Event detection, the recording and retrieval of objects, there is little difference in the continuous flow of individual objects and materials.

図2は、事象を検出して画像を記録するように構成されるビジョン検出器の典型的な操作サイクルを説明するタイムラインを示す。 Figure 2 shows a timeline illustrating a typical operating cycle of the configured vision detector to record an image by detecting the event. ボックス220のような「c」のラベルが付けられたボックスは、画像の取得を表す。 Labeled box "c" as in box 220, represents the acquisition of the image. ボックス230のような「a」のラベルが付けられたボックスは分析を表す(分析ステップは以下でさらに分割され説明される)。 The box labeled "a" as in box 230 represents the analysis (analysis step is described further divided below). 例えば、分析ステップ230が取得ステップ220で取得される画像を分析するように、次の画像の取得「c」が現在の画像の分析「a」とオーバーラップすることが好ましい。 For example, analyzed as step 230 to analyze the images acquired by the acquisition step 220, the acquisition of the next image "c" is preferably overlapping analysis of the current image "a". このタイムラインでは、分析にかかる時間は、取得より短いように示されているが、一般的に、アプリケーションの詳細により、分析にかかる時間は取得より短いことも長いこともある。 In this timeline, the time required for analysis, are shown as shorter than the acquisition, in general, the details of the application, the time required for analysis is sometimes also longer shorter than acquisition.

取得と分析が重複していれば、ビジョン検出器が画像を分析して分析する速度は、取得時間と分析時間のうち長くかかる時間により決定される。 If acquisition and analysis if overlap vision detector speed to be analyzed by analyzing the images is determined by the time longer among the acquired time and the analysis time. これが「フレームレート」である。 This is the "frame rate".

タイムラインの部分220は第一の事象に相当し、5個の事象フレームの取得と分析を含む。 Portion 220 of the timeline corresponds to the first event, including analysis and acquisition of five events frame. 第二の部分202は、第二の事象に相当し、3つの事象フレームを含む。 The second portion 202 corresponds to the second event comprises three events frame.

本明細書に記載する例示的実施形態において、事象検出のための取得画像の分析は、次のような3つの主な下位ステップを含む。 In the exemplary embodiments described herein, the analysis of the acquired images for event detection includes three main substeps as follows.
・ある1つのフレームにおいて事象が発生している、または発生したことを示す証拠を評価するための視覚分析ステップ・検出される事象が発生している可能性のある、「候補フレーム」と呼ばれる連続したフレームのセットを識別するためのアクティビティ分析ステップ・検出される事象が候補フレームのセットで発生したかどうかを決定するための事象分析ステップ。 - In certain one frame event is occurring, or events that are visual analysis step detection for evaluating the evidence that has occurred that may have occurred, consecutive termed the "candidate frame" event analysis step for activity analysis step the detected events to identify a set of frames to determine whether the generated set of candidate frame.

各視覚分析ステップは、個別のフレームで事象が発生していることを示す証拠を検討する。 Each visual analysis step, consider the evidence that events in individual frames is generated. 証拠が明らかなフレームは「アクティブ」と呼ばれる。 Evidence is clear frame is referred to as "active". アクティブフレームの分析ステップは、例えば、分析ステップ240のように、太い枠線で示される。 Analysis steps of the active frames, for example, as analytical step 240, indicated by a thick border. 本明細書で検討される例示的実施形態において、この証拠は、以下および視覚検出器の方法と装置において開示されたように、フレームの1個以上の対象領域の画像分析演算により計算される、事象検出加重(以下でさらに説明される)と呼ばれるファジー論理値により表される。 In the exemplary embodiments discussed herein, this evidence, as disclosed in the method and apparatus described below and visual detector, is calculated by image analysis calculation of one or more target regions of the frame, represented by fuzzy logic value called an event detection weight (hereinafter further described).

各アクティビティ分析ステップは、直近のフレームセット内で事象が発生しているまたは発生したことを示す証拠を検討する。 Each activity analysis step, consider the evidence that event has from or occurring occurred within the last frameset. 本明細書で検討される例示的実施形態においては、事象検出は、事象が発生していることを示すなんらかの証拠があるということが明らかな「アクティブ状態」、またはそのような証拠はほとんどないことを示す「非アクティブ状態」にあることが検討される。 In the exemplary embodiments discussed herein, event detection, it is obvious "active" or hardly such evidence, the fact that some evidence exists to indicate that the event has occurred It is considered to be in "non-active state" indicating. アクティビティステップの1つの機能は、この状態を決定することである。 One function of activity steps is to determine the state. 例示的実施形態において、非アクティブ状態からアクティブ状態への移行は、アクティブフレームが発見されるときに行われる。 In the exemplary embodiment, transition from the inactive state to the active state is performed when the active frame is found. アクティブ状態から非アクティブ状態への移行は、ある数の連続的な非アクティブフレームが発見されるときに行われる。 Transition from the active state to the inactive state is performed when the consecutive inactive frames of a certain number are found. 候補フレームは、最初のアクティブフレームから始まり、最後のアクティブフレームで終わる連続的なフレームのセットを含み、その間に非アクティブなフレームを含む場合がある。 Candidate frame starts with the first active frame includes a set of consecutive frames ending with the last active frame, it may include a non-active frames in between. アクティビティ分析ステップの別の機能は、候補フレームのセットを記述するデータを収集することである。 Another function of the activity analysis step is to gather data describing a set of candidate frame.

その後、各事象分析ステップは、先行のアクティビティ分析ステップにより収集された証拠を確認することにより、候補フレームの間に事象が発生したことを示す証拠を検討する。 Thereafter, the event analysis step, by confirming the previous activity analysis evidence collected by step, event between the candidate frame is considered evidence that occurred. 本明細書で検討される例示的実施形態では、アクティブ状態から非アクティブ状態への移行が行われるたびに、事象分析ステップが実施される。 In the exemplary embodiments discussed herein, whenever a transition to the inactive state is made from the active state, event analysis steps are performed. 候補フレームを記述するデータが確認され、事象が発生したと結論付けるに十分な証拠が明らかになれば、候補フレームは事象フレームと見なされる。 Confirmed that describes data candidate frame, if revealed sufficient evidence to conclude that an event has occurred, the candidate frame is considered an event frame. 記録およびその他の適切なアクションが、後述のように実施される。 Recording and other appropriate action is performed as described below.

本発明の範囲内では、視覚、アクティビティ、および事象分析を実施するために、さまざまな方法が使用される。 Within the scope of the present invention, visual, activity, and to implement the event analysis, various methods are used. 一部は以下および視覚検出器の方法と装置で説明されるが、その他の多くは当業者に明らかである。 While some are described in the methods and apparatus described below and visual detector, many other apparent to those skilled in the art.

図2の例では、第一の事象200の事象検出は、分析ステップ240に対応する第一のアクティブなフレームでアクティブ状態に入り、分析ステップ246と248に対応する2つの連続する非アクティブフレームで終わる。 In the example of FIG. 2, event detection of the first event 200 enters the active state in the first active frame corresponding to the analysis step 240, in two consecutive inactive frames that correspond to the analysis step 246 and 248 ending. 分析ステップ242に対応する第一の事象である単独の非アクティブフレームは、非アクティブ状態に入るには十分ではない。 First inactive frame alone is an event corresponding to the analysis step 242 is not sufficient to enter the inactive state.

非アクティブ状態に入るとき、例えば、分析ステップ248の終わりで、事象分析ステップが実施される。 When entering the inactive state, for example, at the end of the analysis step 248, event analysis steps are performed. 候補フレームは、分析ステップ240で始まり、分析ステップ241で終わる5個の事象フレームである。 Candidate frame begins with the analysis step 240, it is five events frame ending in the analysis step 241. この例では、事象分析ステップは、事象が発生したという結果を出しており、第一番目のセットの記録フレーム210の記録を生じさせる。 In this example, event analysis step has issued a result that an event has occurred, causing the recording of the record frame 210 of the first second set. 第二番目の事象202の同様な分析の結果、第二番目のセットの記録フレーム212を記録する。 Similar analysis of the results of the second event 202, records the record frame 212 of the second set.

以下で説明されるように、視野を通過するときのアクティブフレームの物体の位置を検討することにより、ビジョン検出器は、事象が発生した正確な時間を表す記録時間250と252を推算する。 As described below, by considering the position of the object of an active frame as it passes through the field of view, vision detector to estimate the recording time 250 and 252 representing the exact time the event occurred. タイムスタンプは、それぞれの記録されたフレームのために保管され、記録時間とこのようなそれぞれの記録されたフレームに対応するシャッタータイムの間の相対時間を示す。 Timestamp stored for each recorded frame, indicating the relative time between the recording time and the shutter time corresponding to such respective recorded frame such.

非アクティブ状態への移行が行われると、ビジョン検出器は、例えば、第一のアイドルステップ260と第二のアイドルステップ262のような、アイドルステップに入ることがある。 When the transition to the inactive state is made, the vision detector, for example, a first idle step 260, such as a second idle step 262, it may enter an idle step. このようなステップはオプションであるが、いくつかの理由により好ましいことがある。 Although such steps are optional, it may be preferred for several reasons. 事象間の最低時間が知られている場合は、新しい事象が発生し得る直前まで、事象を探す必要はない。 If the minimum time between events is known, until just before the new events may occur, it is not necessary to look for the event. アイドルステップは、事象が発生できないときに、誤った事象検出の機会を削除し、アイドルステップの間、ライトをオフにできるので、照明システムの寿命を延ばすことになる。 Idle step, when an event is not generated, remove the opportunity of false event detection, during the idle step, it is possible to turn off the light, thereby extending the life of the lighting system.

図3は、事象検出の分析ステップの詳細を提供するフローチャートを示す。 Figure 3 shows a flow chart that provides details of the analysis steps of the event detection. 破線枠のボックスは、フローチャートにより使用されるデータを表す。 Dashed frame boxes represent the data used in the flowchart. フローチャートブロックを囲む角が丸い四角は、視覚分析ステップ310、アクティビティ分析ステップ312および事象分析314などの分析の区画を示す。 Corners rounded rectangle surrounding the flowchart block shows visual analysis step 310, the section of analysis, such as the activity analysis steps 312 and event analysis 314.

アクティブフラグ300は、アクティビティ分析ステップにより使用されるアクティブ/非アクティブ状態を保存する。 Active flag 300 stores the active / inactive state used by the activity analysis step. アクティビティ分析ステップにより収集されたデータは、アクティブデータ302と非アクティブデータ304に保存される。 The data collected by the activity analysis step is stored active data 302 inactive data 304. アクティブフレームの値は、アクティブデータ302に直接追加される。 The value of the active frame is added directly to the active data 302. 非アクティブフレームの場合は、アクティブ分析ステップは、フレームが候補フレームのセットの一部であるかどうかは、後のフレームの状態によるので、まだ不明である。 In the case of non-active frames, active analysis step, it is whether or not the frame, which is a part of the set of candidate frame, because due to the state of post-frame, is still unknown. このため、非アクティブフレームの値は非アクティブデータ304に追加される。 Therefore, the value of the inactive frames are added to the inactive data 304. 非アクティブ状態への移行が行われる前にアクティブフレームが続いて発見されれば、非アクティブデータ304はアクティブデータ302に追加されて、クリアされる。 If it is found followed by active frame before the transition to the inactive state is performed, the inactive data 304 is added to the active data 302, are cleared. 非アクティブ状態への移行の時点で残っている非アクティブデータ304は、廃棄される。 Inactive data 304 remaining at the time of transition to the inactive state is discarded. 両方のデータは、追加されたフレームの個数を含む。 Both data includes the number of additional frames.

図3の例示的実施形態では、フローチャートは、各フレームで一度、取得ブロック320から連続ブロック324まで、何度も実行される。 In the exemplary embodiment of FIG. 3, the flowchart once in each frame, the acquisition block 320 to continuously block 324 is executed many times. 取得ブロック320は、フレーム取得により分析を同期化して、次のフレームの取得を現在のフレームの分析と重複させる。 Acquisition block 320 is to synchronize the analysis by the frame acquisition, to overlap the acquisition of the next frame and analysis of the current frame. 視覚分析ブロック322は、視覚分析ステップを実施し、取得された画像の分析から、事象検出加重dを計算する。 Visual analysis block 322, implement a visual analysis step, the analysis of the acquired image, calculates the event detection weight d.

次に、アクティビティ分析ステップ312が実施される。 Then, the activity analysis step 312 is performed. アクティブブロック330は、アクティブフラグ300をテストして、事象検出の現在の状態を決定する。 Active block 330 tests the active flag 300 to determine the current state of the event detection. 事象検出が非アクティブであれば、第一の閾値ブロック340は、閾値t に対してdを比較することにより、現在のフレームのアクティブ/非アクティブ状況を決定する。 If the event detection is inactive, the first threshold value block 340, by comparing the d against a threshold t d, to determine the active / inactive status of the current frame. 事象検出加重dが閾値t より大きくなければ、フレームは非アクティブで、アクティブ分析は現在のフレームで終了する。 Be greater than the threshold t d event detection weight d, the frame is inactive, active analysis ends at the current frame. 事象検出加重dが閾値t より大きければ、フレームはアクティブで、アクティブ移行ブロック342はアクティブフラグ300を設定し、初期化ブロック344は、現在のフレームの値を使用してアクティブデータ302を初期化し、非アクティブデータ304をクリアする。 Larger than the event detection weight d threshold t d, the frame is active, the active transition block 342 sets the active flag 300, the initialization block 344, the active data 302 and initialized with the value of the current frame , to clear the non-active data 304.

アクティブブロック330が現在の状態がアクティブであると決定すれば、第二の閾値ブロック346が、dを閾値t に比較することにより、現在のフレームのアクティブ/非アクティブ状態を決定する。 If determined that the active block 330 is active the current state, the second threshold block 346, by comparing the d threshold t d, to determine the active / inactive state of the current frame. dが閾値より大きくなければ、フレームは非アクティブであり、カウントテストブロック350は非アクティブデータ304のフレームカウントを参照して、連続の非アクティブフレームのパラメータk以上が発見されたかどうかを決定する。 Be greater than d threshold, the frame is inactive, the count test block 350 refers to the frame count of inactive data 304 to determine whether more parameters k of the inactive frames of successive were found. 発見されていなければ、非アクティブ更新ブロック354は、現在のフレームからの値を追加することにより(フレームカウントを1つ大きくすることも含む)、非アクティブデータ304を更新する。 If not found, the inactive update block 354 by adding the value from the current frame (including by increasing one frame count), and updates the inactive data 304. 発見されていれば、非アクティブ移行ブロック352はアクティブフラグ300をクリアして、実行は事象分析ステップ314に続く。 If it is found, the inactive transition block 352 clears the active flag 300, execution continues to event analysis step 314.

第二の閾値ブロック346が、現在のフレームがアクティブであると決定すれば、アクティブ更新ブロック360は、現在のフレームと非アクティブデータ304両方からの値を追加することにより、アクティブデータ302を更新する。 Second threshold block 346, if the determination current frame to be active, active update block 360, by adding the value of the non-active data 304 both the current frame, updates the active data 302 . そして、クリアブロック362は、非アクティブデータ304をクリアする。 Then, the clear block 362 clears the inactive data 304.

アクティビティ分析ステップ312が、アクティブ状態から非アクティブ状態への移行を行えば、事象分析ステップ314が実施される。 Activity analysis step 312, by performing the transition from the active state to the inactive state, event analysis step 314 is performed. 条件ブロック370は、アクティブデータ302をテストして、事象が発生したかどうかを決定する。 Condition block 370 tests the active data 302 to determine whether an event has occurred. 発生していなければ、収集データは無視されて、実行が継続する。 If not occur, the collected data is ignored and execution continues. 発生していれば、事象ブロック372は、以下でさらに説明するように、記録のためのフレームを記録する。 If occurs, an event block 372, as further described below, records the frame for recording. アイドルブロック374は、継続前のアイドル間、待機する。 Idle block 374, between before continuing idle, waiting.

図4は、例示的実施形態の分析ステップをさらに説明しており、本発明の基本的操作を理解するために、図2のタイムラインと図3のフローチャートと合わせて使用する。 Figure 4 further describes the analysis steps of the exemplary embodiments, in order to understand the basic operation of the present invention, used in conjunction with the flow chart of the timeline and 3 in Figure 2.

図4は、例示的実施形態において、事象検出のために証拠がどのように加重されるかを説明する。 4, in the exemplary embodiment is described how it would be weighted evidence for event detection. 上記のように、視野において事象が発生している、または発生したことを示す証拠を構成する情報は、「事象検出加重」と呼ばれる。 As described above, the information that constitutes the evidence that events in the field of view is to have, or occurred occurred is called "event detection weight". 図は、縦軸400の事象検出加重d と水平軸402のフレームカウントiの座標を示す。 The figure shows the coordinates of the frame count i event detection weight d i and the horizontal axis 402 of the vertical axis 400. 各フレームは、直線426のような縦線により表される。 Each frame is represented by a vertical line as a straight line 426. フレームカウントは、任意の整数である。 Frame count is an arbitrary integer.

この実施例では、d は、事象がフレームiで発生していることを示す証拠を表すファジー論理値であり、以下でさらに説明され、視覚検出器の方法と装置で説明された方法を使用して、各フレームのビジョン検出器により計算される。 In this example, d i is the fuzzy logic value representing the evidence that event has occurred in the frame i, described further below, using the method described in the method and apparatus of the visual detector and it is calculated by the vision detector of each frame.

図4の例示的実施形態では、事象検出閾値t は、0.5であるので、d が0.5以上であるフレームはアクティブフレームと見なされる。 In the exemplary embodiment of FIG. 4, the event detection threshold t d, because it is 0.5, frame d i is 0.5 or more is considered active frame. 参考のため、d =0.5の線430が描かれた。 For reference, a line 430 of d i = 0.5 is drawn. アクティブフレームの事象検出加重は、点410のように、黒丸として描かれ、非アクティブフレームの事象検出加重は、点416のように、白丸として描かれる。 Event detection weight of active frames, like the point 410, depicted as black circles, event detection weight of inactive frames, such as the point 416 is depicted as open circles.

図4の例では、事象検出は、フレーム422でアクティブ状態に入り、4つの連続した非アクティブフレームが見られる(この例では、非アクティブフレームカウント閾値k=3)フレーム424の後、非アクティブ状態に入る。 In the example of FIG. 4, event detection enters the active state on the frame 422, four consecutive inactive frames are found (in this example, inactive frame count threshold k = 3) after the frame 424, the inactive state to go into. 候補フレームのセットは、フレーム422で始まり、フレーム426で終わる。 Set of candidate frame begins with a frame 422 and ends at frame 426. 隔離された非アクティブフレーム420は、非アクティブ状態への移行を発生させない。 Inactive frame 420 that is isolated is not generated the transition to the inactive state.

図5は、例示的実施形態において、アクティビティ分析ステップ312により収集され、事象分析ステップ314により使用されるデータの詳細を示すとともに、図4の例も示す。 5, in the exemplary embodiment, it is collected by the activity analysis step 312, along with showing the details of data to be used by the event analysis step 314, also shown example of FIG. この実施例の場合、アクティブデータ302と非アクティブデータ304は、非アクティブ状態への移行がおこなわれるとき、これらのデータを計算するために十分な情報を含む。 In this embodiment, the active data 302 and inactive data 304, when the transition to the inactive state is made, contains sufficient information to calculate these data. 図5のそれぞれのデータは、記号500、以下でさらに説明される、値を定義する機能の記述510、および、図4の例の値が何であるかを示す例520を含む。 Each data in FIG. 5, symbols 500, described further below, and description 510, the ability to define a value includes examples 520 indicating whether the value of the example of FIG. 4 is.

事象が検出されたかどうかを決定するための証拠を加重するための方法の上記の説明は、有用な実施例の一例として意図されているが、本発明の範囲内で使用できる方法に限定されない。 The above description of the method for weighting the evidence to determine whether the event is detected, but is intended as an example of a useful embodiment, not limited to the method that can be used within the scope of the present invention. 例えば、上記で使用された例の定数t =0.5は、任意の適した値で置換されることがある。 For example, the constant t d = 0.5 for example used above may be replaced by any suitable values. 当業者により視覚事象検出の多くの方法が追加される。 Many methods of visual event detection is added by those skilled in the art.

[装置の例] [Example of a device]
図6は、事象の視覚検出、記録、検索に使われる視覚検出器のためのハイレベル・ブロック図を示す。 Figure 6 shows the visual detection of events, recording, a high-level block diagram for a vision detector used in the search. 視覚検出器600は、適切な自動機器610に接続されることができ、そして、それは、信号620を用いて、PLC、拒否作動装置、回転符号器、および/または光検出器を含むことができる。 Visual detector 600 may be connected to a suitable automatic device 610, and it uses the signals 620 can include PLC, reject actuator, rotary encoders, and / or the light detector . これらの接続は、事象の検出、記録、検索の必要はないが、たとえば、視覚検出の方法と装置で教授された、追加の目的のために視覚検出器を使うことが好ましい事例に役に立つことができる。 These connections, detection of an event, recording need not search, for example, was taught by the method and apparatus of the visual detection, it is useful it is preferred case to use a visual detector for additional purposes it can. たとえば、事象が検出されたことを示すのに出力パルスを供給するのに特に好ましい場足がある。 For example, there is particularly preferred field foot for providing an output pulse to indicate that the event has been detected. たとえば、パルスは、視覚検出器の方法と装置に教授されたように、記録時間に遅滞し、同期化し、PLC、作動装置、または、他の装置によって使われる。 For example, pulses, as taught in the method and apparatus of the visual detector, and delay in the recording time, synchronize, PLC, actuators, or are used by other devices.

検出された事象の画像表示の検索のために、視覚検出器は、信号640を用いて、PCや携帯装置のような、ヒューマン・マシン・インターフェイス(HMI)630に接続する。 For image display of the search of the detected event, the visual detector, using a signal 640, such as a PC or a mobile device, connected to the human-machine interface (HMI) 630. HMI630は、また、設定として使われる。 HMI630 is, also, be used as a set. HMI630は、事象の検出と記録のために接続しないようにする必要があるが、もちろん、検索や表示のためには接続しなければならない。 HMI630, it is necessary not to connect for recording and the detection of the event, of course, for retrieval and display must be connected. 信号640は、条件に合ったフォーマット、および/ または、プロトコルで、実行され、有線または無線型で変換することができる。 Signal 640, the format suitable for the condition, and / or a protocol, is executed, it can be converted in a wired or wireless type.

視覚検出器600により記録された事象画像は、また、自動画像分析システム650 により検索され、従来の機械視覚システムを含むが、それらに限定されない。 Recorded event images visually detector 600 is also retrieved by automated image analysis system 650, including a conventional machine vision system, but are not limited to. このようなシステムは、HMI630の使用に固有の人間の分析を必要なしに、超高フレームレートで操作するために設計された視覚検出器で可能であり、更に画像の最新分析するために使われ得る。 Such systems, without the need for analysis of specific human use HMI630, it is possible visually detector designed to operate at ultra high frame rate, is used to date analysis of further image obtain.

図7は、本発明の実行に使用できる視覚検出器の実例となる具体例のブロック図を示す。 Figure 7 shows a block diagram of a specific example illustrative of visual detectors can be used to perform the present invention. デジタル・シグナル・プロセッサ(DSP)700は、取得、分析、記録、HMI交信、視覚検出器により必要とされるいくつかの適切な機能を制御するためのソフトウェアを起動する。 Digital signal processor (DSP) 700, the acquisition, analysis, recording, HMI communication, vision detector activates some software for controlling the proper function required by. DSP700は、電源が取り除かれた場合、プログラムと設定情報を保持するためのプログラム、データ、および、不揮発性メモリのための高速ランダムアクセスメモリを含む、メモリ710に接続される。 DSP700, when power is removed, the program for holding the setting information and program, data, and includes a high-speed random access memory for non-volatile memory, connected to the memory 710. また、メモリ710は、それに続く検索のための記録画像を保持する。 The memory 710 holds the recording image for subsequent retrieval. DSPは、また、自動機器、HMIインターフェイス730、照明モジュール740、撮像装置760への信号を供給するI/Oモジュール720に接続されている。 DSP is also automatic equipment, HMI interface 730, the illumination module 740 is connected to supply the I / O module 720 signals to the imaging apparatus 760. レンズ750は、撮像装置760の光に敏感な要素へ画像を焦点を合わせている。 Lens 750 is focused images into sensitive element to light of the imaging device 760.

DSP700は、デジタル計算、情報保存、ほかのデジタル要素に接続ができる装置であり、汎用コンピュータ、PLC、または、マイクロプロセッサを含むが、それらに限定されない。 DSP700 the digital computation, information storage, a device that can connect to other digital elements, general purpose computer, PLC, or including microprocessor, but is not limited thereto. DSP700は、安価であるが、高フレームレートを操作するには十分な速さがあるので、好ましい。 DSP700 is a cheap, since the manipulating high frame rate is fast enough, preferred. 画像分析を持ち、同時に撮像装置からピクセルデータを受取り、保存ができるので、更に好ましい。 Has an image analysis, it receives pixel data from the imaging device at the same time, since it is stored, further preferable.

図7の実例となる具体例では、DSP700は、マサチューセッツ州のマサチューセッツ州のノーウッドのAnalog Devicesで生産された、ADSP−BF531である。 In the specific illustrative examples of FIGS. 7, DSP 700 has produced in Analog Devices of Norwood, Massachusetts Massachusetts, is a ADSP-BF531. ADSP−BF531DSP700の並列周辺インターフェイス(PPI)770は、撮像装置760からのピクセルデータを受取り、メモリ710の保存のためのダイレクトメモリアクセス(DMA)チャンネル772を通して、メモリ・コントローラー774へデータを送る。 Parallel peripheral interface (PPI) 770 of ADSP-BF531DSP700 receives pixel data from the imaging device 760 through direct memory access (DMA) channel 772 for storage in memory 710, and sends the data to the memory controller 774. 適切なソフトウェア制御の下で、PPI770とDMA772の使用は、DSP700により実行されたその他の分析で同時に画像取得させる。 Under appropriate software control, the use of PPI770 and DMA772 causes simultaneous image acquisition by other analysis performed by the DSP 700. PPI770とDMA772で制御するためのソフトウェア命令は、ADSP−BF533 Blackfin Processor Hardware Reference(品番82−002005−01)とBlackfin Processor Instruction Set Reference(品番82−000410−14)に含まれる、プログラム取扱い説明書に従い、当業者により実行され、ここにある双方を参照することにより組み込まれる。 Software instructions for controlling at PPI770 and DMA772 is, ADSP-BF533 Blackfin Processor Hardware Reference (the part number 82-002005-01) included in the Blackfin Processor Instruction Set Reference (No. 82-000410-14), in accordance with a program instruction manual is performed by a person skilled in the art, it is incorporated by reference both in here. ここで留意すべきは、ADSP−BF531、競合のADSP−BF532とADSP−BF533の装置が、同一のプログラム取扱い説明書を持っていて、適切な価格/実行取引を得るためにこの実例となる具体例で交互に用いられることである。 It should be noted that, ADSP-BF531, device conflict ADSP-BF532 and ADSP-BF533 is, have a same program manual, this illustrative in order to obtain an appropriate price / running transactions Specific it is to be used alternately in the example.

視覚検出器による好ましい高フレームレートは、従来の技術の視覚システムで使われている撮像装置でない、撮像装置の使用を勧めている。 Preferred high frame rate visual detector, not an imaging apparatus that are used in the visual systems of the prior art, recommends the use of an imaging device. 撮像装置は、高価でない照明を用い、非常に短いシャッター時間で、操作できるように、異常に光に敏感であることが好ましい。 Imaging apparatus using the illumination inexpensive, very short shutter times, so that it can be operated, abnormally is preferably sensitive to light. 従来の技術視覚システムよりも更に速いDSPでのピクセルデータのデジタル化、転送することができることが更に好ましい。 Digitized pixel data in a faster DSP than prior art vision systems, and more preferable to be able to transfer. それが、高価でなく、グローバルシャッターを持っていることがなお好ましい。 It is not expensive, it is still preferable to have a global shutter.

これらの物体は、従来の技術の視覚システムで使われた撮像装置よりも、さらに高い感光性で、低い解像度を持つ撮像装置を選ぶことにより、対応することができる。 These objects are than used the imaging device in a vision system of the prior art, at higher photosensitivity, by selecting the imaging device having a lower resolution, it can be supported. 図7の実例となる具体例では、撮像装置760は、カリフォルニア州サンタクララのナショナル・セミコンダクターにより製造されたLM9630である。 In the specific illustrative examples of FIG. 7, the imaging apparatus 760 is an LM9630 manufactured by National Semiconductor of Santa Clara, California. LM9630は、典型的な従来の技術システムよりも約24倍少ない、128×100個、総計で12800個のピクセルの配列を持っている。 LM9630 is typical about 24 times less than prior art systems, 100 128 ×, has an array of 12800 pixels in total. ピクセルは、それぞれ、高い光感受性を持つ、20平方ミクロンの広さである。 Pixels, respectively, have a high photosensitivity, a width of 20 square microns. LM9630は、300マイクロ秒のシャッター時間でのセットが、LED照明を用い、300マイクロ秒にさせるために十分(ほとんどの場合)敏感である場合、毎秒500フレームを供給できる。 LM9630 is 300 set in the shutter time of microseconds, using an LED lighting, 300 (in most cases) sufficient to microseconds be sensitive, can be supplied to 500 frames per second. この解像度は、視覚システムにははるかに低すぎると考えられるが、視覚検出器の方法と装置の物体である検出の特徴には十分である。 This resolution is considered to be much too low for vision system is sufficient for feature detection is an object of the method and apparatus of the visual detector. LM9630の電気的インターフェイスとソフトウェア制御は、2004年の1月のRev 1.0のLM9630データシートに含まれる取扱い説明書に従い、当業者により実行され、それは、ここにある双方を参照することにより組み込まれる。 Electrical interface and software control of the LM9630, according manual included in the LM9630 Data Sheet Rev 1.0 January 2004, is performed by a person skilled in the art, it is incorporated by reference both in here It is.

照明740は、高価でないが、短くシャッター時間をするのに十分な明るさがあることが好ましい。 Lighting 740 is not expensive, it is preferred that there is sufficient brightness to a short shutter time. 実例となる具体例では、630ナノメートルで動作している高輝度の赤いLEDの列は、たとえば、Agilent Technologiesにより製造されたHLMP−ED25を使用している。 In the specific illustrative examples, high-brightness red LED row of operating at 630 nm, for example, using the HLMP-ED25 manufactured by Agilent Technologies. もう一つの具体例では、高輝度の白いLEDは、好ましい照明を実行するのに使われている。 In another embodiment, the white LED of high luminance is used to perform the preferred illumination.

図7の実例となる具体例では、I/Oモジュール720は、出力信号722と724、入力信号726を供給する。 In the specific illustrative examples of FIGS. 7, I / O module 720, the output signal 722 and 724 provides an input signal 726. 入力信号726は、視覚検出器の方法と装置で教授されたように、論理的な観点で適切な接続により、事象検出のために使われる。 Input signal 726, as taught by the method and apparatus of the visual detector, the appropriate connection in a logical point of view, be used for event detection.

次の用語の画像取得装置は、デジタル画像を取得し、保存することを意味する。 Image acquiring apparatus following terms, acquires a digital image, it means to store. 図7 の実例となる具体例では、画像取得装置780は、DSP700、撮像装置760、メモリ710と、関連した電気的インターフェイスとソフトウェア命令を備える。 In the specific illustrative examples of FIG. 7, the image acquisition apparatus 780 includes a DSP 700, an imaging device 760, a memory 710, an associated electrical interface and software instructions.

次の用語の分析器は、デジタル画像に限定されないものを含む、デジタルデータの分析の手段を供給する。 Analyzer following terms, including those not limited to digital images, and supplies the means of analysis of the digital data. 図7の実例となる具体例では、分析器は、DSP700、メモリ710と、関連した電気的インターフェイスとソフトウェア命令を備える。 In the specific illustrative examples of FIG. 7, the analyzer includes DSP 700, a memory 710, associated electrical interface and software instructions.

次の用語の出力信号器は、分析器に応対する出力信号を生産するための手段を供給する。 The output signal instrument following terms provides a means for producing an output signal to wait on the analyzer. 図7の実例となる具体例では、出力信号器784は、I/Oモジュール720と出力信号器722を備える。 In the specific illustrative examples of FIG. 7, the output signal 784 comprises an I / O module 720 and the output signal 722.

次の用語の処理は、いくつかの目的を対象にし、好ましい装置により実行された動作の組織的なセットに参照され、メカニズム、装置、部品、ソフトウェア、または、ファームウェア、対象とする動作を実行するために一つの場所またはいろいろな場所で連携するいかなる合成を含むが、それらに限定されない。 Processing of the next term, the several purposes to a subject, is referred to systematic set of operations performed by the preferred apparatus, the execution mechanism, device, component, software, or firmware, the operation of interest including any synthetic cooperating in one place or many places for, but not limited to.

実例となる具体例では、本発明で使われている様々な処理は、デジタルハードウェア要素とコンピュータソフトウェア命令の相互作用の収集により実行される。 In particular Illustrative examples, various processes are used in the present invention is performed by collecting the interaction of digital hardware components and computer software instructions. ハードウェア要素には例えば下記のようなものがある。 The hardware elements is, for example, as follows.
・好ましいコンピュータソフトウェア命令の制御の下で、汎用情報処理動作を行うDSP700 - preferred under the control of the computer software instructions, DSP 700 that performs general-purpose information processing operation
・画像、データ、コンピュータソフトウェア命令のための保存と検索動作を供給するメモリ710 - image and supplies data, the storage and retrieval operation for computer software instruction memory 710
・本明細書で説明する画像取得動作のような、ほかの要素と組み合わせて供給する撮像装置760 - such as an image acquisition operations described herein, imaging supplies in combination with other elements 760
・インターフェイスと信号動作を供給するI/Oモジュール720 Interface and supplies a signal operation I / O module 720
・ヒューマン・マシン・インターフェイスとして機能するHMIインターフェイス730。 · HMI interface 730 to function as a human-machine interface.

一実施形態において、本明細書に記載する動作を実施するためのコンピュータソフトウェア命令には例えば、下記のようなソフトウェア命令がある。 In one embodiment, the computer software instructions to implement the operations described herein may, for example, software instructions as follows.
・実例となる取得と分析処理の部分を説明する、図3のフローチャートステップ・実例となる決定論理を説明する図8のファジー論理要素・発明を実行するのに使われるソフトウェア要素のセットを示す図9のソフトウェア要素・いかに人間のユーザーが操作するパラメータを選択できるかを示す図10と20のグラフィカル制御。 · Explaining the acquisition and analysis of the processing Illustrative, illustrates a set of software components that are used to perform a fuzzy logic element, the invention of FIG. 8 illustrating the decision logic as the flowchart step illustration of FIG. 3 Figures 10 and 20 graphically control indicating whether 9 software elements, how the human user can select the parameter to be operated.

更に、上記に示したものは、例の一覧のみであることは、当業者により、理解されるであろう。 Furthermore, those indicated above, it is only a list of examples by those skilled in the art will appreciate. それは、完全ではなく、好ましいコンピュータソフトウェア命令は、ここに説明されたいかなる図のために使われた処理を実行するために実例となる具体例で使われ得る。 It is not perfect, the preferred computer software instructions can be used in specific illustrative examples in order to perform the process that was used for any drawing described herein.

本明細書に記載する処理の例には、次のようなものがある。 Examples of the process described herein, are as follows.
・画像取得装置780によって実行される、取得ブロック320(図3)や本明細書に記載されているような他の動作を含む獲得処理・図9に示されている分析器782及び好ましいソフトウェア要素により実行される、図3の部分や、視覚分析ステップ310、活動分析ステップ312、及び事象分析ステップ314のような本明細書に記載される他の動作を含む種々の分析処理・図9に示されている分析器782及び適当なソフトウェア要素により実行される、事象ブロック372や本明細書に記載される他の動作を含む種々の選択処理・図9に示されている分析器782及び適当なソフトウェア要素により実行される、条件ブロック370及び本明細書に記載された他の動作を含む種々の判断処理。 - executed by the image acquisition apparatus 780, acquires the block 320 (FIG. 3) and the specification analyzer 782 and preferably software elements shown in acquisition process and 9 that includes other operations such as those described in executed by, or part of Figure 3, visual analysis step 310, shown in activity analysis step 312, and various analytical processes and 9 include other operations described herein, such as event analysis step 314 performed by the analyzer 782 and appropriate software elements are, the analyzer 782 and suitable are shown in various selection process and 9 include other operations described event block 372 and the specification executed by software elements, various determination processing including the other operations described in conditional block 370 and herein.

当業者には明らかなように、画像取得装置780、分析器782、出力信号器784を実施するために本発明の範囲内で使用可能な、多数の代替の構成、装置、ソフトウェア命令が存在する。 As will be apparent to those skilled in the art, the image acquisition apparatus 780, an analyzer 782, which can be used within the scope of the present invention to implement the output signal 784, a number of alternative configurations, devices, software instructions are present . 同様に、本明細書に記載の処理を実施するために本発明の範囲内で使用可能な多数のソフトウェア命令が存在する。 Similarly, a number of software instructions available exists within the scope of the present invention for carrying out the process described herein.

[ファジー論理意思決定] [Fuzzy logic decision-making]
図8は、事象が起こっているかどうか、または、起こったかどうかを判断することを含む、証拠を検討し、判断するために、具体例で使われるファジー論理要素を示す。 8, whether the event is taking place, or includes determining whether occurred, examined evidence, to determine, showing the fuzzy logic elements used in the specific examples.

ファジー論理値は、ある特定の状態が真であるという信頼度の推定値を示す0〜1の間の数である。 Fuzzy logic value is a number between 0 and 1 with a particular state indicates an estimate of confidence that is true. 1の数値は、状態が真である信頼度が高いことを示し、0は状態が偽であるという高い信頼度を示し、中間値は、信頼の中間レベルを示す。 1 numbers, indicate that the state has higher reliability is true, 0 indicates a high confidence that the state is false, the intermediate value indicates an intermediate level of reliability.

もっと馴染みのあるニ値論理は、信頼値は、0から1に制限される、ファジー論理のサブセットである。 Binary logic more familiar, the confidence value is limited from 0 to 1, is a subset of fuzzy logic. ゆえに、ファジー論理を使うここに記載した具体例は、同等のニ値論理方法または装置で置換されるこれらの値を使い、ファジー論理方法または装置で、別のニ値論理値として使うことができる。 Thus, specific examples described herein using fuzzy logic, use these values ​​to be substituted by the equivalent binary logic method or apparatus, fuzzy logic method or apparatus can be used as a separate binary logic value .

ニ値論理値は、閾値を使うことにより、原測定値から得られるものであるように、ファジー論理値は、ファジー閾値を使うことにより得られる。 Binary logic value, by using a threshold value, as is obtained from the original measurements, fuzzy logic values ​​are obtained by using the fuzzy threshold. 図8を参照すると、グラフ800は、ファジー閾値を示す。 Referring to FIG. 8, a graph 800 illustrates the fuzzy threshold. X軸810は、原測定を示し、f軸814は、ファジー論理値を示し、そのxの範囲は、全ての可能な原測定で、fの値域は、0≦f≦1である機能である。 X-axis 810 represents an original measurement, f-axis 814 represents the fuzzy logic values, the range of the x is in all possible original measuring, range of f is a function which is 0 ≦ f ≦ 1 .

実例となる具体例では、ファジー閾値は、機能824と826上の点に対応して、x軸、低閾値t 820、高閾値t 822で示される、2つの数を備える。 In the specific illustrative examples, fuzzy thresholds, corresponding to the point on the feature 824 and 826, x-axis, low threshold t 0 820, represented by the high-threshold t 1 822, comprises two numbers. ファジー閾値は、次の式で、定義することができる。 Fuzzy thresholds, the following equation can be defined.

ここで留意すべきは、この機能が、t <t である場合、よく機能することである。 It should be noted that, this feature, when a t 1 <t 0, is to function well. 他の機能は、また、シグモイドのような、ファジー閾値として使うことができる。 Other features are also such as sigmoid, can be used as fuzzy threshold.

ここで、tとσは、閾値パラメータである。 Here, t and sigma, a threshold parameter. 簡素であることが目標である具体例では、従来型ニ値閾値は、ニ値論理値を結果として、使うことができる。 In the specific example is a target to be simple, conventional binary threshold, as a result of binary logic values ​​can be used.

ファジー意思決定は、AND840、OR850、NOT860のファジーバージョンに基づいている。 Fuzzy decision-making is based on a fuzzy version of AND840, OR850, NOT860. 2つまたはそれ以上のファジー論理値のファジーANDは、最小値であり、ファジーORは、最大値である。 Fuzzy AND of two or more fuzzy logic value is the minimum value, a fuzzy OR is the maximum value. fのファジーNOTは、1−fである。 Fuzzy NOT of f is a 1-f. ファジー論理値が0か1に制限されている場合、ファジー論理値は、二進論理値に等しい。 If a fuzzy logic value is limited to 0 or 1, fuzzy logic value is equal to a binary logic value.

実例となる具体例では、真偽の決定が必要である時はいつでも、ファジー論理値は、それが少なくとも0.5である場合は、真として見なされ、0.5以下であれば、偽であると考えられる。 In the specific illustrative examples, whenever decisions authenticity is required, the fuzzy logic values, if it is at least 0.5, are regarded as true, if 0.5 or less, false It is believed that there is.

当業者には明らかなように、本明細書に記載するファジー論理に関係して使用されるような値0および1に関し、臨界は存在しない。 As will be apparent to those skilled in the art, it relates to the value 0 and 1 as used in relation to the fuzzy logic as described herein, the critical is absent. 信頼の中間レベルを示す中間値として用い、いかなる数が、状態が真であることを高信頼を示すのに使い、それとは違う数が状態を偽であることを高信頼を示すのに使うことができる。 Used as an intermediate value indicating an intermediate level of trust, any number, used to indicate high that condition is true, be used to indicate high reliability that the number different from that false state can.

[本発明のソフトウェア要素] [Software elements of the present invention]
図9は、フレーム分析、判断、入力感知、および出力信号調節のために、具体例により使用される一連のソフトウェア要素の編成(例えば、コンピュータ可読媒体のプログラムインストラクション)を示す。 9, frame analysis, determination, for input sensing, and output signal conditioning shows organization of a set of software elements used by the Examples (e.g., program instructions computer-readable medium). 各要素がそれぞれクラスに対応するように、C+ +等従来のオブジェクト指向プログラミング言語のクラス階層を使用して要素が実行されてもよい。 As each element corresponding to each class, the elements may be performed by using the C + + or the like class hierarchy of a conventional object-oriented programming language. しかしながら、ここで記載されるプロセスを実行するには、基準を満たすいかなるプログラミング技術および/または言語をも使用することができる。 However, to perform the process described herein, it can be used any programming techniques and / or language meets the criteria.

図示のように、ガジェットクラス900のように点線の境界線付きのクラスは、独立しては存在せず、ロケータクラス920のような具体派生クラスを構築するのに使用される抽象基本クラスである。 As shown, the class with dashed boundary line as gadget class 900, is independently absent, is an abstract base class used to construct the concrete derived classes, such as locator class 920 . 実線で境界されたクラスは、ユーザーがアプリケーションを設定する必要がある時に、HMI630を使用して作成および破壊することができる動的オブジェクトを表す。 Class bounded by a solid line, when the user needs to configure the application, represent the dynamic objects can be created and destroyed by using HMI630. 入力950などの破線で境界されたクラスは、特定のハードウェアやソフトウェアリソースと関連する静的オブジェクトを表す。 Class bounded by dashed lines, such as input 950 represents the static object associated with a particular hardware or software resources. 静的オブジェクトは常に存在するものであり、ユーザーによって作成または破壊されることは不可能である。 Static objects are those always present, it is not possible to be created or destroyed by the user.

すべてのクラスは、ガジェットクラス900から派生しているため、図9に示すクラスのインスタンスであるすべてのオブジェクトはガジェットの一種である。 All classes, because it is derived from the gadget class 900, all objects that are instances of the class shown in FIG. 9 is a type of gadget. 具体例においては、各ガジェットは、1. In embodiments, each gadget is 1. ユーザーが選択することのできる名前を有し、2. It has a name that a user can select, 2. 他のガジェットが判断および出力信号を制御するために、論理入力として使用することができる論理出力(ファジー理論値)を有し、3. For other gadgets controls the determination and output signals has a logic output (fuzzy theory) that can be used as logic input, 3. ユーザーが操作を特定するために構成することができる一連のパラメータを有し、4. It has a series of parameters that can be configured for the user to identify the operation, 4. 論理出力(すなわちファジーNOT)を反転するのに使用可能な、そのようなパラメータをひとつ有し、5. That can be used to invert the logic output (i.e. fuzzy NOT), it has one such parameter, 5. 実行可能であり、そのパラメータ、該当する場合は論理入力、ある種のガジェットについては現行フレームのコンテンツに基づいて論理出力が更新され、また出力信号の設定のような副作用を引き起こすことがある。 Be feasible, its parameters, if applicable can cause side effects such as logic input, for certain gadgets are logic output is updated based on the content of the current frame and the output signal setting.

フレーム分析作業には、ガジェット実行前に、ガジェットへのすべての論理入力が更新されたことを保証するために確定された順序で、各ガジェットを一度実行することが含まれる。 Frame analytical work, before gadgets running, in the order in which all the logic inputs to the gadget has been determined to ensure that the updated includes performing each gadget once. ある実施例においては、その論理出力が必要ではないフレームの間はガジェットが実行されない。 In some embodiments, during the logic output is not required frames are not gadget executed.

写真クラス910は、論理出力が現行フレームのコンテンツに依存するすべてのガジェットの基本クラスである。 Photo class 910 is the base class for all of the gadgets that logic output is dependent on the content of the current frame. これらのクラスは実際に画像分析を行うクラスである。 These classes are Class for actual image analysis. 各写真は現行フレームの関心領域(ROI)のある特徴を測定する。 Each photo measures the features of interest areas of the current frame (ROI). ROIは、検査される物体の可視機能に対応する。 ROI corresponds to the visible features of the object being studied. この測定は写真のアナログ出力と呼ばれる。 This measurement is called the analog output of the photo. 写真の論理出力は、感度閾値と呼ばれる、ユーザーによって構成されることができる一連のパラメータ中に存在するファジー閾値を用いて、アナログ出力から計算される。 Logic output pictures is referred to as sensitivity threshold, using the fuzzy threshold present in a set of parameters that can be configured by the user, it is calculated from the analog output. 写真の論理出力は、判断を下す際に使われる証拠を提供するのに使用可能である。 Logic output pictures can be used to provide evidence to be used in making the determination.

検出器クラス930は、ROIにおける測定および判断を下す際の証拠を提供することを主目的とする写真の基本クラスである。 Detector class 930 is the base class for photographic whose primary object is to provide evidence of when making the measurement and determination in ROI. 具体例においては、すべての検出器ROIは円型である。 In embodiments, all of the detector ROI is circular. 円形のROIは、回転を処理する必要がないため実行を簡素化し、またROIの形が1つしかないことで、ユーザーが学習すべきことを簡素化する。 Circular ROI simplifies execution is not necessary to handle the rotation, also by only one form of the ROI, the user will simplify should be learned. 検出器パラメータにはポジションおよびROIの直径が含まれる。 The detector parameters include the diameter of the position and ROI.

輝度検出器940はROIにおける加重平均やパーセンタイル輝度を測定する。 Brightness detector 940 measures the weighted average or percentile brightness in ROI. コントラスト検出器942はROIにおけるコントラストを測定する。 Contrast detector 942 measures the contrast in ROI. エッジ検出器944は、特定方向において、ROIがエッジのように見える領域を測定する。 Edge detector 944, in the specific direction, to measure the area where ROI look like edges. スポット検出器946は、ROIが穴のような丸い特徴に見える領域を測定する。 Spot detector 946, ROI measures the area that appears to round features such as holes. テンプレート検出器948は、ROIがユーザーが選択した、事前にトレインされたパターンのように見える領域を測定する。 Template detectors 948, ROI is user-selected, to measure the area that looks like a pre-train pattern. 検出器の操作については、視覚検出器の方法および装置においてさらに記述する。 The operation of the detector is further described in the methods and apparatus of the visual detector.

ロケータクラス920は、2つの主目的を持つ写真を表す。 Locator class 920, represents a photo with two main purposes. 1つ目は、判断を下す際の証拠を提供することが可能な論理出力を生成することであり、これにより、他のいかなる検出器のようにも使用することができる。 The first is to produce a logic output evidence capable of providing the time to decide, thereby, may be used as any other detector. 2つ目は、視覚検出器の視野にあるオブジェクトの位置を決定することにより、他の写真のROIのポジションを、オブジェクトのポジションを追跡するように移動することができることである。 Second, by determining the position of objects in the visual field of the visual detector, the position of the other photo ROI, is that it can be moved so as to track the position of the object. どのロケータも、1つのまたは両方の目的に使用することができる。 Different locators can also be used for one or both purposes.

具体例においては、ロケータは、フレーム内における一次元領域でエッジを検索する。 In embodiments, the locator searches for edges in one-dimensional regions in a frame. 検索方向は、エッジに向かって垂直であり、ユーザーによって設定されるパラメータの中にある。 Search is perpendicular towards the edge, it is in the parameters set by the user. ロケータのアナログ出力はエッジ検出器のアナログ出力と似ている。 The analog output of the locator is similar to the analog output of the edge detector. ロケータについては視覚検出器の方法および装置においてさらに記載される。 Locators are further described in the method and apparatus of the visual detector.

他の実施形態において、ロケータは、転換、回転、および、自由度のサイズを含む既知の方法を用いて、多次元検索範囲を検索する。 In other embodiments, the locator, conversion, rotation, and, using known methods, including the size of freedom, to find a multi-dimensional search. 適切な方法には、多年にわたり市販のものである既知の技術であるすべてである、正規化相関関係、汎用のハフ変換、幾何学模様補修に基づいたものを含む。 Suitable methods include are all known technique is commercially available for many years, normalized correlation, general Hough transform, based on the above geometric pattern repair. 多次元ロケータの具体例は、2004年11月2日に出願された、Brian Mirtich氏とWilliam M. Specific examples of the multi-dimensional locator, filed on November 2, 2004, Brian Mirtich and Mr. William M. Silver氏による、参照することにより本書にはっきりと組み込まれる教授法である、「製造ライン情報を用いた視覚検出器のパラメータの設定のための方法」と題する、同時係属の米国特許出願番号10/979,535に記載されている。 By Silver said reference is a teaching incorporated clearly herein by, entitled "Method for setting the parameters of the visual detector using a manufacturing line information", co-pending U.S. Patent Application No. 10 / It is described in the 979,535.

入力クラス950は、事象検出に影響を与えるものとして使われる、視覚検出器に送られる入力信号を表す。 Input class 950 is used as affecting the event detection represents the input signal sent to the visual detector. 出力クラス952は、事象が検出されるPLCまたは、作動装置を通知するために使われる可能性のあるような、視覚検出器からの出力信号を表す。 Output class 952, PLC or event is detected, such as might be used to notify the operating device, representative of the output signal from the vision detector. 実例となる具体例では、各物理的入力に対して、典型的入力信号726(図7)のような、入力クラスの静的インスタンスが1つ、および、各物理的出力に対して、典型的出力信号722および724のような、出力クラスの静的インスタンスが1つ存在する。 In the specific illustrative examples, for each physical input, such as a typical input signal 726 (FIG. 7), it has one static instance of the input class and for each physical output, typically such as the output signals 722 and 724, static instance of the output class exists one. 視覚検出の方法と装置で教えられているように、外部自動装置は、事象が起こった場合、いつ、遅延時間を利用し、または、どこで、エンコーダカウントを用いるか、決定することができるので、出力は、記録時間を同期化する遅延パルスを形成することができる。 As taught by the method and apparatus of the visual detection, external automatic devices, if the event has occurred, when, by using the delay time, or, where, either using encoder counts, it is possible to determine that, output can form a delayed pulse to synchronize the recording time.

ゲートベースクラス960はファジー論理の意思決定を実行する。 Gate base class 960 to execute the decision-making fuzzy logic. 各ゲートは、他のガジェットの論理出力に接続可能な論理入力を1つ以上有する。 Each gate has one or more connection logic inputs to the logic output of other gadgets. 各論理入力は、ユーザーが設定可能なパラメータを用いて、反転(ファジーNOT)することが可能である。 Each logical input uses the user-configurable parameters, it is possible to invert (fuzzy NOT). ANDゲート962は、ファジーAND操作を実行し、ORゲート964は、ファジーOR演算を実行する。 AND gate 962 performs the fuzzy AND operation, OR gate 964 performs a fuzzy OR operation.

判断クラス970は、意思決定するために連続フレーム上の証拠を検討するオブジェクトの基本クラスである。 Determining class 970 is the base class for objects to consider evidence on successive frames to decisions. 本発明の実例である具体例では、活動分析ステップ312 と事象分析ステップ314(視覚分析ステップ310は、下記に与えられた例に用いた、写真、入力、および/または、ゲートの合成により実行される)を実施する目的を持つ事象検出判断972を含む。 In embodiments are illustrative of the present invention, activity analysis step 312 and event analysis step 314 (visual analysis step 310 is used in the examples given below, photographic, input, and / or is performed by synthesis of the gate including event detection decision 972 with the purpose of implementing that). 判断のほかのタイプは、そこに与えられた機能と、ここに与えられたように事象検出を組み合わせるために好ましい具体例に存在することにより、視覚検出の方法と装置で教授されている。 Other types of determination, the functions given thereto, by the presence in the preferred embodiment to combine the event detection as given herein, are taught by the method and apparatus of the visual detection.

それぞれの判断は、ユーザーが写真、または、たいてい写真とほかのゲートである、ガジェットの論理結合を与える、さらに典型的なゲートの論理出力を接続するために論理入力を持つ。 Each determination is user photos, or a mostly photographs and other gates, gives a logical combination of gadget, with logic inputs to connect more typical gate logic output. 事象検出判断の論理入力は、各フレームに事象検出加重を与える。 Logic input event detection decision gives the event detection weight on each frame. 本発明の具体例は、下記に与えられた一例で、事象検出判断よりも使う可能性のあることが明らかに考えられる。 Specific examples of the present invention, an example given below is considered apparent that might be used than event detection decision.

事象検出判断の論理出力は、いつ事象が検出されたのかを示すパルスを提供する。 Logic output of event detection judgment, when the event provides a pulse indicating whether detected. パルス立ち上がりは、例えば図2の分析ステップ248の終了時などの、事象分析ステップ314が事象を検出する時に発生し、立ち下がりは、例えばアイドルステップ260の終了時などの後に発生する。 Pulse rise, for example, such as at the end of the analysis step 248 of FIG. 2, event analysis step 314 occurs when detecting an event, the fall occurs after such at the end of the example the idle step 260.

図10は、事象検索判断のためのパラメータを設定するために、ユーザーが見て操作するようにHMIに表示されるグラフィカル制御を示す。 10, in order to set the parameters for the event name comparing shows a graphical control that is displayed on the HMI as the user manipulates look. ガジェットパラメータを設定するためのHMI630に表示されているグラフィカル制御のセットは、パラメータビューと称する。 Set of graphical control that appears in HMI630 for setting gadget parameters are referred to as parameters view.

ネームテキストボックス1000は、ユーザーにこの事象検出判断のための名前の閲覧と入力を可能にする。 Name text box 1000, the user To be able to input and view the name for this event detection judgment. 時間表示1002は、この事象検出判断の最新起動でかかった時間を示す。 Time display 1002, shows the time spent in the latest start-up of this event detection judgment. 論理出力ラベル1004は、この事象検出判断の現在の論理出力値を示し、真(≧0.5)と偽(<0.5)であるかを見分けるための色、形、または、ほかの指標に変えるかもしれない。 Logic output label 1004 indicates the current logical output value of the event detection decision, true (≧ 0.5) and false to distinguish whether it is (<0.5) color, shape, or other indicators It might change to. 反転チェックボックス1006は、反転させるためにこの事象検出判断の論理出力をさせる。 Inverted check box 1006 causes the logical output of the event detection decision to invert. ここで留意すべきは、ネームテキストボックス1000、時間表示1002、論理出力ラベル1004、反転チェックボックス1006は、視覚検出の方法と装置でさらに説明したように、全てのガジェットタイプのためのパラメータビューでは、一般的であることである。 It should be noted that, the name text box 1000, the time display 1002, the logic output label 1004, reversing check box 1006, as further described in the method and apparatus of the visual detection, the parameter view for all gadget type , it is that it is common.

アイドルタイムスピナー1020は、アイドルステップ260(図2)や図3のアイドルブロック374で示されているように、ユーザーに時間間隔を特定させる。 Idle time spinner 1020, as indicated idle step 260 in the idle block 374 (FIG. 2) and 3, thereby identifying the time interval to the user. 消失フレームスピナー1030は、無効状態へ転換させる活動分析ステップ312なしに受け入れる連続無効フレームの最大数をユーザーに特定させる。 Erased frame spinner 1030 is specifying the maximum number of consecutive inactive frames that accepted without activity analysis step 312 is converted to a disabled state to the user. 消失フレームスピナー1030により特定された値は、図3のカウントテストブロック350にあるパラメータkとして使われる。 Specified values ​​by the vanishing frame spinner 1030 is used as a parameter k in the counting test block 350 of FIG.

マーキング制御1040は、更に個々に説明されているように、記録時間を計算するためにフローとストローク事象間でユーザーに選択させる。 Marking control 1040, as described further individually, to be selected by the user between the flow and the stroke events to calculate the recording time. 記録時間を計算するために、ユーザーは、ロケータリストコントロール1042を使ってロケータを特定しなければならない。 In order to calculate the recording time, the user must identify a locator using the locator list control 1042.

記録間隔制御1050は、事象が検出された場合、記録時間に関係して画像が記録された時間間隔をユーザーに特定させる。 Recording interval control 1050, if the event is detected, the time interval on which the image is recorded in relation to the recording time specified user. 示されていない、代替実施例においては、ユーザーは、事象フレームが記録されたかどうか、事象フレームが記録される前後のフレーム数を特定する。 Not shown, in an alternative embodiment, the user, whether an event frame is recorded, it specifies the number of frames before and after the event frames are recorded.

状態テキスト1010は、状態ブロック370によりテストされ、事象が起こったかどうか決定するための事象分析ステップ314により使われた事象状態をユーザーに特定させる。 Status Text 1010 is tested by state block 370, to identify an event state of being used by the event analysis step 314 for determining whether an event has occurred to the user. 図10の具体例では、状態テキスト1010は、Cのように従来のプログラミング言語により使われ、似ている構文で論理表現を示すテキスト文字列を含む。 In the specific example of FIG. 10, the state text 1010 is used by conventional programming languages ​​like and C, including a text string that indicates the logical representation with similar syntax. 活動統計302からの真偽値の算出を特定するために、その表現は活動統計302の要素に表し、数値定数、論理、比較、算術演算子、丸括弧のような句読法を用いて、図5からシンボル500を組み合わせる。 To identify the calculation of boolean from Stats 302, the expression represents an element of Stats 302, numeric constants, using logic, comparison, arithmetic operators, the punctuation such as parentheses, FIG 5 combined with the symbol 500 from. このようなテキスト文字列に基づいて真偽値を計算する方法は、既知の技術である。 How to calculate the truth values ​​on the basis of such a text string is a known technique.

図10の実例となる例では、少なくとも2つの候補フレームがあり、平均事象検出加重は0.50以下または、0.75以上である場合、事象は起こる。 In an illustrative example of FIG. 10, there are at least two candidate frames, when the average event detection weight is 0.50 or less or 0.75 or more, events occur. このような状態が役立つ例は、下記で説明された図15と16に示されている。 Examples of such conditions is useful is illustrated in FIG. 15 and 16 described below.

[具体例の有用な例] [Useful examples of specific examples]
図11は、いかに写真が不適用ラベル122(図1)のような、不適用ラベルを用いて、物体に対応する事象を検出するのに使われるかの例を示す。 Figure 11 is how such pictures not applied label 122 (FIG. 1), using a non-applied labels, indicating examples are used to detect the event corresponding to the object. 図11は図1より物体116に対応する、物体1100のイメージを表しており、ラベル機構1110とともに、写真を表す重畳グラフィックスを有し、それはユーザーが見て操作できるようにHMI630に表示される。 Figure 11 corresponds to the object 116 from FIG. 1, it represents the image of the object 1100, with a label mechanism 1110 has a superimposed graphics representing a photograph, it is displayed on HMI630 to be operable watching user . HMI上での画像および重畳グラフィックスの表示は画像表示と呼ばれる。 Display of images and superimposing graphics on the HMI is called image display.

ロケータ1120は、物体の上端を検出して位置を確認するために使用され、別のロケータ1122は右端を検出して位置を確認するために使用される。 Locator 1120 is used to locate and detect the top end of the object, another locator 1122 is used to locate and detect the right edge. 輝度検出器1130は、物体の存在を検出する助けとなるように使用される。 Brightness detector 1130 is used to assist to detect the presence of an object. この例では、背景は物体より明るく、感度閾値が2つの明るさのレベルを区別するように設定されており、より明るい背景ではなく、より暗い物体を検出するために論理出力が反転されている。 In this example, the background is brighter than the object, is set as the sensitivity threshold to distinguish between two brightness levels, rather than the lighter background, the logic output is inverted to detect darker objects .

後にさらに記載されるように、ロケータ1120および1122、そして輝度検出器1130は、ともに物体が存在することを判断するのに必要な証拠提供する。 As will be further described, locator 1120 and 1122 and the brightness detector 1130, provides evidence necessary both to determine that the object is present. 明らかに、「不適用ラベルを持つ物体」に対応する事象は、事象が存在しない場合、起こらない。 Obviously, events corresponding to the "object having a non-application label" when an event does not exist, does not occur.

エッジ検出器1160は、ラベル1110の存在および位置を検出するのに使用される。 Edge detector 1160 is used to detect the presence and position of the label 1110. ラベルが存在しなかったり、水平に間違った位置にあったり、著しく回転し、示されたような曲がったカマーがあり、または、さまざまなほかの方法で不適用になった場合は、エッジ検出器のアナログ出力は非常に低くなる。 Not exist or label, Attari horizontally wrong position, significantly rotate, there is indicated as a curved comers, or, if it becomes inapplicable in various other ways, edge detector analog output is very low. もちろん、ラベル1110が、エッジ検出器1160により検出されない、不適用であることが多々あるので、ほかの写真は、いかなる与えられた生産状況で故障を検出する必要があるときに使われる可能性がある。 Of course, the label 1110 is not detected by the edge detector 1160, since it is not applied is often, in addition to photographs, it could be used when it is necessary to detect the failure at any given production situation is there.

たとえば、輝度検出器1150は、正しいラベルが貼られたかどうかを確認するために使用される。 For example, the brightness detector 1150 is used to verify that the correct label is adhered. この例では、正しいラベルは白であり、誤ったラベルは暗い色をしている。 In this example, the correct label is white, wrong label has a dark color.

物体が視覚検出器の視野を通って左から右に移動すると、ロケータ1122が物体の右端を追跡し、物体に対して正しい位置になるよう、輝度検出器1130、輝度検出器1150、およびエッジ検出器1160を再配置する。 When an object moves from left through the field of view of the visual detector to the right, locator 1122 tracks the right edge of the object, so that the correct position relative to the object, the brightness detector 1130, luminance detector 1150, and an edge detection repositioning the vessel 1160. ロケータ1120は、検出器を物体の上端の位置に基づいて再配置し、視野内の物体のいかなる垂直位置の変動をも修正する。 Locator 1120, the detector re-arranged based on the position of the upper end of the object, also modify the variation of any vertical position of the object within the field of view. 一般的に、ロケータはどのような位置にでも配置することができる。 In general, the locator can be placed in any kind of position.

ユーザーは、既知のHMI技術を使用して、画像表示内で写真の操作をすることができる。 Users can use the known HMI techniques, you can operate the photograph in the image display. 写真はマウスをクリックすることにより選択可能であり、またドラッグすることにより、そのROIは移動、サイズ変更、および回転が可能である。 Photos are selectable by clicking the mouse and by dragging, the ROI is moved, it is possible to resize, and rotate. ロケータに関する付加的な操作は、視覚検出器の方法および装置で記載される。 Additional operations related locators are described in the methods and apparatus of the visual detector.

図12は、図11の設定例に対応する配線図を含む、論理ビューを示す。 Figure 12 includes a wiring diagram corresponding to the setting example of FIG. 11 shows a logical view. 配線図は、自動装置への事象とインターフェイスを検出するのに使用されるすべてのガジェット、およびガジェットの論理入力・出力間の接続を示す。 Wiring diagram shows all gadgets used to detect events and interface to the automatic device, and gadgets connections between logic inputs and outputs. 配線図は、ユーザーが見て操作するようにHMI630に表示される。 Wiring diagram is displayed on HMI630 As the user manipulates look. ガジェットの表示およびそれらのHMIにおける論理的相互接続は論理ビューと呼ばれる。 Logical interconnections gadget displays and their HMI are called logical view.

さらに図12の配線図について言及すると、「トップ」という名前のロケータ1220は、図11の画像表示内のロケータ1120に対応して、ワイヤー1224によりANDゲート1210に接続される。 When mentioning the further wiring diagram of Figure 12, the locator 1220 named "top", corresponding to the locator 1120 in the image display of FIG. 11, it is connected to the AND gate 1210 by wire 1224. 同様に、「サイド」ロケータ1222は、ロケータ1122に対応して、「ボックス」検出器1230は、輝度検出器1130に対応して、またANDゲート1210に配線される。 Similarly, "side" locator 1222, corresponding to the locator 1122, "Box" detector 1230, in response to the brightness detector 1130, and is wired to an AND gate 1210. 小円1232で示されるように、および上記の通り、明るい背景に対してより暗い物体を検出するために、「ボックス」検出器1230は反転されている。 As indicated by the small circles 1232, and the street, in order to detect dark objects than against a light background, "Box" detector 1230 is inverted.

配線図において、輝度検出器「ラベル」1250は輝度検出器1150に対応して、そしてエッジ検出器「ラベルエッジ」1260はエッジ検出器1160に対応して、ANDゲート1212に配線される。 In the wiring diagram, luminance detector "label" 1250 in response to the brightness detector 1150, and an edge detector "Label Edge" 1260 in response to the edge detector 1160 are routed to AND gate 1212. ANDゲート1212の論理出力は、ラベル1210が不適用であることを信頼性のレベルで表すように転換され、ANDゲート1210に配線される。 Logic output of AND gate 1212 is converted to indicate that the label 1210 is not applied at the level of reliability, is wired to an AND gate 1210.

ANDゲート1210の論理出力は、物体が存在することを信頼性のレベルで表し、そのレベル、すなわち、事象が起こる信頼性のレベルが不適用であることを表す。 Logic output of the AND gate 1210 indicates that an object is present at a level of reliability, indicating that the level, i.e., level of reliability event occurs is not applicable. ANDゲート1210の論理出力は、各フレームに対する事象検出の加重として使用されるため、事象検出判断1200に配線される。 Logic output of AND gate 1210 is to be used as weights for event detection for each frame, is wired to event detection decision 1200. 多くの代替事象状態は、また、アプリケーションの状況により適切であるが、この構成で適切な事象検出判断1200の事象状態は、「n>=3 かつ m>=0.5」である。 Many alternative event state, also, although more appropriate status of the application, the event state of this structure with the appropriate event detection decision 1200 is "n> = 3 and m> = 0.5".

事象検出判断に配線するガジェットの選択は、アプリケーションの知識に基づきユーザーによって行われる。 Selection of gadget wired to event detection determination is made by the user based on the knowledge of the application. 図11および12の例においては、ユーザーは上および右だけを検出するのでは、物体の存在を確認するのに分ではないと決定したかもしれない。 In the example of FIGS. 11 and 12, the user than to detect only the upper and right, may have decided not to be divided to confirm the presence of an object. ここで留意するべきなのは、ロケータ1122は、物体の右端に反応するのと同じように、ラベルの左端にも反応するかもしれないこと、そしておそらくこの時点で、プロダクションサイクルにおいて、ロケータ1120が背景で他のエッジを発見したかもしれないということである。 Here It should be noted that, locator 1122, like to react to the right end of the object, it may react to the left edge of the label, and perhaps at this point in the production cycle, the locator 1120 in the background it is that it might have discovered the other edge. 検出器1130を加えること、またANDゲート1210を用いて3つすべての条件を満たすことで、事象の検出は信頼性の高いものになる。 By adding a detector 1130, also by all satisfy three using an AND gate 1210, the detection of the event will be highly reliable.

事象が検出された場合、画像は更に下記に説明されたように記録されるかもしれない。 If an event is detected, the image might be recorded as described further below. 明らかに、事象フレームより前に時間に対応する画像は、いかにラベルが不適用であるかを正確に示す可能性が最も高い。 Clearly, an image corresponding to the time before the event frame, how most likely indicate exactly how the label is not applied. 視覚検出器がラベルが貼られる場所が実用的である限り近くで、物体を見ることができるように置くことがこの例では明らかに好ましい。 As close as where the visual detector label is affixed is practical, it is placed so as to be able to see the object clearly preferred in this example.

事象検出判断1200の論理出力は、「シグナル」という名前の出力ガジェット1280に配線され、それは、PLCまたは、作動装置のような、自動装置に接続された場合、必要に応じて、視覚検出器から出力信号を制御する。 Logic output of event detection decision 1200 is wired to the output gadget 1280 named "signal", it is PLC or, such as actuators, when connected to an automatic device, as needed, from the visual detector controlling the output signal. 出力ガジェット1280は、さらに視覚検出器の方法と装置に説明されたように、適切にユーザーにより構成される。 Output gadget 1280, as described further in the method and apparatus of the visual detector, configured appropriately by the user. 自動装置は、事象が起こった場合、いつ、時間を利用し、どこで、エンコーダカウントを用いるか、決定することができるので、視覚検出器の方法と装置で教授されたように、出力ガジェット1280は、記録時間を同期化する遅延パルスを形成することができる。 Automatic apparatus, if an event has occurred, when, by using the time, where, either using encoder counts, it is possible to determine that, as taught by the method and apparatus of the visual detector, the output gadget 1280 , it is possible to form a delayed pulse to synchronize the recording time.

ユーザーは既知のHMI技術を使うことにより、論理ビュー内でガジェットを操作することができる。 The user by using the known HMI techniques, it is possible to manipulate the gadgets in the logical view. ガジェットはマウスをクリックすることにより選択可能であり、そのポジションはドラッグによって移動可能、そしてワイヤーはドラッグ・ドロップ操作により作成が可能である。 Gadgets are selectable by clicking the mouse, the position can be moved by dragging and wires is possible to create by a drag and drop operation.

当業者は、ガジェットの適切な選択、設定、および配線により、様々な事象が検出可能であるということを認識するであろう。 Those skilled in the art, a suitable choice of the gadget, setting, and the wiring, will recognize that various events can be detected. 当業者はまた、ガジェットクラス階層が本発明を実行するのに使われる多くのソフトウェア技術のなかの唯一のものであることを認識するであろう。 One skilled in the art will also recognize that gadget class hierarchy is the only one of among many software technologies used to implement the present invention.

図13は、図1で示される生産設定に有用である可能性のある事象を検出するための視覚検出器のもう一つの構成に対応する画像表示を示す。 Figure 13 shows an image display corresponding to another configuration of a visual detector for detecting an event that might be useful for the production settings shown in Figure 1. この例では、表示アーム162が十分に延長されたが(そのストロークの先端)、物体1300は、ラベル1310を受取るために不正確な配置である場合、事象が起こる。 In this example, the display arm 162 is fully extended (the tip of its stroke), the object 1300, if an incorrect arrangement to receive a label 1310, an event occurs. アームエッジ検出器1340は、表示アーム162のストロークの先端に対応して視野内の位置に配置される。 Arm edge detector 1340 is arranged at a position in the field of view corresponding to the front end of the stroke of the display arm 162. ここで留意するのは、この位置が視野に関連するように固定され、それが、製造ラインで動かないので、ロケータを使用する必要がないことである。 To note here that this position is fixed to be associated with the field of view, it is, does not work on the production line, there is no need to use the locator. トップエッジ検出器1320とサイドエッジ検出器1330は、物体1300がストロークの先端で好ましい位置にあることを確認するために使われる。 Top edge detector 1320 and the side edge detector 1330 is used to confirm that the object 1300 is in the preferred position at the tip of the stroke.

図14は、表示アーム162のストロークの先端で間違った位置に物体が対応して、事象を検出するために、図13の画像表示に対応してガジェットの構成を示す論理図である。 Figure 14, corresponding an object in the wrong position in the distal end of the stroke of the display arm 162, in order to detect events, a logic diagram showing the configuration of a gadget in response to the image display of FIG. 13. 「アーム」1440は、アームエッジ検出器1340に対応し、「トップ」1420はトップエッジ検出器1320に対応し、「サイド」1430は、サイドエッジ検出器1330に対応する。 "Arm" 1440 corresponds to the arm edge detector 1340, "top" 1420 corresponding to the top edge detector 1320, "side" 1430, corresponding to the side edge detector 1330.

図14に示されるように、変換されたANDゲート1412と配線されたANDゲート1410を用いて、事象検出判断1400は、物体1300がアーム162がストロークの先端であるときに、トップエッジ検出器1320とサイドエッジ検出器1330の少なくとも一つにより特定された位置でないことを信頼性のレベルで表す事象検出加重を受取る。 As shown in FIG. 14, using the AND gate 1410 that is wired transformed an AND gate 1412, when the event detection decision 1400, the object 1300 is the leading end of the arm 162 stroke, the top edge detector 1320 and that it is not the position specified by at least one side edge detector 1330 receives the event detection weight representing the level of reliability. この構成の場合、適切な事象検出判断1400の事象状態は、「n>=2」である。 In this configuration, the event status of the appropriate event detection decision 1400 is "n> = 2".

事象が検出された場合、画像は更に下記に説明されたように記録されるかもしれない。 If an event is detected, the image might be recorded as described further below. さらに、事象検出判断1400の論理出力は、「シグナル」という名前の出力ガジェット1480に配線され、それは、PLCまたは、作動装置のような、自動装置に接続された場合、必要に応じて、視覚検出器から出力信号を制御する。 Further, the logic output of the event detection decision 1400 is wired to the output gadget 1480 named "signal", it is PLC or, such as actuators, when connected to an automatic device, as needed, visual detection controlling the output signals from the vessel. 出力ガジェット1280は、さらに視覚検出器の方法と装置に説明されたように、適切にユーザーにより構成される。 Output gadget 1280, as described further in the method and apparatus of the visual detector, configured appropriately by the user.

図15は、図1で示される生産設定に有用である可能性のある事象を検出するための視覚検出器のさらにもう一つの構成を形成する画像表示と対応する論理表示を示す。 Figure 15 shows a logical view corresponding to the image display to form a yet another configuration of a visual detector for detecting an event that might be useful for the production settings shown in Figure 1. この例では、表示アーム162事象が拡張されない、または、拡張しすぎる表示アーム162が、ストロークの先端が間違った場所にある場合、または、それが正しい位置に延長してあるが、正しいラベルアプリケーションのために短すぎたり長すぎたりしてそこにある場合、事象が起こる。 In this example, not extended display arm 162 event, or display arm 162 too much extension, when in place the front end of the stroke wrong, or, although it are extended in the correct position, the correct label application If there there was too long or too short for the event to occur.

過剰外延化は検出するのが易しい。 Over-extension of the is easy to detect. エッジ検出器1512は、表示アーム162の下方ストロークの予期された先端の下に配置されている。 Edge detector 1512 is disposed below the expected tip of the lower stroke of the display arm 162. 対応する論理表示エッジ検出器「ハイパー」1540は、「ハイパー事象」事象検出判断1570に配線され、それは、拡張しすぎるアームを検出するために事象状態「w>=0.95」を使う可能性がある。 Corresponding logical view edge detector "hyper" 1540 is wired to the "Hyper event" event detection decision 1570, it is likely to use the event state "w> = 0.95" to detect the arm overextend there is. ここに留意すべきは、総計事象検出加重wを使い、この事象状態は、そのフレームの事象検出加重がとても高い信頼性を示す場合、十分な証拠として単一フレームを受入れ、事象検出加重が低い信頼性を示す場合、少なくとも2つのフレームを必要とすることである。 It should be noted here, use a total event detection weight w, the event state, indicating an event detection weights very high reliability of the frame, receiving a single frame as sufficient evidence, low event detection weight when indicating the reliability is that it requires at least two frames.

そのほかの状態では、ロケータ1500は、表示アーム162が先端付近の位置の範囲内であることを検出するために配置され、エッジ検出器1510は、表示アーム162が先端であることを検出するために配置される。 In other states, the locator 1500 is arranged to detect that the display arm 162 is in the range of positions near the tip, edge detector 1510, in order to detect that the display arm 162 is tip It is placed. 対応する論理表示ロケータ「ストロ−ク」1520と反転したエッジ検出器「アペックス」1530は、ANDゲート1550に示されているように配線され、それは、事象検出判断「ストローク事象」1560に次々に配線される。 Corresponding logical view Locator "stroke - click" 1520 and edge detector "Apex" 1530 inverted, are wired as shown to the AND gate 1550, which, one after the other wiring to event detection decision "Stroke event" 1560 It is. この構成で事象検出加重は、表示アーム162が近くにあるが、そのストロークの先端ではないことを信頼性のレベルで表す。 Event detection weight in this configuration, the display arm 162 is near, indicating that it is not at the tip of its stroke at the level of reliability.

ここに留意すべきは、図15の論理表示は、2つの事象検出判断の使用を含むことである。 It should be noted here, the logical view of Figure 15 is to include the use of two event detection decision. 判断のいずれかが十分な証拠を見つけた場合、事象は検出されるので、一つ以上の事象検出判断が使われた場合、それぞれは、独立して操作される。 If any of the determination finds sufficient evidence, since events are detected, when more than one event detection decision is used, each of which is operated independently. 各判断は、活動フラッグ300、有効統計302、無効統計304のコピーを用い、それ自身の有効分析ステップ312と事象分析ステップ314を操作する。 Each determination is active flag 300, using a copy of the valid statistical 302, invalid statistics 304, operating its own effective analysis steps 312 and event analysis step 314. ここに留意すべきは、視覚分析ステップ310は、写真やゲートのようなほかのガジェットにより操作されることである。 It should be noted here, visual analysis step 310 is to be operated by other gadgets such as photos or gate.

図16は、たとえば、図15の適切な構造である事象検出判断「ストローク事象」1560のために、いかに事象が明確に示されているかを示す。 Figure 16, for example, for a suitable structure that event detection decision "Stroke event" 1560 of FIG. 15 shows how events is clearly shown. 上記に説明された図4に示されるプロットに似ている事象検出加重d 対フレームカウントIの4つのプロットが示されている。 Four plots of event detection weight d i-to-frame count I resembling plot shown in Figure 4 described above is shown.

第一プロット1600は、拡張されていないアームを示す。 The first plot 1600 shows the arm which is not extended. アームは、約12のフレームで要求先端に近づくように動いたが、実際は先端に到達しなかった。 Arm is moved so as to approach the required tip about 12 frames, actually did not reach the distal end. 第二プロット1610は、正しいラベルアプリケーションのために、要求先端に延長したが、唯一つだけフレームをそこに短すぎて残った、アームを示す。 Second plot 1610 for proper label application has been extended to the request tip remained too short only one only frames therein, showing the arm. 第三プロット1620 は、正しく延長され、要求先端に到達し、約3つのフレームのためにそこに残った、アームを示す。 The third plot 1620 is properly extended to reach the required tip and remained there for about three frames, shows the arm. 第四プロット1630は、長く延長され、要求先端に到達し、約7つのフレームのためにそこに残った、アームを示す。 The fourth plot 1630 is extended longer to reach the required tip and remained there for about seven frames, illustrating the arm.

図10の事象状態「n>=2 かつ (a<.50|a>.75)」は、第一プロット1600、第二プロット1610、第四プロット1630の検出には適しているが、正しいアームの延長に対応する第三プロット1620では検出されない。 Event state "n> = 2 and (a <.50 | a> .75)" in FIG. 10, first plot 1600, the second plot 1610 is suitable for the detection of the fourth plot 1630, the right arm in the third plot 1620 corresponds to the extended undetected. 「a<.50」の項は、第一プロット1600と第二プロット1610で検出される。 The "a <.50" is detected in the first plot 1600 and the second plot 1610. 「a>.75」の項は、第四プロット1630で検出される。 The "a> .75" is detected in the fourth plot 1630. 「n>=2」の項は、単一フレームの偽の事象が検出されないことを約束する。 The "n> = 2" promises to event fake single frame is not detected.

明らかに、表示アーム162のような、機械機器の誤った延長を検出するのに好ましく、当業者に起こるであろう、多くのほかの構成と事象状態がある。 Obviously, such as the display arm 162, preferably to detect the extension of erroneous mechanical equipment, will occur to those skilled in the art, there are many other configurations and event status. 図17は、継続のウェブ上に欠陥の画像を検出し、記録するための発明を構成する一つの方法を示す。 Figure 17 shows one way to detect an image defect on a continuous web, constituting the invention for recording. 画像表示1710は、視覚検出器を通過している継続ウェブ1700の一部を示す。 The image display 1710 illustrates a portion of a continuous web 1700 passing through the visual detector.

ロケータ1720とエッジ検出器1722は、ウェブを検査するために構成されている。 Locator 1720 and edge detector 1722 is configured to inspect the web. ウェブが壊れたり、折り重なったり、どちらかの端に実質的に擦り切れている場合、ロケータ1720、および/または、エッジ検出器1722は、偽の出力(論理値<0.5)を形成するであろう。 Or broken web, folded or, if substantially frayed at either end, locator 1720, and / or, the edge detector 1722, Der forming the false output (logic value <0.5) wax. ウェブが、上下に移動する場合、ロケータ1720は、トップエッジを追跡したり、下端を検出するために関連する右の位置にエッジ検出器1722を備え付けるだろう。 Web, if you move up and down, the locator 1720, track top edge will equip the edge detector 1722 to the right of the location associated to detect the lower end. しかし、ウェブの幅が実質的に変わる場合、エッジ検出器1722は、偽の出力を形成するだろう。 However, when the width of the web is changed substantially, the edge detector 1722 will form a false output.

論理表示では、「トップ」ロケータ1740は、ロケータ1720を表し、「ボトム」ロケータ1750は、エッジ検出器1722を表す。 The logical view, "top" locator 1740 represents a locator 1720, "bottom" locator 1750 denotes an edge detector 1722. これらは、ANDゲート1760に接続され、その論理出力は、事象検出判断1770で反転され、配線される。 They are connected to an AND gate 1760, the logic output is inverted by the event detection decision 1770, it is wired.

[マーキング、ストローク事象、同期化出力] Marking, stroke event, synchronization Output
図18は、ビジョン検出器の出力信号が記録時間とどのように同期化されることがあるかを説明するために使用するタイミング図を示す。 Figure 18 shows a timing diagram used to explain what is the output signal of the vision detector is how synchronized with the recording time. 信号の同期化は、ダウンストリーム作動装置の制御など、さまざまな工業検査の目的において望ましい。 Synchronization signals, such as control of the downstream actuator, preferably for the purposes of various industrial inspection.

視覚事象検出は、新しい機能であるので、新しい出力信号制御を提案する。 Visual event detection, since a new function, we propose a new output signal control. ビジョン検出器は、直接的に、または、PLCへの入力として機能することにより、一部の外部作動装置を制御できることが望ましい。 Vision detector, directly or by acting as an input to PLC, it is desirable to be able to control some external actuator. これは、出力信号のタイミングが、物体が生産フローにおいて特定の固定点を通過するとき(フロー事象)、または、機械構成要素がストロークの頂点に到達するとき(ストローク事象)など、何らかの物理的手段によってある時間に一定の正確さで関係付けられることを示唆する。 This is the timing of the output signal, when an object passes a certain fixed point in the production flow (flow event), or, such as when the machine component reaches the apex of the stroke (stroke event), some physical means suggesting that are related in a certain accuracy a certain time by. 図1の例では、固定点は記録点150が可能であり、図2のタイムラインでは、時間は記録時間250と252である。 In the example of FIG. 1, the fixed point is capable of recording points 150, in the time line of FIG. 2, time is the recording time 250 and 252. 図15の例では、エッジ検出器1510は、ラベル貼り付けアーム162のストロークの頂点に位置する。 In the example of FIG. 15, the edge detector 1510, located at the apex of the stroke of the labeling arm 162. 図18では、時間は記録時間1800である。 In Figure 18, time is the recording time 1800. エンコーダのカウントが時間の代わりに使用されることがある。 Encoder count is sometimes used instead of time.

本発明は、作動装置を直接制御している場合でも、PLCまたはその他任意の外部装置により使用されている場合でも、記録時間と一定の正確さで同期化された出力を提供できる。 The present invention is an actuator even if controlled directly, even if it is used by the PLC, or any other external device, can provide is synchronized at a certain accuracy and the recording time output. しかしながら、1つの問題は、本発明は、発生してから何ミリ秒かの後、つまり、記録時間のミリ秒後に事象を検出することである。 However, one problem, the present invention is, after something milliseconds from the occurrence, that is, is to detect events after ms recording time. さらに、遅れは、それほどではないにしても、取得/分析サイクルにおいて記録時間がいつ発生するかは、何個のフレームが分析されるかに応じて非常に変化することがある。 Furthermore, delay, if not less, whether the recording time in the acquisition / analysis cycle when to occur, may vary greatly depending on how many frames are analyzed.

図18は、事象検出論理出力1840を示す。 Figure 18 shows the event detection logic output 1840. 検出パルス1870は、決定が決定点1810で行われるとき、事象検出論理出力1840に表示される。 Detection pulse 1870, when the determination is made at decision point 1810, is displayed on the event detection logic output 1840. 決定点1810は、図3のフローチャートの事象ブロック372が実行される時点に対応する。 Decision point 1810 corresponds to the time when the flow of events block 372 of FIG. 3 is executed. 記録時間1800から決定点1810までの決定の遅れ1830は、それほどではないにしても、分析されるフレームの個数に応じて、取得/分析サイクルにおいて記録時間がいつ発生するかは、変化することがある。 Delay 1830 determines from the recording time 1800 to decision point 1810, if not less, according to the number of frames to be analyzed, whether the recording time in the acquisition / analysis cycle when to occur, may vary is there. 従って、検出パルス1870のタイミングは、事象がいつ発生したかに関する正確な情報を伝達しない。 Thus, the timing of the detection pulse 1870 does not transmit the correct information regarding the event is when occurred.

可変する決定の遅れ1830の問題は、画像を取得して分析することにより、事象を検出しようとするすべての装置に適用される。 Problems determination of delay 1830 variable which is, by analyzing acquires image is applied to all devices to be detected events. また、事象がいつ発生したかを示す信号を、フレーム周期(フレームレートの逆数)よりも高い正確度で提供することが好ましい場合に適用する。 Moreover, applying a signal indicating whether the event is always generated, if it is preferred to provide a higher accuracy than the frame period (the reciprocal of the frame rate). 本発明は、記録時間1800を測定してから、出力信号1860の出力パルス1880を記録時間に同期化することにより、この問題を解決する。 The present invention, after measuring the recording time 1800, by synchronizing the recording time an output pulse 1880 of the output signal 1860, solves this problem.

出力パルス1880は、記録時間1800から固定された出力の遅れ1820で発生する。 Output pulse 1880 occurs at a delay 1820 is fixed from the recording time 1800 output. 記録時間の測定動作は「マーキング」と呼ばれる。 Measurement operation of the recording time is referred to as a "marking". 記録時間は、適切な探知器により決定されると、画像、物体の知られている位置、機械構成要素または視野で運動している物体が取得されると知られている時間(またはエンコーダのカウント)を使用して、線形補間、最小二乗フィット、またはその他のよく知られている方法よりもはるかに高い正確度で決定できる。 Recording time, when determined by an appropriate detector, image, known position of the object, mechanical components, or time objects in motion are known to be obtained in the field of view (or encoder count ) using the linear interpolation can be determined with much higher accuracy than the least-squares fit or other well known methods. 正確度は、シャッタータイム、取得/分析サイクルの全体時間、移動速度、およびその他の要素により異なる。 Accuracy, the shutter time, total time of acquisition / analysis cycle varies the moving speed, and other factors.

例示的実施形態では、ユーザーは、検索範囲がマーキングのために使用される移動方向と実質的に同じ1つの探知器を選択する。 In an exemplary embodiment, the user may search range to select a direction of movement substantially the same as one of detectors used for marking. フロー事象の場合は、マークポイントは、上記のように、探知器の範囲の中央になる点が任意に選択されるが、記録点は、固定されている限り正確な位置が問題にならない架空の基準点である。 For flow events, mark points, as described above, although the point to the center of the range of detectors is arbitrarily selected, the recording point is the fictitious exact position as long as it is fixed is not a problem which is a reference point. ユーザーは、この任意の時間からの遅れを調節することにより、出力信号の好ましい同期を実現できる。 The user, by adjusting the delay from the arbitrary time can be realized preferred synchronization of the output signal.

事象が検出されてもアクティブフレームの間に運動が記録点を交差しなければ、記録時間は、推定が基本になるので、正確度は低くなることがある。 If motion between the active frame be detected events crosses the recording point, recording time, because the estimation is basic, the accuracy may decrease. ストローク事象の場合、記録点は、ストロークの頂点であり、以下で説明されるように測定される。 If the stroke event, the recording point is the apex of the stroke, it is measured as described below. 記録点のその他の定義は、本発明を実践するために使用できることが明らかである。 Other definitions of recording points, it is clear that can be used to practice the present invention.

出力信号は、出力の遅れ1820が決定予想の最大の遅れ1830よりも長ければ、記録時間とだけ同期できることに注意する。 The output signal is delayed 1820 output is longer than the maximum delay 1830 decision expected Note that you can only synchronize with the recording time. このように、出力パルス1880の結果としてとられるすべての動作は、例えば、作動装置の操作のように、記録点の十分なダウンストリームになければならず、ほとんどすべてのアプリケーションの場合に想定される。 Thus, all actions taken as a result of the output pulses 1880, for example, as in the operation of the actuator, must be in sufficient downstream of the recording points is envisaged in the case of almost all applications .

図19は、ストローク事象の場合の時間関数としての探知器の結果のグラフを示す。 Figure 19 shows the result graph of detector as a function of time in the case of stroke events. 探知器は、例えば、図15の探知器1500のように、ストローク方向と実質的に並行な方向で検索するように構成されなければならない。 Detectors, for example, as a detector 1500 in FIG. 15, must be configured to retrieve the stroke direction substantially parallel directions. 検索される次元がストローク方向と実質的に並行な方向を含む限り、多次元の探知器も使用できることに注意する。 As long dimension to be searched contains the stroke direction substantially parallel directions, to note that can be used multidimensional detector. 任意の基準点から測定される時間が水平軸1900に描かれる。 Time measured from an arbitrary reference point is drawn in the horizontal axis 1900. 探知器の論理出力は、白抜きの点1920および塗りつぶされた点1922など、四角いポイントの連続として描かれ、探知器位置曲線1950により結ばれる。 Logic output of detectors, such as points 1920 and filled points 1922 white, depicted as a series of square points are connected by detector position curve 1950. フレームに対応する四角い点が描かれた別々の時間だけで、探知器は位置を測定する。 Only different times of square points are drawn corresponding to the frame, detector measures the position. 従って、探知器の位置曲線1950は、読み手の任意に描かれると理解され、探知器による連続的な測定を表さない。 Therefore, the position curve 1950 Detector is understood to be drawn to the reader any, it does not represent a continuous measurement by detector. 四角い点の縦の位置に対応する論理出力値は、第一の縦軸1910に描かれる。 Logic output value corresponding to the vertical position of the square points are drawn on the first longitudinal axis 1910. 白抜きの点1920などの白抜きの四角い点は、探知器が対象の画像の特徴を見つけたという確信がほとんどない場合の低い論理出力値(0.5未満、例示的実施形態の基準線1914に相当する)を表す。 Square points of the outline such a point 1920 of the open box, low logic output value (less than 0.5 when detector there is little confidence that finds a feature of the target image, the reference line of the exemplary embodiment 1914 representing the equivalent) to. 塗りつぶされた点1922などの黒い四角い点は、探知器が対象画像の極超を見つけたという強い確信がある場合の高い論理出力値(例示的実施形態では0.5以上)であり、従って、測定位置が有効であることを示す。 The black square point such as filled point 1922, a high logic output value when the detector there is a strong belief that found a pole than the target image (0.5 or more in the exemplary embodiment), therefore, measuring position results show the effectiveness.

測定された探知器の位置は、位置ポイント例1930など、黒丸として描かれた位置点の連続として描かれる。 Position of the measured detector, such as a location point example 1930, depicted as a series of location points drawn as black circles. 位置点の縦の位置に対応する位置の値は、第二の縦軸1912に描かれて、探知器の中央からのピクセルで測定される。 The value of the position corresponding to the vertical position of the position points, depicted in the second longitudinal axis 1912, measured in pixels from the center of the detector. 位置点は、探知器の論理出力が0.5以上の場合のフレームだけ、つまり、探知器が対象画像の特徴を発見したという強い確信があるフレームだけに、表示されることに注意する。 Position point, only the frame when the logic output of the detector is above 0.5, i.e., detectors only in the frame there is a strong belief that found the characteristics of the target image is noted that display.

視野の機械的構成要素が、探知器の検索範囲を、頂点に向かって、約+6ピクセルで、約4個のフレーム分前進し、約6個のフレーム分、その頂点で維持されてから、検索範囲を超える前に別の4個のフレーム分後退した位置ポイントを確認することによりわかる。 Mechanical components of the field of view, the search range of detectors, towards the apex, about +6 pixels, about four forward frame, about six frames, from being maintained at that vertex, search It is seen by checking the different four position points retracted frames before exceeding the range. このストローク事象の特定の記録時間を計算するために、例示的実施形態は、位置ポイントを使用して、最適な放物線1940を計算すると、放物線1960の頂点が容易に決定される。 To calculate the specific recording time of the stroke event, the exemplary embodiment uses the position point of the calculation of the optimum parabolic 1940, the apex of the parabola 1960 can be easily determined. 説明的例では、記録時間(最適放物線の頂点)は、19.2ミリ秒で発生する。 In the illustrative example, (the vertex of the optimum parabola) recording time occurs at 19.2 ms.

ポイントのセットから最適放物線を計算するための方法は、技術的によく知られている。 The method for calculating the optimum parabolic from the set of points are well known in the art. 当業者には、本発明の範囲内において、ストローク事象の頂点を決定するためのその他の方法を使用できることが明らかである。 Those skilled in the art within the scope of the present invention, it is clear that other methods for determining the vertices of a stroke event may be used. さらに、本明細書で説明される方法を使用して、本明細書で検討されるフローおよびストローク事象以外の運動が追跡できること、さらに、このような運動の場合の記録時間を決定するために、適切な曲線がフィットできること、また、その他の技術を使用できることが明らかである。 Moreover, using the methods described herein, can be tracked motion other than the flow and the stroke events discussed herein, further, to determine the recording time in the case of such a movement, be appropriate curve can be fit, also it is clear that other techniques can be used.

図20は、出力の遅れ1820(図18)を設定する制御などの、出力機器のユーザー設定のためのパラメータ表示を示す。 Figure 20, such as the control for setting the output of the delay 1820 (FIG. 18) shows a parameter display for user setting of the output device. モード制御2000により、ユーザーは、出力信号をどのように制御するかを選択できる。 The mode control 2000, a user can choose how to control the output signal. 「直線」モードでは、論理入力は、遅れまたは同期が全くなく、出力信号に直接渡される。 The "linear" mode, logic input, delay or synchronization without any, are passed directly to the output signal. 「遅延」モードでは、論理入力の上昇部分上で、出力パルスは、遅延制御2010により指定された量だけ、最も直近に測定された記録時間(またはエンコーダカウント)から遅れた時間で、および、パルス制御2020により指定された期間の間、発生するようにスケジュールされる。 The "delay" mode, on the rising portion of the logic input, an output pulse by an amount specified by the delay control 2010, the most recently measured recording times (or encoder count) time delayed, and the pulse during the specified period by the control 2020 it is scheduled to occur. スケジュールされたパルスは、出力機器に関連づけられたFIFOに配置されることもある。 Scheduled pulse is sometimes placed in the FIFO associated with the output device.

[画像の記録と検索] [Recording and retrieval of image]
図21は、例示的実施形態で使用されるメモリ710(図7)の一部の組織の詳細を示す。 Figure 21 shows a detail of a portion of the tissue of the memory 710 used in the exemplary embodiment (FIG. 7). フレームバッファプール2100は、さまざまな目的で使用される、フレームバッファ2130、2132、2134、2136および2138のようないくつかの個別のフレームバッファを含む。 Frame buffer pool 2100 is used for various purposes, including a number of separate frame buffer, such as frame buffers 2130,2132,2134,2136 and 2138. フリープール2110は、リングバッファとして組織されて、事象決定のためのフレームを取得して分析するために使用される。 Free pool 2110 is organized as a ring buffer is used to analyze to obtain the frame for the event determination. 書き込みポインタ2120は、次のフレームが取得される、次に使用可能なフレームバッファ2130を示す。 Write pointer 2120, the next frame is acquired, following a frame buffer 2130 available. フレームバッファ2130への画像取得と同時に、フレームバッファ2132にある以前の画像が分析されている。 At the same time the image acquisition to the frame buffer 2130, the previous image in the frame buffer 2132 is being analyzed. ある時点で、リングバッファはいっぱいになることがあり、その時点で、古いフレームは上書きされる。 At some point, the ring buffer may become full, at which point, the old frame is overwritten.

撮像装置760がLM9630である場合の例示的実施形態では、例えば、各フレームバッファは、128x100個の8ビットピクセルを含む。 In an exemplary embodiment of the case where the imaging apparatus 760 is a LM9630, for example, each frame buffer includes a 128x100 8-bit pixels. 図では、フレームバッファプール2100は、明確化のために、数十の要素だけを含むように示されているが、実際には、さらに多いほうが望ましい。 In the figure, a frame buffer pool 2100, for clarity, is illustrated as including only the elements of tens, in fact, better still often desirable. ある実施例では、160個の要素が使用されているが、2メガバイトをやや下回るストレージが必要であり、200フレーム/秒の実行速度で約0.8秒、または、500フレーム/秒の実行速度で約0.32秒で保管する能力である。 In some embodiments, the 160 elements are used, it is necessary slightly below the storage 2 megabytes of about 0.8 seconds at a running rate of 200 frames / sec, or the execution rate of 500 frames / sec in is the ability to store at about 0.32 seconds. 明らかに、フレームレートが低くなると、画像を保管できる時間は増加する。 Obviously, the frame rate is low, the time that can store the image increases.

事象が検出されると、事象が発生してから多くのフレームが発生することがあるが、取得された画像の最近の履歴は、フリープール2110にある。 When an event is detected, it is that many frames generated from event occurs, the recent history of the acquired image is in the free pool 2110. 例示的実施形態では、フリープール2110は、事象フレーム、および、アプリケーションの目的のために十分な数の事象フレームの前後のフレームを保持する十分な大きさである。 In an exemplary embodiment, free pool 2110 event frame, and is large enough to hold the front and rear frames of a sufficient number of events frames for the purpose of application. 事象が検出されるとき、最近の履歴は、記録制御1050のようなユーザーの選択により、記録されるフレームがない、一部、または全部を含むことがある。 When the event is detected, the recent history, the user's selection as recording control 1050, there is no frame to be recorded, a portion, or it may comprise all. 最近の履歴がフレームのすべてを含む場合は、以下で説明されるように、直ちに記録できる。 If recent history includes all frames, as described below, it can be immediately recorded. すべてを含まない場合は、記録は、記録されるフレームのすべてが利用可能である将来の時点で発生する。 If you do not include all, recording, all of the frame to be recorded is generated at a future time is available.

例示的実施形態において、例2134など、「R」とマークされたフレームバッファは、記録される画像を保持し、例2136などの「E」は事象フレーム(記録される)を保持する。 In an exemplary embodiment, such an example 2134, a frame buffer that is marked "R" holds the image to be recorded, "E", such as example 2136 holds the event frame (recorded). 事象は記録時間2160で発生し、バッファ2134のフレームの分析中に検出される。 Event occurs in the recording time 2160 is detected during the analysis of the frame buffer 2134. 事象が検出されたとき、記録されるフレームの全部ではないが、一部が最近の履歴にある。 When an event is detected, if not all, of the frames to be recorded, partly in the recent history. バッファ2132のフレームを後で分析中に、最近の履歴はこれで記録されるフレームすべてを含むと決定される。 Later during the analysis frame buffer 2132, recent history is determined to include all frames to be recorded by this.

フレームを記録するために、フレームバッファはフリープール2110から削除されて、保管された事象2112、2114および2116を含む、保管された事象プール2104に追加される。 To record frame, the frame buffer is removed from the free pool 2110 includes events 2112,2114 and 2116 that are stored, it is added to the event pool 2104 that is stored. 新しく保管された事象を削除後にフリープール2110のフレームバッファの数が小さくなりすぎる場合は、さまざまなアクションが可能である。 If the number of the frame buffer of the free pool 2110 the newly archived events after the delete process is too small, it is possible to various actions. ある実施例では、事象検出は、バッファがフリープール2110に戻ることができるように、HMI630(図6)がフレームを保管された事象プール2104にアップロードするまで、中断する。 In some embodiments, event detection, until the buffer is to be able to return to the free pool 2110 and uploads the HMI630 (FIG. 6) event pool 2104 stored frame is interrupted. 別の実施例では、1つ以上の保管された古い事象は保管された事象プール2104から取り出されて、フリープール2104に戻されることがある。 In another embodiment, one or more of the stored old event has been removed from the event pool 2104 that is stored, it may be returned to the free pool 2104. これらの古い事象は、表示することはできなくなる。 These old events, will not be able to display.

例示的実施形態では、フレームバッファは決してコピーされない。 In an exemplary embodiment, the frame buffer is never copied. その代わりに、フレームバッファは、技術的によく知られた技術を使用するポインタ操作により、フリープール2110と保管された事象プール2104の間を移動する。 Alternatively, frame buffer, the pointer operation that uses technically well known techniques, to move between events pool 2104 that is stored with the free pool 2110.

リスト要素2140、2142および2144など、保管された事象のリスト210 2が維持される。 Such list elements 2140,2142 and 2144, a list 2102 of the stored event is maintained. リスト要素2140は、例えば、次の要素ポインタ2150、フレームバッファカウント2152、結果情報2154、および保管された事象ポインタ2156を含む。 List element 2140 includes, for example, the following elements pointer 2150, frame buffer count 2152, result information 2154, and the stored events pointer 2156. 結果情報2154は、図にあるようにタイムスタンプ、または、表示されていないがアクティブデータ302のような他の情報を含むことがある。 Result information 2154, time stamp as in the figure, or, although not shown may include other information such as an active data 302.

結果情報2154は、事象全体に適用される情報を含む。 Result information 2154 includes information that applies to the entire event. 保管された事象プール2104のフレームバッファで表示されている例のように、各記録されたフレームの情報を提供することがさらに好ましい。 As in the example listed in the stored frame buffer event pool 2104, it is more preferable to provide the information of the frame each recording. 例示的実施形態では、保管された情報は、記録時間に想定的なフレームの取得時間をミリ秒単位で記録するタイムスタンプを含む。 In an exemplary embodiment, information stored includes a timestamp to record the acquisition time of the assumed specific frame in the recording time in milliseconds. 事象検出加重や個別の機器の結果のようなその他の情報(表示されていない)も記録されることがある。 Events other information such as the detection weight and results of the individual devices (not shown) may also be recorded.

図6に戻って参照すると、ビジョン検出器は、設定を目的として、信号640を経由して人−マシンインターフェイス(HMI)630に接続されることがある。 Referring back to FIG. 6, the vision detector, for the purpose of setting, the person via a signal 640 - which may be connected to a machine interface (HMI) 630. また、HMIがビジョン検出器600の一部であることも可能であるが、これは、HMIは一般的に事象検出には必要ではないため、あまり好まれない。 It is also possible HMI is part of a vision detector 600, which, since HMI is not required for general event detection, not less preferred. したがって、1台のHMIは多数のビジョン検出器の間で共有できる。 Thus, one HMI can be shared among multiple vision detector. HMIは、図22に示される図説部分の従来の設計のグラフィカルユーザーインターフェイス(GUI)を実行することがある。 HMI may be implemented graphical user interface of a conventional design (GUI) of Illustrated portion shown in FIG. 22.

GUIにより、ビジョン検出器のメモリ710に保管された記録された画像の一部が、人間のユーザーに表示されることが可能である。 The GUI, some of the recorded image stored in the memory 710 of the vision detector, is capable of being displayed to a human user. 図22の例示的実施形態では、映写スライドウィンドウ2202は、8個までのサムネイル画像2210、2212、2214、2216、2220、2230、2232および2234を表示する。 In the exemplary embodiment of FIG. 22, filmstrip window 2202 displays thumbnail images 2210,2212,2214,2216,2220,2230,2232 and 2234 of up to eight. それぞれのサムネイル画像は、保管された事象プール2104に対応する記録された画像の低解像度バージョンである。 Each thumbnail image is a low resolution version of the image recorded corresponding to the event pool 2104 that is stored. 一般的に、サムネイル画像は、記録の単独事象の連続画像に対応するが、対応するサムネイルの間の画像の何個かを省略するなど、その他の処理も有用なことがある。 Generally, the thumbnail image is corresponding to the continuous image recording of a single event, such as omitted some number of images between the corresponding thumbnail, other processes may also be useful.

スクロール制御のセット2250は、事象の記録された画像内、または事象間で前後してサムネイル画像を移動するために映写スライドウィンドウ2202に提供される。 Set 2250 of the scroll control is provided to the filmstrip window 2202 to move the thumbnail images one after the recorded image of the event, or between events. 次の画像制御2260は、画像を1つずつ進めて、以前の画像制御2262は画像を1つずつ逆に進む。 The next image control 2260, proceed image one by one, the previous image control 2262 proceeds in the opposite one image. 次の事象制御2264と以前の事象制御2266は、事象を1つずつ前後に表示する。 Next event control 2264 and previous event control 2266 is displayed before and after the event one by one.

サムネイル2220は、物体116(図1)の例に対応することがある、物体224 2の低解像度画像を表示する。 Thumbnail 2220 may correspond to the example of the object 116 (FIG. 1), and displays a low-resolution image of the object 224 2. また、物体2242は、サムネイル2210の物体例2240のように、わずかに異なる表示視点(視野内の位置)およびアーム2272によるラベル2270の貼り付けの間異なる時間で、その他のすべてのサムネイルも表示する。 Further, the object 2242, such as the object instance 2240 of thumbnails 2210, a slightly different view viewpoint (the position in the field of view) and different times during the attachment of the label 2270 by the arm 2272 also displays all other thumbnails . スクロール制御2250を使用してスクロールコマンドを発行することにより、ユーザーは、任意の望ましい時間間隔を見るために記録された画像を前後に移動できる。 By issuing scrolling commands using the scroll control 2250, a user can move back and forth the recorded image to see any desired time interval. 特に、サムネイル2212、2214および2216にある図説の画像例を検討すると、ラベル2270は、貼られているように、物体の上端で引っかかっているように見える。 In particular, when considering the example image Illustrated in thumbnail 2212,2214 and 2216, a label 2270, as attached, it seems stuck at the top of the object.

図22の例示的実施形態では、太線で囲まれて「選択された画像」として参照されている、サムネイル2220に対応する画像も、画像表示ウィンドウ2200で最高解像度で表示される。 In the exemplary embodiment of FIG. 22, is surrounded by a thick line are referred to as "selected image", also the image corresponding to the thumbnail 2220 is displayed at full resolution in an image display window 2200. スクロールコマンドが表示部分を前後に進むにつれて、別の選択された画像がサムネイル2220に移動して、画像表示ウィンドウ2200で最高解像度で表示される。 As scrolling commands advances the display area before and after, another selected image is moved to the thumbnail 2220 is displayed at full resolution in an image display window 2200. 記録時間に想定的に選択された画像の取得時間(この例のミリ秒)を示すタイムスタンプ2280のような選択された画像についてのその他の情報も表示される。 Other information about the selected image, such as a time stamp 2280 which shows acquisition time assumed to selected image on the recording time (in milliseconds in this example) is also displayed.

以上は、本発明のさまざまな実施例の詳細説明である。 Above is a detailed description of various embodiments of the present invention. 本発明の製品および範囲から逸脱することなく、本発明にさまざまな範囲の修正や追加を行えることが明らかである。 Without departing from the product and scope of the present invention, it is apparent that the present invention allows the modification or addition of various ranges. 例えば、本明細書のプロセッサと計算デバイスは例であって、スタンドアロンと分散両方のさまざまなプロセッサおよびコンピュータが、開示された計算を実施するために採用できる。 For example, the processor and the computing device of the present specification is an example, it can be employed to standalone and distributed both various processors and computers, to implement the disclosed calculations. 同様に、本明細書で記述された撮像装置やその他のビジョン構成要素は、例であって、改善されたまたは別の構成要素が本発明の開示内で採用できる。 Similarly, the imaging device or other vision components described herein is an example, improved or alternative components may be employed within the present disclosure. ソフトウェア要素、GUI設計およびレイアウト、パラメータ値、および数式は、すべて本発明の特定のアプリケーションに適するように同等に修正または置換できる。 Software elements, GUI design and layout, parameter values, and formulas can be equally modified or substituted to suit a particular application of this invention. 従って、本記述は一例を意味するものであって、本発明の範囲を限定するものではない。 Accordingly, this description is a mean an example, not intended to limit the scope of the present invention.

Claims (8)

  1. 記録時間を検出、及び報告するための方法であって、 Detecting the recording time, and a method for reporting,
    少なくとも1つの物体を含む一組の物体と、グローバルシャッターを有するセンサーの二次元視野との間に相対的運動を生成するステップと、 A set of objects including at least one object, and generating a relative movement between the two-dimensional field of view of the sensor with a global shutter,
    前記センサーに対する固定位置に記録点を設けるステップと、 Providing at the recording point in a fixed position relative to the sensor,
    複数の取得時間において、前記センサーを使用して、前記二次元視野の複数のアクティブフレームを取得するステップと、 A plurality of acquisition time, a step of using said sensor to obtain multiple active frames of the two-dimensional field of view,
    前記複数のアクティブフレームの分析を実施し、複数のロケーション値を得るステップであって、前記複数のロケーション値のうちの1つのロケーション値は、対応するアクティブフレームが取得された前記取得時間における前記一組の物体のうちの1つの物体の前記記録点に対する位置に対応する、前記複数のアクティブフレームの分析を実施し、複数のロケーション値を得るステップと、 Conducted an analysis of the plurality of active frames, comprising the steps of obtaining a plurality of location value, one location value of the plurality of location value, the in the acquisition time of the active frame to the corresponding is acquired one corresponding to the position with respect to the recording point of one object of the set of objects, to perform an analysis of the plurality of active frames, obtaining a plurality of location value,
    前記一組の物体のうちの1つの物体による前記記録点の少なくとも一部の交差について、前記取得時間、及びロケーション値を使用して、対応する記録時間を決定するステップであって、前記対応する記録時間の決定が、前記対応する記録時間から対応する決定遅延だけ異なる対応する決定点において行われ、前記決定遅延が、実質的に可変である、前記一組の物体のうちの1つの物体による前記記録点の少なくとも一部の交差について、前記取得時間、及びロケーション値を使用して、対応する記録時間を決定するステップと、 The intersection of at least a portion of the recording point by one object of the set of objects, the acquisition time, and use the location value, and determining a corresponding recording time, the corresponding determination of recording time, the only corresponding determined delay from the corresponding recording time performed at decision point different corresponding, the decision delay is substantially variable, according to one object of the set of objects for at least some of the intersection of the recording point, and determining the acquisition time, and use the location value, the corresponding recording time,
    前記記録時間の少なくとも一部について、前記対応する記録時間から遅延時間間隔だけ後のレポートタイムにおいて、信号を生成するステップと、 For at least a portion of the recording time, the report time later by a delay time interval from the recording time during which the corresponding, and generating a signal,
    前記信号の前記レポートタイムを使用して、前記対応する記録時間を示すステップとからなる方法。 Using said reporting time of the signal, the method comprising the step of indicating the corresponding record time.
  2. 前記記録時間を決定するステップは、少なくとも3つの取得時間、及び対応するロケーション値に曲線をフィットさせることをさらに含む、請求項1に記載の方法。 Wherein said step of determining a recording time, at least three acquisition time, and further comprising fitting a curve to the corresponding location value, the method according to claim 1.
  3. 前記曲線は線を含む、請求項2に記載の方法。 The curve includes a linear method of claim 2.
  4. FIFOバッファを使用して、前記レポートタイムに前記信号を生成するために必要な情報を保持するステップをさらに含む、請求項1に記載の方法。 Use FIFO buffers, further comprising the step of holding the information necessary for generating the signal to report the time, The method of claim 1.
  5. 記録時間を検出、及び報告するためのシステムであって、 Detecting the recording time, and a system for reporting,
    少なくとも1つの物体を含む一組の物体と、グローバルシャッターを有するセンサーの二次元視野との間に相対的運動を生成する手段と、 A set of objects including at least one object, and means for generating a relative movement between the two-dimensional field of view of the sensor with a global shutter,
    前記センサーに対する固定位置に記録点を設ける手段と、 It means for providing a recording point in a fixed position relative to the sensor,
    複数の取得時間において、前記センサーを使用して、前記二次元視野の複数のアクティブフレームを取得する手段と、 A plurality of acquisition time, means for using said sensor, acquires a plurality of active frames of the two-dimensional field of view,
    前記複数のアクティブフレームの分析を実施し、複数のロケーション値を得る手段であって、前記複数のロケーション値のうちの1つのロケーション値は、対応するアクティブフレームが取得された前記取得時間における前記一組の物体のうちの1つの物体の前記記録点に対する位置に対応する、前記複数のアクティブフレームの分析を実施し、複数のロケーション値を得る手段と、 Conducted an analysis of the plurality of active frames, a means for obtaining a plurality of location value, one location value of the plurality of location value, the in the acquisition time of the active frame to the corresponding is acquired one corresponding to the position with respect to the recording point of one object of the set of objects, to perform an analysis of the plurality of active frames, means for obtaining a plurality of location value,
    前記一組の物体のうちの1つの物体による前記記録点の少なくとも一部の交差について、前記取得時間、及びロケーション値を使用して、対応する記録時間を決定する手段であって、前記対応する記録時間の決定が、前記対応する記録時間から対応する決定遅延だけ異なる対応する決定点において行われ、前記決定遅延が、実質的に可変である、前記一組の物体のうちの1つの物体による前記記録点の少なくとも一部の交差について、前記取得時間、及びロケーション値を使用して、対応する記録時間を決定する手段と、 The intersection of at least a portion of the recording point by one object of the set of objects, the acquisition time, and use the location value, and means for determining the corresponding recording time, the corresponding determination of recording time, the only corresponding determined delay from the corresponding recording time performed at decision point different corresponding, the decision delay is substantially variable, according to one object of the set of objects for at least some of the intersection of the recording point, and means for determining the acquisition time, and use the location value, the corresponding recording time,
    前記記録時間の少なくとも一部について、前記対応する記録時間から遅延時間間隔だけ後のレポートタイムにおいて、信号を生成する手段と、 For at least a portion of the recording time, the report time later by a delay time interval from the recording time during which the corresponding means for generating a signal,
    前記信号の前記レポートタイムを使用して、前記対応する記録時間を示す手段とからなるシステム Using said reporting time of the signal, the system comprising a means for indicating the recording time said corresponding.
  6. 前記記録時間を決定する手段は、少なくとも3つの取得時間、及び対応するロケーション値に曲線をフィットさせる手段をさらに含む、請求項5に記載のシステム。 It said means for determining the recording time further includes means for fitting a curve to at least three acquisition time, and the corresponding location value, The system of claim 5.
  7. 前記曲線は線を含む、請求項6に記載のシステム。 The curve includes a linear system of claim 6,.
  8. FIFOバッファを使用して、前記レポートタイムに前記信号を生成するために必要な情報を保持する手段をさらに含む、請求項5に記載のシステム。 Use FIFO buffer further comprises means for holding information necessary for generating the signal to the report time, according to claim 5 system.
JP2011168412A 2004-06-09 2011-08-01 Method and device for the automatic visual event detection Active JP5350444B2 (en)

Priority Applications (10)

Application Number Priority Date Filing Date Title
US10865155 US9092841B2 (en) 2004-06-09 2004-06-09 Method and apparatus for visual detection and inspection of objects
US10/865,155 2004-06-09
US11059512 US20050276445A1 (en) 2004-06-09 2005-02-16 Method and apparatus for automatic visual detection, recording, and retrieval of events
US11/059,512 2005-02-16
US11/138,023 2005-05-26
US11/138,025 2005-05-26
US11138033 US8249297B2 (en) 2004-06-09 2005-05-26 Method and apparatus for automatic visual event detection
US11138023 US8249296B2 (en) 2004-06-09 2005-05-26 Method and apparatus for automatic visual event detection
US11/138,033 2005-05-26
US11138025 US8243986B2 (en) 2004-06-09 2005-05-26 Method and apparatus for automatic visual event detection

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2007527637 Division 2005-06-06

Publications (2)

Publication Number Publication Date
JP2011258220A true JP2011258220A (en) 2011-12-22
JP5350444B2 true JP5350444B2 (en) 2013-11-27



Family Applications (2)

Application Number Title Priority Date Filing Date
JP2007527637A Active JP4980907B2 (en) 2004-06-09 2005-06-06 Method and device for the automatic visual event detection
JP2011168412A Active JP5350444B2 (en) 2004-06-09 2011-08-01 Method and device for the automatic visual event detection

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2007527637A Active JP4980907B2 (en) 2004-06-09 2005-06-06 Method and device for the automatic visual event detection

Country Status (4)

Country Link
EP (1) EP1763844A2 (en)
JP (2) JP4980907B2 (en)
KR (1) KR20070036123A (en)
WO (1) WO2005124709A3 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9092841B2 (en) 2004-06-09 2015-07-28 Cognex Technology And Investment Llc Method and apparatus for visual detection and inspection of objects
US8127247B2 (en) 2004-06-09 2012-02-28 Cognex Corporation Human-machine-interface and method for manipulating data in a machine vision system
US8891852B2 (en) 2004-06-09 2014-11-18 Cognex Technology And Investment Corporation Method and apparatus for configuring and testing a machine vision detector
US9292187B2 (en) 2004-11-12 2016-03-22 Cognex Corporation System, method and graphical user interface for displaying and controlling vision system operating parameters
US8238639B2 (en) 2008-04-09 2012-08-07 Cognex Corporation Method and system for dynamic feature detection
US9651499B2 (en) 2011-12-20 2017-05-16 Cognex Corporation Configurable image trigger for a vision system and method for using the same

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000293694A (en) * 1999-04-07 2000-10-20 Toyota Motor Corp Scene recognizing device
JP3732366B2 (en) * 1999-10-05 2006-01-05 財団法人電力中央研究所 Image database device and image database creation retrieval method
JP3658326B2 (en) * 2001-01-19 2005-06-08 日立エンジニアリング株式会社 Particle inspection apparatus and method of the liquid filling container
JP2004145504A (en) * 2002-10-23 2004-05-20 Keyence Corp Image processing system

Also Published As

Publication number Publication date Type
JP2008510250A (en) 2008-04-03 application
KR20070036123A (en) 2007-04-02 application
WO2005124709A2 (en) 2005-12-29 application
EP1763844A2 (en) 2007-03-21 application
WO2005124709A3 (en) 2006-03-23 application
JP4980907B2 (en) 2012-07-18 grant
JP2011258220A (en) 2011-12-22 application

Similar Documents

Publication Publication Date Title
Nodine et al. Using eye movements to study visual search and to improve tumor detection.
Cree et al. A fully automated comparative microaneurysm digital detection system
Bobick et al. The recognition of human movement using temporal templates
Ward et al. Performance metrics for activity recognition
US7319479B1 (en) System and method for multi-camera linking and analysis
US20080056536A1 (en) Multiple Camera Control System
US6999614B1 (en) Power assisted automatic supervised classifier creation tool for semiconductor defects
US8693731B2 (en) Enhanced contrast for object detection and characterization by optical imaging
US20040032979A1 (en) Defect inspection method
US20110243397A1 (en) Searching digital image collections using face recognition
US20060044282A1 (en) User input apparatus, system, method and computer program for use with a screen having a translucent surface
Ellis Performance metrics and methods for tracking in surveillance
US20050031191A1 (en) Methods and apparatus for inspection of lines embedded in highly textured material
US20100303294A1 (en) Method and Device for Finding and Tracking Pairs of Eyes
US6661456B1 (en) Imaging of pixel defects in digital detectors
US20030164860A1 (en) System GUI for identification and synchronized display of object-correspondence in CT volume image sets
US20010036306A1 (en) Method for evaluating pattern defects on a wafer surface
US20070116333A1 (en) Detection of multiple targets on a plane of interest
US20070052858A1 (en) System and method for analyzing and monitoring 3-D video streams from multiple cameras
US20080075352A1 (en) Defect classification method and apparatus, and defect inspection apparatus
US8775916B2 (en) Validation analysis of human target
US6718074B1 (en) Method and apparatus for inspection for under-resolved features in digital images
US20140189576A1 (en) System and method for visual matching of application screenshots
US6859199B2 (en) Method and apparatus for determining relative movement in an optical mouse using feature extraction
US20060107223A1 (en) System and method for assigning analysis parameters to vision detector using a graphical interface

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120608

A131 Notification of reasons for refusal


Effective date: 20120619

A601 Written request for extension of time


Effective date: 20120918

A602 Written permission of extension of time


Effective date: 20120921

A521 Written amendment


Effective date: 20121212

A131 Notification of reasons for refusal


Effective date: 20130312

A521 Written amendment


Effective date: 20130313

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)


Effective date: 20130723

A61 First payment of annual fees (during grant procedure)


Effective date: 20130821

R150 Certificate of patent or registration of utility model


R250 Receipt of annual fees


R250 Receipt of annual fees