JP5406787B2 - Detection system, signal processing method thereof, and program - Google Patents
Detection system, signal processing method thereof, and program Download PDFInfo
- Publication number
- JP5406787B2 JP5406787B2 JP2010127228A JP2010127228A JP5406787B2 JP 5406787 B2 JP5406787 B2 JP 5406787B2 JP 2010127228 A JP2010127228 A JP 2010127228A JP 2010127228 A JP2010127228 A JP 2010127228A JP 5406787 B2 JP5406787 B2 JP 5406787B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- unit
- time difference
- determination
- light source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
Description
本発明は、たとえば、撮像装置等を用いて被写体の状態を検知する検知システムおよびその信号処理方法、プログラムに関するものである。 The present invention relates to a detection system that detects the state of a subject using an imaging device or the like, a signal processing method thereof, and a program, for example.
たとえば、特許文献１に示す夜間の防犯システム等に用いられる撮像装置が提案されている。
この撮像装置は、信号処理部を有し、光源を周波数１００Ｈｚまたは１２０Ｈｚ（電源に５０Ｈｚまたは６０Ｈｚの商用電源を用いた場合、光源はその倍の１００Ｈｚまたは１２０Ｈｚでその明るさが変動する）より高い高周波で変調する。さらに、信号処理部はこの高周波変調信号を検出する検出部を有している。
ただし、この撮像装置はその変調周波数より高いフレームレートを持っている必要がある。
For example, an imaging apparatus used in a nighttime crime prevention system shown in
This imaging apparatus has a signal processing unit, and the light source has a frequency higher than 100 Hz or 120 Hz (when a commercial power source of 50 Hz or 60 Hz is used as the power source, the brightness of the light source fluctuates at 100 Hz or 120 Hz that is twice that). Modulate with high frequency. Further, the signal processing unit has a detection unit for detecting the high frequency modulation signal.
However, this imaging apparatus needs to have a frame rate higher than its modulation frequency.
ところで、一般に広く普及している撮像装置はＮＴＳＣ（National Television Standards Committee）方式またはＰＡＬ（Phase Alternating Line）方式と呼ばれる規格が採用されている。
このような規格を採用した撮像装置はフレームレートが遅いため、たとえば特許文献１に示すような防犯システムの撮像装置として使用できない。
By the way, a standard called NTSC (National Television Standards Committee) system or PAL (Phase Alternating Line) system is adopted for imaging apparatuses which are widely spread in general.
Since an image pickup apparatus adopting such a standard has a low frame rate, for example, it cannot be used as an image pickup apparatus for a crime prevention system as shown in
そこで、光源または光源に照射された被写体の状態を検知でき、ＮＴＳＣ等の規格を採用した防犯システムに適用可能な検知システムが提案されている（特許文献２参照）。
この検知システムは、光源の周波数成分の被写体の状態を検知する。
Therefore, a detection system that can detect a light source or the state of a subject irradiated with the light source and can be applied to a crime prevention system adopting a standard such as NTSC has been proposed (see Patent Document 2).
This detection system detects the state of the subject of the frequency component of the light source.
ところで、上記検知システムでは、撮像装置から輝度信号抽出部の映像信号の伝送において、たとえばＵＳＢインターフェースのアイソクロナス転送を利用してデータ転送を行う場合、データの欠落や送受信の失敗が発生することがある。
そのとき、光源または光源に照射された被写体の状態検知において演算部での処理が正確に行われず、判定部にて誤った判定を行うおそれがある。
By the way, in the above detection system, when data transmission is performed using isochronous transfer of the USB interface, for example, in transmission of the video signal of the luminance signal extraction unit from the imaging device, data loss or transmission / reception failure may occur. .
At that time, in the state detection of the light source or the object irradiated to the light source, the processing in the calculation unit is not accurately performed, and there is a possibility that the determination unit makes an erroneous determination.
本発明は、光源または光源に照射された被写体の状態を検知できることはもとより、映像データ転送における不具合が発生した場合に、判定部での誤った判定を防止することが可能な検知システムおよびその信号処理方法、プログラムを提供することにある。 The present invention is capable of detecting the state of a light source or a subject irradiated with the light source, as well as a detection system capable of preventing erroneous determination in a determination unit when a problem occurs in video data transfer and a signal thereof It is to provide a processing method and a program.
本発明の第１の観点の検知システムは、光源と、上記光源または上記光源によって照射された被写体を撮像する撮像装置と、撮像素子から取得した信号を送信する第１のインターフェースとを含む撮像部と、上記撮像部から送信される信号を受信し、受信信号に対して信号処理を行って被写体の状態を検知する信号処理部と、を有し、上記信号処理部は、上記撮像部から送信される信号を受信する第２のインターフェースと、上記第２のインターフェースで受信した信号を格納し、データとして確定すると出力する受信バッファ部と、上記受信バッファ部から出力される信号から上記被写体の状態検知のために信号処理に用いる信号を抽出する信号抽出部と、上記信号抽出部が上記受信バッファ部からの信号を受信した時点の現フレームと前フレームとの時間差を算出する時間差取得部と、上記時間差取得部で取得した時間差とあらかじめ設定された閾値との差分値を求め、当該時間差が正常であるか異常であるかを判定する時間差判定部と、上記信号抽出部から所定走査面周期ごとに上記信号を取得し、複数の異なる走査面間で当該信号の信号レベル差から当該信号レベル差の時間平均を求め、さらに当該時間平均の値をもとに時間平均の２乗和を求める演算部と、上記演算部の演算結果により撮像対象を検知したか否かの判定を行う撮像対象抽出判定部と、上記演算部の演算結果により上記光源または光源に照射された被写体の検知を判定する判定部と、上記時間差判定部および上記撮像対象抽出判定部の判定結果を受けて、上記時間差が異常で、上記撮像対象抽出判定部で撮像対象を検知している場合、上記時間差判定部の閾値を当該時間差判定部が求めた閾値に更新する信号転送エラー判定部と、を含む。
A detection system according to a first aspect of the present invention includes an imaging unit including a light source, an imaging device that images the light source or an object irradiated by the light source, and a first interface that transmits a signal acquired from the imaging element. When receives the signal transmitted from the imaging unit, and a signal processing portion for detecting a state of an object by performing a signal processing on the received signal, the signal processing unit, transmitted from the imaging unit A second interface for receiving the received signal, a reception buffer unit for storing the signal received by the second interface and outputting it as data, and the state of the subject from the signal output from the reception buffer unit A signal extraction unit that extracts a signal used for signal processing for detection; and a current frame and a previous frame when the signal extraction unit receives a signal from the reception buffer unit A time difference acquisition unit that calculates a time difference from a lemme, and a time difference determination unit that obtains a difference value between the time difference acquired by the time difference acquisition unit and a preset threshold and determines whether the time difference is normal or abnormal And acquiring the signal from the signal extraction unit for each predetermined scanning plane period, obtaining a time average of the signal level difference from the signal level difference of the signal between a plurality of different scanning planes, and further calculating a value of the time average An arithmetic unit for obtaining a square sum of time averages, an imaging target extraction determination unit for determining whether an imaging target is detected based on a calculation result of the calculation unit, and the light source based on a calculation result of the calculation unit Alternatively, in response to the determination results of the determination unit that determines the detection of the subject irradiated with the light source and the time difference determination unit and the imaging target extraction determination unit, the time difference is abnormal and the imaging target extraction determination unit If detecting the subject, including a signal transfer error determination section for updating the threshold value of the time difference determination unit to a threshold where the time difference determination unit has determined.
本発明の第２の観点の検知システムの信号処理方法は、光源または上記光源によって照射された被写体を撮像素子で撮像し、撮像装置から取得した信号を第１のインターフェースにより送信する撮像部から送信される信号を受信し、受信信号に対して信号処理を行って被写体の状態を検知する信号処理ステップを有し、上記信号処理ステップは、撮像ステップで送信される信号を第２のインターフェースで受信する受信ステップと、上記第２のインターフェースで受信した信号を格納し、データとして確定すると出力する受信バッファステップと、上記受信バッファステップで出力される信号から上記被写体の状態検知のために信号処理に用いる信号を抽出する信号抽出ステップと、上記信号抽出ステップで上記受信バッファステップからの信号を受信した時点の現フレームと前フレームとの時間差を算出する時間差取得ステップと、上記時間差取得ステップで取得した時間差とあらかじめ設定された閾値との差分値を求め、当該時間差が正常であるか異常であるかを判定する時間差判定ステップと、所定走査面周期ごとに上記信号を取得し、複数の異なる走査面間で当該信号の信号レベル差から当該信号レベル差の時間平均を求め、さらに当該時間平均の値をもとに時間平均の２乗和を求める演算ステップと、上記演算ステップの演算結果により撮像対象を検知したか否かの判定を行う撮像対象抽出判定ステップと、上記演算ステップの演算結果により上記光源または光源に照射された被写体の検知を判定する判定ステップと、上記時間差判定ステップおよび上記撮像対象抽出判定ステップの判定結果を受けて、上記時間差が異常で、上記撮像対象抽出判定ステップで撮像対象を検知している場合、上記時間差判定ステップの閾値を当該時間差判定ステップが求めた閾値に更新する信号転送エラー判定ステップと、を含む。
In the signal processing method of the detection system according to the second aspect of the present invention, a light source or a subject illuminated by the light source is imaged by an imaging device, and a signal acquired from the imaging device is transmitted from an imaging unit that is transmitted by the first interface. A signal processing step for detecting a state of a subject by performing signal processing on the received signal, and the signal processing step receives the signal transmitted in the imaging step by the second interface A reception step for storing the signal received by the second interface and outputting it when it is determined as data, and performing signal processing for detecting the state of the subject from the signal output by the reception buffer step. A signal extraction step for extracting a signal to be used, and the signal extraction step from the reception buffer step. The time difference acquisition step for calculating the time difference between the current frame and the previous frame at the time of receiving the signal and the difference value between the time difference acquired in the time difference acquisition step and a preset threshold value are obtained, and whether the time difference is normal A time difference determination step for determining whether it is abnormal, acquiring the signal for each predetermined scanning plane period, obtaining a time average of the signal level difference from the signal level difference of the signal between a plurality of different scanning planes, and further A calculation step for obtaining a square sum of time averages based on a time average value, an imaging target extraction determination step for determining whether or not an imaging target is detected based on a calculation result of the calculation step, and A determination step for determining detection of the light source or the object irradiated to the light source based on a calculation result; the time difference determination step; In response to the determination result of step, the above-mentioned time difference is abnormal, if detecting the imaging object in the imaging target extraction determination step, the signal transfer of updating the threshold value of the time difference determining step the threshold where the time difference determining step is determined An error determination step.
本発明の第３の観点は、光源または上記光源によって照射された被写体を撮像素子で撮像し、撮像装置から取得した信号を第１のインターフェースにより送信する撮像部から送信される信号を受信し、受信信号に対して信号処理を行って被写体の状態を検知する信号処理を有し、上記信号処理は、撮像ステップで送信される信号を第２のインターフェースで受信する受信処理と、上記第２のインターフェースで受信した信号を格納し、データとして確定すると出力する受信バッファ処理と、上記受信バッファ処理で出力される信号から上記被写体の状態検知のために信号処理に用いる信号を抽出する信号抽出処理と、上記信号抽出処理で上記受信バッファ処理からの信号を受信した時点の現フレームと前フレームとの時間差を算出する時間差取得処理と、上記時間差取得処理で取得した時間差とあらかじめ設定された閾値との差分値を求め、当該時間差が正常であるか異常であるかを判定する時間差判定処理と、所定走査面周期ごとに上記信号を取得し、複数の異なる走査面間で当該信号の信号レベル差から当該信号レベル差の時間平均を求め、さらに当該時間平均の値をもとに時間平均の２乗和を求める演算処理と、上記演算処理の演算結果により撮像対象を検知したか否かの判定を行う撮像対象抽出判定処理と、上記演算処理の演算結果により上記光源または光源に照射された被写体の検知を判定する判定処理と、上記時間差判定処理および上記撮像対象抽出判定処理の判定結果を受けて、上記時間差が異常で、上記撮像対象抽出判定処理で撮像対象を検知している場合、上記時間差判定処理の閾値を当該時間差判定処理が求めた閾値に更新する信号転送エラー判定処理と、を含む検知システムの信号処理をコンピュータに実行させるプログラムである。
According to a third aspect of the present invention, a light source or a subject irradiated with the light source is imaged by an imaging device, and a signal transmitted from an imaging unit that transmits a signal acquired from the imaging device through a first interface is received. Signal processing for performing signal processing on the received signal to detect the state of the subject, and the signal processing includes receiving processing for receiving the signal transmitted in the imaging step by the second interface, and the second processing described above. A reception buffer process for storing a signal received by the interface and outputting it when it is determined as data; and a signal extraction process for extracting a signal used for signal processing for detecting the state of the subject from the signal output by the reception buffer process; The time difference for calculating the time difference between the current frame and the previous frame when the signal from the reception buffer process is received in the signal extraction process Obtaining a difference value between the acquisition process, the time difference acquired in the time difference acquisition process and a preset threshold, and determining whether the time difference is normal or abnormal; and for each predetermined scanning plane cycle Arithmetic processing for acquiring the above signal, obtaining a time average of the signal level difference from the signal level difference of the signal between a plurality of different scanning planes, and further obtaining a sum of squares of the time average based on the value of the time average And an imaging target extraction determination process for determining whether or not an imaging target is detected based on the calculation result of the calculation process, and a determination for determining detection of the light source or a subject irradiated to the light source based on the calculation result of the calculation process In response to the determination result of the process and the time difference determination process and the imaging target extraction determination process, when the time difference is abnormal and the imaging target is detected in the imaging target extraction determination process, The threshold between difference determination process is a program for executing the signal transfer error determination process of updating the threshold value the time difference determination processing is determined, the signal processing of the detection system including a computer.
本発明によれば、光源または光源に照射された被写体の状態を検知できることはもとより、映像データ転送における不具合が発生した場合に、判定部での誤った判定を防止することができる。 According to the present invention, it is possible not only to detect the state of the light source or the object irradiated to the light source, but also to prevent erroneous determination in the determination unit when a problem occurs in video data transfer.
以下、本発明の実施形態を図面に関連づけて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
［第１の実施形態］
図１は、本発明の実施形態に係る検知システムの構成例を示す図である。
[First Embodiment]
FIG. 1 is a diagram illustrating a configuration example of a detection system according to an embodiment of the present invention.
本検知システム１０は、光源１１、撮像部１２、および信号処理部１３を有する。
The
光源１１は、所定の輝度で被写体を照明する。光源１１の輝度は可変であり、撮像装置１２が有する撮像素子の電荷蓄積時間内の輝度が、撮像装置１２のフィールド周期の４ｎ倍周期で変化する。ここで、ｎ＝１、２、３、…である。
The
撮像部１２は、撮像装置１２１と第１のＵＳＢインターフェース（Ｉ／Ｆ）１２２を含んで構成されている。
本実施形態に係る検知システム１０で使用する撮像装置１２１は、以下のような仕様の撮像装置を採用している。
本撮像装置１２１を構成する撮像素子は一例として、単板補色フィルタ、フィールド蓄積型インターライン転送ＣＣＤ（Charge Coupled Device）イメージセンサ（以後、単にＣＣＤと記述する）を用いる。
また、一例として撮像装置１２のテレビジョン方式はＮＴＳＣ方式、走査方式はインターレースを採用し、走査周波数は水平周波数が１５．７３４ＫＨｚで垂直周波数は５９．９４Ｈｚである。
このような構成の撮像装置１２１は、光源１１によって照明された被写体を撮像し、そのアナログ信号をデジタル信号にＡＤ変換後、ＵＳＢＩ／Ｆ１２２によりデジタル信号を信号処理部１３に出力する。
なお、ここではＣＣＤイメージセンサを例示しているが、ＣＭＯＳイメージセンサも適用可能である。
The
The
As an example of the imaging device constituting the
As an example, the television system of the
The
Although a CCD image sensor is illustrated here, a CMOS image sensor is also applicable.
撮像部１２において、撮像装置１２１では撮像素子による出力信号をＡＤ変換し、このデジタル信号を、たとえばＵＳＢＩ／Ｆ１２２のアイソクロナス転送を用いて外部に伝送する。
アイソクロナス転送では一定時間あたりの最低データ転送量が保証されており、映像信号においては規定のフレームレートにて画像データの転送が行われる。ただし、転送に失敗した場合にデータの再送は行われない。
In the
In isochronous transfer, a minimum data transfer amount per certain time is guaranteed, and image data is transferred at a prescribed frame rate in a video signal. However, if the transfer fails, the data is not retransmitted.
信号処理部１３は、撮像部１２と接続する第２のＵＳＢＩ／Ｆ１３１、受信データバッファ部１３２、輝度信号抽出部１３３、フレーム時間差取得部１３４、第１の演算部（Ａ）１３５、第２の演算部（Ｂ）１３６、および演算処理部（時間平均２乗和演算処理部）１３７を含む。
第１の演算部１３５、第２の演算部１３６、および演算処理部１３７により演算部が形成される。
さらに、信号処理部１３は、フレーム時間差判定部１３８、撮像対象抽出判定部１３９、映像信号転送エラー判定部１４０、記憶部１４１、および判定部１４２を含んで構成されている。
The
The
Furthermore, the
信号処理部１３のＵＳＢＩ／Ｆ１３１では、撮像部１２にて出力された信号を受信し、受信データバッファ部１３２にその情報を格納する。
受信データバッファ部１３２は、１フレーム分のデータが格納されデータとして確定されると、輝度信号抽出部１３３にその格納情報を出力する。
The USB I /
When the data for one frame is stored and determined as data, the reception
輝度信号抽出部１３３は、入力された受信信号から輝度信号を抽出し、フレーム時間差取得部１３４に出力する。
輝度信号抽出部１３３により抽出される輝度信号は、演算に最適化された信号レベルに調節される。
その信号レベルは、第１の演算部１３５、第２の演算部１３６、演算処理部１３７の出力値においてオーバーフローしない信号レベルである必要がある。そのため、輝度信号抽出部１３３は、輝度信号レベルを調整する回路を含む。
輝度信号レベルの調整値はいくつかのモードがある場合には、モード切り替えが可能なテーブルをもっていてもかまわない。そのモードはＮＴＳＣやＰＡＬなどの映像信号規格、撮像装置の周波数モードであってもよい。
The luminance
The luminance signal extracted by the luminance
The signal level needs to be a signal level that does not overflow in the output values of the
The adjustment value of the luminance signal level may have a table capable of mode switching when there are several modes. The mode may be a video signal standard such as NTSC or PAL, or a frequency mode of the imaging apparatus.
フレーム時間差取得部１３４は、輝度信号抽出部１３３が受信データバッファ部１３２よりデータを受信した時点の現在のフレームと一つ前のフレームとの時間差分を算出する。
フレーム時間差取得部１３４においては、映像信号においてはフレームレートが規定されているので、通常は一定の値が算出される。
これに対し、撮像部１２のＵＳＢＩ／Ｆ１２２と信号処理部１３のＵＳＢＩ／Ｆ１３１間のデータ転送において何らかの原因により送受信失敗が発生していた場合、受信データバッファ部１３２にてデータの格納に不具合が生じ、１フレーム分のデータの確定のタイミングがずれるため、この時間差分値は異常な値をとることになる。
フレーム時間差取得部１３４は、取得した時間差分のデータを輝度信号とともに第１の演算部１３５および第２の演算部１３６に出力する。
The frame time
In the frame time
On the other hand, if a transmission / reception failure has occurred in the data transfer between the USB I /
The frame time
第１の演算部１３５は、入力された輝度信号を撮像素子の同一領域において、ｍ番目と（ｍ＋２）番目のフィールドにおける輝度信号のレベル差の時間平均を求める。
この第１の演算部１３５の出力結果Ａは、演算処理部１３７に出力される。
第２の演算部１３６は、入力された輝度信号の同一領域において、（ｍ＋１）番目と（ｍ＋３）番目のフィールドにおける輝度信号のレベル差の時間平均を求める。
この第２の演算部１３６の出力結果Ｂは、演算処理部１３７に出力される。
なお、この第１の演算部１３５と第２の演算部１３６の動作の詳細については後述する。
The
The output result A of the
The
The output result B of the
Details of operations of the
第１の演算部１３５と第２の演算部１３６からそれぞれ出力される出力結果Ａと出力結果Ｂは演算処理部１３７に入力される。演算処理部１３７は、被写体の周数成分の検出値を求める。
演算処理部１３７は出力結果の検出値としての２乗和の値（Ａ２＋Ｂ２）を求め、フレーム時間差判定部１３８および撮像対象抽出判定部１３９に出力する。
The output result A and the output result B output from the
The
フレーム時間差判定部１３８は、フレーム時間差取得部１３４にて算出した時間差分を用いて、その値があらかじめ設定した閾値以下である場合は、フレーム時間差は正常であると判定する。フレーム時間差判定部１３８は、フレーム時間差取得部１３４にて算出された時間差と閾値との差分値を求める。
フレーム時間差判定部１３８は、フレーム時間差取得部１３４にて算出した時間差分値が閾値を超える場合はフレーム時間差に異常が発生していると判定する。
The frame time
The frame time
ここでデータ転送の状態の判定を行うにあたって、前述のフレーム時間差を用いることで判定を行うことができる。
しかし、現実にはこの時間差は使用する機器やシステムによって異なっており個々の環境に適した閾値の設定が必要となる。
そこで、本実施形態においては、上述のフレーム時間差の判定に加えて以下の撮像対象抽出判定部１３９の判定を行い、その二つの判定結果を用いて、最適な閾値の設定および映像信号のデータ転送における状態の判定を行う。
Here, in determining the state of data transfer, the determination can be made by using the above-described frame time difference.
However, in reality, this time difference varies depending on the device or system to be used, and it is necessary to set a threshold value suitable for each environment.
Therefore, in the present embodiment, in addition to the above-described determination of the frame time difference, the following imaging target
撮像対象抽出判定部１３９は、演算処理部１３７における演算結果より撮像対象を検知したかどうかの判定を行う。
撮像対象抽出判定部１３９は、演算処理部１３７の演算値が許容範囲内であれば撮像対象を抽出していると判定し、範囲外であれば撮像対象を抽出していないと判定する。
このときデータ転送に異常が発生していた場合、撮像対象の状態検知において、映像信号における規定のフレームレートとは違うタイミングでサンプリングを行うことになるため、演算処理部１３７にて許容範囲を逸脱する異常な値が算出され、撮像対象を抽出していないと判定される。
The imaging target
The imaging target
If an abnormality occurs in data transfer at this time, sampling is performed at a timing different from the specified frame rate in the video signal in the state detection of the imaging target, so that the
フレーム時間差判定部１３８の判定結果および撮像対象抽出判定部１３９の判定結果は、映像信号転送エラー判定部１４０に供給される。
The determination result of the frame time
映像信号転送エラー判定部１４０は、フレーム時間差判定部１３８および撮像対象抽出判定部１３９における判定結果を用いて閾値の設定およびデータ転送の状態の判定を行い、その結果は図２に示すようになる。
The video signal transfer
すなわち、図２は、本実施形態に係る映像信号転送エラー判定部１４０で、フレーム時間差判定部１３８および撮像対象抽出判定部１３９における判定結果を用いて閾値の設定およびデータ転送の状態の判定を行った結果を示す図である。
That is, FIG. 2 shows the video signal transfer
図２に示すように、フレーム時間差が正常で、撮像対象抽出が正常である場合、映像信号の転送は正常であり、閾値の更新は行わない。
フレーム時間差が異常で、撮像対象抽出が正常である場合、映像信号の転送は正常であるため、フレーム時間差判定部１３８の閾値をフレーム時間差判定部１３８にて算出された差分値に更新する。
フレーム時間差が正常で、撮像対象抽出が異常である場合、映像信号の転送は正常であり、閾値の更新は行わない。
フレーム時間差が異常で、撮像対象抽出が異常である場合、映像信号の転送に異常があり、閾値の更新は行わない。
As shown in FIG. 2, when the frame time difference is normal and the imaging target extraction is normal, the transfer of the video signal is normal and the threshold value is not updated.
When the frame time difference is abnormal and the imaging target extraction is normal, the transfer of the video signal is normal. Therefore, the threshold value of the frame time
When the frame time difference is normal and the imaging target extraction is abnormal, the transfer of the video signal is normal and the threshold value is not updated.
If the frame time difference is abnormal and the imaging target extraction is abnormal, the video signal transfer is abnormal and the threshold value is not updated.
図２の判定結果により映像信号の転送が正常に行われている場合、記憶部１４１において記憶されている情報を演算処理部１３７の演算結果に更新する。
映像信号の転送エラーが発生している場合、記憶部１４１の情報は更新しない。
この結果、判定部１４２にて光源または光源に照射された被写体の検知を判定する際に記憶部１４１の情報を基に判定することで、映像信号のデータ転送異常による誤った状態検知を防ぐことができる。
また、転送状態の判定において機器やシステム構成に関わらずに最適な閾値を自動で決定することができる。
When the transfer of the video signal is normally performed based on the determination result of FIG. 2, the information stored in the
If a video signal transfer error has occurred, the information in the
As a result, when the
Further, in determining the transfer state, an optimum threshold can be automatically determined regardless of the device or system configuration.
判定部１４２は、演算処理部１３７の演算結果である全体画像の２乗和の値（Ａ２＋Ｂ２）に基づいて、撮像装置１２１によって撮像された被写体が、たとえば、静止あるいは動作しているかを判定する。なお、この判定部１４２の動作の詳細については後述する。
Based on the value of the sum of squares of the whole image (A 2 + B 2 ) that is the calculation result of the
次に、本実施形態に係る検知システムの他の構成および機能について詳細に説明する。
はじめに、本実施形態に係る撮像装置１２のＣＣＤの構成について説明する。
Next, other configurations and functions of the detection system according to the present embodiment will be described in detail.
First, the configuration of the CCD of the
図３は、本実施形態に係るＣＣＤの構造を説明するための一例を示す図である。 FIG. 3 is a view showing an example for explaining the structure of the CCD according to the present embodiment.
図３のＣＣＤ２０はインターライン転送で、フォトダイオードＰＤ２１、垂直転送ＣＣＤ２２、水平転送ＣＣＤ２３、増幅器２４を有する。
フォトダイオードＰＤ２１は、マトリクス状に配列されている。垂直ライン方向に配列されるフォトダイオードＰＤ２１は、列ごとにそれぞれ電荷を転送するための垂直転送ＣＣＤ２２に接続されている。各垂直転送ＣＣＤ２２の端部は、電荷を増幅部に転送する水平転送ＣＣＤ２３にそれぞれ接続されている。また、水平転送ＣＣＤ２３の出力側には増幅器２４が接続されている。
The
The photodiodes PD21 are arranged in a matrix. The photodiodes PD21 arranged in the vertical line direction are connected to a vertical transfer CCD 22 for transferring charges for each column. The end of each vertical transfer CCD 22 is connected to a
映像の走査方式はインターレースであり、一画面は飛び越し走査で、奇数フィールドと偶数フィールドとで構成される。
まず、光がフォトダイオードＰＤ２１に入射し、電荷蓄積時間にフォトダイオードＰＤ２１で電荷が蓄積されていく。この間、フォトダイオードＰＤ２１と垂直転送ＣＣＤ２２間は遮断されている。
電荷蓄積時間が終了すると、フォトダイオードＰＤ２１と垂直転送ＣＣＤ２２間が導通し、蓄積された電荷が垂直転送ＣＣＤ２２に移される。この直後に、フォトダイオードＰＤ２１と垂直転送ＣＣＤ２２間は遮断され、フォトダイオードＰＤ２１で次の電荷蓄積が開始する。垂直転送ＣＣＤ２２に移された電荷は、１水平ライン毎に水平転送ＣＣＤ２３に転送され、増幅器２４に入力されている。
この１水平ライン毎に、電荷が垂直転送ＣＣＤ２２から水平転送ＣＣＤ２３へ転送されるまでの周波数は、ＣＣＤ２０の水平走査周波数１５．７３４ＫＨｚで行われる。垂直転送ＣＣＤ２２のすべての電荷が水平転送ＣＣＤ２３に転送されると、再び垂直転送ＣＣＤ２２とフォトダイオードＰＤ２１間が導通し、フォトダイオードＰＤ２１の電荷が垂直転送ＣＣＤ２２に移される。フィールド蓄積ＣＣＤの場合、光電変換によってフォトダイオードＰＤ２１で電荷が蓄積され、この電荷がフォトダイオードＰＤ２１から垂直転送ＣＣＤ２２へ転送されるまでの転送周波数は、５９．９４Ｈｚとなる。
The video scanning method is interlaced, and one screen is interlaced scanning, and is composed of an odd field and an even field.
First, light enters the photodiode PD21, and charges are accumulated in the photodiode PD21 during the charge accumulation time. During this time, the photodiode PD21 and the vertical transfer CCD 22 are disconnected.
When the charge accumulation time ends, the photodiode PD21 and the vertical transfer CCD 22 are brought into conduction, and the accumulated charge is transferred to the vertical transfer CCD 22. Immediately after this, the photodiode PD21 and the vertical transfer CCD 22 are disconnected, and the next charge accumulation is started in the photodiode PD21. The charges transferred to the vertical transfer CCD 22 are transferred to the
The frequency until the charge is transferred from the vertical transfer CCD 22 to the
図４は、図３のＣＣＤ２０の時系列を説明するための図である。
FIG. 4 is a diagram for explaining the time series of the
図４に示すように、光電変換によってフォトダイオードＰＤ２１で電荷が蓄積されるまでの所要時間をΔＴ１とし、この電荷がフォトダイオードＰＤ２１から垂直転送ＣＣＤ２２へ転送されるまでの所要時間をΔＴ２とする。
図４から分かるように、ＣＣＤ２０に入射した光エネルギーは、電荷蓄積時間ΔＴ１の間積分されながら、電荷蓄積周期ΔＴ＝ΔＴ１＋ΔＴ２＝（１／５９．９４）秒でサンプリングされていることになる。
As shown in FIG. 4, the required time until charge is accumulated in the photodiode PD21 by photoelectric conversion is ΔT1, and the required time until the charge is transferred from the photodiode PD21 to the vertical transfer CCD 22 is ΔT2.
As can be seen from FIG. 4, the light energy incident on the
さて、図１に示すように、撮像装置１２１によって撮像された撮像画像の信号は輝度信号抽出部１３３で輝度信号が抽出され、この輝度信号は、第１の演算部１３５および第２の演算部１３６に入力される。
ここで、本実施例に係るＣＣＤ２０（図３を参照）からの画素の読み出し方法について説明する。
As shown in FIG. 1, a luminance signal is extracted by a luminance
Here, a method for reading out pixels from the CCD 20 (see FIG. 3) according to the present embodiment will be described.
図５は、単板補色フィルタ型ＣＣＤの画素の一配列例を示す図である。
また、図６は、奇数フィールドＯＦＤと偶数フィールドＥＦＤにおける色信号の組み合わせの一例を示す図である。
FIG. 5 is a diagram showing an arrangement example of pixels of a single-plate complementary color filter type CCD.
FIG. 6 is a diagram illustrating an example of a combination of color signals in the odd field OFD and the even field EFD.
画素のカラーフィルタは、Ｙｅ（イエロ）、Ｃｙ（シアン）、Ｍｇ（マジェンタ）、Ｇ（グリーン）で構成され、図５に示すような配列になっている。画素の読み出しは、上下の画素を加算して読み出される。この加算する組み合わせは、奇数フィールドＯＦＤと偶数フィールドＥＦＤで、１列ずれる。具体的には、奇数フィールドＯＦＤのｎラインでは、（Ｃ１１＋Ｃ２１）、（Ｃ１２＋Ｃ２２）、（Ｃ１３＋Ｃ２３）、（Ｃ１４＋Ｃ２４）、（Ｃ１５＋Ｃ２５）、…のようになる。また、偶数フィールドＥＦＤのｎラインでは、（Ｃ２１＋Ｃ３１）、（Ｃ２２＋Ｃ３２）、（Ｃ２３＋Ｃ３３）、（Ｃ２４＋Ｃ３４）、（Ｃ２５＋Ｃ３５）、…のようになる。
したがって、図６に示すような奇数フィールドＯＦＤ、偶数フィールドＥＦＤで色信号が出力される。
いずれも、２画素周期で同一のＹｅ、Ｃｙ、Ｍｇ、Ｇの組み合わせの色パターンが繰り返されている。
つまり言い換えると、色信号は２画素周期以上の周波数に重畳して現れる。よって、この色信号を、２画素周期を遮断周波数とするローパスフィルタに通せば、色信号は失われ、輝度信号のみが得られる。
したがって、輝度情報は２画素周期でサンプリングされることになる。
The color filter of the pixel is composed of Ye (yellow), Cy (cyan), Mg (magenta), and G (green), and has an arrangement as shown in FIG. Pixels are read by adding the upper and lower pixels. The combination to be added is shifted by one column between the odd field OFD and the even field EFD. Specifically, in the n-th line of the odd field OFD, (C11 + C21), (C12 + C22), (C13 + C23), (C14 + C24), (C15 + C25),... In the n-line of the even field EFD, (C21 + C31), (C22 + C32), (C23 + C33), (C24 + C34), (C25 + C35),...
Therefore, color signals are output in the odd field OFD and the even field EFD as shown in FIG.
In any case, the same color pattern of a combination of Ye, Cy, Mg, and G is repeated in a two-pixel cycle.
In other words, the color signal appears superimposed on a frequency of two pixel periods or more. Therefore, if this color signal is passed through a low-pass filter having a cutoff frequency of two pixel periods, the color signal is lost and only a luminance signal is obtained.
Therefore, luminance information is sampled at a cycle of two pixels.
図５の円形で図示される投影領域ＲＥＧは、光源による被写体の映像が投影されている様子を示している。なお、画素Ｃ３５、Ｃ３６、Ｃ４５、Ｃ４６、Ｃ５５、Ｃ５６は完全に投影領域ＲＥＧにはいっており、均一に光が照射されているとする。
輝度情報は、奇数フィールドＯＦＤでは、水平ライン（ｎ＋１）のＣ３５、Ｃ３６、Ｃ４５、Ｃ４６の組み合わせに、偶数フィールドＥＦＤでは、水平ラインの（ｎ＋１）ラインのＣ４５、Ｃ４６、Ｃ５５、Ｃ５６の組み合わせによって読み出しされる。
A projection region REG illustrated by a circle in FIG. 5 shows a state in which an image of a subject by a light source is projected. It is assumed that the pixels C35, C36, C45, C46, C55, and C56 are completely in the projection region REG and are uniformly irradiated with light.
In the odd field OFD, the luminance information is read by a combination of C35, C36, C45, and C46 of the horizontal line (n + 1), and in the even field EFD, by a combination of C45, C46, C55, and C56 of the (n + 1) line of the horizontal line. Is done.
以上に述べたようにして、撮像装置１２１からの信号のうち輝度信号が第１の演算部１３５および第２の演算部１３６に入力される。この輝度信号は、第１の演算部１３５および第２の演算部１３６に入力されて所定の処理が行われる。
As described above, the luminance signal among the signals from the
次に、第１の演算部１３５および第２の演算部１３６で行われる輝度信号の処理方法について図７に関連付けて説明する。
Next, a luminance signal processing method performed by the
図７は、本実施形態に係る第１の演算部１３５および第２の演算部１３６における輝度信号の信号処理法を説明するためのタイミングチャートである。
FIG. 7 is a timing chart for explaining the signal processing method of the luminance signal in the
図７（Ａ）は、撮像装置１２１のインターライン走査を示す図で、偶数フィールドＥＦＤもしくは奇数フィールドＯＦＤのいずれかの状態を示す。図７（Ｂ）〜（Ｅ）はそれぞれ、演算部で処理される輝度信号レベルの時間変化を表す波形Ｗ１、Ｗ２、Ｗ３、Ｗ４を示し、図７（Ｆ）は一定周期で変化する正弦波の波形Ｗ５を示す図である。
なお、奇数フィールドＯＦＤと偶数フィールドＥＦＤとで１フレームの走査である。つまり、図７（Ａ）に示すように、ＡとＢ、ＣとＤで１フレームの走査である。
また、以降の説明において、ｆは周波数を、ｔは時刻を、θは位相差をそれぞれ示し、ωは（ω＝２πｆ）を満たす。なお、πは円周率である。
FIG. 7A is a diagram showing interline scanning of the
The odd field OFD and even field EFD scan one frame. That is, as shown in FIG. 7A, one frame is scanned by A and B and C and D.
In the following description, f represents frequency, t represents time, θ represents phase difference, and ω satisfies (ω = 2πf). Note that π is the circumference ratio.
図７（Ｂ）、（Ｃ）に図示する波形Ｗ１と波形Ｗ２は、後で説明する波形Ｗ３と波形Ｗ４で示される波形の関数を導出するための波形である。
図７（Ｄ）に図示する波形Ｗ３は、Ａのフィールドの輝度信号とＣのフィールドの輝度信号との輝度レベルの差をレベル差ＡＣとした時の、レベル差ＡＣを求める関数の時間発展分布を示す。
また、図７（Ｅ）に図示する波形Ｗ４は、Ｂのフィールドの輝度信号とＤのフィールドの輝度信号との輝度レベルの差をレベル差ＢＤとした時の、レベル差ＢＤを求める関数の時間発展分布を示す。
なお、波形Ｗ３は、波形Ｗ１と波形Ｗ２から導出され、波形Ｗ１と波形Ｗ２を足して２で割ったものである。また、波形Ｗ４は波形Ｗ１と波形Ｗ２から導出され、波形Ｗ２から波形Ｗ１を引いて２で割ったものである。
Waveforms W1 and W2 illustrated in FIGS. 7B and 7C are waveforms for deriving functions of waveforms indicated by a waveform W3 and a waveform W4 described later.
A waveform W3 illustrated in FIG. 7D shows a time development distribution of a function for obtaining the level difference AC when the luminance level difference between the luminance signal of the A field and the luminance signal of the C field is the level difference AC. Indicates.
A waveform W4 shown in FIG. 7E is a function time for obtaining the level difference BD when the difference in luminance level between the luminance signal of the B field and the luminance signal of the D field is the level difference BD. The development distribution is shown.
Waveform W3 is derived from waveform W1 and waveform W2, and is obtained by adding waveform W1 and waveform W2 and dividing by two. Waveform W4 is derived from waveform W1 and waveform W2, and is obtained by subtracting waveform W1 from waveform W2 and dividing it by 2.
このとき、レベル差ＡＣの第１の時間平均である時間平均ＳＡＣは図１に示す第１の演算部１３５で算出される。また、レベル差ＢＤの第２の時間平均である時間平均ＳＢＤは第２の演算部１３６で算出される。
具体的には、時間平均ＳＡＣは、Ｃ３５、Ｃ３６、Ｃ４５、Ｃ４６の組み合わせによるＡフィールドとＣフィールドとの輝度レベル差ＡＣから算出される。
同様に、時間平均ＳＢＤは、Ｃ４５、Ｃ４６、Ｃ５５、Ｃ５６の組み合わせによるＢフィールドとＤフィールドとのレベル差ＢＤから算出される。
At this time, a time average SAC that is a first time average of the level difference AC is calculated by the
Specifically, the time average SAC is calculated from the luminance level difference AC between the A field and the C field by a combination of C35, C36, C45, and C46.
Similarly, the time average SBD is calculated from the level difference BD between the B field and the D field by a combination of C45, C46, C55, and C56.
その時間平均の算出方法について述べる。
ＡフィールドとＣフィールドとのレベル差ＡＣの時間平均ＳＡＣは、波形Ｗ１に、図７（Ｄ）に示す波形Ｗ３を掛けてこの時間平均ＳＡＣを計算する。
また同様に、ＢフィールドとＤフィールドとのレベル差ＢＤの時間平均ＳＢＤは、Ｃ４５、Ｃ４６、Ｃ５５、Ｃ５６の組み合わせによる画素に照射される光の時間変化を表す波形に、図７（Ｅ）に示す波形Ｗ４を掛けてこの時間平均ＳＢＤを計算する。
The calculation method of the time average is described.
The time average SAC of the level difference AC between the A field and the C field is calculated by multiplying the waveform W1 by the waveform W3 shown in FIG. 7D.
Similarly, the time average SBD of the level difference BD between the B field and the D field is shown in FIG. 7E as a waveform representing the time change of light irradiated to the pixel by the combination of C45, C46, C55, and C56. The time average SBD is calculated by multiplying the waveform W4 shown.
はじめに、時間平均ＳＡＣの算出方法について具体的に説明する。
波形Ｗ３を数式で表す。まず、波形Ｗ１、波形Ｗ２は以下のようなフーリエ級数で表せる。
First, a method for calculating the time average SAC will be specifically described.
The waveform W3 is expressed by a mathematical expression. First, the waveform W1 and the waveform W2 can be expressed by the following Fourier series.
ここで、波形Ｗ１とＷ２は同一周期ｆ２を有するものとする。（１）式と（２）式より、波形Ｗ３は（４）式のように表せる。 Here, it is assumed that the waveforms W1 and W2 have the same period f2. From equation (1) and equation (2), waveform W3 can be expressed as equation (4).
ところで、図７（Ｆ）に図示する周期ｆ１を有する波形Ｗ５は（５）式のような正弦波で表せる。 By the way, the waveform W5 having the period f1 shown in FIG. 7F can be represented by a sine wave as shown in the equation (5).
（４）式によって表される波形Ｗ３に（５）式で表せる正弦波Ｗ５を掛けると（７）式となる。 When the waveform W3 represented by the equation (4) is multiplied by the sine wave W5 represented by the equation (5), the equation (7) is obtained.
次に、時刻０から時刻Ｔまでにおける（７）式の時間平均をとる。（７）式の右辺に示す各項の内、時間ｔを含む項は交流信号であるから、その時間平均は０である。
したがって、（ω１−（２ｎ−１）ω２＝０）である時のみ、定数ｃｏｓθ１と定数ｓｉｎθ１が残り、時間平均ＳＡＣは（８）式のようになる。
Next, the time average of the equation (7) from
Therefore, only when (ω 1 − (2n−1) ω 2 = 0), the constant cos θ 1 and the constant sin θ 1 remain, and the time average SAC is expressed by the equation (8).
このようにして、時間平均ＳＡＣが第１の演算部１３５にて求まる。時間平均ＳＢＤも同様にして第２の演算部１３６にて求められ、（９）式で表される。
In this way, the time average SAC is obtained by the
さて、（８）式と（９）式で表される時間平均ＳＡＣとＳＢＤとの２乗和（ＳＡＣ ２＋ＳＢＤ ２）は（１０）式で表される。 Now, the sum of squares (S AC 2 + S BD 2 ) of the time average SAC and SBD expressed by the equations (8) and (9) is expressed by the equation (10).
この（１０）式より、ＣＣＤ２０（図９を参照）に入射される光に（ｆ１＝（２ｎ−１）ｆ２）なる周波数成分が含まれているとき、（１０）式で表される波形の成分が検出される。 From this equation (10), when the frequency component (f 1 = (2n−1) f 2 ) is included in the light incident on the CCD 20 (see FIG. 9), it is expressed by the equation (10). Waveform components are detected.
次に、光源１１に含まれる周波数成分について考察する。
図８は、光源１１に含まれる周波数成分についての波形Ｗ６を示す図である。なお、光源１１は、周波数ｆ３で時間τの間、輝度レベルＬ１で発光している。
Next, frequency components included in the
FIG. 8 is a diagram illustrating a waveform W <b> 6 for the frequency component included in the
この波形Ｗ６をフーリエ級数に展開する。波形Ｗ６は、周期（Ｔ３＝１／ｆ3）の周期関数であり、（ω3＝２πｆ3）とすると、（１１）式のようにフーリエ級数の一般式で表される。 This waveform W6 is developed into a Fourier series. The waveform W6 is a periodic function of a period (T 3 = 1 / f 3 ). When (ω 3 = 2πf 3 ), the waveform W6 is represented by a general formula of Fourier series as shown in Expression (11).
（１１）式の各係数ａ０、ａｎ、ｂｎは波形Ｗ６より（１２）〜（１４）式のように求まる。 The coefficients a 0 , a n , and b n in the equation (11) are obtained from the waveform W6 as in the equations (12) to (14).
したがって、波形Ｗ６のフーリエ級数は、（１５）式で表される。 Therefore, the Fourier series of the waveform W6 is expressed by equation (15).
よって、光源１１の点滅周期をフィールド周期の４倍にした時、すなわち（ｆ３＝ｆ２）である時、（７）式と（１５）式より奇数項で周波数が一致し、時間平均ＳＡＣとＳＢＤの２乗和は（１６）式のようになる。
Therefore, when the blinking period of the
光源１１の点灯のデューティー比をＤとすると（１７）式で表される。
When the duty ratio of lighting of the
よって、（１６）式で表される時間平均ＳＡＣとＳＢＤとの２乗和ＳＡＣＢＤは、（１７）式を用いると（１８）式のようになる。 Therefore, the square sum SACBD of the time average SAC and SBD expressed by the equation (16) is expressed by the equation (18) when the equation (17) is used.
ところで、以下に示す（１８）式の右辺の項（１９）は収束する。 By the way, the term (19) on the right side of the following equation (18) converges.
この（１８）式の右辺の項（１９）は、デューティー比Ｄに対し、表１のような値をとる。以下に、表１を示す。 The term (19) on the right side of the equation (18) takes a value as shown in Table 1 with respect to the duty ratio D. Table 1 is shown below.
表１に基づいて、横軸にデューティー比Ｄをとり、縦軸に時間平均ＳＡＣとＳＢＤとの２乗和ＳＡＣＢＤをとると、デューティー比Ｄと２乗和ＳＡＣＢＤとの関係は図９に示すようになる。 Based on Table 1, when the duty ratio D is taken on the horizontal axis and the square sum SACBD of the time average SAC and SBD is taken on the vertical axis, the relationship between the duty ratio D and the square sum SACBD is as shown in FIG. become.
図９より、２乗和ＳＡＣＢＤはデューティー比Ｄ＝０．５で最大となることが分かる。
したがって、（１８）式で表される２乗和ＳＡＣＢＤは、次式のようになる。
From FIG. 9, it can be seen that the square sum SACBD is maximized at the duty ratio D = 0.5.
Therefore, the sum of squares SACBD expressed by the equation (18) is expressed by the following equation.
［数１５］
ＳＡＣ ２＋ＳＢＤ ２＝０．０８３３３Ｌ１ ２ …（２０）
[Equation 15]
S AC 2 + S BD 2 = 0.08333L 1 2 (20)
（２０）式に示すように、演算処理部１３７は光源１１（図１を参照）の輝度を検出し、この検出結果（２乗和ＳＡＣＢＤ）は判定部１４２にて被写体の状態に判定に用いられる。
As shown in the equation (20), the
本実施例に係る光源１１は特定の光源に依存しない。そこで、他の光源についても輝度を検出できるかについて考察する。
光源として広く使われている白熱電球と蛍光燈は、電源周波数５０Ｈｚの地域で１００Ｈｚ、６０Ｈｚの地域で１２０Ｈｚである。ＮＴＳＣ方式のテレビジョンのフィールド周波数は５９．９４Ｈｚ、パーソナルコンピュータに使用されるモニタのフィールド周波数は、ちらつきがないように６０Ｈｚ以上である。
The
Incandescent light bulbs and fluorescent lamps that are widely used as light sources are 100 Hz in regions where the power supply frequency is 50 Hz and 120 Hz in regions where 60 Hz. The field frequency of an NTSC television is 59.94 Hz, and the field frequency of a monitor used for a personal computer is 60 Hz or more so as not to flicker.
ＮＴＳＣ方式のテレビジョンのフィールド周波数は５９．９４Ｈｚであり、その１／４倍周期で光源を発光させるとすると、輝度レベル差の周波数ｆ２は次式のようになる。 The field frequency of the NTSC television is 59.94 Hz, and if the light source is caused to emit light at a quarter period, the frequency f2 of the luminance level difference is as follows.
［数１６］
ｆ２＝５９．９４／４＝１４．９８５Ｈｚ …（２１）
[Equation 16]
f 2 = 59.94 / 4 = 14.985 Hz (21)
（７）式と（１５）式より、周波数ｆ２の奇数倍と光源１１の周波数ｆ３の整数倍が一致したときに信号成分が検出される。
From the equations (7) and (15), the signal component is detected when the odd multiple of the frequency f2 matches the integer multiple of the frequency f3 of the
表２は、異なる光源の発光周波数と輝度信号レベルの差における周波数との関係を示す値の表である。 Table 2 is a table of values indicating the relationship between the light emission frequency of different light sources and the frequency in the difference in luminance signal level.
表２のｆ１は（５）式の正弦波の有する周波数で、ｆ２は（２１）式に示す周波数で、ｆ３はそれぞれ、光源１１の周波数、５０Ｈｚ地域での照明の周波数、６０Ｈｚ地域での照明の周波数、ＮＴＳＣ方式のテレビジョンのフィールド周波数、パーソナルコンピュータに使用されるモニタのフィールド周波数である。
表２によると、ｍ＝３０まで、ｆ３が１００、１２０、５９．９４Ｈｚであり、（ｎ×ｆ３＝（２ｍ−１）×ｆ２）が成立するものはない。
F1 in Table 2 is the frequency of the sine wave of Formula (5), f2 is the frequency shown in Formula (21), and f3 is the frequency of the
According to Table 2, up to m = 30, f3 is 100, 120, 59.94 Hz, and there is nothing that satisfies (n × f 3 = (2m−1) × f 2 ).
たとえばパーソナルコンピュータのモニタに関して、そのフィールド周波数が６０Ｈｚ以上であるとすると、本検知システム１０の信号処理出力に最も大きな出力が検出される可能性としては、７４．９２５Ｈｚでスキャンされているモニタが存在したときである。
すなわち、ｆ３＝７４．９２５Ｈｚの時であり、表２に示すように、（５×ｆ２）、（１５×ｆ２）、（２５×ｆ２）…と（1×ｆ３）、（３×ｆ３）、（５×ｆ３）…が一致する。この時検出される信号レベルは、次式で示される。
For example, regarding a monitor of a personal computer, if the field frequency is 60 Hz or more, there is a monitor that is scanned at 74.925 Hz as a possibility that the largest output is detected in the signal processing output of the
That is, when f 3 = 74.925 Hz, as shown in Table 2, (5 × f 2 ), (15 × f 2 ), (25 × f 2 ), and (1 × f 3 ), ( 3 × f 3 ), (5 × f 3 ). The signal level detected at this time is expressed by the following equation.
以上に述べたように、本検知システム１０は、光源の発光周波数に依存せず、光源または光源に照射された被写体の状態を検知する。
As described above, the
以下に、本実施形態に係る検知システムの一連の動作を図１０に関連付けて説明する。 Hereinafter, a series of operations of the detection system according to the present embodiment will be described with reference to FIG.
図１０は、本実施形態に係る検知システムの一連の動作概要を説明するためのフローチャート図である。 FIG. 10 is a flowchart for explaining a series of operation outlines of the detection system according to the present embodiment.
たとえば、撮像装置１２１の電荷蓄積時間内の光源１１の輝度を撮像装置１２１のフィールド周期の４ｎ倍で変化させる。
撮像部１２において、撮像装置１２１では撮像素子による出力信号がＡＤ変換され（ＳＴ１）、このデジタル信号が、ＵＳＢＩ／Ｆ１２２のアイソクロナス転送を用いて外部信号処理部１３に伝送される。
アイソクロナス転送では一定時間あたりの最低データ転送量が保証されており、映像信号においては規定のフレームレートにて画像データの転送が行われる。ただし、転送に失敗した場合にデータの再送は行われない。
信号処理部１３において、ＵＳＢＩ／Ｆ１３１で撮像部１２にて出力されたデジタル信号が受信され（ＳＴ２）、受信データバッファ部１３２にてその情報が格納される（ＳＴ３）。
その中の１フレーム分のデータが格納されデータとして確定されると、輝度信号抽出部１１３にその情報が出力される（ＳＴ４）。
For example, the luminance of the
In the
In isochronous transfer, a minimum data transfer amount per certain time is guaranteed, and image data is transferred at a prescribed frame rate in a video signal. However, if the transfer fails, the data is not retransmitted.
In the
When data for one frame is stored and determined as data, the information is output to the luminance signal extraction unit 113 (ST4).
輝度信号抽出部１３３では受信したデータから輝度信号が抽出され、その輝度信号は演算に最適化された信号レベルに調節される（ＳＴ５）。
その信号レベルは、第１の演算部１３５、第２の演算部１３６、演算処理部１３７においてオーバーフローしない信号レベルである必要があることから、輝度信号抽出部１３１にて輝度信号レベルが調節され、フレーム時間差取得部１３４に出力される。
フレーム時間差取得部１３４では、輝度信号抽出部１３３が受信データバッファ部１３２よりデータを受信した時点の現在のフレームと一つ前のフレームとの時間差分が算出される（ＳＴ６）。
映像信号においてはフレームレートが規定されているので、通常は一定の値が算出されるが、撮像部１２と信号処理部１３のＵＳＢＩ／Ｆ間のデータ転送において何らかの原因により送受信失敗が発生していた場合、受信データバッファ部１３２にてデータの格納に不具合が生じ、１フレーム分のデータの確定のタイミングがずれる。このため、この時間差分値は異常な値をとる場合がある。
次に、輝度信号が第１の演算部１３５と第２の演算部１３６に入力される。
第１の演算部１３５にて、ｍ番目と（ｍ＋２）番目のフィールドの投影領域ＲＥＧにおける輝度信号レベルのレベル差ＡＣの時間平均ＳＡＣが求められる。また、第２の演算部１３６にて、（ｍ＋１）番目と（ｍ＋３）番目のフィールドの投影領域ＲＥＧにおける輝度信号レベルのレベル差ＢＤの時間平均ＳＢＤが求められる。
これら時間平均ＳＡＣとＳＢＤは演算処理部１３７に出力される（ＳＴ７）。
次いで、演算処理部１３７にて時間平均ＳＡＣとＳＢＤの２乗和ＳＡＣＢＤが求められ（ＳＴ８）、その結果が、フレーム時間差判定部１３８および撮像対象抽出判定部１３９に出力される。
The luminance
Since the signal level needs to be a signal level that does not overflow in the
The frame time
Since a frame rate is defined for a video signal, a constant value is normally calculated. However, a transmission / reception failure has occurred for some reason in data transfer between the
Next, the luminance signal is input to the
The first
These time averages SAC and SBD are output to the arithmetic processing unit 137 (ST7).
Next, the
フレーム時間差判定部１３８では、フレーム時間差取得部１３４にて算出した時間差分を用いて、その値が閾値以下である場合はフレーム時間差は正常であると判定される。一方、閾値を超える場合はフレーム時間差に異常が発生していると判定される（ＳＴ９）。
ここでデータ転送の状態の判定を行うにあたって、前述のフレーム時間差を用いることで判定を行うことができる。
しかし、現実にはこの時間差は使用する機器やシステムによって異なっており個々の環境に適した閾値の設定が必要となる。そこで上述のフレーム時間差の判定に加えて以下の撮像対象抽出判定部１３９での判定が行われ、その二つの判定結果を用いて、最適な閾値の設定および映像信号のデータ転送における状態の判定が行われる。
撮像対象抽出判定部１３９では、演算処理部１３７の演算結果より撮像対象を検知したかどうかの判定が行われる（ＳＴ１０）。
演算処理部１３７の演算値が許容範囲内であれば撮像対象を抽出していると判定され、範囲外であれば撮像対象を抽出していないと判定される。
このときデータ転送に異常が発生していた場合、撮像対象の状態検知において、映像信号における規定のフレームレートとは違うタイミングでサンプリングを行うことになるため、演算処理部１３７にて許容範囲を逸脱する異常な値が算出され、撮像対象を抽出していないと判定される。
次に、映像信号転送エラー判定部１４０において、フレーム時間差判定部１３８および撮像対象抽出判定部１３９での判定結果を用いて閾値の設定およびデータ転送の状態の判定が行われる。
判定結果により映像信号の転送が異常で、撮像対象の抽出は正常に行われている場合、フレーム時間差判定部１３８の閾値がフレーム時間差判定部１３８で算出した差分値に更新される（ＳＴ１１）。
また、判定結果により映像信号の転送が正常に行われている場合、記憶部１４１において記憶されている情報が演算処理部１３７の演算結果に更新される（ＳＴ１２）。映像信号の転送エラーが発生している場合、記憶部の情報の更新は行われない。
この結果、判定部にて光源または光源に照射された被写体の検知を判定する際に記憶部１４１の情報を基に判定することで、映像信号のデータ転送異常による誤った状態検知を防ぐことができる。
また、転送状態の判定において機器やシステム構成に関わらずに最適な閾値を自動で決定することができる。
そして、判定部１４２において、演算処理部１３７の演算結果である全体画像の２乗和の値（Ａ２＋Ｂ２）に基づいて、撮像装置１２１によって撮像された被写体が、たとえば、静止あるいは動作しているかが判定される（ＳＴ１３）。
The frame time
Here, in determining the state of data transfer, the determination can be made by using the above-described frame time difference.
However, in reality, this time difference varies depending on the device or system to be used, and it is necessary to set a threshold value suitable for each environment. Therefore, in addition to the above-described frame time difference determination, the following imaging target
The imaging target
If the calculation value of the
If an abnormality occurs in data transfer at this time, sampling is performed at a timing different from the specified frame rate in the video signal in the state detection of the imaging target, so that the
Next, the video signal transfer
If the transfer of the video signal is abnormal according to the determination result and the imaging target is normally extracted, the threshold value of the frame time
If the video signal is normally transferred based on the determination result, the information stored in the
As a result, when the determination unit determines the detection of the light source or the subject irradiated with the light source, the determination based on the information in the
Further, in determining the transfer state, an optimum threshold can be automatically determined regardless of the device or system configuration.
Then, in the
以上の処理により、光源または光源に照射された被写体の状態の検知において、映像信号のデータ転送の異常を高精度で検知し補正処理を行うことで、安定した被写体検知を行うことができる。 Through the above processing, in detecting the state of the light source or the object irradiated to the light source, it is possible to detect a stable subject by detecting an abnormality in video signal data transfer with high accuracy and performing correction processing.
以上に説明したように、本実施形態によれば、撮像画像の背景ノイズを除去し、光源もしくは光源によって照射された被写体の状態を検出できる。 As described above, according to the present embodiment, the background noise of the captured image can be removed, and the state of the subject irradiated with the light source or the light source can be detected.
そして、本実施形態に係る検知システムによれば、映像信号転送エラー判定において映像信号の状態判定処理と閾値の設定処理とを分け任意の処理時間または処理回数閾値の設定処理を行うことで信頼性の高い閾値での判定かつシステム負荷の少ない被写体検知を行うことができる。
また、光源に依らないため、撮像装置の仕様には依存せず、たとえば一般に入手可能なカメラを本検知システムの撮像装置として使用できる。
According to the detection system according to the present embodiment, in the video signal transfer error determination, the video signal state determination process and the threshold value setting process are separated, and an arbitrary processing time or processing frequency threshold value setting process is performed, thereby improving reliability. Determination with a high threshold value and subject detection with a low system load.
Moreover, since it does not depend on the light source, it does not depend on the specifications of the imaging device, and for example, a generally available camera can be used as the imaging device of the present detection system.
さらに本検知システムは、複数の光源を使用し、信号を並列に信号処理部に伝送することができる。
あるいは、光源の色を複数設け、信号の波長多重伝送も可能である。
また、光源を適宜点滅させて信号を処理することも可能である。
Furthermore, this detection system uses a plurality of light sources and can transmit signals to the signal processing unit in parallel.
Alternatively, it is possible to provide a plurality of light source colors and perform wavelength multiplexing transmission of signals.
It is also possible to process the signal by appropriately blinking the light source.
なお、図１の構成において、フレーム時間差判定部１３８に記憶装置を接続し、この記憶装置の記憶内容はシステムの終了によって消去されないように構成することも可能である。
この場合、図１の検知システム１０が一度終了し再び起動されたときに、たとえば不揮発性メモリ等を用いて終了前の閾値を記憶しておき、再起動時にそれを読み出し閾値の設定を行うことで前回作動時の閾値の更新情報を継承することができる。
In the configuration of FIG. 1, a storage device may be connected to the frame time
In this case, when the
［第２の実施形態］
次に、本発明に係る第２の実施形態について説明する。
図１１は、本発明の実施形態に係る検知システムの他の構成例を示す図である。
[Second Embodiment]
Next, a second embodiment according to the present invention will be described.
FIG. 11 is a diagram illustrating another configuration example of the detection system according to the embodiment of the present invention.
本検知システム１０Ａは、信号処理部１３Ａの演算処理部１３７以降の構成が図１の検知システム１０と異なる。
検知システム１０Ａの信号処理部１３Ａにおいて、演算処理部１３７の後段にフレーム時間差判定部１３８Ａが配置され、その出力に対して並列に第１の処理部１４３および第２の処理部１４４が接続されている。
第１の処理部１４３は、フレーム時間差判定部１３８Ａの出力に対して、撮像対象抽出判定部１３９、第１の映像信号転送エラー判定部１４０−１、閾値記憶部１４５が縦続接続されている。
第２の処理部１４４は、フレーム時間差判定部１３８Ａの出力に対して、第２の映像信号転送エラー判定部１４０−２、記憶部１４１、判定部１４２が縦続接続されている。
第１の転送エラー判定部１４０−２は、閾値記憶部１４５の閾値が与えられる。
This
In the
In the
In the
The first transfer error determination unit 140-2 is given the threshold value of the threshold
この構成では、フレーム時間差判定部１３８Ａでは図１のフレーム時間差判定部１３８の処理に加えモード判定を行い、そのモードが閾値の設定であれば第１の処理部１４３に、被写体検知であれば第２の処理部１４４に以後の処理を移す。
モードの設定は任意で行うことができる。
第１の映像信号転送エラー判定部１４０−１では、図２の閾値設定処理のみを行い、第２の映像信号転送エラー判定部１４０−２では図２のデータ転送状態の判定処理のみを行う。
この構成によれば、映像信号転送エラー判定において映像信号の状態判定処理と閾値の設定処理とを分け任意の処理時間または処理回数閾値の設定処理を行うことで、信頼性の高い閾値での判定かつシステム負荷の少ない被写体検知を行うことができる。
In this configuration, the frame time
The mode can be set arbitrarily.
The first video signal transfer error determination unit 140-1 performs only the threshold setting process in FIG. 2, and the second video signal transfer error determination unit 140-2 performs only the data transfer state determination process in FIG.
According to this configuration, in the video signal transfer error determination, the video signal state determination process and the threshold value setting process are separated, and an arbitrary processing time or processing frequency threshold value setting process is performed. In addition, it is possible to perform subject detection with a small system load.
［第３の実施形態］
次に、本発明に係る第３の実施形態について説明する。
[Third Embodiment]
Next, a third embodiment according to the present invention will be described.
本第３の実施形態は、第１の実施形態に係るフィールド蓄積、インターレース型の撮像装置１２１をフレーム蓄積、インターレース型の撮像装置に置き換えたものである。また同時に、第１実施形態に係る光源１１の輝度の変化周期をフィールド周期の４ｎ倍からフレーム周期の４ｎ倍に変更したものである。この変化周期の変更に伴い、輝度信号の取得もｎフィールドごとから２ｎフィールドごとに輝度信号の取得周期を変更する。
このように、光源１１の輝度の変化周期と輝度信号の取得周期を変更することで、第１の実施形態と同様の効果を得ることができる。
したがって、本実施形態によれば、撮像画像の背景ノイズを除去し、光源もしくは光源によって照射された被写体の状態を検出でき、被写体が複数存在する場合であっても被写体別に検知することができる。
In the third embodiment, the field accumulation /
As described above, by changing the luminance change cycle of the
Therefore, according to the present embodiment, the background noise of the captured image can be removed, the state of the light source or the subject irradiated with the light source can be detected, and even when there are a plurality of subjects, detection can be performed for each subject.
［第４の実施形態］
次に、本発明に係る第４の実施形態について説明する。
[Fourth Embodiment]
Next, a fourth embodiment according to the present invention will be described.
本第４の実施形態は、第１の実施形態に係るフィールド蓄積、インターレース走査型の撮像装置１２１をフレーム蓄積、ノンインターレース走査型の撮像装置に置き換えたものである。
このように、ノンインターレース走査の撮像装置を用いても、第１の実施形態と同様の効果を得ることができる。
したがって、本実施形態によれば、撮像画像の背景ノイズを除去し、光源もしくは光源によって照射された被写体の状態を検出でき、被写体が複数存在する場合であっても被写体別に検知することができる。
In the fourth embodiment, the field storage and interlace
As described above, even when a non-interlaced scanning imaging apparatus is used, the same effect as that of the first embodiment can be obtained.
Therefore, according to the present embodiment, the background noise of the captured image can be removed, the state of the light source or the subject irradiated with the light source can be detected, and even when there are a plurality of subjects, detection can be performed for each subject.
なお、以上詳細に説明した方法は、上記手順に応じたプログラムとして形成し、ＣＰＵ等のコンピュータで実行するように構成することも可能である。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー（登録商標）ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。
Note that the method described above in detail can be formed as a program according to the above-described procedure and executed by a computer such as a CPU.
Further, such a program can be configured to be accessed by a recording medium such as a semiconductor memory, a magnetic disk, an optical disk, a floppy (registered trademark) disk, or the like, and to execute the program by a computer in which the recording medium is set.
１０，１０Ａ・・・検知システム、１１・・・光源、１２・・・撮像部、１２１・・・撮像装置、１２２・・・ＵＳＢインターフェース（Ｉ／Ｆ）、１３・・・信号処理部、１３１・・・ＵＳＢＩ／Ｆ、１３２・・・受信データバッファ部１３２、１３３・・・輝度信号抽出部、１３４・・・フレーム時間差取得部、１３５・・・第１の演算部（Ａ）、１３６・・・第２の演算部（Ｂ）、１３７・・・演算処理部（時間平均２乗和演算処理部）、１３８，１３８Ａ・・・フレーム時間差判定部、１３９・・・撮像対象抽出判定部、１１４０・・・映像信号転送エラー判定部、１４１・・・記憶部、１４２・・・判定部、１４３・・・第１の処理部、１４４・・・第２の処理部。
DESCRIPTION OF
Claims (7)
上記光源または上記光源によって照射された被写体を撮像する撮像装置と、撮像素子から取得した信号を送信する第１のインターフェースとを含む撮像部と、
上記撮像部から送信される信号を受信し、受信信号に対して信号処理を行って被写体の状態を検知する信号処理部と、を有し、
上記信号処理部は、
上記撮像部から送信される信号を受信する第２のインターフェースと、
上記第２のインターフェースで受信した信号を格納し、データとして確定すると出力する受信バッファ部と、
上記受信バッファ部から出力される信号から上記被写体の状態検知のために信号処理に用いる信号を抽出する信号抽出部と、
上記信号抽出部が上記受信バッファ部からの信号を受信した時点の現フレームと前フレームとの時間差を算出する時間差取得部と、
上記時間差取得部で取得した時間差とあらかじめ設定された閾値との差分値を求め、当該時間差が正常であるか異常であるかを判定する時間差判定部と、
上記信号抽出部から所定走査面周期ごとに上記信号を取得し、複数の異なる走査面間で当該信号の信号レベル差から当該信号レベル差の時間平均を求め、さらに当該時間平均の値をもとに時間平均の２乗和を求める演算部と、
上記演算部の演算結果により撮像対象を検知したか否かの判定を行う撮像対象抽出判定部と、
上記演算部の演算結果により上記光源または光源に照射された被写体の検知を判定する判定部と、
上記時間差判定部および上記撮像対象抽出判定部の判定結果を受けて、上記時間差が異常で、上記撮像対象抽出判定部で撮像対象を検知している場合、上記時間差判定部の閾値を当該時間差判定部が求めた閾値に更新する信号転送エラー判定部と、を含む
検知システム。 A light source;
An imaging unit including an imaging device that images the light source or the object irradiated by the light source, and a first interface that transmits a signal acquired from the imaging element;
A signal processing unit that receives a signal transmitted from the imaging unit and performs signal processing on the received signal to detect the state of the subject,
The signal processor is
A second interface for receiving a signal transmitted from the imaging unit;
A reception buffer unit that stores a signal received by the second interface and outputs the signal when it is determined as data;
A signal extraction unit that extracts a signal used for signal processing for detecting the state of the subject from a signal output from the reception buffer unit;
A time difference acquisition unit that calculates a time difference between the current frame and the previous frame when the signal extraction unit receives a signal from the reception buffer unit;
Obtaining a difference value between the time difference acquired by the time difference acquisition unit and a preset threshold, and determining whether the time difference is normal or abnormal; and
The signal is acquired from the signal extraction unit for each predetermined scanning plane period, a time average of the signal level difference is obtained from the signal level difference of the signal between a plurality of different scanning planes, and further, based on the time average value. An arithmetic unit for calculating a sum of squares of time average in
An imaging target extraction determination unit that determines whether an imaging target is detected based on a calculation result of the calculation unit;
A determination unit that determines detection of the light source or a subject irradiated to the light source based on a calculation result of the calculation unit;
In response to the determination results of the time difference determination unit and the imaging target extraction determination unit, when the time difference is abnormal and the imaging target extraction determination unit detects the imaging target, the time difference determination unit determines the threshold value of the time difference determination unit. A signal transfer error determination unit that updates the threshold value obtained by the unit.
上記信号転送エラー判定部は、
信号転送が正常に行われている場合、上記記憶部に記憶されている情報を上記演算部の演算結果に更新する
請求項１記載の検知システム。 As information for determining the detection of the light source or the subject irradiated with the light source, a storage unit that stores the calculation result of the calculation unit,
The signal transfer error determination unit is
The detection system according to claim 1, wherein when the signal transfer is normally performed, the information stored in the storage unit is updated to a calculation result of the calculation unit.
転送エラーが発生している場合、上記記憶部の更新は行わない
請求項２記載の検知システム。 The signal transfer error determination unit is
The detection system according to claim 2, wherein the storage unit is not updated when a transfer error occurs.
上記演算部の演算値が許容範囲内であれば撮像対象を抽出していると判定し、範囲外であれば撮像対象を抽出していないと判定する
請求項１から３のいずれか一に記載の検知システム。 The imaging target extraction determination unit
The determination unit determines that the imaging target is extracted if the calculation value of the calculation unit is within the allowable range, and determines that the imaging target is not extracted if the calculation value is out of the range. Detection system.
上記第１の処理部は、
上記時間差判定部の出力に対して、上記撮像対象抽出判定部、第１の信号転送エラー判定部、閾値記憶部が縦続接続され、
上記第２の処理部は、
上記時間差判定部に出力に対して、第２の信号転送エラー判定部、上記記憶部、上記判定部が縦続接続され、
上記第１の信号転送エラー判定部は、上記閾値記憶部の閾値が与えられ、
閾値設定モード時は、上記第１の処理部で処理を行い、
被写体検知モード時は、上記第２の処理部で処理を行う
請求項２または３に記載の検知システム。 Upper Symbol time between difference determination unit in the subsequent stage of the operation portion is disposed, the first processing unit and second processing unit are connected in parallel with the output of those said time difference determining unit,
The first processing unit includes:
The output of the upper Symbol time between difference determination unit, the imaging target extraction judgment unit, transfer error determination section first signal, the threshold storage unit are cascaded,
The second processing unit includes:
The output on SL at between difference determination unit, a second signal transfer error determination unit, the storage unit, the determination unit is cascaded,
The first signal transfer error determination unit is given a threshold value of the threshold value storage unit,
In the threshold setting mode, the first processing unit performs processing,
The detection system according to claim 2 or 3 , wherein in the subject detection mode, processing is performed by the second processing unit.
上記信号処理ステップは、
撮像ステップで送信される信号を第２のインターフェースで受信する受信ステップと、
上記第２のインターフェースで受信した信号を格納し、データとして確定すると出力する受信バッファステップと、
上記受信バッファステップで出力される信号から上記被写体の状態検知のために信号処理に用いる信号を抽出する信号抽出ステップと、
上記信号抽出ステップで上記受信バッファステップからの信号を受信した時点の現フレームと前フレームとの時間差を算出する時間差取得ステップと、
上記時間差取得ステップで取得した時間差とあらかじめ設定された閾値との差分値を求め、当該時間差が正常であるか異常であるかを判定する時間差判定ステップと、
所定走査面周期ごとに上記信号を取得し、複数の異なる走査面間で当該信号の信号レベル差から当該信号レベル差の時間平均を求め、さらに当該時間平均の値をもとに時間平均の２乗和を求める演算ステップと、
上記演算ステップの演算結果により撮像対象を検知したか否かの判定を行う撮像対象抽出判定ステップと、
上記演算ステップの演算結果により上記光源または光源に照射された被写体の検知を判定する判定ステップと、
上記時間差判定ステップおよび上記撮像対象抽出判定ステップの判定結果を受けて、上記時間差が異常で、上記撮像対象抽出判定ステップで撮像対象を検知している場合、上記時間差判定ステップの閾値を当該時間差判定ステップが求めた閾値に更新する信号転送エラー判定ステップと、を含む
検知システムの信号処理方法。 The image sensor captures an image of a light source or a subject illuminated by the light source, receives a signal transmitted from an imaging unit that transmits a signal acquired from the imaging device through a first interface, and performs signal processing on the received signal. A signal processing step for detecting the state of the subject
The signal processing step includes
A reception step of receiving the signal transmitted in the imaging step by the second interface;
A reception buffer step for storing a signal received by the second interface and outputting the signal when it is confirmed as data;
A signal extraction step of extracting a signal used for signal processing for detecting the state of the subject from the signal output in the reception buffer step;
A time difference obtaining step for calculating a time difference between the current frame and the previous frame at the time of receiving the signal from the reception buffer step in the signal extraction step;
Obtaining a difference value between the time difference acquired in the time difference acquisition step and a preset threshold, and determining whether the time difference is normal or abnormal; and
The signal is acquired for each predetermined scanning plane period, a time average of the signal level difference is obtained from the signal level difference of the signal between a plurality of different scanning planes, and the time average of 2 is obtained based on the time average value. A calculation step for obtaining a sum of multipliers;
An imaging target extraction determination step for determining whether an imaging target is detected based on the calculation result of the calculation step;
A determination step of determining detection of the light source or a subject irradiated to the light source based on a calculation result of the calculation step;
In response to the determination results of the time difference determination step and the imaging target extraction determination step, when the time difference is abnormal and the imaging target is detected in the imaging target extraction determination step, the threshold of the time difference determination step is determined as the time difference determination A signal transfer error determination step for updating the threshold to the threshold obtained by the step .
上記信号処理は、
撮像ステップで送信される信号を第２のインターフェースで受信する受信処理と、
上記第２のインターフェースで受信した信号を格納し、データとして確定すると出力する受信バッファ処理と、
上記受信バッファ処理で出力される信号から上記被写体の状態検知のために信号処理に用いる信号を抽出する信号抽出処理と、
上記信号抽出処理で上記受信バッファ処理からの信号を受信した時点の現フレームと前フレームとの時間差を算出する時間差取得処理と、
上記時間差取得処理で取得した時間差とあらかじめ設定された閾値との差分値を求め、当該時間差が正常であるか異常であるかを判定する時間差判定処理と、
所定走査面周期ごとに上記信号を取得し、複数の異なる走査面間で当該信号の信号レベル差から当該信号レベル差の時間平均を求め、さらに当該時間平均の値をもとに時間平均の２乗和を求める演算処理と、
上記演算処理の演算結果により撮像対象を検知したか否かの判定を行う撮像対象抽出判定処理と、
上記演算処理の演算結果により上記光源または光源に照射された被写体の検知を判定する判定処理と、
上記時間差判定処理および上記撮像対象抽出判定処理の判定結果を受けて、上記時間差が異常で、上記撮像対象抽出判定処理で撮像対象を検知している場合、上記時間差判定処理の閾値を当該時間差判定処理が求めた閾値に更新する信号転送エラー判定処理と、を含む
検知システムの信号処理をコンピュータに実行させるプログラム。 The image sensor captures an image of a light source or a subject illuminated by the light source, receives a signal transmitted from an imaging unit that transmits a signal acquired from the imaging device through a first interface, and performs signal processing on the received signal. Signal processing to detect the state of the subject
The above signal processing
A reception process for receiving the signal transmitted in the imaging step by the second interface;
A reception buffer process for storing a signal received by the second interface and outputting it when it is determined as data;
A signal extraction process for extracting a signal used for signal processing for detecting the state of the subject from the signal output in the reception buffer process;
A time difference acquisition process for calculating a time difference between the current frame and the previous frame at the time of receiving a signal from the reception buffer process in the signal extraction process;
A time difference determination process for determining a difference value between the time difference acquired in the time difference acquisition process and a preset threshold value, and determining whether the time difference is normal or abnormal;
The signal is acquired for each predetermined scanning plane period, a time average of the signal level difference is obtained from the signal level difference of the signal between a plurality of different scanning planes, and the time average of 2 is obtained based on the time average value. An arithmetic process for calculating a sum of multipliers;
An imaging target extraction determination process for determining whether an imaging target is detected based on a calculation result of the calculation process;
A determination process for determining detection of the light source or a subject irradiated to the light source based on a calculation result of the calculation process;
In response to the determination result of the time difference determination process and the imaging target extraction determination process, when the time difference is abnormal and the imaging target is detected by the imaging target extraction determination process, the threshold of the time difference determination process is determined as the time difference determination A program for causing a computer to execute signal processing of a detection system, including signal transfer error determination processing for updating to a threshold obtained by processing .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010127228A JP5406787B2 (en) | 2010-06-02 | 2010-06-02 | Detection system, signal processing method thereof, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010127228A JP5406787B2 (en) | 2010-06-02 | 2010-06-02 | Detection system, signal processing method thereof, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011254328A JP2011254328A (en) | 2011-12-15 |
| JP5406787B2 true JP5406787B2 (en) | 2014-02-05 |
Family
ID=45417887
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010127228A Expired - Fee Related JP5406787B2 (en) | 2010-06-02 | 2010-06-02 | Detection system, signal processing method thereof, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5406787B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5858831B2 (en) * | 2012-03-14 | 2016-02-10 | リズム時計工業株式会社 | Detection system, signal processing method thereof, and program |
| CN114305701B (en) * | 2022-01-20 | 2024-01-23 | 上海微创医疗机器人（集团）股份有限公司 | Delay measurement device and method, robot system and computer readable storage medium |
| CN115530767B (en) * | 2022-11-28 | 2023-03-10 | 深圳市永吉星光电有限公司 | Disposable medical endoscope system and module |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4703547B2 (en) * | 2006-11-29 | 2011-06-15 | リズム時計工業株式会社 | Detection system |
| JP4902460B2 (en) * | 2007-08-08 | 2012-03-21 | キヤノン株式会社 | Image processing apparatus, imaging apparatus, and image processing method |
| JP5159515B2 (en) * | 2008-08-26 | 2013-03-06 | キヤノン株式会社 | Image processing apparatus and control method thereof |
-
2010
- 2010-06-02 JP JP2010127228A patent/JP5406787B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011254328A (en) | 2011-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4703547B2 (en) | Detection system | |
| TWI344302B (en) | Method of processing noise in image data, noise reduction unit, and imaging apparatus | |
| JP4856765B2 (en) | Imaging apparatus and flicker detection method | |
| JP4994422B2 (en) | Detection system, signal processing method of detection system, and smoke detector | |
| JP2009212909A (en) | Solid-state imaging apparatus, flicker detection method for solid-state imaging apparatus, control program, readable recording medium, and electronic information device | |
| JP2009010447A (en) | Imaging apparatus and switching method thereof | |
| JP2010074240A (en) | Image capturing apparatus and defective pixel detection method | |
| JP5406787B2 (en) | Detection system, signal processing method thereof, and program | |
| US20140043502A1 (en) | Flicker noise detection apparatus, flicker noise detection method, and computer-readable storage device storing flicker noise detection program | |
| JP2012015780A (en) | Detection system, signal processing method therefor, and program | |
| JP5858831B2 (en) | Detection system, signal processing method thereof, and program | |
| JP6408932B2 (en) | Detection system, signal processing method of detection system, and program | |
| JP5265619B2 (en) | Detection system, signal processing method thereof, and program | |
| JP2008252402A (en) | Imaging system, imaging method, and imaging program | |
| JP5242470B2 (en) | Detection system and signal processing method thereof | |
| EP3131286B1 (en) | Image processing device | |
| JP5349405B2 (en) | Detection system, signal processing method thereof, and program | |
| CN112219389B (en) | Method and apparatus for capturing media using multiple cameras in an electronic device | |
| JP4908939B2 (en) | Imaging device | |
| JP2013098995A (en) | Operation method of image processor and image processor | |
| JP5349413B2 (en) | Detection system, signal processing method thereof, and program | |
| JP5770123B2 (en) | Detection system, signal processing method thereof, and program | |
| JP2010198377A (en) | Smoke sensor | |
| JP2009253808A (en) | Image processor, imaging device, method for processing image and program | |
| JP5839515B2 (en) | Detection system, signal processing method thereof, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120626 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130430 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130530 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130716 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130805 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130902 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131029 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131101 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5406787 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |