JPH0759754A - Active state monitoring apparatus - Google Patents

Active state monitoring apparatus

Info

Publication number
JPH0759754A
JPH0759754A JP5212810A JP21281093A JPH0759754A JP H0759754 A JPH0759754 A JP H0759754A JP 5212810 A JP5212810 A JP 5212810A JP 21281093 A JP21281093 A JP 21281093A JP H0759754 A JPH0759754 A JP H0759754A
Authority
JP
Japan
Prior art keywords
worker
data
area
image
part
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP5212810A
Other languages
Japanese (ja)
Inventor
Hideto Fujita
Hiroaki Yoshida
博明 吉田
日出人 藤田
Original Assignee
Sanyo Electric Co Ltd
三洋電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd, 三洋電機株式会社 filed Critical Sanyo Electric Co Ltd
Priority to JP5212810A priority Critical patent/JPH0759754A/en
Publication of JPH0759754A publication Critical patent/JPH0759754A/en
Application status is Pending legal-status Critical

Links

Abstract

PURPOSE:To provide an active state monitoring apparatus which monitors the acting state of a worker by detecting infrared rays radiated from the body of the worker by specifying the worker accurately even when a plurality of men exist within a detection image area. CONSTITUTION:A part detection means 5 is provided to detect parts of a human body existing in an detection image area based on area information and or positional information in the area extracted by a processing of extracting an infrared image data detected by an infrared image detection means 2 using the upper limit and the lower limit of a skin temperature band as threshold. A worker detection means 8 is provided to specify part areas of a worker based on a high-frequency component of a luminance data of a visible image corresponding to part areas of the human body of the worker as detected by a part detection means 5 and a mean 3 to monitor the acting state of the worker based on coordinate path of parts of the worker specified by the worker detection means 8.

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【産業上の利用分野】本発明は、人体から放射される赤外線を検出して作業者の活動状態を監視する装置に関する。 The present invention relates to an apparatus for monitoring the activity of the operator by detecting infrared rays emitted from the human body.

【0002】 [0002]

【従来の技術】近年、無人化する製造プラントなどの大規模自動化システムにおける集中制御室の役割は極めて重要となっている。 In recent years, the role of the centralized control room in large-scale automation systems, such as a manufacturing plant for unmanned has become extremely important. そして、そのシステムの運行を管理する作業者の疲労、覚醒による作業ミスが大事故に発展する恐れがある。 And, there is a possibility that the fatigue of the operator to manage the operation of the system, work mistake by awakening to develop into a major accident.

【0003】このため、作業者の活動状態を監視し、疲労度、覚醒度などを検出することが重要な課題となっており、この監視方法として、本願出願人は人体から放射される赤外線を検出して人体の部位抽出を行い、各部位の活動状態を監視する方法を提案している。 [0003] Therefore, monitoring the activity of the operator, fatigue, and become an important issue to detect and alertness, as the monitoring method, the infrared applicant is emitted from the human body perform human body part extracted by detecting, we propose a method of monitoring the activity state of each part.

【0004】 [0004]

【発明が解決しようとする課題】しかしながら、上記従来技術では監視すべき作業者が従事する場所を含む領域の赤外画像を赤外カメラで撮らえ、その検出された赤外画像に基づいて人体の部位抽出を行わせているため、検出画像領域内に人体以外の赤外線放射物が存在する場合には、人体の部位抽出のみを確実に行うことができない恐れがあった。 [SUMMARY OF THE INVENTION However, the prior art captured by the infrared camera infrared image of the region containing the worker engaged in place to be monitored is a human body based on the detected infrared image since the carry out a site extracting, when the infrared radiation of the non-human body detected image area is present, there may not only be able to body site extracting reliably.

【0005】また、赤外カメラの他に、CCDカメラを用いて赤外画像、及び可視画像に基づいて人体の部位抽出を行わせた場合には、人体の部位抽出を確実に行うことができるが、検出画像領域内に他の人間が居る場合には、作業者を特定できず誤検出することがあった。 [0005] In addition to the infrared camera, when to perform the human body part extracted based on the infrared image, and a visible image using a CCD camera, it is possible to reliably body site extracting but if another person in the detection image area is present, it has been possible to erroneous detection can not identify the operator.

【0006】本発明は、斯かる点に鑑みてなされたものであって、検出画像領域内に複数の人間が存在している場合においても、確実に作業者を特定し、その作業者の人体から放射される赤外線を検出して人体の部位抽出を行い、各部位の活動状態を監視して作業者の疲労度、覚醒度などを検出できる活動状態監視装置を提供することを目的とする。 [0006] The present invention was made in view of the foregoing, when a plurality of human detection image region is also present, to identify reliably operator body that worker by detecting infrared rays emitted from perform human body site extracting, worker fatigue monitoring the activity state of each part, and to provide an activity state monitoring device capable of detecting and alertness.

【0007】 [0007]

【課題を解決するための手段】本発明は、作業者が従事する場所に焦点が調整され、該作業者の可視画像を撮像する撮像手段と、該撮像手段による検出画像領域と同一領域の赤外画像を検出する赤外画像検出手段と、該赤外画像検出手段により検出された赤外画像データを皮膚温度帯域の上限、及び下限を閾値としてデータの抽出処理を行い、抽出された各領域の面積情報、及び/または位置情報に基づいて、前記検出画像領域に存在する人体の各部位を検出する部位検出手段と、該部位検出手段により検出された人体の各部位領域に対応する前記可視画像の輝度データの高周波成分に基づいて、前記作業者の各部位領域を特定する作業者検出手段と、該作業者検出手段により特定された前記作業者の各部位の座標軌跡に基づいて作業者の活 The present invention SUMMARY OF], the operator adjusts the focus to engage location, an imaging unit for imaging the visual image of the acting skill, the red detected image area and the same region by the image pickup means an infrared image detection means for detecting an external image, performs a process of extracting data up to the infrared image data detected by the infrared image detection means of the skin temperature range, and the lower limit as the threshold, the extracted respective regions area information, and / or on the basis of the position information, a location detector for detecting each part of the human body existing in the detected image area, the visible corresponding to each part region of the human body detected by the site detection means based on the high-frequency component of the luminance data of the image, and the operator detecting means for identifying each part region of the worker, the worker on the basis of the coordinates trajectory of each part of the operator specified by the acting skilled detecting means active of 状態を監視する手段と、を備えていることを特徴とする活動状態監視装置である。 It is active monitoring device according to claim which comprises a means for monitoring the condition, the.

【0008】 [0008]

【作用】本発明によれば、検出画像領域内に複数の人間が存在している場合においても、確実に作業者を特定でき、その作業者の人体から放射される赤外画像データに基づいて、作業者の部位抽出、及び各抽出部位の活動状態を監視することができる。 According to the present invention, when a plurality of human detection image region is also present, can be reliably identify the operator on the basis of the infrared image data emitted from the human body of the operator it can be monitored site extracting the worker, and the activity of the respective extraction region.

【0009】 [0009]

【実施例】以下、本発明をその実施例を示す図面に基づいて説明する。 EXAMPLES The following description will explain the present invention with reference to the drawings showing its embodiments.

【0010】図1は、本発明の一実施例を示す活動状態監視装置の概略ブロック図である。 [0010] Figure 1 is a schematic block diagram of active monitoring apparatus according to an embodiment of the present invention. 同図において、1は監視すべき作業者が従事している場所の可視画像を撮像する撮像手段であり、RGB信号からなる映像データを出力するCCDカメラにより構成され、CCDカメラ1 In the figure, 1 denotes an image pickup means for capturing a visible image of where the operator to be monitored is engaged, is constituted by a CCD camera that outputs video data composed of RGB signals, CCD camera 1
の焦点が作業者が従事する場所に合うように調整されている。 The focus of is adjusted to suit the operator engaged in place.

【0011】2はCCDカメラ1による検出画像領域と同一領域の赤外画像を検出し、赤外画像データとして出力する赤外画像検出手段であり、赤外カメラにより構成されている。 [0011] 2 detects the infrared image of the detected image area and the same area by the CCD camera 1, and an infrared image detection means for outputting as an IR image data is constituted by an infrared camera. 3はCCDカメラ1、及び赤外カメラ2の駆動を制御し、検出された映像データ、及び赤外画像データが供給される主制御部であり、CPU(マイクロコンピュータ)により構成されている。 3 controls the driving of the CCD camera 1, and the infrared camera 2, a main control unit that detected video data, and the infrared image data are supplied, is constituted by a CPU (microcomputer). 尚、本実施例ではCPU3にCCDカメラ1、及び赤外カメラ2からの映像データ、及び赤外画像データを0.1秒毎に取り込んでいる。 In this embodiment incorporates a CCD camera 1 to CPU 3, and the video data from the infrared camera 2, and the infrared image data every 0.1 second.

【0012】4はCPU3に接続され、CCDカメラ1、及び赤外カメラ2からの映像データ、及び赤外画像データに基づいて、後述するように、人体の部位抽出(本実施例では、顔領域、右手領域、左手領域を抽出している。)、及び活動状態の監視を行うプログラムを格納してあるROM、5はCCDカメラ1、及び赤外カメラ2からの映像データ、及び赤外画像データに基づいて、検出画像領域に存在する各人の部位抽出を行い、抽出部位の種類を判別する部位検出手段である。 [0012] 4 is connected to the CPU 3, CCD camera 1, and image data from the infrared camera 2, and on the basis of the infrared image data, as described later, the body portion extracted (in this example, the face area the right hand region, are extracted left region.), and are stored a program for monitoring active ROM, 5 the video data from the CCD camera 1, and the infrared camera 2, and the infrared image data based on, it performs individual's site extracting existing in the detected image area, a location detector for discriminating the type of the extraction site. 具体的には、この部位検出手段5において、CCDカメラ1からの映像データと、予めRAM6に記憶された検出画像領域内に人間が存在しない場合の映像データとの差から、 Specifically, in this location detector 5, and the video data from the CCD camera 1, from the difference between the video data when a human is not present in the pre-RAM6 detected image area stored in,
検出画像領域に存在する各人の映像データの抽出処理を行い、その抽出された映像データ領域に対応する赤外画像データを皮膚温度帯域の上限値、及び下限値(本実施例では皮膚温度帯域の上限値を38℃に、下限値を33 It performs extraction processing of each person of the video data present in the detected image area, the upper limit of the skin temperature band infrared image data corresponding to the video data area which is the extraction, and the lower limit value (skin temperature zone in this embodiment of the upper limit value 38 ° C., the lower limit 33
℃とした。 ℃ and the. )に対応する輝度値を閾値としてデータの抽出処理を行い、人体の部位抽出を行っている。 ) To perform extraction processing of the data as a threshold luminance value corresponding, doing body site extracting. これにより、検出画像領域内に存在する各人の皮膚露出部位が抽出されることになる。 As a result, the exposed skin site of each person present in the detected image area is extracted. そして、部位検出手段5では、その各人の抽出部位群の各部位の面積情報、及び位置情報に基づいて抽出部位の種類判別を行っている。 Then, the location detector 5 is performed that each person of the area information of each part of the extraction site group, and the type determination of the extraction region based on the position information.

【0013】図2に、この際の抽出部位の概略図を示す。 [0013] FIG. 2 shows a schematic view of the extraction region at this time. 図中の点描領域は抽出部位を示し、×印は各抽出部位の重心を示している。 Stippled area in the figure shows the extraction site, × marks indicate the center of gravity of each extraction site. そして、検出画像領域内に存在する個々の人間に対応する抽出部位の種類の判別は、各抽出部位の面積情報、及び位置情報に基づいて行っており、例えば各人に対する部位抽出結果が図2の場合には、面積の一番大きい抽出部位領域Aを顔部と、その他の抽出部位領域B,Cを手部と判別し、手部の位置関係から領域Bは右手、領域Cは左手と判別している。 Then, the type of determination of the extraction region corresponding to an individual person present in the detected image area is performed based on the area information, and position information of each extraction site, such site-extraction result for each person 2 in the case of the largest extraction site region a face portion of the area, other extraction site region B, determines that the hand part C, the area from the positional relationship of the hand portion B is right, area C and left It has been determined.

【0014】7は部位検出手段5により抽出された人体の各部位における映像データに基づいて、その輝度データを算出し、その輝度データに周波数解析を施して高周波成分を検出する高周波検出手段であり、各部位における輝度データの内、200kHz以上の高周波成分のレベルを検出している。 [0014] 7 based on the video data in each part of the human body which has been extracted by the location detector 5, and calculates the luminance data, be a high-frequency detecting means for detecting a high frequency component subjected to frequency analysis to the luminance data , among the luminance data at each part, and detects the level of 200kHz or more high frequency components.

【0015】8は高周波検出手段7の検出データに基づいて、検出画像領域に存在する作業者を特定し、その人体の部位を検出する作業者検出手段である。 [0015] 8 based on the detection data of the high-frequency detecting means 7, to identify the operator present in the detected image area, a worker detection means for detecting the site of the human body. 具体的には、高周波検出手段7の検出データに基づいて、検出画像領域に存在する各人の抽出部位群の高周波成分の積算を行い、その積算された高周波成分データの値が最も大きい抽出部位群を作業者の人体の部位であると規定している。 Specifically, based on the detection data of the high-frequency detecting means 7, performs multiplication of the high-frequency component of the individual's extraction region groups present in the detected image area, the integrated high-frequency component data value is largest extraction site the group has been defined to be a part of the human body of the worker. これは、予め作業者が従事する場所に、CCDカメラ1の焦点が合うように設定されているため、そのC This is the place beforehand worker engaged, since it is set such that the focal point of the CCD camera 1 is fit, the C
CDカメラ1から得られる輝度データの高周波成分が大きくなることを利用している。 High-frequency component of the luminance data obtained from the CD camera 1 is based on the fact that large.

【0016】即ち、図3に示すように、例えば検出画像領域内に作業者aの他に、人間bが存在する場合、CC [0016] That is, as shown in FIG. 3, in addition to the operator a, for example, the detected image area, when a human b is present, CC
Dカメラ1の焦点は作業者aが従事する場所に合うように設定されているため、CCDカメラ1から得られる抽出部位群31〜33の輝度データの高周波成分が、抽出部位群34〜36の輝度データの高周波成分に比べて大きくなり、抽出部位群31〜33を作業者aの人体の抽出部位であると判断する。 D for the focus of the camera 1 is set to suit the operator a is engaged place, the high frequency component of the luminance data of the extraction region group 31 to 33 obtained from the CCD camera 1, the extraction region group 34-36 becomes larger than the high-frequency component of the luminance data, the extraction region group 31 to 33 is determined to be a human body extraction site worker a. 尚、図中の点描領域は抽出部位を示し、×印は各抽出部位の重心を示している。 Incidentally, stippled area in the figure shows the extraction site, × marks indicate the center of gravity of each extraction site.

【0017】9は作業者検出手段8により特定された作業者領域の抽出部位群の赤外画像データ、重心座標データ、及び測定時刻データを格納する、512個のフレームメモリを有する赤外画像情報記憶部である。 [0017] 9 stores infrared image data of the extraction region group worker area identified by the operator detection unit 8, the center of gravity coordinate data, and the measurement time data, infrared image data having 512 frame memories a storage unit. 従って、 Therefore,
赤外画像情報記憶部9には、分解能0.1秒単位で5 The infrared image information storage unit 9, 5 in units Resolution 0.1 seconds
1.2秒間の作業者領域の抽出部位群の赤外画像データ、重心座標データ、及び測定時刻データが格納されることになる。 Infrared image data of the extraction region group operator region of 1.2 seconds, so that the center of gravity coordinate data, and the measurement time data is stored.

【0018】10は赤外画像情報記憶部9に格納された重心座標データを高速フーリエ変換して各抽出部位の周波数スペクトルを算出する周波数成分算出手段であり、ファストフーリエトランスレータ(以下、FFT回路と略記する。)により構成されている。 [0018] 10 is a frequency component calculating means for calculating a frequency spectrum of each extraction region barycentric coordinates data stored in the infrared image information storage unit 9 by a fast Fourier transform, fast Fourier Translator (hereinafter, the FFT circuit It is constituted by abbreviated.). 11は本装置の動作指示を画面上から入力可能すると共に、監視結果を表示するモニターである。 11 as well as possible inputs an operation instruction of the device from the screen, a monitor for displaying the monitoring results.

【0019】尚、RAM6には、上述した検出画像領域内に人間が存在しない場合の映像データの他に、ROM [0019] Incidentally, the RAM 6, in addition to the video data when no person is present in the detection image region mentioned above, ROM
4に格納されたプログラムに基づき算出された、正常作業時の各抽出部位の重心座標の存在確率分布データ、周波数成分データ、及び移動速度データを格納させている。 4 is calculated based on a program stored in, and the normal working when the existence probability distribution data of the centroid coordinates of each extraction region, is stored frequency component data, and the moving speed data.

【0020】ここで、CPU3はモニター11から入力された入力信号に基づきCCDカメラ1、赤外カメラ2、 [0020] Here, CPU 3 is the CCD camera 1 on the basis of the input signal input from the monitor 11, the infrared camera 2,
部位検出手段5、高周波検出手段7、作業者検出手段8、赤外画像情報記憶部9、及びFFT回路10などを制御し、検出画像領域内に存在する人体の部位抽出、抽出部位の種類の判別、作業者の人体の抽出部位群の特定、 Location detector 5, high-frequency detecting unit 7, the operator detecting means 8, the infrared image information storage unit 9, and then controls the FFT circuit 10, site extracting the human body exists in the detection image region, of the extraction site type determination, specific human extraction region groups of workers,
及び活動状態の監視を行っている。 And we are monitoring the activity state. そして、作業者の活動状態の監視は、作業者の各抽出部位の座標軌跡に基づいて行っており、具体的には後述するように各抽出部位の重心座標の存在確率、重心座標軌跡から算出した周波数成分、及び重心の移動速度に基づいて行っている。 The calculation monitoring active worker has performed based on the coordinate locus of the extraction region of the worker, the existence probability, barycentric coordinates trajectory of the center of gravity coordinates of the extraction region as specifically described below frequency components, and are performed based on the moving speed of the center of gravity.

【0021】次に、本発明の活動状態監視装置の動作について図4、及び図5のフローチャートを参照して説明する。 [0021] Next, the operation of the active monitoring device of the present invention FIG. 4, and will be described with reference to the flowchart of FIG.

【0022】先ず、監視すべき検出画像領域内に人間が存在しない場合の初期状態検出か否かを判断し(S10 [0022] First, it is determined whether the initial state detecting whether when no person is present in the detected image area to be monitored (S10
1)、初期状態検出時にはCCDカメラ1を駆動させ、 1), at the time of initial state detected by driving the CCD camera 1,
その映像データを初期値データとしてRAM6に記憶させ(S103)、ステップS101に戻る。 As the video data is stored in RAM6 as initial value data (S103), the flow returns to step S101.

【0023】また、ステップS101において初期状態検出でない、つまり、活動状態の検出動作の場合には、 Further, not the initial state detected in step S101, that is, if the detection operation of the active,
CCDカメラ1、及び赤外カメラ2を駆動させ、映像データ、及び赤外画像データを読出す(S105)。 CCD camera 1, and drives the infrared camera 2, reads the video data, and the infrared image data (S105).

【0024】そして、部位検出手段5において検出画像領域内に存在する各人の部位抽出処理を行い、その抽出部位の種類を判別している。 [0024] Then, a portion extraction processing of each person present in the detection image region in location detector 5, which determines the type of the extraction site. 具体的には、先ずRAM6 Specifically, first RAM6
に記憶されている初期値データと、ステップS105において読出された映像データとから、検出画像領域内に存在する各人の映像データ領域の抽出処理を行う(S1 And the initial value data stored, and a read-out image data in step S105, the extraction processing of the video data region of each person present in the detection image region performed (S1
07)。 07). そして、ステップS107において抽出された各人の映像データ領域に対応する赤外画像データを、皮膚の温度帯域に相当する輝度値の範囲で閾値処理を施して部位抽出を行い(S109)、各人の抽出部位群について部位毎にナンバーを割り振る(以下、ラベリングと略記する)(S111)。 Then, the infrared image data corresponding to each person of the video data region extracted in step S107, performs a site extracting subjected to threshold processing in the range of luminance values ​​corresponding to the temperature zone of the skin (S109), each person allocating numbers for each region for the group site of extraction (hereinafter, abbreviated as labeling) (S 111). 尚、本実施例では皮膚温度帯域を33〜38℃に設定したが、環境、衣服などの条件により最適値を決定するようにしてもよい。 Incidentally, although this embodiment sets the skin temperature band 33-38 ° C., the environment may be determined optimum value by conditions such as clothing. そして、ラベリングされた領域を面積の大きい順からソートし、順に再度ラベルナンバーを割り振り(S113)、次のステップS115では、ラベルの面積情報、位置情報に基づいて人体の顔部、右手、及び左手領域を判別する。 Then, sort labeling region from descending order of area, turn again allocated a label number (S113), the next step S115, the area information of the label, human face portion based on the position information, the right hand, and left hand to determine the area. 具体的には、各人に対する抽出部位群の内、面積の一番大きいラベル1を顔部と判断し、ラベル2、及び3うち右側にある方を右手、他方を左手と仮定し、所定時間の追跡処理後、右手、及び左手を判断する。 Specifically, in the extracted site group for each person, the largest label 1 of the area is determined that the face portion, the label 2, and 3 among those who are in the right hand, assuming the other as the left hand, the predetermined time after the tracking process determines right and left hand.

【0025】次に、以上のステップS107〜S115 [0025] Next, the above steps S107~S115
の処理により判別された各人に対する顔部、右手、及び左手領域の映像データを高周波検出手段7に供給して、 Face portion for each person is determined by processing, by supplying the right, and the image data of the left hand area to a high-frequency detection means 7,
その高周波成分のレベルを検出し(S117)、その検出データを作業者検出手段8に供給して、作業者の抽出部位群を検出する(S119)。 Detecting the level of the high frequency component (S117), the detection data is supplied to the operator detecting means 8 detects the extraction site group of the worker (S119).

【0026】そして、次にステップS119で検出された作業者の顔部、右手、及び左手の各部位の重心を算出し(S121)、各抽出部位の赤外画像データ、重心座標データ、及び測定時刻データを赤外画像情報記憶部9 [0026] Then, then the face portion of the detected operator in step S119, right hand, and calculates the center of gravity of each portion of the left hand (S121), the infrared image data for each extraction region, the centroid coordinate data, and measurement time data infrared image information storage unit 9
に入力し格納する(S123)。 Type stored in (S123). そして、512組の作業者の各抽出部位に対する赤外画像データ、重心座標データ、及び測定時刻データが赤外画像情報記憶部9に格納されたか否かを判断し(S125)、格納後に次のステップに進む。 Then, the infrared image data for each extraction region of 512 pairs of worker, the centroid coordinate data, and the measurement time data to determine whether stored in the infrared image information storage section 9 (S125), after storage of the following the process proceeds to step. 尚、本実施例では、分解能0.1秒単位で51.2秒間の赤外画像データなどを赤外画像情報記憶部9に格納させているが、作業内容によってこの値は適宜変更する必要がある。 In the present embodiment, although by storing, for example infrared image data of 51.2 seconds in units resolution of 0.1 seconds in the infrared image information storage unit 9, the value according to activity is necessary to change appropriately is there.

【0027】次に、赤外画像情報記憶部9に記憶された作業者の各抽出部位に対する512組の重心座標データ、及び測定時刻データを読出し(S127)、これらのデータに基づき、各抽出部位毎に所定領域内における重心の存在確率分布を算出し(S129)、次のステップS131に進む。 Next, 512 sets of barycentric coordinates data for each extraction region of the worker that is stored in the infrared image information storage unit 9, and the measurement time data read (S127), based on these data, the extraction region calculating the existence probability distribution of the center of gravity in a predetermined area (S129) for each, the flow proceeds to the next step S131. 例えば、左手で水平移動作業を行っている場合における重心の存在確率分布の算出結果を図6に示す。 For example, it shows the calculation result of the presence probability distribution of the center of gravity in the case where doing horizontally mobile work with the left hand in FIG. 図中の数字は、その領域内における重心の存在確率値を表している。 The numbers in the figure represents the existence probability value of the center of gravity in the region.

【0028】ステップS131では、ステップS127 [0028] In step S131, the step S127
のデータをFFT回路10に入力し、FFT回路10にて算出された所定領域内における作業者の各抽出部位の周波数スペクトルを読込み(S133)、各抽出部位の基本周波数、及び高調波パターンなど、特徴的な周波数成分を抽出する(S135)。 Data input to the FFT circuit 10 reads the frequency spectrum of the extraction region of the worker in the predetermined region calculated in the FFT circuit 10 (S133), the fundamental frequency of each extraction region, and such harmonics pattern, extracting a characteristic frequency component (S135).

【0029】そして、次のステップS137では、ステップS127のデータに基づき、作業者の各抽出部位毎の重心の移動速度を算出し、次のステップS139に進む。 [0029] Then, in the next step S137, based on the data in step S127, calculates the center of gravity moving speed of each extraction region of the worker, the process proceeds to the next step S139.

【0030】ステップS139では、基準となる正常時の作業状態入力、つまり基準設定時か否かを判断し、基準設定の場合にはステップS141に進み、ステップS [0030] In step S139, the reference to normal when the working conditions input made, it is determined whether the time that is a reference set, in the case of standard setting, the process proceeds to step S141, step S
129、S135、及びS137で算出された作業者の各抽出部位の重心の存在確率分布データ、周波数成分データ、及び移動速度データをRAM6に格納し、基準設定動作を終了する。 129, S135, and the presence probability distribution data of the center of gravity of each extraction region of the calculated worker in S137, the frequency component data, and the moving speed data stored in the RAM 6, and terminates the reference setting operation.

【0031】また、ステップS139で基準設定時でないと判断された場合には、ステップS143に進み、ステップS129、S135、及びS137で算出された作業者の各抽出部位の重心の存在確率分布データ、周波数成分データ、及び移動速度データと、RAM6に格納されている記憶データと比較し(S143)、その比較データに基づいて動作内容の変化を数値化し、その値をモニター11に表示させ(S145)、活動状態の動作監視を終了する。 Further, if it is determined not to be at the reference setting in step S139, the process proceeds to step S143, step S129, S135, and the presence probability distribution data of the center of gravity of each extraction region of the calculated worker in S137, frequency component data, and the moving speed data, compared to the stored data stored in RAM 6 (S143), to quantify the change in the operation content based on the comparison data, to display the value on the monitor 11 (S145) , to end the operation monitoring of the activity state. ここで、作業者の各抽出部位の重心の存在確率分布データの比較は、正常動作に対する突発的な動作を検出し、周波数成分データの比較は、周期的動作の変化や抽出部位の軌跡変化を検出している。 Here, the comparison of the presence probability distribution data of the center of gravity of each extraction region of the worker, a sudden detects operation, comparison of the frequency component data, the locus change of the change and the extraction site of the cyclic operation to normal operation It is detected. また、重心の移動速度データの比較は、動作の俊敏さ、緩慢さの検出を行っている。 The comparison of the moving velocity data of the center of gravity, agility of operation is performed to detect the slowness.

【0032】そして、ステップS145では、これらの比較データを用いて作業者の疲労度、覚醒度を5段階に分けて数値化している。 [0032] Then, in step S145, the operator of fatigue using these comparison data are quantified separately alertness in five stages. レベル1は正常状態を、レベル2は軽微な疲労が見られるが作業に支障が無い状態、レベル3は所定時間内に休憩を要する状態、レベル4は疲労有りのため作業続行は危険、即座に休憩を要する状態、レベル5は重度の疲労有りのため作業続行は不可能、作業者の交替が必要な状態を表している。 Level 1 normal state, level 2 minor fatigue no trouble but found the work state, level 3 is a state requiring a break in a predetermined time, level 4 is dangerous work continues for there fatigue, immediately condition requiring a break, level 5 is severe fatigue there for work continue impossible, it represents a state that requires replacement of the worker.

【0033】尚、上記実施例では、作業者の各抽出部位の重心の存在確率分布データ、周波数成分データ、及び移動速度データに基づいて、総合的に人体の活動状態監視を行う場合について説明したが、個々の比較データを基に人体の活動状態監視を行わせてもよい。 [0033] In the above embodiments, the presence probability distribution data of the center of gravity of each extraction region of the worker, the frequency component data, and based on the moving velocity data, has been described a case where the overall body of active monitoring but it may be made of the human body active monitoring based on individual comparison data.

【0034】 [0034]

【発明の効果】以上述べた通り本発明によれば、検出画像領域内に複数の人間が存在している場合においても、 According to the above mentioned as the present invention, even when a plurality of persons in the detection image region is present,
確実に作業者を特定でき、その作業者の人体から放射される赤外画像データに基づいて、作業者の部位抽出、及び各抽出部位の活動状態を監視することができる。 Can be reliably identify the operator, it can be monitored on the basis of the infrared image data emitted from the human body of the operator, site extracting worker, and the activity of the respective extraction region.

【0035】従って、作業者の疲労度、覚醒度などの検出が可能となり、作業者の疲労、覚醒などによる作業ミスの発生を未然に防止することができる。 [0035] Therefore, the operator of fatigue, it is possible to detect, such as alertness, it is possible to prevent the operator of fatigue, the occurrence of operational error due to awakening in advance.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】本発明の一実施例を示す活動状態監視装置の概略ブロック図である。 1 is a schematic block diagram of active monitoring apparatus according to an embodiment of the present invention.

【図2】本発明により人体の部位抽出を行った場合における抽出部位の概略図である。 It is a schematic view of the extraction site in the case of performing the human body part extracted by the present invention; FIG.

【図3】複数の人間が存在する場合のCCDカメラによる検出画像領域の画面図である。 Figure 3 is a screen view of the detected image area by the CCD camera when a plurality of human presence.

【図4】本発明の活動状態解析動作を説明するためのフローチャートである。 Is a flowchart for explaining an activity status analysis operation of the present invention; FIG.

【図5】本発明の活動状態解析動作を説明するためのフローチャートである。 5 is a flowchart illustrating the active state analysis operation of the present invention.

【図6】左手で水平作業を行わせた場合の重心の存在確率分布を示す。 Figure 6 shows a presence probability distribution of the center of gravity in the case where to perform the horizontal work with the left hand.

【符号の説明】 DESCRIPTION OF SYMBOLS

1 CCDカメラ(撮像手段) 2 赤外カメラ(赤外画像情報記憶部) 3 CPU(主制御部) 5 部位検出手段 7 高周波検出手段 8 作業者検出手段 10 FFT回路(周波数成分算出手段) 1 CCD camera (imaging means) 2 infrared camera (infrared image information storage unit) 3 CPU (main control unit) 5 location detector 7 high-frequency detecting means 8 operator detector 10 FFT circuit (frequency component calculating means)

Claims (2)

    【特許請求の範囲】 [The claims]
  1. 【請求項1】作業者が従事する場所に焦点が調整され、 1. A focus location worker engaged is adjusted,
    該作業者の可視画像を撮像する撮像手段と、 該撮像手段による検出画像領域と同一領域の赤外画像を検出する赤外画像検出手段と、 該赤外画像検出手段により検出された赤外画像データを皮膚温度帯域の上限、及び下限を閾値としてデータの抽出処理を行い、抽出された各領域の面積情報、及び/または位置情報に基づいて、前記検出画像領域に存在する人体の各部位を検出する部位検出手段と、 該部位検出手段により検出された人体の各部位領域に対応する前記可視画像の輝度データの高周波成分に基づいて、前記作業者の各部位領域を特定する作業者検出手段と、 該作業者検出手段により特定された前記作業者の各部位の座標軌跡に基づいて作業者の活動状態を監視する手段と、を備えていることを特徴とする活動状態監視装置。 An imaging unit for imaging the visual image of the acting skill, an infrared image detection means for detecting an infrared image of the detected image area and the same area by the imaging means, infrared image detected by the infrared image detection means data of skin temperature band upper limit, and performs extraction processing of data the lower the threshold, the area information of each region is extracted, and / or on the basis of the position information, each part of the human body existing in the detected image area a location detector for detecting, based on the high-frequency component of the luminance data of the visible image corresponding to each part region of the human body detected by the site detection means, the operator detecting means for identifying each part region of the operator If, active monitoring device, characterized in that it comprises a means for monitoring the activity of the operator based on the coordinates trajectory of each part of the operator specified by the acting skilled detecting means.
  2. 【請求項2】前記監視手段は、前記作業者の各部位の重心の存在確率、周波数成分、及び移動速度に基づいて作業者の活動状態を監視することを特徴とする請求項1記載の活動状態監視装置。 Wherein said monitoring means, the existence probability of the center of gravity of each part of the worker, the activities of claim 1, wherein the monitoring the activity of the operator based on the frequency components, and the moving speed status monitoring device.
JP5212810A 1993-08-27 1993-08-27 Active state monitoring apparatus Pending JPH0759754A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP5212810A JPH0759754A (en) 1993-08-27 1993-08-27 Active state monitoring apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP5212810A JPH0759754A (en) 1993-08-27 1993-08-27 Active state monitoring apparatus

Publications (1)

Publication Number Publication Date
JPH0759754A true JPH0759754A (en) 1995-03-07

Family

ID=16628746

Family Applications (1)

Application Number Title Priority Date Filing Date
JP5212810A Pending JPH0759754A (en) 1993-08-27 1993-08-27 Active state monitoring apparatus

Country Status (1)

Country Link
JP (1) JPH0759754A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8280484B2 (en) 2007-12-18 2012-10-02 The Invention Science Fund I, Llc System, devices, and methods for detecting occlusions in a biological subject
US8317776B2 (en) 2007-12-18 2012-11-27 The Invention Science Fund I, Llc Circulatory monitoring systems and methods
US8409132B2 (en) 2007-12-18 2013-04-02 The Invention Science Fund I, Llc Treatment indications informed by a priori implant information
JP2013524919A (en) * 2010-04-21 2013-06-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Respiratory motion detection device
US9672471B2 (en) 2007-12-18 2017-06-06 Gearbox Llc Systems, devices, and methods for detecting occlusions in a biological subject including spectral learning

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8280484B2 (en) 2007-12-18 2012-10-02 The Invention Science Fund I, Llc System, devices, and methods for detecting occlusions in a biological subject
US8317776B2 (en) 2007-12-18 2012-11-27 The Invention Science Fund I, Llc Circulatory monitoring systems and methods
US8403881B2 (en) 2007-12-18 2013-03-26 The Invention Science Fund I, Llc Circulatory monitoring systems and methods
US8409132B2 (en) 2007-12-18 2013-04-02 The Invention Science Fund I, Llc Treatment indications informed by a priori implant information
US9672471B2 (en) 2007-12-18 2017-06-06 Gearbox Llc Systems, devices, and methods for detecting occlusions in a biological subject including spectral learning
US9717896B2 (en) 2007-12-18 2017-08-01 Gearbox, Llc Treatment indications informed by a priori implant information
JP2013524919A (en) * 2010-04-21 2013-06-20 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Respiratory motion detection device

Similar Documents

Publication Publication Date Title
US6260968B1 (en) Pupilometer with pupil irregularity detection capability
US8036425B2 (en) Neural network-controlled automatic tracking and recognizing system and method
JP5155886B2 (en) Method and apparatus for detecting an eye in digital images
US6525658B2 (en) Method and device for event detection utilizing data from a multiplicity of sensor sources
EP1267313A2 (en) Image surveillance apparatus, image surveillance method, and image surveillance processing program
EP0169496A2 (en) Image input device for processing a fingerprint prior to identification
US5859686A (en) Eye finding and tracking system
CN102859565B (en) Method and system for security system tampering detection
US8253792B2 (en) Vision system for monitoring humans in dynamic environments
US5867587A (en) Impaired operator detection and warning system employing eyeblink analysis
US20020071034A1 (en) Intruding object detection method and intruding object monitor apparatus which automatically set a threshold for object detection
US5604818A (en) Apparatus for measuring sighting direction
JP2008538623A (en) Method and system for detecting and classifying an event during exercise activities
JP4626632B2 (en) Video monitoring system
JPH10285581A (en) Automatic monitoring device
US5311879A (en) Medical diagnostic apparatus utilizing line-of-sight detection
CN102187371A (en) A fall detection system and a method of operating a fall detection system
JPH11316884A (en) Device for obtaining awakening state
KR20030007695A (en) Method for selecting a target in an automated video tracking system
EP0026202A1 (en) Video monitoring system and method
EP2120183A1 (en) Method and system for cancellation of ambient light using light frequency
US5095365A (en) System for monitoring operating state of devices according to their degree of importance
US20090289799A1 (en) Medical monitoring method and system
JP2011232894A (en) Interface device, gesture recognition method and gesture recognition program
JPH04213022A (en) Method for monitoring state change and step display providing apparatus