KR102042781B1 - System for worker safety - Google Patents

System for worker safety Download PDF

Info

Publication number
KR102042781B1
KR102042781B1 KR1020180025315A KR20180025315A KR102042781B1 KR 102042781 B1 KR102042781 B1 KR 102042781B1 KR 1020180025315 A KR1020180025315 A KR 1020180025315A KR 20180025315 A KR20180025315 A KR 20180025315A KR 102042781 B1 KR102042781 B1 KR 102042781B1
Authority
KR
South Korea
Prior art keywords
image
heavy equipment
sensor
camera
camera sensor
Prior art date
Application number
KR1020180025315A
Other languages
Korean (ko)
Other versions
KR20190104783A (en
Inventor
이승민
Original Assignee
주식회사 건화
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 건화 filed Critical 주식회사 건화
Priority to KR1020180025315A priority Critical patent/KR102042781B1/en
Publication of KR20190104783A publication Critical patent/KR20190104783A/en
Application granted granted Critical
Publication of KR102042781B1 publication Critical patent/KR102042781B1/en

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • G06K9/00362—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/14—Central alarm receiver or annunciator arrangements
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems; Audible personal calling systems
    • G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H04N5/2258—
    • H04N5/2259—

Abstract

본 발명의 실시 형태는 중장비 차체에 장착되며, 인체 및 물체를 포함하는 객체의 접근을 감지하는 초음파 센서; 중장비 차체에 장착되며, 중장비 주변을 촬영하여 중장비 주변 영상을 생성하는 카메라 센서; 중장비 차체에 장착되며, 경고음을 출력하는 스피커, 경고등을 발광하는 경고 램프를 하나 이상 포함하여 경고음 및 경고등을 포함하는 접근 경고 알람을 발생시키는 경고 발생 기기; 및 중장비 차체에 장착되며, 상기 초음파 센서를 통해 객체가 감지되는 경우, 상기 카메라 센서를 구동시켜 중장비 주변 영상을 획득하며, 획득되는 중장비 주변 영상을 1차 판독하여 중장비 주변 영상내의 객체 이미지를 검출하며, 검출한 객체 이미지가 사람 이미지일 때만 상기 경고 발생 기기를 통해 접근 경고 알람을 출력하는 제어 기기;를 포함할 수 있다.Embodiment of the present invention is mounted on the heavy-duty vehicle body, the ultrasonic sensor for detecting the approach of the object, including the human body and the object; A camera sensor mounted on the heavy equipment body and generating a surrounding image of the heavy equipment by photographing the surroundings of the heavy equipment; An alarm generating device mounted on the heavy-duty vehicle body, the warning generating device generating an access warning alarm including a warning sound and a warning light, including one or more warning lamps emitting a warning sound and a warning lamp emitting a warning light; And mounted on a heavy vehicle body, and when the object is detected by the ultrasonic sensor, obtains the surrounding image of the heavy equipment by driving the camera sensor, detects the object image in the surrounding image of the heavy equipment by first reading the obtained peripheral image of the heavy equipment. And a control device outputting an access warning alarm through the warning generating device only when the detected object image is a human image.

Description

작업자 안전 시스템{System for worker safety}System for worker safety

본 발명은 작업자 안전 시스템으로서, 작업장의 중장비 동작으로 인해 발생할 수 있는 인명 사고를 방지할 수 있는 작업자 안전 시스템에 관한 것이다.The present invention relates to a worker safety system, which can prevent a human accident that may occur due to the operation of heavy equipment in the workplace.

일반적으로, 굴삭기 등과 같은 건설용 중장비들은 차체가 거대하고, 작업 반경이 클 뿐만 아니라, 차체에 실리는 적재물 및 정리되지 않은 주변 환경 등 중장비 운용으로 인해 인적 사고를 초래하는 경우가 많다. 이를 방지하기 위하여 근래에 중장비 차체 후방에 카메라를 부착하고, 카메라로 촬영된 영상을 운전실 내에 표시하여 운전자가 후방의 인체나 물체를 확인하도록 하고 있다.In general, construction heavy equipment such as excavators have a large body, a large working radius, and often cause human accidents due to heavy equipment operation such as loads on the body and unorganized surroundings. In order to prevent this, recently, a camera is attached to the rear of the heavy-duty vehicle body, and an image captured by the camera is displayed in the cab so that the driver can identify a human body or an object behind the vehicle.

한편, 대부분의 중장비들은 상부에 선회체가 장치되며, 상부 선회체가 구비되지 않은 덤프트럭의 경우에도 적어도 하나의 관절 부위를 갖는다. 중장비 관련 사고는 대개의 경우 관절 부위가 작동하는 중에 발생된다.On the other hand, most of the heavy equipment is equipped with a revolving structure at the top, even in the case of a dump truck is not provided with the upper revolving structure has at least one joint area. Heavy equipment accidents usually occur while the joint is in operation.

그런데 종래와 같이 단순히 후방 감시 카메라만 설치한 경우에는, 중장비의 작동 중 주변 상황 모니터링이 용이하지 않다. 또한, 중장비 차체 주변에는 여전히 사각지대가 존재하게 된다. 즉, 중장비 동작 중 안전사고를 방지하기 위해서는 좀 더 효율적인 모니터링 장치의 개발이 요구된다.However, when only the rear surveillance camera is installed as in the related art, it is not easy to monitor the surrounding situation during the operation of heavy equipment. In addition, there are still blind spots around heavy machinery. In other words, in order to prevent safety accidents during the operation of heavy equipment, the development of a more efficient monitoring device is required.

한국등록번호 제10-1435572호Korean Registration No. 10-1435572

본 발명의 기술적 과제는 작업장의 중장비 동작으로 인해 발생할 수 있는 인명 사고를 방지할 수 있는 작업자 안전 시스템을 제공하는데 있다.The technical problem of the present invention is to provide a worker safety system that can prevent a human accident that can occur due to the operation of heavy equipment in the workplace.

또한 본 발명의 기술적 과제는 신속한 위험 경고를 위한 센싱 수단을 제공하는데 있다.In addition, the technical problem of the present invention is to provide a sensing means for rapid risk warning.

본 발명의 실시 형태는 중장비 차체에 장착되며, 인체 및 물체를 포함하는 객체의 접근을 감지하는 초음파 센서; 중장비 차체에 장착되며, 중장비 주변을 촬영하여 중장비 주변 영상을 생성하는 카메라 센서; 중장비 차체에 장착되며, 경고음을 출력하는 스피커, 경고등을 발광하는 경고 램프를 하나 이상 포함하여 경고음 및 경고등을 포함하는 접근 경고 알람을 발생시키는 경고 발생 기기; 및 중장비 차체에 장착되며, 상기 초음파 센서를 통해 객체가 감지되는 경우, 상기 카메라 센서를 구동시켜 중장비 주변 영상을 획득하며, 획득되는 중장비 주변 영상을 1차 판독하여 중장비 주변 영상내의 객체 이미지를 검출하며, 검출한 객체 이미지가 사람 이미지일 때만 상기 경고 발생 기기를 통해 접근 경고 알람을 출력하는 제어 기기;를 포함할 수 있다.Embodiment of the present invention is mounted on the heavy-duty vehicle body, the ultrasonic sensor for detecting the approach of the object, including the human body and the object; A camera sensor mounted on the heavy equipment body and generating a surrounding image of the heavy equipment by photographing the surroundings of the heavy equipment; An alarm generating device mounted on the heavy-duty vehicle body, the warning generating device generating an access warning alarm including a warning sound and a warning light, including one or more warning lamps emitting a warning sound and a warning lamp emitting a warning light; And mounted on a heavy vehicle body, and when the object is detected by the ultrasonic sensor, obtains the surrounding image of the heavy equipment by driving the camera sensor, detects the object image in the surrounding image of the heavy equipment by first reading the obtained peripheral image of the heavy equipment. And a control device outputting an access warning alarm through the warning generating device only when the detected object image is a human image.

상기 작업자 안전 시스템은, 상기 초음파 센서의 센싱 방향이 가변되도록 상기 초음파 센서를 회동시키는 초음파 센서 구동부; 및 상기 카메라 센서의 센싱 방향이 가변되도록 상기 카메라 센서를 회동시키는 카메라 센서 구동부;를 포함하며, 상기 제어 기기는, 결정되는 초음파 센서의 센싱 방향에 따라서 상기 초음파 센서 구동부를 제어하며, 결정되는 카메라 센서의 센싱 방향에 따라서 상기 카메라 센서 구동부를 제어할 수 있다.The worker safety system may include an ultrasonic sensor driver configured to rotate the ultrasonic sensor so that a sensing direction of the ultrasonic sensor is changed; And a camera sensor driver to rotate the camera sensor so that the sensing direction of the camera sensor is variable, wherein the control device controls the ultrasonic sensor driver according to the sensing direction of the determined ultrasonic sensor, and determines the camera sensor. The camera sensor driver may be controlled according to the sensing direction of the camera sensor driver.

상기 제어 기기는, 상기 초음파 센서의 센싱 방향과 상기 카메라 센서의 센서 방향이 동일한 방향이 되도록 상기 초음파 센서 구동부와 카메라 센서 구동부를 동일한 센싱 방향으로 제어하거나, 또는 상기 초음파 센서의 센싱 방향과 카메라 센서의 센서 방향이 서로 다르게 각각 개별적으로 제어하는 경우, 상기 초음파 센서를 통해 객체가 감지될 때 카메라 센서의 센싱 방향이 초음파 센서의 센싱 방향과 동일한 방향이 되도록 동기화시켜 제어할 수 있다.The control device controls the ultrasonic sensor driving unit and the camera sensor driving unit in the same sensing direction so that the sensing direction of the ultrasonic sensor and the sensor direction of the camera sensor are the same direction, or the sensing direction of the ultrasonic sensor and the camera sensor When the sensor direction is controlled separately from each other, when the object is detected through the ultrasonic sensor, the sensing direction of the camera sensor may be synchronized to be controlled to be the same direction as the sensing direction of the ultrasonic sensor.

상기 카메라 센서는, 제1화질을 가지는 저화질 중장비 주변 영상을 생성하는 저화질 카메라 센서; 제1화질보다 높은 제2화질을 가지는 고화질 중장비 주변 영상을 생성하는 고화질 카메라 센서;를 포함하는 듀얼 카메라 센서로 구현되며, 상기 제어 기기는, 작업지역을 기준으로 카메라 센서를 구동시키는 작업지역 기준 카메라 모드, 중장비 주변 영상의 판독 가능 여부를 기준으로 카메라 센서를 구동시키는 판독여부 기준 카메라 모드, 객체의 움직임을 기준으로 카메라 센서를 구동시키는 객체움직임 기준 카메라 모드 중 어느 하나의 카메라 모드로서 상기 저화질 카메라 센서와 고화질 카메라 센서의 구동을 제어할 수 있다.The camera sensor comprises: a low quality camera sensor for generating a low quality heavy equipment peripheral image having a first quality; A high quality camera sensor generating a high quality heavy equipment peripheral image having a second quality higher than a first quality; and implemented as a dual camera sensor, wherein the control device is a work area reference camera that drives the camera sensor based on the work area. The low quality camera sensor as any one of a mode, a reference camera mode for driving a camera sensor based on whether the surrounding image of the heavy equipment can be read, and an object movement reference camera mode for driving a camera sensor based on an object movement. And drive the high-definition camera sensor.

상기 작업지역 기준 카메라 모드는, 미리 설정된 안전 작업지역에 중장비가 위치하는 경우 상기 저화질 카메라 센서를 구동하여 저화질 중장비 주변 형상을 획득하며, 미리 설정된 위험 작업지역에 중장비가 위치하는 경우 상기 고화질 카메라 센서를 구동하여 고화질 중장비 주변 형상을 획득하는 카메라 모드임을 특징으로 할 수 있다.The work area reference camera mode drives the low quality camera sensor to obtain a shape around the low quality heavy equipment when the heavy equipment is located in the preset safe work area, and the high quality camera sensor when the heavy equipment is located in the preset dangerous work area. It may be characterized in that the camera mode for driving to obtain the shape around the high definition heavy equipment.

상기 판독여부 기준 카메라 모드는, 상기 초음파 센서를 통해 객체가 감지되는 경우, 우선적으로 저화질 카메라 센서를 구동하여 저화질 중장비 주변 영상을 획득하며, 저화질 중장비 주변 영상에서 객체 이미지의 판독이 불가능한 경우 고화질 카메라 센서를 구동하여 고화질 중장비 주변 형상을 획득하는 카메라 모드임을 특징으로 할 수 있다.In the read-out reference camera mode, when an object is detected by the ultrasonic sensor, the low-quality heavy equipment peripheral image is first obtained by driving the low-quality camera sensor, and when the object image cannot be read from the low-quality heavy equipment peripheral image, the high-quality camera sensor It may be characterized in that the camera mode for driving to obtain the shape around the high-definition heavy equipment.

상기 객체움직임 기준 카메라 모드는, 상기 초음파 센서를 통해 센싱되는 객체가 정지된 객체이거나 중장비에서 멀어지는 방향으로 움직이는 객체로 감지되면 상기 저화질 카메라 센서를 구동시켜 저화질 중장비 주변 영상을 획득하며, 상기 초음파 센서를 통해 센싱되는 객체가 중장비에 접근하는 방향으로 움직임이 감지되면 상기 고화질 카메라 센서를 구동시켜 고화질 중장비 주변 영상을 획득하는 카메라 모드임을 특징으로 할 수 있다.In the object moving reference camera mode, when the object sensed by the ultrasonic sensor is detected as a stationary object or an object moving away from the heavy equipment, the low quality camera sensor is driven to obtain a surrounding image of the low quality heavy equipment, and the ultrasonic sensor is When the object sensed through the motion is detected in the direction of approaching the heavy equipment, it may be characterized in that the camera mode for driving the high-definition camera sensor to obtain a high-definition video surrounding the heavy equipment.

상기 제어 기기는, 작업 날씨, 작업 지역, 작업 운전자를 포함하는 작업 환경에 따라서 상기 작업지역 기준 카메라 모드, 판독여부 기준 카메라 모드, 객체움직임 기준 카메라 모드 중 어느 하나의 카메라 모드로 동작하도록 제어함을 특징으로 할 수 있다.The control device controls the camera to operate in any one of the work area reference camera mode, the readability reference camera mode, and the object movement reference camera mode according to a work environment including a work weather, a work area, and a work driver. It can be characterized.

상기 작업자 안전 시스템은, 제어 기기로부터 중장비 주변 영상을 수신하는 경우 수신된 중장비 주변 영상을 2차 판독하여 중장비 주변 영상내의 객체 이미지를 검출하며 검출한 객체 이미지가 사람 이미지일 경우 상기 제어 기기로 접근 경고 알람 요청을 전송하는 작업장 안전 관리 서버;를 포함하며, 상기 제어 기기는, 카메라 센서로부터 획득한 중장비 주변 영상을 1차 판독한 결과 영상 판독이 불가능하여 객체 이미지를 검출할 수 없는 경우 판독 불가능한 중장비 주변 영상을 작업장 안전 관리 서버로 전송하며, 상기 작업장 안전 관리 서버로부터 접근 경고 알람 요청을 수신하는 경우 상기 경고 발생 기기를 통해 접근 경고 알람을 출력할 수 있다.When receiving the surrounding image of the heavy equipment from the control device, the worker safety system detects the object image in the surrounding image of the heavy equipment by second reading the received surrounding image of the heavy equipment and warns the approach to the control device when the detected object image is a human image. Workplace safety management server for transmitting an alarm request, wherein the control device, the first reading the surrounding image of the heavy equipment acquired from the camera sensor as a result of the image can not be read when the object image is impossible to detect the surrounding of the heavy equipment The image may be transmitted to a workplace safety management server, and when an access warning alarm request is received from the workplace safety management server, an access warning alarm may be output through the warning generating device.

상기 작업장 안전 관리 서버는, 2차 판독에 의해 검출한 객체 이미지가 미리 등록된 작업자 얼굴 이미지와 대조하여, 객체 이미지와 오차 범위내에서 유사도를 가지는 작업자 얼굴 이미지가 존재하는 경우, 객체 이미지와 유사도를 가지는 작업자 얼굴 이미지에 할당된 작업자 단말기 전화번호로 위험 알람 메시지를 전송할 수 있다.The workplace safety management server compares the object image detected by the secondary reading with a pre-registered worker face image, and compares the object image with the object image when the worker face image having similarity within the error range exists. The branch may transmit a risk alarm message to the worker terminal phone number assigned to the worker face image.

또한, 상기 작업장 안전 관리 서버는 클라우드 시스템으로 구성될 수 있다. 상기 클라우드 시스템에는 다수의 작업장에 존재하는 개별 중장비로부터 수신받은 영상 데이터가 빅데이터 형태로 저장되고, 상기의 빅데이터는 영상 패턴 분석 과정을 거쳐 분류되어 다음의 영상 데이터 분석을 위한 비교 자료로 사용된다. 이러한 클라우드 시스템은 특정한 작업장 뿐만 아니라 다수의 작업장을 동시에 관리할 수 있는 장점이 있으며, 빅데이터 분석을 통해 보다 정교하고 신속한 영상 판독이 가능한 장점이 있다. 또한, 상기 작업장 안전 관리 서버를 국가 재난망과 연계시 특정 지역에 존재하는 모든 사람들에게 알람 메시지를 전송할 수 있는 장점이 있다.In addition, the workplace safety management server may be configured as a cloud system. In the cloud system, image data received from individual heavy equipment existing in a plurality of workplaces is stored in the form of big data, and the big data is classified through an image pattern analysis process and used as comparison data for the next image data analysis. . Such a cloud system has the advantage of managing not only a specific workplace but also multiple workplaces at the same time, and has the advantage of enabling more accurate and rapid image reading through big data analysis. In addition, the workplace safety management server has the advantage of transmitting an alarm message to all the people in a particular area in connection with the national disaster network.

한편, 초음파 센서와 카메라 센서는 다양한 중장비 및 작업환경에 대응할 수 있도록 길이방향의 조절이 텔레스코픽 타입(telescopic type)의 봉에 장착하는 것이 바람직하다.On the other hand, it is preferable that the ultrasonic sensor and the camera sensor be mounted on a telescopic type rod in the longitudinal direction to cope with various heavy equipments and working environments.

본 발명의 실시 형태에 따르면 중장비 주변에서 사람이 감지되는 경우에 한하여 경고 알람함으로써, 작업장의 중장비 동작으로 인해 발생할 수 있는 인명 사고를 방지할 수 있다.According to the embodiment of the present invention, by warning alarm only when a person is detected around the heavy equipment, it is possible to prevent a human accident that may occur due to the operation of heavy equipment in the workplace.

또한 본 발명의 실시 형태에 따르면 듀얼 카메라 센서와 다양한 카메라 모드를 채택하여 속도 빠른 이미지 분석이 이루어지도록 함으로써, 신속한 위험 경고를 할 수 있다.In addition, according to the embodiment of the present invention, by adopting a dual camera sensor and various camera modes to perform a fast image analysis, it is possible to give a quick risk warning.

도 1은 본 발명의 실시예에 따른 작업자 안전 시스템의 구성도.
도 2는 본 발명의 실시예에 따른 작업장 안전 수단이 구비된 포크레인을 도시한 그림.
도 3은 본 발명의 실시예에 따라 경고 알람하는 모습을 도시한 그림.
도 4는 본 발명의 실시예에 따라 초음파 센서와 카메라 센서의 센싱 방향의 제어 예시 그림.
도 5는 본 발명의 실시예에 따른 카메라 모드의 예시 그림.
도 6은 본 발명의 실시예에 따라 작업 환경에 따라서 카메라 모드가 결정되는 플로우차트.
도 7은 본 발명의 실시예에 따라 작업장 안전 관리 서버가 구비된 작업자 안전 시스템의 구성 블록도.
도 8은 본 발명의 실시예에 따라 위험 구역에 있는 작업자의 단말기에 위험 경고하는 예시 그림.1 is a block diagram of a worker safety system according to an embodiment of the present invention.
Figure 2 is a view showing a forklift equipped with workplace safety means according to an embodiment of the present invention.
Figure 3 is a view showing a state of warning alarm in accordance with an embodiment of the present invention.
Figure 4 is an illustration of the control of the sensing direction of the ultrasonic sensor and the camera sensor in accordance with an embodiment of the present invention.
5 is an illustration of a camera mode according to an embodiment of the invention.
6 is a flowchart in which a camera mode is determined according to a working environment according to an embodiment of the present invention.
Figure 7 is a block diagram of a worker safety system with a workplace safety management server according to an embodiment of the present invention.
Figure 8 is an illustration of a hazard warning to the terminal of the worker in the danger zone according to an embodiment of the present invention.

이하, 본 발명의 장점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은, 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것으로, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 또한, 본 발명을 설명함에 있어 관련된 공지 기술 등이 본 발명의 요지를 흐리게 할 수 있다고 판단되는 경우 그에 관한 자세한 설명은 생략하기로 한다.Advantages and features of the present invention, and methods for achieving them will be apparent with reference to the embodiments described below in detail with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various forms, and is provided to fully inform the scope of the invention to those skilled in the art. The invention is defined only by the scope of the claims. In addition, in the following description of the present invention, if it is determined that related related technologies and the like may obscure the gist of the present invention, detailed description thereof will be omitted.

도 1은 본 발명의 실시예에 따른 작업자 안전 시스템의 구성도이며, 도 2는 본 발명의 실시예에 따른 작업장 안전 수단이 구비된 포크레인을 도시한 그림이며, 도 3은 본 발명의 실시예에 따라 경고 알람하는 모습을 도시한 그림이며, 도 4는 본 발명의 실시예에 따라 초음파 센서와 카메라 센서의 센싱 방향의 제어 예시 그림이며, 도 5는 본 발명의 실시예에 따른 카메라 모드의 예시 그림이며, 도 6은 본 발명의 실시예에 따라 작업 환경에 따라서 카메라 모드가 결정되는 플로우차트이다.1 is a block diagram of a worker safety system according to an embodiment of the present invention, Figure 2 is a view showing a forklift equipped with workplace safety means according to an embodiment of the present invention, Figure 3 is an embodiment of the present invention Figure 4 is a view showing a warning alarm, according to an embodiment of the present invention Figure 4 is an illustration of the control of the sensing direction of the ultrasonic sensor and the camera sensor, Figure 5 is an illustration of a camera mode according to an embodiment of the present invention 6 is a flowchart in which a camera mode is determined according to a working environment according to an embodiment of the present invention.

본 발명은 중장비 근처에 있는 작업자가 중장비 작업 반경 내에 접근시에 신속하게 사전 경고할 수 있도록, 고속 스캔 및 신뢰성 있는 센싱 기술을 제공한다.The present invention provides high-speed scan and reliable sensing techniques to enable operators near the heavy machinery to quickly warn in advance when approaching within the heavy machinery working radius.

이를 위하여 본 발명의 작업자 안전 시스템은, 도 1에 도시한 바와 같이 인체 및 물체를 포함하는 객체의 접근을 감지하는 초음파 센서(100)와, 중장비 주변을 촬영하여 중장비 주변 영상을 생성하는 카메라 센서(200)와, 경고음을 출력하는 스피커(310), 경고등을 발광하는 경고 램프(320)를 하나 이상 포함하여 경고음 및 경고등을 포함하는 접근 경고 알람을 발생시키는 경고 발생 기기(300)와, 초음파 센서(100)를 통해 객체가 감지되는 경우 카메라 센서(200)를 구동시켜 중장비 주변 영상을 획득하며, 획득되는 중장비 주변 영상을 판독(이하, '1차 판독'이라 함)하여 중장비 주변 영상내의 객체 이미지를 검출하며, 검출한 객체 이미지가 사람 이미지일 때만 경고 발생 기기(300)를 통해 접근 경고 알람을 출력하는 제어 기기(400)를 포함한다. 이밖에 초음파 센서 구동부(150), 및 카메라 센서 구동부(250)를 더 포함할 수 있다. 이하 상술하기로 한다.To this end, the worker safety system of the present invention, as shown in Figure 1, the ultrasonic sensor 100 for detecting the approach of the object, including the human body and the object, and the camera sensor for generating the surrounding image of the heavy equipment by photographing the heavy equipment And a warning generating device 300 to generate an approach warning alarm including a warning sound and a warning light, including one or more speakers 200, a speaker 310 outputting a warning sound, and a warning lamp 320 emitting a warning light. 100, when the object is detected by driving the camera sensor 200 to obtain the surrounding image of the heavy equipment, and to read the acquired peripheral image of the heavy equipment (hereinafter referred to as 'primary reading') to obtain the object image in the surrounding image of the heavy equipment The control device 400 detects and outputs an access warning alarm through the warning generating device 300 only when the detected object image is a human image. In addition, the ultrasonic sensor driver 150 and the camera sensor driver 250 may be further included. This will be described below.

초음파 센서(100)(ultrasonic sensor)는, 중장비 차체에 장착되는데, 여기서 중장비(Heavy Equipment)라 함은, 도 2에 도시한 바와 같이 포크레인, 크레인 등과 같이 건설 현장에서 사용하는 기계를 말한다. 따라서 초음파 센서(100)는, 중장비의 전방면 차체에 장착되거나, 또는 측방면 차체, 후방면 차체 등의 다양한 위치에 장착될 수 있다.The ultrasonic sensor 100 is mounted on a heavy-duty vehicle body, and heavy equipment refers to a machine used in a construction site such as a fork crane, a crane, and the like as shown in FIG. 2. Therefore, the ultrasonic sensor 100 may be mounted on the front body of the heavy equipment, or may be mounted at various positions such as the side body and the rear body.

초음파 센서(100)는, 인체 및 물체를 포함하는 객체의 접근을 감지하는 센서로서, 초음파의 특성을 이용하거나 초음파를 발생시켜 거리나 두께, 움직임 등을 검출할 수 있다. 따라서 중장비에 장착된 초음파 센서(100)는, 중장비 근처에 있는 객체를 감지할 수 있게 된다.The ultrasonic sensor 100 is a sensor that detects the approach of an object including a human body and an object, and may detect distance, thickness, motion, etc. by using the characteristics of the ultrasonic waves or generating ultrasonic waves. Therefore, the ultrasonic sensor 100 mounted on the heavy equipment can detect an object near the heavy equipment.

카메라 센서(200)는 중장비 차체에 장착되며, 중장비 주변을 촬영하여 중장비 주변 영상을 생성한다. 카메라 센서(200)는 렌즈 어셈블리, 필터, 광전 변환 모듈, 및 아날로그/디지털 변환 모듈을 포함할 수 있다. 여기서 렌즈 어셈블리는 줌 렌즈, 포커스 렌즈 및 보상 렌즈를 포함한다. 필터는, 광학적 저역통과필터(Optical Low Pass Filter)와. 적외선 차단 필터(Infra-Red cutFilter)를 포함할 수 있다. 광전 변환 모듈은 광학계(OPS)로부터의 빛을 전기적 아날로그 신호로 변환시킨다. 아날로그/디지털 변환 모듈(미도시)은 광전 변환 모듈(OEC)로부터의 아날로그 신호를 처리하여, 그 고주파 노이즈를 제거하고 진폭을 조정한 후, 디지털 신호로 변환시켜 중장비 주변 영상을 생성할 수 있다.The camera sensor 200 is mounted on the heavy-duty vehicle body and generates an image around the heavy equipment by photographing the surroundings of the heavy equipment. The camera sensor 200 may include a lens assembly, a filter, a photoelectric conversion module, and an analog / digital conversion module. The lens assembly here comprises a zoom lens, a focus lens and a compensation lens. The filter is composed of an optical low pass filter. Infra-Red cutFilter may be included. The photoelectric conversion module converts light from the optical system OPS into an electrical analog signal. The analog / digital conversion module (not shown) may process an analog signal from the photoelectric conversion module (OEC), remove the high frequency noise, adjust the amplitude, and convert the digital signal into a digital signal to generate a peripheral image of the heavy equipment.

경고 발생 기기(300)는, 고음 및 경고등을 포함하는 접근 경고 알람을 발생시키는 기기이다. 중장비 차체에 장착되며, 경고음을 출력하는 스피커(310), 경고등을 발광하는 경고 램프(320)를 하나 이상 포함한다.The alarm generating device 300 is a device for generating an access warning alarm including a treble and a warning light. Mounted on the heavy-duty vehicle body, and includes a speaker 310 for outputting a warning sound, and at least one warning lamp 320 for emitting a warning light.

상기에서 초음파 센서(100), 카메라 센서(200), 및 경고 발생 기기(300)는 하나의 일체형 모듈(1000)로서 제작되어 중장비의 어느 한 곳에 설치될 수 있으며, 또는 각각 분리되어 별도의 모듈로서 중장비에 각각 설치될 수 있다.In the above, the ultrasonic sensor 100, the camera sensor 200, and the warning generating device 300 may be manufactured as one integrated module 1000 and installed at any one of the heavy equipments, or may be separately separated as separate modules. Can be installed in heavy equipment respectively.

또한 초음파 센서(100)와 카메라 센서(200)가 포함된 일체형 모듈(100)의 설치 위치는, 건설기계의 종류 및 모델에 따라 높이조절이 가능한 텔레스코픽 구조물에 설치되어 기계의 종류 및 작업현장에 맞는 높이 조절이 가능하도록 구현될 수 있다. 나아가, 초음파 감지 및 카메라 촬영시 사각지대 최소화를 구현하기 위한 유연한 관절 및 구조로 작업자 감지의 사각지대가 최소화하도록 구현될 수 있다.In addition, the installation position of the integrated module 100 including the ultrasonic sensor 100 and the camera sensor 200 is installed in a telescopic structure that can be adjusted in height according to the type and model of construction machinery to fit the type and work site of the machine. It can be implemented to allow height adjustment. Furthermore, the blind spot of worker detection may be implemented with a flexible joint and a structure for minimizing the blind spot during ultrasonic sensing and camera photographing.

제어 기기(400)는, 중장비 차체에 장착되며, 초음파 센서(100)를 통해 객체가 감지되는 경우, 카메라 센서(200)를 구동시켜 중장비 주변 영상을 획득한다. ,즉, 초음파 센서(100)에 의한 신규한 지형지물 감지시에 자동으로 작동되어 신규한 지형지물이 작업자 또는 사람인지 확인하기 위한 중장비 주변 영상을 촬영한다.The control device 400 is mounted on the heavy-duty vehicle body and, when an object is detected through the ultrasonic sensor 100, drives the camera sensor 200 to acquire the surrounding image of the heavy-duty machine. In other words, when the new feature is detected by the ultrasonic sensor 100, it is automatically operated to take images of the heavy equipment surrounding image for checking whether the new feature is an operator or a person.

제어 기기(400)는, 획득되는 중장비 주변 영상을 1차 판독하여 중장비 주변 영상내의 객체 이미지를 검출하며, 검출한 객체 이미지가 사람 이미지일 때만 경고 발생 기기(300)를 통해 접근 경고 알람을 출력한다. 따라서 도 3(a)에 도시한 바와 같이 초음파 센서(100)에 의해 검출되는 객체가 지형 지물인 경우 별도의 접근 경고 알람을 출력하지 않지만, 도 3(b)에 도시한 바와 같이 초음파 센서(100)에 의해 검출되는 객체가 사람인 경우에만 접근 경고 알람을 출력하게 된다.The control device 400 first reads the acquired surrounding image of the heavy equipment to detect the object image in the surrounding image of the heavy equipment, and outputs an access warning alarm through the warning generating device 300 only when the detected object image is a human image. . Therefore, when the object detected by the ultrasonic sensor 100 is a feature as shown in Figure 3 (a) does not output a separate warning warning alarm, as shown in Figure 3 (b) ultrasonic sensor 100 Only when the object detected by) is a person, the access warning alarm will be output.

한편, 작업자 안전 시스템은, 초음파 센서(100)의 센싱 방향이 가변되도록 초음파 센서(100)를 회동시키는 초음파 센서 구동부(150)와, 카메라 센서(200)의 센싱 방향이 가변되도록 상기 카메라 센서(200)를 회동시키는 카메라 센서 구동부(250)를 포함할 수 있다.On the other hand, the worker safety system, the ultrasonic sensor driver 150 for rotating the ultrasonic sensor 100 so that the sensing direction of the ultrasonic sensor 100 is variable, and the camera sensor 200 so that the sensing direction of the camera sensor 200 is variable. ) May include a camera sensor driver 250.

따라서 제어 기기(400)는, 결정되는 초음파 센서(100)의 센싱 방향에 따라서 초음파 센서 구동부(150)를 제어하며, 결정되는 카메라 센서(200)의 센싱 방향에 따라서 카메라 센서 구동부(250)를 제어하게 된다.Therefore, the control device 400 controls the ultrasonic sensor driver 150 according to the sensing direction of the ultrasonic sensor 100 determined, and controls the camera sensor driver 250 according to the sensing direction of the camera sensor 200 determined. Done.

또한 초음파 센서 구동부(150)와 카메라 센서 구동부(250)의 제어 방식은 일괄 제어 방식과 개별 제어 방식 중 어느 하나의 방식으로 제어가 이루어질 수 있다.In addition, the control method of the ultrasonic sensor driver 150 and the camera sensor driver 250 may be controlled by any one of a batch control method and an individual control method.

일괄 제어 방식은, 초음파 센서(100)의 센싱 방향과 카메라 센서(200)의 센서 방향이 동일한 방향이 되도록, 도 4(a)에 도시한 바와 같이 초음파 센서 구동부(150)와 카메라 센서 구동부(250)를 동일한 센싱 방향으로 제어하는 것이다. 따라서 일괄 제어를 위한 구동부가 구성되기 때문에 간단한 구동부 설계 구조를 가지는 잇점을 가진다.In the batch control method, as illustrated in FIG. 4A, the ultrasonic sensor driver 150 and the camera sensor driver 250 are arranged such that the sensing direction of the ultrasonic sensor 100 and the sensor direction of the camera sensor 200 are the same. ) Is controlled in the same sensing direction. Therefore, since the driving unit for batch control is configured, it has the advantage of having a simple driving unit design structure.

개별 제어 방식은, 도 4(b)에 도시한 바와 같이 초음파 센서(100)의 센싱 방향과 카메라 센서(200)의 센서 방향이 서로 다르게 각각 개별적으로 제어하는 경우, 초음파 센서(100)를 통해 객체가 감지될 때 카메라 센서(200)의 센싱 방향이 초음파 센서(100)의 센싱 방향과 동일한 방향이 되도록 동기화시켜 제어하는 방식이다. 일괄 제어 방식은, 초음파 센서(100)의 센싱 방향과 카메라 센서(200)의 센서 방향이 서로 다르게 향하도록 할 수 없는 반면에, 개별 제어 방식은, 필요할 경우 초음파 센서(100)의 센싱 방향과 카메라 센서(200)의 센서 방향을 각각 개별적으로 제어한다. 만약, 초음파 센서(100)를 통해 객체가 감지된다면, 카메라 센서(200)의 센싱 방향이 초음파 센서(100)의 센싱 방향과 동일한 방향이 되도록 동기화시켜 자동 제어됨으로써, 별도의 사용자 조작을 필요로 하지 않게 된다.As shown in FIG. 4B, when the sensing direction of the ultrasonic sensor 100 and the sensor direction of the camera sensor 200 are controlled separately from each other, the individual control method may include an object through the ultrasonic sensor 100. When the sensing is detected, the sensing direction of the camera sensor 200 is synchronized and controlled to be the same direction as the sensing direction of the ultrasonic sensor 100. While the collective control method may not allow the sensing direction of the ultrasonic sensor 100 and the sensor direction of the camera sensor 200 to be different from each other, the individual control method may, if necessary, sense the sensing direction of the ultrasonic sensor 100 and the camera. Each sensor direction of the sensor 200 is individually controlled. If the object is detected through the ultrasonic sensor 100, the sensing direction of the camera sensor 200 is automatically controlled to be synchronized with the sensing direction of the ultrasonic sensor 100 so that no separate user manipulation is required. Will not.

한편, 제어 기기(400)가, 중장비 주변 영상을 1차 판독하여 중장비 주변 영상내의 객체 이미지를 검출함에 있어서, 이미지 분석 알고리즘에 따라서 검출이 이루어진다. 일반적으로 이러한 이미지 분석 알고리즘은, 해상도 분석, 형상 이미지 추출, 추출 이미지 보정 등의 복수개의 알고리즘 처리가 이루어져야 하는데, 이미지의 픽셀이 많을수록 알고리즘 처리에 더 많은 시간이 소요된다.On the other hand, when the control device 400 first reads the surrounding image of the heavy equipment and detects the object image in the surrounding image of the heavy equipment, detection is performed according to an image analysis algorithm. In general, such an image analysis algorithm requires a plurality of algorithm processes such as resolution analysis, shape image extraction, and extracted image correction, and the more pixels in an image, the more time is required to process the algorithm.

그런데 본 발명과 같이 중장비 주변 영상을 1차 판독하여 중장비 주변 영상내의 객체 이미지를 검출하여 신속한 접근 경고 알람을 해야 하는 경우에는, 이미지 분석 알고리즘의 처리 시간이 짧아야 한다.However, when the peripheral image of the heavy equipment is first read to detect the object image in the surrounding image of the heavy equipment and a quick access warning alarm is to be performed, the processing time of the image analysis algorithm should be short.

이러한 점을 고려하여 본 발명은, 신속한 이미지 분석을 위하여 카메라 센서(200)를 듀얼 카메라 센서(200)로 구현할 수 있다.In consideration of this point, the present invention may implement the camera sensor 200 as a dual camera sensor 200 for rapid image analysis.

즉, 본 발명의 카메라 센서(200)는, 제1화질을 가지는 저화질로 된 저화질 중장비 주변 영상을 생성하는 저화질 카메라 센서(210)와, 제1화질보다 높은 제2화질을 가지는 고화질로 된 고화질 중장비 주변 영상을 생성하는 고화질 카메라 센서(220)를 포함하는 듀얼 카메라 센서(200)로 구현될 수 있다. 이는, 작업 지역에서 중요하지 않은 이벤트 발생시에는 저화질 카메라 센서(210)를 구동시켜 저화질 중장비 주변 영상으로부터 객체 이미지를 검출하여 신속한 이미지 검출이 이루어지도록 하기 위함이다. 다만, 보완책으로서, 작업 지역에서 중요한 이벤트 발생시에는 고화질 카메라 센서(220)를 구동시켜 고화질 중장비 주변 영상으로부터 정밀한 객체 이미지를 검출하게 된다.That is, the camera sensor 200 of the present invention includes a low quality camera sensor 210 for generating a low quality heavy equipment peripheral image having a low quality having a first quality, and a high quality heavy equipment having a high quality having a second quality higher than the first quality. It may be implemented as a dual camera sensor 200 including a high quality camera sensor 220 for generating a peripheral image. This is to operate the low quality camera sensor 210 to detect an image of an object from the surrounding image of the low quality heavy equipment when a non-critical event occurs in the work area so that rapid image detection is performed. However, as a countermeasure, when an important event occurs in a work area, the high-definition camera sensor 220 is driven to detect a precise object image from the surrounding high-definition heavy equipment image.

이를 위하여 제어 기기(400)는, 작업지역을 기준으로 카메라 센서(200)를 구동시키는 작업지역 기준 카메라 모드, 중장비 주변 영상의 판독 가능 여부를 기준으로 카메라 센서(200)를 구동시키는 판독여부 기준 카메라 모드, 객체의 움직임을 기준으로 카메라 센서(200)를 구동시키는 객체움직임 기준 카메라 모드 중 어느 하나의 카메라 모드로서 저화질 카메라 센서(210)와 고화질 카메라 센서(220)의 구동을 제어한다.To this end, the control device 400, the work area reference camera mode for driving the camera sensor 200 based on the work area, the readability reference camera for driving the camera sensor 200 based on whether the surrounding image of the heavy equipment can be read The camera controls the driving of the low quality camera sensor 210 and the high quality camera sensor 220 as one of the camera modes of the object movement reference camera mode which drives the camera sensor 200 based on the mode and the movement of the object.

상술하면, 작업지역 기준 카메라 모드는, 도 5(a)에 도시한 바와 같이, 미리 설정된 안전 작업지역에 중장비가 위치하는 경우 저화질 카메라 센서(210)를 구동하여 저화질 중장비 주변 형상을 획득하며, 미리 설정된 위험 작업지역에 중장비가 위치하는 경우 고화질 카메라 센서(220)를 구동하여 고화질 중장비 주변 형상을 획득하는 카메라 모드이다. 예를 들어, 작업자의 왕래가 거의 없는 외진 곳의 작업지역에서 중장비 구동이 이루어지는 경우에는 저화질 카메라 센서(210)를 구동하여 저화질 중장비 주변 형상을 획득하며, 반면에, 출입구와 같이 작업자의 왕래가 많은 작업지역에서 중장비 구동이 이루어지는 경우에는 고화질 카메라 센서(220)를 구동하여 고화질 중장비 주변 형상을 획득한다.In detail, in the work area reference camera mode, as shown in FIG. 5 (a), when the heavy equipment is located in the preset safety work area, the low quality camera equipment 210 is driven to obtain a shape around the low quality heavy equipment. When the heavy equipment is located in the set dangerous work area, the camera mode is obtained by driving the high-definition camera sensor 220 to obtain a shape around the high definition heavy equipment. For example, when heavy equipment is driven in a remote work area where there is little worker traffic, the low-quality camera sensor 210 is driven to obtain a shape around the low-quality heavy equipment. When the heavy equipment is driven in the work area, the high-quality camera sensor 220 is driven to obtain a shape around the high-definition heavy equipment.

또한 판독여부 기준 카메라 모드는, 도 5(b)에 도시한 바와 같이, 초음파 센서(100)를 통해 객체가 감지되는 경우, 우선적으로 1순위로서 저화질 카메라 센서(210)를 구동하여 저화질 중장비 주변 영상을 획득하며, 저화질 중장비 주변 영상에서 객체 이미지의 판독이 불가능한 경우 2순위로서 고화질 카메라 센서(220)를 구동하여 고화질 중장비 주변 형상을 획득하는 카메라 모드이다. 예를 들어, 초음파 센서(100)를 통해 객체 감지시에는, 신속한 이미지 분석을 위하여 우선적으로 저화질 중장비 주변 영상을 획득하며, 저화질로 인해 이미지 분석이 불가능할 경우에는 시간이 추가적으로 걸리더라도, 고화질 중장비 주변 영상을 추가 획득하여 이를 대상으로 이미지 분석하는 것이다.In addition, the read-out reference camera mode, as shown in FIG. In this case, the camera mode is obtained by driving the high-definition camera sensor 220 as the second priority when the object image is impossible to read in the surrounding image of the low-quality heavy equipment. For example, when detecting an object through the ultrasonic sensor 100, a low-quality heavy equipment peripheral image is first obtained for rapid image analysis, and when the image analysis is impossible due to low quality, even if it takes additional time, the surrounding high-quality heavy equipment peripheral image The additional acquisition is to analyze the image.

또한 객체움직임 기준 카메라 모드는, 도 5(c)에 도시한 바와 같이, 초음파 센서(100)를 통해 센싱되는 객체가 정지된 객체이거나 중장비에서 멀어지는 방향으로 움직이는 객체로 감지되면 저화질 카메라 센서(210)를 구동시켜 저화질 중장비 주변 영상을 획득하며, 초음파 센서(100)를 통해 센싱되는 객체가 중장비에 접근하는 방향으로 움직임이 감지되면 고화질 카메라 센서(220)를 구동시켜 고화질 중장비 주변 영상을 획득하는 카메라 모드이다. 예를 들어, 초음파 센서(100)를 통해 센싱되는 객체가 정지된 객체이거나 중장비에서 멀어지는 방향으로 움직이는 객체로 감지되는 경우 움직이는 객체의 위험 가능성이 낮기 때문에 저화질 중장비 주변 영상을 획득하며, 반면에, 초음파 센서(100)를 통해 센싱되는 객체가 중장비에 접근하는 방향으로 움직임이 감지되는 경우 움직이는 객체가 중장비로 접근하고 있어 위험 가능성이 높기 때문에 고화질 중장비 주변 영상을 획득하는 것이다.In addition, the object moving reference camera mode, as shown in Figure 5 (c), when the object sensed through the ultrasonic sensor 100 is detected as a stationary object or a moving object away from heavy equipment, the low quality camera sensor 210 The camera mode of acquiring the surrounding image of the low-quality heavy equipment by driving a high-quality camera sensor 220 by driving the high-definition camera sensor 220 when a motion detected by the ultrasonic sensor 100 approaches the heavy equipment. to be. For example, when the object sensed by the ultrasonic sensor 100 is detected as a stationary object or an object moving away from the heavy equipment, a low-quality heavy machinery peripheral image is obtained because the risk of the moving object is low, whereas the ultrasonic wave is detected. When the object sensed by the sensor 100 detects a motion in the direction of approaching the heavy equipment, the moving object is approaching the heavy equipment, thereby obtaining a high-definition heavy peripheral image because the risk is high.

참고로, 초음파 센서(100)는, 초음파를 송신하여 반사되는 반사파를 이용하여 객체를 검출하는 것으로서, 도플러 효과에 의하여 검출 객체의 근접 여부를 파악할 수 있다.For reference, the ultrasonic sensor 100 detects an object using a reflected wave reflected by transmitting ultrasonic waves, and may determine whether the detected object is close by the Doppler effect.

한편, 작업지역 기준 카메라 모드, 판독여부 기준 카메라 모드, 객체움직임 기준 카메라 모드 중 어느 하나의 카메라 모드로 동작하도록 함에 있어서, 도 6에 도시한 바와 같이 작업 날씨, 작업 지역, 작업 운전자를 포함하는 작업 환경에 따라서 결정되도록 구현할 수 있다. 이는, 작업 환경에 따라서 저화질 카메라 센서(210), 고화질 카메라 센서(220)의 구동 순서를 결정하여 효율적인 이미지 검출을 하기 위함이다.On the other hand, to operate in any one of the camera mode of the work area reference camera mode, whether or not the reading reference camera mode, the object movement reference camera mode, as shown in Figure 6, the job including the work weather, work area, work driver Implementation can be determined according to the environment. This is to determine the driving order of the low quality camera sensor 210 and the high quality camera sensor 220 according to the working environment for efficient image detection.

예를 들어, 작업 날씨가 흐릴 경우에는 이미지 판독이 어렵기 때문에 일괄적으로 고화질 카메라 센서(220)만 구동되도록 제어한다. 반면에, 작업 날씨가 맑을 경우에는 이미지 판독이 쉽기 때문에 판독여부 기준 카메라 모드로 동작하도록 하여 이미지 판독 안 될 시에만 고화질 카메라 센서(220)가 구동되도록 구현할 수 있다.For example, when the work weather is cloudy, it is difficult to read an image, so that only the high quality camera sensor 220 is driven in a batch. On the other hand, since it is easy to read an image when the work weather is clear, the high-definition camera sensor 220 may be driven only when the image is not read by operating in the read-out reference camera mode.

한편, 상기에서 설명한 바와 같이, 제어 기기(400)는, 획득되는 중장비 주변 영상을 1차 판독하여 중장비 주변 영상내의 객체 이미지를 검출하게 된다. 그런데 제어 기기(400)의 하드웨어 성능, 소프트웨어 성능 등의 이유로 인하여 객체 이미지 검출이 불가능한 경우가 발생할 수 있다. 예를 들어, 제어 기기(400)는, 흐린 날씨 등으로 인하여 객체 이미지 검출이 어렵게 되는 경우가 있을 수 있다.On the other hand, as described above, the control device 400 detects the object image in the surrounding image of the heavy equipment by first reading the surrounding image of the heavy equipment. However, the object image detection may be impossible due to the hardware capability, software capability, etc. of the control device 400. For example, the control device 400 may be difficult to detect the object image due to cloudy weather or the like.

이와 같이 제어 기기(400)에서 이미지 검출이 불가능한 경우, 본 발명은 외부의 클라우드를 통하여 이미지 검출이 이루어지게 하고, 그 검출 결과에 따라서 접근 경고 알람의 출력 여부를 결정한다. 이하 도 7 및 도 8과 함께 상술한다.When the image detection is impossible in the control device 400 as described above, the present invention enables the image detection through the external cloud, and determines whether to output the access warning alarm according to the detection result. Hereinafter, the present invention will be described with reference to FIGS. 7 and 8.

도 7은 본 발명의 실시예에 따라 작업장 안전 관리 서버가 구비된 작업자 안전 시스템의 구성 블록도이며, 도 8은 본 발명의 실시예에 따라 위험 구역에 있는 작업자의 단말기에 위험 경고하는 예시 그림이다.7 is a block diagram illustrating a worker safety system equipped with a workplace safety management server according to an embodiment of the present invention, and FIG. 8 is an exemplary view of warning a worker's terminal in a danger zone according to an embodiment of the present invention. .

작업자 안전 시스템은, 도 7에 도시한 바와 같이 제어 기기(400)와 이동 통신망을 통하여 통신하는 작업장 안전 관리 서버(10)를 포함한다. 여기서 이동통신망으로 구현되는 경우, 기지국(BTS;Base Transceiver Station), 이동교환국(MSC;Mobile Switching Center), 및 홈 위치 등록기(HLR;Home Location Register)로 이루어진 무선 이동통신망을 이용하여 데이터 통신을 할 수 있다.The worker safety system includes the workplace safety management server 10 which communicates with the control apparatus 400 via a mobile communication network, as shown in FIG. Herein, when implemented as a mobile communication network, data communication may be performed using a wireless mobile communication network including a base transceiver station (BTS), a mobile switching center (MSC), and a home location register (HLR). Can be.

작업 안전 관리 서버는, 하드웨어적으로는 통상적인 클라우드 서버와 동일한 구성을 가지며, 소프트웨어적으로는 C, C++, Java, Visual Basic, Visual C 등과 같은 다양한 형태의 언어를 통해 구현되어 여러 가지 기능을 하는 프로그램 모듈을 포함한다. 또한, 일반적인 서버용 하드웨어에 도스(dos), 윈도우(window), 리눅스(linux), 유닉스(unix), 매킨토시(macintosh) 등의 운영 체제에 따라 다양하게 제공되고 있는 웹 서버 프로그램을 이용하여 구현될 수 있다.The work safety management server has the same configuration as a normal cloud server in hardware, and is implemented in various languages such as C, C ++, Java, Visual Basic, Visual C, etc. in software to perform various functions. Contains program modules. In addition, it can be implemented by using a web server program that is variously provided according to operating systems such as DOS, Windows, Linux, Unix, Macintosh, etc. in general server hardware. have.

제어 기기(400)는, 카메라 센서(200)로부터 획득한 중장비 주변 영상에 대한 1차 판독한 결과 영상 판독이 불가능하여 객체 이미지를 검출할 수 없는 경우 판독 불가능한 중장비 주변 영상을 작업장 안전 관리 서버(10)로 전송한다. 이를 위해 제어 기기(400)는 이동통신을 처리하기 위한 이동통신 통신 처리 모듈이 구비된다.The control device 400, when the primary reading of the surrounding image of the heavy equipment acquired from the camera sensor 200 is impossible to read the image and thus cannot detect the object image, the control device 400 displays the unreadable heavy machinery surrounding image of the workplace safety management server 10. To send). To this end, the control device 400 is provided with a mobile communication processing module for processing mobile communication.

작업 안전 관리 서버는, 제어 기기(400)로부터 중장비 주변 영상을 수신하는 경우 수신된 중장비 주변 영상을 판독(이하, '2차 판독'이라 함)하여 중장비 주변 영상내의 객체 이미지를 검출하며 검출한 객체 이미지가 사람 이미지일 경우 제어 기기(400)로 접근 경고 알람 요청을 전송한다.When the work safety management server receives the heavy equipment surrounding image from the control device 400, the received safety equipment surrounding image is read (hereinafter referred to as 'secondary reading') to detect an object image in the surrounding image of the heavy equipment, and then detect the detected object. When the image is a human image, the control device 400 transmits an access warning alarm request.

제어 기기(400)는, 작업장 안전 관리 서버(10)로부터 접근 경고 알람 요청을 수신하는 경우 경고 발생 기기(300)를 통해 접근 경고 알람을 출력하게 된다.When the control device 400 receives the access warning alarm request from the workplace safety management server 10, the control device 400 outputs the access warning alarm through the warning generating device 300.

따라서 제어 기기(400)에서 중장비 주변 영상에 대한 1차 판독한 결과 영상 판독이 불가능한 경우라도, 이미지 분석 성능이 더 나은 작업 안전 관리 서버에서 2차 판독하여 그 결과를 이용하여 경고 발생 기기(300)를 통한 접근 경고 알람을 출력 여부를 결정할 수 있게 된다.Therefore, even when the first reading of the surrounding image of the heavy equipment in the control device 400 is impossible to read the image, the second device is read out by the job safety management server having better image analysis performance and using the result, the alarm generating device 300 It is possible to determine whether to output the access warning alarm through.

나아가 본 발명의 작업장 안전 관리 서버(10)는, 2차 판독한 객체 이미지가 사람 이미지인 경우 접근 경고 알람 요청을 제어 기기(400)로 전송하는 것 이외에도, 해당 중장비 근처에 있는 작업자에게 직접적으로 위험을 알릴 수 있다.Furthermore, the workplace safety management server 10 according to the present invention directly transmits an access warning alarm request to the control device 400 when the second read object image is a human image. Can be informed.

이를 위해 작업장 안전 관리 서버(10)는, 2차 판독에 의해 검출한 객체 이미지가 미리 등록된 작업자 얼굴 이미지와 대조하여, 객체 이미지와 오차 범위내에서 유사도를 가지는 작업자 얼굴 이미지가 존재하는 경우, 객체 이미지와 유사도를 가지는 작업자 얼굴 이미지에 할당된 작업자 단말기 전화번호로 위험 알람 메시지를 전송한다.To this end, the workplace safety management server 10 compares the object image detected by the secondary reading with a pre-registered worker face image, and when there is a worker face image having a similarity within the error range with the object image, A danger alarm message is sent to the worker terminal telephone number assigned to the image of the worker's face with similarity to the image.

예를 들어, 도 8에 도시한 바와 같이 중장비의 카메라 센서(200)에서 촬영된 중장비 주변 영상에서 검출되는 사람 이미지가 미리 등록된 작업자 얼굴 이미지와 유사할 경우, 해당 작업자가 사용하는 작업자 단말기로 SMS(Short Message Service), MMS(Multimedia Message Service) 등의 메시지로 위험 알람을 해주어, 작업자가 신속하게 중장비 근처에서 대피할 수 있도록 해준다.For example, as illustrated in FIG. 8, when a person image detected in the surrounding image of the heavy equipment captured by the camera sensor 200 of the heavy equipment is similar to a pre-registered worker face image, an SMS to a worker terminal used by the worker is used. (Short Message Service), MMS (Multimedia Message Service), etc. to alert the danger, allowing the operator to evacuate near the heavy equipment quickly.

참고로, 작업자 얼굴 이미지와 작업자 전화번호는 저장체에 미리 등록되어 저장되어 있는데, 이러한 저장체는, 하드디스크 드라이브(Hard Disk Drive), SSD 드라이브(Solid State Drive), 플래시메모리(Flash Memory), CF카드(Compact Flash Card), SD카드(Secure Digital Card), SM카드(Smart Media Card), MMC 카드(Multi-Media Card) 또는 메모리 스틱(Memory Stick) 등 정보의 입출력이 가능한 모듈로서 장치의 내부에 구비되어 있을 수도 있고, 별도의 장치에 구비되어 있을 수도 있다.For reference, the worker's face image and the worker's phone number are pre-registered and stored in the storage, and such storage includes a hard disk drive, a solid state drive, a flash memory, Module that can input / output information such as Compact Flash Card, Secure Digital Card, SD Card, Smart Media Card, MMC Card (Multi-Media Card) or Memory Stick. It may be provided in, and may be provided in a separate apparatus.

상술한 본 발명의 설명에서의 실시예는 여러가지 실시가능한 예중에서 당업자의 이해를 돕기 위하여 가장 바람직한 예를 선정하여 제시한 것으로, 이 발명의 기술적 사상이 반드시 이 실시예만 의해서 한정되거나 제한되는 것은 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위내에서 다양한 변화와 변경 및 균등한 타의 실시예가 가능한 것이다.The embodiments in the above description of the present invention are presented by selecting the most preferred examples to help those skilled in the art from the various possible examples, and the technical spirit of the present invention is not necessarily limited or limited only by the embodiments. However, various changes, modifications, and other equivalent embodiments may be made without departing from the technical spirit of the present invention.

100:초음파 센서 150:초음파 센서 구동부
200:카메라 센서 250:카메라 센서 구동부
300:경고 발생 기기 400:제어 기기100: ultrasonic sensor 150: ultrasonic sensor drive unit
200: camera sensor 250: camera sensor drive unit
300: warning generating device 400: control device

Claims (6)

중장비 차체에 장착되며, 인체 및 물체를 포함하는 객체의 접근을 감지하는 초음파 센서;
중장비 차체에 장착되며, 중장비 주변을 촬영하여 중장비 주변 영상을 생성하는 카메라 센서;
중장비 차체에 장착되며, 경고음을 출력하는 스피커, 경고등을 발광하는 경고 램프를 하나 이상 포함하여 경고음 및 경고등을 포함하는 접근 경고 알람을 발생시키는 경고 발생 기기; 및
중장비 차체에 장착되며, 상기 초음파 센서를 통해 객체가 감지되는 경우, 상기 카메라 센서를 구동시켜 중장비 주변 영상을 획득하며, 획득되는 중장비 주변 영상을 1차 판독하여 중장비 주변 영상내의 객체 이미지를 검출하며, 검출한 객체 이미지가 사람 이미지일 때만 상기 경고 발생 기기를 통해 접근 경고 알람을 출력하는 제어 기기;를 포함하며,
상기 카메라 센서는,
제1화질을 가지는 저화질 중장비 주변 영상을 생성하는 저화질 카메라 센서;
제1화질보다 높은 제2화질을 가지는 고화질 중장비 주변 영상을 생성하는 고화질 카메라 센서;를 포함하는 듀얼 카메라 센서로 구현되며,
상기 제어 기기는, 작업지역을 기준으로 카메라 센서를 구동시키는 작업지역 기준 카메라 모드, 중장비 주변 영상의 판독 가능 여부를 기준으로 카메라 센서를 구동시키는 판독여부 기준 카메라 모드, 객체의 움직임을 기준으로 카메라 센서를 구동시키는 객체움직임 기준 카메라 모드 중 어느 하나의 카메라 모드로서 상기 저화질 카메라 센서와 고화질 카메라 센서의 구동을 제어하며,
상기 제어 기기는, 작업 날씨, 작업 지역, 작업 운전자를 포함하는 작업 환경에 따라서 상기 작업지역 기준 카메라 모드, 판독여부 기준 카메라 모드, 객체움직임 기준 카메라 모드 중 어느 하나의 카메라 모드로 동작하도록 제어함을 특징으로 하는 작업자 안전 시스템.
An ultrasonic sensor mounted on the heavy-duty vehicle body and detecting an approach of an object including a human body and an object;
A camera sensor mounted on the heavy equipment body and generating a surrounding image of the heavy equipment by photographing the surroundings of the heavy equipment;
An alarm generating device mounted to the heavy-duty vehicle body, the alarm generating device generating an access warning alarm including a warning sound and a warning light, including at least one warning lamp emitting a warning sound and a warning lamp emitting a warning light; And
When mounted on the heavy-duty vehicle body, when the object is detected through the ultrasonic sensor, the camera sensor is driven to obtain a peripheral image of the heavy equipment, and the object image in the peripheral image of the heavy equipment is detected by first reading the obtained peripheral image of the heavy equipment, And a control device outputting an access warning alarm through the warning generating device only when the detected object image is a human image.
The camera sensor,
A low quality camera sensor for generating a low quality heavy equipment peripheral image having a first quality;
It is implemented as a dual camera sensor including; high-definition camera sensor for generating a high-quality heavy equipment peripheral image having a second quality higher than the first image quality,
The control device may include a work area reference camera mode for driving a camera sensor based on a work area, a read-out reference camera mode for driving a camera sensor based on whether the surrounding image of heavy equipment can be read, and a camera sensor based on an object movement As the camera mode of any one of the object movement reference camera mode for driving the low-quality camera sensor and the high-quality camera sensor to control the driving,
The control device controls the camera to operate in any one of the work area reference camera mode, the readability reference camera mode, and the object movement reference camera mode according to a work environment including a work weather, a work area, and a work driver. Featured worker safety system.
청구항 1에 있어서, 상기 작업자 안전 시스템은,
상기 초음파 센서의 센싱 방향이 가변되도록 상기 초음파 센서를 회동시키는 초음파 센서 구동부; 및
상기 카메라 센서의 센싱 방향이 가변되도록 상기 카메라 센서를 회동시키는 카메라 센서 구동부;를 포함하며,
상기 제어 기기는, 결정되는 초음파 센서의 센싱 방향에 따라서 상기 초음파 센서 구동부를 제어하며, 결정되는 카메라 센서의 센싱 방향에 따라서 상기 카메라 센서 구동부를 제어하는 작업자 안전 시스템.
The method of claim 1, wherein the worker safety system,
An ultrasonic sensor driver for rotating the ultrasonic sensor so that a sensing direction of the ultrasonic sensor is changed; And
And a camera sensor driver configured to rotate the camera sensor so that a sensing direction of the camera sensor is changed.
The control device controls the ultrasonic sensor driver in accordance with the sensing direction of the ultrasonic sensor is determined, and the operator safety system to control the camera sensor driver in accordance with the sensing direction of the camera sensor is determined.
청구항 2에 있어서, 상기 제어 기기는,
상기 초음파 센서의 센싱 방향과 상기 카메라 센서의 센서 방향이 동일한 방향이 되도록 상기 초음파 센서 구동부와 카메라 센서 구동부를 동일한 센싱 방향으로 제어하거나,
또는 상기 초음파 센서의 센싱 방향과 카메라 센서의 센서 방향이 서로 다르게 각각 개별적으로 제어하는 경우, 상기 초음파 센서를 통해 객체가 감지될 때 카메라 센서의 센싱 방향이 초음파 센서의 센싱 방향과 동일한 방향이 되도록 동기화시켜 제어하는 작업자 안전 시스템.
The method according to claim 2, The control device,
The ultrasonic sensor driver and the camera sensor driver are controlled in the same sensing direction so that the sensing direction of the ultrasonic sensor and the sensor direction of the camera sensor are the same direction.
Alternatively, when the sensing direction of the ultrasonic sensor and the sensor direction of the camera sensor are controlled separately from each other, the sensing direction of the camera sensor is synchronized with the sensing direction of the ultrasonic sensor when an object is detected through the ultrasonic sensor. Operator safety system.
삭제delete 삭제delete 청구항 1에 있어서, 상기 작업자 안전 시스템은,
제어 기기로부터 중장비 주변 영상을 수신하는 경우 수신된 중장비 주변 영상을 2차 판독하여 중장비 주변 영상내의 객체 이미지를 검출하며 검출한 객체 이미지가 사람 이미지일 경우 상기 제어 기기로 접근 경고 알람 요청을 전송하는 작업장 안전 관리 서버;를 포함하며,
상기 제어 기기는, 카메라 센서로부터 획득한 중장비 주변 영상을 1차 판독한 결과 영상 판독이 불가능하여 객체 이미지를 검출할 수 없는 경우 판독 불가능한 중장비 주변 영상을 작업장 안전 관리 서버로 전송하며, 상기 작업장 안전 관리 서버로부터 접근 경고 알람 요청을 수신하는 경우 상기 경고 발생 기기를 통해 접근 경고 알람을 출력하는 작업자 안전 시스템.
The method of claim 1, wherein the worker safety system,
In case of receiving the surrounding image of the heavy equipment from the control device, the received image of the surrounding image of the heavy equipment is read second to detect the object image in the surrounding image of the heavy equipment, and when the detected object image is a human image, the workplace sends an access warning alarm request to the control device. And a safety management server;
The control device transmits the unreadable heavy machinery peripheral image to the workplace safety management server when the object image cannot be detected due to the primary reading of the surrounding image of the heavy equipment acquired from the camera sensor. Worker safety system for outputting the access warning alarm through the alarming device when receiving an access warning alarm request from the server.
KR1020180025315A 2018-03-02 2018-03-02 System for worker safety KR102042781B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180025315A KR102042781B1 (en) 2018-03-02 2018-03-02 System for worker safety

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180025315A KR102042781B1 (en) 2018-03-02 2018-03-02 System for worker safety

Publications (2)

Publication Number Publication Date
KR20190104783A KR20190104783A (en) 2019-09-11
KR102042781B1 true KR102042781B1 (en) 2019-11-08

Family

ID=67949186

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180025315A KR102042781B1 (en) 2018-03-02 2018-03-02 System for worker safety

Country Status (1)

Country Link
KR (1) KR102042781B1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344801A (en) * 2018-10-26 2019-02-15 京东方科技集团股份有限公司 A kind of object detecting method and device
GB2610428A (en) * 2021-09-06 2023-03-08 Bamford Excavators Ltd A working machine
KR102643266B1 (en) * 2022-02-15 2024-03-04 건설기계부품연구원 Construction machine safety management system using lidar and camera

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0339743Y2 (en) * 1985-09-17 1991-08-21
JPH1072851A (en) * 1996-08-30 1998-03-17 Shin Caterpillar Mitsubishi Ltd Invading moving body detection device
KR100796340B1 (en) * 2006-06-09 2008-01-21 삼성전자주식회사 Mobile device with dual camera and method for photography using the same
KR102003998B1 (en) * 2012-12-24 2019-07-25 두산인프라코어 주식회사 Apparatus and method for sensing obstacles of construction equipment
KR101435572B1 (en) 2014-06-17 2014-08-28 이재준 Apparatus for worker safety in industrial site
KR101783111B1 (en) * 2015-12-03 2017-09-28 대구가톨릭대학교산학협력단 Excavator with improved visibility

Also Published As

Publication number Publication date
KR20190104783A (en) 2019-09-11

Similar Documents

Publication Publication Date Title
KR102042781B1 (en) System for worker safety
KR101566784B1 (en) Approach monitoring and operation control system for heavy equipment of industry and construction
KR101322201B1 (en) Approach monitoring system for heavy equipment of construction
KR102516720B1 (en) Method for monitoring change in analog or physical state conditions of machine
JPWO2018151280A1 (en) Perimeter monitoring system for work machines
CN103613013B (en) System and method for monitoring construction safety of tower crane
JP6486596B2 (en) Specified range monitoring system
WO2006106685A1 (en) Surrounding monitor device for construction machine
US11501619B2 (en) Worksite classification system and method
US20040217851A1 (en) Obstacle detection and alerting system
KR20200132137A (en) Device For Computing Position of Detected Object Using Motion Detect and Radar Sensor
JP6417300B2 (en) Specified range monitoring system
JP2023106588A (en) Non-transitory computer-readable medium storing remote monitoring and controlling device, system, method, and program
KR102136676B1 (en) System and method for monitoring and warning railway platform
KR101753321B1 (en) System for controling prevention accident of operation vehicle
KR101719799B1 (en) CCTV monitoring system
JP2018024500A (en) Obstacle detection device
KR102188461B1 (en) Standalone multi channel vehicle data processing system for providing functions of intelligent and advanced driver assistance and method thereof
CN111516708A (en) Subway platform door obstacle detection early warning system based on machine vision technology
KR101250956B1 (en) An automatic system for monitoring
JP2005338941A (en) Method and device for detecting visibility
AU2010355231A1 (en) Method and control unit for controlling a display of a proximity warning system
CN204667570U (en) Movement detector and system
CN111526337B (en) Early warning system and early warning method for engineering machinery and engineering machinery
KR20220128779A (en) Vehicle detection system and vehicle detection method using stereo camera and radar

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant