WO2016143976A1 - 작업 현장 영상 데이터 내의 작업자 인식 방법 - Google Patents

작업 현장 영상 데이터 내의 작업자 인식 방법 Download PDF

Info

Publication number
WO2016143976A1
WO2016143976A1 PCT/KR2015/012090 KR2015012090W WO2016143976A1 WO 2016143976 A1 WO2016143976 A1 WO 2016143976A1 KR 2015012090 W KR2015012090 W KR 2015012090W WO 2016143976 A1 WO2016143976 A1 WO 2016143976A1
Authority
WO
WIPO (PCT)
Prior art keywords
color
color information
worker
roi
database
Prior art date
Application number
PCT/KR2015/012090
Other languages
English (en)
French (fr)
Inventor
김창완
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Publication of WO2016143976A1 publication Critical patent/WO2016143976A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition

Definitions

  • the present invention relates to a technology for recognizing a worker performing a work in a work site such as a construction site, a construction site, and specifically, to clearly recognize a plurality of workers in real time at a work site, and to determine the state and location of the worker.
  • the present invention relates to a technology for ensuring the stability of the work site.
  • the proposed method is based on distance sensors such as ultrasonic sensors, sensors, time of arrival (ToA), radio frequency identification (RFID) technology, pyroelectric infrared ray (PIR) sensors, and two-dimensional laser scanners. It is divided into a method for recognizing a worker by using an image sensor and an image sensor.
  • distance sensors such as ultrasonic sensors, sensors, time of arrival (ToA), radio frequency identification (RFID) technology, pyroelectric infrared ray (PIR) sensors, and two-dimensional laser scanners. It is divided into a method for recognizing a worker by using an image sensor and an image sensor.
  • the method for recognizing a worker using a distance sensor is a method using a ultrasonic sensor, a sensor, and a pyroelectric infrared ray (PIR) sensor. About 12m) There is a disadvantage that the operator can not be recognized.
  • the method using RFID Radio Frequency Identification
  • RFID Radio Frequency Identification
  • the detection distance is sufficient, but all construction equipment and workers in the construction site must be tagged.
  • the detection distance is sufficient, but the cost of mounting the sensor ranges from millions to tens of millions of won.
  • the video image obtained by using an image sensor from the construction site has the advantage that it can be used to recognize the workers in the working radius of the construction equipment (about 12m) at a relatively economical cost.
  • the present invention provides a situation in which the worker is in a stationary state, when there is a feature change due to a change in the work state of the worker, when there are a plurality of workers, and when a worker size change occurs in the image.
  • the object is to provide a technique that can clearly recognize one or more operators from the captured images.
  • the operator recognition method in the shop floor image data at least one object detected from the image data of the predetermined area using the contour constituting the object Selecting an object matching the shape of the reference object existing in the pre-stored database as the ROI object; Determining whether color information included in the ROI object is matched with reference color information existing in the database by using a preset algorithm; And selecting the ROI object including the color information determined to match the reference color information existing in the database as the worker object.
  • the operator recognition device in the shop floor image data the pre-stored database of the at least one object detected from the image data of the predetermined area using the contour constituting the object
  • a first determining unit which selects an object matching the shape of the reference object present in the ROI object
  • a second determination unit determining whether color information included in the ROI object is matched with reference color information existing in the database by using a predetermined algorithm
  • a recognition result derivation unit for selecting an ROI object including color information determined to match the reference color information existing in the database as the worker object.
  • the secondary The operator is finally recognized.
  • the worker can be recognized, and the worker can be recognized regardless of the change in the image size according to the shape and the shooting distance of the worker. That is, the operator can be recognized even in the shooting direction in which the worker's helmet is not visible, and there is an effect that can be recognized even when a plurality of workers are working in the image.
  • 1 and 2 are flowcharts of a worker recognition method in the shop floor image data according to an embodiment of the present invention.
  • FIG. 3 is a block diagram of a worker recognition apparatus in the shop floor image data according to an embodiment of the present invention.
  • FIG. 4 is an example of a reference object image stored in a database for implementation of one embodiment of the present invention.
  • 5-7 illustrate examples of reference color information and background color information stored in a database for implementation of one embodiment of the present invention.
  • “communication”, “communication network” and “network” may be used as the same meaning.
  • the three terms refer to wired and wireless local and wide area data transmission and reception networks capable of transmitting and receiving files between a user terminal, a terminal of other users, and a download server.
  • FIG. 1 and 2 are flowcharts of a worker recognition method in the shop floor image data according to an embodiment of the present invention.
  • the worker recognition method in the shop floor image data according to an embodiment of the present invention is to be performed by each configuration of the worker recognition device in the shop floor image data according to an embodiment of the present invention described below. Will be described, but not limited to.
  • the device may include a reference object existing in a database previously stored in the device.
  • at least one object matching the shape is selected as the ROI object.
  • the device may apply a process for recognizing a region of interest (a person recognized as an operator) within the entire video image based on the fast feature pyramids to the captured image data. have.
  • the shape of the reference object existing in the database pre-stored in the device and the contour shape of the recognized objects may be compared. That is, by applying the Fast Feature Pyramids method based on all types of databases that can be taken by the operator, the object of interest, that is, candidate objects that can be a worker, is selected first. 4 shows an example of data stored in such a database.
  • FIG. 4 is an example of a reference object image stored in a database for implementation of one embodiment of the present invention.
  • the database includes a plurality of pieces of form information 100, in which a worker corresponds to a standing state, a walking state, a sitting state, a bowed state, a state of sitting and standing, a state of standing and sitting, and the like.
  • Image data as an example is shown.
  • contour data may be stored according to the database.
  • the detailed form information 110 may store image information corresponding to a form that may vary depending on a direction.
  • the plurality of shape information 100 and the detailed shape information 110 may be used as a reference object and used as a reference for selecting a region of interest object when the operation S10 is performed.
  • information of various reference objects may be stored in a database, which is developed to select an ROI object in a variety of workplaces through the learning module of the database, that is, the information of various reference objects is continuously updated. You can do it.
  • the device may select the ROI object by comparing the contour of the object while changing the size of the reference object.
  • the apparatus performs a step (S20) of determining whether the color information included in the ROI object is matched with the reference color information existing in the database by using a preset algorithm.
  • step S10 In order to recognize the operator from the image data in the work site, it is not enough to perform the step S10 to accurately recognize the shape or contour based on. In other words, if the work is being performed in a stopped state, the hard hat is not recognized by the direction, shape, etc. of the worker, or if the contour shape of the background of the land, the device, etc., which is not the worker is similar to the worker, S10. This is because an error in worker recognition may occur only by performing the step.
  • the device uses the color included in the objects as a feature of the operator in the second recognition process of step S20 for the ROI objects recognized through the first recognition process in step S10, and thus, in step S10.
  • the device uses the color included in the objects as a feature of the operator in the second recognition process of step S20 for the ROI objects recognized through the first recognition process in step S10, and thus, in step S10.
  • the device performs a step S30 of finally selecting an ROI object including color information determined to match the reference color information existing in the database as the worker object.
  • the effect is to completely solve the problem of recognition errors in the technology.
  • the reference color information is color information that can be used as a characteristic of an operator, that is, information stored in a database for selecting as an operator object. It is preferable that the color information corresponding to the color of.
  • the safety protective device may include, for example, a safety vest, which is generally worn by workers on the job site.
  • FIG. 2 illustrates an example of a specific flow of determining whether reference color information and color information included in the ROI object are matched using the above-described preset algorithm.
  • the apparatus first includes reference color information including color spaces and components selected as information included in the reference color information as described above, that is, a color distribution and a background color distribution of the safety protective equipment are distinguished.
  • the step S21 of loading from the database is performed.
  • a color model based pixel classification method is applied to the color information included in the ROI object and the loaded reference color information to determine whether the color information included in the ROI object matches the reference color information. This process is specifically as follows.
  • performing a color space conversion operation on the color information included in the ROI object, and extracting a color space and a color component (information of the same concept as the components of S21) from the color information included in the ROI object ( S22) is performed first, and then the color space based on the color model based on the color space and components in which the color distribution and the background color distribution of the safety protection equipment included in the loaded reference color information are distinguished, and the extracted color space and color component information.
  • step S20 In the second recognition process represented by the step S20, as described above, it is characterized by the safety protective equipment (hat or helmet) as described above to determine the error that may occur in the recognition process of step S10 of FIG.
  • image processing techniques are applied based on the color invariant characteristics of the safety protective equipment.
  • Image data is expressed in a space of RGB (Red, Green, Blue) colors, but it is susceptible to changes in the external environment such as light. Accordingly, as mentioned in the execution of the steps S21 to S23, in order to accurately recognize the safety protective device using the color information, a color space conversion operation is required.
  • RGB Red, Green, Blue
  • the safety protective equipment has a certain color distribution by the three components constituting the color space. In order to effectively recognize the safety protective equipment, it is necessary to select a color space and components that clearly distinguish the color distribution and the background color distribution of the safety protective equipment (corresponding to S21).
  • ком ⁇ онент of three different hard hat colors, safety vests and background color distributions are selected through a factor selection for a total of 45 components in 15 color spaces.
  • a color model based pixel classification method one of image segmentation techniques, is applied (steps S22 and S23).
  • the color model-based pixel classification method has the advantage that the object can be recognized quickly and effectively based on the color invariant characteristics of the object through color model learning.
  • FIGS. 5 to 7 examples of reference color information and background color information that may be stored in a database for performing steps S21 to S23 are illustrated in FIGS. 5 to 7.
  • color information 200 divided based on each color of a hard hat having various colors (white, yellow, and red) may be checked.
  • color distribution information 210 may be divided and stored to select a color space and a corresponding component thereof.
  • the color distribution information 310 of the safety vest color stored in the database is illustrated, and it can be seen that the color space and the corresponding components are selected for the safety vest together with the hard hat. .
  • color information about earth and sand and other background elements is stored as a background.
  • Color information 400 is stored according to the type of each background, and similarly, color distribution information 410 is divided and stored, so that color spaces and components included in reference color information of FIGS. 5 and 6 can be distinguished. Can be.
  • FIG. 8 An experimental example of recognizing an operator is illustrated in FIG. 8.
  • the objects 510 and 520 mean the ROI object selected through step S10 of FIG. 1.
  • the bright part object 511 is color information used to finally select a worker object by performing steps S20 of FIG. 1 and steps S21 to S23 of FIG. 2, that is, based on a safety protective equipment color database. Shows the result obtained by applying the color model method.
  • an object 510 including an object 511 recognized as a bright part is an object finally recognized as a worker, and another object 520 is selected as a region of interest object but finally An operator means an object that is not recognized.
  • FIG. 3 is a block diagram of an apparatus for recognizing an operator in job site image data according to an exemplary embodiment of the present invention. In the following description, portions overlapping with the description of FIGS. 1, 2, 4 to 8 will be omitted.
  • the operator recognition apparatus 10 in the shop floor image data may be a first determination unit 11, a second determination unit 12, and a recognition result derivation unit 13.
  • the first determination unit 11 and the second determination unit 12 are connected to the database 40 to receive the reference information.
  • the first determination unit 11 performs the function of step S10 of FIG. 1, and performs a function of receiving image data of the region 30 captured by the photographing apparatus 20, and the database 40.
  • the object of interest area is selected using the shape of the reference object received from the target object.
  • the photographing apparatus 20 includes all mobile photographing apparatuses installed in work equipment, together with CCTV and other photographing apparatuses installed at a work site.
  • the second determination unit 12 is configured to perform the functions of step S20 of FIG. 1 and steps S21 to S23 of FIG. 2, and includes reference color information from the database 40 and a region of interest from the first determination unit 11. The object information and the color information included therein are compared with each other by performing specific functions in steps S20 to S23.
  • the recognition result deriving unit 13 performs the function of step S30 of FIG. 1 and finally performs a function of recognizing the worker in the image data according to the determination result of the second determination unit 12.
  • the worker recognition method in the shop floor image data according to the above-described embodiment of the present invention is based on an application basically installed in the terminal (which may include a program included in a platform or an operating system basically mounted in the terminal). It may be executed by an application (ie, a program) that the user directly installs on the terminal through an application providing server such as an application store server, an application, or a web server associated with the corresponding service.
  • an application ie, a program
  • the worker recognition method in the shop floor image data according to the embodiment of the present invention described above is implemented as an application (that is, a program) basically installed in a terminal or directly installed by a user, and can be read by a computer such as a terminal. It can be recorded on the recording medium.
  • Such a program is recorded on a recording medium readable by a computer and executed by a computer so that the above functions can be executed.
  • the above-described program is executed in a computer language such as C, C ++, JAVA, machine language, etc., which can be read by a computer processor (CPU). It may include a coded code.
  • Such code may include a function code associated with a function or the like that defines the above-described functions, and may include execution procedure-related control code necessary for a processor of the computer to execute the above-described functions according to a predetermined procedure.
  • the code may further include memory reference-related code for additional information or media required for a processor of the computer to execute the above-described functions at which location (address address) of the computer's internal or external memory. .
  • the code indicates that the processor of the computer is a communication module of the computer (eg, a wired and / or wireless communication module).
  • the communication code may further include communication related codes such as how to communicate with any other computer or server in the remote, and what information or media should be transmitted and received during communication.
  • codes and code segments associated therewith may be used in consideration of a system environment of a computer that reads a recording medium and executes the program. It may be easily inferred or changed by.
  • Examples of recording media that can be read by a computer recording a program as described above include, for example, a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical media storage device, and the like.
  • a computer-readable recording medium having recorded a program as described above may be distributed to computer systems connected through a network so that computer-readable codes may be stored and executed in a distributed manner.
  • at least one of the plurality of distributed computers may execute some of the functions presented above, and transmit the result to at least one of the other distributed computers, and transmit the result.
  • the receiving computer may also execute some of the functions presented above, and provide the results to other distributed computers as well.
  • a computer-readable recording medium recording an application which is a program for executing an operator recognition method in the shop floor image data according to an embodiment of the present invention, may include an application store server, an application, or a corresponding service. It may be a storage medium (eg, a hard disk, etc.) included in an application provider server such as a related web server, or the application providing server itself.
  • the computer which can read the recording medium which recorded the application which is a program for executing the worker recognition method in the shop floor image data which concerns on each embodiment of this invention is not only a general PC, such as a desktop or a notebook, but also a smart phone and a tablet. It may include a mobile terminal such as a PC, personal digital assistants (PDAs), and mobile communication terminals, but also should be interpreted as all computing devices.
  • a general PC such as a desktop or a notebook, but also a smart phone and a tablet.
  • PDAs personal digital assistants
  • mobile communication terminals but also should be interpreted as all computing devices.
  • a computer capable of reading a recording medium recording an application which is a program for executing a worker recognition method in the shop floor image data according to an embodiment of the present invention, is a smart phone, a tablet PC, a personal digital assistant (PDA) and a mobile communication terminal.
  • the application may be downloaded from the application providing server to a general PC and installed on the mobile terminal through a synchronization program.

Abstract

작업자가 정지한 상태로 작업하는 경우, 작업자의 작업 상태 변경에 따른 특징 변화가 존재하는 경우, 다수의 작업자가 존재하는 경우, 및 영상 내의 작업자 크기 변화가 발생하는 경우 등의 상황에 관계없이, 하나 이상의 작업자를 촬영된 영상으로부터 명확하게 인식할 수 있는 기술을 제공한다. 본 발명의 일 실시예에 따른 작업 현장 영상 데이터 내의 작업자 인식 방법은, 기설정된 영역을 촬영한 영상 데이터로부터, 객체를 구성하는 윤곽선을 이용하여 검출한 적어도 하나의 객체들 중, 기 저장된 데이터베이스에 존재하는 기준 객체의 형태와 매칭되는 객체를 관심 영역 객체로 선정하는 단계; 관심 영역 객체에 포함된 색상 정보를 데이터베이스에 존재하는 기준 색상 정보와 매칭되는지 여부를 기설정된 알고리즘을 이용하여 판단하는 단계; 및 데이터베이스에 존재하는 기준 색상 정보와 매칭되는 것으로 판단된 색상 정보를 포함하는 관심 영역 객체를 작업자 객체로 선정하는 단계;를 포함하는 것을 특징으로 한다.

Description

작업 현장 영상 데이터 내의 작업자 인식 방법
본 발명은, 건설 현장, 공사 현장 등 작업 현장 내에서 업무를 수행하는 작업자를 인식하는 기술에 관한 것으로, 구체적으로는 작업 현장에서 실시간으로 다수의 작업자를 명확하게 인식하여, 작업자의 상태 및 위치를 정확하게 파악함으로써, 작업 현장의 안정성을 확보하는 기술에 관한 것이다.
2012년 건설업 사망사고 통계에 따르면, 건설현장 내의 건설장비 운전과 관련된 사망사고가 전체의 25% 이상을 차지하는 것으로 나타났다. 또한 건설현장 내의 건설장비 운전과 관련된 사망자수는 2012년 91명으로, 이는 2008년 66명에 비해 약 38% 가량 이상 증가한 수치이다. 고용노동부의 통계에 따르면, 2012년 건설업의 산업재해로 인한 경제적 손실비용은 전체 산업재해로 인한 손실비용의 약 33% 가량을 차지하는 것으로 나타났다. 2012년 건설현장에서 발생한 사망사고 재해자수 (357명) 중 건설장비 운전과 관련된 사망사고 재해자수 (91명)의 비율을 근거로 추산한 결과, 건설장비 운전과 관련된 산업재해로 인한 경제적 손실비용은 약 1.6조원에 달하는 것으로 추정된다 (한국산업안전보건공단, 2012). 이러한 추세가 매년 증가할 것으로 예상됨에 따라, 건설현장 내의 건설장비 운전과 관련된 안전사고를 예방하기 위한 건설장비 안전성 확보 기술 개발의 필요성이 대두되어 왔다. 미국 직업안전 위생관리국 (Occupational Safety and Health Administration, OSHA)의 건설업 안전사고 통계에 따르면, 산업차량 (Industrial Truck)에 의해 인명손상을 가져온 중대재해는 293건으로 나타났다. 이에 대한 원인으로는 시야장애 또는 적재물 및 다른 작업자와의 충돌과 같은 작업 환경 관련 요인이 57.7%를 차지했다 (한국산업안전보건공단, 2008). 이와 같이 작업 환경 관련 요인에 의해 발생하는 건설현장 내의 건설장비 운전과 관련된 안전사고를 예방하기 위해서는 건설장비 작업환경 전방위에 걸친 위험 요소를 실시간으로 탐지할 수 있는 기술 개발이 필요하다.
이에 따라 건설장비 작업환경 내 위험 요소 중 작업자를 실시간으로 탐지할 수 있는 기술이 다수 제안되어 왔다. 제안된 방법은 크게 초음파 센서, 감지센서, ToA (Time of Arrival) 방식, RFID (Radio Frequency IDentification) 기술, PIR(Pyroelectric Infrared Ray) 센서, 2차원 레이저 스캐너 등과 같은 거리 센서를 활용하여 작업자를 인식하기 위한 방법과 이미지 센서를 활용하여 작업자를 인식하기 위한 방법으로 구분된다.
“중장비의 작업자 접근감지장치 (출원번호: 10-1997-0066678)”와 “근접 경보발생 시스템 (출원번호: 10-2001-0014181)”에서는 초음파 센서를 활용하여 건설장비 작업공간 내 작업자를 인식하고자 하였다.
“건설장비 안전경보장치 (출원번호: 20-2005-0000816)”에서는 감지센서를 활용하여 건설장비 작업공간 내 작업자를 인식하고자 하였다.
“터널 시공현장 장비-인력 간 안전관리 시스템 (출원번호: 10-2011-0031713)”과 “건설 현장의 안전사고 방지 시스템 (10-2011-0065579)”에서는 ToA (Time of Arrival) 방식의 송수신기를 활용하여 건설장비 작업공간 내 작업자를 인식하고자 하였다.
“RFID를 이용한 안전관리 장치 및 그 방법 (출원번호: 10-2012-0105578)”에서는 RFID (Radio Frequency Identification) 기술을 활용하여 건설장비 작업공간 내 작업자를 인식하고자 하였다.
“건설용 중장비 접근 감시 시스템 (출원번호: 10-2013-0033357)”에서는 PIR (Pyroelectric Infrared Ray) 센서와 초음파 센서를 활용하여 건설장비 작업공간 내 작업자를 인식하고자 하였다.
“굴삭기 작업영역의 전방위 장애물 탐지 기술 개발 (소지윤 등, 2010)”에 관한 연구에서는 2차원 레이저 스캐너를 활용하여 건설장비 작업공간 내 작업자를 인식하고자 하였다.
이와 같이 거리 센서를 활용하여 작업자를 인식하기 위한 방법은 초음파 센서, 감지센서, PIR (Pyroelectric Infrared Ray) 센서 등을 활용한 방법의 경우, 탐지 거리가 수 미터 이내로 짧아 근거리를 제외한 건설장비 작업반경 (약 12m) 내 작업자 인식이 불가하다는 단점이 있다.
또한 RFID (Radio Frequency Identification) 기술을 활용한 방법의 경우, 탐지 거리는 충분하나 건설현장 내 모든 건설장비와 작업자에 태그를 부착해야 한다는 단점이 있다. 2차원 레이저 스캐너를 활용한 방법의 경우, 탐지 거리는 충분하나 센서 탑재 비용이 수 백만원에서 수 천만원에 이르는 단점이 있다.
반면, 건설 현장으로부터 이미지 센서를 이용하여 획득한 비디오 영상은 상대적으로 경제적인 비용으로 건설장비 작업반경 (약 12m) 내 작업자 인식에 활용할 수 있다는 장점이 있다.
“Hard Hat Detection in Video Sequences based on Face Features, Motion and Color Information (Du 등, 2011)”에 관한 연구에서는 건설 현장으로부터 이미지 센서를 이용하여 획득한 비디오 영상으로부터 움직임을 보이는 픽셀을 추출하고, 얼굴 인식을 통해 작업자를 인식하고자 하였다.
“An Object Recognition, Tracking, and Contextual Reasoning-based Video Interpretation Method for Rapid Productivity Analysis of Construction Operations (Gong과 Caldas, 2011)"과 “Worker Detection in Video Frames for Initializing Vision Trackers (Park과 Brilakis 2012)"에 관한 연구에서는 건설 현장으로부터 이미지 센서를 이용하여 획득한 비디오 영상으로부터 움직임을 보이는 픽셀을 추출하고, 작업자 형태 및 안전보호장구의 일종인 안전조끼의 색상을 작업자의 특징으로 활용하여 작업자를 인식하고자 하였다.
“Implementation of Man-Hours Measurement System for Construction Work Crews by Image Processing Technology (Lee와 Hong, 2014)”에 관한 연구에서는 건설 현장으로부터 이미지 센서를 이용하여 획득한 비디오 영상으로부터 움직임을 보이는 픽셀을 추출하고, 안전보호장구의 일종인 안전모와 안전조끼의 색상, 그리고 작업자가 선 상태에서 안전모와 안전조끼의 위치 및 비율을 작업자의 특징으로 활용하여 작업자를 인식하고자 하였다.
“Vision Watching System and Method for Safety Hat (Patent No.: US 8,279,277 B2)”건설 현장으로부터 이미지 센서를 이용하여 획득한 비디오 영상으로부터 움직임을 보이는 픽셀을 추출하고, 안전보호장구의 일종인 안전모의 색상을 작업자의 특징으로 활용하여 작업자를 인식하고자 하였다.
이러한 방법의 공통된 단점은 서 있거나, 앉아 있는 등 정지 상태로 작업 중인 작업자에 대한 인식이 불가하다는 것이다. 뿐만 아니라, Lee와 Hong (2014)에 관한 연구는 이와 같은 근본적인 단점 외에도 선 상태에서 안전모와 안전조끼를 동시에 착용한 작업자만 인식 가능하다는 단점이 있다.
“Construction Safety Visualization (Shrestha 등, 2011)”에 관한 연구에서는 건설 현장으로부터 이미지 센서를 이용하여 획득한 비디오 영상으로부터 작업자와 배경 사이의 경계선과 안전보호장구의 일종인 안전모의 형태를 작업자의 특징으로 활용하여 작업자를 인식하고자 하였다. 이러한 방법의 단점은 배경이 단순한 비디오 영상에만 적용 가능하며, 비디오 영상 내에 다수의 작업자가 작업 중인 경우 인식이 불가하다는 단점이 있다. 뿐만 아니라, 이미지 센서와 반대 방향으로 몸을 숙이거나, 엎드려서 작업하는 경우, 안전모가 시야에서 가려지는 문제가 있어 작업자 인식이 불가하다는 단점이 있다.
이에 본 발명은, 작업자가 정지한 상태로 작업하는 경우, 작업자의 작업 상태 변경에 따른 특징 변화가 존재하는 경우, 다수의 작업자가 존재하는 경우, 및 영상 내의 작업자 크기 변화가 발생하는 경우 등의 상황에 관계없이, 하나 이상의 작업자를 촬영된 영상으로부터 명확하게 인식할 수 있는 기술을 제공하는 데 그 목적이 있다.
상기 목적을 달성하기 위해, 본 발명의 일 실시예에 따른 작업 현장 영상 데이터 내의 작업자 인식 방법은, 기설정된 영역을 촬영한 영상 데이터로부터, 객체를 구성하는 윤곽선을 이용하여 검출한 적어도 하나의 객체들 중, 기 저장된 데이터베이스에 존재하는 기준 객체의 형태와 매칭되는 객체를 관심 영역 객체로 선정하는 단계; 상기 관심 영역 객체에 포함된 색상 정보를 상기 데이터베이스에 존재하는 기준 색상 정보와 매칭되는지 여부를 기설정된 알고리즘을 이용하여 판단하는 단계; 및 상기 데이터베이스에 존재하는 기준 색상 정보와 매칭되는 것으로 판단된 색상 정보를 포함하는 관심 영역 객체를 작업자 객체로 선정하는 단계;를 포함하는 것을 특징으로 한다.
한편, 본 발명의 일 실시예에 따른 작업 현장 영상 데이터 내의 작업자 인식 장치는, 기설정된 영역을 촬영한 영상 데이터로부터, 객체를 구성하는 윤곽선을 이용하여 검출한 적어도 하나의 객체들 중, 기 저장된 데이터베이스에 존재하는 기준 객체의 형태와 매칭되는 객체를 관심 영역 객체로 선정하는 제1 판단부; 상기 관심 영역 객체에 포함된 색상 정보를 상기 데이터베이스에 존재하는 기준 색상 정보와 매칭되는지 여부를 기설정된 알고리즘을 이용하여 판단하는 제2 판단부; 및 상기 데이터베이스에 존재하는 기준 색상 정보와 매칭되는 것으로 판단된 색상 정보를 포함하는 관심 영역 객체를 작업자 객체로 선정하는 인식 결과 도출부;를 포함하는 것을 특징으로 한다.
본 발명에 의하면, 작업자의 작업 형태의 윤곽선을 통해 1차적으로 작업자에 해당하는 객체를 인식한 뒤, 작업자가 착용하는 안전보호장비의 색상을 촬영 각도 및 외부 환경의 영향을 고려하여 비교함으로써 2차적으로 작업자를 최종 인식하게 된다.
이에 따라서, 상기 언급한 요소로서, 작업자가 정지한 상태로 작업하는 경우에도 작업자 인식이 가능하며, 작업자의 형태 및 촬영 거리에 따른 영상 크기 변화에 무관하게 작업자의 인식이 가능한 효과가 있다. 즉, 작업자의 안전모가 보이지 않는 촬영 방향에서도 작업자에 대한 인식이 가능하다, 또한 영상 내에 다수의 작업자가 작업 중인 경우에도 인식이 가능한 효과가 있다.
상기와 같은 효과에 의하여, 작업 현장에서 작업자를 기존의 기술과 비교하여 매우 정확한 확률로 인식함으로써, 작업 현장의 안정성을 확보할 수 있는 효과가 있다.
도 1 및 2는 본 발명의 일 실시예에 따른 작업 현장 영상 데이터 내의 작업자 인식 방법의 플로우차트.
도 3은 본 발명의 일 실시예에 따른 작업 현장 영상 데이터 내의 작업자 인식 장치의 구성도.
도 4는 본 발명의 일 실시예의 구현을 위해 데이터베이스 내에 저장된 기준 객체 이미지의 예.
도 5 내지 7은 본 발명의 일 실시예의 구현을 위해 데이터베이스 내에 저장된 기준 색상 정보 및 배경 색상 정보의 예.
도 8은 본 발명의 일 실시예에 따라 영상에서 작업자를 인식하는 실험 예.
이하 첨부된 도면을 참조하여, 본 발명의 일 실시예에 따른 작업 현장 영상 데이터 내의 작업자 인식 방법 및 장치에 대하여 설명하기로 한다.
이하의 설명에서 본 발명에 대한 이해를 명확히 하기 위하여, 본 발명의 특징에 대한 공지의 기술에 대한 설명은 생략하기로 한다. 이하의 실시 예는 본 발명의 이해를 돕기 위한 상세한 설명이며, 본 발명의 권리 범위를 제한하는 것이 아님은 당연할 것이다. 따라서, 본 발명과 동일한 기능을 수행하는 균등한 발명 역시 본 발명의 권리 범위에 속할 것이다.
이하의 설명에서 동일한 식별 기호는 동일한 구성을 의미하며, 불필요한 중복적인 설명 및 공지 기술에 대한 설명은 생략하기로 한다.
본 발명의 실시 예에서 “통신”, “통신망” 및 “네트워크”는 동일한 의미로 사용될 수 있다. 상기 세 용어들은, 파일을 사용자 단말, 다른 사용자들의 단말 및 다운로드 서버 사이에서 송수신할 수 있는 유무선의 근거리 및 광역 데이터 송수신망을 의미한다.
도 1 및 2는 본 발명의 일 실시예에 따른 작업 현장 영상 데이터 내의 작업자 인식 방법의 플로우차트이다. 이하의 설명에 있어서, 본 발명의 일 실시예에 따른 작업 현장 영상 데이터 내의 작업자 인식 방법은, 후술을 본 발명의 일 실시예에 따른 작업 현장 영상 데이터 내의 작업자 인식 장치의 각 구성에 의해 수행되는 것으로 설명될 것이나, 이에 제한되지는 않을 것이다.
도 1을 참조하면, 먼저 장치는 작업 현장 등에서 기설정된 영역을 촬영한 영상 데이터로부터, 객체를 구성하는 윤곽선을 이용하여 검출한 적어도 하나의 객체들 중, 장치에 기 저장된 데이터베이스에 존재하는 기준 객체의 형태와 매칭되는 적어도 하나의 객체를 관심 영역 객체로 선정하는 단계(S10)를 수행한다.
예를 들어, S10 단계의 수행 효율 향상을 위해, 장치는 Fast Feature Pyramids를 기반으로 전체 비디오 영상 내에서 관심 영역(작업자로 인식되는 사람)을 인식하기 위한 처리 과정을 촬영된 영상 데이터에 적용할 수 있다.
이때, 관심 영역 객체를 선정 시, 장치에 기 저장된 데이터베이스에 존재하는 기준 객체의 형태와 인식된 객체들의 윤곽선 형태를 비교할 수 있다. 즉, 작업자가 취할 수 있는 모든 형태의 데이터베이스를 기반으로 상기의 Fast Feature Pyramids 방식을 적용하여 관심 영역 객체, 즉 작업자가 될 수 있는 후보 객체들을 1차적으로 선정하게 된다. 도 4에는, 이러한 데이터베이스에 저장된 데이터의 예가 도시되어 있다.
도 4는 본 발명의 일 실시예의 구현을 위해 데이터베이스 내에 저장된 기준 객체 이미지의 예이다.
도 4를 참조하면, 데이터베이스에는 복수의 형태 정보(100)로서, 작업자가 선 상태, 걷는 상태, 앉은 상태, 숙인 상태, 앉았다가 서는 도중의 상태, 서있다가 앉는 도중의 상태 등에 대응하는 작업자의 형태에 대한 예로서의 영상 데이터가 도시되어 있다. 물론, 데이터베이스에 따라서 상기의 영상 데이터 이외에, 윤곽선 데이터만이 저장될 수 있음은 당연할 것이다.
복수의 형태 정보(100) 각각에는, 작업자에 따라서 달라질 수 있는 세부 형태 정보(110)가 저장될 수 있다. 세부 형태 정보(110)는 방향 등에 따라서 달라질 수 있는 형태에 대응하는 이미지 정보가 저장될 수 있다.
이러한 복수의 형태 정보(100) 및 세부 형태 정보(110)는 기준 객체의 형태로 활용되어, S10 단계의 수행 시 관심 영역 객체를 선정하는 기준으로 사용된다.
도 4와 같이 데이터베이스에는 다양한 기준 객체의 정보가 저장될 수 있으며, 이는 데이터베이스의 학습 모듈, 즉 지속적으로 다양한 기준 객체의 정보가 갱신되는 것을 통해 더욱 다양한 작업 현장에서도 관심 영역 객체를 선정할 수 있도록 발전할 수 있을 것이다.
한편, S10 단계에 있어서, 촬영 거리에 따른 형태의 크기 변화에 무관하게 객체를 인식하기 위하여, 장치는 기준 객체의 크기를 변경하면서 객체의 윤곽선과 비교하여 관심 영역 객체를 선정할 수 있다.
이후 장치는 관심 영역 객체에 포함된 색상 정보가 상기의 데이터베이스에 존재하는 기준 색상 정보와 매칭되는지 여부를 기설정된 알고리즘을 이용하여 판단하는 단계(S20)를 수행하게 된다.
작업 현장에 있어서 작업자를 영상 데이터로부터 인식하기 위해서는, 형태 또는 윤곽선을 기준으로 정확하게 인식하는 S10 단계의 수행만으로는 부족하다. 즉, 정지된 상태로 작업을 수행하고 있거나, 작업자의 방향, 형태 등에 의하여 안전모가 인식되지 않는다거나, 작업자가 아닌 토지, 장치 등의 배경의 윤곽 형태가 작업자와 유사한 형태가 되는 등의 경우, S10 단계의 수행만으로는 작업자 인식의 오류가 발생할 수 있기 때문이다.
이를 위해, 장치는 S10 단계를 통해 1차 인식 과정을 거쳐 인식된 관심 영역 객체들에 대하여, S20 단계의 2차적인 인식 과정으로 객체들에 포함된 색상을 작업자의 특징으로 활용함으로써, S10 단계의 수행 결과 발생할 수 있는 상기의 오류를 판별하여 인식의 정확성을 확보할 수 있는 효과가 있다.
즉, 장치는 S20 단계의 수행 후, 데이터베이스에 존재하는 기준 색상 정보와 매칭되는 것으로 판단되는 색상 정보를 포함하는 관심 영역 객체를 최종적으로 작업자 객체로 선정하는 단계(S30)를 수행하게 되어, 기존의 기술의 인식 오류 문제를 완전하게 해결할 수 있는 효과를 얻을 수 있게 되는 것이다.
상기 언급한 바와 같이 기준 색상 정보는, 작업자의 특징으로 활용할 수 있는 색상 정보, 즉 작업자 객체로 선정하기 위하여 데이터베이스에 저장되어 있는 정보로서, 작업자가 작업 현장 내에서 일반적 및 의무적으로 착용하는 안전보호장구의 색상에 대응하는 색상 정보임이 바람직하다. 안전보호장구는 안전모 이외에, 작업자가 일반적으로 작업 현장에서 의무적으로 착용하는 장구인 안전 조끼를 예를 들어 포함할 수 있다.
도 2에는 상기 언급한 기설정된 알고리즘을 이용하여 기준 색상 정보와 관심 영역 객체에 포함된 색상 정보가 매칭되는지 여부를 판단하는 구체적인 흐름에 대한 예가 도시되어 있다.
도 2를 참조하면, 장치는 먼저, 상기와 같이 기준 색상 정보에 포함되는 정보로서, 즉 안전보호장구가 갖는 색분포와 배경색의 분포가 구분되도록 선정된 색공간 및 구성요소를 포함하는 기준 색상 정보를 데이터베이스로부터 로드하는 단계(S21)를 수행한다.
이후 관심 영역 객체에 포함된 색상 정보와, 로드된 기준 색상 정보에 색상 모델 기반 픽셀 분류 방법을 적용하여, 관심 영역 객체에 포함된 색상 정보가 기준 색상 정보에 매칭되는지 여부를 판단하는 단계를 수행하게 되는데, 이 과정은 구체적으로 다음과 같다.
즉, 관심 영역 객체에 포함된 색상 정보에 색공간 변환 작업을 수행하여, 관심 영역 객체에 포함된 색상 정보로부터 색공간 및 색상 구성 요소(S21의 구성요소와 동일한 개념의 정보)를 추출하는 단계(S22)가 먼저 수행되며, 이후 로드된 기준 색상 정보에 포함된 안전보호장구가 갖는 색분포와 배경색의 분포가 구분되는 색공간 및 구성요소와 추출된 색공간 및 색상 구성 요소 정보를 색상 모델 기반 픽셀 분류 방법을 이용하여 비교하여, 관심 영역 객체에 포함된 색상 정보가 기준 색상 정보에 매칭되는지 여부를 판단하는 단계(S23)가 수행된다.
S20 단계로 대표되는 2차 인식 과정에서는, 상기 언급한 바와 같이 안전보호장구(안전모 또는 안전조끼)를 특징으로 상기 언급한 바와 같이 도 1의 S10 단계의 인식 과정에서 발생할 수 있는 오류를 판별하여 정확하게 작업자를 인식하기 위하여, 안전보호장구가 갖는 색상 불변 특징을 기반으로 이미지 프로세싱 기술을 적용한다.
영상 데이터는 RGB(Red, Green, Blue) 색상의 공간으로 표현되나, 이는 빛과 같은 외부 환경의 변화에 영향을 받기 쉽다. 이에 따라 S21 내지 S23 단계의 수행에 있어서 언급한 바와 같이, 색상 정보를 이용하여 안전보호장구를 정확히 인식하기 위해서는 색공간 변환 작업이 필요하다.
다양한 색공간 중에서 예를 들어 Normalized rgb, HSI(Hue, Saturation, Intensity), CIELUV, YCbCr 등의 색공간은 빛과 같은 외부 환경의 변화에 거의 영향을 받지 않아 색상을 기반으로 한 물체 인식에 효과적으로 사용되어 왔다. 각각의 색공간에서 안전보호장구는 색공간을 구성하는 3개의 구성 요소에 의해 일정 색분포를 가지게 된다. 효과적인 안전보호장구 인식을 위해서는 안전보호장구가 갖는 색분포와 배경색 분포가 명확히 구분되는 색공간 및 구성 요소의 선정이 필요하다(S21에 대응).
본 발명에서는 예를 들어 15가지 색공간에서 총 45가지 구성 요소에 대해 각각의 세 가지 안전모 색상과 안전조끼와 배경색 분포가 명확히 구분되는 구성 요소를 인자 선정을 통해 선정한다. 선정된 구성 요소를 바탕으로 각각의 안전보호장구를 인식하기 위하여 영상 분할 기법 중 하나인 색상 모델 기반 픽셀 분류 방법을 적용한다(S22 및 S23 단계). 색상 모델 기반 픽셀 분류 방법은 색상 모델 학습을 통해 물체의 색상 불변 특징을 기반으로 하여 물체를 빠르고 효과적으로 인식할 수 있다는 장점이 있다.
이와 같이 S21 단계 내지 S23 단계의 수행을 위해 데이터베이스에 저장될 수 있는 기준 색상 정보 및 배경 색상 정보에 관한 예가 도 5 내지 7에 도시되어 있다.
도 5를 참조하면, 다양한 색상(백색, 황색, 적색)의 안전모의 각 색상을 기준으로 구분된 색상 정보(200)를 확인할 수 있다. 각 색상 정보에는, 색 분포 정보(210)가 구분되어 저장되어, 색공간 및 이에 대응하는 구성요소를 선정할 수 있도록 마련될 수 있다.
한편 도 6을 참조하면, 데이터베이스에 저장된 안전조끼 색상의 색 분포 정보(310)가 도시되어, 안전모와 함께 안전조끼에 대하여 색공간 및 이에 대응하는 구성요소를 선정할 수 있도록 마련되어 있는 것을 확인할 수 있다.
도 7에는 배경으로서 토사 및 기타 배경 요소에 대한 색상 정보가 저장되어 있는 것을 확인할 수 있다. 각 배경의 종류에 따라서 색상 정보(400)가 저장되며, 마찬가지로 색 분포 정보(410)가 구분되어 저장되어, 이와 도 5 및 6의 기준 색상 정보에 포함된 색공간 및 구성요소를 구분할 수 있도록 마련될 수 있다.
이러한 과정을 통해, 작업자를 인식하는 실험예에 관하여 도 8에 도시되어 있다.
도 8을 참조하면, 영상 데이터(500)에서 본 발명의 상기의 기술에 의해 작업자를 인식한 결과에 대한 실험예가 도시되어 있다. 먼저, 객체(510, 520)는 도 1의 S10 단계를 통해 선정된 관심 영역 객체를 의미한다. 한편, 밝은 부분의 객체(511)는 도 1의 S20 단계 및 도 2의 S21 내지 S23 단계의 수행에 의해 최종적으로 작업자 객체를 선정하기 위해 사용된 색상 정보로서, 즉 안전보호장구 색상 데이터베이스를 기반으로 색상 모델 방식을 적용하여 인식한 결과를 나타낸다.
도 8에 도시된 바와 같이, 밝은 부분으로 인식된 객체(511)를 포함하는 객체(510)가 최종적으로 작업자로 인식된 객체이며, 그 외의 객체(520)는 관심 영역 객체로는 선정되었으나 최종적으로 작업자로는 인식되지 않은 객체를 의미한다.
즉, 본 발명에 의하면, 두 단계에 걸친 인식 과정을 통해, 기존의 인식 과정의 문제를 완전하게 해결하고, 더욱 정확하게 작업자를 인식할 수 있도록 하여, 작업 현장의 안정성을 증가시킬 수 있는 효과를 얻을 수 있음이 확인될 수 있다.
도 3은 본 발명의 일 실시예에 따른 작업 현장 영상 데이터 내의 작업자 인식 장치의 구성도이다. 이하의 설명에 있어서, 도 1, 2, 4 내지 8에 대한 설명과 중복되는 부분은 이를 생략하기로 한다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 작업 현장 영상 데이터 내의 작업자 인식 장치(10)는 제1 판단부(11), 제2 판단부(12) 및 인식 결과 도출부(13)로 구성되며, 제1 판단부(11), 제2 판단부(12)는 데이터베이스(40)와 연결되어 기준 정보를 수신하게 된다.
한편 제1 판단부(11)는, 도 1의 S10 단계의 기능을 수행하는 구성으로서, 촬영 장치(20)로부터 촬영된 영역(30)의 영상 데이터를 수신하는 기능을 수행하고, 데이터베이스(40)로부터 수신한 기준 객체의 형태를 이용하여 관심 영역 객체를 선정하는 기능을 수행한다. 본 발명에서 촬영 장치(20)는 작업 현장에 설치된 CCTV 및 기타 촬영 기기와 함께, 작업 장비 등에 설치된 이동성이 있는 촬영 기기를 모두 포함한다.
제2 판단부(12)는, 도 1의 S20 단계 및 도 2의 S21 내지 S23 단계의 기능을 수행하는 구성으로서, 데이터베이스(40)로부터 기준 색상 정보를, 제1 판단부(11)로부터 관심 영역 객체 정보 및 이에 포함된 색상 정보와 S20 내지 S23 단계의 구체적인 기능 수행을 통해 비교하는 기능을 수행하게 된다.
인식 결과 도출부(13)는 도 1의 S30 단계의 기능을 수행하는 구성으로서, 제2 판단부(12)의 판단 결과에 따라서 최종적으로 작업자를 영상 데이터 내에서 인식하는 기능을 수행한다.
이상에서 전술한 본 발명의 실시예에 따른 작업 현장 영상 데이터 내의 작업자 인식 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있음)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 본 발명의 실시예에 따른 작업 현장 영상 데이터 내의 작업자 인식 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.
이러한 프로그램은 컴퓨터에 의해 읽힐 수 있는 기록매체에 기록되고 컴퓨터에 의해 실행됨으로써 전술한 기능들이 실행될 수 있다.
이와 같이, 본 발명의 각 실시예에 따른 작업 현장 영상 데이터 내의 작업자 인식 방법을 실행시키기 위하여, 전술한 프로그램은 컴퓨터의 프로세서(CPU)가 읽힐 수 있는 C, C++, JAVA, 기계어 등의 컴퓨터 언어로 코드화된 코드(Code)를 포함할 수 있다.
이러한 코드는 전술한 기능들을 정의한 함수 등과 관련된 기능적인 코드(Function Code)를 포함할 수 있고, 전술한 기능들을 컴퓨터의 프로세서가 소정의 절차대로 실행시키는데 필요한 실행 절차 관련 제어 코드를 포함할 수도 있다.
또한, 이러한 코드는 전술한 기능들을 컴퓨터의 프로세서가 실행시키는데 필요한 추가 정보나 미디어가 컴퓨터의 내부 또는 외부 메모리의 어느 위치(주소 번지)에서 참조 되어야 하는지에 대한 메모리 참조 관련 코드를 더 포함할 수 있다.
또한, 컴퓨터의 프로세서가 전술한 기능들을 실행시키기 위하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 통신이 필요한 경우, 코드는 컴퓨터의 프로세서가 컴퓨터의 통신 모듈(예: 유선 및/또는 무선 통신 모듈)을 이용하여 원격(Remote)에 있는 어떠한 다른 컴퓨터나 서버 등과 어떻게 통신해야만 하는지, 통신 시 어떠한 정보나 미디어를 송수신해야 하는지 등에 대한 통신 관련 코드를 더 포함할 수도 있다.
그리고, 본 발명을 구현하기 위한 기능적인(Functional) 프로그램과 이와 관련된 코드 및 코드 세그먼트 등은, 기록매체를 읽어서 프로그램을 실행시키는 컴퓨터의 시스템 환경 등을 고려하여, 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론되거나 변경될 수도 있다.
이상에서 전술한 바와 같은 프로그램을 기록한 컴퓨터로 읽힐 수 있는 기록매체는, 일 예로, ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 미디어 저장장치 등이 있다.
또한 전술한 바와 같은 프로그램을 기록한 컴퓨터로 읽힐 수 있는 기록매체는 네트워크로 커넥션된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 이 경우, 다수의 분산된 컴퓨터 중 어느 적어도 하나의 컴퓨터는 상기에 제시된 기능들 중 일부를 실행하고, 그 결과를 다른 분산된 컴퓨터들 중 적어도 하나에 그 실행 결과를 전송할 수 있으며, 그 결과를 전송받은 컴퓨터 역시 상기에 제시된 기능들 중 일부를 실행하여, 그 결과를 역시 다른 분산된 컴퓨터들에 제공할 수 있다.
특히, 본 발명의 각 실시예에 따른 작업 현장 영상 데이터 내의 작업자 인식 방법을 실행시키기 위한 프로그램인 애플리케이션을 기록한 컴퓨터로 읽을 수 있는 기록매체는, 애플리케이션 스토어 서버(Application Store Server), 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버(Application Provider Server)에 포함된 저장매체(예: 하드디스크 등)이거나, 애플리케이션 제공 서버 그 자체일 수도 있다.
본 발명의 각 실시예에 따른 작업 현장 영상 데이터 내의 작업자 인식 방법을 실행시키기 위한 프로그램인 애플리케이션을 기록한 기록매체를 읽을 수 있는 컴퓨터는, 일반적인 데스크 탑이나 노트북 등의 일반 PC 뿐만 아니라, 스마트 폰, 태블릿 PC, PDA(Personal Digital Assistants) 및 이동통신 단말기 등의 모바일 단말기를 포함할 수 있으며, 이뿐만 아니라, 컴퓨팅(Computing) 가능한 모든 기기로 해석되어야 할 것이다.
또한, 본 발명의 실시예에 따른 작업 현장 영상 데이터 내의 작업자 인식 방법을 실행시키기 위한 프로그램인 애플리케이션을 기록한 기록매체를 읽을 수 있는 컴퓨터가 스마트 폰, 태블릿 PC, PDA(Personal Digital Assistants) 및 이동통신 단말기 등의 모바일 단말기인 경우, 애플리케이션은 애플리케이션 제공 서버에서 일반 PC로 다운로드 되어 동기화 프로그램을 통해 모바일 단말기에 설치될 수도 있다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 적어도 하나로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (10)

  1. 기설정된 영역을 촬영한 영상 데이터로부터, 객체를 구성하는 윤곽선을 이용하여 검출한 적어도 하나의 객체들 중, 기 저장된 데이터베이스에 존재하는 기준 객체의 형태와 매칭되는 객체를 관심 영역 객체로 선정하는 단계;
    상기 관심 영역 객체에 포함된 색상 정보를 상기 데이터베이스에 존재하는 기준 색상 정보와 매칭되는지 여부를 기설정된 알고리즘을 이용하여 판단하는 단계; 및
    상기 데이터베이스에 존재하는 기준 색상 정보와 매칭되는 것으로 판단된 색상 정보를 포함하는 관심 영역 객체를 작업자 객체로 선정하는 단계;를 포함하는 것을 특징으로 하는 작업 현장 영상 데이터 내의 작업자 인식 방법.
  2. 제1항에 있어서,
    상기 기준 색상 정보는,
    상기 작업자 객체로 선정하기 위하여 저장되어 있는 정보로서, 작업자가 착용하는 안전보호장구의 색상에 대응하는 색상 정보인 것을 특징으로 하는 작업 현장 영상 데이터 내의 작업자 인식 방법.
  3. 제2항에 있어서,
    상기 기설정된 알고리즘을 이용하여 판단하는 단계는,
    상기 안전보호장구가 갖는 색분포와 배경색의 분포가 구분되도록 선정된 색공간 및 구성요소를 포함하는 상기 기준 색상 정보를 상기 데이터베이스로부터 로드하는 단계; 및
    상기 관심 영역 객체에 포함된 색상 정보와, 상기 로드된 기준 색상 정보에 색상 모델 기반 픽셀 분류 방법을 적용하여, 상기 관심 영역 객체에 포함된 색상 정보가 상기 기준 색상 정보에 매칭되는지 여부를 판단하는 단계;를 포함하는 것을 특징으로 하는 작업 현장 영상 데이터 내의 작업자 인식 방법.
  4. 제3항에 있어서,
    상기 매칭되는지 여부를 판단하는 단계는,
    상기 관심 영역 객체에 포함된 색상 정보에 색공간 변환 작업을 수행하여, 상기 관심 영역 객체에 포함된 색상 정보로부터 색공간 및 색상 구성 요소 정보를 추출하는 단계; 및
    상기 로드된 기준 색상 정보에 포함된 상기 안전보호장구가 갖는 색분포와 배경색의 분포가 구분되는 색공간 및 구성요소와 상기 추출된 색공간 및 색상 구성 요소 정보를 상기 색상 모델 기반 픽셀 분류 방법을 이용하여 비교하여, 상기 관심 영역 객체에 포함된 색상 정보가 상기 기준 색상 정보에 매칭되는지 여부를 판단하는 단계;를 포함하는 것을 특징으로 하는 작업 현장 영상 데이터 내의 작업자 인식 방법.
  5. 제1항에 있어서,
    상기 관심 영역 객체로 선정하는 단계는,
    상기 객체의 크기에 무관하게 상기 기준 객체의 형태와 매칭되는 윤곽석을 갖는 객체를 관심 영역 객체로 선정하기 위해, 상기 기준 객체의 크기를 변경하면서 상기 객체의 윤곽선과 비교하여 상기 관심 영역 객체를 선정하는 것을 특징으로 하는 작업 현장 영상 데이터 내의 작업자 인식 방법.
  6. 기설정된 영역을 촬영한 영상 데이터로부터, 객체를 구성하는 윤곽선을 이용하여 검출한 적어도 하나의 객체들 중, 기 저장된 데이터베이스에 존재하는 기준 객체의 형태와 매칭되는 객체를 관심 영역 객체로 선정하는 제1 판단부;
    상기 관심 영역 객체에 포함된 색상 정보를 상기 데이터베이스에 존재하는 기준 색상 정보와 매칭되는지 여부를 기설정된 알고리즘을 이용하여 판단하는 제2 판단부; 및
    상기 데이터베이스에 존재하는 기준 색상 정보와 매칭되는 것으로 판단된 색상 정보를 포함하는 관심 영역 객체를 작업자 객체로 선정하는 인식 결과 도출부;를 포함하는 것을 특징으로 하는 작업 현장 영상 데이터 내의 작업자 인식 장치.
  7. 제6항에 있어서,
    상기 기준 색상 정보는,
    상기 작업자 객체로 선정하기 위하여 저장되어 있는 정보로서, 작업자가 착용하는 안전보호장구의 색상에 대응하는 색상 정보이며,
    상기 제2 판단부는,
    상기 안정보호장구가 갖는 색분포와 배경색의 분포가 구분되는 색공간 및 구성요소로 선정된 상기 기준 색상 정보를 상기 데이터베이스로부터 로드하고, 상기 관심 영역 객체에 포함된 색상 정보와, 상기 로드된 기준 색상 정보에 색상 모델 기반 픽셀 분류 방법을 적용하여, 상기 관심 영역 객체에 포함된 색상 정보가 상기 기준 색상 정보에 매칭되는지 여부를 판단하는 것을 특징으로 하는 작업 현장 영상 데이터 내의 작업자 인식 장치.
  8. 제7항에 있어서,
    상기 제2 판단부는,
    상기 관심 영역 객체에 포함된 색상 정보에 색공간 변환 작업을 수행하여, 상기 관심 영역 객체에 포함된 색상 정보로부터 색공간 및 색상 구성 요소 정보를 추출하고, 상기 로드된 기준 색상 정보에 포함된 상기 안정보호장구가 갖는 색분포와 배경색의 분포가 구분되는 색공간 및 구성요소와 상기 추출된 색공간 및 색상 구성 요소 정보를 비교하여, 상기 관심 영역 객체에 포함된 색상 정보가 상기 기준 색상 정보에 매칭되는지 여부를 판단하는 것을 특징으로 하는 작업 현장 영상 데이터 내의 작업자 인식 장치.
  9. 제6항에 있어서,
    상기 제1 판단부는,
    상기 객체의 크기에 무관하게 상기 기준 객체의 형태와 매칭되는 윤곽석을 갖는 객체를 관심 영역 객체로 선정하기 위해, 상기 기준 객체의 크기를 변경하면서 상기 객체의 윤곽선과 비교하여 상기 관심 영역 객체를 선정하는 것을 특징으로 하는 작업 현장 영상 데이터 내의 작업자 인식 장치.
  10. 기설정된 영역을 촬영한 영상 데이터로부터, 객체를 구성하는 윤곽선을 이용하여 검출한 적어도 하나의 객체들 중, 기 저장된 데이터베이스에 존재하는 기준 객체의 형태와 매칭되는 객체를 관심 영역 객체로 선정하는 단계;
    상기 관심 영역 객체에 포함된 색상 정보를 상기 데이터베이스에 존재하는 기준 색상 정보와 매칭되는지 여부를 기설정된 알고리즘을 이용하여 판단하는 단계; 및
    상기 데이터베이스에 존재하는 기준 색상 정보와 매칭되는 것으로 판단된 색상 정보를 포함하는 관심 영역 객체를 작업자 객체로 선정하는 단계;를 포함하는 것을 특징으로 하는 작업 현장 영상 데이터 내의 작업자 인식 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.
PCT/KR2015/012090 2015-03-06 2015-11-11 작업 현장 영상 데이터 내의 작업자 인식 방법 WO2016143976A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150031458A KR101668555B1 (ko) 2015-03-06 2015-03-06 작업 현장 영상 데이터 내의 작업자 인식 방법
KR10-2015-0031458 2015-03-06

Publications (1)

Publication Number Publication Date
WO2016143976A1 true WO2016143976A1 (ko) 2016-09-15

Family

ID=56880531

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/012090 WO2016143976A1 (ko) 2015-03-06 2015-11-11 작업 현장 영상 데이터 내의 작업자 인식 방법

Country Status (2)

Country Link
KR (1) KR101668555B1 (ko)
WO (1) WO2016143976A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563320A (zh) * 2017-08-24 2018-01-09 中南大学 基于空间位置信息的人体坐姿仪态测试方法及其系统
CN111079731A (zh) * 2019-12-03 2020-04-28 中冶赛迪重庆信息技术有限公司 基于安全帽识别监控系统的配置系统、方法、设备及介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101932009B1 (ko) * 2017-12-29 2018-12-24 (주)제이엘케이인스펙션 다중 객체 검출을 위한 영상 처리 장치 및 방법
KR102428613B1 (ko) * 2020-01-29 2022-08-02 에스케이 주식회사 디지털 안전보건환경 산업 특화용 이미지 학습 모델을 이용한 안전관리 방법 및 시스템
KR102518488B1 (ko) * 2020-09-29 2023-04-04 주식회사 포스코아이씨티 산업현장의 안전 관리를 위한 작업현장 출입관리 시스템 및 그 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010198519A (ja) * 2009-02-27 2010-09-09 Hitachi Constr Mach Co Ltd 周囲監視装置
KR20100106776A (ko) * 2009-03-24 2010-10-04 아주대학교산학협력단 안전모 착용 비전 감시 시스템 및 방법
KR20140017222A (ko) * 2012-07-31 2014-02-11 주식회사 제론헬스케어 감시시스템의 영상 융합을 통한 객체 감시 방법
KR20140035712A (ko) * 2012-09-14 2014-03-24 한국전자통신연구원 객체 인식 방법 및 장치
KR20150015814A (ko) * 2013-08-01 2015-02-11 주식회사 엘지유플러스 비상 알림을 위한 장치, 방법 및, 기록 매체

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010198519A (ja) * 2009-02-27 2010-09-09 Hitachi Constr Mach Co Ltd 周囲監視装置
KR20100106776A (ko) * 2009-03-24 2010-10-04 아주대학교산학협력단 안전모 착용 비전 감시 시스템 및 방법
KR20140017222A (ko) * 2012-07-31 2014-02-11 주식회사 제론헬스케어 감시시스템의 영상 융합을 통한 객체 감시 방법
KR20140035712A (ko) * 2012-09-14 2014-03-24 한국전자통신연구원 객체 인식 방법 및 장치
KR20150015814A (ko) * 2013-08-01 2015-02-11 주식회사 엘지유플러스 비상 알림을 위한 장치, 방법 및, 기록 매체

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107563320A (zh) * 2017-08-24 2018-01-09 中南大学 基于空间位置信息的人体坐姿仪态测试方法及其系统
CN111079731A (zh) * 2019-12-03 2020-04-28 中冶赛迪重庆信息技术有限公司 基于安全帽识别监控系统的配置系统、方法、设备及介质

Also Published As

Publication number Publication date
KR20160108740A (ko) 2016-09-20
KR101668555B1 (ko) 2016-10-31

Similar Documents

Publication Publication Date Title
WO2016143976A1 (ko) 작업 현장 영상 데이터 내의 작업자 인식 방법
US11030464B2 (en) Privacy processing based on person region depth
WO2016108472A1 (ko) 이미지 분석 방법, 장치 및 컴퓨터로 판독가능한 장치
US20160350583A1 (en) Image search system and image search method
KR20150031985A (ko) 모바일 기기와 협력하여 위험 상황을 추적하기 위한 시스템 및 그 방법
KR101804358B1 (ko) 영상 분석을 이용한 설비 감시 시스템
US20230162476A1 (en) Method and system for determining risk in construction site based on image analysis
WO2016099084A1 (ko) 비콘신호를 이용한 안전 서비스 제공 시스템 및 방법
CN116206255B (zh) 基于机器视觉的危险区域人员监控方法与装置
CN113569682A (zh) 一种智能捕捉矿井识别要素的视频监测方法及装置
KR20220051609A (ko) 실시간 영상분석을 통한 작업자의 안전보호장비 착용여부 인식 시스템
Gallo et al. A smart system for personal protective equipment detection in industrial environments based on deep learning
KR101989376B1 (ko) 궤도 회로 통합 감시 장치
Zhao et al. Substation safety awareness intelligent model: Fast personal protective equipment detection using GNN approach
CN101668186A (zh) 图像监视系统
CN113989625A (zh) 基于边缘计算的图像识别方法、装置、设备及存储介质
WO2020111353A1 (ko) 사생활 침해장비 탐지방법, 장치 및 그 시스템
CN113408338A (zh) 一种矿工异常行为监测方法、装置及系统
CN114066799A (zh) 检测系统和检测方法
KR102449823B1 (ko) 건설 현장의 이미지 태깅 방법 및 이를 수행하는 서버 및 시스템
KR20210096754A (ko) 디지털 안전보건환경 산업 특화용 이미지 학습 모델을 이용한 안전관리 방법 및 시스템
KR101702452B1 (ko) 증강 현실이 적용된 cctv 영상을 제공하기 위한 방법 및 cctv 영상 제공 시스템
WO2023074994A1 (ko) 산업현장의 쓰러짐 감지 감시카메라 시스템 및 이의 동작 방법
Shrigandhi et al. Systematic Literature Review on Object Detection Methods at Construction Sites
US20220262123A1 (en) Search support system and search support method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15884775

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15884775

Country of ref document: EP

Kind code of ref document: A1