KR20220056280A - Ai based image processing system - Google Patents

Ai based image processing system Download PDF

Info

Publication number
KR20220056280A
KR20220056280A KR1020200140138A KR20200140138A KR20220056280A KR 20220056280 A KR20220056280 A KR 20220056280A KR 1020200140138 A KR1020200140138 A KR 1020200140138A KR 20200140138 A KR20200140138 A KR 20200140138A KR 20220056280 A KR20220056280 A KR 20220056280A
Authority
KR
South Korea
Prior art keywords
visitor
unit
image
face
matching
Prior art date
Application number
KR1020200140138A
Other languages
Korean (ko)
Other versions
KR102487033B1 (en
Inventor
고국원
이지연
안용주
Original Assignee
선문대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 선문대학교 산학협력단 filed Critical 선문대학교 산학협력단
Priority to KR1020200140138A priority Critical patent/KR102487033B1/en
Publication of KR20220056280A publication Critical patent/KR20220056280A/en
Application granted granted Critical
Publication of KR102487033B1 publication Critical patent/KR102487033B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/00174—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys
    • G07C9/00563—Electronically operated locks; Circuits therefor; Nonmechanical keys therefor, e.g. passive or active electrical keys or other data carriers without mechanical keys using personal physical data of the operator, e.g. finger prints, retinal images, voicepatterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/60—Radiation pyrometry, e.g. infrared or optical thermometry using determination of colour temperature
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Collating Specific Patterns (AREA)

Abstract

The present invention relates to an image processing device for processing an image of an object based on artificial intelligence. The present invention comprises: a visitor registration unit registering visitor identity information; a face recognition unit for recognizing a visitor's face; and a processing unit that processes the visitor's video image. The processing unit compares the video of the visitor with the face recognition unit and processes the video.

Description

인공 지능 기반 영상 처리 장치{AI BASED IMAGE PROCESSING SYSTEM}AI BASED IMAGE PROCESSING SYSTEM

본 발명은 인공 지능에 기반하여 대상물의 영상을 처리하는 영상 처리 장치에 관한 것이다. The present invention relates to an image processing apparatus for processing an image of an object based on artificial intelligence.

코로나 19 바이러스가 확산되고 있지만, 많은 사람이 모이는 관광지 또는 행사장 등에서 감염 경로를 추적하기 어려운 문제점이 있다. 감염 우려에 따른 관광객 감소로 인하여, 바이러스로부터 안전한 관광지 관리를 위한 인공 지능 기반 비전 검사 장치의 필요성이 대두된다.Although the Corona 19 virus is spreading, there is a problem in that it is difficult to trace the route of infection in tourist destinations or events where many people gather. Due to the decrease in tourists due to concerns about infection, the need for an artificial intelligence-based vision inspection device for the safe management of tourist destinations from viruses is emerging.

인공 지능과 영상 처리 장치를 결합한 융합 디지털 플랫폼이 요망되고 있다. 4차 산업혁명 시대의 산업 모델로서, 인공지능, 가상현실 등 4차 산업혁명의 요소 기술을 바탕으로, 정형화된 프로그램을 벗어나 개인화된 혁신적 콘텐츠 생산을 가능케 하는 스마트 비전 검사 장치의 모델 개발 필요성이 대두된다.A convergence digital platform that combines artificial intelligence and an image processing device is desired. As an industrial model in the era of the 4th industrial revolution, the need to develop a model of a smart vision inspection device that enables the production of personalized and innovative contents beyond the standardized program based on the element technologies of the 4th industrial revolution such as artificial intelligence and virtual reality is emerging do.

본 발명이 해결하고자 하는 과제는 사람들이 많이 방문하는 관광지, 각종 행사장 등에 코로나19 바이러스 감염자 발생시, 주변 감염자를 쉽게 파악하여 신속하게 대처할 수 있도록 한 인공 지능 기반 영상 처리 장치를 제공하는 것이다. The problem to be solved by the present invention is to provide an artificial intelligence-based image processing device that allows people to easily identify and quickly respond to infected people when a person infected with the Corona 19 virus occurs at tourist destinations and various event venues frequented by people.

상기와 같은 과제를 해결하기 위한 해결 수단은 방문객 신원 정보를 등록하는 방문객 등록부; 방문객 얼굴을 인식하는 얼굴 인식부; 방문객의 영상 이미지를 처리하는 처리부를 포함하고,A solution for solving the above problems includes: a visitor register for registering visitor identity information; a face recognition unit for recognizing a visitor's face; Includes a processing unit for processing the visitor's video image,

상기 처리부에 의해 상기 방문객의 영상을 상기 얼굴 인식부와 비교하여 처리하는 영상 처리 장치가 제공될 수 있다.An image processing apparatus may be provided that compares and processes the image of the visitor with the face recognition unit by the processing unit.

이와 같이 본 발명은 사람이 많이 모이는 관광지, 또는 각종 행사장에서 방문객들의 신원 정보 및 얼굴 이미지를 등록한 상태로 출입이 가능하도록 하고, 현장에서는 상기 감시 카메라부에 의해 방문객의 영상 이미지를 획득한 상태에서 이벤트가 발생하면 기 등록된 방문객 리스트와 대조하여 해당자를 파악하고 대처할 수 있다.As described above, the present invention enables entry and exit with registered identity information and face images of visitors at tourist destinations or various event venues where many people gather, and in the field, events in a state in which the visitor's video image is acquired by the surveillance camera unit When an error occurs, the relevant person can be identified and dealt with by comparing it with the registered visitor list.

본 발명은 인공 지능 기반의 처리부를 통해 상시 현장의 영상을 촬영하는 감시 카메라부와, 방문객의 온도를 측정하는 온도 측정부를 마련하여 특정 온도 이상이 감지되면, 바이러스 감염 또는 의심자로 간주하여 기 등록된 얼굴 인식부에 저장된 방문객의 얼굴 이미지와 매칭시켜서 매칭 여부를 판단하며, 매칭이 이루어지면 해당자의 신원 정보를 바로 제공받고, 주변 접촉자를 모두 파악하여 대응할 수 있다. The present invention provides a surveillance camera unit that always shoots an image of the site through an artificial intelligence-based processing unit, and a temperature measurement unit that measures the temperature of visitors. It is matched with the visitor's face image stored in the face recognition unit to determine whether or not the match is made. If the match is made, the identity information of the person is immediately provided, and all nearby contacts can be identified and responded to.

따라서, 바이러스 확진자의 신원정보 및 동선에 따른 주변 접촉자 신원 정보를 신속 정확하게 파악할 수 있으므로 바이러스 감염 확산을 최소화할 수 있다. Therefore, it is possible to quickly and accurately grasp the identity information of the confirmed virus and the identity information of nearby contacts according to the movement, thereby minimizing the spread of virus infection.

본 발명에 따르면, 자연친화적 콘텐츠 관리가 가능하다. 코로나 19, 날씨 등 급변하는 환경 가운데에서도 지능적이고 효율적인 관광지 운영과 정보 관리를 지원하는 빅데이터 기반 시스템을 구축할 수 있다.According to the present invention, nature-friendly content management is possible. It is possible to build a big data-based system that supports intelligent and efficient tourist destination operation and information management in the midst of rapidly changing environments such as COVID-19 and weather.

본 발명은 효율적인 데이터 관리 및 활용이 가능하다. 박람회나 관광지 등 방문자가 많이 모이는 장소에서 방문자에 관련된 방문자 데이터를 취득하고 효율적인 데이터 분석과 관리를 통하여 비전 검사 장치로서 활용할 수 있다.The present invention enables efficient data management and utilization. It can be used as a vision inspection device through efficient data analysis and management by acquiring visitor data related to visitors at places where a lot of visitors gather, such as fairs or tourist destinations.

본 발명에 의하면 코로나19 대비 AI 기반 관광객 관리가 가능하다. 마스크 착용에도 불구하고 신뢰성 있는 방문자 인식 기술을 개발할 수 있다. 개발된 시스템은 방문자 자동 등록 및 방문자 수 자동 집계, 방문자 체온 측정, 방문자 데이터의 공공 클라우드 전송을 통해, 지역 경제의 근간이 되는 관광지 관리 및 코로나19 감염경로 추적을 용이하게 할 수 있다.According to the present invention, AI-based tourist management is possible in preparation for COVID-19. Reliable visitor recognition technology can be developed despite wearing a mask. The developed system can facilitate the management of tourist destinations, which are the backbone of the local economy, and the tracking of the COVID-19 infection route through automatic registration of visitors, automatic counting of the number of visitors, measurement of visitor body temperature, and transmission of visitor data to the public cloud.

본 발명에 따르면, 개인화된 관광 서비스 개발이 가능하다. 얼굴 인식 기반의 방문자 선호도 예측 분석이 가능할 수 있다. 시스템에서 파악된 방문자의 투어 경로 자동 추적 등을 통한 개인화된 안내 가이드 서비스를 개발할 수 있다. According to the present invention, it is possible to develop a personalized tourism service. Predictive analysis of visitor preference based on facial recognition may be possible. A personalized guide service can be developed by automatically tracking the visitor's tour route identified in the system.

본 발명에 따르면, 자연 친화적 관광지 관리 플랫폼을 개발할 수 있다. 코로나19, 기상정보, 관광객 정보(인식, 체온), 카트 사용 정보등의 빅데이터에 기반하여 방문자 수, 날씨, 코로나19 감염 위험도 예측 등 지능적인 관광지 운영을 위한 스마트 플랫폼 개발을 할 수 있다. According to the present invention, it is possible to develop a nature-friendly tourist destination management platform. Based on big data such as Corona 19, weather information, tourist information (recognition, body temperature), cart usage information, etc., it is possible to develop a smart platform for intelligent tourist destination operation such as predicting the number of visitors, weather, and risk of Corona 19 infection.

도 1은 본 발명의 영상 처리 장치의 일례를 나타낸 출입구 도면이다.
도 2는 본 발명의 영상 처리 장치 구성도이다.
도 3은 본 발명에 따른 영상 처리 장치에 의해 촬영된 영상속의 대상물을 나타낸 도면이다.
도 4는 본 발명의 감시 카메라부에서 영상 처리후 서로 다른 시간에 대상물의 윤곽이 이동된 상태를 도시한 도면이다.
도 5는 본 발명의 처리부의 감시 카메라부 및 온도 처리부에 의해 촬영되는 방문객의 온도를 측정하는 상태를 나타낸 카메라부의 화면부를 나타낸 도면이다.
도 6은 본 발명의 영상 처리 장치에 의해 2개의 화면에서 동일 인물을 파악하는 모습을 나타낸 도면이다. 1 is a view of a doorway showing an example of an image processing apparatus of the present invention.
2 is a block diagram of an image processing apparatus of the present invention.
3 is a view showing an object in an image photographed by the image processing apparatus according to the present invention.
4 is a diagram illustrating a state in which the outline of an object is moved at different times after image processing in the monitoring camera unit of the present invention.
5 is a view showing the screen of the camera unit showing a state of measuring the temperature of the visitor photographed by the monitoring camera unit and the temperature processing unit of the processing unit of the present invention.
6 is a diagram illustrating a state in which the same person is recognized on two screens by the image processing apparatus of the present invention.

이하. 본 발명을 실시하기 위한 구체적인 내용을 첨부된 예시 도면에 의거 상세하게 설명한다.Below. Specific content for carrying out the present invention will be described in detail with reference to the accompanying exemplary drawings.

도 1은 본 발명의 영상 처리 장치의 일례를 나타낸 출입구 도면, 도 2는 본 발명의 영상 처리 장치 구성도이다. 1 is a view of a doorway showing an example of an image processing apparatus of the present invention, and FIG. 2 is a configuration diagram of an image processing apparatus of the present invention.

도 1 및 도 2를 참조하면, 본 발명의 영상 처리 장치(10)는 방문객 신원 정보를 등록하기 위한 방문객 등록부(20), 방문객 얼굴을 인식하는 얼굴 인식부(30), 방문객 등록부(20)를 통한 방문객 신원 정보와 방문객 얼굴 정보 및 얼굴 인식부(30)에 의한 인식 결과를 저장하고 통합 관리하는 관리 서버(40)를 포함하여 구성될 수 있다. 1 and 2, the image processing apparatus 10 of the present invention includes a visitor registration unit 20 for registering visitor identity information, a face recognition unit 30 for recognizing a visitor's face, and a visitor registration unit 20. It may be configured to include a management server 40 that stores and integratedly manages visitor identity information, visitor face information, and a result of recognition by the face recognition unit 30 .

방문객은 영상 처리 대상인 대상물의 일례가 될 수 있다. The visitor may be an example of an object that is an image processing target.

방문객 등록부(20)에 저장되는 방문객 신원 정보는 방문객의 얼굴 및 개인 정보(주민등록번호, 주소, 전화번호, 신용 카드 번호 등)일 수 있다. The visitor identity information stored in the visitor register 20 may be a visitor's face and personal information (resident registration number, address, phone number, credit card number, etc.).

방문객 등록부(20)에 방문객 신원 정보를 등록하는 방법은 현장 등록, 인터넷 예약 등록, 단체 등록 등의 방식으로 구현될 수 있다. A method of registering visitor identity information in the visitor register 20 may be implemented in a manner such as on-site registration, Internet reservation registration, group registration, or the like.

현장 등록은 방문객이 방문하는 관광지에서 사전 등록하는 방식으로서, 현장에 구비된 카메라부를 통해 캡쳐한 얼굴 이미지를 저장할 수 있다. On-site registration is a method of pre-registration at a tourist destination visited by a visitor, and a face image captured by a camera unit provided at the site may be stored.

인터넷 예약 등록은 방문객이 소유하고 있는 단말기에 설치된 전용 앱을 통해 등록 절차를 진행할 수 있다. 전용 앱상에서 단말기 소유자의 얼굴 및 신원 정보를 입력하여 저장시키면, 관리 서버(40)에 전송되어 저장될 수 있다. Internet reservation registration can be done through a dedicated app installed on the terminal owned by the visitor. When the terminal owner's face and identity information is input and stored on the dedicated app, it may be transmitted to and stored in the management server 40 .

단체 등록은 안심 콜로 각자의 얼굴 사진을 전송하고, 신원 정보와 함께 등록 절차를 진행할 수 있다. For group registration, you can send each person's face photo through a safe call and proceed with the registration process along with their identity information.

도 1을 참조하면, 방문객이 관광지에 입장하기 위해 출입구(E)를 통과시에는 출입구(E)에 마련된 카메라를 통해 방문객의 얼굴을 인식하고 방문객 등록부(20)에 미리 저장된 얼굴 이미지와 매칭시켜서 일치 여부를 판단할 수 있다. Referring to FIG. 1 , when a visitor passes through an entrance E to enter a tourist attraction, the visitor's face is recognized through a camera provided at the entrance E and matched with a face image stored in advance in the visitor register 20 can determine whether

보다 구체적으로 설명하면, 얼굴 인식부(30)는 방문객의 얼굴 이미지를 캡쳐하는 카메라부(31), 카메라부(31)에서 획득한 영상 이미지를 제공받아 저장하는 저장부(32), 저장부(32)를 통해 방문객 등록부(20)에 등록되어 저장된 방문객의 얼굴 이미지와 매칭시키는 매칭부(33), 매칭부(33)에 의해 매칭 결과에 따라 출입구를 통해 입장 가능 여부를 알려주는 인증부(34)를 포함할 수 있다.More specifically, the face recognition unit 30 includes a camera unit 31 for capturing a face image of a visitor, a storage unit 32 for receiving and storing the video image obtained from the camera unit 31, and a storage unit ( 32), a matching unit 33 that matches the face image of a visitor registered and stored in the visitor registration unit 20, and an authentication unit 34 that notifies whether admission is possible through the entrance or not according to the matching result by the matching unit 33 ) may be included.

저장부(32)는 카메라부(31)에서 획득한 영상 이미지를 통해 출입구를 통과하는 방문객의 출입 시간을 파악하고 데이터로 저장할 수 있다. The storage unit 32 may determine the entry/exit time of the visitor passing through the entrance through the video image acquired by the camera unit 31 and store it as data.

매칭부(33)에 의한 얼굴 이미지 매칭시, 인터넷을 통해 사전 등록한 등록자, 현장 등록자, 단체 등록자의 얼굴 이미지와 매칭할 수 있다.When matching the face image by the matching unit 33, it is possible to match the face image of a registrant who pre-registered through the Internet, a field registrant, and a group registrant.

또한, 관광지 또는 행사장 등에 처리부를 마련하여 상시 영상을 촬영하고, 만일 방문객중에서 코로나 바이러스 감염자가 발생하는 경우, 해당 장소 및 시간대에 감염자 주변 사람들을 인식하여 파악할 수 있다. In addition, a processing unit is provided at a tourist destination or event site to record images at all times, and if a corona virus infection occurs among visitors, people around the infected person can be recognized and identified at the corresponding place and time.

구체적으로 설명하면, 처리부(50)는 관광지 또는 행사장 등의 여러 위치에 설치되는 감시 카메라부(51), 대상물의 온도를 측정할 수 있는 온도 측정부(52)를 포함할 수 있다. More specifically, the processing unit 50 may include a monitoring camera unit 51 installed at various locations such as a tourist attraction or an event site, and a temperature measuring unit 52 capable of measuring the temperature of an object.

방문객의 얼굴 인식을 위한 얼굴 이미지를 시간대별로 저장부(32)에 저장할 수 있다. Face images for recognizing a visitor's face may be stored in the storage unit 32 for each time period.

만일, 현장 방문객중에서 코로나 바이러스 확진자가 발생하는 경우, 해당 확진자의 감염 및 전파 경로를 파악하기 위해, 해당 확진자가 머무른 시간대에 해당하는 영상 이미지를 획득할 수 있다. If a confirmed case of corona virus occurs among on-site visitors, in order to understand the infection and transmission route of the confirmed person, a video image corresponding to the time during which the confirmed person stayed may be acquired.

감시 카메라부(51)에 의해 상시 영상 이미지를 획득하고 있으므로, 해당 확진자의 위치를 파악하기 위해 상시 제공받는 영상 이미지중에서 해당 확진자의 얼굴을 인식하는 작업을 수행할 수 있다. Since the video image is always acquired by the monitoring camera unit 51, it is possible to perform the task of recognizing the face of the confirmed person from among the video images that are always provided in order to determine the location of the confirmed person.

해당 확진자의 얼굴을 인식하기 위해서, 방문객 등록부(20)를 통해 등록된 해당 확진자의 얼굴 이미지를 저장부(32)로부터 불러와서 매칭부(33)를 통해 감시 카메라부(51)에 의해 제공되는 영상 이미지로부터 해당 확진자의 얼굴과 매칭하는 작업을 수행할 수 있다. In order to recognize the face of the confirmed person, the image provided by the monitoring camera unit 51 through the matching unit 33 by retrieving the face image of the confirmed person registered through the visitor registration unit 20 from the storage unit 32 From the image, it is possible to perform matching with the face of the confirmed patient.

감시 카메라부(51)는 FOV(Field of View)에 포착된 대상물(100) 또는 주변 환경(110)을 촬영할 수 있다. The surveillance camera unit 51 may photograph the object 100 or the surrounding environment 110 captured in a Field of View (FOV).

또한, 본 발명은 대상물의 온도를 측정할 수 있는 온도 측정부(52)가 마련될 수 있다.In addition, the present invention may be provided with a temperature measuring unit 52 capable of measuring the temperature of the object.

도 5를 참조하면, 온도 측정부(52)는 대상물(100)에 대면되는 자세로 정렬된 후 비접촉식으로 대상물(100)의 온도를 측정할 수 있다. 온도 측정부(52)에 의해 측정된 대상물(100)의 측정 데이터는 제어부(53)에서 온도로 환산할 수 있다. Referring to FIG. 5 , the temperature measuring unit 52 may measure the temperature of the object 100 in a non-contact manner after being aligned in a posture facing the object 100 . The measurement data of the object 100 measured by the temperature measurement unit 52 may be converted into a temperature by the control unit 53 .

대상물(100) 또는 주변 환경(110)에서 방출되는 적외선이 온도 측정부(52)에 도달될 수 있다. Infrared rays emitted from the object 100 or the surrounding environment 110 may reach the temperature measuring unit 52 .

제어부(53)는 감시 카메라부(51에서 촬영된 영상(310)의 처리를 통하여 대상물(100)의 종류, 측정 위치의 정확성을 판단할 수 있다.The control unit 53 may determine the type of the object 100 and the accuracy of the measurement position through the processing of the image 310 captured by the monitoring camera unit 51 .

제어부(53)는 영상(310)에서 대상물(100)을 추출할 수 있다. 제어부(53)는 영상(310)에서 대상물(100)의 위치를 파악할 수 있다.The controller 53 may extract the object 100 from the image 310 . The controller 53 may determine the position of the object 100 in the image 310 .

감시 카메라부(51)는 제1 시간에 제1 영상(310)을 촬영하고 제2 시간에 제2 영상(310)을 촬영할 수 있다. 제어부(53)는 제1 영상(310)과 제2 영상(310)을 비교하여 일정값 이상 변화가 발생한 픽셀을 움직이는 물체로 인식하며, 제어부(53)는 액츄에이터를 구동하여 온도 측정부(220)를 움직이는 물체에 추종시키고 움직이는 물체의 온도를 측정할 수 있다.The monitoring camera unit 51 may photograph the first image 310 at the first time and photograph the second image 310 at the second time. The controller 53 compares the first image 310 with the second image 310 and recognizes the pixel in which a change of more than a predetermined value has occurred as a moving object, and the controller 53 drives the actuator to measure the temperature. can follow a moving object and measure the temperature of the moving object.

액츄에이터는 온도 측정부(52)를 제1 축 및 제2 축으로 스캔하고, 온도 측정부(52)는 이동되면서 3차원 공간상의 여러 측정 위치로부터의 적외선 도달량을 입수받으며, 제어부(53)는 3차원 공간상의 여러 측정 위치를 감시 카메라부(51)가 촬영한 2차원 영상(310)에 일대일 매핑시키고, 감시 카메라부(51)의 영상(310)의 각 좌표별 적외선 도달량을 영상(310)의 각 좌표별 온도로 환산할 수 있다.The actuator scans the temperature measuring unit 52 in the first axis and the second axis, and while the temperature measuring unit 52 is moved, it receives infrared rays arrival amounts from various measurement positions in three-dimensional space, and the control unit 53 is One-to-one mapping of various measurement positions in the three-dimensional space to the two-dimensional image 310 captured by the monitoring camera unit 51, and the amount of infrared arrival for each coordinate of the image 310 of the monitoring camera unit 51 is measured in the image 310 ) can be converted to the temperature for each coordinate.

제어부(53)는 액츄에이터를 제어하여 온도 측정부(52)를 대상물(100)에 정렬시킬 수 있다.The control unit 53 may control the actuator to align the temperature measuring unit 52 to the object 100 .

감시 카메라부(51)는 대상물(100)을 촬영하고, 대상물(100)의 얼굴 영역(120)를 특정하여 파악되게 할 수 있다. The monitoring camera unit 51 may photograph the object 100 and identify and identify the face region 120 of the object 100 .

감시 카메라부(51)에 의해 획득된 얼굴 영역(120)에 대한 이미지는 얼굴 인식부(30)의 매칭부(33)에서 매칭 작업을 통해 찾고자 하는 대상물과 비교하여 찾을 수 있다. The image of the face region 120 obtained by the monitoring camera unit 51 may be found by comparing it with an object to be found through a matching operation in the matching unit 33 of the face recognition unit 30 .

매칭부(33)에 의한 얼굴 매칭시 매칭 조건은 다음과 같이 설정할 수 있다. When matching the face by the matching unit 33, the matching condition may be set as follows.

얼굴 매칭율의 임계값을 70%로 설정하고, 특정 시간대의 영상 이미지중에서 매칭율이 70% 이상인 경우 매칭 성공으로 간주하고, 50% 미만인 경우에는 매칭 실패로 간주할 수 있다. The threshold of the face matching rate is set to 70%, and if the matching rate among video images of a specific time period is 70% or more, it is considered as a matching success, and when it is less than 50%, it can be considered as a matching failure.

또한, 얼굴 매칭율이 50% ~ 70% 인 경우에는 다시 한번 매칭 작업을 수행할 수 있다. 다시 한번 매칭 작업을 수행한 결과, 매칭율이 70%를 초과하면 매칭 성공으로 간주하고 채택할 수 있다. Also, when the face matching rate is 50% to 70%, the matching operation may be performed again. As a result of performing the matching operation once again, if the matching rate exceeds 70%, it can be regarded as a matching success and adopted.

도 4를 참조하면, 제어부(53)는 제1 영상(310)과 제2 영상(310)을 비교하여 일정값 이상 변화가 발생한 픽셀을 움직이는 물체로 인식할 수 있다. 도 4를 참조하면, 픽셀값에 시간별 변화가 생긴 픽셀만 추출하여 대상물(100)로 인식할 수 있다. 제1 시간의 대상물의 윤곽(311a)가 제2 시간의 대상물의 윤곽(311b)로 변경되었으며, 제어부(53)는 이를 파악하여 주변 환경(110)을 영상(310)에서 제거하고 대상물(100)의 윤곽(311)만으로된 영상(310)을 추출하고 위치나 거리 파악에 활용할 수 있다.Referring to FIG. 4 , the controller 53 may compare the first image 310 and the second image 310 and recognize a pixel in which a change by more than a predetermined value occurs as a moving object. Referring to FIG. 4 , only pixels whose pixel values have changed over time may be extracted and recognized as the object 100 . The outline 311a of the object at the first time is changed to the outline 311b of the object at the second time, and the controller 53 recognizes this and removes the surrounding environment 110 from the image 310 and removes the object 100 from the image 310 . It is possible to extract the image 310 with only the outline 311 of , and use it to determine the location or distance.

주변 환경(110)은 시간에 상관없이 고정된 픽셀이며, 시간에 따라 변화되는 픽셀은 움직이는 물체로 인식할 수 있다. 제어부(53)는 인공 지능 등에 의하여 변화되는 픽셀을 움직이는 물체로 인식하고, 인공 지능 로직 등을 활용하여 움직이는 물체의 윤곽이 사람의 윤곽인지 판단하여 움직이는 물체가 사람 또는 가축인지 판별할 수 있다. 심지어 가축의 경우에도 동일한 돼지 사육 장소라고 하여도 각 돼지의 크키나 윤곽 특성등을 파악하여 서로 다른 돼지를 인식할 수 있다. 이는 돼지가 움직이는 경우에도 가능할 수 있다.The surrounding environment 110 is a fixed pixel regardless of time, and a pixel that changes with time may be recognized as a moving object. The controller 53 may determine whether the moving object is a human or livestock by recognizing a pixel that is changed by artificial intelligence or the like as a moving object, and determining whether the outline of the moving object is a human outline using artificial intelligence logic or the like. Even in the case of livestock, even in the same pig breeding place, different pigs can be recognized by understanding the size and contour characteristics of each pig. This may be possible even when the pig is moving.

제어부(53)는 감시 카메라부(51)의 영상(310)으로부터 사람의 얼굴을 인식하고 액츄에이터를 구동하여 온도 측정부(52)를 얼굴에 조준한 상태로 온도를 측정할 수 있다.The control unit 53 may measure the temperature in a state in which the temperature measuring unit 52 is aimed at the face by recognizing a human face from the image 310 of the monitoring camera unit 51 and driving an actuator.

액츄에이터에 의하여 온도 측정부(52)가 사람의 얼굴을 따라 계속 움직이는 상태에서, 온도 측정부(52)가 사람의 얼굴을 측정할 수 있다. 이 온도는 얼굴의 거리 또는 각도에 따라 실시간 보정될 수 있다.In a state in which the temperature measuring unit 52 continues to move along the face of the person by the actuator, the temperature measuring unit 52 may measure the face of the person. This temperature can be corrected in real time according to the distance or angle of the face.

제어부(53)는 감시 카메라부(51)에서 촬영된 영상(310)으로부터 대상물(100)의 종류와 방사율을 판단하고, 방사율에 따라 온도를 보정할 수 있다.The control unit 53 may determine the type and emissivity of the object 100 from the image 310 captured by the monitoring camera unit 51 , and correct the temperature according to the emissivity.

제어부(53)는 감시 카메라부(51)의 영상(310)으로부터 대상물(100)을 인식하고, 대상물(100)에 따라 적외선을 방사하는 비율인 방사율을 인식하며, 방사율에 따라 적외선 도달량에 의하여 산출된 온도를 보정할 수 있다.The control unit 53 recognizes the object 100 from the image 310 of the monitoring camera unit 51, recognizes the emissivity, which is the ratio of emitting infrared rays according to the object 100, and according to the infrared rays arrival amount according to the emissivity The calculated temperature can be corrected.

따라서, 본 발명은 감시 카메라부(51)에 의해 대상물(100)의 얼굴 영상을 획득한 다음, 미리 저장된 대상물, 예를 들어 관광지 또는 행사장 등의 등록된 방문객에 대한 얼굴 정보와 확진자의 얼굴을 매칭부(33)에서 매칭시켜서 매칭율에 따라 동일 인지 여부를 판단할 수 있다. Therefore, in the present invention, the face image of the object 100 is acquired by the monitoring camera unit 51, and then, the face information of the pre-stored object, for example, a registered visitor of a tourist destination or an event site, and the face of the confirmed person are matched. By matching in the unit 33, it is possible to determine whether they are the same according to the matching rate.

도 6에 도시된 바와 같이, 장소가 다른 2군데(2개의 화면)에서 대상물의 윤곽(311)에 대한 얼굴의 동일 인물 이미지(130)가 파악되면, 해당 시간대 및 장소에 포함된 주변 방문객의 얼굴을 인식하여 방문객 등록부(20)상의 방문객 얼굴과 비교하여 주변 접촉자를 알아낼 수 있다. As shown in FIG. 6 , when the same person image 130 of the face with respect to the outline 311 of the object is identified in two different places (two screens), the faces of nearby visitors included in the corresponding time period and place can be recognized and compared with the visitor's face on the visitor register 20 to find out nearby contacts.

주변 접촉자를 알아내면, 신원 정보를 바로 방문객 등록부(20)로부터 제공받아 확인할 수 있으므로, 감염 전파 방지를 위해 신속하게 대응할 수 있다. If a nearby contact is identified, the identity information can be directly provided from the visitor registration unit 20 and confirmed, so that it is possible to quickly respond to prevent the spread of infection.

본 발명의 영상 처리 장치는 방문객의 신원 정보 및 얼굴, 신체 이미지를 방문객 등록부(20)를 통해 기 등록한 상태에서 이벤트(코로나 19 바이러스 감염자 또는 감염 의심자 발생 등) 발생시, 얼굴 인식부를 통해 매칭 작업을 하여 신속하게 해당자를 찾아낼 수 있고, 주변 접촉자들도 모두 확인이 가능하므로, 감염 확산을 방지할 수 있으며, 이러한 데이터를 빅데이터화해서 관리 서버(40)에 저장해두고 여러 가지로 활용할 수 있다. The image processing apparatus of the present invention performs a matching operation through the face recognition unit when an event (corona 19 virus infection or suspected infection occurrence, etc.) occurs while the visitor's identity information, face, and body image are previously registered through the visitor registration unit 20 In this way, it is possible to quickly find the person concerned, and since it is possible to check all of the nearby contacts, the spread of infection can be prevented, and this data can be converted into big data and stored in the management server 40 and used in various ways.

10... 영상 처리 장치 20... 방문객 등록부
30... 얼굴 인식부 31... 카메라부
32... 저장부 33... 매칭부
34... 인증부 40... 관리 서버
50... 처리부 51... 감시 카메라부
52... 온도 측정부 53... 제어부
100... 대상물 110... 주변 환경
120... 얼굴 영역 130... 동일 인물 이미지
310... 영상 311... 대상물의 윤곽
311a... 제1 영상의 대상물의 윤곽
311b... 제2 영상의 대상물의 윤곽
E... 출입구10... image processing unit 20... visitor register
30... Face Recognition Unit 31... Camera Unit
32... storage unit 33... matching unit
34... authentication unit 40... management server
50... processing unit 51... surveillance camera unit
52... Temperature measuring unit 53... Control unit
100... object 110... surrounding environment
120... Face area 130... Same person image
310... Image 311... Outline of object
311a... Contour of the object of the first image
311b... Contour of the object of the second image
E... doorway

Claims (5)

출입구를 통과하는 방문객 신원 정보를 등록하는 방문객 등록부;
방문객 얼굴을 인식하는 얼굴 인식부;
방문객의 영상 이미지를 처리하는 처리부;
를 포함하고,
상기 처리부에 의해 상기 방문객의 영상을 상기 얼굴 인식부와 비교하여 처리하는 영상 처리 장치.
a visitor register that registers visitor identity information passing through the doorway;
a face recognition unit for recognizing a visitor's face;
a processing unit for processing a visitor's video image;
including,
An image processing apparatus for comparing and processing the image of the visitor with the face recognition unit by the processing unit.
 제1 항에 있어서,
상기 얼굴 인식부는,
방문객의 얼굴 이미지를 캡쳐하는 카메라부,
상기 카메라부에서 획득한 영상 이미지를 제공받아 저장하는 저장부,
상기 저장부를 통해 상기 방문객 등록부에 등록되어 저장된 방문객의 얼굴 이미지와 매칭시키는 매칭부,
상기 매칭부에 의한 매칭 결과에 따라 출입구를 통해 입장 가능 여부를 알려주는 인증부를 포함하는 영상 처리 장치.
According to claim 1,
The face recognition unit,
A camera unit that captures a visitor's face image,
a storage unit for receiving and storing the video image obtained from the camera unit;
a matching unit that matches the face image of the visitor registered and stored in the visitor register through the storage unit;
and an authenticator notifying whether an entrance is possible through a doorway according to a matching result by the matching unit.
 제 1항에 있어서,
상기 처리부는
상기 방문객을 상시 촬영하는 감시 카메라부,
상기 방문객에 대면되는 자세로 정렬된 후 비접촉식으로 상기 방문객의 온도를 측정하는 온도 측정부를 포함하는 영상 처리 장치.
The method of claim 1,
the processing unit
Surveillance camera unit for always photographing the visitor;
and a temperature measuring unit configured to measure the temperature of the visitor in a non-contact manner after being aligned in a posture facing the visitor.
 제2 항에 있어서,
상기 매칭부는
방문객의 얼굴 매칭율의 임계값을 70%로 설정하고, 특정 시간대의 영상 이미지중에서 매칭율이 70% 이상인 경우 매칭 성공으로 간주하며,
50% 미만인 경우에는 매칭 실패로 간주하고,
얼굴 매칭율이 50% ~ 70% 인 경우에는 다시 한번 매칭 작업을 수행하는 영상 처리 장치.
3. The method of claim 2,
The matching unit
Set the threshold of the visitor's face matching rate to 70%, and if the matching rate is 70% or more among the video images of a specific time period, the matching is considered successful.
If it is less than 50%, it is considered as a matching failure,
When the face matching rate is 50% to 70%, the image processing device performs the matching operation once again.
 제1 항에 있어서,
상기 처리부는,
상기 방문객을 상시 촬영하는 감시 카메라부,
상기 감시 카메라부에서 촬영된 영상을 입수하고, 상기 영상에서 상기 방문객을 추출하며, 상기 영상에서 상기 방문객의 위치를 파악하고, 상기 온도 측정부의 측정 데이터를 상기 대상물의 온도로 환산하는 제어부를 포함하는 영상 처리 장치.
According to claim 1,
The processing unit,
Surveillance camera unit for always photographing the visitor;
A control unit for obtaining an image captured by the surveillance camera unit, extracting the visitor from the image, locating the visitor from the image, and converting the measurement data of the temperature measuring unit into the temperature of the object image processing device.
KR1020200140138A 2020-10-27 2020-10-27 Ai based image processing system KR102487033B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200140138A KR102487033B1 (en) 2020-10-27 2020-10-27 Ai based image processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200140138A KR102487033B1 (en) 2020-10-27 2020-10-27 Ai based image processing system

Publications (2)

Publication Number Publication Date
KR20220056280A true KR20220056280A (en) 2022-05-06
KR102487033B1 KR102487033B1 (en) 2023-01-12

Family

ID=81584389

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200140138A KR102487033B1 (en) 2020-10-27 2020-10-27 Ai based image processing system

Country Status (1)

Country Link
KR (1) KR102487033B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101941994B1 (en) * 2018-08-24 2019-01-24 전북대학교산학협력단 System for pedestrian detection and attribute extraction based on a joint deep network
KR102012672B1 (en) * 2019-01-17 2019-08-21 대주씨앤에스 주식회사 Anti-crime system and method using face recognition based people feature recognition
KR102080252B1 (en) * 2019-06-07 2020-02-21 (주)씨유박스 Method and system for gate control using face recognition

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101941994B1 (en) * 2018-08-24 2019-01-24 전북대학교산학협력단 System for pedestrian detection and attribute extraction based on a joint deep network
KR102012672B1 (en) * 2019-01-17 2019-08-21 대주씨앤에스 주식회사 Anti-crime system and method using face recognition based people feature recognition
KR102080252B1 (en) * 2019-06-07 2020-02-21 (주)씨유박스 Method and system for gate control using face recognition

Also Published As

Publication number Publication date
KR102487033B1 (en) 2023-01-12

Similar Documents

Publication Publication Date Title
KR102511084B1 (en) Ai based vision monitoring system
KR102215041B1 (en) Method and system for tracking an object in a defined area
CN107093171B (en) Image processing method, device and system
JP5674307B2 (en) Subject detection system and subject detection method
WO2018096787A1 (en) Person's behavior monitoring device and person's behavior monitoring system
JP7484985B2 (en) Authentication system, authentication method, and program
US20210374426A1 (en) Occupancy control apparatus
CN111460985A (en) On-site worker track statistical method and system based on cross-camera human body matching
JP2017151832A (en) Wait time calculation system
JPWO2020115890A1 (en) Information processing equipment, information processing methods, and programs
CN115346256A (en) Robot searching method and system
CN113688794A (en) Identity recognition method and device, electronic equipment and computer readable storage medium
US20180089500A1 (en) Portable identification and data display device and system and method of using same
US11256910B2 (en) Method and system for locating an occupant
JP7439897B2 (en) Stay management device, stay management method, program and stay management system
KR102487033B1 (en) Ai based image processing system
CN110892412B (en) Face recognition system, face recognition method, and face recognition program
JPWO2021176593A5 (en) Stay management device, stay management method, program and stay management system
KR102099816B1 (en) Method and apparatus for collecting floating population data on realtime road image
KR101355206B1 (en) A count system of coming and going using image analysis and method thereof
JP2013186876A (en) Unmanned determination device, unmanned determination method and unmanned determination program
KR101332820B1 (en) System and Method for Tracking Object, Apparatus for Object Management and Driving Method Thereof, Image Device and Driving Method Thereof
AU2024201525B2 (en) Gate system, gate apparatus, image processing method therefor, program, and arrangement method for gate apparatus
US20180268554A1 (en) Method and system for locating an occupant
KR102248235B1 (en) History management system for a feverish person and a person who contacts on the feverish person

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right