KR102314903B1 - Method And Apparatus for Controlling Building Based on Image - Google Patents
Method And Apparatus for Controlling Building Based on Image Download PDFInfo
- Publication number
- KR102314903B1 KR102314903B1 KR1020210066997A KR20210066997A KR102314903B1 KR 102314903 B1 KR102314903 B1 KR 102314903B1 KR 1020210066997 A KR1020210066997 A KR 1020210066997A KR 20210066997 A KR20210066997 A KR 20210066997A KR 102314903 B1 KR102314903 B1 KR 102314903B1
- Authority
- KR
- South Korea
- Prior art keywords
- sensor
- person
- area
- camera module
- image
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B15/00—Systems controlled by a computer
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66B—ELEVATORS; ESCALATORS OR MOVING WALKWAYS
- B66B5/00—Applications of checking, fault-correcting, or safety devices in elevators
- B66B5/0006—Monitoring devices or performance analysers
- B66B5/0012—Devices monitoring the users of the elevator system
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F24—HEATING; RANGES; VENTILATING
- F24F—AIR-CONDITIONING; AIR-HUMIDIFICATION; VENTILATION; USE OF AIR CURRENTS FOR SCREENING
- F24F11/00—Control or safety arrangements
- F24F11/62—Control or safety arrangements characterised by the type of control or by internal processing, e.g. using fuzzy logic, adaptive control or estimation of values
- F24F11/63—Electronic processing
-
- G06K9/00362—
-
- G06K9/00624—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
- H05B47/10—Controlling the light source
- H05B47/105—Controlling the light source in response to determined parameters
- H05B47/115—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
- H05B47/125—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings by using cameras
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
- Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
- Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection
Abstract
Description
본 발명의 일 실시예는 영상 기반 건물 제어 방법 및 장치에 관한 것이다. An embodiment of the present invention relates to an image-based building control method and apparatus.
이하에 기술되는 내용은 단순히 본 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.The content described below merely provides background information related to the present embodiment and does not constitute the prior art.
건물 에너지소비는 다른 분야와는 달리 건물의 적절한 운용에 의해 효율성이 결정된다. 정보통신기술(ICT: Information and Communication Technology)의 발달로 인해 건물에서의 에너지 정보를 모니터링하고 시스템과 연동하여 제어 및 운영하는 건물에너지 관리시스템(BEMS: Building Energy Management System), 빌딩 자동제어 시스템 등의 기능을 최적화하기 위한 다양한 시도들이 이루어지고 있다.Unlike other fields, building energy consumption is determined by the proper operation of buildings. Due to the development of information and communication technology (ICT), building energy management system (BEMS: Building Energy Management System), building automatic control system, etc. Various attempts have been made to optimize the function.
빌딩 자동제어 시스템은 빌딩이 대형화되고 고급화됨에 따라 급격하게 증가하는 각종 설비들 예컨대, 공조설비, 전기, 방재, 방범, 통신 설비 등을 중앙 통제 센터에서 감시하며 일괄적으로 제어할 수 있다.The automatic building control system can monitor and collectively control various facilities, such as air conditioning facilities, electricity, disaster prevention, crime prevention, communication facilities, etc., which are rapidly increasing as buildings become larger and more advanced, from a central control center.
업무용 빌딩과 같은 중대형 건물은 빌딩 내 설치되는 전력, 조명, 공조시설 등의 각종 서브시스템을 자동으로 제어하는 빌딩 자동제어 시스템이 설치되는 경우가 많다. 빌딩 자동제어 시스템은 냉난방제어시스템 및 조명제어시스템 등을 포함한다.In a medium-to-large building such as a business building, an automatic building control system that automatically controls various subsystems such as electric power, lighting, and air conditioning facilities installed in the building is often installed. The building automatic control system includes a heating and cooling control system and a lighting control system.
최근 신축되는 공공기관 건물에 BEMS의 설치 의무화 등 건물의 운영단계에서 효율적인 에너지 사용과 관리를 위하여 정책적으로 확대되고 있으나 아직까지 일반적인 건물 에너지 관리 시스템은 건물과 각종 설비 및 시스템의 운영과 관련된 상태감시와 기본적인 제어기능 이외에 사용자가 원하는 에너지 소비정보 제공이 미흡한 실정이다.Recently, the policy has been expanded for efficient energy use and management in the operating stage of buildings, such as mandatory installation of BEMS in newly constructed public institution buildings. In addition to basic control functions, the provision of energy consumption information desired by users is insufficient.
빌딩 자동제어 시스템은 실시간 모니터링과 제어를 요구한다. 종래의 냉난방기 자체에 부착된 온도 센서에 의존하여 실내 온도를 조절하거나, 가습기 등의 습도조절장치를 수동으로 조절하여 작동시키는 방식은 실내의 온도 불균형을 초래하거나, 온도가 과도하게 높아지거나 낮은 상태로 가동되는 경우가 많고, 적정 습도를 유지하기 어렵기 때문에 사용자가 냉난방장치 및 습도조절장치를 직접 조작해야 하는 문제가 있다.Building automatic control systems require real-time monitoring and control. The conventional method of controlling the indoor temperature depending on the temperature sensor attached to the air conditioner itself or manually controlling and operating a humidity control device such as a humidifier causes an imbalance in the indoor temperature, or causes the temperature to be excessively high or low. Since it is often operated and it is difficult to maintain proper humidity, there is a problem in that the user has to directly operate the air conditioning system and the humidity control system.
본 실시예는 건물 내에 설치된 멀티 센서로부터 획득한 영상을 기반으로 영상 내 사람을 인지하고, 사람의 움직임 영역과 직전까지 움직임을 감지한 영역을 분리하여 객체의 움직임 방향을 예측하고, 설치 위치마다 사람의 수와 움직임 방향에 따라 건물 설비를 제어할 수 있도록 하는 영상 기반 건물 제어 방법 및 장치를 제공하는 데 목적이 있다.This embodiment recognizes a person in an image based on an image obtained from a multi-sensor installed in a building, separates the movement area of the person from the area where the movement was detected until just before, and predicts the movement direction of the object, An object of the present invention is to provide an image-based building control method and apparatus for controlling building equipment according to the number and direction of movement.
본 실시예의 일 측면에 의하면, 기 설정된 특정 영역을 촬영한 영상 정보를 획득하는 카메라 모듈; 상기 영상 정보로부터 배경 영상과 객체를 각각 분리하여 인지한 후 상기 객체가 사람인지의 여부를 판별하는 사람 판별부; 상기 사람의 수를 카운팅하는 사람 계수부; 상기 사람의 이동성이 확인되면, 상기 이동성을 기반으로 움직임 방향을 산출하는 이동성 판별부; 상기 사람의 이동성을 운동량으로 환산하는 운동량 판별부; 및 상기 사람의 수, 상기 움직임 방향, 상기 운동량을 기반으로 연동하는 건물 설비를 제어하는 건물설비 제어부;를 포함하는 것을 특징으로 하는 멀티 센서를 제공한다.According to an aspect of the present embodiment, there is provided a camera module for acquiring image information of a preset specific area; a person determining unit that separates and recognizes a background image and an object from the image information and determines whether the object is a person; a person counting unit for counting the number of persons; a mobility determining unit for calculating a movement direction based on the mobility when the mobility of the person is confirmed; an exercise amount determining unit for converting the mobility of the person into an exercise amount; and a building equipment control unit for controlling the building equipment interlocking based on the number of people, the movement direction, and the amount of exercise; provides a multi-sensor comprising a.
이상에서 설명한 바와 같이 본 실시예에 의하면, 건물 내에 설치된 멀티 센서로부터 획득한 영상을 기반으로 영상 내 사람을 인지하고, 사람의 움직임 영역과 직전까지 움직임을 감지한 영역을 분리하여 객체의 움직임 방향을 예측하고, 설치 위치마다 사람의 수와 움직임 방향에 따라 건물 설비를 제어할 수 있도록 하는 효과가 있다.As described above, according to this embodiment, a person in an image is recognized based on an image obtained from a multi-sensor installed in a building, and the movement direction of the object is determined by separating the movement area of the person and the area in which the movement was detected just before. It has the effect of predicting and controlling the building equipment according to the number of people and the direction of movement at each installation location.
도 1a,1b는 본 실시예에 따른 단일 카메라 모듈을 탑재한 멀티 센서를 나타낸 도면이다.
도 2a,2b,2c,2d,2e,2f,2g,2h는 본 실시예에 따른 복수의 카메라를 탑재한 멀티 센서를 나타낸 도면이다.
도 3은 본 실시예에 따른 이미지 인식 프로세서를 나타낸 도면이다.
도 4는 본 실시예에 따른 복수의 영역 상에 움직임 감지 영역을 판별하는 방법을 나타낸 도면이다.
도 5는 본 실시예에 따른 촬영된 영상에 대한 이미지 처리 방법을 나타낸 도면이다.
도 6은 본 실시예에 따른 멀티 센서를 이용한 검출 범위를 나타낸 도면이다.
도 7은 본 실시예에 따른 멀티 센서의 내부 모듈을 나타낸 도면이다.
도 8은 본 실시예에 따른 멀티 센서를 이용한 조명 제어 방법을 나타낸 도면이다.
도 9는 본 실시예에 따른 멀티 센서를 이용한 에어컨 제어 방법을 나타낸 도면이다.
도 10은 본 실시예에 따른 멀티 센서를 이용한 엘리베이터 제어 방법을 나타낸 도면이다.
도 11은 본 실시예에 따른 멀티 센서를 이용한 방법 및 방제 방법을 나타낸 도면이다.
도 12는 본 실시예에 따른 객체 이동성에 따라 제어영역을 확장하는 방법을 설명하기 위한 도면이다.
도 13은 본 실시예에 따른 객체의 방향성 탐지 방법을 나타낸 도면이다.
도 14는 본 실시예에 따른 객체의 동일 방향성을 확인하는 방법을 나타낸 도면이다.
도 15는 본 실시예에 따른 비콘과 2차적으로 연동하여 동작하는 방법을 나타낸 도면이다.
도 16은 본 실시예에 따른 비콘과 2차적으로 연동하여 객체 이동의 정확성을 확인하는 방법을 나타낸 도면이다.1A and 1B are diagrams illustrating a multi-sensor equipped with a single camera module according to the present embodiment.
2a, 2b, 2c, 2d, 2e, 2f, 2g, and 2h are diagrams illustrating a multi-sensor equipped with a plurality of cameras according to the present embodiment.
3 is a diagram illustrating an image recognition processor according to the present embodiment.
4 is a diagram illustrating a method of determining a motion detection area on a plurality of areas according to the present embodiment.
5 is a diagram illustrating an image processing method for a photographed image according to the present embodiment.
6 is a view showing a detection range using the multi-sensor according to the present embodiment.
7 is a view showing an internal module of the multi-sensor according to the present embodiment.
8 is a view showing a lighting control method using a multi-sensor according to the present embodiment.
9 is a diagram illustrating a method for controlling an air conditioner using a multi-sensor according to the present embodiment.
10 is a view showing an elevator control method using a multi-sensor according to the present embodiment.
11 is a view showing a method and a control method using a multi-sensor according to the present embodiment.
12 is a diagram for explaining a method of extending a control area according to object mobility according to the present embodiment.
13 is a diagram illustrating a method of detecting the directionality of an object according to the present embodiment.
14 is a diagram illustrating a method of confirming the same directionality of an object according to the present embodiment.
15 is a diagram illustrating a method of operating in secondary linkage with a beacon according to the present embodiment.
16 is a diagram illustrating a method of checking the accuracy of object movement by secondarily interworking with a beacon according to the present embodiment.
이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, this embodiment will be described in detail with reference to the accompanying drawings.
도 1a,1b는 본 실시예에 따른 단일 카메라 모듈을 탑재한 멀티 센서를 나타낸 도면이다.1A and 1B are diagrams illustrating a multi-sensor equipped with a single camera module according to the present embodiment.
멀티 센서(110)는 빌딩의 ZEB(Zero-Energy Building)화, 스마트 웰네스 오피스, 에 플렉서블(Flexible)하게 대응하기 위해서 탑재된다. 여기서, ZEB는 에너지 절약 기술과 재생 에너지 사용과 같은 에너지 조치를 결합하여 운영 단계에서 에너지 소비가 0 또는 일반적으로 0이 되도록 하는 건물을 의미한다.The multi-sensor 110 is mounted in order to respond flexibly to ZEB (Zero-Energy Building) of a building, a smart wellness office. Here, ZEB refers to a building that combines energy-saving technologies with energy measures such as the use of renewable energy to achieve zero, or generally zero, energy consumption during the operational phase.
멀티 센서(110)는 기 설정된 특정 영역을 촬영하기 위한 카메라 모듈(112)을 탑재한다. 멀티 센서(110)는 카메라 모듈(112)을 이용하여 획득한 영상에서 배경 영상과 객체를 각각 인지한다. 멀티 센서(110)는 인지된 객체가 사람인지를 판별한다. 멀티 센서(110)는 사람 수를 카운팅하고, 사람의 이동성을 확인한다.The multi-sensor 110 is equipped with a
멀티 센서(110)는 인지된 사람의 수와 움직임 방향에 따라 연동하는 건물 설비를 제어한다. 멀티 센서(110)는 화상 인식을 위한 별도의 이미지 프로세서(Image Processor)를 탑재한다. 멀티 센서(110)는 고정밀하고 광범위하게 사람을 감지한다. 멀티 센서(110)는 감지된 사람에 대한 정보를 획득한다. 멀티 센서(110)는 획득한 정보를 기반으로 건물 설비(건물 내 조명 설비(810), 냉난방 설비(910), 엘리베이터 설비(1010), 방범 및 방제 설비(1110))에 대한 제어를 지원한다.The multi-sensor 110 controls the building equipment that interworks according to the number of recognized people and the direction of movement. The multi-sensor 110 is equipped with a separate image processor for image recognition. The multi-sensor 110 detects people with high precision and wide range. The multi-sensor 110 acquires information about the sensed person. The multi-sensor 110 supports control of building equipment (inside
멀티 센서(110)는 각각 독립적으로 동작하거나 복수의 개가 하나의 장치와 연결되어 동작할 수 있다. 멀티 센서(110)는 건물 설비(건물 내 조명 설비(810), 냉난방 설비(910), 엘리베이터 설비(1010), 방범 및 방제 설비(1110))와 연동한다. 멀티 센서(110)는 카메라 모듈(112)로부터 수신된 영상 정보를 기반으로 건물 설비(건물 내 조명 설비(810), 냉난방 설비(910), 엘리베이터 설비(1010), 방범 및 방제 설비(1110))를 제어한다. 멀티 센서(110)는 카메라 모듈(112)로부터 영상 정보를 수신한다. 멀티 센서(110)는 영상 정보를 기반으로 건물 설비(건물 내 조명 설비(810), 냉난방 설비(910), 엘리베이터 설비(1010), 방범 및 방제 설비(1110))를 제어한다.The multi-sensor 110 may operate independently of each other, or a plurality of dogs may operate in connection with one device. The multi-sensor 110 interworks with the building equipment (the
멀티 센서(110)는 카메라 모듈(112)로부터 수신된 영상 정보를 이용하여 객실 사용 여부를 시각화한다. 멀티 센서(110)는 실시간 객실 사용에 대한 가시성과 예약 상태 및 실제 가용성을 제공하여 비즈니스 효율성을 높인다. 멀티 센서(110)는 용량과 사용자 수가 일치하는지의 여부를 분석하여 회의 공간을 보다 적절하게 활용할 수 있도록 한다.The multi-sensor 110 uses the image information received from the
멀티 센서(110)는 카메라 모듈(112)로부터 수신된 영상 정보를 이용하여 사무실 사용 여부를 시각화한다. 멀티 센서(110)는 사무실 내 좌석이나 구역에 얼마나 오래 있었는지 시각화하면 대략적인 근무 시간을 파악할 수 있다. 멀티 센서(110)는 사무실 내에 존재하는 객체 움직임과 객체 속도를 기반으로 고정 좌석 수를 줄인다.The multi-sensor 110 visualizes whether the office is used by using the image information received from the
멀티 센서(110)는 상업 시설에 설치되어 카메라 모듈(112)로부터 수신된 영상 정보를 기반으로 사업 시설에 대한 혼잡을 시각화한다. 멀티 센서(110)는 식당에 설치되어 카메라 모듈(112)로부터 수신된 영상 정보를 기반으로 기다리는 인원수와 식당 내 인원 현황을 감지하여 디지털 사이니지에 실시간으로 표시하여 혼잡 수준을 분산할 수 있다. 멀티 센서(110)는 혼잡 수준을 스마트폰에 정보를 배포하여 고객 서비스를 개선할 수 있도록 한다.The multi-sensor 110 is installed in a commercial facility to visualize congestion in a business facility based on image information received from the
멀티 센서(110)는 각종 시설과의 협력을 지원한다. 멀티 센서(110)는 기존의 적외선 센서와 비교하여 광범위하게 미세 움직임을 감지할 수 있으며, 해당 범위 내에서 감지되는 사람 및 활동하고 있는 총 사람의 수를 추정할 수 있다. 멀티 센서(110)는 해당 범위 내에서 사람의 존재하는지의 여부를 결정한 후 거짓 또는 긍정으로 출력하여 출력 프로세스를 줄이고 설정을 단순화할 수 있다. 멀티 센서(110)는 전술한 기능을 다양한 시설과 연계하여 스마트 컨트롤을 실현한다. The multi-sensor 110 supports cooperation with various facilities. The multi-sensor 110 may detect a wide range of micro-movements compared to a conventional infrared sensor, and may estimate the number of people detected and active within a corresponding range. The multi-sensor 110 can reduce the output process and simplify the setting by outputting false or positive after determining whether a person exists within the corresponding range. The multi-sensor 110 realizes smart control by linking the above-described functions with various facilities.
멀티 센서(110)는 단일 카메라 모듈(112)을 포함하여 구현될 수 있다. 카메라 모듈(112)은 고해상도 컬러 카메라로서, 그레이 스케일 카메라를 지원한다. 예컨대, 카메라 모듈(112)은 최대 130만 픽셀을 지원한다. 카메라 모듈(112)은 색상 인식을 수행하여 물체 인식률을 향상시킨다. 여기서, 단일 카메라 모듈(112)은 기 설정된 전체 영역(120)을 촬영한 영상 데이터를 획득한다.The multi-sensor 110 may be implemented by including a
건물 설비는 건물 내 조명 설비(810), 냉난방 설비(910), 엘리베이터 설비(1010), 방범 및 방제 설비(1110) 중 적어도 하나 이상의 설비를 포함한다.The building equipment includes at least one of the
도 2a,2b,2c,2d,2e,2f,2g,2h는 본 실시예에 따른 복수의 카메라를 탑재한 멀티 센서를 나타낸 도면이다.2a, 2b, 2c, 2d, 2e, 2f, 2g, and 2h are diagrams illustrating a multi-sensor equipped with a plurality of cameras according to the present embodiment.
본 실시예에 따른 멀티 센서(110)는 복수의 카메라 모듈(112-1,112-2,112-3,112-4)을 포함하여 구현될 수 있다. 멀티 센서(110)는 제1 카메라 모듈(112-1), 제2 카메라 모듈(112-2), 제3 카메라 모듈(112-3), 제4 카메라 모듈(112-4)을 포함한다.The multi-sensor 110 according to the present embodiment may be implemented to include a plurality of camera modules 112-1, 112-2, 112-3, and 112-4. The multi-sensor 110 includes a first camera module 112-1, a second camera module 112-2, a third camera module 112-3, and a fourth camera module 112-4.
이미지 인식 프로세서는 최대 4대의 제1 카메라 모듈(112-1), 제2 카메라 모듈(112-2), 제3 카메라 모듈(112-3), 제4 카메라 모듈(112-4)과 연결 가능하다. 이미지 인식 프로세서는 최대 4대의 제1 카메라 모듈(112-1), 제2 카메라 모듈(112-2), 제3 카메라 모듈(112-3), 제4 카메라 모듈(112-4)을 동시에 연결할 수 있으며, 4개의 제1 카메라 모듈(112-1), 제2 카메라 모듈(112-2), 제3 카메라 모듈(112-3), 제4 카메라 모듈(112-4)로부터 각각 획득한 이미지 데이터를 합성하여 하나의 영상인 합성 데이터(200)를 생성한다.The image recognition processor can be connected to up to four first camera modules 112-1, second camera modules 112-2, third camera modules 112-3, and fourth camera modules 112-4. . The image recognition processor can connect up to four first camera modules 112-1, second camera modules 112-2, third camera modules 112-3, and fourth camera modules 112-4 simultaneously. and image data obtained from each of the four first camera modules 112-1, the second camera module 112-2, the third camera module 112-3, and the fourth camera module 112-4. The synthesized
이미지 인식 프로세서는 저전력을 소비하면서, 고성능으로 이미지를 인식한다. 이미지 인식 프로세서는 0.15 GHz ~ 0.266 GHz에서 동작하는 MPE(Media Processing Engine)와 복수의 이미지 처리 가속기 통합하여 향상된 성능으로 대상 객체를 감지한다. The image recognition processor recognizes images with high performance while consuming low power. The image recognition processor integrates a Media Processing Engine (MPE) operating at 0.15 GHz to 0.266 GHz and multiple image processing accelerators to detect target objects with improved performance.
제1 카메라 모듈(112-1), 제2 카메라 모듈(112-2), 제3 카메라 모듈(112-3), 제4 카메라 모듈(112-4)은 기 설정된 특정 영역을 촬영한 영상 정보를 각각 획득한다.The first camera module 112-1, the second camera module 112-2, the third camera module 112-3, and the fourth camera module 112-4 display image information of a preset specific area. get each
카메라 모듈(120)은 제1 카메라 모듈(112-1), 제2 카메라 모듈(112-2), 제3 카메라 모듈(112-3), 제4 카메라 모듈(112-4)을 포함한다. 제1 카메라 모듈(112-1)은 제1 영역(210)을 촬영하여 제1 영상 데이터를 획득한다. 제2 카메라 모듈(112-2)은 제2 영역(220)을 촬영하여 제2 영상 데이터를 획득한다. 제3 카메라 모듈(112-3)은 제3 영역(230)을 촬영하여 제3 영상 데이터를 획득한다. 제4 카메라 모듈(112-4)은 제4 영역(240)을 촬영하여 제4 영상 데이터를 획득한다. The
제1 영역(210), 제2 영역(220), 제3 영역(230), 제4 영역(240)은 일부 영역이 중첩되는 중첩 영역(330)을 갖는다.The
도 2a 내지 도 2f에 도시된 바와 같이, 멀티 센서(110)는 검출 범위 중 사람이 중앙 영역에서 판별되는 경우 제1 카메라 모듈(112-1), 제2 카메라 모듈(112-2), 제3 카메라 모듈(112-3), 제4 카메라 모듈(112-4) 중 일부를 선택적으로 동작하도록 제어한다.As shown in FIGS. 2A to 2F , the multi-sensor 110 includes a first camera module 112-1, a second camera module 112-2, and a third when a person is determined in the central area of the detection range. Some of the camera module 112-3 and the fourth camera module 112-4 are controlled to selectively operate.
다시 말해, 도 2a에 도시된 바와 같이, 멀티 센서(110)는 검출 범위 중 사람이 제1 영역(210)에서 판별되는 경우 제1 카메라 모듈(112-1)만을 선택적으로 동작하도록 제어한다. 도 2b에 도시된 바와 같이, 멀티 센서(110)는 검출 범위 중 사람이 제2 영역(220)에서 판별되는 경우 제2 카메라 모듈(112-2)만을 선택적으로 동작하도록 제어한다. 도 2c에 도시된 바와 같이, 멀티 센서(110)는 검출 범위 중 사람이 제3 영역(230)에서 판별되는 경우 제3 카메라 모듈(112-3)만을 선택적으로 동작하도록 제어한다. 도 2d에 도시된 바와 같이, 멀티 센서(110)는 검출 범위 중 사람이 제4 영역(240)에서 판별되는 경우 제4 카메라 모듈(112-4)만을 선택적으로 동작하도록 제어한다.In other words, as shown in FIG. 2A , the multi-sensor 110 selectively operates only the first camera module 112-1 when a person is determined in the
도 2f에 도시된 바와 같이, 멀티 센서(110)는 검출 범위 중 사람이 제1 영역(210)과 제2 영역(220)에서 판별되는 경우 제1 카메라 모듈(112-1)과 제2 카메라 모듈(112-2)만을 선택적으로 동작하도록 제어한다.As shown in FIG. 2f , the multi-sensor 110 includes a first camera module 112-1 and a second camera module when a person is determined in the
도 2g에 도시된 바와 같이, 멀티 센서(110)는 검출 범위 중 사람이 모서리 영역 또는 끝단 영역에서 판별되는 경우 제1 카메라 모듈(112-1), 제2 카메라 모듈(112-2), 제3 카메라 모듈(112-3), 제4 카메라 모듈(112-4) 전체가 동작하도록 제어한다.As shown in FIG. 2G , the multi-sensor 110 includes a first camera module 112-1, a second camera module 112-2, and a third when a person is determined in a corner area or an end area of the detection range. The camera module 112-3 and the fourth camera module 112-4 are all controlled to operate.
도 2h에 도시된 바와 같이, 멀티 센서(110)는 사람이 모서리 영역 또는 끝단 영역에서 판별되는 경우, 제1 카메라 모듈(112-1), 제2 카메라 모듈(112-2), 제3 카메라 모듈(112-3), 제4 카메라 모듈(112-4)이 확장 영역(210-2,220-2,230-2,240-2)을 갖도록 제어한다. 여기서, 멀티 센서(110)는 제1 카메라 모듈(112-1), 제2 카메라 모듈(112-2), 제3 카메라 모듈(112-3), 제4 카메라 모듈(112-4)이 확장 영역(210-2,220-2,230-2,240-2)을 갖도록 각 카메라 모듈의 각도를 조절한다.As shown in Fig. 2h, the multi-sensor 110 is a first camera module 112-1, a second camera module 112-2, and a third camera module when a person is determined in a corner area or an end area. (112-3), the fourth camera module 112-4 is controlled to have the extended areas 210-2, 220-2, 230-2, and 240-2. Here, in the multi-sensor 110, the first camera module 112-1, the second camera module 112-2, the third camera module 112-3, and the fourth camera module 112-4 are extended areas. Adjust the angle of each camera module to have (210-2,220-2,230-2,240-2).
도 3은 본 실시예에 따른 이미지 인식 프로세서를 나타낸 도면이다.3 is a diagram illustrating an image recognition processor according to the present embodiment.
멀티 센서(110)는 탑재된 복수의 카메라 모듈(112-1,112-2,112-3,112-4)을 이용하여 획득한 복수의 영상을 하나의 데이터로 합성한 합성 데이터(200)를 생성한다. 멀티 센서(110)는 합성 데이터(200)를 복수의 영역으로 분할한다. 멀티 센서(110)는 분할 영역 내에서 움직임 감지 영역(310)과 직전까지 움직임 감지 영역(320)으로 구분한다.The multi-sensor 110 generates synthesized
멀티 센서(110)는 복수의 분할 영역마다 사람이 존재하는 지의 여부를 감지한다. 멀티 센서(110)는 분할 영역마다 사람이 존재하는 경우, 해당 영역이 움직임 감지 영역(310)과 직전까지 움직임 감지 영역(320)으로 구분한다.The multi-sensor 110 detects whether a person is present in each of the plurality of divided areas. When a person is present in each divided area, the multi-sensor 110 divides the corresponding area into a
멀티 센서(110)는 촬상한 화상에 기초하여 복수의 분할 영역마다 사람의 존재 유무를 검지한다. 멀티 센서(110)는 분할 영역 중 사람 존재 영역마다, 움직임 감지 영역(310)과 직전까지 움직임 감지 영역(320)으로 구분하여 사람의 이동량과 운동량을 확인한다.The multi-sensor 110 detects the presence or absence of a person in each of the plurality of divided areas based on the captured image. The multi-sensor 110 divides each human presence area into a
멀티 센서(110)는 복수의 분할 영역 각각에서 직전까지 움직임 감지 영역(320)의 유지 시간과 움직임 감지 영역(310)의 유지 시간을 기반으로 운동량을 산출한다. 멀티 센서(110)는 운동량을 기반으로 CO2 농도를 산출한다. 멀티 센서(110)는 직전까지 움직임 감지 영역(320)에서 움직임 감지 영역(310)으로 변경 여부에 따라 사람의 이동량을 산출한다.The multi-sensor 110 calculates an exercise amount based on the holding time of the
멀티 센서(110)는 복수의 분할 영역에 포함되는 한 개 이상의 움직임 감지 영역(310)과 한 개 이상의 직전까지 움직임 감지 영역(320)을 매칭시키거나 한 개 이상의 직전까지 움직임 감지 영역(320)을 한 개 이상의 움직임 감지 영역(310)으로 매칭시킨다.The multi-sensor 110 matches one or more
멀티 센서(110)는 움직임 감지 영역(310)에서 직전까지 움직임 감지 영역(320)으로 전환되는 전환 영역을 추출한다. 멀티 센서(110)는 전환 영역을 기반으로 사람의 이동량과 운동량을 확인한다. 멀티 센서(110)는 전환 영역을 사이즈 또는 영역 개수를 기반으로 사람의 이동량과 운동량을 확인한다. 멀티 센서(110)는 복수의 분할 영역 중 움직임 미감지 영역을 오프 영역(340)으로 설정한다.The multi-sensor 110 extracts a transition region converted from the
멀티 센서(110)는 탐지 영역을 분할한 복수의 분할 영역마다, 사람의 존재 유무를 검지한다. 멀티 센서(110)는 복수의 분할 영역 각각을 복수의 카메라 모듈(112-1,112-2,112-3,112-4)을 이용하여 탐지한다. 멀티 센서(110)는 탐지 영역의 복수의 분할 영역마다, 사람의 존재 유무를 검지하는 검지 기능의 온오프를 전환할 수 있다. 멀티 센서(110)는 분할 영역 상의 탐지 영역을 직사각형으로 형태로 인지한다.The multi-sensor 110 detects the presence or absence of a person in each of the plurality of divided areas into which the detection area is divided. The multi-sensor 110 detects each of a plurality of divided regions using a plurality of camera modules 112-1, 112-2, 112-3, and 112-4. The multi-sensor 110 may switch on/off of a detection function for detecting the presence or absence of a person for each of the plurality of divided areas of the detection area. The multi-sensor 110 recognizes the detection area on the divided area in the form of a rectangle.
도 4는 본 실시예에 따른 복수의 영역 상에 움직임 감지 영역을 판별하는 방법을 나타낸 도면이다.4 is a diagram illustrating a method of determining a motion detection area on a plurality of areas according to the present embodiment.
멀티 센서(110)는 사람을 인식하기 위한 고정밀 이미지 인식 프로세서를 장착한다. 멀티 센서(110)에 탑재된 이미지 인식 프로세서를 이용하여 카메라 모듈(112-1,112-2,112-3,112-4)로부터 획득한 영상 정보를 실시간으로 처리하여 사람 수와 사람의 움직임 방향을 인식한다.The multi-sensor 110 is equipped with a high-precision image recognition processor for recognizing a person. The image information acquired from the camera modules 112-1, 112-2, 112-3, and 112-4 is processed in real time using the image recognition processor mounted on the multi-sensor 110 to recognize the number of people and the direction of movement of the people.
멀티 센서(110)에 탑재된 이미지 인식 프로세서는 통합된 지능형 카메라로서, 카메라 모듈(112-1,112-2,112-3,112-4)로부터 획득한 입력 이미지를 처리하고 인간, 머리, 팔 및 기타 객체의 움직임을 감지한다.The image recognition processor mounted on the multi-sensor 110 is an integrated intelligent camera, which processes the input images obtained from the camera modules 112-1, 112-2, 112-3, and 112-4 and controls the movement of humans, heads, arms and other objects. detect
일반적인 광역 감시 시스템에서 이용하는 중앙 집중식 이미지 인식 서버처럼 복수의 네트워크 카메라로부터 동시에 이미지를 획득하는 계산에 과부하가 걸릴 수 있다. 본 실시예에 따른 멀티 센서(110)에 탑재된 이미지 인식 프로세서는 지능형 카메라를 이용하여 카메라 모듈(112-1,112-2,112-3,112-4)에서 이미지를 처리할 수 있다. 이미지 인식 프로세서는 시스템에 사용되는 PC의 전력 소비를 줄이면서 다양한 이미지 처리 작업을 고속으로 수행한다. 이미지 인식 프로세서는 펌웨어를 수정에 따라 안 기능으로 사람 감지, 얼굴 인식, 표정 인식으로 특정 사람을 검출할 수 있다. 이미지 인식 프로세서는 카메라 모듈(112-1,112-2,112-3,112-4)을 이용하여 획득한 각 영상 프레임 내 존재하는 사람을 출력하는 장면만을 빠르게 추출한다.Like a centralized image recognition server used in a general wide area surveillance system, the calculation of simultaneously acquiring images from a plurality of network cameras may be overloaded. The image recognition processor mounted on the multi-sensor 110 according to the present embodiment may process images in the camera modules 112-1, 112-2, 112-3, and 112-4 using an intelligent camera. The image recognition processor performs various image processing tasks at high speed while reducing the power consumption of the PC used in the system. The image recognition processor may detect a specific person by human detection, face recognition, and facial expression recognition as an eye function according to firmware revision. The image recognition processor quickly extracts only a scene outputting a person present in each image frame acquired using the camera modules 112-1, 112-2, 112-3, and 112-4.
이미지 인식 프로세서는 사람 인식에 적합한 이미지 처리 프로세서를 포함한다. 이미지 인식 프로세서는 조도가 낮은 상황에서 보행자 보행자를 감지할 수 있다. 이미지 인식 프로세서는 인식된 대상 객체의 색조, 색상을 인식한다. The image recognition processor includes an image processing processor suitable for human recognition. The image recognition processor may detect pedestrians in low-light situations. The image recognition processor recognizes the hue and color of the recognized target object.
멀티 센서(110)는 복수의 카메라 모듈(112-1,112-2,112-3,112-4)(예컨대, 최대 4대)을 동시에 연결할 수 있다. 멀티 센서(110)는 복수의 카메라 모듈(112-1,112-2,112-3,112-4)로부터 획득한 영상 정보로부터 캡처한 이미지를 하나로 합성한 합성 데이터(200)로부터 사람을 인지하고, 사람의 이동방향을 검출할 수 있다.The multi-sensor 110 may simultaneously connect a plurality of camera modules 112-1, 112-2, 112-3, and 112-4 (eg, up to four). The multi-sensor 110 recognizes a person from the
이미지 인식 프로세서는 복수의 카메라 모듈(112-1,112-2,112-3,112-4)을 지원하며, 복수의 카메라 모듈(112-1,112-2,112-3,112-4)로부터 획득된 복수의 대상 객체를 동시에 감지한다. 이미지 인식 프로세서는 사람 인식에 적합한 원본 이미지 처리 가속기를 포함한다. 이미지 인식 프로세서는 HOG(Histogram of Oriented Gradients)을 이용하여 원본 이미지를 처리하며, 야간 및 주간에서 실시간으로 사람을 감지한다. 이미지 인식 프로세서는 HOG을 이용하여 조명 변화 및 작은 변형을 파악하여 사람을 감지한다.The image recognition processor supports a plurality of camera modules 112-1, 112-2, 112-3, and 112-4, and simultaneously detects a plurality of target objects obtained from the plurality of camera modules 112-1, 112-2, 112-3, and 112-4. The image recognition processor includes an original image processing accelerator suitable for human recognition. The image recognition processor processes the original image using the Histogram of Oriented Gradients (HOG), and detects people in real time at night and during the day. The image recognition processor uses HOG to detect changes in lighting and small deformations to detect people.
이미지 인식 프로세서는 카메라 기반 비전 시스템을 이용하여 사람을 인식하는 애플리케이션용 이미지 인식 프로세서를 포함한다. 이미지 인식 프로세서는 야간 및 주간 모두 실시간으로 보행자를 감지한다.The image recognition processor includes an image recognition processor for an application that recognizes a person using a camera-based vision system. The image recognition processor detects pedestrians in real time, both at night and during the day.
도 4에 도시된 바와 같이, 멀티 센서(110)는 사무실에 앉아서 근무하는 사람을 인지한 경우, 복수의 분할 영역 중 앉아있는 사람을 인지한다. 멀티 센서(110)는 복수의 카메라 모듈(112-1,112-2,112-3,112-4)을 이용하여 사무실 천장에 설치되므로, 천장에서 탑뷰(Top View)로 사무실에 앉아서 근무하는 사람을 촬영한다. As shown in FIG. 4 , when the multi-sensor 110 recognizes a person who works while sitting in an office, the multi-sensor 110 recognizes a sitting person among a plurality of divided areas. Since the multi-sensor 110 is installed on the ceiling of the office using a plurality of camera modules 112-1, 112-2, 112-3, and 112-4, a person sitting in the office and working is photographed from the ceiling in a Top View.
멀티 센서(110)는 복수의 카메라 모듈(112-1,112-2,112-3,112-4)로부터 획득한 영상을 합성하여 합성 데이터(200)를 생성한 후 합성 데이터(200)를 복수로 분할하여 분할 영역을 생성한다. 멀티 센서(110)는 분할 영역 중 사람을 감지한 후 움직임 감지 영역(310)과 직전까지 움직임 감지 영역(320)을 구분한다. 예컨대, 멀티 센서(110)는 사무실에 앉아서 근무하는 사람을 직전까지 움직임 감지 영역(320)으로 인지하고, 사무실에 앉아서 근무하는 사람의 손이 타이핑하거나 마우스를 움직이는 경우, 손이 위치하는 영역만 움직임 감지 영역(310)으로 인지한다.The multi-sensor 110 generates synthesized
멀티 센서(110)는 사무실에 앉아서 근무하는 사람의 손만 움직이는 경우, 손이 위치하는 영역만 움직임 감지 영역(310)으로 판별하여 움직임이 적은 것으로 인지한다. 멀티 센서(110)는 사무실에 앉아서 근무하는 사람의 머리 부분이 움직이는 경우, 해당 객체가 이동하는 것으로 산출한다.When the multi-sensor 110 moves only the hand of a person who sits in the office and works, only the area where the hand is located is determined as the
도 5는 본 실시예에 따른 촬영된 영상에 대한 이미지 처리 방법을 나타낸 도면이다.5 is a diagram illustrating an image processing method for a photographed image according to the present embodiment.
멀티 센서(110)는 카메라 모듈(112-1,112-2,112-3,112-4)을 이용하여 복수의 영상을 획득한다. 멀티 센서(110)는 복수의 영상을 하나의 영상으로 합성한 합성 데이터(200)를 생성한다. 멀티 센서(110)는 합성 데이터(200)에 대해 소정의 전처리(pre-processing)를 수행한다.The multi-sensor 110 acquires a plurality of images by using the camera modules 112-1, 112-2, 112-3, and 112-4. The multi-sensor 110 generates synthesized
멀티 센서(110)는 동영상 모드로 동작하는 이미지 처리를 수행한다. 멀티 센서(110)는 합성 데이터(200)를 입력받아 소정의 전처리(preprocessing)를 수행한다. 멀티 센서(110)는 합성 데이터(200)의 각 픽셀의 결함(Defect)을 보정하기 위한 처리와 이미지 센서의 렌즈의 가장자리에서의 왜곡을 보정하기 위한 렌즈 세이딩(lens shading)을 수행한다. 멀티 센서(110)는 이미지 전처리를 위해 각 픽셀당 R(Red), G(Green), B(Blue) 값 중 하나만을 가진다.The multi-sensor 110 performs image processing operating in a video mode. The multi-sensor 110 receives the synthesized
멀티 센서(110)는 이미지 전처리를 수행한 RGB 이미지 데이터를 소정 비율로 이미지 크기를 줄이는 다운 스케일링을 수행한다. 멀티 센서(110)는 전처리를 거친 RGB 이미지 데이터를 홀수 라인 또는 짝수 라인만을 선택하여 1/2 사이즈로 다운 스케일링하거나 10라인마다 한 개 라인만을 선택하여 1/10로 다운 스케일링할 수 있다. The multi-sensor 110 down-scaling the RGB image data on which the image pre-processing has been performed to reduce the image size by a predetermined ratio. The multi-sensor 110 may downscale the pre-processed RGB image data to 1/2 size by selecting only odd or even lines, or downscale to 1/10 by selecting only one line for every 10 lines.
멀티 센서(110)는 이미지 보간을 위해 다운 스케일링된 베이어(Bayer) 포맷의 RGB 데이터의 각 픽셀을 주변 픽셀값을 이용하여 보간(interpolation)한다. 멀티 센서(110)는 RGB 감마 보정을 위해 보간 처리된 데이터에 대해서 RGB 감마 보정(gamma correction)을 수행한다. 멀티 센서(110)는 YC 변환을 위해 RGB 영역의 데이터를 휘도(Y)-색차(Chroma) 영역의 데이터로 칼라 영역 변환(Color space conversion)을 수행한다. The multi-sensor 110 interpolates each pixel of down-scaled Bayer format RGB data for image interpolation using surrounding pixel values. The multi-sensor 110 performs RGB gamma correction on interpolated data for RGB gamma correction. The multi-sensor 110 performs color space conversion from RGB data to luminance (Y)-chroma data for YC conversion.
멀티 센서(110)는 YC 변환을 위해 밝기 정보 등의 이미지 특성 정보를 이용하여 화질을 개선할 수 있다. 멀티 센서(110)는 잡음 필터를 위해 YC 영역 데이터의 잡음을 줄이기 위한 필터링을 수행한다. The multi-sensor 110 may improve image quality by using image characteristic information such as brightness information for YC conversion. The multi-sensor 110 performs filtering to reduce noise of YC region data for a noise filter.
멀티 센서(110)는 소정의 이미지 특성을 나타내는 파라미터를 추출하여 오토 포커싱(Auto Focusing; AF), 자동 노출(Auto Exposure; AE), 오토 화이트 밸런싱(Auto White Balancing; AWB) 처리를 수행한다. The multi-sensor 110 extracts a parameter representing a predetermined image characteristic, and performs auto focusing (AF), auto exposure (AE), and auto white balancing (AWB) processes.
파라미터는 전처리된 데이터로부터 추출되는 이미지 전체 픽셀 영역에 대한 밝기값, 또는 전체 픽셀 영역을 소정 개수로 분할한 분할 영역의 밝기값이 될 수 있다. 밝기값은 평균값이 될 수 있다. The parameter may be a brightness value of the entire pixel area of an image extracted from preprocessed data, or a brightness value of a divided area obtained by dividing the entire pixel area into a predetermined number. The brightness value may be an average value.
파라미터는 보간 처리된 이미지의 전체 픽셀 영역에 대한 밝기값, 또는 전체 픽셀 영역을 소정 개수로 분할한 분할 영역의 밝기값이 될 수 있다. 파라미터는 출력 이미지의 전체 픽셀 영역에 대한 밝기값, 또는 전체 픽셀 영역을 소정 개수로 분할한 분할 영역의 밝기값이 될 수 있다. 파라미터는 밝기값 이외의 색차 성분(Cb, Cr)의 평균값등을 포함하는 다른 이미지 특성 정보를 추가로 포함할 수 있다. The parameter may be a brightness value of the entire pixel area of the interpolated image or a brightness value of a divided area obtained by dividing the entire pixel area into a predetermined number. The parameter may be a brightness value of the entire pixel area of the output image or a brightness value of a divided area obtained by dividing the entire pixel area into a predetermined number. The parameter may further include other image characteristic information including the average value of the color difference components (Cb, Cr) other than the brightness value.
멀티 센서(110)는 출력된 YC 데이터를 제공받아 후처리(post processing)를 수행한다. 멀티 센서(110)는 후처리를 위해 YC 데이터에 대한 칼라 보정(Color Correction), 얼굴 검출, 표정 검출 동작을 수행할 수 있다.The multi-sensor 110 receives the output YC data and performs post processing. The multi-sensor 110 may perform color correction, face detection, and expression detection operations on YC data for post-processing.
멀티 센서(110)는 정지된 스틸 이미지 모드로 동작하는 이미지 처리를 수행한다. 멀티 센서(110)는 카메라 모듈(112-1,112-2,112-3,112-4)로부터 스틸 이미지를 입력받아 처리한다. 멀티 센서(110)는 스틸 이미지를 입력받아 소정의 전처리(preprocessing)를 수행한다. 멀티 센서(110)는 전처리 수행을 위해 스틸 이미지의 각 픽셀의 결함(Defect)을 보정하기 위한 처리와 이미지 센서의 렌즈의 가장자리에서의 왜곡을 보정하기 위한 렌즈 세이딩(lens shading)을 수행한다. 멀티 센서(110)는 각 픽셀당 R(Red), G(Green), B(Blue) 값 중 하나만을 포함하는 전처리된 데이터를 출력한다.The multi-sensor 110 performs image processing operating in a still image mode. The multi-sensor 110 receives and processes still images from the camera modules 112-1, 112-2, 112-3, and 112-4. The multi-sensor 110 receives a still image and performs predetermined preprocessing. The multi-sensor 110 performs processing for correcting defects of each pixel of the still image and lens shading for correcting distortion at the edge of the lens of the image sensor to perform pre-processing. The multi-sensor 110 outputs preprocessed data including only one of R (Red), G (Green), and B (Blue) values for each pixel.
멀티 센서(110)는 소정의 스틸 이미지 특성을 나타내는 파라미터를 추출하여 오토 포커싱(Auto Focusing; AF), 자동 노출(Auto Exposure; AE), 오토 화이트 밸런싱(Auto White Balancing; AWB) 처리를 수행한다. The multi-sensor 110 extracts parameters representing predetermined still image characteristics and performs auto focusing (AF), auto exposure (AE), and auto white balancing (AWB) processes.
멀티 센서(110)는 전처리된 이미지 전체 픽셀 영역에 대한 밝기값(평균값) 또는 전체 픽셀 영역을 소정 개수로 분할한 분할 영역의 밝기값을 포함하는 파라미터를 추출한다.The multi-sensor 110 extracts a parameter including a brightness value (average value) of the entire pixel area of the preprocessed image or a brightness value of a divided area obtained by dividing the entire pixel area into a predetermined number.
파라미터는 보간 처리된 스틸 이미지의 전체 픽셀 영역에 대한 밝기값, 또는 전체 픽셀 영역을 소정 개수로 분할한 분할 영역의 밝기값을 포함한다. 파라미터는 RGB 감마가 보정된 스틸 이미지 또는 YC가 변환된 스틸 이미지의 전체 픽셀 영역에 대한 밝기값 또는 전체 픽셀 영역을 소정 개수로 분할한 분할 영역의 밝기값을 포함한다. 파라미터는 밝기값 이외의 색차 성분(Cb, Cr)의 평균값 등과 같은 다른 이미지 특성 정보를 추가로 포함한다. The parameter includes a brightness value of the entire pixel area of the interpolated still image or a brightness value of a divided area obtained by dividing the entire pixel area into a predetermined number. The parameter includes a brightness value of an entire pixel region of a still image in which RGB gamma is corrected or a still image in which YC is converted, or a brightness value of a divided region obtained by dividing the entire pixel region into a predetermined number. The parameter further includes other image characteristic information such as the average value of the color difference components (Cb, Cr) other than the brightness value.
멀티 센서(110)는 전처리된 스틸 이미지를 읽어들여 소프트웨어적으로 RGB 보간, RGB 감마 보정, YC 변환 및 잡음 필터링을 수행하여 YC 데이터를 생성한다. 멀티 센서(110)는 전처리된 베이어(Bayer) 포맷의 RGB 데이터의 각 픽셀을 주변 픽셀값을 이용하여 보간(interpolation)한다. 멀티 센서(110)는 RGB 보간(interpolation) 처리에 의하여 각 픽셀당 R(Red), G(Green), B(Blue) 값 중 하나만을 가지는 각 픽셀당 R(Red), G(Green) 및 B(Blue) 값을 포함하도록 한다.The multi-sensor 110 reads the pre-processed still image and performs RGB interpolation, RGB gamma correction, YC conversion, and noise filtering in software to generate YC data. The multi-sensor 110 interpolates each pixel of the pre-processed Bayer format RGB data using neighboring pixel values. The multi-sensor 110 has only one of R(Red), G(Green), and B(Blue) values for each pixel by RGB interpolation processing, R(Red), G(Green) and B for each pixel. (Blue) value should be included.
멀티 센서(110)는 보간 처리된 데이터에 대해서 RGB 감마 보정(gamma correction)을 수행한다. 멀티 센서(110)는 RGB 영역의 데이터를 휘도(Y)-색차(Chroma) 영역의 데이터로 칼라 영역 변환(Color space conversion)을 수행한다. 멀티 센서(110)는 밝기 정보 등의 이미지 특성 정보를 이용하여 화질을 개선할 수 있다. 멀티 센서(110)는 YC 영역 데이터의 잡음을 줄이기 위한 필터링을 수행한다.The multi-sensor 110 performs RGB gamma correction on the interpolated data. The multi-sensor 110 performs color space conversion from data in the RGB region to data in the luminance (Y)-chroma region. The multi-sensor 110 may improve image quality by using image characteristic information such as brightness information. The multi-sensor 110 performs filtering to reduce noise of the YC area data.
도 6은 본 실시예에 따른 멀티 센서를 이용한 검출 범위를 나타낸 도면이다.6 is a view showing a detection range using the multi-sensor according to the present embodiment.
카메라 모듈(112-1,112-2,112-3,112-4)은 사무공간의 천장에서 책상면 높이로 앉아있는 사람을 검출하기 위해 기 설정된 제1 높이로 설치되어 기 설정된 제1 범위를 촬영하도록 하거나 공장 및 창고의 높은 천장에서 이동하는 사람을 검출하기 위해 기 설정된 제2 높이로 설치되어 기 설정된 제2 범위를 촬영하도록 한다.The camera module (112-1, 112-2, 112-3, 112-4) is installed at a preset first height in order to detect a person sitting at the height of the desk surface from the ceiling of the office space to shoot the preset first range, or factory and warehouse It is installed at a preset second height to detect a person moving from the high ceiling of the .
카메라 모듈(112-1,112-2,112-3,112-4)은 제1 범위와 제2 범위 내에서 제외할 대상을 마스킹(Masking)하도록 한다.The camera modules 112-1, 112-2, 112-3, and 112-4 mask an object to be excluded within the first range and the second range.
멀티 센서(110)는 사무실에 설치되어 사무실 내 책상면 높이까지를 탐지한다. 멀티 센서(110)는 사무실 최대 2~3m 높이의 천장에서도 앉아 있는 사람의 감지가 가능하다. 예컨대, 멀티 센서(110)는 책상에 앉은 사람을 감지하고 필요한 경우에만 에어콘을 동작시키고, 사람의 위치에 따라 풍향을 제어하여 작업 환경을 향상시킬 수 있다.The multi-sensor 110 is installed in the office to detect the height of the desk surface in the office. The multi-sensor 110 is capable of detecting a person sitting even in the ceiling at a height of up to 2-3 m in the office. For example, the multi-sensor 110 may improve the work environment by detecting a person sitting at a desk, operating the air conditioner only when necessary, and controlling the wind direction according to the location of the person.
멀티 센서(110)는 공장 및 창고에서 높은 천장 지지대에 설치될 수 있다. 멀티 센서(110)는 공장이나 창고 등 최대 8m 높이의 높은 천장에서도 보행 감지가 가능하다. 예컨대, 멀티 센서(110)는 작업자를 감지하고 필요한 경우에만 에어콘을 동작시키고, 사람의 위치에 따라 풍향을 제어하여 작업 환경을 향상시킬 수 있다.The multi-sensor 110 may be installed on a high ceiling support in factories and warehouses. The multi-sensor 110 can detect walking even in a high ceiling with a height of up to 8 m, such as in a factory or warehouse. For example, the multi-sensor 110 may improve the work environment by detecting the worker, operating the air conditioner only when necessary, and controlling the wind direction according to the location of the person.
멀티 센서(110)는 획득된 이미지 정보로부터 사람의 미세한 움직임을 감지할 수 있다. 멀티 센서(110)는 주변 밝기를 감지할 수 있으며, 밝기를 기반으로 조명을 제어한다. 멀티 센서(110)는 어두운 환경에 적용되어 보행자를 감지할 수 있다.The multi-sensor 110 may detect a minute movement of a person from the acquired image information. The multi-sensor 110 may detect ambient brightness and control the lighting based on the brightness. The multi-sensor 110 may be applied to a dark environment to detect a pedestrian.
멀티 센서(110)는 9m × 9m로 센싱할 범위를 설정할 수 있다. 멀티 센서(110)는 센싱할 범위를 최대 9개의 영역으로 자유롭게 설정 및 분할할 수 있다. 멀티 센서(110)는 센싱할 범위 중 센싱할 범위에서 제외할 장소(예컨대, 통로)를 마스킹할 수 있다. 멀티 센서(110)는 최소 검출 대상은 15cm2 이상의 물체로서, 0.5m/sec 이상의 속도로 이동한다. 멀티 센서(110)는 1럭스를 최소 검출 조도로 설정한다.The multi-sensor 110 may set a sensing range to 9 m × 9 m. The multi-sensor 110 can freely set and divide the sensing range into up to nine areas. The multi-sensor 110 may mask a place (eg, a passage) to be excluded from the sensing range among the sensing ranges. The multi-sensor 110 has a minimum detection target of 15 cm 2 or more and moves at a speed of 0.5 m/sec or more. The multi-sensor 110 sets 1 lux as the minimum detection illuminance.
멀티 센서(110)는 센싱할 범위 내에서 감지되는 개략적인 인원수와 활동을 추정한다. 멀티 센서(110)는 센싱할 범위 내에 존재하는 사람이 걷거나 제자리에 머무르는 지의 여부를 식별한다. 멀티 센서(110)는 센싱할 범위 내에서 감지된 인원수와 활동에 따라 조명, 에어컨을 포함하는 주변 기기를 효과적으로 제어한다.The multi-sensor 110 estimates the approximate number of people and activities detected within a sensing range. The multi-sensor 110 identifies whether a person present within a sensing range is walking or staying in place. The multi-sensor 110 effectively controls peripheral devices including lighting and air conditioners according to the number of people and activities detected within a sensing range.
멀티 센서(110)는 특정 장소에 설치한 후 업데이트 필요에 따라 최신 기능을 적용하여 업데이트된다. 멀티 센서(110)는 사람에 대한 멀티 정보를 획득하며, 다양한 센서의 기능을 대체한다. 멀티 센서(110)는 센싱할 범위 내에 존재하는 사람에 대해 복수의 정보를 획득한다.The multi-sensor 110 is updated by applying the latest function as needed after being installed in a specific place. The multi-sensor 110 acquires multi-information about a person, and replaces functions of various sensors. The multi-sensor 110 acquires a plurality of pieces of information about a person existing within a sensing range.
멀티 센서(110)는 센싱할 범위 내에서 조도 및 CO2 정보를 획득할 수 있다. 멀티 센서(110)는 미래에 취득한 건물의 빅 데이터를 클라우드에 축적한 후 분석하여 다양한 클라우드 서비스를 제공한다.The multi-sensor 110 may acquire illuminance and CO 2 information within a sensing range. The multi-sensor 110 provides various cloud services by accumulating and analyzing big data of buildings acquired in the future in the cloud.
도 7은 본 실시예에 따른 멀티 센서의 내부 모듈을 나타낸 도면이다.7 is a view showing an internal module of the multi-sensor according to the present embodiment.
본 실시예에 따른 멀티 센서(110)는 데이터 합성부(702), 영역 분할부(704), 사람 판별부(706), 움직임 인지부(708), 사람 계수부(710), 이동성 판별부(720), 운동량 판별부(730), 건물설비 제어부(740)를 포함한다. 멀티 센서(110)에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.The multi-sensor 110 according to the present embodiment includes a
멀티 센서(110)에 포함된 각 구성요소는 장치 내부의 소프트웨어적인 모듈 또는 하드웨어적인 모듈을 연결하는 통신 경로에 연결되어 상호 간에 유기적으로 동작할 수 있다. 이러한 구성요소는 하나 이상의 통신 버스 또는 신호선을 이용하여 통신한다.Each component included in the multi-sensor 110 may be connected to a communication path that connects a software module or a hardware module inside the device to operate organically with each other. These components communicate using one or more communication buses or signal lines.
도 7에 도시된 멀티 센서(110)의 각 구성요소는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 소프트웨어적인 모듈, 하드웨어적인 모듈 또는 소프트웨어와 하드웨어의 결합으로 구현될 수 있다.Each component of the multi-sensor 110 shown in FIG. 7 means a unit for processing at least one function or operation, and may be implemented as a software module, a hardware module, or a combination of software and hardware.
데이터 합성부(702)는 제1 카메라 모듈(112-1)로부터 획득한 제1 영역(210)에 대응하는 제1 영상 데이터, 제2 카메라 모듈(112-2)로부터 획득한 제2 영역(220)에 대응하는 제2 영상 데이터, 제3 카메라 모듈(112-3)로부터 획득한 제3 영역(230)에 대응하는 제3 영상 데이터, 제4 카메라 모듈(112-4)로부터 획득한 제4 영역(240)에 대응하는 제4 영상 데이터를 하나의 데이터로 합성한 합성 데이터(200)를 생성한다.The
영역 분할부(704)는 합성 데이터(200)를 복수의 분할 영역으로 분할한다. 사람 판별부(706)는 영상 정보로부터 배경 영상과 객체를 각각 분리하여 인지한 후 객체가 사람인지의 여부를 판별한다. 사람 판별부(706)는 사람의 수에 따라 혼잡 정보를 생성하고, 사람이 사회적 취약 계층인지의 여부, 화재 발생 여부를 판별한다.The
사람 판별부(706)는 검출 범위 중 사람이 모서리 영역 또는 끝단 영역에서 판별되는 경우 제1 카메라 모듈(112-1), 제2 카메라 모듈(112-2), 제3 카메라 모듈(112-3), 제4 카메라 모듈(112-4) 전체가 동작하도록 제어한다.The
사람 판별부(706)는 검출 범위 중 사람이 중앙 영역에서 판별되는 경우 제1 카메라 모듈(112-1), 제2 카메라 모듈(112-2), 제3 카메라 모듈(112-3), 제4 카메라 모듈(112-4) 중 일부를 선택적으로 동작하도록 제어한다. 사람 판별부(706)는 사람의 머리 부분, 손 부분, 다리 부분을 구분하여 인지한다.The
사람 판별부(706)는 합성 데이터(200)가 동영상 데이터인 경우, 동영상 데이터의 전처리(preprocessing)를 수행한 전처리 데이터를 생성한다. 사람 판별부(706)는 전처리 데이터 내의 각 픽셀의 결함(Defect)을 보정하고, 렌즈의 가장자리에서의 왜곡을 보정하기 위한 렌즈 세이딩(lens shading)을 수행한 보정 데이터를 생성한다. 사람 판별부(706)는 보정 데이터의 소정 비율로 이미지 크기를 줄이는 다운 스케일링을 수행한 다운 스케일링 데이터를 생성한다. 사람 판별부(706)는 다운 스케일링 데이터를 각 픽셀을 주변 픽셀값을 이용하여 보간(interpolation)을 수생한 보간 데이터를 생성한다. 사람 판별부(706)는 보간 데이터에 대해서 RGB 감마 보정(gamma correction)을 수행한 RGB 감마 데이터를 생성한다. 사람 판별부(706)는 RGB 감마 데이터에 대한 휘도(Y)-색차(Chroma) 영역의 데이터로 칼라 영역 변환(Color space conversion)을 수행한 YC 변환 데이터를 생성한다. 사람 판별부(706)는 YC 변환 데이터의 잡음을 줄이기 위한 필터링을 수행한 노이즈 필터 데이터를 생성한다. 사람 판별부(706)는 노이즈 필터 데이터로부터 사람을 검출하고, 사람의 머리 부분, 손 부분, 다리 부분을 구분하여 인지한다.When the synthesized
사람 판별부(706)는 사람이 모서리 영역 또는 끝단 영역에서 판별되는 경우, 제1 카메라 모듈(112-1), 제2 카메라 모듈(112-2), 제3 카메라 모듈(112-3), 제4 카메라 모듈(112-4)이 확장 영역(210-2,220-2,230-2,240-2)을 갖도록 제어한다.When a person is determined in the corner area or the end area, the
사람 판별부(706)는 사람이 모서리 영역 또는 끝단 영역에서 판별되는 경우, 제1 카메라 모듈(112-1)의 기울기를 각각 조절하여 제1 영역(210)이 제1 확장 영역(210-2)으로 확장되도록 한다.When the person is determined in the corner area or the end area, the
사람 판별부(706)는 사람이 모서리 영역 또는 끝단 영역에서 판별되는 경우, 제2 카메라 모듈(112-2)의 기울기를 각각 조절하여 제2 영역(220)이 제2 확장 영역(220-2)으로 확장되도록 한다.When the person is determined in the corner area or the end area, the
사람 판별부(706)는 사람이 모서리 영역 또는 끝단 영역에서 판별되는 경우, 제3 카메라 모듈(112-3)의 기울기를 각각 조절하여 제3 영역(230)이 제3 확장 영역(230-2)으로 확장되도록 한다.When a person is determined in the corner area or the end area, the
사람 판별부(706)는 사람이 모서리 영역 또는 끝단 영역에서 판별되는 경우, 제4 카메라 모듈(112-4)의 기울기를 각각 조절하여 제4 영역(240)이 제4 확장 영역(240-2)으로 확장되도록 한다.When the person is determined in the corner area or the end area, the
사람 판별부(706)는 제1 카메라 모듈(112-1), 제2 카메라 모듈(112-2), 제3 카메라 모듈(112-3), 제4 카메라 모듈(112-4)이 확장 영역(210-2,220-2,230-2,240-2)을 갖도록 제어할 때 중첩 영역(330)을 갖지 않는 하나의 촬영 영역을 갖도록 한다.The
움직임 인지부(708)는 분할 영역마다 사람이 존재하는 지의 여부를 감지하고, 사람이 존재하는 영역을 움직임 감지 영역(310)과 직전까지 움직임 감지 영역(320)으로 구분하여 인지한다.The
움직임 인지부(708)는 움직임 감지 영역(310)에서 직전까지 움직임 감지 영역(320)으로 변경된 시간이 길수록 판별 민감도를 낮게 산출한다. 움직임 인지부(708)는 직전까지 움직임 감지 영역(320)에서 움직임 감지 영역(310)으로 변경된 시간이 길수록 판별 민감도를 높게 산출한다. 움직임 인지부(708)는 판별 민감도가 기준치보다 높을 경우 제어 범위를 제어 확장 범위로 확장시키고, 판별 민감도가 기준치보다 낮을 경우 제어 확장 범위 제어 범위로 축소하도록 조정한다.The
사람 계수부(710)는 사람의 수를 카운팅한다. 이동성 판별부(720)는 사람의 이동성이 확인되면, 이동성을 기반으로 움직임 방향을 산출한다.The
이동성 판별부(720)는 움직임 감지 영역(310)이 판별되면, 한 개 이상의 직전까지 움직임 감지 영역(320)을 한 개 이상의 움직임 감지 영역(310)으로 매칭시켜서, 최초 움직임을 감지하고, 다시 감지되는 움직임 감지 영역(310)에 따라 움직임 방향을 산출한다.When the
이동성 판별부(720)는 움직임 감지 영역(310)이 머리 부분으로 판별되면, 머리 부분에 해당하는 직전까지 움직임 감지 영역(320)을 한 개 이상의 움직임 감지 영역(310)으로 매칭시켜서, 최초 움직임을 감지한다. 이후 이동성 판별부(720)는 다시 감지되는 머리 부분에 해당하는 움직임 감지 영역(310)에 따라 움직임 방향을 산출한다.When the
이동성 판별부(720)는 기 설정된 타이머 완료 신호를 수신하기 전에 제1 방향에서 제2 방향으로 변경된 것으로 인지하면 제1 방향에서 사람이 먼저 감지되었다가 제2 방향으로 이동한 것으로 판단하여 제1 방향에서 제2 방향으로 사람이 이동한 것으로 판단한 움직임 방향을 산출한다. 이동성 판별부(720)는 기 설정된 타이머 완료 신호를 수신하기 전에 제1 방향에서 제3 방향으로 변경된 것으로 인지하면 제1 방향에서 사람이 먼저 감지되었다가 제3 방향으로 이동한 것으로 판단하여 제1 방향에서 제3 방향으로 사람이 이동한 것으로 판단한 움직임 방향을 산출한다. 이동성 판별부(720)는 기 설정된 타이머 완료 신호를 수신하기 전에 제1 방향에서 제4 방향으로 변경된 것으로 인지하면 제1 방향에서 사람이 먼저 감지되었다가 제4 방향으로 이동한 것으로 판단하여 제1 방향에서 제4 방향으로 사람이 이동한 것으로 판단한 움직임 방향을 산출한다.If the
이동성 판별부(720)는 기 설정된 타이머 완료 신호를 수신하기 전에 제2 방향에서 제1 방향으로 변경된 것으로 인지하면 제2 방향에서 사람이 먼저 감지되었다가 제1 방향으로 이동한 것으로 판단하여 제2 방향에서 제1 방향으로 사람이 이동한 것으로 판단한 움직임 방향을 산출한다. 이동성 판별부(720)는 기 설정된 타이머 완료 신호를 수신하기 전에 제2 방향에서 제3 방향으로 변경된 것으로 인지하면 제2 방향에서 사람이 먼저 감지되었다가 제3 방향으로 이동한 것으로 판단하여 제2 방향에서 제3 방향으로 사람이 이동한 것으로 판단한 움직임 방향을 산출한다. 이동성 판별부(720)는 기 설정된 타이머 완료 신호를 수신하기 전에 제2 방향에서 제4 방향으로 변경된 것으로 인지하면 제2 방향에서 사람이 먼저 감지되었다가 제4 방향으로 이동한 것으로 판단하여 제2 방향에서 제4 방향으로 사람이 이동한 것으로 판단한 움직임 방향을 산출한다. If the
이동성 판별부(720)는 기 설정된 타이머 완료 신호를 수신하기 전에 제3 방향에서 제1 방향으로 변경된 것으로 인지하면 제3 방향에서 사람이 먼저 감지되었다가 제1 방향으로 이동한 것으로 판단하여 제3 방향에서 제1 방향으로 사람이 이동한 것으로 판단한 움직임 방향을 산출한다. 이동성 판별부(720)는 기 설정된 타이머 완료 신호를 수신하기 전에 제3 방향에서 제2 방향으로 변경된 것으로 인지하면 제3 방향에서 사람이 먼저 감지되었다가 제2 방향으로 이동한 것으로 판단하여 제3 방향에서 제2 방향으로 사람이 이동한 것으로 판단한 움직임 방향을 산출한다. 이동성 판별부(720)는 기 설정된 타이머 완료 신호를 수신하기 전에 제3 방향에서 제4 방향으로 변경된 것으로 인지하면 제3 방향에서 사람이 먼저 감지되었다가 제4 방향으로 이동한 것으로 판단하여 제3 방향에서 제4 방향으로 사람이 이동한 것으로 판단한 움직임 방향을 산출한다. If the
이동성 판별부(720)는 기 설정된 타이머 완료 신호를 수신하기 전에 제4 방향에서 제1 방향으로 변경된 것으로 인지하면 제4 방향에서 사람이 먼저 감지되었다가 제1 방향으로 이동한 것으로 판단하여 제4 방향에서 제1 방향으로 사람이 이동한 것으로 판단한 움직임 방향을 산출한다. 이동성 판별부(720)는 기 설정된 타이머 완료 신호를 수신하기 전에 제4 방향에서 제2 방향으로 변경된 것으로 인지하면 제4 방향에서 사람이 먼저 감지되었다가 제2 방향으로 이동한 것으로 판단하여 제4 방향에서 제2 방향으로 사람이 이동한 것으로 판단한 움직임 방향을 산출한다. 이동성 판별부(720)는 기 설정된 타이머 완료 신호를 수신하기 전에 제4 방향에서 제3 방향으로 변경된 것으로 인지하면 제4 방향에서 사람이 먼저 감지되었다가 제3 방향으로 이동한 것으로 판단하여 제4 방향에서 제3 방향으로 사람이 이동한 것으로 판단한 움직임 방향을 산출한다.If the
이동성 판별부(720)는 직전까지 움직임 감지 영역(320)이 움직임 감지 영역(310)으로 일정한 한 방향으로 지속적으로 변경되는 경우 방향성을 가진 이동으로 판별한다. 이동성 판별부(720)는 순차적으로 방향성을 가진 이동으로 판별되는 시간을 기반으로 사람의 방향성을 예측한다.The
이동성 판별부(720)는 사람에 대한 탐지 시간이 길수록 방향성 민감도를 높게 설정한다. 이동성 판별부(720)는 방향성을 뚜렷이 가지는 영역에서 판별된 객체, 사람이 많이 모이는 영역에서 판별되는 객체에 대해서 방향성 민감도를 높게 설정한다.The
운동량 판별부(730)는 사람의 이동성을 운동량으로 환산한다. 운동량 판별부(730)는 운동량을 기반으로 기 설정된 공간 내의 CO2 농도를 추정한다. 운동량 판별부(730)는 움직임 감지 영역(310)이 직전까지 움직임 감지 영역(320)으로 전환된 후 직전까지 움직임 감지 영역(320)의 유지 시간에 따라 운동량을 낮은 상태로 산출한다.The
운동량 판별부(730)는 직전까지 움직임 감지 영역(320)이 움직임 감지 영역(310)으로 전환된 후 움직임 감지 영역(310)의 유지 시간에 따라 운동량을 높은 상태로 산출한다.The
운동량 판별부(730)는 움직임 감지 영역(310)이 손 부분으로 판별되면, 손 부분에 해당하는 직전까지 움직임 감지 영역(320)을 한 개 이상의 움직임 감지 영역(310)으로 매칭시켜서, 최초 움직임을 감지한다. 이후 운동량 판별부(730)는 다시 감지되는 손 부분에 해당하는 움직임 감지 영역(310)에 따라 사람이 움직이는 것이 아닌 손만 움직이는 것으로 인지(예컨대, 키보드 타이핑)하여 운동량을 낮은 상태로 환산한다.When the
건물설비 제어부(740)는 사람의 수, 움직임 방향, 운동량을 기반으로 연동하는 건물 설비를 제어한다. 건물설비 제어부(740)는 움직임 방향에 존재하는 조명 설비를 온시킨다. 건물설비 제어부(740)는 사람이 미존재하거나 움직임 방향의 반대 방향에 존재하는 조명 설비를 오프시킨다.The building
건물설비 제어부(740)는 영상 정보의 밝기값을 산출하고, 밝기값이 기 설정된 임계치 이상인 경우 주변 창문으로부터 외부 조명이 인입되는 것으로 판단하여 해당 영역에 설치되 조명 설비를 오프시킨다.The building
건물설비 제어부(740)는 사람의 수와 운동량에 비례하여 에어컨 설비가 강하게 운영되도록 제어한다. 건물설비 제어부(740)는 CO2 농도가 기준치 이상인 경우 외부 공기 흡입구를 제어하여 내부 공기가 환기되도록 제어한다. 건물설비 제어부(740)는 혼잡 정보가 높을수록 엘리베이터 설비 중 동작하는 엘리베이터 수가 증가하도록 제어한다.The building
건물설비 제어부(740)는 사람이 사회적 취약 계층인 경우 직원 단말기로 알람을 발생한다. 건물설비 제어부(740)는 화재 발생 시 주변에 사람 존재 여부를 외부 단말기로 전달한다.The building
건물설비 제어부(740)는 움직임 방향으로 조명 설비(810)가 추가로 점등되도록 제어한다.The building
건물설비 제어부(740)는 이동성 판별부(720)로부터 움직임 방향이 제1 방향인 것으로 인지한 후 영상 정보에 대한 조도값(밝기값)을 판별한다. 건물설비 제어부(740)는 조도값이 기 설정된 임계치보다 낮다고 판단하면 제1 방향에 설치된 제1 조명 설비가 온되도록 제어한다.The building
건물설비 제어부(740)는 이동성 판별부(720)로부터 움직임 방향이 제2 방향인 것으로 인지한 후 영상 정보에 대한 조도값(밝기값)을 판별한다. 건물설비 제어부(740)는 조도값이 기 설정된 임계치보다 낮다고 판단하면 제2 방향에 설치된 제2 조명 설비가 온되도록 제어한다.The building
건물설비 제어부(740)는 이동성 판별부(720)로부터 움직임 방향이 제3 방향인 것으로 인지한 후 영상 정보에 대한 조도값(밝기값)을 판별한다. 건물설비 제어부(740)는 조도값이 기 설정된 임계치보다 낮다고 판단하면 제3 방향에 설치된 제3 조명 설비가 온되도록 제어한다.The building
건물설비 제어부(740)는 이동성 판별부(720)로부터 움직임 방향이 제4 방향인 것으로 인지한 후 영상 정보에 대한 조도값(밝기값)을 판별한다. 건물설비 제어부(740)는 조도값이 기 설정된 임계치보다 낮다고 판단하면 제4 방향에 설치된 제4 조명 설비가 온되도록 제어한다.The building
건물설비 제어부(740)는 방향성 민감도가 기준치보다 낮은 경우 해당 방향에 대응되는 건물 설비를 미제어한다.The building
건물설비 제어부(740)는 움직임 감지 영역(310), 직전까지 움직임 감지 영역(320)을 기반으로 방향성을 결정한 후 비콘(1510)과 통신이 발생한 경우에만, 출입 가능 인원으로 판단한다. 건물설비 제어부(740)는 비콘과 통신이 미발생한 경우, 해당 인원을 출입 불가 인원으로 판단한다.The building
건물설비 제어부(740)는 비콘(1510)과 통신하여 신호를 수신한 경우 기 저장된 인도어 맵 위치에 사용자 위치를 특정한다. 건물설비 제어부(740)는 사용자 위치를 기반으로 사용자 단말기로부터 입력된 사용자 정보를 기반으로 건물 설비를 그룹 단위로 제어한다.When the building
도 8은 본 실시예에 따른 멀티 센서를 이용한 조명 제어 방법을 나타낸 도면이다.8 is a view showing a lighting control method using a multi-sensor according to the present embodiment.
멀티 센서(110)는 건물 내 조명 설비(810) 중 불필요한 조명을 오프하도록 제어한다. 멀티 센서(110)는 건물 내 특정 영역에 대한 사람의 존재 또는 부재 여부를 감지한다. 멀티 센서(110)는 특정 영역에서 사람 부재 영역을 흐리게 설정하거나 해제한다.The multi-sensor 110 controls to turn off unnecessary lighting among the
멀티 센서(110)는 특정 영역을 지나가는 보행자가 인지되면, 조명 설비(810)를 온 시킨다. 멀티 센서(110)는 특정 영역을 지나가는 보행자가 미인지되면 주변의 밝기에 따라 조명 설비(810)를 어둡게 유지하거나 오프하면 에너지를 절약할 수 있다.The multi-sensor 110 turns on the
멀티 센서(110)는 카메라 모듈(112-1,112-2,112-3,112-4)로부터 획득한 이미지 정보를 이용하여 주변 밝기를 감지하고 주변창문으로부터 인입되는 외부 조명에 따라 조명 설비(810)를 적절한 밝기가 되도록 디밍을 제어한다. 멀티 센서(110)는 이미지 정보를 이용하여 조도를 판별할 수 있으므로, 별도의 조도 센서를 구비할 필요가 없으므로 비용을 절감할 수 있다.The multi-sensor 110 detects the ambient brightness using the image information obtained from the camera modules 112-1, 112-2, 112-3, and 112-4, and sets the
멀티 센서(110)는 조명 장비 개별 제어 시스템에 적용될 때, 추가적인 네트워크를 경유하지 않고 게이트웨이 장치에 직접 연결할 수 있으므로 응답성이 높은 신호를 교환할 수 있다.When the multi-sensor 110 is applied to a lighting equipment individual control system, it can be directly connected to the gateway device without passing through an additional network, and thus can exchange signals with high responsiveness.
도 9는 본 실시예에 따른 멀티 센서를 이용한 에어컨 제어 방법을 나타낸 도면이다.9 is a diagram illustrating a method for controlling an air conditioner using a multi-sensor according to the present embodiment.
멀티 센서(110)는 냉난방 설비(910)와 연동하여 동작한다. 멀티 센서(110)는 카메라 모듈(112-1,112-2,112-3,112-4)로부터 수신된 영상 정보를 분석하여 인지된 사람의 수와 움직임 방향에 따라 연동하는 냉난방 설비(910)를 제어한다.The multi-sensor 110 operates in conjunction with the heating/
멀티 센서(110)는 영상 정보로부터 분석된 인원수에 따라 냉난방 설비(910)를 제어하여 적절한 온도로 조절한다. 멀티 센서(110)는 영상 정보를 분석하여 방에 존재하는 사람의 수를 감지한다. 멀티 센서(110)는 방에 사람이 적은 경우 사람 수에 대응하도록 냉난방 설비(910)를 제어하여 온도를 조절한다.The multi-sensor 110 controls the heating and
멀티 센서(110)는 기준치보다 온도가 낮거나 높은 경우, 온도를 제어한다. 멀티 센서(110)는 방에 존재하는 사람들의 쾌적한 에어컨 조건을 검출한다. 여기서, 에어컨 조건은 온도, 습도, 공기 및 의류 등의 복수의 요소를 사용의 사람의 열 감각을 정량화하는 지수를 의미한다.The multi-sensor 110 controls the temperature when the temperature is lower or higher than the reference value. The multi-sensor 110 detects comfortable air conditioning conditions of people present in the room. Here, the air conditioning condition refers to an index that quantifies a person's heat sensation of using a plurality of factors such as temperature, humidity, air and clothing.
멀티 센서(110)는 영상 정보로부터 분석된 인원수에 따라 환기 설비를 제어하여 이산화탄소(CO2) 농도 및 환기를 수행한다. 멀티 센서(110)는 거실에서 이산화탄소(CO2) 농도를 존재하는 사람 수로부터 추론하고, 환기량을 결정함으로써, 외부 공기 흡입구를 제어한다. 멀티 센서(110)는 이산화탄소(CO2) 센서의 정기적인 교정과 관련된 번거로움 및 유지 관리 비용을 줄인다.The multi-sensor 110 controls the ventilation equipment according to the number of people analyzed from the image information to perform carbon dioxide (CO 2 ) concentration and ventilation. The multi-sensor 110 infers the carbon dioxide (CO 2 ) concentration from the number of people present in the living room, and controls the external air intake by determining the ventilation amount.
도 10은 본 실시예에 따른 멀티 센서를 이용한 엘리베이터 제어 방법을 나타낸 도면이다.10 is a view showing an elevator control method using a multi-sensor according to the present embodiment.
멀티 센서(110)는 엘리베이터 설비(1010)와 연동하여 동작한다. 멀티 센서(110)는 카메라 모듈(112-1,112-2,112-3,112-4)로부터 수신된 영상 정보를 분석하여 인지된 사람의 수와 움직임 방향에 따라 연동하는 엘리베이터 설비(1010)를 제어한다.The multi-sensor 110 operates in conjunction with the
멀티 센서(110)는 영상 정보를 분석하여 인지된 사람의 수에 따라 혼잡 정보를 생성한다. 멀티 센서(110)는 혼잡 정보를 기반으로 엘리베이터 설비(1010)를 운용한다. 멀티 센서(110)는 엘리베이터 설비(1010)를 제어하여 환승층의 엘리베이터 홀에 설치되어 사용자의 혼잡도에 따라 엘리베이터를 우선적으로 배정하고 대기 시간을 최대로 단축시킨다.The multi-sensor 110 generates congestion information according to the number of recognized people by analyzing the image information. The multi-sensor 110 operates the
멀티 센서(110)는 영상 정보를 분석하여 인지된 사람이 사회적 취약계층인지를 판별한다. 멀티 센서(110)는 휠체어, 유모차 등 도움을 필요로 한 사람을 감지하고, 직원에게 신속하게 알려주며, 엘리베이터를 전용 동작 모드로 자동 전환한다. 멀티 센서(110)가 추가적인 네트워크를 경유하지 않고 다른 회사의 엘리베이터 장비에 직접 연결할 수 있다.The multi-sensor 110 determines whether the recognized person is a socially vulnerable group by analyzing the image information. The multi-sensor 110 detects a person in need of assistance, such as a wheelchair, a stroller, and promptly informs an employee, and automatically switches the elevator to a dedicated operation mode. Multi-sensor 110 can be directly connected to elevator equipment of other companies without going through an additional network.
도 11은 본 실시예에 따른 멀티 센서를 이용한 방법 및 방제 방법을 나타낸 도면이다.11 is a view showing a method and a control method using a multi-sensor according to the present embodiment.
멀티 센서(110)는 방범 및 방제 설비(1110)와 연동하여 동작한다. 멀티 센서(110)는 카메라 모듈(112-1,112-2,112-3,112-4)로부터 수신된 영상 정보를 분석하여 인지된 사람의 수와 움직임 방향에 따라 연동하는 방범 및 방제 설비(1110)를 제어한다.The multi-sensor 110 operates in conjunction with the crime prevention and
멀티 센서(110)는 야간 이상 징후 감지를 확인한다. 멀티 센서(110)는 최종 출구에서 경고 모드 영역에서 객체 움직임 감지되면, 모니터링 단말기로 출력되는 이미지 정보(스틸 이미지)를 저장한다. 멀티 센서(110)는 어둠 속에서도 하나 이상의 럭스 조도가 있는 경우 감지할 수 있다.The multi-sensor 110 confirms detection of abnormal signs at night. The multi-sensor 110 stores image information (still image) outputted to the monitoring terminal when an object movement is detected in the warning mode area at the final exit. The multi-sensor 110 may detect when there is one or more lux illuminances even in the dark.
멀티 센서(110)는 건물 내 화재 발생 시 구조자를 확인한다. 멀티 센서(110)는 화재 영역에서 객체 움직임이 감지되면 모니터링 단말기로 이미지 정보(스틸 이미지)가 표시되도록 하고, 해당 데이터를 저장한다. 멀티 센서(110)는 누군가의 탈출이 늦은 경우, 빠른 구조를 요청할 수 있다.The multi-sensor 110 identifies a rescuer when a fire occurs in a building. The multi-sensor 110 displays image information (still image) on the monitoring terminal when an object movement is detected in the fire area, and stores the data. The multi-sensor 110 may request a quick rescue when someone's escape is late.
도 12는 본 실시예에 따른 객체 이동성에 따라 제어영역을 확장하는 방법을 설명하기 위한 도면이다.12 is a diagram for explaining a method of extending a control area according to object mobility according to the present embodiment.
멀티 센서(110)는 움직임 감지 영역(310), 직전까지 움직임 감지 영역(320), 중첩 영역(330)을 기반으로 제어영역을 확장한다. 멀티 센서(110)는 움직임 감지 영역(310)에서 직전까지 움직임 감지 영역(320)으로 전환되는 전환 영역을 인지하거나 직전까지 움직임 감지 영역(320)에서 움직임 감지 영역(310)으로 전환되는 전환 영역을 인지할 수 있다.The multi-sensor 110 extends the control area based on the
멀티 센서(110)는 전환 영역의 크기 또는 방향에 따라 제1 카메라 모듈(112-1), 제2 카메라 모듈(112-2), 제3 카메라 모듈(112-3), 제4 카메라 모듈(112-4)을 전체 제어하거나 선택적으로 제어하여 촬영 영역을 확장하거나 축소할 수 있다. 멀티 센서(110)는 전환 영역을 크기 또는 방향에 따라 연동하는 건물 설비의 제어 범위를 제한하거나 확장하는 형태로 조절할 수 있다.The multi-sensor 110 includes a first camera module 112-1, a second camera module 112-2, a third camera module 112-3, and a
멀티 센서(110)는 1차적으로 움직임 감지 영역(310)에 대응하는 영역을 1차 제어영역으로 설정하여 1차 제어영역에 설치된 건물 설비(예컨대, 조명을 대한 점등 또는 소등)를 제어한다. The multi-sensor 110 controls building equipment (eg, turning on or off lights) installed in the primary control area by first setting an area corresponding to the
멀티 센서(110)는 2차적으로 움직임 감지 영역(310) 이외에 직전까지 움직임 감지 영역(320)에 대응하는 영역을 2차 제어 확장 영역(210-2,220-2,230-2,240-2)으로 설정하여 2차 제어 확장 영역(210-2,220-2,230-2,240-2)에 설치된 건물 설비(예컨대, 조명을 대한 점등 또는 소등)까지 제어를 확장한다. The multi-sensor 110 secondarily sets the area corresponding to the
멀티 센서(110)는 1차적으로 움직임 감지 영역(310)에 대응하는 영역을 1차 제어 영역에 대해서 무조건적으로 건물 설비를 제어한다. 멀티 센서(110)는 추가로 확장된 2차적으로 움직임 감지 영역(310) 이외에 직전까지 움직임 감지 영역(320)에 대응하는 영역에 대해서 선택적으로 건물 설비를 제어한다.The multi-sensor 110 controls the building equipment unconditionally with respect to the primary control region in the region corresponding to the primary
멀티 센서(110)는 제1 카메라 모듈(112-1) 내지 제4 카메라 모듈(112-4)을 추가로 구비할 수 있다. 제1 카메라 모듈(112-1) 내지 제4 카메라 모듈(112-4)은 별도의 브라켓을 이용하여 하우징의 외측에 연결 가능하다. 제1 카메라 모듈(112-1) 내지 제4 카메라 모듈(112-4)은 멀티 센서(110)의 제어부와 통신한다.The multi-sensor 110 may further include a first camera module 112-1 to a fourth camera module 112-4. The first camera module 112-1 to the fourth camera module 112-4 may be connected to the outside of the housing using a separate bracket. The first camera module 112-1 to the fourth camera module 112-4 communicates with the control unit of the multi-sensor 110 .
제1 카메라 모듈(112-1) 내지 제4 카메라 모듈(112-4)은 기 설정된 기울기로 기울어진 상태로 브라켓에 체결되어 촬영할 수 있는 방향 조정할 수 있다. 멀티 센서(110)는 제1 카메라 모듈(112-1) 내지 제4 카메라 모듈(112-4)로 1차 제어영역에 설치된 건물 설비를 제어한다.The first camera module 112-1 to the fourth camera module 112-4 may be fastened to the bracket in a state inclined at a preset inclination to adjust the direction for shooting. The multi-sensor 110 controls the building equipment installed in the primary control area with the first camera module 112-1 to the fourth camera module 112-4.
멀티 센서(110)는 제1 카메라 모듈(112-1) 내지 제4 카메라 모듈(112-4)을 기반으로 1차 움직임 감지 영역(310)이 감지되는 경우, 1차 제어영역을 제어한다. 멀티 센서(110)는 제1 카메라 모듈(112-1) 내지 제4 카메라 모듈(112-4)을 기반으로 직전까지 움직임 감지 영역(320)이 감지되는 경우, 2차 제어영역에 제어한다. 멀티 센서(110)는 구비된 제1 카메라 모듈(112-1) 내지 제4 카메라 모듈(112-4)의 감지 시간에 대한 시간 차를 판단하여 1차 제어영역과 2차 제어영역을 제어할 수 있다. The multi-sensor 110 controls the primary control region when the primary
도 13은 본 실시예에 따른 객체의 방향성 탐지 방법을 나타낸 도면이다.13 is a diagram illustrating a method of detecting the directionality of an object according to the present embodiment.
멀티 센서(110)는 1차적으로 움직임 감지 영역(310)에 대응하는 영역을 1차 제어영역 이후 2차적으로 움직임 감지 영역(310) 이외에 직전까지 움직임 감지 영역(320)이 감지되면, 객체의 이동 방향을 감지한다. 다시 말해, 멀티 센서(110)는 움직임 감지 영역(310)이 직전까지 움직임 감지 영역(320)으로 변경되고, 직전까지 움직임 감지 영역(320)이 움직임 감지 영역(310)으로 변경되면 객체가 움직임 감지 영역(310) 방향으로 이동하는 것으로 인지한다.The multi-sensor 110 primarily detects the area corresponding to the
멀티 센서(110)는 판별 민감도에 따라 제어 범위를 조정할 수 있다. 다시 말해, 멀티 센서(110)는 움직임 감지 영역(310)이 직전까지 움직임 감지 영역(320)으로 변경되는 시간에 근거하여 판별 민감도를 산출한다. 멀티 센서(110)는 직전까지 움직임 감지 영역(320)이 움직임 감지 영역(310)으로 변경되는 시간에 근거하여 판별 민감도를 산출한다.The multi-sensor 110 may adjust the control range according to the discrimination sensitivity. In other words, the multi-sensor 110 calculates the discrimination sensitivity based on the time at which the
멀티 센서(110)는 판별 민감도가 기준치보다 높을 경우 제어 범위를 확장하도록 제어 범위를 조정하고, 판별 민감도가 기준치보다 낮을 경우 제어 범위를 축소하도록 제어 범위를 조정한다.The multi-sensor 110 adjusts the control range to expand the control range when the discrimination sensitivity is higher than the reference value, and adjusts the control range to reduce the control range when the discrimination sensitivity is lower than the reference value.
도 14는 본 실시예에 따른 객체의 동일 방향성을 확인하는 방법을 나타낸 도면이다.14 is a diagram illustrating a method of confirming the same directionality of an object according to the present embodiment.
멀티 센서(110)는 움직임 판별 시간의 순차성에 따라 객체의 방향성을 탐지한다. 멀티 센서(110)는 직전까지 움직임 감지 영역(320)이 움직임 감지 영역(310)으로 일정한 한 방향으로 지속적으로 변경되는 경우, 방향성을 가진 이동으로 판별한다.The multi-sensor 110 detects the direction of the object according to the sequentiality of the motion determination time. When the multi-sensor 110 continuously changes the
멀티 센서(110)는 순차적으로 객체가 판별되는 시간을 기반으로 객체의 방향성을 예측한다. 멀티 센서(110)는 방향성 민감도 설정에 따라 D, E의 경우는 해당 방향에 대응되는 건물 설비를 제어하지 않을 수 있다. The multi-sensor 110 predicts the direction of the object based on the time at which the object is sequentially determined. The multi-sensor 110 may not control the building equipment corresponding to the corresponding direction in the case of D and E according to the directional sensitivity setting.
멀티 센서(110)는 객체 탐지 시간에 대한 설정으로 방향성 민감도를 조정 가능하다. 멀티 센서(110)는 방향성을 뚜렷이 가지는 영역에서 판별된 객체, 사람이 많이 모이는 영역에서 판별되는 객체에 대해서 영역별 판별 민감도를 조정한다.The multi-sensor 110 can adjust the directional sensitivity by setting the object detection time. The multi-sensor 110 adjusts the discrimination sensitivity for each area with respect to an object determined in an area having a clear direction and an object determined in an area where many people gather.
멀티 센서(110)는 제1 카메라 모듈(112-1) 내지 제4 카메라 모듈(112-4)에서 순차적으로 객체가 센싱되는 시간을 고려하여 방향성에 대해 예측한다. 멀티 센서(110)는 판별 민감도 설정에 따라 D, E의 경우는 해당 방향에 대응되는 건물 설비를 제어하지 않을 수 있다. 멀티 센서(110)는 탐지 시간에 대한 설정으로 판별 민감도를 조정 가능하다. 멀티 센서(110)는 방향성을 뚜렷이 가지는 영역으로부터 획득한 영상, 사람이 많이 모이는 영역으로부터 획득한 영상에 대해서 영역별 판별 민감도 조정이 가능하다.The multi-sensor 110 predicts the direction in consideration of the time when the objects are sequentially sensed by the first camera module 112-1 to the fourth camera module 112-4. The multi-sensor 110 may not control the building equipment corresponding to the corresponding direction in the case of D and E according to the discrimination sensitivity setting. The multi-sensor 110 can adjust the discrimination sensitivity by setting the detection time. The multi-sensor 110 can adjust the discrimination sensitivity for each area with respect to an image obtained from an area having a clear direction and an image obtained from an area where many people gather.
도 15는 본 실시예에 따른 비콘과 2차적으로 연동하여 동작하는 방법을 나타낸 도면이다.15 is a diagram illustrating a method of operating in secondary linkage with a beacon according to the present embodiment.
멀티 센서(110)는 비콘과 연동하여 출입을 관리할 수 있다. 멀티 센서(110)는 움직임 감지 영역(310), 직전까지 움직임 감지 영역(320)을 기반으로 방향성을 결정한 후 비콘(1510)과 통신이 발생한 경우에만, 출입 가능 인원으로 판단한다. 여기서, 비콘(1510)은 사용자가 소지한 단말기와 통신하여 해당 단말기의 식별번호가 기 등록된 식별번호로 판단한 경우, 멀티 센서(110)와 통신하여 신호를 전송한다.The multi-sensor 110 may interwork with a beacon to manage access. The multi-sensor 110 determines the movement-
멀티 센서(110)는 움직임 감지 영역(310), 직전까지 움직임 감지 영역(320)을 기반으로 방향성을 결정한 후 비콘(1510)과 통신이 미발생한 경우, 출입 불가 인원으로 판단한다. 여기서, 비콘(1510)은 사용자가 소지한 단말기와 통신하여 해당 단말기의 식별번호가 미등록된 식별번호로 판단한 경우, 멀티 센서(110)와 통신을 시도하지 않는다. 멀티 센서(110)는 전체 예측 이동 루트 중 비콘(1510)을 기반으로 판단되는 출입 가능 인원의 이동 경로를 제외한 루트가 출입 불가인원의 이동 경로로 판단한다.If the multi-sensor 110 determines the direction based on the
다시 말해, 멀티 센서(110)는 움직임 감지 영역(310), 직전까지 움직임 감지 영역(320)을 기반으로 객체를 감지한 후 비콘(1510)과 통신이 발생한 경우, 해당 인원을 출입 가능 인원으로 판단하며, 비콘(1510)과 통신이 미발생한 경우, 해당 인원을 출입 불가 인원으로 판단한다.In other words, when the multi-sensor 110 detects an object based on the
멀티 센서(110)는 제1 카메라 모듈(112-1) 내지 제4 카메라 모듈(112-4)을 기반으로 방향성을 결정한 후 비콘(1510)과 통신이 발생한 경우에만, 출입 가능 인원으로 판단한다. 여기서, 비콘(1510)은 사용자가 소지한 단말기와 통신하여 해당 단말기의 식별번호가 기 등록된 식별번호로 판단한 경우, 멀티 센서(110)와 통신하여 신호를 전송한다.After determining the direction based on the first camera module 112-1 to the fourth camera module 112-4, the multi-sensor 110 determines the number of people allowed to enter only when communication with the
멀티 센서(110)는 제1 카메라 모듈(112-1) 내지 제4 카메라 모듈(112-4)을 기반으로 방향성을 결정한 후 비콘(1510)과 통신이 미발생한 경우, 출입 불가 인원으로 판단한다. 여기서, 비콘(1510)은 사용자가 소지한 단말기와 통신하여 해당 단말기의 식별번호가 미등록된 식별번호로 판단한 경우, 멀티 센서(110)와 통신을 시도하지 않는다. 멀티 센서(110)는 전체 예측 이동 루트 중 비콘(1510)을 기반으로 판단되는 출입 가능 인원의 이동 경로를 제외한 루트가 출입 불가인원의 이동 경로로 판단한다.If the multi-sensor 110 determines the direction based on the first camera module 112-1 to the fourth camera module 112-4 and communication with the
다시 말해, 멀티 센서(110) 내에 탑재된 제어부는 제1 카메라 모듈(112-1) 내지 제4 카메라 모듈(112-4)로부터 객체 감지 신호를 수신한 후 비콘(1510)과 통신이 발생한 경우, 해당 인원을 출입 가능 인원으로 판단하며, 비콘(1510)과 통신이 미발생한 경우, 해당 인원을 출입 불가 인원으로 판단한다.In other words, when the control unit mounted in the multi-sensor 110 receives the object detection signal from the first camera module 112-1 to the fourth camera module 112-4 and then communication with the
도 16은 본 실시예에 따른 비콘과 2차적으로 연동하여 객체 이동의 정확성을 확인하는 방법을 나타낸 도면이다.16 is a diagram illustrating a method of checking the accuracy of object movement by secondarily interworking with a beacon according to the present embodiment.
멀티 센서(110)는 비콘(1510)과 연동하여 사무실 내 이동 여부를 판단한다. 멀티 센서(110)는 움직임 감지 영역(310), 직전까지 움직임 감지 영역(320)을 기반으로 한 사무실 내의 객체의 이동을 판단한다.The multi-sensor 110 determines whether to move within the office in conjunction with the
멀티 센서(110)는 객체 이동을 판단한 후 비콘(1510)을 기반으로 사용자들의 구체적인 위치를 판단한다. 여기서, 비콘(1510)은 사용자가 소지한 단말기와 통신하여 해당 단말기의 식별번호가 기 등록된 식별번호로 판단한 경우, 멀티 센서(110)와 통신하여 신호를 전송한다. 멀티 센서(110)는 비콘(1510)과 통신하여 신호를 수신하여 기 저장된 사무실 내의 맵 위치에 구체적인 사용자 위치를 특정한다.The multi-sensor 110 determines the specific location of users based on the
멀티 센서(110)는 사용자의 위치를 고려하여 사용자 단말기로부터 입력된 사용자 정보를 기반으로 건물 설비를 제어한다. 멀티 센서(110)는 건물 설비에 따라 설비를 그룹핑하여 그룹 단위로 제어하거나 개별 단위로 제어한다.The multi-sensor 110 controls the building equipment based on user information input from the user terminal in consideration of the user's location. The multi-sensor 110 groups the equipment according to the building equipment and controls it in a group unit or in an individual unit.
다시 말해, 멀티 센서(110)는 비콘(1510)과 통신하여 신호를 수신한 경우 기 저장된 인도어 맵 위치에 사용자 위치를 특정하고, 사용자 위치를 기반으로 사용자 단말기로부터 입력된 사용자 정보를 기반으로 건물 설비를 그룹 단위로 제어하거나 개별 단위로 제어한다.In other words, when the multi-sensor 110 communicates with the
멀티 센서(110)는 제1 카메라 모듈(112-1) 내지 제4 카메라 모듈(112-4)을 기반으로 한 사무실 내의 객체의 이동을 판단한다. 멀티 센서(110)는 객체 이동을 판단한 후 비콘(1510)을 기반으로 사용자들의 구체적인 위치를 판단한다. 여기서, 비콘(1510)은 사용자가 소지한 단말기와 통신하여 해당 단말기의 식별번호가 기 등록된 식별번호로 판단한 경우, 멀티 센서(110)와 통신하여 신호를 전송한다. 멀티 센서(110)는 비콘(1510)과 통신하여 신호를 수신하여 기 저장된 사무실 내의 맵 위치에 구체적인 사용자 위치를 특정한다.The multi-sensor 110 determines the movement of an object in the office based on the first camera module 112-1 to the fourth camera module 112-4. The multi-sensor 110 determines the specific location of users based on the
멀티 센서(110)는 사용자의 위치를 고려하여 사용자 단말기로부터 입력된 감성 정보를 기반으로 조명을 제어한다. 멀티 센서(110)는 조명 시스템에 따라 조명을 그룹핑하여 그룹 단위로 제어하거나 개별 단위로 제어한다.The multi-sensor 110 controls the lighting based on the emotional information input from the user terminal in consideration of the user's location. The multi-sensor 110 groups the lights according to the lighting system and controls them in groups or individually.
다시 말해, 멀티 센서(110) 내에 탑재된 제어부는 비콘(1510)과 통신하여 신호를 수신한 경우 기 저장된 인도어 맵 위치에 사용자 위치를 특정하고, 사용자 위치를 기반으로 사용자 단말기로부터 입력된 감성 정보를 기반으로 조명을 그룹 단위로 제어하거나 개별 단위로 제어한다.In other words, when the controller mounted in the multi-sensor 110 communicates with the
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of this embodiment, and various modifications and variations will be possible by those skilled in the art to which this embodiment belongs without departing from the essential characteristics of the present embodiment. Accordingly, the present embodiments are intended to explain rather than limit the technical spirit of the present embodiment, and the scope of the technical spirit of the present embodiment is not limited by these embodiments. The protection scope of this embodiment should be interpreted by the following claims, and all technical ideas within the equivalent range should be interpreted as being included in the scope of the present embodiment.
110: 멀티 센서
112: 카메라 모듈
112-1: 제1 카메라 모듈
112-2: 제2 카메라 모듈
112-3: 제3 카메라 모듈
112-4: 제4 카메라 모듈
200: 합성 데이터
210: 제1 영역
220: 제2 영역
230: 제3 영역
240: 제4 영역
310: 움직임 감지 영역
320: 직전까지 움직임 감지 영역
330: 중첩 영역
340: 오프 영역110: multi-sensor
112: camera module
112-1: first camera module
112-2: second camera module
112-3: third camera module
112-4: fourth camera module
200: synthetic data
210: first area
220: second area
230: third area
240: fourth area
310: motion detection area
320: motion detection area until just before
330: overlapping area
340: off area
Claims (6)
상기 영상 정보로부터 배경 영상과 객체를 각각 분리하여 인지한 후 상기 객체가 사람인지의 여부를 판별하는 사람 판별부;
상기 사람의 수를 카운팅하는 사람 계수부;
상기 사람의 이동성이 확인되면, 상기 이동성을 기반으로 움직임 방향을 산출하는 이동성 판별부;
상기 사람의 이동성을 운동량으로 환산하는 운동량 판별부; 및
상기 사람의 수, 상기 움직임 방향, 상기 운동량을 기반으로 연동하는 건물 설비를 제어하는 건물설비 제어부;
를 포함하되, 상기 사람 판별부는 상기 사람의 수에 따라 혼잡 정보를 생성하고, 상기 사람이 사회적 취약 계층인지의 여부, 화재 발생 여부를 판별하며,
상기 건물설비 제어부는 상기 혼잡 정보가 높을수록 엘리베이터 설비 중 동작하는 엘리베이터 수가 증가하도록 제어하며, 상기 사람이 사회적 취약 계층인 경우 직원 단말기로 알람을 발생하며, 상기 화재 발생 시 주변에 사람 존재 여부를 외부 단말기로 전달하는 것을 특징으로 하는 멀티 센서.a camera module for acquiring image information of a preset specific area;
a person determining unit that separates and recognizes a background image and an object from the image information and determines whether the object is a person;
a person counting unit for counting the number of persons;
a mobility determining unit for calculating a movement direction based on the mobility when the mobility of the person is confirmed;
an exercise amount determining unit for converting the mobility of the person into an exercise amount; and
a building equipment control unit for controlling the building equipment interlocking based on the number of people, the movement direction, and the amount of momentum;
Including, wherein the person determining unit generates congestion information according to the number of people, and determines whether the person is a socially vulnerable class, whether a fire occurs,
The building equipment control unit controls the number of elevators operating among elevator facilities to increase as the congestion information increases, and when the person is a socially vulnerable class, generates an alarm to the employee terminal, and determines whether or not there are people around when the fire occurs Multi-sensor, characterized in that transmitted to the terminal.
상기 건물설비 제어부는
상기 움직임 방향에 존재하는 조명 설비를 온시키고, 상기 사람이 미존재하거나 상기 움직임 방향의 반대 방향에 존재하는 조명 설비를 오프시키고, 상기 영상 정보의 밝기값을 산출하고, 상기 밝기값이 기 설정된 임계치 이상인 경우 주변 창문으로부터 외부 조명이 인입되는 것으로 판단하여 해당 영역에 설치되 조명 설비를 오프시키는 것을 특징으로 하는 멀티 센서.According to claim 1,
The building equipment control unit
Turn on the lighting equipment existing in the movement direction, turn off the lighting equipment that exists in the direction opposite to the direction of movement or the person does not exist, calculate the brightness value of the image information, and the brightness value is a preset threshold In the case of abnormality, it is determined that external light is introduced from the surrounding window, and the multi-sensor, which is installed in the corresponding area, turns off the lighting equipment.
상기 건물설비 제어부는
상기 사람의 수와 상기 운동량에 비례하여 에어컨 설비가 강하게 운영되도록 제어하는 것을 특징으로 하는 멀티 센서.According to claim 1,
The building equipment control unit
Multi-sensor, characterized in that controlling the air conditioner to be strongly operated in proportion to the number of people and the amount of exercise.
상기 운동량 판별부는 상기 운동량을 기반으로 기 설정된 공간 내의 CO2 농도를 추정하고, 상기 건물설비 제어부는 상기 CO2 농도가 기준치 이상인 경우 외부 공기 흡입구를 제어하여 내부 공기가 환기되도록 제어하는 것을 특징으로 하는 멀티 센서.According to claim 1,
The momentum determining unit estimates the concentration of CO 2 in a preset space based on the momentum, and the building equipment control unit controls the external air intake to ventilate the internal air when the CO 2 concentration is greater than or equal to a reference value. multi sensor.
상기 카메라 모듈은
사무공간의 천장에서 책상면 높이로 앉아있는 사람을 검출하기 위해 기 설정된 제1 높이로 설치되어 기 설정된 제1 범위를 촬영하도록 하거나 공장 및 창고의 높은 천장에서 이동하는 사람을 검출하기 위해 기 설정된 제2 높이로 설치되어 기 설정된 제2 범위를 촬영하도록 하며, 상기 제1 범위와 상기 제2 범위 내에서 제외할 대상을 마스킹(Masking)하도록 하는 것을 특징으로 하는 멀티 센서.
According to claim 1,
The camera module is
It is installed at a preset first height to detect a person sitting at the height of a desk in the ceiling of an office space to shoot a preset first range, or a preset system to detect a person moving from a high ceiling in factories and warehouses. The multi-sensor, which is installed at a height of 2 to photograph a preset second range, and to mask an object to be excluded within the first range and the second range.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210066997A KR102314903B1 (en) | 2021-05-25 | 2021-05-25 | Method And Apparatus for Controlling Building Based on Image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210066997A KR102314903B1 (en) | 2021-05-25 | 2021-05-25 | Method And Apparatus for Controlling Building Based on Image |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102314903B1 true KR102314903B1 (en) | 2021-10-19 |
Family
ID=78228087
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210066997A KR102314903B1 (en) | 2021-05-25 | 2021-05-25 | Method And Apparatus for Controlling Building Based on Image |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102314903B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220144583A1 (en) * | 2020-11-06 | 2022-05-12 | Otis Elevator Company | Elevator system response to custom passenger attributes |
| CN114777298A (en) * | 2022-03-30 | 2022-07-22 | 广州云雷智能科技有限公司 | Temperature regulation prediction method, device, equipment, storage medium and air conditioning equipment |
| WO2023128014A1 (en) * | 2021-12-29 | 2023-07-06 | 한국전자기술연구원 | Air conditioner control apparatus for controlling air conditioner by recognizing occupant in room |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000513168A (en) * | 1997-04-14 | 2000-10-03 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Security system with maskable motion detection and adjustable field of view |
| US20130073093A1 (en) * | 2011-09-19 | 2013-03-21 | Siemens Industry, Inc. | Building automation system control with motion sensing |
| JP2013182811A (en) * | 2012-03-02 | 2013-09-12 | Panasonic Corp | Illumination control apparatus and illumination system |
-
2021
- 2021-05-25 KR KR1020210066997A patent/KR102314903B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000513168A (en) * | 1997-04-14 | 2000-10-03 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Security system with maskable motion detection and adjustable field of view |
| US20130073093A1 (en) * | 2011-09-19 | 2013-03-21 | Siemens Industry, Inc. | Building automation system control with motion sensing |
| JP2013182811A (en) * | 2012-03-02 | 2013-09-12 | Panasonic Corp | Illumination control apparatus and illumination system |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220144583A1 (en) * | 2020-11-06 | 2022-05-12 | Otis Elevator Company | Elevator system response to custom passenger attributes |
| WO2023128014A1 (en) * | 2021-12-29 | 2023-07-06 | 한국전자기술연구원 | Air conditioner control apparatus for controlling air conditioner by recognizing occupant in room |
| KR20230101404A (en) * | 2021-12-29 | 2023-07-06 | 한국전자기술연구원 | An air conditioner control device that controls the air conditioner by recognizing the occupants of the room |
| KR102558090B1 (en) * | 2021-12-29 | 2023-07-24 | 한국전자기술연구원 | An air conditioner control device that controls the air conditioner by recognizing the occupants of the room |
| CN114777298A (en) * | 2022-03-30 | 2022-07-22 | 广州云雷智能科技有限公司 | Temperature regulation prediction method, device, equipment, storage medium and air conditioning equipment |
| CN114777298B (en) * | 2022-03-30 | 2023-09-22 | 广州云雷智能科技有限公司 | Temperature regulation prediction method, device, equipment, storage medium and air conditioning equipment |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102314903B1 (en) | Method And Apparatus for Controlling Building Based on Image | |
| US11595579B2 (en) | Systems and methods for automatic exposure in high dynamic range video capture systems | |
| CN101262617B (en) | White balance correction apparatus and method | |
| JP5726792B2 (en) | Information processing apparatus, image sensor apparatus, and program | |
| US6645066B2 (en) | Space-conditioning control employing image-based detection of occupancy and use | |
| KR101835552B1 (en) | Control center system of working environment for smart factory | |
| US8044992B2 (en) | Monitor for monitoring a panoramic image | |
| JP2016171526A (en) | Image sensor, person detection method, control system, control method, and computer program | |
| CN111562745A (en) | Intelligent control system and intelligent control method | |
| KR100958497B1 (en) | Illumination control system using motion detection of image data and control method therefore | |
| WO2011032117A1 (en) | Method and system for wildfire detection using a visible range camera | |
| CN113606749A (en) | Partition on-demand ventilation control method based on personnel pixel density | |
| KR101798372B1 (en) | system and method for detecting a fire | |
| US10867491B2 (en) | Presence detection system and method | |
| CN117156637A (en) | Intelligent lighting control method, device, equipment and medium based on security system | |
| KR102395440B1 (en) | Cloud-based building management system and method thereof | |
| CN112347937B (en) | Indoor fire monitoring system and method based on visual perception | |
| CN110972376A (en) | Method and system for automatically controlling household lamp to be turned on and turned off | |
| JP6495696B2 (en) | Image collecting apparatus, image collecting method, and computer program | |
| JP7357194B2 (en) | Information output device, detection system, control method, and program | |
| JP2014002943A (en) | Lighting control device | |
| KR200191446Y1 (en) | A forest fires sensing appararus | |
| WO2019225912A1 (en) | Method for controlling air conditioner by recognizing zone on basis of artificial intelligence, server, and air conditioner | |
| CN115100796A (en) | Cinema safety monitoring system based on edge calculation | |
| CN116300489A (en) | Space intelligent control system and control method based on personnel positioning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |