WO2016137047A1 - 사람 계수 시스템 및 방법 - Google Patents

사람 계수 시스템 및 방법 Download PDF

Info

Publication number
WO2016137047A1
WO2016137047A1 PCT/KR2015/002379 KR2015002379W WO2016137047A1 WO 2016137047 A1 WO2016137047 A1 WO 2016137047A1 KR 2015002379 W KR2015002379 W KR 2015002379W WO 2016137047 A1 WO2016137047 A1 WO 2016137047A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
person
distance
thermal
image
Prior art date
Application number
PCT/KR2015/002379
Other languages
English (en)
French (fr)
Inventor
백영민
배순민
Original Assignee
한화테크윈 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 주식회사 filed Critical 한화테크윈 주식회사
Publication of WO2016137047A1 publication Critical patent/WO2016137047A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06M—COUNTING MECHANISMS; COUNTING OF OBJECTS NOT OTHERWISE PROVIDED FOR
    • G06M1/00—Design features of general application
    • G06M1/08—Design features of general application for actuating the drive
    • G06M1/10—Design features of general application for actuating the drive by electric or magnetic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06M—COUNTING MECHANISMS; COUNTING OF OBJECTS NOT OTHERWISE PROVIDED FOR
    • G06M7/00—Counting of objects carried by a conveyor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06M—COUNTING MECHANISMS; COUNTING OF OBJECTS NOT OTHERWISE PROVIDED FOR
    • G06M1/00—Design features of general application
    • G06M1/08—Design features of general application for actuating the drive
    • G06M1/10—Design features of general application for actuating the drive by electric or magnetic means
    • G06M1/101—Design features of general application for actuating the drive by electric or magnetic means by electro-optical means

Definitions

  • Embodiments of the present invention relate to heterogeneous camera-based human counting systems and methods, as human counting systems and methods.
  • An embodiment of the present invention is to provide a system and method that can accurately count only people even in a gate heavy load.
  • a person counting apparatus for calculating the correlation between the distance camera and the thermal camera for obtaining an image from different directions for the same scene;
  • a detector configured to detect at least one candidate region corresponding to an object detected in the distance image acquired by the distance camera, from the thermal image acquired by the thermal camera using the correlation;
  • a counting unit that determines whether the object is a person based on a temperature of the at least one candidate region.
  • the distance camera may acquire a top-view distance image
  • the thermal camera may acquire a side-view thermal image
  • the detection unit may extract at least one local feature region of the object from the distance image, and detect at least one candidate region corresponding to the at least one local feature region in the thermal image by using the correlation. have.
  • the counter may select at least one temperature sensing area from the at least one candidate area, and determine the object as a person when the temperature of the selected temperature sensing area is within a reference temperature range.
  • the counter may determine the object as a person when a ratio of an area belonging to the reference temperature range is greater than or equal to a reference ratio in the selected temperature sensing area.
  • the detector may detect skeleton information of at least a portion of the object in the distance image, and detect at least one local feature area of the object from the skeleton information.
  • the detector may model a shape by reconstructing at least a portion of the object in a slice method in the distance image, and detect a candidate region corresponding to the modeled shape in the thermal image by using the correlation.
  • the counter may determine the object as a person when a ratio of an area belonging to a reference temperature range in the candidate area is greater than or equal to the reference ratio.
  • a person counting system includes a distance camera and a thermal camera that acquire images in different directions with respect to the same scene; And detecting at least one candidate region corresponding to an object detected in the distance image acquired by the distance camera from the thermal image acquired by the thermal camera by using a correlation between the distance camera and the thermal camera. And a person counting device that determines whether the object is a person based on a temperature of a candidate region.
  • the system further includes a calibration tool including a heating element disposed on the body and a vertex of the cube structure to dissipate heat, the person counting device, the depth image obtained by the distance camera and the thermal camera with respect to the calibration tool
  • the correlation may be calculated by calculating a corresponding point between the thermal image and the thermal image.
  • the distance camera may acquire a top-view distance image
  • the thermal camera may acquire a side-view thermal image
  • the person counting device selects at least one temperature sensing region from the at least one candidate region, and if the ratio of an area belonging to a reference temperature range in the selected temperature sensing region is equal to or greater than a reference ratio, determine the object as a person. Can be.
  • a person counting method by a person counting apparatus includes calculating a correlation between a distance camera and a thermal camera that acquires an image in different directions with respect to the same scene; Detecting at least one candidate region corresponding to an object detected in the distance image acquired by the distance camera in the thermal image acquired by the thermal camera using the correlation; And determining whether the object is a person based on a temperature of the at least one candidate region.
  • the distance camera may acquire a top-view distance image
  • the thermal camera may acquire a side-view thermal image
  • the detecting step may include extracting at least one local feature area of the object from the distance image; And detecting at least one candidate region corresponding to the at least one local feature region in the thermal image by using the correlation.
  • the determining of the person may include selecting at least one temperature sensing region from the at least one candidate region; And determining the object as a person when the temperature of the selected temperature sensing region falls within a reference temperature range.
  • the determining of the person may include determining the object as a person when a ratio of a region belonging to the reference temperature range is greater than or equal to a reference ratio in the selected temperature sensing region.
  • the detecting may include detecting skeleton information of at least a portion of the object in the distance image; And detecting at least one local feature area of the object from the skeleton information.
  • the detecting may include: remodeling at least a portion of the object in a slice method in the distance image to form a shape; And detecting a candidate region corresponding to the modeled shape in the thermal image by using the correlation.
  • the determining of the person may include determining the object as a person when a ratio of an area belonging to a reference temperature range in the candidate area is greater than or equal to the reference ratio.
  • FIG. 1 is a block diagram schematically illustrating a human counting system according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a photographing method of a camera according to an exemplary embodiment of the present invention.
  • FIG. 3 is a diagram illustrating candidate region detection using a distance camera and a thermal camera according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating candidate region detection using a distance camera according to another embodiment of the present invention.
  • FIG. 5 is a view for explaining a method of calculating a correlation between a distance camera and a thermal camera according to an embodiment of the present invention.
  • FIG. 6 is a flowchart illustrating a person counting method according to an embodiment of the present invention.
  • a person counting apparatus for calculating the correlation between the distance camera and the thermal camera for obtaining an image from different directions for the same scene;
  • a detector configured to detect at least one candidate region corresponding to an object detected in the distance image acquired by the distance camera, from the thermal image acquired by the thermal camera using the correlation;
  • a counting unit that determines whether the object is a person based on a temperature of the at least one candidate region.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms are only used to distinguish one component from another.
  • Embodiments of the present invention can be represented by functional block configurations and various processing steps. Such functional blocks may be implemented in various numbers of hardware or / and software configurations that perform particular functions. For example, embodiments of the invention may be implemented directly, such as memory, processing, logic, look-up table, etc., capable of executing various functions by the control of one or more microprocessors or other control devices. Circuit configurations can be employed. Similar to the components of an embodiment of the present invention may be implemented in software programming or software elements, embodiments of the present invention include various algorithms implemented in combinations of data structures, processes, routines or other programming constructs. It may be implemented in a programming or scripting language such as C, C ++, Java, assembler, or the like.
  • inventions may be implemented with an algorithm running on one or more processors.
  • embodiments of the present invention may employ the prior art for electronic configuration, signal processing, and / or data processing.
  • Terms such as mechanism, element, means, configuration can be used broadly and are not limited to mechanical and physical configurations. The term may include the meaning of a series of routines of software in conjunction with a processor or the like.
  • 1 is a block diagram schematically illustrating a human counting system according to an embodiment of the present invention.
  • 2 is a diagram illustrating a photographing method of a camera according to an exemplary embodiment of the present invention.
  • a person counting system 1 is a system for counting a person using a plurality of different kinds of cameras.
  • the person counting system 1 includes a first camera 10, a second camera 20, and a person counting device 50.
  • the first camera 10 and the second camera 20 may be cameras having different characteristics that provide image information by photographing the same scene in different directions.
  • the first camera 10 and the second camera 20 may have a pan tilt zoom (PTZ) function, and may acquire images of the same point at each zoom magnification while being panned and tilted together.
  • the first camera 10 and the second camera 20 are integrally installed inside and outside offices, houses, hospitals, banks and public buildings requiring security, and are used for access control or crime prevention. Depending on the purpose of use, it can have various shapes such as straight and dome shaped.
  • the first camera 10 and the second camera 20 may be installed on a ceiling, a wall, or the like.
  • the first camera 10 is a distance measuring camera (hereinafter, referred to as a "distance camera"), and a distance image (depth that provides distance information between each object in the captured scene and / or distance information from the camera to each object (depth).
  • a distance camera a distance measuring camera
  • a distance image depth that provides distance information between each object in the captured scene and / or distance information from the camera to each object (depth).
  • First image The first camera 10 photographs a surrounding environment or scene (space), and includes various objects (eg, static objects such as walls and obstacles or dynamic objects such as humans and animals) that exist within the scene.
  • the depth camera may acquire depth information in real time.
  • the second camera 20 is a thermal camera (or infrared camera), and detects radiant energy (thermal energy) emitted by an object and detects it in the form of an infrared wavelength, which is a kind of electromagnetic waves, and measures the intensity of thermal energy according to the intensity.
  • a second image which is a thermal image representing another color, may be generated.
  • the first camera 10 is a distance camera arranged to look upward from the top in a direct manner (top-view) to obtain a top-view image.
  • the second camera 20 is a thermal camera arranged to capture an angle of view of the first camera 10 from an oblique line to acquire a side-view image.
  • a direct camera In a conventional human counting system, a direct camera is mainly used. Using direct stereo camera or distance sensor information, it is easy to measure the distance to the head of a person.However, it is difficult to classify objects similar to humans. Can occur frequently. For example, a mannequin, a doll, a gas tank, a drum, and the like having a similar shape or height to a person may have a problem of counting as a person.
  • the direct thermal imaging camera can detect a person's body temperature, and thus can roughly detect the presence of a person. However, if the laceration of a human head is not even, the head is covered by a hard hat, a hat, a hood, etc., a problem arises in that a person cannot be detected when wearing thick clothes.
  • the person counting device 50 may perform image signal processing such as noise removal on the distance image from the distance camera and the thermal image from the thermal camera.
  • the person counting device 50 detects at least a part of a person or a human-like object in the distance image.
  • the person counting device 50 extracts an area corresponding to a part of the body (for example, a face, a neck, a hand, a foot, and the like) from an area predicted to be a person.
  • the distance camera and the thermal camera are calibrated, and the person counting device 50 detects candidate areas corresponding to the areas detected in the distance image in the thermal image, and detects the temperatures of the candidate areas through the thermal camera. It is possible to determine whether the object is a person or something similar to a person.
  • the human counting device 50 includes a calibrator 501, a detector 503, and a counter 505.
  • the calibration unit 501 calculates a correlation between the distance camera and the thermal camera by performing calibration.
  • the correction unit 501 calculates a correlation indicating the positional relationship between the distance camera and the thermal camera.
  • the correction unit 501 converts the transformation matrix and the amount of rotation (R) between the distance camera and the thermal camera by the corresponding point matching between the distance image acquired by the distance camera and the thermal image acquired by the thermal camera, and the thermal camera.
  • the projection matrix P can be calculated as a correlation.
  • the detector 503 detects an object in the distance image acquired by the distance camera using the correlation, and detects at least one candidate area corresponding to the detected object in the thermal image acquired by the thermal camera.
  • a skeleton technique or a slice technique described below may be used as a method of detecting an object in a distance image.
  • embodiments of the present invention are not limited thereto, and various techniques for detecting the shape or the body of a person may be utilized.
  • the detector 503 may detect an area in which the person or people are estimated to be present in the distance image, and detect a head area and other body parts in the detected area.
  • the detector 503 may detect a candidate region corresponding to the region detected in the distance image in the thermal image.
  • the counting unit 505 determines whether the object detected in the distance image is a person based on the temperature of the at least one candidate area. If the body temperature is detected in the candidate region, the counting unit 505 determines that the person is a person, and if not, determines the object. The counting unit 505 can increase the counting accuracy by counting only a person.
  • the counter 505 may select at least one temperature sensing region from at least one candidate region, and determine the object as a person when the temperature of the selected temperature sensing region is within a reference temperature range.
  • the counting unit 505 may select at least one temperature sensing area from among the plurality of candidate areas, and determine that the object is a person when at least a part of the at least one candidate area belongs to a reference temperature range.
  • the counter 505 may determine the object as a person when the ratio of the area belonging to the reference temperature range in the selected temperature sensing area is greater than or equal to the reference ratio.
  • the reference temperature range may be set to 25 to 41 degrees in consideration of the heat loss due to clothing and hair and the error range of the thermal camera in the range of 35 to 41 degrees, which is a normal human body temperature.
  • the reference ratio is set to 50% or more, and if the area satisfying the reference temperature range is 50% or more in the entire temperature sensing area, the object may be determined as a human.
  • the reference temperature range and the reference ratio may be variably set by the user in consideration of the installation position of the camera.
  • the embodiment of the present invention can be provided with the height information of the body temperature from the thermal information of the region determined to be a person, the body temperature of the gate accessor can be detected to provide a health state of the body.
  • the person counting device 50 may display the distance image, the thermal image, and the counted number of people on the screen in real time.
  • FIG. 3 is a diagram illustrating candidate region detection using a distance camera and a thermal camera according to an embodiment of the present invention.
  • Figure 3 (a) is a distance image obtained by the distance camera
  • Figure 3 (b) is a thermal image obtained by the thermal camera.
  • the distance image different colors are displayed depending on the distance to the camera and the object.
  • Thermal images show different colors depending on the intensity of thermal energy.
  • the detector 503 obtains skeletal information from a distance image by a skeleton technique.
  • the detector 503 may detect at least one local feature area corresponding to a body part such as a head, a hand, a leg, or a foot by using skeleton information.
  • 3A illustrates an example in which the head, left hand, and right hand areas are detected as local feature areas.
  • the detector 503 may detect at least one candidate region corresponding to at least one local feature region in the thermal image by using a correlation between the distance camera and the thermal camera.
  • FIG. 3B illustrates an example in which candidate regions corresponding to local feature regions of the head, left hand, and right hand are respectively detected.
  • skeleton information including a head, an arm, a leg, and the like is acquired from a distance image acquired by a direct distance camera, and appears in a thermal image acquired by a thermal camera through camera geometry.
  • Skeleton techniques to detect the position of the face, arms and legs are illustrated. This is because the use of the position of the face, arms, legs, etc. is most likely to detect the body temperature.
  • the skin temperature detection range is set in consideration of this because the skin may be covered by a mask or a glove. This will be described later. Since the body temperature is also copied through clothes or work clothes, it is possible to analyze the thermal image of the whole person by utilizing skeletal information as it is, rather than thermal image analysis of a part of the body.
  • the thermal image may be analyzed by extracting only the skeletal information of the head and the shoulder, not the overall skeletal information including the arms and legs in addition to the head.
  • FIG. 4 is a diagram illustrating candidate region detection using a distance camera according to another embodiment of the present invention.
  • the shape of a person is modeled by dividing the area a from the head to the shoulder detected in the distance image by a slice method as shown in FIG.
  • the candidate region c corresponding to the shape of the modeled person may be detected in the thermal image.
  • FIG. 5 is a view for explaining a method of calculating a correlation between a distance camera and a thermal camera according to an embodiment of the present invention.
  • a transformation matrix is calculated by calculating corresponding points between the distance image and the thermal image. Since the characteristics of the distance camera and the thermal camera are different, it is difficult to detect the corresponding point only by the image.
  • a dedicated calibration tool for calibrating the distance camera and the thermal camera is utilized.
  • the calibration tool 70 includes a body 701 having a box-shaped cube structure, a heating element 703 that dissipates heat at each vertex of the body 701, and a handle 705 connected to the body 701.
  • the heating element 703 may be implemented as an object that emits heat that can be detected by the thermal camera, such as a heating wire or a lamp.
  • the handle 705 may be cylindrical as shown in FIG. 5 (a), but is not limited thereto and may be a shape in which a person may hold the orthodontic tool 70.
  • the distance camera and thermal camera acquire a top-view distance image and a side-view thermal image, respectively, while the user moves by holding the handle 705 of the calibration tool 70.
  • the position of the vertex of the cube can be detected.
  • the thermal image a vertex that is a heating portion of the cube may be detected.
  • the translation and rotation relationship between the distance camera and the thermal camera and the projection matrix may be calculated using the plurality of vertices detected in the distance image and the thermal image as corresponding points. In this case, the Least Mean Square technique may be used.
  • 5 (b) shows the correspondence of the vertices detected by the photographing of the calibration tool 70 of the distance image and the thermal image.
  • the coordinates of the object region detected in the distance image are then converted into thermal camera-based three-dimensional coordinates using Equation (1) described above.
  • 3D coordinates may be converted into coordinates projected on the thermal image by using Equation (2) described above.
  • FIG. 6 is a flowchart illustrating a person counting method according to an embodiment of the present invention.
  • the person counting system calculates a correlation between the distance camera and the thermal camera (S61).
  • the human counting system correlates the transformation matrix of the translation (t) and the rotation amount (R) between the distance camera and the thermal camera and the projection matrix (P, projection metrix) of the thermal camera. Can be calculated.
  • a distance tool and a thermal image may be acquired using a calibration tool as shown in FIG. 5, and then correlation may be calculated through tracking of correspondence points.
  • the person counting system detects an object in the distance image acquired by the distance camera (S62).
  • the human counting system may detect a person or an object similar to a person in the distance image, and detect a head region and a non-head region of the body. In this case, a skeleton technique or a slice technique may be used.
  • the human counting system detects at least one candidate region corresponding to the object detected in the distance image from the thermal image acquired by the thermal camera by using the correlation (S63).
  • the human counting system extracts at least one local feature region of the object and uses the correlation to detect at least one candidate region corresponding to the at least one local feature region in the thermal image.
  • the human counting system selects at least one temperature sensing region from the at least one candidate region (S64). Considering hats, gloves, shoes, etc. worn by a person, the person counting system may select a temperature sensing area in which an optimal body temperature can be detected in at least one candidate area. One or more temperature sensing zones may be selected.
  • the person counting system determines whether the object detected in the distance image is a person based on the temperature of the at least one temperature sensing region (S65).
  • the human counting system determines whether at least a portion of the at least one temperature sensing region falls within the reference temperature range.
  • the reference temperature range may be set in consideration of the heat loss caused by clothing and hair and the error range of the thermal camera in a normal body temperature range of a person.
  • the reference temperature range can be variably set by the user.
  • the human counting system may determine that a person is one or more temperature sensing regions when the region corresponding to the reference temperature range is equal to or greater than the reference ratio.
  • the person counting system counts a person when the object is determined to be a person (S66).
  • the person counting system may count people detected in a user-specified time zone.
  • Distance images and thermal images and counting results may be displayed on the screen in real time.
  • the embodiment of the present invention provides the feature information of the person in addition to the top-view distance image of the distance camera.
  • a thermal camera capable of extracting an image may be additionally used to determine whether a person is a real person through a side-view thermal image. Through the information determined in this way, the counting accuracy can be dramatically improved by not counting the cargo as a person at a gate where frequent cargo entry and exit are performed.
  • the embodiment of the present invention can provide the height and temperature information of the body temperature from the thermal information of the person, it is possible to detect the body temperature of the gate accessor to transfer the health state of the body.
  • Embodiments of the present invention can be usefully used in various places that require accurate human counting.
  • Embodiment of the present invention can be utilized in commercial facilities, such as infrastructure, shops, casinos and airports. It can also be used in transportation, factories and workshops such as airplanes, ships, and trains, which require internal personnel to be prepared for accidents. For example, a doorway where a person enters or exits may be applied to a sorting function for a person / thing, such as pushing a cart at a mart or carrying an object at a workplace.
  • the embodiment of the present invention can be usefully used for a system for identifying the remaining personnel in a limited space such as a workplace or an airplane / ship in the event of a fire or disaster.
  • the heterogeneous camera-based human counting system and method according to an embodiment of the present invention can be embodied as computer readable codes on a computer readable recording medium.
  • Computer-readable recording media include all kinds of recording devices that store data that can be read by a computer system. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disks, optical data storage devices, and the like.
  • the computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
  • functional programs, codes, and code segments for implementing the present invention can be easily inferred by programmers in the art to which the present invention belongs.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 실시예는 사람 계수 시스템 및 방법을 개시한다. 본 발명의 일 실시예에 따른 사람 계수 장치는, 동일한 장면에 대하여 상이한 방향에서 영상을 획득하는 거리 카메라 및 열상 카메라 간의 상관 관계를 산출하는 교정부; 상기 상관 관계를 이용하여 상기 거리 카메라가 획득한 거리 영상에서 검출한 객체에 대응하는 적어도 하나의 후보 영역을 상기 열상 카메라가 획득한 열 영상에서 검출하는 검출부; 및 상기 적어도 하나의 후보 영역의 온도를 기초로 상기 객체가 사람인지 여부를 판단하는 계수부;를 포함한다.

Description

사람 계수 시스템 및 방법
본 발명의 실시예는 사람 계수 시스템 및 방법으로서, 이기종 카메라 기반의 사람 계수 시스템 및 방법에 관한 것이다.
크고 작은 인명 사고로 인해, 안전에 대한 요구가 증가하고 있다. 만약 사고가 발생했을 경우 인명 구조나 희생자 위치 파악을 목적으로 특정 공간에 머문 사람의 수는 상황을 파악하는 데에 중요한 요소이다.
하지만 종래의 사람을 계수하는 시스템은 사람에 대한 오탐지나 미탐지로 인한 잘못된 계수가 많았다. 따라서 정확한 사람의 계수를 위해서, 계수 정확도를 높이는 것이 중요하다.
본 발명의 실시예는 화물이 많은 게이트에서도 정확히 사람만 계수할 수 있는 시스템 및 방법을 제공하고자 한다.
본 발명의 일 실시예에 따른 사람 계수 장치는, 동일한 장면에 대하여 상이한 방향에서 영상을 획득하는 거리 카메라 및 열상 카메라 간의 상관 관계를 산출하는 교정부; 상기 상관 관계를 이용하여 상기 거리 카메라가 획득한 거리 영상에서 검출한 객체에 대응하는 적어도 하나의 후보 영역을 상기 열상 카메라가 획득한 열 영상에서 검출하는 검출부; 및 상기 적어도 하나의 후보 영역의 온도를 기초로 상기 객체가 사람인지 여부를 판단하는 계수부;를 포함한다.
상기 거리 카메라는 탑-뷰 거리 영상을 획득하고, 상기 열상 카메라는 사이드-뷰 열 영상을 획득할 수 있다.
상기 검출부는, 상기 거리 영상에서 상기 객체의 적어도 하나의 국소 특징 영역을 추출하고, 상기 상관 관계를 이용하여 상기 열 영상에서 상기 적어도 하나의 국소 특징 영역에 대응하는 적어도 하나의 후보 영역을 검출할 수 있다.
상기 계수부는, 상기 적어도 하나의 후보 영역에서 적어도 하나의 온도 감지 영역을 선택하고, 상기 선택된 온도 감지 영역의 온도가 기준 온도 범위에 속하는 경우 상기 객체를 사람으로 판단할 수 있다.
상기 계수부는, 상기 선택된 온도 감지 영역에서 상기 기준 온도 범위에 속하는 영역의 비율이 기준 비율 이상이면, 상기 객체를 사람으로 판단할 수 있다.
상기 검출부는, 상기 거리 영상에서 상기 객체의 적어도 일부에 대한 골격 정보를 검출하고, 상기 골격 정보로부터 상기 객체의 적어도 하나의 국소 특징 영역을 검출할 수 있다.
상기 검출부는, 상기 거리 영상에서 상기 객체의 적어도 일부를 슬라이스 방식으로 재구성하여 형상을 모델링하고, 상기 상관 관계를 이용하여 상기 열 영상에서 상기 모델링된 형상에 대응하는 후보 영역을 검출할 수 있다.
상기 계수부는, 상기 후보 영역에서 기준 온도 범위에 속하는 영역의 비율이 기준 비율 이상이면, 상기 객체를 사람으로 판단할 수 있다.
본 발명의 일 실시예에 따른 사람 계수 시스템은, 동일한 장면에 대하여 상이한 방향에서 영상을 획득하는 거리 카메라와 열상 카메라; 및 상기 거리 카메라와 열상 카메라 간의 상관 관계를 이용하여 상기 거리 카메라가 획득한 거리 영상에서 검출한 객체에 대응하는 적어도 하나의 후보 영역을 상기 열상 카메라가 획득한 열 영상에서 검출하고, 상기 적어도 하나의 후보 영역의 온도를 기초로 상기 객체가 사람인지 여부를 판단하는 사람 계수 장치;를 포함한다.
상기 시스템은, 정육면체 구조의 본체 및 꼭지점에 배치되어 열을 발산하는 발열체를 포함하는 교정 도구;를 더 포함하고, 상기 사람 계수 장치는, 상기 교정 도구에 대해 상기 거리 카메라와 열상 카메라 획득한 깊이 영상과 열 영상 간의 대응점을 산출하여 상기 상관 관계를 산출할 수 있다.
상기 거리 카메라는 탑-뷰 거리 영상을 획득하고, 상기 열상 카메라는 사이드-뷰 열 영상을 획득할 수 있다.
상기 사람 계수 장치는, 상기 적어도 하나의 후보 영역에서 적어도 하나의 온도 감지 영역을 선택하고, 상기 선택된 온도 감지 영역에서 기준 온도 범위에 속하는 영역의 비율이 기준 비율 이상이면, 상기 객체를 사람으로 판단할 수 있다.
본 발명의 일 실시예에 따른 사람 계수 장치에 의한 사람 계수 방법은, 동일한 장면에 대하여 상이한 방향에서 영상을 획득하는 거리 카메라 및 열상 카메라 간의 상관 관계를 산출하는 단계; 상기 상관 관계를 이용하여 상기 거리 카메라가 획득한 거리 영상에서 검출한 객체에 대응하는 적어도 하나의 후보 영역을 상기 열상 카메라가 획득한 열 영상에서 검출하는 단계; 및 상기 적어도 하나의 후보 영역의 온도를 기초로 상기 객체가 사람인지 여부를 판단하는 단계;를 포함한다.
상기 거리 카메라는 탑-뷰 거리 영상을 획득하고, 상기 열상 카메라는 사이드-뷰 열 영상을 획득할 수 있다.
상기 검출 단계는, 상기 거리 영상에서 상기 객체의 적어도 하나의 국소 특징 영역을 추출하는 단계; 및 상기 상관 관계를 이용하여 상기 열 영상에서 상기 적어도 하나의 국소 특징 영역에 대응하는 적어도 하나의 후보 영역을 검출하는 단계;를 포함할 수 있다.
상기 사람 판단 단계는, 상기 적어도 하나의 후보 영역에서 적어도 하나의 온도 감지 영역을 선택하는 단계; 및 상기 선택된 온도 감지 영역의 온도가 기준 온도 범위에 속하는 경우 상기 객체를 사람으로 판단하는 단계;를 포함할 수 있다.
상기 사람 판단 단계는, 상기 선택된 온도 감지 영역에서 상기 기준 온도 범위에 속하는 영역의 비율이 기준 비율 이상이면, 상기 객체를 사람으로 판단하는 단계;를 포함할 수 있다.
상기 검출 단계는, 상기 거리 영상에서 상기 객체의 적어도 일부에 대한 골격 정보를 검출하는 단계; 및 상기 골격 정보로부터 상기 객체의 적어도 하나의 국소 특징 영역을 검출하는 단계;를 포함할 수 있다.
상기 검출 단계는, 상기 거리 영상에서 상기 객체의 적어도 일부를 슬라이스 방식으로 재구성하여 형상을 모델링하는 단계; 및 상기 상관 관계를 이용하여 상기 열 영상에서 상기 모델링된 형상에 대응하는 후보 영역을 검출하는 단계;를 포함할 수 있다.
상기 사람 판단 단계는, 상기 후보 영역에서 기준 온도 범위에 속하는 영역의 비율이 기준 비율 이상이면, 상기 객체를 사람으로 판단하는 단계;를 포함할 수 있다.
도 1은 본 발명의 일 실시예에 따른 사람 계수 시스템을 개략적으로 도시한 블록도이다.
도 2는 본 발명의 실시예에 따른 카메라의 촬영 방식을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 거리 카메라와 열상 카메라를 이용한 후보 영역 검출을 설명하는 도면이다.
도 4는 본 발명의 다른 실시예에 따른 거리 카메라를 이용한 후보 영역 검출을 설명하는 도면이다.
도 5는 본 발명의 일 실시예에 따른 거리 카메라와 열상 카메라 간의 상관 관계를 산출하는 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 사람 계수 방법을 설명하는 흐름도이다.
본 발명의 일 실시예에 따른 사람 계수 장치는, 동일한 장면에 대하여 상이한 방향에서 영상을 획득하는 거리 카메라 및 열상 카메라 간의 상관 관계를 산출하는 교정부; 상기 상관 관계를 이용하여 상기 거리 카메라가 획득한 거리 영상에서 검출한 객체에 대응하는 적어도 하나의 후보 영역을 상기 열상 카메라가 획득한 열 영상에서 검출하는 검출부; 및 상기 적어도 하나의 후보 영역의 온도를 기초로 상기 객체가 사람인지 여부를 판단하는 계수부;를 포함한다..
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
이하의 실시예에서, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
이하의 실시예에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 이하의 실시예에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명의 실시예들은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명의 실시예의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 잇는 것과 유사하게, 본 발명의 실시예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명의 실시예들은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. 매커니즘, 요소, 수단, 구성과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
도 1은 본 발명의 일 실시예에 따른 사람 계수 시스템을 개략적으로 도시한 블록도이다. 도 2는 본 발명의 실시예에 따른 카메라의 촬영 방식을 나타낸 도면이다.
도 1을 참조하면, 본 발명의 실시예에 따른 사람 계수 시스템(1)은 이기종의 복수의 카메라를 이용하여 사람을 계수하는 시스템이다. 사람 계수 시스템(1)은 제1 카메라(10), 제2 카메라(20) 및 사람 계수 장치(50)를 포함한다.
제1 카메라(10) 및 제2 카메라(20)는 동일 장면을 상이한 방향에서 촬영하여 영상 정보를 제공하는 서로 다른 특성의 카메라일 수 있다. 제1 카메라(10) 및 제2 카메라(20)는 팬틸트줌(PTZ) 기능을 구비하고, 함께 패닝 및 틸팅되면서 각각의 줌 배율로 동일 지점의 영상을 획득할 수 있다. 제1 카메라(10) 및 제2 카메라(20)는 사무실, 주택, 병원은 물론 은행이나 보안이 요구되는 공공건물 등의 내외에 일체로 설치되어 출입관리나 방범용으로 사용되며, 그 설치 장소 및 사용목적에 따라 일자형, 돔형 등 다양한 형태를 가질 수 있다. 제1 카메라(10) 및 제2 카메라(20)는 천정, 벽 등에 설치될 수 있다.
제1 카메라(10)는 거리 측정용 카메라(이하, '거리 카메라'라고 칭함)로서, 촬영된 장면 내 각 객체 간의 거리 정보 및/또는 카메라로부터 각 객체까지의 거리 정보를 제공하는 거리 영상(깊이 영상)인 제1 영상을 생성할 수 있다. 제1 카메라(10)는 주변 환경 또는 장면(공간)을 촬영하고, 장면 내에 존재하는 다양한 객체(예를 들어, 벽, 장애물 등의 정적 물체나 사람, 동물 등의 동적 물체)를 포함하여 장면의 깊이 정보를 실시간으로 획득하는 깊이 카메라로 구현될 수 있다.
제2 카메라(20)는 열상 카메라(또는 적외광 카메라)로서, 물체가 발산하는 복사 에너지(열에너지)를 감지하여 전자파의 일종인 적외선 파장 형태로 검출하고, 열에너지의 강도를 측정하여 강도에 따라 각각 다른 색상을 나타내는 열 영상인 제2 영상을 생성할 수 있다.
도 2를 참조하면, 제1 카메라(10)는 직하 방식(탑-뷰(Top-view) 방식)으로 위에서 아래를 바라보도록 배치되어 탑-뷰 영상을 획득하는 거리 카메라이다. 제2 카메라(20)는 제1 카메라(10)의 화각 영역을 사선에서 촬영하도록 배치되어 사이드-뷰 영상을 획득하는 열상 카메라이다.
종래의 사람 계수 시스템에서는 직하 방식의 카메라가 주로 사용되고 있다. 직하 방식의 스트레오 카메라나 거리 센서 정보를 활용하면 사람의 머리까지의 거리를 측정하는데 용이하나, 사람과 유사한 사물에 대한 분류가 어려워 화물 출입이 빈번한 게이트에서 화물인지 사람인지를 구분하지 못하는 오탐지가 빈번하게 발생할 수 있다. 예를 들어 마네킹, 인형, 가스탱크, 드럼통 등 사람과 유사한 형상 또는 높이를 가진 사물도 사람으로 계수하는 문제가 있다.
직하 방식의 열상 카메라는 사람의 체온을 감지할 수 있기 때문에 대략적으로 사람이 존재하는지 검출할 수 있다. 하지만 사람의 머리에 대한 열상이 균등하지 못하고, 안전모, 모자, 두건 등에 의해 머리가 가려지는 경우, 두터운 옷을 입고 있는 경우 사람을 탐지하지 못하는 문제가 발생한다.
본 발명의 실시예에서는 직하 방식의 거리 카메라와 사이드-뷰 방식의 열상 카메라의 상호 장단점을 적절히 이용함으로써 검출된 객체가 사람인지 여부를 판단한 후 사람으로 계수한다.
사람 계수 장치(50)는 거리 카메라로부터의 거리 영상과 열상 카메라로부터의 열 영상에 대해 노이즈 제거 등 영상 신호 처리할 수 있다.
사람 계수 장치(50)는 거리 영상에서 사람 또는 사람 유사 물체의 적어도 일부를 검출한다. 사람 계수 장치(50)는 사람으로 예측되는 영역에서 신체 일부(예를 들어, 얼굴, 목, 손, 발 등)에 해당하는 영역을 추출한다. 거리 카메라와 열상 카메라는 교정(Calibration) 되어, 사람 계수 장치(50)는 거리 영상에서 검출된 영역들에 대응하는 후보 영역을 열 영상에서 검출하고, 열상 카메라를 통해서 후보 영역의 온도를 검출함으로써 검출된 물체가 사람인지 혹은 사람과 유사한 사물인지를 판별할 수 있다.
사람 계수 장치(50)는 교정부(501), 검출부(503) 및 계수부(505)를 포함한다.
교정부(501)는 교정(calibration) 수행에 의해, 거리 카메라 및 열상 카메라 간의 상관 관계를 산출한다. 교정부(501)는 거리 카메라와 열상 카메라 간의 위치 관계를 나타내는 상관 관계를 산출한다. 교정부(501)는 거리 카메라가 획득한 거리 영상과 열상 카메라가 획득한 열 영상 간의 대응점 매칭에 의해 거리 카메라와 열상 카메라 간의 병진(t) 및 회전량(R)에 관한 변환 행렬, 열상 카메라의 투영 행렬(P, projection metrix)을 상관 관계로서 산출할 수 있다.
검출부(503)는 상관 관계를 이용하여 거리 카메라가 획득한 거리 영상에서 객체를 검출하고, 검출한 객체에 대응하는 적어도 하나의 후보 영역을 열상 카메라가 획득한 열 영상에서 검출한다.
예를 들어, [X,Y,Z,1]T를 거리 영상에서 얻은 머리 영역 내 점들의 위치라고 할 때, 변환 행렬([R|t])을 사용하여 식 (1)과 같이 열상 카메라에 대한 상대적인 3D 좌표 [X',Y',Z',1]T를 구할 수 있다.
[X',Y',Z',1]T = [R|t] [X,Y,Z,1]T ...식 (1)
[X'/Z',Y/Z',1]와 열상카메라의 P([f,0,cx; 0,f,cy; 0,0,1])을 사용하여 식 (2)와 같이 열 영상 내 좌표[x,y,1]를 구할 수 있다.
[x,y,1]T = [f,0,cx; 0,f,cy; 0,0,1] [X'/Z',Y/Z',1] ...식 (2)
거리 영상에서 객체를 검출하는 방법으로 후술하는 스켈레톤 기법 또는 슬라이스 기법을 활용할 수 있다. 그러나, 본 발명의 실시예는 이에 한정되지 않고, 사람의 형상 또는 신체를 검출할 수 있는 다양한 기법이 활용될 수 있음은 물론이다.
검출부(503)는 거리 영상에서 사람 또는 사람들이 존재하는 것으로 추정되는 영역을 검출하고, 검출된 영역에서 머리 영역 및 그 외 신체 부분을 검출할 수 있다. 검출부(503)는 거리 영상에서 검출된 영역에 대응하는 후보 영역을 열 영상에서 검출할 수 있다.
계수부(505)는 적어도 하나의 후보 영역의 온도를 기초로 거리 영상에서 검출된 객체가 사람인지 여부를 판단한다. 계수부(505)는 후보 영역에서 체온이 감지되면 사람으로 판별하고, 그렇지 않은 경우 사물로 판단한다. 계수부(505)는 사람에 대해서만 계수함으로써 계수 정확도를 높일 수 있다.
계수부(505)는 적어도 하나의 후보 영역에서 적어도 하나의 온도 감지 영역을 선택하고, 선택된 온도 감지 영역의 온도가 기준 온도 범위에 속하는 경우 객체를 사람으로 판단할 수 있다. 계수부(505)는 다수의 후보 영역 중 적어도 하나의 온도 감지 영역으로 선택하고, 적어도 하나의 후보 영역 내의 적어도 일부가 기준 온도 범위에 속하면 객체를 사람으로 판단할 수 있다. 계수부(505)는 선택된 온도 감지 영역에서 기준 온도 범위에 속하는 영역의 비율이 기준 비율 이상이면, 객체를 사람으로 판단할 수 있다. 기준 온도 범위는 통상적인 사람의 체온인 35~41도 범위에서 의류 및 머리카락에 의한 열손실 및 열상 카메라의 오차 범위를 고려하여 25~41도로 설정될 수 있다. 기준 비율은 50% 이상으로 설정되어, 온도 감지 영역 전체에서 기준 온도 범위를 만족하는 영역이 50% 이상이면 객체가 사람으로 판단될 수 있다. 기준 온도 범위 및 기준 비율은 카메라의 설치 위치를 고려하여 사용자에 의해 가변적으로 설정될 수 있다.
추가적으로, 본원발명의 실시예는 사람으로 판단된 영역의 열상 정보로부터 체온의 고저 정보를 제공받을 수 있기 때문에, 게이트 출입자의 체온을 검출하여 몸의 건강 상태를 제공할 수 있다.
사람 계수 장치(50)는 거리 영상 및 열 영상, 계수된 사람의 수를 실시간으로 화면에 디스플레이할 수 있다.
도 3은 본 발명의 일 실시예에 따른 거리 카메라와 열상 카메라를 이용한 후보 영역 검출을 설명하는 도면이다.
도 3(a)는 거리 카메라가 획득한 거리 영상이고, 도 3(b)는 열상 카메라가 획득한 열 영상이다. 거리 영상에서는 카메라와 객체까지의 거리에 따라 각각 다른 색상을 나타낸다. 열 영상에서는 열에너지의 강도에 따라 각각 다른 색상을 나타낸다.
검출부(503)는 스켈레톤(Skeleton) 기법에 의해 거리 영상에서 골격 정보를 획득한다. 검출부(503)는 골격(Skeleton) 정보를 이용하여 머리, 손, 다리, 발 등의 신체 부위에 대응하는 적어도 하나의 국소 특징 영역을 검출할 수 있다. 도 3(a)에서는 머리(Head), 왼손(Left hand), 오른손(Right hand) 영역이 국소 특징 영역으로 검출된 예를 도시하고 있다.
검출부(503)는 거리 카메라와 열상 카메라 간의 상관 관계를 이용하여 열 영상에서 적어도 하나의 국소 특징 영역에 대응하는 적어도 하나의 후보 영역을 검출할 수 있다. 도 3(b)에서는 머리(Head), 왼손(Left hand), 오른손(Right hand)의 국소 특징 영역들에 각각 대응하는 후보 영역들이 검출된 예를 도시하고 있다.
도 3의 실시예에서는 직하 방식의 거리 카메라가 획득한 거리 영상에서 머리, 팔, 다리 등을 포함하는 골격 정보를 획득하고, 카메라 기하 정보(Camera geometry)를 통해 열상 카메라가 획득한 열 영상에서 나타나는 얼굴, 팔, 다리의 위치를 검출하는 스켈레톤 기법을 예시하였다. 여기서 얼굴, 팔, 다리 등의 위치를 활용하는 것은 가장 체온 검출이 잘 될 것으로 추정되는 곳이기 때문이다. 하지만 이런 곳도 바로 피부가 노출되는 것이 아니라 마스크, 장갑 등에 의해 가려질 수 있으므로 이를 감안하여 체온 검출 범위를 설정한다. 이에 대한 설명은 후술하겠다. 사람의 체온은 옷이나 작업복을 통해서도 복사가 이루어지므로, 신체의 일부에 대한 열 영상 분석이 아닌, 골격 정보를 그대로 활용하여 전체적인 사람의 열 영상을 분석할 수도 있다.
또한, 머리 외에 팔, 다리 등을 포함하는 전체적인 골격 정보가 아니라, 머리와 어깨의 골격 정보만을 추출하여 해당 열 영상을 분석할 수도 있다.
도 4는 본 발명의 다른 실시예에 따른 거리 카메라를 이용한 후보 영역 검출을 설명하는 도면이다.
도 4(a)와 같이 거리 영상에서 검출된 머리부터 어깨까지 영역(a)을, 도 4(b)와 같이 슬라이스(slice) 방식으로 구분하여 사람의 형상을 모델링(b)한다. 도 4(c)와 같이 모델링된 사람의 형상에 대응하는 후보 영역(c)을 열 영상에서 검출할 수 있다.
도 5는 본 발명의 일 실시예에 따른 거리 카메라와 열상 카메라 간의 상관 관계를 산출하는 방법을 설명하기 위한 도면이다.
거리 카메라와 열상 카메라의 교정(calibration)을 위해서는 거리 카메라와 열상 카메라의 위치 정보가 필요하다. 이를 위해서 거리 영상과 열 영상 간의 대응점 산출에 의한 변환 행렬을 산출하여야 한다. 거리 카메라와 열상 카메라의 특징이 상이하므로 영상만으로 대응점을 검출하기가 어렵다.
본 발명의 실시예에서는 도 5(a)에 도시된 바와 같이 거리 카메라와 열상 카메라의 교정을 위한 전용 교정 도구를 활용한다.
교정 도구(70)는 박스 모양의 정육면체 구조를 갖는 본체(701), 본체(701)의 각 꼭지점에서 열을 발산하는 발열체(703), 및 본체(701)에 연결된 손잡이(705)를 포함한다. 발열체(703)는 열선 또는 램프와 같이 열상 카메라에서 감지할 수 있는 열을 발산하는 물체로 구현될 수 있다. 손잡이(705)는 도 5(a)에 도시된 바와 같이 원통형일 수 있으며, 이에 한정되지 않고 사람이 교정 도구(70)를 들고 있을 수 있는 형태이면 충분하다.
사용자가 교정 도구(70)의 손잡이(705)를 잡고 움직이는 동안 거리 카메라와 열상 카메라가 각각 탑-뷰 거리 영상과 사이드-뷰 열 영상을 획득한다. 거리 영상에서는 정육면체의 면의 거리 변화량이 나오기 때문에 정육면체의 꼭지점의 위치를 검출할 수 있다. 열 영상에서는 정육면체의 발열 부분인 꼭지점을 검출할 수 있다. 거리 영상과 열 영상에서 검출된 다수의 꼭지점을 대응점으로 하여 거리 카메라와 열상 카메라 간의 병진 및 회전 관계와 투영 행렬을 산출할 수 있다. 이때 Least Mean Square 기법이 사용될 수 있다. 도 5(b)에서는 거리 영상과 열 영상의 교정 도구(70)의 촬영에 의해 검출된 꼭지점들의 대응을 보여준다.
도 5에 도시된 바와 같이 거리 카메라와 열상 카메라 간의 상관 관계가 산출되면, 이후 거리 영상에서 검출된 객체 영역의 좌표를 전술된 식 (1)을 이용하여 열상 카메라 기반의 3차원 좌표로 변환하고, 전술된 식 (2)를 이용하여 3차원 좌표를 열 영상에 투영된 좌표로 변환할 수 있다.
도 6은 본 발명의 일 실시예에 따른 사람 계수 방법을 설명하는 흐름도이다.
이하에서는 도 1 내지 도 5에서 설명한 내용과 중복하는 내용의 상세한 설명은 생략하겠다.
도 6을 참조하면, 사람 계수 시스템은 거리 카메라와 열상 카메라 간의 상관 관계를 산출한다(S61). 사람 계수 시스템은 거리 카메라와 열상 카메라의 교정을 통해, 거리 카메라와 열상 카메라 간의 병진(t) 및 회전량(R)에 관한 변환 행렬, 열상 카메라의 투영 행렬(P, projection metrix)을 상관 관계로서 산출할 수 있다. 상관 관계 산출을 위해 도 5에 도시된 바와 같은 교정 도구를 이용하여 거리 영상과 열 영상을 획득한 후 대응점 추적을 통해 상관 관계를 산출할 수 있다.
사람 계수 시스템은 거리 카메라가 획득한 거리 영상에서 객체를 검출한다(S62). 사람 계수 시스템은 거리 영상에서 사람 또는 사람과 유사한 물체를 검출하고, 머리 영역 및 머리 외 신체 부위 영역을 검출할 수 있다. 이때 스켈레톤 기법 또는 슬라이스 기법 등이 이용될 수 있다.
사람 계수 시스템은 상관 관계를 이용하여 거리 영상에서 검출한 객체에 대응하는 적어도 하나의 후보 영역을 열상 카메라가 획득한 열 영상에서 검출한다(S63). 사람 계수 시스템은 객체의 적어도 하나의 국소 특징 영역을 추출하고, 상관 관계를 이용하여 열 영상에서 적어도 하나의 국소 특징 영역에 대응하는 적어도 하나의 후보 영역을 검출한다.
사람 계수 시스템은 적어도 하나의 후보 영역에서 적어도 하나의 온도 감지 영역을 선택한다(S64). 사람에 의해 착용 되는 모자, 장갑, 신발 등이 고려되어 사람 계수 시스템은 적어도 하나의 후보 영역에서 최적의 체온이 감지될 수 있는 온도 감지 영역을 선택할 수 있다. 온도 감지 영역은 하나 또는 하나 이상 선택될 수 있다.
사람 계수 시스템은 적어도 하나의 온도 감지 영역의 온도를 기초로 거리 영상에서 검출한 객체가 사람인지를 판단한다(S65). 사람 계수 시스템은 적어도 하나의 온도 감지 영역의 적어도 일부가 기준 온도 범위에 속하는지를 판단한다. 기준 온도 범위는 사람의 통상적인 체온 범위에서 의류 및 머리카락에 의한 열손실 및 열상 카메라의 오차 범위를 고려하여 설정될 수 있다. 기준 온도 범위는 사용자에 의해 가변적으로 설정될 수 있다. 사람 계수 시스템은 하나 또는 하나 이상의 온도 감지 영역에서 기준 온도 범위에 해당하는 영역이 기준 비율 이상이면 사람으로 판단할 수 있다.
사람 계수 시스템은 객체가 사람으로 판단되면 사람을 계수한다(S66). 사람 계수 시스템은 사용자가 지정한 시간대에서 감지되는 사람을 계수할 수 있다.
거리 영상 및 열 영상과 계수 결과는 실시간으로 화면에 디스플레이될 수 있다.
탑-뷰 영상으로만 사람을 계수하는 종래 방식에서는 사람과 유사한 형상의 경우에도 사람으로 판별하여, 계수 정확도가 감소하였지만, 본 발명의 실시예는 거리 카메라의 탑-뷰 거리 영상 외에 사람의 특징 정보를 추출할 수 있는 열상 카메라를 추가로 이용하여 사이드-뷰 열 영상을 통해 실제 사람인지를 판별한다. 이렇게 판별된 정보를 통해 화물 출입이 빈번한 게이트 등에서 화물을 사람으로 계수하지 않음으로써 계수 정확도를 획기적으로 향상시킬 수 있다.
또한 본 발명의 실시예는 사람의 열상 정보로부터 체온의 고저 정보를 제공할 수 있기 때문에, 게이트 출입자의 체온을 검출하여 몸의 건강 상태를 전달할 수 있다.
본 발명의 실시예는 정확한 사람 계수를 요하는 다양한 장소에서 유용하게 사용할 수 있다. 본 발명의 실시예는 공항, 항만 등 기반 시설과 상점, 카지노 등 상업 시설에서 활용이 가능하다. 또한 사고 발생을 대비하여 내부 인원 수 파악이 필요한 비행기, 배, 기차 등의 교통 수단 및 공장 및 작업장에서도 활용될 수 있다. 예를 들어, 사람이 출입하는 출입구라도 마트에서 카트를 미는 것이나, 작업장에서 물건을 운반하는 등 사람/사물의 대한 분류 기능에 적용될 수 있다. 최근에는 특히 재해/재난 대피에 대한 요구가 강하기 때문에, 본 발명의 실시예는 화재나 재난 사고시, 작업장 혹은 비행기/선박 등의 제한된 공간에서의 잔류 인원을 파악하는 시스템에 유용하게 활용될 수 있다.
본 발명의 실시예에 따른 이기종 카메라 기반의 사람 계수 시스템 및 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
본 발명은 첨부된 도면에 도시된 일 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 수 있을 것이다.

Claims (20)

  1. 동일한 장면에 대하여 상이한 방향에서 영상을 획득하는 거리 카메라 및 열상 카메라 간의 상관 관계를 산출하는 교정부;
    상기 상관 관계를 이용하여 상기 거리 카메라가 획득한 거리 영상에서 검출한 객체에 대응하는 적어도 하나의 후보 영역을 상기 열상 카메라가 획득한 열 영상에서 검출하는 검출부; 및
    상기 적어도 하나의 후보 영역의 온도를 기초로 상기 객체가 사람인지 여부를 판단하는 계수부;를 포함하는 사람 계수 장치.
  2. 제1항에 있어서,
    상기 거리 카메라는 탑-뷰 거리 영상을 획득하고, 상기 열상 카메라는 사이드-뷰 열 영상을 획득하는, 사람 계수 장치.
  3. 제1항에 있어서, 상기 검출부는,
    상기 거리 영상에서 상기 객체의 적어도 하나의 국소 특징 영역을 추출하고, 상기 상관 관계를 이용하여 상기 열 영상에서 상기 적어도 하나의 국소 특징 영역에 대응하는 적어도 하나의 후보 영역을 검출하는, 사람 계수 장치.
  4. 제3항에 있어서, 상기 계수부는,
    상기 적어도 하나의 후보 영역에서 적어도 하나의 온도 감지 영역을 선택하고, 상기 선택된 온도 감지 영역의 온도가 기준 온도 범위에 속하는 경우 상기 객체를 사람으로 판단하는, 사람 계수 장치.
  5. 제4항에 있어서, 상기 계수부는,
    상기 선택된 온도 감지 영역에서 상기 기준 온도 범위에 속하는 영역의 비율이 기준 비율 이상이면, 상기 객체를 사람으로 판단하는, 사람 계수 장치.
  6. 제3항에 있어서, 상기 검출부는,
    상기 거리 영상에서 상기 객체의 적어도 일부에 대한 골격 정보를 검출하고, 상기 골격 정보로부터 상기 객체의 적어도 하나의 국소 특징 영역을 검출하는, 사람 계수 장치.
  7. 제1항에 있어서, 상기 검출부는,
    상기 거리 영상에서 상기 객체의 적어도 일부를 슬라이스 방식으로 재구성하여 형상을 모델링하고, 상기 상관 관계를 이용하여 상기 열 영상에서 상기 모델링된 형상에 대응하는 후보 영역을 검출하는, 사람 계수 장치.
  8. 제7항에 있어서, 상기 계수부는,
    상기 후보 영역에서 기준 온도 범위에 속하는 영역의 비율이 기준 비율 이상이면, 상기 객체를 사람으로 판단하는, 사람 계수 장치.
  9. 동일한 장면에 대하여 상이한 방향에서 영상을 획득하는 거리 카메라와 열상 카메라; 및
    상기 거리 카메라와 열상 카메라 간의 상관 관계를 이용하여 상기 거리 카메라가 획득한 거리 영상에서 검출한 객체에 대응하는 적어도 하나의 후보 영역을 상기 열상 카메라가 획득한 열 영상에서 검출하고, 상기 적어도 하나의 후보 영역의 온도를 기초로 상기 객체가 사람인지 여부를 판단하는 사람 계수 장치;를 포함하는 사람 계수 시스템.
  10. 제9항에 있어서,
    정육면체 구조의 본체 및 꼭지점에 배치되어 열을 발산하는 발열체를 포함하는 교정 도구;를 더 포함하고,
    상기 사람 계수 장치는, 상기 교정 도구에 대해 상기 거리 카메라와 열상 카메라 획득한 깊이 영상과 열 영상 간의 대응점을 산출하여 상기 상관 관계를 산출하는, 사람 계수 시스템.
  11. 제9항에 있어서,
    상기 거리 카메라는 탑-뷰 거리 영상을 획득하고, 상기 열상 카메라는 사이드-뷰 열 영상을 획득하는, 사람 계수 시스템.
  12. 제9항에 있어서, 상기 사람 계수 장치는,
    상기 적어도 하나의 후보 영역에서 적어도 하나의 온도 감지 영역을 선택하고, 상기 선택된 온도 감지 영역에서 기준 온도 범위에 속하는 영역의 비율이 기준 비율 이상이면, 상기 객체를 사람으로 판단하는, 사람 계수 시스템.
  13. 동일한 장면에 대하여 상이한 방향에서 영상을 획득하는 거리 카메라 및 열상 카메라 간의 상관 관계를 산출하는 단계;
    상기 상관 관계를 이용하여 상기 거리 카메라가 획득한 거리 영상에서 검출한 객체에 대응하는 적어도 하나의 후보 영역을 상기 열상 카메라가 획득한 열 영상에서 검출하는 단계; 및
    상기 적어도 하나의 후보 영역의 온도를 기초로 상기 객체가 사람인지 여부를 판단하는 단계;를 포함하는 사람 계수 장치에 의한 사람 계수 방법.
  14. 제13항에 있어서,
    상기 거리 카메라는 탑-뷰 거리 영상을 획득하고, 상기 열상 카메라는 사이드-뷰 열 영상을 획득하는, 사람 계수 장치에 의한 사람 계수 방법.
  15. 제13항에 있어서, 상기 검출 단계는,
    상기 거리 영상에서 상기 객체의 적어도 하나의 국소 특징 영역을 추출하는 단계; 및
    상기 상관 관계를 이용하여 상기 열 영상에서 상기 적어도 하나의 국소 특징 영역에 대응하는 적어도 하나의 후보 영역을 검출하는 단계;를 포함하는 사람 계수 장치에 의한 사람 계수 방법.
  16. 제15항에 있어서, 상기 사람 판단 단계는,
    상기 적어도 하나의 후보 영역에서 적어도 하나의 온도 감지 영역을 선택하는 단계; 및
    상기 선택된 온도 감지 영역의 온도가 기준 온도 범위에 속하는 경우 상기 객체를 사람으로 판단하는 단계;를 포함하는 사람 계수 장치에 의한 사람 계수 방법.
  17. 제16항에 있어서, 상기 사람 판단 단계는,
    상기 선택된 온도 감지 영역에서 상기 기준 온도 범위에 속하는 영역의 비율이 기준 비율 이상이면, 상기 객체를 사람으로 판단하는 단계;를 포함하는 사람 계수 장치에 의한 사람 계수 방법.
  18. 제15항에 있어서, 상기 검출 단계는,
    상기 거리 영상에서 상기 객체의 적어도 일부에 대한 골격 정보를 검출하는 단계; 및
    상기 골격 정보로부터 상기 객체의 적어도 하나의 국소 특징 영역을 검출하는 단계;를 포함하는 사람 계수 장치에 의한 사람 계수 방법.
  19. 제13항에 있어서, 상기 검출 단계는,
    상기 거리 영상에서 상기 객체의 적어도 일부를 슬라이스 방식으로 재구성하여 형상을 모델링하는 단계; 및
    상기 상관 관계를 이용하여 상기 열 영상에서 상기 모델링된 형상에 대응하는 후보 영역을 검출하는 단계;를 포함하는, 사람 계수 장치에 의한 사람 계수 방법.
  20. 제19항에 있어서, 상기 사람 판단 단계는,
    상기 후보 영역에서 기준 온도 범위에 속하는 영역의 비율이 기준 비율 이상이면, 상기 객체를 사람으로 판단하는 단계;를 포함하는 사람 계수 장치에 의한 사람 계수 방법.
PCT/KR2015/002379 2015-02-25 2015-03-12 사람 계수 시스템 및 방법 WO2016137047A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150026743A KR102282459B1 (ko) 2015-02-25 2015-02-25 사람 계수 시스템 및 방법
KR10-2015-0026743 2015-02-25

Publications (1)

Publication Number Publication Date
WO2016137047A1 true WO2016137047A1 (ko) 2016-09-01

Family

ID=56789604

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/002379 WO2016137047A1 (ko) 2015-02-25 2015-03-12 사람 계수 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR102282459B1 (ko)
WO (1) WO2016137047A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107274396A (zh) * 2017-06-13 2017-10-20 成都百威讯科技有限责任公司 一种统计人数的装置
CN108304909A (zh) * 2018-04-09 2018-07-20 温州亿通自动化设备有限公司 一种厕所内实时人数监测装置及系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101961891B1 (ko) * 2018-07-23 2019-03-25 (주)넥스리얼 자동출입심사대에 진입하는 사람 및 물건 중 사람을 자동 계수하는 방법 및 장치
KR102299250B1 (ko) * 2021-01-13 2021-09-08 한전케이디엔주식회사 복합 영상 데이터를 이용한 입출력 인원 계수 장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09113367A (ja) * 1995-10-19 1997-05-02 Ikegami Tsushinki Co Ltd 熱画像による人数計数方法
US5877688A (en) * 1995-04-12 1999-03-02 Matsushita Electric Industrial Co., Ltd. Thermal object measuring apparatus
JPH11219437A (ja) * 1998-01-30 1999-08-10 Yamatake Corp 人数計測システム
JP2003006642A (ja) * 2001-06-22 2003-01-10 Toshihiko Shimizu 熱画像を利用した画像処理装置
JP2009156776A (ja) * 2007-12-27 2009-07-16 Ihi Corp 人体検出装置及び人体検出方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101956275B1 (ko) 2012-09-26 2019-06-24 삼성전자주식회사 영상으로부터 신체 골격 및 신체 부위 정보 검출 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5877688A (en) * 1995-04-12 1999-03-02 Matsushita Electric Industrial Co., Ltd. Thermal object measuring apparatus
JPH09113367A (ja) * 1995-10-19 1997-05-02 Ikegami Tsushinki Co Ltd 熱画像による人数計数方法
JPH11219437A (ja) * 1998-01-30 1999-08-10 Yamatake Corp 人数計測システム
JP2003006642A (ja) * 2001-06-22 2003-01-10 Toshihiko Shimizu 熱画像を利用した画像処理装置
JP2009156776A (ja) * 2007-12-27 2009-07-16 Ihi Corp 人体検出装置及び人体検出方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107274396A (zh) * 2017-06-13 2017-10-20 成都百威讯科技有限责任公司 一种统计人数的装置
CN107274396B (zh) * 2017-06-13 2020-11-10 成都百威讯科技有限责任公司 一种统计人数的装置
CN108304909A (zh) * 2018-04-09 2018-07-20 温州亿通自动化设备有限公司 一种厕所内实时人数监测装置及系统

Also Published As

Publication number Publication date
KR20160103844A (ko) 2016-09-02
KR102282459B1 (ko) 2021-07-27

Similar Documents

Publication Publication Date Title
WO2016137047A1 (ko) 사람 계수 시스템 및 방법
Stone et al. Evaluation of an inexpensive depth camera for passive in-home fall risk assessment
WO2020189313A1 (ja) 監視装置、監視システム、及び、監視方法
JP4742168B2 (ja) ビデオ監視カメラが検出した対象物の特性を識別する方法および機器
WO2012023639A1 (ko) 다수의 센서를 이용하는 객체 계수 방법 및 장치
KR101239532B1 (ko) 로봇의 위치 인식 장치 및 방법
WO2023027421A1 (ko) 작업 공간에서의 관심 영역을 모니터링하는 방법 및 센싱 장치
WO2017119800A1 (ko) 센서 관리 방법 및 장치
WO2021075772A1 (ko) 복수 영역 검출을 이용한 객체 탐지 방법 및 그 장치
TW201415415A (zh) 對象物偵測裝置、對象物偵測方法及程式
WO2017135628A1 (ko) 자동 환기 공조 장치 및 그 제어 방법
JP2020120323A (ja) 情報処理装置および照合方法
CN108613672B (zh) 对象定位方法、对象定位系统和电子设备
CN109670391B (zh) 基于机器视觉的智慧照明装置及动态识别数据处理方法
WO2009016624A2 (en) System and method employing thermal imaging for object detection
WO2021167312A1 (ko) 라이다 센서를 구비한 터치 인식 방법 및 장치
JP2011137905A (ja) 投影システム、投影処理プログラムおよび投影システムの制御方法
JP2017054229A (ja) 人物判別システム
Haghmohammadi et al. Remote measurement of body temperature for an indoor moving crowd
WO2023096394A1 (ko) 자세유형 판별을 위한 서버 및 그 동작방법
KR101446422B1 (ko) 영상 감시 시스템 및 방법
Larsen et al. Variability of bodily measures of normally dressed people using PhotoModeler® Pro 5
JP2012115570A (ja) 通過者識別装置
WO2012074174A1 (ko) 고유식별 정보를 이용한 증강 현실 구현시스템
WO2019199035A1 (ko) 시선 추적 시스템 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15883435

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15883435

Country of ref document: EP

Kind code of ref document: A1