WO2019231119A1 - 혼잡도 시각화 장치 및 방법 - Google Patents

혼잡도 시각화 장치 및 방법 Download PDF

Info

Publication number
WO2019231119A1
WO2019231119A1 PCT/KR2019/005219 KR2019005219W WO2019231119A1 WO 2019231119 A1 WO2019231119 A1 WO 2019231119A1 KR 2019005219 W KR2019005219 W KR 2019005219W WO 2019231119 A1 WO2019231119 A1 WO 2019231119A1
Authority
WO
WIPO (PCT)
Prior art keywords
region
area
mapping
congestion
dimensional map
Prior art date
Application number
PCT/KR2019/005219
Other languages
English (en)
French (fr)
Inventor
박용국
김민순
Original Assignee
삼성에스디에스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성에스디에스 주식회사 filed Critical 삼성에스디에스 주식회사
Priority to CN201980004799.2A priority Critical patent/CN111164612A/zh
Priority to US16/652,814 priority patent/US11393214B2/en
Priority to EP19810277.4A priority patent/EP3686786A4/en
Publication of WO2019231119A1 publication Critical patent/WO2019231119A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Definitions

  • the disclosed embodiments relate to congestion visualization techniques.
  • an invention is required to accurately grasp the degree of congestion for each region in a specific space.
  • Disclosed embodiments are to provide a congestion visualization apparatus and method.
  • a region-specific image storage unit for storing a region-specific image photographed by a plurality of cameras, each photographing a different region in a specific space
  • a 2D map storage unit for storing a 2D map for the specific space
  • An area-by-region congestion calculator for calculating an area-by-region congestion degree for each of the photographing areas photographed by the plurality of cameras in the specific space
  • a mapping area identification unit identifying a mapping area corresponding to each of the photographing areas on the two-dimensional map based on the mapping point set in each of the area-specific image and the two-dimensional map
  • a region-by-region congestion visualization unit for visually displaying a region-specific congestion degree for each of the photographing regions on the two-dimensional map, based on the mapping region.
  • the region-specific congestion calculator may calculate the region-specific congestion degree for each photographing region photographed by the plurality of cameras using a frame of the image for each region photographed by the plurality of cameras.
  • the mapping point may be set by a user.
  • mapping points may be set to the same number in each of the area-specific image and the 2D map, and each mapping point set in the area-specific image may correspond to each of the mapping points set in the 2D map.
  • the mapping area identifier may be configured on the two-dimensional map by using one or more transformation matrices for matching coordinate values of each mapping point set in the region-specific image to coordinate values of each mapping point set in the two-dimensional map. Mapping regions corresponding to each of the photographing regions may be identified.
  • the transformation matrix may include a transformation matrix for performing at least one of parallel translation, size transformation, and rotation with respect to coordinate values of each mapping point set in the image for each region.
  • the mapping area identifier may identify a mapping area corresponding to each of the photographing areas on the two-dimensional map by multiplying the transformation matrix by the coordinate value of each pixel included in the area-specific image.
  • the region-level congestion visualization unit may visually display on the two-dimensional map by correcting the congestion of the overlapping region when there is a overlapping region overlapping between mapping regions corresponding to each of the photographing regions on the two-dimensional map. have.
  • the region-level congestion visualization unit may correct the congestion degree of the overlapping region based on an average value or a median value of the congestion degree of the region corresponding to the overlapping region among the photographing regions.
  • the region-level congestion visualization unit may display a heat map on the two-dimensional map according to the region-specific congestion degree for each of the photographing regions.
  • a congestion visualization method performed by a congestion visualization device, the method comprising: storing images of regions photographed by a plurality of cameras respectively photographing different regions in a specific space; Storing a two-dimensional map for the specific space; Calculating a congestion degree for each region of each photographing region photographed by the plurality of cameras in the specific space, based on the region-specific image; Identifying a mapping area corresponding to each of the photographing areas on the two-dimensional map, based on the mapping point set in each of the area-specific image and the two-dimensional map; And visually displaying, on the two-dimensional map, congestion for each region for each of the photographing regions, based on the mapping region.
  • the congestion degree for each region of each photographing region photographed by the plurality of cameras may be calculated using a frame of the image for each region photographed by the plurality of cameras.
  • the mapping point may be set by a user.
  • mapping points may be set to the same number in each of the area-specific image and the 2D map, and each mapping point set in the area-specific image may correspond to each of the mapping points set in the 2D map.
  • the identifying of the mapping area may include using one or more transformation matrices for matching a coordinate value of each mapping point set in the area-specific image with coordinate values of each mapping point set in the 2D map.
  • a mapping area corresponding to each of the photographing areas may be identified on the dimensional map.
  • the transformation matrix may include a transformation matrix for performing at least one of parallel translation, size transformation, and rotation with respect to coordinate values of each mapping point set in the image for each region.
  • the mapping matrix corresponding to each of the photographing areas may be identified on the 2D map by multiplying the transformation matrix by the coordinate value of each pixel included in the image for each area.
  • the visualization of the congestion degree for each area may include visually correcting the congestion degree of the overlapping area visually on the two-dimensional map when there is a overlapping area overlapping between mapping areas corresponding to each of the photographing areas on the two-dimensional map. I can display it.
  • the visualization of the congestion degree for each region may be corrected based on an average value or a median value of the congestion degree of each of the photographing areas corresponding to the overlapping area.
  • the visualization of the congestion degree for each region may display a heat map on the two-dimensional map according to the congestion degree for each of the photographing regions.
  • FIG. 1 is a block diagram of a congestion visualization apparatus according to an embodiment
  • FIG. 2 illustrates an example of an image captured by a camera photographing a specific space, according to an exemplary embodiment.
  • FIG. 3 is an exemplary view showing a two-dimensional map of a specific space according to an embodiment
  • mapping area 4 illustrates an example of a mapping area corresponding to a photographing area on a 2D map of a specific space, according to an exemplary embodiment.
  • FIG. 5 is an exemplary diagram illustrating a mapping area corresponding to a shooting area on a two-dimensional map of a specific space in another embodiment
  • FIG. 6 is an exemplary view showing the congestion degree for each region on a two-dimensional map for a specific space in one embodiment.
  • FIG. 7 is a flowchart of a congestion visualization method according to an embodiment
  • FIG. 8 is a block diagram illustrating and describing a computing environment including a computing device suitable for use in example embodiments.
  • FIG. 1 is a block diagram of a congestion visualization apparatus 100 according to an embodiment.
  • the congestion visualization apparatus 100 may include an image storage unit 110 for each region, a two-dimensional map storage unit 120, a congestion calculator 130 for each region, and a mapping region identification unit ( 140 and a congestion visualization unit 150 for each region.
  • the image storage unit 110 for each region stores images for each region photographed by a plurality of cameras respectively photographing different regions in a specific space.
  • the specific space may be a store or an exhibition hall.
  • the 2D map storage unit 120 stores a 2D map of a specific space photographed by a plurality of cameras.
  • the two-dimensional map for a specific space may be a planar map looking down from the specific space.
  • the region-specific congestion calculator 130 calculates the region-specific congestion degree for each photographing region photographed by the plurality of cameras in a specific space based on the images of the regions photographed by the plurality of cameras.
  • the photographing area refers to an area photographed by a specific camera in a specific space.
  • the congestion degree for each area refers to the congestion degree of the areas included in the area photographed by a specific camera, and the congestion degree is data that quantifies the movement of objects (eg, people) existing in the image in each area image. Can mean.
  • the region-by-region congestion calculator 130 may calculate the region-by-region congestion degree for each photographing region photographed by a plurality of cameras by using an image change amount for each frame for each region image.
  • the region-by-region congestion calculator 130 may calculate the region-by-region congestion degree from the amount of change in luminance or color difference for each frame for each region image.
  • the method of calculating the congestion degree for each region is not necessarily limited to a specific method.
  • the mapping area identification unit 140 is a mapping area corresponding to each of the shooting areas photographed by the plurality of cameras on the 2D map based on mapping images set by each of the images captured by the plurality of cameras and the two-dimensional maps. Identifies In this case, the mapping point refers to a reference point for mapping the region-specific image and the 2D map.
  • the mapping point may be set by the user.
  • Mapping points may be set to the same number for each region-specific image and the 2D map, and each mapping point set in the region-specific image may correspond to each mapping point set in the 2D map. Meanwhile, three or more mapping points may be set in each region-specific image and the 2D map.
  • the mapping area identification unit 140 uses one or more transformation matrices for matching the coordinate value of each mapping point set in the image for each region to the coordinate value of each mapping point set in the 2D map.
  • the mapping region corresponding to each of the photographing regions may be identified on the 2D map.
  • the transformation matrix may include a transformation matrix for performing at least one of parallel translation, size transformation, and rotation with respect to coordinate values of each mapping point set in the image for each region.
  • the mapping area identifier 140 may identify the mapping area corresponding to each photographing area on the two-dimensional map by multiplying the transformation matrix by the coordinate value of each pixel included in the image for each area. .
  • the congestion visualization unit 150 visually displays the congestion degree for each photographing area on a two-dimensional map based on the mapping area. For example, the congestion visualization unit 150 may display a heat map on a two-dimensional map according to the congestion degree for each region of each photographing area. In detail, the congestion visualization unit 150 may visually display the congestion degree for each region by varying the color or the shading on the two-dimensional map according to the degree.
  • the congestion visualization unit 150 corrects the congestion of the overlapping region to correct the 2D map. It can be visually displayed on the image.
  • the congestion visualization unit 150 may correct the congestion degree of the overlapping area based on an average value or a median value of the congestion degree of the area corresponding to the overlapping area in each photographing area.
  • FIG. 2 is an exemplary diagram illustrating an image captured by a camera photographing a specific space according to an embodiment
  • FIG. 3 is an exemplary diagram illustrating a two-dimensional map of a specific space according to an embodiment.
  • the image of the region is an image captured by a camera installed at a specific point, there may be a difference from the two-dimensional map. Therefore, in order to identify a mapping area corresponding to each photographing area included in the area-specific image on the 2D map, it is necessary to map the image of the area and the 2D map.
  • the points 1, 2, 3, 4 corresponding to the corners of the rectangle are mapping points set by the user.
  • mapping points 1, 2, 3, and 4 shown in FIGS. 2 and 3 indicate the order in which the corresponding mapping points are set by the user.
  • Each of the mapping points 1, 2, 3, 4 shown in FIG. 2 corresponds to each of the mapping points 1, 2, 3, 4 shown in FIG. 3.
  • mapping area 4 illustrates an example of a mapping area corresponding to a photographing area on a two-dimensional map of a specific space, according to an exemplary embodiment.
  • FIG. 4 illustrates that the mapping region corresponding to the photographing region in the image of the photographing illustrated in FIG. 2 is identified on the two-dimensional map illustrated in FIG. 3.
  • the mapping area identification unit 140 coordinates the coordinate values for each of the mapping points 1, 2, 3, and 4 shown in FIG. 2 to the coordinates for each of the mapping points 1, 2, 3, and 4 shown in FIG. 3. One or more transformation matrices can be generated to match the values. Thereafter, the mapping area identifying unit 140 multiplies the transformation matrix by the coordinate values of each pixel included in the photographing area in the photographed image illustrated in FIG. 2 to correspond to the photographing area on the two-dimensional map shown in FIG. 3. The mapping area can be identified.
  • FIG. 5 is an exemplary diagram illustrating a mapping area corresponding to a photographing area on a two-dimensional map of a specific space according to another embodiment.
  • FIG. 5 shows a mapping area corresponding to each photographing area on a two-dimensional map for a specific space.
  • a region having a high shade density represents an overlapping region overlapping between the capping regions.
  • the region-by-zone congestion visualization unit 150 visually displays the region-specific congestion degree on each of the photographing regions on the two-dimensional map, there is a problem in that the congestion degree in the overlapping region is difficult to be accurately identified. Therefore, the zone-by-zone congestion visualization unit 150 needs to correct the congestion of the overlapped area and visually display it on the two-dimensional map.
  • FIG. 6 is an exemplary diagram in which a region-specific congestion degree is initially displayed on a two-dimensional map of a specific space in an embodiment.
  • FIG. 6 is an exemplary diagram in which a heat map is displayed on a two-dimensional map according to the congestion degree of each of the photographing areas by correcting the congestion degree of the overlapping area.
  • FIG. 7 is a flowchart of a congestion visualization method according to an embodiment.
  • the method is described by dividing the method into a plurality of steps, but at least some of the steps may be performed in a reverse order, in combination with other steps, omitted together, divided into detailed steps, or not illustrated. One or more steps may be added and performed.
  • the region-specific image storage unit 110 stores an image of each region photographed by a plurality of cameras, each photographing a different region in a specific space (710).
  • the 2D map storage unit 120 stores a 2D map for a specific space (720).
  • the area-by-zone congestion calculator 130 calculates area-by-zone congestion for each of the photographing areas photographed by the plurality of cameras in a specific space, based on the images of the areas photographed by the plurality of cameras (730). ).
  • the region-by-region congestion calculator 130 may calculate the region-by-region congestion degree for each photographing region photographed by a plurality of cameras by using an image change amount for each frame for each region image.
  • mapping area discrimination unit 140 corresponds to each photographing area photographed by the plurality of cameras on the two-dimensional map based on mapping images set in each of the region-specific images captured by the plurality of cameras and the two-dimensional map.
  • the mapping region to be identified is identified (740).
  • the mapping point may be set by the user.
  • Mapping points may be set to the same number for each region-specific image and the 2D map, and each mapping point set in the region-specific image may correspond to each mapping point set in the 2D map.
  • the mapping area identification unit 140 uses a transformation matrix for matching the coordinate value of each mapping point set in the image for each region to the coordinate value of each mapping point set in the 2D map.
  • a mapping area corresponding to each photographing area may be identified on the dimensional map.
  • the transformation matrix may include a transformation matrix for performing at least one of parallel movement, size transformation, and rotation with respect to coordinate values of each mapping point set in the image for each region.
  • the mapping area identifier 140 may identify the mapping area corresponding to each photographing area on the 2D map by multiplying the transformation matrix by the coordinate value of each pixel included in the image for each area. .
  • the region-specific congestion visualization unit 150 visually displays the region-specific congestion of each photographing region on the two-dimensional map based on the mapping region (750).
  • the congestion visualization unit 150 may display a heat map on a two-dimensional map according to the congestion degree for each region of each photographing area.
  • the congestion visualization unit 150 may visually display the congestion degree for each region by varying the color or the shading on the two-dimensional map according to the degree.
  • the congestion visualization unit 150 corrects the congestion of the overlapping region to correct the 2D map. It can be visually displayed on the image.
  • the congestion visualization unit 150 may correct the congestion degree of the overlapping area based on an average value or a median value of the congestion degree of the area corresponding to the overlapping area in each photographing area.
  • FIG. 8 is a block diagram illustrating and describing a computing environment including a computing device suitable for use in example embodiments.
  • each component may have different functions and capabilities in addition to those described below, and may include additional components in addition to those described below.
  • the illustrated computing environment 10 includes a computing device 12.
  • computing device 12 may be a congestion visualization device.
  • Computing device 12 includes at least one processor 14, computer readable storage medium 16, and communication bus 18.
  • the processor 14 may cause the computing device 12 to operate according to the example embodiments mentioned above.
  • processor 14 may execute one or more programs stored in computer readable storage medium 16.
  • the one or more programs may include one or more computer executable instructions that, when executed by the processor 14, cause the computing device 12 to perform operations in accordance with an exemplary embodiment. Can be.
  • Computer readable storage medium 16 is configured to store computer executable instructions or program code, program data and / or other suitable forms of information.
  • the program 20 stored in the computer readable storage medium 16 includes a set of instructions executable by the processor 14.
  • computer readable storage medium 16 includes memory (volatile memory, such as random access memory, nonvolatile memory, or a suitable combination thereof), one or more magnetic disk storage devices, optical disk storage devices, flash Memory devices, or any other form of storage medium that is accessible by computing device 12 and capable of storing desired information, or a suitable combination thereof.
  • the communication bus 18 interconnects various other components of the computing device 12, including the processor 14 and the computer readable storage medium 16.
  • Computing device 12 may also include one or more input / output interfaces 22 and one or more network communication interfaces 26 that provide an interface for one or more input / output devices 24.
  • the input / output interface 22 and the network communication interface 26 are connected to the communication bus 18.
  • the input / output device 24 may be connected to other components of the computing device 12 via the input / output interface 22.
  • Exemplary input / output device 24 may include a pointing device (such as a mouse or trackpad), a keyboard, a touch input device (such as a touchpad or touchscreen), a voice or sound input device, various types of sensor devices, and / or imaging devices.
  • Input devices, and / or output devices such as display devices, printers, speakers, and / or network cards.
  • the example input / output device 24 may be included inside the computing device 12 as one component of the computing device 12, and may be connected to the computing device 12 as a separate device from the computing device 12. It may be.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Geometry (AREA)
  • Studio Devices (AREA)

Abstract

혼잡도 시각화 장치 및 방법이 개시된다. 본 발명의 일 실시예에 따른 혼잡도 시각화 장치는 각각 특정 공간 내 상이한 영역을 촬영하는 복수의 카메라에 의해 촬영된 영역별 영상을 저장하는 영역별 영상 저장부; 상기 특정 공간에 대한 2차원 맵을 저장하는 2차원 맵 저장부; 상기 영역별 영상에 기초하여, 상기 특정 공간 내에서 상기 복수의 카메라에 의해 촬영된 촬영 영역 각각에 대한 영역별 혼잡도를 산출하는 영역별 혼잡도 산출부; 상기 영역별 영상 및 상기 2차원 맵 각각에 설정된 맵핑 포인트에 기초하여, 상기 2차원 맵 상에서 상기 촬영 영역 각각에 대응되는 맵핑 영역을 식별하는 맵핑 영역 식별부; 및 상기 맵핑 영역에 기초하여, 상기 촬영 영역 각각에 대한 영역별 혼잡도를 상기 2차원 맵 상에 시각적으로 표시하는 영역별 혼잡도 시각화부를 포함한다.

Description

혼잡도 시각화 장치 및 방법
개시되는 실시예들은 혼잡도 시각화 기술과 관련된다.
매장 등 특정 공간에서 공간별 사람들의 이동 빈도를 알 필요가 있다. 왜냐하면, 공간별 사람들의 이동 빈도를 참조하여 매장 내 제품의 위치를 변경함으로써, 제품의 판매를 통한 영업상 이익을 극대화할 수 있기 때문이다. 이 외에도, 제품의 광고 등을 위해 설치되는 디스플레이 화면의 배치 장소를 변경함으로써, 광고를 통한 영업상 이익을 극대화할 수도 있다.
이에, 매장 등 특정 공간에 설치된 카메라들을 활용하여 각 카메라들이 설치된 공간별로 사람들의 이동 빈도를 파악하는 것을 생각해 볼 수 있다. 그러나, 이는 특정 공간에 설치된 각 카메라들이 촬영하고 있는 영역들이 상호 중복되는 경우 그 중복되는 영역에서의 사람들의 이동 빈도가 정확하게 파악되기 어려운 문제가 있었다. 또한, 이는 카메라들이 설치된 공간별로 사람들의 이동 빈도를 파악할 경우 카메라가 설치된 공간 내 사람들의 이동 빈도가 구체적으로 카메라가 촬영한 영상 내 어느 부분에 대한 사람들의 이동 빈도를 의미하는 것인지 파악하기 어려운 문제가 있다.
이와 같은 문제를 고려하여, 특정 공간 내 영역별 혼잡도를 정확하게 파악하기 위한 발명이 요구된다.
개시되는 실시예들은 혼잡도 시각화 장치 및 방법을 제공하기 위한 것이다.
개시되는 실시예들에 따르면, 각각 특정 공간 내 상이한 영역을 촬영하는 복수의 카메라에 의해 촬영된 영역별 영상을 저장하는 영역별 영상 저장부; 상기 특정 공간에 대한 2차원 맵을 저장하는 2차원 맵 저장부; 상기 영역별 영상에 기초하여, 상기 특정 공간 내에서 상기 복수의 카메라에 의해 촬영된 촬영 영역 각각에 대한 영역별 혼잡도를 산출하는 영역별 혼잡도 산출부; 상기 영역별 영상 및 상기 2차원 맵 각각에 설정된 맵핑 포인트에 기초하여, 상기 2차원 맵 상에서 상기 촬영 영역 각각에 대응되는 맵핑 영역을 식별하는 맵핑 영역 식별부; 및 상기 맵핑 영역에 기초하여, 상기 촬영 영역 각각에 대한 영역별 혼잡도를 상기 2차원 맵 상에 시각적으로 표시하는 영역별 혼잡도 시각화부를 포함하는, 혼잡도 시각화 장치가 제공된다.
상기 영역별 혼잡도 산출부는, 상기 복수의 카메라에 의해 촬영된 영역별 영상의 프레임을 이용하여 상기 복수의 카메라에 의해 촬영된 촬영 영역 각각에 대한 영역별 혼잡도를 산출할 수 있다.
상기 맵핑 포인트는, 사용자에 의하여 설정될 수 있다.
상기 맵핑 포인트는, 상기 영역별 영상 및 상기 2차원 맵 각각에 동일한 개수로 설정되며, 상기 영역별 영상에 설정된 맵핑 포인트 각각은 상기 2차원 맵에 설정된 맵핑 포인트 각각과 대응될 수 있다.
상기 맵핑 영역 식별부는, 상기 영역별 영상에 설정된 맵핑 포인트 각각에 대한 좌표 값을 상기 2차원 맵에 설정된 맵핑 포인트 각각에 대한 좌표 값에 일치시키기 위한 하나 이상의 변환 행렬을 이용하여, 상기 2차원 맵 상에서 상기 촬영 영역 각각에 대응되는 맵핑 영역을 식별할 수 있다.
상기 변환 행렬은, 상기 영역별 영상에 설정된 맵핑 포인트 각각에 대한 좌표 값에 대해 평행 이동, 크기 변환 및 회전 중 적어도 하나를 수행하기 위한 변환 행렬을 포함할 수 있다.
상기 맵핑 영역 식별부는, 상기 변환 행렬을 상기 영역별 영상에 포함된 각 픽셀의 좌표 값에 곱함으로써, 상기 2차원 맵 상에서 상기 촬영 영역 각각에 대응되는 맵핑 영역을 식별할 수 있다.
상기 영역별 혼잡도 시각화부는, 상기 2차원 맵 상에서 상기 촬영 영역 각각에 대응되는 맵핑 영역 간에 중복되는 중복 영역이 존재하는 경우, 상기 중복 영역의 혼잡도를 보정하여 상기 2차원 맵 상에 시각적으로 표시할 수 있다.
상기 영역별 혼잡도 시각화부는, 상기 각각의 촬영 영역 중 상기 중복 영역과 대응되는 영역의 혼잡도에 대한 평균값 또는 중간값에 기초하여, 상기 중복 영역의 혼잡도를 보정할 수 있다.
상기 영역별 혼잡도 시각화부는, 상기 촬영 영역 각각에 대한 영역별 혼잡도에 따라 상기 2차원 맵 상에 히트맵을 표시할 수 있다.
개시되는 다른 실시예들에 따르면, 혼잡도 시각화 장치에 의해 수행되는 혼잡도 시각화 방법에 있어서, 각각 특정 공간 내 상이한 영역을 촬영하는 복수의 카메라에 의해 촬영된 영역별 영상을 저장하는 단계; 상기 특정 공간에 대한 2차원 맵을 저장하는 단계; 상기 영역별 영상에 기초하여, 상기 특정 공간 내에서 상기 복수의 카메라에 의해 촬영된 촬영 영역 각각에 대한 영역별 혼잡도를 산출하는 단계; 상기 영역별 영상 및 상기 2차원 맵 각각에 설정된 맵핑 포인트에 기초하여, 상기 2차원 맵 상에서 상기 촬영 영역 각각에 대응되는 맵핑 영역을 식별하는 단계; 및 상기 맵핑 영역에 기초하여, 상기 촬영 영역 각각에 대한 영역별 혼잡도를 상기 2차원 맵 상에 시각적으로 표시하는 단계를 포함하는, 혼잡도 시각화 방법가 제공된다.
상기 영역별 혼잡도를 산출하는 단계는, 상기 복수의 카메라에 의해 촬영된 영역별 영상의 프레임을 이용하여 상기 복수의 카메라에 의해 촬영된 촬영 영역 각각에 대한 영역별 혼잡도를 산출할 수 있다.
상기 맵핑 포인트는, 사용자에 의하여 설정될 수 있다.
상기 맵핑 포인트는, 상기 영역별 영상 및 상기 2차원 맵 각각에 동일한 개수로 설정되며, 상기 영역별 영상에 설정된 맵핑 포인트 각각은 상기 2차원 맵에 설정된 맵핑 포인트 각각과 대응될 수 있다.
상기 맵핑 영역을 식별하는 단계는, 상기 영역별 영상에 설정된 맵핑 포인트 각각에 대한 좌표 값을 상기 2차원 맵에 설정된 맵핑 포인트 각각에 대한 좌표 값에 일치시키기 위한 하나 이상의 변환 행렬을 이용하여, 상기 2차원 맵 상에서 상기 촬영 영역 각각에 대응되는 맵핑 영역을 식별할 수 있다.
상기 변환 행렬은, 상기 영역별 영상에 설정된 맵핑 포인트 각각에 대한 좌표 값에 대해 평행 이동, 크기 변환 및 회전 중 적어도 하나를 수행하기 위한 변환 행렬을 포함할 수 있다.
상기 맵핑 영역을 식별하는 단계는, 상기 변환 행렬을 상기 영역별 영상에 포함된 각 픽셀의 좌표 값에 곱함으로써, 상기 2차원 맵 상에서 상기 촬영 영역 각각에 대응되는 맵핑 영역을 식별할 수 있다.
상기 영역별 혼잡도를 시각화하는 단계는, 상기 2차원 맵 상에서 상기 촬영 영역 각각에 대응되는 맵핑 영역 간에 중복되는 중복 영역이 존재하는 경우, 상기 중복 영역의 혼잡도를 보정하여 상기 2차원 맵 상에 시각적으로 표시할 수 있다.
상기 영역별 혼잡도를 시각화하는 단계는, 상기 각각의 촬영 영역 중 상기 중복 영역과 대응되는 영역의 혼잡도에 대한 평균값 또는 중간값에 기초하여, 상기 중복 영역의 혼잡도를 보정할 수 있다.
상기 영역별 혼잡도를 시각화하는 단계는, 상기 촬영 영역 각각에 대한 영역별 혼잡도에 따라 상기 2차원 맵 상에 히트맵을 표시할 수 있다.
개시되는 실시예들에 따를 경우, 특정 공간 내 영역별 혼잡도의 정확한 파악이 가능하게 된다.
개시되는 실시예들에 따를 경우, 특정 공간에서 공간별 사람들의 이동 빈도를 한눈에 파악할 수 있어, 제품의 판매 및 광고를 통한 영업상 이익을 극대화할 수도 있다.
도 1은 일 실시예에 따른 혼잡도 시각화 장치의 블록도
도 2는 일 실시예에 따른 특정 공간을 촬영하는 카메라에 의해 촬영된 영상의 일 예를 나타낸 예시도
도 3은 일 실시예에 따른 특정 공간에 대한 2차원 맵을 나타낸 예시도
도 4는 일 실시예에 따른 특정 공간에 대한 2차원 맵 상에 촬영 영역에 대응되는 맵핑 영역을 나타낸 예시도
도 5은 다른 일 실시예에 특정 공간에 대한 2차원 맵 상에 촬영 영역에 대응되는 맵핑 영역을 나타낸 예시도
도 6은 일 실시예에 특정 공간에 대한 2차원 맵 상에 영역별 혼잡도를 시작적으로 표시한 예시도
도 7는 일 실시예에 따른 혼잡도 시각화 방법의 순서도
도 8은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 도면들을 참조하여 본 발명의 실시 예에 대해 상세히 설명하기로 한다. 본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다.
도 1은 일 실시예에 따른 혼잡도 시각화 장치(100)의 블록도이다.
도 1을 참조하면, 일 실시예에 따른 혼잡도 시각화 장치(100)는 영역별 영상 저장부(110), 2차원 맵 저장부(120), 영역별 혼잡도 산출부(130), 맵핑 영역 식별부(140) 및 영역별 혼잡도 시각화부(150)를 포함한다.
영역별 영상 저장부(110)는 각각 특정 공간 내 상이한 영역을 촬영하는 복수의 카메라에 의해 촬영된 영역별 영상을 저장한다. 여기서, 특정 공간이란 매장이나 전시장 등일 수 있다.
2차원 맵 저장부(120)는 복수의 카메라에 의해 촬영되는 특정 공간에 대한 2차원 맵을 저장한다. 특정 공간에 대한 2차원 맵은 특정 공간을 위에서 내려다 본 평면 맵일 수 있다.
영역별 혼잡도 산출부(130)는 복수의 카메라에 의해 촬영된 영역별 영상에 기초하여, 특정 공간 내에서 복수의 카메라에 의해 촬영된 촬영 영역 각각에 대한 영역별 혼잡도를 산출한다. 여기서, 촬영 영역이란 특정 공간 내 특정 카메라에 의해 촬영된 영역을 말한다. 또한, 영역별 혼잡도란, 특정 카메라에 의해 촬영된 영역 내에 포함된 영역들에 대한 혼잡도를 말하며, 혼잡도란, 각 영역별 영상에서 영상 내에 존재하는 객체(예: 사람)들의 움직임을 수치화한 데이터를 의미할 수 있다.
일 실시예에 따르면, 영역별 혼잡도 산출부(130)는 영역별 영상 각각에 대한 프레임 별 영상 변화량을 이용하여 복수의 카메라에 의해 촬영된 촬영 영역 각각에 대한 영역별 혼잡도를 산출할 수 있다. 구체적으로, 영역별 혼잡도 산출부(130)는 영역별 영상 각각에 대한 프레임 별 휘도 또는 색차의 변화량으로부터 영역별 혼잡도를 산출할 수 있다. 다만, 영역별 혼잡도를 산출하는 방법은 반드시 특정한 방법으로 한정되는 것은 아니다.
맵핑 영역 식별부(140)는 복수의 카메라에 의해 촬영된 영역별 영상 및 2차원 맵 각각에 설정된 맵핑 포인트에 기초하여, 2차원 맵 상에서 복수의 카메라에 의해 촬영된 촬영 영역 각각에 대응되는 맵핑 영역을 식별한다. 이때, 맵핑 포인트란 영역별 영상 및 2차원 맵을 맵핑시키기 위한 기준점을 의미한다.
일 실시예에 따르면, 맵핑 포인트는 사용자에 의해 설정될 수 있다. 맵핑 포인트는 영역별 영상 및 2차원 맵 각각에 동일한 개수로 설정되며, 영역별 영상에 설정된 맵핑 포인트 각각은 상기 2차원 맵에 설정된 맵핑 포인트 각각과 대응될 수 있다. 한편, 영역별 영상 및 2차원 맵 각각에는 세 개 이상의 맵핑 포인트가 설정될 수 있다.
일 실시예에 따르면, 맵핑 영역 식별부(140)는 영역별 영상에 설정된 맵핑 포인트 각각에 대한 좌표 값을 2차원 맵에 설정된 맵핑 포인트 각각에 대한 좌표 값에 일치시키기 위한 하나 이상의 변환 행렬을 이용하여, 2차원 맵 상에서 촬영 영역 각각에 대응되는 맵핑 영역을 식별할 수 있다.
일 실시예에 따르면, 변환 행렬은 영역별 영상에 설정된 맵핑 포인트 각각에 대한 좌표 값에 대해 평행 이동, 크기 변환 및 회전 중 적어도 하나를 수행하기 위한 변환 행렬을 포함할 수 있다. 변환 행렬이 생성된 경우, 맵핑 영역 식별부(140)는 변환 행렬을 영역별 영상에 포함된 각 픽셀의 좌표 값에 곱함으로써, 2차원 맵 상에서 촬영 영역 각각에 대응되는 맵핑 영역을 식별할 수 있다.
한편, 맵핑 포인트를 설정하고, 맵핑 영역을 식별하는 구체적인 방법은 도 2 내지 도 5를 참조하여 후술하기로 한다.
혼잡도 시각화부(150)는 맵핑 영역에 기초하여, 촬영 영역 각각에 대한 영역별 혼잡도를 2차원 맵 상에 시각적으로 표시한다. 예를 들어, 혼잡도 시각화부(150)는 촬영 영역 각각에 대한 영역별 혼잡도에 따라 2차원 맵 상에 히트맵(Heat Map)을 표시할 수 있다. 구체적으로, 혼잡도 시각화부(150)는 영역별 혼잡도를 그 정도에 따라 2차원 맵 상에 색상 또는 음영 등을 달리하여 시각적으로 표시할 수 있다.
한편, 본 발명의 일 실시예에 따르면, 혼잡도 시각화부(150)는 2차원 맵 상에서 촬영 영역 각각에 대응되는 맵핑 영역 간에 중복되는 중복 영역이 존재하는 경우, 중복 영역의 혼잡도를 보정하여 2차원 맵 상에 시각적으로 표시할 수 있다. 예를 들어, 혼잡도 시각화부(150)는 각각의 촬영 영역 중 중복 영역과 대응되는 영역의 혼잡도에 대한 평균값 또는 중간값에 기초하여, 중복 영역의 혼잡도를 보정할 수 있다.
도 2는 일 실시예에 따른 특정 공간을 촬영하는 카메라에 의해 촬영된 영상의 일 예를 나타낸 예시도이며, 도 3은 일 실시예에 따른 특정 공간에 대한 2차원 맵을 나타낸 예시도이다.
영역의 영상은 특정 지점에 설치된 카메라로부터 촬영되는 영상이기 때문에, 2차원 맵과 차이가 있을 수 있다. 따라서, 2차원 맵 상에서 영역별 영상에 포함된 촬영 영역 각각에 대응되는 맵핑 영역을 식별하기 위해서는 영역의 영상과 2차원 맵을 맵핑시킬 필요가 있다.
구체적으로, 도 2 및 도 3에 도시된 예에서, 사각형의 코너에 대응되는 지점(1, 2, 3, 4)은 사용자에 의해 설정된 맵핑 포인트다.
도 2 및 도 3에 도시된 구체적인 숫자(1,2,3,4)는 해당 맵핑 포인트가 사용자에 의해 설정된 순서를 나타낸다. 도 2에 도시된 맵핑 포인트(1, 2, 3, 4) 각각은 도 3에 도시된 맵핑 포인트(1, 2, 3, 4) 각각과 대응된다.
도 4는 일 실시예에 따른 특정 공간에 대한 2차원 맵 상에 촬영 영역에 대응되는 맵핑 영역을 나타낸 예시도이다.
구체적으로, 도 4는 도 3에 도시된 2차원 맵 상에서 도 2에 도시된 촬영의 영상 내 촬영 영역에 대응되는 맵핑 영역을 식별한 것을 나타낸 것이다.
맵핑 영역 식별부(140)는 도 2에 도시된 맵핑 포인트(1, 2, 3, 4) 각각에 대한 좌표 값을 도 3에 도시된 맵핑 포인트(1, 2, 3, 4) 각각에 대한 좌표 값에 일치시키기 위한 하나 이상의 변환 행렬을 생성할 수 있다. 이후, 맵핑 영역 식별부(140)는 변환 행렬을 도 2에 도시된 촬영된 영상 내 촬영 영역에 포함된 각 픽셀의 좌표 값에 곱함으로써, 도 3에 도시된 2차원 맵 상에서 촬영 영역에 대응되는 맵핑 영역을 식별할 수 있다.
도 5은 다른 일 실시예에 특정 공간에 대한 2차원 맵 상에 촬영 영역에 대응되는 맵핑 영역을 나타낸 예시도이다.
구체적으로, 도 5는 특정 공간에 대한 2차원 맵 상에 촬영 영역 각각에 대응되는 맵핑 영역을 나타낸다. 도 5에 도시된 맵핑 영역 중 음영의 농도가 높은 영역은 맹핑 영역 간에 중복되는 중복 영역을 나타낸다.
이 경우, 역영별 혼잡도 시각화부(150)가 촬영 영역 각각에 대한 영역별 혼잡도를 2차원 맵 상에 시각적으로 중첩 표시하는 경우, 중복 영역에서의 혼잡도가 정확하게 파악되기 어려운 문제가 있다. 따라서, 역영별 혼잡도 시각화부(150)는 중복 영역의 혼잡도를 보정하여 2차원 맵 상에 시각적으로 표시할 필요가 있다.
도 6은 일 실시예에 특정 공간에 대한 2차원 맵 상에 영역별 혼잡도를 시작적으로 표시한 예시도이다.
구체적으로, 도 6은 중복 영역의 혼잡도를 보정하여 촬영 영역 각각에 대한 영역별 혼잡도에 따라 2차원 맵 상에 히트맵을 표시한 예시도이다.
이로써, 특정 공간 내 영역별 혼잡도의 정확한 파악이 가능하게 된다.
도 7은 일 실시예에 따른 혼잡도 시각화 방법의 순서도이다. 도시된 순서도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
먼저, 영역별 영상 저장부(110)는 각각 특정 공간 내 상이한 영역을 촬영하는 복수의 카메라에 의해 촬영된 영역별 영상을 저장한다(710).
다음으로, 2차원 맵 저장부(120)는 특정 공간에 대한 2차원 맵을 저장한다(720).
다음으로, 영역별 혼잡도 산출부(130)는 복수의 카메라에 의해 촬영된 영역별 영상에 기초하여, 특정 공간 내에서 복수의 카메라에 의해 촬영된 촬영 영역 각각에 대한 영역별 혼잡도를 산출한다(730).
일 실시예에 따르면, 영역별 혼잡도 산출부(130)는 영역별 영상 각각에 대한 프레임 별 영상 변화량을 이용하여 복수의 카메라에 의해 촬영된 촬영 영역 각각에 대한 영역별 혼잡도를 산출할 수 있다.
다음으로, 맵핑 영역 실별부(140)는 복수의 카메라에 의해 촬영된 영역별 영상 및 2차원 맵 각각에 설정된 맵핑 포인트에 기초하여, 2차원 맵 상에서 복수의 카메라에 의해 촬영된 촬영 영역 각각에 대응되는 맵핑 영역을 식별한다(740).
일 실시예에 따르면, 맵핑 포인트는 사용자에 의해 설정될 수 있다. 맵핑 포인트는 영역별 영상 및 2차원 맵 각각에 동일한 개수로 설정되며, 영역별 영상에 설정된 맵핑 포인트 각각은 상기 2차원 맵에 설정된 맵핑 포인트 각각과 대응될 수 있다.
일 실시예에 따르면, 맵핑 영역 식별부(140)는 영역별 영상에 설정된 맵핑 포인트 각각에 대한 좌표 값을 2차원 맵에 설정된 맵핑 포인트 각각에 대한 좌표 값에 일치시키기 위한 변환 행렬을 이용하여, 2차원 맵 상에서 촬영 영역 각각에 대응되는 맵핑 영역을 식별할 수 있다.
일 실시예에 따르면, 변환 행렬은 영역별 영상에 설정된 맵핑 포인트 각각에 대한 좌표 값에 대해 평행 이동, 크기 변환 및 회전 중 적어도 하나를 수행하기 위한 변환 행렬을 포함할 수 있다. 변환 행렬이 생성된 경우, 맵핑 영역 식별부(140)는 변환 행렬을 영역별 영상에 포함된 각 픽셀의 좌표 값에 곱함으로써, 2차원 맵 상에서 촬영 영역 각각에 대응되는 맵핑 영역을 식별할 수 있다.
다음으로, 영역별 혼잡도 시각화부(150)는 맵핑 영역에 기초하여, 촬영 영역 각각에 대한 영역별 혼잡도를 2차원 맵 상에 시각적으로 표시한다(750). 예를 들어, 혼잡도 시각화부(150)는 촬영 영역 각각에 대한 영역별 혼잡도에 따라 2차원 맵 상에 히트맵(Heat Map)을 표시할 수 있다. 구체적으로, 혼잡도 시각화부(150)는 영역별 혼잡도를 그 정도에 따라 2차원 맵 상에 색상 또는 음영 등을 달리하여 시각적으로 표시할 수 있다.
한편, 본 발명의 일 실시예에 따르면, 혼잡도 시각화부(150)는 2차원 맵 상에서 촬영 영역 각각에 대응되는 맵핑 영역 간에 중복되는 중복 영역이 존재하는 경우, 중복 영역의 혼잡도를 보정하여 2차원 맵 상에 시각적으로 표시할 수 있다. 예를 들어, 혼잡도 시각화부(150)는 각각의 촬영 영역 중 중복 영역과 대응되는 영역의 혼잡도에 대한 평균값 또는 중간값에 기초하여, 중복 영역의 혼잡도를 보정할 수 있다.
도 8은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도이다.
도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술되는 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 혼잡도 시각화 장치일 수 있다. 컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.

Claims (20)

  1. 각각 특정 공간 내 상이한 영역을 촬영하는 복수의 카메라에 의해 촬영된 영역별 영상을 저장하는 영역별 영상 저장부;
    상기 특정 공간에 대한 2차원 맵을 저장하는 2차원 맵 저장부;
    상기 영역별 영상에 기초하여, 상기 특정 공간 내에서 상기 복수의 카메라에 의해 촬영된 촬영 영역 각각에 대한 영역별 혼잡도를 산출하는 영역별 혼잡도 산출부;
    상기 영역별 영상 및 상기 2차원 맵 각각에 설정된 맵핑 포인트에 기초하여, 상기 2차원 맵 상에서 상기 촬영 영역 각각에 대응되는 맵핑 영역을 식별하는 맵핑 영역 식별부; 및
    상기 맵핑 영역에 기초하여, 상기 촬영 영역 각각에 대한 영역별 혼잡도를 상기 2차원 맵 상에 시각적으로 표시하는 영역별 혼잡도 시각화부를 포함하는, 혼잡도 시각화 장치.
  2. 청구항 1에 있어서,
    상기 영역별 혼잡도 산출부는, 상기 복수의 카메라에 의해 촬영된 영역별 영상의 프레임을 이용하여 상기 복수의 카메라에 의해 촬영된 촬영 영역 각각에 대한 영역별 혼잡도를 산출하는, 혼잡도 시각화 장치.
  3. 청구항 1에 있어서,
    상기 맵핑 포인트는, 사용자에 의하여 설정되는, 혼잡도 시각화 장치.
  4. 청구항 1에 있어서,
    상기 맵핑 포인트는, 상기 영역별 영상 및 상기 2차원 맵 각각에 동일한 개수로 설정되며,
    상기 영역별 영상에 설정된 맵핑 포인트 각각은 상기 2차원 맵에 설정된 맵핑 포인트 각각과 대응되는, 혼잡도 시각화 장치.
  5. 청구항 4에 있어서,
    상기 맵핑 영역 식별부는, 상기 영역별 영상에 설정된 맵핑 포인트 각각에 대한 좌표 값을 상기 2차원 맵에 설정된 맵핑 포인트 각각에 대한 좌표 값에 일치시키기 위한 하나 이상의 변환 행렬을 이용하여, 상기 2차원 맵 상에서 상기 촬영 영역 각각에 대응되는 맵핑 영역을 식별하는, 혼잡도 시각화 장치.
  6. 청구항 5에 있어서,
    상기 변환 행렬은, 상기 영역별 영상에 설정된 맵핑 포인트 각각에 대한 좌표 값에 대해 평행 이동, 크기 변환 및 회전 중 적어도 하나를 수행하기 위한 변환 행렬을 포함하는, 혼잡도 시각화 장치.
  7. 청구항 6에 있어서,
    상기 맵핑 영역 식별부는, 상기 변환 행렬을 상기 영역별 영상에 포함된 각 픽셀의 좌표 값에 곱함으로써, 상기 2차원 맵 상에서 상기 촬영 영역 각각에 대응되는 맵핑 영역을 식별하는, 혼잡도 시각화 장치.
  8. 청구항 1에 있어서,
    상기 영역별 혼잡도 시각화부는, 상기 2차원 맵 상에서 상기 촬영 영역 각각에 대응되는 맵핑 영역 간에 중복되는 중복 영역이 존재하는 경우, 상기 중복 영역의 혼잡도를 보정하여 상기 2차원 맵 상에 시각적으로 표시하는, 혼잡도 시각화 장치.
  9. 청구항 8에 있어서,
    상기 영역별 혼잡도 시각화부는, 상기 각각의 촬영 영역 중 상기 중복 영역과 대응되는 영역의 혼잡도에 대한 평균값 또는 중간값에 기초하여, 상기 중복 영역의 혼잡도를 보정하는, 혼잡도 시각화 장치.
  10. 청구항 1에 있어서,
    상기 영역별 혼잡도 시각화부는, 상기 촬영 영역 각각에 대한 영역별 혼잡도에 따라 상기 2차원 맵 상에 히트맵을 표시하는, 혼잡도 시각화 장치.
  11. 혼잡도 시각화 장치에 의해 수행되는 혼잡도 시각화 방법에 있어서,
    각각 특정 공간 내 상이한 영역을 촬영하는 복수의 카메라에 의해 촬영된 영역별 영상을 저장하는 단계;
    상기 특정 공간에 대한 2차원 맵을 저장하는 단계;
    상기 영역별 영상에 기초하여, 상기 특정 공간 내에서 상기 복수의 카메라에 의해 촬영된 촬영 영역 각각에 대한 영역별 혼잡도를 산출하는 단계;
    상기 영역별 영상 및 상기 2차원 맵 각각에 설정된 맵핑 포인트에 기초하여, 상기 2차원 맵 상에서 상기 촬영 영역 각각에 대응되는 맵핑 영역을 식별하는 단계; 및
    상기 맵핑 영역에 기초하여, 상기 촬영 영역 각각에 대한 영역별 혼잡도를 상기 2차원 맵 상에 시각적으로 표시하는 단계를 포함하는, 혼잡도 시각화 방법.
  12. 청구항 11에 있어서,
    상기 영역별 혼잡도를 산출하는 단계는, 상기 복수의 카메라에 의해 촬영된 영역별 영상의 프레임을 이용하여 상기 복수의 카메라에 의해 촬영된 촬영 영역 각각에 대한 영역별 혼잡도를 산출하는, 혼잡도 시각화 방법.
  13. 청구항 11에 있어서,
    상기 맵핑 포인트는, 사용자에 의하여 설정되는, 혼잡도 시각화 방법.
  14. 청구항 11에 있어서,
    상기 맵핑 포인트는, 상기 영역별 영상 및 상기 2차원 맵 각각에 동일한 개수로 설정되며,
    상기 영역별 영상에 설정된 맵핑 포인트 각각은 상기 2차원 맵에 설정된 맵핑 포인트 각각과 대응되는, 혼잡도 시각화 방법.
  15. 청구항 14에 있어서,
    상기 맵핑 영역을 식별하는 단계는, 상기 영역별 영상에 설정된 맵핑 포인트 각각에 대한 좌표 값을 상기 2차원 맵에 설정된 맵핑 포인트 각각에 대한 좌표 값에 일치시키기 위한 하나 이상의 변환 행렬을 이용하여, 상기 2차원 맵 상에서 상기 촬영 영역 각각에 대응되는 맵핑 영역을 식별하는, 혼잡도 시각화 방법.
  16. 청구항 15에 있어서,
    상기 변환 행렬은, 상기 영역별 영상에 설정된 맵핑 포인트 각각에 대한 좌표 값에 대해 평행 이동, 크기 변환 및 회전 중 적어도 하나를 수행하기 위한 변환 행렬을 포함하는, 혼잡도 시각화 방법.
  17. 청구항 16에 있어서,
    상기 맵핑 영역을 식별하는 단계는, 상기 변환 행렬을 상기 영역별 영상에 포함된 각 픽셀의 좌표 값에 곱함으로써, 상기 2차원 맵 상에서 상기 촬영 영역 각각에 대응되는 맵핑 영역을 식별하는, 혼잡도 시각화 방법.
  18. 청구항 11에 있어서,
    상기 영역별 혼잡도를 시각화하는 단계는, 상기 2차원 맵 상에서 상기 촬영 영역 각각에 대응되는 맵핑 영역 간에 중복되는 중복 영역이 존재하는 경우, 상기 중복 영역의 혼잡도를 보정하여 상기 2차원 맵 상에 시각적으로 표시하는, 혼잡도 시각화 방법.
  19. 청구항 18에 있어서,
    상기 영역별 혼잡도를 시각화하는 단계는, 상기 각각의 촬영 영역 중 상기 중복 영역과 대응되는 영역의 혼잡도에 대한 평균값 또는 중간값에 기초하여, 상기 중복 영역의 혼잡도를 보정하는, 혼잡도 시각화 방법.
  20. 청구항 11에 있어서,
    상기 영역별 혼잡도를 시각화하는 단계는, 상기 촬영 영역 각각에 대한 영역별 혼잡도에 따라 상기 2차원 맵 상에 히트맵을 표시하는, 혼잡도 시각화 방법.
PCT/KR2019/005219 2018-05-31 2019-04-30 혼잡도 시각화 장치 및 방법 WO2019231119A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201980004799.2A CN111164612A (zh) 2018-05-31 2019-04-30 拥挤度可视化设备以及方法
US16/652,814 US11393214B2 (en) 2018-05-31 2019-04-30 Apparatus and method for congestion visualization
EP19810277.4A EP3686786A4 (en) 2018-05-31 2019-04-30 APPARATUS AND PROCESS FOR VISUALIZATION OF OVERALL DIMENSIONS

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0062345 2018-05-31
KR1020180062345A KR102526113B1 (ko) 2018-05-31 2018-05-31 혼잡도 시각화 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2019231119A1 true WO2019231119A1 (ko) 2019-12-05

Family

ID=68698883

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/005219 WO2019231119A1 (ko) 2018-05-31 2019-04-30 혼잡도 시각화 장치 및 방법

Country Status (5)

Country Link
US (1) US11393214B2 (ko)
EP (1) EP3686786A4 (ko)
KR (1) KR102526113B1 (ko)
CN (1) CN111164612A (ko)
WO (1) WO2019231119A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102622502B1 (ko) * 2022-11-23 2024-01-09 주식회사 파놉티콘 실시간 영상을 이용한 인구 밀집도 관리 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004272756A (ja) * 2003-03-11 2004-09-30 Meidensha Corp 混雑度調査装置
KR20160068461A (ko) * 2014-12-05 2016-06-15 한화테크윈 주식회사 평면도에 히트맵을 표시하는 장치 및 방법
WO2017043002A1 (ja) * 2015-09-11 2017-03-16 日本電気株式会社 物体計数装置、物体計数方法、物体計数プログラム、および物体計数システム
WO2017122258A1 (ja) * 2016-01-12 2017-07-20 株式会社日立国際電気 混雑状況監視システム
KR20170100204A (ko) * 2016-02-25 2017-09-04 한국전자통신연구원 3차원 공간 정보를 이용한 목표물 추적 장치 및 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004501343A (ja) * 2000-03-29 2004-01-15 アストロビジョン・インターナショナル・インコーポレイテッド 直接放送イメージング衛星システム装置および方法
KR101264477B1 (ko) 2010-04-23 2013-05-14 주식회사 스카이스포츠 경기장 평면상의 선수 위치를 표시하는 경기중계 보조영상 생성 시스템 및 그 방법의 기록매체
CN101714293A (zh) * 2009-12-16 2010-05-26 上海交通投资信息科技有限公司 基于立体视觉的公交客流拥挤度采集方法
JP5354697B2 (ja) * 2011-06-27 2013-11-27 Ｎｅｃインフロンティア株式会社 混雑状況管理システム、混雑状況管理装置、混雑状況管理方法、プログラム
US20180239948A1 (en) * 2014-11-18 2018-08-23 Elwha Llc Satellite with machine vision for disaster relief support
WO2017038160A1 (ja) * 2015-09-01 2017-03-09 日本電気株式会社 監視情報生成装置、撮影方向推定装置、監視情報生成方法、撮影方向推定方法、及びプログラム
US10529221B2 (en) * 2016-04-19 2020-01-07 Navio International, Inc. Modular approach for smart and customizable security solutions and other applications for a smart city
RU2647670C1 (ru) * 2016-09-27 2018-03-16 Общество с ограниченной ответственностью "Аби Девелопмент" Автоматизированные способы и системы выявления на изображениях, содержащих документы, фрагментов изображений для облегчения извлечения информации из выявленных содержащих документы фрагментов изображений

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004272756A (ja) * 2003-03-11 2004-09-30 Meidensha Corp 混雑度調査装置
KR20160068461A (ko) * 2014-12-05 2016-06-15 한화테크윈 주식회사 평면도에 히트맵을 표시하는 장치 및 방법
WO2017043002A1 (ja) * 2015-09-11 2017-03-16 日本電気株式会社 物体計数装置、物体計数方法、物体計数プログラム、および物体計数システム
WO2017122258A1 (ja) * 2016-01-12 2017-07-20 株式会社日立国際電気 混雑状況監視システム
KR20170100204A (ko) * 2016-02-25 2017-09-04 한국전자통신연구원 3차원 공간 정보를 이용한 목표물 추적 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3686786A4 *

Also Published As

Publication number Publication date
US20200234059A1 (en) 2020-07-23
EP3686786A4 (en) 2021-03-17
EP3686786A1 (en) 2020-07-29
US11393214B2 (en) 2022-07-19
KR102526113B1 (ko) 2023-04-26
KR20190136517A (ko) 2019-12-10
CN111164612A (zh) 2020-05-15

Similar Documents

Publication Publication Date Title
WO2018084516A1 (ko) 전지 장치, 디스플레이 장치 및 그의 제어 방법
WO2021112406A1 (en) Electronic apparatus and method for controlling thereof
WO2014185710A1 (ko) Tiled display에서 3d 영상을 보정하는 방법 및 장치
WO2015108232A1 (en) Portable device and method for controlling the same
EP3039507A1 (en) Portable device displaying augmented reality image and method of controlling therefor
WO2020027607A1 (ko) 객체 탐지 장치 및 제어 방법
WO2015030307A1 (en) Head mounted display device and method for controlling the same
WO2020017890A1 (en) System and method for 3d association of detected objects
WO2016099186A1 (en) Display apparatus and controlling method
WO2015160052A1 (ko) 광각 렌즈 이미지 보정 방법 및 그 장치
WO2018070672A1 (en) Electronic device and method for controlling the electronic device
WO2019156543A2 (ko) 동영상의 대표 이미지를 결정하는 방법 및 그 방법을 처리하는 전자 장치
WO2019231119A1 (ko) 혼잡도 시각화 장치 및 방법
WO2020122358A1 (ko) 사이니지 장치 및 그 제어 방법
WO2020166849A1 (en) Display system for sensing defect on large-size display
WO2016114574A2 (ko) 패치 쉬프트를 이용한 텍스처 필터링 방법 및 장치
WO2014148691A1 (en) Mobile device and method for controlling the same
WO2017099557A2 (ko) 3d 가상 장면의 조도를 결정하는 방법 및 장치
WO2016159613A1 (ko) 영상 합성을 위한 객체 추적 방법 및 시스템
WO2023167391A1 (ko) 노멀 맵을 하이트 맵으로 변환하는 전자 장치의 제어 방법
WO2019151617A1 (en) Control device
WO2018043916A1 (en) Display device and method for displaying image
WO2021101213A1 (ko) 3d 투어 내에서 실제 거리 측정 방법
WO2015046658A1 (ko) 설진기 재현성 측정 장치 및 방법
WO2018012704A2 (ko) 영상 처리 장치 및 영상 처리 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19810277

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019810277

Country of ref document: EP

Effective date: 20200424

NENP Non-entry into the national phase

Ref country code: DE