KR20220082567A - Cctv 영상의 객체 정보와 3차원 공간 좌표를 매칭한 상황인지 기반 실시간 공간 지능 정보안내 시스템 및 그 방법 - Google Patents

Cctv 영상의 객체 정보와 3차원 공간 좌표를 매칭한 상황인지 기반 실시간 공간 지능 정보안내 시스템 및 그 방법 Download PDF

Info

Publication number
KR20220082567A
KR20220082567A KR1020200172580A KR20200172580A KR20220082567A KR 20220082567 A KR20220082567 A KR 20220082567A KR 1020200172580 A KR1020200172580 A KR 1020200172580A KR 20200172580 A KR20200172580 A KR 20200172580A KR 20220082567 A KR20220082567 A KR 20220082567A
Authority
KR
South Korea
Prior art keywords
virtual
image
singularity
space
camera
Prior art date
Application number
KR1020200172580A
Other languages
English (en)
Inventor
김동오
최장원
윤승식
김지한
Original Assignee
주식회사 코너스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 코너스 filed Critical 주식회사 코너스
Priority to KR1020200172580A priority Critical patent/KR20220082567A/ko
Priority to US17/124,786 priority patent/US11386579B2/en
Publication of KR20220082567A publication Critical patent/KR20220082567A/ko
Priority to KR1020240046203A priority patent/KR20240052734A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

실제 공간을 촬영한 영상으로부터 사람, 사물을 나타내는 오브젝트를 추출하고, 디지털 트윈 기법이 적용된 가상 공간에 추출된 오브젝트를 배치하여 영상에 촬영된 사람, 사물의 위치를 추정할 수 있는 위치 추정 장치가 개시된다. 개시된 위치 추정 장치는 실내에서 사람들이 서로 간의 거리를 유지할 수 있도록 하여 코로나19와 같은 전염병의 확산을 방지할 수 있다.

Description

CCTV 영상의 객체 정보와 3차원 공간 좌표를 매칭한 상황인지 기반 실시간 공간 지능 정보안내 시스템 및 그 방법{REAL TIME SPACE INTELLIGENCE DELIVERY SYSTEM AND METHOD BASED ON SITUATIONAL AWARENESS THAT MATCHES OBJECT RECOGNITION FROM CCTV VIDEO TO 3D SPACE COORDINATES}
하기의 실시예들은 카메라를 이용하여 사람들의 위치 또는 거리를 추정하는 장치 및 방법에 관한 것으로, 구체적으로는 카메라를 이용하여 촬영한 영상을 모사하여 구현된 디지털 트윈 모델을 이용하여 사람들의 위치 또는 거리를 추정하는 장치 및 방법에 관한 것이다.
전세계적으로 코로나19등의 전염병이 유행함에 따라 사람들의 건강이 위협받고 있다. 전염병의 전파를 차단하는 방법 중 하나는 사람들 간의 거리를 유지하는 것이다. 이에 따라 대기를 위해 줄을 서거나, 실내 공간에 사람들이 모일 때도 미리 정해진 간격을 유지하도록 권장된다.
그러나, 목적을 위해 동일한 공간에 위치한 사람들이 서로 간의 간격을 유지하는 것은 쉽지 않으며, 사람들 간의 간격 유지를 위해 안전요원이 투입되는 경우에도 안전요원과 사람들 간에 많은 분쟁이 발생한다.
특정 공간내에 위치한 사람들 간의 위치를 추정하거나, 거리를 추정하기 위해서는 서로 각도를 달리하여 촬영한 복수의 영상이 필요하다. 즉, 여러 각도에서 해당 공간을 촬영하기 위해 복수의 카메라와 복수의 저장장치 등이 필요하므로 과도한 비용이 필요하며, 복잡하고 정밀한 영상분석기법의 적용도 필요하다.
하기의 실시예들은 하나의 카메라를 이용하여 촬영한 영상만으로 사람들 간의 거리를 정확하게 추정하는 것을 목적으로 한다.
하기의 실시예들은 사람들 간의 거리를 추정하여 사회적 거리를 유지하지 않는 사람들에 대한 경고 메시지를 전송하는 것을 목적으로 한다.
하기의 실시예들은 사람들 간의 거리를 유지하여 코로나19와 같은 전염병의 전파를 방지하는 것을 목적으로 한다.
예시적 실시예에 따르면, 특정 공간을 카메라를 이용해 촬영한 영상을 수신하는 영상 수신부, 상기 특정 공간을 디지털 트윈 기법을 이용하여 모사한 가상 공간을 생성하고 관리하는 가상 공간 관리부 및 상기 영상과 상기 가상 공간을 비교하여 상기 영상내에서 추출한 오브젝트들에 대응되는 상기 특정 공간 내에서의 사물의 위치를 추정하는 위치 추정부를 포함하는 위치 추정 장치가 제공된다.
여기서, 상기 추정된 위치에 기반하여 상기 사물들간의 상기 특정 공간 내에서의 거리를 추정하는 거리 추정부를 더 포함할 수 있다.
그리고, 상기 사물들은 상기 특정 공간상의 사람이고, 상기 추정된 거리가 미리 결정된 거리 이내인 경우에, 상기 특정 공간상의 사람에 대해 경고 메시지를 전송하는 메시지 전송부를 더 포함할 수 있다.
또한, 상기 사물들은 상기 특정 공간상의 사람의 신체에 대응되고, 상기 신체의 위치, 패턴 중 어느 하나에 기반하여 상기 사람의 자세를 추정하는 자세 추정부를 더 포함할 수 있다.
그리고, 상기 자세 추정부는, 상기 사람의 발을 포함하는 관절의 위치를 추정하고, 상기 발로부터 높이가 증가하는 순서로 다른 관절의 위치를 추정하고, 인체 비례 또는 통계적인 신체 사이즈를 고려하여 상기 다른 관절이 위치할 수 있는 위치를 추정하여 상기 사람의 자세를 추정할 수 있다.
여기서, 상기 가상 공간을 바라보는 가상 카메라의 위치는 상기 특정 공간 내에서 상기 카메라의 위치에 대응되도록 결정될 수 있다.
그리고, 상기 특정 공간상의 복수의 특이점에 대응되는 상기 가상 공간상의 가상 특이점을 상기 가상 카메라로 촬영한 경우의 화각이 상기 영상에서 상기 특이점이 촬영된 화각과 일치하도록 상기 가상카메라의 화각이 결정될 수 있다.
또한, 상기 복수의 특이점을 중에서 제1 특이점이 상기 특정 공간을 촬영한 영상에 표시된 제1 영상 특이점과, 상기 제1 특이점에 대응되는 상기 가상 공간상의 제1 가상 특이점이 상기 가상 카메라를 이용하여 상기 가상 공간을 촬영한 가상 영상에 표시된 제1 가상 영상 특이점이 일치하도록 상기 가상 영상을 회전하는 화면 관리부를 포함할 수 있다.
여기서, 상기 화면 관리부는 상기 복수의 특이점들 중에서 제2 특이점이 상기 촬영한 영상에 표시된 제2 영상 특이점과, 상기 제2 특이점에 대응되는 상기 가상 공간상의 제2 가상 특이점이 상기 가상 영상에 표시된 제2 가상 영상 특이점이 일치하도록 상기 회전된 가상 영상을 다시 회전할 수 있다.
또 다른 예시적 실시예에 따르면, 특정 공간을 카메라를 이용해 촬영한 영상을 수신하는 단계, 상기 특정 공간을 디지털 트윈 기법을 이용하여 모사한 가상 공간을 생성하고 관리하는 단계 및 상기 영상과 상기 가상 공간을 비교하여 상기 영상내에서 추출한 오브젝트들에 대응되는 상기 특정 공간 내에서의 사물의 위치를 추정하는 단계를 포함하는 위치 추정 방법이 제공된다.
여기서, 상기 추정된 위치에 기반하여 상기 사물들간의 상기 특정 공간 내에서의 거리를 추정하는 단계를 더 포함할 수 있다.
그리고, 상기 사물들은 상기 특정 공간상의 사람이고, 상기 추정된 거리가 미리 결정된 거리 이내인 경우에, 상기 특정 공간상의 사람에 대해 경고 메시지를 전송하는 단계를 더 포함할 수 있다.
또한, 상기 사물들은 상기 특정 공간상의 사람의 신체에 대응되고, 상기 신체의 위치, 패턴 중 어느 하나에 기반하여 상기 사람의 자세를 추정하는 단계를 더 포함할 수 있다.
그리고, 상기 자세를 추정하는 단계는, 상기 사람의 발을 포함하는 관절의 위치를 추정하고, 상기 발로부터 높이가 증가하는 순서로 다른 관절의 위치를 추정하고, 인체 비례 또는 통계적인 신체 사이즈를 고려하여 상기 다른 관절이 위치할 수 있는 위치를 추정하여 상기 사람의 자세를 추정할 수 있다.
여기서, 상기 가상 공간을 바라보는 가상 카메라의 위치는 상기 특정 공간 내에서 상기 카메라의 위치에 대응되도록 결정될 수 있다.
그리고, 상기 특정 공간상의 복수의 특이점에 대응되는 상기 가상 공간상의 가상 특이점을 상기 가상 카메라로 촬영한 경우의 화각이 상기 영상에서 상기 특이점이 촬영된 화각과 일치하도록 상기 가상카메라의 화각이 결정될 수 있다.
또한, 상기 복수의 특이점을 중에서 제1 특이점이 상기 특정 공간을 촬영한 영상에 표시된 제1 영상 특이점과, 상기 제1 특이점에 대응되는 상기 가상 공간상의 제1 가상 특이점이 상기 가상 카메라를 이용하여 상기 가상 공간을 촬영한 가상 영상에 표시된 제1 가상 영상 특이점이 일치하도록 상기 가상 영상을 회전하는 단계를 더 포함할 수 있다.
여기서, 상기 복수의 특이점들 중에서 제2 특이점이 상기 촬영한 영상에 표시된 제2 영상 특이점과, 상기 제2 특이점에 대응되는 상기 가상 공간상의 제2 가상 특이점이 상기 가상 영상에 표시된 제2 가상 영상 특이점이 일치하도록 상기 회전된 가상 영상을 다시 회전하는 단계를 더 포함할 수 있다.
하기의 실시예들에 따르면, 하나의 카메라를 이용하여 촬영한 영상만으로 사람들 간의 거리를 정확하게 추정할 수 있다.
하기의 실시예들에 따르면, 사람들 간의 거리를 추정하여 사회적 거리를 유지하지 않는 사람들에 대한 경고 메시지를 전송할 수 있다.
하기의 실시예들에 따르면, 사람들 간의 거리를 유지하여 코로나19와 같은 전염병의 전파를 방지할 수 있다.
도 1은 디지털 트윈 모델을 이용하여 사람들의 위치를 추정하거나, 사람들 간의 거리를 추정하는 개념을 도시한 도면이다.
도 2는 예시적 실시예에 따른 위치 추정 장치의 구조를 도시한 블록도이다.
도 3은 디지털 트윈 기법을 이용하여 모사한 가상 공간 내에서 카메라의 위치를 설정하는 개념을 도시한 도면이다.
도 4는 가상 공간 내에서 특이점을 설정하는 개념을 도시한 도면이다.
도 5 내지 7은 영상을 촬영한 카메라의 화각과 가상 공간 내 카메라의 화각을 일치시키는 개념을 도시한 도면이다.
도 8 내지 9는 가상 공간 내 카메라의 방향을 영상을 촬영한 카메라의 방향과 일치시키는 개념을 도시한 도면이다.
도 10은 디지털 트윈 기법을 이용하여 모사한 가상 공간 내에서 사람들을 배치하는 개념을 도시한 도면이다.
도 11은 디지털 트윈 기법을 이용하여 모사한 가상 공간 내에서 사람들의 위치를 추정하는 개념을 도시한 도면이다.
도 12는 디지털 트윈 기법을 이용하여 모사한 가상 공간 내에서 사람들 간의 거리를 추정하는 개념을 도시한 도면이다.
도 13은 디지털 트윈 기법을 이용하여 모사한 가상 공간 내에서 실내 인원을 계수(count)하는 개념을 도시한 도면이다.
도 14는 디지털 트윈 기법을 이용하여 모사한 가상 공간 내에서 사람의 자세, 포즈를 추정하는 개념을 도시한 도면이다.
도 15는 디지털 트윈 모델을 이용하여 사람들의 위치를 추정하거나, 사람들 간의 거리를 추정하는 방법을 단계별로 설명한 순서도이다.
이하, 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 디지털 트윈 모델을 이용하여 사람들의 위치를 추정하거나, 사람들 간의 거리를 추정하는 개념을 도시한 도면이다.
특정 공간을 CCTV등의 카메라(120)를 이용하여 촬영할 수 있다. 사람들(110, 111)이 카메라(120)로부터 먼 거리에 있는 경우, 사람들(110, 111)은 작은 크기로 촬영되며, 영상내에서 서로 가깝게 촬영된다. 또한, 사람들(110, 111)이 카메라(120)로부터 가까운 거리에 있는 경우, 사람들(110, 111)은 큰 크기로 촬영되며, 영상내에서 서로 멀리 촬영된다.
따라서 카메라를 이용해 촬영한 영상(130)만으로 촬영된 사람들(131, 132)의 위치를 파악하거나, 사람들 간의 거리(133)을 파악하는 것은 어렵다.
다만, 촬영된 공간에 대한 3차원적인 정보를 보유하고 있다면, 해당 공간을 디지털 트윈 기법을 이용하여 가상 공간으로 모사한 후, 가상 공간에 촬영된 사람들(131, 132)에 대응하는 오브젝트를 위치시키고, 오브젝트들간의 거리를 추정함으로써, 실제 공간에서 사람들 간의 거리를 역산할 수 있다.
도 2는 예시적 실시예에 따른 위치 추정 장치의 구조를 도시한 블록도이다. 예시적 실시예에 따른 위치 추정 장치는 영상 수신부(210), 가상 공간 관리부(220), 위치 추정부(230), 거리 추정부(240), 메시지 전송부(250), 자세 추정부(260) 및 화면 관리부(270)를 포함할 수 있다.
영상 수신부(210)는 특정 공간을 카메라를 이용해 촬영한 영상을 수신한다.
가상 공간 관리부(220)는 특정 공간에 대한 3차원적인 정보에 기초하여 해당 공간을 디지털 트윈 기법을 이용하여 가상 공간으로 모사하여 생성한다. 일측에 따르면, 특정 공간에 대한 3차원적인 정보는 해당 공간에 대한 설계도, 3D 스캔한 자료, 평면도, 특정공간을 실측하여 생성된 자료 중 어느 하나일 수 있다.
도 3은 디지털 트윈 기법을 이용하여 모사한 가상 공간 내에서 카메라의 위치를 설정하는 개념을 도시한 도면이다.
좌측의 도면은 실제 공간에 설치된 카메라를 도시한 도면이고, 우측의 도면은 가상 공간에 설치된 카메라를 도시한 도면이다. 실제 공간에 설치된 카메라의 위치는 실측을 통해 정확히 파악될 수 있다.
가상 공간 관리부(220)는 디지털 트윈 기법을 이용하여 현실 공간과 동일하게 모사된 가상 공간(330)에 가상 카메라(340)를 설치하되, 가상 카메라(340)의 위치가 실제 공간(310)에서의 실제 카메라(320)의 위치에 대응되도록 결정할 수 있다. 또한, 가상 공간 관리부(220)는 가상 카메라(340)의 위치가 실제 카메라(310)의 위치와 일치하도록 가상 카메라(340)의 위치를 결정할 수 있다.
가상 카메라(340)의 위치가 실제 카메라(310)의 위치에 대응되도록, 가상 공간(330)에서의 위치와 실제 공간(310)에서의 위치가 동일하도록 결정되면, 가상 공간 관리부(220)는 가상 카메라(340)의 화각(view angle)이 실제 카메라(310)의 화각과 동일하도록 가상 카메라(340)의 화각을 결정할 수 있다.
이하 가상 카메라(340)의 화각을 결정하는 실시예를 도 4 내지 도 7을 참고하여 설명한다.
도 4는 가상 공간 내에서 특이점을 설정하는 개념을 도시한 도면이다.
도 4의 좌측 도면은 실제 공간(410)을 촬영한 화면(430)을 도시한 것이다. 가상 공간 관리부(220)는 실제 공간(410)을 촬영한 화면(430) 중에서 특이점(421, 422)을 선택할 수 있다. 일측에 따르면, 여러가지 영상처리 기법을 이용하여 용이하게 선택 가능하도록 특이점(421, 422)은 실제 공간(410)의 모서리 부분 등이 선택될 수 있다.
가상 공간 관리부(220)는 가상 공간(440)에서 특이점(421, 422)에 대응하는 위치를 가상 특이점(451, 452)으로 설정할 수 있다.
가상 공간 관리부(220)는 실제 공간(410)의 특이점들(421, 422)에 대응되는 가상 공간(440)상의 가상 특이점(451, 452)을 가상 카메라로 촬영한 경우의 화각이 실제 공간(410)에서 특이점(421, 422)이 촬영된 화각과 일치하도록 가상 카메라의 화각을 결정할 수 있다.
도 5 내지 7은 영상을 촬영한 카메라의 화각과 가상 공간 내 카메라의 화각을 일치시키는 개념을 도시한 도면이다.
도 5에서, 가상 공간 관리부(220)는 가상 카메라(510)가 가상 공간상의 가상특이점(521, 522)을 촬영한 경우, 가상 카메라(510)로부터 미리 결정된 기준 거리(541, 542)만큼 떨어진 점들(533)과 가상 카메라(510)와 가상 특이점(521, 522)을 연결하는 선이 교차하는 점들(531, 532) 사이의 거리(550)를 산출한다.
도 6에서, 가상 공간 관리부(220)는 가상 카메라(610)가 가상 공간을 촬영한 가상의 화면 영역(640)에 실제 공간상의 특이점에 해당하는 좌표를 대응시킨다.
가상 카메라(610)로부터 가상의 화면 영역(640)에 표시된 좌표(641, 642)를 지나는 직선(631, 632)을 연장하면, 실제 공간상의 특이점에 해당하는 좌표(미도시)에 도달한다.
가상 공간 관리부(220)는 가상 카메라(610)로부터 실제 공간상의 특이점에 해당하는 좌표에 연결되는 직선(631, 632)에 대하여, 가상 카메라(610)로부터 미리 결정된 기준 거리만큼 두 지점(621, 622)간의 거리(650)를 산출한다.
도 7에서, 가상 공간 관리부(220)는 가상 카메라(710)가 가상 공간을 촬영한 화각(730)을 조절하여 가상 공간을 촬영한 화면(720)의 화각과 일치하도록 가상 카메라의 화각을 결정한다.
도 7의 (a)는 가상 카메라(710)가 가상 공간을 촬영한 화각(730) 및 가상 공간을 촬영한 영상, 화면(720), 영상, 화면에 표시된 가상 특이점(721, 722)을 나타낸다.
도 7의 (b)을 참고하면, 가상 카메라(750)와 영상, 화면9770)에 표시된 가상 특이점(721, 722)을 연결한 직선이 실제 공간상의 특이점에 해당하는 좌표(미도시)에 도달한다. 가상 공간 관리부(220)는 이 직선상에서 가상 카메라(750)로부터 미리 결정된 기준 거리만큼 떨어진 두 지점(761, 762)간의 거리가 가상 공간상에서의 거리와 동일하도록 가상 카메라의 화각(780, view angle)을 결정하여 실제 카메라의 화각과 가상 카메라(750)의 화각을 일치시킬 수 있다.
일측에 따르면, 실제 카메라 및 가상 카메라가 동일한 방향을 바라보고 있는 경우에도, 실제 카메라 또는 가상 카메라가 기울어져 설치될 수 있다. 이 경우, 가상 카메라를 이용하여 촬영한 화면을 회전시켜야 실제 카메라를 이용하여 촬영한 화면과 동일하게 변환된다.
도 8 내지 9는 가상 공간 내 카메라의 방향을 영상을 촬영한 카메라의 방향과 일치시키는 개념을 도시한 도면이다.
도 8에서, 화면 관리부(270)는 가상 카메라(810)를 이용하여 촬영한 화면(820)이 실제 카메라를 이용하여 촬영한 화면과 동일하도록 가상 카메라(810)를 이용하여 촬영한 화면(820)을 회전시킬 수 있다.
가상 카메라(810)를 이용하여 촬영한 영상(820)에는 가상 특이점이 투영된 가상 영상 특이점(831, 832)가 표시된다. 이 가상 영상 특이점(831, 832)은 실제 카메라가 촬영한 영상에서 실제 특이점이 표시되는 영상 특이점(821, 822)과는 상이할 수 있다
화면 관리부(270)는 동일한 특이점에 대응되는 가상 영상 특이점(831)과 영상 특이점(821)을 선택하고, 가상 영상 특이점(831)이 영상 특이점(821)과 일치하도록 가상 카메라(810)를 이용하여 촬영된 영상을 회전시킬 수 있다.
도 9는 하나의 가상 영상 특이점(931)이 영상 특이점(941)에 대응되도록 회전된 것을 도시한 도면이다. 도 9를 참고하면 복수의 가상 영상 특이점(931, 932)들 증에서 하나의 가상 영상 특이점(931)만이 대응되는 영상 특이점(941)과 일치한다.
도 9에서, 화면 관리부(270)는 영상 특이점과 일치하지 않는 가상 영상 특이점들 중에서 어느 하나(932)를 선택하고, 선택된 가상 영상 특이점(932)과 동일한 특이점에 대응되는 영상 특이점(942)을 선택한다.
화면 관리부(270)는 선택된 가상 영상 특이점(932)이 선택된 영상 특이점(942)에 대응되도록 가상 카메라(910)를 이용하여 촬영된 영상을 회전시킬 수 있다.
도 10은 디지털 트윈 기법을 이용하여 모사한 가상 공간 내에서 사람들을 배치하는 개념을 도시한 도면이다.
도 10의 (a)는 실제 카메라가 촬영한 영상을 도시한 것으로 영상 내에서는 4명의 사람(1010, 1020, 1030, 1040)이 포함된다. 일측에 따르면, 위치 추정부(230)는 객체 추출 기법 등 영상 처리 기법을 적용하여 영상 내에서 사람을 나타내는 오브젝트들을 추출할 수 있다.
위치 추정부(230)는 영상 처리 기법을 적용하여 추출된 오브젝트를 디지털 트윈 기법이 적용된 가상 공간 내에 배치(1011, 1021, 1031, 1041)하고, 실제 카메라가 촬영한 영상과 가상 공간을 비교하여 영상 내에서 추출된 오브젝트들이 대응되는 실제 공간 내에서의 사물, 사람의 위치를 추정한다.
이를 위해 위치 추정부(230)는 가상 카메라의 위치에서 각 오브젝트(1011, 1021, 1031, 1041)들의 하단 중심을 잇는 직선을 생성하고, 직선과 가상 공간의 바닥이 교차하는 지점을 해당 객체의 위치로 결정한다.
일측에 따르면, 위치 추정부(230)는 특정인의 위치가 변경됨을 추적할 수도 있다.
도 11은 디지털 트윈 기법을 이용하여 모사한 가상 공간 내에서 사람들의 위치를 추정하는 개념을 도시한 도면이다.
도 11의 (a)에서, 위치 추정부(230)는 사람을 나타내는 오브젝트(1110)의 중심을 지나는 선(111)이 바닥과 만나는 지점(1112)을 해당 오브젝트의 위치로 판단할 수 있다.
그러나, 사물이 유리벽 등에 반사된 경우, 유리벽에 반사된 영상으로부터 추출된 오브젝트(1120)는 바닥에 붙어있지 않는다. 따라서, 위치 추정부(230)는 중심선(1121)이 바닥과 만나는 지점(1122)이 오브젝트(1120)와 상당한 거리가 있으면 해당 오브젝트(1120)는 잘못 감지된 것으로 판단할 수 있다.
또한, 오브젝트(1130)의 높이(1142) 등이 통상의 높이와 차이가 크거나, 천장(1140)으로부터의 거리(1141)가 통상의 거리보다 더 크다면, 위치 추정부(230)는 해당 오브젝트가 잘못 감지된 것으로 판단할 수 있다.
도 12는 디지털 트윈 기법을 이용하여 모사한 가상 공간 내에서 사람들 간의 거리를 추정하는 개념을 도시한 도면이다.
위치 추정부(230)는 실제 카메라를 이용하여 촬영된 영상(1230)에서 추출된 오브젝트들(1241, 1251)이 바닥과 만나는 지점(1242, 1252)을 이용하여 가상 공간(1220)에서 사물(1221, 1222)들의 위치를 추정할 수 있다.
거리 추정부(240)는 추정된 위치에 기반하여 가상 공간(1220)에서 사물(1221, 1222)들 간의 거리를 추정할 수 있다. 일측에 따르면, 메시지 전송부(250)는 사람들간의 추정된 거리가 미리 결정된 거리 이내인 경우에, 실제 공간상의 사람에 대해 옆 사람과의 거리를 일정 거리 이상으로 유지하라는 경고 메시지를 전송할 수 있다.
도 13은 디지털 트윈 기법을 이용하여 모사한 가상 공간 내에서 실내 인원을 계수(count)하는 개념을 도시한 도면이다.
실내 공간은 벽(wall)과 문(door)을 이용하여 여러 개의 방 등으로 구분될 수 있다. 위치 추정 장치는 실내 공간의 출입구를 촬영하는 카메라로부터 출입구를 촬영한 영상을 수신하고, 영상을 분석하여 가상 공간에서 사람을 나타내는 오브젝트의 이동을 추적한다.
위치 추정 장치는 사람이 공간 밖에서 안으로 이동한 경우에는 해당 공간 내에 위치하는 인원을 증가시키고, 공안 안에서 밖으로 이동한 경우에는 해당 공간 내에 위치하는 인원을 감소시킬 수 있다.
도 14는 디지털 트윈 기법을 이용하여 모사한 가상 공간 내에서 사람의 자세, 포즈를 추정하는 개념을 도시한 도면이다.
위치 추정부(230)는 실제 카메라를 이용하여 촬영한 영상에서, 사람의 몸통, 팔다리 등을 서로 다른 오브젝트(사물)로 추출하여 위치를 추정할 수 있다. 이 경우에, 가상 공간에서의 사람도 여러 객체로 구성될 수 있다.
자세 추정부(260)는 사람의 신체에 대응되는 여러 오브젝트의 위치, 방향, 패턴 중 어느 하나에 기반하여 사람의 자세를 추정할 수 있다.
일측에 따르면, 자세 추정부(260)는 가상 카메라(1410)와 가상 카메라(1410)를 이용하여 사람을 촬영한 영상(1411)을 이용하여 사람의 발을 지나는 직선(1420)을 연장하여 이 직선(1420)이 가상공간의 바닥(1413)과 교차하는 지점을 사람의 발(1421)의 위치로 추정할 수 있다.
일측에 따르면, 자세 추정부(260)는 발로부터 높이가 증가하는 순서로 다른 관절의 위치를 추정할 수 있다. 도 14를 참조하면, 자세 추정부(260)는 발(1421)과 이어지면서 발(1421)보다 높은 위치의 관절인 무릎을 지나는 직선(1430)을 연장할 수 있다.
자세 추정부(260)는 인체 비례 또는 통계적인 신체 사이즈를 고려하여 발(1421)의 위치로부터 무릎이 위치할 수 있는 점의 위치를 산출할 수 있다. 예를 들어 발과 무릎의 거리는 제1 거리만큼 이격될 수 있다. 여기서, 제1 거리는 인체 비례 또는 통계적인 신체 사이즈를 고려하여 결정될 수 있다. 자세 추정부(260)는 영상(1411)에서 무릎을 지나는 직선(1430)을 연장할 수 있다. 발(1421)로부터 제1 거리만큼 이격된 원(1431) 위에 위치하면서 무릎을 지나는 직선(1430)위에 위치하는 점은 2개(1432, 1433)이다. 즉, 사람의 무릎은 2개의 점(1432, 1433) 중 하나에 위치할 가능성이 높다.
자세 추정부(260)는 영상(1411)에서, 무릎과 연결되면서 무릎보다 높은 관절인 고관절을 지나는 직선(1440)을 연장할 수 있다.
인체 비례 또는 통계적인 신체 사이즈를 고려하면, 고관절은 무릎이 위치할 수 있는 제1 위치(1433)로부터 제2 거리만큼 이격된 점들로 구성된 원(1441) 위에 있을 수 있다. 그러나, 원(1441)과 직선(1440)은 교차하지 않으므로, 무릎이 제1 위치(1433)에 위치할 수는 없다.
반면, 제2 위치(1432)로부터 일정거리 이격된 점들로 구성된 원과 직선(1440)은 교차하므로 무릎이 제2 위치(1432)에 위치한 것으로 추정할 수 있다.
유사한 방법으로 영상(1411)에서 허리를 지나는 직선(1450)을 이용하여 고관절(1451, 1452)의 위치를 추정할 수 있으며, 영상(1411)에서 어깨 또는 목을 지나는 직선(1460)을 이용하여 허리(1461)의 위치를 추정할 수 있다. 또한, 영상(1411)에서 머리를 지나는 직선(1470)을 이용하여 어깨 또는 목(1471)의 위치를 추정할 수 있다.
자세 추정부(260)는 어깨 또는 목(1471)의 위치를 이용하여 머리(1481)의 위치를 추정할 수 있다.
자세 추정부(260)는 각 관절의 위치(1421, 1432, 1451, 1452, 1461, 1471, 1481)를 종합하여 사람의 자세를 추정할 수 있다.
도 15는 디지털 트윈 모델을 이용하여 사람들의 위치를 추정하거나, 사람들 간의 거리를 추정하는 방법을 단계별로 설명한 순서도이다.
단계(1510)에서, 위치 추정 장치는 실제 카메라가 특정 공간을 촬영한 제1 영상을 수신한다.
단계(1520)에서, 위치 추정 장치는 디지털 트윈 기법을 이용하여 현실 공간(실제 카메라를 이용하여 촬영된 공간)과 동일하게 모사된 가상 공간을 생성하고 관리한다.
일측에 따르면, 위치 추정 장치는 제1 영상을 촬영한 실제 카메라의 위치에 대응되도록 가상 공간 내에 가상 공간을 바라보는 가상 카메라의 위치를 결정할 수 있다.
또한, 위치 추정 장치는 가상 카메라의 화각이 제1 영상을 촬영한 실제 카메라의 화각과 동일하도록 가상 카메라의 화각을 결정할 수 있다. 일측에 따르면, 위치 추정 장치는 특정 공간상의 복수의 특이점에 대응되는 가상 공간상의 가상 특이점을 가상 카메라로 촬영한 경우의 화각이 제1 영상에서 특이점이 촬영된 화각과 일치하도록 가상 카메라의 화각을 결정할 수 있다.
단계(1530)에서, 위치 추정 장치는 가상 카메라를 이용하여 촬영한 화면이 제2 영상과 동일하도록 가상 카메라를 이용하여 촬영한 화면을 회전시킬 수 있다. 예를 들어, 가상 카메라를 이용하여 촬영한 영상에는 가상 특이점이 투영된 가상 영상 특이점이 표시된다. 위치 추정 장치는 동일한 특이점에 대응되는 가상 영상 특이점과 영상 특이점을 하나씩 선택하고, 가상 영상 특이점이 영상 특이점과 일치하도록 가상 카메라를 이용하여 촬영한 영상을 회전시킬 수 있다.
또한 위치 추정 장치는 선택되지 않은 가상 영상 특이점과 영상 특이점들 중에서 동일한 특이점에 대응되는 가상 영상 특이점과 영상 특징점을 하나씩 선택하고, 가상 영상 특이점이 영상 특이점과 일치하도록 가상 카메라를 이용하여 촬영한 영상을 회전시킬 수 있다.
단계(1540)에서, 위치 추정 장치는 실제 카메라가 특정 공간을 촬영한 제2 영상을 수신한다. 제2 영상은 제1 영상과 동일한 장소를 촬영한 영상일 수 있다. 위치 추정 장치는 제1 영상을 이용하여 결정된 가상 공간에서의 가상 카메라의 위치, 화각 등들 제2 영상에 동일하게 적용할 수 있다.
단계(1550)에서, 위치 추정 장치는 제2 영상을 분석하여 제2 영상에서 사물에 대응되는 오브젝트를 추출하고, 가상 공간에 해당 오브젝트들을 배치할 수 있다.
단계(1560)에서, 위치 추정 장치는 제2 영상과 가상 공간을 비교하여 제2 영상 내에서 추출한 오브젝트들에 대응되는 사물의 위치를 추정한다.
단계(1570)에서, 위치 추정 장치는 추정된 위치에 기반하여 사물들의 특정 공간 내에서의 거리를 추정한다.
단계(1580)에서, 사물들이 특정 공간 내에 위치한 사람이고, 추정된 거리가 미리 결정된 거리 이내인 경우에, 위치 추정 장치는 특정 공간상의 사람에 대해 옆 사람과의 거리를 일정 거리 이상으로 유지하라는 경고 메시지를 전송할 수 있다.
단계(1590)에서, 사물들은 특정 공간상의 사람의 신체에 대응될 수 있다. 이 경우 위치 추정 장치는 신체의 위치, 패턴 중 어느 하나에 기반하여 사람의 자세를 추정할 수 있다.
일측에 따르면, 위치 추정 장치는 사람의 발을 포함하는 관절의 위치를 추정하고, 발로부터 높이가 증가하는 순서로 다른 관절의 위치를 추정할 수 있다. 위치 추정 장치는 인체 비례 또는 통계적인 신체 사이즈를 고려하여 다른 관절이 위치할 수 있는 위치를 추정하여 사람의 자세를 추정할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
　
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
200: 위치 추정 장치
210: 영상 수신부
220: 가상 공간 관리부
230: 위치 추정부
240: 거리 추정부
250: 메시지 전송부
260: 자세 추정부
270: 화면 관리부

Claims (19)

  1. 특정 공간을 카메라를 이용해 촬영한 영상을 수신하는 영상 수신부;
    상기 특정 공간을 디지털 트윈 기법을 이용하여 모사한 가상 공간을 생성하고 관리하는 가상 공간 관리부; 및
    상기 영상과 상기 가상 공간을 비교하여 상기 영상내에서 추출한 오브젝트들에 대응되는 상기 특정 공간 내에서의 사물의 위치를 추정하는 위치 추정부
    를 포함하는 위치 추정 장치.
  2. 제1항에 있어서
    상기 추정된 위치에 기반하여 상기 사물들간의 상기 특정 공간 내에서의 거리를 추정하는 거리 추정부
    를 더 포함하는 위치 추정 장치.
  3. 제2항에 있어서,
    상기 사물들은 상기 특정 공간상의 사람이고,
    상기 추정된 거리가 미리 결정된 거리 이내인 경우에, 상기 특정 공간상의 사람에 대해 경고 메시지를 전송하는 메시지 전송부
    를 더 포함하는 위치 추정 장치.
  4. 제1항에 있어서,
    상기 사물들은 상기 특정 공간상의 사람의 신체에 대응되고,
    상기 신체의 위치, 패턴 중 어느 하나에 기반하여 상기 사람의 자세를 추정하는 자세 추정부
    를 더 포함하는 위치 추정 장치.
  5. 제4항에 있어서, 상기 자세 추정부는,
    상기 사람의 발을 포함하는 관절의 위치를 추정하고,
    상기 발로부터 높이가 증가하는 순서로 다른 관절의 위치를 추정하고,
    인체 비례 또는 통계적인 신체 사이즈를 고려하여 상기 다른 관절이 위치할 수 있는 위치를 추정하여 상기 사람의 자세를 추정하는 위치 추정 장치.
  6. 제1항에 있어서,
    상기 가상 공간을 바라보는 가상 카메라의 위치는 상기 특정 공간 내에서 상기 카메라의 위치에 대응되도록 결정되는 위치 추정 장치.
  7. 제6항에 있어서,
    상기 특정 공간상의 복수의 특이점에 대응되는 상기 가상 공간상의 가상 특이점을 상기 가상 카메라로 촬영한 경우의 화각이 상기 영상에서 상기 특이점이 촬영된 화각과 일치하도록 상기 가상카메라의 화각이 결정되는 위치 추정 장치.
  8. 제7항에 있어서,
    상기 복수의 특이점을 중에서 제1 특이점이 상기 특정 공간을 촬영한 영상에 표시된 제1 영상 특이점과,
    상기 제1 특이점에 대응되는 상기 가상 공간상의 제1 가상 특이점이 상기 가상 카메라를 이용하여 상기 가상 공간을 촬영한 가상 영상에 표시된 제1 가상 영상 특이점이 일치하도록 상기 가상 영상을 회전하는 화면 관리부
    를 포함하는 위치 추정 장치.
  9. 제8항에 있어서, 상기 화면 관리부는
    상기 복수의 특이점들 중에서 제2 특이점이 상기 촬영한 영상에 표시된 제2 영상 특이점과,
    상기 제2 특이점에 대응되는 상기 가상 공간상의 제2 가상 특이점이 상기 가상 영상에 표시된 제2 가상 영상 특이점이 일치하도록 상기 회전된 가상 영상을 다시 회전하는 위치 추정 장치.
  10. 특정 공간을 카메라를 이용해 촬영한 영상을 수신하는 단계;
    상기 특정 공간을 디지털 트윈 기법을 이용하여 모사한 가상 공간을 생성하고 관리하는 단계; 및
    상기 영상과 상기 가상 공간을 비교하여 상기 영상내에서 추출한 오브젝트들에 대응되는 상기 특정 공간 내에서의 사물의 위치를 추정하는 단계
    를 포함하는 위치 추정 방법.
  11. 제10항에 있어서
    상기 추정된 위치에 기반하여 상기 사물들간의 상기 특정 공간 내에서의 거리를 추정하는 단계
    를 더 포함하는 위치 추정 방법.
  12. 제11항에 있어서,
    상기 사물들은 상기 특정 공간상의 사람이고,
    상기 추정된 거리가 미리 결정된 거리 이내인 경우에, 상기 특정 공간상의 사람에 대해 경고 메시지를 전송하는 단계
    를 더 포함하는 위치 추정 방법.
  13. 제10항에 있어서,
    상기 사물들은 상기 특정 공간상의 사람의 신체에 대응되고,
    상기 신체의 위치, 패턴 중 어느 하나에 기반하여 상기 사람의 자세를 추정하는 단계
    를 더 포함하는 위치 추정 방법.
  14. 제4항에 있어서, 상기 자세를 추정하는 단계는,
    상기 사람의 발을 포함하는 관절의 위치를 추정하고,
    상기 발로부터 높이가 증가하는 순서로 다른 관절의 위치를 추정하고,
    인체 비례 또는 통계적인 신체 사이즈를 고려하여 상기 다른 관절이 위치할 수 있는 위치를 추정하여 상기 사람의 자세를 추정하는 위치 추정 방법.
  15. 제10항에 있어서,
    상기 가상 공간을 바라보는 가상 카메라의 위치는 상기 특정 공간 내에서 상기 카메라의 위치에 대응되도록 결정되는 위치 추정 방법.
  16. 제15항에 있어서,
    상기 특정 공간상의 복수의 특이점에 대응되는 상기 가상 공간상의 가상 특이점을 상기 가상 카메라로 촬영한 경우의 화각이 상기 영상에서 상기 특이점이 촬영된 화각과 일치하도록 상기 가상카메라의 화각이 결정되는 위치 추정 방법.
  17. 제16항에 있어서,
    상기 복수의 특이점을 중에서 제1 특이점이 상기 특정 공간을 촬영한 영상에 표시된 제1 영상 특이점과,
    상기 제1 특이점에 대응되는 상기 가상 공간상의 제1 가상 특이점이 상기 가상 카메라를 이용하여 상기 가상 공간을 촬영한 가상 영상에 표시된 제1 가상 영상 특이점이 일치하도록 상기 가상 영상을 회전하는 단계
    를 포함하는 위치 추정 방법.
  18. 제17항에 있어서,
    상기 복수의 특이점들 중에서 제2 특이점이 상기 촬영한 영상에 표시된 제2 영상 특이점과,
    상기 제2 특이점에 대응되는 상기 가상 공간상의 제2 가상 특이점이 상기 가상 영상에 표시된 제2 가상 영상 특이점이 일치하도록 상기 회전된 가상 영상을 다시 회전하는 단계
    를 더 포함하는 위치 추정 방법.
  19. 제10항 내지 제18항 중에서 어느 하나의 항의 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
KR1020200172580A 2020-12-10 2020-12-10 Cctv 영상의 객체 정보와 3차원 공간 좌표를 매칭한 상황인지 기반 실시간 공간 지능 정보안내 시스템 및 그 방법 KR20220082567A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200172580A KR20220082567A (ko) 2020-12-10 2020-12-10 Cctv 영상의 객체 정보와 3차원 공간 좌표를 매칭한 상황인지 기반 실시간 공간 지능 정보안내 시스템 및 그 방법
US17/124,786 US11386579B2 (en) 2020-12-10 2020-12-17 Context-aware real-time spatial intelligence provision system and method using converted three-dimensional objects coordinates from a single video source of a surveillance camera
KR1020240046203A KR20240052734A (ko) 2020-12-10 2024-04-04 Cctv 영상의 객체 정보와 3차원 공간 좌표를 매칭한 상황인지 기반 실시간 공간 지능 정보안내 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200172580A KR20220082567A (ko) 2020-12-10 2020-12-10 Cctv 영상의 객체 정보와 3차원 공간 좌표를 매칭한 상황인지 기반 실시간 공간 지능 정보안내 시스템 및 그 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020240046203A Division KR20240052734A (ko) 2020-12-10 2024-04-04 Cctv 영상의 객체 정보와 3차원 공간 좌표를 매칭한 상황인지 기반 실시간 공간 지능 정보안내 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR20220082567A true KR20220082567A (ko) 2022-06-17

Family

ID=81942818

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020200172580A KR20220082567A (ko) 2020-12-10 2020-12-10 Cctv 영상의 객체 정보와 3차원 공간 좌표를 매칭한 상황인지 기반 실시간 공간 지능 정보안내 시스템 및 그 방법
KR1020240046203A KR20240052734A (ko) 2020-12-10 2024-04-04 Cctv 영상의 객체 정보와 3차원 공간 좌표를 매칭한 상황인지 기반 실시간 공간 지능 정보안내 시스템 및 그 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020240046203A KR20240052734A (ko) 2020-12-10 2024-04-04 Cctv 영상의 객체 정보와 3차원 공간 좌표를 매칭한 상황인지 기반 실시간 공간 지능 정보안내 시스템 및 그 방법

Country Status (2)

Country Link
US (1) US11386579B2 (ko)
KR (2) KR20220082567A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102664178B1 (ko) * 2024-02-07 2024-05-08 주식회사 유인프라웨이 디지털트윈 기반 영상 감시 방법
WO2024101874A1 (ko) * 2022-11-08 2024-05-16 주식회사 안지온 3d 가상현실 공간에 실시간 데이터를 3d 오브젝트로 변환하여 선택적으로 융합처리하기 위한 서비스를 지원하는 시스템 및 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11948257B2 (en) * 2022-05-09 2024-04-02 Rovi Guides, Inc. Systems and methods for augmented reality video generation

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201501510D0 (en) * 2015-01-29 2015-03-18 Apical Ltd System
US11030808B2 (en) * 2017-10-20 2021-06-08 Ptc Inc. Generating time-delayed augmented reality content
EP3891499A4 (en) * 2018-12-04 2022-08-17 Waygate Technologies USA, LP DIGITAL TWIN OF AN AUTOMATED NON-DESTRUCTIVE ULTRASOUND TESTING SYSTEM
US20210319229A1 (en) * 2020-04-09 2021-10-14 Sensormatic Electronics, LLC System and method for determining object distance and/or count in a video stream
US11615620B2 (en) * 2020-05-15 2023-03-28 Johnson Controls Tyco IP Holdings LLP Systems and methods of enforcing distancing rules
US20210390840A1 (en) * 2020-06-11 2021-12-16 3D Industries Limited Self-supervised social distance detector
US20210398691A1 (en) * 2020-06-22 2021-12-23 Honeywell International Inc. Methods and systems for reducing a risk of spread of disease among people in a space
US11107588B2 (en) * 2020-08-11 2021-08-31 Gal EHRLICH Methods and systems of prioritizing treatments, vaccination, testing and/or activities while protecting the privacy of individuals

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024101874A1 (ko) * 2022-11-08 2024-05-16 주식회사 안지온 3d 가상현실 공간에 실시간 데이터를 3d 오브젝트로 변환하여 선택적으로 융합처리하기 위한 서비스를 지원하는 시스템 및 방법
KR102664178B1 (ko) * 2024-02-07 2024-05-08 주식회사 유인프라웨이 디지털트윈 기반 영상 감시 방법

Also Published As

Publication number Publication date
US11386579B2 (en) 2022-07-12
US20220189058A1 (en) 2022-06-16
KR20240052734A (ko) 2024-04-23

Similar Documents

Publication Publication Date Title
KR20220082567A (ko) Cctv 영상의 객체 정보와 3차원 공간 좌표를 매칭한 상황인지 기반 실시간 공간 지능 정보안내 시스템 및 그 방법
US11776222B2 (en) Method for detecting objects and localizing a mobile computing device within an augmented reality experience
Seer et al. Kinects and human kinetics: A new approach for studying pedestrian behavior
US9196045B2 (en) Analysis of three-dimensional scenes
US9330470B2 (en) Method and system for modeling subjects from a depth map
US7825948B2 (en) 3D video conferencing
Boltes et al. Collecting pedestrian trajectories
JP6448223B2 (ja) 画像認識システム、画像認識装置、画像認識方法、およびコンピュータプログラム
AU2015203771B2 (en) A method and apparatus for surveillance
JP2013535896A (ja) 熱画像座標を用いた保安用カメラ追跡監視システム及び方法
CN113239797B (zh) 人体动作识别方法、装置及系统
CN110796032A (zh) 基于人体姿态评估的视频围栏及预警方法
CN112633096A (zh) 客流的监测方法、装置、电子设备及存储介质
JP3520050B2 (ja) 移動物体追跡装置
Seer et al. Kinects and human kinetics: a new approach for studying crowd behavior
JP2012155595A (ja) 対象物画像判定装置
CN115731343A (zh) 一种基于顶视图像分割的多人多视角3d重建方法
JP6548306B2 (ja) カメラの撮影画像に映る人物を追跡する画像解析装置、プログラム及び方法
KR101209598B1 (ko) 감시 시스템
Quinn et al. Visnet: A distributed vision testbed
Kwon et al. A feasibility study on indoor localization and multi-person tracking using sparsely distributed camera network with edge computing
Bahadori et al. Real-time tracking of multiple people through stereo vision
JP2023098770A (ja) 入退記録装置
Saveliev et al. Cyber-Physical System for Automated Service of Restaurant Visitors in Conditions of Mandatory Wearing of Masks
Waechter et al. Real-time monocular people tracking by sequential Monte-Carlo filtering

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X601 Decision of rejection after re-examination