KR102072796B1 - 관심 영역의 공간 좌표를 산출하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 - Google Patents

관심 영역의 공간 좌표를 산출하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 Download PDF

Info

Publication number
KR102072796B1
KR102072796B1 KR1020180056039A KR20180056039A KR102072796B1 KR 102072796 B1 KR102072796 B1 KR 102072796B1 KR 1020180056039 A KR1020180056039 A KR 1020180056039A KR 20180056039 A KR20180056039 A KR 20180056039A KR 102072796 B1 KR102072796 B1 KR 102072796B1
Authority
KR
South Korea
Prior art keywords
candidate
image
image module
target
location
Prior art date
Application number
KR1020180056039A
Other languages
English (en)
Other versions
KR20190131320A (ko
KR102072796B9 (ko
Inventor
김석중
정직한
Original Assignee
주식회사 브이터치
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 브이터치 filed Critical 주식회사 브이터치
Priority to KR1020180056039A priority Critical patent/KR102072796B1/ko
Priority to EP18919225.5A priority patent/EP3796258A4/en
Priority to JP2020564363A priority patent/JP7161550B2/ja
Priority to PCT/KR2018/010711 priority patent/WO2019221340A1/ko
Priority to CN201880094998.2A priority patent/CN112313706A/zh
Publication of KR20190131320A publication Critical patent/KR20190131320A/ko
Application granted granted Critical
Publication of KR102072796B1 publication Critical patent/KR102072796B1/ko
Priority to US17/097,300 priority patent/US11321867B2/en
Publication of KR102072796B9 publication Critical patent/KR102072796B9/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06K9/3233
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • G06K2009/6213
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/759Region-based matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 일 태양에 따르면, 관심 영역의 공간 좌표를 산출하는 방법으로서, 복수의 영상 모듈에 의하여 각각 촬영되는 복수의 이미지 내에 포함되는 관심 영역의 이미지 내 좌표에 관한 정보를 각각 획득하는 단계, 상기 복수의 영상 모듈 중 적어도 하나의 영상 모듈이 설치된 위치에 관한 정보 및 상기 적어도 하나의 영상 모듈에 의하여 촬영되는 이미지 내에 포함되는 타겟 관심 영역의 이미지 내 좌표에 관한 정보를 참조하여 기준 공간 상에서 상기 타겟 관심 영역이 존재할 위치를 포함하는 후보 도형을 특정하는 단계, 및 제1 영상 모듈에 대응하는 상기 타겟 관심 영역의 제1 후보 도형 및 제2 영상 모듈에 대응하는 상기 타겟 관심 영역의 제2 후보 도형 사이의 위치 관계를 참조하여 상기 기준 공간 상에서 상기 타겟 관심 영역이 존재하는 위치를 특정하는 단계를 포함하는 방법이 제공된다.

Description

관심 영역의 공간 좌표를 산출하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체{METHOD, SYSTEM AND NON-TRANSITORY COMPUTER-READABLE RECORDING MEDIUM FOR CALCULATING SPATIAL COORDINATES OF A REGION OF INTEREST}
본 발명은 관심 영역의 공간 좌표를 산출하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체에 관한 것이다.
근래에 들어, 증강 현실(AR: Augmented Reality)이나 가상 현실(VR: Virtual Reality)에 관한 관심이 높아지고 관련 기술 분야의 연구 개발이 활발하게 진행됨에 따라, 객체의 공간 좌표를 획득하는 다양한 기술들이 소개되고 있다.
이에 관한, 종래 기술의 일 예로서, 시간 지연 측정법(TOF; Time of Flight)을 이용하여 사용자 신체의 3차원 좌표를 측정하는 3차원 좌표 측정 장치가 소개된 바 있다.
하지만, 위와 같은 종래 기술을 비롯하여 지금까지 소개된 기술에 의하면, 객체의 공간 좌표를 획득하기 위하여, (1) 하나의 3차원 카메라를 이용하는 경우에, 객체가 존재하는 위치나 방향에 따라 해당 카메라에 의해 보이지 않는 영역이 발생할 수 있고, (2) 둘 이상의 3차원 카메라를 이용하는 경우에, 원하는 영역의 공간 좌표를 산출하기 위하여 원하는 영역의 좌표만을 전송 받는 것이 아니라, 각각의 카메라로부터 원하는 영역과 그 주변 영역을 포함하는 전체 이미지(또는, 그에 해당하는 전체 좌표)를 전송 받고, 그 전송 받은 이미지를 통합하여 모든 영역의 공간 좌표를 산출한 후에야 원하는 영역의 공간 좌표를 산출할 수 있었기 때문에, 과도한 리소스 및 많은 시간이 요구되는 문제가 있었다.
이에 본 발명자는, 복수의 영상 모듈에 의하여 촬영된 이미지에 포함된 관심 영역의 이미지 내 좌표에 관한 정보를 전송 받고, 그 전송 받은 정보를 이용하여 해당 관심 영역의 공간 좌표만을 선별적으로 산출할 수 있는 기술을 제안하는 바이다.
본 발명은, 전술한 종래 기술의 문제점을 모두 해결하는 것을 그 목적으로 한다.
또한, 본 발명은, 복수의 영상 모듈에 의하여 촬영된 이미지 자체를 획득하는 것이 아니라 그 이미지에 포함된 관심 영역의 이미지 내 좌표에 관한 정보만을 획득하여 해당 관심 영역의 기준 공간에서의 좌표를 산출하는 것을 또 다른 목적으로 한다.
또한, 본 발명은, 복수의 영상 모듈에 의하여 촬영된 이미지 자체를 획득하는 것이 아니라 그 이미지에 포함된 관심 영역의 이미지 내 좌표에 관한 정보만을 선별적으로 수집함으로써, 해킹 등으로 인한 프라이버시(privacy) 침해 문제의 발생을 차단하는 것을 또 다른 목적으로 한다.
또한, 본 발명은, 적은 리소스를 이용하여 관심 영역의 기준 공간에서의 좌표를 산출하는 것을 또 다른 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.
본 발명의 일 태양에 따르면, 관심 영역의 공간 좌표를 산출하는 방법으로서, 복수의 영상 모듈에 의하여 각각 촬영되는 복수의 이미지 내에 포함되는 관심 영역의 이미지 내 좌표에 관한 정보를 각각 획득하는 단계, 상기 복수의 영상 모듈 중 적어도 하나의 영상 모듈이 설치된 위치에 관한 정보 및 상기 적어도 하나의 영상 모듈에 의하여 촬영되는 이미지 내에 포함되는 타겟 관심 영역의 이미지 내 좌표에 관한 정보를 참조하여 기준 공간 상에서 상기 타겟 관심 영역이 존재할 위치를 포함하는 후보 도형을 특정하는 단계, 및 제1 영상 모듈에 대응하는 상기 타겟 관심 영역의 제1 후보 도형 및 제2 영상 모듈에 대응하는 상기 타겟 관심 영역의 제2 후보 도형 사이의 위치 관계를 참조하여 상기 기준 공간 상에서 상기 타겟 관심 영역이 존재하는 위치를 특정하는 단계를 포함하는 방법이 제공된다.
본 발명의 다른 태양에 따르면, 관심 영역의 공간 좌표를 산출하는 시스템으로서, 복수의 영상 모듈에 의하여 각각 촬영되는 복수의 이미지 내에 포함되는 관심 영역의 이미지 내 좌표에 관한 정보를 각각 획득하는 정보 획득부, 및 상기 복수의 영상 모듈 중 적어도 하나의 영상 모듈이 설치된 위치에 관한 정보 및 상기 적어도 하나의 영상 모듈에 의하여 촬영되는 이미지 내에 포함되는 타겟 관심 영역의 이미지 내 좌표에 관한 정보를 참조하여 기준 공간 상에서 상기 타겟 관심 영역이 존재할 위치를 포함하는 후보 도형을 특정하고, 제1 영상 모듈에 대응하는 상기 타겟 관심 영역의 제1 후보 도형 및 제2 영상 모듈에 대응하는 상기 타겟 관심 영역의 제2 후보 도형 사이의 위치 관계를 참조하여 상기 기준 공간 상에서 상기 타겟 관심 영역이 존재하는 위치를 특정하는 공간 좌표 산출부를 포함하는 시스템이 제공된다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 비일시성의 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명에 의하면, 복수의 영상 모듈에 의하여 촬영된 이미지 자체를 획득하는 것이 아니라 그 이미지에 포함된 관심 영역의 이미지 내 좌표에 관한 정보만을 획득하여 해당 관심 영역의 기준 공간에서의 좌표를 산출할 수 있게 된다.
본 발명에 의하면, 복수의 영상 모듈에 의하여 촬영된 이미지 자체를 획득하는 것이 아니라 그 이미지에 포함된 관심 영역의 이미지 내 좌표에 관한 정보만을 선별적으로 수집함으로써, 해킹 등으로 인한 프라이버시(privacy) 침해 문제의 발생을 차단할 수 있게 된다.
또한, 본 발명에 의하면, 적은 리소스를 이용하여 관심 영역의 기준 공간에서의 좌표를 산출할 수 있다.
도 1은 본 발명의 일 실시예에 따른 관심 영역의 공간 좌표를 산출하기 위한 전체 시스템의 개략적인 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 위치 산출 시스템의 내부 구성을 상세하게 도시하는 도면이다.
도 3은 본 발명의 일 실시예에 따른 기준 공간에서 타겟 관심 영역이 존재하는 위치가 특정되는 과정을 예시적으로 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따라 영상 모듈의 해상도를 고려하여 기준 공간에서 타겟 관심 영역이 존재하는 위치가 특정되는 과정을 예시적으로 나타내는 도면이다.
도 5 내지 도 9는 본 발명의 일 실시예에 따라 후보 도형 사이의 매칭 관계를 특정하는 과정을 예시적으로 나타내는 도면이다.
도 10은 본 발명의 일 실시예에 따라 복수의 영상 모듈 사이의 위치 관계를 특정하는 과정을 예시적으로 나타내는 도면이다.
도 11은 본 발명의 일 실시예에 따른 위치 산출 시스템에 의해 관심 영역의 공간 좌표가 산출되는 과정을 예시적으로 나타내는 도면이다.
도 12는 본 발명의 일 실시예에 따라 객체의 물리적인 수치에 관한 정보를 이용하여 복수의 영상 모듈의 위치를 특정하는 과정을 예시적으로 나타내는 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 바람직한 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
전체 시스템의 구성
도 1은 본 발명의 일 실시예에 따른 관심 영역의 공간 좌표를 산출하기 위한 전체 시스템의 개략적인 구성을 나타내는 도면이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 전체 시스템은 통신망(100), 위치 산출 시스템(200) 및 복수의 영상 모듈(300)을 포함하여 구성될 수 있다.
먼저, 본 발명의 일 실시예에 따른 통신망(100)은 유선 통신이나 무선 통신과 같은 통신 양태를 가리지 않고 구성될 수 있으며, 근거리 통신망(LAN; Local Area Network), 도시권 통신망(MAN; Metropolitan Area Network), 광역 통신망(WAN; Wide Area Network) 등 다양한 통신망으로 구성될 수 있다. 바람직하게는, 본 명세서에서 말하는 통신망(100)은 공지의 인터넷 또는 월드와이드웹(WWW; World Wide Web)일 수 있다. 그러나, 통신망(100)은, 굳이 이에 국한될 필요 없이, 공지의 유무선 데이터 통신망, 공지의 전화망 또는 공지의 유무선 텔레비전 통신망을 그 적어도 일부에 있어서 포함할 수도 있다.
예를 들면, 통신망(100)은 무선 데이터 통신망으로서, 무선주파수(RF; Radio Frequency) 통신, 와이파이(WiFi) 통신, 셀룰러(LTE 등) 통신, 블루투스 통신(더 구체적으로는, 저전력 블루투스(BLE; Bluetooth Low Energy)), 적외선 통신, 초음파 통신 등과 같은 종래의 통신 방법을 적어도 그 일부분에 있어서 구현하는 것일 수 있다.
다음으로, 본 발명의 일 실시예에 따른 위치 산출 시스템(200)은 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 디지털 디바이스일 수 있다. 이러한 위치 산출 시스템(200)은 서버 시스템일 수 있다.
본 발명의 일 실시예에 따르면, 위치 산출 시스템(200)은, 후술할 복수의 영상 모듈(300)에 의하여 각각 촬영되는 복수의 이미지 내에 포함되는 관심 영역의 이미지 내 좌표에 관한 정보를 각각 획득하고, 위의 복수의 영상 모듈(300) 중 적어도 하나의 영상 모듈이 설치된 위치에 관한 정보 및 적어도 하나의 영상 모듈에 의하여 촬영되는 이미지 내에 포함되는 타겟 관심 영역의 이미지 내 좌표에 관한 정보를 참조하여 기준 공간 상에서 타겟 관심 영역이 존재할 위치를 포함하는 후보 도형을 특정하고, 제1 영상 모듈(310)에 대응하는 타겟 관심 영역의 제1 후보 도형 및 제2 영상 모듈(320)에 대응하는 타겟 관심 영역의 제2 후보 도형 사이의 위치 관계를 참조하여 기준 공간 상에서 타겟 관심 영역이 존재하는 위치를 특정하는 기능을 수행할 수 있다.
본 발명의 일 실시예에 따른 기준 공간은, 관심 영역의 공간 좌표를 산출하기 위하여 본 발명에 따른 위치 산출 시스템(200)에서 기준으로 삼는 소정의 좌표계에서 정의되는 공간을 포함하는 개념일 수 있다.
본 발명에 따른 위치 산출 시스템(200)의 구성과 기능에 관하여는 아래에서 더 자세하게 알아보기로 한다. 한편, 위치 산출 시스템(200)에 관하여 위와 같이 설명되었으나, 이러한 설명은 예시적인 것이고, 위치 산출 시스템(200)에 요구되는 기능이나 구성요소의 적어도 일부가 필요에 따라 외부 시스템(미도시됨) 내에서 실현되거나 외부 시스템 내에 포함될 수도 있음은 당업자에게 자명하다.
다음으로, 본 발명의 일 실시예에 따른 복수의 영상 모듈(300)은 위치 산출 시스템(200)과 통신망(100)을 통하여 연결될 수 있으며, 복수의 영상 모듈(300)에 의하여 각각 촬영되는 복수의 이미지 내에 포함되는 적어도 하나의 관심 영역을 특정하고, 그 특정되는 관심 영역의 이미지 내 좌표에 관한 정보를 추출하는 기능을 수행할 수 있다.
예를 들면, 본 발명의 일 실시예에 따른 전술한 복수의 영상 모듈(300)에는, 카메라(2차원, 3차원 등 포함) 모듈, 이미지 또는 영상 센서 등이 포함될 수 있다.
위치 산출 시스템의 구성
이하에서는, 본 발명의 구현을 위하여 중요한 기능을 수행하는 위치 산출 시스템(200)의 내부 구성 및 각 구성요소의 기능에 대하여 살펴보기로 한다.
도 2는 본 발명의 일 실시예에 따른 위치 산출 시스템(200)의 내부 구성을 상세하게 도시하는 도면이다.
도 2에 도시된 바와 같이, 위치 산출 시스템(200)은, 정보 획득부(210), 공간 좌표 산출부(220), 통신부(230) 및 제어부(240)를 포함하여 구성될 수 있다. 본 발명의 일 실시예에 따르면, 정보 획득부(210), 공간 좌표 산출부(220), 통신부(230) 및 제어부(240)는 그 중 적어도 일부가 외부의 시스템과 통신하는 프로그램 모듈일 수 있다. 이러한 프로그램 모듈은 운영 시스템, 응용 프로그램 모듈 또는 기타 프로그램 모듈의 형태로 위치 산출 시스템(200)에 포함될 수 있고, 물리적으로는 여러 가지 공지의 기억 장치에 저장될 수 있다. 또한, 이러한 프로그램 모듈은 위치 산출 시스템(200)과 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.
먼저, 본 발명의 일 실시예에 따른 정보 획득부(210)는 복수의 영상 모듈(300)에 의하여 각각 촬영되는 복수의 이미지 내에 포함되는 관심 영역의 이미지 내 좌표에 관한 정보를 각각 획득하는 기능을 수행할 수 있다.
구체적으로, 본 발명의 일 실시예에 따른 복수의 영상 모듈(300) 각각은 복수의 이미지 내에서 관심 영역에 해당하는 이미지를 특정할 수 있으며 그 특정되는 관심 영역의 이미지 내 좌표에 관한 정보를 추출할 수 있고, 정보 획득부(210)는 위의 추출되는 관심 영역의 이미지 내 좌표에 관한 정보를 위의 복수의 영상 모듈(300) 각각으로부터 획득할 수 있다.
예를 들어, 본 발명의 일 실시예에 따르면, 복수의 카메라(300)에 의하여 각각 촬영되는 사용자의 복수의 신체 이미지 중 해당 사용자의 소정의 신체 부위(예를 들어, 손, 손 끝, 눈 등)에 관한 이미지가 관심 영역의 이미지로 특정될 수 있다. 또한, 본 발명의 일 실시예에 따르면, 위의 복수의 카메라(300) 각각은 위의 특정되는 관심 영역의 이미지 내 2차원 또는 3차원 좌표에 관한 정보를 추출할 수 있고, 정보 획득부(210)는 위의 추출되는 2차원 또는 3차원 좌표에 관한 정보를 위의 복수의 카메라(300) 각각으로부터 획득할 수 있다. 본 발명의 일 실시예에 따르면, 위의 관심 영역의 이미지 내 2차원 및 3차원 좌표에 관한 정보는, 위의 관심 영역의 이미지 내 픽셀(pixel) 및 복셀(voxel)에 관한 정보로부터 각각 획득되는 정보일 수 있다.
다음으로, 본 발명의 일 실시예에 따른 공간 좌표 산출부(220)는 복수의 영상 모듈(300) 중 적어도 하나의 영상 모듈이 설치된 위치에 관한 정보 및 적어도 하나의 영상 모듈에 의하여 촬영되는 이미지 내에 포함되는 타겟 관심 영역의 이미지 내 좌표에 관한 정보를 참조하여 기준 공간 상에서 타겟 관심 영역이 존재할 위치를 포함하는 후보 도형을 특정하는 기능을 수행할 수 있다. 본 발명의 일 실시예에 따른 타겟 관심 영역은, 각각의 영상 모듈에서 특정되는 복수의 관심 영역 중 적어도 하나의 관심 영역을 의미하거나, 복수의 영상 모듈(300)에 의하여 특정되는 복수의 관심 영역 중 적어도 일부의 영상 모듈에 의하여 특정되는 관심 영역을 포함하는 개념일 수 있다. 또한, 본 발명의 일 실시예에 따른 후보 도형은 점, 선(벡터를 포함함 수 있음), 면, 체 또는 이들의 집합을 의미하는 개념일 수 있다.
구체적으로, 본 발명의 일 실시예에 따른 공간 좌표 산출부(220)는 기준 공간 상에서의 적어도 하나의 영상 모듈이 설치된 위치를 기준으로 하여 타겟 관심 영역이 해당 기준 공간 상에서 존재할 위치를 포함하는 후보 도형을 특정할 수 있다.
보다 구체적으로, 본 발명의 일 실시예에 따른 공간 좌표 산출부(220)는 복수의 영상 모듈(300) 중 제1 영상 모듈(310) 및 제2 영상 모듈(320)이 2차원 영상 모듈인 경우에, 위의 제1 영상 모듈(310) 및 제2 영상 모듈(320) 각각에 대응하는 타겟 관심 영역이 기준 공간 상에서 존재할 위치를 포함하는 후보 도형을 벡터(vector)로 특정할 수 있다. 이 경우에, 본 발명의 일 실시예에 따르면, 이러한 벡터는 영상 모듈이 설치된 위치의 기준 공간 상에서의 좌표를 시점(또는 종점)으로 하고, 해당 영상 모듈이 설치된 위치의 기준 공간 상에서의 좌표를 기준으로 하여 해당 영상 모듈에 대응하는 타겟 관심 영역의 이미지 내 좌표를 기준 공간 상에서의 좌표로 변환시킨 좌표를 종점(또는 시점)으로 하여 설정될 수 있다. 또한, 본 발명의 일 실시예에 따른 공간 좌표 산출부(220)는 복수의 영상 모듈(300) 중 제1 영상 모듈(310) 및 제2 영상 모듈(320)이 3차원 영상 모듈인 경우에, 위의 제1 영상 모듈(310) 및 제2 영상 모듈(320)에 대응하는 타겟 관심 영역이 기준 공간 상에서 존재할 위치를 포함하는 후보 도형을 각각 공간 도형(예를 들어, 정육면체, 직육면체, 구체 등)으로 특정할 수 있다. 또한, 본 발명의 일 실시예에 따른 공간 좌표 산출부(220)는 복수의 영상 모듈(300) 중 제1 영상 모듈(310) 및 제2 영상 모듈(320)이 각각 3차원 영상 모듈 및 2차원 영상 모듈인 경우에, 위의 제1 영상 모듈(310) 및 제2 영상 모듈(320)에 대응하는 타겟 관심 영역이 기준 공간 상에서 존재할 위치를 포함하는 후보 도형을 각각 공간 도형 및 벡터로 특정할 수 있다.
또한, 본 발명의 일 실시예에 따른 공간 좌표 산출부(220)는 복수의 영상 모듈(300) 중 적어도 하나의 영상 모듈의 속성에 관한 정보를 더 참조하여 위의 후보 도형을 특정할 수 있다. 본 발명의 일 실시예에 따르면, 이러한 영상 모듈의 속성에 관한 정보에는, 영상 모듈의 해상도, 화각, 초점 거리, 3차원(3D) 지원 여부 등에 관한 정보가 포함될 수 있다.
예를 들어, 본 발명의 일 실시예에 따른 공간 좌표 산출부(220)는 복수의 영상 모듈(300) 중 적어도 하나의 영상 모듈의 화각, 초점 거리 등에 관한 정보를 참조하여, 위의 적어도 하나의 영상 모듈의 설치된 위치의 기준 공간 상의 좌표를 기준으로 위의 적어도 하나의 영상 모듈에 대응하는 타겟 관심 영역의 이미지 내 좌표를 기준 공간 상의 좌표로 각각 변환하기 위한 변환 각도(예를 들어, 회전각), 변환 위치 및 변환 형태(예를 들어, 영상 모듈(300)이 3차원 영상 모듈인 경우에 공간 도형, 영상 모듈(300)이 2차원 영상 모듈인 경우에 벡터) 중 적어도 하나에 관한 정보를 결정함으로써, 위의 적어도 하나의 영상 모듈에 대응하는 타겟 관심 영역이 기준 공간 상에서 존재할 위치 및 그 존재할 위치를 포함하는 후보 도형을 특정할 수 있게 된다.
한편, 본 발명의 일 실시예에 따른 공간 좌표 산출부(220)는 복수의 영상 모듈(300) 중 일부의 영상 모듈(예를 들어, 제3 영상 모듈)에서 타겟 관심 영역의 이미지 내 좌표에 관한 정보를 획득하기 어려운 것으로 판단되면(예를 들어, 사용자에 의해 관심 영역이 가려져 보이지 않는 경우), 복수의 영상 모듈(300) 중 위의 제3 영상 모듈을 제외한 다른 영상 모듈이 설치된 위치에 관한 정보 및 복수의 영상 모듈(300) 중 위의 제3 영상 모듈을 제외한 다른 영상 모듈에 의하여 촬영되는 이미지 내에 포함되는 타겟 관심 영역의 이미지 내 좌표에 관한 정보를 참조할 수 있다.
또한, 본 발명의 일 실시예에 따른 공간 좌표 산출부(220)는 제1 영상 모듈(310)에 대응하는 타겟 관심 영역의 제1 후보 도형 및 제2 영상 모듈(320)에 대응하는 타겟 관심 영역의 제2 후보 도형 사이의 위치 관계를 참조하여 기준 공간 상에서 타겟 관심 영역이 존재하는 위치를 특정하는 기능을 수행할 수 있다.
예를 들어, 본 발명의 일 실시예에 따른 제1 영상 모듈(310) 및 제2 영상 모듈(320)이 2차원 영상 모듈인 경우에, 제1 영상 모듈(310) 및 제2 영상 모듈(320)의 후보 도형은 벡터로 특정될 수 있고, 공간 좌표 산출부(220)는 위의 제1 영상 모듈(310)에 대응하는 타겟 관심 영역의 제1 벡터 및 위의 제2 영상 모듈(320)에 대응하는 타겟 관심 영역의 제2 벡터 사이의 교차 지점을 기준 공간 상에서 타겟 관심 영역이 존재하는 위치로서 특정할 수 있다. 한편, 본 발명의 일 실시예에 따르면, 위의 제1 벡터 및 제2 벡터가 교차되지 않는 경우에는, 위의 제1 벡터 및 제2 벡터 사이의 최단거리 연결선의 중점이 기준 공간 상에서 타겟 관심 영역이 존재하는 위치로서 특정될 수 있다.
다른 예를 들어, 본 발명의 일 실시예에 따른 제1 영상 모듈(310) 및 제2 영상 모듈(320)이 3차원 영상 모듈인 경우에, 후보 도형은 공간 도형으로 특정될 수 있고, 공간 좌표 산출부(220)는 위의 제1 영상 모듈(310)에 대응하는 타겟 관심 영역의 제1 공간 도형 및 위의 제2 영상 모듈(320)에 대응하는 타겟 관심 영역의 제2 공간 도형 사이의 교차 영역을 기준 공간 상에서 타겟 관심 영역이 존재하는 위치로서 특정할 수 있다. 보다 구체적으로는, 본 발명의 일 실시예에 따르면, 위의 제1 공간 도형 및 위의 제2 공간 도형이 서로 완전히 교차하는(즉, 겹치는) 경우에, 제1 공간 도형 또는 제2 공간 도형의 평균 좌표가 기준 공간 상에서 타겟 관심 영역이 존재하는 위치로서 특정될 수 있고, 위의 제1 공간 도형 및 위의 제2 공간 도형의 일부 영역만이 서로 교차하는 경우에는 제1 공간 도형의 평균 좌표 및 제2 공간 도형의 평균 좌표를 연결하는 연결선의 중점이 기준 공간 상에서 타겟 관심 영역이 존재하는 위치로서 특정될 수 있다.
또 다른 예를 들어, 도 3을 참조하면, 본 발명의 일 실시예에 따른 제1 영상 모듈(310) 및 제2 영상 모듈(320)이 각각 3차원 영상 모듈 및 2차원 영상 모듈인 경우에, 후보 도형은 각각 공간 도형(331, 332, 333) 및 벡터(341, 342, 343)로 특정될 수 있고, 공간 좌표 산출부(220)는 위의 제1 영상 모듈(310)에 대응하는 타겟 관심 영역의 제3 공간 도형(331, 332, 333) 및 위의 제2 영상 모듈(320)에 대응하는 타겟 관심 영역의 제3 벡터(341, 342, 343) 사이의 교차 지점을 기준 공간 상에서 타겟 관심 영역이 존재하는 위치로 특정할 수 있다. 보다 구체적으로는, 본 발명의 일 실시예에 따르면, 위의 제3 벡터(341) 및 위의 제3 공간 도형(331)의 평균 좌표 사이의 최단거리 연결선의 중점이 기준 공간 상에서 타겟 관심 영역이 존재하는 위치로 특정될 수 있다.
한편, 본 발명의 일 실시예에 따른 공간 좌표 산출부(220)는 영상 모듈의 속성에 관한 정보 중 해상도에 관한 정보를 더 참조하여 기준 공간 상에서 타겟 관심 영역이 존재하는 위치를 특정할 수 있다.
구체적으로, 본 발명의 일 실시예에 따른 공간 좌표 산출부(220)는 영상 모듈의 해상도에 따라 타겟 관심 영역이 기준 공간 상에서 존재할 위치를 나타내는 후보 도형의 면적 또는 체적을 적응적으로 설정할 수 있게 된다.
예를 들어, 도 4를 참조하면, 본 발명의 일 실시예에 따른 공간 좌표 산출부(220)는 3차원 영상 모듈인 제1 영상 모듈(310)의 해상도에 관한 정보를 참조하여 제1 영상 모듈(310)의 복수의 타겟 관심 영역의 이미지 내 좌표에 대응하여 기준 공간 상에서 각각 제1 정육면체(401), 제2 정육면체(402) 및 제3 정육면체(403)으로 설정할 수 있고, 제1 영상 모듈(310)의 해상도가 낮을수록 위의 정육면체(즉, 제1 정육면체(401), 제2 정육면체(402) 및 제3 정육면체(403))의 체적이 커지도록 할 수 있다.
다른 예를 들면, 본 발명의 일 실시예에 따른 공간 좌표 산출부(220)는 2차원 영상 모듈인 제2 영상 모듈(320)의 해상도에 관한 정보를 참조하여 제2 영상 모듈(320)의 복수의 타겟 관심 영역의 이미지 내 좌표에 대응하여 기준 공간 상에서 각각 제1 사각형(411), 제2 사각형(421) 및 제3 사각형(431)으로 설정할 수 있고, 제2 영상 모듈(320)의 해상도가 낮을수록 위의 사각형의 면적이 커지도록 할 수 있다. 또한, 이 경우에, 본 발명의 일 실시예에 따르면, 공간 좌표 산출부(220)는 앞서 살펴본 제2 영상 모듈(310)에 대응하는 타겟 관심 영역의 벡터를 대신하여 기준 공간 상에서 제2 영상 모듈(310)이 설치된 위치와 기준 공간 상에서 타겟 관심 영역의 이미지 내 좌표에 대응하는 사각형을 연결하는 사각뿔(즉, 제1 사각뿔, 제2 사각뿔 및 제3 사각뿔)을 이용함으로써, 기준 공간 상에서 타겟 관심 영역이 존재하는 위치를 특정할 수 있다.
한편, 본 발명에 따른 타겟 관심 영역의 이미지 내 좌표에 대응하여 기준 공간 상에서 설정될 수 있는 면의 형태가 앞서 열거한 사각형으로 한정되지 않고 본 발명의 목적을 달성할 수 있는 범위 내에서 원, 삼각형, 오각형 등으로 다양하게 변경될 수 있고, 본 발명에 따른 타겟 관심 영역의 이미지 내 좌표에 대응하여 기준 공간 상에서 설정될 수 있는 체적의 형태가 앞서 열거한 정육면체로 한정되지 않고, 직육면체, 구체, 타원체 등으로 다양하게 변경될 수 있다.
또한, 본 발명의 일 실시예에 따른 공간 좌표 산출부(220)는, 제2 영상 모듈(320, 또는 제1 영상 모듈(310))의 적어도 하나의 후보 도형 중 제1 영상 모듈(310, 또는 제2 영상 모듈(320))의 제1 후보 도형과 앞서 살펴본 위치 관계가 매칭될 후보 도형을 특정할 수 있다.
예를 들어, 도 5를 참조하면, 본 발명의 일 실시예에 따른 복수의 영상 모듈(300) 중 적어도 하나의 영상 모듈은 프레임 단위로 서로 동기화될 수 있고, 공간 좌표 산출부(220)는 제1 영상 모듈(310) 및 제2 영상 모듈(320) 사이에 동기화되는 프레임 단위에 기초하여, 제2 영상 모듈(320, 또는 제1 영상 모듈(310))의 적어도 하나의 후보 도형(521, 522, 523) 중 제1 영상 모듈(310, 또는 제2 영상 모듈(320))의 제1 후보 도형(511)과 위치 관계가 매칭될 후보 도형(521)을 특정할 수 있다.
다른 예를 들어, 도 6을 참조하면, 본 발명의 일 실시예에 따른 정보 획득부(210)에 의해 획득되는 관심 영역의 이미지 내 좌표에 관한 정보에는 영상 모듈 사이 또는 타겟 관심 영역 사이에 서로 구별될 수 있는 식별 정보(601, 602, 603, 604, 605, 611, 612, 613, 614, 615)가 포함될 수 있고, 공간 좌표 산출부(220)는 위의 식별 정보(601, 602, 603, 604, 605, 611, 612, 613, 614, 615)를 참조하여 제2 영상 모듈(320, 또는 제1 영상 모듈(310))의 적어도 하나의 후보 도형(611, 612, 613, 614, 615) 중 제1 영상 모듈(310, 또는 제2 영상 모듈(320))의 제1 후보 도형(601)과 위치 관계가 매칭될 후보 도형(611)을 특정할 수 있다. 또한, 본 발명의 일 실시예에 따른 식별 정보는 관심 영역의 이미지 내에서 특정되는 형상, 색상, 온도, 패턴 및 마커(예를 들어, 이모지(emoji), QR 코드 등) 중 적어도 하나에 관한 정보를 포함할 수 있다.
또 다른 예를 들어, 본 발명의 일 실시예에 따르면, 제1 영상 모듈(310)의 후보 도형 및 제2 영상 모듈(320)의 후보 도형이 서로 일대일 매칭이 되지 않는 경우에(예를 들어, 제1 영상 모듈(310)의 후보 도형의 수와 제2 영상 모듈(320)의 후보 도형의 수가 서로 다른 경우 또는 다대다 관계인 경우 등), 공간 좌표 산출부(220)는 제1 영상 모듈(310)의 후보 도형 및 제2 영상 모듈(320)의 후보 도형 중에서 상호 그룹핑될 수 있는 후보 도형을 특정함으로써, 제2 영상 모듈(320, 또는 제1 영상 모듈(310))의 적어도 하나의 후보 도형 중 제1 영상 모듈(310, 또는 제2 영상 모듈(320))의 제1 후보 도형과 위치 관계가 매칭될 후보 도형을 특정할 수 있다.
예를 들어, 도 7 내지 도 9를 참조하면, 본 발명의 일 실시예에 따른 공간 좌표 산출부(220)는 제1 영상 모듈(310) 및 제2 영상 모듈(320)의 후보 도형(즉, 이 경우에, 벡터 또는 공간 도형) 사이의 상호 매칭 관계가 일대일 관계가 되지 않는 경우에, 그 일대일 관계 매칭이 되지 않는 벡터 또는 공간 도형과 소정 거리 이내에 있는 벡터 또는 공간 도형을 그룹핑하여 상호 매칭되도록 할 수 있다.
또한, 본 발명의 일 실시예에 따른 공간 좌표 산출부(220)는 적어도 셋 이상의 타겟 관심 영역에 대응되는 좌표를 참조하여 복수의 영상 모듈(300)의 위치 관계에 관한 정보를 특정할 수 있다. 본 발명의 일 실시예에 따르면, 이러한 위치 관계에 관한 정보는 복수의 영상 모듈(300) 간에 이루는 각도, 복수의 영상 모듈(300)이 기준 공간 상에서 기울어진 각도, 복수의 영상 모듈(300)의 촬상 방향 등에 관한 정보를 포함할 수 있다.
구체적으로, 본 발명의 일 실시예에 따른 공간 좌표 산출부(220)는 복수의 영상 모듈(300) 각각에서 적어도 셋 이상의 타겟 관심 영역의 이미지 내 좌표에 관한 정보가 획득되면, 복수의 영상 모듈(300)에 대응하는 타겟 관심 영역의 후보 도형 사이의 적어도 셋 이상의 교차 지점(또는 교차 영역)을 참조하여 복수의 영상 모듈(300)의 위치 관계에 관한 정보를 특정할 수 있다.
예를 들어, 도 10을 참조하면, 본 발명의 일 실시예에 따른 제1 영상 모듈(310)과 제2 영상 모듈(320) 각각에서 3개의 타겟 관심 영역의 이미지 내 좌표가 각각 제1 내지 제3 좌표(1001, 1002, 1003)와 제4 내지 제6 좌표(1004, 1005, 1006)이고, 제1 영상 모듈(310) 및 제2 영상 모듈(320)이 2차원 영상 모듈인 경우에, 기준 공간 상에서 제1 영상 모듈(310)에 대응하는 타겟 관심 영역의 제1 벡터(1011), 제2 벡터(1012) 및 제3 벡터(1013)와 제2 영상 모듈(320) 에 대응하는 타겟 관심 영역의 제4 벡터(1021), 제5 벡터(1022) 및 제6 벡터(1023)가 교차하는 세 지점을 특정할 수 있고, 그 세 지점에 기초하여, 제1 영상 모듈(310)과 제2 영상 모듈(320) 사이의 위치 관계를 특정할 수 있다.
다른 예를 들어, 본 발명의 일 실시예에 따르면, 제1 영상 모듈(310)과 제2 영상 모듈(320) 각각에서 3개의 타겟 관심 영역의 이미지 내 좌표가 각각 제7 내지 제9 좌표와 제10 내지 제12 좌표이고, 제1 영상 모듈(310) 및 제2 영상 모듈(320)이 3차원 영상 모듈인 경우에, 기준 공간 상에서 제1 영상 모듈(310)에 대응하는 타겟 관심 영역의 제1 공간 도형, 제2 공간 도형 및 제3 공간 도형과 제2 영상 모듈(320)에 대응하는 타겟 관심 영역의 제4 공간 도형, 제5 공간 도형 및 제6 공간 도형이 교차하는 세 영역을 특정할 수 있고, 그 세 영역에 기초하여, 제1 영상 모듈(310)과 제2 영상 모듈(320) 사이의 위치 관계를 특정할 수 있다.
또 다른 예를 들어, 본 발명의 일 실시예에 따르면, 제1 영상 모듈(310)과 제2 영상 모듈(320) 각각에서 3개의 타겟 관심 영역의 이미지 내 좌표가 각각 제13 내지 제15 좌표와 제16 내지 제18 좌표이고, 제1 영상 모듈(310) 및 제2 영상 모듈(320)이 각각 2차원 영상 모듈 및 3차원 영상 모듈인 경우에, 기준 공간 상에서 제1 영상 모듈(310)에 대응하는 타겟 관심 영역의 제7 벡터, 제8 벡터 및 제9 벡터와 제2 영상 모듈(320)에 대응하는 타겟 관심 영역의 제7 공간 도형, 제8 공간 도형 및 제9 공간 도형이 교차하는 세 지점을 특정할 수 있고, 그 세 지점에 기초하여, 제1 영상 모듈(310)과 제2 영상 모듈(320) 사이의 위치 관계를 특정할 수 있다.
다음으로, 본 발명의 일 실시예에 따른 통신부(230)는 정보 획득부(210) 및 공간 좌표 산출부(220)로부터의/로의 데이터 송수신이 가능하도록 하는 기능을 수행할 수 있다.
마지막으로, 본 발명의 일 실시예에 따른 제어부(240)는 정보 획득부(210), 공간 좌표 산출부(220) 및 통신부(230) 간의 데이터의 흐름을 제어하는 기능을 수행할 수 있다. 즉, 본 발명에 따른 제어부(240)는 위치 산출 시스템(200)의 외부로부터의/로의 데이터 흐름 또는 위치 산출 시스템(200)의 각 구성요소 간의 데이터 흐름을 제어함으로써, 정보 획득부(210), 공간 좌표 산출부(220) 및 통신부(230)에서 각각 고유 기능을 수행하도록 제어할 수 있다.
도 11은 본 발명의 일 실시예에 따른 위치 산출 시스템(200)에 의해 관심 영역의 공간 좌표가 산출되는 과정을 예시적으로 나타내는 도면이다.
본 발명의 일 실시예에 따르면, 2차원 영상 모듈인 제1 영상 모듈(310) 및 제2 영상 모듈(320)에 의하여 관심 영역의 공간 좌표가 산출되는 경우를 가정해 볼 수 있다. 또한, 이 경우에, 본 발명의 일 실시예에 따른 관심 영역은 사용자의 총구(1130)일 수 있다.
먼저, 본 발명의 일 실시예에 따르면, 제1 영상 모듈(310) 및 제2 영상 모듈(320)에 의하여 각각 촬영되는 복수의 이미지 내에 포함되는 관심 영역(1130)의 이미지 내 좌표(1110, 1120)에 관한 정보가 각각 획득될 수 있다. 즉, 본 발명의 일 실시예에 따르면, 위치 산출 시스템(200)은 제1 영상 모듈(310) 및 제2 영상 모듈(320)에 의하여 촬영되는 이미지 자체를 획득하는 것이 아니라 그 이미지에 포함된 관심 영역의 이미지 내 좌표에 관한 정보를 획득하게 된다.
그 다음에, 본 발명의 일 실시예에 따르면, 제1 영상 모듈(310)와 제2 영상 모듈(320)이 설치된 위치에 관한 정보 및 제1 영상 모듈(310)와 제2 영상 모듈(320)에 의하여 촬영되는 이미지 내에 포함되는 타겟 관심 영역(1130)의 이미지 내 좌표(1110, 1120)에 관한 정보에 기초하여 기준 공간 상에서 타겟 관심 영역(1130)이 존재할 위치를 포함하는 벡터(1140, 1150)가 특정될 수 있다. 즉, 본 발명의 일 실시예에 따르면, 기준 공간 상에서의 제1 영상 모듈(310)에 대응하는 타겟 관심 영역(1130)의 제1 벡터(1140)와 기준 공간 상에서의 제2 영상 모듈(320)에 대응하는 타겟 관심 영역(1130)의 제2 벡터(1150)가 각각 특정될 수 있다.
그 다음에, 본 발명의 일 실시예에 따르면, 위의 제1 벡터(1140) 및 위의 제2 벡터(1150) 사이의 교차 지점(1160)이 기준 공간 상에서의 타겟 관심 영역(1130)이 존재하는 위치로 특정될 수 있다.
그 다음에, 본 발명의 일 실시예에 따르면, 위치 산출 시스템(200)은 기준 공간 상에서 위의 특정되는 위치에 대응되는 좌표(1160)를 본 발명에 따른 관심 영역(1130)의 공간 좌표로서 산출할 수 있다.
도 12는 본 발명의 일 실시예에 따라 객체의 물리적인 수치에 관한 정보를 이용하여 복수의 영상 모듈(300)의 위치를 특정하는 과정을 예시적으로 나타내는 도면이다.
본 발명의 일 실시예에 따른 위치 산출 시스템(200)은, 객체의 실세계에서의 물리적인 수치에 관한 정보(예를 들어, 객체의 길이, 크기, 면적 및 부피)를 참조하여 기준 공간 상에서의 복수의 영상 모듈(300)이 설치된 위치의 좌표를 특정할 수 있다.
예를 들어, 도 12를 참조하면, 본 발명의 일 실시예에 따른 위치 산출 시스템(200)은 객체(1250)가 사각형의 형태인 경우에, 위의 객체(1250)의 코너 지점 각각을 타겟 관심 영역으로 설정하여 그 타겟 관심 영역의 이미지 내 좌표(1201, 1202, 1203, 1204, 1205, 1206, 1207, 1208)에 관한 정보를 획득하고, 그 획득된 좌표(1201, 1202, 1203, 1204, 1205, 1206, 1207, 1208)에 관한 정보와 위의 객체(1250)의 실세계에서의 물리적인 수치에 관한 정보(예를 들어, 가로, 세로, 높이 및 각도)와 비교하여 분석함으로써, 기준 공간에서의 제1 영상 모듈(310) 및 제2 영상 모듈(320)이 설치된 위치의 좌표를 특정할 수 있다. 한편, 본 발명의 일 실시예에 따르면, 위치 산출 시스템(200)은 기준 공간에서의 제1 영상 모듈(310) 및 제2 영상 모듈(320)이 설치된 위치의 좌표를 특정하기 위하여 객체(1250)의 각 코너 지점의 기준 공간에서의 좌표에 관한 정보를 더 참조할 수 있다.
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.
100: 통신망
200: 위치 산출 시스템
210: 정보 획득부
220: 공간 좌표 산출부
230: 통신부
240: 제어부
300: 복수의 영상 모듈

Claims (14)

  1. 관심 영역의 공간 좌표를 산출하는 방법으로서,
    복수의 영상 모듈에 의하여 각각 촬영되는 복수의 이미지 내에 포함되는 관심 영역의 이미지 내 좌표에 관한 정보를 각각 획득하는 단계,
    상기 복수의 영상 모듈 중 적어도 하나의 영상 모듈이 설치된 위치에 관한 정보 및 상기 적어도 하나의 영상 모듈에 의하여 촬영되는 이미지 내에 포함되는 타겟 관심 영역의 이미지 내 좌표에 관한 정보를 참조하여 기준 공간 상에서 상기 타겟 관심 영역이 존재할 위치를 포함하는 후보 도형을 특정하는 단계, 및
    제1 영상 모듈에 대응하는 상기 타겟 관심 영역의 제1 후보 도형 및 제2 영상 모듈에 대응하는 상기 타겟 관심 영역의 제2 후보 도형 사이의 위치 관계를 참조하여 상기 기준 공간 상에서 상기 타겟 관심 영역이 존재하는 위치를 특정하는 단계를 포함하고,
    상기 위치 특정 단계에서, 상기 기준 공간 상에서 특정되는 상기 제1 후보 도형 및 상기 제2 후보 도형이 교차되는지 여부를 참조하여 상기 기준 공간 상에서 상기 타겟 관심 영역이 존재하는 위치를 특정하고,
    상기 위치 특정 단계에서, 상기 기준 공간 상에서 특정되는 상기 제1 후보 도형 및 상기 제2 후보 도형이 교차되는 경우에는, 상기 제1 후보 도형 및 상기 제2 후보 도형이 교차되는 지점 및 영역 중 적어도 하나에 기초하여 상기 기준 공간 상에서 상기 타겟 관심 영역이 존재하는 위치를 특정하고,
    상기 위치 특정 단계에서, 상기 기준 공간 상에서 특정되는 상기 제1 후보 도형 및 상기 제2 후보 도형이 교차되지 않는 경우에는, 상기 제1 후보 도형 및 상기 제2 후보 도형을 연결하는 연결선에 기초하여 상기 기준 공간 상에서 상기 타겟 관심 영역이 존재하는 위치를 특정하고,
    상기 제1 영상 모듈 및 상기 제2 영상 모듈의 해상도에 따라 상기 기준 공간 상에서 특정되는 상기 제1 후보 도형 및 상기 제2 후보 도형의 면적 또는 체적이 적응적으로 결정되는
    방법.
  2. 제1항에 있어서,
    상기 후보 도형을 특정하는 단계에서, 상기 적어도 하나의 영상 모듈의 속성을 더 참조하여 상기 후보 도형을 특정하는
    방법.
  3. 제1항에 있어서,
    상기 제1 영상 모듈 및 상기 제2 영상 모듈이 2차원 영상 모듈인 경우에, 상기 후보 도형은 벡터로 특정되는
    방법.
  4. 제3항에 있어서,
    상기 타겟 관심 영역이 존재하는 위치는, 상기 제1 영상 모듈에 대응하는 상기 타겟 관심 영역의 제1 벡터 및 상기 제2 영상 모듈에 대응하는 상기 타겟 관심 영역의 제2 벡터 사이의 교차 지점으로 특정되는
    방법.
  5. 제1항에 있어서,
    상기 제1 영상 모듈 및 상기 제2 영상 모듈이 3차원 영상 모듈인 경우에, 상기 후보 도형은 공간 도형으로 특정되는
    방법.
  6. 제5항에 있어서,
    상기 타겟 관심 영역이 존재하는 위치는, 상기 제1 영상 모듈에 대응하는 상기 타겟 관심 영역의 제1 공간 도형 및 상기 제2 영상 모듈에 대응하는 상기 타겟 관심 영역의 제2 공간 도형 사이의 교차 영역으로 특정되는
    방법.
  7. 제1항에 있어서,
    상기 제1 영상 모듈 및 상기 제2 영상 모듈이 각각 3차원 영상 모듈 및 2차원 영상 모듈인 경우에, 상기 후보 도형은 각각 공간 도형 및 벡터로 특정되는
    방법.
  8. 제7항에 있어서,
    상기 타겟 관심 영역이 존재하는 위치는, 상기 제1 영상 모듈에 대응하는 상기 타겟 관심 영역의 공간 도형 및 상기 제2 영상 모듈에 대응하는 상기 타겟 관심 영역의 벡터 사이의 교차 지점으로 특정되는
    방법.
  9. 제1항에 있어서,
    적어도 셋 이상의 타겟 관심 영역의 이미지 내 좌표에 관한 정보를 참조하여 상기 복수의 영상 모듈 사이의 위치 관계에 관한 정보가 특정되는
    방법.
  10. 제1항에 있어서,
    상기 제1 영상 모듈의 제1 후보 도형 및 상기 제2 영상 모듈의 제2 후보 도형은, 상기 제1 영상 모듈 및 상기 제2 영상 모듈 사이에 동기화되는 프레임 단위에 기초하여 서로 매칭되는
    방법.
  11. 제1항에 있어서,
    상기 타겟 관심 영역의 이미지 내 좌표에 관한 정보에는 복수의 상기 타겟 관심 영역 사이에 구별될 수 있는 식별 정보가 포함되고, 상기 제1 영상 모듈의 제1 후보 도형 및 상기 제2 영상 모듈의 제2 후보 도형은, 상기 식별 정보에 기초하여 서로 매칭되는
    방법.
  12. 제1항에 있어서,
    상기 제1 영상 모듈의 제1 후보 도형 및 상기 제2 영상 모듈의 제2 후보 도형이 일대일 매칭이 되지 않는 경우에, 상기 제1 영상 모듈의 제1 후보 도형 및 상기 제2 영상 모듈의 제2 후보 도형 중 그룹핑될 수 있는 후보 도형을 특정하여 서로 매칭되는
    방법.
  13. 제1항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 비일시성의 컴퓨터 판독 가능 기록 매체.
  14. 관심 영역의 공간 좌표를 산출하는 시스템으로서,
    복수의 영상 모듈에 의하여 각각 촬영되는 복수의 이미지 내에 포함되는 관심 영역의 이미지 내 좌표에 관한 정보를 각각 획득하는 정보 획득부, 및
    상기 복수의 영상 모듈 중 적어도 하나의 영상 모듈이 설치된 위치에 관한 정보 및 상기 적어도 하나의 영상 모듈에 의하여 촬영되는 이미지 내에 포함되는 타겟 관심 영역의 이미지 내 좌표에 관한 정보를 참조하여 기준 공간 상에서 상기 타겟 관심 영역이 존재할 위치를 포함하는 후보 도형을 특정하고, 제1 영상 모듈에 대응하는 상기 타겟 관심 영역의 제1 후보 도형 및 제2 영상 모듈에 대응하는 상기 타겟 관심 영역의 제2 후보 도형 사이의 위치 관계를 참조하여 상기 기준 공간 상에서 상기 타겟 관심 영역이 존재하는 위치를 특정하는 공간 좌표 산출부를 포함하고,
    상기 공간 좌표 산출부에서, 상기 기준 공간 상에서 특정되는 상기 제1 후보 도형 및 상기 제2 후보 도형이 교차되는지 여부를 참조하여 상기 기준 공간 상에서 상기 타겟 관심 영역이 존재하는 위치를 특정하고,
    상기 공간 좌표 산출부에서, 상기 기준 공간 상에서 특정되는 상기 제1 후보 도형 및 상기 제2 후보 도형이 교차되는 경우에는, 상기 제1 후보 도형 및 상기 제2 후보 도형이 교차되는 지점 및 영역 중 적어도 하나에 기초하여 상기 기준 공간 상에서 상기 타겟 관심 영역이 존재하는 위치를 특정하고,
    상기 공간 좌표 산출부에서, 상기 기준 공간 상에서 특정되는 상기 제1 후보 도형 및 상기 제2 후보 도형이 교차되지 않는 경우에는, 상기 제1 후보 도형 및 상기 제2 후보 도형을 연결하는 연결선에 기초하여 상기 기준 공간 상에서 상기 타겟 관심 영역이 존재하는 위치를 특정하고,
    상기 제1 영상 모듈 및 상기 제2 영상 모듈의 해상도에 따라 상기 기준 공간 상에서 특정되는 상기 제1 후보 도형 및 상기 제2 후보 도형의 면적 또는 체적이 적응적으로 결정되는
    시스템.
KR1020180056039A 2018-05-16 2018-05-16 관심 영역의 공간 좌표를 산출하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 KR102072796B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020180056039A KR102072796B1 (ko) 2018-05-16 2018-05-16 관심 영역의 공간 좌표를 산출하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
EP18919225.5A EP3796258A4 (en) 2018-05-16 2018-09-12 METHOD AND SYSTEM FOR CALCULATION OF SPATIAL COORDINATES OF A REGION OF INTEREST AND NON-TRANSITORY COMPUTER-READABLE RECORDING MEDIA
JP2020564363A JP7161550B2 (ja) 2018-05-16 2018-09-12 関心領域の空間座標を算出する方法、システムおよび非一過性のコンピュータ読み取り可能記録媒体
PCT/KR2018/010711 WO2019221340A1 (ko) 2018-05-16 2018-09-12 관심 영역의 공간 좌표를 산출하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
CN201880094998.2A CN112313706A (zh) 2018-05-16 2018-09-12 用于计算感兴趣区域的空间坐标点的方法和系统,以及非暂时性计算机可读记录介质
US17/097,300 US11321867B2 (en) 2018-05-16 2020-11-13 Method and system for calculating spatial coordinates of region of interest, and non-transitory computer-readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180056039A KR102072796B1 (ko) 2018-05-16 2018-05-16 관심 영역의 공간 좌표를 산출하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체

Publications (3)

Publication Number Publication Date
KR20190131320A KR20190131320A (ko) 2019-11-26
KR102072796B1 true KR102072796B1 (ko) 2020-02-03
KR102072796B9 KR102072796B9 (ko) 2021-10-27

Family

ID=68540534

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180056039A KR102072796B1 (ko) 2018-05-16 2018-05-16 관심 영역의 공간 좌표를 산출하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체

Country Status (6)

Country Link
US (1) US11321867B2 (ko)
EP (1) EP3796258A4 (ko)
JP (1) JP7161550B2 (ko)
KR (1) KR102072796B1 (ko)
CN (1) CN112313706A (ko)
WO (1) WO2019221340A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102409398B1 (ko) 2020-09-15 2022-06-15 김학민 입체도형을 이용한 삼차원 공간 위치 좌표화 방법
CN113591852B (zh) * 2021-08-09 2022-08-23 数坤(北京)网络科技股份有限公司 感兴趣区域标记的方法和装置
CN113947758B (zh) * 2021-12-16 2022-04-29 北京凯泰铭科技文化发展有限公司 一种基于景区棋盘划分的海绵体系的大数据方法和系统
CN114677429B (zh) * 2022-05-27 2022-08-30 深圳广成创新技术有限公司 一种机械手的定位方法、装置、计算机设备和存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100836740B1 (ko) * 2006-08-28 2008-06-10 계명대학교 산학협력단 영상 데이터 처리 방법 및 그에 따른 시스템
KR101285360B1 (ko) * 2007-01-25 2013-07-11 삼성전자주식회사 증강현실을 이용한 관심 지점 표시 장치 및 방법
KR101681538B1 (ko) * 2010-10-20 2016-12-01 삼성전자주식회사 영상 처리 장치 및 방법
US9188973B2 (en) * 2011-07-08 2015-11-17 Restoration Robotics, Inc. Calibration and transformation of a camera system's coordinate system
KR101533319B1 (ko) * 2014-02-22 2015-07-03 주식회사 브이터치 카메라 중심의 가상터치를 이용한 원격 조작 장치 및 방법
KR101712925B1 (ko) * 2015-04-09 2017-03-07 한국항공대학교산학협력단 영상과 위치정보를 연계한 데이터베이스를 구축하는 방법, 상기 데이터베이스를 활용하여 측위하는 방법, 및 상기 방법들을 수행하는 전자 장치
KR20180016889A (ko) * 2016-08-08 2018-02-20 한화테크윈 주식회사 영상 처리 장치 및 영상 처리 방법

Also Published As

Publication number Publication date
US20210065397A1 (en) 2021-03-04
WO2019221340A1 (ko) 2019-11-21
EP3796258A1 (en) 2021-03-24
JP2021523488A (ja) 2021-09-02
JP7161550B2 (ja) 2022-10-26
EP3796258A4 (en) 2022-02-23
KR20190131320A (ko) 2019-11-26
KR102072796B9 (ko) 2021-10-27
CN112313706A (zh) 2021-02-02
US11321867B2 (en) 2022-05-03

Similar Documents

Publication Publication Date Title
KR102072796B1 (ko) 관심 영역의 공간 좌표를 산출하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
US10740975B2 (en) Mobile augmented reality system
US9558557B2 (en) Online reference generation and tracking for multi-user augmented reality
KR102468897B1 (ko) 깊이 값을 추정하는 방법 및 장치
KR102398478B1 (ko) 전자 디바이스 상에서의 환경 맵핑을 위한 피쳐 데이터 관리
WO2019127518A1 (zh) 避障方法、装置及可移动平台
KR102197615B1 (ko) 증강 현실 서비스를 제공하는 방법 및 증강 현실 서비스를 제공하기 위한 서버
CN110544278B (zh) 刚体运动捕捉方法及装置、agv位姿捕捉系统
CN109902675B (zh) 物体的位姿获取方法、场景重构的方法和装置
US11665332B2 (en) Information processing apparatus, control method thereof and storage medium
Yeh et al. 3D reconstruction and visual SLAM of indoor scenes for augmented reality application
US11227407B2 (en) Systems and methods for augmented reality applications
JP2019106145A (ja) 3次元モデルの生成装置、生成方法及びプログラム
CN111105351A (zh) 一种视频序列影像拼接方法及装置
US11080884B2 (en) Point tracking using a trained network
KR102310958B1 (ko) 광시야각의 스테레오 카메라 장치 및 이를 이용한 깊이 영상 처리 방법
JP2019106170A (ja) 3次元モデルの生成装置、生成方法及びプログラム
Nakagawa et al. Relative panoramic camera position estimation for image-based virtual reality networks in indoor environments
KR102483388B1 (ko) 전방위 이미지 처리 방법 및 이를 수행하는 서버
JP2024501368A (ja) 3次元位置を決定するための方法およびシステム
Yamamoto Pan-zoom Motion Capture in Wide Scenes using Panoramic Background.
ChangrongPeng et al. INTELLIGENT OVERLAY ALGORITHM OF TOPOGRAPHIC LANDSCAPE BASED ON WIRELESS COMMUNICATION TECHNOLOGY AND FEATURE FUSION
Mattoccia et al. A Real Time 3D Sensor for Smart Cameras
Lemaire et al. High precision object geo-localization and visualization in sensor networks
CN116051628A (zh) 一种无人机定位方法、装置、电子设备以及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]