KR102028319B1 - 연관 영상 제공장치 및 방법 - Google Patents

연관 영상 제공장치 및 방법 Download PDF

Info

Publication number
KR102028319B1
KR102028319B1 KR1020180162996A KR20180162996A KR102028319B1 KR 102028319 B1 KR102028319 B1 KR 102028319B1 KR 1020180162996 A KR1020180162996 A KR 1020180162996A KR 20180162996 A KR20180162996 A KR 20180162996A KR 102028319 B1 KR102028319 B1 KR 102028319B1
Authority
KR
South Korea
Prior art keywords
image
coordinate value
candidate
images
candidate image
Prior art date
Application number
KR1020180162996A
Other languages
English (en)
Inventor
성길영
김대영
권철희
Original Assignee
엘아이지넥스원 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘아이지넥스원 주식회사 filed Critical 엘아이지넥스원 주식회사
Priority to KR1020180162996A priority Critical patent/KR102028319B1/ko
Application granted granted Critical
Publication of KR102028319B1 publication Critical patent/KR102028319B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/787—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location

Abstract

본 발명의 실시예에 따른 연관 영상 제공장치는, 영상을 입력 받는 입력부, 상기 입력되는 영상들과, 상기 영상들 각각의 환경에 대한 정보인 참조 정보를 저장하는 환경 연관 데이터베이스, 상기 입력되는 영상들 중 연관 영상을 찾고자 하는 타겟 영상의 전부 또는 일부를 포함하는 관심 영역에 대응되는 적어도 하나의 후보 영상을 상기 환경 연관 데이터베이스에서 탐색하는 후보 영상 탐색부 및 상기 탐색된 후보 영상과 상기 타겟 영상간의 유사도를 미리 결정된 기준에 따라 계산하고, 상기 계산된 유사도에 따라 상기 관심 영역과 관련이 높은 연관 영상을 결정하는 연관 영상 결정부를 포함할 수 있다.

Description

연관 영상 제공장치 및 방법 {Apparatus and method for providing image associated with region of interest}
본 발명은 관심영역의 후보 영상을 제공하는 제공장치 및 방법에 관한 것이다.
원격의 통제 시스템에서 실시간으로 무인이동체의 EO-IR(electroopic-infrared) 및 SAR(Synthetic Aperture Radar) 등의 영상 센서를 통해 획득된 영상과 상태정보를 스트리밍 받아, 운용자에게 확인하기를 원하는 지역의 영상을 제공하는 시스템이 개발되고 있다.
원격의 통제 시스템에서 수신 받은 영상들은 원격 통제 시스템 또는 무인이동체에 직접 저장되어 일정 기간 동안 파일시스템 및 데이터베이스를 이용하여 유지될 수 있다. 무인이동체를 통해 수집한 동영상, 정지영상 등의 데이터는 무인이동체의 운용이 종료 된 후, 사후 분석 단계에서 사용될 수 있다.
이러한 종래의 시스템의 경우, 무인시스템의 운용이 끝난 후의 사후분석 단계에서 과거 영상과 운용 중 수집된 영상의 차이점을 비교하는 것은 가능하지만 무인시스템 운용 중 비교를 실시간으로 분석하기 어렵다는 단점이 있다.
즉, 종래에는 사후분석 단계에서도 비교군 영상을 일일이 확인해야했기 때문에 종래의 시스템은 시간이 오래 걸리고, 비교를 위해 최적의 영상을 찾기 어렵다는 단점이 있다.
한국 등록 특허 제10-12647633호 (등록)
상기 전술한 종래의 문제점을 해결하기 위한 본 발명의 실시예에 따른 연관 영상 제공장치 및 방법은, 사후 분석 단계는 물론이고, 실시간으로 운용하는 단계인 실시간 스트리밍 단계에서 현재 재생중인 영상의 촬영지역 정보, 무인이동체 위치정보 등의 참조정보를 이용하여 유사한 과거 데이터를 검색하고 운용자에게 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 실시예에 따른 연관 영상 제공장치는, 영상을 입력 받는 입력부, 상기 입력되는 영상들과, 상기 영상들 각각의 환경에 대한 정보인 참조 정보를 저장하는 환경 연관 데이터베이스, 상기 입력되는 영상들 중 연관 영상을 찾고자 하는 타겟 영상의 전부 또는 일부를 포함하는 관심 영역에 대응되는 적어도 하나의 후보 영상을 상기 환경 연관 데이터베이스에서 탐색하는 후보 영상 탐색부 및 상기 탐색된 후보 영상과 상기 타겟 영상간의 유사도를 미리 결정된 기준에 따라 계산하고, 상기 계산된 유사도에 따라 상기 관심 영역과 관련이 높은 연관 영상을 결정하는 연관 영상 결정부를 포함할 수 있다.
또한, 상기 참조 정보는, ⅰ) 상기 영상을 획득한 외부의 센서의 위치, 자세, 시야각(FOV) 및 픽셀에 대한 정보를 포함하는 상태정보; ⅱ) 상기 각 영상이 획득된 시점에 따른 시각정보; 및 ⅲ) 상기 영상의 크기를 정의할 수 있는 기준지점들 각각에 따른 제1 기준좌표값들 및 상기 제1 기준좌표값들을 이용하여 산출되는 제1 특징좌표값을 포함하는 공간정보;를 더 포함하고, 상기 환경 연관 데이터베이스는, 상기 각 영상과, 상기 각 영상에 따른 상기 참조 정보를 튜플(tuple) 데이터로 저장할 수 있다.
또한, 상기 연관 영상 결정부는, 상기 관심영역의 크기를 정의할 수 있는 기준지점들의 제2 기준좌표값들 및 상기 제2 기준좌표값들을 이용하여 제2 특징좌표값을 산출하고, 상기 산출된 제2 특징좌표값과 상기 환경 연관 데이터베이스에 저장된 상기 각 후보 영상의 특징좌표값인 제1 특징좌표값을 이용하여 유사도를 판단함에 따라, 복수개의 상기 후보 영상들을 유사도가 높은 순서대로 정렬할 수 있다.
또한, 상기 후보 영상 탐색부는, 상기 연관 영상을 탐색하기 위해, 상기 관심영역의 꼭짓점들의 좌표값으로 정의되는 제2 기준좌표값들을 이용하여 상기 관심영역보다 크거나 같은 제1 바운딩 박스를 생성하고, 상기 환경 연관 데이터베이스에 저장된 각 영상의 꼭짓점들의 좌표값으로 정의되는 제1 기준좌표값들을 이용하여 상기 각 영상보다 크거나 같은 제2 바운딩 박스를 생성할 수 있다.
또한, 상기 후보 영상 탐색부는, 상기 제1 바운딩 박스를 구성하는 점들에 따른 제1 좌표값 그룹에서 가장 큰 가로축 좌표 값과 상기 제2 바운딩 박스를 구성하는 점들에 따른 제2 좌표값 그룹에서 가장 큰 가로축 좌표 값을 비교한 결과, 상기 제1 좌표값 그룹 중 가장 큰 가로축 좌표 값이 상기 제2 좌표값 그룹 중 가장 큰 가로축 좌표 값보다 작은 경우, 상기 제1 좌표값 그룹 중 가장 작은 가로축 좌표 값이, 상기 제2 좌표값 그룹 중 가장 큰 가로축 좌표 값보다 크거나, 상기 제2 좌표값 그룹 중 가장 작은 가로축 좌표 값이, 상기 제1 좌표값 그룹 중 가장 큰 가로축 좌표 값보다 크면, 상기 제2 바운딩 박스에 상응하는 영상은, 상기 관심영역의 적어도 일 영역과 중복되지 않는 것으로 판단함에 따라 상기 후보 영상으로 결정하지 아니하고 필터링할 수 있다.
또한, 상기 제1 기준좌표값들은, 상기 영상의 꼭짓점(vertex)들의 좌표값들이고, 상기 제2 기준좌표값들은, 상기 관심영역의 꼭짓점들의 좌표값들이며, 상기 제1 특징좌표값은, 상기 제1 기준좌표값들을 이용한 무게중심을 계산함에 따라 산출되는 무게중심 좌표 값이고, 상기 제2 특징좌표값은, 상기 제2 기준좌표값들을 이용한 무게중심을 계산함에 따라 산출되는 무게중심 좌표 값일 수 있다.
또한, 상기 연관 영상 결정부는, 상기 제2 특징좌표값과 상기 후보 영상들 각각에 따른 상기 제1 특징좌표값을 이용하여 유클리디안 거리를 산출하고, 상기 산출된 유클리디안 거리를 고려하여 유사도를 판단할 수 있다.
또한, 상기 전시부는, 상기 연관 영상 결정부에 의해 유사도가 높은 순서로 정렬된 후보 영상들을 화면에 순차적으로 전시할 수 있다.
또한, 상기 후보 영상 탐색부로부터 탐색된 복수의 후보 영상들 저장하는 후보 영상 저장부를 더 포함할 수 있다.
상술한 목적을 달성하기 위한 본 발명의 또 다른 일 실시예에 따른 연관 영상 제공방법은, 입력부가, 영상을 입력 받는 단계, 환경 연관 데이터베이스가, 상기 입력되는 영상들과, 상기 영상들 각각의 환경에 대한 정보인 참조 정보를 저장하는 단계, 후보 영상 탐색부가, 상기 입력되는 영상들 중 연관 영상을 찾고자 하는 타겟 영상의 전부 또는 일부를 포함하는 관심 영역에 대응되는 적어도 하나의 후보 영상을 상기 환경 연관 데이터베이스에서 탐색하는 단계 및 연관 영상 결정부가, 상기 탐색된 후보 영상과 상기 타겟 영상간의 유사도를 미리 결정된 기준에 따라 계산하고, 상기 계산된 유사도에 따라 상기 관심 영역과 관련이 높은 연관 영상을 결정하는 단계를 포함할 수 있다.
또한, 참조 정보는, ⅰ) 상기 영상을 획득한 외부의 센서의 위치, 자세, 시야각(FOV) 및 픽셀에 대한 정보를 포함하는 상태정보; ⅱ) 상기 각 영상이 획득된 시점에 따른 시각정보; 및 ⅲ) 상기 영상의 크기를 정의할 수 있는 기준지점들 각각에 따른 제1 기준좌표값들 및 상기 제1 기준좌표값들을 이용하여 산출되는 제1 특징좌표값을 포함하는 공간정보;를 더 포함하고, 상기 환경 연관 데이터베이스는, 상기 각 영상과, 상기 각 영상에 따른 상기 참조 정보를 튜플(tuple) 데이터로 저장할 수 있다.
또한, 상기 연관 영상 결정부가 상기 관심 영역과 관련이 높은 연관 영상을 결정하는 단계는, 상기 관심영역의 크기를 정의할 수 있는 기준지점들의 제2 기준좌표값들 및 상기 제2 기준좌표값들을 이용하여 제2 특징좌표값을 산출하고, 상기 산출된 제2 특징좌표값과 상기 환경 연관 데이터베이스에 저장된 상기 각 후보 영상의 특징좌표값인 제1 특징좌표값을 이용하여 유사도를 판단함에 따라, 복수개의 상기 후보 영상들을 유사도가 높은 순서대로 정렬하는 단계를 더 포함할 수 있다.
또한, 본 발명의 또 다른 목적을 달성하기 위하여, 본 발명의 연관 영상 제공방법이 컴퓨터에서 수행하기 위한 컴퓨터에서 판독 가능한 프로그램이 기록된 저장 매체를 제공한다
본 발명의 실시예에 따른 연관 영상 제공장치 및 방법은, 무인이동체의 EO-IR, SAR 센서를 통해 공간에 대한 차이 비교가 실시간으로 가능하여, 실시간 감시/정찰뿐만 아니라, 임무 사후의 영상 비교 분야에서도 응용 가능하다.
또한, 실시간으로 촬영하고 있는 지역에 대한 좌표 정보를 해당 이미지와 함께 기록하여, 사후 영상이 촬영하고 있는 지역에 대한 정보를 확인할 수 있다.
또한, 이에 따라 특정 지역에 대해서 실시간으로 영상을 확인하는 경우, 특정지역과 유사도가 높은 과거 영상을 시간 순에 따라 추출하여 사용자에게 제공하며 실시간으로 현재의 영상과 과거의 영상을 비교하여 차이점을 보다 편리하고, 용이하게 발견할 수 있는 이점이 있다.
도1은 본 발명의 일 실시예에 따른 연관 영상 제공장치(10)의 구성을 개략적으로 도시한 블록도이다.
도2는 본 발명의 일 실시예에 따른 튜플 데이터에 포함된 정보들의 구성을 개략적으로 도시한 도면이다.
도3은 본 발명의 일 실시예에 따른 촬영영역이 입력부(100)에 입력된 영상 및 영상의 공간정보에 대하여 설명하기 위해 도시한 도면이다.
도4는 본 발명의 일 실시예에 따른 환경 연관 데이터베이스(200)를 도시한 도면이다.
도5는 본 발명의 일 실시예에 따른 후보 영상 탐색 방법을 설명하기 위해 도시한 참고도이다.
도6은 본 발명의 일 실시예에 따른 후보 영상 탐색 방법을 설명하기 위해 도시한 참고도이다.
도7은 본 발명의 일 실시예에 따른 관심영역과 탐색된 후보 영상간 유사도 판단 방법을 설명하기 위해 도시한 참고도이다.
도8은 본 발명의 실시예에 따른 전시부(600)를 통해 운용자에게 후보 영상(연관 영상)들이 전시되는 상태를 예시한 예시도이다.
도9는 본 발명의 일 실시예에 따른 관심영역의 연관 영상을 제공하는 방법을 시간의 흐름에 따라 개략적으로 도시한 흐름도이다.
도10은 도9의 S91 내지 S93의 세부 동작단계를 개략적으로 도시한 세부도이다.
도11은 도9의 S93 내지 S95의 세부 동작단계를 개략적으로 도시한 세부도이다.
도12는 도9의 S95 내지 S96의 세부 동작단계를 도시한 흐름도이다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계 없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.
또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.
최근, EO-IR, SAR 등의 영상 센서를 통해 스트리밍 되는 센서의 영상을 수신하고 원격지에서 실시간으로 스트리밍 받아 운용자에게 영상을 제공하는 무인비행기나 드론과 같은 시스템이 개발되고 있다. 영상센서를 통해 수신 받은 데이터는 운용자가 원격에서 이동체를 통제하는 원격 통제 시스템 또는 무인이동체에 컴퓨터의 파일 또는 데이터베이스에 저장되고 시간에 따른 변화탐지 등의 분석에 사용된다.
본 발명은 사후 분석 단계에서 과거 데이터를 분석하여 차이를 비교하는 것을 포함하여 운용단계인 실시간 스트리밍 단계에서 현재 재생중인 영상의 촬영지역 정보, 무인이동체의 위치정보 등의 참조정보를 이용하여 유사한 과거 데이터를 검색하고 사용자에게 제시하는 연관 영상 제공장치를 제공한다. 이하에서는 본 발명의 실시예에 따른 연관 영상 제공장치의 구성을 관련된 도면을 참조하여 상세히 설명한다.
도1은 본 발명의 일 실시예에 따른 연관 영상 제공장치(10)의 구성을 개략적으로 도시한 블록도이다. 도1을 참조하면, 본 발명의 실시예에 따른 연관 영상 제공장치(10)는 입력부(100), 환경 연관 데이터베이스(DB)(200), 후보 영상 탐색부(300), 후보 영상 저장부(400), 연관 영상 결정부(500) 및 전시부(600)를 포함하여 구성될 수 있다.
본 발명의 실시예에 따른 입력부(100)는 외부의 영상 획득장치(미도시)로부터 획득된 영상을 입력 받는다.
예컨대, 입력부(100)가 입력 받는 영상을 획득하는 상기 영상 획득장치는 드론과 같은 무인이동체에 탑재된 상태로 이동하며 복수 또는 단수의 촬영 영역을 계속해서 촬영함에 따라 영상을 획득할 수 있으며, 영상 획득장치는 예를 들어, EO-IR(Electroopic-Infrared) 카메라 또는 합성 개구 레이더(Synthetic Aperture Radar) 또는 CCD 카메라(charge-coupled device camera)로 구현될 수 있다. 본 발명의 또 다른 실시예에 따른 연관 영상 제공장치(10)는 상기 영상 획득장치를 포함하여 구성될 수도 있다.
예컨대, 상기 영상 획득장치가 EO-IR 또는 CCD 카메라인 경우 영상에 표현되는 픽셀좌표와 카메라를 움직이는 김발(Gimbal)의 자세, 위치 정보와 카메라의 물리적 특성(해상도, PixelPitch, FOV, Focal Length 등)을 이용하여, 특정 픽셀에 상응하는 위경도 좌표계 등의 지리좌표계(Geographic coordinate system)으로 변환하여 촬영영역을 획득할 수 있으며 사각형의 4점으로 표현될 수 있다. 합성 개구 레이더인 경우에는 영상 코너 픽셀에 해당하는 지리좌표를 레이더로부터 직접 획득 할 수 있다.
그리고, 본 발명의 실시예에 따른 환경 연관 데이터베이스(200)는 도2에 도시된 바와 같은, 영상 획득장치에서 획득된 영상(이미지 프레임), 상기 영상들 각각에 대한 정보로, 상태정보, 시각정보 및 공간정보를 포함하는 참조 정보를 저장할 수 있다.
여기서, 상태정보는 영상을 구성하는 복수개의 영상들 각각이 획득된 시점에서의 영상 획득장치의 위치 또는 자세에 대한 정보 및 영상 획득장치(센서)의 지향 방향에 대한 정보를 포함할 수 있고, 시각정보는 상기 각 영상이 획득된 시각에 대한 타임 스탬프(time stamp)를 포함할 수 있다. 구체적으로, 상기 영상 획득장치의 상태정보는, 영상 획득장치의 자세 정보 시야각(FOV) 정보 및 화소(pixel) 정보를 포함할 수 있다.
이때, 환경 연관 데이터베이스(200)에 저장되는 영상 및 참조정보는 튜플(tuple) 데이터로 저장될 수 있다.
도3은 본 발명의 일 실시예에 따른 촬영영역이 영상 획득장치에 의해 획득된 영상 및 영상의 공간정보에 대하여 설명하기 위해 도시한 도면이다.
본 발명의 실시예에 따른 참조정보에 포함되는 영상의 공간정보는, 영상의 크기 및 촬영영역의 크기를 정의할 수 있는 기준지점들의 영상 기준좌표값(이하, 제2 기준좌표값)들 및 상기 제2 기준좌표값들을 이용하여 산출되는 영상 특징좌표값(이하, 제2 특징좌표값)에 대한 정보를 포함한다.
여기서, 제2 기준좌표값이란 도3에 도시된 바와 같이 영상 획득장치(ⓢ)에 의해 획득된 영상의 각 꼭지점(vertex)에 따른 좌표값들일 수 있다. 즉, 도3과 같은 영상의 기준지점들에 따른 제2 기준좌표값들은, A(x, y, z), B(x, y, z), C(x, y, z), D(x, y, z)가 된다.
또한, 제2 특징좌표값이란 해당 영상의 무게중심점에 따른 좌표값일 수 있고, 도3의 경우, 해당 영상의 무게중심점에 따른 제2 특징좌표값은 E(x, y, z)가 된다. 보다 구체적으로는, 본 발명의 특징좌표값은 선분 AD와 선분 BC의 교점인 지점(E지점)을 구하여, E지점의 좌표값을 산출함에 따라 알 수 있다.
이때, 본 발명의 환경 연관 데이터베이스(200)는 상술한 바와 같은 영상의 공간정보를 산출하기 위해서, 좌표계 변환을 통해 촬영영역의 각 지점을 도3과 같은 지리 좌표계로 변환하여 산출할 수 있다.
도4는 본 발명의 일 실시예에 따른 환경 연관 데이터베이스(200)를 도시한 도면이다. 본 발명의 실시예에 따른 환경 연관 데이터베이스(200)는 도4에 도시된 바와 같이, 영상 획득장치에 의해 획득된 영상과 상기 각 영상에 대한 참조정보를 포함하는 복수개의 튜플 데이터들을 저장하고 있을 수 있다.
다시 도1을 참조하면, 본 발명의 실시예에 따른 후보 영상 탐색부(300)는 환경 연관 데이터베이스(200)에 저장된 복수개의 튜플 데이터들에 따른 영상들 중 획득된 영상에서 분석하고자 하는 관심영역의 적어도 일 영역과 중복되는 영역을 포함하는 후보 영상을 탐색하여 추출할 수 있다.
여기서, 관심영역이란 영상 획득부(100)에 의해 실시간으로 획득됨에 따라, 전시부(600)에 전시되고 있는 영상의 영상들 중 하나의 영상에 속하는 영역에서 운용자가 분석하고자 하는 영역으로 일부 또는 전체를 선택함에 따라 결정되는 영역일 수 있다.
일 실시예에 따른 관심영역이 선택되는 방법은, 운용자가 전시부(600)에 전시되는 영상에 다 지점을 선택함에 따라 원형 또는 다각형으로 적어도 일부 영역으로 선택될 수도 있고, 또 다른 예로는, 선택영역의 크기를 미리 설정해두고, 운용자의 단 한번의 클릭으로 영상의 전체 영역 중 적어도 일부 영역이 선택되도록 구현될 수도 있다. 또한, 전시부(600)는 터치 인터페이스로 마련될 수 있어, 상술한 바와 같은 관심영역을 선택하는 과정은 운용자의 터치에 의해 이루어질 수도 있다.
이하, 도5 내지 도6을 참고하여 후보 영상 탐색부(300)가 환경 연관 데이터베이스(200)에 저장된 영상들 중 상기 관심영역과 관련이 있다고 예측하는 적어도 하나의 후보 영상을 탐색하는 방법에 대하여 구체적으로 설명한다.
도5 내지 도6은 본 발명의 일 실시예에 따른 후보 영상 탐색 방법을 설명하기 위해 도시한 참고도이다.
먼저, 도5를 참고하면, 본 발명의 실시예에 따른 후보 영상 탐색부(300)는, 도5의 좌측도면에 도시된 바와 같이, 관심영역의 꼭짓점(A, B, C, D)들의 좌표값으로 정의되는 제1 기준좌표값들(x1, y1), (x2, y2), (x3, y3), (x4, y4)을 이용하여 관심영역보다 크거나 같은 제1 바운딩 박스(EFGH)를 생성한다. 여기서, 제1 바운딩 박스의 각 꼭짓점의 좌표값은 아래 <수학식1>과 같이 결정될 수 있다.
Figure 112018126419938-pat00001
Figure 112018126419938-pat00002
Figure 112018126419938-pat00003
Figure 112018126419938-pat00004
Figure 112018126419938-pat00005
또한, 후보 영상 탐색부는 도5의 우측도면에 도시된 바와 같이, 환경 연관 데이터베이스(200)에 저장된 각 튜플 데이터에 따른 영상의 꼭짓점(A', B', C', D')의 좌표값으로 정의되는 제2 기준좌표값들(x'1, y'1), (x'2, y'2), (x'3, y'3), (x'4, y'4)을 이용하여 각 영상보다 크거나 같은 제2 바운딩 박스(E', F', G', H')를 생성한다. 여기서, 제2 바운딩 박스의 각 꼭짓점의 좌표값은 아래 <수학식2>와 같이 결정될 수 있다.
Figure 112018126419938-pat00006
Figure 112018126419938-pat00007
Figure 112018126419938-pat00008
Figure 112018126419938-pat00009
Figure 112018126419938-pat00010
그리고, 본 발명의 실시예에 따른 연관 영상 결정부(500)는 운용자로부터 선택된 관심영역의 꼭지점인 기준지점의 제1 기준좌표값들 및 상기 제1 기준좌표값들을 이용하여 관심영역의 무게중심지점의 좌표인 제1 특징좌표값을 산출할 수 있다.
연관 영상 결정부(500)는 산출된 제1 특징좌표값과, 후보 영상 저장부(400)에 저장된 복수개의 후보 영상 각각의 특징좌표값인 각 제2 특징좌표값을 이용하여 유사도를 판단함에 따라, 후보 영상 저장부(400)에 저장된 후보 영상들을 유사도가 높은 순서로 정렬시킬 수 있다.
그 후에, 본 발명의 실시예에 따른 후보 영상 탐색부(300)는, 제1 바운딩 박스(EFGH)와 제2 바운딩 박스(E'F'G'H')가 상호간 중복영역이 있는지 여부를 판단한다.
후보 영상 탐색부(300)는 생성된 제1 바운딩 박스와 제2 바운딩 박스를 비교하여 도6에 도시된 바와 같은, 좌측 박스(Left box)에 위치할 바운딩 박스와 우측 박스(Right box)에 위치할 바운딩 박스를 결정할 수 있다. 상기와 같은 좌/우측 박스에 위치할 바운딩 박스를 결정하는 방법은 아래 <수학식3>과 같다.
Figure 112018126419938-pat00011
이렇게, 도6에 도시된 바와 같은 좌측 박스와 우측 박스에 각각의 바운딩 박스가 지정되면, 후보 영상 탐색부(300)는 아래 <표1>을 통해 제1 바운딩 박스와 제2 바운딩 박스가 서로 중복되는 중복영역이 있는지 여부를 판단할 수 있다.
IF (L1.x>R2.x OR L2.x>R1.x) 중복영역 없음
ELSE IF (L1.y<R2.y OR L2.y<R1.y) 중복영역 없음
ELSE 중복영역 있음
상기 후보 영상 탐색부(300)의 판단 결과, 제1 바운딩 박스와 제2 바운딩 박스가 중복영역이 있는 것으로 판단되면, 해당 제2 바운딩 박스에 상응하는 영상을 후보 영상으로 결정함에 따라 추출할 수 있다.
본 발명의 실시예에 따른 후보 영상 저장부(400)는 후보 영상 탐색부(300)에 의해 추출된 복수의 영상들을 후보 영상으로 지정하여 저장할 수 있다. 여기서, 본 발명의 후보 영상 저장부(400)는 환경 연관 데이터베이스(300)의 내부에 마련되는 구성일 수도 있고, 별도로 마련되는 구성일 수도 있다.
이에 따라, 본 발명의 연관 영상 결정부(500)는 환경 연관 데이터베이스(300)에 미리 산출되어 저장되어 있던 제2 특징좌표값을 기반으로, 후보 영상 탐색부(300)에 의해 해당 영상이 후보 영상인 것으로 결정되면, 그 후보 영상의 제2 특징좌표값과 관심영역의 제1 특징좌표값을 이용하여 유사도를 판단한다. 도7은 본 발명의 일 실시예에 따른 관심영역과 추출된 후보 영상간 유사도 판단 방법을 설명하기 위해 도시한 참고도이다.
연관 영상 결정부(500)는 도7에 도시된 바와 같이 관심영역의 무게중심점(E)에 따른 특징좌표값과 후보 영상의 무게중심점(E')의 유클리디안 거리(Euclidean Distance)를 산출하여, 산출된 유클리디안 거리(d)를 고려하여 관심영역과 후보 영상의 유사도를 판단할 수 있다. 유클리디안 거리를 이용하여 유사도를 판단하는 방법은 이미 널리 이용되고 있는 공지된 방법에 해당하므로 자세한 설명은 여기서는 생략하도록 한다.
연관 영상 결정부(500)는 상술한 바와 같이 관심영역과 후보 영상 저장부(400)에 저장된 복수의 후보 영상들 각각의 유사도를 모두 판단함에 따라, 유사도가 높은 순서에 따라 내림 차순으로 정렬한다. 즉, 연관 영상 결정부(500)는 유사도에 따라 후보 영상들을 내림 차순으로 정렬함으로써 관심영역과 관련있는 연관 영상을 결정한다.
이에 따라, 본 발명의 실시예에 따른 전시부(600)는 연관 영상 결정부(500)에 의해 유사도가 높은 순서대로 정렬된 연관 영상(후보 영상)들을 화면에 순차적으로 전시할 수 있다. 도8은 본 발명의 실시예에 따른 전시부(600)를 통해 운용자에게 연관 영상(후보 영상)들이 전시되는 상태를 예시한 예시도이다.
다음으로, 이하 도9 내지 도12를 참조하여, 본 발명의 연관 영상 제공장치를 이용하여 관심영역의 연관 영상을 제공하는 방법에 대하여 후술한다. 도9는 본 발명의 일 실시예에 따른 관심영역의 연관 영상을 제공하는 방법을 시간의 흐름에 따라 개략적으로 도시한 흐름도이고, 도10은 도9의 S91 내지 S93의 세부 동작단계를 개략적으로 도시한 세부도이며, 도11은 도9의 S93 내지 S95의 세부 동작단계를 개략적으로 도시한 세부도이고, 도12는 도9의 S95 내지 S96의 세부 동작단계를 도시한 흐름도이다.
도9를 참조하면, 먼저 S90 단계에서, 영상 획득장치가 촬영하고자 하는 촬영 영역에 대한 영상을 획득하고, 이에 따라 본 발명의 연관 영상 제공장치의 입력부(100)는 상기 영상 획득장치로부터 획득된 영상 및 영상 획득장치의 상태 정보를 수신할 수 있다.
다음으로, S91 단계에서 상기 입력부(100)는 연관 이미지 검색을 실행에 대한 입력신호가 인가되었는지 확인한다. 상기 연관 이미지 검색을 실행하고자 하는 입력신호는 운용자에 의해 결정될 수 있으며, 예컨대, 연관 이미지 검색 실행을 위한 버튼을 누름으로써 입력부가 상기 입력신호 인가 여부를 확인할 수 있도록 구현될 수도 있고, 또 다른 예로, 운용자가 전시부(600)에 영상의 영상들이 전시되고 있을 때, 하나의 영상 중에 검색을 실행하고자 하는 관심영역을 선택하는 입력을 함(전시부의 터치 인터페이스에 터치 입력, 또는 클릭)에 따라, 입력부가 연관 이미지 검색 실행에 대한 입력신호 인가 여부를 확인할 수도 있다.
입력부(100)에 연관 이미지 검색 실행 입력신호가 인가되지 않았다면, S92 단계에서, 환경 연관 데이터베이스(200)가 영상 획득부(100)가 획득한 영상의 공간정보(제2 기준좌표값 및 제2 특징좌표값)를 산출하고, 이에 따라 환경 연관 데이터베이스(200)는, S93 단계에서 상기 산출된 공간정보 및 해당 영상, 입력부가 수신한 영상 획득장치의 상태 정보(영상 획득장치의 위치 또는 자세에 대한 정보 및 영상 획득장치의 지향 방향에 대한 정보를 포함함), 그리고 상기 해당 영상이 획득된 시점에 따른 시각정보 등으로 구성하여 튜플 데이터로 저장한다.
S91 단계에서 따른, 입력부(100)에 연관 이미지 검색 실행 입력신호가 인가되지 않았다면, 입력부는 S94 단계에서 운용자에 의해 선택되는 관심영역에 따른 위치 정보를 입력 받는다.
이에 따라, 후보 영상 탐색부(300)는 S95 단계에서, 상기 운용자에 의해 선택된 관심영역의 제1 특징좌표값과 환경 연관 데이터베이스(200)에 저장된 각 영상의 제2 특징좌표값을 비교하여, 상기 관심영역과 관련이 있다고 판단되는 연관 영상을 탐색할 수 있다.
이렇게, 후보 영상 탐색부(300)에 의해 후보 영상이 탐색되어 추출되면, S96 단계에서 본 발명의 전시부(600)는 화면으로 상기 추출된 적어도 하나의 후보 영상을 전시한다.
다음으로, 도9의 S91 내지 S93 단계의 세부 동작단계를 설명하기 위해 도10을 참조한다. 도10은 환경 연관 데이터베이스(200)에 각 영상이 튜플 데이터로 저장되는 과정을 도시한 도면이다.
S91 단계를 통해, 환경 연관 데이터베이스(200)가 영상 획득장치로부터 획득된 영상에 따른 각 영상을 튜플 데이터로 저장하기 위해, S100 단계에서 환경 연관 데이터베이스(200)는 영상 획득장치에서 획득된 영상이 동영상인지 여부를 확인한다. 동영상이 아니라면, S92 단계로 진행되고, 동영상이 맞다면, S101 단계에서, 환경 연관 데이터베이스(200)가 획득된 동영상을 샘플링함으로써 개별 영상을 추출함에 따라 S92 단계로 진행될 수 있도록 한다.
S92 단계에서, 환경 연관 데이터베이스(200)가 개별 영상의 공간정보를 산출하면, S102 단계에서 상기 산출된 공간정보 및 해당 영상, 입력부가 수신한 영상 획득부의 상태 정보(영상 획득장치의 위치 또는 자세에 대한 정보 및 영상 획득장치의 지향 방향에 대한 정보를 포함함), 그리고 상기 해당 영상이 획득된 시점에 따른 시각정보 등으로 구성되는 튜플 데이터를 생성한다. 이때, 환경 연관 데이터베이스(200)는 획득되는 개별 영상의 개수에 상응하는 복수개의 튜플 데이터들을 생성할 수 있다. 이렇게, 생성된 튜플 데이터들은 S93 단계에서, 환경 연관 데이터베이스(200)에 저장된다.
다음으로, 도9의 S93 내지 S95의 세부 동작단계를 설명하기 위한 도11을 참조한다. 도9의 S94 단계에서, 운용자에 의해 관심영역이 선택되면, S110 단계에서 본 발명의 후보 영상 탐색부(300)가 관심영역과 환경 연관 데이터베이스(200)(이하, 튜플 DB라 함)에 저장된 영상간 중복영역이 존재하는지 여부를 확인한다. 여기서, 상기 관심영역과 튜플 DB에 저장된 영상간 중복영역이 존재하는지 여부를 판단하는 방법은 위에서 상세하게 설명한 바 있으므로, 여기서는 자세한 설명을 생략한다.
후보 영상 탐색부(300)의 확인 결과, 관심영역과 튜플 DB(200)에 저장된 영상간 중복영역이 없다면, 입력부에 입력되는 다음 영상과 상기 관심영역의 중복영역 존재 여부를 확인한다.
또 다른 예로, 후보 영상 탐색부(300)의 확인 결과, 관심영역과 튜플 DB(200)에 저장된 영상간 중복영역이 있다면, S111 단계에서 해당 영상을 후보 영상으로 지정하고, 이에 따라 본 발명의 후보 영상 저장부(400)는 S112 단계에서 상기 지정된 후보 영상을 저장한다.
다음으로, 도9의 S95 내지 S96의 세부 동작단계를 설명하기 위해 도12를 참조한다. 도11에서 설명한 바와 같이, 후보 영상 탐색부(300)에 의해 후보 영상들이 추출되고 나면, S120 단계에서 본 발명의 연관 영상 결정부(500)가 관심영역의 공간정보를 산출한다. 여기서, 공간정보란 관심영역의 꼭짓점들로 정의할 수 있는 기준지점들의 기준좌표값 및 상기 관심영역의 무게중심점에 따른 특징좌표값을 의미한다.
다음으로, S121 단계에서 연관 영상 결정부(500)는 관심영역의 공간정보와 후보 영상 저장부(400)에 저장된 후보 영상의 공간정보를 이용하여 유사도를 판단한다. 여기서, 관심영역과 후보 영상의 유사도 판단 방법은 위에서 상세히 설명한 바 자세한 설명은 생략한다.
유사도 판단 결과에 따라, 본 발명의 연관 영상 결정부(500)는 S122 단계에서 추출된 후보 영상들을 유사도가 높은 순서대로 정렬함에 따라 연관 영상을 결정한다.
그리고, 전시부(600)는 상기와 같이 정렬된 연관 영상들을 도8에 도시된 바와 같이 순서대로 전시한다.
이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체 등이 포함될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
10: 연관 영상 제공장치
100: 입력부
200: 환경 연관 데이터베이스
300: 후보 영상 탐색부
400: 후보 영상 저장부
500: 연관 영상 결정부
600: 전시부

Claims (13)

  1. 영상을 입력 받는 입력부;
    상기 입력부를 통해 입력된 과거 영상들과, 상기 과거 영상들 각각의 환경에 대한 정보인 참조 정보를 저장하는 환경 연관 데이터베이스;
    상기 환경 연관 데이터베이스에 저장된 상기 과거 영상들 중 상기 입력부를 통해 입력된 타겟 영상의 관심영역을 포함하는 적어도 하나의 후보 영상을 탐색하는 후보 영상 탐색부; 및
    상기 탐색된 후보 영상과 상기 타겟 영상간의 유사도를 계산하고, 상기 계산된 유사도에 따라 상기 관심 영역과 관련이 높은 연관 영상을 결정하는 연관 영상 결정부;를 포함하되,
    상기 후보 영상 및 타겟 영상은 지리 좌표계로 표현되며,
    상기 후보 영상 탐색부는, 상기 관심영역의 크기를 정의할 수 있는 기준지점들의 제1 기준좌표값들을 이용하여 상기 관심영역보다 크거나 같은 제1 바운딩 박스 및 상기 환경 연관 데이터베이스에 저장된 상기 후보 영상의 크기를 정의할 수 있는 기준지점들의 제2 기준좌표값들을 이용하여 상기 후보 영상보다 크거나 같은 제2 바운딩 박스를 생성하고, 상기 생성된 제1 바운딩 박스 및 제2 바운딩 박스의 좌표영역을 비교함에 따라 상기 각 과거 영상과 상기 타겟 영상간 중복영역이 존재하는지 여부를 판단하여 상기 후보 영상을 탐색하고,
    상기 연관 영상 결정부는, 상기 제1 기준좌표값들 및 상기 관심영역의 무게중심에 따른 제1 특징좌표값을 산출하고, 상기 산출된 제1 특징좌표값과 상기 각 후보 영상의 특징좌표값인 제2 특징좌표값을 기반으로 유사도를 계산함에 따라, 복수개의 상기 후보 영상들을 유사도가 높은 순서대로 정렬하는 것을 특징으로 하는 연관 영상 제공장치.
  2. 제1항에 있어서,
    상기 참조 정보는, ⅰ) 상기 영상을 획득한 외부의 센서의 위치, 자세, 시야각(FOV) 및 픽셀에 대한 정보를 포함하는 상태정보; ⅱ) 상기 각 영상이 획득된 시점에 따른 시각정보; 및 ⅲ) 상기 제2 기준좌표값들을 이용하여 산출되는 상기 제2 특징좌표값을 포함하는 공간정보;를 더 포함하고,
    상기 환경 연관 데이터베이스는, 상기 각 영상과, 상기 각 영상에 따른 상기 참조 정보를 튜플(tuple) 데이터로 저장하는 것을 특징으로 하는 연관 영상 제공장치.
  3. 삭제
  4. 삭제
  5. 제1항에 있어서, 상기 후보 영상 탐색부는,
    상기 제2 바운딩 박스를 구성하는 점들에 따른 제2 좌표값 그룹에서 가장 큰 가로축 좌표 값과 상기 제1 바운딩 박스를 구성하는 점들에 따른 제1 좌표값 그룹에서 가장 큰 가로축 좌표 값을 비교한 결과, 상기 제2 좌표값 그룹 중 가장 큰 가로축 좌표 값이 상기 제1 좌표값 그룹 중 가장 큰 가로축 좌표 값보다 작은 경우,
    상기 제2 좌표값 그룹 중 가장 작은 가로축 좌표 값이, 상기 제1 좌표값 그룹 중 가장 큰 가로축 좌표 값보다 크거나, 상기 제1 좌표값 그룹 중 가장 작은 가로축 좌표 값이, 상기 제2 좌표값 그룹 중 가장 큰 가로축 좌표 값보다 크면,
    상기 제1 바운딩 박스에 상응하는 영상은, 상기 관심영역의 적어도 일 영역과 중복되지 않는 것으로 판단함에 따라 상기 후보 영상으로 결정하지 아니하고 필터링하는 것을 특징으로 하는 연관 영상 제공장치.
  6. 제1항에 있어서,
    상기 제2 기준좌표값들은, 상기 입력부를 통해 입력된 과거 영상의 꼭짓점(vertex)들의 좌표값들이고,
    상기 제1 기준좌표값들은, 상기 관심영역의 꼭짓점들의 좌표값들이며,
    상기 제2 특징좌표값은, 상기 제2 기준좌표값들을 이용한 무게중심을 계산함에 따라 산출되는 무게중심 좌표 값이고,
    상기 제1 특징좌표값은, 상기 제1 기준좌표값들을 이용한 무게중심을 계산함에 따라 산출되는 무게중심 좌표 값인 것을 특징으로 하는 연관 영상 제공장치.
  7. 제1항에 있어서, 상기 연관 영상 결정부는,
    상기 제1 특징좌표값과 상기 후보 영상들 각각에 따른 상기 제2 특징좌표값을 이용하여 유클리디안 거리를 산출하고, 상기 산출된 유클리디안 거리를 고려하여 유사도를 판단하는 것을 특징으로 하는 연관 영상 제공장치.
  8. 제1항에 있어서,
    상기 연관 영상 결정부에 의해 결정된 상기 관심영역과 관련이 높은 연관 영상을 고려하여, 상기 후보 영상들을 상기 계산된 유사도가 높은 순으로 화면에 순차적으로 전시하는 전시부를 더 포함하는 것을 특징으로 하는 연관 영상 제공장치.
  9. 제1항에 있어서,
    상기 후보 영상 탐색부로부터 탐색된 복수의 후보 영상들 저장하는 후보 영상 저장부를 더 포함하는 것을 특징으로 하는 연관 영상 제공장치.
  10. 입력부가, 영상을 입력 받는 단계;
    환경 연관 데이터베이스가, 상기 입력부를 통해 입력된 과거 영상들과, 상기 과거 영상들 각각의 환경에 대한 정보인 참조 정보를 저장하는 단계;
    후보 영상 탐색부가, 상기 환경 연관 데이터베이스에 저장된 상기 과거 영상들 중 상기 입력부를 통해 입력된 타겟 영상의 관심영역을 포함하는 적어도 하나의 후보 영상을 상기 환경 연관 데이터베이스에서 탐색하는 단계; 및
    연관 영상 결정부가, 상기 탐색된 후보 영상과 상기 타겟 영상간의 유사도를 미리 결정된 기준에 따라 계산하고, 상기 계산된 유사도에 따라 상기 관심 영역과 관련이 높은 연관 영상을 결정하는 단계;를 포함하되,
    상기 후보 영상 및 타겟 영상은 지리 좌표계로 표현되며,
    상기 후보 영상 탐색부는, 상기 관심영역의 크기를 정의할 수 있는 기준지점들의 제1 기준좌표값들을 이용하여 상기 관심영역보다 크거나 같은 제1 바운딩 박스 및 상기 환경 연관 데이터베이스에 저장된 상기 후보 영상의 크기를 정의할 수 있는 기준지점들의 제2 기준좌표값들을 이용하여 상기 후보 영상보다 크거나 같은 제2 바운딩 박스를 생성하고, 상기 생성된 제1 바운딩 박스 및 제2 바운딩 박스의 좌표영역을 비교함에 따라 상기 각 과거 영상과 상기 타겟 영상간 중복영역이 존재하는지 여부를 판단하여 상기 후보 영상을 탐색하고,
    상기 연관 영상 결정부는, 상기 제1 기준좌표값들 및 상기 관심영역의 무게중심에 따른 제1 특징좌표값을 산출하고, 상기 산출된 제1 특징좌표값과 상기 각 후보 영상의 특징좌표값인 제2 특징좌표값을 기반으로 유사도를 계산함에 따라, 복수개의 상기 후보 영상들을 유사도가 높은 순서대로 정렬함에 따라 결정하는 것을 특징으로 하는 연관 영상 제공방법.
  11. 제10항에 있어서,
    참조 정보는, ⅰ) 상기 영상을 획득한 외부의 센서의 위치, 자세, 시야각(FOV) 및 픽셀에 대한 정보를 포함하는 상태정보; ⅱ) 상기 각 영상이 획득된 시점에 따른 시각정보; 및 ⅲ) 상기 제2 기준좌표값들을 이용하여 산출되는 제2 특징좌표값을 포함하는 공간정보;를 더 포함하고,
    상기 환경 연관 데이터베이스는, 상기 각 영상과, 상기 각 영상에 따른 상기 참조 정보를 튜플(tuple) 데이터로 저장하는 것을 특징으로 하는 연관 영상 제공방법.
  12. 삭제
  13. ⅰ) 입력부가 영상을 입력 받는 단계, ⅱ) 환경 연관 데이터베이스가 상기 입력부를 통해 입력된 과거 영상들과, 상기 과거 영상들 각각의 환경에 대한 정보인 참조 정보를 저장하는 단계, ⅲ) 후보 영상 탐색부가 상기 환경 연관 데이터베이스에 저장된 상기 과거 영상들 중 상기 입력부를 통해 입력된 타겟 영상의 관심영역을 포함하는 적어도 하나의 후보 영상을 상기 환경 연관 데이터베이스에서 탐색하는 단계 및 ⅳ) 연관 영상 결정부가, 상기 탐색된 후보 영상과 상기 타겟 영상간의 유사도를 미리 결정된 기준에 따라 계산하고, 상기 계산된 유사도에 따라 상기 관심 영역과 관련이 높은 연관 영상을 결정하는 단계를 포함하되, 상기 후보 영상 및 타겟 영상은 지리 좌표계로 표현되며, 상기 후보 영상 탐색부는, 상기 관심영역의 크기를 정의할 수 있는 기준지점들의 제1 기준좌표값들을 이용하여 상기 관심영역보다 크거나 같은 제1 바운딩 박스 및 상기 환경 연관 데이터베이스에 저장된 상기 후보 영상의 크기를 정의할 수 있는 기준지점들의 제2 기준좌표값들을 이용하여 상기 후보 영상보다 크거나 같은 제2 바운딩 박스를 생성하고, 상기 생성된 제1 바운딩 박스 및 제2 바운딩 박스의 좌표영역을 비교함에 따라 상기 각 과거 영상과 상기 타겟 영상간 중복영역이 존재하는지 여부를 판단하여 상기 후보 영상을 탐색하고, 상기 연관 영상 결정부는, 상기 제1 기준좌표값들 및 상기 관심영역의 무게중심에 따른 제1 특징좌표값을 산출하고, 상기 산출된 제1 특징좌표값과 상기 각 후보 영상의 특징좌표값인 제2 특징좌표값을 기반으로 유사도를 계산함에 따라, 복수개의 상기 후보 영상들을 유사도가 높은 순서대로 정렬함에 따라 결정하는 것을 특징으로 하는 연관 영상 제공방법을 컴퓨터에서 실행시키기 위한 컴퓨터에서 판독 가능한 프로그램이 기록된 저장 매체.
KR1020180162996A 2018-12-17 2018-12-17 연관 영상 제공장치 및 방법 KR102028319B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180162996A KR102028319B1 (ko) 2018-12-17 2018-12-17 연관 영상 제공장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180162996A KR102028319B1 (ko) 2018-12-17 2018-12-17 연관 영상 제공장치 및 방법

Publications (1)

Publication Number Publication Date
KR102028319B1 true KR102028319B1 (ko) 2019-11-04

Family

ID=68578220

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180162996A KR102028319B1 (ko) 2018-12-17 2018-12-17 연관 영상 제공장치 및 방법

Country Status (1)

Country Link
KR (1) KR102028319B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111984808A (zh) * 2020-08-17 2020-11-24 中国电子科技集团公司第五十四研究所 一种基于圆区域描述的遥感影像快速检索方法
CN115201933A (zh) * 2021-03-24 2022-10-18 百一电子股份有限公司 一种用于智能无人载具系统的室内定位及对象搜寻方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020062429A (ko) * 2001-01-20 2002-07-26 삼성전자 주식회사 영상 시퀀스에서의 객체 레이블 영상 생성장치 및 그 방법
KR20080020441A (ko) * 2006-08-30 2008-03-05 (주)로직아이텍 객체식별이 가능한 영상처리 감시시스템 및 감시방법
KR101264763B1 (ko) 2012-03-07 2013-05-15 박해덕 섬유원단 건조기의 섬유원단을 건조 및 이송하기 위한 열풍 제어장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020062429A (ko) * 2001-01-20 2002-07-26 삼성전자 주식회사 영상 시퀀스에서의 객체 레이블 영상 생성장치 및 그 방법
KR20080020441A (ko) * 2006-08-30 2008-03-05 (주)로직아이텍 객체식별이 가능한 영상처리 감시시스템 및 감시방법
KR101264763B1 (ko) 2012-03-07 2013-05-15 박해덕 섬유원단 건조기의 섬유원단을 건조 및 이송하기 위한 열풍 제어장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111984808A (zh) * 2020-08-17 2020-11-24 中国电子科技集团公司第五十四研究所 一种基于圆区域描述的遥感影像快速检索方法
CN115201933A (zh) * 2021-03-24 2022-10-18 百一电子股份有限公司 一种用于智能无人载具系统的室内定位及对象搜寻方法

Similar Documents

Publication Publication Date Title
US20190238800A1 (en) Imaging systems and methods for immersive surveillance
EP2791868B1 (en) System and method for processing multi-camera array images
US8994785B2 (en) Method for generating video data and image photographing device thereof
US20080291278A1 (en) Wide-area site-based video surveillance system
JPH1091795A (ja) 移動物体検出装置及び移動物体検出方法
KR101645959B1 (ko) 복수의 오버헤드 카메라와 사이트 맵에 기반한 객체 추적 장치 및 그 방법
GB2482127A (en) Scene object tracking and camera network mapping based on image track start and end points
WO2006107999A2 (en) Wide-area site-based video surveillance system
JPH05501184A (ja) 連続画像の内容変更を行う方法および装置
WO2013172738A1 (en) Method for video-data indexing using a map
US10762372B2 (en) Image processing apparatus and control method therefor
US10999556B2 (en) System and method of video capture and search optimization
CN109636763B (zh) 一种智能复眼监控系统
US20150169964A1 (en) Surveillance process and apparatus
KR102028319B1 (ko) 연관 영상 제공장치 및 방법
CN101627623A (zh) 图像处理设备、运动图像播放设备及其处理方法和程序
CN111105351B (zh) 一种视频序列影像拼接方法及装置
US9418284B1 (en) Method, system and computer program for locating mobile devices based on imaging
KR101997799B1 (ko) 관심영역 연관 영상 제공시스템
JP2005038021A (ja) 画像処理装置、画像入力装置、画像処理方法、および画像処理方法をコンピュータで実行するプログラム
KR102152319B1 (ko) 3d 공간상에서 객체의 위치와 크기를 계산하는 방법 및 이를 이용한 영상관제시스템
Se et al. Automated UAV-based video exploitation for mapping and surveillance
US20190392594A1 (en) System and method for map localization with camera perspectives
US11356632B2 (en) Display-information generating apparatus, information processing apparatus, and imaging system
JP2003179930A (ja) 動オブジェクト抽出方法及び抽出装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant