KR101804471B1 - 영상 분석 방법 및 장치 - Google Patents

영상 분석 방법 및 장치 Download PDF

Info

Publication number
KR101804471B1
KR101804471B1 KR1020160082353A KR20160082353A KR101804471B1 KR 101804471 B1 KR101804471 B1 KR 101804471B1 KR 1020160082353 A KR1020160082353 A KR 1020160082353A KR 20160082353 A KR20160082353 A KR 20160082353A KR 101804471 B1 KR101804471 B1 KR 101804471B1
Authority
KR
South Korea
Prior art keywords
image
information
black box
reference data
feature point
Prior art date
Application number
KR1020160082353A
Other languages
English (en)
Inventor
신후랑
Original Assignee
주식회사 이누씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 이누씨 filed Critical 주식회사 이누씨
Priority to KR1020160082353A priority Critical patent/KR101804471B1/ko
Application granted granted Critical
Publication of KR101804471B1 publication Critical patent/KR101804471B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

차량용 블랙박스, 카메라를 장착한 드론, 이동통신단말기로부터 수집한 영상을 분석하는 방법 및 장치를 개시한다.
차량용 블랙박스, 카메라를 장착한 드론, 이동통신단말기로부터 획득된 영상(또는 촬영 위치가 정확하지 않은 영상)을 분석하여 텍스트 정보를 인식하고 이를 기반으로 영상이 촬영된 위치를 검출하기 위한 영상을 분석하는 방법 및 장치를 제공한다.

Description

영상 분석 방법 및 장치{Method And Apparatus for Analyzing Video}
본 발명의 일 실시예는 차량용 블랙박스, 드론, 이동통신단말기를 포함하는 영상촬영장치로부터 수집한 영상을 분석하는 방법 및 장치에 관한 것이다.
이하에 기술되는 내용은 단순히 본 발명의 일 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.
인터넷망이 개방되고 위치 데이터와 관련된 법률이 정비됨에 따라, 위치 기반 서비스(Location Based Service: LBS) 관련 산업이 활성화되고 있다. 위치 기반 서비스의 한 분야로는 디바이스가 장착된 차량 등의 현재위치를 측위하거나 목적지까지의 이동 경로를 안내해주는 차량용 내비게이션 관련산업이 급격히 활성화되고 있는 추세이다.
차량의 정차 또는 운행 중 발생한 사고의 책임소재에 따른 과실비율을 판단하기 위하여 객관적인 자료가 필요한 경우가 증가하고 있다. 차량 사고와 관련하여 객관적인 자료를 채택될 수 있는 차량용 블랙박스가 보편적으로 사용되고 있다. 하지만, 일반적으로 보급되는 차량용 블랙박스, 카메라가 장착된 드론 제품 중에는 GPS가 탑재되지 않은 제품들의 경우가 다수 존재하고, 이동통신단말기도 경우에 따라 GPS 기능을 비활성화하여 사용하는 경우가 많다. 즉, GPS가 탑재되지 않거나 비활성화된 차량용 블랙박스, 드론, 이동통신단말기의 경우 사고가 발생한 경우, 녹화된 영상만을 확인할 수 있을 뿐, 차량의 정확한 위치를 확인할 수 없고, 특히 불특정한 제3자가 촬영한 블랙박스 영상을 검색하고자 하는 경우에도 그 위치를 확인하기 어렵다는 문제가 있다.
본 발명의 일 실시예는 GPS가 탑재되지 않은 차량용 블랙박스, 카메라를 장착한 드론, 이동통신단말기를 포함하는 영상장치로부터 획득된 영상(또는 촬영 위치가 정확하지 않은 영상)을 분석하여 텍스트 정보를 인식하고 이를 기반으로 영상이 촬영된 위치를 검출하기 위한 영상을 분석하는 방법 및 장치를 제공하는 데 목적이 있다.
본 발명의 일 실시예의 일 측면에 의하면, 지도 정보 상에 위치 정보를 매칭(Matching)하여 참조 데이터로서 저장하는 데이터베이스; 차량용 블랙박스, 카메라를 장착한 드론 및 이동통신단말기를 포함하는 영상촬영장치로부터 영상을 획득하는 영상 획득부; 상기 영상 중 기 설정된 범위 내의 프레임(Frame) 또는 선택된 일부 프레임으로부터 특징점(Feature Point)을 추출하는 특징점 추출부; 상기 특징점을 기반으로 상기 영상 내의 객체를 인식하는 인식부; 및 상기 객체를 상기 데이터베이스에 존재하는 상기 참조 데이터와 비교하여 상기 영상이 촬영된 위치를 검출하는 검출부를 포함하는 것을 특징으로 하는 영상 분석 장치를 제공한다.
상기 인식부는 상기 특징점을 기반으로 상기 영상 내에 건물, 표지판 및 간판 중 적어도 하나 이상의 상기 객체를 인식하고, 상기 객체로부터 텍스트 정보를 인식하며, 상기 검출부는 상기 텍스트 정보를 상기 참조 데이터와 비교하여 상기 영상이 촬영된 위치 정보를 검출한다.
상기 인식부는 상기 텍스트 정보 중 주소 정보, 표지판 정보, 간판 정보, 건물명 정보, 랜드마크 정보, POI(Point Of Interest) 정보 또는 상호명 정보만을 선별하며, 상기 검출부는 상기 주소 정보, 상기 표지판 정보, 상기 건물명 정보, 상기 간판 정보, 상기 랜드마크 정보, 상기 POI 정보 또는 상기 상호명 정보를 상기 참조 데이터와 비교하여 상기 영상이 촬영된 위치 정보를 검출한다.
상기 인식부는 상기 텍스트 정보 중 상기 주소 정보, 상기 표지판 정보, 상기 건물명 정보, 상기 간판 정보, 상기 랜드마크 정보, 상기 POI 정보 또는 상기 상호명 정보를 제외한 나머지 정보는 미가용 정보로 분류한다.
상기 검출부에서 상기 객체를 상기 참조 데이터와 비교한 결과 상기 영상이 촬영된 위치가 미검출되는 경우, 상기 특징점 추출부에서 상기 기 설정된 범위 이전 또는 이후의 프레임으로부터 특징점을 추출하거나 상기 선택된 일부 프레임 이전 또는 이후의 프레임으로부터 특징점을 추출한다.
상기 특징점 추출부에서 상기 기 설정된 범위 이전 또는 이후의 복수의 프레임으로부터 특징점을 추출하거나 상기 선택된 일부 프레임 이전 또는 이후의 복수의 프레임으로부터 특징점을 추출하는 경우, 상기 검출부는 복수의 프레임에 대한 객체들을 상기 참조 데이터와 각각 비교하여 상기 영상이 촬영된 위치의 방향 및 이동방향을 검출한다.
상기 특징점 추출부에서 상기 기 설정된 범위 이전 또는 이후의 복수의 프레임으로부터 특징점을 추출하거나 상기 선택된 일부 프레임 이전 또는 이후의 복수의 프레임으로부터 특징점을 추출하는 경우, 상기 검출부는 복수의 프레임에 대한 객체들을 상기 참조 데이터와 각각 비교하여 차량의 이동 경로를 검출한다.
본 실시예의 다른 측면에 의하면, 영상 분석 장치가 영상을 분석하는 방법에 있어서, 차량용 블랙박스, 카메라를 장착한 드론, 이동통신단말기를 포함하는 영상촬영장치로부터 영상을 획득하는 과정; 상기 영상 중 기 설정된 범위에 내의 프레임 또는 선택된 일부 프레임으로부터 특징점을 추출하는 과정; 상기 특징점을 기반으로 상기 영상 내의 객체를 인식하는 과정; 및 상기 객체를 데이터베이스에 존재하는 참조 데이터와 비교하여 상기 영상이 촬영된 위치를 검출하는 과정을 제공한다.
상기 인식하는 과정은 상기 특징점을 기반으로 상기 영상 내에 건물, 표지판 및 간판 중 적어도 하나 이상의 상기 객체를 인식하고, 상기 객체로부터 텍스트 정보를 인식하며, 상기 검출하는 과정은 상기 텍스트 정보를 상기 참조 데이터와 비교하여 상기 영상이 촬영된 위치 정보를 검출한다.
상기 인식하는 과정은 상기 텍스트 정보 중 주소 정보, 표지판 정보, 간판 정보, 건물명 정보, 랜드마크 정보, POI 정보 또는 상호명 정보만을 선별하며, 상기 검출하는 과정은 상기 주소 정보, 상기 표지판 정보, 상기 건물명 정보, 상기 간판 정보, 상기 랜드마크 정보, 상기 POI 정보 또는 상기 상호명 정보를 상기 참조 데이터와 비교하여 상기 영상이 촬영된 위치 정보를 검출한다.
이상에서 설명한 바와 같이 본 발명의 일 실시예에 의하면, GPS가 탑재되지 않거나 GPS 기능이 탑재되어 있더라도 기능이 활성화되지 않은 차량용 블랙박스, 카메라를 장착한 드론, 이동통신단말기를 포함하는 영상촬영장치로부터 획득된 영상(또는 촬영 위치가 정확하지 않은 영상)을 분석하여 텍스트 정보를 인식하고 이를 기반으로 영상이 촬영된 위치를 검출하기 위한 영상을 분석하는 방법 및 장치를 제공하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 차량용 블랙박스 영상 분석 장치를 개략적으로 나타낸 블럭 구성도이다.
도 2는 본 발명의 일 실시예에 따른 차량용 블랙박스 영상을 분석하는 방법을 설명하기 위한 순서도이다.
도 3은 본 발명의 일 실시예에 따른 영상 촬영 장치가 센서를 탑재한 경우를 설명하기 위한 예시도이다.
도 4는 본 발명의 일 실시예에 따른 영상 촬영 장치가 센서를 미탑재한 경우를 설명하기 위한 예시도이다.
이하, 본 발명의 일 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 이하에서는 본 발명의 일 실시예로 영상을 수집하는 장치로 차량용 블랙박스를 이용하여 설명한다. 그러나 본 발명의 기술적 사상은 차량용 블랙박스에 한정되지 않고, 드론에 카메라를 장착하여 영상을 촬영하거나, 이동통신단말기를 이용하는 영상을 촬영하는 경우 또는 일반적인 디지털카메라를 포함하는 다양한 영상을 촬영하는 장치에 적용될 수 있다.
도 1은 본 발명의 일 실시예에 따른 차량용 블랙박스 영상 분석 장치를 개략적으로 나타낸 블럭 구성도이다.
본 실시예에 따른 차량용 블랙박스 영상 분석 장치(100)는 영상 획득부(120), 특징점 추출부(130), 인식부(140), 검출부(150) 및 데이터베이스(160)를 포함한다. 차량용 블랙박스 영상 분석 장치(100)에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.
차량용 블랙박스 영상 분석 장치(100)는 차량용 블랙박스로부터 영상 정보를 수신하고 이를 분석하고 시간과 장소에 따라 검색할 수 있도록 하는 장치로, 차량용 블랙박스 영상 분석 장치(100)에 포함된 각 구성요소는 장치 내부의 소프트웨어적인 모듈 또는 하드웨어적인 모듈을 연결하는 통신 경로에 연결되어 상호 간에 유기적으로 동작할 수 있다. 이러한 구성요소는 하나 이상의 통신 버스 또는 신호선을 이용하여 통신한다.
도 1에 도시된 차량용 블랙박스 영상 분석 장치(100)의 각 구성요소는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 소프트웨어적인 모듈, 하드웨어적인 모듈 또는 소프트웨어와 하드웨어의 결합으로 구현될 수 있다.
차량용 블랙박스 영상 분석 장치(100)는 (ⅰ) 각종 기기 또는 유무선 네트워크와 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, (ⅱ) 각종 프로그램과 데이터를 저장하기 위한 메모리, (ⅲ) 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치이다. 적어도 일 실시예에 따르면, 메모리는 램(Random Access Memory: RAM), 롬(Read Only Memory: ROM), 플래시 메모리, 광 디스크, 자기 디스크, 솔리드 스테이트 디스크(Solid State Disk: SSD) 등의 컴퓨터로 판독 가능한 기록/저장매체일 수 있다. 적어도 일 실시예에 따르면, 마이크로프로세서는 명세서상에 기재된 동작과 기능을 하나 이상 선택적으로 수행하도록 프로그램될 수 있다. 적어도 일 실시예에 따르면, 마이크로프로세서는 전체 또는 부분적으로 특정한 구성의 주문형반도체(Application Specific Integrated Circuit: ASIC) 등의 하드웨어로써 구현될 수 있다.
메모리에 관련 데이터 및 프로그램이 저장되어 있고, 프로세서가 메모리로부터 관련 데이터를 읽어들여 처리한다. 프로세서는 하나의 프로세서가 위 각 기능들을 수행할 수 있지만, 복수 개의 프로세서가 분담하여 처리하도록 구현할 수도 있다. 프로세서는 범용 프로세서에서 구현될 수도 있지만, 그 기능을 수행하도록 별도로 제작된 칩으로 구현할 수도 있다.
차량용 블랙박스 영상 분석 장치(100)는 획득한 영상에서 특징점을 추출하고, 추출된 특징점을 데이터베이스(160)에 존재하는 참조 데이터와 비교하여 영상이 촬영된 위치를 검출한다.
보다 구체적으로 설명하자면, 차량용 블랙박스 영상 분석 장치(100)는 차량용 블랙박스(110)를 이용하여 촬영된 영상을 분석하여 영상 내에 건물, 도로표지판, 간판 등을 인식하고, 인식된 건물, 도로 표지판에 포함된 지명, 간판 내의 텍스트 정보인 상호, 전화번호, 주소를 기반으로 영상이 촬영된 위치를 검출한다.
만약, 텍스트 정보를 기반으로 영상이 촬영된 위치를 검출하지 못한 경우(영상에서 하나 또는 두 개의 간판만으로는 위치를 특정할 수 없는 경우), 차량용 블랙박스 영상 분석 장치(100)는 영상의 일정한 범위 내에 있는 건물, 표지판, 간판 등을 추가로 인식하고, 추가로 인식된 건물, 표지판, 간판 내의 텍스트 정보를 기반으로 영상이 촬영된 위치를 검출하여 위치의 정확도를 올릴 수 있다. 영상에서 검출된 간판, 도로표지판, 건물의 정보가 복수로 인식된 경우 위치를 특정하기 위한 정보의 우선순위에 따라 차례로 검색될 수 있다.
한편 본 발명의 실시예에 의하면, 도로표지판에서 사거리의 명칭이 검출되는 경우 정확한 위치를 특정할 수 있어 위치를 특정하기 위해 추가적인 검색을 할 필요가 없다. 다만, 동일한 사거리의 명칭이 복수개가 존재하는 경우에는 다음 순위의 정보인 간판에서 검출된 상호나 전화번호를 이용하여 위치를 특정할 수 있다. 또 다른 실시예에 의하며 전화번호, 사거리 명칭, 상호의 순서로 우선순위를 정할 수 있다.
차량용 블랙박스(110)는 영상 촬영 모듈을 구비한 영상 촬영 장치를 의미한다. 차량용 블랙박스(110)는 차량용 블랙박스 영상 분석 장치(100)의 내부 또는 외부에 구현될 수 있다.
차량용 블랙박스(110)는 영상만을 촬영을 목적으로 하기 때문에, 영상 촬영 모듈을 구비한 스마트폰(Smart Phone), 태블릿(Tablet), 개인 휴대 단말기(PDA: Personal Digital Assistant), 무선 통신 단말기(Wireless Communication Terminal), 미디어 플레이어 등과 같은 전자 기기일 수 있다. 스마트폰을 비롯한 HD 퀄러티 이상의 영상제작이 가능한 디바이스를 이미 개인들이 소지하고 있다. 또한, 페이스북에서 1일 비디오시청시간이 1억시간을 돌파할 정도로 일상화된 퍼스널비디오의 시대이기 때문에, 차량용 블랙박스(110)로 스마트폰을 비롯한 다양한 전자 기기가 이용될 수 있다.
영상 획득부(120)는 차량용 블랙박스(110)로부터 무선 또는 유선으로 영상을 획득한다. 차량용 블랙박스(110)는 실시간으로 영상 획득부에(120) 영상을 전송할 수도 있으나, 반드시 실시간 영상일 필요는 없고 기 설정된 일정한 시간 간격 또는 비정기적으로 영상을 전송할 수 있는 네트워크가 연결되는 특정한 시점에 영상을 전송할 수 있다. 영상 획득부(120)는 차량용 블랙박스(110)로 부터 전송받은 영상이 동영상 또는 스트리밍 영상일 경우 프레임 단위로 영상을 추출할 수 있다.
특징점 추출부(130)는 차량용 블랙박스(110)로부터 획득된 영상 중 기 설정된 범위 내의 프레임(Frame) 또는 선택된 일부 프레임으로부터 특징점(Feature Point)을 추출한다.
검출부(150)에서 객체를 참조 데이터와 비교한 결과 영상이 촬영된 위치가 미검출되는 경우, 특징점 추출부(130)는 기 설정된 범위 이전 또는 이후의 프레임으로부터 특징점을 추출하거나 선택된 일부 프레임 이전 또는 이후의 프레임으로부터 특징점을 추출한다. 다시 말해, 특징점 추출부(130)에서 일정한 범위 내에 있는 객체를 추가로 검색함으로써, 인식부(140)와 검출부(150)에서도 추가 검색을 수행함으로써, 영상이 촬영된 위치를 검출하는데 정확도를 높일 수 있다.
인식부(140)는 특징점 추출부(130)로부터 추출된 특징점을 기반으로 영상 내의 객체를 인식한다. 인식부(140)는 특징점을 기반으로 영상 내에 건물, 도로표지판 및 간판 중 적어도 하나의 객체를 인식하고, 객체로부터 텍스트 정보를 인식한다. 인식부(140)는 텍스트 정보 중 주소 정보, 도로 표지판 정보, 간판 정보, 건물명 정보, 랜드마크 정보, POI(Point Of Interest) 정보 또는 상호명 정보만을 선별한다. 인식부(140)는 텍스트 정보 중 주소 정보, 도로 표지판 정보, 건물명 정보, 간판 정보, 랜드마크 정보, POI 정보 또는 상호명 정보를 제외한 나머지 정보는 미가용 정보로 분류한다. 인식부(140)는 특징점을 기반으로 객체를 인식하고 이를 분류할 수 있는 객체분류부를 포함할 수 있다. 객체분류부는 객체를 건물, 도로표지판, 간판인지를 판별하여 분류할 수 있다.
검출부(150)는 객체를 데이터베이스(160)에 존재하는 참조 데이터와 비교하여 영상이 촬영된 위치를 검출한다. 검출부(150)는 인식부(140)에서 검출된 텍스트 정보를 참조 데이터와 비교하여 영상이 촬영된 위치 정보를 검출한다. 검출부(150)는 인식부(140)에서 검출된 주소 정보, 도로 표지판 정보, 건물명 정보, 간판 정보, 랜드마크 정보, POI 정보 또는 상호명 정보를 참조 데이터와 비교하여 영상이 촬영된 위치 정보를 검출한다. 검출부(150)는 검출된 정보를 복합적으로 이용하여 위치를 특정할 수 있다. 본 실시예에 의하면 검출된 주소 정보에 특정한 지역의 명칭을 포함하고 있는 경우, 특정한 지역 내에 있는 POI 또는 상호만을 검색하여 검색의 성능을 높일 수 있다.
특징점 추출부(130)에서 기 설정된 범위 이전 또는 이후의 복수의 프레임으로부터 특징점을 추출하거나 선택된 일부 프레임 이전 또는 이후의 복수의 프레임으로부터 특징점을 추출하는 경우, 검출부(150)는 복수의 프레임에 대한 객체들을 참조 데이터와 각각 비교하여 영상이 촬영된 위치의 방향 및 이동방향을 검출한다.
특징점 추출부(130)에서 기 설정된 범위 이전 또는 이후의 복수의 프레임으로부터 특징점을 추출하거나 선택된 일부 프레임 이전 또는 이후의 복수의 프레임으로부터 특징점을 추출하는 경우, 검출부(150)는 복수의 프레임에 대한 객체들을 참조 데이터와 각각 비교하여 차량의 이동 경로를 검출한다.
데이터베이스(160)는 지도 정보 상에 위치 정보를 매칭(Matching)하여 참조 데이터로서 저장한다. 데이터베이스(160)는 참조 데이터 이외에 장치의 구동에 필요한 각종 데이터를 저장할 수 있다. 데이터베이스(160)는 차량용 블랙박스 영상 분석 장치(100)의 내부 또는 외부에 구현될 수 있다. 데이터베이스(160)는 건물에 관한 정보, 도로 표지판 정보, 상호를 포함하는 텍스트 정보와 각각에 대응하는 좌표, 주소를 포함하는 위치정보를 포함한다. 데이터베이스(160)에 포함된 각 정보는 기 설정된 일정한 영역에 따라 검색될 수 있도록 분류될 수 있다. 본 실시예에 의하면, 인식부(130)가 특정한 명칭을 포함하는 복수개의 영역을 검출하는 경우, 검출된 영역 내에서 다른 명칭을 검색하도록 하여 검색의 효율을 높일 수 있다.
도 2는 본 발명의 일 실시예에 따른 차량용 블랙박스 영상을 분석하는 방법을 설명하기 위한 순서도이다.
차량용 블랙박스 영상 분석 장치는 차량용 블랙박스(110)로부터 무선 또는 유선으로 영상을 획득한다(S210).
차량용 블랙박스 영상 분석 장치(100)는 차량용 블랙박스(110)로부터 획득된 영상 중 기 설정된 범위 내의 프레임 또는 선택된 일부 프레임으로부터 특징점을 추출한다(S220).
차량용 블랙박스 영상 분석 장치(100)는 특징점 추출부(130)로부터 추출된 특징점을 기반으로 영상 내의 객체를 인식한다(S230).
차량용 블랙박스 영상 분석 장치(100)는 특징점을 기반으로 영상 내에 건물, 표지판 및 간판 중 적어도 하나 이상의 객체를 인식하고, 객체로부터 텍스트 정보를 인식한다(S240).
단계 S240에서 차량용 블랙박스 영상 분석 장치(100)는 텍스트 정보 중 주소 정보, 표지판 정보, 간판 정보, 건물명 정보, 랜드마크 정보, POI(Point Of Interest) 정보 또는 상호명 정보만을 선별한다. 차량용 블랙박스 영상 분석 장치(100) 텍스트 정보 중 주소 정보, 표지판 정보, 건물명 정보, 간판 정보, 랜드마크 정보, POI 정보 또는 상호명 정보를 제외한 나머지 정보는 미가용 정보로 분류한다.
차량용 블랙박스 영상 분석 장치(100)는 객체를 데이터베이스(160)에 존재하는 참조 데이터와 비교하여 영상이 촬영된 위치를 검출한다(S250).
단계 S250에서 차량용 블랙박스 영상 분석 장치(100)는 인식부(140)에서 검출된 텍스트 정보를 참조 데이터와 비교하여 영상이 촬영된 위치 정보를 검출한다. 차량용 블랙박스 영상 분석 장치(100)는 인식부(140)에서 검출된 주소 정보, 표지판 정보, 건물명 정보, 간판 정보, 랜드마크 정보, POI 정보 또는 상호명 정보를 참조 데이터와 비교하여 영상이 촬영된 위치 정보를 검출한다.
단계 S250 이후에, 차량용 블랙박스 영상 분석 장치(100)는 객체를 참조 데이터와 비교한 결과 영상이 촬영된 위치가 미검출되는 경우, 특징점 추출부(130)는 기 설정된 범위 이전 또는 이후의 프레임으로부터 특징점을 추출하거나 선택된 일부 프레임 이전 또는 이후의 프레임으로부터 특징점을 추출한다.
다시 말해, 차량용 블랙박스 영상 분석 장치(100)에서 일정한 범위 내에 있는 객체를 추가로 검색함으로서, 결과적으로 영상의 추가 분석을 수행하여 영상이 촬영된 위치를 검출하는데 정확도를 높일 수 있다.
또한, 차량용 블랙박스 영상 분석 장치(100)는 기 설정된 범위 이전 또는 이후의 복수의 프레임으로부터 추출된 특징점이나 선택된 일부 프레임 이전 또는 이후의 복수의 프레임으로부터 추출된 특징점을 이용하여 복수의 프레임에 대한 객체들을 참조 데이터와 각각 비교하여 영상이 촬영된 위치의 방향 및 이동방향을 검출한다.
또한, 차량용 블랙박스 영상 분석 장치(100)는 기 설정된 범위 이전 또는 이후의 복수의 프레임으로부터 추출된 특징점을 이용하거나 선택된 일부 프레임 이전 또는 이후의 복수의 프레임으로부터 추출된 특징점을 이용하여 복수의 프레임에 대한 객체들을 참조 데이터와 각각 비교하여 차량의 이동 경로를 검출한다.
도 2에서는 단계 S210 내지 단계 S250을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 2에 기재된 단계를 변경하여 실행하거나 하나 이상의 단계를 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 2는 시계열적인 순서로 한정되는 것은 아니다.
전술한 바와 같이 도 2에 기재된 본 발명의 일 실시예에 따른 차량용 블랙박스 영상을 분석하는 방법은 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 차량용 블랙박스 영상을 분석하는 방법을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.
도 3은 본 발명의 일 실시예에 따른 영상 촬영 장치가 센서를 탑재한 경우를 설명하기 위한 예시도이다.
일반적인 영상 검색은 텍스트 기반의 메타데이터(영상의제목, 제작시간, 위치, 설명 등)를 사람이 직접 입력하여 이를 기준으로 검색되었다. 일반적인 영상 검색은 필수적인 후반작업을 위해 상당히 많은 시간을 할애하고 수동으로 처리되며 비용이 수반된다. 일반적인 영상 검색은 비실시간성 작업이어서 기존의 패러다임으로는 최근처럼 폭발적으로 늘어나는 영상을 수용할 수 없다. 따라서, 본 발명의 일 실시예에 따른 차량용 블랙박스 영상 분석 장치(100)와 같이 실시간에 대응하고 별도 비용없는 기계정보를 활용한 자동화된 처리방식이 필요하다.
도 3에서는 차량용 블랙박스(110)로 영상 촬영 모듈을 구비한 스마트폰을 비롯한 태블릿, 개인 휴대 단말기(PDA), 무선 통신 단말기, 미디어 플레이어 등과 같은 전자 기기가 이용된 예시를 나타낸다.
스마트폰을 비롯한 태블릿, 개인 휴대 단말기(PDA), 무선 통신 단말기, 미디어 플레이어 등과 같은 전자 기기는 도 3에 도시된 바와 같이, GPS, 바로미터 센서(Barometer Sensor), 전자기 센서(GeoMagnetic Sensor), 자이로 센서(Gyro Sensor), 가속도 센서(Acceleration Sensor) 등을 포함할 수 있다. 하지만, 전자기기 내에 GPS, 바로미터 센서, 전자기 센서, 자이로 센서, 가속도 센서 등이 구비되어 있다고 하더라도, 촬영된 영상 정보에 위치 정보가 정확하게 포함되지 않을 수 있다.
전자기기가 차량용 블랙박스(110)로 이용되는 경우, 전자기기 내에서 촬영한 영상 정보에 위치 정보가 포함된 경우에는 데이터베이스(160)에 저장된 참조 데이터와 위치 정보를 비교하여 영상이 촬영된 위치를 검출할 수 있다.
다시 말해, 전자기기 내에서 촬영한 영상 정보에 위치 정보가 정확한 경우, 차량용 블랙박스 영상 분석 장치(100)는 비디오를 제작하는 촬영장치(차량용 블랙박스(110))의 영상 스트림에서 이미지를 추출하고 해당 이미지에서 특징점을 추출하여 이를 기반으로 특정 공간 내 참조 데이터와 비교하여 해당 영상의 제작위치를 파악한 후 촬영장치(차량용 블랙박스(110))에서 제공한 센싱정보와 결합하여 해당 영상파일의 제작위치를 검출할 수 있다.
전자기기 내에서 촬영한 영상 정보에 위치 정보가 정확한 경우, 촬영장치(차량용 블랙박스(110))에서 수집하는 센상정보와 영상의 스트림에서 추출되는 이미지를 기반으로 한 분석 정보를 바탕으로 보다 정확하고 개량된 위치 정보를 제공할 수 있다.
전자기기 내에서 촬영한 영상 정보에 위치 정보가 포함되더라도 GPS 오차범위로 인해 부정확한 경우, 차량용 블랙박스 영상 분석 장치(100)는 획득한 영상에서 특징점을 추출하고, 추출된 특징점을 데이터베이스(160)에 존재하는 참조 데이터와 비교하여 영상이 촬영된 위치를 검출한다.
도 4는 본 발명의 일 실시예에 따른 영상 촬영 장치가 센서를 미탑재한 경우를 설명하기 위한 예시도이다.
차량용 블랙박스 영상 분석 장치(100)는 촬영장치(차량용 블랙박스(110))에서 촬영된 스트림에서 이미지를 추출하고 해당 이미지에서 특징점을 추출하여 이를 기반으로 특정공간 내 참조 데이터와 비교하여 해당 영상의 제작자(차량)의 이동방향, 위치를 판별할 수 있다.
다시 말해, 전자기기 내에서 촬영한 영상에 GPS와 같은 위치 정보가 포함되어 있지 않거나, 전자기기 내에서 촬영한 영상에 위치 정보가 포함되더라도 GPS 오차범위로 인해 부정확한 경우, 차량용 블랙박스 영상 분석 장치(100)는 획득한 영상에서 특징점을 추출하고, 추출된 특징점을 데이터베이스(160)에 존재하는 참조 데이터와 비교하여 영상이 촬영된 위치를 검출한다.
이상의 설명은 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명의 일 실시예들은 본 발명의 일 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 일 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 일 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 일 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 차량용 블랙박스 영상 분석 장치
110: 차량용 블랙박스 120: 영상 획득부
130: 특징점 추출부 140: 인식부
150: 검출부 160: 데이터베이스

Claims (10)

  1. 지도 정보 상에 위치 정보를 매칭(Matching)하여 참조 데이터로서 저장하는 데이터베이스;
    차량용 블랙박스, 카메라를 장착한 드론 및 이동통신단말기 중 어느 하나에 포함된 영상촬영장치로부터 영상을 획득하는 영상 획득부;
    상기 영상 중 기 설정된 범위 내의 프레임(Frame) 또는 선택된 일부 프레임으로부터 특징점(Feature Point)을 추출하는 특징점 추출부;
    상기 특징점을 기반으로 상기 영상 내의 객체를 인식하는 인식부; 및
    상기 객체를 상기 데이터베이스에 존재하는 상기 참조 데이터와 비교하여 상기 영상이 촬영된 위치를 검출하는 검출부
    를 포함하되,
    상기 영상 획득부는 상기 영상촬영장치가 네트워크로 연결되었을 때 상기 영상촬영장치로부터 영상을 획득하고,
    상기 인식부는 상기 특징점을 기반으로 상기 영상 내에 건물, 표지판 및 간판 중 적어도 하나 이상의 상기 객체를 인식하여, 상기 객체를 주소 정보, 표지판 정보, 간판 정보, 건물명 정보, 랜드마크 정보, POI(Point Of Interest) 정보 또는 상호명을 포함하는 텍스트 정보를 인식하며,
    상기 검출부는 상기 인식부가 인식한 적어도 하나 이상의 상기 텍스트 정보를 기 설정된 우선순위에 따라 상기 참조 데이터와 비교하여 상기 영상이 촬영된 위치 정보를 검출하는 것
    를 포함하는 것을 특징으로 하는 영상 분석 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제 1 항에 있어서,
    상기 검출부에서 상기 객체를 상기 참조 데이터와 비교한 결과 상기 영상이 촬영된 위치가 미검출되는 경우,
    상기 특징점 추출부에서 상기 기 설정된 범위 이전 또는 이후의 프레임으로부터 특징점을 추출하거나 상기 선택된 일부 프레임 이전 또는 이후의 프레임으로부터 특징점을 추출하는 것을 특징으로 하는 영상 분석 장치.
  6. 제 1 항에 있어서,
    상기 특징점 추출부에서 상기 기 설정된 범위 이전 또는 이후의 복수의 프레임으로부터 특징점을 추출하거나 상기 선택된 일부 프레임 이전 또는 이후의 복수의 프레임으로부터 특징점을 추출하는 경우,
    상기 검출부는 복수의 프레임에 대한 객체들을 상기 참조 데이터와 각각 비교하여 상기 영상이 촬영된 위치의 방향 및 이동방향을 검출하는 것을 특징으로 하는 영상 분석 장치.
  7. 삭제
  8. 영상 분석 장치가 영상을 분석하는 방법에 있어서,
    차량용 블랙박스, 카메라를 장착한 드론, 이동통신단말기 중 어느 하나에 포함된 영상촬영장치가 상기 영상 분석 장치에 네트워크로 연결되는 과정;
    상기 영상촬영장치로부터 영상을 획득하는 과정;
    상기 영상 중 기 설정된 범위에 내의 프레임 또는 선택된 일부 프레임으로부터 특징점을 추출하는 과정;
    상기 특징점을 기반으로 상기 영상 내의 객체를 인식하는 과정; 및
    상기 객체를 데이터베이스에 존재하는 참조 데이터와 비교하여 상기 영상이 촬영된 위치를 검출하는 과정
    을 포함하되,
    상기 인식하는 과정은 상기 특징점을 기반으로 상기 영상 내에 건물, 표지판 및 간판 중 적어도 하나 이상의 상기 객체를 인식하여, 상기 객체를 주소 정보, 표지판 정보, 간판 정보, 건물명 정보, 랜드마크 정보, POI(Point Of Interest) 정보 또는 상호명을 포함하는 텍스트 정보를 인식하는 것을 포함하고,
    상기 검출하는 과정은 상기 인식하는 과정에서 인식된 적어도 하나 이상의 상기 텍스트 정보를 기 설정된 우선순위에 따라 상기 참조 데이터와 비교하여 상기 영상이 촬영된 위치 정보를 검출하는 것
    을 포함하는 것을 특징으로 하는 영상을 분석하는 방법.
  9. 삭제
  10. 삭제
KR1020160082353A 2016-06-30 2016-06-30 영상 분석 방법 및 장치 KR101804471B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160082353A KR101804471B1 (ko) 2016-06-30 2016-06-30 영상 분석 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160082353A KR101804471B1 (ko) 2016-06-30 2016-06-30 영상 분석 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101804471B1 true KR101804471B1 (ko) 2017-12-04

Family

ID=60921364

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160082353A KR101804471B1 (ko) 2016-06-30 2016-06-30 영상 분석 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101804471B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200094654A (ko) * 2019-01-30 2020-08-07 주식회사 스트라드비젼 어텐션 드리븐(attention-driven) 알고리즘을 이용하여 랜드마크를 검출하여 경로 플래닝을 위한 자율 주행 차량의 위치를 결정하는 방법 및 장치
CN111832578A (zh) * 2020-07-20 2020-10-27 北京百度网讯科技有限公司 兴趣点信息处理方法、装置、电子设备和存储介质
KR102660425B1 (ko) * 2023-06-16 2024-04-24 이그나이트주식회사 블랙박스 영상 합성 기반 3차원 객체 정보 획득 서버 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012203823A (ja) * 2011-03-28 2012-10-22 Kddi Corp 画像認識装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012203823A (ja) * 2011-03-28 2012-10-22 Kddi Corp 画像認識装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
입체적 지형을 고려한 무인항공기의 실시간 촬영 영역 분석 알고리즘, 한국통신학회논문지 제38권12호(2013)*

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200094654A (ko) * 2019-01-30 2020-08-07 주식회사 스트라드비젼 어텐션 드리븐(attention-driven) 알고리즘을 이용하여 랜드마크를 검출하여 경로 플래닝을 위한 자율 주행 차량의 위치를 결정하는 방법 및 장치
KR102296493B1 (ko) * 2019-01-30 2021-09-02 주식회사 스트라드비젼 어텐션 드리븐(attention-driven) 알고리즘을 이용하여 랜드마크를 검출하여 경로 플래닝을 위한 자율 주행 차량의 위치를 결정하는 방법 및 장치
CN111832578A (zh) * 2020-07-20 2020-10-27 北京百度网讯科技有限公司 兴趣点信息处理方法、装置、电子设备和存储介质
KR102660425B1 (ko) * 2023-06-16 2024-04-24 이그나이트주식회사 블랙박스 영상 합성 기반 3차원 객체 정보 획득 서버 및 방법

Similar Documents

Publication Publication Date Title
Grassi et al. Parkmaster: An in-vehicle, edge-based video analytics service for detecting open parking spaces in urban environments
US11080869B2 (en) Search assist system, search assist apparatus, and search assist method
US11709282B2 (en) Asset tracking systems
CN109766779B (zh) 徘徊人员识别方法及相关产品
US11164028B2 (en) License plate detection system
US11948366B2 (en) Automatic license plate recognition (ALPR) and vehicle identification profile methods and systems
KR101804471B1 (ko) 영상 분석 방법 및 장치
JP4984640B2 (ja) 認識装置、地図データ作成装置および認識方法
Hakim et al. Implementation of an image processing based smart parking system using Haar-Cascade method
CN111950520B (zh) 图像识别方法、装置、电子设备及存储介质
CN105869406A (zh) 车辆辨识侦测系统、车辆信息搜集方法、车辆信息侦测记录方法以及车辆信息查询方法
Matsuda et al. A system for real-time on-street parking detection and visualization on an edge device
EP4064218A1 (en) Vehicle identification profile methods and systems at the edge
KR101615243B1 (ko) 지능형 방범 영상 감시장치 및 영상 감시방법
KR20070044607A (ko) 휴대용 단말기로 영상 입력되는 신호를 이용한 차량 번호판 인식 시스템 및 그 인식 방법
JP6443144B2 (ja) 情報出力装置、情報出力プログラム及び情報出力方法、並びに情報出力システム
US11645838B2 (en) Object detection system, object detection method, and program
KR102035245B1 (ko) 타겟 마커 위치 추정 장치 및 방법
Amlacher et al. Mobile object recognition using multi-sensor information fusion in urban environments
KR20170123846A (ko) 영상 기반 실내 측위 장치 및 방법
JP6092753B2 (ja) 情報通知装置、情報通知方法、情報通知プログラム、および、情報通知システム
KR101738484B1 (ko) 지능형 생활 방범 장치 및 그에 따른 감시정보 처리방법
CN115171159A (zh) 一种基于摄像头的预测跟踪方法、装置、电子设备及介质
JP2006113789A (ja) 交通動態情報提示装置、及び交通動態情報提示処理プログラム等
CN114821288A (zh) 图像辨识方法以及无人机系统

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant