KR20190091214A - 동영상으로부터 장소 정보를 추출하는 장치 및 방법 - Google Patents

동영상으로부터 장소 정보를 추출하는 장치 및 방법 Download PDF

Info

Publication number
KR20190091214A
KR20190091214A KR1020190009777A KR20190009777A KR20190091214A KR 20190091214 A KR20190091214 A KR 20190091214A KR 1020190009777 A KR1020190009777 A KR 1020190009777A KR 20190009777 A KR20190009777 A KR 20190009777A KR 20190091214 A KR20190091214 A KR 20190091214A
Authority
KR
South Korea
Prior art keywords
information
image
location
video
milestone
Prior art date
Application number
KR1020190009777A
Other languages
English (en)
Inventor
장연호
이승원
Original Assignee
드림투비 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 드림투비 주식회사 filed Critical 드림투비 주식회사
Publication of KR20190091214A publication Critical patent/KR20190091214A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06K9/00744—
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 발명의 일 실시예에 따른, 서버에 의해 수행되는, 동영상에서 위치 정보를 수집하는 방법에 있어서, (a) 동영상에서 기 설정된 프레임 단위로 제 1 거리 이미지를 추출하는 단계; (b) 제 1 거리 이미지에서 이정표 정보를 인식하는 단계; (c) 데이터베이스에서 이정표 정보에 매칭된 위치 기반 데이터를 검색하는 단계; (d) 검색 결과에 기초하여, 위치 기반 데이터가 포함하는 위치 정보를 제 1 거리 이미지에 대응시키는 단계; 및 (e) 위치 정보가 대응된 복수의 제 1 거리 이미지를 시간 순서에 따라 통합하여 동영상이 포함하는 지역에 대한 이동 경로 정보를 생성하는 단계;를 포함하되, 이정표 정보는 제 1 거리 이미지가 포함하는 표지판, 간판 또는 랜드마크에서 추출한 텍스트 정보 또는 이미지 정보이고, 위치 기반 데이터는 표지판, 간판 또는 랜드마크에서 기 추출한 텍스트 정보 또는 이미지정보와 그에 대응되는 위치 정보를 포함하는 방법이다.

Description

동영상으로부터 장소 정보를 추출하는 장치 및 방법 {APPARATUS AND METHOD FOR EXTRACTING LOCATION INFORMAITON FROME VIDEO}
본 발명은 동영상 속의 위치정보를 추출하는 것으로, 동영상에 촬영된 표지판, 간판 또는 랜드마크를 통해 동영상 속의 위치 정보를 확인하여 이동 경로 정보를 생성하는 장치 및 방법에 관한 것이다.
최근 이미지를 기반으로 디지털 영상 인식기술이 발달함에 따라 자동차 번호판을 인식하거나, 사람의 얼굴을 인식하는 것이 가능해졌다. 특히 얼굴 인식 기술은 얼굴 검출, 얼굴 위치교정 및 투영, 그리고 얼굴에 대한 인코딩 등의 기법을 통해 다양한 각도에서 찍히는 얼굴에서 동일한 사람을 찾아내는 것이 가능해졌다.
또한, 동일한 이미지라도 보는 각도와 크기가 다른 경우 일반적인 이미지 비교 방법은 확인이 어려운 경우가 있으나, 이미지 상의 특성을 검출한 후 비교하는 방법을 이를 해결하고 있다. 또한 랜드마크 이미지 검색은 다양한 이미지에서 랜드마크를 찾아 그 정보를 제공하는 형태로 기술이 발달되어 왔다.
하지만, 상술한 기술은 이미지에 한정되어있고, 실시간으로 재생 중인 동영상에서 볼 수 있는 장소에 대한 인식 및 제공 방법에 대한 기술이 전무한 상태이다.
본 발명이 해결하고자 하는 과제는 사용자가 이용중인 동영상에 등장하는 오브젝트를 인식하고, 이를 분석하여 사용자에게 동영상에서 등장하는 장소에 대한 정보를 실시간으로 전달하는 것에 목적이 있다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예에 따른, 서버에 의해 수행되는, 동영상에서 위치 정보를 수집하는 방법에 있어서, (a) 동영상에서 기 설정된 프레임 단위로 제 1 거리 이미지를 추출하는 단계; (b) 제 1 거리 이미지에서 이정표 정보를 인식하는 단계; (c) 데이터베이스에서 이정표 정보에 매칭된 위치 기반 데이터를 검색하는 단계; (d) 검색 결과에 기초하여, 위치 기반 데이터가 포함하는 위치 정보를 제 1 거리 이미지에 대응시키는 단계; 및 (e) 위치 정보가 대응된 복수의 제 1 거리 이미지를 시간 순서에 따라 통합하여 동영상이 포함하는 지역에 대한 이동 경로 정보를 생성하는 단계;를 포함하되, 이정표 정보는 제 1 거리 이미지가 포함하는 표지판, 간판 또는 랜드마크에서 추출한 텍스트 정보 또는 이미지 정보이고, 위치 기반 데이터는 표지판, 간판 또는 랜드마크에서 기 추출한 텍스트 정보 또는 이미지정보와 그에 대응되는 위치 정보를 포함하는 방법일 수 있다.
본 발명의 다른 일 실시예에 따른, 거리 동영상에서 위치 정보를 수집하는 장치에 있어서, 거리 동영상에서 이정표, 간판 또는 랜드마크를 인식하여 위치 정보를 도출하는 프로그램이 저장된 메모리 및 메모리에 저장된 프로그램을 실행하여 거리 동영상에서 이정표, 간판 또는 랜드마크를 인식하여 위치 정보를 도출하는 동작을 실행하는 프로세서를 포함하되, 프로세서는 동영상에서 기 설정된 프레임 단위로 제 1 거리 이미지를 추출하고, 제 1 거리 이미지에서 이정표 정보를 인식하고, 데이터베이스에서 이정표 정보에 매칭된 위치 기반 데이터를 검색하고, 검색 결과에 기초하여, 위치 기반 데이터가 포함하는 위치 정보를 제 1 거리 이미지에 대응시키고, 위치 정보가 대응된 복수의 제 1 거리 이미지를 시간 순서에 따라 통합하여 동영상이 포함하는 지역에 대한 이동 경로 정보를 생성하되, 이정표 정보는 제 1 거리 이미지가 포함하는 표지판, 간판 또는 랜드마크에서 추출한 텍스트 정보 또는 이미지 정보이고, 위치 기반 데이터는 표지판, 간판 또는 랜드마크에서 기 추출한 텍스트 정보 또는 이미지정보와 그에 대응되는 위치 정보를 포함하는 장치.
본 발명에 따른, 사용자가 이용중인 동영상에 등장하는 오브젝트 및 음성을 인식하고, 이를 분석하여 사용자에게 동영상에서 등장하는 장소에 대한 정보를 실시간으로 전달할 수 있다.
또한, 사용자는 비디오, 클라우드 서비스 등의 비디오 간의 연관 정보 검색을 위한 장소 정보를 자동으로 취합하거나, 장소 및 랜드마크 기반의 비디오 추천 서비스를 위한 데이터 베이스 구축에 많은 기여를 할 수 있을 것이다.
또한, 동영상의 위치 정보 태그 생성을 자동화하고, 특성을 고려한 시간 기반 위치 정보를 리스트화하여 사용자에게 제공할 수도 있다.
도 1은 본 발명의 일 실시예에 따른, 거리 동영상에서 위치 정보를 수집하는 시스템의 구성을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른, 서버(100)의 구성을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른, 동영상에서 위치 정보를 수집하는 방법을 나타낸 동작흐름도이다.
도 4는 본 발명의 일 실시예에 따른, 위치 기반 데이터를 생성하는 방법을 나타낸 동작흐름도이다.
도 5는 본 발명의 일 실시예에 따른, 제 1 거리 이미지에서 표지판을 인식하는 예시를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른, 랜드마크를 인식하는 예시를 나타낸 도면이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 발명 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.
본 발명 명세서 전체에서, 어떤 부재가 다른 부재 “상에” 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
본 발명 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 본 발명 명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.
명세서 전체에서, 서버(100)는 거리 동영상에서 위치 정보를 수집하기 위한 장치를 의미할 수 있다.
도 1 은 본 발명의 일 실시예에 따른, 동영상에서 위치 정보를 수집하는 시스템(1)의 구성을 나타낸 도면이다.
도 1을 참조하면, 동영상에서 위치 정보를 수집하는 시스템(1)은 서버(100), 사용자 단말(200) 및 로드뷰 서버(300)를 포함할 수 있다. 또한, 서버(100)는 로드뷰 정보와 동영상 정보를 수신하기 위해서 사용자 단말(200) 및 로드뷰 서버(300)와 통신망을 통해 상호 연결될 수 있다.
본 발명에서 사용되는 동영상이란 카메라를 이용하여 각종 대상체를 촬영한 것으로, 특히 거리나 특정 지역의 모습을 촬영한 것을 포함한다. 예컨대, CCTV의 영상, 사람들이 카메라, 캠코더 또는 스마트 폰등으로 촬영한 영상, 기타 영화 속 장면과 같은 멀티 미디어 콘텐츠나 실시간으로 생성중인 영상의 데이터도 적용이 가능하기에 동영상의 종류가 본 발명의 범위를 제한하지 않는다.
본 발명의 일 실시예에 따라 서버(100)는 수신된 동영상에서 기 설정된 프레임 단위로 제 1 거리 이미지를 추출하고, 추출된 이미지에서 이정표 정보를 인식하게 된다. 이때, 거리 이미지는 차량 등이 통행하는 통행로를 촬영한 것을 의미하는 것으로, 일부 거리 이미지는 행인, 각종 차량뿐만 아니라, 랜드마크가 되는 주요 건물, 길거리의 방향을 나타내는 표지판, 각종 간판 등 이정표 정보를 추출할 수 있는 다양한 객체를 포함할 수 있다.
또한, 이정표 정보에 기초하여 기 설정된 이정표 정보에 대응하는 위치 기반 데이터를 검색하고, 검색 결과에 따라 제 1 거리 이미지에 위치 정보를 대응시킨다.
또한, 위치 정보가 대응된 제 1 거리 이미지가 복수로 생성되어 있는 경우, 이들을 시간 순서대로 통합하여 이동 경로 정보를 생성하여 사용자 단말(200)로 제공할 수 있다.
이때, 이정표 정보는 서버(100)가 동영상에서 추출한 제 1 거리 이미지가 포함하는 표지판, 간판 혹은 랜드마크가 되는 건물이나 구조물로부터 추출된 텍스트 정보 및 이미지 정보가 포함될 수 있다.
예컨대, 서버(100)가 사용자 단말(200)로부터 수신한 동영상을 기 설정된 프레임 단위로 나누어 복수의 제 1 거리 이미지를 추출하고, 각각의 제 1 거리 이미지에 포함되어 있는 이정표 정보를 인식하게 된다. 또한, 데이터베이스에서 이정표 정보와 대응하는 위치 기반 데이터를 검색하여 각각의 제 1 거리 이미지와 위치 정보를 매핑하게 된다. 이후, 복수의 제 1 거리 이미지의 위치 정보를 동영상의 재생 순서대로 매핑시켜 이동 경로 정보를 생성하게 되는 것이다.
이때, 위치 기반 데이터는 표지판, 간판 및 랜드마크에서 추출한 텍스트 정보 및 이미지 정보와 그에 대응되는 위치 정보를 뜻하게 된다. 즉, 표지판과 간판 혹은 특정 건물이 세워진 위치 정보를 표지판, 간판 및 랜드마크의 이미지나 텍스트에 매핑하여 데이터베이스에 저장한 값이 되는 것이다.
따라서, 서버(100)는 이정표 정보에 대응하는 위치 정보를 데이터베이스화 하기 위해 로드뷰 서버(300)로부터 특정 거리나 지역에 대한 제 2 거리 이미지를 추가로 추출하게 되는 것이다.
이후 제 2 거리 이미지로부터 표지판, 간판 및 랜드마크에 대한 정보를 추출하고, 제 2 거리 이미지가 추출된 지점의 주소 정보를 매핑시켜 위치 기반 데이터를 생성하게 되는 것이다.
사용자 단말(200)은 서버(100)로부터 거리에 대한 장면이 포함된 동영상을 제공하고, 그에 대한 이동 경로 정보를 수신하는 단말이 될 수 있다.
이때, 사용자 단말(200)은 서버(100)로부터 제공받은, 동영상에서 위치 정보를 수집하는 어플리케이션을 통해 서비스를 제공 받을 수 있다. 동영상에서 위치 정보를 수집하는 어플리케이션은 사용자 단말(200)에 내장된 어플리케이션이거나, 어플리케이션 배포 서버로부터 다운로드되어 사용자 단말(200)에 설치된 어플리케이션일 수 있다.
또한, 사용자 단말(200)들은 유무선 통신 환경에서 단말 어플리케이션을 이용할 수 있는 통신 단말기를 의미한다. 여기서 사용자 단말(200)은 사용자의 휴대용 단말기나 퍼스널컴퓨터일 수 있다. 도 1에서는 사용자 단말(200)이 휴대용 단말기의 일종인 스마트폰(smart phone)으로 도시되었지만, 본 발명의 사상은 이에 제한되지 아니하며, 상술한 바와 같이 단말 어플리케이션을 탑재할 수 있는 단말에 대해서 제한 없이 차용될 수 있다.
이를 더욱 상세히 설명하면, 사용자 단말(200)은 일반적인 퍼스널컴퓨터(personal computer), 핸드헬드 컴퓨팅 디바이스(예를 들면, PDA, 이메일 클라이언트 등), 핸드폰의 임의의 형태, 또는 다른 종류의 컴퓨팅 또는 커뮤니케이션 플랫폼의 임의의 형태를 포함할 수 있으나, 본 발명이 이에 한정되는 것은 아니다.
로드뷰 서버(300)는 로드뷰에 대한 정보를 서버(100)로 제공하는 서버의 일종으로서, 외부 서버이거나 서버(100) 내부에 포함되어 있는 하위 서버일 수 있다.
로드뷰 서버(300)는 거리에 대한 다양한 정보를 이미지화 하여 포함하고 있으며, 각 지점에 대한 주소 정보를 함께 포함할 수 있다.
한편, 통신망은 서버(100)와 사용자 단말(200) 혹은 로드뷰 서버(300)들을 연결하는 역할을 수행한다. 즉, 통신망은 사용자 단말(200)들이 서버(100)에 접속하거나, 서버(100)가 로드뷰 서버(300)로부터 데이터를 송수신할 수 있도록 접속 경로를 제공하는 통신망을 의미한다. 통신망은 예컨대 LANs(Local Area Networks), WANs(Wide Area Networks), MANs(Metropolitan Area Networks), ISDNs(Integrated Service Digital Networks) 등의 유선 네트워크나, 무선 LANs, CDMA, 블루투스, 위성 통신 등의 무선 네트워크를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
도 2는 본 발명의 일 실시예에 따른, 서버(100)의 구성을 나타낸 도면이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 서버(100)는 통신 모듈(110), 메모리(120), 프로세서(130) 및 데이터베이스(140)를 포함한다.
상세히, 통신 모듈(110)은 통신망(300)과 연동하여 서버(100)와 사용자 단말(200) 혹은 로드뷰 서버(300) 간의 송수신 신호를 패킷 데이터 형태로 제공하는 데 필요한 통신 인터페이스를 제공한다. 나아가, 통신 모듈(110)은 사용자 단말(200)과 로드뷰 서버(300)로부터 데이터 요청을 수신하고, 이에 대한 응답으로서 데이터를 송신하는 역할을 수행할 수 있다.
여기서, 통신 모듈(110)은 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.
메모리(120)는 동영상에서 위치 정보를 수집하는 위한 프로그램이 기록된다. 또한, 프로세서(130)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행한다. 여기서, 메모리(120)는 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
프로세서(130)는 일종의 중앙처리장치로서 동영상에서 위치 정보를 수집하는 전체 과정을 제어한다. 프로세서(130)가 수행하는 각 단계에 대해서는 도 3 및 도 4를 참조하여 후술하기로 한다.
여기서, 프로세서(130)는 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
데이터베이스(140)는 로드뷰 서버(300)로부터 수신한 데이터를 기반으로 서버(100)가 생성한 위치 기반 데이터가 저장될 수 있다.
또한, 구현되는 시스템의 구성에 따라 데이터베이스(140)는 동영상으로부터 인식한 제 1 거리 이미지와 이정표 정보를 추가 저장할 수도 있다.
비록 도 2에는 도시하지 아니하였으나, 위치 기반 데이터나 제 1 거리 이미지나 이정표 정보 중 일부는 데이터베이스(140)와 물리적 또는 개념적으로 분리된 데이터베이스(미도시)에 저장될 수 있다.
도 3은 본 발명의 일 실시예에 따른, 동영상에서 위치 정보를 수집하는 방법을 나타낸 동작흐름도이다.
도 3을 참조하면, 동영상에서 제 1 거리 이미지를 추출한다(S310).
이를 상세하게 설명하면, 사용자 단말(200)로부터 수신한 동영상을 기 설정된 프레임 단위로 나누어 제 1 거리 이미지를 추출하되, 제 1 거리 이미지는 적어도 하나 이상이 생성될 수 있다.
이때, 짧은 프레임의 단위로 동영상을 나누어 이미지를 추출하면, 추후 생성되는 이동 경로 정보의 정확도가 높아지게 된다. 하지만, 서버(100)가 처리해야 하는 데이터가 증가하고 생성되는 이동 경로 정보의 용량이 커지기 때문에 정보의 사용 용도나 서버(100)의 성능에 맞는 프레임 단위로 제 1 거리 이미지를 추출해야만 한다.
추가 실시예로, 서버(100)는 사용자 단말(200)로부터 동영상이 아닌 제 1 거리 이미지 파일을 직접 수신하여, 위치 정보를 매핑 후 사용자 단말(200)로 제공할 수도 있다.
단계(S310)에서 추출된 제 1 거리 이미지에서 이정표 정보를 인식한다(S320).
단계(S320)에서 인식되는 이정표 정보는 앞서 서술한 바와 같이 제 1 거리 이미지가 포함하고 있는 표지판, 간판 및 랜드마크의 이미지 정보 및 텍스트 정보가 될 수 있다.
이때, 선택적 실시예로 단계(S310)에서 추출된 제 1 거리 이미지에 표지판, 간판 및 랜드마크가 존재하지 않거나, 화질이 좋지 못하여 이정표 정보의 인식이 불가능하다면, 서버(100)는 다음 프레임에서 추출된 제 1 거리 이미지를 사용하여 이정표 정보를 인식하게 된다.
만약, 동영상의 화질이 낮아 서버(100)가 이정표 정보를 인식하지 못한다면, 사용자 단말(200)로부터 표지판이나 간판에 대한 텍스트 정보를 서버(100)에 직접 입력하는 방식을 통해 이정표 정보를 제공할 수도 있다.
예컨대, 서버(100)가 동영상에서 추출된 제 1 거리 이미지의 화질이 너무 낮으면, 그에 대한 경고 메시지와 이정표 정보를 입력할 수 있는 인터페이스를 사용자 단말(200)에 제공하게 되고, 그에 대한 회신을 받게 되는 것이다.
서버(100)는 단계(S320)에서 인식된 이정표 정보에 매핑하는 위치 정보를 검색 후 매핑 시키게 된다(S330).
단계(S330)에서 서버(100)는 데이터베이스에서 이정표 정보에 매핑하는 위치 기반 데이터를 검색하고, 검색 결과에 기초하여 위치 기반 데이터가 포함하는 위치 정보를 제 1 거리 이미지에 대응시키게 된다.
이때, 검색의 결과로 이정표 정보에 대응하는 위치 정보가 복수로 검색되면 제 1 거리 이미지에 포함된 복수의 표지판, 간판 및 랜드마크로부터 추출된 복수의 이정표 정보와 대응하는 모든 위치 정보 중 가장 공통된 지역을 가리키는 위치 정보를 이정표 정보와 매핑하게 된다.
예컨대, A라는 지역의 제 1 거리 이미지가 포함하는 '드림 슈퍼'라는 간판을 서버(100)가 인식하여 데이터베이스에서 검색 시, 그에 대한 결과로 복수개의 위치 정보가 검색될 수 있다. 이는 '드림 슈퍼'라는 간판이 A지역 이외에도 다양한 곳에서 공통적으로 사용될 수 있기 때문이다.
이러한 경우, 서버(100)는 제 1 거리 이미지에서 함께 인식된 '드림 학원'이라는 이정표 정보를 데이터베이스로 검색하여 산출된 '드림 학원'이라는 위치 정보와 복수로 산출된 '드림 슈퍼'의 위치 정보 중 공통된 지역을 산출하여 이정표 정보와 매칭하게 되는 것이다.
만약, '드림 슈퍼'와 '드림 학원'의 위치 정보가 모두 복수로 검색된다면, 추가적인 이정표 정보를 통해 검색된 위치 정보와 비교 후 많은 공통점을 가지는 위치 정보를 이정표 정보와 매핑하게 되는 것이다.
그 밖에도 제 1 거리 이미지에서 추출된 복수의 이정표 정보가 포함하는 이미지와 데이터베이스에 저장된 위치 기반 데이터가 포함하는 표지판, 간판 및 랜드마크의 이미지와 직접 비교를 수행하여 매칭되는 값이 존재하면, 위치 기반 데이터가 포함하는 위치 정보를 이정표 정보에 대응시키게 되는 것이다.
이때, 추가 실시예로 서버(100)가 복수로 검색된 위치 정보를 사용자 단말(200)로 제공하여, 사용자가 위치를 직접 선택할 수 있도록 유도할 수도 있다.
단계(S330)가 끝나면, 동영상의 재생 시간에 기초하여 이동 경로 정보를 생성한다(S340).
서버(100)가 복수의 제 1 거리 이미지와 그에 대응하는 위치 정보의 매핑이 끝나는 경우, 제 1 거리 이미지가 추출되는 동영상의 재생 시간에 맞추어 위치 정보를 연결시켜 이동 경로 정보를 생성하게 되는 것이다.
즉, 단계(S310)에서 서버(100)는 제 1 거리 이미지가 추출되는 동영상의 재생 시간을 더 인식하거나, 제 1 거리 이미지가 재생 시간대 정보를 포함하고 있어야 한다.
이후, 재생 시간에 기초하여 복수의 제 1 거리 이미지와 대응하는 위치 정보를 시간 순서대로 통합하여 이동 경로 정보를 생성하는 것이다.
예를 들어, 재생 시간이 1초에 대응하는 제 1 거리 이미지의 위치 정보와 10초에 대응하는 제 1 거리 이미지의 위치 정보를 연결하여 이동 경로 정보를 생성하는 것이다.
추가 실시예로, 서버(100)는 단계(S310)에서 제 1 거리 이미지가 추출되는 동영상의 재생 시간을 기준으로 기 설정된 시간 이내에 출력되는 음성 정보를 더 인식할 수 있다.
이후, 단계(S320)에서 음성인식 기술에 기초하여 앞서 인식한 음성 정보에서 텍스트 정보를 추출하여 이정표 정보로 사용할 수도 있다. 예를 들어, 촬영자가 녹화중에 현재의 위치에 대한 정보를 직접적으로 말하는 경우, 그 위치에 대한 정보를 텍스트로서 추출할 수 있다.
도 4는 본 발명의 일 실시예에 따른, 위치 기반 데이터를 생성하는 방법을 나타낸 동작흐름도이다.
도 4를 서술된 작업은 앞서 서술한 바와 같이 서버(100)가 제 1 거리 이미지에서 추출된 이정표 정보에 대응하는 위치 정보를 사전에 데이터베이스(140)에 저장하는 작업을 뜻하게 된다.
먼저, 도 4를 참조하면 로드뷰로부터 제 2 거리 이미지를 추출한다(S410).
이때, 로드뷰는 기존의 포털 사이트 등을 통해 제공되는 지도 서비스에서 제공되는 실제 도로를 촬영한 연속된 도로 이미지로서, 마치 차량이 주행하는 현실감을 줄 수 있으며, 단순 평면 이미지뿐만 아니라 이들을 결합하여 360도 회전하는 구도를 제공할 수 있다. 또한, 제 2 거리 이미지란 서버(100)가 로드뷰 서버(300)로부터 수신한 특정 거리에 대한 이미지를 뜻하게 된다.
추가 실시예로, 제 2 거리 이미지는 평면 이미지가 아닌 360도 구도를 지니는 이미지가 될 수 있으며, 이러한 경우 더 많은 데이터를 생성하게 된다.
단계(S410)를 진행 후 서버(100)는 제 2 거리 이미지에 포함된 표지판, 간판 및 랜드마크를 인식한다(S420).
이때, 서버(100)는 제 2 거리 이미지에 포함된 표지판, 간판 및 랜드마크를 이미지 정보로 추출하고, 표지판과 간판이 포함하는 텍스트 정보를 추가로 읽어 들이게 되는 것이다.
인식된 표지판, 간판 및 랜드마크와 위치정보를 결합하여 위치기반 데이터를 생성한다(S430).
이때, 서버(100)는 제 2 거리 이미지가 추출되는 지점에서의 주소 정보를 위치 정보로 사용하게 되고, 각 표지판, 간판 및 랜드마크에서 인식된 이미지 정보와 텍스트 정보를 매칭시켜 위치 기반 데이터를 생성하게 되는 것이다.
만약, 표지판, 간판 및 랜드마크에서 인식된 하나의 텍스트 정보에 다수의 주소가 대응하는 경우 이를 모두 매칭시키지만, 이미지 정보에는 고유성을 가질 수 있기에 하나의 주소만 매칭시키게 된다. 이는 추후 동영상에서 이정표 정보에 복수개의 위치 정보가 매칭될 시, 이미지 정보에 기초하여 하나의 위치 정보만을 추출할 수 있도록 유도하는 정보로 사용될 수 있다.
도 5는 본 발명의 일 실시예에 따른, 제 1 거리 이미지에서 표지판을 인식하는 예시를 나타낸 도면이다.
도 5를 참조하면, 서버(100)는 기 설정된 프레임 단위로 제 1 거리 이미지를 추출해낼 수 있다.
또한, 서버(100)는 추출된 제 1 거리 이미지에서 이정표 정보를 인식하게 되는데, 예시로 제시된 도 5의 경우 도로의 표지판(400)을 인식하여 이정표 정보를 생성하게 된다.
이때, 표지판(400)은 제 1 거리 이미지 내에 6개가 존재하고 각각의 이정표 정보를 생성하여, 데이터베이스(140)에 기 저장된 위치 기반 데이터를 검색하게 되는 것이다.
도 6은 본 발명의 일 실시예에 따른, 랜드마크를 인식하는 예시를 나타낸 도면이다.
도 6을 참조하면, 서버(100)는 동영상에 포함되어 있는 랜드마크(500)를 인식하여 이정표 정보를 생성하게 된다.
이때, 랜드마크(500)의 이미지 정보는 서버(100)가 랜드마크(500)를 충분하게 인식할 수 있는 기 설정된 구도와 크기에서만 인식하게 된다.
또한, 추가 실시예로 랜드마크(500)의 인식률을 높이기 위해 서버(100)는 소정의 기울어진 구도의 이미지 정보를 보정할 수 있는 기능을 더 포함할 수도 있다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
1: 동영상에서 위치 정보를 수집하는 시스템
100: 서버 200: 사용자 단말
300: 로드뷰 서버

Claims (11)

  1. 서버에 의해 수행되는, 동영상에서 위치 정보를 수집하는 방법에 있어서,
    (a) 동영상에서 기 설정된 프레임 단위로 제 1 거리 이미지를 추출하는 단계;
    (b) 상기 제 1 거리 이미지에서 이정표 정보를 인식하는 단계;
    (c) 데이터베이스에서 상기 이정표 정보에 매칭된 위치 기반 데이터를 검색하는 단계;
    (d) 검색 결과에 기초하여, 상기 위치 기반 데이터가 포함하는 위치 정보를 상기 제 1 거리 이미지에 대응시키는 단계; 및
    (e) 상기 위치 정보가 대응된 복수의 제 1 거리 이미지를 시간 순서에 따라 통합하여 상기 동영상이 포함하는 지역에 대한 이동 경로 정보를 생성하는 단계;
    를 포함하되,
    상기 이정표 정보는 상기 제 1 거리 이미지가 포함하는 표지판, 간판 또는 랜드마크에서 추출한 텍스트 정보 또는 이미지 정보이고,
    상기 위치 기반 데이터는 상기 표지판, 간판 또는 랜드마크에서 기 추출한 텍스트 정보 또는 이미지정보와 그에 대응되는 위치 정보를 포함하는 것인, 동영상에서 위치 정보를 수집하는 방법.
  2. 제 1 항에 있어서,
    상기 위치 기반 데이터는 로드뷰에서 추출한 제 2 거리 이미지에 포함된 표지판, 간판 또는 랜드마크와 그에 매칭된 위치 정보를 더 포함하는 것인
    를 포함하는 것인, 동영상에서 위치 정보를 수집하는 방법.
  3. 제 2 항에 있어서,
    상기 위치 정보는 상기 로드뷰에서 제 2 거리 이미지를 추출한 지점이 포함하는 주소 정보인 것인, 동영상에서 위치 정보를 수집하는 방법.
  4. 제 1 항에 있어서,
    상기 (b) 단계는
    상기 제 1 거리 이미지에서 상기 표지판, 간판 및 랜드마크의 이미지 정보가 포함되어 있지 않으면, 상기 제 1 거리 이미지를 삭제하고 다음 프레임 단위로 추출된 제 1 거리 이미지에서 상기 이정표 정보를 인식하는 것인, 동영상에서 위치 정보를 수집하는 방법.
  5. 제 1 항에 있어서,
    상기 (d) 단계는
    상기 검색 결과로 상기 이정표 정보의 텍스트 정보와 대응하는 상기 위치 정보가 복수로 검색되면, 상기 제 1 거리 이미지에서 포함된 복수의 표지판, 간판 및 랜드마크로부터 추출된 복수의 이정표 정보와 대응하는 모든 상기 위치 정보 중 가장 공통된 지역을 가리키는 상기 위치 정보를 상기 이정표 정보와 매핑하는 것인, 동영상에서 위치 정보를 수집하는 방법.
  6. 제 1 항에 있어서,
    상기 (d) 단계는
    상기 검색 결과로 상기 이정표 정보의 텍스트 정보와 대응하는 상기 위치 정보가 복수로 검색되면, 상기 제 1 거리 이미지에서 추출된 복수의 이정표 정보가 포함하는 이미지 정보와 기 저장된 상기 위치 기반 데이터가 포함하는 상기 표지판, 간판 및 랜드마크의 이미지 정보를 직접 비교 후 매칭되는 상기 위치 정보를 상기 이정표 정보와 매핑하는 것인, 동영상에서 위치 정보를 수집하는 방법.
  7. 제 1 항에 있어서,
    상기 (a) 단계는
    상기 제 1 거리 이미지가 추출되는 상기 동영상의 재생 시간을 더 인식하는 것인, 동영상에서 위치 정보를 수집하는 방법.
  8. 제 7 항에 있어서,
    상기 동영상의 재생 시간에 기초하여 복수의 제 1 거리 이미지와 대응하는 상기 위치 정보를 시간의 순서대로 연결하여 상기 이동 경로 정보를 생성하는 것인, 동영상에서 위치 정보를 수집하는 방법.
  9. 제 1 항에 있어서,
    상기 (a) 단계는
    상기 제 1 거리 이미지가 추출되는 상기 동영상의 재생 시간을 기준으로 기 설정된 시간 이내에 출력되는 음성 정보를 더 인식하고,
    상기 (b) 단계는
    음성인식 기술에 기초하여 상기 음성 정보에서 텍스트 정보를 추출하여 상기 이정표 정보를 생성하는 것인, 동영상에서 위치 정보를 수집하는 방법.
  10. 거리 동영상에서 위치 정보를 수집하는 장치에 있어서,
    상기 거리 동영상에서 이정표, 간판 또는 랜드마크를 인식하여 상기 위치 정보를 도출하는 프로그램이 저장된 메모리 및
    상기 메모리에 저장된 프로그램을 실행하여 상기 거리 동영상에서 이정표, 간판 또는 랜드마크를 인식하여 상기 위치 정보를 도출하는 동작을 실행하는 프로세서를 포함하되,
    상기 프로세서는 동영상에서 기 설정된 프레임 단위로 제 1 거리 이미지를 추출하고, 상기 제 1 거리 이미지에서 이정표 정보를 인식하고, 데이터베이스에서 상기 이정표 정보에 매칭된 위치 기반 데이터를 검색하고, 검색 결과에 기초하여, 상기 위치 기반 데이터가 포함하는 위치 정보를 상기 제 1 거리 이미지에 대응시키고, 상기 위치 정보가 대응된 복수의 제 1 거리 이미지를 시간 순서에 따라 통합하여 상기 동영상이 포함하는 지역에 대한 이동 경로 정보를 생성하되,
    상기 이정표 정보는 상기 제 1 거리 이미지가 포함하는 표지판, 간판 또는 랜드마크에서 추출한 텍스트 정보 또는 이미지 정보이고, 상기 위치 기반 데이터는 상기 표지판, 간판 또는 랜드마크에서 기 추출한 텍스트 정보 또는 이미지정보와 그에 대응되는 위치 정보를 포함하는 것인, 거리 동영상에서 위치 정보를 수집하는 장치.
  11. 제 1 항 내지 제 9 항 중 어느 한 항에 따른 동영상에서 위치 정보를 수집하는 방법을 수행하는 프로그램이 기록된 컴퓨터 판독가능 기록매체.
KR1020190009777A 2018-01-26 2019-01-25 동영상으로부터 장소 정보를 추출하는 장치 및 방법 KR20190091214A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20180010247 2018-01-26
KR1020180010247 2018-01-26

Publications (1)

Publication Number Publication Date
KR20190091214A true KR20190091214A (ko) 2019-08-05

Family

ID=67615964

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190009777A KR20190091214A (ko) 2018-01-26 2019-01-25 동영상으로부터 장소 정보를 추출하는 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20190091214A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111833253A (zh) * 2020-07-20 2020-10-27 北京百度网讯科技有限公司 兴趣点空间拓扑构建方法和装置、计算机系统和介质
KR20220147304A (ko) * 2021-04-27 2022-11-03 네이버랩스 주식회사 맵 생성 방법 및 이를 이용한 이미지 기반 측위 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111833253A (zh) * 2020-07-20 2020-10-27 北京百度网讯科技有限公司 兴趣点空间拓扑构建方法和装置、计算机系统和介质
CN111833253B (zh) * 2020-07-20 2024-01-19 北京百度网讯科技有限公司 兴趣点空间拓扑构建方法和装置、计算机系统和介质
KR20220147304A (ko) * 2021-04-27 2022-11-03 네이버랩스 주식회사 맵 생성 방법 및 이를 이용한 이미지 기반 측위 방법

Similar Documents

Publication Publication Date Title
US20200175054A1 (en) System and method for determining a location on multimedia content
CN102521365B (zh) 空间图像索引和关联的更新功能
US10997788B2 (en) Context-aware tagging for augmented reality environments
US9076069B2 (en) Registering metadata apparatus
US20160371305A1 (en) Method, device and apparatus for generating picture search library, and picture search method, device and apparatus
JP2019502152A (ja) 地図更新方法および車載端末
CN105517679B (zh) 用户地理位置的确定
CN105975570B (zh) 基于地理位置的视频搜索方法及系统
CN110298269B (zh) 场景图像定位方法、装置、设备及可读存储介质
CN107077507B (zh) 一种信息推送方法、装置和系统
US20130329061A1 (en) Method and apparatus for storing image data
US20140223319A1 (en) System, apparatus and method for providing content based on visual search
US9679032B2 (en) Device information providing system and device information providing method
WO2020098431A1 (zh) 一种构建地图模型的方法及装置
KR20220098030A (ko) 타깃 운동 궤적 구축 방법, 기기 및 컴퓨터 저장 매체
KR20190091214A (ko) 동영상으로부터 장소 정보를 추출하는 장치 및 방법
KR102145882B1 (ko) 경로안내 영상 제공 시스템 및 방법, 그리고 이를 위한 장치 및 컴퓨터 프로그램이 기록된 기록매체
JP2010272054A (ja) 建築物関連情報提供装置、建築物関連情報提供方法および建築物関連情報提供プログラム
KR20110094970A (ko) 멀티미디어 컨텐츠의 태그 관리 방법 및 장치
KR100853379B1 (ko) 위치기반 이미지 파일 변환 서비스 방법 및 서비스 서버
CN110796706A (zh) 视觉定位方法及系统
CN116912899B (zh) 一种基于区域网络的人员搜索方法及装置
KR20150124231A (ko) 미디어 수집장치 및 방법
CN113515982B (zh) 轨迹还原方法及设备、设备管理方法及管理设备
JP2019174989A (ja) 画像圧縮方法及び画像圧縮装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application