KR20200069911A - 영상들 간에 객체와 객체 위치의 동일성을 식별하기 위한 방법 및 장치 - Google Patents

영상들 간에 객체와 객체 위치의 동일성을 식별하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR20200069911A
KR20200069911A KR1020180157485A KR20180157485A KR20200069911A KR 20200069911 A KR20200069911 A KR 20200069911A KR 1020180157485 A KR1020180157485 A KR 1020180157485A KR 20180157485 A KR20180157485 A KR 20180157485A KR 20200069911 A KR20200069911 A KR 20200069911A
Authority
KR
South Korea
Prior art keywords
images
identity
identifying
region
location
Prior art date
Application number
KR1020180157485A
Other languages
English (en)
Other versions
KR102297217B1 (ko
Inventor
유석봉
한미경
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020180157485A priority Critical patent/KR102297217B1/ko
Publication of KR20200069911A publication Critical patent/KR20200069911A/ko
Application granted granted Critical
Publication of KR102297217B1 publication Critical patent/KR102297217B1/ko

Links

Images

Classifications

    • G06K9/6215—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

영상들 간에 객체와 객체 위치의 동일성을 식별하기 위한 방법 및 장치가 개시된다. 영상들 간에 객체와 객체 위치의 동일성을 식별하기 위한 방법은, 크라우드 소싱 기반으로 복수의 영상을 수집하는 단계, 수집된 복수의 영상을 각각 객체 영역과 배경 영역으로 분리하는 단계, 상기 객체 영역으로 분리된 영상들에서 추출한 특징점들을 서로 매칭하여 객체의 동일성을 식별하는 단계 및 상기 배경 영역으로 분리된 영상들에서 추출한 특징점들을 서로 매칭하여 객체 위치의 동일성을 식별하는 단계를 포함한다.

Description

영상들 간에 객체와 객체 위치의 동일성을 식별하기 위한 방법 및 장치{METHOD AND APPARATUS FOR IDENTIFYING OBJECT AND OBJECT LOCATION EQUALITY BETWEEN IMAGES}
본 발명은 영상들 간에 객체와 객체 위치의 동일성을 식별하기 위한 방법 및 장치에 관한 것으로, 더욱 상세하게는 영상들 간에 객체의 동일성 뿐만 아니라 객체의 위치 동일성을 판단함으로써, 관심 객체의 변화 상태를 정확히 식별하는 기술에 관한 것이다.
영상 분석 기술이 발달함에 따라 카메라로 촬영된 각종 영상들을 분석하여 관심 객체를 비롯한 주변 환경 변화를 관찰하고자 하는 연구가 활발히 진행되고 있다. 특히, 안전하고 자동화된 스마트 시티를 구축하기 위해서는 도로나 주택가 등에 설치된 각종 CCTV 영상들을 분석하여 도시 내 도로 환경이나 주거 환경 변화를 신속하게 파악하고 대처하는 것이 필수적이다.
이처럼, 다수의 카메라로부터 획득된 이미지를 분석하여 이미지에 포함된 여러 객체들의 변화를 추적하는 종래 기술들 중 하나는, 관심 객체가 움직이는 속도를 추정하고, 추정한 속도를 기반으로 객체가 될 수 있는 후보를 최소화한다. 이후, 최소화된 후보들을 대상으로 객체의 포즈와 특징점을 분석함으로써 객체의 동일성을 식별한다.
또 다른 종래 기술은, 카메라 뷰에 관계없이 관심 객체의 동일성 유무를 인식하기 위하여, 객체의 상대적 방향성에 기초하여 최적의 카메라 셋팅을 결정하고, 결정된 카메라 셋팅으로 촬영된 영상에 대한 특징점 추출을 통해 객체를 분류함으로써 객체의 동일성을 식별한다.
그런데, 기존의 종래기술들은 객체의 동일성 유무 판단에 집중하고, 객체가 실제로 어디에 위치하고 있는지 객체의 절대 위치의 동일성 유무를 고려하지 않기 때문에 불법 주차, 팟홀(pothole), 로드킬 등과 같은 동적 환경 변화를 용이하기 파악하는 데 어려움이 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 영상들 간에 객체와 객체 위치의 동일성을 식별하기 위한 방법을 제공하는 데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은, 영상들 간에 객체와 객체 위치의 동일성을 식별하기 위한 장치를 제공하는 데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 또 다른 목적은, 크라우드 소싱 기반의 영상들을 이용한 도로 환경 관리 시스템을 제공하는 데 있다.
상기 목적을 달성하기 위한 본 발명은, 영상들 간에 객체와 객체 위치의 동일성을 식별하기 위한 방법을 제공한다.
영상들 간에 객체와 객체 위치의 동일성을 식별하기 위한 방법은, 크라우드 소싱 기반으로 복수의 영상을 수집하는 단계, 수집된 복수의 영상을 각각 객체 영역과 배경 영역으로 분리하는 단계, 상기 객체 영역으로 분리된 영상들에서 추출한 특징점들을 서로 매칭하여 객체의 동일성을 식별하는 단계 및 상기 배경 영역으로 분리된 영상들에서 추출한 특징점들을 서로 매칭하여 객체 위치의 동일성을 식별하는 단계를 포함할 수 있다.
상기 객체 영역과 배경 영역으로 분리하는 단계는, 수집된 복수의 영상에 대한 위치 정보를 기반으로 상기 복수의 영상을 하나 이상의 그룹으로 분류하는 단계 및 동일한 그룹으로 분류된 복수의 영상 각각을 객체 영역과 배경 영역으로 분리하는 단계를 포함할 수 있다.
상기 복수의 영상에 대한 위치 정보는, 상기 복수의 영상 각각에 대하여 촬영한 촬상 장치에서 영상 촬영 시점에 획득되는 GPS 정보일 수 있다.
상기 객체 영역과 배경 영역으로 분리하는 단계는, 상기 복수의 영상 각각에서 객체를 추출하는 단계 및 추출된 객체를 이용하여 상기 복수의 영상 각각에 대한 영역 분리 마스크를 생성하는 단계를 포함할 수 있다.
상기 영역 분리 마스크를 생성하는 단계 이후에, 생성된 영역 분리 마스크를 픽셀 단위로 상기 복수의 영상과 곱하는 단계를 더 포함할 수 있다.
상기 객체의 동일성을 식별하는 단계는, 매칭되는 특징점의 개수를 산출하는 단계 및 산출된 특징점의 개수에 기반하여 객체의 동일성을 식별하는 단계를 포함할 수 있다.
상기 특징점의 개수에 기반하여 객체의 동일성을 식별하는 단계는, 상기 특징점의 개수가 미리 설정된 임계값보다 크면 객체의 동일성이 있는 것으로 결정하는 단계를 포함할 수 있다.
상기 객체 위치의 동일성을 식별하는 단계는, 상기 복수의 영상을 상기 객체의 동일성을 식별한 결과에 따라 하나 이상의 그룹으로 분류하는 단계 및 동일한 그룹으로 분류된 복수의 영상 중에서 상기 배경 영역으로 분류된 영상들에 대하여 객체 위치의 동일성을 식별하는 단계를 포함할 수 있다.
상기 목적을 달성하기 위한 본 발명의 다른 측면은, 영상들 간에 객체와 객체 위치의 동일성을 식별하기 위한 장치를 제공한다.
영상들 간에 객체와 객체 위치의 동일성을 식별하기 위한 장치는, 적어도 하나의 프로세서(processor) 및 상기 적어도 하나의 프로세서가 적어도 하나의 단계를 수행하도록 지시하는 명령어들(isntructions)을 저장하는 메모리(memory)를 포함할 수 있다.
상기 적어도 하나의 단계는, 크라우드 소싱 기반으로 복수의 영상을 수집하는 단계, 수집된 복수의 영상을 각각 객체 영역과 배경 영역으로 분리하는 단계, 상기 객체 영역으로 분리된 영상들에서 추출한 특징점들을 서로 매칭하여 객체의 동일성을 식별하는 단계 및 상기 배경 영역으로 분리된 영상들에서 추출한 특징점들을 서로 매칭하여 객체 위치의 동일성을 식별하는 단계를 포함할 수 있다.
상기 객체 영역과 배경 영역으로 분리하는 단계는, 수집된 복수의 영상에 대한 위치 정보를 기반으로 상기 복수의 영상을 하나 이상의 그룹으로 분류하는 단계 및 동일한 그룹으로 분류된 복수의 영상 각각을 객체 영역과 배경 영역으로 분리하는 단계를 포함할 수 있다.
상기 복수의 영상에 대한 위치 정보는, 상기 복수의 영상 각각에 대하여 촬영한 촬상 장치에서 영상 촬영 시점에 획득되는 GPS 정보일 수 있다.
상기 객체 영역과 배경 영역으로 분리하는 단계는, 상기 복수의 영상 각각에서 객체를 추출하는 단계 및 추출된 객체를 이용하여 상기 복수의 영상 각각에 대한 영역 분리 마스크를 생성하는 단계를 포함할 수 있다.
상기 영역 분리 마스크를 생성하는 단계 이후에, 생성된 영역 분리 마스크를 픽셀 단위로 상기 복수의 영상과 곱하는 단계를 더 포함할 수 있다.
상기 객체의 동일성을 식별하는 단계는, 매칭되는 특징점의 개수를 산출하는 단계 및 산출된 특징점의 개수에 기반하여 객체의 동일성을 식별하는 단계를 포함할 수 있다.
상기 특징점의 개수에 기반하여 객체의 동일성을 식별하는 단계는, 상기 특징점의 개수가 미리 설정된 임계값보다 크면 객체의 동일성이 있는 것으로 결정하는 단계를 포함할 수 있다.
상기 객체 위치의 동일성을 식별하는 단계는, 상기 복수의 영상을 상기 객체의 동일성을 식별한 결과에 따라 하나 이상의 그룹으로 분류하는 단계 및 동일한 그룹으로 분류된 복수의 영상 중에서 상기 배경 영역으로 분류된 영상들에 대하여 객체 위치의 동일성을 식별하는 단계를 포함할 수 있다.
상기 목적을 달성하기 위한 본 발명의 다른 측면은, 크라우드 소싱 기반의 영상들을 이용한 도로 환경 관리 시스템을 제공한다.
크라우드 소싱 기반의 영상들을 이용한 도로 환경 관리 시스템은, 하나 이상의 사용자 단말로부터 촬영된 복수의 영상과 상기 하나 이상의 사용자 단말에 대한 위치 정보를 수신하고, 수신된 상기 복수의 영상과 상기 위치 정보를 영상 식별 장치로 전송하여 분석 결과를 수신하는 도로 관제 서버 및 상기 도로 관제 서버로부터 수신한 복수의 영상을 학습하고, 학습한 데이터 및 상기 위치 정보를 이용하여 상기 복수의 영상에 포함된 객체와 객체 위치의 동일성 식별을 수행한 상기 분석 결과를 상기 도로 관제 서버로 전송하는 영상 식별 장치를 포함할 수 있다.
상기 도로 관제 서버는, 상기 분석 결과를 기초로 실시간 도로 환경 상태를 모니터링할 수 있다.
상기 영상 식별 장치는, 적어도 하나의 프로세서(processor) 및 상기 적어도 하나의 프로세서가 적어도 하나의 단계를 수행하도록 지시하는 명령어들(isntructions)을 저장하는 메모리(memory)를 포함할 수 있다.
상기 적어도 하나의 단계는, 상기 복수의 영상을 수집하는 단계, 수집된 복수의 영상을 각각 객체 영역과 배경 영역으로 분리하는 단계, 상기 객체 영역으로 분리된 영상들에서 추출한 특징점들을 서로 매칭하여 객체의 동일성을 식별하는 단계 및 상기 배경 영역으로 분리된 영상들에서 추출한 특징점들을 서로 매칭하여 객체 위치의 동일성을 식별하는 단계를 포함할 수 있다.
상기 객체 영역과 배경 영역으로 분리하는 단계는, 상기 위치 정보를 기반으로 상기 복수의 영상을 하나 이상의 그룹으로 분류하는 단계 및 동일한 그룹으로 분류된 복수의 영상 각각을 객체 영역과 배경 영역으로 분리하는 단계를 포함할 수 있다.
상기 객체 영역과 배경 영역으로 분리하는 단계는, 상기 복수의 영상 각각에서 객체를 추출하는 단계 및 추출된 객체를 이용하여 상기 복수의 영상 각각에 대한 영역 분리 마스크를 생성하는 단계를 포함할 수 있다.
상기와 같은 본 발명에 따른 영상들 간에 객체와 객체 위치의 동일성을 식별하기 위한 방법 및 장치를 이용할 경우에는 영상 내에서 객체와 객체 위치를 동시에 파악함에 따라 동일한 객체가 동일한 위치에 있는지를 정확하게 분석할 수 있다.
또한, 크라우드 소싱 기반으로 도로 환경을 관리할 수 있기 때문에 시민참여를 유도하고, 주민 불편과 각종 사고를 예방하는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 영상들 간에 객체와 객체 위치의 동일성을 식별하기 위한 방법을 설명하기 위한 개념도이다.
도 2는 본 발명의 일 실시예에 따른 영상들 간에 특징점 매칭 방법을 설명하기 위한 예시도이다.
도 3은 본 발명의 일 실시예에 따른 영상들 간에 객체와 객체 위치의 동일성을 식별하기 위한 방법에 대한 대표 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 영상들 간에 객체와 객체 위치의 동일성을 식별하기 위한 장치에 대한 구성도이다.
도 5는 본 발명의 일 실시예에 따른 영상들 간에 객체와 객체 위치의 동일성을 식별하기 위한 방법 및 장치가 적용될 수 있는 크라우드 소싱 기반의 영상들을 이용한 도로 환경 관리 시스템을 설명하기 위한 개념도이다.
도 6은 본 발명의 일 실시예에 따른 영상들 간에 객체와 객체 위치의 동일성을 식별하기 위한 방법에 따른 효과를 설명하기 위한 예시도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 영상들 간에 객체와 객체 위치의 동일성을 식별하기 위한 방법을 설명하기 위한 개념도이다.
먼저, 본 발명의 일 실시예에서는 크라우드 소싱 기반으로 수집된 복수의 영상들 중에서 동일성 식별을 위한 제1 영상(10)과 제2 영상(20)을 선정할 수 있다. 이때, 크라우드 소싱 기반으로 영상을 수집할 경우 같은 장소에서 촬영한 영상이라도 다수의 촬영자로부터 수집되므로, 서로 다른 각도에서 동일한 객체를 촬영할 수 있다. 따라서, 도 1에서는 설명의 편의를 위해 하나의 장소에서 특정 차량의 후방 측면을 촬영한 영상을 제1 영상(10)으로, 제1 영상(10)과 동일한 장소 및 차량에 대하여 후방을 촬영한 영상을 제2 영상(20)으로 도시하였다.
다음으로, 제1 영상(10)과 제2 영상(20) 각각에서 객체 영역과 배경 영역을 분리하기 위하여 제1 영상(10)과 제2 영상(20)에 대한 영역 분리 마스크를 생성할 수 있다(S100). 제1 영상(10)과 제2 영상(20)에서 식별하고자 하는 관심 객체를 검출하고 검출된 관심 객체를 이용하여 영역 분리 마스크를 생성할 수 있다. 여기서 객체 검출을 위해 객체에 대한 바운딩 박스(bounding box)의 크기와 위치 학습, 분류(classification) 학습 등이 수행될 수 있다.
이때, 영역 분리 마스크는 관심 객체로 검출된 영역에 대해서는 흰색으로 픽셀값을 설정하고, 관심 객체 이외의 영역에 대해서는 검은색으로 픽셀값을 설정하여 생성될 수 있다. 도면 기호 10a를 참조하면, 제1 영상(10)에 대한 영역 분리 마스크를 확인할 수 있고, 도면 기호 20a를 참조하면, 제2 영상(20)에 대한 영역 분리 마스크를 확인할 수 있다.
영역 분리 마스크가 생성되면, 제1 영상(10)과 제2 영상(20) 각각에 대한 영역 분리 마스크를 이용하여 제1 영상(10)과 제2 영상(20)을 객체와 배경으로 분리할 수 있다(S110). 구체적으로, 제1 영상(10)에 대한 영역 분리 마스크(10a)를 제1 영상(10)에 픽셀 단위로 곱하여 제1 영상(10)을 객체(10b)와 배경(10c)으로 분리할 수 있다. 또한, 제2 영상(20)에 대한 영역 분리 마스크(20a)를 제2 영상(20)에 픽셀 단위로 곱하여 제2 영상(20)을 객체(20b)와 배경(20c)으로 분리할 수 있다.
객체와 배경을 분리하면, 제1 영상(10)에 대한 객체(10b)와 제2 영상(20)에 대한 객체(20b)를 서로 비교 대상으로 하여 객체의 동일성 판단을 위한 과정을 수행할 수 있고, 제1 영상(10)에 대한 배경(10c)과 제2 영상에 대한 배경(20c)을 서로 비교 대상으로 하여 객체 위치의 동일성 판단을 위한 과정을 수행할 수 있다.
객체의 동일성 판단을 위해서는, 제1 영상(10)에 대한 객체(10b)와 제2 영상(20)에 대한 객체(20b) 각각에 대하여 특징점(또는 특징 블록)을 추출하고(S120), 제1 영상(10)에 대한 객체(10b)에서 추출한 특징점과 제2 영상(20)에 대한 객체(20b)에서 추출한 특징점을 서로 매칭할 수 있다(S122).
또한, 객체 위치의 동일성 판단을 위해서, 제1 영상(10)에 대한 배경(10c)와 제2 영상(20)에 대한 배경(20c) 각각에 대하여 특징점을 추출하고(S121), 제1 영상(10)에 대한 객체(10c)에서 추출한 특징점과 제2 영상(20)에 대한 객체(20c)에서 추출한 특징점을 서로 매칭할 수 있다(S123).
단계 S120 또는 단계 S121에 따른 특징점을 추출하는 방법으로는 SIFT, MSER 등과 같은 특징점 추출 기법을 활용하여 객체의 기하 변화에 강이한 특징점을 추출할 수 있다.
단계 S122 또는 단계 S123에 따른 특징점 매칭 결과로는 서로 대응되는 특징점의 위치와 개수가 산출될 수 있다. 이때, 특징점이 서로 대응되는 경우로는, 비교되는 두개의 특징점에 따른 픽셀 차분값의 절대치를 모두 더한 값(Sum of Absolute Difference, SAD 연산값)이 임계값보다 작은 경우나, 두 개의 특징점이 서로 동일한 픽셀값으로 구성되는 경우일 수 있다.
단계 S120 및 단계 S121에 따른 객체와 배경의 특징점 매칭 결과에 기초하여, 객체와 객체 위치의 동일성을 판단할 수 있다(S124).
도 2는 본 발명의 일 실시예에 따른 영상들 간에 특징점 매칭 방법을 설명하기 위한 예시도이다.
도 2를 참조하면, 동일한 객체를 다른 장소에서 촬영한 두개의 영상(30, 40)에 대하여 객체 상호간 특징점 매칭을 수행한 결과를 확인할 수 있다.
구체적으로, 도 2의 좌측에 도시된 영상(30)에 포함된 객체에서는 모두 5개의 특징점이 추출된 것을 확인할 수 있고, 추출된 5개의 특징점 중에서 3개의 특징점이 우측에 위치한 영상(40)에 포함된 객체로부터 추출된 3개의 특징점과 대응된 것을 확인할 수 있다.
도 2에서와 같이 본 발명의 일 실시예에 따르면, 두 영상의 객체에서 추출된 특징점들 중에서, 두 영상 간 서로 대응되는 특징점의 개수를 기반으로 객체의 동일성을 판단할 수 있다. 예를 들어, 두 영상에 각각 포함된 객체에서 추출된 특징점들 중에서 서로 대응되는 특징점의 개수가 미리 설정된 임계값 이상(또는 초과)인 경우 두 객체가 서로 동일한 것으로 판단할 수 있다.
객체의 동일성 판단과 마찬가지로, 두 영상의 배경에서 각각 추출된 특징점들 중에서 서로 대응되는 특징점의 개수가 미리 설정된 임계값 이상(또는 초과)인 경우 객체의 위치가 서로 동일한 것으로 판단할 수 있다. 왜냐하면, 배경에 대한 특징점이 서로 대응된다는 의미는 두 개의 영상이 서로 동일하거나 유사한 장소에서 촬영된 영상이라는 의미일 수 있으므로, 객체의 위치가 서로 동일 또는 유사한 것으로 판단될 수 있다.
구체적인 예시로서, 객체에서 추출된 특징점들 중에서 두 영상 간 대응되는 특징점의 개수가 임계값 이상(또는 초과)이고, 배경에서 추출된 특징점들 중에서 두 영상 간 대응되는 특징점의 개수가 임계값 이상(또는 초과)이면, 동일한 객체가 동일한 위치에 있는 것으로 판단할 수 있다.
또한, 객체에서 추출된 특징점들 중에서 두 영상 간 대응되는 특징점의 개수가 임계값 이하(또는 미만)이고, 배경에서 추출된 특징점들 중에서 두 영상 간 대응되는 특징점의 개수가 임계값 이상(또는 초과)이면, 서로 다른 객체가 동일한 위치에 있는 것으로 판단할 수 있다.
또한, 객체에서 추출된 특징점들 중에서 두 영상 간 대응되는 특징점의 개수가 임계값 이상(또는 초과)이고, 배경에서 추출된 특징점들 중에서 두 영상 간 대응되는 특징점의 개수가 임계값 이하(또는 미만)이면, 동일한 객체가 서로 다른 위치에 있는 것으로 판단할 수 있다.
또한, 객체에서 추출된 특징점들 중에서 두 영상 간 대응되는 특징점의 개수가 임계값 이하(또는 미만)이고, 배경에서 추출된 특징점들 중에서 두 영상 간 대응되는 특징점의 개수가 임계값 이하(또는 미만)이면, 서로 다른 객체가 서로 다른 위치에 있는 것으로 판단할 수 있다.
도 3은 본 발명의 일 실시예에 따른 영상들 간에 객체와 객체 위치의 동일성을 식별하기 위한 방법에 대한 대표 흐름도이다.
도 3을 참조하면, 영상들 간에 객체와 객체 위치의 동일성을 식별하기 위한 방법은, 크라우드 소싱 기반으로 복수의 영상을 수집하는 단계, 수집된 복수의 영상을 각각 객체 영역과 배경 영역으로 분리하는 단계, 상기 객체 영역으로 분리된 영상들에서 추출한 특징점들을 서로 매칭하여 객체의 동일성을 식별하는 단계 및 상기 배경 영역으로 분리된 영상들에서 추출한 특징점들을 서로 매칭하여 객체 위치의 동일성을 식별하는 단계를 포함할 수 있다.
상기 객체 영역과 배경 영역으로 분리하는 단계는, 수집된 복수의 영상에 대한 위치 정보를 기반으로 상기 복수의 영상을 하나 이상의 그룹으로 분류하는 단계 및 동일한 그룹으로 분류된 복수의 영상 각각을 객체 영역과 배경 영역으로 분리하는 단계를 포함할 수 있다.
상기 복수의 영상에 대한 위치 정보는, 상기 복수의 영상 각각에 대하여 촬영한 촬상 장치에서 영상 촬영 시점에 획득되는 GPS 정보일 수 있다.
크라우드 소싱 기반으로 수집된 영상은 다양한 사용자가 다양한 장소에서 촬영한 영상이기 때문에 수집된 영상 전체를 분석하는 데에는 많은 연산 부하가 생길 수 있다. 이때, 영상이 촬영된 위치 정보가 동일하거나 유사한 영상들은 서로 유사한 장소에서 촬영되었기 때문에 영상 상호간 관련성이 높은 경향을 가진다. 따라서, 본 발명의 일 실시예에 따르면, 수집된 영상이 촬영된 위치가 동일하거나 유사한 영상들은 같은 그룹으로 클러스터링하고, 동일(또는 유사)한 위치에서 촬영된 영상들 상호간에 객체와 객체 위치의 동일성을 식별하는 방식으로 연산 부하를 줄이면서도 영상 분석의 정확도를 유지할 수 있다.
상기 객체 영역과 배경 영역으로 분리하는 단계는, 상기 복수의 영상 각각에서 객체를 추출하는 단계 및 추출된 객체를 이용하여 상기 복수의 영상 각각에 대한 영역 분리 마스크를 생성하는 단계를 포함할 수 있다.
상기 영역 분리 마스크를 생성하는 단계 이후에, 생성된 영역 분리 마스크를 픽셀 단위로 상기 복수의 영상과 곱하는 단계를 더 포함할 수 있다.
상기 객체의 동일성을 식별하는 단계는, 매칭되는 특징점의 개수를 산출하는 단계 및 산출된 특징점의 개수에 기반하여 객체의 동일성을 식별하는 단계를 포함할 수 있다.
상기 특징점의 개수에 기반하여 객체의 동일성을 식별하는 단계는, 상기 특징점의 개수가 미리 설정된 임계값보다 크면 객체의 동일성이 있는 것으로 결정하는 단계를 포함할 수 있다.
상기 객체 위치의 동일성을 식별하는 단계는, 상기 복수의 영상을 상기 객체의 동일성을 식별한 결과에 따라 하나 이상의 그룹으로 분류하는 단계 및 동일한 그룹으로 분류된 복수의 영상 중에서 상기 배경 영역으로 분류된 영상들에 대하여 객체 위치의 동일성을 식별하는 단계를 포함할 수 있다. 즉, 본 발명의 일 실시예에 따르면, 객체의 동일성이 있는 영상들을 동일한 그룹으로 클러스터링하고, 동일한 객체가 포함된 영상을 대상으로 배경 영역 사이의 특징점 매칭을 수행함으로써, 불필요한 연산 부하를 줄일 수 있다.
도 4는 본 발명의 일 실시예에 따른 영상들 간에 객체와 객체 위치의 동일성을 식별하기 위한 장치에 대한 구성도이다.
도 4를 참조하면, 영상들 간에 객체와 객체 위치의 동일성을 식별하기 위한 장치는, 적어도 하나의 프로세서(processor) 및 상기 적어도 하나의 프로세서가 적어도 하나의 단계를 수행하도록 지시하는 명령어들(isntructions)을 저장하는 메모리(memory)를 포함할 수 있다.
상기 적어도 하나의 단계는, 크라우드 소싱 기반으로 복수의 영상을 수집하는 단계, 수집된 복수의 영상을 각각 객체 영역과 배경 영역으로 분리하는 단계, 상기 객체 영역으로 분리된 영상들에서 추출한 특징점들을 서로 매칭하여 객체의 동일성을 식별하는 단계 및 상기 배경 영역으로 분리된 영상들에서 추출한 특징점들을 서로 매칭하여 객체 위치의 동일성을 식별하는 단계를 포함할 수 있다.
상기 객체 영역과 배경 영역으로 분리하는 단계는, 수집된 복수의 영상에 대한 위치 정보를 기반으로 상기 복수의 영상을 하나 이상의 그룹으로 분류하는 단계 및 동일한 그룹으로 분류된 복수의 영상 각각을 객체 영역과 배경 영역으로 분리하는 단계를 포함할 수 있다.
상기 복수의 영상에 대한 위치 정보는, 상기 복수의 영상 각각에 대하여 촬영한 촬상 장치에서 영상 촬영 시점에 획득되는 GPS 정보일 수 있다.
상기 객체 영역과 배경 영역으로 분리하는 단계는, 상기 복수의 영상 각각에서 객체를 추출하는 단계 및 추출된 객체를 이용하여 상기 복수의 영상 각각에 대한 영역 분리 마스크를 생성하는 단계를 포함할 수 있다.
상기 영역 분리 마스크를 생성하는 단계 이후에, 생성된 영역 분리 마스크를 픽셀 단위로 상기 복수의 영상과 곱하는 단계를 더 포함할 수 있다.
상기 객체의 동일성을 식별하는 단계는, 매칭되는 특징점의 개수를 산출하는 단계 및 산출된 특징점의 개수에 기반하여 객체의 동일성을 식별하는 단계를 포함할 수 있다.
상기 특징점의 개수에 기반하여 객체의 동일성을 식별하는 단계는, 상기 특징점의 개수가 미리 설정된 임계값보다 크면 객체의 동일성이 있는 것으로 결정하는 단계를 포함할 수 있다.
상기 객체 위치의 동일성을 식별하는 단계는, 상기 복수의 영상을 상기 객체의 동일성을 식별한 결과에 따라 하나 이상의 그룹으로 분류하는 단계 및 동일한 그룹으로 분류된 복수의 영상 중에서 상기 배경 영역으로 분류된 영상들에 대하여 객체 위치의 동일성을 식별하는 단계를 포함할 수 있다.
도 5는 본 발명의 일 실시예에 따른 영상들 간에 객체와 객체 위치의 동일성을 식별하기 위한 방법 및 장치가 적용될 수 있는 크라우드 소싱 기반의 영상들을 이용한 도로 환경 관리 시스템을 설명하기 위한 개념도이다.
도 5를 참조하면, 크라우드 소싱 기반의 영상들을 이용한 도로 환경 관리 시스템은, 하나 이상의 사용자 단말(55, 56)로부터 촬영된 복수의 영상과 상기 하나 이상의 사용자 단말(55, 56)에 대한 위치 정보를 수신하고, 수신된 상기 복수의 영상과 상기 위치 정보를 영상 식별 장치(60)에 전송하여 분석 결과를 수신하는 도로 관제 서버(50) 및 상기 도로 관제 서버로부터 수신한 복수의 영상을 학습하고, 학습한 데이터 및 상기 위치 정보를 이용하여 상기 복수의 영상에 포함된 객체와 객체 위치의 동일성 식별을 수행한 상기 분석 결과를 상기 도로 관제 서버로 전송하는 영상 식별 장치(60)를 포함할 수 있다.
사용자 단말(55, 56)은 일반 대중이나 시민들이 사용하는 각종 카메라, 스마트폰 등과 같이 영상을 촬영하거나 저장하고, 위치 정보를 수집하며, 센서 정보(예를 들어 진동 정보)를 수집하는 각종 장치일 수 있다. 더욱 상세하게 사용자 단말(55, 56)의 예를 들면, 통신 가능한 데스크탑 컴퓨터(desktop computer), 랩탑 컴퓨터(laptop computer), 노트북(notebook), 스마트폰(smart phone), 태블릿 PC(tablet PC), 모바일폰(mobile phone), 스마트 워치(smart watch), 스마트 글래스(smart glass), e-book 리더기, PMP(portable multimedia player), 휴대용 게임기, 네비게이션(navigation) 장치, 디지털 카메라(digital camera), DMB(digital multimedia broadcasting) 재생기, 디지털 음성 녹음기(digital audio recorder), 디지털 음성 재생기(digital audio player), 디지털 동영상 녹화기(digital video recorder), 디지털 동영상 재생기(digital video player), PDA(Personal Digital Assistant) 등일 수 있다.
이러한 사용자 단말(55, 56)을 통해 여러 사용자에 의해 수집된 영상들, 촬영 당시 사용자 단말의 위치 정보, 진동 정보는 도로 관제 서버(50)로 전송될 수 있다. 예를 들어, 사용자 단말(55, 56)은 도로 환경 정보(예를 들어 불법 주차 신고, 팟홀 상태, 로드킬 상태, 도로 장애물 등)에 관한 영상, 신고 메시지, 센서 정보 등을 도로 관제 서버(50)로 전송할 수 있다.
도로 관제 서버(50)는, 영상 식별 장치(60)로부터 수신한 분석 결과를 기초로 실시간 도로 환경 상태를 모니터링할 수 있다. 구체적으로, 도로 관제 서버(50)는 다수의 사용자 단말(55, 56)로부터 전달받은 영상을 영상 식별 장치(60)와 연동하여 분석하고, 분석 결과에 기초하여 실시간 도로 환경을 모니터링하고, 모니터링한 실시간 도로 환경 정보 제공 서비스, 신고받은 도로 환경 정보에 대한 대응 조치 상태 제공 서비스를 비롯하여 다양한 서비스를 유무선 네트워크를 통해 사용자 단말에 제공할 수 있다. 예를 들어, 도로 관제 서버(50)는 불법 주차 구역을 설정하고, 설정된 불법 주차 구역에 대하여 영상 식별 장치(60)와 연계한 영상 분석을 통해 불법 주차 구역에 대한 주차 상태를 파악하고, 불법 주차에 대한 대응 조치 상태를 사용자 단말에 제공할 수 있다.
영상 식별 장치(60)는, 도 4에 따른 영상들 간에 객체와 객체 위치의 동일성을 식별하기 위한 장치가 내장된 장치로서, 도로 관제 서버(50)로부터 전달받은 각종 제보 영상들을 빅 데이터로서 수집하고, 수집된 영상들을 학습하여 객체의 동일성, 객체 위치의 동일성을 판단할 수 있고, 판단 결과에 따라 불법 주차 상태, 로드킬 상태, 팟홀 상태를 결정할 수 있다. 다만, 또 다른 실시예로 영상 식별 장치(60)가 객체의 동일성, 객체 위치의 동일성을 판단한 분석 결과를 도로 관제 서버(50)로 전송하면, 도로 관제 서버(50)가 수신받은 분석 결과를 기초로 불법 주차 상태, 로드킬 상태, 팟홀 상태 등을 결정할 수도 있다.
영상 식별 장치(60)는, 도로 관제 서버(50)를 통해 수집된 영상들을 학습 데이터로 이용하여, 객체 식별 학습, 객체의 위치 식별 학습, 객체와 배경을 비롯한 각종 영역으로 영상을 분할하는 학습, 진동 정보에 대한 학습 등을 수행할 수 있다. 그 밖에도 영상 식별 장치(60)는 도 1 내지 도 4에서 설명한 방법이나 장치에 따른 구성요소, 동작을 포함하는 것으로 해석될 수 있으며, 중복 설명을 방지하기 위해 자세한 설명은 생략한다.
한편, 도 5에는 도시하지 않았으나, 사용자 단말(55, 56)로부터 영상, 위치 정보, 진동 정보를 수집하는 별도의 데이터 수집 서버가 있을 수 있고, 데이터 수집 서버에서 수집된 데이터들은 RTSP(Real-time Streaming Protocol) API(Application Programming Interface), REST(Representational State Transfer) API 등과 같은 송수신 인터페이스를 통해 도로 관제 서버(50)로 전달될 수도 있다.
도 6은 본 발명의 일 실시예에 따른 영상들 간에 객체와 객체 위치의 동일성을 식별하기 위한 방법에 따른 효과를 설명하기 위한 예시도이다.
도 1 내지 도 5에서 설명한 방법, 장치, 시스템을 이용하면 도로 환경 관리를 더욱 정확하고 용이하게 수행할 수 있다.
구체적으로, 다수의 사용자로부터 제보받은 영상들 중에서 불법 주차 구역에 해당하는 위치 정보를 갖는 영상들을 선별하고, 선별된 영상들 사이의 객체 동일성과 객체 위치의 동일성이 판단될 수 있다. 여기서 객체 동일성과 객체 위치의 동일성이 있는 영상들이 확인되면, 해당하는 객체에 따른 차량은 동일성이 인정된 영상들이 촬영된 시간 간격에서 불법 주차를 한 것으로 결정할 수 있다.
특히, 본 발명의 일 실시예에 따르면, 객체의 동일성 뿐만 아니라 객체 위치의 동일성을 판단하기 때문에, 도 6과 같이 동일한 위치의 동일 차량을 서로 다른 각도에서 촬영한 영상인지 또는 동일 차량을 다른 장소에서 촬영한 영상인지 등을 확인하여 불법 주차 여부를 정확하게 결정할 수 있다.
여기서는 불법 주차에 대한 판단 과정을 예로 들어 설명하였으나, 도로 환경에 영향을 줄 수 있는 팟홀, 로드킬, 도로 장애물 등을 파악하고 신속히 대처하는데 활용될 수 있다.
본 발명에 따른 방법들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능 매체의 예에는 롬(ROM), 램(RAM), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 프로그램 명령의 예에는 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 상술한 방법 또는 장치는 그 구성이나 기능의 전부 또는 일부가 결합되어 구현되거나, 분리되어 구현될 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (20)

  1. 영상들 간에 객체와 객체 위치의 동일성을 식별하기 위한 방법으로,
    크라우드 소싱 기반으로 복수의 영상을 수집하는 단계;
    수집된 복수의 영상을 각각 객체 영역과 배경 영역으로 분리하는 단계;
    상기 객체 영역으로 분리된 영상들에서 추출한 특징점들을 서로 매칭하여 객체의 동일성을 식별하는 단계; 및
    상기 배경 영역으로 분리된 영상들에서 추출한 특징점들을 서로 매칭하여 객체 위치의 동일성을 식별하는 단계를 포함하는, 영상들 간에 객체와 객체 위치의 동일성을 식별하기 위한 방법.
  2. 청구항 1에서,
    상기 객체 영역과 배경 영역으로 분리하는 단계는,
    수집된 복수의 영상에 대한 위치 정보를 기반으로 상기 복수의 영상을 하나 이상의 그룹으로 분류하는 단계; 및
    동일한 그룹으로 분류된 복수의 영상 각각을 객체 영역과 배경 영역으로 분리하는 단계를 포함하는, 영상들 간에 객체와 객체 위치의 동일성을 식별하기 위한 방법.
  3. 청구항 2에서,
    상기 복수의 영상에 대한 위치 정보는,
    상기 복수의 영상 각각에 대하여 촬영한 촬상 장치에서 영상 촬영 시점에 획득되는 GPS 정보인, 영상들 간에 객체와 객체 위치의 동일성을 식별하기 위한 방법.
  4. 청구항 1에서,
    상기 객체 영역과 배경 영역으로 분리하는 단계는,
    상기 복수의 영상 각각에서 객체를 추출하는 단계; 및
    추출된 객체를 이용하여 상기 복수의 영상 각각에 대한 영역 분리 마스크를 생성하는 단계를 포함하는, 영상들 간에 객체와 객체 위치의 동일성을 식별하기 위한 방법.
  5. 청구항 4에서,
    상기 영역 분리 마스크를 생성하는 단계 이후에,
    생성된 영역 분리 마스크를 픽셀 단위로 상기 복수의 영상과 곱하는 단계를 더 포함하는, 영상들 간에 객체와 객체 위치의 동일성을 식별하기 위한 방법.
  6. 청구항 1에서,
    상기 객체의 동일성을 식별하는 단계는,
    매칭되는 특징점의 개수를 산출하는 단계; 및
    산출된 특징점의 개수에 기반하여 객체의 동일성을 식별하는 단계를 포함하는, 영상들 간에 객체와 객체 위치의 동일성을 식별하기 위한 방법.
  7. 청구항 6에서,
    상기 특징점의 개수에 기반하여 객체의 동일성을 식별하는 단계는,
    상기 특징점의 개수가 미리 설정된 임계값보다 크면 객체의 동일성이 있는 것으로 결정하는 단계를 포함하는, 영상들 간에 객체와 객체 위치의 동일성을 식별하기 위한 방법.
  8. 청구항 1에서,
    상기 객체 위치의 동일성을 식별하는 단계는,
    상기 복수의 영상을 상기 객체의 동일성을 식별한 결과에 따라 하나 이상의 그룹으로 분류하는 단계; 및
    동일한 그룹으로 분류된 복수의 영상 중에서 상기 배경 영역으로 분류된 영상들에 대하여 객체 위치의 동일성을 식별하는 단계를 포함하는, 영상들 간에 객체와 객체 위치의 동일성을 식별하기 위한 방법.
  9. 영상들 간에 객체와 객체 위치의 동일성을 식별하기 위한 장치로,
    적어도 하나의 프로세서(processor); 및
    상기 적어도 하나의 프로세서가 적어도 하나의 단계를 수행하도록 지시하는 명령어들(isntructions)을 저장하는 메모리(memory)를 포함하고,
    상기 적어도 하나의 단계는,
    크라우드 소싱 기반으로 복수의 영상을 수집하는 단계;
    수집된 복수의 영상을 각각 객체 영역과 배경 영역으로 분리하는 단계;
    상기 객체 영역으로 분리된 영상들에서 추출한 특징점들을 서로 매칭하여 객체의 동일성을 식별하는 단계; 및
    상기 배경 영역으로 분리된 영상들에서 추출한 특징점들을 서로 매칭하여 객체 위치의 동일성을 식별하는 단계를 포함하는, 영상들 간에 객체와 객체 위치의 동일성을 식별하기 위한 장치.
  10. 청구항 9에서,
    상기 객체 영역과 배경 영역으로 분리하는 단계는,
    수집된 복수의 영상에 대한 위치 정보를 기반으로 상기 복수의 영상을 하나 이상의 그룹으로 분류하는 단계; 및
    동일한 그룹으로 분류된 복수의 영상 각각을 객체 영역과 배경 영역으로 분리하는 단계를 포함하는, 영상들 간에 객체와 객체 위치의 동일성을 식별하기 위한 장치.
  11. 청구항 10에서,
    상기 복수의 영상에 대한 위치 정보는,
    상기 복수의 영상 각각에 대하여 촬영한 촬상 장치에서 영상 촬영 시점에 획득되는 GPS 정보인, 영상들 간에 객체와 객체 위치의 동일성을 식별하기 위한 장치.
  12. 청구항 9에서,
    상기 객체 영역과 배경 영역으로 분리하는 단계는,
    상기 복수의 영상 각각에서 객체를 추출하는 단계; 및
    추출된 객체를 이용하여 상기 복수의 영상 각각에 대한 영역 분리 마스크를 생성하는 단계를 포함하는, 영상들 간에 객체와 객체 위치의 동일성을 식별하기 위한 장치.
  13. 청구항 12에서,
    상기 영역 분리 마스크를 생성하는 단계 이후에,
    생성된 영역 분리 마스크를 픽셀 단위로 상기 복수의 영상과 곱하는 단계를 더 포함하는, 영상들 간에 객체와 객체 위치의 동일성을 식별하기 위한 장치.
  14. 청구항 9에서,
    상기 객체의 동일성을 식별하는 단계는,
    매칭되는 특징점의 개수를 산출하는 단계; 및
    산출된 특징점의 개수에 기반하여 객체의 동일성을 식별하는 단계를 포함하는, 영상들 간에 객체와 객체 위치의 동일성을 식별하기 위한 장치.
  15. 청구항 14에서,
    상기 특징점의 개수에 기반하여 객체의 동일성을 식별하는 단계는,
    상기 특징점의 개수가 미리 설정된 임계값보다 크면 객체의 동일성이 있는 것으로 결정하는 단계를 포함하는, 영상들 간에 객체와 객체 위치의 동일성을 식별하기 위한 장치.
  16. 청구항 9에서,
    상기 객체 위치의 동일성을 식별하는 단계는,
    상기 복수의 영상을 상기 객체의 동일성을 식별한 결과에 따라 하나 이상의 그룹으로 분류하는 단계; 및
    동일한 그룹으로 분류된 복수의 영상 중에서 상기 배경 영역으로 분류된 영상들에 대하여 객체 위치의 동일성을 식별하는 단계를 포함하는, 영상들 간에 객체와 객체 위치의 동일성을 식별하기 위한 장치.
  17. 크라우드 소싱 기반의 영상들을 이용한 도로 환경 관리 시스템으로,
    하나 이상의 사용자 단말로부터 촬영된 복수의 영상과 상기 하나 이상의 사용자 단말에 대한 위치 정보를 수신하고, 수신된 상기 복수의 영상과 상기 위치 정보를 영상 식별 장치로 전송하여 분석 결과를 수신하는 도로 관제 서버; 및
    상기 도로 관제 서버로부터 수신한 복수의 영상을 학습하고, 학습한 데이터 및 상기 위치 정보를 이용하여 상기 복수의 영상에 포함된 객체와 객체 위치의 동일성 식별을 수행한 상기 분석 결과를 상기 도로 관제 서버로 전송하는 영상 식별 장치를 포함하고,
    상기 도로 관제 서버는, 상기 분석 결과를 기초로 실시간 도로 환경 상태를 모니터링하는, 크라우드 소싱 기반의 영상들을 이용한 도로 환경 관리 시스템.
  18. 청구항 17에서,
    상기 영상 식별 장치는,
    적어도 하나의 프로세서(processor); 및
    상기 적어도 하나의 프로세서가 적어도 하나의 단계를 수행하도록 지시하는 명령어들(isntructions)을 저장하는 메모리(memory)를 포함하고,
    상기 적어도 하나의 단계는,
    상기 복수의 영상을 수집하는 단계;
    수집된 복수의 영상을 각각 객체 영역과 배경 영역으로 분리하는 단계;
    상기 객체 영역으로 분리된 영상들에서 추출한 특징점들을 서로 매칭하여 객체의 동일성을 식별하는 단계; 및
    상기 배경 영역으로 분리된 영상들에서 추출한 특징점들을 서로 매칭하여 객체 위치의 동일성을 식별하는 단계를 포함하는, 크라우드 소싱 기반의 영상들을 이용한 도로 환경 관리 시스템.
  19. 청구항 18에서,
    상기 객체 영역과 배경 영역으로 분리하는 단계는,
    상기 위치 정보를 기반으로 상기 복수의 영상을 하나 이상의 그룹으로 분류하는 단계; 및
    동일한 그룹으로 분류된 복수의 영상 각각을 객체 영역과 배경 영역으로 분리하는 단계를 포함하는, 크라우드 소싱 기반의 영상들을 이용한 도로 환경 관리 시스템.
  20. 청구항 18에서,
    상기 객체 영역과 배경 영역으로 분리하는 단계는,
    상기 복수의 영상 각각에서 객체를 추출하는 단계; 및
    추출된 객체를 이용하여 상기 복수의 영상 각각에 대한 영역 분리 마스크를 생성하는 단계를 포함하는, 크라우드 소싱 기반의 영상들을 이용한 도로 환경 관리 시스템.
KR1020180157485A 2018-12-07 2018-12-07 영상들 간에 객체와 객체 위치의 동일성을 식별하기 위한 방법 및 장치 KR102297217B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180157485A KR102297217B1 (ko) 2018-12-07 2018-12-07 영상들 간에 객체와 객체 위치의 동일성을 식별하기 위한 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180157485A KR102297217B1 (ko) 2018-12-07 2018-12-07 영상들 간에 객체와 객체 위치의 동일성을 식별하기 위한 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200069911A true KR20200069911A (ko) 2020-06-17
KR102297217B1 KR102297217B1 (ko) 2021-09-03

Family

ID=71405850

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180157485A KR102297217B1 (ko) 2018-12-07 2018-12-07 영상들 간에 객체와 객체 위치의 동일성을 식별하기 위한 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102297217B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102343049B1 (ko) * 2021-06-17 2021-12-24 주식회사 인피닉 인공지능 학습을 위한 이미지 메타데이터 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102356907B1 (ko) * 2021-06-17 2022-02-08 주식회사 인피닉 인공지능 학습용 데이터의 메타데이터 입력 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR20230012117A (ko) * 2021-07-14 2023-01-26 서울시립대학교 산학협력단 Cctv 및 스마트폰을 연계한 교통 약자 음성 길 안내 장치
WO2023149594A1 (ko) * 2022-02-03 2023-08-10 충남대학교산학협력단 불법 주차 감시 시스템
WO2024090942A1 (ko) * 2022-10-24 2024-05-02 삼성전자 주식회사 다수의 카메라들에 의해 촬영된 객체를 나타내는 영상을 증강하여 신경망 모델을 학습시키는 방법 및 전자 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015076074A (ja) * 2013-10-11 2015-04-20 株式会社東芝 駐車車両検出装置、車両管理システム、制御方法及び制御プログラム
JP2016018463A (ja) * 2014-07-10 2016-02-01 株式会社日立製作所 状態変化管理システム及び状態変化管理方法
JP2016095701A (ja) * 2014-11-14 2016-05-26 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015076074A (ja) * 2013-10-11 2015-04-20 株式会社東芝 駐車車両検出装置、車両管理システム、制御方法及び制御プログラム
JP2016018463A (ja) * 2014-07-10 2016-02-01 株式会社日立製作所 状態変化管理システム及び状態変化管理方法
JP2016095701A (ja) * 2014-11-14 2016-05-26 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102343049B1 (ko) * 2021-06-17 2021-12-24 주식회사 인피닉 인공지능 학습을 위한 이미지 메타데이터 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102356907B1 (ko) * 2021-06-17 2022-02-08 주식회사 인피닉 인공지능 학습용 데이터의 메타데이터 입력 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR20230012117A (ko) * 2021-07-14 2023-01-26 서울시립대학교 산학협력단 Cctv 및 스마트폰을 연계한 교통 약자 음성 길 안내 장치
WO2023149594A1 (ko) * 2022-02-03 2023-08-10 충남대학교산학협력단 불법 주차 감시 시스템
WO2024090942A1 (ko) * 2022-10-24 2024-05-02 삼성전자 주식회사 다수의 카메라들에 의해 촬영된 객체를 나타내는 영상을 증강하여 신경망 모델을 학습시키는 방법 및 전자 장치

Also Published As

Publication number Publication date
KR102297217B1 (ko) 2021-09-03

Similar Documents

Publication Publication Date Title
KR102297217B1 (ko) 영상들 간에 객체와 객체 위치의 동일성을 식별하기 위한 방법 및 장치
CN110825765B (zh) 一种人脸识别的方法和装置
US9560323B2 (en) Method and system for metadata extraction from master-slave cameras tracking system
CN109325429B (zh) 一种关联特征数据的方法、装置、存储介质及终端
CN109766779B (zh) 徘徊人员识别方法及相关产品
US8761498B1 (en) Face and license plate detection in street level images with 3-D road width features estimated from laser data
KR101788225B1 (ko) 건설현장 맞춤형 이미지 분석기술을 활용한 중장비/근로자 인식 및 추적 방법 및 시스템
WO2014081687A1 (en) Method and system for counting people using depth sensor
CN113378616A (zh) 视频分析方法、视频分析的管理方法及相关设备
CN111553947A (zh) 目标对象的定位方法、装置
CN112651398A (zh) 车辆的抓拍控制方法、装置及计算机可读存储介质
Alqahtani et al. CMRS: a classifier matrix recognition system for traffic management and analysis in a smart city environment
CN111191481B (zh) 车辆识别方法及系统
KR101547255B1 (ko) 지능형 감시 시스템의 객체기반 검색방법
KR101509593B1 (ko) 프리셋 투어 카메라를 위한 영상 분류 방법 및 그 장치
CN113014876A (zh) 视频监控方法、装置、电子设备及可读存储介质
KR100505026B1 (ko) 인식 대상에 민감한 영상 처리 시스템
CN114913470B (zh) 一种事件检测方法及装置
EP4290472A1 (en) Object identification
CN112819859B (zh) 一种应用于智慧安防的多目标跟踪方法及装置
Aktar et al. Performance analysis of vehicle detection based on spatial saliency and local image features in H. 265 (HEVC) 4K video for developing a relationship between iou and subjective evaluation value
US20210034915A1 (en) Method and apparatus for object re-identification
Kaimkhani et al. UAV with Vision to Recognise Vehicle Number Plates
CN111291598B (zh) 多目标跟踪方法、装置、移动终端及计算机存储介质
CN108399411B (zh) 一种多摄像头识别方法及装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right