KR20200083202A - 특징점 간 삼각형 닮음 조건 기반 영상 유사도 평가 알고리즘 - Google Patents

특징점 간 삼각형 닮음 조건 기반 영상 유사도 평가 알고리즘 Download PDF

Info

Publication number
KR20200083202A
KR20200083202A KR1020190137797A KR20190137797A KR20200083202A KR 20200083202 A KR20200083202 A KR 20200083202A KR 1020190137797 A KR1020190137797 A KR 1020190137797A KR 20190137797 A KR20190137797 A KR 20190137797A KR 20200083202 A KR20200083202 A KR 20200083202A
Authority
KR
South Korea
Prior art keywords
matched
image
determining
triangle
similar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020190137797A
Other languages
English (en)
Other versions
KR102259704B1 (ko
Inventor
김규헌
이인홍
강전호
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Publication of KR20200083202A publication Critical patent/KR20200083202A/ko
Application granted granted Critical
Publication of KR102259704B1 publication Critical patent/KR102259704B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06K9/6201—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G06K9/00744—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

복수의 영상간 유사 공간 영역을 판단하는 방법 및 장치가 제공된다. 본 개시의 영상간 유사 영역 판단 방법은 유사 영역 판단의 대상이 되는 복수의 입력 영상을 수신하는 단계, 상기 수신된 복수의 입력 영상 각각에 대해 특징점을 추출하는 단계, 상기 추출된 특징점을 그룹화하여 정합된 삼각형을 획득하는 단계 및 상기 정합된 삼각형을 이용하여 상기 복수의 입력 영상간 유사 영역을 판단하는 단계를 포함한다.

Description

특징점 간 삼각형 닮음 조건 기반 영상 유사도 평가 알고리즘{IMAGE SIMILARITY EVALUATION ALGORITHM BASED ON SIMILARITY CONDITION OF TRIANGLES}
본 발명은 다수의 영상간 유사 영역을 판단하는 방법 및 장치에 관한 것이다. 구체적으로, 영상의 특징점 정합쌍간에 삼각형의 닮음 조건에 기초하여 유사 영역을 판단하는 방법 및 장치에 관한 것이다.
파노라마 영상을 제작하기 위해서는 다수의 영상을 정합하여 하나의 영상으로 제작하는 영상간 스티칭 기술이 필요하다. 스티칭 기술은 영상의 특징점을 추출하여 두 영상간 특징점 매칭에 기초하여 중복 영역을 설정하고, 상기 설정된 중복 영역을 합성하기 위한 일련의 과정을 통칭할 수 있다. 스티칭 기술은 일반적으로 영상 내의 모든 픽셀 정보를 사용하기 때문에 많은 시간이 소요된다. 따라서, 스티칭 과정에서 소모되는 시간을 감소시키기 위해 영상간 공간 유사도를 활용하여 스티칭 대상 영역에 제한을 두는 방법이 있다.
한편, 영상간 공간 유사도를 평가하는 기술은 일반적으로 영상 정합 과정과 관련하여 연구, 개발되어 왔으나, 대부분의 기술들은 속도나 정확성 중 한 가지에서 약점을 보이거나, 화면의 회전 또는 해상도 차이에 민감하게 반응하는 한계를 가지고 있다.
본 발명은 영상간 유사 영역을 판단하는 방법 및 장치를 제공하는 것을 목적으로 한다.
또한, 본 발명은 영상의 특징점 정합쌍간에 삼각형의 닮음 조건에 기초하여 유사 영역을 판단하는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 개시에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명에 따르면, 유사 영역 판단의 대상이 되는 복수의 입력 영상을 수신하는 단계; 상기 수신된 복수의 입력 영상 각각에 대해 특징점을 추출하는 단계; 상기 추출된 특징점을 그룹화하여 정합된 삼각형을 획득하는 단계; 및 상기 정합된 삼각형을 이용하여 상기 복수의 입력 영상간 유사 영역을 판단하는 단계를 포함하는 복수의 영상간 유사 영역 판단 방법이 제공될 수 있다.
상기 정합된 삼각형은, 상기 추출된 특징점간의 거리에 기초하여 획득되는 것을 특징으로 할 수 있다.
상기 정합된 삼각형은, 기준 특징점과 비교 대상 특징점간의 가로 좌표값의 차이 및 세로 좌표값의 차이를 이용하여 획득되는 것을 특징으로 할 수 있다.
상기 복수의 입력 영상간 유사 영역을 판단하는 단계는, 상기 정합된 삼각형간 삼각형의 닮음에 기초하여 유사 영역이 추출되는 것을 특징으로 할 수 있다.
상기 복수의 입력 영상간 유사 영역을 판단하는 단계는, 상기 복수의 입력 영상 각각에 대해 획득된 정합된 삼각형 쌍에서 각 변들간 길이의 비를 비교하는 단계; 및 상기 비교 결과에 기초하여 상기 정합된 삼각형 쌍이 매칭되는지 여부를 판단하는 단계를 포함할 수 있다.
상기 복수의 입력 영상간 유사 영역을 판단하는 단계는, 상기 매칭되는 정합된 삼각형 쌍을 모두 포함하는 영역을 추출함으로써 유사 영역을 결정하는 단계를 더 포함할 수 있다.
상기 유사 영역은, 상기 매칭되는 정합된 삼각형 쌍에 포함된 좌표들의 극값을 이용하여 직사각형 형태로 결정되는 것을 특징으로 할 수 있다.
또한, 본 발명에 따르면, 유사 영역 판단의 대상이 되는 제1 영상 및 제2 영상을 수신하는 단계; 상기 제1 영상의 특징점 및 상기 제2 영상의 특징점을 추출하는 단계; 상기 추출된 제1 영상의 특징점을 그룹화하여 상기 제1 영상에 대한 적어도 하나의 제1 정합된 삼각형을 획득하는 단계; 상기 추출된 제2 영상의 특징점을 그룹화하여 상기 제2 영상에 대한 적어도 하나의 제2 정합된 삼각형을 획득하는 단계; 상기 적어도 하나의 제1 정합된 삼각형 및 상기 적어도 하나의 제2 정합된 삼각형간의 삼각형 쌍에서 각 변들간 길이의 비를 비교하는 단계; 상기 비교 결과에 기초하여 매칭되는 삼각형 쌍을 추출하는 단계; 및 상기 추출된 삼각형 쌍을 모두 포함하는 영역을 유사 영역으로 결정하는 단계를 포함하는 영상간 유사 영역 판단 방법이 제공될 수 있다.
상기 각 변들간 길이의 비를 비교하는 단계는, 상기 삼각형 쌍에서 삼각형의 닮음에 기초하여 각 변들간 길이의 비를 비교하는 것을 특징으로 할 수 있다.
상기 유사 영역은, 상기 매칭되는 정합된 삼각형 쌍에 포함된 좌표들의 극값을 이용하여 직사각형 형태로 결정되는 것을 특징으로 할 수 있다.
또한, 본 발명에 따르면, 영상간 유사 영역을 판단하는 장치에 있어서, 상기 장치는, 유사 영역 판단의 대상이 되는 복수의 입력 영상을 수신하고, 상기 수신된 복수의 입력 영상 각각에 대해 특징점을 추출하고, 상기 추출된 특징점을 그룹화하여 정합된 삼각형을 획득하고, 상기 정합된 삼각형을 이용하여 상기 복수의 입력 영상간 유사 영역을 판단하는 것을 특징으로 하는 영상간 유사 영역 판단 장치가 제공될 수 있다.
상기 정합된 삼각형은, 상기 추출된 특징점간의 거리에 기초하여 획득되는 것을 특징으로 할 수 있다.
상기 정합된 삼각형은, 기준 특징점과 비교 대상 특징점간의 가로 좌표값의 차이 및 세로 좌표값의 차이를 이용하여 획득되는 것을 특징으로 할 수 있다.
상기 장치는, 상기 정합된 삼각형간 삼각형의 닮음에 기초하여 유사 영역이 추출되는 것을 특징으로 할 수 있다.
상기 장치는, 상기 복수의 입력 영상 각각에 대해 획득된 정합된 삼각형 쌍에서 각 변들간 길이의 비를 비교하고, 상기 비교 결과에 기초하여 상기 정합된 삼각형 쌍이 매칭되는지 여부를 판단하는 것을 특징으로 할 수 있다.
상기 장치는, 상기 매칭되는 정합된 삼각형 쌍을 모두 포함하는 영역을 추출함으로써 유사 영역을 결정하는 것을 더 포함할 수 있다.
상기 유사 영역은, 상기 매칭되는 정합된 삼각형 쌍에 포함된 좌표들의 극값을 이용하여 직사각형 형태로 결정되는 것을 특징으로 할 수 있다.
또한, 본 발명에 따르면, 영상간 유사 영역을 판단하는 장치에 있어서, 상기 장치는, 유사 영역 판단의 대상이 되는 제1 영상 및 제2 영상을 수신하고, 상기 제1 영상의 특징점 및 상기 제2 영상의 특징점을 추출하고, 상기 추출된 제1 영상의 특징점을 그룹화하여 상기 제1 영상에 대한 적어도 하나의 제1 정합된 삼각형을 획득하고, 상기 추출된 제2 영상의 특징점을 그룹화하여 상기 제2 영상에 대한 적어도 하나의 제2 정합된 삼각형을 획득하고, 상기 적어도 하나의 제1 정합된 삼각형 및 상기 적어도 하나의 제2 정합된 삼각형간의 삼각형 쌍에서 각 변들간 길이의 비를 비교하고, 상기 비교 결과에 기초하여 매칭되는 삼각형 쌍을 추출하고, 상기 추출된 삼각형 쌍을 모두 포함하는 영역을 유사 영역으로 결정하는 것을 포함하는 영상간 유사 영역 판단 장치가 제공될 수 있다.
상기 장치는, 상기 삼각형 쌍에서 삼각형의 닮음에 기초하여 각 변들간 길이의 비를 비교하는 것을 특징으로 할 수 있다.
상기 유사 영역은, 상기 매칭되는 정합된 삼각형 쌍에 포함된 좌표들의 극값을 이용하여 직사각형 형태로 결정되는 것을 특징으로 할 수 있다.
본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.
본 발명에 따르면, 영상간 유사 영역을 판단하는 방법 및 장치가 제공될 수 있다.
또한, 본 발명에 따르면, 영상의 특징점 정합쌍간에 삼각형의 닮음 조건에 기초하여 유사 영역을 판단하는 방법 및 장치가 제공될 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 영상간 유사 영역 판단 장치의 동작방법을 나타내는 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 정합된 삼각형 쌍들간 닮음 유무를 판단하는 과정을 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 영상간 유사 영역을 나타내는 도면이다.
도 4는 본 발명의 다른 실시예에 따른 영상간 유사 영역을 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 영상간 유사 영역의 좌표가 저장된 XML 문서를 나타내는 도면이다.
도 6은 본 발명의 다른 실시예에 따른 영상간 유사 영역 판단 장치의 동작방법을 나타내는 흐름도이다.
이하에서는 첨부한 도면을 참고로 하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
본 개시의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 개시에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결관계뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 개시에 있어서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 개시의 범위 내에서 일 실시 예에서의 제1 구성요소는 다른 실시 예에서 제2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시 예에서의 제2 구성요소를 다른 실시 예에서 제1 구성요소라고 칭할 수도 있다.
본 개시에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시 예도 본 개시의 범위에 포함된다.
본 개시에 있어서, 다양한 실시 예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시 예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시 예도 본 개시의 범위에 포함된다. 또한, 다양한 실시 예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시 예도 본 개시의 범위에 포함된다.
이하, 첨부한 도면을 참조하여 본 개시의 실시 예들에 대해서 설명한다.
본 개시의 영상간 유사 영역 판단 방법 및 장치는 영상 내 특정점을 삼각형으로 정합하고, 영상간 상기 정합된 삼각형 쌍을 비교함으로써 영상간 유사 영역을 판단할 수 있다. 여기서, 상기 정합된 삼각형 쌍을 비교하는 것은 삼각형의 닮음 조건을 이용하는 것을 특징으로 할 수 있다.
도 1은 본 발명의 일 실시예에 따른 영상간 유사 영역 판단 장치의 동작방법을 나타내는 흐름도이다.
도 1을 참조하면, 본 개시의 유사 영역 판단 방법은 특징점 추출 단계(S110), 특징점 그룹화 단계(S120), 삼각형 정합쌍 비교 단계(S130), 유사 영역 설정 단계(S140) 및/또는 문서 생성 단계(S150)를 포함할 수 있다.
단계 S110에서, 영상에서 식별하기 쉬운 위치에 존재하는 점들을 특징점으로 추출할 수 있다. 이때, 추출되는 특징점의 수는 기설정된 개수일 수 있다. 또한, 추출되는 특징점의 수는 일반적으로 계산이 수행될 대상 영상의 크기에 비례하여 추출될 수 있다. 예컨대, 영상의 크기가 클수록 보다 더 많은 개수의 특징점이 추출될 수 있다. 한편, 특징점 추출을 수행하기 위해 영상 매칭 기법 등에서 일반적으로 이용되는 특징점 추출 방법들이 이용될 수 있다.
단계 S120에서, 단계 S110에서 추출된 특징점 각각에 대해 특징점 하나와 픽셀 좌표값 기준으로 상기 특징점과 가까운 위치에 있는 특징점 2개를 묶어 삼각형으로 그룹화할 수 있다. 상기 그룹화된 삼각형을 정합된 삼각형이라 할 수 있다. 이때, 특징점 간의 거리는 특징점의 픽셀 좌표값을 기준으로 계산할 수 있다. 예컨대, 기준 특징점과 비교 대상 특징점의 ‘x 좌표값의 차 + y 좌표값의 차’의 제곱근 값이 가장 작은 특징점 2개를 검출하여, 상기 기준 특징점과 검출된 2개의 특징점을 하나의 정합된 삼각형으로 매칭할 수 있다. 상기 과정은 추출된 모든 특정점에 대하여 진행될 수 있다. 따라서, 추출된 모든 특징점은 최소 하나 이상의 정합된 삼각형에 포함될 수 있다. 한편, 검출되는 특징점이 3개 이상인 경우 사용자 입력 내지 미리 기설정된 조건에 따라 2개의 특징점이 최종적으로 검출될 수 있다.
단계 S130에서, 영상 유사 영역 판단을 수행하기 위한 대상 영상 각각에 존재하는 정합된 삼각형 쌍들을 서로 비교함으로써 같은 위치에 존재할 것으로 판단되는 정합된 삼각형 쌍들을 매칭할 수 있다. 상기 과정은 모든 정합된 삼각형 쌍들에 대해 수행될 수 있다. 이때, 상기 비교 과정은 삼각형의 닮음 조건을 이용하여 수행될 수 있으며, 예컨대, 비교 대상 삼각형 쌍 각 변의 길이 비를 비교함으로써 닮음 유무를 판단할 수 있다.
도 2는 본 발명의 일 실시예에 따른 정합된 삼각형 쌍들간 닮음 유무를 판단하는 과정을 나타내는 도면이다.
도 2를 참조하면, 삼각형 ABC는 제1 영상에서 정합된 삼각형이고, 삼각형 abc는 제2 영상에서 정합된 삼각형이고, 상기 제2 영상은 상기 제1 영상과 스티칭을 수행하기 위한 대상 영상이라 한다. 또한, 비교 대상이 되는 정합된 삼각형 쌍의 각각의 변들 중 가장 긴 변을
Figure pat00001
라 하고, 가장 짧은 변을
Figure pat00002
라 한다. 도 2에 정의된 수식은 정합된 삼각형 쌍들의 닮음 유무를 판단하는 수학식으로서, 상기 수학식에 따라 각 변의 길이 비를 비교할 수 있다. 상기 각 변의 길이 비가 소정의 임계값(TH1, TH2, TH3) 이하이면, 상기 정합된 삼각형 쌍을 유사 영역(또는 유사 공간)으로 판별하여 매칭시킬 수 있다. 여기서, 상기 임계값은 서로 동일할 수 있다. 또한, 상기 임계값은 정합된 삼각형의 형태를 고려하여 상이할 수 있다.
한편, 상기 매칭된 정합된 삼각형 쌍은 이후 닮음 유무 판단 과정에서 제외될 수 있으며, 상기 비교 과정은 양쪽 영상에서 제외되지 않은 모든 정합된 삼각형들이 적어도 한 번씩 비교될 때까지 반복하여 수행될 수 있다.
다시 도 1을 참조하면, 단계 S140에서, 단계 S130에서 매칭된 정합된 삼각형 쌍을 모두 포함하는 최소 크기의 직사각형을 영상간 유사 영역으로 설정할 수 있다. 상기 유사 영역은 매칭된 정합된 삼각형 쌍에 포함된 좌표들 중 픽셀 좌표의 극값을 이용하여 결정될 수 있다. 상기 극값은 최대값 또는 최소값을 의미할 수 있다. 상기 과정을 수행함으로써 영상간 유사 영역의 위치를 파악할 수 있다. 한편, 상기 영상간 유사 영역은 직사각형 형태뿐만 아니라 복수개의 변으로 나타낼 수 있는 다각형 형태를 포함할 수 있다.
도 3은 본 발명의 일 실시예에 따른 영상간 유사 영역을 나타내는 도면이다.
도 3을 참조하면, 본 개시의 영상간 유사 영역 판단 방법을 제1 영상(300)과 제2 영상(310)에 수행한 결과 제1 유사 영역(302)과 제2 유사 영역(312)이 획득될 수 있다. 제1 유사 영역(302) 및 제2 유사 영역(312)은 각각의 영상에 직사각형 형태로 표시되어 있으며, 상기 획득된 유사 영역을 비교하면, 제1 영상(300)과 제2 영상(310)간 병진운동(translation)이 발생했음을 알 수 있다.
도 4는 본 발명의 다른 실시예에 따른 영상간 유사 영역을 나타내는 도면이다.
도 4를 참조하면, 본 개시의 영상간 유사 영역 판단 방법을 제3 영상(400)과 제4 영상(410)에 수행한 결과 제3 유사 영역(402)과 제4 유사 영역(412)이 획득될 수 있다. 제3 유사 영역(402) 및 제4 유사 영역(412)은 각각의 영상에 직사각형 형태로 표시되어 있으며, 상기 획득된 유사 영역을 비교하면, 제3 영상(400)과 제4 영상(410)간 병진운동(translation) 및/또는 회전운동(rotation)이 발생했음을 알 수 있다.
도 3 및 도 4의 예와 같이, 본 개시에 따르면, 병진이나 회전이 있는 영상에서도 영상간 유사 영역의 위치가 파악될 수 있다.
다시 도 1을 참조하면, 단계 S150에서, 상기 설정된 유사 영역의 좌표를 문서 형태로 생성하여 저장할 수 있다(manifest 문서). 예컨대, XML 문서를 생성하여 저장할 수 있다.
도 5는 본 발명의 일 실시예에 따른 영상간 유사 영역의 좌표가 저장된 XML 문서를 나타내는 도면이다.
영상 유사도 판단의 대상이 되는 두 영상의 가로 픽셀 수, 세로 픽셀 수, 유사 공간 영역 좌표가 각각 XML 데이터로 순차적으로 저장될 수 있다. 도 5를 참조하면, 제1 영상의 가로 및 세로 픽셀수(500), 제1 영상의 유사 공간 영역의 오른쪽 하단 및 왼쪽 상단의 좌표(502), 제2 영상의 가로 및 세로 픽셀수(510), 제2 영상의 유사 공간 영역의 오른쪽 하단 및 왼쪽 상단의 좌표(512)가 각각 순차적으로 기재되어 있음을 알 수 있다.
한편, 유사 공간 영역의 좌표는 오른쪽 하단 및 왼쪽 상단의 좌표를 이용하였으나, 이에 한정되지 않으며, 오른쪽 상단 좌표, 왼쪽 하단 좌표를 포함한 유사 공간 영역의 꼭지점 등을 포함할 수 있다.
도 6은 본 발명의 다른 실시예에 따른 영상간 유사 영역 판단 장치의 동작방법을 나타내는 흐름도이다.
단계 S601에서, 유사 영역 판단의 대상이 되는 복수의 입력 영상을 수신할 수 있다.
단계 S602에서, 상기 수신된 복수의 입력 영상 각각에 대해 특징점을 추출할 수 있다.
상기 특징점은 영상에서 식별하기 쉬운 위치에 존재하는 점일 수 있다. 이때, 추출되는 특징점의 수는 기설정된 개수일 수 있다. 또한, 추출되는 특징점의 수는 일반적으로 계산이 수행될 대상 영상의 크기에 비례하여 추출될 수 있다. 한편, 특징점 추출을 수행하기 위해 영상 매칭 기법 등에서 일반적으로 이용되는 특징점 추출 방법들이 이용될 수 있다.
단계 S603에서, 추출된 특징점을 그룹화하여 정합된 삼각형을 획득할 수 있다.
여기서, 상기 정합된 삼각형은, 상기 추출된 특징점간의 거리에 기초하여 획득될 수 있다. 또한, 상기 정합된 삼각형은, 기준 특징점과 비교 대상 특징점간의 가로 좌표값의 차이 및 세로 좌표값의 차이를 이용하여 획득될 수 있다.
단계 S604에서, 정합된 삼각형을 이용하여 상기 복수의 입력 영상간 유사 영역을 판단할 수 있다.
이때, 상기 복수의 입력 영상간 유사 영역을 판단하는 것은, 상기 정합된 삼각형간 삼각형의 닮음에 기초하여 유사 영역이 추출되는 것을 의미할 수 있다.
또한, 상기 복수의 입력 영상간 유사 영역을 판단하는 것은, 상기 복수의 입력 영상 각각에 대해 획득된 정합된 삼각형 쌍에서 각 변들간 길이의 비를 비교하고, 상기 비교 결과에 기초하여 상기 정합된 삼각형 쌍이 매칭되는지 여부를 판단하는 것을 의미할 수 있다.
또한, 상기 복수의 입력 영상간 유사 영역을 판단하는 것은, 상기 매칭되는 정합된 삼각형 쌍을 모두 포함하는 영역을 추출함으로써 유사 영역을 결정하는 것을 포함할 수 있다.
여기서, 상기 유사 영역은, 상기 매칭되는 정합된 삼각형 쌍에 포함된 좌표들의 극값을 이용하여 직사각형 형태로 결정될 수 있다.
한편, 본 개시의 영상간 유사 영역 판단 방법은, 유사 영역 판단의 대상이 되는 제1 영상 및 제2 영상을 수신하는 단계, 상기 제1 영상의 특징점 및 상기 제2 영상의 특징점을 추출하는 단계, 상기 추출된 제1 영상의 특징점을 그룹화하여 상기 제1 영상에 대한 적어도 하나의 제1 정합된 삼각형을 획득하는 단계, 상기 추출된 제2 영상의 특징점을 그룹화하여 상기 제2 영상에 대한 적어도 하나의 제2 정합된 삼각형을 획득하는 단계, 상기 적어도 하나의 제1 정합된 삼각형 및 상기 적어도 하나의 제2 정합된 삼각형간의 삼각형 쌍에서 각 변들간 길이의 비를 비교하는 단계, 상기 비교 결과에 기초하여 매칭되는 삼각형 쌍을 추출하는 단계 및 상기 추출된 삼각형 쌍을 모두 포함하는 영역을 유사 영역으로 결정하는 단계를 포함할 수 있다.
이때, 상기 각 변들간 길이의 비를 비교하는 것은, 상기 삼각형 쌍에서 삼각형의 닮음에 기초하여 각 변들간 길이의 비를 비교할 수 있다.
여기서, 상기 유사 영역은, 상기 매칭되는 정합된 삼각형 쌍에 포함된 좌표들의 극값을 이용하여 직사각형 형태로 결정될 수 있다.
본 발명에 따르면, 영상간 유사 영역을 판단하는 방법 및 장치가 제공될 수 있다.
또한, 본 발명에 따르면, 영상의 특징점 정합쌍간에 삼각형의 닮음 조건에 기초하여 유사 영역을 판단하는 방법 및 장치가 제공될 수 있다.
또한, 본 발명에 따르면, 영상간 유사 공간 파악 과정에서 삼각형 변의 길이 정보만을 비교하기 때문에, 적은 계산량으로 다수의 영상간 유사 공간을 파악할 수 있고, 동시에 알고리즘 구현시 높은 성능의 디바이스를 요구하지 않을 수 있다.
또한, 본 발명에 따르면, 영상의 회전 변화와 영상 간의 크기 또는 해상도 차이와 무관하게 영상간 유사 공간 파악이 가능하고, 동시에 유사 공간의 절대 좌표를 파악함으로써 영상 정합 과정에서의 계산량을 크게 줄일 수 있다.
본 개시의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.
본 개시의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.
또한, 본 개시의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
본 개시의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.

Claims (20)

  1. 유사 영역 판단의 대상이 되는 복수의 입력 영상을 수신하는 단계;
    상기 수신된 복수의 입력 영상 각각에 대해 특징점을 추출하는 단계;
    상기 추출된 특징점을 그룹화하여 정합된 삼각형을 획득하는 단계; 및
    상기 정합된 삼각형을 이용하여 상기 복수의 입력 영상간 유사 영역을 판단하는 단계를 포함하는 복수의 영상간 유사 영역 판단 방법.
  2. 제1항에 있어서,
    상기 정합된 삼각형은, 상기 추출된 특징점간의 거리에 기초하여 획득되는 것을 특징으로 하는 영상간 유사 영역 판단 방법.
  3. 제2항에 있어서,
    상기 정합된 삼각형은, 기준 특징점과 비교 대상 특징점간의 가로 좌표값의 차이 및 세로 좌표값의 차이를 이용하여 획득되는 것을 특징으로 하는 영상간 유사 영역 판단 방법.
  4. 제1항에 있어서,
    상기 복수의 입력 영상간 유사 영역을 판단하는 단계는, 상기 정합된 삼각형간 삼각형의 닮음에 기초하여 유사 영역이 추출되는 것을 특징으로 하는 영상간 유사 영역 판단 방법.
  5. 제4항에 있어서,
    상기 복수의 입력 영상간 유사 영역을 판단하는 단계는,
    상기 복수의 입력 영상 각각에 대해 획득된 정합된 삼각형 쌍에서 각 변들간 길이의 비를 비교하는 단계; 및
    상기 비교 결과에 기초하여 상기 정합된 삼각형 쌍이 매칭되는지 여부를 판단하는 단계를 포함하는 영상간 유사 영역 판단 방법.
  6. 제5항에 있어서,
    상기 복수의 입력 영상간 유사 영역을 판단하는 단계는,
    상기 매칭되는 정합된 삼각형 쌍을 모두 포함하는 영역을 추출함으로써 유사 영역을 결정하는 단계를 더 포함하는 영상간 유사 영역 판단 방법.
  7. 제6항에 있어서,
    상기 유사 영역은, 상기 매칭되는 정합된 삼각형 쌍에 포함된 좌표들의 극값을 이용하여 직사각형 형태로 결정되는 것을 특징으로 하는 영상간 유사 영역 판단 방법.
  8. 유사 영역 판단의 대상이 되는 제1 영상 및 제2 영상을 수신하는 단계;
    상기 제1 영상의 특징점 및 상기 제2 영상의 특징점을 추출하는 단계;
    상기 추출된 제1 영상의 특징점을 그룹화하여 상기 제1 영상에 대한 적어도 하나의 제1 정합된 삼각형을 획득하는 단계;
    상기 추출된 제2 영상의 특징점을 그룹화하여 상기 제2 영상에 대한 적어도 하나의 제2 정합된 삼각형을 획득하는 단계;
    상기 적어도 하나의 제1 정합된 삼각형 및 상기 적어도 하나의 제2 정합된 삼각형간의 삼각형 쌍에서 각 변들간 길이의 비를 비교하는 단계;
    상기 비교 결과에 기초하여 매칭되는 삼각형 쌍을 추출하는 단계; 및
    상기 추출된 삼각형 쌍을 모두 포함하는 영역을 유사 영역으로 결정하는 단계를 포함하는 영상간 유사 영역 판단 방법.
  9. 제8항에 있어서,
    상기 각 변들간 길이의 비를 비교하는 단계는, 상기 삼각형 쌍에서 삼각형의 닮음에 기초하여 각 변들간 길이의 비를 비교하는 것을 특징으로 하는 영상간 유사 영역 판단 방법.
  10. 제8항에 있어서,
    상기 유사 영역은, 상기 매칭되는 정합된 삼각형 쌍에 포함된 좌표들의 극값을 이용하여 직사각형 형태로 결정되는 것을 특징으로 하는 영상간 유사 영역 판단 방법.
  11. 영상간 유사 영역을 판단하는 장치에 있어서, 상기 장치는,
    유사 영역 판단의 대상이 되는 복수의 입력 영상을 수신하고, 상기 수신된 복수의 입력 영상 각각에 대해 특징점을 추출하고, 상기 추출된 특징점을 그룹화하여 정합된 삼각형을 획득하고, 상기 정합된 삼각형을 이용하여 상기 복수의 입력 영상간 유사 영역을 판단하는 것을 특징으로 하는 영상간 유사 영역 판단 장치.
  12. 제11항에 있어서,
    상기 정합된 삼각형은, 상기 추출된 특징점간의 거리에 기초하여 획득되는 것을 특징으로 하는 영상간 유사 영역 판단 장치.
  13. 제12항에 있어서,
    상기 정합된 삼각형은, 기준 특징점과 비교 대상 특징점간의 가로 좌표값의 차이 및 세로 좌표값의 차이를 이용하여 획득되는 것을 특징으로 하는 영상간 유사 영역 판단 장치.
  14. 제11항에 있어서,
    상기 장치는, 상기 정합된 삼각형간 삼각형의 닮음에 기초하여 유사 영역이 추출되는 것을 특징으로 하는 영상간 유사 영역 판단 장치.
  15. 제14항에 있어서,
    상기 장치는, 상기 복수의 입력 영상 각각에 대해 획득된 정합된 삼각형 쌍에서 각 변들간 길이의 비를 비교하고, 상기 비교 결과에 기초하여 상기 정합된 삼각형 쌍이 매칭되는지 여부를 판단하는 것을 특징으로 하는 영상간 유사 영역 판단 장치.
  16. 제15항에 있어서,
    상기 장치는, 상기 매칭되는 정합된 삼각형 쌍을 모두 포함하는 영역을 추출함으로써 유사 영역을 결정하는 것을 더 포함하는 영상간 유사 영역 판단 장치.
  17. 제16항에 있어서,
    상기 유사 영역은, 상기 매칭되는 정합된 삼각형 쌍에 포함된 좌표들의 극값을 이용하여 직사각형 형태로 결정되는 것을 특징으로 하는 영상간 유사 영역 판단 장치.
  18. 영상간 유사 영역을 판단하는 장치에 있어서, 상기 장치는,
    유사 영역 판단의 대상이 되는 제1 영상 및 제2 영상을 수신하고, 상기 제1 영상의 특징점 및 상기 제2 영상의 특징점을 추출하고, 상기 추출된 제1 영상의 특징점을 그룹화하여 상기 제1 영상에 대한 적어도 하나의 제1 정합된 삼각형을 획득하고, 상기 추출된 제2 영상의 특징점을 그룹화하여 상기 제2 영상에 대한 적어도 하나의 제2 정합된 삼각형을 획득하고, 상기 적어도 하나의 제1 정합된 삼각형 및 상기 적어도 하나의 제2 정합된 삼각형간의 삼각형 쌍에서 각 변들간 길이의 비를 비교하고, 상기 비교 결과에 기초하여 매칭되는 삼각형 쌍을 추출하고, 상기 추출된 삼각형 쌍을 모두 포함하는 영역을 유사 영역으로 결정하는 것을 포함하는 영상간 유사 영역 판단 장치.
  19. 제18항에 있어서,
    상기 장치는, 상기 삼각형 쌍에서 삼각형의 닮음에 기초하여 각 변들간 길이의 비를 비교하는 것을 특징으로 하는 영상간 유사 영역 판단 장치.
  20. 제18항에 있어서,
    상기 유사 영역은, 상기 매칭되는 정합된 삼각형 쌍에 포함된 좌표들의 극값을 이용하여 직사각형 형태로 결정되는 것을 특징으로 하는 영상간 유사 영역 판단 장치.
KR1020190137797A 2018-12-31 2019-10-31 특징점 간 삼각형 닮음 조건 기반 영상 유사도 평가 알고리즘 Active KR102259704B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180174212 2018-12-31
KR20180174212 2018-12-31

Publications (2)

Publication Number Publication Date
KR20200083202A true KR20200083202A (ko) 2020-07-08
KR102259704B1 KR102259704B1 (ko) 2021-06-02

Family

ID=71600970

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190137797A Active KR102259704B1 (ko) 2018-12-31 2019-10-31 특징점 간 삼각형 닮음 조건 기반 영상 유사도 평가 알고리즘

Country Status (1)

Country Link
KR (1) KR102259704B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113077508A (zh) * 2021-03-30 2021-07-06 深圳市墨者安全科技有限公司 一种图像相似度匹配方法及装置
KR102567573B1 (ko) * 2023-05-17 2023-08-16 가이아쓰리디 주식회사 3차원 데이터 변환 정확도 측정 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090009824A (ko) * 2007-03-09 2009-01-23 오므론 가부시키가이샤 인식 처리 방법 및 이 방법을 이용한 화상 처리 장치
KR20120074651A (ko) * 2010-12-28 2012-07-06 한양대학교 산학협력단 정합쌍 분류장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090009824A (ko) * 2007-03-09 2009-01-23 오므론 가부시키가이샤 인식 처리 방법 및 이 방법을 이용한 화상 처리 장치
KR20120074651A (ko) * 2010-12-28 2012-07-06 한양대학교 산학협력단 정합쌍 분류장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113077508A (zh) * 2021-03-30 2021-07-06 深圳市墨者安全科技有限公司 一种图像相似度匹配方法及装置
KR102567573B1 (ko) * 2023-05-17 2023-08-16 가이아쓰리디 주식회사 3차원 데이터 변환 정확도 측정 방법

Also Published As

Publication number Publication date
KR102259704B1 (ko) 2021-06-02

Similar Documents

Publication Publication Date Title
US10510159B2 (en) Information processing apparatus, control method for information processing apparatus, and non-transitory computer-readable storage medium
JP6620888B2 (ja) 煙検出装置、方法及び画像処理装置
US9881423B2 (en) Augmented reality-based hand interaction apparatus and method using image information
US10456918B2 (en) Information processing apparatus, information processing method, and program
AU2017229995B2 (en) Perspective correction for curved display screens
US9721387B2 (en) Systems and methods for implementing augmented reality
US9967516B2 (en) Stereo matching method and device for performing the method
US9972091B2 (en) System and method for detecting object from depth image
JP2021108193A (ja) 画像処理装置、画像処理方法、及びプログラム
KR20120044484A (ko) 이미지 처리 시스템에서 물체 추적 장치 및 방법
US10503969B2 (en) Hand-raising detection device, non-transitory computer readable medium, and hand-raising detection method
KR102259704B1 (ko) 특징점 간 삼각형 닮음 조건 기반 영상 유사도 평가 알고리즘
CN113763458B (zh) 确定目标对象摆放面的方法和装置
US9727145B2 (en) Detecting device and detecting method
JP2020071739A (ja) 画像処理装置
JP6350331B2 (ja) 追尾装置、追尾方法及び追尾プログラム
CN102136139B (zh) 目标姿态分析装置及其目标姿态分析方法
JP2015045919A (ja) 画像認識方法及びロボット
CN113167568A (zh) 坐标计算装置、坐标计算方法和计算机可读记录介质
Choi et al. Improved pupil center localization method for eye-gaze tracking-based human-device interaction
Laureano et al. A topological approach for detection of chessboard patterns for camera calibration
JP5644421B2 (ja) 指示手段形状取得装置及び指示手段形状取得プログラム、並びに投影システム
JP6818485B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2016192133A (ja) 動物体検出装置及びその背景モデル構築方法
US20240029288A1 (en) Image processing apparatus, image processing method, and storage medium

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20191031

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20200921

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20210331

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20200921

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

X091 Application refused [patent]
AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20210331

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20201119

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20210524

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20210503

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20210331

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20201119

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20210527

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20210527

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20240401

Start annual number: 4

End annual number: 4