KR101915540B1 - 이미지유사도 분석에 대한 합성시스템 및 이미지유사도 분석에 대한 합성방법 - Google Patents

이미지유사도 분석에 대한 합성시스템 및 이미지유사도 분석에 대한 합성방법 Download PDF

Info

Publication number
KR101915540B1
KR101915540B1 KR1020180059037A KR20180059037A KR101915540B1 KR 101915540 B1 KR101915540 B1 KR 101915540B1 KR 1020180059037 A KR1020180059037 A KR 1020180059037A KR 20180059037 A KR20180059037 A KR 20180059037A KR 101915540 B1 KR101915540 B1 KR 101915540B1
Authority
KR
South Korea
Prior art keywords
image
size
unit
matching
changing
Prior art date
Application number
KR1020180059037A
Other languages
English (en)
Inventor
이윤진
한택진
윤일로
Original Assignee
주식회사 다누시스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 다누시스 filed Critical 주식회사 다누시스
Priority to KR1020180059037A priority Critical patent/KR101915540B1/ko
Application granted granted Critical
Publication of KR101915540B1 publication Critical patent/KR101915540B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 이미지유사도 분석에 대한 합성시스템 및 이미지유사도 분석에 대한 합성방법에 관한 것이다.
본 발명의 이미지유사도 분석에 대한 합성시스템은 제1영역을 촬영하여 제1영상이미지를 생성하는 제1카메라부,
제1카메라부와 이격 설치되어, 제1영역과 일부 중복되는 제2영역을 촬영하여 제2영상이미지를 생성하는 제2카메라부,
제1영역과 제2영역 간 중복되는 중복영역으로부터 제1영상이미지에 포함되는 제1객체와 제2영상이미지에 포함되는 제2객체를 추출하는 객체추출부;
추출된 제1객체와 제2객체로부터 크기에 대한 파라미터 값을 산출하고, 산출된 파라미터 값을 변경하며 제1객체와 제2객체의 크기를 변경하는 파라미터산출변경부;
기계학습 방법으로 크기가 변경되는 제1객체와 제2객체의 일치도를 계산하는 매칭유사도산출부;
일치도가 가장 높은 제1객체의 크기 변화율에 대응되도록 제1영상이미지의 크기를 변경하고, 일치도가 가장 높은 제2객체의 크기 변화율에 대응되도록 제2영상이미지의 크기를 변경하는 영상크기조절부; 및
일치도가 가장 높은 제1객체와 제2객체를 중심으로 크기가 변경된 제1영상이미지와 제2영상이미지를 중첩 시켜, 하나의 중첩영상이미지를 출력하는 매칭객체중첩부를 포함한다.
그리고 본 발명의 이미지유사도 분석에 대한 합성방법은 제1카메라부가 제1영역을 촬영하여 제1영상이미지를 생성하고, 제2카메라부가 제1카메라부와 이격설치되어 제1영역과 일부 중복되는 제2영역을 촬영하여 제2영상이미지를 생성하는 (A)단계;
객체추출부가 제1영역과 제2영역 간 중복되는 중복영역으로부터 제1영상이미지에 포함되는 제1객체와 제2영상이미지에 포함되는 제2객체를 추출하는 (B)단계;
파라미터산출변경부가 추출된 제1객체와 제2객체로부터 크기에 대한 파라미터 값을 산출하고, 산출된 파라미터 값을 변경하며 제1객체와 제2객체의 크기를 변경하는 (C)단계;
매칭유사도산출부가 기계학습 방법으로 크기가 변경되는 제1객체와 제2객체의 일치도를 계산하는 (D)단계;
영상크기조절부가 상기 (D)단계에서 일치도가 가장 높은 제1객체의 크기 변화율에 대응되도록 제1영상이미지의 크기를 변경하고, 제2객체의 크기 변화율에 대응되도록 제2영상이미지의 크기를 변경하는 (E)단계; 및
매칭객체중첩부가 (E)단계에서 변경된 제1영상이미지와 제2영상이미지를 일치도가 가장 높은 제1객체와 제2객체를 중심으로 중첩 시켜, 하나의 중첩영상이미지를 출력하는 (F)단계를 포함한다.

Description

이미지유사도 분석에 대한 합성시스템 및 이미지유사도 분석에 대한 합성방법{Compose System on Image Similarity Analysis And Compose Method on Image Similarity Analysis}
본 발명은 복수 개의 영상이미지 내의 특정 영역으로부터 파라미터를 추출해, 복수 개의 이미지 간 유사도를 분석하고 최적의 유사도 값을 보이는 복수 개의 영상이미지를 합성시키는 기술에 관한 것이다.
공연장 등에는 무대를 촬영하는 카메라가 설치된다. 무대의 규모에 따라 카메라는 한 대 또는 여러 대가 설치될 수 있다. 큰 규모의 무대에 카메라가 한 대가 설치될 경우, 무대 전체를 촬영하기 때문에 공연을 하는 사람의 세밀한 연기를 스크린으로 보여주지 못하는 문제가 있다.
이에, 큰 규모의 공연장에는 여러 대의 카메라가 설치되고, 여러 대의 카메라가 서로 다른 위치에서 다양한 각도로 무대를 촬영한다. 여러 대의 카메라는 다양한 각도에서 공연을 디테일 하게 스크린에 나타낼 수 있다. 더욱이, 여러 대의 카메라는 각 카메라에서 촬영한 영상을 이어 붙이며, 하나의 파노라마 영상을 만들 수 있다.
현재, 여러 대의 카메라를 통해 만들어지는 하나의 파노라마 영상은 동일한 기준 크기로 설정하여 이를 이어 붙여, 하나의 파노라마 영상으로 만들어진다. 한데, 크기가 서로 다른 영상을 이어 붙여 하나의 파노라마 영상을 만드는 경우, 어느 하나의 영상을 기준 크기로 설정하여, 설정된 영상에 다른 영상의 크기를 맞추는 방식으로 파노라마 영상을 만들어야 한다. 이와 같이 파노라마 영상을 만드는 방식은 중첩되는 객체를 자연스럽게 표현시키지 못하는 문제가 있다.
대한민국 공개특허 제10-2007-0095747호 (2007.10.01)
이에, 본 발명은 상술한 문제를 해결하기 위한 것으로서, 복수 개의 이미지 내 특정영역의 파라미터를 추출하여, 복수 개의 이미지 크기를 변경하며 이미지 간 유사도를 분석해 유사도 값이 높은 객체의 이미지를 중첩 시키며, 자연스러운 중첩 이미지를 형성하는 이미지유사도 분석에 대한 합성시스템 및 이미지유사도 분석에 대한 합성방법에 관한 기술에 관한 것이다.
본 발명의 해결 하고자 하는 과제는 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 해결하고자 하는 과제를 달성하기 위한 본 발명의 이미지유사도 분석에 대한 합성시스템은,
제1영역을 촬영하여 제1영상이미지를 생성하는 제1카메라부;
상기 제1카메라부와 이격 설치되어, 상기 제1영역과 일부 중복되는 제2영역을 촬영하여 제2영상이미지를 생성하는 제2카메라부;
상기 제1영역과 상기 제2영역 간 중복되는 중복영역으로부터 상기 제1영상이미지에 포함되는 제1객체와 상기 제2영상이미지에 포함되는 제2객체를 추출하는 객체추출부;
추출된 상기 제1객체와 상기 제2객체로부터 크기에 대한 파라미터 값을 산출하고, 산출된 파라미터 값을 변경하며 상기 제1객체와 상기 제2객체의 크기를 변경하는 파라미터산출변경부;
기계학습 방법으로 크기가 변경되는 제1객체와 제2객체의 일치도를 계산하는 매칭유사도산출부;
일치도가 가장 높은 제1객체의 크기 변화율에 대응되도록 제1영상이미지의 크기를 변경하고, 일치도가 가장 높은 제2객체의 크기 변화율에 대응되도록 제2영상이미지의 크기를 변경하는 영상크기조절부; 및
일치도가 가장 높은 제1객체와 제2객체를 중심으로 크기가 변경된 제1영상이미지와 제2영상이미지를 중첩시켜, 하나의 중첩영상이미지를 출력하는 매칭객체중첩부를 포함한다.
상기 파라미터산출변경부는 상기 제1객체와 상기 제2객체부터 가로 길이에 대응하는 가로파라미터값과 세로 길이에 대응하는 세로파라미터값을 산출하고 상기 가로파라미터값과 상기 세로파라미터값을 상기 제1객체와 상기 제2객체의 가로길이 및 세로길이 내에서 변경할 수 있다.
아울러, 상기 해결하고자 하는 과제를 달성하기 위한 또 하나의 본 발명의 이미지유사도 분석에 대한 합성방법은,
제1카메라부가 제1영역을 촬영하여 제1영상이미지를 생성하고, 제2카메라부가 상기 제1카메라부와 이격 설치되어 상기 제1영역과 일부 중복되는 제2영역을 촬영하여 제2영상이미지를 생성하는 (A)단계;
객체추출부가 상기 제1영역과 상기 제2영역 간 중복되는 중복영역으로부터 상기 제1영상이미지에 포함되는 제1객체와 상기 제2영상이미지에 포함되는 제2객체를 추출하는 (B)단계;
파라미터산출변경부가 추출된 상기 제1객체와 상기 제2객체로부터 크기에 대한 파라미터 값을 산출하고, 산출된 파라미터 값을 변경하며 상기 제1객체와 상기 제2객체의 크기를 변경하는 (C)단계;
매칭유사도산출부가 기계학습 방법으로 크기가 변경되는 제1객체와 제2객체의 일치도를 계산하는 (D)단계;
영상크기조절부가 상기 (D)단계에서 일치도가 가장 높은 제1객체의 크기 변화율에 대응되도록 제1영상이미지의 크기를 변경하고, 제2객체의 크기 변화율에 대응되도록 제2영상이미지의 크기를 변경하는 (E)단계; 및
매칭객체중첩부가 상기 (E)단계에서 변경된 상기 제1영상이미지와 상기 제2영상이미지를 일치도가 가장 높은 제1객체와 제2객체를 중심으로 중첩시켜, 하나의 중첩영상이미지를 출력하는 (F)단계를 포함한다.
본 발명에 따른 이미지유사도 분석에 대한 합성시스템 및 이미지유사도 분석에 대한 합성방법은 복수 개의 영상이미지에서 파라미터를 추출하고, 추출된 파라미터를 변경하며 다양한 크기의 영상이미지를 생성할 수 있다.
나아가, 본 발명은 영상이미지의 크기를 변경하며 크기 변경된 복수 개의 영상이미지 간 유사도값을 산출하고 산출된 최적의 유사도값에 대응하는 복수 개의 이미지를 중첩 시켜 자연스러운 파노라마 영상이미지를 생성할 수 있다.
도 1은 본 발명의 일 실시예에 의한 이미지유사도 분석에 대한 합성시스템의 블록도이다.
도 2는 도 1의 이미지유사도 분석에 대한 합성시스템의 실제 사용상태를 개괄적으로 나타낸 도면이다.
도 3은 도 2의 제1카메라부와 제2카메라부가 촬영한 제1영상이미지와 제2영상이미지를 나타낸 도면이다.
도 4 및 도 5는 도 1의 파라미터산출변경부, 매치유사도산출부의 작동 상태를 나타낸 도면이다.
도 6은 도 1의 영상크기조절부 및 매칭객체중첩부의 작동 상태를 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 의한 이미지유사도 분석에 대한 합성방법의 순서도이다.
본 발명의 이점 및 특징 그리고 그것들을 달성하기 위한 방법들은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예를 참조하면 명확해질 것이다.
그러나 본 발명은 이하에서 개시되는 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 단지 본 실시 예는 본 발명의 개시가 완전하도록 하고 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다.
본 발명의 청구범위는 청구항에 의해 정의될 수 있다. 아울러, 명세서 전체에 걸쳐 동일 참조부호는 동일 구성요소를 지칭한다.
명세서 전체에 걸쳐 기술된 이미지유사도 분석에 대한 합성시스템의 모든 설명은 이미지유사도 분석에 대한 합성방법에 그대로 적용될 수 있다.
이하, 도 1 내지 도 6을 참조하여 본 발명의 일 실시예에 의한 이미지유사도 분석에 대한 합성시스템에 대해 상세히 설명한다.
다만, 본 명세서상에서 설명이 간결해질 수 있도록 도 1을 참조하여, 이미지유사도 분석에 대한 합성시스템에 대한 개괄적인 설명한 후, 이와 도 2 내지 도 6을 참조하며 본 발명의 구성요소 및 구성요소의 작동에 대해 구체적으로 설명한다.
도 1은 본 발명의 일 실시예에 의한 이미지유사도 분석에 대한 합성시스템의 블록도이다.
본 발명의 이미지유사도 분석에 대한 합성시스템(1)은 제1카메라부(110)에서 촬영된 제1영상이미지(f1)와 제2카메라부(120)에서 촬영된 제2영상이미지(f2)에서 중복되는 객체를 추출한다. 그리고 추출된 객체에서 파라미터를 추출해 파라미터를 변경하여 객체의 크기를 변경하며 객체 간 최적의 매칭의 유사도 값을 산출한다.
그리고 본 발명은 파라미터 변경에 따른 객체의 변경 비율에 대응되도록, 제1영상이미지(f1)와 제2영상이미지(f2)의 크기를 변경시켜, 제1영상이미지(f1)와 제2영상이미지(f2)를 중첩 시킬 수 있다.
특히, 본 발명의 이미지유사도 분석에 대한 합성시스템(1)은 파라미터의 변경에 의해 변경되는 제1영상이미지(f1)의 객체와 제2영상이미지의 객체 간 최적의 매칭 유사도 값을 통해, 제1영상이미지(f1)와 제2영상이미지(f2)를 중첩 시키며 자연스러운 하나의 영상이미지를 생성할 수 있다.
이와 같은, 이미지유사도 분석에 대한 합성시스템(1)은 제1카메라부(110), 제2카메라부(120), 객체추출부(210), 파라미터산출변경부(220), 매칭유사도산출부(230), 영상크기조절부(240), 매칭객체중첩부(250) 등을 구성요소로 포함한다. 여기서, 객체추출부(210), 파라미터산출변경부(220), 매칭유사도산출부(230), 영상크기조절부(240) 및 매칭객체중첩부(250)는 데이터를 송수신하며 기계 학습으로 데이터를 처리하는 연산기기(200)가 될 수 있다. 일례로 연산기기(200)는 다층구조 형태의 신경망을 기반으로 다량의 데이터를 처리할 수 있는 컴퓨터가 될 수 있다.
이하, 이미지유사도 분석에 대한 합성시스템(1)을 구성하는 각 구성요소에 대해 보다 구체적으로 설명한다.
제1카메라부(110)는 특정영역에서 제1영역을 촬영하며 제1영상이미지(f1)를 생성한다. 그리고 제2카메라부(120)는 제1카메라부(110)와 이격 설치되어, 제1영역과 일부 중복되는 제2영역을 촬영하여 제2영상이미지(f2)를 생성한다.
제1카메라부(110)와 제2카메라부(120)는 특정영역으로부터 서로 다른 거리로 떨어져 설치되며 특정영역을 서로 다른 각도로 촬영할 수 있다.
일례로, 도 2에 도시된 바와 같이, 제1카메라부(110)는 특정영역의 기준선(G)으로부터 G1만큼 떨어져 설치될 수 있고, 제2카메라부(120)는 특정영역의 기준선(G)으로부터 G2만큼 떨어져 설치될 수 있다. 이와 같이 설치된 제1카메라부(110)와 제2카메라부(120)는 서로 다른 방향에서 특정영역을 촬영할 수 있다.
이와 같은 제1카메라부(110)는 도 3의 (a)에 도시된 바와 같이 특정영역을 촬영하며 제1영상이미지(f1)를 생성하여 객체추출부(210)로 전송할 수 있고, 제2카메라부(120)는 도 3의 (b)에 도시된 바와 같이, 특정영역을 촬영하며 제2영상이미지(f2)를 생성하여 객체추출부(210)로 전송할 수 있다.
여기서, 제1카메라부(110)에서 촬영한 제1영상이미지(f1)에는 사물객체(P1)와 제1객체(ob)가 포함될 수 있고, 제2카메라부(120)에서 촬영한 제2영상이미지(f2)에는 사물객체(P2)와 제2객체(ob)가 포함될 수 있다. 이때, 제1객체와 제2객체는 제1카메라부(110)와 제2카메라부(120)에서 각각 촬영된 객체이되, 동일한 객체가 될 수 있다.
본 명세서상에서는 설명이 간결하고 명확해 질 수 있도록, 제1객체와 제2객체는 사람이 객체가 되는 것으로 한다. 이러한 사람의 형상이 제1객체와 제2객체가 되는 것은 일례가 될 뿐, 제1객체와 제2객체가 사람형상의 객체로 한정되는 것은 아니다.
객체추출부(210)는 제1영역과 제2영역 간 중복되는 중복영역으로부터 제1영상이미지(f1)에 포함되는 제1객체와 제2영상이미지(f2)에 포함되는 제2객체를 추출한다. 일례로, 객체추출부(210)는 입력되는 영상이미지로부터 객체를 추출할 수 있는 기준객체를 포함한다. 여기서, 기준객체는 객체추출부(210)가 작동하기 전에 객체추출부(210)에 설정될 수 있다.
객체추출부(210)는 기준객체를 이용해, 제1영상이미지(f1)에서 기준객체와 매칭되는 제1객체를 추출하고 제2영상이미지(f2)에서 기준객체와 매칭되는 제2객체를 추출할 수 있다. 이와 같은 객체추출부(210)는 제1객체와 제2객체를 추출하여 파라미터산출변경부(220)로 전송한다.
파라미터산출변경부(220)는 제1객체와 제2객체로부터 크기에 대한 파라미터를 산출한다. 일례로, 파라미터산출변경부(220)는 제1객체로부터 가로 길이에 대응하는 가로파라미터(x1)와 세로길이에 대응하는 세로파라미터(y1)를 추출할 수 있다. 그리고 제2객체로부터 가로길이에 대한 가로파라미터(x2)와 세로길이에 대한 세로파라미터(y2)를 추출할 수 있다. 파라미터산출변경부(220)는 추출된 가로파라미터와 세로파라미터의 값을 구할 수 있다.
그리고 파라미터산출변경부(220)는 추출된 파라미터의 값을 변경하며 제1객체와 제2객체의 크기를 변경할 수 있다.
일례로, 도 4에 도시된 바와 같이, 파라미터산출변경부(220)는 제1객체의 가로길이의 파라미터값을 x1_a 내지 x1_z로 변경시키고, 세로길이의 파라미터값을 y1_a 내지 y1_z로 변경시키며 제1객체의 크기를 다양하게 변경시킬 수 있다. 또한, 파라미터산출변경부(220)는 제2객체의 가로길이의 파라미터값을 x2_a 내지 x2_z로 변경시키고, 세로길이의 파라미터값을 y2_a 내지 y2_z로 변경시키며 제2객체의 크기를 다양하게 변경시킬 수 있다.
다만, 파라미터산출변경부(220)는 제1객체와 제2객체로부터 가로파라미터값과 세로파라미터값을 산출하되, 산출된 가로파라미터값과 세로파라미터값을 제1객체와 제2객체의 가로길이 및 세로길이 내에서 변경시킬 수 있다.
즉, 파라미터산출변경부(220)는 x1_a 내지 x1_z 와 x2_a 내지 x2_z가 x1과 x2값 사이에 있는 값 그리고 y1_a 내지 y1_z 와 y2_a 내지 y2_z가 y1과 y2값 사이에 있는 값이 되도록만 파라미터값을 변경할 수 있다.
여기서, 도 4에는 도식의 편의를 위해 x1_a 내지 x1_z 와 x2_a 내지 x2_z를 x라고 표시되었고, y1_a 내지 y1_z 와 y2_a 내지 y2_z를 y라고 표시되었다. 이를 통해, 파라미터산출변경부(220)는 제1객체의 x1, y1에서부터 제2객체의 x2, y2까지 제1객체와 제2객체를 다양한 크기로 변경할 수 있다.
매칭유사도산출부(230)는 파라미터산출변경부(220)에서 크기가 변경되는 제1객체와 제2객체의 일치도를 계산한다. 특히, 매칭유사도산출부(230)는 기계 학습 다시 말해, 딥 러닝 방식으로 제1객체와 제2객체를 계산하며 제1객체와 제2객체의 매칭률을 계산할 수 있다.
일례로, 매칭유사도산출부(230)는 영상입력단계. 컨볼루션 레이어를 통한 인코팅 단계, 영상분할단계, 영역별 풀리-커넥티드 레이어를 통한 패턴 매칭 단계, 영상 병합단계 그리고 컨볼루션 레이어를 통한 디코팅 단계 그리고 입력-복원 오차 최소화 파라미터를 탐색하는 단계와 제1객체와 제2객체의 매칭률을 계산하는 단계로 진행될 수 있다.
여기서, 컨볼루션(convolution)은 합성 곱을 의미하고, 인코딩(encoding)은 부호화를 의미하고, 풀리-커넥티드(fully-connected)는 완전연결을 의미하고, 디코딩(decoding)은 복호화를 의미한다.
매칭유사도산출부(230)는 N개의 인코딩 컨볼루션 레이어, M개의 영역별 인코딩 풀리-커넥티드 레이어, M개의 영역별 디코딩 풀리-커넥티드 레이어, N개의 디코딩 컨볼루션 레이어로 구성될 수 있다.
매칭유사도산출부(230)의 입력 데이터는 위 레이어들에 의해 순차적으로 처리되며, 가장 먼저 1번째 인코딩 컨볼루션 레이어에 입력된다.
여기서, 인코딩 컨볼루션 레이어에 입력된 데이터는 컨볼루션, 전이 함수, 영상 축소 과정을 통해 처리된다.
컨볼루션 동작으로 처리된 데이터는 전이 함수에 입력된다. 전이 함수의 경우에는 딥 러닝 분야에서 보편적으로 사용되는 전이 함수가 사용될 수 있다. 전이 함수로 처리된 후의 영상 데이터는 영상 축소 과정을 거친다. 영상 축소는 영상의 가로, 세로 길이를 각각 (1/2)배로 축소된다.
전술한 데이터 처리 과정이 N개의 인코딩 컨볼루션 레이어에 걸쳐 반복된다. 제1객체 및 제2객체는 N번째 인코딩 컨볼루션 레이어를 거친 후 가로 DW 등분, 세로 DH 등분된다. 이때 분할된 각각의 영상 데이터는 ‘블록’이 될 수 있다. 각 블록의 데이터는 해당 블록을 담당하는 인코딩 풀리-커넥티드 레이어에 입력된다.
인코딩 풀리-커넥티드 레이어는 행렬 곱 파라미터와 바이어스 파라미터를 포함한다.
이때, 인코딩 풀리-커넥티드 레이어의 동작은 컨볼루션 신경망에서의 드랍아웃 방식으로 진행된다. 전술한 데이터 처리 과정이 M개의 인코딩 풀리-커넥티드 레이어에 걸쳐 반복된다.
인코딩은 1번째 인코딩 컨볼루션 레이어부터 N번째 인코딩 컨볼루션 레이어까지, 1번째 인코딩 풀리-커넥티드 레이어부터 M번째 인코딩 풀리-커넥티드 레이어까지 순차적으로 수행될 수 있다.
디코딩은 인코딩의 역순으로 진행된다. 디코딩 풀리-커넥티드 레이어는 행렬 곱 파라미터와 바이어스 파라미터를 포함한다.
이때, 디코딩 풀리-커넥티드 레이어의 동작은 인코딩 풀리-커넥티드 레이어의 동작과 동일하다.
디코딩 컨볼루션 레이어는 컨볼루션 파라미터와 바이어스 파라미터를 포함한다.
매칭유사도산출부(230)는 이와 같은 방식으로 객체를 학습하고, 학습 된 객체가 매칭될 수 있는 객체가 되는지 확인할 수 있다. 또한, 매칭유사도산출부(230)는 객체가 매칭될 수 있는 객체로 판별된 경우, 제1객체와 제2객체 간 일치도를 계산할 수 있다. 특히, 매칭유사도산출부(230)는 인코딩/디코딩 컨볼루션 레이어의 컨볼루션 파라미터와 바이어스 파라미터, 인코딩/디코딩 풀리-커넥티드 레이어의 행렬 곱 파라미터와 바이어스 파라미터가 입력 객체와 복원 객체 사이의 평균 오차를 최소화하는 값을 갖도록 학습 된다.
매칭유사도산출부(230)는 평균 오차가 최소화된 제1객체, 제2객체를 매칭시키며 제1객체와 제2객체 간 매칭값을 산출할 수 있다.
일례로, 매칭유사도산출부(230)는 가로 및 세로의 크기가 x1_a 및 y1_a로 변경된 제1객체와 x2_a 및 y2_a로 변경된 제2객체를 매칭시키며 88%의 매칭값을 산출할 수 있다. 또한, 가로 및 세로의 크기가 x1_v 및 세로 y1_v로 변경된 제1객체와 x2_v 및 y2_v로 변경된 제2객체를 매칭시키며 95%의 매칭값을 산출할 수 있다. 아울러, 가로 및 세로의 크기가 x1_z 및 세로 y1_z로 변경된 제1객체와 x2_z 및 y2_z로 변경된 제2객체를 매칭시키며 90%의 매칭값을 산출할 수 있다.
이와 같은 매칭유사도산출부(230)는 매칭값이 가장 높은 파라미터 값을 영상크기조절부(240)로 전송한다.
영상크기조절부(240)는 일치도 즉, 매칭값이 가장 높은 제1객체의 크기의 변화율에 대응되도록 제1영상이미지의 크기를 변경하고, 일치도가 가장 높은 제2객체의 크기의 변화율에 대응되도록 제2영상이미지의 크기를 변경한다. 일례로, 영상크기조절부(240)는 제1객체가 20% 확대되고, 제2객체가 20% 축소되어, 제1객체와 제2객체 간 일치도 값이 가장 높을 때, 제1영상이미지(f1)를 20% 확대시키고, 제2영상이미지(f2)를 20% 축소 시킬 수 있다.
매칭객체중첩부(250)는 일치도가 가장 높은 제1객체와 제2객체를 중심으로 크기가 변경된 제1영상이미지(f1)와 제2영상이미지(f2)를 중첩 시킨다. 일례로, 매칭객체중첩부(20)는 제1객체와 제2객체가 중첩되도록 20% 확대된 제1영상이미지와 20% 축소된 제2영상이미지를 중첩 시킨다.
이와 같은 매칭객체중첩부(250)는 제1영상이미지(f1)와 제2영상이미지(f2)를 중첩시키며 중첩된 부분이 자연스러운 중첩영상이미지를 생성한다.
이하, 지금까지 이미지유사도 분석에 대한 합성시스템에 대한 설명을 바탕으로 본 발명의 일 실시예에 의한 이미지유사도 분석에 대한 합성방법에 대해 설명한다.
이하 언급되는 구성요소에 대한 구체적인 설명은 별도 언급이 없는 한 전술한 이미지유사도 분석에 대한 합성시스템에 대한 설명으로 대신 한다.
본 발명의 일 실시예에 의한 이미지유사도 분석에 대한 합성방법에 대한설명은 도 7을 기준으로 한다.
도 7은 본 발명의 일 실시예에 의한 이미지유사도 분석에 대한 합성방법의 순서도이다.
이미지유사도 분석에 대한 합성방법은 복수 개의 카메라부와 카메라부에서 전송되는 데이터를 처리하는 연산기기 즉, 컴퓨터에 의해 일련의 단계로 진행될 수 있다.
이미지유사도 분석에 대한 합성방법은 (A)단계에서부터 (F)단계에 이르는 일련의 단계를 통해, 복수 개의 영상이미지에서 파라미터를 추출하고, 추출된 파라미터를 변경하며 다양한 크기의 영상이미지를 생성할 수 있다. 그리고 영상이미지의 크기를 변경하며, 크기 변경된 복수 개의 영상이미지 간 유사도 값을 산출할 수 있다. 그리고 산출된 최적의 유사도값에 대응하는 복수 개의 이미지를 중첩 시켜 자연스러운 파노라마 영상이미지를 생성할 수 있다.
이러한 이미지유사도 분석에 대한 합성방법은 제1카메라부(110)가 제1영역을 촬영하여 제1영상이미지를 생성하고 제2카메라부(120)가 제1영역과 일부 중복되는 제2영역을 촬영하여 제2영상이미지를 생성하는 (A)단계(S110)를 시작한다.
(A)단계 이후, 객체추출부(210)가 제1영역과 제2영역 간 중복되는 중복영역으로부터 제1영상이미지에 포함되는 제1객체와 제2영상이미지에 포함되는 제2객체를 추출하는 (B)단계(S120)로 진행한다.
(B)단계 이후, 파라미터산출변경부(220)가 추출된 제1객체와 제2객체로부터 크기에 대한 파라미터 값을 산출하고, 산출된 파라미터 값을 변경하며 제1객체와 제2객체의 크기를 변경하는 (C)단계(S130)를 진행한다.
매칭유사도산출부가 기계학습 방법으로 크기가 변경되는 제1객체와 제2객체의 일치도를 계산하는 (D)단계(S140)를 진행한다.
(D)단계 이후, 영상크기조절부(240)를 통해 일치도가 가장 높은 제1객체의 크기 변화율에 대응되도록 제1영상이미지의 크기를 변경하고, 제2객체의 크기 변화율에 대응되도록 제2영상이미지의 크기를 변경하는 (E)단계(S150)를 진행한다.
(E)단계 이후, 매칭객체중첩부(250)를 통해 변경된 제1영상이미지(f1)와 제2영상이미지(f2)를 일치도가 가장 높은 제1객체와 제2객체를 중심으로 중첩시켜, 하나의 중첩영상이미지를 출력하는 (F)단계(S160)를 진행할 수 있다.
이미지유사도 분석에 대한 합성방법은 (F)단계를 끝으로 일련의 단계를 종료한다.
삭제
이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야 한다.
1: 이미지유사도 분석에 대한 합성시스템
110: 제1카메라부 120: 제2카메라부
210: 객체추출부 220: 파라미터산출변경부
230: 매칭유사도산출부 240: 영상크기조절부
250: 매칭객체중첩부
f1: 제1영상이미지 f2: 제2영상이미지

Claims (3)

  1. 제1영역을 촬영하여 제1영상이미지를 생성하는 제1카메라부;
    상기 제1카메라부와 이격 설치되어, 상기 제1영역과 일부 중복되는 제2영역을 촬영하여 제2영상이미지를 생성하는 제2카메라부;
    상기 제1영역과 상기 제2영역 간 중복되는 중복영역으로부터 상기 제1영상이미지에 포함되는 제1객체와 상기 제2영상이미지에 포함되는 제2객체를 추출하는 객체추출부;
    추출된 상기 제1객체와 상기 제2객체로부터 크기에 대한 파라미터 값을 산출하고, 산출된 파라미터 값을 변경하며 상기 제1객체와 상기 제2객체의 크기를 변경하는 파라미터산출변경부;
    기계학습 방법으로 크기가 변경되는 제1객체와 제2객체의 일치도를 계산하는 매칭유사도산출부;
    일치도가 가장 높은 제1객체의 크기 변화율에 대응되도록 제1영상이미지의 크기를 변경하고, 일치도가 가장 높은 제2객체의 크기 변화율에 대응되도록 제2영상이미지의 크기를 변경하는 영상크기조절부; 및
    일치도가 가장 높은 제1객체와 제2객체를 중심으로 크기가 변경된 제1영상이미지와 제2영상이미지를 중첩시켜, 하나의 중첩영상이미지를 출력하는 매칭객체중첩부를 포함하고,
    상기 파라미터산출변경부는 상기 제1객체와 상기 제2객체부터 가로 길이에 대응하는 가로파라미터값과 세로 길이에 대응하는 세로파라미터값을 산출하고 상기 가로파라미터값과 상기 세로파라미터값을 상기 제1객체와 상기 제2객체의 가로길이 및 세로길이 내에서 변경할 수 있고,
    상기 매칭유사도산출부는, 상기 제1객체의 가로 및 세로의 크기를 변경하고, 상기 제2객체의 가로 및 세로의 크기를 변경해 가며, 상기 제1객체와 상기 제2객체 간 매칭값을 산출할 수 있고, 상기 제1객체와 상기 제2객체간 매칭값이 가장 높은 파라미터를 상기 영상크기조절부로 전송하고,
    상기 매칭객체중첩부는 제1객체와 제2객체가 중첩되도록 제1영상이미지와 제2영상이미지를 합성하는, 이미지유사도 분석에 대한 합성시스템.
  2. 삭제
  3. 제1카메라부가 제1영역을 촬영하여 제1영상이미지를 생성하고, 제2카메라부가 상기 제1카메라부와 이격 설치되어 상기 제1영역과 일부 중복되는 제2영역을 촬영하여 제2영상이미지를 생성하는 (A)단계;
    객체추출부가 상기 제1영역과 상기 제2영역 간 중복되는 중복영역으로부터 상기 제1영상이미지에 포함되는 제1객체와 상기 제2영상이미지에 포함되는 제2객체를 추출하는 (B)단계;
    파라미터산출변경부가 추출된 상기 제1객체와 상기 제2객체로부터 크기에 대한 파라미터 값을 산출하고, 산출된 파라미터 값을 변경하며 상기 제1객체와 상기 제2객체의 크기를 변경하는 (C)단계;
    매칭유사도산출부가 기계학습 방법으로 크기가 변경되는 제1객체와 제2객체의 일치도를 계산하는 (D)단계;
    영상크기조절부가 상기 (D)단계에서 일치도가 가장 높은 제1객체의 크기 변화율에 대응되도록 제1영상이미지의 크기를 변경하고, 제2객체의 크기 변화율에 대응되도록 제2영상이미지의 크기를 변경하는 (E)단계; 및
    매칭객체중첩부가 상기 (E)단계에서 변경된 상기 제1영상이미지와 상기 제2영상이미지를 일치도가 가장 높은 제1객체와 제2객체를 중심으로 중첩 시켜, 하나의 중첩영상이미지를 출력하는 (F)단계를 포함하고,
    상기 (C)단계에서 파라미터산출변경부는 상기 제1객체와 상기 제2객체부터 가로 길이에 대응하는 가로파라미터값과 세로 길이에 대응하는 세로파라미터값을 산출하고 상기 가로파라미터값과 상기 세로파라미터값을 상기 제1객체와 상기 제2객체의 가로길이 및 세로길이 내에서 변경하고,
    상기 (D)단계에서 상기 매칭유사도산출부는, 상기 제1객체의 가로 및 세로의 크기를 변경하고, 상기 제2객체의 가로 및 세로의 크기를 변경해 가며, 상기 제1객체와 상기 제2객체 간 매칭값을 산출할 수 있고, 상기 제1객체와 상기 제2객체간 매칭값이 가장 높은 파라미터를 상기 영상크기조절부로 전송하고,
    상기 (F)단계에서 상기 매칭객체중첩부는, 제1객체와 제2객체가 중첩되도록 제1영상이미지와 제2영상이미지를 합성하는, 이미지유사도 분석에 대한 합성방법.
KR1020180059037A 2018-05-24 2018-05-24 이미지유사도 분석에 대한 합성시스템 및 이미지유사도 분석에 대한 합성방법 KR101915540B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180059037A KR101915540B1 (ko) 2018-05-24 2018-05-24 이미지유사도 분석에 대한 합성시스템 및 이미지유사도 분석에 대한 합성방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180059037A KR101915540B1 (ko) 2018-05-24 2018-05-24 이미지유사도 분석에 대한 합성시스템 및 이미지유사도 분석에 대한 합성방법

Publications (1)

Publication Number Publication Date
KR101915540B1 true KR101915540B1 (ko) 2019-01-07

Family

ID=65017066

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180059037A KR101915540B1 (ko) 2018-05-24 2018-05-24 이미지유사도 분석에 대한 합성시스템 및 이미지유사도 분석에 대한 합성방법

Country Status (1)

Country Link
KR (1) KR101915540B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200145643A (ko) * 2019-06-21 2020-12-30 주식회사 쓰리아이 전방위 화상정보 기반의 자동위상 매핑 처리 방법 및 그 시스템
WO2020256517A3 (ko) * 2019-06-21 2021-05-20 주식회사 쓰리아이 전방위 화상정보 기반의 자동위상 매핑 처리 방법 및 그 시스템
KR20210082027A (ko) * 2019-12-24 2021-07-02 주식회사 쓰리아이 전방위 화상정보 기반의 자동위상 매핑 처리 방법 및 그 시스템
WO2022025442A1 (ko) * 2020-07-31 2022-02-03 주식회사 쓰리아이 전방위 이미지 처리 방법 및 이를 수행하는 서버

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200145643A (ko) * 2019-06-21 2020-12-30 주식회사 쓰리아이 전방위 화상정보 기반의 자동위상 매핑 처리 방법 및 그 시스템
WO2020256517A3 (ko) * 2019-06-21 2021-05-20 주식회사 쓰리아이 전방위 화상정보 기반의 자동위상 매핑 처리 방법 및 그 시스템
KR102384177B1 (ko) * 2019-06-21 2022-04-29 주식회사 쓰리아이 전방위 화상정보 기반의 자동위상 매핑 처리 방법 및 그 시스템
US12002260B2 (en) 2019-06-21 2024-06-04 3I Inc. Automatic topology mapping processing method and system based on omnidirectional image information
KR20210082027A (ko) * 2019-12-24 2021-07-02 주식회사 쓰리아이 전방위 화상정보 기반의 자동위상 매핑 처리 방법 및 그 시스템
KR102617222B1 (ko) * 2019-12-24 2023-12-26 주식회사 쓰리아이 전방위 화상정보 기반의 자동위상 매핑 처리 방법 및 그 시스템
WO2022025442A1 (ko) * 2020-07-31 2022-02-03 주식회사 쓰리아이 전방위 이미지 처리 방법 및 이를 수행하는 서버

Similar Documents

Publication Publication Date Title
KR101915540B1 (ko) 이미지유사도 분석에 대한 합성시스템 및 이미지유사도 분석에 대한 합성방법
KR101803471B1 (ko) 컨볼루션 신경망 기반의 영상 패턴화를 이용한 딥러닝 시스템 및 이를 이용한 영상 학습방법
US8180170B2 (en) Apparatus and method of recognizing image feature pixel point
US10542249B2 (en) Stereoscopic video generation method based on 3D convolution neural network
CN112132023A (zh) 基于多尺度上下文增强网络的人群计数方法
CN109191366B (zh) 基于人体姿态的多视角人体图像合成方法及装置
US20210049371A1 (en) Localisation, mapping and network training
CN107248174A (zh) 一种基于tld算法的目标跟踪方法
CN106960414A (zh) 一种多视角ldr图像生成高分辨率hdr图像的方法
CN111275638B (zh) 基于多通道注意力选择生成对抗网络的人脸修复方法
CN104159026A (zh) 一种实现360度全景视频的系统
JPH0916783A (ja) 客体の輪郭映像検知／細線化装置及びその方法
US11875490B2 (en) Method and apparatus for stitching images
CN116664454B (zh) 一种基于多尺度颜色迁移参数预测的水下图像增强方法
Ni et al. Color image demosaicing using progressive collaborative representation
CN113808005A (zh) 一种基于视频驱动的人脸姿态迁移方法及装置
CN110992367A (zh) 对带有遮挡区域的图像进行语义分割的方法
CN116703752A (zh) 融合近红外的Transformer结构的图像去雾方法及装置
Uhm et al. W-Net: Two-stage U-Net with misaligned data for raw-to-RGB mapping
CN115115522A (zh) 一种货架商品图像拼接方法及系统
CN111932594B (zh) 一种基于光流的十亿像素视频对齐方法及装置、介质
KR101578822B1 (ko) Gis 기반의 항공영상 정합을 통한 2차원 영상이미지의 3차원 텍스처 복원장치
CN117173012A (zh) 无监督的多视角图像生成方法、装置、设备及存储介质
CN115330655A (zh) 一种基于自注意力机制的图像融合方法及系统
CN113256541B (zh) 利用机器学习对钻井平台监控画面进行去水雾的方法