KR102230361B1 - 단일 이미지를 이용하는 배경이미지 복원장치 및 그 동작 방법 - Google Patents

단일 이미지를 이용하는 배경이미지 복원장치 및 그 동작 방법 Download PDF

Info

Publication number
KR102230361B1
KR102230361B1 KR1020190114467A KR20190114467A KR102230361B1 KR 102230361 B1 KR102230361 B1 KR 102230361B1 KR 1020190114467 A KR1020190114467 A KR 1020190114467A KR 20190114467 A KR20190114467 A KR 20190114467A KR 102230361 B1 KR102230361 B1 KR 102230361B1
Authority
KR
South Korea
Prior art keywords
object mask
real object
mask
image
neural network
Prior art date
Application number
KR1020190114467A
Other languages
English (en)
Inventor
임묘택
안우진
김동원
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to KR1020190114467A priority Critical patent/KR102230361B1/ko
Application granted granted Critical
Publication of KR102230361B1 publication Critical patent/KR102230361B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/162—Segmentation; Edge detection involving graph-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

본 출원의 일 실시예에 따르는 배경이미지 복원장치는, 단일 이미지로부터 실물객체 영역에 대응되는 실물객체 마스크와 고정객체 영역에 대응되는 고정객체 마스크를 획득하는 전처리부, 상기 실물객체 마스크의 영역별 통계정보와 상기 고정객체 마스크의 레이어 정보에 대해 신경망을 통해 딥러닝을 수행하여, 배경특징 정보를 추출하는 배경특징 추출부 및 상기 실물객체 마스크, 상기 고정객체 마스크 및 상기 배경특징 정보에 대해상기 신경망을 통해 딥러닝을 수행하여, 배경복원 이미지를 생성하는 이미지 생성부를 포함한다.

Description

단일 이미지를 이용하는 배경이미지 복원장치 및 그 동작 방법{BACKGROUND IMAGE RESTORATION DEVICE USING SINGLE IMAGE AND OPERATION METHOD THEREOF}
본 출원은 단일 이미지를 이용하는 배경 이미지 복원장치에 관한 것으로, 구체적으로 단일 이미지만을 이용하여, 이동 객체가 제거된 배경 이미지를 제공할 수 있는 배경 이미지 복원장치 및 그 동작 방법에 관한 것이다.
현재 자율주행 기술이 발달함에 따라, 차량의 위치를 특정하는 연구의 중요성이 증대되고 있다. 차량의 위치를 특정할 때, 카메라 센서를 이용하여 현재 보고 있는 이미지와 기준이 되는 이미지를 비교하여 특정한다.
이에, 기준이 되는 배경 이미지 획득의 중요성이 더욱더 증대되고 있다.
그러나, 기존의 배경 이미지에 대한 복원 기술은 한 장소에서 여러 장을 촬영하여, 배경 부분을 추출하고 모두 합하는 과정을 진행하지만, 이러한 복원 기술은 배경 이미지를 얻는 데에 큰 노력과 시간이 들어간다.
따라서, 본 출원에서는 딥러닝을 통해 단일 이미지만을 이용하여 간단하고 단시간 내에 배경 이미지를 복구할 수 있는 배경이미지 복원장치를 제공한다.
본 출원의 목적은, 단일 이미지만을 이용하여, 이동 객체가 제거된 배경 이미지의 복원성을 보다 높일 수 있는 배경 이미지 복원장치 및 그 동작 방법을 제공하는 것이다.
본 출원의 일 실시예에 따르는 배경이미지 복원장치는, 단일 이미지의 실물객체 영역에 대응되는 실물객체 마스크와 상기 단일 이미지의 고정객체 영역에 대응되는 고정객체 마스크를 획득하는 전처리부, 상기 실물객체 마스크의 영역별 통계정보와 상기 고정객체 마스크를 학습한 신경망의 레이어 정보에 대해 신경망을 통해 딥러닝을 수행하여, 배경특징 정보를 추출하는 배경특징 추출부 및 상기 단일 이미지, 상기 실물객체 마스크, 상기 고정객체 마스크 및 상기 배경특징 정보에 대해, 상기 신경망을 통해 딥러닝을 수행하여, 배경복원 이미지를 생성하는 이미지 생성부를 포함한다.
실시예에 있어서, 상기 신경망은, 깊은 합성곱 생성적 적대 신경망(Deep Convoltional GENERATIVE Adversarial Network, DCGAN)이다.
실시예에 있어서, 상기 전처리부는, 상기 실물객체 영역에 기초하여, 상기 단일 이미지로부터 상기 실물객체 마스크를 분리하는 분리부, 상기 실물객체 마스크 내 포함된 기설정된 이동객체에 기초하여, 상기 실물객체 마스크를 이동객체 영역과 고정객체 영역으로 분류하는 분류부 및 상기 실물객체 마스크에서 상기 이동객체 영역를 삭제하여, 상기 고정객체 마스크를 추출하는 삭제부를 포함한다.
실시예에 있어서, 상기 배경 특징 추출부는, 상기 실물객체 마스크에 대해, 히스토그램 기울기와 픽셀 평균값을 도출하는 통계적 모델링을 수행하여 상기 실물객체 마스크의 영역별 통계정보를 추출하는 통계정보 추출부, 상기 고정객체 마스크에 대해 상기 신경망을 통해 딥러닝을 수행하여, 상기 신경망의 각 레이어의 뉴런값과 각 레이어의 가중치를 포함하는 상기 레이어 정보를 추출하는 딥러닝기반 특징 추출부 및 상기 영역별 통계정보와 상기 레이어 정보에 대해 상기 신경망을 통해 딥러닝을 수행하여, 상기 배경특징 정보를 선정하는 특징 선정부를 포함한다.
실시예에 있어서, 상기 삭제부는, Haar-like feature 알고리즘, 그로우컷(GrowCut) 알고리즘, 그래프컷(GraphCut) 알고리즘, 또는 랜덤워커(Random Walker)의 알고리즘 중 어느 하나를 이용하여, 상기 실물객체 마스크와 이동객체 마스크 사이의 중첩된 이미지 영역을 삭제한다.
실시예에 있어서, 상기 실물객체 마스크는, 상기 단일 이미지의 상기 실물객체 영역에 따라, 의미론적 분할(Semantic Segmentation)을 통해 획득되는 이미지로, 실물객체마다 외곽선을 따라 서로 다른 색상으로 형성된 영역을 포함한다.
본 출원의 일 실시예에 따른 배경이미지 복원장치의 동작 방법으로, 전처리부가 단일 이미지의 실물객체 영역에 대응되는 실물객체 마스크와 상기 단일 이미지의 고정객체 영역에 대응되는 고정객체 마스크를 획득하는 단계, 배경특징 추출부가 상기 실물객체 마스크의 영역별 통계정보와 상기 고정객체 마스크를 학습한 신경망의 레이어 정보에 대해 신경망을 통해 딥러닝을 수행하여, 배경특징 정보를 추출하는 단계 및 이미지 생성부가 상기 단일 이미지, 상기 실물객체 마스크, 상기 고정객체 마스크 및 상기 배경특징 정보에 대해, 상기 신경망을 통해 딥러닝을 수행한다.
실시예에 있어서, 상기 신경망은, 깊은 합성곱 생성적 적대 신경망(Deep Convoltional GENERATIVE Adversarial Network, DCGAN)이다.
실시예에 있어서, 상기 고정객체 마스크를 획득하는 단계는, 상기 전처리부가 상기 실물객체 영역에 기초하여, 상기 단일 이미지로부터 상기 실물객체 마스크를 분리하는 단계, 상기 실물객체 마스크 내 포함된 기설정된 이동객체에 기초하여, 상기 실물객체 마스크를 이동객체 영역과 상기 고정객체 영역으로 분류하는 단계 및 상기 실물객체 마스크에서 상기 이동객체 영역을 삭제하여, 상기 고정객체 마스크를 추출하는 단계를 포함한다.
실시예에 있어서, 상기 고정객체 마스크를 획득하는 단계는, 상기 전처리부가 Haar-like feature 알고리즘, 그로우컷(GrowCut) 알고리즘, 그래프컷(GraphCut) 알고리즘, 또는 랜덤워커(Random Walker)의 알고리즘 중 어느 하나를 이용하여, 상기 실물객체 영역을 검출하는 단계, 상기 어느 하나의 알고리즘을 이용하여, 상기 이동객체 영역을 검출하는 단계 및 상기 실물객체 마스크와 상기 이동객체 영역에 대응되는 상기 이동객체 마스크 사이의 중첩된 이미지 영역을 삭제하는 단계를 더 포함한다.
실시예에 있어서, 상기 배경특징 정보를 추출하는 단계는, 상기 배경특징 추출부가 실물객체 마스크에 대해, 히스토그램 기울기와 픽셀 평균값을 도출하는 통계적 모델링을 수행하여, 상기 실물객체 마스크의 영역별 통계정보를 추출하는 단계, 상기 고정객체 마스크에 대해, 상기 신경망을 통해 딥러닝을 수행하여, 상기 신경망의 레이어별 뉴런값과 레이어별 가중치등을 포함하는 레이어 정보를 추출하는 단계 및 상기 영역별 통계정보와 상기 레이어 정보에 대해, 상기 신경망을 통해 딥러닝을 수행하여 상기 단일 이미지의 배경특징 정보를 선정하는 단계를 포함한다.
본 출원의 실시 예에 따른 배경 이미지 복원장치 및 그 동작 방법은, 단일 이미지만을 이용하여, 이동 객체가 제거된 배경 이미지의 복원성을 보다 높일 수 있다.
도 1은 본 출원의 실시예에 따른 배경이미지 복원장치의 블록도이다.
도 2는 도 1의 전처리부의 동작을 설명하기 위한 예를 나타낸다.
도 3은 도 1의 전처리부를 구체적으로 보여주는 블록도이다.
도 4는 도 1의 배경특징 추출부를 구체적으로 보여주는 블록도이다.
도 5는 도 1의 배경이미지 복원장치의 동작프로세스이다.
도 6은 도 3의 전처리부의 동작프로세스이다.
도 7은 도 4의 배경특징 추출부의 동작 프로세스이다.
본 명세서에 개시되어 있는 본 출원의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 출원의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 출원의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.
본 출원의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 출원의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 출원의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.
제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 출원의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1구성요소는 제2구성요소로 명명될 수 있고, 유사하게 제2구성요소는 제1구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 출원을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 출원이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 출원의 실시예에 따른 배경이미지 복원장치(10)의 블록도이고, 도 2는 도 1의 전처리부(100)의 동작을 설명하기 위한 예를 나타낸다.
도 1과 도 2를 참조하면, 배경이미지 복원장치(10)는 전처리부(100), 배경 특징 추출부(200) 및 이미지 생성부(300)를 포함할 수 있다.
먼저, 전처리부(100)는 단일 이미지의 실물객체 영역에 대응되는 실물객체 마스크(2)와 고정객체 영역에 대응되는 고정객체 마스크(4)를 획득할 수 있다.
여기서, 단일 이미지(1)는 복수의 프레임들로 구성된 영상이 아니라, 단지 하나의 프레임으로 형성된 이미지일 수 있다. 아울러, 실물객체 영역은 사람, 차량과 같은 이동객체들을 포함하는 이동객체 영역과 도로, 건물, 표지판, 나무 등과 같은 고정객체들을 모두 포함하는 고정객체 영역을 포함할 수 있다.
실시예에 따른 실물객체 마스크(2)는 단일 이미지(1)의 실물객체 영역에 따라, 의미론적 분할(Semantic Segmentation)을 통해 획득되는 이미지로, 실물객체마다 외곽선을 따라 독립적으로 형성된 영역들 각각을 서로 다른 색상으로 구분한 이미지일 수 있다.
도 2와 도 3에 도시된 바와 같이, 전처리부(100)는 단일 이미지(1)를 제공받고, 단일 이미지(1)를 의미론적 분할(Semantic Segmentation)을 통해 실물객체에 대응되는 각 픽셀을 서로 다른 색상으로 분류하여, 실물객체 마스크(2)를 획득할 수 있다. 이때, 전처리부(100)는 실물객체 중 이동객체를 기준으로, 실물객체 마스크(2)를 이동객체 마스크(3)와 고정객체 마스크(4)로 분리하여, 고정객체 마스크(4)를 획득할 수 있다.
즉, 이동객체 마스크(3)는 이동객체 영역에 대응되는 이미지이고, 고정객체 마스크(4)는 고정객체 영역에 되응되는 이미지이며, 실물객체 마스크(2)는 이동객체 마스크(3)와 고정객체 마스크(4)를 포함하는 실물객체 영역에 대응되는 이미지일 수 있다.
다음으로, 배경특징 추출부(200)는 실물객체 마스크(2)의 영역별 통계정보와 고정객체 마스크(4)를 학습한 신경망의 레이어 정보에 대해, 상기 신경망을 통해 딥러닝을 수행하여, 배경특징 정보를 추출할 수 있다.
여기서, 영역별 통계정보는 실물객체 마스크(2)에 대응되는 실물객체 영역별 픽셀 평균값과 히스토그램 기울기를 포함할 수 있다. 또한, 레이어 정보는 고정객체 마스크(4)를 입력받아 학습하는 상기 신경망의 각 레이어의 뉴런정보 및 각 레이어의 가중치정보를 포함할 수 있다. 이때, 신경망은 깊은 합성곱 생성적 적대 신경망(Deep Convoltional GENERATIVE Adversarial Network, DCGAN)일 수 있다. 예를 들면, 깊은 합성곱 생성적 적대 신경망(DCGAN)은 입력 이미지에 기초하여, 출력 이미지를 생성할 수 있는 인공지능 신경망일 수 있다. 아울러, 딥러닝이라 함은 신경망에서 비지도 학습하는 과정을 의미할 수 있다. 본 출원에서, 이미지를 입력받는 동작은 이미지의 픽셀정보를 입력받는 것일 수 있다.
다음으로, 이미지 생성부(300)는 전처리부(100)를 통해 단일 이미지(1), 실물객체 마스크(2) 및 고정객체 마스크(4)를 전송받고, 배경 특징 추출부(200)를 통해 배경특징 정보를 전송받을 수 있다. 이때, 이미지 생성부(300)는 단일 이미지(1), 실물객체 마스크(2), 고정객체 마스크(4) 및 배경특징 정보에 대해, 신경망 을 통해 딥러닝을 수행하여 배경복원 이미지(5)를 생성할 수 있다.
여기서, 배경복원 이미지(5)는 단일 이미지(1)에서 이동객체가 제거되고, 단일 이미지(1), 실물객체 마스크(2), 고정객체 마스크(4) 및 배경특징 정보에 기초하여, 이동객체가 제거된 영역이 고정객체로 복원된 이미지일 수 있다.
즉, 이미지 생성부(300)는 손실함수(LTOTAL)에 기초하여, 보다 선명한 배경복원 이미지(5)를 생성할 수 있다.
본 출원의 실시예에 따른 배경이미지 복원장치(10)는 전처리부(100)를 통해 획득되는 실물객체 마스크(2)와 고정객체 마스크(4), 배경 특징 추출부(200)에서 수행되는 딥러닝을 통해 추출되는 배경특징 정보에 대해, 깊은 합성곱 생성적 적대 신경망(DCGAN) 기반의 딥러닝을 수행함으로써, 보다 높은 복원성을 가진 배경복원 이미지를 제공할 수 있다.
도 3은 도 1의 전처리부(100)를 보다 구체적으로 보여주는 블록도이다.
도 1 내지 도 3을 참조하면, 전처리부(100)는 분리부(110), 분류부(120) 및 삭제부(130)를 포함할 수 있다.
먼저, 분리부(110)는 단일 이미지 내 포함된 실물객체 영역에 기초하여, 단일 이미지(1)로부터 실물객체 마스크(2)를 분리할 수 있다.
실시예에 따라, 분리부(110)는 Haar-like feature 알고리즘, 그로우컷(GrowCut) 알고리즘, 그래프컷(GraphCut) 알고리즘, 또는 랜덤워커(Random Walker)의 알고리즘 중 어느 하나를 이용하여, 실물객체에 대응되는 이미지 영역인 실물객체 마스크(2)를 검출할 수 있다.
다음으로, 분류부(120)는 실물객체 마스크(2)내 포함된 기설정된 이동객체에 기초하여, 실물객체 마스크(2)를 이동객체 영역과 고정객체 영역으로 분류할 수 있다.
실시예에 따라, 분류부(120)는 Haar-like feature 알고리즘, 그로우컷(GrowCut) 알고리즘, 그래프컷(GraphCut) 알고리즘, 또는 랜덤워커(Random Walker)의 알고리즘 중 어느 하나를 이용하여, 이동객체에 대응되는 이미지 영역인 이동객체 마스크(3)를 검출할 수 있다.
다음으로, 삭제부(130)는 실물객체 마스크(2)에서 이동객체 영역을 삭제하여, 고정객체 마스크(4)를 추출할 수 있다. 이때, 분류부(120)는 실물객체 마스크(2)에서 기설정된 이동객체에 대응되는 이미지 영역인 이동객체 마스크(3)를 추출할 수 있다.
실시예에 따라, 삭제부(130)는 Haar-like feature 알고리즘, 그로우컷(GrowCut) 알고리즘, 그래프컷(GraphCut) 알고리즘, 또는 랜덤워커(Random Walker)의 알고리즘 중 어느 하나를 이용하여, 실물객체 마스크(2)와 이동객체 마스크(3) 사이의 중첩된 이미지 영역을 삭제하고, 고정객체 마스크(4)를 추출할 수 있다.
도 4는 도 1의 배경특징 추출부(200)를 구체적으로 보여주는 블록도이다.
도 1 내지 도 4를 참조하면, 배경특징 추출부(200)는 통계적 특징 추출부(210), 딥러닝기반 특징 추출부(220) 및 배경특징 선정부(230)를 포함할 수 있다.
먼저, 통계적 특징 추출부(210)는 전처리부(100)를 통해 전송받는 실물객체 마스크(2)에 대해, 히스토그램 기울기와 픽셀 평균값을 도출하는 통계적 모델링을 수행하여, 실물객체 마스크(2)에 대한 영역별 통계정보를 추출할 수 있다.
다음으로, 딥러닝기반 특징 추출부(220)는 고정객체 마스크(3)에 대해, 깊은 합성곱 생성적 적대 신경망(DCGAN)을 통해 딥러닝을 수행하여, 고정객체 마스크(4)에 대한 깊은 합성곱 생성적 적대 신경망(DCGAN)의 레이어 정보를 추출할 수 있다.
다음으로, 특징 선정부(230)는 실물객체 마스크(2)에 대한 영역별 통계정보와 고정객체 마스크(4)에 대한 깊은 합성곱 생성적 적대 신경망(DCGAN)의 레이어 정보에 대해, 깊은 합성곱 생성적 적대 신경망(DCGAN)을 통해 딥러닝을 수행하여, 단일 이미지(1)의 배경특징 정보를 선정할 수 있다. 그런 다음, 특징 선정부(230)는 배경특징 정보를 이미지 생성부(300)로 전송할 수 있다.
도 5는 도 1의 배경이미지 복원장치(10)의 동작프로세스이다.
도 1과 도 5를 참조하면, 먼저, S110 단계에서, 전처리부(100)는 단일 이미지(1)의 실물객체 영역에 대응되는 실물객체 마스크(2)와 단일 이미지의 고정객체 영역에 대응되는 고정객체 마스크(4)를 획득할 수 있다.
그런 다음, S120 단계에서, 배경특징 추출부(200)는 실물객체 마스크(2)의 영역별 통계정보와 고정객체 마스크(4)를 학습한 신경망의 레이어 정보에 대해, 신경망을 통해 딥러닝을 수행하여 배경특징 정보를 추출할 수 있다. 여기서, 신경망은, 깊은 합성곱 생성적 적대 신경망(Deep Convoltional GENERATIVE Adversarial Network, DCGAN)일 수 있다.
이후, S130 단계에서, 이미지 생성부(130)는 단일 이미지(1), 실물객체 마스크(2), 고정객체 마스크(4) 및 배경특징 정보에 대해, 신경망을 통해 딥러닝을 수행하여 배경복원 이미지(5)를 생성할 수 있다.
도 6은 도 3의 전처리부(100)의 동작프로세스이다.
도 1 내지 도 3, 도 5 및 도 6을 참조하면, S111 단계에서, 분리부(110)는 실물객체 영역에 기초하여, 단일 이미지(1)에서 실물객체 마스크(2)를 분리할 수 있다.
실시예에 따라, 분리부(110)는 S111 단계에서, Haar-like feature 알고리즘, 그로우컷(GrowCut) 알고리즘, 그래프컷(GraphCut) 알고리즘, 또는 랜덤워커(Random Walker)의 알고리즘 중 어느 하나를 이용하여, 상기 실물객체 영역에 대응되는 실물객체 마스크(2)를 검출할 수 있다. 예를 들면, 분리부(110)는 실물객체에 대응되는 이미지 영역을 실물객체 마스크(2)로 설정할 수 있다.
그런 다음 S112 단계에서, 분류부(220)는 실물객체 마스크(2) 내 포함된 기설정된 이동객체에 기초하여, 실물객체 마스크(2)를 이동객체 영역과 고정객체 영역으로 분류할 수 있다.
실시예에 따라, 분류부(220)는 Haar-like feature 알고리즘, 그로우컷(GrowCut) 알고리즘, 그래프컷(GraphCut) 알고리즘, 또는 랜덤워커(Random Walker)의 알고리즘 중 어느 하나를 이용하여, 이동객체 영역에 대응되는 이동객체 마스크(3)를 검출할 수 있다.
이후, S113 단계에서, 삭제부(230)는 실물객체 마스크(2)에서 이동객체 영역을 삭제하여, 고정객체 마스크(4)를 추출할 수 있다.
도 7은 도 4의 배경특징 추출부(200)의 동작 프로세스이다.
도 4 및 도 5 내지 도 7을 참조하면, S121 단계에서, 통계정보 추출부(210)는 실물객체 마스크(2)에 대해, 히스토그램 기울기와 픽셀 평균값을 도출하는 통계적 모델링을 수행하여 실물객체 마스크(2)의 영역별 통계정보를 추출할 수 있다.
그런 다음, S122 단계에서, 딥러닝기반 특징 추출부(220)는 고정객체 마스크(4)에 대해, 신경망을 통해 딥러닝을 수행하여 신경망의 레이어별 뉴런값과 레이어별 가중치등을 포함하는 레이어 정보를 추출할 수 있다.
이후, S123 단계에서, 특징 선정부(230)는 통계정보 추출부(210)를 통해 추출된 영역별 통계정보와 딥러닝기반 특징 추출부(220)를 통해 추출된 레이어 정보에 대해, 신경망을 통해 딥러닝을 수행하여 단일 이미지(1)에 대한 배경특징 정보를 선정할 수 있다.
전술한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니다.
10: 배경이미지 복원장치
100: 전처리부
200: 배경특징 추출부
300: 이미지 생성부

Claims (11)

  1. 단일 이미지의 실물객체 영역에 대응되는 실물객체 마스크와 상기 단일 이미지의 고정객체 영역에 대응되는 고정객체 마스크를 획득하는 전처리부;
    상기 실물객체 마스크의 영역별 통계정보와 상기 고정객체 마스크를 학습한 신경망의 레이어 정보에 대해 신경망을 통해 딥러닝을 수행하여, 배경특징 정보를 추출하는 배경특징 추출부; 및
    상기 단일 이미지, 상기 실물객체 마스크, 상기 고정객체 마스크 및 상기 배경특징 정보에 대해, 상기 신경망을 통해 딥러닝을 수행하여, 배경복원 이미지를 생성하는 이미지 생성부를 포함하고,
    상기 전처리부는 상기 실물객체 마스크로부터 이동객체 마스크를 분리함으로써 상기 고정객체 마스크를 획득하며,
    상기 배경 특징 추출부는, 상기 실물객체 마스크에 대해, 히스토그램 기울기와 픽셀 평균값을 도출하는 통계적 모델링을 수행하여 상기 실물객체 마스크의 영역별 통계정보를 추출하는 통계정보 추출부;
    상기 고정객체 마스크에 대해 상기 신경망을 통해 딥러닝을 수행하여, 상기 신경망의 각 레이어의 뉴런값과 각 레이어의 가중치를 포함하는 상기 레이어 정보를 추출하는 딥러닝기반 특징 추출부; 및
    상기 영역별 통계정보와 상기 레이어 정보에 대해 상기 신경망을 통해 딥러닝을 수행하여, 상기 배경특징 정보를 선정하는 특징 선정부를 포함하고,
    상기 통계정보 추출부와 딥러닝기반 특징 추출부는 병렬적으로 동작하는, 배경이미지 복원장치.
  2. 제1항에 있어서,
    상기 신경망은, 깊은 합성곱 생성적 적대 신경망(Deep Convoltional GENERATIVE Adversarial Network, DCGAN)인, 배경이미지 복원장치.
  3. 제1항에 있어서,
    상기 전처리부는, 상기 실물객체 영역에 기초하여, 상기 단일 이미지로부터 상기 실물객체 마스크를 분리하는 분리부;
    상기 실물객체 마스크 내 포함된 기설정된 이동객체에 기초하여, 상기 실물객체 마스크를 이동객체 영역과 고정객체 영역으로 분류하는 분류부; 및
    상기 실물객체 마스크에서 상기 이동객체 영역를 삭제하여, 상기 고정객체 마스크를 추출하는 삭제부를 포함하는, 배경이미지 복원장치.
  4. 삭제
  5. 제3항에 있어서,
    상기 삭제부는, Haar-like feature 알고리즘, 그로우컷(GrowCut) 알고리즘, 그래프컷(GraphCut) 알고리즘, 또는 랜덤워커(Random Walker)의 알고리즘 중 어느 하나를 이용하여, 상기 실물객체 마스크와 상기 이동객체 마스크 사이의 중첩된 이미지 영역을 삭제하는, 배경이미지 복원장치.
  6. 제1항에 있어서,
    상기 실물객체 마스크는, 상기 단일 이미지의 상기 실물객체 영역에 따라, 의미론적 분할(Semantic Segmentation)을 통해 획득되는 이미지로, 실물객체마다 외곽선을 따라 서로 다른 색상으로 형성된 영역을 포함하는, 배경이미지 복원장치.
  7. 배경이미지 복원장치의 동작 방법으로,
    전처리부가 단일 이미지의 실물객체 영역에 대응되는 실물객체 마스크와 상기 단일 이미지의 고정객체 영역에 대응되는 고정객체 마스크를 획득하는 단계;
    배경특징 추출부가 상기 실물객체 마스크의 영역별 통계정보와 상기 고정객체 마스크를 학습한 신경망의 레이어 정보에 대해 신경망을 통해 딥러닝을 수행하여, 배경특징 정보를 추출하는 단계; 및
    이미지 생성부가 상기 단일 이미지, 상기 실물객체 마스크, 상기 고정객체 마스크 및 상기 배경특징 정보에 대해, 상기 신경망을 통해 딥러닝을 수행하여, 배경이미지를 생성하는 단계를 포함하고,
    상기 전처리부는 상기 실물객체 마스크로부터 이동 객체 마스크를 분리함으로써 상기 고정객체 마스크를 획득하며,
    상기 배경특징 정보를 추출하는 단계는, 상기 배경특징 추출부가 실물객체 마스크에 대해, 히스토그램 기울기와 픽셀 평균값을 도출하는 통계적 모델링을 수행하여, 상기 실물객체 마스크의 영역별 통계정보를 추출하는 단계;
    상기 고정객체 마스크에 대해, 상기 신경망을 통해 딥러닝을 수행하여, 상기 신경망의 레이어별 뉴런값과 레이어별 가중치등을 포함하는 레이어 정보를 추출하는 단계; 및
    상기 영역별 통계정보와 상기 레이어 정보에 대해, 상기 신경망을 통해 딥러닝을 수행하여 상기 단일 이미지의 배경특징 정보를 선정하는 단계를 포함하고,
    상기 실물객체 마스크의 영역별 통계정보를 추출하는 단계와 상기 신경망의 레이어별 뉴런값과 레이어별 가중치등을 포함하는 레이어 정보를 추출하는 단계는 병렬적으로 수행되는, 배경이미지 복원장치의 동작 방법.
  8. 제7항에 있어서,
    상기 신경망은, 깊은 합성곱 생성적 적대 신경망(Deep Convoltional GENERATIVE Adversarial Network, DCGAN)인, 배경이미지 복원장치의 동작 방법.
  9. 제7항에 있어서,
    상기 고정객체 마스크를 획득하는 단계는, 상기 전처리부가 상기 실물객체 영역에 기초하여, 상기 단일 이미지로부터 상기 실물객체 마스크를 분리하는 단계;
    상기 실물객체 마스크 내 포함된 기설정된 이동객체에 기초하여, 상기 실물객체 마스크를 이동객체 영역과 상기 고정객체 영역으로 분류하는 단계; 및
    상기 실물객체 마스크에서 상기 이동객체 영역을 삭제하여, 상기 고정객체 마스크를 추출하는 단계를 포함하는, 배경이미지 복원장치의 동작 방법.
  10. 제9항에 있어서,
    상기 고정객체 마스크를 획득하는 단계는, 상기 전처리부가 Haar-like feature 알고리즘, 그로우컷(GrowCut) 알고리즘, 그래프컷(GraphCut) 알고리즘, 또는 랜덤워커(Random Walker)의 알고리즘 중 어느 하나를 이용하여, 상기 실물객체 영역을 검출하는 단계;
    상기 어느 하나의 알고리즘을 이용하여, 상기 이동객체 영역을 검출하는 단계;
    상기 실물객체 마스크와 상기 이동객체 영역에 대응되는 상기 이동객체 마스크 사이의 중첩된 이미지 영역을 삭제하는 단계를 더 포함하는, 배경이미지 복원장치의 동작 방법.

  11. 삭제
KR1020190114467A 2019-09-18 2019-09-18 단일 이미지를 이용하는 배경이미지 복원장치 및 그 동작 방법 KR102230361B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190114467A KR102230361B1 (ko) 2019-09-18 2019-09-18 단일 이미지를 이용하는 배경이미지 복원장치 및 그 동작 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190114467A KR102230361B1 (ko) 2019-09-18 2019-09-18 단일 이미지를 이용하는 배경이미지 복원장치 및 그 동작 방법

Publications (1)

Publication Number Publication Date
KR102230361B1 true KR102230361B1 (ko) 2021-03-23

Family

ID=75223652

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190114467A KR102230361B1 (ko) 2019-09-18 2019-09-18 단일 이미지를 이용하는 배경이미지 복원장치 및 그 동작 방법

Country Status (1)

Country Link
KR (1) KR102230361B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024041235A1 (zh) * 2022-08-26 2024-02-29 腾讯科技（深圳）有限公司 图像处理方法、装置、设备、存储介质及程序产品

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130075802A (ko) * 2011-12-28 2013-07-08 대전대학교 산학협력단 기울기 히스토그램을 이용한 사람 검출 추적 시스템 및 방법
KR20150024719A (ko) * 2013-08-27 2015-03-09 삼성전자주식회사 영상에서 객체를 분리하는 방법 및 장치.
KR102020448B1 (ko) * 2018-11-29 2019-09-11 주식회사 파슬리 인공지능 기반 이상항목 감지 및 보고서 생성 방법 및 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130075802A (ko) * 2011-12-28 2013-07-08 대전대학교 산학협력단 기울기 히스토그램을 이용한 사람 검출 추적 시스템 및 방법
KR20150024719A (ko) * 2013-08-27 2015-03-09 삼성전자주식회사 영상에서 객체를 분리하는 방법 및 장치.
KR102020448B1 (ko) * 2018-11-29 2019-09-11 주식회사 파슬리 인공지능 기반 이상항목 감지 및 보고서 생성 방법 및 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024041235A1 (zh) * 2022-08-26 2024-02-29 腾讯科技（深圳）有限公司 图像处理方法、装置、设备、存储介质及程序产品

Similar Documents

Publication Publication Date Title
Chakma et al. Image-based air quality analysis using deep convolutional neural network
US10417526B2 (en) Object recognition method and device
CN109543640B (zh) 一种基于图像转换的活体检测方法
CN104809443B (zh) 基于卷积神经网络的车牌检测方法及系统
CN111339847B (zh) 一种基于图卷积神经网络的人脸情绪识别方法
CN111274921B (zh) 一种利用姿态掩模进行人体行为识别的方法
KR101563297B1 (ko) 영상에서 행동을 인식하는 방법 및 장치
KR102213494B1 (ko) 행동 인식 장치 및 방법
CN108537181A (zh) 一种基于大间距深度度量学习的步态识别方法
Bhavanam et al. On the classification of kathakali hand gestures using support vector machines and convolutional neural networks
CN113191216A (zh) 基于姿态识别和c3d网络的多人实时动作识别方法和系统
KR102325347B1 (ko) 머신러닝 기반 결함 분류 장치 및 방법
KR102230361B1 (ko) 단일 이미지를 이용하는 배경이미지 복원장치 및 그 동작 방법
KR20210011707A (ko) Cnn을 기반으로 한 동영상의 씬 단위 장소 분류 방법 및 이를 이용한 장소 분류 장치
Islam et al. Elevator button and floor number recognition through hybrid image classification approach for navigation of service robot in buildings
CN115443466A (zh) 边缘处理数据去识别
KR102120453B1 (ko) 영상 특징의 미분 및 지도 학습을 이용하여 비디오의 장면 상황 정보를 생성하는 방법 및 장치
KR20180092453A (ko) Cnn과 스테레오 이미지를 이용한 얼굴 인식 방법
Borah et al. ANN based human facial expression recognition in color images
CN114882582A (zh) 基于联邦学习模式的步态识别模型训练方法与系统
Prinosil et al. Automatic hair color de-identification
González et al. Silhouette-based human action recognition with a multi-class support vector machine
CN113705307A (zh) 图像处理方法、装置、设备及存储介质
Honnutagi et al. Underwater video enhancement using manta ray foraging lion optimization-based fusion convolutional neural network
KR101899071B1 (ko) 전경 영역 국소화 장치 및 방법

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant