KR101554421B1 - 구조 기반 이미지 확장 방법 및 장치 - Google Patents

구조 기반 이미지 확장 방법 및 장치 Download PDF

Info

Publication number
KR101554421B1
KR101554421B1 KR1020140045303A KR20140045303A KR101554421B1 KR 101554421 B1 KR101554421 B1 KR 101554421B1 KR 1020140045303 A KR1020140045303 A KR 1020140045303A KR 20140045303 A KR20140045303 A KR 20140045303A KR 101554421 B1 KR101554421 B1 KR 101554421B1
Authority
KR
South Korea
Prior art keywords
image
curve
background image
input image
contour
Prior art date
Application number
KR1020140045303A
Other languages
English (en)
Inventor
노준용
김지환
김재동
차승훈
유미
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020140045303A priority Critical patent/KR101554421B1/ko
Application granted granted Critical
Publication of KR101554421B1 publication Critical patent/KR101554421B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 입력 이미지가 원본 상태를 최대한 유지하면서 배경 이미지에 자연스럽게 결합될 수 있도록 하는 구조 기반 이미지 확장 방법 및 장치에 관한 것으로,
상기 방법은 입력 이미지가 입력되면, 상기 입력 이미지의 테마를 기반으로 이미지 검색 동작을 수행하여 배경 이미지를 획득하는 단계; 상기 입력 이미지와 상기 배경 이미지 각각에 대응되는 윤곽 곡선을 획득한 후, 상기 윤곽 곡선 매칭 동작을 통해 상기 입력 이미지와 상기 배경 이미지간을 정렬시키는 단계; 및 상기 입력 이미지와 상기 배경 이미지의 윤곽 곡선을 이용하여 가이드 곡선을 생성하고, 상기 가이드 곡선을 기반으로 변위 벡터 필드를 계산한 후, 상기 변위 벡터 필드에 따라 상기 배경 이미지를 와핑하는 단계를 포함할 수 있다.

Description

구조 기반 이미지 확장 방법 및 장치{Method and apparatus for image expansion using image structure}
본 발명의 이미지 합성 기술에 관한 것으로, 특히 이미지 구조를 기반으로 두 개의 이미지를 정렬 및 와핑하도록 하는 구조 기반 이미지 확장 방법 및 장치에 관한 것이다.
디지털 이미징 기술이 발달함에 따라, 모바일 기기를 이용한 이미지 캡쳐, 조작 및 공유 동작은 일상화되어 있으며, 온라인 등을 통해 공유 가능한 이미지의 개수와 이를 디스플레이하는 장치의 종류가 기하급수적으로 증가하고 있다.
다만, 디스플레이 장치와 이미지의 디스플레이 조건은 서로 상이할 수 있으며, 이에 따라 디스플레이 장치가 자신과 상이한 디스플레이 조건을 가지는 이미지를 디스플레이하는 경우, 디스플레이된 이미지에는 블랙 영역이 발생될 수 있으며, 이는 화면으로의 몰입을 저해하고 나쁜 시각적 경험을 제공하게 되는 요인으로 작용하게 된다.
이러한 문제를 해결하기 위해, 축-정렬 기반으로 이미지를 리타겟팅하여 이미지 크기를 조정하는 방법이 제안되었으나, 이는 이미지의 중요 특징을 왜곡하는 문제를 추가적으로 발생하는 단점을 가진다.
이에 종래에는 내용 인식(context-aware) 기반으로 이미지를 리타겟팅 방법이 추가 제안된 바 있다. 내용 인식을 기반으로 이미지를 리타겟팅하는 기술은 전체 이미지의 화면 왜곡을 회피하면서 화면 비율을 변경하는 것으로, 이는 윤곽 지도(saliency map)에 따라 목표 비율로 이미지 크기를 조정하도록 하는 방법이다. 그러나, 이러한 방법 또한 배경 텍스쳐를 조정하기 때문에 와이드 스크린에 맞게 입력 이미지의 시야를 확장할 수는 없어, 입력 이미지의 일부 텍스쳐를 손실시키는 단점을 가진다.
한편, 최근의 멀티 프로젝트 및 파노라마 기술은 화면 비율의 제한없이 와이드 스크린 보기를 가능하게 하므로, 기준에 정의된 표준 화면 비율을 무의미하게 만든다. 그러나 상기에서 설명된 이미지 리타겟팅 기술은 배경 텍스쳐를 조정하는 것이기 때문에 와이드 스크린에 맞게 입력 이미지의 시야를 확장할 수 없어, 입력 이미지의 일부 형상을 손실시킨다.
또한, 시각적 내용을 확장 할 수 있는 다른 방법으로 경계에서 바깥쪽으로 텍스쳐를 전파하는 이미지 추정 방법이 존재한다. 최근 몇 년 동안, 이미지 추정에 대한 몇 가지 다른 방법은 텍스쳐 합성 및 패턴 인식 아웃 페인팅 알고리즘(pattern-aware outpainting algorithms)을 사용하는 제안되었다. 그러나 입력 이미지의 공지된 부분의 콘텐츠가 미공지된 다른 부분을 채울 만큼 충분치 않기 때문에 다른 소스 없이는 이미지를 추정하지는 못하는 단점을 가진다. 이 경우에는, 구조 또는 사용가능한 텍스쳐를 인식하기 위해 이미지 검색 작업을 추가적으로 필요로 하나, 해당 작업에 많은 작업 로드가 걸리는 문제가 있다.
그리고 장면 구조를 위한 안내 파노라마를 활용하고, 입력 이미지의 텍스처를 안내된 장면 구조에 삽입하도록 하는 안내 쉬프트-맵 방법(guided shift-map method)이 제안되었으나, 이 방법 또한 다른 추정 방법과 같이, 텍스처 중복 문제를 가지며, 이로 인해 이미지 합성 결과가 부자연스럽게 보이는 단점을 여전히 내포하는 문제가 있다.
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 테마 기반으로 입력 이미지에 관련된 배경 이미지를 검색한 후, 구조 기반으로 입력 이미지를 배경 이미지에 삽입시킴으로써, 입력 이미지가 원본 상태를 최대한 유지하면서 배경 이미지에 자연스럽게 결합될 수 있도록 하는 구조 기반 이미지 확장 방법 및 장치를 제공하고자 한다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 수단으로서, 본 발명의 일 실시 형태에 따르면, 입력 이미지가 입력되면, 상기 입력 이미지의 테마를 기반으로 이미지 검색 동작을 수행하여 배경 이미지를 획득하는 단계; 상기 입력 이미지와 상기 배경 이미지 각각에 대응되는 윤곽 곡선을 획득한 후, 상기 윤곽 곡선 매칭 동작을 통해 상기 입력 이미지와 상기 배경 이미지간을 정렬시키는 단계; 및 상기 입력 이미지와 상기 배경 이미지의 윤곽 곡선을 이용하여 가이드 곡선을 생성하고, 상기 가이드 곡선을 기반으로 변위 벡터 필드를 계산한 후, 상기 변위 벡터 필드에 따라 상기 배경 이미지를 와핑하는 단계를 포함하는 구조 기반 이미지 확장 방법을 제공한다.
상기 배경 이미지를 획득하는 단계는 HOG 셀과 이미지의 색상 분포도로 구성되는 이미지 특징을 고려하여 상기 입력 이미지에 대응되는 상기 배경 이미지를 추가 선별하는 것을 특징으로 한다.
상기 입력 이미지와 상기 배경 이미지간을 정렬시키는 단계는 HOG 위치를 기반으로 상기 입력 이미지와 상기 배경 이미지를 정렬시키는 단계; 상기 입력 이미지와 상기 배경 이미지 각각의 이미지 구조를 추출하여 윤곽선 지도를 생성하고, 윤곽선 지도를 기반으로 상기 입력 이미지와 상기 배경 이미지 각각에 대응되는 윤곽 곡선을 검출하는 단계; 상기 입력 이미지와 상기 배경 이미지 각각에 대응되는 윤곽 곡선을 매칭시켜 매칭된 윤곽 곡선쌍을 획득하는 단계; 및 상기 매칭된 윤곽 곡선쌍을 기반으로 상기 배경 이미지를 2차 정렬하는 단계를 포함하는 것을 특징으로 한다.
상기 윤곽 곡선을 검출하는 단계는 상기 입력 이미지와 상기 배경 이미지 각각을 에지-인식 필터링하여 상기 입력 이미지와 상기 배경 이미지 각각의 이미지 구조를 추출하는 단계; 상기 추출 결과를 반영하여 상기 입력 이미지와 상기 배경 이미지 각각에 대응되는 윤곽선 지도를 생성하는 단계; 상기 윤곽선 지도 각각에 존재하는 불연속 경계를 따라 로컬 최대 경사 크기를 가지는 씨드 포인트들을 검색 및 추적하여, 상기 입력 이미지와 상기 배경 이미지 각각에 대응되는 윤곽 곡선을 생성하는 단계를 포함하는 것을 특징으로 한다.
상기 윤곽 곡선을 검출하는 단계는 곡선 총 길이, 곡선 경사 크기 평균, 곡선에 대한 세그먼트 절대 곡률 합을 기반으로 곡선 신뢰도를 계산하고, 상기 곡선 신뢰도에 따라 상기 윤곽 곡선을 추가 필터링하는 단계를 더 포함하는 것을 특징으로 한다.
상기 매칭된 윤곽 곡선쌍을 획득하는 단계는 상기 입력 이미지와 상기 배경 이미지에 대한 윤곽 곡선들을 매칭시킨 후, 매칭 점수를 계산하는 단계; 및 상기 매칭 점수가 기 설정된 값 이상인 윤곽 곡선쌍을 상기 매칭된 윤곽 곡선쌍으로 선별하여 출력하는 단계;를 포함하는 것을 특징으로 한다.
상기 매칭 점수를 계산하는 단계는 상기 매칭된 윤곽 곡선쌍의 씨드 포인트간 거리, 색상 차이값, 및 형상 차이값을 기준으로 상기 매칭 점수를 계산하는 것을 특징으로 한다.
상기 배경 이미지를 재정렬하는 단계는 "
Figure 112014036130855-pat00001
"와 같이 정의되는 수학식을 통해 윤곽 곡선쌍(
Figure 112014036130855-pat00002
,
Figure 112014036130855-pat00003
)에 대한 변환 매트릭스를 반복적으로 평가하고, 최소값을 가지는 변환 매트릭스를 통해 상기 배경 이미지를 재정렬하는 것을 특징으로 하며, 상기 T는 변환 매트릭스, 상기 K는 매칭된 윤곽 곡선쌍의 총 개수이고, 상기 k는 상기 K에 속하는 값, 상기
Figure 112014036130855-pat00004
는 상기 입력 이미지에 대응되는 윤곽 곡선, 상기
Figure 112014036130855-pat00005
는 상기 배경 이미지에 대응되는 윤곽 곡선, pr(k)는 매칭된 윤곽 곡선쌍의 곡선 우선 점수인인 것을 특징으로 한다.
상기 매칭된 윤곽 곡선쌍의 곡선 우선 점수는 상기 입력 이미지에 대응되는 윤곽 곡선의 신뢰도, 상기 배경 이미지에 대응되는 윤곽 곡선의 신뢰도, 상기 매칭 점수를 기반으로 계산되는 것을 특징으로 한다.
상기 배경 이미지를 와핑하는 단계는 상기 입력 이미지에 대응되는 윤곽 곡선을 상기 배경 이미지에 대응되는 상의 마지막 포인트로 추정한 곡선을 기본 곡선으로 정의한 후, 상기 배경 이미지에 대응되는 윤곽 곡선과 블렌딩하여 가이드 곡선을 생성하는 단계; 상기 배경 이미지에 대응되는 윤곽 곡선과 상기 가이드 곡선간 거리값을 기반으로 변위 벡터 필터를 구성하는 단계; 및 상기 변위 벡터 필터를 이용하여 이미지 와핑 동작을 수행하여, 상기 목표 이미지를 획득하는 단계;를 포함하는 것을 특징으로 한다.
상기 가이드 곡선은 입방 비-스플라인(B-spline) 제어 포인트(Dm)에 의해 정의되며, 상기 제어 포인트(Dm)는 "
Figure 112014036130855-pat00006
", "
Figure 112014036130855-pat00007
""
Figure 112014036130855-pat00008
","
Figure 112014036130855-pat00009
"의 수학식으로 표현되는 것을 특징으로 하며, 상기 u는
Figure 112014036130855-pat00010
와 sk j의 각 포인트들을 파라메틱 공간으로 이동시키는 값이고, 상기 M는 B-spline 기본 함수의 개수이고, 상기 S(u) 및
Figure 112014036130855-pat00011
는 입방 B-spline 함수이고, 상기
Figure 112014036130855-pat00012
은 스프라인 피트된
Figure 112014036130855-pat00013
의 제어 포인트이고, 상기 ωj는 소프트 제약조건으로 sk상에 위치한 두 개의 엔드 포인트(end point)를 강제하면서 원래의 곡선
Figure 112014036130855-pat00014
와 기본 곡선 sk을 블렌딩하는 가우시안 가중치이다.
상기 목표 이미지를 획득하는 단계는 상기 바깥쪽 이미지는 그리드 메쉬 형태로 분할하고, 메쉬 단위로 상기 변위 벡터 필터를 이용한 이미지 와핑 동작을 수행하는 것을 특징으로 한다.
상기 배경 이미지 와핑 결과를 목표하는 크기 및 화면 비율에 따라 잘라 출력하는 단계를 더 포함하는 것을 특징으로 한다.
상기 과제를 해결하기 위한 수단으로서, 본 발명의 다른 실시 형태에 따르면, 입력 이미지가 입력되면, 상기 입력 이미지의 테마 및 이미지 특징을 기반으로 이미지 검색 동작을 수행하여 배경 이미지를 획득하는 이미지 검색부; HOG(histogram of oriented gradients) 위치를 기반으로 상기 입력 이미지와 상기 배경 이미지를 1차 정렬시킨 후, 상기 입력 이미지와 상기 배경 이미지의 윤곽 곡선을 통해 상기 입력 이미지와 상기 배경 이미지간을 2차 정렬시키는 이미지 정렬부; 상기 입력 이미지와 상기 배경 이미지의 윤곽 곡선을 이용하여 가이드 곡선을 생성하고, 상기 가이드 곡선을 기반으로 변위 벡터 필드를 계산한 후, 상기 변위 벡터 필드를 통해 상기 배경 이미지를 이미지 와핑부; 및 상기 이미지 와핑부로부터 출력되는 이미지를 목표 크기 및 화면 비율로 잘라 목표 이미지를 최종 획득 및 출력하는 이미지 출력부를 포함하는 구조 기반 이미지 확장 장치를 제공한다.
본 발명에서는 테마와 이미지 특징을 기반으로 입력 이미지가 자연스럽게 삽입될 수 있는 배경 이미지를 검색한 후, 구조 기반으로 입력 이미지를 배경 이미지에 삽입시킴으로써, 입력 이미지가 원본 상태를 최대한 유지하면서 배경 이미지에 자연스럽게 결합될 수 있도록 해준다.
그리고 입력 이미지의 시야가 배경 이미지에 의해 확장될 수 있도록 하고, 별도의 복제 동작을 필요로 하지 않음으로써, 이미지 왜곡 발생 및 화질 저하가 사전에 방지될 수 있도록 한다.
도1은 본 발명의 일 실시예에 따른 구조 기반 이미지 확장 방법을 도시한 도면이다.
도2 및 도3은 본 발명의 일 실시예에 따른 시맨틱 기반 이미지 검색 단계를 보다 상세하게 설명하기 위한 도면이다.
도4 내지 도6은 본 발명의 일 실시예에 따른 윤곽 곡선 기반 이미지 정렬 단계를 보다 상세하게 설명하기 위한 도면이다.
도7은 본 발명의 일 실시예에 따른 윤곽 곡선 기반 이미지 워핑 단계를 보다 상세하게 설명하기 위한 도면이다.
도8 및 도9는 본 발명의 일 실시예에 따른 구조 기반 이미지 확장 장치를 도시한 도면이다.
도10은 본 발명의 일 실시예에 따른 구조 기반 이미지 확장 장치를 활용한 이미지 확장 예들을 도시한 도면이다.
도11은 본 발명의 일 실시예에 따른 구조 기반 이미지 확장 장치의 성능을 설명하기 위한 도면이다.
본 발명의 목적 및 효과, 그리고 그것들을 달성하기 위한 기술적 구성들은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다.
그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도1은 본 발명의 일 실시예에 따른 구조 기반 이미지 확장 방법을 도시한 도면이다.
도1에 도시된 바와 같이, 본 발명의 이미지 전경 확장 방법은 크게 시맨틱 기반 이미지 검색 단계(S10), 윤곽 곡선 기반 이미지 정렬 단계(S20), 윤곽 곡선 기반 이미지 워핑 단계(S30), 목표 이미지 획득 단계(S40) 등을 포함한다.
본 발명에서는 이미지 삽입 절차를 크게 윤곽 곡선을 기반으로 한 이미지 정렬 단계, 가이드 곡선을 이용한 이미지 와핑 단계의 두 단계로 나눈다. 그리고 시맨틱 기반 이미지 검색 단계(S10)를 추가적으로 구비하도록 한다. 이는 데이터베이스에서 입력 이미지에 대응되는 최고의 후보 이미지를 검색 및 제공하도록 한다. 그리고 훈련된 SVM(support vector machine)를 통해 데이터베이스에 저장된 수백만장의 이미지들을 소정개의 테마로 나누어 둠으로써, 입력 이미지에 관련된 이미지들을 테마 기준으로 보다 용이하고 정확하게 검색할 수 있도록 한다.
단계 S10에서는, 먼저 SVM(support vector machine)를 이용하여 데이터베이스에 저장된 수백만장의 이미지들을 테마 기준으로 분류해둠으로써, 차후 입력 이미지에 관련된 이미지들을 테마 기준으로 보다 용이하고 정확하게 검색할 수 있도록 한다.
이러한 상태에서 입력 이미지가 입력되면, 데이터베이스를 검색하여 입력 이미지와 동일한 테마를 가지는 이미지들을 1차 선별한 후, 이미지 특징(예를 들어, HOG(histogram of oriented gradients) 위치와 칼라 맵)을 기반으로 입력 이미지와 유사한 구조를 가지는 이미지를 2차 선별하도록 한다. 그리고 이들을 사용자에게 안내한 후, 사용자 동의하에 2차 선별된 이미지 중 하나를 배경 이미지로 획득하도록 한다.
단계 S20에서는, HOG 위치를 기반으로 입력 이미지와 배경 이미지를 대략적으로 정렬시킨 후, 두 이미지의 경계상에 위치한 윤곽 곡선을 검출하고, 곡선 유사성을 측정하여 윤곽 곡선간을 서로 매칭시킨다. 그리고 매칭된 곡선쌍과 이들의 매칭 점수를 기반으로, 경계상에 위치하는 모든 곡선쌍이 인접 배치될 수 있도록 하는 배경 이미지의 최선의 변형 형태 및 크기를 검색한다. 즉, HOG 위치를 기반으로 입력 이미지와 배경 이미지를 1차 정렬시킨 후, 입력 이미지와 배경 이미지의 윤곽 곡선을 통해 입력 이미지와 배경 이미지간을 2차 정렬시킨다.
단계 S30에서는, 완만함 및 곡선 형태의 유지성과 같은 조건이 만족되도록 곡선쌍을 서로 연결시켜 가이드 곡선을 생성한다. 그리고 가이드 곡선을 기반으로 변위 벡터 필드를 계산하고, 이를 통해 생성된 필드를 통해 배경 이미지를 와핑한 후, 두 개의 이미지를 수정되지 않은 원래의 입력 이미지와 함께 블렌딩한다.
단계 S40에서는, 블렌딩된 이미지를 원하는 디스플레이 크기로 잘라 목표 이미지를 최종 획득한다.
이하에서, 도2 내지 도7을 참고하여 본 발명의 방법을 보다 상세히 살펴보기로 한다.
도2 및 도3은 본 발명의 일 실시예에 따른 시맨틱 기반 이미지 검색 단계를 보다 상세하게 설명하기 위한 도면으로, 본 발명의 시맨틱 기반 이미지 검색 단계(S10)는 시맨틱 이미지 분류 단계(S11)와 이미지 검색 단계(S12) 등을 포함할 수 있다.
참고로, 본 발명에서 사용하는 데이터베이스는 오프라인 상의 데이터베이스일 수도 있으나, 불특정 다수가 인터넷을 통해 접속 및 공유할 수 있는 온라인상의 데이터베이스일 수도 있을 것이다. 또한, 데이터베이스에 저장된 이미지들 중에서 이미지 크기 및 이미지 비율이 기 설정된 범위를 벗어나는 이미지가 존재하면, 이는 이미지 작업이 불가한 이미지들로 판단하고 제외하도록 한다.
단계 S11에서는, 데이터베이스에 저장된 이미지들을 테마별로 분류하는 전처리 작업을 수행한다. 이는 이미지 검색 시간을 단축시키고, 검색 효율을 증대하기 위한 것이다.
이미지의 테마 분류 동작은 SVM(support vector machine) 분류기를 통해 수행되는 데, 이를 위해, 본 발명에서는 각각의 테마에 대응되는 약 1,500개의 포지티브 이미지와 약 3,000개의 네거티브 이미지를 사용하여 SVM 분류기를 사전에 훈련해두도록 한다. 그리고 테마 분류 결과를 반영하여 GIST 기술자(descriptor)를 생성하고, 생성된 GIST 기술자를 선별된 이미지 각각에 매핑하도록 한다. GIST 기술자는 매우 빠르고 간단히 계산될 수 있는 특징을 가지며, 본 발명에서는 분류 작업의 효율이 극대화될 수 있도록 8가지의 에지 정보로 구성되도록 한다. GIST 기술자는 분류 작업의 효율을 극대화하기 위해, 4*4 공간 해상도로 집계되는 4개의 스케일하에서의 8 가지 방향의 에지 정보로 구성된다.
또한 본 발명에서는 이미지 각각에 대한 이미지 특징을 검출하여 매핑하도록 한다. 이미지 특징은 이미지에 포함된 로컬 형상의 에지 또는 경사 구조에 대한 정보를 가지는 HOG(histogram of oriented gradients) 셀과 이미지의 색상 분포도에 대한 정보를 가지는 칼라 맵으로 구성될 수 있다. 이때, 칼라 맵은 가우시안 피라미드에 의해 생성되는 것으로, 이미지의 색상 분포도에 대한 정보를 가진다.
단계 S12에서는, GIST 기술자를 기반으로 입력 이미지와 데이터베이스에 저장된 이미지들의 비교 분석하여, 입력 이미지와 유사한 테마를 가지는 이미지들을 선별하도록 한다.
그리고, 선별된 이미지들의 이미지 특징을 기 설정된 윈도우 크기로 스캐닝하면서, 선별된 이미지들과 입력 이미지간 거리 값을 산출하도록 한다. 이미지간 거리는 HOG 셀을 기반으로 획득되는 차이 제곱값, 컬러 맵을 기반으로 획득된 차이 제곱값을 더함으로써 계산될 수 있을 것이다. 경우에 따라서는 입력 이미지의 경계 영역에 더 많은 가중치를 부여하는 2 차원 가우스 함수를 사용하여 이미지간 거리값을 계산할 수도 있을 것이다. 2 차원 가우스 함수를 통해 유사 이미지를 선별하는 경우, 입력 이미지와의 합성 동작이 보다 부드럽게 수행되는 특징을 가진다.
그리고 입력 이미지와의 거리 순으로 기 설정된 개수(예를 들어, 100개)의 이미지들을 선택한 후, 이들을 도4와 같이 썸 네일 이미지와 같은 형태로 시각화하여 사용자에게 안내한다. 이에 사용자가 이들 중 하나를 선택하고, 해당 이미지를 이미지 합성에 이용될 배경 이미지로 획득하도록 한다.
다만, 시맨틱 기반 이미지 검색 단계(S10)에서는 HOG 위치가 8 ㅧ 8 셀을 사용하므로, 낮은 HOG 위치 신뢰성을 가진다. 이에 상기에서와 같이 의미와 구조적으로 입력 이미지와 유사한 이미지를 검색하는 경우에도, 보다 정확하고 완벽하게 입력 이미지와 배경 이미지를 결합하기 위해서는 일치 장면을 검색하고, 이를 기준으로 입력 이미지와 배경 이미지를 다시 한번 정렬해주는 것이 바람직하다.
도4 내지 도6은 본 발명의 일 실시예에 따른 윤곽 곡선 기반 이미지 정렬 단계를 보다 상세하게 설명하기 위한 도면으로, 본 발명의 윤곽 곡선 기반 이미지 정렬 단계는 윤곽 곡선 검출 단계(S21), 곡선 매칭 단계(S22), 및 구조 기반 정렬 단계(S23) 등을 포함할 수 있다.
본 발명에서는 픽셀 단위로 이미지를 비교 분석하는 방식이 아닌 이미지의 구조를 비교 분석하여 이미지를 합성하는 방식을 제안한다. 특히, 유사한 장면을 정렬하는 기존의 템플릿 매칭 법을 사용하지 않고, 이동(translation) 및 크기 값으로 구성된 변환 매트릭스를 이용하여 수행되는 구조 매칭 프로세스를 위해 윤곽 곡선을 이용하도록 한다. 또한 부자연스러운 틸팅 효과(tilting effect) 발생을 사전에 차단하기 위해 변환 행렬에서 회전은 제외시키도록 한다.
그리고 이하에서는 설명의 편이를 위해 입력 이미지는 안쪽 이미지(Ii)로, 배경 이미지는 바깥쪽 이미지(Io)로 지칭하기로 한다.
먼저, 단계 S21에서는, 도4의 (a)와 같이 HOG 위치를 기반으로 입력 이미지와 배경 이미지를 대략적으로 정렬시켜 정렬 이미지를 생성한다.
그리고 도4의 (b)와 같이 정렬 이미지를 에지-인식 필터링하여 장면의 표면 질감을 기반으로 이미지 구조를 추출한 후, 도4의 (c)와 같이 추출 결과를 반영한 윤곽선 지도(contour map)를 생성한다. 이때, 에지-인식 필터링 동작은 공지된 기술에 따른 방법을 사용하도록 하며, 더욱 바람직하게는 "Xu, L., Yan, Q., Xia, Y., Jia, J.: Structure extraction from texture via relative total variation. ACM Transactions on Graphics (TOG) 31(6), 139 (2012)"에 의해 공지되는 이미지를 상대적인 전체 변동을 통해 구조와 텍스쳐로 분해하는 방법을 이용하여 수행될 수 있을 것이다.
이와 같이 안쪽 이미지(Ii)와 바깥쪽 이미지(Io)에 대한 윤곽선 경사 크기를 알려주는 윤곽선 지도가 산출되었으면, 두 개의 윤곽선 지도 각각에 존재하는 불연속 경계(seam boundary)를 따라 로컬 최대 경사 크기를 가지는 씨드 포인트들을 검색한다. 본 발명에서는 포인트 검색 작업을 윈도우 크기를 10으로 설정하도록 한다. 로컬 최대 경사 크기를 가지는 포인트는 윤곽 곡선들에 대한 씨드 포인트 후보로 간주될 수 있다.
씨드 포인트에서 시작하여, 경계를 따라 씨드 포인트 반대방향으로 이동하면서 경사 크기가 로컬 최대값이고 기 설정된 값보다 큰 다음 곡선 포인트를 검색 및 연결하는 방식으로 안쪽 이미지(Ii)와 바깥쪽 이미지(Io)의 윤곽 곡선을 추적한다. 도4의 (d)는 윤곽 곡선 추적 결과를 도시한 도면으로, 노란점은 추출된 씨드 포인트이고, 빨간선은 추적된 윤곽 곡선이다.
그리고 추적된 곡선(s) 각각에 대해, 곡선 신뢰도를 계산한 후, 기 설정된 임계치(디폴트 값으로 1.0이 설정됨) 이상의 신뢰도를 가지는 곡선을 윤곽 곡선으로 검출하도록 한다. 도4의 (e)는 윤곽 곡선 검출 단계(S21)에 의해 최종 검출된 윤곽 곡선을 나타낸다.
[수학식1]
Figure 112014036130855-pat00015
이때, len(s)는 곡선의 총 길이, grad(s)는 곡선(s)의 경사 크기 평균, curv(s)는 곡선(s)에 대한 세그먼트의 절대 곡률 합이다. 이들 파라메터는 0 또는 1로 범위로 정규화될 수 있으며, 이에 따라 수학식1에 의해 계산된 곡선 신뢰도는 -1 내지 2의 값을 가지게 된다.
안쪽 이미지와 바깥쪽 이미지를 원하는 데로 정렬 및 연결하기 위해서는 서로 유사하고 인접되는 곡선들을 경계에 따라 서로 매칭하는 것이 반드시 필요하며, 이는 결과물 품질에 많은 영향을 주게 된다. 곡선 매칭을 통해 서로 다른 텍스쳐와 구조를 가지는 두 개의 이미지를 합성하는 새로운 시도이며, 이를 실현하기 위해서는 곡선으로부터 추출된 정보를 잘 활용하는 것이 필요하다. 따라서 본 발명에서는 두 이미지의 곡선들을 비교하기 위해 색상, 씨드 거리 및 형상 차이 등의 정보를 이용하도록 한다.
이에 단계 S22에서는, 먼저 안쪽 이미지(Ii) 및 바깥쪽 이미지(Io)의 윤곽 곡선들을 서로 매칭시킨 후, 다음의 비용 함수를 통해 매칭된 곡선쌍 각각에 대한 매칭 점수를 계산한다. 이때, 안쪽 이미지(Ii)의 윤곽 곡선 집합은 P로, 바깥쪽 이미지(Io)의 윤곽 곡선 집합은 Q로 지칭하기로 한다.
이하의 수학식에 따라 곡선 매칭 집합(Cmatch(p,q))을 획득한다.
[수학식2]
Figure 112014036130855-pat00016

이때, p는 P에 속하는 곡선을, q는 Q에 속하는 곡선을, pi 및 qj는 곡선 p 및 q의 i번째 및 j번째 포인트 세그먼트(0은 곡선 p 및 q의 씨드 포인트를 의미함)를. Cdist는 곡선 p 및 q의 씨드 포인트(p0,q0)간 거리를 계산하는 함수를, Ccolor는 곡선들에서 더 짧은 길이의 곡선을 따라 20 픽셀 폭의 분석 영역를 추출하고, 분석 영역(즉, RGB 색 공간)의 각 채널에 대한 SSD(Sum of Squared Difference)를 계산하는 함수를, Cshape(p, q)는 곡선간 형상 차이값을 계산하는 함수를 각각 의미한다.
그리고 동일한 픽셀 데이터가 참조되는 것을 방지하기 위해, 곡선의 신규버전에 대해 이 작업을 수행하고(곡률이 특정 임계 값을 초과 할 때까지), 이동 길이로 차이값을 나눈다. 잡음이 없는 색상 정보를 도출하기 위해, 본 발명에서는 이미지를 에지-인식 필터링한 후, 이에 대한 색상 거리를 계산하도록 한다. 만약 C_color를 구하기 위해 20 픽셀 폭의 분석 영역을 참조 할 때, 도 5의 3번 곡선과 같이 경계면과 근접함에 따라 생성되는 홀(hole)은 OpenCV의 라이브러리의 인페인팅(inpainting) 기법을 활용하여 채우도록 한다.
곡선간 형상 차이값을 계산하는 Cshape(p, q)은 이하의 수학식에서와 같이 정의된다.
[수학식 3]
Figure 112014036130855-pat00017
이때, Dp 및 Hp 는 곡선 p와 q의 형상 분포와 곡률 히스토그램을 각각 의미한다. 또한, 경우에 따라서는 상기의 방법 이외에 곡률 계산 방법에 기반한 가우시안 평활화 커널을 사용할 수도 있을 것이다. 이러한 잡음에 영향을 받지 않는 결과물을 획득할 수 있게 된다. 수학식2의 각 파라메타는 0 또는 1로 정규화될 수 있으며. 이에 따라 Cmatch(p,q)는 0 내지 3의 값을 가지게 된다.
그리고 기 설정된 임계치보다 높은 값(디폴트 값으로 1.5가 설정됨)을 가지는 곡선쌍을 매칭된 곡선쌍 (
Figure 112014036130855-pat00018
,
Figure 112014036130855-pat00019
)(이때, k는 매칭된 윤곽 곡선쌍의 총 개수인 K에 속하는 값)이라고 판단한다. 도6의 (a)을 참고하면, 매칭된 쌍들 중에서 왼쪽 상단에 위치하는 곡선쌍은 다른 쌍들에 비해 낮은 매칭 점수를 가짐을 알 수 있다. 이는 형상 차이값이 다른 쌍들에 비해 크기 때문이다.
그리고 단계 S23에서는, 매칭 구조
Figure 112014036130855-pat00020
및
Figure 112014036130855-pat00021
에 대한 곡선 우선 점수를 계산하고, 이를 기반으로 배경 이미지(Io)를 재정렬시켜, 차별력있는 매칭 구조
Figure 112014036130855-pat00022
및
Figure 112014036130855-pat00023
가 경계를 따라 정렬되도록 한다. 특히, 본 발명에서는 이하와 같이 정의되는 수학식4를 계산하여, 최소값이 되는 변환 매트릭스 T를 획득하고, 이를 통해 배경 이미지(Io)를 재정렬시켜 준다.
수학식4는 변환 매트릭스 T 종속 요소(이전 과정을 포함한 모든 반복 과정에서 도출되는 모든 다른 파라메터들에 관련된 종속 요소)가 업데이트될 때까지 반복적으로 계산한다. 반복 동작이 수행될 때마다, 바깥쪽 이미지(Io)의 씨드 포인트와 곡선
Figure 112014036130855-pat00024
, 매칭 포인트의 개수 K, 및 우선순위 pr(k)는 업데이트된다.
[수학식 4]
Figure 112014036130855-pat00025
[수학식 5]
Figure 112014036130855-pat00026
이때, pr(k)는 차별력있는 곡선에 보다 높은 가중치를 주는 곡선 우선 점수이고, 이때의 차별력있는 곡선들은 길이, 평균 크기 및 매칭 점수에 의해 정의될 수 있다.
본 발명에서는 Levenberg Marquardt 알고리즘을 이용하여 경사 기반 최적화 동작을 수행하고, 최소값으로의 빠른 수렴을 보장하기 위해, HOG 위치를 초기 추측으로 이용하고, HOG 셀이 8*8으로 고정되어 있더라도 HOG의 에러 확률이 정확한 초기 구성을 충분히 제공할 수 있을 만큼 작다고 가정하기로 한다.
도6의 (b)는 본 발명에서 도출된 변형 매트리스를 통해 정렬된 이미지의 일례를 나타낸다. 다만, 이러한 경우, 매칭 점수가 낮은 쌍(왼쪽 상단)의 씨드 포인트간 거리는 보다 멀어지는 상황이 발생할 수 있다.
도7은 본 발명의 일 실시예에 따른 윤곽 곡선 기반 이미지 워핑 단계를 보다 상세하게 설명하기 위한 도면으로, 본 발명의 윤곽 곡선 기반 이미지 정렬 단계는 곡선 형태 변형 단계(S31), 변위 확산 단계(S32) 및 구조 기반 합성 단계(S33) 등을 포함할 수 있다.
본 발명은 서로 상이한 텍스쳐를 가지는 안쪽 이미지(Ii)와 바깥쪽 이미지(Io)를 구조 기반으로 완만히 연결함으로써, 안쪽 이미지(Ii)와 바깥쪽 이미지(Io)가 자연스럽게 연결하여 합성할 수 있도록 하는 것을 목표로 한다.
이전 단계에서 우선 점수를 통해 윤곽 곡선쌍(
Figure 112014036130855-pat00027
,
Figure 112014036130855-pat00028
)에 대한 전역 변환 매트릭스를 반복적으로 평가하고, 최소값을 가지는 변환 매트릭스를 통해 바깥쪽 이미지(Io)를 재정렬하여, 윤곽 곡선쌍이 서로 연결되도록 하였지만, 이러한 경우 낮은 매칭 점수값을 가지는 쌍은 연결되지 못해 불일치되는 쌍이 경계를 따라 많이 발생하는 문제가 발생하게 된다.
이에
Figure 112014036130855-pat00029
위치가
Figure 112014036130855-pat00030
위치로 이동하도록 바깥쪽 이미지(Io)를 직접 변형함으로써 상기의 문제를 해결할 수 있으나, 이러한 경우, 연결선이 완만한 형태를 가지지 못하며, 바깥쪽 이미지(Io)의 텍스쳐와 구조가 찌그러지게 되는 문제가 추가적으로 발생할 수 있다.
따라서 본 발명에서는 가이드 곡선 gk를 제안하고, 이를 통해 완만함과
Figure 112014036130855-pat00031
의 형태 모두를 유지할 수 있도록 한다. 가이드 곡선 gk은 곡선
Figure 112014036130855-pat00032
로부터 추론되나
Figure 112014036130855-pat00033
와 유사한 형태를 가지는 특징을 가지며, 형태 변환 방정식을 기반으로 하는 B-Spline를 통해 획득될 수 있다.
다음으로, 변환 영역의 평활화를 위해 전역 최적화를 적용하여 곡선
Figure 112014036130855-pat00034
상에 존재하는 포인트와 이에 대응된 가이드 곡선 gk 상에 존재하는 포인트간 차이를 기반으로 하는 변위 벡터 필드를 생성하고, 변위 벡터 필드를 사용하여, 도7에서와 같이 바깥쪽 이미지(Io)를 와핑하고, 안쪽 이미지(Ii)와의 합성을 수행한다.
단계 S31에서는, 입력 이미지에 대응되는 윤곽 곡선을 상기 배경 이미지에 대응되는 윤곽 곡선의 마지막 포인트로 추정한 곡선을 기본 곡선으로 정의한 후, 배경 이미지에 대응되는 윤곽 곡선과 기본 곡선을 블렌딩하여 가이드 곡선을 생성한다.
매칭 곡선 집합
Figure 112014036130855-pat00035
,
Figure 112014036130855-pat00036
는 구간별 선형 곡선이고, 경계상에서 씨드 포인트로부터 시작된다.
포인트 데이터를 B-spline에 위치시키기 위해, 균일 샘플링이 일반적으로 사용되나, 균일 샘플링을 통해 주어진 곡선을 정확하게 근사하기 위해서는 샘플링 동작이 조밀하게 수행되어야 하므로 계산 효율이 저하되는 문제가 발생할 수 있다. 따라서 유효 포인트만이 구간별 선형 곡선 근사화에 이용되도록 한다.
이에 본 발명에서는 절대 곡률을 이용하여 필요 개수만큼의 유효 포인트를 획득한 후, 이들을 도7의 (a)에 도시된 바와 같이 곡률 경계 상에 위치시킨다. 유효 포인트는 라인 세그먼트의 시위 길이(chord length)를 따라 절대 곡률을 통합하고, 샘플수에 따라 통합된 값을 나누는 방식을 통해 획득 가능하다(이때, 유효 포인트의 개수(numPoint)는 샘플링 횟수(SamplingRate)에 의해 결정된다).
그리고 최소 제곱 입방 스플라인 피팅(least square cubic spline fitting)을 통해
Figure 112014036130855-pat00037
을 곡선
Figure 112014036130855-pat00038
상의 마지막 포인트로 추정한 후, 해당 곡선을 기본 곡선 sk로 정의한다(도7의 (a)의 파란색 곡선 참고), 이때, 기본 곡선 sk 은
Figure 112014036130855-pat00039
의 가장 완만한 추정 곡선이라고 가정한다. 기본 곡선 sk 와 곡선
Figure 112014036130855-pat00040
간의 포인트 연관성을 보장하기 위해,
Figure 112014036130855-pat00041
에서의 시위 길이의 비율을 통해 추정된 Io 부분을 샘플링한다.
그리고 기본 곡선 sk j과 바깥쪽 이미지(Io)의 윤곽 곡선을 이용하여 가이드 곡선을 생성한다. 가이드 곡선 gk j(j∈ J = [0, n(
Figure 112014036130855-pat00042
) - 1]), n(·)는 곡선 상에서 샘플링된 포인트의 개수를 의미함)은 입방 B-spline의 제어 포인트 Dm에 의해 정의되며, 이때의 제어 포인트 Dm는 이하의 수학식6으로 표현될 수 있다.
[수학식 6]
Figure 112014036130855-pat00043
[수학식 7]
Figure 112014036130855-pat00044
[수학식 8]
Figure 112014036130855-pat00045
[수학식 9]
Figure 112014036130855-pat00046
이때, u∈[0,1]는
Figure 112014036130855-pat00047
와 sk j의 각 포인트들을 파라메틱 공간으로 이동시키는 값이고, M는 B-spline 기본 함수의 개수이다. S(u) 및
Figure 112014036130855-pat00048
는 입방 B-spline 함수이고,
Figure 112014036130855-pat00049
은 스프라인 피트된
Figure 112014036130855-pat00050
의 제어 포인트이고, ωj는 소프트 제약조건으로 sk상에 위치한 두 개의 엔드 포인트(end point)를 강제하면서 원래의 곡선
Figure 112014036130855-pat00051
와 기본 곡선 sk을 블렌딩하는 가우시안 가중치, λ는 스프라인 피팅 과정에서 E_pos 와 E_shape 사이를 발란싱하는 파라메터로써, 가이드곡선이
Figure 112014036130855-pat00052
의 각 포인트들의 위치를 유지하는 방향으로 만들어지는지, 아니면
Figure 112014036130855-pat00053
곡선의 형상을 유지하는 방향으로 만들어지는지 가중치를 주는 파라메터이다.
수학식 7은 최소 제곱 의미에서 곡선 내측이 pk을 따르는 동안 두 개의 엔드 포인트를 홀딩하는 gk가 유지되도록 한다. 수학식 8은 회귀 용어와 유사하나, gk가 자신의 곡률을 통해 원래의 곡선
Figure 112014036130855-pat00054
와 유사한 지역 형태를 가지도록 하는 역할을 한다. 본 발명에서는 원래 곡선의 형태를 과장 또는 무시함으로써, λ를 조정할 수 있다.
상기의 과정을 통해 연속성과
Figure 112014036130855-pat00055
의 원래 형상을 가지는 가이드 곡선 gk이 생성될 수 있다. 도7의 (b)는 곡선
Figure 112014036130855-pat00056
(빨간색으로 표시)와 유사한 형태를 가지며,
Figure 112014036130855-pat00057
로부터 완만하게 추정되는 가이드 곡선(파란색으로 표시)을 표시한다.
단계 S32에서는, 곡선
Figure 112014036130855-pat00058
과 가이드 곡선 gk간의 거리값을 기반으로, 도7의(c)와 같은 변위 벡터 필터(또는 변위 맵)를 구성한다.
본 발명에서는 두 곡선의 포인트간 연관성을 알고 있으므로, 가이드 곡선의 gk i의 포인트들을 곡선
Figure 112014036130855-pat00059
의 원하는 새로운 위치로 간주한다. 그리고 바깥쪽 이미지(
Figure 112014036130855-pat00060
)의 픽셀들 x는 v(x)로 정의한다.
[수학식 10]
Figure 112014036130855-pat00061
이때,
Figure 112014036130855-pat00062
는 변형된 배경 이미지(
Figure 112014036130855-pat00063
)내에서의 원래 곡선
Figure 112014036130855-pat00064
상에 위치하는 모든 포인트들의 집합을 의미한다.
v(x)는 곡선 세그먼트
Figure 112014036130855-pat00065
i의 위치를 기반으로 소정 간격을 가지도록 정의되므로, 전체 영역 Ω으로 이들 벡터를 완만히 보간해야 한다. 이에 본 발명에서는 디리클레 경계 조건(Dirichlet boundary conditions)으로 희소 데이터(sparse data)를 사용하여, x,y 면적 각각에 대한 라플라스 방정식을 해석하도록 한다.
[수학식 11]
Figure 112014036130855-pat00066

단계 S33에서는, 변위 벡터 필터를 이용하여 이미지 와핑 동작을 수행함으로써, 목표 이미지를 생성하도록 한다.
본 발명은 바깥쪽 이미지(
Figure 112014036130855-pat00067
)을 m*n(m, n은 자연수)개의 균일한 그리드 메쉬 형태로 분할하고, 메쉬 단위로 이미지 와핑을 수행함으로써 작업 효율성을 극대화한다. 그리고 계산 비용 및 정확도를 보장할 수 있는 범위내에서 사용자가 그리드 크기를 조정할 수 있도록 하며, 일반적인 가우시안 피라미드를 이용하여 변위 벡터 필드 v(x)를 다운스케일링할 수도 있도록 한다.
그리고 바깥쪽 이미지(
Figure 112014036130855-pat00068
)의 그리드 버틱스(grid vertex)를 통해 버틱스의 새로운 위치가 산출한 후, 이를 통해 배경 이미지(Io)내 윤곽 구조와 이에 대응되는 입력 이미지(Ii) 내 윤곽 구조간을 완만하게 연결시켜 배경 이미지(Io)를 와핑한다(도7의 (d)를 참고).
또한, 상기의 블렌딩 동작으로부터 입력 이미지(Ii)를 보존하기 위해, 본 발명에서는 입력 이미지(Ii)와 배경 이미지(
Figure 112014036130855-pat00069
) 간의 이격을 보간하는 완만한 멤브레인(membrane)을 구성한다. 이러한 멤브레인은 라플라스 방정식을 해독함으로써 생성될 수 있으나, 계산 효율을 위해 본 발명에서는 "Farbman, Z., Fattal, R., Lischinski, D.: Convolution pyramids. ACM Trans. Graph. 30(6), 175 (2011)"에서 제안한 컨볼루션 피라미드(convolution pyramid) 방식을 채용하기로 한다.
마지막으로, 입력 이미지(Ii)가 중앙 배치되는 블렌딩된 결과에서 이미지의 원하는 크기를 추출한다. 만약, 블렌딩된 결과로부터 원하는 정보를 추출할 수 가 없다면, 상기의 동작들은 사용자가 원하는 가로, 세로 비율을 얻을 때까지 반복적으로 수행될 것이다.
도8 및 도9는 본 발명의 일 실시예에 따른 구조 기반 이미지 확장 장치를 도시한 도면이다.
도8에 도시된 바와 같이, 본 발명의 이미지 확장 장치는 외부 장치와의 통신을 지원하는 통신부(10), 통신부(10)를 통해 외부에 존재하는 데이터베이스 서버(200)에 접속하여, 도9의 (a) 및 (b)와 같이 입력 이미지와 동일한 테마 및 유사한 이미지 특징을 가지는 이미지를 검색 및 배경 이미지로 획득하는 이미지 검색부(20), 도9의 (c)와 같이 입력 이미지와 배경 이미지의 HOI 위치에 따라 1차 이미지 정렬 동작을 수행한 후, 도9의 (d)와 같이 입력 이미지와 배경 이미지 각각에 대응되는 윤곽 곡선에 따라 2차 이미지 정렬 동작을 수행하는 이미지 정렬부(30), 도9의 (e)와 같이 입력 이미지와 배경 이미지 각각에 대응되는 윤곽 곡선을 기반으로 가이드 곡선을 생선한 후, 가이드 곡선을 기반으로 계산되는 변위 벡터 필드를 통해 도9의 (f)와 같이 배경 이미지를 와핑하는 이미지 와핑부(40), 이미지 와핑부(40)로부터 출력되는 이미지를 원하는 크기 및 화면 비율로 잘라 목표 이미지를 획득하여 출력하는 이미지 출력부(50), 그리고 터치 스크린, 모니터, 키보드, 스피커 등과 같은 데이터 입출력 수단을 구비하고, 이를 통해 이미지 확장 장치의 동작에 필요한 각종 정보(예를 들어, 입력 이미지, 배경 이미지 선택 정보, 디스플레이 조건 등)를 입력받거나, 이미지 확장 장치의 동작 결과에 알려주는 이미지, 소리 등을 생성 및 출력하는 사용자 인터페이스부(60) 등을 포함하여 구성될 수 있다.
즉, 본 발명의 구조 기반 이미지 확장 장치는 입력 이미지와 유사한 테마 및 구조를 가지는 배경 이미지를 검색한 후, 구조 기반으로 입력 이미지를 배경 이미지에 삽입시킴으로써, 입력 이미지가 자신의 정보를 최대한 유지하면서 배경 이미지에 최대한 자연스럽게 결합될 수 있도록 해준다.
도10은 본 발명의 일 실시예에 따른 구조 기반 이미지 확장 장치를 활용한 이미지 확장 예들을 도시한 도면이다.
즉, 도10을 참고하면, 입력 이미지가 시각적 위화감 없이 배경 이미지에 삽입되며, 이에 따라 입력 이미지가 확장된 것과 같은 효과를 얻을 수 있게 됨을 알 수 있다.
도11는 본 발명의 일 실시예에 따른 구조 기반 이미지 확장 장치의 성능을 설명하기 위한 도면으로, (a)는 입력 이미지를, (b)는 본 발명에 의한 이미지 확장 결과를, (c)는 축-정렬 방식을 이용한 이미지 리타겟팅 결과를, (d)는 내용-기반 텍스쳐 합성 결과를, (e)는 축-정렬 방식을 이용한 이미지 리타겟팅 결과를 줌인한 화면을, (f)는 내용인식 기반 텍스쳐 합성 결과를 줌인한 화면을 각각 나타낸다.
도11의 (b)를 참고하면, 본 발명의 경우, 입력 영상의 시야는 추정 가능한 텍스처에 의해 극도로 넓어지며, 모든 영역이 최상의 화질을 유지함을 알 수 있다.
한편, 도11의 (c)의 이미지는 목표로 하는 이미지 크기와 화면 비율을 가지고 있으나, 도10의 (e)와 같이 이를 확대하여 보면, 배경 영역에 너무 많이 왜곡되고 지저분함을 알 수 있다.
또한 도11의 (d)의 이미지도 본 발명에 따른 이미지와 동일하게 목표로 하는 이미지 크기와 화면 비율을 확보하였으나, 이는 특정 이미지 영역을 반복 복제하는 방식을 채택하는 단점을 가짐을 알 수 있다.
이상에서 전술한 바와 같은 이를 구현하기 위한 프로그램 명령어로서 구현될 수 있으며, 이러한 프로그램 명령어를 기록한 컴퓨터로 읽힐 수 있는 기록매체는, 일 예로, ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 미디어 저장장치 등이 있다.
또한 전술한 바와 같은 프로그램을 기록한 컴퓨터로 읽힐 수 있는 기록매체는 네트워크로 커넥션된 컴퓨터 장치에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 이 경우, 다수의 분산된 컴퓨터 중 어느 하나 이상의 컴퓨터는 상기에 제시된 기능들 중 일부를 실행하고, 그 결과를 다른 분산된 컴퓨터들 중 하나 이상에 그 실행 결과를 전송할 수 있으며, 그 결과를 전송받은 컴퓨터 역시 상기에 제시된 기능들 중 일부를 실행하여, 그 결과를 역시 다른 분산된 컴퓨터들에 제공할 수 있다.
본 발명의 각 실시예에 따른 온라인 게임 등급 표시장치 및 표시방법을 구동시키기 위한 프로그램인 애플리케이션을 기록한 기록매체를 읽을 수 있는 컴퓨터는, 일반적인 데스크 탑이나 노트북 등의 일반 PC뿐 만 아니라, 스마트 폰, 태블릿 PC, PDA(Personal Digital Assistants) 및 이동통신 단말 등의 모바일 단말을 포함할 수 있으며, 이뿐만 아니라, 컴퓨팅(Computing) 가능한 모든 기기로 해석되어야 할 것이다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (15)

  1. 구조 기반 이미지 확장 장치의 구조 기반 이미지 확장 방법에 있어서,
    상기 구조 기반 이미지 확장 장치가
    입력 이미지가 입력되면, 상기 입력 이미지의 테마를 기반으로 이미지 검색 동작을 수행하여 배경 이미지를 획득하는 단계;
    상기 입력 이미지와 상기 배경 이미지 각각에 대응되는 윤곽 곡선을 획득한 후, 상기 윤곽 곡선 매칭 동작을 통해 상기 입력 이미지와 상기 배경 이미지간을 정렬시키는 단계; 및
    상기 입력 이미지와 상기 배경 이미지의 윤곽 곡선을 이용하여 가이드 곡선을 생성하고, 상기 가이드 곡선을 기반으로 변위 벡터 필드를 계산한 후, 상기 변위 벡터 필드에 따라 상기 배경 이미지를 와핑하는 단계를 포함하는 구조 기반 이미지 확장 방법.
  2. 제1항에 있어서, 상기 배경 이미지를 획득하는 단계는
    호그(HOG:Histogram of Oriented Gradients) 셀과 이미지의 색상 분포도로 구성되는 이미지 특징을 고려하여 상기 입력 이미지에 대응되는 상기 배경 이미지를 추가 선별하는 것을 특징으로 하는 구조 기반 이미지 확장 방법.
  3. 제1항에 있어서, 상기 입력 이미지와 상기 배경 이미지간을 정렬시키는 단계는
    호그(HOG:Histogram of Oriented Gradients) 위치를 기반으로 상기 입력 이미지와 상기 배경 이미지를 1차 정렬시키는 단계;
    상기 입력 이미지와 상기 배경 이미지 각각의 이미지 구조를 추출하여 윤곽선 지도를 생성하고, 윤곽선 지도를 기반으로 상기 입력 이미지와 상기 배경 이미지 각각에 대응되는 윤곽 곡선을 검출하는 단계;
    상기 입력 이미지와 상기 배경 이미지 각각에 대응되는 윤곽 곡선을 매칭시켜 매칭된 윤곽 곡선쌍을 획득하는 단계; 및
    상기 매칭된 윤곽 곡선쌍을 기반으로 상기 배경 이미지를 2차 정렬하는 단계를 포함하는 것을 특징으로 하는 구조 기반 이미지 확장 방법.
  4. 제3항에 있어서, 상기 윤곽 곡선을 검출하는 단계는
    상기 입력 이미지와 상기 배경 이미지 각각을 에지-인식 필터링하여 상기 입력 이미지와 상기 배경 이미지 각각의 이미지 구조를 추출하는 단계;
    상기 추출 결과를 반영하여 상기 입력 이미지와 상기 배경 이미지 각각에 대응되는 윤곽선 지도를 생성하는 단계;
    상기 윤곽선 지도 각각에 존재하는 불연속 경계를 따라 로컬 최대 경사 크기를 가지는 씨드 포인트들을 검색 및 추적하여, 상기 입력 이미지와 상기 배경 이미지 각각에 대응되는 윤곽 곡선을 생성하는 단계를 포함하는 것을 특징으로 하는 구조 기반 이미지 확장 방법.
  5. 제4항에 있어서, 상기 윤곽 곡선을 검출하는 단계는
    곡선 총 길이, 곡선 경사 크기 평균, 곡선에 대한 세그먼트 절대 곡률 합을 기반으로 곡선 신뢰도를 계산하고, 상기 곡선 신뢰도에 따라 상기 윤곽 곡선을 추가 필터링하는 단계를 더 포함하는 것을 특징으로 하는 구조 기반 이미지 확장 방법.
  6. 제3항에 있어서, 상기 매칭된 윤곽 곡선쌍을 획득하는 단계는
    상기 입력 이미지와 상기 배경 이미지에 대한 윤곽 곡선들을 매칭시킨 후, 매칭 점수를 계산하는 단계; 및
    상기 매칭 점수가 기 설정된 값 이상인 윤곽 곡선쌍을 상기 매칭된 윤곽 곡선쌍으로 선별하여 출력하는 단계;를 포함하는 것을 특징으로 하는 구조 기반 이미지 확장 방법.
  7. 제6항에 있어서, 상기 매칭 점수를 계산하는 단계는
    상기 매칭된 윤곽 곡선쌍의 씨드 포인트간 거리, 색상 차이값, 및 형상 차이값을 기준으로 상기 매칭 점수를 계산하는 것을 특징으로 하는 구조 기반 이미지 확장 방법.
  8. 제6항에 있어서, 상기 배경 이미지를 2차 정렬하는 단계는
    이하와 같이 정의되는 수학식을 통해 윤곽 곡선쌍(
    Figure 112015034894110-pat00070
    ,
    Figure 112015034894110-pat00071
    )에 대한 변환 매트릭스를 반복적으로 평가하고, 최소값을 가지는 변환 매트릭스를 통해 상기 배경 이미지를 재정렬하는 것을 특징으로 하는 구조 기반 이미지 확장 방법,
    Figure 112015034894110-pat00072
    ,
    상기 T는 변환 매트릭스, 상기 K는 매칭된 윤곽 곡선쌍의 총 개수이고, 상기 k는 상기 K에 속하는 값, 상기
    Figure 112015034894110-pat00073
    는 상기 입력 이미지에 대응되는 윤곽 곡선, 상기
    Figure 112015034894110-pat00074
    는 상기 배경 이미지에 대응되는 윤곽 곡선, pr(k)는 매칭된 윤곽 곡선쌍의 곡선 우선 점수인임.
  9. 제8항에 있어서, 상기 매칭된 윤곽 곡선쌍의 곡선 우선 점수는
    상기 입력 이미지에 대응되는 윤곽 곡선의 신뢰도, 상기 배경 이미지에 대응되는 윤곽 곡선의 신뢰도, 상기 매칭 점수를 기반으로 계산되는 것을 특징으로 하는 구조 기반 이미지 확장 방법.
  10. 제1항에 있어서, 상기 배경 이미지를 와핑하는 단계는
    상기 입력 이미지에 대응되는 윤곽 곡선을 상기 배경 이미지에 대응되는 상의 마지막 포인트로 추정한 곡선을 기본 곡선으로 정의한 후, 상기 배경 이미지에 대응되는 윤곽 곡선과 블렌딩하여 가이드 곡선을 생성하는 단계;
    상기 배경 이미지에 대응되는 윤곽 곡선과 상기 가이드 곡선간 거리값을 기반으로 변위 벡터 필터를 구성하는 단계; 및
    상기 변위 벡터 필터를 이용하여 이미지 와핑 동작을 수행하여, 목표 이미지를 획득하는 단계;를 포함하는 것을 특징으로 하는 구조 기반 이미지 확장 방법.
  11. 제10항에 있어서, 상기 가이드 곡선은
    입방 비-스플라인(B-spline) 제어 포인트(Dm)에 의해 정의되며, 상기 제어 포인트(Dm)는 이하의 수학식으로 표현되는 것을 특징으로 하는 구조 기반 이미지 확장 방법,
    Figure 112014036130855-pat00075
    ,
    Figure 112014036130855-pat00076
    ,
    Figure 112014036130855-pat00077
    ,
    Figure 112014036130855-pat00078

    상기 u는
    Figure 112014036130855-pat00079
    와 sk j의 각 포인트들을 파라메틱 공간으로 이동시키는 값이고, 상기 M는 B-spline 기본 함수의 개수이고, 상기 S(u) 및
    Figure 112014036130855-pat00080
    는 입방 B-spline 함수이고, 상기
    Figure 112014036130855-pat00081
    은 스프라인 피트된
    Figure 112014036130855-pat00082
    의 제어 포인트이고, 상기 ωj는 소프트 제약조건으로 sk상에 위치한 두 개의 엔드 포인트(end point)를 강제하면서 원래의 곡선
    Figure 112014036130855-pat00083
    와 기본 곡선 sk을 블렌딩하는 가우시안 가중치임.
  12. 제10항에 있어서, 상기 목표 이미지를 획득하는 단계는
    상기 배경 이미지는 그리드 메쉬 형태로 분할하고, 메쉬 단위로 상기 변위 벡터 필터를 이용한 이미지 와핑 동작을 수행하는 것을 특징으로 하는 구조 기반 이미지 확장 방법.
  13. 제1항에 있어서,
    상기 배경 이미지 와핑 결과를 목표하는 크기 및 화면 비율에 따라 잘라 출력하는 단계를 더 포함하는 것을 특징으로 하는 구조 기반 이미지 확장 방법.
  14. 제1항 내지 제13항 중 어느 한 항에 기재된 구조 기반 이미지 확장 방법을 실행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  15. 입력 이미지가 입력되면, 상기 입력 이미지의 테마 및 이미지 특징을 기반으로 이미지 검색 동작을 수행하여 배경 이미지를 획득하는 이미지 검색부;
    HOG(histogram of oriented gradients) 위치를 기반으로 상기 입력 이미지와 상기 배경 이미지를 1차 정렬시킨 후, 상기 입력 이미지와 상기 배경 이미지의 윤곽 곡선을 통해 상기 입력 이미지와 상기 배경 이미지간을 2차 정렬시키는 이미지 정렬부;
    상기 입력 이미지와 상기 배경 이미지의 윤곽 곡선을 이용하여 가이드 곡선을 생성하고, 상기 가이드 곡선을 기반으로 변위 벡터 필드를 계산한 후, 상기 변위 벡터 필드를 통해 상기 배경 이미지를 와핑하는 이미지 와핑부; 및
    상기 이미지 와핑부로부터 출력되는 이미지를 목표 크기 및 화면 비율로 잘라 목표 이미지를 최종 획득 및 출력하는 이미지 출력부를 포함하는 구조 기반 이미지 확장 장치.
KR1020140045303A 2014-04-16 2014-04-16 구조 기반 이미지 확장 방법 및 장치 KR101554421B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140045303A KR101554421B1 (ko) 2014-04-16 2014-04-16 구조 기반 이미지 확장 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140045303A KR101554421B1 (ko) 2014-04-16 2014-04-16 구조 기반 이미지 확장 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101554421B1 true KR101554421B1 (ko) 2015-09-18

Family

ID=54248710

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140045303A KR101554421B1 (ko) 2014-04-16 2014-04-16 구조 기반 이미지 확장 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101554421B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180010493A (ko) * 2016-07-21 2018-01-31 삼성전자주식회사 전자 장치 및 전자 장치의 비디오 편집 방법
CN110116675A (zh) * 2018-02-07 2019-08-13 丰田自动车株式会社 车辆用显示装置
WO2022085914A1 (ko) * 2020-10-21 2022-04-28 삼성전자 주식회사 전자 장치 및 전자 장치의 제어 방법
US12094076B2 (en) 2020-10-21 2024-09-17 Samsung Electronics Co., Ltd. Electronic device and controlling method of electronic device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100551825B1 (ko) 2004-04-23 2006-02-13 삼성탈레스 주식회사 통계적 상관 관계를 이용한 영상의 정렬 방법
KR101049928B1 (ko) 2011-02-21 2011-07-15 (주)올라웍스 파노라마 이미지를 생성하기 위한 방법, 사용자 단말 장치 및 컴퓨터 판독 가능한 기록 매체
KR101255729B1 (ko) 2011-08-03 2013-04-18 부산대학교 산학협력단 지역 정렬을 이용한 부분 이미지 검색 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100551825B1 (ko) 2004-04-23 2006-02-13 삼성탈레스 주식회사 통계적 상관 관계를 이용한 영상의 정렬 방법
KR101049928B1 (ko) 2011-02-21 2011-07-15 (주)올라웍스 파노라마 이미지를 생성하기 위한 방법, 사용자 단말 장치 및 컴퓨터 판독 가능한 기록 매체
KR101255729B1 (ko) 2011-08-03 2013-04-18 부산대학교 산학협력단 지역 정렬을 이용한 부분 이미지 검색 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180010493A (ko) * 2016-07-21 2018-01-31 삼성전자주식회사 전자 장치 및 전자 장치의 비디오 편집 방법
KR102498815B1 (ko) * 2016-07-21 2023-02-13 삼성전자주식회사 전자 장치 및 전자 장치의 비디오 편집 방법
CN110116675A (zh) * 2018-02-07 2019-08-13 丰田自动车株式会社 车辆用显示装置
WO2022085914A1 (ko) * 2020-10-21 2022-04-28 삼성전자 주식회사 전자 장치 및 전자 장치의 제어 방법
US12094076B2 (en) 2020-10-21 2024-09-17 Samsung Electronics Co., Ltd. Electronic device and controlling method of electronic device

Similar Documents

Publication Publication Date Title
Zhang et al. Backward registration-based aspect ratio similarity for image retargeting quality assessment
Bi et al. Fast copy-move forgery detection using local bidirectional coherency error refinement
Le Meur et al. Hierarchical super-resolution-based inpainting
Fang et al. Objective quality assessment for image retargeting based on structural similarity
RU2680765C1 (ru) Автоматизированное определение и обрезка неоднозначного контура документа на изображении
AU2012219026B2 (en) Image quality assessment
Lee et al. Robust exemplar-based inpainting algorithm using region segmentation
US20120281923A1 (en) Device, system, and method of image processing utilizing non-uniform image patch recurrence
Fu et al. Superpixel based color contrast and color distribution driven salient object detection
Guo et al. Improving photo composition elegantly: Considering image similarity during composition optimization
WO2008139465A2 (en) Bidirectional similarity of signals
US20150235377A1 (en) Method, apparatus and computer program product for segmentation of objects in media content
CN106157330B (zh) 一种基于目标联合外观模型的视觉跟踪方法
US10169908B2 (en) Method, apparatus, storage medium and device for controlled synthesis of inhomogeneous textures
KR101554421B1 (ko) 구조 기반 이미지 확장 방법 및 장치
Abdulla et al. An improved image quality algorithm for exemplar-based image inpainting
Peng et al. Lggd+: Image retargeting quality assessment by measuring local and global geometric distortions
Inthiyaz et al. Flower segmentation with level sets evolution controlled by colour, texture and shape features
Annum et al. Saliency detection using contrast enhancement and texture smoothing operations
Gimenez et al. Unsupervised edge map scoring: A statistical complexity approach
Chen et al. Image retargeting with a 3D saliency model
Popowicz et al. Overview of grayscale image colorization techniques
Li et al. Aggregating complementary boundary contrast with smoothing for salient region detection
Georgiadis et al. Texture representations for image and video synthesis
Xiao et al. Contour-guided image completion using a sample image

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20140416

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20150211

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20150821

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20150914

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20150914

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20180823

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20180823

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20200825

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20210825

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20220825

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20231010

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20241008

Start annual number: 10

End annual number: 10