KR20130048402A - 자동화된 포토 모자이크 영상 생성 방법 및 시스템 - Google Patents

자동화된 포토 모자이크 영상 생성 방법 및 시스템 Download PDF

Info

Publication number
KR20130048402A
KR20130048402A KR1020110113236A KR20110113236A KR20130048402A KR 20130048402 A KR20130048402 A KR 20130048402A KR 1020110113236 A KR1020110113236 A KR 1020110113236A KR 20110113236 A KR20110113236 A KR 20110113236A KR 20130048402 A KR20130048402 A KR 20130048402A
Authority
KR
South Korea
Prior art keywords
tile
photo
block
value
blocks
Prior art date
Application number
KR1020110113236A
Other languages
English (en)
Other versions
KR101264358B1 (ko
Inventor
이해연
서성진
김기웅
Original Assignee
금오공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 금오공과대학교 산학협력단 filed Critical 금오공과대학교 산학협력단
Priority to KR1020110113236A priority Critical patent/KR101264358B1/ko
Priority to PCT/KR2012/001269 priority patent/WO2013065909A1/ko
Publication of KR20130048402A publication Critical patent/KR20130048402A/ko
Application granted granted Critical
Publication of KR101264358B1 publication Critical patent/KR101264358B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 일 실시예는 자동화된 포토 모자이크 영상 생성 방법 및 시스템에 관한 것이다.
이를 위해 본 발명의 일 실시예는 모자이크에 사용되는 사진 또는 타일을 복수의 영역으로 분할하고, 상기 분할된 영역들의 색상값을 추출하여 저장하는 데이터 생성단계; 및 상기 저장된 영역들의 색상값을 이용하여 외부로부터 입력된 영상에 대한 포토 모자이크를 생성하는 포토 모자이크 영상 생성 단계를 포함하는 자동화된 포토 모자이크 영상생성방법을 개시한다.

Description

자동화된 포토 모자이크 영상 생성 방법 및 시스템{Method and System for Automated Photomosaic Image Generation}
본 발명의 일 실시예는 자동화된 포토 모자이크 영상 생성 방법 및 시스템에 관한 것이다.
모자이크는 기본적인 밑그림에 여러 가지 빛깔의 작은 조각 또는 타일들을 붙여서 무늬나 영상을 만드는 장식 미술의 하나이다. 또한, 모자이크 영상은 가까운 위치에서는 작은 조각들을 볼 수 있고, 먼 위치에서는 그 조각들이 만들어 내는 하나의 큰 형상을 알아볼 수 있게 된다. 이러한 모자이크 작업은 과거에는 예술가들에 의해서 대부분 진행이 되어 왔으며, 현대에 와서 컴퓨터 그래픽스 연구자들에 의해서 비사실적 랜더링 기법 중의 하나로 진행되고 있다. 이러한 기법으로 만들어진 영상들은 이미지의 흥미성이나 예술성을 높여주게 된다.
기존에는 이러한 모자이크를 위해서는 오랜 시간 동안 많은 자료를 수집해야 했으나, 최근에는 저가 디지털 디바이스가 많이 출시되면서 이러한 문제는 많이 해소되고, 일반 사용자들도 손쉽게 사용할 수 있도록 하는 소프트웨어들의 등장으로 인하여 모자이크 처리에 대한 관심이 높아졌다. 또한, 최근에는 비사실적 랜더링 기법이 일부 연구자들의 기술이 아니라, 많은 그래픽 디자이너들에게도 구현의 대상이 되고 있으며, 이에 따라 다양한 방식의 모자이크가 소개되고 있다.
이러한 다양한 방식의 모자이크 방법 중 사진을 이용한 포토 모자이크가 최근 디지털 이미징 기술의 발달로 인하여 잡지와 포스터, 설치, 뮤직비디오와 TV광고 등에서 적극적으로 활용되고 있다 여기서, 포토 모자이크란 여러 개의 작은 사진을 모아서 하나의 큰 사진을 만드는 것을 의미한다. 그러나, 모자이크 영상을 생성 작업들은 대부분 전문 그래픽 디자이너들에 의해 수작업으로 생성되고 있기 때문에, 일반 사용자들이 포토 모자이크 영상을 생성하는 것은 어려우며, 전문 그래픽 디자이너라고 하더라고, 수작업으로 이루어지므로 모자이크 영상의 생성에 상당한 시간이 소요되는 문제점이 있었다. 또한, 포토 모자이크 알고리즘을 자동화하기 위한 소프트웨어의 개발이 이루어지고 있지만, 아직 상용화된 프로그램도 거의 없으며, 그 성능 또한 만족스럽지 않다는 문제점이 있었다.
본 발명의 일 실시예는 적응적 타일링 및 블록 매칭을 통하여 자동화된 포토 모자이크 영상을 생성할 수 있는 자동화된 포토 모자이크 영상 생성 방법 및 시스템을 제공한다.
또한, 본 발명의 일 실시예는 사진 데이터베이스를 통하여 모자이크에 사용되는 타일을 생성하고, 영상 특징 추출, 적응적 타일링, 블록 매칭 및 명암값 조정의 과정을 통하여 우수한 정성적 품질을 갖는 모자이크 영상을 생성할 수 있는 자동화된 포토 모자이크 영상 생성 방법 및 시스템을 제공한다.
본 발명의 일 실시예에 의한 자동화된 포토 모자이크 영상 생성 방법은 모자이크에 사용되는 사진 또는 타일을 복수의 영역으로 분할하고, 상기 분할된 영역들의 색상값을 추출하여 저장하는 데이터 생성단계; 및 상기 저장된 영역들의 색상값을 이용하여 외부로부터 입력된 영상에 대한 포토 모자이크를 생성하는 포토 모자이크 영상 생성단계를 포함하는 것을 특징으로 한다.
상기 데이터 생성단계는, 상기 모자이크에 사용되는 사진 또는 타일을 입력받는 데이터 입력단계; 상기 입력된 사진 또는 타일을 소정의 크기의 복수의 영역으로 분할하는 분할단계; 상기 분할된 영역들의 색상값을 추출하여 그 평균값을 연산하는 평균값연산단계; 및 상기 연산된 평균값을 상기 사진 또는 타일의 특징값으로 하여 저장하는 특징값저장단계를 포함할 수 있다.
상기 포토 모자이크 영상 생성단계는, 외부로부터 입력된 영상에 대하여 기설정된 크기의 복수 개의 블럭으로 분할하고, 상기 분할된 영역의 색상값의 평균값을 특징값으로 추출하는 영상특징추출단계; 상기 복수 개의 블록들중 어느 하나의 기준블록과 이 기준블록과 인접하는 인접블록들 사이의 유사도를 판단하여 유사한 블록들을 병합하는 적응적타일링단계; 상기 입력된 영상에 대하여 분할 또는 병합된 블록과 상기 데이터 생성단계에서의 사진 또는 타일과의 유사도를 판단하여 유사한 사진 또는 타일을 추출하는 블록매칭단계; 및 상기 추출된 사진 또는 타일의 명암값을 상기 사진 또는 타일과 유사한 블록의 명암값으로 교체하는 명암조정단계를 포함할 수 있다. 상기 색상값은 RGB 값이다.
상기 적응적타일단계에서의 인접 블록간의 유사도 비교를 위하여 블록 특징값의 차이(Difference)는 수학식 1에 의하여 판단되고,
[수학식 1]
Figure pat00001
여기서, SB는 기준블록, B는 인접블록, i는 블록의 레벨(level), j는 레벨안의 블록번호, SB(k)는 기준블록의 특징값, B i,j (k)는 인접블록 중 i레벨의 j블록의 특징값이다.
상기 적응적타일단계에서는 상기 블록간 특징값들의 차이값이 미리 설정된 기준값이하이면 블록을 병합하고, 미리 설정된 기준값이상이면 블록을 병합하지 않게 된다.
상기 블록매칭단계에서의 유사도(MatchBlock)는 수학식 2에 의하여 판단되고,
[수학식 2]
Figure pat00002
여기서, SB(k)는 분할 또는 병합된 k번째 블록의 특징값, DB i (k)는 데이터 생성단계에서의 k번째 사진 또는 타일의 특징값이다.
상기 블록매칭단계에서는 상기 수학식 2에 의하여 판단된 최소값을 가지는 데이터 생성단계에서의 사진 또는 타일을 추출한다.
또한, 본 발명의 다른 실시예에 따른 자동화된 포토 모자이크 영상생성시스템은, 모자이크에 사용되는 사진 또는 타일을 복수의 영역으로 분할하고, 상기 분할된 영역들의 색상값을 추출하여 저장하는 데이터 생성부; 및 상기 저장된 영역들의 색상값을 이용하여 외부로부터 입력된 영상에 대한 포토 모자이크를 생성하는 포토 모자이크 영상생성부를 포함하는 것을 특징으로 한다.
상기 데이터 생성부는, 상기 모자이크에 사용되는 사진 또는 타일을 입력받는 데이터 입력부; 상기 입력된 사진 또는 타일을 소정의 크기의 복수의 영역으로 분할하는 분할부; 상기 분할된 영역들의 색상값을 추출하여 그 평균값을 연산하는 평균값연산부; 및 상기 연산된 평균값을 상기 사진 또는 타일의 특징값으로 하여 저장하는 특징값저장부를 포함할 수 있다.
상기 포토 모자이크 영상생성부는, 외부로부터 입력된 영상에 대하여 기설정된 크기의 복수 개의 블럭으로 분할하고, 상기 분할된 영역의 색상값의 평균값을 특징값으로 추출하는 영상특징추출부; 상기 복수 개의 블록들중 어느 하나의 기준블록과 이 기준블록과 인접하는 인접블록들 사이의 유사도를 판단하여 유사한 블록들을 병합하는 적응적타일링부; 상기 입력된 영상에 대하여 분할 또는 병합된 블록과 상기 데이터 생성부의 사진 또는 타일과의 유사도를 판단하여 유사한 사진 또는 타일을 추출하는 블록매칭부; 및 상기 추출된 사진 또는 타일의 명암값을 상기 사진 또는 타일과 유사한 블록의 명암값으로 교체하는 명암조정부를 포함할 수 있다.
본 발명의 일 실시예에 따른 자동화된 포토 모자이크 영상 생성 방법 및 시스템에 의하면, 적응적 타일링 및 블록 매칭을 통하여 자동화된 포토 모자이크 영상을 생성할 수 있다.
또한, 본 발명의 일 실시예에 따른 자동화된 포토 모자이크 영상 생성 방법 및 시스템에 의하면, 사진 데이터베이스를 통하여 모자이크에 사용되는 타일을 생성하고, 영상 특징 추출, 적응적 타일링, 블록 매칭 및 명암값 조정의 과정을 통하여 우수한 정성적 품질을 갖는 모자이크 영상을 생성할 수 있다.
도 1은 본 발명의 일 실시예에 따른 자동화된 포토 모자이크 영상 생성 방법을 나타내는 순서도이다.
도 2a는 도 1의 데이터 생성단계를 나타내는 순서도이다.
도 2b는 도 1의 포토 모자이크 영상 생성단계를 나타내는 순서도이다.
도 3a 내지 3h는 도 2b의 포토 모자이크 영상 생성단계를 이루는 과정을 나타내는 도면이다.
도 4는 본 발명의 다른 실시예에 따른 자동화된 포토 모자이크 영상생성 시스템을 나타내는 블록도이다.
본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로 본 발명의 바람직한 일 실시예를 첨부된 도면을 참조하여 상세하게 설명하면 다음과 같다.
도 1은 본 발명의 일 실시예에 따른 자동화된 포토 모자이크 영상 생성 방법을 나타내는 순서도이고, 도 2a는 도 1의 데이터 생성단계를 나타내는 순서도이며, 도 2b는 도 1의 포토 모자이크 영상 생성단계를 나타내는 순서도이고, 도 3a 내지 3j는 도 2b의 포토 모자이크 영상 생성단계를 이루는 과정을 나타내는 도면이다.
도 1 내지 도 2b를 참조하면, 본 발명의 일 실시예에 따른 자동화된 포토 모자이크 영상 생성 방법은 데이터 생성단계(S100), 포토모자이크 영상 생성단계(S200)를 포함한다.
상기 데이터 생성단계(S100)는 모자이크에 사용되는 사진 또는 타일을 복수의 영역으로 분할하고, 상기 분할된 영역들의 색상값을 추출하여 이를 특징값 데이터로 저장한다. 상기 데이터 생성단계(S100)는 타일을 4×4로 분할한 후에 각 영역의 RGB 평균값을 계산하여 특징값으로 저장한다. 즉, 총 48개의 특징값이 해당 타일의 밝기값 특성을 대표한다.
이러한 데이터 생성단계(S100)는 데이터 입력단계(S110), 분할단계(S120), 평균값연산단계(S130), 특징값저장단계(S140)를 포함한다.
상기 데이터 입력단계(S110)는 모자이크에 사용되는 사진 또는 타일을 입력받는다. 상기 데이터 입력단계(S110)는 카메라 또는 사용자 인터페이스를 통하여 모자이크에 사용되는 사진 또는 타일 데이터를 입력받는다.
상기 분할단계(S120)는 데이터 입력단계(S110)에서 입력된 사진 또는 타일을 소정의 크기의 복수의 영역으로 분할하고, 상기 평균값연산단계(S130)는 분할단계(S120)에서 분할된 영역들의 색상값을 추출하여 그 평균값을 연산한다.
그런 다음, 상기 특징값저장단계(S140)는 평균값 연산단계(S130)에서 연산된 평균값을 상기 사진 또는 타일의 특징값으로 하여 저장한다. 이렇게 저장된 사진 또는 타일의 특징값은 포토모자이크 영상 생성단계(S200)의 블록매칭 단계(S230)에서 영상과의 유사도 판단에 사용된다.
상기 포토모자이크 영상 생성단계(S200)는 데이터 생성단계(S100)에서 저장된 영역들의 색상값을 이용하여 외부로부터 입력된 영상에 대한 포토 모자이크를 생성한다. 여기서, 상기 색상값은 RGB 값을 의미한다.
이러한 포토모자이크 영상 생성단계(S200)는 영상특징추출단계(S210), 적응적타일링단계(S220), 블록매칭단계(S230) 및 명암조정단계(S240)를 포함한다.
상기 영상특징추출단계(S210)는 외부로부터 입력된 영상에 대하여 기설정된 크기의 복수 개의 블럭으로 분할하고, 상기 분할된 영역의 색상값의 평균값을 특징값으로 추출하는 단계이다. 즉, 상기 영상특징추출단계(S210)는 외부로부터 입력된 영상을 작은 블록으로 분할한 후에, 각 블록의 특징을 계산하는 과정이다. 이와 같이 계산된 특징은 이후의 적응적타일링단계(S220) 및 블록매칭단계(S230)에서 활용된다. 보다 구체적으로 설명하자면, 상기 영상특징추출단계(S210)는 입력된 영상을 도 3a에서와 같이 미리 설정된 크기의 블록들로 분할하고, 각 블록에 대해서 도 3b에서와 같이 4×4개의 16 영역으로 나누어서 각 영역에 대하여 RGB 평균값을 계산하여 각 블록의 특징으로 사용한다. 따라서, 각 블록에 대하여 48개의 특징값을 추출할 수 있게 된다. 이와 같이 특징값을 추출하는 과정은 데이터 생성단계(S100)에서의 분할단계(S120)와 특징값저장단계(S140)에서의 사진 또는 타일의 특징을 추출하는 과정과 동일하다. 본 발명에서는 블록크기를 64픽셀 단위로 설정한 것을 일 예로 들었으나, 블록크기에 대하여 한정하는 것은 아니다.
상기 적응적타일링단계(S220)는 복수 개의 블록들중 어느 하나의 기준블록과 이 기준블록과 인접하는 인접블록들 사이의 유사도를 판단하여 유사한 블록들을 병합하는 단계이다. 한편, 포토 모자이크 영상을 생성함에 있어서 동일한 타일의 크기가 아닌 다양한 크기의 타일을 포함하여 생성할 경우 정성적인 품질이 향상될 수 있다. 따라서, 상기 적응적타일링단계(S220)에서는 영상특징추출단계(S210)에서 생성한 블록에 대해서 인접한 블록들 사이에 특징값이 유사하다면 블록들을 병합하여 블록의 크기를 확장시킨다. 구체적으로, 상기 적응적타일링단계(S220)를 설명하기 위하여 도 3c에서와 같이 블록들이 분할되어 있다고 가정한다. 여기서, 블록 SB는 인접 블록들과 병합을 위하여 비교의 대상이 되는 고정 블록이고, 블록 B i ,j 는 블록 SB를 기준으로 Level i에 해당하는 j번째 블록을 의미한다. 상기 적응적타일링단계(S220)는 고정된 블록 SB와 Level i에 해당하는 모든 블록 B i ,j 의 특징값들 사이의 오차가 ±10인 경우, Level i에 포함된 블록의 내용이 유사한 것으로 판정하여 병합을 수행한다. 만약, Level i의 블록 중에 하나라도 오차 범위를 벗어날 경우 해당 Level의 병합은 수행하지 않으며 고정된 블록 SB에 대한 적응적 타일링 과정을 멈춘다. 예를 들어, 블록 SB를 Level 1의 블록 B1,1, B1,2, 및 B1,3과 비교하여 유사도가 ±10 이내인 경우 타일을 병합할 수 있음을 의미하며, Level 2의 블록들 B2,1, B2,2, B2,3, B2,4, 및 B2,5와 유사도 비교를 계속 진행한다. 만약, Level 2의 블록들 중에 하나라도 오차의 범위를 벗어날 경우 Level 2의 블록들과 병합을 수행하지 않으며, 블록 SB는 크기는 x, y축으로 2배 확장된 크기로 결정된다. Level이 증가할수록 병합되는 블록의 크기는 커지지만, 블록이 너무 클 경우 모자이크 영상의 품질이 저하되므로 Level의 횟수를 제한하였다.
상기 적응적타일링단계(S220)는 블록의 유사도 비교를 위하여 아래 [수학식 1]과 같이 블록의 특징값들 사이의 차이값(Difference)을 계산하여 사용한다.
[수학식 1]
Figure pat00003
여기서, Difference는 블록들 사이의 유사도, SB는 기준블록, B는 인접블록, i는 블록의 레벨(level), j는 레벨안의 블록번호, SB (k)는 기준블록의 특징값, B i ,j (k)는 인접블록 중 i레벨의 j블록의 특징값이다.
도 3d는 상기 적응적타일링단계(S220)를 거친 후에 블록의 확장된 모습을 나타내는 도면이다. 도 3d에서 1이 표시된 블록은 고정된 블록을 의미하며, 0이 표시된 블록은 고정된 블록을 기준으로 확장된 블록의 모습을 나타낸다. 이와 같이 1과 0의 블록에 대한 특성을 활용함으로써, 적응적타일링단계(S220)에서 0이 표시된 블록의 경우 이미 병합된 블록으로서 적응적 타일링의 과정에서 고정 블록으로 활용하여 타일의 확장을 시도하지 않게 된다. 또한, 다음 단계의 블록매칭단계(S230)에서도 수행하지 않음으로서 속도의 향상을 도모할 수 있게 된다.
상기 블록매칭단계(S230)는 상기 입력된 영상에 대하여 분할 또는 병합된 블록과 데이터 생성단계(S100)에서의 사진 또는 타일과의 유사도를 판단하여 유사한 사진 또는 타일을 추출하는 단계이다. 즉 상기 블록매칭단계는(S230) 입력된 영상의 분할된 각 블록들에 대하여 데이터 생성단계(S100)에서 정합되는 사진 또는 타일을 찾기 위하여 매칭을 하는 과정이다. 또한, 상기 블록매칭단계(S230)는 인접한 블록에 동일한 사진이 삽입되는 경우 정성적인 품질이 저하되므로, 중복성을 최소화하여 인접 블록에 동일한 영상의 삽입을 방지할 수 있다. 나아가, 상기 블록매칭단계(S230)는 블록 간의 유사도 측정의 기준으로 두 점 사이의 거리를 계산하는 유클리드 거리(Euclid Distance)를 변형하여 루트 계산을 제거하여 활용함으로서 수행 속도의 향상을 도모할 수 있다.
이와 같이 블록매칭단계(S230)를 거쳐 정합되는 영상은 아래 [수학식 2]에서와 같이 유사도 값들 중에서 최소한 유사도 값을 갖는 영상에 해당한다.
[수학식 2]
Figure pat00004
여기서, MatchBlock은 블록과 사진 또는 타일의 유사도, SB (k)는 분할 또는 병합된 k번째 블록의 특징값, DB i (k)는 데이터 생성단계에서의 k번째 사진 또는 타일의 특징값이다.
한편, 포토 모자이크 영상을 생성함에 있어서 동일한 타일의 중복 및 고정된 타일 크기를 사용하는 것은 정성적인 품질을 저하시킬 수 있다. 따라서, 블록매칭단계(S230)에서는 타일의 중복성을 최소화하기 위해 주변 블록에 해당 타일이 사용되었다면, 다른 최선의 값을 갖는 타일을 정합된 영상으로 검색하여 사용하는 중복최소화과정(미도시)을 더 거칠 수 있다. 이러한 중복최소화과정을 통하여, 데이터 생성단계(S100)에서의 사진 또는 타일의 사용 횟수를 측정하여 반복적인 사용도 제한할 수 있다.
보다 구체적으로 설명하자면, 우선 상기 블록매칭단계(S230)는 블록들에 대하여 블록 매칭의 과정은 좌상단에서 시작해서 우하단 방향으로 진행된다. 따라서, 임의의 블록에 대해 블록 매칭이 진행되는 시점에서는 좌측과 상단에 있는 블록들만 이미 매칭이 완료되어 있다. 본 발명에서는 중복성 검사를 위하여 도 3e에서와 같이 매칭 대상 블록을 기준으로 45도에서 180도 범위에 포함되는 주변 블록에 대한 검색을 수행하고, 검색에 대한 깊이는 3으로 설정한다. 또한, 매칭 대상 블록을 Bi ,j라고 하고, 주변 블록을 Bk ,l이라고 하면 max(|i-k|, |j-l|) 값 즉 거리 차의 최대값이 검색의 깊이를 의미한다. 여기서, 상기 검색의 깊이가 작은 경우 유사한 사진이 나타날 확률이 높으며, 검색의 깊이가 큰 경우 블록 매칭의 과정에서 비교해야 하는 대상 블록이 많으므로 수행시간이 많이 소요된다. 또한, 상기 적응적타일링단계(S220)를 거쳤기 때문에, 비교하는 주변 블록이 기 병합되어 확장된 블록일 경우 해당 블록을 대표하는 고정 블록 SB에 할당된 타일 정보를 활용한다.
따라서, 상기 블록매칭단계(S230)와 중복최소화과정을 적용하여 생성한 결과는 도 3f 에서와 같이 나타나게 된다. 여기서, 좌측에는 중복성을 제거하기 전의 결과이며, 우측에는 중복성을 최소화한 결과로서 정성적인 모자이크 영상의 품질이 향상된 것을 알 수 있다.
상기 명암조정단계(S240)는 블록매칭단계(S230)에서 추출된 사진 또는 타일의 명암값을 그 사진 또는 타일과 유사한 블록의 명암값으로 교체하는 단계이다. 한편, 도 3g 의 좌측에서와 같이, 블록 매칭을 통하여 데이터 생성단계(S100)에서 최적의 값으로 정합된 영상을 그대로 사용하여 포토 모자이크 영상을 생성할 경우 원본 영상과 비교할 경우 색감이 많이 다르게 나타나게 된다. 따라서, 본 발명에서는, 상기 명암조정단계(S240)에서 데이터 생성단계(S100)에서 정합된 사진 또는 타일에 대해여 원본 영상 블록의 밝기값과 유사하도록 조정함으로서 정성적인 품질을 향상시키게 된다. 이를 위하여 상기 명암조정단계(S240)는 정합된 사진 또는 타일과 원본 영상 블록을 HSI(Hue Saturation Intensity) 도메인으로 변경한 후에, 정합된 사진 또는 타일의 밝기값 데이터를 원본 영상 블록의 밝기값 데이터로 대치한 후에 RGB 도메인 영상으로 변환함으로써, 정합된 타일의 밝기값(즉, 명암값)을 조정한다. 따라서, 도 3f의 우측에서와 같이, 조정 전의 좌측에 비하여 경계선 부분 등에서 정성적인 품질이 향상된 것을 확인할 수 있고, 나아가 이와 같은 과정을 통해서 원본 영상을 중첩(Overlapping)하지 않아도 자연스러운 영상을 만들 수 있게 된다.
도 3h는 상기 영상특징추출단계(S210), 적응적타일링단계(S220), 블록매칭단계(S230) 및 명암조정단계(S240)를 거쳐서 생성한 포토 모자이크 영상을 나타내는 도면이다. 즉, 도 3h에서와 같이 상기 영상특징추출단계(S210), 적응적타일링단계(S220), 블록매칭단계(S230) 및 명암조정단계(S240)를 거쳐서 생성한 포토 모자이크 영상은 다양한 크기의 타일을 포함하여 명암값을 조정함으로써 정성적인 품질이 향상될 수 있게 된다.
도 4는 본 발명의 다른 실시예에 따른 자동화된 포토 모자이크 영상생성시스템을 나타내는 블록도이다. 여기서, 도 4에 나타난 자동화된 포토 모자이크 영상생성시스템은 도 1 내지 도 3g에 나타난 자동화된 포토 모자이크 영상 생성 방법을 구현하는 시스템에 관한 것이다.
도 4에 도시된 바와 같이, 본 발명의 다른 실시예에 따른 자동화된 포토 모자이크 영상생성시스템은, 사용자 인터페이스부(10), 데이터 생성부(100), 포토 모자이크 영상생성부(200) 및 디스플레이부(20)를 포함한다.
상기 사용자 인터페이스부(10)는 카메라, 이동통신단말기 등과 같은 사진 또는 타일을 생성할 수 있는 모든 단말기일 수 있다. 이러한 사용자 인터페이스부(10)는 유무선통신망을 통하여 데이터생성부(100)에 접속되어 모자이크 생성을 위한 사진 또는 타일의 데이터를 전송한다.
상기 데이터 생성부(100)는 모자이크에 사용되는 사진 또는 타일을 복수의 영역으로 분할하고, 상기 분할된 영역들의 색상값을 추출하여 저장한다.
이러한 데이터 생성부(100)는 데이터 입력부(110), 분할부(120), 평균값연산부(130) 및 특징값저장부(140)를 포함한다. 여기서, 상기 데이터 입력부(110), 분할부(120), 평균값연산부(130) 및 특징값저장부(140)는 도 1 내지 도 2a에 도시된 데이터입력단계, 분할단계, 평균값연산단계 및 특징값저장단계를 수행하기 위한 구성으로서, 각각의 구성들에 대한 상세한 설명은 도 1 내지 도 2a에 관한 설명를 참조하기로 한다.
상기 데이터 입력부(110)는 사용자 인터페이스부(10)로부터 모자이크에 사용되는 사진 또는 타일을 입력받는다.
상기 분할부(120)는 데이터 입력부(110)에 의하여 입력된 사진 또는 타일을 소정의 크기의 복수의 영역으로 분할한다.
상기 평균값연산부(130)는 분할부(120)에 의하여 분할된 영역들의 색상값을 추출하여 그 평균값을 연산한다.
상기 특징값저장부(140)는 평균값연산부(130)에 의하여 연산된 평균값을 상기 사진 또는 타일의 특징값으로 하여 저장한다. 이렇게 저장된 사진 또는 타일의 특징값은 포토모자이크 영상생성부(200)의 블록매칭부(230)에서 영상과의 유사도 판단에 사용된다.
한편, 본 발명에서는 상기 데이터 생성부(100)가 데이터 입력부(110), 분할부(120), 평균값연산부(130) 및 특징값저장부(140)의 각각의 기능별로 구성이 나누어져 있지만, 이에 한정되는 것은 아니고 상기 기능들은 설계자의 의도에 따라 하나의 구성으로 형성할 수도 있다.
상기 포토 모자이크 영상생성부(200)는 데이터 생성부(100)에 의하여 저장된 영역들의 색상값을 이용하여 외부로부터 입력된 영상에 대한 포토 모자이크를 생성한다.
상기 포토 모자이크 영상생성부(200)는 영상특징추출부(210), 적응적타일링부(220), 블록매칭부(230) 및 명암조정부(240)를 포함한다. 여기서, 상기 영상특징추출부(210), 적응적타일링부(220), 블록매칭부(230) 및 명암조정부(240)는 도 1 내지 도 3g에 도시된 영상특징추출단계, 적응적타일링단계, 블록매칭단계 및 명암조정단계를 수행하기 위한 구성으로서, 각 구성들에 대한 상세한 설명은 도 1 내지 도 3g에 관한 설명을 참조하기로 한다.
상기 영상특징추출부(210)는 외부로부터 입력된 영상에 대하여 기설정된 크기의 복수 개의 블럭으로 분할하고, 상기 분할된 영역의 색상값의 평균값을 특징값으로 추출한다. 즉, 상기 영상특징추출부(210)는 외부로부터 입력된 영상을 작은 블록으로 분할한 후에, 각 블록의 특징을 계산하게 된다. 또한, 상기 영상특징추출부(210)는 사용자 인터페이스부(10)로부터 모자이크를 생성하기 위한 영상을 입력받게 된다.
상기 적응적타일링부(220)는 복수 개의 블록들중 어느 하나의 기준블록과 이 기준블록과 인접하는 인접블록들 사이의 유사도를 판단하여 유사한 블록들을 병합한다. 상기 적응적타일링부(220)에서 사용되는 유사도 판단은 상술한 수학식 1에 의하여 판단될 수 있다. 여기서, 상기 적응적타일링부(220)는 복수 개의 블록들중 어느 하나의 기준블록과 이 기준블록과 인접하는 인접블록들 사이의 유사도가 미리 설정된 기준값이하이면 블록을 병합하고, 미리 설정된 기준값이상이면 블록을 병합하지 않게 된다.
상기 블록매칭부(230)는 영상특징추출부(210)에 입력된 영상에 대하여 분할 또는 병합된 블록과 데이터 생성부(100)의 사진 또는 타일과의 유사도를 판단하여 유사한 사진 또는 타일을 추출한다. 상기 블록매칭부(230)에서 사용되는 유사도 판단은 상술한 수학식 2에 의하여 판단될 수 있다. 여기서, 상기 블록매칭부(230)는 영상특징추출부(210)에 입력된 영상에 대하여 분할 또는 병합된 블록과 데이터 생성부의 사진 또는 타일과의 유사도가 최소값을 가지는 경우의 데이터생성부의 사진 또는 타일을 추출하게 된다.
상기 명암조정부(240)는 블록매칭부(230)에 의하여 추출된 사진 또는 타일의 명암값을 사진 또는 타일과 유사한 블록의 명암값으로 교체한다. 상기 명암조정부(240)는 데이터 생성부(100)에서 정합된 사진 또는 타일과 원본 영상 블록을 HSI(Hue Saturation Intensity) 도메인으로 변경한 후에, 정합된 사진 또는 타일의 밝기값 데이터를 원본 영상 블록의 밝기값 데이터로 대치한 후에 RGB 도메인 영상으로 변환함으로써, 정합된 타일의 밝기값(즉, 명암값)을 조정하여 정성적인 품질을 향상시키게 된다.
상기 디스플레이부(20)는 포토 모자이크 영상생성부(200)를 거쳐 생성된 포토 모자이크 영상을 전송받아 외부로 표시하게 된다. 또한, 상기 디스플레이부(20)는 터치 스크린 기능이 구비된 디스플레이장치일 수 있고, 이 경우 터치 스크린을 통하여 사용자의 입력 신호를 수신하여 그에 해당되는 영상을 표시할 수도 있게 된다.
이상에서 설명한 것은 본 발명에 의한 자동화된 포토 모자이크 영상 생성 방법 및 시스템을 실시하기 위한 하나의 실시예에 불과한 것으로서, 본 발명은 상기 실시예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 바와 같이 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.
10: 사용자 인터페이스부 20: 디스플레이부
100: 데이터 생성부 110: 데이터 입력부
120: 분할부 130: 평균값 연산부
140: 특징값 저장부 200: 포토 모자이크 영상생성부
210: 영상특징추출부 220: 적응적타일링부
230: 블록매칭부 240: 명암조정부

Claims (11)

  1. 모자이크에 사용되는 사진 또는 타일을 복수의 영역으로 분할하고, 상기 분할된 영역들의 색상값을 추출하여 저장하는 데이터 생성단계; 및
    상기 저장된 영역들의 색상값을 이용하여 외부로부터 입력된 영상에 대한 포토 모자이크를 생성하는 포토 모자이크 영상 생성단계를 포함하는 것을 특징으로 하는 자동화된 포토 모자이크 영상 생성 방법.
  2. 제1항에 있어서,
    상기 데이터 생성단계는,
    상기 모자이크에 사용되는 사진 또는 타일을 입력받는 데이터 입력단계;
    상기 입력된 사진 또는 타일을 소정의 크기의 복수의 영역으로 분할하는 분할단계;
    상기 분할된 영역들의 색상값을 추출하여 그 평균값을 연산하는 평균값연산단계; 및
    상기 연산된 평균값을 상기 사진 또는 타일의 특징값으로 하여 저장하는 특징값저장단계를 포함하는 것을 특징으로 하는 자동화된 포토 모자이크 영상 생성 방법.
  3. 제1항에 있어서,
    상기 포토 모자이크 영상 생성단계는,
    외부로부터 입력된 영상에 대하여 기설정된 크기의 복수 개의 블럭으로 분할하고, 상기 분할된 영역의 색상값의 평균값을 특징값으로 추출하는 영상특징추출단계;
    상기 복수 개의 블록들중 어느 하나의 기준블록과 이 기준블록과 인접하는 인접블록들 사이의 유사도를 판단하여 유사한 블록들을 병합하는 적응적타일링단계;
    상기 입력된 영상에 대하여 분할 또는 병합된 블록과 상기 데이터 생성단계에서의 사진 또는 타일과의 유사도를 판단하여 유사한 사진 또는 타일을 추출하는 블록매칭단계; 및
    상기 추출된 사진 또는 타일의 명암값을 상기 사진 또는 타일과 유사한 블록의 명암값으로 교체하는 명암조정단계를 포함하는 것을 특징으로 하는 자동화된 포토 모자이크 영상 생성 방법.
  4. 제2항 또는 제3항에 있어서,
    상기 색상값은 RGB 값인 것을 특징으로 하는 자동화된 포토 모자이크 영상 생성 방법.
  5. 제3항에 있어서,
    상기 적응적타일단계에서의 인접 블록간 유사도 비교를 위하여 특징값들의 차이(Difference)는 수학식 1에 의하여 판단되고,
    [수학식 1]
    Figure pat00005

    여기서, SB는 기준블록, B는 인접블록, i는 블록의 레벨(level), j는 레벨안의 블록번호, SB (k)는 기준블록의 특징값, Bi ,j(k)는 인접블록 중 i레벨의 j블록의 특징값인 것을 특징으로 하는 자동화된 포토 모자이크 영상 생성 방법.
  6. 제5항에 있어서,
    상기 적응적타일단계에서는 상기 유사도가 미리 설정된 기준값이하이면 블록을 병합하고, 미리 설정된 기준값이상이면 블록을 병합하지 않게 되는 것을 특징으로 하는 자동화된 포토 모자이크 영상 생성 방법.
  7. 제3항에 있어서,
    상기 블록매칭단계에서의 유사도(MatchBlock)는 수학식 2에 의하여 판단되고,
    [수학식 2]
    Figure pat00006

    여기서, SB (k)는 분할 또는 병합된 k번째 블록의 특징값, DBi (k)는 데이터 생성단계에서의 k번째 사진 또는 타일의 특징값인 것을 특징으로 하는 자동화된 포토 모자이크 영상 생성 방법.
  8. 제7항에 있어서,
    상기 블록매칭단계에서는 상기 수학식 2에 의하여 판단된 최소값을 가지는 데이터 생성단계에서의 사진 또는 타일을 추출하는 것을 특징으로 하는 자동화된 포토 모자이크 영상 생성 방법.
  9. 모자이크에 사용되는 사진 또는 타일을 복수의 영역으로 분할하고, 상기 분할된 영역들의 색상값을 추출하여 저장하는 데이터 생성부; 및
    상기 저장된 영역들의 색상값을 이용하여 외부로부터 입력된 영상에 대한 포토 모자이크를 생성하는 포토 모자이크 영상생성부를 포함하는 것을 특징으로 하는 자동화된 포토 모자이크 영상생성시스템.
  10. 제9항에 있어서,
    상기 데이터 생성부는,
    상기 모자이크에 사용되는 사진 또는 타일을 입력받는 데이터 입력부;
    상기 입력된 사진 또는 타일을 소정의 크기의 복수의 영역으로 분할하는 분할부;
    상기 분할된 영역들의 색상값을 추출하여 그 평균값을 연산하는 평균값 연산부; 및
    상기 연산된 평균값을 상기 사진 또는 타일의 특징값으로 하여 저장하는 특징값 저장부를 포함하는 것을 특징으로 하는 자동화된 포토 모자이크 영상생성시스템.
  11. 제9항에 있어서,
    상기 포토 모자이크 영상생성부는,
    외부로부터 입력된 영상에 대하여 기설정된 크기의 복수 개의 블럭으로 분할하고, 상기 분할된 영역의 색상값의 평균값을 특징값으로 추출하는 영상특징추출부;
    상기 복수 개의 블록들중 어느 하나의 기준블록과 이 기준블록과 인접하는 인접블록들 사이의 유사도를 판단하여 유사한 블록들을 병합하는 적응적타일링부;
    상기 입력된 영상에 대하여 분할 또는 병합된 블록과 상기 데이터 생성부의 사진 또는 타일과의 유사도를 판단하여 유사한 사진 또는 타일을 추출하는 블록매칭부; 및
    상기 추출된 사진 또는 타일의 명암값을 상기 사진 또는 타일과 유사한 블록의 명암값으로 교체하는 명암조정부를 포함하는 것을 특징으로 하는 자동화된 포토 모자이크 영상생성시스템.
KR1020110113236A 2011-11-02 2011-11-02 자동화된 포토 모자이크 영상 생성 방법 및 시스템 KR101264358B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110113236A KR101264358B1 (ko) 2011-11-02 2011-11-02 자동화된 포토 모자이크 영상 생성 방법 및 시스템
PCT/KR2012/001269 WO2013065909A1 (ko) 2011-11-02 2012-02-20 자동화된 포토 모자이크 영상 생성 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110113236A KR101264358B1 (ko) 2011-11-02 2011-11-02 자동화된 포토 모자이크 영상 생성 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20130048402A true KR20130048402A (ko) 2013-05-10
KR101264358B1 KR101264358B1 (ko) 2013-05-14

Family

ID=48192233

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110113236A KR101264358B1 (ko) 2011-11-02 2011-11-02 자동화된 포토 모자이크 영상 생성 방법 및 시스템

Country Status (2)

Country Link
KR (1) KR101264358B1 (ko)
WO (1) WO2013065909A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140355905A1 (en) * 2013-05-30 2014-12-04 Michael William Lipton Photo mosaic systems and methods
CN104091357B (zh) * 2014-07-14 2017-01-25 厦门大学 一种利用主题相关图片的在线马赛克图片生成方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100844829B1 (ko) * 2006-12-14 2008-07-08 중앙대학교 산학협력단 모자이크 이미지 생성 방법 및 모자이크 이미지 생성 장치
KR101337383B1 (ko) * 2007-12-24 2013-12-06 삼성전자주식회사 휴대 단말기 및 그 이미지 편집 방법
JP4146506B1 (ja) * 2008-01-15 2008-09-10 コマップ株式会社 モザイク画像生成装置、方法及びプログラム
KR100965720B1 (ko) * 2008-02-26 2010-06-24 삼성전자주식회사 모자이크 영상을 생성하는 방법 및 이를 위한 장치
KR101456021B1 (ko) * 2008-06-30 2014-11-04 중앙대학교 산학협력단 모자이크 이미지를 생성할 수 있는 휴대용 전화기 및 그방법

Also Published As

Publication number Publication date
KR101264358B1 (ko) 2013-05-14
WO2013065909A1 (ko) 2013-05-10

Similar Documents

Publication Publication Date Title
US10652522B2 (en) Varying display content based on viewpoint
US10861232B2 (en) Generating a customized three-dimensional mesh from a scanned object
US8947422B2 (en) Gradient modeling toolkit for sculpting stereoscopic depth models for converting 2-D images into stereoscopic 3-D images
EP3745339A1 (en) Method for implanting advertisements in video, and computer device
US8351689B2 (en) Apparatus and method for removing ink lines and segmentation of color regions of a 2-D image for converting 2-D images into stereoscopic 3-D images
US8515172B2 (en) Segmentation of image data
US8619074B2 (en) Rendering personalized text on curved image surfaces
US8073277B2 (en) Apparatus and methods for image restoration
US20100080448A1 (en) Method and graphical user interface for modifying depth maps
US7265761B2 (en) Multilevel texture processing method for mapping multiple images onto 3D models
CN109636890B (zh) 纹理融合方法和装置、电子设备、存储介质、产品
US10169891B2 (en) Producing three-dimensional representation based on images of a person
CN111563908B (zh) 一种图像处理方法及相关装置
CN108377374A (zh) 用于产生与图像相关的深度信息的方法和系统
CN110136087B (zh) 显示终端的边框自适应调整方法及相关设备
CN109064525A (zh) 一种图片格式转换方法、装置、设备和存储介质
US9330447B2 (en) Image evaluation device, image selection device, image evaluation method, recording medium, and program
JP6004260B2 (ja) 線画着色システム
US9786055B1 (en) Method and apparatus for real-time matting using local color estimation and propagation
CN105791795A (zh) 立体图像处理方法、装置以及立体视频显示设备
KR101264358B1 (ko) 자동화된 포토 모자이크 영상 생성 방법 및 시스템
CN110751668B (zh) 图像处理方法、装置、终端、电子设备及可读存储介质
KR100602739B1 (ko) 재귀적 제어선 정합을 이용한 반자동 필드 기반 영상 변형방법
JP7387029B2 (ja) ソフトレイヤ化および深度認識インペインティングを用いた単画像３ｄ写真技術
Liu et al. Fog effect for photography using stereo vision

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160826

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170720

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee