KR101744141B1 - 오브젝트 리타게팅에 의한 사진 재구성 방법 및 그 장치 - Google Patents

오브젝트 리타게팅에 의한 사진 재구성 방법 및 그 장치 Download PDF

Info

Publication number
KR101744141B1
KR101744141B1 KR1020160008991A KR20160008991A KR101744141B1 KR 101744141 B1 KR101744141 B1 KR 101744141B1 KR 1020160008991 A KR1020160008991 A KR 1020160008991A KR 20160008991 A KR20160008991 A KR 20160008991A KR 101744141 B1 KR101744141 B1 KR 101744141B1
Authority
KR
South Korea
Prior art keywords
main object
width
height
background
photograph
Prior art date
Application number
KR1020160008991A
Other languages
English (en)
Inventor
이상웅
시드라 리아즈
Original Assignee
조선대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 조선대학교산학협력단 filed Critical 조선대학교산학협력단
Priority to KR1020160008991A priority Critical patent/KR101744141B1/ko
Application granted granted Critical
Publication of KR101744141B1 publication Critical patent/KR101744141B1/ko

Links

Images

Classifications

    • G06T3/0012—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Algebra (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 개선된 저작을 위한 오브젝트 리타게팅에 의한 사진 저작 방법 및 그 장치에 관한 것으로, 크로핑 없이 사진의 배경과 메인 오브젝트를 분리하여, 상기 분리한 메인 오브젝트를 ROT에 따라 리타게팅하고, 리사이징함으로써, 사진의 본질적인 의미를 유지시킴과 동시에 심미적으로 향상된 사진을 저작할 수 있는 방법 및 그 장치에 관한 것이다.

Description

오브젝트 리타게팅에 의한 사진 재구성 방법 및 그 장치{METHOD FOR RECONSTRUCTING A PHOTOGRAPH BY OBJECT RETARGETING AND THE APPARATUS THEREOF}
본 발명은 오브젝트 리타게팅에 의한 사진 재구성 방법 및 그 장치에 관한 것으로, 더욱 상세하게는, 크로핑하지 않고도 사진의 배경과 메인 오브젝트를 분리하고, 상기 분리한 메인 오브젝트의 특징을 추출하며, 상기 추출한 특징을 기반으로 삼등분의 법칙에 따라 상기 메인 오브젝트를 리타게팅함으로써, 심미적으로 향상된 사진을 재구성하여 저작할 수 있는 방법 및 그 장치에 관한 것이다.
디지털 처리 기술의 발전과 스마트폰 및 디지털 카메라의 보급에 따라 종래의 필름을 이용한 사진촬영을 상기 스마트폰 및 소형 디지털 카메라가 대신하게 되고, 디지털 카메라의 사진 영상의 분해능을 결정하는 화소수가 200만 화소를 넘어서게 되어 종래의 보급형 필름 카메라로 촬영할 수 있는 수준과 동급 또는 그 이상의 사진을 언제 어디서나 쉽고 편리하게 촬영할 수 있게 되었다.
디지털 사진의 처리에 대한 기술은 최근 수십 년 동안 최신의 활기찬 영구영역이 되어 현재까지도 활발하게 연구되고 있으며, 사람들은 디지털 카메라로부터 좋은 사진을 촬영하여 가시적인 미학을 추구하고 있다.
미학적으로 만족할 만한 사진의 가장 중요한 측면 중의 하나는 상기 사진을 저작하는 것이다. 상기 저작은 사진의 분할, 리사이징(resizing), 합성 등과 같은 이미지 프로세싱을 수행하여 상기 사진의 가시적인 미학을 더욱 더 향상시키기 위해 수행하는 일련의 절차를 말한다.
또한 사진의 요소들에 대한 가시적인 배열은 보는 사람의 가시적인 평가 또는 주관적인 평가에 대단히 크게 기여하며, 상기 사진은 사진을 촬영하는 촬영자의 생각, 아이디어, 의미, 동기 및 현실 등을 전달한다.
또한 3등분의 법칙(Rule-Of-Third, ROT, 이하 ROT라 칭함)은 사진촬영의 기본이며, 가장 중요한 저작 규칙이다. 만약 디지털 사진이 ROT를 따르는 방식으로 촬영되면, 상기 디지털 사진에 대한 가시적이거나 주관적인 평가는 향상될 가능성이 높다.
또한 상기 ROT는 사진과 영상촬영 등에 사용되는 법칙으로 사진의 가로와 세로를 각각 3분면으로 나누어 9개의 직사각형 분면을 생성하고, 상기 9개의 직사각형에 의해 생성되는 4개의 교차점인 포커스 포인트(focus point)에 상기 사진과 영상에 표현되어 있는 오브젝트를 배치하는 것이다. 즉, 상기 사진과 영상에 표현되는 오브젝트를 사진이나 영상의 중앙에 배치하는 것이 아니라 상기 포커스 포인트를 오브젝트의 중심으로 활용하는 것이다. 이러한 상기 ROT의 기본적인 아이디어는 시점이 집중되어 지루하게 만들 수 있는 사진 또는 영상의 대칭구도를 피하는 것으로 좋은 사진과 영상을 구분할 수 있는 기준 잣대가 된다.
상기 ROT에 의해 촬영된 사진이나 영상은 보는 이로 하여금 메인 오브젝트뿐만 아니라 배경에 대한 관심도 갖게 하는 효과가 있으며, 사진이나 영상을 보는 것이 덜 지루하고 배경과 메인 오브젝트의 관계까지 짐작하게 만드는 상상력을 발휘하기도 한다.
또한 사진 저작은 계산 사진학에서 품질평가를 위한 훌륭한 연구 토픽이며, 이에 따라 다양한 저작 기술이 개발되고 있다.
최근에는 삼등분 법칙 검출 방법, 사진 저작 최적화 방법, 다중 크기 디스플레이를 위한 리타게팅, 파노라마 장면의 저작 향상 및 카메라 내부 자동화화 등과 같은 다양한 기술들이 개발되고 시행되고 있다.(Mai L, Le H, Niu Y, Liu F (2011). Rule of thirds detection from photograph. pages 91??96, Liu L, Chen R, Wolf L, Cohen-Or D (2010) Optimizing photo composition. Comput Graph Forum 29(2): 469-478, Mansfield A, Gehler P, Van Gool L, Rother C (2010) Scene carving: scene consistent image retargeting. In Proceedings of the 11th European conference on Computer vision: Part I, ECCV'10, pages 143-156, Berlin, Springer-Verlag, Ren T, Liu Y, Wu G (2009) Image retargeting based on global energy optimization. In: IEEE International Conference on Multimedia and Expo, 2009. ICME 2009, pages 406-409, June 2009, Setlur V, Takagi S, Raskar R, GleicherM, Gooch B (2005) Automatic image retargeting. In: Proceedings of the 4th international conference on Mobile and ubiquitous multimedia, MUM '05, pages 59-68, NewYork, ACM 및 Banerjee S, Evans BL (2007)In-camera automation of photographic composition rules. IEEE Trans Image Process 16(7):1807-1820 참고).
또한 Park 등은 러닝(learning)기반 사진 저작 모델링 방법 및 이의 사진 재배열에서의 응용 방법에 대해서 제시하였다. 상기의 방법을 수행하기 위한 사진들은 저작 모델을 만들기 위해 직업적인 사진작가들로부터 수집되었으며, 상기 수집한 모든 사진들은 4:3의 화면비가 되도록 정규화 되었다. 이후, 화면비가 4:3이 아닌 다른 사진들을 훈련하기 위해 사진의 중앙 부분이 4:3 화면비가 되도록 불필요한 부분들을 잘라내고, 저작 GMM 모델을 계산한 다음, 시험 사진의 구성에 대한 재배열이 상기 GMM 모델에 잘 맞도록 맞춰진 사진에서 서브영역을 찾음으로써, 성취된다(Park J, Lee J-Y, Tai Y-W, Kweon IS (2012) Modeling photo composition and its application to photo rearrangement. In: 2012 19th IEEE International Conference on Image Processing (ICIP), pages 2741-2744. 참고). 그러나 상기 방법은 높은 처리 비용과 사진을 저작하기 위해 걸리는 시간이 오래 소요되는 단점이 문제점이 있다.
또한 Long 등에 의해 제안된 상기 3등분 법칙 검출 방법은, 사진 내에 있는 가시적인 요소들은 사일런시(saliency)와 일반적인 오브젝트화 분석(generic objectness analysis)의해 설계된 특징에 기반하여 상기 3등분 법칙을 검출한다. 상기 방법은 가시적인 요소들의 의미론적인 내용에 대해 전혀 고려되지 않아 저작을 통한 사진의 가시적인 미학에 대한 향상은 성취되지 않는 문제점을 내포하고 있다.
또한 Liu등은 크롭에 의해서 상기 사진 저작을 최적화하기 위한 접근을 제시하고 더 좋은 미학적 품질을 얻기 위한 리타게팅 방법을 제안하였다.
상기의 리타게팅 방법에 있어서의 사진 저작은 상기 사진의 지역들을 비교하여 높은 미학적 스코어를 가진 지역을, 크로핑 윈도우를 통해 선택하여, 상기 윈도루를 리타게팅 및 리사이징한다.
그러나 상기 리타게팅 방법은 배경의 유용한 부분이 크롭(crop)될 수 있으며,이는 사진의 본질적인 의미에 영향을 주는 문제점이 있다.
또한 Tongwei 등은 전역 에너지 최대화에 기반한 이미지 리타게팅 방법을 제안하였다. 상기 리타게팅 방법은 우선, 사진의 에너지 맵을 계산하고, 보유한 에너지는 선형 프로그래밍 방법을 이용한 리타게팅에서 극대화된다. 그리고 나서, 픽셀 융합 방법을 사용하여 상이한 디스플레이 사이즈에 대한 리타게팅된 이미지를 생성한다.
그러나 상기 리타게팅 방법은, 상이한 사이즈의 디스플레이에서 사진을 디스플레이 하기 위한 것으로, ROT와 같은 사진 저작 규칙을 고려하지 않고 리타게팅하기 때문에 사진의 심미적 향상은 기대하기 어렵다.
또한 Setlur V 등에 의해 제안된 상기 자동 이미지 리타게팅 방법은 5개의 단계에 의해 상기 사진을 저작한다. 상기 5 단계는 분할 단계, 메인 오브젝트의 인식 단계, 갭을 제거하고 채우는 단계, 배경을 리사이징하는 단계 및 이미지에 중요한 영역을 재삽입하는 단계로 구성된다. 상기 방법은 작은 디스플레이를 가진 기기(예: 모바일 폰)에 상기 메인 오브젝트를 확대하여 큰 이미지를 디스플레이하는데 유용하며, 가시적인 미학을 향상시키기에는 그 한계가 있다.
또한 Mansfield 등은 뎁스 정보와 자연 일관성에 기반한 이미지 리타게팅 방법을 제안하였다. 이미지 리타게팅을 수행하는 단계들은 이미지 콘텐츠를 제거하는 단계, 가용한 뎁스 정보가 제공된 장면 내에서 메인 오브젝트의 재정렬을 수행하는 단계로 구성된다. 그러나 상기 방법은 뎁스 맵에 의존하고 사진의 구성적인 미학이나 가시적인 호소(appeal)를 복합적 이미지를 만드는 척도로써 고려하지 않고 상기 오브젝트를 리타게팅한다.
또한 Chang 등은 파노라마에서 더 좋은 뷰(view)와 최고의 구성을 찾아 파노라마 장면을 촬영하여 전문적인 사진을 만들기 위해 사일런시와 GIST 디스크립터를 제안하였다. 주어진 초기의 뷰를 기반으로 하는 상기 방법은 전문적인 파노라마 장면과 같은 더 좋은 뷰를 제공할 수 있는 장점이 있다. 상기 방법은 전문적인 사진을 수집하고, 상기 수집한 사진에서의 사일런시와 구조적 요소들은 모델링 된다. 또한 데이터베이스에 저장된 사진들은 더 나은 사진 저작을 위해 견본으로 사용되고, 더 나은 사진 저작은 후보 뷰와 견본 사이의 구조와 사일런시를 비교함으로써 수행된다. 상기 더 나은 뷰를 검색하는 절차는 상기 견본에 의해 유도되고, 상기 유도에 따라 카메라를 제어(팬-틸트, 무브 또는 줌)하여 좋은 구성과 더 좋은 뷰를 찾을 수 있도록 한다.
또한 Baneriee S 등에 의해 제안된 상기 카메라 자동화 기술은 사용자가 촬영한 사진의 메인 오브젝트를 세그멘트(segment)하고, 시그널링(signaling)을 통해 상기 ROT에 따라 상기 메인 오브젝트를 재배열한다.
상기 시그널링은 실시간 가이드 타입으로 사진의 오브젝트에 대한 무게 중심을 서드 라인(ROT에서 사진을 9등면으로 나누는 라인을 말함)과 포커스 포인트로 최근접하여 위치시키도록 사용자가 특정 방향으로 카메라를 이동시키거나 사진을 크롭 또는 쉬프트하도록 유도한다.
상술한 리타게팅 방법과 사진 리사이징을 위한 심 카빙(seam carving) 방법들은 에너지-맵 최적화, 모바일 디스플레이, 상이한 종횡비로의 리사이징 등과 같은 특정 요구와 어플리케이션을 위해 제안되고 설계되어 졌다.
그러나 상기 리타게팅 방법과 심 카빙 방법들은 오브젝트 리타게팅을 위해 내재된 시스템 상의 한계를 가지고 있으며, 스크리블 폼(scribbles of form), 트라이 맵(trimap), 뎁스(depth) 및 크로핑 윈도우(cropping window)와 같은 사용자 입력을 필요로 하여, 사진의 저작을 위해 사용자가 수동으로 진행해야 되는 단점이 있다.
이에 따라 본 발명에서는 알파 매트 세그멘테이션과 ROT를 구현하기 위한 오브젝트 리타게팅 방법(Retarget Object for Implementation of Rule-of-Thirds, ROI-RT, 이하, ROI-RT로 칭함)을 제안하여 상기의 문제점을 해결하고자 한다.
즉, 본 발명에서는 사진의 크로핑 없이 배경과 메인 오브젝트의 분할, 상기 분할에 의한 배경의 폐색된 부분의 텍스쳐 합성, 리타게팅(즉, ROI-RT)을 위한 특징 추출 및 상기 분할한 메인 오브젝트의 리타게팅을 수행하여, 자동으로 사진 저작 가이드라인(ROT)에 따라 상기 사진을 재구성함으로써, 사진의 심미성을 향상시킬 수 있는 리타게팅에 의한 사진 저작방법 및 그 장치을 제공하고자 한다.
본 발명은 상기와 같은 문제점을 해결하기 위해 창작 된 것으로서, 사진의 배경과 메인 오브젝트를 분리하여, 상기 메인 오브젝트의 사이즈 비율에 의한 크기만을 리사이징하고, ROT에 따라 리타게팅하여 사진을 재구성함으로써, 크로핑으로 인한 배경 손실을 유발하지 않으면서도 사진의 심미성을 현저하게 향상시킬 수 있는 리타게팅 방법 및 그 장치를 제공하고자 한다.
본 발명의 일 실시예에 따른 오브젝트 리타게팅에 의한 사진 재구성 방법은 배경과 메인 오브젝트를 포함하는 사진에서 상기 배경과 상기 메인 오브젝트를 분리하는 단계, 상기 메인 오브젝트의 특징을 추출하는 단계 및 상기 추출한 메인 오브젝트의 특징을 기반으로 삼등분의 법칙에 따라 상기 메인 오브젝트를 새로운 배경에 리타게팅(ROI-RT)하는 단계를 포함하는 것을 특징으로 한다.
또한 상기 분리하는 단계는, 크로핑하지 않고 알파매트를 수행하여 상기 사진의 배경과 메인 오브젝트를 분리하는 것을 특징으로 한다.
또한 상기 새로운 배경은, 상기 메인 오브젝트를 분리한 후의 폐색된 배경 영역을 주변의 텍스처와 합성하여 생성하는 인페인팅에 의해 생성되며, 상기 인페인팅은 NNF(Nearest-Neighbor Field)를 생성하여, 상기 배경의 폐색된 부분과 상기 폐색된 부분의 최근접 영역을 선택하고, 상기 각 영역의 텍스쳐를 합성함으로써, 상기 폐색된 영역을 채우는 것을 특징으로 한다.
또한 상기 메인 오브젝트의 특징은, 상기 분리한 메인 오브젝트의 전체 사진에 대한 사이즈 비율, 틸트 각도, 모양, 상기 메인 오브젝트를 구성하는 픽셀들의 인텐시티, 센트로이드, 삼등분의 법칙에 따른 수직라인과 수평라인을 포함하는 서드 라인의 위치, 상기 서드 라인으로부터 상기 센트로이드 간의 유클리디안 거리 및 경계 사각형의 크기를 포함하는 것을 특징으로 한다.
또한 상기 리타게팅은, 상기 추출한 특징에 따라, 상기 메인 오브젝트의 위치와 사이즈를 결정하여, 상기 생성한 새로운 배경에 삽입함으로써, 수행되는 것을 특징으로 한다.
또한 상기 리타게팅은, 상기 추출한 오브젝트의 모양이 수평 또는 수직 방향으로 가늘고 길지 않는 경우이거나, 상기 추출한 오브젝트의 모양이 수평으로 가늘고 길거나, 상기 추출한 오브젝트의 모양이 수직으로 가늘고 긴 경우, 상기 삼등분의 법칙에 따른 그리드의 높이와 폭을 각각 2배 하고, 이를 상기 메인 오브젝트의 높이와 폭을 각각 비교하여, 상기 메인 오브젝트의 폭과 높이가 상기 2배한 그리드의 폭과 높이보다 크지 않거나, 상기 메인 오브젝트의 폭이 상기 2배한 그리드의 폭보다 크지 않거나, 상기 메인 오브젝트의 높이가 상기 2배한 그리드의 높이보다 크지 않는 경우, 상기 메인 오브젝트의 센트로이드로부터 상기 그리드에 의해 생성된 4개의 포커스 포인트까지의 유클리디안 거리를 기반으로 하여, 상기 메인 오브젝트를 수평 또는 수직 방향으로 이동시키거나, 상기 유클리디안 거리가 모두 동일한 경우, 상기 메인 오브젝트는 같은 위치를 그대로 유지하여, 상기 메인 오브젝트의 사이즈 비율을 리사이징 하며, 상기 이동 또는 리사이징 후, 상기 메인 오브젝트에 대한 센트로이드의 변동이 없는 경우, 상기 메인 오브젝트를 상기 배경의 인텐서티에 따라 수평방향으로 이동시키며, 상기 추출한 오브젝트의 모양이 수직으로 가늘고 긴 경우에, 상기 수평방향으로의 이동 후, 상기 메인 오브젝트의 틸트 각도의 크기에 따라 상기 유클리디안 거리가 최소인 포커스 포인트로 이동시키거나 상기 이동 시킨 위치를 유지시키며, 상기 리사이징은 [수학식 7]에 의해서 수행되는 것을 특징으로 한다.
[수학식 7]
Figure 112016008287950-pat00001
여기서 w1과 h1은 리사이징될 상기 오브젝트의 폭과 높이를 각가 나타내며, X와 Y는 사진의 폭과 높이를 각각 나타내고, w와 h는 리사이징전의 오브젝트에 대한 폭과 높이를 각각 나타낸다.
또한 상기 리타게팅은, 상기 메인 오브젝트의 폭과 높이가 상기 삼등분의 법칙에 따른 그리드의 높이와 폭을 각각 2배 한 것보다 큰 경우, 상기 메인 오브젝트의 센트로이드로부터 상기 그리드에 의해 생성된 4개의 포커스 포인트까지의 유클리디안 거리를 기반으로 하여, 상기 메인 오브젝트를 수평 또는 수직 방향으로 이동시키거나, 상기 유클리디안 거리가 모두 동일하다면 상기 메인 오브젝트는 같은 위치를 그대로 유지하며, 상기 메인 오브젝트의 사이즈 비율을 리사이징 하고, 상기 이동 또는 리사이징 후, 상기 메인 오브젝트에 대한 센트로이드의 변동이 없는 경우, 상기 메인 오브젝트를 상기 배경의 인텐서티에 따라 수평방향으로 이동시켜, 상기 메인 오브젝트의 틸트 각도에 따라 상기 유클리디안 거리가 최소인 포커스 포인트로 이동시키거나 상기 이동 시킨 위치를 유지시키며, 상기 리사이징은 상기 [수학식 7]에 의해서 수행되는 것을 특징으로 한다.
아울러 본 발명의 일 실시예에 따른 오브젝트 리타게팅에 의한 사진 재구성 장치는 배경과 메인 오브젝트를 포함하는 사진에서 상기 배경과 상기 메인 오브젝트를 분리하는 오브젝트 분리부, 상기 메인 오브젝트의 특징을 추출하는 특징 추출부 및 상기 추출한 메인 오브젝트의 특징을 기반으로 삼등분의 법칙에 따라 상기 메인 오브젝트를 새로운 배경에 리타게팅(ROI-RT)하는 ROI-RT 리타게팅부를 포함하는 것을 특징으로 한다.
또한 상기 오브젝트 분리부는, 크로핑하지 않고 알파매트를 수행하여 상기 사진의 배경과 메인 오브젝트를 분리하는 것을 특징으로 한다.
본 발명은 오브젝트 리타게팅에 의한 사진 재구성 방법 및 그 장치는 알파 매팅을 기반으로 메인 오브젝트와 배경을 분리하고, 메인 오브젝트의 특징을 추출하여, 상기 추출한 특징을 기반으로 ROT에 따라 상기 메인 오브젝트를 리타게팅함으로써, 배경의 크로핑 없이 미학적으로 향상진 사진을 저작할 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 오브젝트 리타게팅에 의한 사진 재구성 방법 및 그 장치에 있어서, 사진 저작 과정을 개략적으로 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 배경과 메인 오브젝트를 세그먼트멘테이션하는 방법을 도시한 도면이다.
도 3 및 도 4는 본 발명의 일 실시예에 따른 사진 재구성을 위한 ROI-RT를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 ROI-RT에서 사용되는 심볼들을 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 객체 리타게팅에 의한 사진 재구성 장치의 구성을 나타낸 블록도이다.
도 7은 본 발명의 일 실시예에 따른 종래의 스펙트럼 매팅과 본 발명인 알파 매팅에 대한 성능 비교를 위해, 각 매팅 결과와 세그멘테이션 결과를 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 종래의 CR방법과 본 발명인 ROI-RT의 성능 비교를 위해 각 방법에 의해 수행된 사진의 재구성 결과와 심미적 점수를 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 종래의 CR 및 SOAR방법과 본 발명인 ROI-RT의 성능 비교를 위해 각 방법에 의해 수행된 사진의 재구성 결과와 심미적 점수를 도시한 도면이다.
도 10은 본 발명의 일 실시예에 따른 사진 재구성 과정의 절차를 나타낸 흐름도이다.
이하, 본 발명의 바람직한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일 실시예에 오브젝트 리타게팅에 의한 사진 재구성 방법 및 그 장치에 있어서, 사진 저작 과정을 나타낸 블록도이다.
우선 크로핑(cropping)을 이용한 종래의 사진 저작 기술(예: CR 방법, Crop and Retarget approach)은 사진의 특정 부분을 크로핑(cropping)하여 사진을 재구성한다.
그러나 상기 종래의 기술은 크로핑되는 부분이 배경의 유용한 부분까지 포함될 수 있기 때문에 사진의 본질적인 의미가 훼손되며, 사진의 미학적 가치가 크게 향상되지 못하는 단점이 있다.
또한 사진의 뎁스를 이용한 종래의 사진 저작 기술은 사진의 배경과 전경의 뎁스 차이를 이용하여, 배경과 전경을 분리하고, 상기 분리한 전경을 리타게팅하여 사진을 재구성하는 기술이다.
그러나 상기 사진의 뎁스를 이용한 종래의 기술은 상기 사진의 전경에 해당하는 오브젝트가 머리카락이나 털과 같이 미세하고 모호한 경계를 가지고 있을 경우에는 부정확한 뎁스값을 생성하기 때문에 분리된 상기 전경을 리타게팅하여 상기 사진을 재구성하였을 때 부자연스러운 사진이 생성될 수 있는 문제점이 있다.
또한 상기 종래의 기술들은 사진의 가시적인 미학이나 ROT를 전혀 고려하지 않고 사진을 리타게팅하여 재구성하기 때문에, 보는 이로 하여금 지루함과 거부감을 느낄 수 있는 문제점이 있다.
또한 상기 종래의 기술들은 스크리블 폼, 트라이 맵, 뎁스 정보 및 크래핑 윈도우와 같이 사용자가 직접 입력하여야 하며, 이는 비전문가인 사용자에게 높은 지식을 요구함으로써, 사진 저작에 대한 불편함을 야기시킨다.
이에 따라 본 발명에서는 사진의 배경과 메인 오브젝트를 프리 스펙트럴 매팅 기술인 알파 매팅을 이용하여 자동으로 분리함으로써, 사용자의 입력을 필요로 하지 않으며, 상기 분리한 메인 오브젝트를 텍스쳐 합성을 수행한 상기 배경에 ROT에 따라 자동으로 리타게팅하여 사진을 재구성함으로써, 사진에 대한 고도의 영상 미학을 제공할 수 있는 리타게팅에 의한 사진 저작 방법 및 그 장치를 제공하고자 한다.
도 1에 도시한 바와 같이, 오브젝트 리타게팅에 의한 사진 재구성 방법 및 그 장치에 있어서, 사진 저작 과정은 크게 4단계로 구성된다.
우선 상기 저작 과정의 첫 번째 단계는, 사진의 메인 오브젝트를 세그멘테이션하기 위해 알파 매트를 추정하여 정경과 배경을 결정하는 알파 매팅(alpha matting) 수행 단계이다.
상기 알파 매팅 수행 단계는 데이터베이스에서 입력되는 사진으로부터 메인 오브젝트를 세그멘트하기 위해 알파 매트 추정에 따라 배경 및 메인 오브젝트 영역을 결정하여, 상기 사진으로부터 전경 영역의 메인 오브젝트를 상기 배경영역과 분리하여 추출한다.
한편 상기 입력은 데이터베이스뿐만 아니라 유무선 네트워크를 통해 인터넷, 스마트폰 또는 디지털 카메라 등 다양한 루트를 통해 수행될 수 있다.
다음으로 두 번째 단계는, 상기 추출한 메인 오브젝트를 기반으로 특징을 추출하는 특징 추출 단계이다.
상기 특징들은 상기 추출한 오브젝트의 사이즈 비율(Size ratio), 틸드 각도(Tilt abgle), 오브젝트의 모양(Shape of object), 인텐서티(Intensity), 위치(Position), 유클리디안 거리(Euclidean distance), 경계 사각형(bounding rectangle) 및 센트로이드(centroid)로 구성된다.
또한 상기 특징들은 본 발명의 일 실시예에 따른 오브젝트 리타게팅 방법인 ROI-RT에 의해 상기 메인 오브젝트를 리타게팅하여, 사진을 재구성하기 위해 사용되는 파라미터이다.
또한 세 번째 단계는 상기 첫 번째 단계에서 배경과 메인 오브젝트를 분리함에 따라 발생하는 폐색영역(occluded region)인 빈 영역을 주변의 택스쳐와 비슷하게 채우기 위한 인페인팅(inpainting)단계이다.
상기 인페인팅 단계는 상기 배경 영역의 폐색된 부분을 주변의 색깔과 비슷하게 하기 위해 택스쳐 합성을 수행하여, 상기 메인 오브젝트를 리타게팅하기 위한 새로운 배경을 생성하기 위해 수행된다.
다음으로 마지막 단계인 네 번째 단계는 상기 분리한 메인 오브젝트를 리타게팅하기 위한 ROI-RT단계이다.
상기 ROI-RT단계는 상기 인페인팅 단계를 수행한 배경에 ROT를 따르는 사진을 완성하기 위해 상기 분리한 메인 오브젝트를 적절하게 리타게팅한다. 상기 ROI-RT단계에서의 최종 출력은 고도의 시각적 심미감을 달성할 수 있도록 하는 상기 ROT에 따라 재구성된 사진이다.
상기의 각 단계는 도2 내지 5를 참조하여 상세히 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 배경과 메인 오브젝트를 세그먼트테이션하는 방법을 도시한 도면이다.
본 발명의 일 실시예에 따른 사진 저작의 네 단계에 있어서, 첫 번째 단계는 입력되는 사진으로부터 메인 오브젝트를 세그먼트하기 위해 알파 매트를 추정하여 배경과 메인 오브젝트 영역을 결정한다.
상기 첫 번째 단계에서 상기 배경과 메인 오브젝트 영역의 결정은 자동 스펙트럴 매팅 기술(automatic spectral matting thechnique)인 알파 매팅에 의해 수행된다. 또한 상기 결정은 유용한 측정치(useful measure) 및 비유용한 측정치(unuseful measure)에 의해 기준에 미달되는 알파 매팅 컴포넌트들을 폐기한 후 수행된다. 한편 상기 유용한 측정치 및 비유용한 측정치는 상기 사진의 배경과 메인 오브젝트의 오페시티(opacity, 불투명도)를 나타내는 알파 매트(alpha matte)를 의미한다.
종래의 사진 저작에서 수행하는 하드 세그멘테이션 방법은, 메인 오브젝트의 에지에 대한 유용한 픽셀의 정보들이 손실되는 문제점이 있었으나, 본 발명은 상기 메인 오브젝트의 오페시티인 알파매트를 추정함으로써, 손실되는 유용한 픽셀들의 정보를 최소화하며, 최종 저작 결과 사진에서 고도의 미학적 상승 효과를 가질 수 있도록 한다.
상기 알파 매팅 기술은 초기 트라이 맵이나 스크리블 정보에 대한 입력을 필요로하지 않으며, 상기 매팅 컴포넌트들은 자동적으로 추출하여, ROI(메인 오브젝트를 의미함)의 최종 오페시티를 추정한다.
한편 일반적으로 이미지 매팅 기술에 있어서, 입력 이미지(I(x, y))를 구성하는 각각의 픽셀(
Figure 112016008287950-pat00002
)은 전경 컬러(Fi), 배경컬러(Bi) 및 오페시티를 나타내는 알파 매트(
Figure 112016008287950-pat00003
)의 선형 결합으로 나타낼 수 있으며, 상기 입력 이미지는 다음의 [수학식 1]에 따라 표현된다.
[수학식 1]
Figure 112016008287950-pat00004
또한 상기 [수학식 1]에 의해 픽셀 j의 알파 매트는
Figure 112016008287950-pat00005
이며, 상기
Figure 112016008287950-pat00006
는 다음의 [수학식 2]에 의해 계산된다.
[수학식 2]
Figure 112016008287950-pat00007
여기서,
Figure 112016008287950-pat00008
는 상기 이미지 I의 픽셀 j에 대한 RGB 값들을 나타내며,
Figure 112016008287950-pat00009
는 RGB 채널에 대한 메인 오브젝트들에 대한 픽셀들의 오페시티를 나타낸다. 한편 상기 [수학식 2]에 나타낸 각 매팅 컴포넌트들은 음수가 아니며, 모든 픽셀들의 오페시티를 더한 값은 1이다.
또한 입력된 사진이 K개의 컴포넌트(총 픽셀의 수)를 포함하고 있으면, 각각의 컴포넌트들은 중복되지 않고 유니크하다. 즉, C1:Ck는 Ci∩Cj(i≠j)이다.
또한 상기 사진에서 픽셀의 밝기를 계산하기 위한 라플라시안 매트릭스,
Figure 112016008287950-pat00010
는 다음의 [수학식 3]에 따라 N x N 매트릭스로 나타낼 수 있다.
[수학식 3]
Figure 112016008287950-pat00011
여기서,
Figure 112016008287950-pat00012
는 크로니컬 델타(Kroneker delta)이며,
Figure 112016008287950-pat00013
와
Figure 112016008287950-pat00014
는 픽셀 k 주위의 윈도우,
Figure 112016008287950-pat00015
에서 인텐서티(intensities, 밝기값)의 평균과 변화량을 각각 의미하며,
Figure 112016008287950-pat00016
는 상기 윈도우의 총 픽셀의 수를 나타낸다.
또한 본 발명의 일 실시예에 따른 상기 알파 매팅은 k-means 클러스터링 방법을 적용하여 고유 벡터 매트릭스, E를 기반으로 사진의 개별 매팅 컴포넌트(
Figure 112016008287950-pat00017
)를 획득하기 위해 수행된다.
상기 사진의 개별 컴포넌트들은 다음의 [수학식 4]에 따라 획득된다.
[수학식 4]
Figure 112016008287950-pat00018
여기서,
Figure 112016008287950-pat00019
는 사진을 구성하는 k번째 픽셀에 대한 매팅 컴포넌트를 나타내며, ET는 상기 고유 벡터 매트릭스의 전치 매트릭스이다.
최종 오페시티 추정의 후보들은 유용한 측정치 및 비유용한 측정치를 기반으로 선택되거나 폐기된다.
도 2에 도시한 바와 같이 유용한 알파 매팅 컴포넌트들의 의해 상기 최종 오페시티가 추정되며, 상기 최종 오페시티에 따라 배경과 메인 오브젝트를 결정하여 세그멘테이션을 수행한다.
즉, 상기 유용한 알파 매팅 컴포넌트들은 최종 오페시티 추정을 위해 선택되어 지고, 비유용한 컴포넌트들은 폐기된다.
또한 알파 매팅 컴포넌트들을 선택하기 위한 유용한 측정치는 특정 컴포넌트에서의 떨어진 정도(far proximity), 특정 컴포넌트의 사이즈, 오페시티 값의 평균 및 연결성에 기반하여 측정된다.
또한 유용한 측정치와 비유용한 측정치를 기반으로 하여 상기 알파 컴포넌트들은 폐기되거나 선택되며, 유용한 알파 컴포넌트들은 도 2에 도시한 방법에 따라
Figure 112016008287950-pat00020
로 나타낼 수 있다. 여기서
Figure 112016008287950-pat00021
는 비유용한 알파 컴포넌트를 나타낸다.
이에 따라 다음의 [수학식 5]에 의해 모든 유용한 알파 컴포넌트들을 더함으로써, 최종 오페시티를 추정할 수 있다.
[수학식 5]
Figure 112016008287950-pat00022
여기서 wg는 배경과 전경을 각각 나타내는 알파 컴포넌트에 대한 [0, 1]의 값을 가지는 가중치 매트릭스를 나타내며, 최적의 오페시티 추정값,
Figure 112016008287950-pat00023
을 사용하여 메인 오브젝트를 세그멘테이션한다.
또한 상기 알파 매트에 의한 ROI 세그멘테이션은 다음의 [수학식 6]에 따라 수행된다.
[수학식 6]
Figure 112016008287950-pat00024
여기서 ROI는 배경으로부터 분리된 메인 오브젝트를 의미한다.
이하에서는 도 3 내지 도 5를 참조하여, 상기 분리한 배경의 인페인팅 방법과 상기 메인 오브젝트를 리타게팅하는 방법을 상세히 설명하도록 한다.
도 3 내지 도 5는 본 발명의 일 실시예 따른 사진 재구성을 위한 ROI-RT를 설명하기 위한 예시도이다.
도 3 및 도4는 본 발명의 일 실시예에 따른 사진 재구성을 위한 ROI-RT를 설명하기 위한 도면이다.
한편 사진의 메인 오브젝트를 리타게팅하기 위해 상기 ROI-RT를 수행하기 위해서는 몇몇의 특징들을 우선적으로 추출하여야한다. 이러한 특징들은 상기 추출한 메인 오브젝트(ROI)의 사이즈 비율(Sr), 수직라인에 대한 메인 오브젝트의 틸드 각도(θ), 상기 메인 오브젝트의 모양(Os), 상기 메인 오브젝트를 구성하는 픽셀의 인텐시티(Io), 수직라인과 수평라인의 위치(
Figure 112016008287950-pat00025
), ROT를 구성하는 서드 라인으로부터의 유클리디안 거리(Ed), 경계 사각형(RB) 및 상기 사진을 ROT에 따라 분면한 그리드 메쉬(Gi)에서의 센트로이드(
Figure 112016008287950-pat00026
)를 포함하여 구성된다.
또한 상기 메인 오브젝트의 사이즈 비율은 Sr = (X/w, Y/h)로써 계산된다. 여기서 X와 Y는 상기 사진(I(x, y))의 폭과 높이를 각각 나타내고, w와 h는 상기 오브젝트의 폭과 높이를 각각 나타낸다.
한편 상기 ROI-RT는 사진의 더 나은 구성 및 구도를 위해 상기 오브젝트의 사이즈 비율을 기반으로 다음의 [수학식 7]에 따라 상기 오브젝트를 리사이징한다.
[수학식 7]
Figure 112016008287950-pat00027
여기서 w1과 h1은 리사이징될 상기 오브젝트의 폭과 높이를 나타낸다. 상기 [수학식 7]을 좀더 상세히 설명하자면, 상기 오브젝트에 대한 폭의 2/3가 상기 사진에 대한 폭의 1/3보다 크지 않다면, 상기 오브젝트의 폭과 높이는 상기 오브젝트의 오리지널 폭과 높이의 4/3으로 리사이징된다.
반대로 상기 오브젝트에 대한 폭의 2/3가 상기 사진에 대한 폭의 1/3보다 크다면, 상기 오브젝트의 폭은 상기 사진에 대한 폭의 2/3로 리사이징되고, 상기 오브젝트의 높이는 상기 오브젝트의 폭에 대한 변화량(w1 - w)을 상기 오브젝트의 오리지널 높이에 가산됨으로써, 리사이징된다. 즉 상기 오브젝트의 리사이징될 높이는, h1 = h + (w1 - w)로 계산된다.
또한 상기 틸트 각도는 상기 메인 오브젝트의 중심을 지나가는 수직 라인에 대하여 계산되어 진다. 한편 상기 계산은 학습된 오브젝트에 따라 그려지는 주요 라인과, 상기 메인 오브젝트 즉, ROI의 센트로이드를 통과하여 그려지는 수직라인으로 이루어지는 각도를 측정함으로써, 수행된다.
한편 상기 틸트 각도를 측정함으로써, 상기 사진에서 수직 서드 라인을 따라 메인 오브젝트의 위치에 대한 정보를 알 수 있다.
이에 따라 상기 메인 오브젝트가 사진에서 왼쪽으로 향하는 틸드 각도를 가지고 있다면, 상기 메인 오브젝트는 반대로 우측 끝단의 수직 서드 라인을 따라 배치될 것(이는, 전문적인 사진기술에서 따라야하는 중요한 규칙임)이다. 즉, 상기 틸트 각도의 크기(
Figure 112016008287950-pat00028
)에 따라 상기 메인 오브젝트는 오른쪽 또는 왼쪽으로 이동된다.
또한 상기 오브젝트의 모양은 사진의 저작에 있어서, 메인 오브젝트의 리타게킹 포지션을 적절하게 결정하기 위한 또 다른 주요한 파라메터이다.
상기 ROI-TI는 메인 오브젝트의 높이(h)와 폭(w)을 체크하여, w < h 이고, w << X 이면, 상기 ROI-RT는 상기 오브젝트가 수직으로 가늘고 긴 모양인 것으로 가정하고, 상기 오브젝트를 ROT의 수직라인을 따라 재배치한다. 또한 h < w 이고, h << Y 이면, 상기 ROI-RT는 상기 오브젝트가 긴 형태인 것으로 가정하고 ROT의 수평선을 따라 재배치한다.
또한 상기 오브젝트의 인텐서티는 심미적으로 만족하는 사진에 있어서 매우 중요한 역할을 수행한다. 즉, 흐릿하거나 칙칙한 사진은 매우 지루하며, 시각적으로도 돋보이지 않는다.
일반적으로 사진을 구성하는 상기 메인 오브젝트는 더 집중되고 배경보다 더 높은 인텐서티를 가지고 있다.
이에 따라 상기 ROI-TI는 상기 메인 오브젝트를 ROT에 따라 리타게팅하기 위해 메인 오브젝트와 상기 배경 픽셀들의 인텐서티를 비교한다.
상기 메인 오브젝트의 인텐서티는 다음의 [수학식 8]에 의해 계산된다.
[수학식 8]
Figure 112016008287950-pat00029
여기서 Ig(x, y)는 그레이 스케일의 이미지이고, w와 h는 상기 오브젝트의 폭과 높이를 각각 나타내며,
Figure 112016008287950-pat00030
는 유니티의 N번째 루트(root)를 나타낸다.
만약 상기 메인 오브젝트의 위, 아래, 오른쪽 또는 왼쪽에 위치하는 배경 M x N 픽섹셀들의 인텐서티 값들은
Figure 112016008287950-pat00031
으로 표현되고, 상기 메인 오브젝트는 상기 배경의 인텐서티 값들에 따라 아래, 위, 왼쪽 또는 오른쪽으로 각각 이동된다. 여기서 Ibg는 배경의 인텐서티를 나타내고, M = X - w이며 N = Y - h 이다.
또한 상기 메인 오브젝트의 위치는 상기 ROT를 구성하는 서드 라인들에 의해 생성되는 4개의 교차점인 포커트 포인트들로부터 상기 메인 오브젝트의 위치를 파악하기 위해 획득된다.
또한 상기 ROI-RT는 상기 메인 오브젝트의 위치에 대한 파라미터(parameter)를 벡터로써 고려하며, 상기 벡터는 메인 오브젝트의 센트로이드 위치뿐만 아니라 포커스 포인트로부터의 방향을 알 수 있게 해준다.
또한 상기 유클리디안 거리는 상기 메인 오브젝트를 리타게팅하기 위한 또 다른 중요한 측정치이다. 상기 유클리디안 거리는 다음의 [수학식 9]에 따라 상기 오브젝트의 위치에 의존하여 계산된다.
[수학식 9]
Figure 112016008287950-pat00032
여기서 (xn, yn)은 상기 ROT의 서드 라인들에 의해 생성되는 4개의 교차점을 나타낸다. 또한 E1, E2, E3 및 E4는 왼쪽 상단의 교차점, 왼쪽 하단의 교차점, 오른쪽 상단의 교차점 및 오른쪽 하단의 교차점으로부터의 유클리디안 거리를 각각 나타낸다.
또한 상기 경계 사각형은 매우 중요한 파라메터이다. 또한 상기 서드 라인에 상기 주요오브젝트를 리타게팅하는 동안 상기 메인 오브젝트의 경계선을 고려하는 것은 매우 유용하다.
만약 사이즈가 큰 상기 메인 오브젝트의 센트로이드를 상기 교차점에 매핑하는 경우에 있어서, 상기 메인 오브젝트의 일부분이 상기 전체 사진의 바운더리를 벗어날 수 있는 경우가 발생할 수 있다.
따라서 상기 ROI-TI는 안전한 리타게팅을 위한 바운더리 라인을 고려한다. 사진의 수직 또는 수평 방향을 따라 리타게팅을 위한 상기 오브젝트의 폭에 대한 안전 바운더리 또는 제한 바운더리는 (X/12, Y/12)이며, 상기 경계 사각형은 상기 안전 바운더리를 벗어나지 않도록 상기 오브젝트가 리사이징 되는 사이즈 비율을 제한한다.
한편 상기 경계 사각형의 센트로이드와 상기 메인 오브젝트의 센트로이드는 다음의 [수학식 10] 및 [수학식 11]에 따라 각각 추출되며, 상기 ROI-RT를 위한 특징인 상기 센트로이드의 추출에 있어서, 상기 경계 사각형의 센트로이드와 상기 메인 오브젝트의 센트로이드를 평균함으로써, 최적의 센트로이드를 취할 수 있다.
[수학식 11]
Figure 112016008287950-pat00033
여기서,
Figure 112016008287950-pat00034
는 경계 사각형(RB)의 센트로이드를 나타낸다.
[수학식 12]
Figure 112016008287950-pat00035
여기서,
Figure 112016008287950-pat00036
는 상기 메인 오브젝트의 센트로이드를 나타내며, t, v 및 u는 가중치 파라미터로써, 특정 범위(0.25 ~ 0.35)의 값을 가진다. 또한
Figure 112016008287950-pat00037
는 상기 k-means 클러스터링 방법에 의해 획득된 개별 컴포넌트(즉, 해당 주요 객채의 센트로이드를 말함)를 나타내며, A는 메인 오브젝트의 사이즈를 나타낸다.
또한 L은 1 ~ 255까지의 범위를 가지는 컬러 레벨을 나타내며, C는 컬러 세그먼트를 나타낸다.
상기의 특징들은 입력된 사진으로부터 추출되며, ROT-RI를 수행하여 상기 메인 오브젝트를 리타게팅함으로써, 사진을 재구성하기 위해 사용된다.
한편 상기 ROI-RT를 수행하여 상기 메인 오브젝트를 리타게팅하기 위해서는 우선적으로 상기 세 번째 단계인 인페인팅단계를 먼저 수행하여야 한다.
즉, 상기 입력된 사진에서 메인 오브젝트와 배경을 분리하였으므로, 상기 분리에 의해 생성된 배경의 폐색된 부분을 채워, 새로운 배경을 생성하고, 상기 생성한 새로운 배경에 상기 메인 오브젝트를 리타게팅하여야 한다.
상기 인페인팅 단계는 상기 사진에서 훼손된 부분을 복원하거나 사진 내의 문자 또는 특정 물체를 제거한 후 삭제된 영역을 자연스럽게 채우기 위해 수행되는 단계로써, 본 발명에서는 상기 배경과 메인 오브젝트를 분리함에 따라 상기 배경에 발생하는 폐색된 부분을 채우기 위해 수행된다. 즉, 상기 배경과 메인 오브젝트를 분리함으로써, 비어 있는 영역(메인 오브젝트의 부분)을 주변 픽셀의 텍스쳐와 비슷하도록 텍스쳐 합성을 통해 자연스럽게 복원하는 것을 말한다.
또한 상기 인페인팅 단계의 주요 아이디어는 NFF(Nearest-Neighbor Field, NFF)를 생성하는 것이다. 이는, 사진의 한 영역을 다른 영역과 매우 비슷하게 패치하기 위해 상기 두 영역을 매핑하거나 합성하는 것을 말한다. 즉, 상기 사진에서 A영역과 B영역을 선택하고, 패치 디스턴스 메트릭하에서 상기 B영역의 가장 가까운 이웃 A에서 모든 패치를 찾는다.
상기 NFF는 오프셋 함수,
Figure 112016008287950-pat00038
에 의해 정의되고, 상기 NFF는 상기 A에서 모든 가능한 패치 센터 좌표(a), 즉 패치 센터의 위치를 정의하고, 상기 B에서도 이와 상응하는 패치 센터 좌표(b)를 정의한다. 이때 상기 오프셋 함수는 f(a) = b - a가 된다.
또한 상기 오프셋 함수(f)에 의한 모든 값들은 오프셋으로 배열에 저장되고, 상기 배열의 차수는 상기 A영역의 차수와 동일하다.
이에 따라 상기 NFF에 의해 폐색된 배경 영역과 상기 폐색된 배경 영역의 최근접 영역을 선택하고 되고, 상기 선택된 최근접 영역의 상기 좌표에 상응하는 폐색된 배경 영역을 채우게 된다.
한편 상기 인페인팅 단계는 Barnes C 등에 의해 제안된 방법인 PATCHMATCH 방법을 사용하여 수행된다(Barnes C, Shechtman E, Finkelstein A, Goldman DB (2009) PatchMatch: a randomized correspondence algorithm for structural image editing. ACM Transactions on Graphics (Proc. SIGGRAPH), 28(3). PatchMatch: a randomized correspondence algorithm for structural image editing. 참고).
도 3 및 도 4에 도시한 바와 같이 상기 메인 오브젝트를 리타게팅하기 위한 ROI-RT는 상기 메인 오브젝트와 배경으로부터 특징을 추출한 후에 수행된다.
또한 상기 ROI-RT는 사진의 미학적 가치를 향상시킬 수 있도록 더 좋은 구도나 구성을 위해 상기 인페인팅 단계를 수행한 새로운 배경에 메인 오브젝트를 리타게팅하기 위한 계산적인 방법이다.
상기 메인 오브젝트는 상기 ROI-RT에 의해 리타게팅 되고, 상기 새로운 배경에 삽입함으로써, 상기 입력된 사진을 재구성한다.
또한 상기 사진을 재구성하기 위해 우선, 상기 ROI-RT는 상기 입력된 사진을 ROT에 따라 9개의 동일한 그리드로 분할한다. 여기서 GS는 하나의 그리드에 대한 사이즈를 나타낸다.
도 3에 도시한 것처럼 상기 ROI-RT는 상기 메인 오브젝트의 모양에 따라 4개의 케이스로 분류하고, 상기 분류한 4개의 케이스에 따라 상기 몇몇의 스텝을 거쳐 상기 메인 오브젝트가 라타게팅될 위치를 찾는다.
이하에서는 상기 도 3 및 도 4를 참조하여 각 케이스별로 상기 메인 오브젝트를 리타케팅하는 방법을 상세히 설명하도록 한다.
한편 도 5는 상기 ROI-RT를 수행하기 위해 사용되는 심볼들은 나타낸 도면이다.
우선 첫 번째 케이스는 상기 메인 오브젝트의 모양이 수평방향 또는 수직방향으로 가늘고 긴 모양이 아닌 경우(도 3의 case I)이다.
한편 상술한 바와 같이 상기 메인 오브젝트의 모양(Os)은, 상기 메인 오브젝트의 높이(Ho)와 폭(Wo)을 상기 입력된 사진의 전체 높이와 폭을 비교함으로써 알 수 있다.
이러한 경우 상기 ROI-RT는 상기 그리드의 높이와 폭을 각각 2배하여, 상기 메인 오브젝트의 높이와 폭을 각각 비교한다. 이때 상기 메인 오브젝트의 폭과 높이가 2배한 상기 그리드의 높이와 폭보다 각각 작은 경우에는, 상기 ROI-RT는 상기 메인 오브젝트의 센트로이드로부터 상기 4개의 포커스 포인트까지의 유클리디언 거리를 기반으로 하여, 상기 메인 오브젝트를 수평 또는 수직 방향으로 이동시킨다(도 4의 step1).
만약 상기 유클리디언 거리가 모드 동일하다면 상기 메인 오브젝트는 같은 위치를 그대로 유지하고(즉, 상기 메인 오브젝트는 어떠한 방향으로도 이동되지 않음), 상기 메인 오브젝트의 사이즈 비율은 상기 [수학식 7]에 따라 리사이징 된 후, 상기 메인 오브젝트는 상기 배경의 인텐서티()에 따라 수평방향으로 이동되고, 이동한 위치에 따라 상기 메인 오브젝트의 센트로이드는 새로운 센트로이드(
Figure 112016008287950-pat00040
)로 리타게팅된다(도 4의 Step 1).
또한 두 번째 케이스는 상기 오브젝트의 모양이 수평방향으로 가늘고 긴 모양이며(도 3의 Case II), 세 번째 케이스는 수직 방향으로 가늘고 긴 모양(도 3의 Case III)이다.
또한 두 번째 및 세 번째 케이스에 있어서, 상기 메인 오브젝트의 폭이나 높이가 상기 그리드의 사이즈(GS)를 2배한 것보다 작거나 같다면, 상기 첫 번째 케이스와 유사한 과정을 거쳐 상기 메인 오브젝트를 새로운 센트로이드,
Figure 112016008287950-pat00041
로 리타게팅한다.
다시 말해, 상기 두 번째 케이스에 있어서, 상기 메인 오브젝트의 높이(WO)가 상기 2배한 그리드의 높이보다 크지 않다면, 상기 첫 번재 케이스와 동일한 과정을 통해 상기 메인 오브젝트를 리타게팅한다(도 4의 Step 1).
그러나 상기 세 번째 케이스(즉, 상기 메인 오브젝트의 모양이 수직 방향으로 가늘고 긴 경우)의 경우에는, 상기 첫 번째 케이스와 동일한 과정을 수행한 후, 상기 메인 오브젝트의 틸트 각도을 계산하여 상기 메인 오브젝트를 리타게팅한다(도 4의 Step 3). 다시 말해, 상기 틸트 각도가 45도 보다 크고, 상기 유클리디안 거리, Ed2와 Ed4이 같이 않으면 상기 메인 오브젝트의 센트로이드는 가장 가까운 포커스 포인트로 이동되며, 반대로 상기 틸트 각도가 45도 보다 크고, 상기 유클리디안 거리, Ed2와 Ed4 동일하면 상기 메인 오브젝트의 센트로이드는 상기 도 4의 Step 2에 따라 리타게팅된다. 또한 상기 틸트 각도가 45도 보다 크지 않고, 상기 유클리디안 거리, Ed1과 Ed3가 같지 않으면, 상기 메인 오브젝트의 센트로이드는 최근접 포커스 포인트로 매핑되어 리타게팅되며, 상기 틸드 각도가 45도 보다 크지 않고, 상기 유클리디안 거리, Ed1과 Ed3가 같으면, 상기 도 4의 Step 2에 따라 상기 메인 오브젝트의 센트로이드가 리타게팅된다.
또한 네 번째 케이스는 메인 오브젝트의 사이즈와 그리드의 사이즈를 비교하여 상기 메인 오브젝트의 폭과 높이가 상기 그리드의 폭과 높이를 2배 한 것보다 큰 경우(도 3의 Case IV) 이다.
상기 네 번째 케이스에 있어서, 상기 오브젝트는 상기 오브젝트의 센트로이드로부터 4개의 포커스 포인트의 유클리디안 거리를 기반으로 하여 최근접 포커스 포인트로 수평 또는 수직 방향으로 이동된다(도 4의 Step 1).
만약 상기 메인 오브젝트의 센트로이드로부터 상기 모든 포커스 포인트로의 유클리디안 거리가 동일하여, 상기 메인 오브젝트가 어떠한 방향으로도 이동하지 않아, 상기 메인 오브젝트의 센트로이드가 변하지 않은 경우에는, 상기 메인 오브젝트의 사이즈 비율은 상기 [수학식 7]에 따라 재구성된다.
이때 상기 사이즈 비율은 상기 한계 사각형의 크기에 따라 사진의 세이프 바운더리 이하로 유지되도록 재구성된다. 한편 상기 한계 사각형의 크기는 상기 사진의 폭과 높이의 1/12이다.
만약 상기 Step 1에 따라 메인 오브젝트가 리타게팅 전과 리타게팅 후에, 상기 메인 오브젝트의 센트로이드가 동일하면, 상기 Case III과 같이 Step 2와 Step 3을 순차적으로 수행하여 상기 메인 오브젝트를 리타게팅한다.
상기 사진의 구성은 상기 ROI-RT에 의해 향상되고, 상기 ROI-RT의 성능은 주관적 평가(Subjective Rating, SR), ACQUINE 및 OSCAR의 온라인 방법에 의해 재구성된 사진의 심미적 점수의 계산 및 다른 종래의 기술과의 최종적인 사진 저작 결과를 비교함으로써, 검증된다.
도 6은 본 발명의 일 실시예에 따른 객체 리타게팅에 의한 사진 재구성 장치의 구성을 나타낸 블록도이다.
도 6에 도시한 바와 같이 상기 객체 리타게팅에 의한 사진 재구성 장치(100)는 입력되는 사진으로부터 배경과 메인 오브젝트를 분리하는 오브젝트 분리부(110), 상기 분리한 메인 오브젝트의 특징을 추출하는 특징 추출부(120), 상기 분리한 배경을 인페인팅하여 새로운 배경을 생성하는 인페인팅부(130) 및 상기 새로운 배경에 상기 메인 오브젝트를 리타게팅하는 ROI-RT 리타게팅부(140)를 포함하여 구성된다.
또한 상기 사진 재구성 장치(100)는 유무선 인터페이스(미도시)를 구비하여, 사용자의 스마트폰, USB와 같은 휴대용 저장소, 카메라 또는 인터넷으로부터 상기 사진을 입력받을 수 있다.
한편 사진에 한정하여 본 발명을 설명하고 있지만, 상기 입력은 사진에 한정하지 않으며, 사진, 글자, 캐릭터 또는 그림 등과 같은 모든 이미지를 포함한다.
또한 상기 오브젝트 분리부(110)는 상기 입력되는 사진을 배경과 메인 오브젝트를 세그먼트하여, 상기 배경과 메인 오브젝트를 분리한다.
또한 상기 오브젝트 분리부(110)는 사진 데이터베이스(200)에서 입력되는 사진을 알파 매트(사진의 배경과 메인 오브젝트의 오페시티)를 추정하여, 상기 사진의 배경과 메인 오브젝트 영역을 결정한다.
또한 상기 오브젝트 분리부(110)는 상기 입력되는 사진으로부터 상기 라플라시안 매트릭스와 k-means 클러스터링 방법을 이용하여, 사진의 개별 매팅 컴포넌트를 획득하고, 상기 유용한 측정치를 기반으로 하여 상기 획득한 개별 매팅 컴포넌트 중 유용한 컴포넌트들을 선택한다.
또한 상기 오브젝트 분리부(110)는 상기 선택한 유용한 컴포넌트들을 더하여 상기 [수학식 5]에 따라 상기 메인 오브젝트의 최종 오페시티를 추정한다.
또한 상기 오브젝트 분리부(110)는 상기 추정한 최종 오페시티를 이용하여 상기 [수학식 6]에 따라 상기 배경과 상기 메인 오브젝트를 세그멘테이션하여 상기 메인 오브젝트를 상기 배경으로부터 분리한다.
또한 상기 오브젝트 분리부(110)는 종래의 기술과는 달리 상기 메인 오브젝트의 최종 오페시티를 추정함으로써, 상기 배경으로부터 상기 메인 오브젝트를 분리하는 경우 손실될 수 있는 유용한 픽셀들에 대한 정보를 최소화하여, 재구성되는 사진의 본질적인 의미를 그래도 유지할 수 있도록 한다.
또한 상기 특징 추출부(120)는 상기 세그멘테이션한 메인 오브젝트로부터 특징을 추출한다. 상기 특징은 상기 ROI-RT 리타게팅부(140)에서 상기 메인 오브젝트를 리타게팅하기 위한 중요한 파라미터로써, 상기 메인 오브젝트의 사이즈 비율, 틸트 각도, 모양, 인텐시티, 상기 사진의 서드 라인의 위치, 유클리디안 거리, 경계 사각형 및 센트로이드를 포함하여 구성된다.
또한 상기 메인 오브젝트의 사이즈 비율을 상기 메인 오브젝트의 사이즈와 상기 입력된 사이즈의 비로써 계산된다.
또한 상기 센트로이드는 상기 [수학식 12]에 의해 측정되며, 상기 메인 오브젝트의 중심을 나타낸다.
또한 상기 틸트 각도는 상기 오브젝트의 센트로이드를 통과하는 수직 라인과 학습된 오브젝트에 따라 그려지는 주요 라인으로 이루어진 각도를 측정함으로써, 계산되며, 상기 계산한 틸드 각도에 따라 최종 저작 사진에서 리타게팅될 메인 오브젝트의 위치를 결정할 수 있다.
또한 상기 모양은, 상기 메인 오브젝트의 형태를 나타내다. 또한 상기 인테서티는 메인 오브젝트를 구성하는 픽셀들의 선명도를 나타내며, 상기 [수학식 8]에 따라 계산된다.
또한 상기 유클리디안 거리는 상기 [수학식 9]에 의해 계산되며, 4개의 포커스 포인트로부터 상기 메인 오브젝트의 거리를 계산하여, 상기 계산한 거리에 따라 상기 메인 오브젝트를 이동시킨다.
또한 상기 경계 사각형은 상기 ROI-RT 리타게팅부(140)에 의해 리타게팅되어, 상기 메인 오브젝트가 리사이징 되는 경우, 상기 사진의 전체 바운더리를 벗어나지 않도록 상기 리사이징되는 메인 오브젝트의 사이즈를 제한하기 위해 사용된다.
상기 경계 사각형에 의해 제한되는 바운더리의 크기는 상기 사진의 폭과 높이에 12로 각각 나눈 크기이다.
또한 상기 특징 추출부(120)에 의해 추출되는 상기 특징들은 상기 ROI-TI 리타게팅부(140)에서 상기 메인 오브젝트를 리타게팅함으로써, 상기 사진을 재구성하기 위한 주요한 파라미터로써 사용된다.
또한 상기 인페인팅부(130)는 상기 오브젝트 분리부(110)를 통해 상기 배경과 메인 오브젝트를 세그멘테이션 함에 따라 상기 배경에 발생하는 폐색 영역(즉, 비어있는 영역을 말함)을 채워, 새로운 배경을 생성한다.
또한 상기 인페인팅부(130)는 상기 NFF를 생성하여 상기 폐색 영역의 최근접 주변 영역과 상기 폐색 영역을 비슷하고 자연스럽게 패치하기 위해, 상기 두 영역을 상호 매핑하거나 텍스쳐 합성을 수행한다.
또한 상기 ROI-RT 리타게팅부(140)는 상기 새로운 배경에 상기 메인 오브젝트를 리타게팅하여, 상기 입력된 사진을 재구성한다.
또한 상기 ROI-RT 리타게팅부(140)는 상기 메인 오브젝트를 상기 ROT에 따라 리타게팅 하기 위해 상기 배경을 9개의 동일한 그리드로 분할하여 상기 메인 오브젝트의 위치와 사이즈를 결정하여 리타게팅한다.
또한 위치와 사이즈는 상기 특징 추출부(120)에서 추출한 특징을 기반으로 결정되며, 상기 리타게팅 방법은 도 3 내지 5를 참조하여 상술하였으므로 상세한 설명은 생략하도록 한다.
도 7은 본 발명의 일 실시예에 따른 종래의 스펙트럼 매팅과 본 발명인 알파 매팅에 대한 성능 비교를 위해, 각 매팅 결과와 세그멘테이션 결과를 도시한 도면이다.
우선 재구성된 사진의 심미적 점수(Aesthetic score)는 ACQUINE(aesthetic quality inference Engine)와 OSCAR(on-site composition and aesthetics feedback through exemplars for photographers)의 온라인 평가 방법에 의해 계산된다.
또한 본 발명의 성능을 검증하기 위해 15쌍의 사진(본 발명을 적용하기 전의 사진 15개와 적용한 후의 사진 15개)을 이용하여, 30명의 다른 사람들로부터 주관적 평가(Subjective Rating, SR)에 의한 심미적 점수의 평균을 기록하기 위해 온라인 조사를 수행하였다.
상기 본 발명을 적용하기 전의 사진은 상기 ROT를 따르지 않는 사진을 의미하며, 네거티브 사진(NPs) 및 미숙하고 서투르게 촬영한 사진(BSPs)를 포함한다. 한편 상기 네거티브 사진이란 촬영한 필름의 현상 처리가 끝났을 때 명암 또는 명암과 같은 컬러가 실제 오브젝트와 반대로 재현된 사진을 의미한다.
또한 상기 본 발명을 적용한 후의 사진은 상기 ROI-RT를 수행하여 재구성된 사진을 의미하며, 상기 재구성된 사진은 상기 ROT를 따른다.
총 3명에게 상기 15쌍의 사진에 대해 주관적인 평가를 요구하였으며, 상기 평가는 1 ~ 10의 점수로 구성되며, 1은 최악의 미적효과를 가지는 사진에 대한 평가이며, 10은 최고의 미적효과를 가지는 사진에 대한 평가의 척도이다.
또한 상기 평가는 각각의 사진별로 기록되어지며, 상기 각 사진별 평가에 대한 평균은 SR 값으로 나타낸다.
도 7의 (a)는 입력된 사진(NPs)을 나타내며, 도 7의 (b)는 종래의 기술인 스펙트럼 매팅 결과를 나타낸다.
또한 도 7의 (c)는 본 발명의 일 실시예에 따른 알파 매팅에 대한 결과를 나타낸 도면이며, 도 7의 (d)는 본 발명의 일 실시예에 따른 세그멘테이션을 수행한 결과를 나타낸 도면이다.
또한 도 7의 (e)는 본 발명의 일 실시예에 따른 배경과 메인 오브젝트를 분리한 후 남은 배경을 나타낸 도면이다.
도 7의 (b)에 도시한 바와 같이, 상기 스펙트럴 매팅의 결과는 시각적으로도 정교하게 알파 매트를 추정하지 못함을 알 수 있다. 그러나 도 7의 (c)에 도시한 본 발명의 일 실시예에 따른 알파 매팅의 결과는 상기 스펙트럴 매팅보다 정교하고 정확하게 알파 매트를 추정함을 알 수 있으며, 도 7의 (d)에 도시한 바와 같이 메인 오브젝트를 세그먼트하기 위해 상기 스펙트럴 매팅보다 더욱 향상된 성능을 보여주고 있음을 알 수 있다.
도 7의 (e)에 도시한 바와 같이, 상기 알파 매팅에 의해 배경과 메인 오브젝트를 분리한 후 남은 배경은 상기 도 2에 도시한 유용한 측정치 및 비유용한 측정치를 기반으로 정교한 알파 매트를 추정하고, 상기 추정한 알파 매트를 기반으로 상기 배경으로부터 상기 주요 오브젝트를 분리한다.
도 8은 본 발명의 일 실시예에 따른 종래의 CR방법과 본 발명인 ROI-RT의 성능 비교를 위해 각 방법에 의해 수행된 사진 재구성 결과와 심미적 점수를 도시한 도면이다.
도 8의 (a)는 ROT에 따라 처리되지 않은 네거티브 사진(NPs)를 나타내며, 도 8의 (b)는 본 발명의 일 실시예에 따른 ROI-RT를 상기 네거티브 사진에 적용하여 상기 ROT에 따라 리타게팅한 결과를 도시한 도면이다.
또한 도 8의 (c)는 종래의 CR 방법에 의해 사진이 크롭되고 리타게팅된 결과를 나타낸 도면이며, 도 8의 (d)는 상기 네거티브 사진과 상기 네거티브 사진을 상기 ROI-RT 및 CR을 적용하여 리타게팅한 결과 사진에 대한 심미적 점수를 나타낸 도면이다.
도 8에 도시한 바와 같이, 상기 종래의 기술인 CR방법에 의한 결과는 유일하게 모든 보더(border)들로부터 사진을 확대한 경우 효과적이며, 초과하는 보더들은 크롭되고 그롭된 이미지의 결과는 리사이즈되는 것을 알 수 있다.
또한 상기 CR방법은 도 8의(c)에 도시한 개(dog) 사진에 있어서의 결과 사진 또한 적당한 효과를 보이고 있다. 왜냐하면 적절한 프레임에서 개를 크로핑하기 위한 충분한 공간이 있기 때문이다. 그러나 도 8의 (c)에 도시한 등대 사진은 전체 사진의 바닥 라인 가까이에 위치한다. 이는 상기 네거티브 사진(등대 사진)에서 상기 등대를 크로핑하기 위한 충분한 공간이 없기 때문에 효과적으로 상기 등대를 리타게팅하여 미학적으로 향상된 사진을 저작하는데 그 한계가 있음을 보여준다. 즉 상기 CR방법은 상기 메인 오브젝트(예: 등대, 바다의 일부분, 구름과 하늘의 작은 부분 등)를 크로핑 윈도우 사이즈와 오브젝트 사이즈 비율을 유지하여 크로핑하기 때문에 상기 CR방법에 의한 결과 사진은 원래 전달하려면 본질적인 의미를 잃어버리게 된다.
또한 상기 CR방법은 크로핑 윈도우의 더 나은 시각적 이해를 위한 스케일을 결정하기 매우 어렵다.
이에 따라 도 8의 (d)에 도시한 바와 같이 상기 CR방법의 심미적 점수는 상기 ROI-RT의 심미적 점수보다 낮음을 알 수 있다.
도 9는 본 발명의 일 실시예에 따른 종래의 CR 및 SOAR방법과 본 발명인 ROI-RT의 성능 비교를 위해 각 방법에 의해 수행된 사진의 재구성 결과와 심미적 점수를 도시한 도면이다.
도 9의 (a)는 네거티브 사진(NPs)을 나타내며, 도 9의 (b)는 상기 ROI-RT에 의해 저작된 결과 사진을 보여주는 도면이다.
또한 도 9의 (c)는 실측 자료 또는 오리지널 포지티브 사진(PPs)를 나타내며, 도 9의 (d)는 종래의 기술인 CR방법을 적용한 저작 결과사진을 보여주는 도면이다.
또한 도 9의 (e)는 종래의 기술인 SOAR방법을 적용한 저작 결과 사진이며, 도 9의 (f)는 상기 ROI-RT, CR 및 SOAR에 의한 결과 사진 및 NPs에 대한 심미적 점수를 도시한 도면이다.
도 9에 도시한 바와 같이 상기 ROI-RT는 종래의 기술인 CR방법 및 SOAR방법보다 더 좋은 성능을 보여주고 있음을 알 수 있다.
도 9의 (b)에 도시한 바와 같이 ROI-RT에 의한 저작 결과 사진이 상기 도 9의 (c)에 도시한 실측 자료 또는 PPs보다 더 좋은 미학적 가치를 가지고 있음을 알 수 있다. 즉, 하늘에서의 일출과 일출로 인한 그늘과 함께 찍힌 보트는 ROI-RT에 의한 저작 결과 사진이 상기 실측 자료 또는 PPs 보다 더 나은 시각적 심미감을 준다.
도 9의 (d)에 도시한 바와 같이 상기 CR방법을 적용한 저작 결과 사진은 비록 수평 라인, 서드 라인 및 사이즈 비율을 유지하고 있지만 배를 찍은 사진에 있어서는 일출 부분과 구름의 많은 부분이 크롭되어 최적의 구성과 심미감을 주지 못하고 있다.
또한 도 9의 (e)에 도시한 바와 같이 SOAR방법을 적용한 저작 결과 사진은, 본래의 사진에서 많은 부분들이 크롭되어, 본래 사진의 본질적인 의미가 거의 전달되지 않고 있다. 즉, 입력되는 상기 네거티브 사진에서 형성하고 있는 의미와 상기 SOAR방법에 의한 저작 결과 사진에서 형성하고 있는 의미는 완전히 다름을 알 수 있다.
또한 소를 메인 오브젝트로 하는 사진에서 알 수 있듯이, SOAR 및 CR방법에 있어서 최적의 윈도우 사이즈 때문에 배경의 소들이 완전히 크롭되어 있음을 알 수 있으며, 개의 사진에서도 배경의 많은 부분들이 크롭되어 있음을 알 수 있다. 반면에 상기 ROI-RT는 최적의 구성을 제공하는 서드 라인(즉, ROT에 따름)의 포커스 포인트 중 하나에 상기 개를 리타게팅함으로써, 배경을 크롭하지 않으면서도 고도의 심미성을 형성할 수 있음을 알 수 있다.
또한 돌고래를 메인 오브젝트로 하는 사진에서도 상기 ROI-RT는 상기 ROT에 따라 상기 돌고래 사진을 재구성함으로써, 상기 돌고래를 심미감을 불러일으키는 미적 포인트로 이동되었음을 알 수 있다.
결론적으로 상기 CR 또는 SOAR 방법과 같이 크로핑을 수행하여 사진을 저작하는 종래의 방법들은 배경의 유용한 부분의 손실을 야기키시며, 중요하지 않은 배경부분과 함께 메인 오브젝트만을 남기는 문제점이 있다. 일반적으로 중요한 부분이 크로핑되면 사진의 본질적인 의미는 변화될 수밖에 없으며, 사진의 미적 가치는 현저하게 떨어진다.
이와 반대로 본 발명은 크로핑으로 인한 배경 손실을 유발하지 않으며, 상기 메인 오브젝트는 구성의 향상을 위해 치위와 사이즈 비율만이 변한다. 이에 따라 본래의 사진에 대한 본질적인 의미는 동일하게 남아 있으며, 사진의 심미성을 향상시킬 수 있다.
도 10은 본 발명의 일 실시예에 따른 사진 재구성 과정의 절차를 나타낸 흐름도이다.
도 10에 도시한 바와 같이, 입력되는 사진을 재구성하여 최종 저작 결과 사진을 출력하는 과정은 우선, 오브젝트 분리부(110)를 통해 입력되는 사진으로부터 배경 영역과 메인 오브젝트 영역을 세그멘테이션한다(S110).
한편 상기 오브젝트 분리부(110)는 상기 세그멘테이션을 위해 상기 사진의 알파 매핑 컴포넌트를 추정하고, 상기 유용한 측정치와 비유용한 측정치를 기반으로 하여 유용한 알파 매팅 컴포넌트를 선택하여, 상기 선택한 유용한 알파 매팅 컴포넌트를 모두 더함으로써, 상기 메인 오브젝트의 최적의 오페시티 값을 추정하여, 상기 배경으로부터 상기 메인 오브젝트를 세그먼트 한다.
한편 상기 세그먼트는 상기 [수학식 6]에 의해 수행되며, 상기 [수학식 6]에 나타난 ROI는 상기 배경으로부터 세그먼테이션되는 메인 오브젝트를 의미한다.
다음으로 특징 추출부(120)를 통해 상기 세그멘테이션한 상기 메인 오브젝트에 대한 특징을 추출한다(S120).
상기 특징은 상기 메인 오브젝트의 사이즈 비율, 틸트 각도, 모양, 인텐시티 등을 포함하며, 상기 특징에 대한 설명은 도 3 및 도 4를 참조하여 상세히 설명하였으므로 더 이상의 설명은 생략하도록 한다.
한편 상기 특징은 상기 ROI-RT 리타게팅부(140)를 통해 상기 메인 오브젝트를 리타게팅하기 위해 사용되는 것으로 상기 메인 오브젝트의 변경될 위치나 사이즈를 결정하기 위한 주요한 파라미터이다.
다음으로 인페인팅부(130)를 통해 상기 세그멘테이션한 결과 상기 배경 영역에 발생한 폐색된 부분을 채워, 상기 메인 오브젝트가 리타게팅될 새로운 배경을 생성한다.
상기 폐색된 부분은 상기 세그멘테이션된 메인 오브젝트가 위치하던 자리로써, 비워진 영역을 의미하며, 최근접 주변의 픽셀과 비슷하도록 텍스쳐 합성을 통해 채워진다.
다음으로 상기 ROI-RT 리타게팅부(140)는 상기 생성한 배경에 상기 추출한 특징을 기반으로 하여, 상기 메인 오브젝트를 리타게팅한다(S140).
상기 리타게팅은 상기 추출한 특징에 따라 상기 메인 오브젝트의 위치와 사이즈를 결정하여, ROT에 따른 사진 저작 규칙에 따라 수행된다.
또한 상기 리타게팅은 전체 사진의 바운더리를 벗어나지 않도록 하여 수행되며, 상기 리타게팅되는 메인 오브젝트의 사이즈 크기는 상기 추출한 특징 중의 하나인 한계 사각형에 의해 제한된다.
이상에서 설명하였듯이, 본 발명인 개선된 저작을 위한 오브젝트 리타게팅에 의한 사진 저작 방법 및 그 장치는 ROT에 따라 메인 오브젝트의 위치의 재설정 및 사이즈 비율만을 리사이징하고, 리타게팅하여 사진을 재구성함으로써, 종래의 사진 저작 방법과는 달리 크로핑으로 인한 배경 손실을 유발하지 않으며, 원래 사진의 본질적인 의미는 그대로 유지시킴과 동시에 심미성을 현저하게 향상시킬 수 있는 효과가 있다.
상기에서는 본 발명에 따른 바람직한 실시예를 위주로 상술하였으나, 본 발명의 기술적 사상은 이에 한정되는 것은 아니며 본 발명의 각 구성요소는 동일한 목적 및 효과의 달성을 위하여 본 발명의 기술적 범위 내에서 변경 또는 수정될 수 있을 것이다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.
100 : 리타게팅에 의한 사진 재구성 장치
110 : 오브젝트 분리부 120 : 특징 추출부
130 : 인페인팅부 140 : ROI-RT 리타게팅부
200 : 데이터베이스

Claims (12)

  1. 배경과 메인 오브젝트를 포함하는 사진에서 상기 배경과 상기 메인 오브젝트를 분리하는 단계;
    상기 메인 오브젝트의 특징을 추출하는 단계; 및
    상기 추출한 메인 오브젝트의 특징을 기반으로 삼등분의 법칙에 따라 상기 메인 오브젝트를 새로운 배경에 리타게팅(ROI-RT)하는 단계;를 포함하며,
    상기 리타게팅은,
    상기 메인 오브젝트에서 추출한 특징에 따라 상기 메인 오브젝트의 위치와 사이즈를 결정하여 상기 새로운 배경에 삽입하는 것으로서,
    상기 메인 오브젝트의 모양을, 수평방향 또는 수직방향으로 가늘고 긴 모양이 아닌 케이스, 수평방향으로 가늘고 긴 케이스, 수직방향으로 가늘고 긴 케이스, 상기 메인 오브젝트의 폭과 높이가 상기 삼등분의 법칙에 따른 그리드의 폭과 높이를 각각 2배 한 것보다 큰 케이스로 분류한 후, 분류된 각각의 케이스에 따라 상기 메인 오브젝트의 리타게팅될 위치를 찾는 것을 특징으로 하는 오브젝트 리타게팅에 의한 사진 재구성 방법.
  2. 청구항 1에 있어서,
    상기 분리하는 단계는,
    크로핑하지 않고 알파매트를 수행하여 상기 사진의 배경과 메인 오브젝트를 분리하는 것을 특징으로 하는 오브젝트 리타게팅에 의한 사진 재구성 방법.
  3. 청구항 1에 있어서,
    상기 새로운 배경은,
    상기 메인 오브젝트를 분리한 후의 폐색된 배경 영역을 주변의 텍스처와 합성하여 생성하는 인페인팅에 의해 생성되며, 상기 인페인팅은 NNF(Nearest-Neighbor Field)를 생성하여, 상기 배경의 폐색된 부분과 상기 폐색된 부분의 최근접 영역을 선택하고, 각 영역의 텍스쳐를 합성함으로써, 상기 폐색된 영역을 채우는 것을 특징으로 하는 오브젝트 리타게팅에 의한 사진 재구성 방법.
  4. 청구항 1에 있어서,
    상기 메인 오브젝트의 특징은,
    상기 분리한 메인 오브젝트의 전체 사진에 대한 사이즈 비율, 틸트 각도, 모양, 상기 메인 오브젝트를 구성하는 픽셀들의 인텐시티, 센트로이드, 삼등분의 법칙에 따른 수직라인과 수평라인을 포함하는 서드 라인의 위치, 상기 서드 라인으로부터 상기 센트로이드 간의 유클리디안 거리 및 경계 사각형의 크기를 포함하는 것을 특징으로 하는 오브젝트 리타게팅에 의한 사진 재구성 방법.
  5. 청구항 1에 있어서,
    상기 리타게팅은,
    상기 메인 오브젝트의 모양이 수평방향 또는 수직방향으로 가늘고 긴 모양이 아닌 케이스인 경우,
    상기 삼등분의 법칙에 따른 그리드의 높이와 폭을 2배로 한 후, 상기 메인 오브젝트의 높이와 폭을 비교하여, 상기 메인 오브젝트의 폭과 높이가 2배로 한 그리드의 폭과 높이보다 작으면, 상기 메인 오브젝트의 센트로이드로부터 상기 그리드에 의해 생성된 4개의 포커스 포인트까지의 유클리디언 거리를 기반으로 상기 메인 오브젝트를 수평 또는 수직방향으로 이동시키거나, 상기 유클리디언 거리가 모두 동일한 경우에는 상기 메인 오브젝트를 같은 위치에 그대로 유지하고,
    상기 메인 오브젝트의 사이즈 비율을 [수학식 7]에 의해 리사이징하며,
    상기 이동 및 리사이징 후, 상기 메인 오브젝트에 대한 센트로이드의 변동이 없는 경우 상기 메인 오브젝트를 상기 배경의 인텐서티에 따라 수평방향으로 이동시키는 것을 특징으로 하는 오브젝트 리타게팅에 의한 사진 재구성 방법.
    [수학식 7]
    Figure 112016121582516-pat00054

    여기서 w1과 h1은 리사이징될 상기 오브젝트의 폭과 높이를 각각 나타내며, X와 Y는 사진의 폭과 높이를 각각 나타내고, w와 h는 리사이징전의 오브젝트에 대한 폭과 높이를 각각 나타낸다.
  6. 청구항 1에 있어서,
    상기 리타게팅은,
    상기 메인 오브젝트의 모양이 수평방향으로 가늘고 긴 케이스이거나, 수직방향으로 가늘고 긴 케이스인 경우,
    상기 삼등분의 법칙에 따른 그리드의 높이와 폭을 각각 2배로 한 후, 상기 메인 오브젝트의 높이와 폭을 각각 비교하여, 상기 메인 오브젝트의 폭이 2배로 한 그리드의 폭보다 크지 않거나, 상기 메인 오브젝트의 높이가 2배로 한 그리드의 높이보다 크지 않으면, 상기 메인 오브젝트의 센트로이드로부터 상기 그리드에 의해 생성된 4개의 포커스 포인트까지의 유클리디언 거리를 기반으로 상기 메인 오브젝트를 수평 또는 수직방향으로 이동시키거나, 상기 유클리디언 거리가 모두 동일한 경우에는 상기 메인 오브젝트를 같은 위치에 그대로 유지하고,
    상기 메인 오브젝트의 사이즈 비율을 [수학식 7]에 의해 리사이징하고,
    상기 이동 및 리사이징 후, 상기 메인 오브젝트에 대한 센트로이드의 변동이 없는 경우 상기 메인 오브젝트를 상기 배경의 인텐서티에 따라 수평방향으로 이동시키며,
    상기 메인 오브젝트의 모양이 수직으로 가늘고 긴 경우에 한정하여, 상기 메인 오브젝트를 상기 배경의 인텐서티에 따라 수평방향으로 이동시킨 후, 상기 메인 오브젝트의 틸트 각도에 따라 상기 유클리디안 거리가 최소인 포커스 포인트로 이동시키거나 상기 이동시킨 위치를 유지시키는 것을 특징으로 하는 오브젝트 리타게팅에 의한 사진 재구성 방법.
    [수학식 7]
    Figure 112016121582516-pat00042

    여기서 w1과 h1은 리사이징될 상기 오브젝트의 폭과 높이를 각각 나타내며, X와 Y는 사진의 폭과 높이를 각각 나타내고, w와 h는 리사이징전의 오브젝트에 대한 폭과 높이를 각각 나타낸다.
  7. 청구항 1에 있어서,
    상기 리타게팅은,
    상기 메인 오브젝트의 모양이 상기 메인 오브젝트의 폭과 높이가 상기 삼등분의 법칙에 따른 그리드의 폭과 높이를 각각 2배로 한 것보다 큰 케이스인 경우,
    상기 메인 오브젝트의 센트로이드로부터 상기 그리드에 의해 생성된 4개의 포커스 포인트까지의 유클리디안 거리를 기반으로 하여, 상기 메인 오브젝트를 수평 또는 수직 방향으로 이동시키거나, 상기 유클리디안 거리가 모두 동일하다면 상기 메인 오브젝트는 같은 위치를 그대로 유지하여, 상기 메인 오브젝트의 사이즈 비율을 리사이징 하고,
    상기 이동 또는 리사이징 후, 상기 메인 오브젝트에 대한 센트로이드의 변동이 없는 경우, 상기 메인 오브젝트를 상기 배경의 인텐서티에 따라 수평방향으로 이동시켜, 상기 메인 오브젝트의 틸트 각도에 따라 상기 유클리디안 거리가 최소인 포커스 포인트로 이동시키거나 상기 이동시킨 위치를 유지시키며,
    상기 리사이징은 [수학식 7]에 의해서 수행되는 것을 특징으로 하는 오브젝트 리타게팅에 의한 사진 재구성 방법.
    [수학식 7]
    Figure 112016121582516-pat00043

    여기서 w1과 h1은 리사이징될 상기 오브젝트의 폭과 높이를 각각 나타내며, X와 Y는 사진의 폭과 높이를 각각 나타내고, w와 h는 리사이징전의 오브젝트에 대한 폭과 높이를 각각 나타낸다.
  8. 배경과 메인 오브젝트를 포함하는 사진에서 상기 배경과 상기 메인 오브젝트를 분리하는 오브젝트 분리부;
    상기 메인 오브젝트의 특징을 추출하는 특징 추출부; 및
    상기 추출한 메인 오브젝트의 특징을 기반으로 삼등분의 법칙에 따라 상기 메인 오브젝트를 새로운 배경에 리타게팅(ROI-RT)하는 ROI-RT 리타게팅부;를 포함하며,
    상기 ROI-RT 리타게팅부에서 수행하는 리타게팅은,
    상기 특징 추출부에서 추출한 특징에 따라 상기 메인 오브젝트의 위치와 사이즈를 결정하여 상기 새로운 배경에 삽입하는 것으로서,
    상기 메인 오브젝트의 모양을, 수평방향 또는 수직방향으로 가늘고 긴 모양이 아닌 케이스, 수평방향으로 가늘고 긴 케이스, 수직방향으로 가늘고 긴 케이스, 상기 메인 오브젝트의 폭과 높이가 상기 삼등분의 법칙에 따른 그리드의 폭과 높이를 각각 2배 한 것보다 큰 케이스로 분류한 후, 분류된 각각의 케이스에 따라 상기 메인 오브젝트의 리타게팅될 위치를 찾는 것을 특징으로 하는 오브젝트 리타게팅에 의한 사진 재구성 장치.
  9. 청구항 8에 있어서,
    상기 오브젝트 분리부는,
    크로핑하지 않고 알파매트를 수행하여 상기 사진의 배경과 메인 오브젝트를 분리하는 것을 특징으로 하는 오브젝트 리타게팅에 의한 사진 재구성 장치.
  10. 청구항 8에 있어서,
    상기 새로운 배경은,
    상기 메인 오브젝트를 분리한 후의 폐색된 배경 영역을 주변의 텍스처와 합성하여 생성하는 인페인팅에 의해 생성되며, 상기 인페인팅은 NNF(Nearest-Neighbor Field)를 생성하여, 상기 배경의 폐색된 부분과 상기 폐색된 부분의 최근접 영역을 선택하고, 각 영역의 텍스쳐를 합성함으로써, 상기 폐색된 영역을 채우는 것을 특징으로 하는 오브젝트 리타게팅에 의한 사진 재구성 장치.
  11. 청구항 8에 있어서,
    상기 메인 오브젝트의 특징은,
    상기 분리한 메인 오브젝트의 전체 사진에 대한 사이즈 비율, 틸트 각도, 모양, 상기 메인 오브젝트를 구성하는 픽셀들의 인텐시티, 센트로이드, ROT에 따른 수직라인과 수평라인을 포함하는 서드 라인의 위치, 상기 서드 라인으로부터 상기 센트로이드 간의 유클리디안 거리 및 경계 사각형의 크기를 포함하는 것을 특징으로 하는 오브젝트 리타게팅에 의한 사진 재구성 장치.
  12. 삭제
KR1020160008991A 2016-01-25 2016-01-25 오브젝트 리타게팅에 의한 사진 재구성 방법 및 그 장치 KR101744141B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160008991A KR101744141B1 (ko) 2016-01-25 2016-01-25 오브젝트 리타게팅에 의한 사진 재구성 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160008991A KR101744141B1 (ko) 2016-01-25 2016-01-25 오브젝트 리타게팅에 의한 사진 재구성 방법 및 그 장치

Publications (1)

Publication Number Publication Date
KR101744141B1 true KR101744141B1 (ko) 2017-06-07

Family

ID=59223334

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160008991A KR101744141B1 (ko) 2016-01-25 2016-01-25 오브젝트 리타게팅에 의한 사진 재구성 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR101744141B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200010909A (ko) * 2018-07-23 2020-01-31 (주)지니트 파노라마 크로마키 합성 시스템 및 방법
KR102482262B1 (ko) * 2021-10-12 2022-12-28 주식회사 테스트웍스 객체 분할과 배경 합성을 이용한 데이터 증강 장치 및 방법
WO2023008609A1 (en) * 2021-07-28 2023-02-02 Imtiaz Ahmed Image management server providing a scene image by merging objects from multiple images and method for creating the scene image using the same
KR102610133B1 (ko) * 2023-07-06 2023-12-05 주식회사 젠젠에이아이 합성 이미지 생성 방법 및 시스템
WO2024181738A1 (ko) * 2023-02-28 2024-09-06 삼성전자 주식회사 영상 표시 방법 및 이를 지원하는 전자 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Sidra Riaz, 비모수 스펙트럴 매팅에 기반한 보다 나은 구도를 위한 사진 재구성 방법, 학위논문 석사 조선대학교 대학원 컴퓨터공학과, 2013.08*
시드라 리아즈 외 1인, ROI-RT : 접사 사진에서의 Rule-of-Thirds의 구현, 2012 년도 한국멀티미디어학회 추계학술발표대회 논문집 제 15 권 2 호

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200010909A (ko) * 2018-07-23 2020-01-31 (주)지니트 파노라마 크로마키 합성 시스템 및 방법
KR102133735B1 (ko) 2018-07-23 2020-07-21 (주)지니트 파노라마 크로마키 합성 시스템 및 방법
WO2023008609A1 (en) * 2021-07-28 2023-02-02 Imtiaz Ahmed Image management server providing a scene image by merging objects from multiple images and method for creating the scene image using the same
KR102482262B1 (ko) * 2021-10-12 2022-12-28 주식회사 테스트웍스 객체 분할과 배경 합성을 이용한 데이터 증강 장치 및 방법
WO2024181738A1 (ko) * 2023-02-28 2024-09-06 삼성전자 주식회사 영상 표시 방법 및 이를 지원하는 전자 장치
KR102610133B1 (ko) * 2023-07-06 2023-12-05 주식회사 젠젠에이아이 합성 이미지 생성 방법 및 시스템
KR102610134B1 (ko) * 2023-07-06 2023-12-05 주식회사 젠젠에이아이 합성 이미지 생성 방법 및 시스템
KR102610135B1 (ko) * 2023-07-06 2023-12-05 주식회사 젠젠에이아이 합성 이미지 생성 방법 및 시스템

Similar Documents

Publication Publication Date Title
US9692964B2 (en) Modification of post-viewing parameters for digital images using image region or feature information
KR101744141B1 (ko) 오브젝트 리타게팅에 의한 사진 재구성 방법 및 그 장치
US10284789B2 (en) Dynamic generation of image of a scene based on removal of undesired object present in the scene
US9129381B2 (en) Modification of post-viewing parameters for digital images using image region or feature information
US8494302B2 (en) Importance filtering for image retargeting
US8401336B2 (en) System and method for rapid image sequence depth enhancement with augmented computer-generated elements
US8897596B1 (en) System and method for rapid image sequence depth enhancement with translucent elements
US8675991B2 (en) Modification of post-viewing parameters for digital images using region or feature information
JP4898800B2 (ja) イメージセグメンテーション
JP4865038B2 (ja) 顔検出と肌の色合いの情報を用いたデジタル画像処理
KR101670282B1 (ko) 전경-배경 제약 조건 전파를 기초로 하는 비디오 매팅
JP5432714B2 (ja) 構図解析方法、構図解析機能を備えた画像装置、構図解析プログラム及びコンピュータ読み取り可能な記録媒体
US20040131249A1 (en) Image sequence enhancement system and method
Yen et al. Maintaining temporal coherence in video retargeting using mosaic-guided scaling
US10834379B2 (en) 2D-to-3D video frame conversion
CN110909724B (zh) 一种多目标图像的缩略图生成方法
JP2004288185A (ja) 自然に照明されたシーンの画像の画質を高めるための方法
Wang et al. Simultaneous matting and compositing
CN111523494A (zh) 一种人体图像检测方法
Wang et al. Where2stand: A human position recommendation system for souvenir photography
Chang et al. Panoramic human structure maintenance based on invariant features of video frames
CN111105350B (zh) 大视差场景下基于自身单应性变换的实时视频拼接方法
KR101513931B1 (ko) 구도의 자동보정 방법 및 이러한 구도의 자동보정 기능이 탑재된 영상 장치
CN113240573B (zh) 局部和全局并行学习的高分辨率图像风格变换方法及系统
KR100422470B1 (ko) 3차원 동화상 모델 얼굴 대체 방법 및 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant