KR102025815B1 - 저부조 모델링 장치 및 방법 - Google Patents

저부조 모델링 장치 및 방법 Download PDF

Info

Publication number
KR102025815B1
KR102025815B1 KR1020170171320A KR20170171320A KR102025815B1 KR 102025815 B1 KR102025815 B1 KR 102025815B1 KR 1020170171320 A KR1020170171320 A KR 1020170171320A KR 20170171320 A KR20170171320 A KR 20170171320A KR 102025815 B1 KR102025815 B1 KR 102025815B1
Authority
KR
South Korea
Prior art keywords
map
depth
depth map
threshold value
base
Prior art date
Application number
KR1020170171320A
Other languages
English (en)
Other versions
KR20190070623A (ko
Inventor
손봉수
이예솜
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020170171320A priority Critical patent/KR102025815B1/ko
Publication of KR20190070623A publication Critical patent/KR20190070623A/ko
Application granted granted Critical
Publication of KR102025815B1 publication Critical patent/KR102025815B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 저부조 모델링 장치 및 방법에 관한 것으로, 보다 구체적으로 2차원 영상을 입력받아 피사계 심도 효과를 가진 저부조를 생성하는 저부조 모델링 장치 및 방법에 관한 것이다.

Description

저부조 모델링 장치 및 방법{APPARATUS AND METHOD FOR BAS-RELIEF MODELING}
본 발명은 저부조 모델링 장치 및 방법에 관한 것으로, 보다 구체적으로 2차원 영상을 입력받아 피사계 심도 효과를 가진 저부조를 생성하는 저부조 모델링 장치 및 방법에 관한 것이다.
최근 3D 모델링 기술과 3D 프린팅 기술이 점차 발전하고 있다. 초기 부조 생성 연구는 대부분 3D 이미지로부터 부조를 만들었다. 이는 3D 이미지를 입력으로 하여 깊이 압축을 거쳐 저부조를 생성한다. 이미 완전한 3D 데이터를 기반으로 하기 때문에 부조의 입체감을 표현하기에 유리한 장점을 가진다. 하지만 이러한 방법은 완전한 3D 모델을 가지고 있어야 부조를 생성할 수 있다는 제약이 존재하는 단점이 있다. 또한, 완전한 3D 모델을 생성하기 위해서는 3D 모델링이나 전문 3D 카메라 장비를 이용해야 하는 문제점이 있다.
본 발명 기술에 대한 배경기술은 대한민국 공개특허공보 제10-1366678호에 게시된 바 있다.
본 발명은 일반적인 2차원 영상으로부터 피사계 심도 효과를 가진 저부조를 생성하는 저부조 모델링 장치 및 방법을 제공하는 것이다.
본 발명의 일 측면에 따르면, 저부조 모델링 장치가 제공된다.
본 발명의 일 실시 예에 따른 저부조 모델링 장치는 모바일 단말기로부터 촬영한 시퀀스 영상을 입력받는 영상 입력부, 제1 깊이맵 생성부(120)는 입력된 시퀀스 영상을 그레이스케일 (grayscale)포맷으로 변환하여 참조 영상을 생성하고, 상기 참조 영상으로부터 적응적으로 명암차가 개선된 강조 맵(Intensity map) 및 경계선 맵(Edge map)을 생성하고, 생성한 강조 맵과 경계선 맵을 결합하여 디테일 맵(Detail map)을 생성하는 제1 깊이맵 생성부, 입력된 시퀀스 영상에서 멀티뷰 스테레오 알고리즘(Multi-View Stereo algorithm)을 통해 초기 깊이맵을 생성하고, 생성한 초기 깊이맵에서 일정 영역마다 다른 임계값을 기준으로 명암차(Contrast)를 극대화하여 베이스 맵(Base map)을 생성하는 제2 깊이맵 생성부 및 생성한 디테일 맵과 베이스 맵을 결합하여 피사계 심도(Depth of field; DOF)효과가 적용된 최종 깊이맵을 생성하는 깊이맵 결합부를 포함한다.
본 발명의 다른 측면에 따르면, 저부조 모델링 방법이 제공된다.
본 발명의 일 실시 예에 따른 저부조 모델링 방법은 모바일 단말기로부터 촬영한 시퀀스 영상을 입력 받는 단계, 입력된 시퀀스 영상을 그레이스케일(grayscale) 포맷으로 변환하여 참조 영상을 생성하는 단계, 생성한 참조 영상으로부터 적응적으로 명암차가 개선된 강조 맵(Intensity map) 및 경계선 맵(Edge map)을 생성하고, 생성한 강조 맵과 경계선 맵을 결합하여 디테일 맵(Detail map)을 생성하는 단계, 입력된 시퀀스 영상에서 멀티뷰 스테레오 알고리즘(Multi-View Stereo algorithm)을 통해 초기 깊이맵을 생성하는 단계, 생성한 초기 깊이맵에서 일정 영역마다 다른 임계값을 기준으로 명암차(Contrast)를 극대화하여 베이스 맵을 생성하는 단계 및 생성한 디테일 맵과 베이스 맵을 결합하여 피사계 심도(Depth of field; DOF)효과가 적용된 최종 깊이맵을 생성하는 단계를 포함한다.
본 발명은 3D 모델링이나 전문 3D 카메라 장비 없이 저가로 2차원 영상으로부터 피사계 심도 효과를 가진 저부조를 빠르게 생성할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 저부조 모델링 장치를 예시한 도면이다.
도 2 내지 도 5는 본 발명의 일 실시 예에 따른 저부조 모델링 장치를 설명하기 위한 도면들이다.
도 6은 본 발명의 일 실시 예에 따른 저부조 모델링 장치를 이용하여 생성된 최종 깊이맵을 예시한 도면이다.
도 7은 본 발명의 일 실시 예에 따른 저부조 모델링 방법의 흐름도를 예시한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
이하, 본 발명의 실시 예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다.
도 1 내지 도 6은 본 발명의 일 실시 예에 따른 저부조 모델링 장치 및 이를 설명하기 위한 도면이다.
도 1을 참조하면, 저부조 모델링 장치(100)는 영상 입력부(110), 제1 깊이맵 생성부(120), 제2 깊이맵 생성부(130) 및 깊이맵 결합부(140)를 포함한다.
영상 입력부(110)는 모바일 단말기로부터 촬영한 시퀀스 영상을 입력받는다. 예를 들면, 영상 입력부(110)는 모바일 단말기에 설치된 구글 카메라 어플리케이션을 이용하여 시차가 존재하는 2차원의 시퀀스 영상을 입력 받을 수 있다.
제1 깊이맵 생성부(120)는 입력된 시퀀스 영상을 그레이스케일(grayscale) 포맷으로 변환하여 참조 영상을 생성하고, 생성한 참조 영상으로부터 적응적으로 명암차가 개선된 강조 맵(Intensity map) 및 경계선 맵(Edge map)을 생성하고, 생성한 강조 맵과 경계선 맵을 결합하여 디테일 맵(Detail map)을 생성한다. 디테일 맵을 생성하는 방법은 식 1과 같다.
Ddetail(x,y)= βIcontrast(x,y)+γE(x,y) (1)
상기 식 1에서 Ddetail 은 디테일 맵, Icontras은 강조 맵(Intensity map), E는 경계선 맵(Edge map), β 및 γ 는 사용자 제어 계수를 의미한다.
도 2를 참조하면, 본 발명의 일 실시 예에 따른 제1 깊이맵 생성부(120)는 도 2의 (a)와 같이 그레이스케일 포맷의 참조 영상에 소벨 연산자(Sobel operator)를 적용하여 (b)와 같이 경계선 맵을 생성할 수 있다. 이때, 경계선 맵은 노이즈를 포함할 수 있다. 이에 제1 깊이맵 생성부(120)는 소벨 연산자가 적용된 경계선 맵에 가우시안 커널 함수를 적용하여 두드러진 경계선 특징을 보존하면서 노이즈를 제거할 수 있다. 제1 깊이맵 생성부(120)는 도 2의 (b)와 같이 생성한 경계선 맵과 (c)와 같이 생성한 강조 맵을 혼합하여 (d)와 같이 디테일 맵을 생성할 수 있다. 생성된 디테일 맵을 저부조 표면으로 나타내면 도 2의 (e) 및 (f)와 같다.
제2 깊이맵 생성부(130)는 입력된 시퀀스 영상에서 멀티뷰 스테레오 알고리즘(Multi-View Stereo algorithm)을 통해 초기 깊이맵을 생성한다. 여기서 멀티뷰 스테레오 알고리즘은 깊이맵을 연산하는 알고리즘으로, 카메라의 3차원 위치와 방향 및 이미지 특징들을 계산하고 시퀀스 영상의 각 이미지를 추적한다. 이를 기반으로 시퀀스 영상에서 특징점의 3차원 위치를 추정하고, 참조 영상에서 시퀀스의 3차원 모델을 구성함으로써 초기 깊이맵을 생성할 수 있다. 여기서, 초기 깊이맵은 카메라에서 대상체까지의 거리를 나타내는 깊이값을 포함하나, 대상체의 볼록하고 오목한 특징을 표현하기에 충분한 명암차가 없는 상태이다.
이에, 제2 깊이맵 생성부(130)는 생성한 초기 깊이맵에서 일정 영역마다 다른 임계값을 기준으로 명암차(Contrast)를 극대화하여 베이스 맵(Base map)을 생성한다. 예를 들면, 제2 깊이맵 생성부(130)는 CLAHE(contrast limited adaptive histogram equalization)을 이용하여 초기 깊이맵에서 일정 영역마다 서로 다른 임계값을 적용하여 피사계 심도 효과를 얻을 수 있다. 여기서 CLAHE는 이미지를 일정 영역으로 구획하여 구획된 영역의 히스토그램을 균일하게 하는 알고리즘으로, 명암차를 제안하여 히스토그램을 균일하게 함으로써 극단적으로 어둡거나 밝은 영역이 발생하지 않고 윤곽선이 유지되면서 전체적인 명암차가 극대화되는 효과가 있다. 기존의 CLAHE 방법은 일정 영역마다 균일한 임계값을 적용하여 히스토그램 간격(interval)의 최대폭이 제한된다. 반면, 본 발명의 일 실시예에 따른 제2 깊이맵 생성부(130)는 일정 영역마다 서로 다른 임계값을 적용하여 깊이 정보가 반영된 베이스 맵을 생성할 수 있다.
Θ(x,y)=kθ(RankRatio(│Dorig(x,y)-focalDepth│)-1)+θ (2)
0 ≤ k ≤ 1, 0 ≤ RankRatio(X) ≤ 1
상기 식 2에서 Dorig(x, y)는 초기 깊이맵의 각 픽셀 위치에서 깊이 값을 기반으로 변경되는 임계값을 의미하고, θ는 참조 임계값, k는 임계차의 차수를 의미하며, RankRatio(X)는 영상의 일부 영역에서 X의 순위를 X의 모든 가능한 수로 나눈 값을 의미한다. 상기 θ및 k는 사용자가 설정 가능한 매개변수이다. 예를 들면, k가 0이면 깊이에 관계없이 동일한 임계값이 각 지점에 적용되는 반면, k가 0이상의 값이면 전경과 배경의 대비를 제한하여 각 지점마다 다른 임계값이 적용된다.
도 3을 참조하면, 저부조 모델링 장치(100)는 도 3의 (a)와 같이 생성된 초기 깊이맵에 본 발명에서 제안하는 CLAHE 알고리즘을 적용하여 (c)와 같이 지역 명암차를 향상시키면서 자연스럽고 균형 잡힌 맵을 생성할 수 있다. 도 3의 (b)는 (a)에 종래에 사용된 AHE 일고리즘을 적용한 결과 맵으로, (c)에 비해 부자연스러운 명암차를 나타낸다. 도 3의 (d)는 (c)를 이용하여 저부조 표면을 생성한 것으로, 초기 깊이맵에서 초점이 맞지 않는 배경의 명암차를 최소화하고 머리카락, 얼굴, 옷, 나무 건물 영역의 경계를 명확하게 나타냄을 확인할 수 있다.
깊이맵 결합부(140)는 생성한 디테일 맵과 베이스 맵을 결합하여 피사계 심도(Depth of field; DOF)효과가 적용된 최종 깊이맵을 생성한다.
Dfinal(x,y) = DOF(αDbase(x,y)+Ddetail(x,y)) (3)
상기 식 3에서 Dfinal는 최종 깊이맵, Dbase는 베이스 맵, Ddetail는 디테일 맵, α 는 사용자 제어 계수, DOF는 피사계 심도 효과를 나타내는 함수를 의미한다.
도 4 및 도 5를 참조하면, 깊이맵 결합부(140)는 피사계 심도 효과를 나타내는 CoCLightDistribution 함수를 이용하여 최종 깊이맵을 생성할 수 있다. CoCLightDistribution 함수에서 CoC diameter 는 포커스가 정확히 맞은 상태인 초점면의 한 점을 중심으로 그 주위를 둘러싼 부분이 하나의 원으로 필름에 기록되는 착란원(Circle of confusion; CoC)을 의미한다. CoCLightDistribution 함수는 가변 크기의 필터링 커널을 사용하여 각 픽셀에 대한 착란원(CoC)을 추정한다. 이를 통해 주어진 깊이 값에서 초점 평면까지의 거리가 비례하게 CoC diameter 을 증가시킴으로써 최종 깊이맵의 깊이 값을 근사화 시킨다. 이때, 초점 평면으로부터 깊이 값이 너무 먼 지점일 경우는 도 5와 같이 CoC diameter 를 상수값으로 근사화 시킨다. 도 5에서 focalDepth 및 μ는 초점 심도 및 흐림 정도에 대한 사용자 지정 가능한 매개 변수이다.
도 6은 본 발명의 일 실시 예에 따른 저부조 모델링 장치를 이용하여 생성된 최종 깊이맵을 예시한 도면이다.
도 6에서 (a)는 피사계 심도(DOF) 효과가 적용되지 않은 깊이맵, (b) 및 (c)는 (a)를 저부조 표면으로 나타낸 도면이고, (d)는 피사계 심도(DOF) 효과가 적용된 깊이맵, (e) 및 (f)는 (d)를 저부조 표면으로 나타낸 도면을 나타낸다. 도 6의 (b)및 (c)의 경우는 전반적인 깊이와 사물의 세부 묘사가 자세하지만 전경 물체가 얕은 깊이를 가지고 있다. 반면 도 (e)및 (f)는 다소 복잡하고 배경 물체를 흐르게 함으로써 전경 물체가 깊은 깊이를 가지는 것을 확인할 수 있다. 이처럼, 본 발명의 일 실시 예에 따른 저부조 모델링 장치(100)는 사용자는 초점을 지정하여 다양한 피사계 심도 효과가 적용된 저부조를 생성하는 것이 가능하다.
도 7은 본 발명의 일 실시 예에 따른 저부조 모델링 장치를 이용한 저부조 모델링 방법의 흐름도를 예시한 도면이다.
도 7을 참조하면, 단계 S710에서 저부조 모델링 장치는 모바일 단말기로부터 촬영한 시퀀스 영상을 입력 받는다. 예를 들면, 저부조 모델링 장치는 모바일 단말기에 설치된 구글 카메라 어플리케이션을 이용하여 시차가 존재하는 2차원의 시퀀스 영상을 입력 받을 수 있다.
단계 S720에서 저부조 모델링 장치는 입력된 시퀀스 영상을 그레이스케일(grayscale) 포맷으로 변환하여 참조 영상을 생성한다.
단계 S730에서 저부조 모델링 장치는 생성한 참조 영상으로부터 적응적으로 명암차가 개선된 강조 맵(Intensity map) 및 경계선 맵(Edge map)을 생성하고, 생성한 강조 맵과 경계선 맵을 결합하여 디테일 맵(Detail map)을 생성한다. 디테일 맵을 생성하는 방법은 식 1과 같다.
Ddetail(x,y)= βIcontrast(x,y)+γE(x,y) (1)
상기 식 1에서 Ddetail 은 디테일 맵, Icontras은 강조 맵(Intensity map), E는 경계선 맵(Edge map), β 및 γ 는 사용자 제어 계수를 의미한다. 본 발명의 일 실시 예에 따른 저부조 모델링 장치는 그레이스케일 포맷의 참조 영상에 소벨 연산자(Sobel operator)를 적용하여 경계선 맵을 생성할 수 있다. 이때, 경계선 맵은 노이즈를 포함할 수 있다. 이에 소벨 연산자가 적용된 경계선 맵에 가우시안 커널 함수를 적용하여 두드러진 경계선 특징을 보존하면서 노이즈가 제거된 경계선 맵을 추출할 수 있다.
단계 S740에서 저부조 모델링 장치는 단계 S710에서 입력된 시퀀스 영상에서 멀티뷰 스테레오 알고리즘(Multi-View Stereo algorithm)을 통해 초기 깊이맵을 생성한다. 여기서 멀티뷰 스테레오 알고리즘은 깊이맵을 연산하는 알고리즘으로, 카메라의 3차원 위치와 방향 및 이미지 특징들을 계산하고 시퀀스 영상의 각 이미지를 추적한다. 이를 기반으로 시퀀스 영상에서 특징점의 3차원 위치를 추정하고, 참조 영상에서 시퀀스의 3차원 모델을 구성함으로써 초기 깊이맵을 생성할 수 있다. 여기서, 초기 깊이맵은 카메라에서 대상체까지의 거리를 나타내는 깊이값을 포함하나, 대상체의 볼록하고 오목한 특징을 표현하기에 충분한 명암차가 없는 상태이다.
단계 S750에서 저부조 모델링 장치는 생성한 초기 깊이맵에서 일정 영역마다 다른 임계값을 기준으로 명암차(Contrast)를 극대화하여 베이스 맵을 생성한다. 예를 들면, 저부조 모델링 장치는 CLAHE(contrast limited adaptive histogram equalization)을 이용하여 초기 깊이맵에서 일정 영역마다 서로 다른 임계값을 적용하여 피사계 심도 효과를 얻을 수 있다. 여기서 CLAHE는 이미지를 일정 영역으로 구획하여 구획된 영역의 히스토그램을 균일하게 하는 알고리즘으로, 명암차를 제안하여 히스토그램을 균일하게 함으로써 극단적으로 어둡거나 밝은 영역이 발생하지 않고 윤곽선이 유지되면서 전체적인 명암차가 극대화되는 효과가 있다. 적응적 임계값은 식 2를 이용하여 산출할 수 있다.
Θ(x,y)=kθ(RankRatio(│Dorig(x,y)-focalDepth│)-1)+θ(2)
0 ≤ k ≤ 1, 0 ≤ RankRatio(X) ≤ 1
상기 식 2에서 Dorig(x, y)는 초기 깊이맵의 각 픽셀 위치에서 깊이 값을 기반으로 변경되는 임계값을 의미하고, θ는 참조 임계값, k는 임계차의 차수를 의미하며, RankRatio(X)는 영상의 일부 영역에서 X의 순위를 X의 모든 가능한 수로 나눈 값을 의미한다. 이때, θ및 k는 사용자가 설정 가능한 매개변수이다. 예를 들면, k가 0이면 깊이에 관계없이 동일한 임계값이 각 지점에 적용되는 반면, k가 0이상의 값이면 전경과 배경의 대비를 제한하여 각 지점마다 다른 임계값이 적용된다.
기존의 CLAHE 방법은 일정 영역마다 균일한 임계값을 적용하여 히스토그램 간격(interval)의 최대폭이 제한된다. 반면, 본 발명의 일 실시예에 따른 저부조 모델링 장치는 일정 영역마다 서로 다른 임계값을 적용하여 깊이 정보가 반영된 베이스 맵을 생성할 수 있다.
단계 S760에서 저부조 모델링 장치는 생성한 디테일 맵과 베이스 맵을 결합하여 피사계 심도(Depth of field; DOF)효과가 적용된 최종 깊이맵을 식 3을 이용하여 생성한다.
Dfinal(x,y) = DOF(αDbase(x,y)+Ddetail(x,y)) (3)
상기 식 3에서 D final 는 최종 깊이맵, D base 는 베이스 맵, D detail 는 디테일 맵, α 는 사용자 제어 계수, DOF는 피사계 심도 효과를 나타내는 함수를 의미한다. 피사계 심도 효과를 나타내는 함수는 도 4 및 5를 참조하여 설명한 바와 같다.
본 발명의 처리 속도를 측정한 결과는 하기 표 1과 같다.
실험은 삼성 갤럭시 S3에 설치된 구글 카메라 어플리케이션을 사용하여 촬영된 총 4가지 사진을 이용하여 4.0GHz Intel CPU 및 16GB 주 메모리가 장착 된 데스크탑에서 MATLAB 및 C ++을 사용하여 구현된 상술한 저부조 모델링 방법의 처리 속도를 측정하였다. 하기 표 1과 같이 본 발명의 일 실시 예에 따른 저부조 모델링 방법은 20초 미만의 시간이 소요됨을 확인할 수 있다.
Dataset Size Base Map Construction Detail Map
Construction		 DOF Effects Total
(unit:second)
man 1 384×512 2.67 5.26 2.51 10.44
man 2 384×512 2.54 5.17 2.49 10.2
building 676×556 4.72 9.25 4.23 18.20
plamodel 384×512 2.32 4.91 2.31 9.54
본 발명의 다양한 실시 예에 따른 저부조 모델링 방법은 다양한 서버 등의 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현될 수 있다. 또한, 본 발명에 따른 저부조 모델링 방법을 실행하는 프로그램 및 애플리케이션은 컴퓨터 수단에 설치되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100: 저부조 모델링 장치
110: 영상 입력부
120: 제1 깊이맵 생성부
130: 제2 깊이맵 생성부
140: 깊이맵 결합부

Claims (11)

  1. 저부조 모델링 장치에 있어서,
    모바일 단말기로부터 촬영한 시퀀스 영상을 입력받는 영상 입력부;
    적용하여 시퀀스 영상을 그레이스케일 (grayscale)포맷으로 변환하여 참조 영상을 생성하고, 상기 참조 영상으로부터 적응적으로 명암차가 개선된 강조 맵(Intensity map) 및 경계선 맵(Edge map)을 생성하고, 생성한 강조 맵과 경계선 맵을 결합하여 디테일 맵(Detail map)을 생성하는 제1 깊이맵 생성부;
    입력된 시퀀스 영상에서 멀티뷰 스테레오 알고리즘(Multi-View Stereo algorithm)을 통해 초기 깊이맵을 생성하고, 생성한 초기 깊이맵에서 일정 영역마다 서로 다른 제1 임계값을 기준으로 명암차(Contrast)를 극대화하여 베이스 맵(Base map)을 생성하는 제2 깊이맵 생성부; 및
    생성한 디테일 맵과 베이스 맵을 결합하여 최종 깊이맵을 생성하는 깊이맵 결합부;를 포함하고,
    상기 제2 깊이맵 생성부는,
    상기 초기 깊이맵에 상기 제1 임계값을 적용하여 피사계 심도(Depth of field; DOF) 효과가 상기 초기 깊이맵에 적용된 효과를 얻을 수 있고,
    상기 깊이맵 결합부는 아래의 수학식 3을 이용하여 최종 깊이맵을 산출하되,
    Dfinal(x,y) = DOF(αDbase(x,y)+Ddetail(x,y))(3)
    상기 수학식 3에서 Dfinal 는 최종 깊이맵, Dbase 는 베이스 맵, Ddetail 는 디테일 맵, α 는 사용자 제어 계수, DOF는 피사계 심도 효과를 나타내는 함수를 의미하고,
    상기 피사계 심도 효과를 나타내는 함수는 가변 크기의 필터링 커널을 사용하여 각 픽셀에 대한 착란원(Circle of confusion; CoC)을 추정하여 최종 깊이맵의 깊이 값을 근사화하는 저부조 모델링 장치.
  2. 제1항에 있어서,
    상기 제1 깊이맵 생성부는 그레이스케일 포맷으로 변환된 참조 영상에 소벨 연산자를 적용하여 경계선 맵을 생성하되, 가우시안 커널 함수를 적용하여 두드러진 경계선 특징을 보존하면서 노이즈를 제거하는 저부조 모델링 장치.
  3. 제1항에 있어서,
    상기 제2 깊이맵 생성부는 CLAHE(contrast limited adaptive histogram equalization)을 이용하여 초기 깊이맵에서 일정 영역마다 서로 다른 제1 임계값을 적용하여 베이스 맵을 생성하고,
    상기 베이스 맵은,
    상기 제2 깊이맵 생성부가 적용한 상기 CLAHE에 의해 피사계 심도 효과가 적용된 효과를 나타내는 베이스 맵인 저부조 모델링 장치.
  4. 제3항에 있어서,
    상기 초기 깊이맵에서 일정 영역마다 서로 다르게 적용되는 상기 제1 임계값Θ(x,y)는 아래의 수학식 2를 이용하여 산출하되,
    Θ(x,y)=kθ(RankRatio(│Dorig(x,y)-focalDepth│)-1)+θ (2)
    0 ≤ k ≤ 1, 0 ≤ RankRatio(X) ≤ 1
    상기 수학식 2에서 Θ(x,y)은 깊이맵의 (x,y)좌표에 적용될 제1 임계값을 의미하고, Dorig (x, y)는 초기 깊이맵의 각 픽셀 위치에서 깊이 값을 기반으로 변경되는 제2 임계값을 의미하고, θ는 참조 임계값, k는 임계차의 차수를 의미하며, RankRatio(X)는 영상의 일부 영역에서 X의 순위를 X의 모든 가능한 수로 나눈 값을 의미하되,
    k가 0이면 깊이에 관계없이 동일한 제1 임계값이 각 지점에 적용되고, k가 0이상의 값이면 전경과 배경의 대비를 제한하여 각 지점마다 다른 제1 임계값이 적용되는 저부조 모델링 장치.
  5. 삭제
  6. 저부조 모델링 장치를 이용하여 저부조 모델링을 수행하는 저부조 모델링 방법에 있어서,
    영상 입력부가 모바일 단말기로부터 촬영한 시퀀스 영상을 입력 받는 단계;
    제1 깊이맵 생성부가 입력된 시퀀스 영상을 그레이스케일(grayscale) 포맷으로 변환하여 참조 영상을 생성하는 단계;
    제1 깊이맵 생성부가 생성한 상기 참조 영상으로부터 적응적으로 명암차가 개선된 강조 맵(Intensity map) 및 경계선 맵(Edge map)을 생성하고, 생성한 강조 맵과 경계선 맵을 결합하여 디테일 맵(Detail map)을 생성하는 단계;
    제2 깊이맵 생성부가 입력된 시퀀스 영상에서 멀티뷰 스테레오 알고리즘(Multi-View Stereo algorithm)을 통해 초기 깊이맵을 생성하는 단계;
    제2 깊이맵 생성부가 생성한 상기 초기 깊이맵에서 일정 영역마다 서로 다르게 적용되는 제1 임계값을 기준으로 명암차(Contrast)를 극대화하여 베이스 맵을 생성하는 단계; 및
    깊이맵 결합부가 생성한 디테일 맵과 베이스 맵을 결합하여 최종 깊이맵을 생성하는 단계;를 포함하고,
    상기 베이스 맵을 생성하는 단계는,
    제2 깊이맵 생성부가 상기 초기 깊이맵에 상기 제1 임계값을 적용하여 피사계 심도(Depth of field; DOF)효과가 상기 초기 깊이맵에 적용된 효과를 얻을 수 있고,
    상기 생성한 디테일 맵과 베이스 맵을 결합하여 최종 깊이맵을 생성하는 단계는,
    아래의 수학식 3을 이용하여 최종 깊이맵을 산출하되,
    Dfinal(x,y) = DOF(αDbase(x,y)+Ddetail(x,y))(3)
    상기 수학식 3에서 Dfinal 는 최종 깊이맵, Dbase 는 베이스 맵, Ddetail 는 디테일 맵, α 는 사용자 제어 계수, DOF는 피사계 심도 효과를 나타내는 함수를 의미하고,
    상기 피사계 심도 효과를 나타내는 함수는 가변 크기의 필터링 커널을 사용하여 각 픽셀에 대한 착란원 Circle of confusion; CoC)을 추정하여 최종 깊이맵의 깊이 값을 근사화하는 저부조 모델링 방법.
  7. 제6항에 있어서,
    상기 생성한 참조 영상으로부터 적응적으로 명암차가 개선된 강조 맵(Intensity map) 및 경계선 맵(Edge map)을 생성하고, 생성한 강조 맵과 경계선 맵을 결합하여 디테일 맵(Detail map)을 생성하는 단계는
    그레이스케일 포맷으로 변환된 참조 영상에 소벨 연산자를 적용하여 경계선 맵을 생성하되, 가우시안 커널 함수를 적용하여 두드러진 경계선 특징을 보존하면서 노이즈를 제거하는 저부조 모델링 방법.
  8. 제6항에 있어서,
    상기 생성한 초기 깊이맵에서 일정 영역마다 서로 다르게 적용되는 제1 임계값을 기준으로 명암차(Contrast)를 극대화하여 베이스 맵을 생성하는 단계는
    상기 제2 깊이맵 생성부가 CLAHE(contrast limited adaptive histogram equalization)을 이용하여 초기 깊이맵에서 일정 영역마다 서로 다른 제1 임계값을 적용하여 베이스 맵을 생성하고,
    상기 베이스 맵은,
    상기 제2 깊이맵 생성부가 적용한 상기 CLAHE에 의해 피사계 심도 효과가 적용된 효과를 나타내는 베이스 맵인, 저부조 모델링 방법.
  9. 제8항에 있어서,
    상기 초기 깊이맵에서 일정 영역마다 서로 다르게 적용되는 제1 임계값 Θ(x,y)는 아래의 수학식 2를 이용하여 산출하되,
    Θ(x,y)=kθ(RankRatio(│Dorig(x,y)-focalDepth│)-1)+θ (2)
    0 ≤ k ≤ 1, 0 ≤ RankRatio(X) ≤ 1
    상기 수학식 2에서 Θ(x,y)은 깊이맵의 (x,y)좌표에 적용될 제1 임계값을 의미하고, Dorig (x, y)는 초기 깊이맵의 각 픽셀 위치에서 깊이 값을 기반으로 변경되는 제2 임계값을 의미하고, θ는 참조 임계값, k는 임계차의 차수를 의미하며, RankRatio(X)는 영상의 일부 영역에서 X의 순위를 X의 모든 가능한 수로 나눈 값을 의미하되,
    k가 0이면 깊이에 관계없이 동일한 제1 임계값이 각 지점에 적용되고, k가 0이상의 값이면 전경과 배경의 대비를 제한하여 각 지점마다 다른 제1 임계값이 적용되는 저부조 모델링 방법.
  10. 삭제
  11. 제6항 내지 제9항 중 어느 한 항의 저부조 모델링 방법을 실행하기 위하여 컴퓨터가 판독 가능한 기록매체에 저장된 컴퓨터 프로그램.
KR1020170171320A 2017-12-13 2017-12-13 저부조 모델링 장치 및 방법 KR102025815B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170171320A KR102025815B1 (ko) 2017-12-13 2017-12-13 저부조 모델링 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170171320A KR102025815B1 (ko) 2017-12-13 2017-12-13 저부조 모델링 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190070623A KR20190070623A (ko) 2019-06-21
KR102025815B1 true KR102025815B1 (ko) 2019-11-26

Family

ID=67056537

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170171320A KR102025815B1 (ko) 2017-12-13 2017-12-13 저부조 모델링 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102025815B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101366678B1 (ko) 2013-04-26 2014-02-25 (주)이노션 3차원 대형 입체 영상 장치와 이를 포함하는 시스템 및 3차원 입체 영상 구동 방법.
CN103617652A (zh) 2013-11-02 2014-03-05 西北农林科技大学 一种基于视觉显著性的浅浮雕生成方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101779532B1 (ko) * 2016-01-27 2017-09-19 대진대학교 산학협력단 2차원 이미지를 3차원 이미지로 복원하는 방법 및 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101366678B1 (ko) 2013-04-26 2014-02-25 (주)이노션 3차원 대형 입체 영상 장치와 이를 포함하는 시스템 및 3차원 입체 영상 구동 방법.
CN103617652A (zh) 2013-11-02 2014-03-05 西北农林科技大学 一种基于视觉显著性的浅浮雕生成方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Sohn, Bong-Soo. "Ubiquitous creation of digital bas-reliefs using smartphone." Ubiquitous and Future Networks (ICUFN), 2016 Eighth International Conference on. IEEE(2016.07.)*
To, Hai Thien, and Bong-Soo Sohn. "Bas-relief generation from face photograph based on facial feature detection." 한국 HCI 학회 학술대회 (2016.01.)*
Yu, Tin-Tin. "Depth of field implementation with OpenGL." Journal of Computing Sciences in Colleges 20.1 (2004)*
Zeng, Qiong, et al. "Region-based bas-relief generation from a single image." Graphical Models 76.3 (2014)*

Also Published As

Publication number Publication date
KR20190070623A (ko) 2019-06-21

Similar Documents

Publication Publication Date Title
KR102415505B1 (ko) 스테레오 영상 매칭 방법 및 장치
JP5156837B2 (ja) 領域ベースのフィルタリングを使用する奥行マップ抽出のためのシステムおよび方法
KR102350232B1 (ko) 스테레오 영상 매칭 방법 및 장치
US10163246B2 (en) Three-dimensional image generation apparatus and method using region extension of object in depth map
Gautier et al. Depth-based image completion for view synthesis
US10482656B2 (en) 3D face modeling methods and apparatuses
US9519956B2 (en) Processing stereo images
US20150228081A1 (en) Method and apparatus for reconstructing 3d face with stereo camera
TW201432622A (zh) 產生一關於一影像之深度圖
KR20150037369A (ko) 영상의 노이즈를 저감하는 방법 및 이를 이용한 영상 처리 장치
US9613403B2 (en) Image processing apparatus and method
Phan et al. Semi-automatic 2D to 3D image conversion using scale-space random walks and a graph cuts based depth prior
KR20100135032A (ko) 2차원 영상의 3차원 영상 변환 장치 및 방법
KR20100040593A (ko) 영상처리 장치 및 방법
JP2020010146A (ja) 画像処理装置、画像処理方法、及びプログラム
JP6934224B2 (ja) 三次元形状モデル生成装置、三次元形状モデル生成方法及びプログラム
WO2012100225A1 (en) Systems and methods for generating a three-dimensional shape from stereo color images
JP5175910B2 (ja) 画像処理装置、画像処理方法およびプログラム
JPWO2019107180A1 (ja) 符号化装置、符号化方法、復号装置、および復号方法
US9171357B2 (en) Method, apparatus and computer-readable recording medium for refocusing photographed image
Jung A modified model of the just noticeable depth difference and its application to depth sensation enhancement
KR102025815B1 (ko) 저부조 모델링 장치 및 방법
Aydin et al. A New Adaptive Focus Measure for Shape From Focus.
Broad et al. Light field completion using focal stack propagation
CN105551006B (zh) 一种深度图像缺失像素的修复方法及系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right