KR102459851B1 - 이미지의 밝기를 조절하는 방법 및 장치 - Google Patents

이미지의 밝기를 조절하는 방법 및 장치 Download PDF

Info

Publication number
KR102459851B1
KR102459851B1 KR1020150174649A KR20150174649A KR102459851B1 KR 102459851 B1 KR102459851 B1 KR 102459851B1 KR 1020150174649 A KR1020150174649 A KR 1020150174649A KR 20150174649 A KR20150174649 A KR 20150174649A KR 102459851 B1 KR102459851 B1 KR 102459851B1
Authority
KR
South Korea
Prior art keywords
image
brightness
input image
light source
surface normal
Prior art date
Application number
KR1020150174649A
Other languages
English (en)
Other versions
KR20170033758A (ko
Inventor
손민정
이희세
사공동훈
이기창
이형욱
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US15/250,980 priority Critical patent/US9922452B2/en
Priority to EP16187083.7A priority patent/EP3144899B1/en
Priority to CN201610825710.7A priority patent/CN106548455B/zh
Priority to JP2016180644A priority patent/JP6864449B2/ja
Publication of KR20170033758A publication Critical patent/KR20170033758A/ko
Application granted granted Critical
Publication of KR102459851B1 publication Critical patent/KR102459851B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Generation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)

Abstract

이미지의 밝기를 조절하는 장치 및 방법이 제공된다. 일 실시예에 따른 이미지의 밝기를 조절하는 장치는 객체 모델 및 표면 노멀 맵을 이용하여 입력 이미지에 나타나는 객체에 대한 가상 광원의 음영 효과를 표현할 수 있다.

Description

이미지의 밝기를 조절하는 방법 및 장치{DEVICE AND METHOD TO ADJUST BRIGHTNESS OF IMAGE}
이하, 이미지의 밝기를 조절하는 기술이 제공된다.
스마트폰 등과 같은 스마트 기기가 널리 보급되고 있고, 이러한 스마트 기기는 일반적으로 사용자에 의한 컨텐츠 제작이 가능하도록 카메라가 내장된다. 스마트 기기는 내장된 카메라를 통해 사진 및 동영상 등을 촬영할 수 있다. 또한, 스마트 기기는 촬영된 사진을 디스플레이하거나 동영상을 재생하는 기능을 제공할 수 있다.
더 나아가, 스마트 기기는 사용자가 이미지 등을 편집할 수 있는 기능을 제공할 수 있다. 예를 들어, 사용자는 스마트 기기를 통해 촬영된 이미지를 사용자가 자신의 취향에 따라 이미지의 색상 및 크기 등을 변경할 수 있다. 스마트 기기는 사용자가 보다 편리하고 자연스럽게 이미지를 편집할 수 있도록 편집 기능을 제공할 수 있다.
일 실시예에 따른 이미지의 밝기를 조절하는 방법은, 객체가 나타나는 입력 이미지로부터 추출된 상기 객체의 특징점에 기초하여, 객체 모델을 상기 객체에 매칭하는 단계, 상기 매칭된 객체 모델에 기초하여, 2차원 이미지 형식의 표면 노멀 맵을 상기 입력 이미지에 매핑하는 단계, 및 상기 매핑된 표면 노멀 맵 및 가상 광원(virtual light source)에 기초하여, 상기 입력 이미지에 대한 음영 정보를 생성하는 단계를 포함할 수 있다.
상기 표면 노멀 맵을 상기 입력 이미지에 매핑하는 단계는, 상기 매칭된 객체 모델의 각 특징점이 위치하는 지점의 노멀 벡터를 보간(interpolate)하여 상기 표면 노멀 맵을 생성하는 단계를 포함할 수 있다.
상기 표면 노멀 맵을 상기 입력 이미지에 매핑하는 단계는, 상기 객체 모델과 연관되어 데이터베이스에 미리 저장된 표면 노멀 모델을 변환(transform)하여 상기 표면 노멀 맵을 생성하는 단계를 포함할 수 있다.
상기 객체 모델을 상기 입력 이미지에 매칭하는 단계는, 상기 객체 모델의 특징점의 좌표를 상기 입력 이미지의 특징점의 좌표로 변환(transform)하는 변환 함수(transformation function)를 결정하는 단계를 포함할 수 있다.
상기 표면 노멀 맵을 상기 입력 이미지에 매핑하는 단계는, 상기 결정된 변환 함수를 이용하여, 표면 노멀 모델의 각 좌표를 변환하여 2차원 이미지 형식의 표면 노멀 맵(transformed normal map)을 생성하는 단계를 포함할 수 있다.
상기 음영 정보를 생성하는 단계는, 상기 표면 노멀 맵의 각각의 좌표의 노멀 벡터 및 해당 좌표에서의 상기 가상 광원에 의한 광 벡터(light vector) 간의 내적(dot product) 연산(calculation)을 수행하는 단계를 포함할 수 있다.
상기 내적 연산을 수행하는 단계는, 상기 가상 광원의 위치 및 상기 입력 이미지에서의 각 픽셀의 위치 간의 관계 상기 또는 가상 광원의 조명 방향에 기초하여 해당 픽셀에 입사되는 상기 광 벡터를 결정하는 단계를 포함할 수 있다.
이미지의 밝기를 조절하는 방법은 상기 음영 정보를 상기 입력 이미지에 반영하여 재조명된 이미지(relighted image)를 생성하는 단계, 및 상기 입력 이미지의 밝기 히스토그램에 기초하여, 상기 재조명된 이미지의 톤(tone)을 조절하는 단계를 더 포함할 수 있다.
상기 재조명된 이미지의 톤을 조절하는 단계는, 상기 입력 이미지의 전체 픽셀에 대한 미리 정한 밝기 범위의 픽셀들의 비율에 기초하여, 상기 재조명된 이미지의 적어도 일부 영역에 대응하는 픽셀의 톤에 가중치를 부가하는 단계를 포함할 수 있다.
이미지의 밝기를 조절하는 방법은 상기 가상 광원의 세기, 위치, 색상, 조명 방향 및 타입 중 적어도 하나를 설정하는 제어 신호를 사용자로부터 수신하는 단계를 더 포함할 수 있다.
상기 객체는 사람의 얼굴일 수 있다.
일 실시예에 따른 이미지의 밝기를 조절하는 장치는, 객체가 나타나는 입력 이미지로부터 추출된 상기 객체의 특징점에 기초하여 객체 모델을 상기 객체에 매칭하고, 상기 매칭된 객체 모델에 기초하여 2차원 이미지 형식의 표면 노멀 맵을 상기 입력 이미지에 매핑하며, 상기 매핑된 표면 노멀 맵 및 가상 광원에 기초하여 상기 입력 이미지에 대한 음영 정보를 생성하는 프로세서를 포함할 수 있다.
상기 프로세서는, 상기 매칭된 객체 모델의 각 특징점이 위치하는 지점의 노멀 벡터를 보간(interpolate)하여 상기 표면 노멀 맵을 생성할 수 있다.
장치는 상기 객체 모델과 연관된 표면 노멀 모델을 데이터베이스에 저장하는 메모리를 더 포함하고, 상기 프로세서는, 상기 표면 노멀 모델을 변환하여 상기 표면 노멀 맵을 생성할 수 있다.
상기 프로세서는, 상기 객체 모델의 특징점의 좌표를 상기 입력 이미지의 특징점의 좌표로 변환하는 변환 함수를 결정할 수 있다.
상기 프로세서는, 상기 결정된 변환 함수를 이용하여, 표면 노멀 모델의 각 좌표를 변환하여 2차원 이미지 형식의 표면 노멀 맵을 생성할 수 있다.
상기 프로세서는, 상기 표면 노멀 맵의 각각의 좌표의 노멀 벡터 및 해당 좌표에서의 상기 가상 광원에 의한 광 벡터 간의 내적 연산을 수행할 수 있다.
상기 프로세서는, 상기 가상 광원의 위치 및 상기 입력 이미지에서의 각 픽셀의 위치 간의 관계에 기초하여 해당 픽셀에 입사되는 상기 광 벡터를 결정할 수 있다.
상기 프로세서는, 상기 음영 정보를 상기 입력 이미지에 반영하여 재조명된 이미지를 생성하고, 상기 입력 이미지의 밝기 히스토그램에 기초하여 상기 재조명된 이미지의 톤을 조절할 수 있다.
상기 프로세서는, 상기 입력 이미지의 전체 픽셀에 대한 미리 정한 밝기 범위의 픽셀들의 비율에 기초하여, 상기 재조명된 이미지의 적어도 일부 영역에 대응하는 픽셀의 톤에 가중치를 부가할 수 있다.
다른 일 실시예에 따른 이미지의 밝기를 조절하는 장치는 객체가 나타나는 입력 이미지를 수신하는 이미지 수신부; 및 상기 입력 이미지로부터 추출된 상기 객체의 특징점에 기초하여 객체 모델을 상기 객체에 매칭하고, 상기 매칭된 객체 모델에 기초하여 2차원 이미지 형식의 표면 노멀 맵을 상기 입력 이미지에 매핑하며, 상기 매핑된 표면 노멀 맵 및 가상 광원에 기초하여 상기 입력 이미지에 대한 음영 정보를 생성하는 프로세서를 포함할 수 있다.
상기 이미지 수신부는 카메라일 수 있다.
장치는 상기 입력 이미지에 상기 음영 정보를 반영하여 표현하는 디스플레이를 더 포함할 수 있다.
상기 프로세서는, 상기 매칭된 객체 모델의 각 특징점이 위치하는 지점의 노멀 벡터를 보간하여 상기 표면 노멀 맵을 생성할 수 있다.
장치는 상기 객체 모델과 연관된 표면 노멀 모델을 데이터베이스에 저장하는 메모리를 더 포함하고, 상기 프로세서는, 상기 표면 노멀 모델을 변환하여 상기 표면 노멀 맵을 생성할 수 있다.
상기 프로세서는, 사용자가 객체를 바라보는 방향을 지시하는 뷰 벡터 및 상기 가상 광원으로부터 투사된 빛이 상기 객체에 반사된 반사 벡터에 기초하여 상기 음영 정보를 생성할 수 있다.
도 1은 일 실시예에 따른 이미지의 밝기를 조절하는 방법을 개괄적으로 도시한 흐름도이다.
도 2 및 도 3은 일 실시예에 따른 이미지의 밝기를 조절하는 방법의 예시를 세부적으로 도시한 도면이다.
도 4, 도 5a, 및 도 5b는 일 실시예에 따른 이미지의 밝기를 조절하는 방법의 다른 예시를 세부적으로 도시한 도면이다.
도 6a 및 도 6b은 일 실시예에 따른 광원의 종류에 따른 광 벡터의 예시를 설명하는 도면이다.
도 7은 일 실시예에 따른 뷰 벡터 및 반사 벡터에 기초한 음영 정보의 생성을 설명하는 도면이다.
도 8은 일 실시예에 따른 광원의 세기에 따라 재조명된 이미지를 도시한 도면이다.
도 9는 일 실시예에 따른 광원의 위치에 따라 재조명된 이미지를 도시한 도면이다.
도 10은 일 실시예에 따른 이미지의 밝기를 조절하는 장치의 예시적인 그래픽 사용자 인터페이스(GUI, Graphical User Interface)를 도시한 도면이다.
도 11은 일 실시예에 따른 재조명된 이미지에 톤이 조절된 예시를 도시한 도면이다.
도 12 내지 도 15는 일 실시예에 따른 이미지의 밝기 히스토그램에 기초한 톤의 조절을 도시한 도면이다.
도 16 내지 도 19는 일 실시예에 따른 이미지의 밝기를 조절하는 장치의 구성을 도시한 블럭도이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 하지만 아래 설명하는 실시예들은 실시 형태를 한정하는 것이 아니며, 이들에 대한 모든 변경, 균등물 내지 대체물이 본 명세서의 범위에 포함되는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 명세서의 범위를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수 개의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 일 실시예에 따른 이미지의 밝기를 조절하는 방법을 개괄적으로 도시한 흐름도이다.
우선, 단계(110)에서 이미지의 밝기를 조절하는 장치의 프로세서는 객체가 나타나는 입력 이미지로부터 추출된 객체의 특징점에 기초하여, 객체 모델을 객체에 매칭할 수 있다. 예를 들어, 프로세서는 객체 모델의 각 특징점의 좌표를 입력 이미지에서 그에 대응하는 특징점의 좌표에 일치시킴으로써, 입력 이미지의 객체에 객체 모델을 매칭할 수 있다. 프로세서는 객체의 일반적인 형태에 대해 지정된 모든 특징점이 추출되지 않은 경우에도, 미리 정한 특징점이 추출되거나 미리 정한 갯수 이상의 특징점이 추출되면 입력 이미지의 객체에 객체 모델을 매칭할 수 있다. 입력 이미지는 객체가 나타나는 이미지로서, 2차원 형식의 이미지일 수 있다. 예를 들어, 입력 이미지는 정지된 사진 또는 동영상의 각 프레임일 수 있다.
객체(object)는 배경(background)과 구별되어 입력 이미지(input image)에 나타나는 대상(subject)을 나타낼 수 있다. 객체는 여러 타입(type)일 수 있고, 예를 들어, 객체의 타입은 사람의 얼굴, 사람의 신체, 동물, 및 물건(thing) 등일 수 있다. 특징점은 객체의 특징을 나타내는 점으로서, 예를 들어 사람의 얼굴 타입의 객체의 특징점은 눈, 코, 및 입 등으로 지정될 수 있다.
객체 모델은 특정 타입의 객체에 대한 특징점들이 미리 지정되어 있는 범용 모델(generic model)을 나타낼 수 있다. 예를 들어, 객체 모델은 미리 정한 크기(예를 들어, 입력 이미지와 동일한 크기)의 이미지에서 각 특징점이 특정 좌표에 위치되는 것으로 정의될 수 있다. 객체 모델은 특정 타입의 객체의 일반적인 형태(예를 들어, 객체의 윤곽(outline), 및 객체의 특징점들 사이의 기하구조(geometry) 등) 및 이러한 일반적인 형태 상에 특징점이 지정된 위치를 포함하는 2차원 이미지 형식 또는 3차원 이미지 형식의 모델일 수 있다. 객체 모델이 3차원 이미지 형식인 경우, 프로세서는 객체 모델을 2차원인 입력 이미지에 매칭할 수 있다.
일 실시예에 따르면, 프로세서는 객체 모델의 윤곽을 객체의 윤곽에 일치시킬 수 있다. 하기에서는 객체가 사람의 얼굴 타입인 경우를 가정하여 설명하지만, 이로 한정하는 것은 아니고, 다른 타입의 객체에 대해서도 적용될 수 있다. 예를 들어, 특정 동물의 머리에 대해서, 해당 동물의 머리의 특징점들 및 일반적인 형태를 가지는 객체 모델이 이용될 수 있다.
예를 들어, 프로세서는 정확한 일치를 위해 종래의 얼굴 윤곽 추출 알고리즘을 사람의 얼굴이 나타나는 입력 이미지에 적용할 수 있다. 다른 예를 들어, 실시간 동작이 우선시 되는 경우에는, 프로세서는 얼굴을 타원(객체 타입에 따라 객체의 대략적인 윤곽에 대응하는 도형)으로 가정하고, 각 특징점의 비례에 따라 타원을 변형할 수 있다. 상술한 얼굴 윤곽 추출 알고리즘은 추가적인 연산 시간이 소요되는 바, 프로세서는 실시간의 프리뷰(Preview) 모드(예를 들어, 하기 도 10에서 이미지를 메모리에 저장하지 않고 사용자에게 미리 보기를 제공하는 모드)에서는 얼굴을 타원으로 가정하여 변형하는 방법을 적용하고, 재조명된 이미지를 저장할 때(예를 들어, 사용자가 촬영 버튼을 클릭하여 재조명된 이미지를 저장)는 얼굴 윤곽 추출 알고리즘을 적용하여 정밀도를 높일 수 있다. 얼굴 윤곽을 정확히 일치시키면, 음영 효과를 적용할 때 얼굴 윤곽과 배경 사이의 경계에서 발생하는 오차가 감소될 수 있다.
그리고 단계(120)에서 프로세서는 매칭된 객체 모델에 기초하여, 2차원 이미지 형식의 표면 노멀 맵을 입력 이미지에 매핑할 수 있다. 표면 노멀 맵의 매핑은 하기에서 상세히 설명한다.
표면 노멀 맵은 입력 이미지의 각 픽셀의 좌표에 대해 객체의 표면에 대응하는 노멀 벡터가 매핑된 맵을 나타낼 수 있다. 입력 이미지에 나타나는 객체 상의 특정 픽셀에 매핑된 노멀 벡터는, 해당 픽셀에서 해당 객체의 표면의 법선 상의 벡터 값을 가질 수 있다. 일 실시예에 따르면 표면 노멀 맵은 2차원 이미지 형식으로서, 예를 들어 2차원 좌표의 각각에 노멀 벡터가 매핑될 수 있다. 입력 이미지의 해상도가 m * n인 경우, 해당 입력 이미지에 노멀 벡터가 매핑된 맵을 하기 수학식 1과 같이 나타낼 수 있다. (여기서, n, m은 1이상의 정수)
Figure 112015120382882-pat00001
상술한 수학식 1에서 입력 이미지의 각 픽셀의 좌표에 맵핑되는 노멀 벡터는 3차원 벡터인 (wxy, uxy, vxy)로 표현될 수 있으며, wxy는 (x, y) 위치의 픽셀에 대응하는 노멀 벡터의 x 방향 성분, uxy는 (x, y) 위치의 픽셀에 대응하는 노멀 벡터의 y방향 성분, vxy는 (x, y) 위치의 픽셀에 대응하는 z방향 성분을 나타낼 수 있다. (x는 1이상 n이하의 정수, y은 1이상 m이하의 정수) 예를 들어, x 방향 성분은 R 색상 값, y방향 성분은 G 색상 값, z 방향 성분은 B 색상 값으로 표현될 수 있다. 다만, 본 명세서에서 좌표 계를 직교 좌표 계로 한정하는 것은 아니고 설계에 따라 다양한 좌표계가 적용될 수 있다. 또한, 노멀 벡터도 RGB 컬러 값으로 표현하였으나, 이로 한정하는 것은 아니고 YCbCr 컬러 값 등과 같은 다양한 색상계로 표현될 수 있다.
이어서 단계(130)에서 프로세서는 매핑된 표면 노멀 맵 및 가상 광원에 기초하여, 입력 이미지에 대한 음영 정보를 생성할 수 있다. 예를 들어, 프로세서는 표면 노멀 맵에 기초하여, 객체에 가상 광원에 의한 빛이 투사되는 경우의 음영 효과를 나타내는 음영 정보를 생성할 수 있다. 일 실시예에 따르면 프로세서는 표면 노멀 맵의 각각의 좌표의 노멀 벡터 및 해당 좌표에서의 가상 광원에 의한 광 벡터(light vector) 간의 내적(dot product) 연산(calculation)을 수행하여, 내적 연산의 결과에 기초하여 음영 정보를 생성할 수 있다. 프로세서는 가상 광원에 의한 광 벡터를 가상 광원의 위치 및 입력 이미지에서의 각 특징점의 위치 간의 관계에 기초하여 결정할 수 있고, 하기 도 6a 및 도 6b에서 광 벡터의 계산 및 내적 연산을 상세히 설명한다.
음영 효과는 입력 이미지의 적어도 일부 영역의 픽셀이 밝아지거나 어두워지는 효과를 나타낼 수 있다. 음영 정보는 입력 이미지의 특정 픽셀이 밝아지거나 어두워지는 정도를 나타내는 정보일 수 있다.
도 2 및 도 3은 일 실시예에 따른 이미지의 밝기를 조절하는 방법의 예시를 세부적으로 도시한 도면이다.
도 2는 각 특징점에 노멀 벡터가 할당된 객체 모델을 보간하여 생성된 표면 노멀 맵을 이용하여 이미지의 밝기를 조절하는 방법의 흐름도를 도시하고, 도 3은 입력 이미지가 도 2에 도시된 방법을 통해 처리되는 과정을 도시한다.
우선, 단계(210)에서 이미지의 밝기를 조절하는 장치의 이미지 수신부는 입력 이미지(301)를 수신할 수 있다. 예를 들어, 이미지 수신부가 카메라일 수 있고, 카메라는 입력 이미지(301)를 촬영할 수 있다. 이미지 수신부가 통신부인 경우, 통신부는 유무선 통신을 통해 입력 이미지(301)를 외부로부터 수신할 수 있다.
그리고 단계(220)에서 이미지의 밝기를 조절하는 장치의 프로세서는 입력 이미지(301)에 나타나는 객체의 특징점(302)을 추출할 수 있다. 프로세서는 객체의 타입에 따라, 해당 타입에 특화된 기법을 통해 객체의 특징점(302)을 추출할 수 있다. 예를 들어, 프로세서는 객체의 타입이 사람의 얼굴인 경우, 사람의 얼굴의 특징점(302)을 추출하는 알고리즘(예를 들어, PCA(Principal Component Analysis), LDA(Linear discriminate analysis) 등)을 이용하여 특징점(302)을 추출할 수 있다. 예를 들어, 도 3에 도시된 바와 같이, 프로세서는 사람의 얼굴에서 눈, 코 및 입에 대응하는 특징점(302)을 추출할 수 있다. 프로세서는 객체의 일반적인 형태에 대해 설정된 모든 특징점 중 적어도 일부를 추출할 수 있다. 다만, 특징점을 추출하는 알고리즘을 상술한 바로 한정하는 것은 아니고, 상술한 특징점도 단순한 예시로서, 눈, 코, 및 입으로 한정하는 것은 아니다.
이어서 단계(110)에서 프로세서는 도 1에서 상술한 바에 따라, 도 3에 도시된 바와 같이 객체 모델(201)을 객체에 매칭할 수 있다. 도 3에 도시된 바와 같이 객체 모델(201)은 미리 데이터베이스에 저장될 수 있다.
일 실시예에 따르면, 프로세서는 객체 모델(201)을 객체에 매칭하기 위한 변환 함수(transformation function)를 결정할 수 있다. 변환 함수는 객체 모델(201)의 특징점의 좌표를 입력 이미지의 특징점(302)의 좌표로 변환(transform)하는 함수로서, 예를 들어 객체 모델의 특징점의 좌표 및 입력 이미지의 특징점(302)의 좌표 간의 관계를 나타낼 수 있다.
그리고 단계(120)에서 프로세서는 도 1에서 상술한 바와 같이 표면 노멀 맵(303)을 입력 이미지(301)에 매핑할 수 있다. 보다 구체적으로, 단계(230)에서 프로세서는 매칭된 객체 모델(201)의 각 특징점이 위치하는 지점의 노멀 벡터를 보간(interpolate)하여 표면 노멀 맵(303)을 생성할 수 있다. 예를 들어, 도 2에 도시된 객체 모델(201)은 특징점에서만 노멀 벡터가 지정되어 있을 수 있고, 프로세서는 특징점 사이의 공간에 대해 노멀 벡터를 보간할 수 있다. 이를 통해, 프로세서는 실시간으로 객체에 적응적인 표면 노멀 맵(303)을 생성할 수 있다. 객체 모델의 기하구조(geometry)의 정밀도에 따라 표면 노멀 맵(303)의 품질이 결정될 수 있다.
이어서 단계(130)에서 프로세서는 도 1에서 상술한 바와 같이 음영 정보(304)를 생성할 수 있다. 프로세서는 가상 광원 설정(202)에 따라 가상 광원을 설정할 수 있다. 가상 광원 설정(202)은 가상 광원의 세기, 위치, 색상, 조명 방향, 및 타입 중 적어도 하나를 설정하는 제어 신호로서, 사용자에 의해 설정되거나 자동으로 설정될 수 있다. 음영 정보(304)는 객체의 각 좌표에서 밝기가 증가되거나 감소되어야 하는 정도를 나타내는 가중치에 관한 정보를 포함할 수 있고, 도 3에 도시된 음영 정보(304)에서 밝게 표시된 영역은 밝기가 증가되는 가중치를 가지는 영역, 어둡게 표시된 영역을 밝기가 감소되는 가중치를 가지는 영역을 나타낼 수 있다.
일 실시예에 따르면, 프로세서는 입력 이미지(301) 상에서 얼굴의 특징점에 기초하여 정렬(align)된 표면 노멀 맵(303)과 사용자에 의해 지정된 가상 광원의 방향/위치, 강도, 타입 등에 기초하여, 얼굴에 대한 음영 정보(304)를 생성할 수 있다. 예를 들어 프로세서는 얼굴 영역 내의 각 픽셀에 대해서 표면 노멀 맵(303)에 할당된 노멀 벡터와 해당 픽셀에 대해 지정된 광 벡터 간의 내적 연산을 통해, 얼굴 영역의 각 픽셀의 음영 정보(304)를 계산할 수 있다.
그리고 단계(240)에서 프로세서는 음영 정보(304)를 입력 이미지(301)에 반영하고 톤을 조절할 수 있다. 예를 들어, 프로세서는 음영 정보(304)를 입력 이미지(301)에 반영하여 재조명된 이미지(relighted image)(309)를 생성할 수 있다. 프로세서는 입력 이미지(301)의 밝기 히스토그램에 기초하여, 재조명된 이미지(309)의 톤(tone)을 조절할 수 있다. 일 실시예에 따르면, 프로세서는 입력 이미지(301)의 전체 픽셀에 대한 미리 정한 밝기 범위의 픽셀들의 비율에 기초하여, 재조명된 이미지(309)의 적어도 일부 영역에 대응하는 픽셀의 톤에 가중치를 부가할 수 있다.
일 실시예에 따르면, 프로세서는 얼굴 영역 내 각 픽셀 별 음영 정보(304)를, 사용자가 지정하거나 자동으로 설정되는 톤 조절 스타일에 따라 최종 음영 정보로 업데이트할 수 있다. 프로세서는 최종 음영 정보를 입력 이미지(301)에 반영하여 얼굴 영역에 음영 효과를 표현할 수 있다. 또한, 프로세서는 입력 이미지(301) 및 재조명된 이미지(309)의 톤을 조절하는 경우, 객체(예를 들어, 얼굴)의 윤곽 부분에서의 불일치를 최소화하기 위해, 객체와 배경의 경계 영역에 블러 효과(blur effect) 등을 적용할 수 있다.
도 4, 도 5a, 및 도 5b는 일 실시예에 따른 이미지의 밝기를 조절하는 방법의 다른 예시를 세부적으로 도시한 도면이다.
도 4는 미리 저장된 객체 모델(201) 및 객체 모델(201)과 연관되어 저장된 표면 노멀 모델(401)을 이용하여 이미지의 밝기를 조절하는 방법의 흐름도를 도시하고, 도 5a 및 도 5b는 입력 이미지(301)가 도 4에 도시된 방법을 통해 처리되는 과정을 도시한다.
우선, 단계(210)에서 이미지의 밝기를 조절하는 장치의 이미지 수신부는 도 2에서 상술한 바에 따라 입력 이미지(301)를 수신할 수 있다. 그리고 단계(220)에서 프로세서는 도 2에서 상술한 바에 따라 입력 이미지(301)에 나타나는 객체의 특징점(302)을 추출할 수 있다. 이어서 단계(110)에서 프로세서는 도 1에서 상술한 바에 따라, 도 5a에 도시된 바와 같이 객체 모델(201)을 객체에 매칭할 수 있다. 그리고 단계(120)에서 프로세서는 표면 노멀 맵(501)을 입력 이미지(301)에 매핑할 수 있다. 여기서, 도 3의 표면 노멀 맵(303)과 달리, 도 5a의 표면 노멀 맵(501)은 표면 노멀 모델(401)이 변환(transform)된 것일 수 있다. 이어서 단계(130)에서 프로세서는 도 1에서 상술한 바와 유사하게, 표면 노멀 맵(501) 및 가상 광원에 기초하여 음영 정보(304)를 생성할 수 있다. 그리고 단계(240)에서 프로세서는 도 2에서 상술한 바와 같이 톤을 조절할 수 있다. 도 4, 도 5a 및 도 5b에 도시된 상술한 단계들(210, 220, 110, 130, 240)은 도 2 및 도 3에서 상술한 바, 구체적인 설명을 생략한다. 다만, 도 4의 단계(120)는 도 4에서 단계(430)를 통해 상세히 설명한다.
일 실시예에 따르면, 단계(430)에서 프로세서는 객체 모델(201)과 연관되어 데이터베이스에 도 5a에 도시된 미리 저장된 표면 노멀 모델(401)을 변환(transform)하여 표면 노멀 맵(501)을 생성할 수 있다. 예를 들어, 프로세서는 표면 노멀 모델(401)의 각 특징점을 단계(110)에서 객체에 매칭된 객체 모델(201)의 특징점에 일치시킴으로써, 표면 노멀 모델(401)을 변환할 수 있다. 일 실시예에 따르면, 프로세서는 상술한 단계(110)에서 결정된 변환 함수를 이용하여, 단계(430)에서 미리 저장된 표면 노멀 모델(401)의 각 좌표를 변환하여 도 5a에 도시된 바와 같이 2차원 이미지 형식의 표면 노멀 맵(surface normal map)(501)을 생성할 수 있다. 표면 노멀 맵(501)은 입력 이미지(301)의 객체의 위치에 맞추어 정렬될 것일 수 있다.
표면 노멀 모델(401)은 2차원 이미지의 각 좌표마다 각 좌표에 대응하는 노멀 벡터가 매핑되어 있는 모델을 나타낼 수 있다. 예를 들어, 표면 노멀 모델(401)은 객체 모델(201)과 연관되어 미리 저장된 2차원 이미지 형식의 모델일 수 있다. 표면 노멀 모델(401)은 도 5a에 도시된 바와 같이 특정 타입의 객체의 일반적인 형태 상의 각 픽셀의 좌표에 노멀 벡터가 할당될 수 있고, 특징점이 미리 지정될 수 있다.
또한, 다른 일 실시예에 따르면 도 5b에 도시된 바와 같이 복수의 표면 노멀 모델들(401 내지 404)이 다양한 각도로 미리 저장될 수도 있다. 이 경우, 단계(430)에서 프로세서는 복수의 표면 노멀 모델들(401 내지 404)의 각각을 객체에 매칭된 객체 모델(201)의 특징점에 일치시킨 결과를 결합하여 표면 노멀 맵(501)을 생성할 수 있다. 예를 들어, 프로세서는 객체에 매칭된 객체 모델(201)의 특징점과 복수의 표면 노멀 모델들(401 내지 404)의 각각의 특징점의 유사도를 계산하고, 복수의 표면 노멀 모델들(401 내지 404)의 각각을 객체 모델(201)의 특징점에 일치시킨 결과들을 계산된 유사도의 비율에 따라 결합할 수 있다.
예를 들어, 객체가 특정 방향을 바라보는 경우, 해당 객체에 대응하는 객체 모델(201)의 특징점과 정면 표면 노멀 모델(401), 상단 표면 노멀 모델(402), 하단 표면 노멀 모델(403), 및 좌측 표면 노멀 모델(404)의 각각의 특징점의 유사도의 비율이 a:b:c:d로 계산될 수 있다. (여기서, a, b, c, d는 0과 1사이의 실수로서, a, b, c, d의 총합은 1) 프로세서는 정면 표면 노멀 모델(401)을 객체 모델(201)의 특징점에 일치시킨 결과에는 a의 가중치, 상단 표면 노멀 모델(402)을 객체 모델(201)의 특징점에 일치시킨 결과에는 b의 가중치, 하단 표면 노멀 모델(403)을 객체 모델(201)의 특징점에 일치시킨 결과에는 c의 가중치, 좌측 표면 노멀 모델(404)을 객체 모델(201)의 특징점에 일치시킨 결과에는 d의 가중치를 부여하여 합산함으로써 표면 노멀 맵(501)을 생성할 수 있다.
다만, 도 5b에서는 4개의 표면 노멀 모델들(401 내지 404)만을 도시하였으나, 이로 한정하는 것은 아니고, 설계에 따라 다양한 각도의 표면 노멀 모델이 미리 저장되어 표면 노멀 맵(501)을 생성하는 데 사용될 수 있다. 또한, 프로세서는 좌측 표면 노멀 모델(404)을 좌우 반전함으로써, 우측에 대한 표면 노멀 모델을 생성하여 활용할 수도 있다.
도 6a 및 도 6b은 일 실시예에 따른 광원의 종류에 따른 광 벡터의 예시를 설명하는 도면이다.
이미지의 밝기를 조절하는데 사용되는 가상 광원(virtual light source)의 종류는 사용자에 의해, 또는 자동으로 결정될 수 있다. 가상 광원은 입력 이미지에 조명 효과(illuminating effect)를 미치도록(affect) 설정된 광원으로서, 예를 들어, 가상 광원은 스팟 광원(spot light source) 또는 방향성 광원(directional light source)이 사용될 수 있다. 다만, 가상 광원의 종류를 이로 한정하는 것은 아니다.
본 명세서에서 스팟 광원은 특정 위치에 설정된 가상 광원으로부터 전방향으로 빛이 방출되도록 설정된 가상 광원을 나타낼 수 있다. 방향성 광원은 특정 방향으로 빛이 방출되도록 설정된 가상 광원을 나타낼 수 있고, 예를 들어, 태양 등과 같이 매우 먼 거리에 위치하는 광원의 경우 실질적으로 동일한 방향을 가지는 빛들이 도달할 수 있다.
광 벡터는 가상 광원으로부터 방출된 빛의 특정 지점에 대한 방향 및 크기 등을 나타낼 수 있다. 광 벡터는 가상 광원에 의한 광원 효과의 정도 및 방향을 나타낼 수 있다. 이하, 본 명세서에서는 정규화된 크기를 가지는 광 벡터를 기준으로 설명하지만 이로 한정하는 것은 아니다.
예를 들어, 스팟 광원에 대해서 프로세서는 가상 광원의 위치 및 입력 이미지에서의 각 픽셀의 위치 간의 관계에 기초하여 해당 픽셀에 입사되는 광 벡터를 결정할 수 있다. 따라서, 스팟 광원에 대한 광 벡터는 스팟 광원의 위치에 따라 달라질 수 있다. 스팟 광원의 광 벡터는 하기 도 6a에서 설명한다.
다른 예를 들어, 방향성 광원에 대해서 프로세서는 가상 광원의 조명 방향에 기초하여, 해당 픽셀에 입사되는 광 벡터를 결정할 수 있다. 따라서, 방향성 광원에 대한 광 벡터는 미리 일정한 벡터 값으로 정해질 수 있다. 방향성 광원의 광 벡터는 하기 도 6b에서 설명한다.
도 6a은 스팟 광원에 의한 광 벡터(light vector)를 설명하기 위한 도면이다.
일 실시예에 따르면, 입력 이미지(610)에 나타나는 객체(620) 상에서 임의의 픽셀(630)에 대해 스팟 광원(601)으로부터 방출된 빛이 투사될 수 있다. 스팟 광원(601)의 위치 정보(예를 들어, 스팟 광원(601)의 좌표)는 사용자에 의해 지정되거나, 자동으로 지정될 수 있다. 스팟 광원(601)에 의한 광 벡터(640)는 스팟 광원(601)의 위치 정보만으로도 계산될 수 있다. 예를 들어, 스팟 광원(601)으로부터 해당 픽셀(630)에 투사되는 빛을 광 벡터(640)로 나타낼 수 있으며, 광 벡터(640)는 스팟 광원(601)과 해당 픽셀(630) 간의 정규화된 위치 차이로 나타낼 수 있다. 예를 들어, 스팟 광원(601)의 위치가 (Sx, Sy, Sz)(예를 들어, 사용자에 의해 또는 자동으로 지정됨)이고, 임의의 픽셀(630)의 입력 이미지(610) 상의 위치가 (x, y, 0)(여기서, 입력 이미지(610) 상의 모든 픽셀의 z 좌표는 0인 것으로 가정될 수 있음)인 경우, 프로세서는 해당 픽셀(630)에 투사되는 광 벡터(640)는 L = [x-Sx, y-Sy, -Sz]로 나타낼 수 있고, 더 나아가 이를 정규화한 값을 가지도록 계산할 수 있다.
예를 들어, 표면 노멀 맵에서 입력 이미지(610) 상의 (x, y) 위치 상에서의 노멀 벡터 값이 (wxy, uxy, vxy)인 경우, 프로세서는 (x, y) 위치에 대해 스팟 광원(601)에 의한 광 벡터 L과 노멀 벡터 간의 내적 연산의 결과 값으로서 wxy (x-Sx) + uxy (y-Sy) + vxy (-Sz)를 계산할 수 있다.
도 6b은 방향성 광원에 의한 광 벡터(680)를 설명하기 위한 도면이다.
일 실시예에 따르면, 방향성 광원(609)은 입력 이미지(650)로부터 상당히 먼 거리에 위치되는 것으로 가정할 수 있는 바, 방향상 광원으로부터 입력 이미지(650)의 객체(660) 상의 모든 픽셀(670)에 대해 동일한 빛이 투사될 수 있다. 방향성 광원(609)의 방향은 사용자에 의해 지정되거나, 자동으로 지정될 수 있다. 방향성 광원(609)은 입력 이미지(650) 상의 객체(660)로부터 상당히 먼 거리에 위치되는 것으로 가정된 바, 방향성 광원(609)에 의한 빛의 투사 방향만 지정되면 방향성 광원(609)에 의해 객체(660)의 각 픽셀(670)에 투사되는 광 벡터(680)는 모두 동일할 수 있다. 예를 들어, 방향성 광원(609)에 의해 각 픽셀(670)에 투사되는 광 벡터(680)는 모두 L = [Lx, Ly, Lz]로 나타낼 수 있다. Lx는 x축 방향에 대한 빛의 방향, Ly는 y축 방향에 대한 빛의 방향, Lz는 z축 방향에 대한 빛의 방향을 나타낼 수 있다.
예를 들어, 표면 노멀 맵에서 입력 이미지(650) 상의 (x, y) 위치 상에서의 노멀 벡터 값이 (wxy, uxy, vxy)인 경우, 프로세서는 (x, y) 위치에 대해 방향성 광원(609)에 의한 광 벡터 L과 노멀 벡터 간의 내적 연산의 결과 값으로서 wxy Lx + uxy Ly + vxy Lz를 계산할 수 있다.
상술한 도 6a 및 도 6b에서는 프로세서가 광 벡터 및 노멀 벡터 간의 내적 연산에 기초하여 음영 정보를 생성하였으나, 이로 한정하는 것은 아니다. 하기 도 7에서는 다른 방식의 음영 정보 생성을 설명한다.
도 7은 일 실시예에 따른 뷰 벡터 및 반사 벡터에 기초한 음영 정보의 생성을 설명하는 도면이다.
뷰 벡터(view vector)(750)는 사용자가 입력 이미지(710) 또는 객체(720)를 바라보는 방향을 지시하는 벡터를 나타낼 수 있다. 반사 벡터(reflection vector)(742)는 광원(701)으로부터 투사된 빛이 객체(720)의 한 픽셀(730)에 도달한 후, 반사되는 빛을 지시하는 벡터를 나타낼 수 있다. 따라서, 반사 벡터(742)는 광 벡터(741)가 객체(720)로부터 반사된 벡터일 수 있다. 예를 들어, 프로세서는 반사 벡터(742)를
Figure 112015120382882-pat00002
로 계산할 수 있다. 여기서, L은 광 벡터(741),
Figure 112015120382882-pat00003
은 노멀 벡터(743)를 나타낼 수 있다.
일 실시예에 따르면, 프로세서는 뷰 벡터(750) 및 반사 벡터(742)를 내적(790)함으로써, 음영 정보를 생성할 수 있다. 예를 들어, 사용자가 정면에서 기기를 관찰하는 일반적인 경우 뷰 벡터(750)가 (0, 0, 1)이므로, 프로세서는 반사 벡터(742)의 z방향 성분만을 선택하여 음영 정보로서 생성할 수 있다.
일 실시예에 따르면, 도 6a 및 도 6b에 도시된 스팟 광원 및 방향성 광원 모두에 대해, 도 7에 도시된 뷰 벡터(750) 및 반사 벡터(742)에 기초한 음영 정보를 생성하는 기법이 적용될 수 있다. 예를 들어, 도 6a에 도시된 스팟 광원보다, 도 6b에 도시된 방향성 광원과 같이 특정 방향으로 빛이 방출되도록 설정되어 반사되는 빛의 방향도 특정 방향으로 나타나는 경우에, 뷰 벡터(750)에 기초하여 생성된 음영 정보는 시점(view point)과 일치할수록 밝게 표현이 될 수 있다.
도 8은 일 실시예에 따른 광원의 세기에 따라 재조명된 이미지를 도시한 도면이다.
예를 들어, 도 8은 입력 이미지(301)의 밝기가 상술한 도 1 내지 도 5의 방법에 따라 조절된, 재조명된 이미지들(810, 820, 830)을 나타낼 수 있다.
도 8의 각각의 재조명된 이미지들(810, 820, 830)은 서로 가상 광원의 세기가 다르게 설정된 예시를 나타낼 수 있다. 제1 재조명된 이미지(first relighted image)(810)는 가상 광원의 세기가 낮은 경우, 제2 재조명된 이미지(820)는 가상 광원의 세기가 중간 정도인 경우, 제3 재조명된 이미지(830)는 가상 광원의 세기가 높은 경우를 나타낼 수 있다.
도 8에 도시된 바와 같이, 제1 재조명된 이미지(810)의 일부 영역(811, 812)에 비해, 제2 재조명된 이미지(820)의 일부 영역(821, 822)의 밝기가 비교적 높게 조절될 수 있다. 또한, 제2 재조명된 이미지(820)의 일부 영역(821, 822)의 밝기보다 제3 재조명된 이미지(830)의 일부 영역(831, 832)의 밝기가 비교적 높게 조절될 수 있다.
다만, 도 8에서 입력 이미지(301)의 일부 영역의 밝기 증가에 대해서만 설명하였는데, 이로 한정하는 것은 아니고, 가상 광원에 의한 조명 효과는 객체의 전반적인 영역에 영향을 줄 수 있고, 더 나아가 일부 영역의 밝기가 감소(예를 들어, 그림자 효과 등)될 수도 있다.
일 실시예에 따르면, 가상 광원의 세기에 따라, 이미지의 밝기를 조절하는 장치는, 입력 이미지(301)에 나타나는 객체의 밝기를 위화감 없이 자연스럽게 증가시키거나 감소시킬 수 있다.
도 9는 일 실시예에 따른 광원의 위치에 따라 재조명된 이미지를 도시한 도면이다.
예를 들어, 도 9는 입력 이미지(301)의 밝기가 상술한 도 1 내지 도 5의 방법에 따라 조절된, 재조명된 이미지들(910, 920, 930)을 나타낼 수 있다. 도 9에서 가상 광원(909)은 방향성 광원일 수 있다.
도 9의 각각의 재조명된 이미지들(910, 920, 930)은 서로 가상 광원(909)의 방향이 다르게 설정된 예시를 나타낼 수 있다. 제4 재조명된 이미지(910)는 좌측 상단으로부터 객체를 향해 -45도 방향으로 빛이 투사되도록 설정된 가상 광원(909)이 적용된 결과를 나타낼 수 있다. 제 5 재조명된 이미지는 정면 상단으로부터 객체를 향해 0도 방향으로 빛이 투사되도록 설정된 가상 광원(909)이 적용된 결과를 나타낼 수 있다. 제6 재조명된 이미지(930)는 우측 상단으로부터 객체를 향해 +45도 방향으로 빛이 투사되도록 설정된 가상 광원(909)이 적용된 결과를 나타낼 수 있다.
도 9에 도시된 바와 같이, 제4 재조명된 이미지(910)에서는 -45도 방향으로 빛이 투사되는 가상 광원(909)에 의해, 객체(도 9에서는 사람의 얼굴)의 우측 하단 영역(911)의 밝기가 감소될 수 있다. 제5 재조명된 이미지(920)에서는 정면 상단으로부터 객체를 향해 빛이 투사되는 가상 광원(909)에 의해, 얼굴의 하단 영역(921)의 밝기가 감소될 수 있다. 제6 재조명된 이미지(930)에서는 우측 상단으로부터 객체를 향해 빛이 투사되는 가상 광원(909)에 의해, 얼굴의 좌측 하단 영역(931)의 밝기가 감소될 수 있다. 도 9에서는 가상 광원(909)에 의해 객체에 발생하는 그림자 효과가 나타날 수 있다.
다만, 도 9에서 입력 이미지(301)의 일부 영역의 밝기 감소(예를 들어, 그림자 효과)에 대해서만 설명하였는데, 이로 한정하는 것은 아니고, 가상 광원(909)에 의한 조명 효과는 객체의 전반적인 영역에 영향을 줄 수 있고, 더 나아가 일부 영역의 밝기가 증가될 수도 있다.
일 실시예에 따르면, 이미지의 밝기를 조절하는 장치는, 가상 광원(909)의 위치 및 방향 등에 따라, 입력 이미지에 나타나는 객체의 밝기를 위화감 없이 자연스럽게 증가시키거나 감소시킬 수 있다.
도 10은 일 실시예에 따른 이미지의 밝기를 조절하는 장치의 예시적인 그래픽 사용자 인터페이스(GUI, Graphical User Interface)를 도시한 도면이다.
이미지의 밝기를 조절하는 장치(1000)는 예를 들어, 스마트폰일 수 있다. 다만, 이로 한정하는 것은 아니다. 이미지의 밝기를 조절하는 장치(1000)는 상술한 도 1 내지 도 5의 방법을 수행하는 과정에서 요구되는 사용자 조작을 수신할 수 있다. 예를 들어, 도 10은 가상 광원 설정에 대한 사용자 조작을 수신하기 위한 그래픽 사용자 인터페이스를 나타낼 수 있다.
예를 들어, 도 10에 도시된 그래픽 사용자 인터페이스는 광원 타입 인터페이스(1010), 광원 위치/방향 인터페이스(1020), 및 광원 세기 인터페이스(1030) 등을 포함할 수 있다. 인터페이스의 종류 및 디자인 등을 이로 한정하는 것은 아니고 설계에 따라 다양한 인터페이스가 사용될 수 있다.
광원 타입 인터페이스(1010)는 사용자로부터 가상 광원의 타입의 지정에 관한 조작을 수신하도록 설정될 수 있다. 예를 들어, 도 10에서 장치(1000)는 광원 타입 인터페이스(1010)를 통해 사용자로부터 스팟 광원 및 방향성 광원 중 어느 하나를 지정하는 조작을 수신할 수 있다.
광원 위치/방향 인터페이스(1020)는 가상 광원의 타입에 따라 사용자로부터 가상 광원의 위치 및 방향 중 적어도 하나의 지정에 관한 조작을 수신하도록 설정될 수 있다.
도 10에서 스팟 광원이 선택된 경우, 광원 위치/방향 인터페이스(1020)는 가상 광원의 위치를 지정하는 조작을 수신할 수 있다. 스팟 광원은 광원의 전방향으로 빛을 투사하므로 스팟 광원의 위치만 지정되면 스팟 광원에 의한 광 벡터가 입력 이미지의 각각의 픽셀에 대해 도출(임의의 픽셀에서의 광 벡터는 해당 픽셀의 좌표 및 스팟 광원의 좌표 간의 위치 차이로 계산됨)될 수 있는 바, 위치만을 지정하는 인터페이스로도 광 벡터에 기초한 광원 효과 표현이 가능할 수 있다. 일 실시예에 따르면, 프로세서는 미리 지정된 복수의 위치에 대한 인터페이스(미도시)를 사용자에게 제공할 수 있고, 사용자로부터 스팟 광원의 위치에 대한 선택을 수신하면, 해당 위치를 스팟 광원의 위치로 설정할 수 있다. 예를 들어, 사용자에 의해 가운데 아이콘이 활성화되면 장치(1000)는 가상 광원의 위치를 객체로부터 정면 상의 미리 설정된 지점으로 설정할 수 있다.
도 10에서 방향성 광원이 선택된 경우, 광원 위치/방향 인터페이스(1020)는 가상 광원의 방향을 지정하는 조작을 수신할 수 있다. 방향성 광원은 이미지 상의 모든 픽셀에 대해 동일한 방향을 가지는 빛을 투사하는 것으로 가정될 수 있으므로 방향성 광원의 방향만 지정되면 방향성 광원에 의한 광 벡터가 입력 이미지의 각각의 픽셀에 대해 도출될 수 있는 바, 방향을 지정하는 인터페이스로도 광 벡터에 기초한 광원 효과 표현이 가능할 수 있다. 일 실시예에 따르면, 프로세서는 미리 지정된 복수의 방향에 대한 인터페이스를 사용자에게 제공할 수 있고, 사용자로부터 방향성 광원의 방향에 대한 선택을 수신하면 해당 방향을 방향성 광원의 방향으로 설정할 수 있다. 예를 들어, 사용자에 의해 우측 아이콘이 활성화되면 장치(1000)는 가상 광원으로부터 투사되는 광 벡터의 방향을 우측 상단으로부터 객체로 향하도록 설정할 수 있다.
광원 세기 인터페이스(1030)는 사용자로부터 가상 광원의 세기의 지정에 관한 조작을 수신하도록 설정될 수 있다. 도 10에서 가상 광원의 세기는 레벨 0(예를 들어, 가상 광원 off)부터 레벨 5(예를 들어, 가상 광원 세기 최대)까지로 구분될 수 있고, 예를 들어, 사용자에 의해 레벨 3에 대응하는 아이콘이 활성화되면 장치(1000)는 가상 광원의 세기를 레벨 3(중간 정도)으로 설정할 수 있다. 다만, 가상 광원의 세기 구분을 상술한 바로 한정하는 것은 아니고, n개의 레벨(여기서, n은 1이상의 정수)로 구분되도록 설정될 수도 있다.
프리뷰 인터페이스(pre-view interface)는 재조명된 이미지(1009)를 제공할 수 있다. 또한, 프리뷰 인터페이스는 재조명된 이미지(1009)의 톤을 조절한 결과를 제공할 수도 있다. 예를 들어, 프리뷰 인터페이스는 광원 설정 인터페이스(도 10에서는 1010 내지 1030) 및 톤 조절 인터페이스(미도시됨) 등을 통해 수신되는 사용자의 조작을 실시간으로 반영하여 생성된 재조명된 이미지(1009)를 제공할 수 있다. 예를 들어, 광원 세기 인터페이스(1030)를 통해 광원의 세기가 변경되면, 장치(1000)는 변경된 광원 세기가 반영된 재조명된 이미지(1009)를 실시간으로 디스플레이할 수 있다.
다만, 이미지의 밝기를 조절하는 장치(1000)의 그래픽 사용자 인터페이스를 도 10에 도시된 바로 한정하는 것은 아니고, 재조명된 이미지(1009)의 톤을 조절(예를 들어, 도 2 및 도 4의 단계(240))하기 위한 인터페이스, 사진 촬영을 위한 인터페이스, 및 재조명된 이미지(1009)의 저장을 위한 인터페이스 등과 같은 다양한 인터페이스가 제공될 수 있다.
도 11은 일 실시예에 따른 재조명된 이미지에 톤이 조절된 예시를 도시한 도면이다.
일 실시예에 따르면, 장치의 프로세서는 도 1 내지 도 5의 단계(240)에서 음영 정보를 입력 이미지(301)에 반영하고 톤을 조절할 수 있다. 예를 들어, 프로세서는 입력 이미지(301)에 음영 정보를 반영하여 재조명된 이미지를 생성하고, 재조명된 이미지의 톤을 조절할 수 있다. 도 11에서는 톤 조절의 4가지 스타일을 도시하고 있으나, 톤 조절의 스타일을 이로 한정하는 것은 아니다.
제1 스타일은 이미지에서 밝은 영역 및 어두운 영역의 픽셀의 톤에 대해 가중치를 부가하는 스타일을 나타낼 수 있다. 제1 스타일에 따르면, 예를 들어, 프로세서는 밝은 영역에 대응한 픽셀과 어두운 영역에 대응하는 픽셀의 톤에 동일한 가중치를 부가할 수 있다. 이 경우 밝은 영역이 가중치에 의해 밝아지는 정도 및 어두운 영역이 가중치에 의해 어두워지는 정도의 비율이 동일한 바, 제1 스타일에 따라 톤이 조절된 재조명된 이미지(1110)는, 전체적인 명암이 뚜렷해질 수 있다. 제1 스타일은 "dark & bright" 스타일이라고 나타낼 수 있다.
밝은 영역에 대응하는 픽셀은 픽셀의 밝기가 미리 정한 임계값보다 큰 픽셀을 나타낼 수 있고, 어두운 영역에 대응하는 픽셀은 픽셀의 밝기가 미리 정한 임계값 이하인 픽셀을 나타낼 수 있다.
제2 스타일은 상술한 제1 스타일과 동일한 가중치를 부가하고, 더 나아가 어두운 영역에 대응하는 픽셀에 특정 그림자 색상(shadow color)을 더 부가하는 스타일을 나타낼 수 있다. 제2 스타일에 따라 톤이 조절된 재조명된 이미지(1120)는 사람의 피부 톤(예를 들어, 갈색)과 비슷하게 설정된 그림자 색상을 더 부가된 바, 음영 효과가 보다 자연스럽게 나타날 수 있다. 제2 스타일은 "shadow color mixing" 스타일이라고 나타낼 수 있다.
제3 스타일은 밝은 영역에 대응하는 픽셀은 유지하고, 어두운 영역에 대응하는 픽셀의 톤에 가중치를 부가하는 스타일을 나타낼 수 있다. 제3 스타일에 따라 톤이 조절된 재조명된 이미지(1130)는 어두운 영역이 보다 강조될 수 있고, 입력 이미지(301)가 전반적으로 밝게 촬영된 경우에 적합할 수 있다. 제3 스타일은 "dark tone" 스타일이라고 나타낼 수 있다.
제4 스타일은 어두운 영역에 대응하는 픽셀을 유지하고, 밝은 영역에 대응하는 픽셀의 톤에 가중치를 부가하는 스타일을 나타낼 수 있다. 제4 스타일에 따라 톤이 조절된 재조명된 이미지(1140)는 밝은 영역이 보다 강조될 수 있고, 입력 이미지(301)가 전반적으로 어둡게 촬영된 경우에 적합할 수 있다. 제4 스타일은 "bright tone" 스타일이라고 나타낼 수 있다.
상술한 톤 조절의 스타일은 그래픽 사용자 인터페이스를 통해 수신되는 사용자 조작에 의해 결정되거나 자동으로 결정될 수 있다. 하기 도 12 내지 도 15에서는, 톤 조절의 스타일이 자동으로 결정되는 예시를 설명한다.
도 12 내지 도 15는 일 실시예에 따른 이미지의 밝기 히스토그램에 기초한 톤의 조절을 도시한 도면이다.
도 12는 상술한 도 11의 제1 스타일에 따라 톤이 조절된 재조명된 이미지(1210), 도 13는 제2 스타일에 따라 톤이 조절된 재조명된 이미지(1310), 도 14는 제3 스타일에 따라 톤이 조절된 재조명된 이미지(1410), 도 15는 제4 스타일에 따라 톤이 조절된 재조명된 이미지(1510)를 나타낼 수 있다.
프로세서는 입력 이미지의 밝기 히스토그램(1220, 1320, 1420, 1520)에 기초하여 톤 조절의 스타일을 결정할 수 있고, 결정된 스타일에 따라 재조명된 이미지(1210, 1310, 1410, 1510)의 톤을 조절할 수 있다. 예를 들어, 프로세서는 입력 이미지의 전체 픽셀에 대한 미리 정한 밝기 범위의 픽셀들의 비율에 기초하여, 재조명된 이미지(1210, 1310, 1410, 1510)의 적어도 일부 영역에 대응하는 픽셀의 톤에 가중치를 부가할 수 있다. 도 12 내지 도 15에 도시된 밝기 히스토그램(1220, 1320, 1420, 1520)은 입력 이미지의 픽셀들의 밝기 분포를 나타낼 수 있고, 예를 들어 가로 축은 밝기를 나타내고, 세로 축은 입력 이미지 내에서 가로 축의 밝기를 가지는 픽셀의 개수를 나타낼 수 있다. 다만, 밝기 히스토그램(1220, 1320, 1420, 1520)은 입력 이미지에 관한 것으로 예를 들었으나, 이로 한정하는 것은 아니고, 재조명된 이미지(1210, 1310, 1410, 1510)의 밝기 히스토그램이 사용될 수도 있다.
일 실시예에 따르면, 프로세서는 입력 이미지의 픽셀의 밝기가 제2 임계 밝기 이하이면서 제1 임계 밝기보다 큰 픽셀의 개수가 전체 픽셀들 중 미리 정한 제1 비율 이상의 개수인 경우에 응답하여, 음영 정보에서 어두운 영역 및 밝은 영역에 가중치를 부가할 수 있다. 예를 들어, 프로세서는 입력 이미지의 도 12에 도시된 밝기 히스토그램(1220)과 같이, 입력 이미지의 밝기가 중간 정도인 경우 제1 스타일에 따라 톤을 조절할 수 있다.
일 실시예에 따르면, 프로세서는 입력 이미지의 픽셀의 밝기가 제3 임계 밝기 이하이면서 제2 임계 밝기보다 큰 픽셀의 개수가 전체 픽셀들 중 미리 정한 제2 비율 이상의 개수인 경우에 응답하여, 음영 정보에서 어두운 영역 및 밝은 영역에 가중치를 부가하고 미리 정한 그림자 색상을 어두운 영역에 부가할 수 있다. 예를 들어, 프로세서는 입력 이미지의 도 13에 도시된 밝기 히스토그램(1320)과 같이, 입력 이미지의 밝기가 중상 정도인 경우 제2 스타일에 따라 톤을 조절할 수 있다.
일 실시예에 따르면, 프로세서는 입력 이미지의 픽셀의 밝기가 제3 임계 밝기보다 큰 픽셀의 개수가 전체 픽셀들 중 미리 정한 제3 비율 이상의 개수인 경우에 응답하여, 음영 정보에서 어두운 영역에 가중치를 부가할 수 있다. 예를 들어, 프로세서는 도 14에 도시된 밝기 히스토그램(1420)과 같이 입력 이미지의 밝기가 강한 밝기인 경우, 제3 스타일에 따라 톤을 조절할 수 있다.
일 실시예에 따르면, 프로세서는 입력 이미지의 픽셀의 밝기가 제1 임계 밝기 이하인 픽셀의 개수가 전체 픽셀들 중 미리 정한 제4 비율 이상의 개수인 경우에 응답하여, 음영 정보에서 밝은 영역에 가중치를 부가할 수 있다. 예를 들어, 프로세서는 도 15에 도시된 밝기 히스토그램(1520)과 같이 입력 이미지의 밝기가 약한 경우, 제4 스타일에 따라 톤을 조절할 수 있다.
다만, 톤 조절의 각 스타일의 적용을 상술한 바로 한정하는 것은 아니고, 사용자의 선호, 배경 이미지의 상황, 사용자의 조작, 및 설계 등에 따라 스타일 적용의 기준이 다양하게 변경될 수 있다.
도 16 내지 도 19는 일 실시예에 따른 이미지의 밝기를 조절하는 장치의 구성을 도시한 블럭도이다.
일 실시예에 따른 이미지의 밝기를 조절하는 장치(1600)는 도 16에 도시된 바와 같이 프로세서(1610)를 포함한다. 또한, 도 17 내지 도 19에 도시된 바와 같이, 메모리(1720), 이미지 수신부(1830), 및 디스플레이(1940) 등을 더 포함할 수도 있다.
프로세서(1610)는 상술한 도 1 내지 도 5에서 설명한 이미지의 밝기를 조절하는 방법을 수행할 수 있다. 예를 들어, 프로세서(1610)는 객체가 나타나는 입력 이미지로부터 추출된 객체의 특징점에 기초하여 객체 모델을 객체에 매칭하고, 매칭된 객체 모델에 기초하여 2차원 이미지 형식의 표면 노멀 맵을 입력 이미지에 매핑하며, 매핑된 표면 노멀 맵 및 가상 광원에 기초하여 입력 이미지에 대한 음영 정보를 생성할 수 있다.
메모리(1720)는 하드웨어와 결합되어 일 실시예에 따른 이미지의 밝기를 조절하는 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램을 포함할 수 있다. 또한, 메모리(1720)는 객체 모델 및 객체 모델과 연관된 표면 노멀 모델 등을 데이터베이스에 미리 저장할 수 있다. 예를 들어, 메모리(1720)는 입력 이미지, 재조명된 이미지, 및 톤이 조절된 재조명된 이미지를 저장할 수 있고, 음영 정보 및 표면 노멀 맵 등과 같이 도 1 내지 도 5의 방법을 수행하는데 필요하거나 수행하는 과정에서 생성되는 데이터를 저장할 수 있다.
이미지 수신부(1830)는 외부로부터 입력 이미지를 수신할 수 있다. 예를 들어, 이미지 수신부(1830)는 카메라를 통해 촬영된 입력 이미지를 수신할 수 있다. 또한, 이미지 수신부(1830)는 유무선 통신을 통해 입력 이미지를 수신할 수 있다.
디스플레이(1940)는 이미지를 디스플레이할 수 있다. 일 실시예에 따르면, 디스플레이(1940)는 입력 이미지에 음영 정보를 반영하여 표현할 수 있다. 예를 들어, 디스플레이(1940)는 입력 이미지, 재조명된 이미지, 및 톤이 조절된 이미지 등을 디스플레이할 수 있다. 본 명세서에서 이미지를 정지된 사진을 예로 들어 설명하였으나, 이로 한정하는 것은 아니고 이미지의 밝기를 조절하는 장치(1600)는 동영상에 대해서도 적용될 수 있다. 이미지가 동영상인 경우, 프로세서(1610)는 동영상의 각 프레임에 대해 상술한 도 2 내지 도 15의 방법을 실시간으로 수행하여, 각 프레임에 나타나는 객체에 대해 자연스러운 음영 효과를 적용할 수 있다. 디스플레이(1940)는 스크린(screen), 프로젝터(projector), LCD, 및 OLED 등을 포함할 수 있다.
일 실시예에 따른 장치(1600)는 이미지를 처리할 수 있는 프로세서(1610)를 포함하는 전자 장치(1600)로서, 예를 들어 스마트폰 및 카메라 등일 수 있다.
일 실시예에 따른 장치(1600)는 카메라를 통해 촬영된 얼굴에 복잡도가 낮은 그래픽 렌더링 기술(예를 들어, 광원에 의한 조명 효과 및 Soft Shading)을 적용하여, 자연스러운 음영 효과를 부가적으로 표현할 수 있다. 스마트폰 등과 같은 모바일 스마트 기기에서는 성능이 제한되는 바, 소형 스마트 기기에서 자연스러운 음영 효과를 실시간으로 입력 이미지에 반영하면서도 성능이 저하되지 않을 수 있다. 예를 들어, 장치(1600)는 스마트폰이나 카메라 등 모바일 스마트 기기에 내장된 CPU, GPU 및 표준 그래픽스 S/W를 활용하여, 조명에 관련된 복잡한 물리 연산 없이, 객체에 대해 가상 광원에 의한 음영 효과를 실시간으로 표현할 수 있다.
또한, 장치(1600)는 사람의 얼굴이 정면에서 촬영된 경우(예를 들어, selfie camera)에 음영 효과를 보다 자연스럽게 반영할 수 있다. 장치(1600)는 사진 촬영시(예를 들어, 촬영된 사진을 프리뷰 후 저장할 시) 가상 광원에 의한 음영 효과를 얼굴 영역에 실시간으로 오버레이(overlay)할 수 있고, 상술한 방법을 통해 촬영된 이미지를 쉽게 편집할 수 있다.
일 실시예에 따르면 장치(1600)는 복잡한 3D 기하 구조(Geometry) 모델의 사용 없이, 간단한 기하구조 모델(예를 들어, 객체 모델)을 이용하면서도 높은 품질의 음영 효과를 획득할 수 있다. 또한, 장치(1600)는 조명 연산(lighting calculation)을 표면 노멀 맵을 이용하여 광 벡터와의 내적으로 단순화함으로써, 복잡한 연산 없이도 실시간으로 미세한 음영 효과를 표현할 수 있다.
또한, 장치(1600)는 음영 효과를 적용할 시 촬영 상황에 따라서 톤 조절의 스타일을 수동 또는 자동으로 선택할 수 있고, 이를 통해 보다 자연스러운 음영 효과를 표현할 수 있다. 장치(1600)는 단순히 이미지를 필터링하는 것에 비해, 보다 자연스럽고 이목구비가 뚜렷하게 재조명된 이미지를 획득할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 비록 한정된 도면에 의해 실시예들이 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (27)

  1. 객체가 나타나는 입력 이미지로부터 추출된 상기 객체의 특징점에 기초하여, 객체 모델을 상기 객체에 매칭하는 단계;
    상기 매칭된 객체 모델의 특징점들에 복수의 표면 노멀 모델들을 매칭한 결과를 결합하여 표면 노멀 맵을 생성하는 단계; 및
    상기 표면 노멀 맵 및 가상 광원(virtual light source)에 기초하여, 상기 입력 이미지에 대한 음영 정보를 생성하는 단계
    를 포함하는 이미지의 밝기를 조절하는 방법.
  2. 제1항에 있어서,
    상기 표면 노멀 맵을 생성하는 단계는,
    상기 매칭된 객체 모델의 각 특징점이 위치하는 지점의 노멀 벡터를 보간(interpolate)하는 단계
    를 포함하는 이미지의 밝기를 조절하는 방법.
  3. 삭제
  4. 제1항에 있어서,
    상기 객체 모델을 상기 입력 이미지에 매칭하는 단계는,
    상기 객체 모델의 특징점의 좌표를 상기 입력 이미지의 특징점의 좌표로 변환(transform)하는 변환 함수(transformation function)를 결정하는 단계
    를 포함하는 이미지의 밝기를 조절하는 방법.
  5. 삭제
  6. 제1항에 있어서,
    상기 음영 정보를 생성하는 단계는,
    상기 표면 노멀 맵의 각각의 좌표의 노멀 벡터 및 해당 좌표에서의 상기 가상 광원에 의한 광 벡터(light vector) 간의 내적(dot product) 연산(calculation)을 수행하는 단계
    를 포함하는 이미지의 밝기를 조절하는 방법.
  7. 제6항에 있어서,
    상기 내적 연산을 수행하는 단계는,
    상기 가상 광원의 위치 및 상기 입력 이미지에서의 각 픽셀의 위치 간의 관계 또는 상기 가상 광원의 조명 방향에 기초하여 해당 픽셀에 입사되는 상기 광 벡터를 결정하는 단계
    를 포함하는 이미지의 밝기를 조절하는 방법.
  8. 제1항에 있어서,
    상기 음영 정보를 상기 입력 이미지에 반영하여 재조명된 이미지(relighted image)를 생성하는 단계; 및
    상기 입력 이미지의 밝기 히스토그램에 기초하여, 상기 재조명된 이미지의 톤(tone)을 조절하는 단계
    를 더 포함하는 이미지의 밝기를 조절하는 방법.
  9. 제8항에 있어서,
    상기 재조명된 이미지의 톤을 조절하는 단계는,
    상기 입력 이미지의 전체 픽셀에 대한 미리 정한 밝기 범위의 픽셀들의 비율에 기초하여, 상기 재조명된 이미지의 적어도 일부 영역에 대응하는 픽셀의 톤에 가중치를 부가하는 단계
    를 포함하는 이미지의 밝기를 조절하는 방법.
  10. 제1항에 있어서,
    상기 가상 광원의 세기, 위치, 색상, 조명 방향, 및 타입 중 적어도 하나를 설정하는 제어 신호를 사용자로부터 수신하는 단계
    를 더 포함하는 이미지의 밝기를 조절하는 방법.
  11. 제1항에 있어서,
    상기 객체는 사람의 얼굴인,
    이미지의 밝기를 조절하는 방법
  12. 하드웨어와 결합되어 제1항, 제2항, 제4항, 및 제6항 내지 제11항 중 어느 한 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
  13. 객체가 나타나는 입력 이미지로부터 추출된 상기 객체의 특징점에 기초하여 객체 모델을 상기 객체에 매칭하고, 상기 매칭된 객체 모델의 특징점들에 복수의 표면 노멀 모델들을 매칭한 결과를 결합하여 표면 노멀 맵을 생성하고, 상기 표면 노멀 맵 및 가상 광원에 기초하여 상기 입력 이미지에 대한 음영 정보를 생성하는 프로세서
    를 포함하는 이미지의 밝기를 조절하는 장치.
  14. 제13항에 있어서,
    상기 프로세서는,
    상기 매칭된 객체 모델의 각 특징점이 위치하는 지점의 노멀 벡터를 보간(interpolate)하여 상기 표면 노멀 맵을 생성하는,
    이미지의 밝기를 조절하는 장치.
  15. 제13항에 있어서,
    상기 객체 모델과 연관된 표면 노멀 모델을 데이터베이스에 저장하는 메모리
    를 더 포함하는 이미지의 밝기를 조절하는 장치.
  16. 제13항에 있어서,
    상기 프로세서는,
    상기 객체 모델의 특징점의 좌표를 상기 입력 이미지의 특징점의 좌표로 변환하는 변환 함수를 결정하는,
    이미지의 밝기를 조절하는 장치.
  17. 삭제
  18. 제13항에 있어서,
    상기 프로세서는,
    상기 표면 노멀 맵의 각각의 좌표의 노멀 벡터 및 해당 좌표에서의 상기 가상 광원에 의한 광 벡터 간의 내적 연산을 수행하는,
    이미지의 밝기를 조절하는 장치.
  19. 제18항에 있어서,
    상기 프로세서는,
    상기 가상 광원의 위치 및 상기 입력 이미지에서의 각 픽셀의 위치 간의 관계에 기초하여 해당 픽셀에 입사되는 상기 광 벡터를 결정하는,
    이미지의 밝기를 조절하는 장치.
  20. 제13항에 있어서,
    상기 프로세서는,
    상기 음영 정보를 상기 입력 이미지에 반영하여 재조명된 이미지를 생성하고, 상기 입력 이미지의 밝기 히스토그램에 기초하여 상기 재조명된 이미지의 톤을 조절하는,
    이미지의 밝기를 조절하는 장치.
  21. 제20항에 있어서,
    상기 프로세서는,
    상기 입력 이미지의 전체 픽셀에 대한 미리 정한 밝기 범위의 픽셀들의 비율에 기초하여, 상기 재조명된 이미지의 적어도 일부 영역에 대응하는 픽셀의 톤에 가중치를 부가하는,
    이미지의 밝기를 조절하는 장치.
  22. 객체가 나타나는 입력 이미지를 수신하는 이미지 수신부; 및
    상기 입력 이미지로부터 추출된 상기 객체의 특징점에 기초하여 객체 모델을 상기 객체에 매칭하고, 상기 매칭된 객체 모델의 특징점들에 복수의 표면 노멀 모델들을 매칭한 결과를 결합하여 표면 노멀 맵을 생성하고, 상기 표면 노멀 맵 및 가상 광원에 기초하여 상기 입력 이미지에 대한 음영 정보를 생성하는 프로세서
    를 포함하는 장치.
  23. 제22항에 있어서,
    상기 이미지 수신부는 카메라인,
    장치.
  24. 제22항에 있어서,
    상기 입력 이미지에 상기 음영 정보를 반영하여 표현하는 디스플레이
    를 더 포함하는 장치.
  25. 제22항에 있어서,
    상기 프로세서는,
    상기 매칭된 객체 모델의 각 특징점이 위치하는 지점의 노멀 벡터를 보간하는,
    장치.
  26. 제22항에 있어서,
    상기 객체 모델과 연관된 표면 노멀 모델을 데이터베이스에 저장하는 메모리
    를 더 포함하는,
    장치.
  27. 제22항에 있어서,
    상기 프로세서는,
    사용자가 객체를 바라보는 방향을 지시하는 뷰 벡터 및 상기 가상 광원으로부터 투사된 빛이 상기 객체에 반사된 반사 벡터에 기초하여 상기 음영 정보를 생성하는,
    장치.
KR1020150174649A 2015-09-17 2015-12-09 이미지의 밝기를 조절하는 방법 및 장치 KR102459851B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US15/250,980 US9922452B2 (en) 2015-09-17 2016-08-30 Apparatus and method for adjusting brightness of image
EP16187083.7A EP3144899B1 (en) 2015-09-17 2016-09-02 Apparatus and method for adjusting brightness of image
CN201610825710.7A CN106548455B (zh) 2015-09-17 2016-09-14 用于调整图像的亮度的设备和方法
JP2016180644A JP6864449B2 (ja) 2015-09-17 2016-09-15 イメージの明るさを調整する方法及び装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150131387 2015-09-17
KR20150131387 2015-09-17

Publications (2)

Publication Number Publication Date
KR20170033758A KR20170033758A (ko) 2017-03-27
KR102459851B1 true KR102459851B1 (ko) 2022-10-28

Family

ID=58496827

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150174649A KR102459851B1 (ko) 2015-09-17 2015-12-09 이미지의 밝기를 조절하는 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102459851B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2697627C1 (ru) * 2018-08-01 2019-08-15 Самсунг Электроникс Ко., Лтд. Способ корректировки освещенности объекта на изображении в последовательности изображений и вычислительное устройство пользователя, реализующее упомянутый способ
KR101999066B1 (ko) * 2018-09-04 2019-07-10 박병우 2차원 화상공간의 음영 처리 방법 및 장치
KR102145411B1 (ko) 2018-11-07 2020-08-18 (주)시정 시정 거리 측정을 위한 시뮬레이터
CN113470162B (zh) * 2020-03-30 2024-08-20 京东方科技集团股份有限公司 三维头部模型的构建方法、装置、系统及存储介质
KR102558643B1 (ko) * 2020-10-26 2023-07-24 서울과학기술대학교 산학협력단 영상 변환 장치 및 이의 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010537223A (ja) * 2007-12-26 2010-12-02 シャープ株式会社 画像トーンスケール設計のための方法及びシステム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6980697B1 (en) * 2001-02-01 2005-12-27 At&T Corp. Digitally-generated lighting for video conferencing applications

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010537223A (ja) * 2007-12-26 2010-12-02 シャープ株式会社 画像トーンスケール設計のための方法及びシステム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Normal mapping", edited by 86.176.124.160, Wikipedia (2015.04.29.)*

Also Published As

Publication number Publication date
KR20170033758A (ko) 2017-03-27

Similar Documents

Publication Publication Date Title
JP6864449B2 (ja) イメージの明るさを調整する方法及び装置
US11948282B2 (en) Image processing apparatus, image processing method, and storage medium for lighting processing on image using model data
US11756223B2 (en) Depth-aware photo editing
KR102459851B1 (ko) 이미지의 밝기를 조절하는 방법 및 장치
US10304164B2 (en) Image processing apparatus, image processing method, and storage medium for performing lighting processing for image data
US8007110B2 (en) Projector system employing depth perception to detect speaker position and gestures
US9516214B2 (en) Information processing device and information processing method
JP5463866B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
US9563982B2 (en) Image generating device, image generating method, program, and computer-readable information storage medium
JP6576083B2 (ja) 画像処理装置、画像処理方法、およびプログラム
KR102390252B1 (ko) 이미지 데이터에 가상 조명 조정들을 제공하기 위한 기술
KR20190043925A (ko) 헤어 스타일 시뮬레이션 서비스를 제공하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
JP2013168146A (ja) 実物体のテクスチャ描写を生成する方法、装置、およびシステム
US11210767B2 (en) Information processing apparatus to determine candidate for lighting effect, information processing method, and storage medium
CN109427089B (zh) 基于环境光照条件的混合现实对象呈现
CN114841853A (zh) 图像处理方法、装置、设备及存储介质
CN109002185B (zh) 一种三维动画处理的方法、装置、设备及存储介质
JP6896811B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP5419773B2 (ja) 顔画像合成装置
KR102331952B1 (ko) 3차원 데이터의 뷰포트에 따른 2차원렌더링장치 및 그 방법
CN115244494A (zh) 用于处理扫描对象的系统和方法
JP6727276B2 (ja) 画像処理装置、その制御方法、プログラム
US20240273689A1 (en) Method for generating pass-through view according to tracker status and host
Shekhar Image and video processing based on intrinsic attributes
Ma et al. Synthesising radiance maps from legacy outdoor photographs for real-time IBL on HMDs

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant