KR20100026240A - 증강현실을 이용한 쓰리디 헤어스타일 시뮬레이션 방법 및 장치 - Google Patents

Abstract

본 발명은 증강현실을 이용한 3D 헤어스타일 시뮬레이션 방법 및 장치 방법에 관한 것으로, 더욱 상세하게는 사용자가 실시간 영상 환경에서 가상의 헤어를 합성하여 가상의 헤어를 실세계 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법인 증강현실로 구현하여 다양한 헤어스타일을 실시간으로 자신의 얼굴에 적용하여 원하는 헤어스타일을 찾을 수 있도록 하는 증강현실을 이용한 헤어스타일 시뮬레이션 방법 및 장치에 관한 것이다.

따라서, 사용자가 원하는 헤어스타일과 유행하는 헤어스타일을 직접 해보지 않고 가상으로 적용하여 사용자에 맞는 헤어스타일을 연출할 수 있는 효과가 있다.

증강현실, 헤어, 시뮬레이션.

Description

증강현실을 이용한 쓰리디 헤어스타일 시뮬레이션 방법 및 장치{3D hair style simulation system and method using augmented reality}

본 발명은 증강현실을 이용한 3D 헤어스타일 시뮬레이션 방법에 관한 것으로, 더욱 상세하게는 사용자가 실시간 영상 환경에서 가상의 헤어를 합성하여 가상의 헤어를 실세계 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법인 증강현실로 구현하여 다양한 헤어스타일을 실시간으로 자신의 얼굴에 적용하여 원하는 헤어스타일을 찾을 수 있도록 하는 증강현실을 이용한 3D 헤어스타일 시뮬레이션 방법 및 장치에 관한 것이다.

현재 헤어샵을 찾는 사람들은 TV에 등장하는 연예인들의 헤어스타일을 그대로 연출해보고 싶거나, 유행하는 새로운 유형의 헤어스타일을 연출하고 싶지만 자신의 얼굴 유형에 어울리는지를 확인하기 위해서는 제한된 수량의 헤어스타일 샘플을 가지고 직접 그 스타일을 경험 한 후에 어울리는지에 대한 결과를 판단할 수 밖에 없는 것이 현실이다.

이러한 불편함을 해소하기 위해 종래에서는 자신의 사진이나 자신의 이미지를 이용하여 2D의 이미지를 합성하여 보는 경우가 있으며, 또한, 3차원 헤어스타일 시뮬레이션의 경우 3D 헤어스타일을 구축하는데 있어 3D의 기본 얼굴 틀을 제작하여 사용자의 얼굴 모델을 모델링하고 디지털 카메라로 캡쳐한 사용자의 2D 얼굴 이미지를 3D 의 얼굴 틀에 오버랩 되도록하여 웹상에서 보여진 3D 얼굴 모델에 헤어스타일 모델을 적용하게 하는 헤어 스타일 시뮬레이션이다.

그러나, 상기와 같은 방법들로 시뮬레이션 할 때마다 일일이 사용자를 촬영하여 데이터를 올리고 매치하는 번거로움이 발생한다.

또한, 종래의 시뮬레이션을 3D 형상으로 구축하였다 하더라도 가상 헤어의 정적 오차(static error) 및 동적 오차(Dynamic error)에 의해 정면의 모습만 볼 수 있어 정확한 결과를 얻기 힘들다는 단점이 있었다.

또한, 종래에 제공하는 3D 헤어 이미지의 경우 면 단위로 형성하여 사실적이지 못하여 사람에게 매치하여도 실사에 가깝지 않다는 단점이 있다.

상기와 같은 문제점을 해결 하기 위해 안출된 본 발명의 목적은 카메라로 비춰진 실존의 사용자 영상에 가상의 오브젝트를 정합하고, 사용자의 움직임에 따라 마커에 의해 투영된 가상의 오브젝트가 사용자의 움직임에 따라 같이 움직여 다양한 스타일링을 미리 3D로 표현하는 증강현실을 이용한 3D 헤어스타일 시뮬레이션 방법을 제공하는데 있다.

또한, 본 발명의 목적은 면 단위로 형성된 3D 이미지를 한올 한올 개별적으로 매핑(Mapping)하여 실사에 가까운 3D 이미지 형상으로 나타내는 증강현실을 이용한 3D 헤어스타일 시뮬레이션 방법을 제공하는데 있다.

이와 같은 목적을 달성하기 위해 본 발명에 따른 증강현실을 이용한 3D 헤어스타일 시뮬레이션 방법은, 영상 획득 장치를 이용하여 사용자 및 마커(Marker)의 영상을 획득하는 영상획득 단계와; 상기 획득한 마커를 인식하여 픽셀크기 및 상기 영상 획득 장치와의 거리를 계산하는 정적처리과정 단계와; 상기 마커의 이미지 매핑 소스를 생성하고, 알파(Alpha)값을 계산하여 상기 이미지 매핑 소스에 알파 이미지 매핑 소스로 이미지 마스크를 적용하여 알파값이 적용된 오브젝트(Object)를 생성하는 렌더링 처리과정 단계와; 상기 생성된 헤어모델의 사이즈를 조절하거나 다른 헤어모델을 선택하는 헤어 컨텐츠 생성단계; 및 상기 생성된 헤어모델과 사용 자의 프레임 속도를 제어하여 사용자에 적용하는 동적처리과정 단계;로 구성하는 것을 특징으로 한다.

본 발명은 상기 헤어 컨텐츠 생성단계에서 다른 헤어 모델 선택 시, 렌더링 처리과정 단계를 진행하는 것을 특징으로 한다.

이와 같은 목적을 달성하기 위해 본 발명에 따른 또 다른 증강현실을 이용한 3D 헤어스타일 시뮬레이션 장치는 실세계의 사용자 및 마커의 영상을 획득하는 영상획득부와; 상기 영상획득부로부터 비디오 이미지 스트림을 받아 비보정된 이미지를 트레킹모듈에 전달하는 비디오 인터페이스부와; 상기 마커를 인식하고 상기 영상획득부와의 거리 계산 및 마커의 픽셀크기를 계산하여 조정하는 트레킹 모듈부와; 상기 마커의 이미지 매핑 소스를 생성하고, 알파(Alpha)값을 계산하여 상기 이미지 매핑 소스에 알파 이미지 매핑 소스로 이미지 마스크를 적용하여 알파값이 적용된 오브젝트(Object)를 생성하는 렌더링 모듈부와; 상기 사용자와 오브젝트(Object)의 프레임 속도를 제어하는 측정모듈부와; 상기 오브젝트(Object)가 사용자의 움직임에 따라 움직이는 모습을 출력하는 디스플레이 장치부;로 구성하는 것을 특징으로 한다.

본 발명에 있어서, 상기 오브젝트(Object)의 크기 및 회전각을 조절하는 컨트롤부를 더 구성하는 것을 특징으로 한다.

본 발명에 있어서, 상기 오브젝트(Object)는 가상 선글래스, 가상 악세서리 및 가상 의류를 포함하는 것을 특징으로 한다.

본 발명에 따른 증강현실을 이용한 3D 헤어스타일 시뮬레이션 방법 및 장치는 실제로 카메라로 비춰진 실존의 사용자 영상에 가상의 오브젝트(헤어, 액세서리, 및 의류)를 정합하고 정적오차 및 동적 오차를 줄임으로써 더욱 현실감이 강화되어 정면을 포함하여 좌, 우, 및 상단의 모습을 보여주는 시뮬레이션을 통해 정확한 정보를 얻을 수 있는 효과가 있다.

상기와 같이 본 발명을 통해 정확한 정보를 얻어 실제로 스타일링 하지 않고 사용자에게 맞는 스타일을 연출하는 헤어 및 액세서리를 선택할 수 있는 효과가 있어 잘못된 구매 또는 헤어를 직접 하지 않아도 되어 사용자의 편의성 면에서 효과적이다.

또한, 본 발명은 헤어를 나타내는 이미지의 경우 면 단위로 나타내는 이미지를 한 올 한 올 개별적으로 매핑(mapping)하여 실사에 가까운 이미지를 나타낼 수 있는 효과가 있다.

이하, 본 발명의 바람직한 실시 예를 첨부한 도면에 의거하여 더욱 상세하게 설명하면 다음과 같다.

도 1은 본 발명에 따른 증강현실을 이용한 3D 헤어스타일 시뮬레이션 방법을 나타낸 순서도이다.

도 1에 도시한 바와 같이, 본 발명은 먼저, 영상 획득 장치를 이용하여 사용 자와 마커의 영상을 획득한다(S111). 이때, 본 발명에서는 마커 인식기술을 이용하여 설명하였으나, 종래의 바코드 인식기술, 음성 인식기술 등과 같은 일반적인 인식기술을 접목하여 구현할 수 있음은 자명하다.

이어서, 상기 획득한 마커를 인식(S112)하여 상기 영상 획득 장치와의 거리 및 마커의 픽셀크기를 계산한다(S113). 이때, 실세계의 좌표계와 가상 오브젝트가 적용되는 좌표계의 일치 및 사용자의 위치와 보고 있는 방향에 대한 정확한 정보를 획득할 수 있으며, 그 방법은 다음과 같다.

정적 처리를 통하여 1픽셀의 크기를 계산하는 과정으로 영상에서 획득한 마커 크기와 실제 마커 크기의 차이 그리고 마커와 카메라간의 거리를 이용하여 계산하는데 본 발명에서는 마커 크기를 3cm*3cm의 크기로 설정하여 획득한 영상에서의 가장 정적 안정성을 나타내는 마커 크기 정보를 알아야 하는데 즉 픽셀크기를 알아야 한다. 일반적으로 1024*768의 해상도에서 한 픽셀의 크기는 약 0.04cm이며, 영상획득장치와 마커 간의 거리를 60cm 내지 90cm를 유지할 때 가장 안정적인 정적 안정성을 얻을 수 있으며, 마커의 크기가 클수록 상기 영상획득장치와 마커 간의 거리는 멀어지며, 화면에 비춰지는 마커는 상기 영상획득장치와 마커 간이 거리가 가까울수록 커지는 반비례 관계이다. 이때, 가장 안정적인 정적 안정성을 얻을 수 있는 픽셀의 크기는 85*85 픽셀이다.

이어서, 이미지 모델을 생성하고(S114), 알파(Alpha)값을 계산(S115)하여 상기 이미지 모델과 렌더링 연산하여 가상 헤어(이하 ‘오브젝트’라 칭한다.)를 생성한다. 이때, 본 발명에서는 예시를 가상 헤어로 들어 설명하지만 상기 가상 헤어 에 해당하는 오브젝트는 가상 선글래스, 가상 악세서리 및 가상 의류를 포함할 수 있으며, 상기 오브젝트를 가상 헤어로만 한정하지 아니한다.

이때, 상기 오브젝트를 생성하는 방법을 자세히 설명하면 다음과 같다.

오브젝트에 해당하는 이미지 모델을 기본 30*240픽셀의 면 단위로 나누어 이미지 맵핑 소스와 알파 이미지 맵핑 소스를 준비하여 알파 블랜딩(Alpha Blending) 프로세싱을 적용시킴으로써 알파 값이 적용된 하나의 이미지 맵핑 소스가 생성된다. 즉, 상기 알파 블랜딩은 렌더링 과정에서 화면에 정보를 표시하기 위해서 기본적으로 RGB 3색을 이용하게 되는데 여기서 알파 값이 더해지게 된다.

상기 알파 값은 각각의 픽셀에 대한 투명도를 알파채널이라고 하는데, 상기 알파채널은 8bit로 0~255까지의 값을 가지게 되며 0은 투명상태, 255는 불투명상태를 나타낸다.

동일한 두 개의 이미지 맵핑 소스를 VR로 컨버팅하면 알파 값을 적용한 이미지 프로세싱이 되지 않아 면 단위로 헤어가 구현되는데 본 발명에서는 이러한 문제를 해결하기 위하여 두 개의 이미지 맵핑 소스를 VR로 컨버팅하는 과정에서도 블랜딩이 제대로 이루어지게 하기 위하여 기존의 이미지 프로세싱 알고리즘을 이용하여 VR로 컨버팅 할 때 알파 값을 적용할 수 있는 간단한 이미지 프로세싱 어플리케이션을 이용하여 문제를 해결한다.

이어서, 상기 생성된 오브젝트를 선택(S117)하거나 오브젝트의 사이즈를 조절한다(S118). 이때, 상기 생성된 오브젝트를 선택하지 않고 다른 오브젝트를 선택하기 위해서 이미지 모델 생성부터 렌더링 연산까지의 절차를 다시 수행 한다.

이어서, 상기 생성된 오브젝트와 사용자의 프레임 속도를 제어하여 사용자에 적용한다(S119). 이때, 사용자의 위치 및 시선 방향의 변화에 따라 가상 영상을 렌더링 할 때 걸리는 시간 지연으로 인해 발생되는 문제를 해결하는 방법은 맵핑의 이미지를 png로 맵핑을 하면 용량이 줄어 들어 기존의 비트맵이미지나 텍스처 맵핑보다 많이 가벼워 동적 오차를 확연히 줄일 수 있다.

마지막으로, 상기 오브젝트를 사용자 체형에 적용하여 디스플레이한다(S120).

도 2는 본 발명에 따른 증강현실을 이용한 3D 헤어스타일 시뮬레이션 장치를 나타낸 블록도이다.

도 2에 도시한 바와 같이, 본 발명은 영상획득부(210), 비디오 인터페이스부(220), 트레킹 모듈부(230), 렌더링 모듈부(240), 컨트롤부(미도시), 측정 모듈부(250), 및 디스플레이 장치부(260)로 구성한다.

여기서, 상기 영상획득부(210)는 실세계의 사용자 및 마커(Marker)의 영상을 획득한다. 이때, 상기 사용자는 마커가 부착된 헤어 밴드 또는 스킨 캡을 이용하여 영상획득부에 노출시키며, 상기 마커는 노출된 위치에 생성한다. 또한, 상기 마커와 같은 인식기술을 이용하여 본 발명을 구현할 수 있으며, 종래의 인식기술을 이용하여 구현할 수 있음은 자명하다.

여기서, 상기 비디오 인터페이스부(220)는 상기 영상획득부(210)로부터 비디오 이미지 스트림을 받아 비보정된 이미지를 트레킹 모듈(230)에 전달한다.

여기서, 상기 트레킹 모듈부(230)는 상기 마커를 인식하고 상기 마크와 영상 획득부(210)와의 거리를 계산하고, 마커의 픽셀크기를 계산하여 조정한다. 이때, 상기 마크의 크기는 3*3, 5*5, 및 7*7등과 같이 다양한 크기를 가질 수 있으며, 상기 마커의 크기에 따라 영상획득부(210)와의 거리를 조절한다.

또한, 상기 마커는 트레킹 모듈부(230)에서 픽셀크기로 계산되며, 상기 마커의 크기가 3*3일 때, 상기 마커의 픽셀은 80 내지 90픽셀(Pixel)을 가진다.

여기서, 상기 렌더링 모듈부(240)는 상기 마커의 이미지 모델을 생성하고, 알파 값을 계산하여 상기 이미지 모델과 렌더링 연산하여 오브젝트를 생성한다.

여기서, 상기 컨트롤부(미도시)는 상기 렌더링 모듈부(240)에서 생성한 오브젝트의 크기를 조절 할 수 있으며, 상기 오브젝트의 회전각을 조절할 수 있다.

여기서, 상기 측정 모듈부(250)는 상기 사용자와 오브젝트(Object)의 프레임 속도를 조절하여 사용자가 움직이는 방향으로 오브젝트도 함께 움직일 수 있도록 한다. 이때, 사용자의 위치 및 시선 방향의 변화에 따라 가상 영상을 렌더링 할 때 걸리는 시간 지연으로 발생하는 동적 오차를 해결하는 방법은 맵핑(Mapping)의 이미지를 png로 맵핑을 하면 오브젝트의 용량이 줄어 들어 종래의 비트맵이미지 또는 텍스쳐 맵핑 보다 많이 가벼워 동적 오차를 해결할 수 있다.

여기서, 상기 디스플레이 장치부는 상기 오브젝트가 사용자의 움직임에 따라 움직이는 모습을 출력한다.

도 3은 본 발명에 따른 증강현실을 이용한 3D 헤어스타일 시뮬레이션하는 모습을 나타낸 도면이다.

도 3의 도(a)는 마커가 부착된 헤어밴드를 착용한 사용자를 나타낸 모습이 고, 도(b)는 상기 마커가 카메라에 노출되어 마커에 해당하는 가상의 헤어 즉, 오브젝트(Object)가 사용자의 머리부분에 위치하여 정합된 모습이고, 도(c) 및 도(d)는 상기 사용자의 머리에 정합된 오브젝트는 사용자가 좌우로 머리의 방향을 바꿀 때에도 사용자의 방향과 같은 방향으로 움직여 좌, 우의 상태도 확인 할 수 있다.

이로써, 더욱 현실감이 강화되어 본 발명에 따른 증강현실을 이용한 3D 헤어스타일 시뮬레이션 방법 및 장치에 의해 정확한 정보를 얻을 수 있는 효과가 있다.

이상에서 설명한 바와 같이, 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예에 관하여 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 범주에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 따라서 본 발명의 권리 범위는 설명된 실시 예에 국한되어 정해져서는 안되며, 후술하는 청구범위뿐만 아니라, 이와 균등한 것들에 의해 정해져야 한다.

도 1은 본 발명에 따른 증강현실을 이용한 3D 헤어스타일 시뮬레이션 방법을 나타낸 순서도.

도 2는 본 발명에 따른 증강현실을 이용한 3D 헤어스타일 시뮬레이션 장치를 나타낸 블럭도.

도 3은 본 발명에 따른 증강현실을 이용한 3D 헤어스타일 시뮬레이션 하는 모습을 나타낸 도면.

<도면의 주요부분에 대한 부호의 설명>

210 : 영상획득부 220 : 비디오 인터페이스부

230 : 트레킹 모듈부 240 : 렌더링 모듈부

250 : 측정 모듈부 260 : 디스플레이 장치부

Claims (5)

1. 증강현실을 이용한 3D 헤어스타일 시뮬레이션 방법에 있어서,

   영상 획득 장치를 이용하여 사용자 및 마커(Marker)의 영상을 획득하는 영상획득 단계와;

   상기 획득한 마커를 인식하여 픽셀크기 및 상기 영상 획득 장치와의 거리를 계산하는 정적 처리과정 단계와;

   상기 마커의 이미지 모델을 이미지 생성하고, 알파(Alpha)값을 계산하여 상기 이미지 모델과 렌더링 연산하여 오브젝트(Object)를 생성하는 렌더링 처리과정 단계와;

   상기 생성된 오브젝트의 사이즈를 조절하거나 다른 이미지 모델을 선택하는 컨텐츠 생성단계; 및

   상기 생성된 오브젝트와 사용자의 프레임 속도를 제어하여 사용자에 적용하는 동적처리과정 단계;로 이루어지는 것을 특징으로 하는 증강 현실을 이용한 3D 헤어스타일 시뮬레이션 방법.
2. 제 1항에 있어서,

   상기 컨텐츠 생성단계에서 다른 이미지 모델 선택 시, 렌더링 처리과정 단계를 반복 수행하는 것을 특징으로 하는 증강 현실을 이용한 3D 헤어스타일 시뮬레이션 방법.
3. 증강현실을 이용한 3D 헤어스타일 시뮬레이션 장치에 있어서,

   실세계의 사용자 및 마커의 영상을 획득하는 영상획득부와;

   상기 영상획득부로부터 비디오 이미지 스트림을 받아 비보정된 이미지를 트레킹모듈에 전달하는 비디오 인터페이스부와;

   상기 마커를 인식하고 상기 영상획득부와의 거리 계산 및 마커의 픽셀크기를 계산하여 조정하는 트레킹 모듈부와;

   상기 마커의 이미지 모델을 생성하고, 알파(Alpha)값을 계산하여 상기 이미지 모델에 알파 값을 렌더링하여 오브젝트(Object)를 생성하는 렌더링 모듈부와;

   상기 사용자와 오브젝트(Object)의 프레임 속도를 제어하는 측정모듈부와;

   상기 오브젝트(Object)가 사용자의 움직임에 따라 움직이는 모습을 출력하는 디스플레이 장치부;로 구성하는 것을 특징으로 하는 증강현실을 이용한 3D 헤어스타일 시뮬레이션 장치.
4. 제 3항에 있어서,

   상기 오브젝트(Object)의 크기 및 회전각을 조절하는 컨트롤부를 더 구성하는 것을 특징으로 하는 증강현실을 이용한 3D 헤어스타일 시뮬레이션 장치.
5. 제 1항 또는 제 3항에 있어서,

   상기 오브젝트(Object)는 가상 선글래스, 가상 악세서리 및 가상 의류를 포함하는 것을 특징으로 하는 증강현실을 이용한 3D 헤어스타일 시뮬레이션 장치.

Images