KR102214411B1 - 렌즈 가상 착용 장치 및 방법 - Google Patents

Abstract

본 발명은 렌즈 가상 착용 장치 및 방법에 관한 것으로, 보다 상세하게는 RGB 카메라로 획득한 사용자의 얼굴 영상에 컬러 렌즈 영상을 가상으로 덧씌워 컬러 렌즈를 간편하게 경험할 수 있는 렌즈 가상 착용 장치 및 방법에 관한 것이다. 본 발명의 일 실시 예에 따르면, 주변의 밝기에 맞게 렌즈의 투명도를 조절하여 합성 이미지를 자연스럽게 표현하므로 실제 착용하지 않고 시뮬레이션만으로도 사용자는 어울리는 컬러 렌즈의 색상을 선택할 수 있다.

Description

렌즈 가상 착용 장치 및 방법 {APPARATUS AND METHOD TO VIRTUAL WEARING FOR LENSES}

본 발명은 렌즈 가상 착용 장치 및 방법에 관한 것으로, 보다 상세하게는 RGB 카메라 만을 이용하여 획득한 사용자의 얼굴 영상에 컬러 렌즈 영상을 가상으로 덧씌워 컬러 렌즈를 간편하게 경험할 수 있는 렌즈 가상 착용 장치 및 방법에 관한 것이다.

일반적으로 컬러 렌즈는 착용시 사용자의 눈동자가 커보이거나 눈동자를 다양한 색상으로 표현할 수 있어 이미지 변신 또는 미용의 목적으로 사용된다. 이런 컬러 렌즈는 직접 착용해 보지 않는 이상 어울리는 색상을 인지하기 어렵지만 컬러 렌즈와 같은 콘택트렌즈 제품은 위생상 타인과의 공유사용이 제한되어 시험 착용도 불가능하다. 또한 어울리는 색상을 찾기 위해 다양한 색상의 컬러 렌즈를 계속 끼웠다 뺐다 반복하는 것도 많은 시간이 소요되고 눈 건강을 악화시킬 수 있다.

한편 쇼핑몰이나 매장에서는 헤어 컬러나 스타일, 색조 화장품, 의류 및 장신구 등을 구매자가 직접 착용한 것과 같은 가상 체험 서비스를 제공하여 구매율과 구매 만족도를 높이기도 한다.

본 발명의 배경기술은 대한민국 공개특허 제10-2010-026981호에 개시되어 있다.

본 발명은 사용자가 카메라를 응시하는 것만으로도 컬러 렌즈를 직접 착용한 것과 같은 영상을 생성하여 사용자에게 어울리는 컬러 렌즈를 선택하는데 도움을 주는 렌즈 가상 착용 장치를 제공한다.

본 발명은 다른 추가적인 장치가 없이 일반적인 RGB 카메라로 촬영한 얼굴 영상에서 얼굴 특징 점 추출 알고리즘으로 정확한 홍채 영역을 추출하고, 주변의 밝기를 고려하여 렌즈의 투명도를 조정함으로 자연스러운 렌즈 착용 영상을 생성하는 렌즈 가상 착용 방법을 제공한다.

본 발명의 일 측면에 따르면, 렌즈 가상 착용 장치를 제공한다.

본 발명의 일 실시예에 따른 얼굴 영상을 획득하여 입력하는 입력부, 얼굴 영상에서 홍채 영역을 추출하는 홍채 영역 추출부 및 홍채 영역에 컬러 렌즈 영상을 덧씌우는 가상 착용부를 포함할 수 있다.

본 발명의 다른 일 측면에 따르면, 렌즈 가상 착용 방법 및 이를 실행하는 컴퓨터 프로그램이 기록된 컴퓨터가 판독 가능한 기록매체를 제공한다.

본 발명의 일 실시예에 따른 방법 및 기록매체는 얼굴 정면 영상을 획득하여 입력하는 단계, 얼굴 정면 영상에서 눈 영역 특징 점을 추출하는 단계, 눈 영역 특징 점으로 홍채 후보 영역을 추출하는 단계, 홍채 후보 영역에서 홍채 영역을 추출하는 단계 및 홍채 영역에 컬러 렌즈 영상을 덧씌우는 단계를 포함할 수 있다.

본 발명의 일 실시 예에 따르면, 사용자가 카메라 렌즈를 응시하는 것만으로 컬러 렌즈를 실제로 착용한 것과 같은 경험을 제공한다.

본 발명의 일 실시 예에 따르면, 직접 렌즈를 착용하고 제거하는 번거로운 과정 없이 쉽고 빠르게 렌즈 착용 이미지를 시뮬레이션 함으로 구매 소요 시간도 줄여주고 구매 욕구도 높일 수 있다.

본 발명의 일 실시 예에 따르면, 추가적인 장치없이 RGB 카메라 만으로 눈동자 영역부분을 추출하여 컬러 렌즈 영상을 맞추고, 촬영 환경의 주변 밝기에 따라 렌즈 영상의 투명도를 조정하여 적용함으로 사용자의 얼굴 영상과 렌즈 영상을 자연스럽게 표현할 수 있다.

도 1 내지 도 6은 본 발명의 일 실시 예에 따른 컬러 렌즈 가상 착용 장치를 설명하는 도면들.
도 7은 본 발명의 일 실시 예에 따른 컬러 렌즈 가상 착용 방법을 설명하는 도면.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서 및 청구항에서 사용되는 단수 표현은, 달리 언급하지 않는 한 일반적으로 "하나 이상"을 의미하는 것으로 해석되어야 한다.

이하, 본 발명의 바람직한 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

도 1 내지 도 6은 본 발명의 일 실시 예에 따른 컬러 렌즈 가상 착용 장치를 설명하는 도면들이다.

도 1을 참조하면, 컬러 렌즈 가상 착용 장치(10)는 입력부(100), 홍채 영역 추출부(200) 및 가상 착용부(300)를 포함한다.

입력부(100)는 렌즈 가상 착용을 원하는 사용자의 얼굴 정면 영상을 획득하여 입력한다. 얼굴 정면 영상은 추가적인 장치가 필요없는 일반적인 RGB카메라로 촬영한 영상이다. 얼굴 정면 영상은 컴퓨터에 연결되어 있거나 모바일 기기에 장착된 카메라로 촬영된 정면 얼굴 영상일 수 있다.

도 2를 참조하면, 홍채 영역 추출부(200)는 입력된 얼굴영상에서 홍채 영역을 추출한다. 홍채 영역 추출부(200)는 눈 영역 선정부(210), 홍채 영역 후보 선정부(220) 및 홍채 영역 선정부(230)를 포함한다.

도 3을 참조하면, 눈 영역 선정부(210)는 얼굴 특징 점(facial landmarks) 추출 알고리즘을 적용하여 눈 영역의 특징 점(landmarks)을 추출한다. 양쪽 눈 영역의 특징 점은 도 3과 같이 각 6개이고, 총 12개이다.

도 4를 참조하면, 눈 영역 선정부(210)는 한 쪽 눈 영역 특징 점 6개 중에 4개를 추출한다.

단계 S410에서 눈 영역 선정부(210)는 추출한 4개의 눈 영역 특징 점으로 무게 중심을 구한다.

단계 S420에서 눈 영역 선정부(210)는 계산된 무게중심과 4개의 눈 영역 특징 점과의 거리를 산출한다.

단계 S430에서 눈 영역 선정부(210)는 무게중심과 가장 멀리 위치한 눈 영역 특징 점과의 거리를 반지름으로 하여 사각형 영역으로 추출한다.

단계 S440에서 홍채 후보 영역 선정부(220)는 눈 영역으로 선정된 사각형 영역을 가로가 긴 직사각형 영역으로 변경한다. 대부분의 사람 눈은 가로로 길기 때문에 직사각형으로 추출을 해야 홍채 부분이 누락되는 경우를 막을 수 있다. 홍채 후보 영역 선정부(220)는 눈 영역 선정부(210)에서 계산한 정사각형 영역에서 1:1.2~2 정도의 세로 : 가로비를 가진 직사각형 영역으로 확장하여 홍채 후보 영역을 선정한다.

단계 S450에서 홍채 영역 선정부(230)는 홍채 후보 영역을 이진화한다.

도 5를 참조하여 자세히 설명하면, 홍채 후보 영역을 이진화하면 홍채부분만 검은색으로 표시되므로 홍채 영역 선정부(230)는 검은 부분을 홍채 영역으로 선정한다. 도 5a는 홍채 후보 영역 영상이다. 홍채 영역 선정부(230)는 홍채 후보 영역 영상을 이진화하면 도 5b 와 같이 홍채 영역만 검은 색으로 표현된다. 홍채 영역 선정부(230)는 홍채 후보 영역을 이진화하여 홍채 영역을 검출한다.

다시 도 1 을 참조하면, 가상 착용부(300)는 컬러 렌즈를 이진화된 홍채 영역 영상에 맞추어 위치시킨다.

도 6을 참조하면, 가상 착용부(300)는 이진화된 홍채 영역 영상과 렌즈 영상의 픽셀 단위 비교를 통해 크기와 중심을 맞추다. 가상 착용부(300)는 이진화된 홍채 영역 영상의 특정 픽셀이 검정색(밝기 값 0)이면 원본 영상에서 그 픽셀에 대응되는 위치에 컬러 렌즈 영상을 대입한다. 가상 착용부(300)는 주변의 밝기에 따라 렌즈의 투명도를 변경하여 자연스러운 렌즈 적용 영상을 생성한다. 가상 착용부(300)는 주변 밝기가 밝을 경우 렌즈 불투명도 값을 높여 렌즈가 선명하게 보이게 하고, 주변 밝기가 낮을 경우 렌즈의 불투명도 값을 낮춰, 즉 투명도를 높여서 주변에 비해 렌즈가 어색하지 않도록 적용한다. 렌즈의 투명도는 [수학식1]을 통해 변경가능하다.

Opacity : 렌즈의 불투명도.

Face_frame : 얼굴 영상의 밝기 값

Lens_frame : 렌즈 영상의 밝기 값

opacity가 높을 경우 Face_frame에 곱해지는 값은 작아지고 lens_frame에 곱해지는 값은 커지므로 얼굴의 밝기 값이 결과 영상에 영향을 덜 끼치고 렌즈 영상의 밝기 값이 결과 영상에 더 많은 영향을 끼친다. 반대로, opacity가 낮을 경우 Face_frame에 곱해지는 값은 커지고 lens_frame에 곱해지는 값은 작아지므로 얼굴의 밝기 값이 결과 영상에 더 많은 영향을 끼치고, 렌즈 영상의 밝기 값이 결과 영상에 영향을 덜 끼친다.

도 7은 본 발명의 일 실시 예에 따른 렌즈 가상 착용 방법을 설명하는 도면이다.

도 7을 참조하면, 단계 S710에서 렌즈 가상 착용 장치(10)는 사용자의 정면 얼굴 영상을 획득하여 입력한다.

단계 S720에서 렌즈 가상 착용 장치(10)는 얼굴 특징 점(facial landmarks) 추출 알고리즘을 이용하여 눈 영역 특징 점을 추출한다. 눈 영역 특징 점은 각각 6개로 총 12개일 수 있다.

단계 S730에서 렌즈 가상 착용 장치(10)는 눈 영역 특징 점으로 홍채 후보 영역을 검출한다. 렌즈 가상 착용 장치(10)는 한 쪽 눈에서 6개의 눈 영역 특징 점 중 4개를 추출한다. 렌즈 가상 착용 장치(10)는 추출한 4개의 눈 영역 특징 점에서 무게 중심을 구한 후 무게 중심과 눈 영역 특징 점까지의 거리를 구한다. 렌즈 가상 작용 장치(10)는 산출한 무게 중심과 눈 영역 특징 점의 거리 중에 가장 긴 거리를 반지름하고 무게 중심을 중심점으로 하는 사각형 영역을 선정한다. 사람의 눈은 가로로 긴 경향이 있어 정사각형 영역으로 홍채 후보 영역으로 선정하는 경우 사람의 눈은 가로로 긴 경향이 있어 눈 영역이 누락될 수 있다. 렌즈 가상 착용 장치(10)는 눈 영역이 누락되지 않도록 세로:가로비가 1:1.2~2 정도가 되도록 직사각형 영역으로 확장한다. 렌즈 가상 착용 장치(10)는 구해진 직사각형 영역을 홍채 후보 영역으로 선정한다.

단계 S740에서 렌즈 가상 착용 장치(10)는 홍채 후보 영역에서 홍채 영역을 추출한다. 렌즈 가상 착용 장치(10)는 홍채 후보 영역을 이진화한다. 홍채 후보 영역을 이진화하면 홍채 영역만 검은 색으로 표현된다. 렌즈 가상 착용 장치(10)는 검게 표현된 홍채 영역을 추출한다.

단계 S750에서 렌즈 가상 착용 장치(10)는 컬러 렌즈의 투명도를 주변의 밝기에 맞춰 조정한다. 렌즈 가상 착용 장치(10)는 주변 밝기가 높은 경우 렌즈의 불투명도를 높여 렌즈가 선명하게 보이도록 하고, 주변 밝기가 낮은 경우 투명도를 높여서 즉, 불투명도를 낮춰 컬러 렌즈 가상 착용시 렌즈가 어색해 보이지 않도록 한다.

단계 S760에서 렌즈 가상 착용 장치(10)는 투명도가 조절된 렌즈를 사용자 얼굴 영상의 홍채 영역에 덧씌워 렌즈를 착용한 것과 같은 합성 영상을 생성한다. 렌즈 가상 착용 장치(10)는 홍채 영역과 렌즈 영상을 픽셀 단위로 비교하여 크기와 중심을 맞추어 자연스런 렌즈 착용 합성 영상을 생성한다.

렌즈 가상 착용 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 상술한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드 뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

10: 렌즈 가상 착용 장치
100: 입력부
200: 홍채 영역 추출부
210: 눈 영역 선정부
220: 홍채 후보 영역 선정부
230: 홍채 영역 선정부
300: 가상 착용부

Claims (13)

1. 렌즈 가상 착용 장치에 있어서,
   얼굴 영상을 획득하여 입력하는 입력부;
   상기 얼굴 영상에서 홍채 영역을 추출하는 홍채 영역 추출부; 및
   상기 홍채 영역에 컬러 렌즈 영상을 덧씌우는 가상 착용부를 포함하되,
   상기 홍채 영역 추출부는
   상기 얼굴 영상에서 얼굴 특징 점 추출 알고리즘을 이용해 눈 영역 특징 점을 추출하는 눈 영역 선정부;
   상기 눈 영역 선정부의 정사각형 영역에서 세로:가로 비가 1:1.2~2인 직사각형인 홍채 후보 영역을 선정하는 홍채 후보 영역 선정부 및
   상기 홍채 후보 영역을 이진화하여 홍채 영역을 추출하는 홍채 영역 선정부를 포함하고,
   상기 눈 영역 선정부는
   한쪽 눈에서 추출되는 6개의 상기 눈 영역 특징점 중에 4개의 눈 영역 특징점을 이용해 무게 중심을 산출하고,
   4개의 눈 영역 특징점에서 상기 무게 중심과 가장 먼 눈 영역 특징점과의 거리를 반지름으로 하여 정사각형 영역을 추출하고,
   상기 가상 착용부는
   [수학식1]을 통해 얼굴 영상의 밝기가 밝을 경우 렌즈 불투명도 값을 높이고, 얼굴 영상의 밝기가 낮을 경우 렌즈의 불투명도 값을 낮춰 상기 컬러 렌즈 영상의 투명도를 조정하고,
   상기 홍채 영역의 특정 픽셀이 검정색(밝기 값 0)에 대응되는 위치에 상기 컬러 렌즈 영상을 픽셀 단위 비교를 통해 크기와 중심을 맞추어 대입하는 것을 특징으로 하는 렌즈 가상 착용 장치.
   [수학식1]
   

   

   
   여기서,
   Opacity : 렌즈의 불투명도,
   Face_frame : 얼굴 영상의 밝기 값,
   Lens_frame : 렌즈 영상의 밝기 값이다.
   
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 렌즈 가상 착용 방법에 있어서,
   얼굴 정면 영상을 획득하여 입력하는 단계;
   상기 얼굴 정면 영상에서 얼굴 특징 점 추출 알고리즘을 이용하여 눈 영역 특징 점을 추출하는 단계;
   한쪽 눈에서 추출되는 6개의 상기 눈 영역 특징점 중에 4개의 눈 영역 특징점을 이용해 무게 중심을 산출하는 단계;
   무게 중심과 각 눈 영역 특징 점까지의 거리를 구하고, 상기 거리 중 가장 먼 거리를 가지는 무게 중심과 눈 영역 특징 점의 거리를 반지름으로 하는 홍채 후보 영역을 추출하는 단계;
   상기 홍채 후보 영역에서 상기 반지름을 세로비 2로 하고, 가로비는 2.4~4로 설정한 직사각형 모양의 홍채 후보 영역을 추출하는 단계;
   상기 홍채 후보 영역을 이진화하여 홍채 영역을 추출하는 단계; 및
   상기 홍채 영역에 컬러 렌즈 영상을 덧씌우는 단계를 포함하되,
   상기 홍채 영역에 컬러 렌즈 영상을 덧씌우는 단계는
   [수학식1]을 통해 얼굴 영상의 밝기가 밝을 경우 렌즈 불투명도 값을 높이고, 얼굴 영상의 밝기가 낮을 경우 렌즈의 불투명도 값을 낮춰 상기 컬러 렌즈 영상의 투명도를 조정하는 단계 및
   상기 홍채 영역의 특정 픽셀이 검정색(밝기 값 0)에 대응되는 위치에 상기 컬러 렌즈 영상을 픽셀 단위 비교를 통해 크기와 중심을 맞추어 대입하는 단계를 더 포함하는 렌즈 가상 착용 방법.
   [수학식1]
   

   

   
   여기서,
   Opacity : 렌즈의 불투명도,
   Face_frame : 얼굴 영상의 밝기 값,
   Lens_frame : 렌즈 영상의 밝기 값이다.
   
8. 삭제
9. 삭제
10. 삭제
11. 삭제
12. 삭제
13. 제 7 항의 렌즈 가상 착용 방법을 실행하고 컴퓨터가 판독 가능한 기록매체에 기록된 컴퓨터 프로그램.
    

Images