KR101520778B1 - 콘택트렌즈 가상 피팅 방법, 장치 및 이 방법을 실행시키는 컴퓨터 프로그램 - Google Patents

Abstract

본 발명은 광학렌즈를 통해 얼굴 이미지를 캡쳐링하는 단계, 캡쳐링된 얼굴 이미지에서 눈 영역을 식별하는 단계, 광학렌즈를 통해 생성된 콘택트렌즈 이미지를 식별된 눈 영역의 눈동자에 콘택트렌즈 이미지에 부여된 투명도에 따라 합성하는 단계 및 합성된 이미지를 디스플레이하는 단계를 포함하는 콘택트렌즈 가상 피팅 방법, 장치 및 이 방법을 실행시키는 컴퓨터 프로그램에 관한 것이다.
본 발명을 이용함으로써 콘택트렌즈의 착용없이도 콘택트렌즈의 착용 후의 자연스러운 모습을 알 수 있도록 하는 효과가 있다.

Description

콘택트렌즈 가상 피팅 방법, 장치 및 이 방법을 실행시키는 컴퓨터 프로그램{METHOD, APPARATUS AND COMPUTER PROGRAM EXECUTING THE METHOD FOR FITTING CONTACT LENS VIRTUALLY}

본 발명은 콘택트렌즈 가상 피팅 방법, 장치 및 이 방법을 실행시키는 컴퓨터 프로그램에 관한 것으로서, 구체적으로는 콘택트렌즈의 착용없이도 직접 촬영된 콘택트렌즈와 얼굴 이미지를 콘택트렌즈 및 눈의 형상 인식을 통해 합성하여 콘택트렌즈의 착용 후의 모습을 알 수 있도록 하는, 콘택트렌즈 가상 피팅 방법, 장치 및 이 방법을 실행시키는 컴퓨터 프로그램에 관한 것이다.

콘택트렌즈(contact lens)가 널리 이용되고 있다. 콘택트렌즈는 시력교정용으로 이용될 뿐 아니라 미용 목적으로 널리 활용되고 있다. 미용 목적의 콘택트렌즈에는 서클렌즈나 컬러렌즈 등이 있는 것으로 알려져 있다. 서클렌즈나 컬러렌즈는 렌즈 테두리 부분에 색깔이 있거나 렌즈 내에 색깔이 존재한다. 이러한 서클렌즈나 컬러렌즈는 시력교정용 목적이 아니라도 외모에 민감한 10대에서 20대들 사이에서 널리 착용되고 있다.

미용렌즈를 포함한 모든 콘택트렌즈는 안과의사를 통하지 않는 경우 안전성이 담보되지 않고 렌즈 부작용의 위험이 높다. 특히 10대들은 안구가 성장하고 있어 렌즈 부작용으로 시력저하도 발생하기 때문에 더욱더 조심할 필요가 있다.

콘택트렌즈를 구매할 경우 구매자 자신에게 어울리는 렌즈를 선택할 필요가 있다. 일반적으로 콘택트렌즈를 선택하기 위해서 확대경을 이용하거나 눈으로 콘택트렌즈의 형태를 확인할 수밖에 없다. 서비스로 착용할 수 있다고 하더라도 콘택트렌즈 접촉을 위해 손의 위생을 청결히 해야만 하고 손끝에 렌즈를 놓고 눈 가운데서 눈을 벌려 거울을 주시하면서 렌즈를 착용해야 하기에 번거로운 일이다. 콘택트렌즈의 한번 착용후에는 위생상 및 기타 이유로 착용된 콘택트렌즈는 재사용이 불가능하다.

이와 같이 콘택트렌즈의 구매시 구매자 자신에게 어울리는 콘택트렌즈를 찾기란 용이치 않다.

한편 특정 앱스토어의 앱 프로그램은 이러한 불편함을 제거하기 위한 기능을 제공한다. 해당 앱은 소프트웨어적으로 자신의 얼굴 이미지에 미리 구성된 렌즈 이미지를 결합할 수 있고 그 결합에 따라 착용후의 스타일(외모)을 알 수 있도록 한다.

앱 프로그램은 미리 튜닝된 렌즈 이미지에 대해서만 얼굴 합성이 가능하고 렌즈 이미지의 화질이 떨어지며 실 렌즈 이미지와 튜닝된 렌즈 이미지가 다른 경우가 많고 렌즈 이미지의 추가가 용이치 않다.

이와 같이 콘택트렌즈를 착용하지 않고도 콘택트렌즈의 동적인 이미지 촬영과 얼굴 인식을 통한 얼굴 이미지에서의 합성으로 콘택트렌즈의 착용후의 모습을 알 수 있도록 하는 콘택트렌즈 가상 피팅 방법, 장치 및 이 방법을 실행시키는 컴퓨터 프로그램이 필요하다.

본 발명은 상술한 문제점을 해결하기 위해서 안출한 것으로서, 콘택트렌즈의 이미지 촬영, 얼굴 이미지 촬영 및 두 이미지 사이의 동적인 합성으로 가상으로 임의의 콘택트렌즈의 착용후의 모습을 알 수 있도록 하는 콘택트렌즈 가상 피팅 방법, 장치 및 이 방법을 실행시키는 컴퓨터 프로그램을 제공하는 데 그 목적이 있다.

또한 본 발명은 얼굴 이미지에서 인식되는 눈 영역에 콘택트렌즈를 크기 조정하고 콘택트렌즈의 이미지 및 눈 영역의 형상에 따라 콘택트렌즈 이미지에 투명도를 부여하여 자연스러운 착용후의 모습을 제공할 수 있도록 하는 콘택트렌즈 가상 피팅 방법, 장치 및 이 방법을 실행시키는 컴퓨터 프로그램을 제공하는 데 그 목적이 있다.

또한 본 발명은 직접 착용했을 때 발생하는 눈 질환문제를 예방하고 착용후 콘택트렌즈의 폐기로 인한 비용을 줄일 수 있도록 하는 콘택트렌즈 가상 피팅 방법, 장치 및 이 방법을 실행시키는 컴퓨터 프로그램을 제공하는 데 그 목적이 있다.

본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상기와 같은 목적을 달성하기 위한 콘택트렌즈 가상 피팅 방법은 광학렌즈를 통해 얼굴 이미지를 캡쳐링하는 단계, 캡쳐링된 얼굴 이미지에서 눈 영역을 식별하는 단계, 광학렌즈를 통해 생성된 콘택트렌즈 이미지를 식별된 눈 영역의 눈동자에 콘택트렌즈 이미지에 부여된 투명도에 따라 합성하는 단계 및 합성된 이미지를 디스플레이하는 단계를 포함한다.

또한 상기와 같은 목적을 달성하기 위한 컴퓨터 프로그램은 하드웨어와 결합되어 콘택트렌즈 가상 피팅 방법의 각 단계를 실행시키기 위하여 매체에 저장되고 콘택트렌즈 가상 피팅 방법은 광학렌즈를 통해 얼굴 이미지를 캡쳐링하는 단계, 캡쳐링된 얼굴 이미지에서 눈 영역을 식별하는 단계, 광학렌즈를 통해 생성된 콘택트렌즈 이미지를 식별된 눈 영역의 눈동자에 콘택트렌즈 이미지에 부여된 투명도에 따라 합성하는 단계 및 합성된 이미지를 디스플레이하는 단계를 포함한다.

또한 상기와 같은 목적을 달성하기 위한 콘택트렌즈 가상 피팅 장치는 광학렌즈를 포함하여 얼굴 이미지를 캡쳐링하는 제1 카메라부, 캡쳐링된 얼굴 이미지에서 눈 영역을 식별하고 광학렌즈를 통해 생성된 콘택트렌즈 이미지를 식별된 눈 영역의 눈동자에 콘택트렌즈 이미지에 부여된 투명도에 따라 합성하는 제어부 및 합성된 이미지를 디스플레이하는 디스플레이부를 포함한다.

상기와 같은 본 발명에 따른 콘택트렌즈 가상 피팅 방법, 장치 및 이 방법을 실행시키는 컴퓨터 프로그램은 콘택트렌즈의 이미지 촬영, 얼굴 이미지 촬영 및 두 이미지 사이의 동적인 합성으로 가상으로 임의의 콘택트렌즈의 착용후의 모습을 알 수 있도록 하는 효과가 있다.

또한 상기와 같은 본 발명에 따른 콘택트렌즈 가상 피팅 방법, 장치 및 이 방법을 실행시키는 컴퓨터 프로그램은 얼굴 이미지에서 인식되는 눈 영역에 콘택트렌즈를 크기 조정하고 콘택트렌즈의 이미지 및 눈 영역의 형상에 따라 콘택트렌즈 이미지에 투명도를 부여하여 자연스러운 착용후의 모습을 제공할 수 있도록 하는 효과가 있다.

또한 상기와 같은 본 발명에 따른 콘택트렌즈 가상 피팅 방법, 장치 및 이 방법을 실행시키는 컴퓨터 프로그램은 직접 착용했을 때 발생하는 눈 질환문제를 예방하고 착용후 콘택트렌즈의 폐기로 인한 비용을 줄일 수 있도록 하는 효과가 있다.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 콘택트렌즈 가상 피팅 장치의 예시적인 블록도를 도시한 도면이다.
도 2는 콘택트렌즈 가상 피팅을 위한 예시적인 개괄적 흐름을 도시한 도면이다.
도 3은 콘택트렌즈 인식 과정의 구체적인 흐름을 도시한 도면이다.
도 4는 눈 인식 과정의 구체적인 흐름을 도시한 도면이다.
도 5는 합성 과정의 구체적인 흐름을 도시한 도면이다.
도 6은 캡쳐링된 콘택트렌즈의 이미지들을 도시한 도면이다.
도 7은 눈 영역이 표시된 얼굴 이미지 중 눈 영역 부분을 도시한 도면이다.
도 8은 콘택트렌즈 이미지와 얼굴 이미지의 합성 과정에서 결정되는 원형들을 도시한 도면이다.
도 9는 결정된 원형들을 이용하여 추가적인 투명도 부여를 위한 영역 식별 예를 도시한 도면이다.
도 10은 제2 카메라부의 구조의 예를 나타내는 도면이다.

상술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술 되어 있는 상세한 설명을 통하여 더욱 명확해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다.

도 1은 콘택트렌즈 가상 피팅 장치(100)의 예시적인 블록도를 도시한 도면이다.

도 1에 따르면 콘택트렌즈 가상 피팅 장치(100)는 입력부(101), 출력부(103), 통신부(105), 저장부(107), 제1 카메라부(109), 제2 카메라부(111), 디스플레이부(113), 연결부(115) 및 제어부(117)를 포함한다. 콘택트렌즈 가상 피팅 장치(100)는 기능의 추가에 따라 특정 다른 블록을 더 포함할 수 있다. 또는 도 1의 특정 블록은 생략될 수도 있다. 도 1의 블록은 바람직하게는 기능 블록도를 나타낸다.

콘택트렌즈 가상 피팅 장치(100)는 하나의 기구물(case) 내에 구성되거나 복수의 기구물에 분산되어 구성될 수 있다. 예를 들어 디스플레이부(113)는 하나의 디스플레이기기로 구성될 수 있고 제2 카메라부(111)는 암실을 갖춘 별도의 기구물 내에 구성되고 나머지 블록들은 개인용 컴퓨터나 전용 제품으로 구성될 수 있다. 또는 모든 블록들이 하나의 전용 제품으로 구성될 수도 있다. 이와 같이 콘택트렌즈 가상 피팅 장치(100)를 구성하는 제품은 하나 또는 복수개의 제품으로 구성될 수 있다.

콘택트렌즈 가상 피팅 장치(100)의 각 블록들을 간단히 살펴보면 입력부(101)는 사용자 입력을 수신한다. 입력부(101)는 마우스, 버튼, 터치 패드, 터치 패널, 키패드, 키보드, 마이크, 광학 펜 등과 같은 하나 이상의 입력 수단을 구비한다. 입력부(101)를 통해 콘택트렌즈 가상 피팅 장치(100)의 관리자 또는 사용자는 콘택트렌즈 가상 피팅 장치(100)에서 제공하는 기능을 호출하거나 중단하거나 기능 수행에 따른 결과를 확인할 수 있다. 예를 들어 입력부(101)는 얼굴 이미지와 콘택트렌즈 이미지의 합성을 요청하는 사용자 입력을 수신하고 입력부(101)는 이 사용자 입력을 제어부(117)로 전달한다.

출력부(103)는 사용자 입력에 응답해서 또는 콘택트렌즈 가상 피팅 장치(100)에서의 특정 기능의 수행에 따라 처리된 결과를 출력한다. 출력부(103)는 프린터 인터페이스, 스피커, LED 등과 같은 하나 이상의 출력 수단을 구비한다.

통신부(105)는 네트워크에 연결되어 데이터를 송수신한다. 통신부(105)는 예를 들어 근거리 통신 네트워크에 연결되기 위한 통신 칩셋을 포함하여 제어부(117)로부터 수신된 데이터를 네트워크 패킷으로 송출하고 네트워크로부터 수신된 네트워크 패킷의 데이터를 제어부(117)로 전달할 수 있다. 근거리 통신 네트워크는 예를 들어 유선 랜, 무선 랜, 블루투스, 지그비 등 일 수 있다.

통신부(105)를 통해 저장부(107)에 저장되어 있는 각종 이미지들, 각종 데이터, 및/또는 각종 프로그램을 원격의 장치로 송출할 수 있고 원격의 장치로부터 이미지, 데이터, 프로그램등을 수신할 수 있다. 원격의 장치는 인터넷망을 통해 접속가능한 서버이거나 이동통신망을 통해 접속가능한 휴대형 단말기일 수 있다. 휴대형 단말기는 예를 들어 스마트폰이거나 태블릿 PC 등일 수 있다.

저장부(107)는 각종 데이터와 프로그램을 영구히 및/또는 임시로 저장한다. 저장부(107)는 휘발성 메모리, 비휘발성 메모리, 및/또는 하드디스크 등과 같은 대용량 저장매체를 포함한다. 저장부(107)는 콘택트렌즈 가상 피팅 장치(100)에서 이용되는 각종 프로그램, 캡쳐링된 얼굴 이미지들, 캡쳐링된 콘택트렌즈 이미지들, 콘택트렌즈 이미지로 합성된 얼굴 이미지들을 포함한다.

각각의 이미지들은 식별자와 함께 저장된다. 예를 들어 얼굴 이미지들은 콘택트렌즈(111-5)의 구매 또는 의향을 가진 일반 사용자의 식별자와 함께 저장된다. 일반 사용자의 식별자는 예를 들어 이름, 전화번호, 주소, 고유의 일련번호(예를 들어 콘택트렌즈 가상 피팅 장치(100)의 관리자에 의해 부여된 번호) 등의 하나 이상의 조합으로 구성된다. 콘택트렌즈 이미지들은 대응하는 콘택트렌즈(111-5)의 식별자와 함께 저장되는 데, 콘택트렌즈(111-5)의 식별자는 제조사, 모델명이나 모델번호 등의 하나 이상의 조합으로 구성된다. 합성된 얼굴 이미지들은 일반 사용자의 식별자 및 콘택트렌즈(111-5)의 식별자와 함께 저장된다. 이에 따라 한 사용자는 여러 콘택트렌즈(111-5)를 착용한 것과 같은 합성 이미지들을 확인할 수 있다.

저장부(107)에는 또한 합성 프로그램을 저장한다. 합성 프로그램은 이미지를 캡쳐링하고 캡쳐링된 이미지를 저장부(107)에 저장할 수 있다. 또한 합성 프로그램은 이미지들을 합성하여 디스플레이하거나 저장할 수 있다. 합성 프로그램은 바람직하게는 콘택트렌즈 이미지를 얼굴 이미지의 눈 영역, 구체적으로 눈동자 영역,에 합성할 수 있도록 구성된다. 자연스러운 이미지의 생성을 위해 콘택트렌즈 이미지는 투명도가 부여되고 투명도에 따라 얼굴 이미지에 합성된다.

합성 프로그램은 도 1로부터 도출되는 하드웨어에 결합되어 실행시키수 있도록 구성되고 매체에 저장되어 배포될 수 있다. 매체는 예를 들어 온라인 매체이거나 오프라인 매체일 수 있다. 온라인 매체는 예를 들어 앱 등을 배포하는 서버 등일 수 있고 오프라인 매체는 예를 들어 USB 메모리, 메모리 카드, 하드디스크, CD, DVD 등일 수 있다. 합성 프로그램에서 이루어지는 구체적인 이미지 캡쳐링 및 합성에 대해서는 도 2 이하에서 살펴보도록 한다.

제1 카메라부(109)는 광학렌즈 및 이미지 센서를 포함한다. 제1 카메라부(109)는 제어부(117)의 제어에 따라 일반 사용자의 얼굴을 포함하는 이미지를 캡쳐링한다. 제1 카메라부(109)는 캡쳐링된 얼굴 이미지를 아날로그 또는 디지털 신호로 제어부(117)에 출력한다.

제2 카메라부(111)는 광학렌즈(111-4) 및 이미지 센서를 포함한다. 제2 카메라부(111)는 제어부(117)의 제어에 따라 콘택트렌즈(111-5)의 이미지를 캡쳐링한다. 제2 카메라부(111)는 바람직하게는 조명(111-1)(예를 들어 LED 조명(111-1)), 콘택트렌즈(111-5)를 고정시키고 광학렌즈(111-4)의 촬상 영역으로 지정되는 콘택트렌즈 거치대(111-3)를 더 포함한다. 적어도 조명 및 콘택트렌즈 거치대(111-3)는 제2 카메라부(111)를 구성하는 기구물 안에 설치되고 이 기구물은 적어도 암실 기능을 제공한다. 콘택트렌즈 거치대(111-3), 특히 콘택트렌즈(111-5)를 위치시키는 특정 영역,는 특정 색상으로 표시된다. 즉 콘택트렌즈 거치대(111-3)의 콘택트렌즈(111-5)를 위치시키는 특정 영역은 캡쳐링시 하나의 동일한 색상으로 인식된다. 예를 들어 특정 영역은 흰색으로 캡쳐링될 수 있다. 이 색상은 이후 배경색으로 인식될 수 있고 배경색의 인식을 통해 콘택트렌즈 이미지에 투명도를 부여할 수 있다. 콘택트렌즈 거치대(111-3)는 배경색으로 지정된 된 잉크나 도료로 칠해져 있거나 도포되어 있다. 배경색은 흰색에 국한되지 않고 다른 색상이 될 수 있다. 예를 들어 빨간색(R), 녹색(G), 파란색(B) 등일 수도 있다. 배경색은 특정 콘택트렌즈(111-5)의 무늬의 색상에 의해서 선택될 수 있고 바람직하게는 관리자에 의해서 선택된다. 예를 들어 콘택트렌즈(111-5)의 무늬가 파란색인 경우, 파란색이 아닌 색상이 배경색으로 선택된다. 이하의 설명에서는 설명의 간단한 이해를 위해 배경색은 흰색으로 가정하며 설명에 있어서 필요한 경우에만 다른 색상에 대해서 언급하도록 한다.

콘택트렌즈 거치대(111-3)는 입력부(101)의 특정 버튼과 연동하여 암실 외부로 슬라이딩 방식으로 노출되고 동일한 버튼의 입력에 따라 암실 내부로 슬라이딩 방식으로 삽입된다.

도 10은 제2 카메라부의 구조의 예를 나타내는 도면이다.

도 10에서 알 수 있는 바와 같이, 제2 카메라부(111)는 하나 이상의 LED 조명(111-1), 하나 이상의 확산판(111-2)(diffusion plate), 콘택트렌즈 거치대(111-3) 및 광학렌즈(111-4)를 포함한다. 또한 제2 카메라부는 콘택트렌즈 거치대(111-3)에 탑재된 하나 이상의 콘택트렌즈(111-5)를 더 포함할 수 있다.

도 10을 통해서, 제2 카메라부를 좀더 상세히 살펴보면, 콘택트렌즈 거치대(111-3)는 하나 이상의 콘택트렌즈(111-5)를 탑재할 수 있도록 구성된다. 각 콘택트렌즈(111-5)가 탑재되는 위치의 영역에는 특정 배경 색상으로 잉크나 도료 등이 도포되어 있다. 콘택트렌즈 거치대(111-3)는 회전 가능하도록 구성되고, 광학렌즈(111-4)는 회전에 의해서 선택되는 특정 콘택트렌즈(111-5)를 촬영할 수 있도록 구성된다. 콘택트렌즈 거치대(111-3)는 슬라이딩 방식을 통해 외부로 노출될 수 있다. 콘택트렌즈 거치대(111-3)가 복수의 콘택트렌즈(111-5)를 탑재가능한 경우, 각 콘택트렌즈(111-5)가 탑재되는 콘택트렌즈 거치대(111-3)의 영역의 색상은 서로 상이할 수 있다. 예를 한 영역은 흰색이고, 다른 영역은 파란색이고 또 다른 영역은 녹색이고 또 다른 영역은 빨간색으로 구성된다.

도 10의 카메라부는 암실을 형성하고 암실 내에서 조명을 제공하기 위한 복수의 LED 조명(111-1)을 포함한다. LED 조명(111-1)은 지정된 조도를 출력할 수 있도록 구성된다. LED 조명(111-1)은 예를 들어 다수 레벨의 조도의 백색광을 출력하고 조도의 레벨 제어는 제어부(117)에 의해서 이루어진다. 특정 콘택트렌즈(111-5)의 색상에 따라서 이 조도는 달리 제어될 수 있다. LED 조명(111-1)을 통해 출력된 광은 확산판(111-2)을 통해 확산되고 다양한 각도에서 제공되는 LED 조명(111-1)들에 의해서 균일한 조도를 암실 내에 제공할 수 있다.

콘택트렌즈(111-5)는 콘택트렌즈 거치대(111-3)에 탑재된다. 콘택트렌즈(111-5)는 바람직하게는 콘택트렌즈 케이스 내에 탑재되고 콘택트렌즈 케이스가 콘택트렌즈 거치대(111-3)에 탑재된다. 콘택트렌즈 케이스는 콘택트렌즈(111-5)를 내부 수용하기 위한 하부 케이스로 구성되거나 상부 케이스를 더 포함하여 구성된다. 하부 케이스는 투명하게 구성되거나 배경색으로 칠해져 있다. 만일 하부 케이스가 배경색의 잉크나 도료로 도포되어 있는 경우, 콘택트렌즈 거치대(111-3)의 배경색의 구성은 생략될 수도 있다. 상부 케이스는 투명하게 구성된다.

콘택트렌즈 케이스는 상부 케이스를 포함하지 않을 수 있는 데, 이런 경우 관리자는 콘택트렌즈 케이스에 콘택트렌즈(111-5)를 핀셋 등을 이용하여 탑재할 수 있고 필요한 경우 콘택트렌즈(111-5)를 바꿀 수 있다. 상부 케이스를 포함하는 경우, 콘택트렌즈(111-5)를 포함하는 콘택트렌즈 케이스 자체를 콘택트렌즈 거치대(111-3)에 탑재하거나 변경할 수 있다.

디스플레이부(113)는 제어부(117)에 의해서 생성된 이미지를 디스플레이한다. 디스플레이부(113)는 LCD나 LED 디스플레이 기기일 수 있다. 이 디스플레이는 컴퓨터 모니터이거나 전용 모니터이거나 제조사에서 제조 배포된 일반 TV일 수 있다. 디스플레이부(113)는 제어부(117)에 의해 출력된 이미지를 디스플레이하고 예를 들어 얼굴 이미지에 콘택트렌즈 이미지가 합성된 이미지를 디스플레이한다.

연결부(115)는 각 블록간 데이터를 송수신한다. 연결부(115)는 병렬 버스를 포함하거나 시리얼 버스를 포함한다. 또한 연결부(115)는 특정 블록의 인터페이스의 형식에 따라 전용의 버스를 더 포함한다. 예를 들어 제1 카메라부(109) 및 제2 카메라부(111)로부터 제어부(117)로 송신되는 데이터는 이미지 센서의 칩셋에 의해서 제공되는 버스 또는 제어부(117)에 의해서 이미지를 수신하기 위해서 제공되는 버스를 통해 송신된다. 제어부(117)로부터 디스플레이부(113)로 송신되는 데이터는 디스플레이부(113)에서 제공하는 버스 또는 제어부(117)에서 이미지를 출력하기 위해서 제공되는 버스를 통해 송신된다.

제어부(117)는 도 1의 각 블록들을 제어한다. 제어부(117)는 CPU, MPU, 프로세서 등으로 지칭되는 실행 유닛을 포함하고 저장부(107)에 저장된 프로그램을 내부 메모리나 레지스터에 로딩하여 다른 블록들을 제어한다. 예를 들어 제어부(117)는 저장부(107)에 저장된 합성 프로그램을 로딩하고 합성 프로그램에 의한 수행으로 입력부(101), 디스플레이부(113), 저장부(107), 제1 카메라부(109), 제2 카메라부(111) 등을 제어한다.

제어부(117)는 제1 카메라부(109) 및/또는 제2 카메라부(111)를 제어하여 이미지를 캡쳐링하고 캡쳐링된 이미지를 저장부(107)에 저장한다. 제어부(117)는 캡쳐링된 콘택트렌즈 이미지를 캡쳐링된 얼굴 이미지에 합성하고 합성된 이미지를 디스플레이부(113)를 통해 출력한다. 또한 제어부(117)는 캡쳐링된 이미지 및/또는 합성된 얼굴 이미지를 저장부(107)에 저장하고 필요시 통신부(105)를 통해 원격의 장치로 송출할 수 있다.

제어부(117)에서 수행되는 구체적 제어 흐름은 도 2 이하에서 살펴보도록 한다.

도 2는 콘택트렌즈 가상 피팅을 위한 예시적인 개괄적 흐름을 도시한 도면이다.

도 2의 개괄적 흐름은 콘택트렌즈 인식 과정(S1), 눈 인식 과정(S2), 합성 과정(S3) 및 출력 과정(S4)으로 구성된다. 도 2의 개괄적 흐름은 콘택트렌즈 가상 피팅 장치(100)에 의해서 수행되고 바람직하게는 제어부(117)가 저장부(107)에 저장된 합성 프로그램을 로딩하여 이 합성 프로그램을 수행하고 합성 프로그램에 따라 다른 블록들을 제어하여 이루어진다.

각 과정을 간단히 살펴보면, 콘택트렌즈 인식 과정(S1)은 콘택트렌즈 거치대(111-3)의 이미지를 광학렌즈(111-4)를 이용하여 촬영하고(거나) 촬영을 통해 캡쳐링된 이미지에서 콘택트렌즈(111-5)의 형상을 인식하고 이후 콘택트렌즈(111-5)의 인식에 따라 캡쳐링된 이미지를 처리하는 과정이다. 콘택트렌즈 인식 과정을 통해서 촬영된 이미지에서 콘택트렌즈(111-5)의 이미지를 추출 또는 생성하고 이후 콘택트렌즈 이미지에 픽셀별 투명도를 부여할 수 있다. 콘택트렌즈 인식 과정은 도 3을 통해서 구체적으로 살펴보도록 한다.

눈 인식 과정(S2)은 일반 사용자의 얼굴을 광학렌즈를 이용하여 촬영하고(거나) 촬영을 통해 캡쳐링된 얼굴 이미지에서 얼굴의 눈 영역을 인식하는 과정이다. 눈 인식 과정은(S2)는 특히 눈 영역의 눈동자 영역을 인식할 수 있도록 구성된다. 눈동자 영역은 이후 콘택트렌즈 이미지가 합성되기 위한 영역이 된다. 눈 인식 과정은(S2)는 도 4를 통해서 구체적으로 살펴보도록 한다.

합성 과정(S3)는 콘택트렌즈 이미지와 얼굴 이미지를 합성하는 과정이다. 합성 과정은 특히 얼굴 이미지의 눈동자 영역에 미리 투명도가 부여된 콘택트렌즈 이미지를 투명도에 따라 합성한다. 합성 과정(S3)은 또한 여러 형태의 눈동자를 고려하여 콘택트렌즈 이미지의 크기를 조정하고 나아가 콘택트렌즈 이미지에 신규의 투명도를 더 부여하여 합성을 진행할 수 있다. 합성 과정(S3)에 대해서는 도 5를 통해서 구체적으로 살펴보도록 한다.

출력 과정(S4)은 합성된 이미지를 출력한다. 출력 과정(S4)는 디스플레이부(113)를 통해 합성된 이미지를 출력하거나 통신부(105)를 통해 합성된 이미지를 출력한다.

도 2의 각 과정은 순차적으로 수행될 필요가 없다. 예를 들어 콘택트렌즈 인식 과정(S1) 및 눈 인식 과정(S2) 사이에는 선후 관계가 존재할 필요가 없다. 콘택트렌즈 인식 과정(S1)의 수행 이후에 눈 인식 과정(S2)이 수행되거나 그 반대로 수행될 수 있다.

또한 특정 과정은 다른 시점에 수행될 수 있다. 예를 들어 콘택트렌즈 인식 과정(S1)은 콘택트렌즈(111-5) 모델별로 관리자에 의해 먼저 수행되어 콘택트렌즈 이미지 , 대응하는 콘택트렌즈 식별자가 저장부(107)에 미리 저장된다. 이후, 일반 사용자의 요청에 따라 관리자에 의한 콘택트렌즈 식별자를 입력부(101)를 통해 제어부(117)가 수신하고 수신된 식별자로 저장부(107)에 저장된 콘택트렌즈 이미지 및 데이터를 검색한다. 검색된 콘택트렌즈 이미지의 콘택트렌즈 영역으로 촬영을 통해 캡쳐링된 얼굴 이미지의 식별된 눈 영역의 눈동자에 제어부(117)가 합성(S3)하고 이후 출력(S4)할 수 있다.

도 3은 콘택트렌즈 인식 과정(S1)의 구체적인 흐름을 도시한 도면이다.

도 3의 콘택트렌즈 인식 과정은 도 1의 블록들에 의해서 수행되며 바람직하게는 제어부(117)가 합성 프로그램을 이용하여 다른 블록들을 제어함으로써 이루어진다.

본 흐름은 콘택트렌즈 가상 피팅 장치(100)의 관리자가 입력부(101)를 통해서 콘택트렌즈(111-5) 인식을 요청함으로써 시작(S100)하고 본 흐름의 수행이 완료되거나 입력부(101)를 통해 종료 요청을 수신함으로써 종료(S150)한다.

관리자는 사용자가 가상 피팅을 요청한 콘택트렌즈(111-5)를 콘택트렌즈 거치대(111-3)에 탑재(S101)하고 콘택트렌즈 거치대(111-3)를 슬라이딩 방식으로 암실내에 위치시킨다. 콘택트렌즈(111-5)는 바람직하게는 콘택트렌즈 케이스내에 포함되어 콘택트렌즈 거치대(111-3)에 탑재된다.

관리자는 입력부(101)를 통해 촬영 버튼을 누르면 제어부(117)는 촬영 버튼에 따라 제2 카메라부(111)를 제어하기 위한 제어 신호를 생성하고 제2 카메라부(111)로 제어 신호를 출력한다. 제어 신호의 수신에 따라 제2 카메라부(111)는 LED 조명(111-1)을 제어하여 조명을 출력하고 광학렌즈(111-4)를 통해 콘택트렌즈 거치대(111-3)에 탑재된 콘택트렌즈(111-5)를 포함하는 이미지를 촬영하고 촬영에 따라 이미지 센서에 노출된 이미지를 캡쳐링(S103)한다. 캡쳐링된 이미지는 제2 카메라부(111)에 의해 제어부(117)로 송신한다. 캡쳐링된 이미지는 제2 카메라부(111)의 해상도에 따라 가로축(X축)과 세로축(Y축)으로 일정한 개수의 픽셀들로 구성되고 콘택트렌즈(111-5)의 형상을 나타내는 이미지를 포함한다. 픽셀들은 바람직하게는 컬러 색상으로 표현되고 예를 들어 RGB 픽셀값으로 표현되거나 YCbCr 픽셀값으로 표현되거나 그 외 색상을 표현하기 위한 포맷으로 표현된다.

제어부(117)는 캡쳐링된 이미지로부터 콘택트렌즈 형상을 나타내는 콘택트렌즈 영역을 식별(S105)한다. 콘택트렌즈 영역의 식별은 윤곽선(contour)의 식별을 통해 이루어진다. 윤곽선의 식별은 이미지 처리 분야에서 일반적으로 알려져 있는 알고리즘을 사용할 수 있다. 윤곽선들은 가장자리를 나타내는 지점들로 표현된다.

도 6은 캡쳐링된 콘택트렌즈(111-5)의 이미지들을 나타낸다. 도 6의 콘택트렌즈(111-5)는 컬러렌즈이거나 서클렌즈이다. 도 6에서 알 수 있는 바와 같이 콘택트렌즈(111-5)의 캡쳐링된 이미지들은 여러 윤곽선들을 가지고 있고 가장 외곽의 원형의 윤곽선이 콘택트렌즈(111-5)의 형상을 나타내고 그외 다른 윤곽선은 콘택트렌즈(111-5) 내부의 무늬등을 나타내는 것임을 알 수 있다.

콘택트렌즈 영역의 식별을 구체적으로 살펴보면, 제어부(117)는 캡쳐링된 이미지에 대해서 윤곽선(contour)들을 식별한다. 콘택트렌즈(111-5)의 무늬가 다수 존재하기에 윤곽선은 다수가 존재한다. 제어부(117)는 식별된 윤곽선들을 윤곽선 내에 포함된 지점들의 개수로 내림차순 정렬하고 일정 개수 이하의 윤곽선은 콘택트렌즈 영역의 식별을 위한 대상 윤곽선에서 제외한다. 정렬된 각각의 윤곽선의 X축(이미지의 수평방향)으로의 최소점 및 최대점, Y축(이미지의 수직방향)의 최소점 및 최대점을 제어부(117)가 찾는다(검색한다).

각 윤곽선의 4개의 지점을 이용하여 각 윤곽선이 원형인지를 제어부(117)가 식별한다. 콘택트렌즈 형상은 일반적으로 원형(circle)이므로 원의 중심점에서 가장자리(테두리)의 지점까지의 거리는 일정해야 한다. 원형의 식별을 위해 제어부(117)는 찾은 4개의 지점을 이용하여 4개 지점의 중심점을 계산하고 중심점과 각 지점 사이의 거리에 대한 표준 편차를 제어부(117)가 계산한다. 만일 표준 편차가 지정된 임계치 이하인 경우에 제어부(117)는 해당 윤곽선을 원형인 것으로 식별할 수 있다. 지정된 임계치는 미리 결정될 수 있고 예를 들어 30, 20등 의 값일 수 있다.

원형의 식별에 따라 제어부(117)는 복수의 윤곽선에 대응하는 복수의 원형을 식별가능하다. 제어부(117)는 식별된 복수의 원형 중에서 가장 큰 원형을 콘택트렌즈 형상을 나타내는 원형으로 결정할 수 있다. 제어부(117)는 가장 큰 원형에 대응하는 윤곽선의 중심점을 식별된 콘택트렌즈(111-5)의 중심으로 설정하고 대응하는 윤곽선의 중심점에서 지점 사이의 거리 중 가장 큰 거리를 식별된 콘택트렌즈(111-5)의 반지름으로 설정한다.

콘택트렌즈 영역의 식별과정에서 또한 제어부(117)는 콘택트렌즈 형상을 나타내는 원형을 포함하는 콘택트렌즈 이미지를 캡쳐링된 이미지로부터 생성한다. 생성된 콘택트렌즈 이미지는 예를 들어 콘택트렌즈 형상의 원형을 포함하는 정사각형 또는 직사각형으로 잘라낸 이미지이다.

콘택트렌즈 영역의 식별 단계(S105)이후에 단계 S107에서 제어부(117)는 생성된 콘택트렌즈 이미지에 투명도를 부여한다. 콘택트렌즈 이미지에 대한 투명도 부여는 콘택트렌즈 이미지의 각 픽셀들의 색상(구체적으로는 배경색)에 기초하여 이루어진다.

구체적으로, 제어부(117)는 콘택트렌즈 이미지의 픽셀들에서 배경색을 검색하고 배경색에 대응하는 픽셀들(콘택트렌즈 형상의 원형 내의 픽셀들)을 보이지 않도록(투명하도록) 투명도를 부여한다. 예를 들어 배경색은 콘택트렌즈 거치대(111-3)의 색상 또는 콘택트렌즈 케이스의 하부 케이스의 색상과 동일하고 예를 들어 흰색일 수 있다. 흰색은 일반적으로 8bit RGB 값으로 255, 255, 255 이므로, 흰색으로 인정될 수 있는 픽셀 값(예를 들어 RGB 값 각각이 245 이상 등)인 경우에 투명하도록 제어부(117)가 투명도를 부여한다.

또한 제어부(117)는 콘택트렌즈 형상의 원형(반지름 및 중심으로 결정되는 원형) 외부의 픽셀들 모두를 투명하도록 지정된 임계치 이상의 투명도(예를 들어 100% 투명도)를 부여한다. 또한 제어부(117)는 콘택트렌즈 형상 내의 픽셀들에 대해서 추가적인 투명도를 부여할 수 있다. 예를 들어 제어부(117)는 콘택트렌즈 형상 내의 픽셀들의 컬러 색상들을 그레이스케일의 색상 값으로 변경하고 그레이스케일의 색상 값에 비례하는 투명도를 각 픽셀에 부여할 수 있다. 예를 들어 그레이스케일의 색상 값이 0(검은색)이면 0%의 투명도(불투명)를 부여하고 색상 값이 30(예를 들어 노란색이나 파란색의 그레이스케일 값)이면 30%의 투명도를 부여한다.

투명도의 부여 이후에, 제어부(117)는 투명도가 부여된 콘택트렌즈 이미지를 저장부(107)에 저장(S109)한다. 제어부(117)는 휘발성 메모리에 임시로 저장하거나 비휘발성 메모리나 대용량 저장매체에 영구히 저장할 수 있다. 콘택트렌즈 이미지는 콘택트렌즈(111-5)의 중심 및 반지름을 포함하는 데이터와 함께 저장된다. 또한 콘택트렌즈 이미지는 콘택트렌즈 식별자와 함께 저장될 수 있다. 콘택트렌즈 식별자는 관리자 등에 의해서 입력부(101)를 통해 입력되고 대응하는 콘택트렌즈 이미지와 함께 제어부(117)가 저장한다.

도 3의 콘택트렌즈 인식 과정을 통해 콘택트렌즈 이미지를 추출가능하고 추출된 이미지에 투명도를 부여하여 이후 합성에서 자연스러운 합성 이미지를 제공 가능하도록 한다.

도 4는 눈 인식 과정의 구체적인 흐름을 도시한 도면이다.

도 4의 눈 인식 과정은 도 1의 블록들에 의해서 수행되며 바람직하게는 제어부(117)가 합성 프로그램을 이용하여 다른 블록들을 제어함으로써 이루어진다.

먼저 콘택트렌즈 가상 피팅을 위한 사용자의 요구에 따라 관리자는 입력부(101)를 경유해서 얼굴 이미지 촬영을 위한 촬영 버튼을 눌러 제어부(117)에 전달(S200)한다. 여기서 이용되는 촬영 버튼은 도 3에서의 촬영 버튼과 동일하거나 상이할 수 있다. 제어부(117)는 제1 카메라부(109)를 제어하기 위한 제어 신호를 생성하고 제1 카메라부(109)로 제어 신호를 출력한다. 제어 신호의 수신에 따라 제1 카메라부(109)는 광학렌즈를 통해 사용자의 얼굴을 촬영하고 촬영에 따라 이미지 센서에 노출된 얼굴 이미지를 캡쳐링(S201)한다. 캡쳐링된 얼굴 이미지는 제1 카메라부(109)에 의해 제어부(117)로 송신한다. 캡쳐링된 얼굴 이미지는 제1 카메라부(109)의 해상도에 따라 가로축(X축)과 세로축(Y축)으로 일정한 개수의 픽셀들로 구성된다. 픽셀들은 바람직하게는 컬러 색상으로 표현되고 예를 들어 RGB 픽셀값으로 표현되거나 YCbCr 픽셀값으로 표현되거나 그 외 색상을 표현하기 위한 포맷으로 표현된다.

제어부(117)는 캡쳐링된 얼굴 이미지의 수신에 따라 캡쳐링된 이미지에서 눈 영역을 식별(S203)한다. 눈 영역의 식별은 알려져 있는 알고리즘을 이용하여 이루어진다. 예를 들어 제어부(117)의 합성 프로그램은 특징 벡터(예를 들어 Haar 특징, LBP 특징)을 이용하는 얼굴 및 눈을 검출하는 캐스케이드(cascaded) 분류기(classifier)를 이용하여 눈 영역을 식별한다.

눈 영역의 식별동안에 제어부(117)는 또한 눈동자 영역을 식별한다. 바람직하게는 제어부(117)는 눈동자 영역의 식별을 위해 눈동자의 윤곽선을 식별한다. 눈동자의 윤곽선의 식별은 이미지 처리 분야에서 알려져 있는 알고리즘을 이용하여 이루어질 수 있다.

윤곽선의 식별에 따라, 이 윤곽선에 포함된 지점들 또는 윤곽선내에 존재하는 지점들 중에서 눈동자와 인접 피부(예를 들어 눈꺼풀, 눈동자 아래(눈두덩)의 피부)의 경계선 상에 존재하고 이후 합성에 이용될 지점들을 제어부(117)가 결정한다.

예를 들어 제어부(117)는 눈꺼풀과 눈동자 경계선 상에서 3개의 지점을 선택하고 눈동자와 눈두덩 경계선 상에서 3개의 지점을 선택한다. 3개의 지점은 눈꺼풀(또는 눈두덩)과 눈동자가 만나는 경계선의 양끝 지점 및 중간 점으로 선택된다. 만일 눈동자와 피부사이에 경계선이 없다면 눈동자의 테두리(경계선)에 맞게 각각 3개의 지점들을 선택한다.

이후 제어부(117)는 눈 영역을 표시한 얼굴 이미지를 디스플레이부(113)를 통해 출력(S205)한다.

도 7은 눈 영역이 표시된 얼굴 이미지 중 눈 영역 부분을 도시한 도면이다. 도 7에서 알 수 있는 바와 같이 디스플레이부(113)를 통해 디스플레이되는 얼굴 이미지는 좌측눈과 우측눈의 영역을 나타내기 위한 사각형과 눈동자 영역 내에 표시되는 지점들이 표시된다.

단계 S203을 통해 결정된 지점들은 점으로 표시되고 이 지점들은 수정가능하다. 관리자나 사용자는 지점들이 정확한 위치에 존재하는지 확인한다. 만일 인접 피부와의 정확한 위치에 존재하지 않는 것으로 판단한 경우, 관리자 등은 입력부(101)(예를 들어 마우스, 터치 패널, 광학펜 등)를 통해 지점들의 위치를 변경하기 위한 입력을 제공한다.

입력부(101)를 통해 눈 영역의 수정(구체적으로는 눈동자와 인접 피부의 경계선 상에 존재하는 지점들의 수정)을 위한 입력을 제어부(117)가 수신(S207)하고 수신된 입력에 따라 해당 지점의 위치를 변경하고 변경된 눈 영역(구체적으로는 눈동자와 인접 피부의 경계선 상에 존재하는 지점들의 변경)을 나타내는 이미지를 디스플레이부(113)를 통해 출력(S209)한다.

단계 S207 및 단계 S209는 반복적으로 수행될 수 있고 이에 따라 정확한 눈 영역의 경계선 상의 지점들을 특정할 수 있다.

단계 S209 이후에 제어부(117)는 확정된 얼굴 이미지, 얼굴 이미지 상의 눈 영역의 위치 및 눈 영역의 눈동자 경계선 상의 지점들을 나타내는 데이터를 저장부(107)에 저장하고 종료(S250)한다. 저장부(107)에 저장할 때, (일반) 사용자 식별자가 또한 저장될 수 있다. 저장부(107)의 저장은 휘발성 메모리에 저장되거나 비휘발성 메모리나 대용량 저장매체에 저장된다.

도 5는 합성 과정(S3)의 구체적인 흐름을 도시한 도면이다.

도 5의 합성 과정은 도 1의 블록들에 의해서 수행되며 바람직하게는 제어부(117)가 합성 프로그램을 이용하여 다른 블록들을 제어함으로써 이루어진다.

관리자에 의한 합성 요청 입력에 따라 또는 자동으로(S300), 제어부(117)는 저장부(107)에 저장되고 투명도가 부여된 콘택트렌즈 이미지, 콘택트렌즈(111-5)의 중심 및 반지름, 얼굴 이미지, 눈 영역의 위치 및 경계선 상의 지점들을 나타내는 데이터를 휘발성 메모리 또는 제어부(117)의 내장 메모리 등에 로딩(S301)한다.

제어부(117)는 경계선 상의 지점들을 이용하여 콘택트렌즈 이미지를 얼굴 이미지의 눈동자 영역에 맞추어 자동 편집(S303)한다. 여기서의 자동 편집은 필요나 설계 변형에 따라 생략될 수 있다.

이후 제어부(117)는 얼굴 이미지의 경계선 상의 지점들을 이용하여 눈동자를 나타내는 원형의 중심과 반지름을 계산하여 눈동자에 대응하는 원형을 결정(S305)한다. 눈동자에 대응하는 원형의 결정은 얼굴 이미지에 대해서 이루어진다. 구체적으로 제어부(117)는 경계선 상의 지점들 중 중간 지점이 아닌 가장 자리의 지점들(예를 들어 3개)을 이용하여 원의 중심과 반지름을 계산한다. 눈동자에 대응하는 원형의 중심은 각 지점들의 법선을 이용하여 계산될 수 있고 반지름은 중심에서 각 지점들의 거리로 계산된다. 이하 눈동자에 대응하는 원형을 C0라고도 지칭한다.

제어부(117)는 단계 S305에서 경계선 상의 지점들을 이용하여 결정된 눈동자에 대응하는 원형의 크기로 콘택트렌즈 이미지(구체적으로는 콘택트렌즈 형상의 원형)를 축소(S307)한다. 이에 따라 콘택트렌즈 이미지는 적어도 눈동자의 크기와 동일하도록 크기가 재조정된다. 콘택트렌즈 이미지의 해상도가 얼굴 이미지에 포함된 눈동자의 해상도보다 일반적으로 높기에 일반적으로 크기는 축소되나 필요에 따라 단계 S307은 생략될 수도 있다.

콘택트렌즈 이미지의 크기가 재조정되고 얼굴 이미지의 눈동자 영역의 중심에 콘택트렌즈 이미지의 중심을 일치시켜 얼굴 이미지와 콘택트렌즈 이미지를 픽셀별로 합성할 수 있다. 이미 콘택트렌즈 이미지의 픽셀들에 투명도가 부여되어 있으므로, 자연스러운 합성 이미지를 구성할 수 있다.

여기서 촬영된 얼굴 이미지의 눈의 형태(특히 눈동자의 형태)는 동일한 사용자에 대해서도 촬영 당시 상황에 따라 서로 다르다. 특정 시점에는 원형에 가까운 눈동자의 이미지가 촬영될 수 있고 다른 특정 시점에는 타원형에 가까운 눈동자의 이미지가 촬영될 수 있다. 제어부(117)는 자연스러운 이미지 구성을 위해 촬영된 이미지의 눈의 형태를 고려하고 인접 피부의 경계선에 따라 인식되는 눈동자 영역에 대해서만 콘택트렌즈 이미지의 합성을 수행할 필요가 있다.

이를 위해, 제어부(117)는 얼굴 이미지의 눈 영역의 결정된 지점들 중 특정 지점들로 원형 및 반지름을 계산하고 다른 지점들로 다른 원형 및 반지름을 계산(S309)한다. 예를 들어 전자의 특정 지점들은 눈꺼풀과 눈동자가 만나는 경계선의 3개의 지점들이고 후자의 특정 지점들은 눈두덩과 눈동자가 만나는 경계선의 3개의 지점들이다. 이하 전자의 특정 지점들로 구성되는 원형을 C1이라고도 지칭하고 후자의 특정 지점들로 구성되는 원형을 C2라고도 지칭한다.

도 8은 콘택트렌즈 이미지와 얼굴 이미지의 합성 과정에서 결정되는 원형들을 도시한 도면인데, 도 8에서 알 수 있는 바와 같이 3개의 지점의 법선을 이용하여 C1과 C2의 중심을 계산할 수 있고 반지름을 계산할 수 있다. 도 8의 예는 얼굴 이미지의 눈 영역에 대해서 이루어지며 도 8에서 알 수 있는 바와 같이 눈동자 영역의 대응하는 원형인 C0도 또한 표시되어 있다.

제어부(117)는 C1 및 C2( 나아가 C0)의 원들을 이용하여 눈동자가 인접 피부에 의해서 가려진 영역을 식별(S311)한다. 식별된 영역은 콘택트렌즈 이미지의 콘택트렌즈 영역의 원형에 추가적인 투명도를 부여하기 위해서 이용된다.

도 9는 결정된 원형들을 이용하여 추가적인 투명도 부여를 위한 영역 식별 예를 도시한 도면이다.

도 9에서 알수 있는 바와 같이, 크기 조정된(축소된) 콘택트 렌즈 이미지의 사각형 영역 또는 대응하는 눈동자의 사각형 영역에서 C1과 C2의 교집합을 제외한 영역을 제어부(117)가 식별한다. 식별된 영역은 두 개의 영역으로 일반적으로 구성된다. 하나의 영역은 눈동자가 눈꺼풀(위쪽 눈꺼풀)에 의해서 가려지는 부분을 나타내고 다른 하나의 영역은 눈동자가 눈두덩(또는 아래쪽 눈꺼풀)에 의해서 가려지는 부분을 나타낸다.

좀 더 구체적으로 살펴보면, 제어부(117)는 C1의 원형을 구성하는 X(수평) 및 Y축(수직)의 좌표점들 각각을 사각형 영역의 각 픽셀의 동일한 X 좌표를 가지는 Y좌표와 비교하고 만일 사각형 영역의 픽셀의 Y좌표가 대응하는 C1의 Y좌표보다 큰 경우 해당 픽셀이 투명하도록 부여할 영역으로 식별한다. 단순히 C1을 구성하는 Y좌표와 동일한 X좌표에 대응하는 사각형 영역의 Y좌표의 비교로 사각형 영역의 Y좌표가 큰 픽셀들을 투명하게 처리할 픽셀들로 제어부(117)가 결정할 수 있다. C1의 원형을 구성하는 좌표점들은 C1의 중심점과 반지름을 이용하여 계산될 수 있다.

마찬가지로, 제어부(117)는 C2의 원형을 구성하는 X(수평) 및 Y축(수직)의 좌표점들 각각을 사각형 영역의 각 픽셀의 동일한 X 좌표를 가지는 Y좌표와 비교하고 만일 사각형 영역의 픽셀의 Y좌표가 대응하는 C2의 Y좌표보다 작은 경우 해당 픽셀이 투명하도록 부여할 영역으로 식별한다. 단순히 C2을 구성하는 Y좌표와 동일한 X좌표에 대응하는 사각형 영역의 Y좌표의 비교로 사각형 영역의 Y좌표가 작은 픽셀들을 투명하게 처리할 픽셀들로 제어부(117)가 결정할 수 있다. C2의 원형을 구성하는 좌표점들은 C2의 중심점과 반지름을 이용하여 계산될 수 있다.

영역의 식별은 또한 C0를 더 활용하여 이루어질 수도 있다. 예를 들어 C0의 내의 픽셀들에 대해서만 C1과 C2를 구성하는 좌표점에 대해 비교하고 그 비교에 따라 C0내에서 투명하게 처리할 영역을 식별할 수 있다. 비교 및 결정 방법은 앞서 살펴본 C1 및 C2 및 사각형 영역을 이용하는 방안과 동일하다.

영역의 식별 이후에 제어부(117)는 C1과 C2 나아가 C0를 이용하여 식별된 영역(들)에 대응하는 콘택트렌즈 이미지의 영역의 픽셀들에 추가적인 투명도를 부여(S313)한다. 여기서의 투명도는 예를 들어 콘택트렌즈 이미지의 대응 픽셀이 보이지 않도록(즉 투명하도록) 하는 값으로 설정되고 예를 들어 100%의 투명도로 부여된다.

투명도의 부여는 단계 S307에서 축소된 콘택트렌즈 이미지에 대해서 이루어지고 식별된 영역에 대응하는 픽셀들에 대해서 각각 투명하도록 투명도( 값)를 부여한다. 식별된 영역은 C0 내에서 식별되는 영역이거나 C0를 포함하는 사각형 영역 내에서 식별되는 영역이다.

추가적인 투명도 부여를 통해, 제어부(117)는 콘택트렌즈 이미지가 얼굴 이미지의 눈 영역에 합성될 때, 인접 피부에 의해서 가려지는 눈동자 부분에 대응하는 콘택트렌즈 이미지의 픽셀들을 보이지 않도록 구성한다.

추가적인 투명도 부여 이후에, 제어부(117)는 얼굴 이미지에 투명도가 부여된 콘택트렌즈 이미지를 부여된 투명도에 따라 합성(S315)한다. 구체적으로 제어부(117)는 얼굴 이미지에서 식별된 눈 영역의 눈동자에 눈동자 크기로 조정되고 눈동자의 형상에 따라 투명도가 부여된 콘택트렌즈 이미지를 눈동자의 중심에 콘택트렌즈 이미지의 원형의 중심을 일치시킨 후 각 픽셀별로 각 픽셀에 부여된 투명도 값에 따라 대응하는 픽셀에 서로 오브랩하여 합성한다. 만일 콘택트렌즈의 특정 픽셀에 부여된 투명도가 0%(불투명)이면 콘택트렌즈 이미지의 픽셀이 합성된 이미지에 표시된다. 만일 콘택트렌즈(111-5)의 특정 픽셀에 부여된 투명도가 100%(투명)이면 얼굴 이미지의 대응하는 픽셀이 합성된 이미지에 표시된다. 만일 콘택트렌즈(111-5)의 특정 픽셀에 부여된 투명도가 30%이면 얼굴 이미지에 대응하는 픽셀의 색상값이 70%, 특정 픽셀의 색상값이 30%의 가중치로 합산되어 합성된 이미지에 표시된다.

이후 제어부(117)는 합성 과정을 종료(S350)하고 합성된 이미지를 디스플레이부(113)를 통해 출력(S4)한다.

이상과 같은 흐름을 통해 눈의 가변적인 형상을 고려하여 자연스럽고 가변적인 콘택트렌즈 착용 이미지를 제공할 수 있다.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니다.

100 : 콘택트렌즈 가상 피팅 장치
101 : 입력부 103 : 출력부
105 : 통신부 107 : 저장부
109 : 제1 카메라부 111 : 제2 카메라부
111-1 : LED 조명 111-2 : 확산판
111-3 : 콘택트렌즈 거치대 111-4 : 광학렌즈
111-5 : 콘택트렌즈
113 : 디스플레이부 115 : 연결부
117 : 제어부

Claims (12)

1. 암실을 형성하는 기구물 내의 제2 광학렌즈를 통해 콘택트렌즈 거치대에 탑재된 콘택트렌즈의 이미지를 캡쳐링하는 단계;
   캡쳐링된 콘택트렌즈의 이미지에서 콘택트렌즈 영역을 식별하는 단계;
   콘택트렌즈 거치대의 색상 또는 콘택트렌즈 케이스의 색상에 기초하여 콘택트렌즈 영역의 대응하는 픽셀에 투명도를 부여하는 단계;
   제2 광학렌즈를 통해 생성된 콘택트렌즈 이미지를 식별된 눈 영역의 눈동자에 콘택트렌즈 이미지에 부여된 투명도에 따라 합성하는 단계; 및
   합성된 이미지를 디스플레이하는 단계;를 포함하는,
   콘택트렌즈 가상 피팅 방법.
2. 제1항에 있어서,
   상기 합성 단계 이전에, 제1 광학렌즈를 통해 얼굴 이미지를 캡쳐링하는 단계; 및 캡쳐링된 얼굴 이미지에서 눈 영역을 식별하는 단계;를 더 포함하며,
   콘택트렌즈 이미지의 캡쳐링 단계는 상기 암실에서의 균일한 조도를 제공 가능하도록 상기 암실에 구비된 복수의 LED 조명으로부터 광을 출력하고 상기 암실에 구비된 확산판을 통해 상기 광을 확산한 상태에서 이루어지는,
   콘택트렌즈 가상 피팅 방법.
3. 제1항에 있어서,
   상기 콘택트렌즈 영역의 식별 단계는 캡쳐링된 이미지에서 하나 이상의 윤곽선을 식별하는 단계; 하나 이상의 윤곽선 각각의 지점들의 편차에 따라 원형을 식별하는 단계; 식별된 원형 중 가장 큰 원형을 콘택트렌즈의 형상에 대응하는 원형으로 결정하는 단계; 및 결정된 원형을 포함하는 콘택트렌즈 이미지를 생성하는 단계;를 포함하며,
   상기 투명도 부여 단계는 결정된 콘택트렌즈의 대응하는 원형 내의 픽셀들의 색상에 따라 투명도를 부여하고 상기 원형 외의 픽셀들에 지정된 임계치 이상의 투명도를 부여하는,
   콘택트렌즈 가상 피팅 방법.
4. 제2항에 있어서,
   상기 눈 영역의 식별 단계는 눈동자와 상기 눈동자에 인접하는 피부 사이의 경계선에 위치하는 복수의 지점(point)을 결정하는 단계;를 포함하는,
   콘택트렌즈 가상 피팅 방법.
5. 제4항에 있어서,
   상기 합성 단계는 상기 복수의 지점을 이용하여 눈동자에 대응하는 원형을 결정하는 단계; 상기 생성된 콘택트렌즈 이미지를 상기 복수의 지점으로 결정되는 원형의 크기를 이용하여 축소하는 단계; 및 상기 복수의 지점 중 제1 지점들로 결정되는 제1 원형 및 제2 지점들로 결정되는 제2 원형을 이용하여 축소된 콘택트렌즈 이미지 내에서 식별된 영역의 픽셀들에 투명도를 더 부여하는 단계;를 포함하는,
   콘택트렌즈 가상 피팅 방법.
6. 제5항에 있어서,
   상기 식별된 영역의 픽셀들은 투명하도록 설정되며,
   상기 합성 단계는 식별된 영역의 투명도 부여 단계 이후에 눈동자에 대응하는 중심에 축소된 콘택트렌즈의 원형의 중심을 일치시킨후 픽셀별로 오브랩하여 합성하는,
   콘택트렌즈 가상 피팅 방법.
7. 삭제
8. 제1 광학렌즈를 포함하여 얼굴 이미지를 캡쳐링하는 제1 카메라부;
   제2 광학렌즈 및 콘택트렌즈 거치대를 포함하는 제2 카메라부로서, 암실을 형성하는 기구물 내에 구성되어 상기 제2 광학렌즈를 통해 콘택트렌즈 거치대에 탑재된 콘택트렌즈 이미지를 캡쳐링하는 제2 카메라부;
   캡쳐링된 콘택트렌즈의 이미지에서 콘택트렌즈 영역을 식별하고 콘택트렌즈 거치대의 색상 또는 콘택트렌즈 케이스의 색상에 기초하여 콘택트렌즈 영역의 대응하는 픽셀에 투명도를 부여하며, 캡쳐링된 얼굴 이미지에서 눈 영역을 식별하고 제2 광학렌즈를 통해 생성된 콘택트렌즈 이미지를 식별된 눈 영역의 눈동자에 콘택트렌즈 이미지에 부여된 투명도에 따라 합성하는 제어부; 및
   합성된 이미지를 디스플레이하는 디스플레이부;를 포함하는,
   콘택트렌즈 가상 피팅 장치.
9. 제8항에 있어서,
   상기 제2 카메라부는 광을 각각 출력하는 복수의 LED 조명 및 상기 광을 확산하기 위한 확산판을 더 포함하며,
   상기 제어부는 상기 복수의 LED 조명 및 상기 확산판을 이용한 광의 조도 환경하에서 상기 제2 광학렌즈를 통한 콘택트렌즈의 이미지를 캡쳐링하는,
   콘택트렌즈 가상 피팅 장치.
10. 제8항에 있어서,
    콘택트렌즈 영역의 식별을 위해, 상기 제어부는 캡쳐링된 콘택트렌즈의 이미지에서 하나 이상의 윤곽선을 식별하고 하나 이상의 윤곽선 각각의 지점들의 편차에 따라 원형을 식별하며 식별된 원형 중 가장 큰 원형을 콘택트렌즈의 형상에 대응하는 원형으로 결정하여 결정된 원형을 포함하는 콘택트렌즈 이미지를 생성하며,
    상기 제어부는 상기 투명도 부여를 위해 결정된 콘택트렌즈의 대응하는 원형 내의 픽셀들의 색상에 따라 투명도를 부여하고 상기 원형 외의 픽셀들에 지정된 임계치 이상의 투명도를 부여하는,
    콘택트렌즈 가상 피팅 장치.
11. 제8항에 있어서,
    상기 눈 영역의 식별을 위해, 상기 제어부는 눈동자와 상기 눈동자에 인접하는 피부 사이의 경계선에 위치하는 복수의 지점(point)을 결정하며,
    이미지 합성을 위해, 상기 제어부는 상기 복수의 지점을 이용하여 눈동자에 대응하는 원형을 결정하고 상기 생성된 콘택트렌즈 이미지를 상기 복수의 지점으로 결정되는 원형의 크기를 이용하여 축소하고 상기 복수의 지점 중 제1 지점들로 결정되는 제1 원형 및 제2 지점들로 결정되는 제2 원형을 이용하여 축소된 콘택트렌즈 이미지 내에서 식별된 영역의 픽셀들에 투명도를 부여하는,
    콘택트렌즈 가상 피팅 장치.
12. 제8항에 있어서,
    콘택트렌즈 이미지 및 대응하는 콘택트렌즈 식별자를 저장하는 저장부; 및
    콘택트렌즈 식별자를 수신하는 입력부;를 더 포함하며,
    상기 제어부는 상기 입력부를 통해 수신된 콘택트렌즈 식별자로 저장부에 저장된 콘택트렌즈 이미지를 검색하고 이미지 합성을 위해 저장부에서 검색된 콘택트렌즈 이미지의 콘택트렌즈 영역으로 상기 눈 영역의 눈동자에 합성하는,
    콘택트렌즈 가상 피팅 장치.

Images