KR102194909B1

KR102194909B1 - 영상 합성 장치 및 방법

Info

Publication number: KR102194909B1
Application number: KR1020190007674A
Authority: KR
Inventors: 김윤호
Original assignee: 김윤호
Priority date: 2019-01-21
Filing date: 2019-01-21
Publication date: 2020-12-24
Also published as: KR20200090536A

Abstract

영상 합성 장치 및 방법이 개시된다. 본 발명의 실시예들에 따른 영상 합성 장치는, 사용자를 촬영하여 사용자 영상을 입력 받는 영상 입력부, 사용자 영상으로부터 사용자의 홍채를 검출하고, 검출된 홍채의 크기와 설정된 홍채의 실제 크기 간의 비율을 계산하는 비율 계산부, 및 합성 대상의 영상 및 합성 대상의 실제 크기 정보를 저장하고, 크기 정보 및 비율을 이용하여 합성 대상 영상의 크기를 변경하고, 크기가 변경된 합성 대상 영상과 사용자 영상을 합성하는 영상 합성부를 포함한다.

Description

영상 합성 장치 및 방법{APPARATUS AND METHOD FOR COMPOSING IMAGE}

본 발명의 실시예들은 영상 합성 장치 및 방법과 관련된다.

안경, 선글라스, 귀걸이 등 사람에게 착용될 수 있는 물건들은 그 자체의 디자인 외에도 해당 물건을 착용하는 사람과 어울리는지 여부가 상당히 중요한 측면으로 고려된다. 이에 따라, 이러한 물건들을 구매하고자 하는 사용자는 인터넷을 쇼핑 등의 발달에도 불구하고, 매장에서 구매하고자 하는 물건을 직접 착용해보아야 하는 불편함이 있었다.

이러한 불편함을 해결하기 위해, 사용자의 얼굴을 촬영한 영상에 물건의 영상를 합성하여 사용자에게 미리 보여주는 기술들이 제안되었다. 그러나, 종래 기술들은 단순히 물건에 대한 영상의 크기를 변경하여 합성함으로써, 물건의 실제 크기를 고려하지 못한다는 문제가 있다.

대한민국 공개특허공보 제10-2018-0066760호(2018.06.19)

본 발명의 실시예들은, 사용자에게 착용될 수 있는 물건의 영상과 사용자의 영상을 합성하되, 물건의 실제 크기를 고려하여 두 영상을 합성하기 위한 것이다.

본 발명의 일 실시예에 따른 영상 합성 장치는 사용자를 촬영하여 사용자 영상을 입력 받는 영상 입력부, 상기 사용자 영상으로부터 상기 사용자의 홍채를 검출하고, 검출된 상기 홍채의 크기와 설정된 홍채의 실제 크기 간의 비율을 계산하는 비율 계산부, 및 합성 대상의 영상 및 상기 합성 대상의 실제 크기 정보를 저장하고, 상기 합성 대상의 실제 크기 정보 및 상기 비율을 이용하여 상기 합성 대상 영상의 크기를 변경하고, 크기가 변경된 상기 합성 대상 영상과 상기 사용자 영상을 합성하는 영상 합성부를 포함한다.

상기 비율 계산부는, 검출된 상기 홍채의 지름에 대응되는 픽셀의 수를 이용하여 검출된 상기 홍채의 크기를 도출하고, 도출된 상기 홍채의 크기와 설정된 홍채의 실제 크기를 비교하여 상기 비율을 계산할 수 있다.

상기 비율 계산부는, 상기 사용자 영상으로부터 두 개의 홍채가 검출된 경우, 상기 두 개의 홍채 각각의 중점을 연결하는 직선을 도출하고, 도출된 상기 직선과 평행한 방향의 홍채 지름의 크기를 검출된 상기 홍채의 크기로 도출하고, 도출된 상기 홍채의 크기와 설정된 홍채의 실제 크기를 비교하여 상기 비율을 계산할 수 있다.

상기 비율 계산부는, 상기 사용자 영상으로부터 두 개의 홍채가 검출된 경우, 상기 사용자 영상 내에서 상기 합성 대상이 합성될 위치와 가까운 홍채를 선택하고, 선택된 상기 홍채의 크기와 설정된 홍채의 실제 크기 간의 비율을 계산할 수 있다.

본 발명의 일 실시예에 따른 영상 합성 장치에 의해 수행되는 영상 합성 방법은, 합성 대상의 영상 및 상기 합성 대상의 실제 크기 정보를 저장하는 단계, 사용자를 촬영하여 사용자 영상을 입력 받는 단계, 상기 사용자 영상으로부터 상기 사용자의 홍채를 검출하는 단계, 검출된 상기 홍채의 크기와 설정된 홍채의 실제 크기 간의 비율을 계산하는 단계, 상기 합성 대상의 실제 크기 정보 및 상기 비율을 이용하여 상기 합성 대상 영상의 크기를 변경하는 단계, 및 크기가 변경된 상기 합성 대상 영상과 상기 사용자 영상을 합성하는 단계를 포함한다.

본 발명의 실시예들에 따르면, 대상 물건의 실제 크기를 고려하여 대상 물건의 영상과 사용자의 영상을 합성함으로써, 사용자가 대상 물건을 착용한 모습을 사실적으로 나타낼 수 있다.

도 1은 본 발명의 일 실시예에 따른 영상 합성 장치를 설명하기 위한 블록도
도 2는 본 발명의 일 실시예에 따른 영상 합성 장치에서 영상을 합성하는 방법을 설명하기 위한 도면
도 3 내지 도 5는 본 발명의 일 실시예에 따른 영상 합성 장치에서 홍채의 크기를 도출하는 방법을 설명하기 위한 도면
도 6은 본 발명의 일 실시예에 따른 영상 합성 장치에 의해 수행되는 영상 합성 방법의 흐름도

이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.

본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.

도 1은 본 발명의 일 실시예에 따른 영상 합성 장치(100)를 설명하기 위한 블록도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 영상 합성 장치(100)는 합성 대상 영상의 크기를 사용자 영상 내 사용자의 크기에 대응되도록 변경하고, 크기가 변경된 합성 대상 영상 및 사용자 영상을 합성하기 위한 것으로서, 영상 입력부(102), 비율 계산부(104), 및 영상 합성부(106)를 포함한다.

영상 입력부(102)는 사용자를 촬영하여 사용자 영상을 입력 받는다.

구체적으로, 영상 입력부(102)는 예를 들어, 카메라와 같은 영상 입력 장치를 이용하여 사용자 영상을 입력 받을 수 있다. 이때, 사용자 영상은 예를 들어, 사용자의 홍채를 포함하는 사용자의 안면에 대한 영상일 수 있다.

비율 계산부(104)는 영상 입력부(102)를 통해 입력된 사용자 영상으로부터 사용자의 홍채를 검출한다. 이때, 비율 계산부(104)는 사용자 영상으로부터 사용자의 홍채를 검출하기 위해, 종래의 홍채 인식 기법들을 이용할 수 있다.

또한, 비율 계산부(104)는 검출된 홍채의 크기와 설정된 홍채의 실제 크기 간의 비율을 계산한다. 이때, 검출된 홍채의 크기는 사용자 영상 내 홍채의 크기로서 예를 들어, 홍채 지름의 크기일 수 있다. 또한, 설정된 홍채의 실제 크기는 예를 들어, 영상 합성 장치(100)의 관리자에 의해 미리 설정된 값으로서, 홍채의 실제 크기에 대응되는 값일 수 있다.

예를 들어, 검출된 홍채의 크기가 홍채 지름에 대응되는 값으로서 5mm이고, 설정된 홍채의 실제 크기가 10mm인 경우 비율 계산부(104)는 검출된 홍채의 크기와 설정된 홍채의 실제 크기 간의 비율을 1:2로 계산할 수 있다.

영상 합성부(106)는 합성 대상의 영상 및 합성 대상의 실제 크기 정보를 저장한다. 이때, 합성 대상은 예를 들어, 사용자(특히, 사용자의 안면)에 착용될 수 있는 물건으로서, 예를 들어, 안경, 선글라스, 귀걸이, 모자 등을 포함할 수 있다.

예를 들어, 영상 합성부(106)는 예를 들어, 영상 합성 장치(100)의 내부 또는 외부에 존재하는 하드디스크드라이브(HDD), SSD(Solid State Driver), ROM(Read Only Memory), RAM(Random Access Memory), 메모리카드 등)과 같은 데이터베이스를 포함하고, 데이터베이스에 합성 대상의 영상 및 합성 대상의 실제 크기 정보를 저장할 수 있다.

또한, 영상 합성부(106)는 영상 합성부(106)에 저장된 합성 대상의 실제 크기 정보, 및 비율 계산부(104)를 통해 계산된 사용자 영상으로부터 검출된 홍채의 크기와 설정된 홍채의 실제 크기 간의 비율을 이용하여 합성 대상 영상의 크기를 변경한다.

구체적으로, 영상 합성부(106)는 비율 계산부(104)를 통해 계산된 비율을 이용하여 합성 대상 영상을 사용자 영상 내 사용자의 크기에 대응되도록 확대 또는 축소할 수 있다.

예를 들어, 비율 계산부(104)를 통해 계산된 비율이 1:6인 경우, 비율 계산부(104)는 합성 대상 영상 내 합성 대상의 크기가 합성 대상의 실제 크기의 1/6이 되도록 합성 대상 영상을 변경할 수 있다. 구체적으로, 합성 대상 영상 내 합성 대상의 크기가 실제 크기의 1/2인 경우, 비율 계산부(104)는 합성 대상 영상의 크기를 1/3로 변경함으로써 변경 후 합성 대상 영상 내 합성 대상의 크기가 실제 크기의 1/6이 되도록 할 수 있다.

또한, 영상 합성부(106)는 크기가 변경된 합성 대상 영상과 사용자 영상을 합성한다.

구체적으로, 영상 합성부(106)는 크기가 변경된 합성 대상 영상이 사용자 영상 위에 겹쳐지도록 합성함으로써, 사용자가 합성 대상을 착용한 경우를 나타내도록 할 수 있다. 이때, 영상 합성부(106)는 예를 들어, 종래의 얼굴 인식 기법을 이용하여 사용자 영상에서 사용자의 얼굴을 인식하고, 합성 대상 영상을 사용자 영상에 원근 투영하여 적합한 위치에 합성할 수 있다.

도 2는 본 발명의 일 실시예에 따른 영상 합성 장치(100)에서 영상을 합성하는 방법을 설명하기 위한 도면이다.

구체적으로, 도 2의 (a)는 영상 입력부(102)를 통해 입력된 사용자 영상을 나타내며, 도 2의 (b)는 영상 합성부(106)에 저장된 합성 대상 영상을 나타내고, 도 2의 (c)는 영상 합성부(106)를 통해 사용자 영상과 합성 대상 영상이 합성된 결과를 나타낸다.

도 2를 참조하면, 영상 합성 장치(100)는 합성 대상 영상을 사용자 영상 내 사용자의 크기에 대응되도록 변경하고, 합성 대상 영상을 사용자 영상 내 적합한 위치(예를 들어, 안경이 착용되는 위치)에 합성함으로써, 사용자가 합성 대상을 착용했을 때의 모습을 나타낼 수 있다.

도 3 내지 도 5는 본 발명의 일 실시예에 따른 영상 합성 장치(100)에서 홍채의 크기를 도출하는 방법을 설명하기 위한 도면이다.

구체적으로, 도 3은 비율 계산부(104)에서 사용자 영상의 픽셀 수를 이용하여 홍채의 크기를 도출하는 방법을 나타낸 것이다. 도 3을 참조하면, 비율 계산부(104)는 사용자 영상으로부터 사용자의 홍채를 검출하고, 검출된 홍채의 지름(d)에 대응되는 픽셀의 수를 이용하여 검출된 홍채의 크기를 도출할 수 있다 또한 비율 계산부(104)는 도출된 홍채의 크기와 설정된 홍채의 실제 크기를 비교하여 두 크기 간의 비율을 계산할 수 있다.

예를 들어, 사용자 영상의 가로 크기가 100mm이고 총 가로 픽셀의 수가 378개인 경우, 비율 계산부(104)는 검출된 홍채의 지름(d)에 대응되는 픽셀 수에 100/378을 곱한 값을 검출된 홍채의 크기로 도출할 수 있다.

또한, 도 4는 비율 계산부(104)에서 두 개의 홍채가 검출된 경우 홍채의 크기를 도출하는 방법을 나타낸 것이다. 도 4를 참조하면, 비율 계산부(104)는 사용자 영상으로부터 두 개의 홍채가 검출된 경우, 두 개의 홍채 각각에서 중점(402, 404)을 검출한다. 또한, 비율 계산부(104)는 검출된 각 중점(402, 404)을 연결하는 직선(406)을 도출하고, 도출된 직선과 평행한 방향의 홍채 지름의 크기(d)를 홍채의 크기로 도출할 수 있다 또한, 비율 계산부(104)는 도출된 홍채의 크기를 설정된 홍채의 실제 크기와 비교하여 두 크기 간의 비율을 계산할 수 있다. 이때, 영상 합성 장치(100)는 두 홍채의 중점(402, 404)을 연결하는 직선(406)과 평행한 방향의 홍채 지름의 크기(d)를 도출함으로써, 사용자 영상이 기울어진 경우에도 홍채의 크기를 정확하게 도출할 수 있다.

또한, 도 5는 비율 계산부(104)에서 두 개의 홍채가 검출된 경우, 두 홍채 중 하나의 홍채를 선택하여 홍채의 크기를 도출하는 방법을 나타낸 것이다. 도 5를 참조하면, 비율 계산부(104)는 사용자 영상으로부터 두 개의 홍채가 검출된 경우, 사용자 영상 내에서 합성 대상이 합성될 위치와 가까운 홍채를 선택할 수 있다.

예를 들어, 합성 대상이 사용자의 오른쪽 귀(502)에 착용될 귀걸이(504)인 경우, 비율 계산부(104)는 합성 대상이 합성될 위치(예를 들어, 오른쪽 귀(502))와 가까운 홍채(506)를 선택할 수 있다. 또한, 비율 계산부(104)는 선택된 홍채(506)의 크기와 설정된 홍채의 실제 크기 간의 비율을 계산할 수 있다. 한편, 도 5는 본 발명의 설명을 위한 일 예시로서, 비율 계산부(104)는 도 5에서 선택된 홍채 외에 다른 홍채를 선택하거나, 두 홍채의 크기의 평균을 홍채의 크기로 도출할 수 있다.

도 6은 본 발명의 일 실시예에 따른 영상 합성 장치(100)에 의해 수행되는 영상 합성 방법의 흐름도이다.

도 6을 참조하면, 영상 합성 장치(100)는 합성 대상의 영상 및 합성 대상의 실제 크기 정보를 저장한다(602).

영상 합성 장치(100)는 사용자를 촬영하여 사용자 영상을 입력 받는다(604).

영상 합성 장치(100)는 사용자 영상으로부터 사용자의 홍채를 검출한다(606).

영상 합성 장치(100)는 검출된 홍채의 크기와 설정된 홍채의 실제 크기 간의 비율을 계산한다(608). 이때, 영상 합성 장치(100)는 검출된 홍채의 지름에 대응되는 픽셀의 수를 이용하여 검출된 홍채의 크기를 도출하고, 도출된 홍채의 크기와 설정된 홍채의 실제 크기를 비교하여 양 크기 간의 비율을 계산할 수 있다. 또한, 영상 합성 장치(100)는 사용자 영상으로부터 두 개의 홍채가 검출된 경우, 두 개의 홍채 각각의 중점을 연결하는 직선을 도출하고, 도출된 직선과 평행한 방향의 홍채 지름의 크기를 검출된 홍채의 크기로 도출하고, 도출된 홍채의 크기와 설정된 홍채의 실제 크기를 비교하여 양 크기 간의 비율을 계산할 수 있다. 또한, 영상 합성 장치(100)는 사용자 영상으로부터 두 개의 홍채가 검출된 경우, 사용자 영상 내에서 합성 대상이 합성될 위치와 가까운 홍채를 선택하고, 선택된 홍채의 크기와 설정된 홍채의 실제 크기 간의 비율을 계산할 수 있다.

영상 합성 장치(100)는 합성 대상의 실제 크기 정보 및 계산된 비율을 이용하여 합성 대상 영상의 크기를 변경한다(610).

영상 합성 장치(100)는 크기가 변경된 합성 대상 영상과 사용자 영상을 합성한다(612).

한편, 도 6에 도시된 순서도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.

이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 전술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

100: 영상 합성 장치
102: 영상 입력부
104: 비율 계산부
106: 영상 합성부

Claims

사용자를 촬영하여 사용자 영상을 입력 받는 영상 입력부;
상기 사용자 영상으로부터 상기 사용자의 홍채를 검출하고, 검출된 상기 홍채의 크기와 설정된 홍채의 실제 크기 간의 비율을 계산하는 비율 계산부; 및
합성 대상의 영상 및 상기 합성 대상의 실제 크기 정보를 저장하고, 상기 합성 대상의 실제 크기 정보 및 상기 홍채의 크기와 설정된 홍채의 실제 크기 간의 비율을 이용하여 상기 합성 대상 영상의 크기를 변경하고, 크기가 변경된 상기 합성 대상 영상과 상기 사용자 영상을 합성하는 영상 합성부를 포함하고,
상기 비율 계산부는,
상기 사용자 영상으로부터 두 개의 홍채가 검출된 경우, 상기 두 개의 홍채 각각의 중점을 연결하는 직선을 도출하고, 도출된 상기 직선과 평행한 방향의 홍채 지름의 크기를 검출된 상기 홍채의 크기로 도출하고, 도출된 상기 홍채의 크기와 설정된 홍채의 실제 크기를 비교하여 상기 홍채의 크기와 설정된 홍채의 실제 크기 간의 비율을 계산하고, 상기 사용자 영상으로부터 두 개의 홍채가 검출된 경우, 상기 사용자 영상 내에서 상기 합성 대상이 합성될 위치와 가까운 홍채를 선택하고, 선택된 상기 홍채의 크기와 설정된 홍채의 실제 크기 간의 비율을 계산하는 영상 합성 장치.
청구항 1에 있어서,
상기 비율 계산부는, 검출된 상기 홍채의 지름에 대응되는 픽셀의 수를 이용하여 검출된 상기 홍채의 크기를 도출하고, 도출된 상기 홍채의 크기와 설정된 홍채의 실제 크기를 비교하여 상기 비율을 계산하는 영상 합성 장치.
삭제
삭제
영상 합성 장치에 의해 수행되는 영상 합성 방법에 있어서,
합성 대상의 영상 및 상기 합성 대상의 실제 크기 정보를 저장하는 단계;
사용자를 촬영하여 사용자 영상을 입력 받는 단계;
상기 사용자 영상으로부터 상기 사용자의 홍채를 검출하는 단계;
검출된 상기 홍채의 크기와 설정된 홍채의 실제 크기 간의 비율을 계산하는 단계;
상기 합성 대상의 실제 크기 정보 및 상기 홍채의 크기와 설정된 홍채의 실제 크기 간의 비율을 이용하여 상기 합성 대상 영상의 크기를 변경하는 단계; 및
크기가 변경된 상기 합성 대상 영상과 상기 사용자 영상을 합성하는 단계를 포함하고,
상기 홍채의 크기와 설정된 홍채의 실제 크기 간의 비율을 계산하는 단계는,
상기 사용자 영상으로부터 두 개의 홍채가 검출된 경우, 상기 두 개의 홍채 각각의 중점을 연결하는 직선을 도출하고, 도출된 상기 직선과 평행한 방향의 홍채 지름의 크기를 검출된 상기 홍채의 크기로 도출하고, 도출된 상기 홍채의 크기와 설정된 홍채의 실제 크기를 비교하여 상기 홍채의 크기와 설정된 홍채의 실제 크기 간의 비율을 계산하고, 상기 사용자 영상으로부터 두 개의 홍채가 검출된 경우, 상기 사용자 영상 내에서 상기 합성 대상이 합성될 위치와 가까운 홍채를 선택하고, 선택된 상기 홍채의 크기와 설정된 홍채의 실제 크기 간의 비율을 계산하는 영상 합성 방법.