KR102486094B1 - 가상 피팅 증강 이미지를 제공하는 스마트 미러 및 그 동작방법 - Google Patents
가상 피팅 증강 이미지를 제공하는 스마트 미러 및 그 동작방법 Download PDFInfo
- Publication number
- KR102486094B1 KR102486094B1 KR1020220108053A KR20220108053A KR102486094B1 KR 102486094 B1 KR102486094 B1 KR 102486094B1 KR 1020220108053 A KR1020220108053 A KR 1020220108053A KR 20220108053 A KR20220108053 A KR 20220108053A KR 102486094 B1 KR102486094 B1 KR 102486094B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- mirror
- user
- feature points
- display panel
- Prior art date
Links
- 238000011017 operating method Methods 0.000 title description 2
- 238000012545 processing Methods 0.000 claims abstract description 53
- 238000006243 chemical reaction Methods 0.000 claims abstract description 42
- 238000000034 method Methods 0.000 claims abstract description 31
- 230000003190 augmentative effect Effects 0.000 claims abstract description 25
- 238000004891 communication Methods 0.000 claims description 32
- 238000003709 image segmentation Methods 0.000 claims 2
- 239000000284 extract Substances 0.000 abstract description 6
- 239000003550 marker Substances 0.000 description 48
- 238000010586 diagram Methods 0.000 description 12
- 239000013598 vector Substances 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 8
- 230000009466 transformation Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000013461 design Methods 0.000 description 5
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 210000000245 forearm Anatomy 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
- H04N2005/2726—Means for inserting a foreground image in a background image, i.e. inlay, outlay for simulating a person's appearance, e.g. hair style, glasses, clothes
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Mirrors, Picture Frames, Photograph Stands, And Related Fastening Devices (AREA)
Abstract
개시된 일 실시예에 따른 스마트 미러는, 빛의 일부를 투과하는 거울 상기 거울의 후면에 마련되는 미러 디스플레이 패널; 상기 미러 디스플레이 패널의 후면에 마련되고, 상기 거울의 전면에 위치하는 사용자를 촬영하는 적어도 하나 이상의 카메라; 상기 카메라가 촬영한 제1 영상 및 미리 저장된 영상 변환 정보에 기초하여 상기 제1 영상을 상기 거울에 비친 상기 사용자의 모습으로 영상 처리하는 영상 처리부; 및 상기 영상 처리부가 생성한 제2 영상에서 상기 사용자가 착용한 의상에 대한 제1 이미지의 특징점을 추출하고, 상기 제1 이미지의 특징점 및 미리 저장된 의상에 대한 제2 이미지의 특징점을 정합하여 제3 이미지를 생성하고, 상기 제3 이미지를 상기 미러 디스플레이 패널을 통해 표시하는 가상 피팅부; 를 포함한다.
Description
개시된 일 실시예는 실제 의상을 착용한 사용자에 의상의 다른 의상의 이미지를 증강시키는 디스플레이 또는 미러 디스플레이에 관한 것이다.
일반적으로, 스마트 미러는 거울에 영상 화면을 표시하는 디스플레이부를 마련한 장치로서, 거울과 디스플레이 기능을 동시에 구현할 수 있다. 스마트 미러는 주택이나 사업장 등 어디나 설치되어 있는 전통적인 아날로그 거울을 발전시켜 차세대 디스플레이로 활용될 수 있고, 단순한 디스플레이 역할뿐만 아니라 스마트 콘텐츠 또는 인터랙티브 콘텐츠 디자인을 탑재하여 생활 문화를 개선할 수 있다.
선행문헌 1(일본공개특허 제2014-032312호)은 전면에 거울을 구비하고 상기 거울 후면에 디스플레이 장치를 구비하는 스마트 미러의 구조를 개시하고 있으며, 이때 사용하는 거울은 빛의 일부를 반사하고 일부는 투과하는 하프 미러를 사용한다. 즉, 선행문헌 1은 반사되는 빛에 의해 거울로 작용하고, 후면에 배치된 디스플레이의 발광되는 빛이 거울을 투과함으로써 디스플레이로써 동작한다.
스마트 미러는 다양한 형태로 응용될 수 있다. 예를 들어, 화장실에 설치되는 미러형 디스플레이 상품은 사이버텍쳐(Cybertecture) 미러 등이 있다. 이 제품은 날씨 표시기능, 웹 검색 기능, 체중계 연동 기능을 제공한다. 또한, 선행문헌 2(한국공개특허 제10-2013-0128202호)는 스마트 미러를 바라보는 사람 눈의 위치를 파악하였다가, 거울에 비춰지는 객체가 상기 사람의 눈의 위치를 기준으로 투영되는 위치를 파악하여, 객체의 부가정보를 표시하는 기술을 개시하기도 한다.
이러한 스마트 미러는 의상 피팅(또는 의상 착용)에도 적용될 수 있다. 일반적으로 사람이 의상을 피팅하는 과정은 의류 매장에서 의류를 직접 착용한 후, 거울 앞에서 여러 방향으로 의류를 착용한 자신의 모습을 관찰한다. 또한, 다른 의류를 착용하여 상호 비교하는 등 구매하고자 하는 의류가 자신에게 잘 맞는가를 비교, 확인하는 과정을 거친다. 이와 같은 의류 착용 과정을 지원하기 위한 기술로서, 스마트 미러는 3D 가상(Virtual) 피팅 기술들을 함께 제시하고 있다. 이 기술은 인체를 카메라로 촬영한 영상으로부터 3D 인체 모델링을 하고, 그래픽 기술을 이용하여 의류를 가상으로 제작한 후, 실사 영상 위에 가상 의류를 합성하여 디스플레이하는 기술이다.
선행문헌 3(일본공개특허 2010-070889호)은 스마트 미러를 이용한 의류 피팅 기술의 일례로서, 검출용 마크를 이용하여 거울을 마주하는 사람의 위치를 파악한 후, 거울에 비친 사람의 이미지에 가상의 의복을 착용시켜 표시하는 기술이 개시되고 있다. 다만, 선행문헌 3과 같은 종래 기술은 사용자가 마크된 의상을 착용하거나, 착용한 의상에 별도의 마크를 달아야 하는 불편함이 있었다. 또한, 선행문헌 3과 같이 카메라가 스마트 미러 상면에 위치하는 경우, 원본 영상이 실제 거울에 비친 모습에 비해 왜곡되어 촬영되기 때문에 다른 의상에 대한 이미지가 표시되어도 거울을 바라보는 사용자는 정확히 사용자에게 피팅되지 않는 것과 같은 어색함을 느끼는 경우가 많았다.
[선행문헌 1] 일본공개특허 제2014-032312호
[선행문헌 2] 한국공개특허 제10-2013-0128202호
[선행문헌 3] 일본공개특허 2010-070889호
전술한 문제점을 해결하기 위한 것으로써, 개시된 일 실시예는 카메라가 촬영한 사용자의 영상을 사용자가 거울에서 바라보는 모습과 동일한 비율로 변환시킨 후 피팅하고자 하는 의상을 증강시킴으로써, 자연스러운 증강 현실을 느낄 수 있고, 나아가 사용자의 만족감을 증가시키는 스마트 미러 및 스마트 미러의 동작방법에 관한 것이다.
개시된 일 실시예에 따른 스마트 미러는, 빛의 일부를 투과하는 거울 상기 거울의 후면에 마련되는 미러 디스플레이 패널; 상기 미러 디스플레이 패널의 후면에 마련되고, 상기 거울의 전면에 위치하는 사용자를 촬영하는 적어도 하나 이상의 카메라; 상기 카메라가 촬영한 제1 영상 및 미리 저장된 영상 변환 정보에 기초하여 상기 제1 영상을 상기 거울에 비친 상기 사용자의 모습으로 영상 처리하는 영상 처리부; 및 상기 영상 처리부가 생성한 제2 영상에서 상기 사용자가 착용한 의상에 대한 제1 이미지의 특징점을 추출하고, 상기 제1 이미지의 특징점 및 미리 저장된 의상에 대한 제2 이미지의 특징점을 정합하여 제3 이미지를 생성하고, 상기 제3 이미지를 상기 미러 디스플레이 패널을 통해 표시하는 가상 피팅부; 를 포함한다.
상기 영상 처리부는, 상기 제1 영상에 포함된 마커 영역을 검출하고, 상기 마커 영역과 상기 사용자의 하부 영역이 일치하는지 여부를 판단하고, 상기 판단 결과에 기초하여 상기 영상 변환 정보를 선택할 수 있다.
상기 가상 피팅부는, 상기 판단 결과에 기초하여 상기 영상 변환 정보가 선택되지 않으면, 상기 사용자의 위치를 조정하는 안내 영상 또는 안내 음성을 출력하는 제어 신호를 생성할 수 있다.
상기 거울에 레이저를 조사하고, 상기 거울에 반사된 레이저를 수광하는 거울 스캐너; 를 포함하고, 상기 영상 처리부는, 상기 제1 영상 및 상기 거울 스캐너가 생성한 제3 영상에 기초하여 상기 제2 영상을 생성할 수 있다.
상기 영상 처리부는, 상기 제3 영상을 기준으로 상기 제1 영상을 정합하여, 상기 영상 변환 정보를 획득하고, 상기 영상 변환 정보에 기초하여 분할된 상기 제1 영상의 각 영역을 변환하여, 상기 제2 영상을 생성할 수 있다.
상기 영상 처리부는, 미리 설정된 위치에 마련되는 복수 개의 카메라로부터 수신되는 복수 개의 제1 영상에 기초하여 상기 영상 변환 정보를 선택하고, 상기 선택된 영상 변환 정보에 기초하여 상기 제2 영상을 생성할 수 있다.
상기 가상 피팅부는, 상기 제2 영상에서 상기 제1 이미지의 특징점에 기초하여 의상 영역을 추출하고, 생성된 제3 이미지의 특징점의 위치와 상기 제1 이미지의 특징점의 위치를 대응시키고, 대응된 위치에 기초하여 제2 영상의 의상 영역에서 제3 이미지를 증강시킬 수 있다.
상기 가상 피팅부는, 상기 제1 이미지에 포함된 RGB 영상을 HSV(Hue Saturation Value) 영상으로 변환하고, 변환된 HSV 영상에서 명도값 또는, 명도값 및 채도값에 기초하여 결정한 후, 상기 제3 이미지의 밝기값을 조절할 수 있다.
개시된 다른 실시예에 따른 거울, 미러 디스플레이 패널, 및 상기 미러 디스플레이 패널의 후면에 마련되고 상기 미러 디스플레이 패널의 전면에 위치하는 사용자를 촬영하는 적어도 하나 이상의 카메라를 포함하는 스마트 미러의 동작방법은, 상기 적어도 하나 이상의 카메라가 제1 영상을 촬영하고; 상기 제1 영상 및 미리 저장된 영상 변환 정보에 기초하여 상기 제1 영상을 상기 거울에 비친 상기 사용자의 모습으로 영상 처리하고; 영상 처리된 제2 영상에서 상기 사용자가 착용한 의상에 대한 제1 이미지의 특징점을 추출하고; 상기 제1 이미지의 특징점 및 미리 저장된 의상에 대한 제2 이미지의 특징점을 정합하여 제3 이미지를 생성하고; 상기 제3 이미지를 상기 미러 디스플레이 패널을 통해 표시하는 것; 을 포함한다.
개시된 일 실시예에 따른 스마트 미러 및 스마트 미러의 동작방법은, 카메라가 촬영한 사용자의 영상을 사용자가 거울에서 바라보는 동일한 비율로 변환시킨 후 피팅하고자 하는 의상을 증강시킴으로써, 자연스러운 증강 현실을 느낄 수 있고, 나아가 사용자의 만족감을 증가시킬 수 있다.
도 1은 일 실시예에 따른 스마트 미러를 개략적으로 도시한 도면이다.
도 2는 개시된 일 실시예에 따른 스마트 미러의 내부 구성도이다.
도 3은 개시된 일 실시예에 따른 스마트 미러의 제어 블록도이다.
도 4는 개시된 일 실시예에 따른 영상 처리부의 동작을 설명하기 위한 도면이다.
도 5는 개시된 일 실시예에 따른 스마트 미러의 동작방법을 설명하기 위한 순서도이다.
도 6은 의상에 대한 이미지에서 영상 정합의 일 실시예를 설명하기 위한 도면이다.
도 7은 개시된 다른 실시예에 따른 스마트 미러의 동작 방법에 관한 순서도이다.
도 8은 개시된 다른 실시예에 따른 스마트 미러의 구성도이다.
도 2는 개시된 일 실시예에 따른 스마트 미러의 내부 구성도이다.
도 3은 개시된 일 실시예에 따른 스마트 미러의 제어 블록도이다.
도 4는 개시된 일 실시예에 따른 영상 처리부의 동작을 설명하기 위한 도면이다.
도 5는 개시된 일 실시예에 따른 스마트 미러의 동작방법을 설명하기 위한 순서도이다.
도 6은 의상에 대한 이미지에서 영상 정합의 일 실시예를 설명하기 위한 도면이다.
도 7은 개시된 다른 실시예에 따른 스마트 미러의 동작 방법에 관한 순서도이다.
도 8은 개시된 다른 실시예에 따른 스마트 미러의 구성도이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 ‘부, 모듈, 부재, 블록’이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시예들에 대해 설명한다.
도 1은 일 실시예에 따른 스마트 미러를 개략적으로 도시한 도면이다.
도 1을 참조하면, 개시된 스마트 미러(1)는 사용자(U)를 비추는 거울(10)이 마련된다. 스마트 미러(1)는 사용자(U)가 착용한 의상과 다른 의상, 즉 사용자(U)가 선택한 의상을 사용자의 영상(I)에 증강시킬 수 있다. 이를 위해서 개시된 스마트 미러(1)는 거울(10) 뿐만 아니라 본체 내부에 미러 디스플레이 패널(11, 도 2 참조), 카메라(20, 도 2 참조) 및 증강 현실을 실현하기 위한 영상 처리부(30, 도 3 참조) 등을 포함할 수 있다.
스마트 미러(1)는 근접 센서(미도시)를 마련하고, 사용자(U)가 스마트 미러(1)와 떨어진 거리에서 취하는 모션을 감지할 수 있다. 만약 사용자가 미리 설정된 동작에 해당하는 모션을 취하면, 스마트 미러(1)는 미리 설정된 동작과 매칭된 동작을 수행할 수도 있다. 예를 들어 도 1에 도시된 바와 같이, 사용자가 오른손을 미리 설정된 높이 이상으로 들어 올리면, 스마트 미러(1)는 사용자가 미리 선택한 의상을 증강시키는 동작을 개시할 수 있다. 다만, 이러한 스마트 미러(1)의 유저 인터페이스(2)는 매우 다양할 수 있으며, 개시된 스마트 미러(1)는 근접 센서뿐만 아니라 인터페이스 동작에 필요한 다양한 구성을 더 포함할 수 있다.
도 2는 개시된 일 실시예에 따른 스마트 미러의 내부 구성도이다.
도 2를 참조하면, 일 실시예에 따른 스마트 미러(1)는 사용자가 위치하는 방향, 즉, 스마트 미러(1)의 전면에 거울(10)을 구비하고, 거울(10)의 후면에 미러 디스플레이 패널(11)를 구비한다. 이때, 사용하는 거울(10)은 빛의 일부를 반사하고 일부는 투과하는 하프 미러를 사용하는 것이 바람직하다. 거울(10)은 반사되는 빛에 의해 거울로 작용하고, 후면에 배치된 미러 디스플레이 패널(11)이 발광하는 빛이 거울(10)을 투과함으로써 디스플레이로서 동작한다. 이때, 미러 디스플레이 패널(11)은 LCD(Liquid CrystalDisplay) 패널을 구비하는 것으로 구성될 수 있고, 그 외에도, 유기EL(Organic Electro Luminescence) 패널이나, PDP(Plasma Display Panel)등으로 구성된 것일 수 있다.
개시된 실시예 중, 다른 실시예에 따른 스마트 미러(1)는 전면에 투명 디스플레이 장치(미도시)를 구비하고, 투명 디스플레이 장치(미도시)의 후면에 거울에 사용하는 광 반사 도료 또는 반사 필름(또는 반사형 편광 필름) 등을 구비할 수도 있다. 즉, 투명 디스플레이 장치의 일부 발광소자가 동작하지 않은 채로 빛을 통과시키면, 광 반사 필름에 의해 반사되어 거울 역할을 하고, 투명 디스플레이 장치의 나머지 작동하는 발광소자의 부분은 디스플레이로 기능한다. 이때 투명 디스플레이 장치는 투명 유기 전기발광 디스플레이(OLED) 등을 이용할 수 있다.
스마트 미러(1)의 전면에 구비되는 구성요소는 실시예에 따라 거울(10) 및 미러 디스플레이 패널(11) 또는 투명 디스플레이 장치(미도시)로 달라질 수 있다. 이하에서는 설명의 편의를 위해 스마트 미러(1)가 거울(10) 및 미러 디스플레이 패널(11)로 구성된 실시예로 설명하나, 반드시 이에 제한되는 것은 아니다.
미러 고정부(15)는 미러 디스플레이 패널(11) 및 카메라(20)가 수납될 수 있고, 스마트 미러(1)의 외관을 구성할 수 있다. 또한, 미러 고정부(15)의 오른쪽 또는 왼쪽의 프레임에는 사용자의 입력을 받아들이기 위한 입력 버튼(미도시)이 구비될 수 있다. 이러한 입력부(60, 도 3 참조)는 터치스크린 방식의 패널로 구성될 수도 있다. 만약 입력부(60)가 하드웨어적으로 마련되어 미러 고정부(15)의 전면에 마련되는 경우, 사용자가 미러 고정부(15)에 표시된 버튼을 터치함으로써 입력 명령이 받아들여진다.
미러 디스플레이 패널(11)의 후면, 즉 미러 고정부(15)의 내부에는 적어도 하나 이상의 카메라(20)가 마련될 수 있다. 일 실시예에 따라 카메라(20)는 단일 개로 마련될 수 있지만, 정확한 사용자의 영상을 수집하기 위해서 복수 개 마련될 수도 있다. 이 경우, 복수 개의 카메라(20)는 미러 디스플레이 패널(11) 후면 영역 중 각 모서리 또는 중간 지점 등에 마련될 수 있으며, 바람직하게는 8대의 카메라(20)가 마련될 수 있다.
다른 실시 예에서, 카메라(20)는 깊이 카메라일 수 있으나, 이에 제한되지 않는다. 예를 들어, 카메라(20)는 키넥트 카메라를 의미할 수 있으나, 이에 제한되는 것은 아니다.
종래 일반적인 스마트 미러는 카메라가 본체 외부, 특히 본체 외부의 상단 영역에 마련되는 경우가 많았다. 이와 달리 개시된 스마트 미러(1)는 미러 고정부(15) 내부에 카메라(20)가 마련되고, 전면을 향하여 사용자를 촬영한다. 다만, 미러 고정부(15)의 내부에 고정된 카메라(20)가 다양한 신체를 가지는 다수의 사용자를 촬영하면, 카메라(20)가 촬영한 영상(이하 제1 영상)은 사용자가 거울을 통해 바라보는 자신의 모습과 다른 비율을 가지는 영상을 촬영하게 된다. 만약 거울(10)에 비친 모습과 비율이 다른 제1 영상을 기초로 증강 현실 이미지를 생성하게 되면, 사용자는 거울에 비친 자신의 모습에 맞지 않는 가상의 의상 이미지를 바라보게 될 것이다. 이러한 문제를 극복하기 위해서 개시된 스마트 미러(1)는 제1 영상에서 비율을 조정한 영상(이하 제2 영상)을 기초로 피팅할 의상 이미지를 생성한다. 스마트 미러(1)가 카메라(20)의 제1 영상을 처리하는 구체적인 실시예는 이하의 다른 도면을 통해 후술한다.
스마트 미러(1)의 제어부(50)는 미러 디스플레이 패널(11)과 연결될 수 있다. 도 2에서는 제어부(50)가 미러 고정부(15)의 하면에 위치하는 것으로 도시되었지만, 반드시 이에 제한되는 것은 아니다.
제어부(50)는 제1 영상을 처리하는 영상 처리부(30, 도 3참조)와 영상 처리부(30)가 처리한 제2 영상에 기초하여 피팅할 가상의 의상 이미지를 생성하고, 미러 디스플레이 패널(11)을 통해 생성한 의상 이미지를 표시하는 가상 피팅부(40)로 구분될 수 있다. 다만, 이러한 영상 처리부(30)와 가상 피팅부(40)의 구분은 소프트웨어적인 것으로, 제어부(50)는 하드웨어적으로 프로세서(Processor)와 메모리(Memory) 또는 이의 조합으로 구성되어, 미러 고정부(15) 내부에 마련될 수 있다. 일 실시예에 따른 영상 처리부(30)와 가상 피팅부(40)는 하나의 프로세서로써 제어부(50)와 일체로 구성될 수 있으나, 다른 실시예에 따른 영상 처리부(30)와 가상 피팅부(40)는 각각 독립적으로 프로세서 및 메모리로 마련될 수도 있다.
도 3은 개시된 일 실시예에 따른 스마트 미러의 제어 블록도이다. 설명의 편의를 위해서 도 1 및 도 2에서 설명한 구성에 대한 구체적인 설명은 생략한다.
도 3을 참조하면, 스마트 미러(1)는 가상으로 처리된 의상 이미지를 증강시키는 미러 디스플레이 패널(11), 미러 디스플레이 패널(11)의 후면에 마련되고 전면에 위치하는 사용자를 촬영하는 적어도 하나 이상의 카메라(20), 사용자의 입력을 수신하는 입력부(60), 사용자가 소지한 사용자 단말 또는 의상을 판매하는 매장에 마련된 서버 등과 같은 스마트 미러(1)의 외부와 통신하는 통신부(70), 스마트 미러(1)의 동작에 필요한 각종 데이터를 저장하는 저장부(80) 및 스마트 미러(1)의 전반을 제어하는 제어부(50)를 포함한다.
먼저 입력부(60)는 사용자의 입력 명령을 수신하기 위한 버튼이나 스위치, 마우스, 트랙볼(track-ball), 각종 레버(lever), 핸들(handle)이나 스틱(stick) 등과 같은 하드웨어적인 장치를 포함할 수 있으며, 터치 패드(touch pad) 등과 같은 GUI(Graphical User interface), 즉 소프트웨어인 장치를 포함할 수도 있다. 터치 패드는 터치 스크린 패널(Touch Screen Panel: TSP)로 구현되어 미러 디스플레이 패널(11) 또는 거울(10)과 상호 레이어 구조를 이룰 수 있다. 터치 패드와 상호 레이어 구조를 이루는 터치 스크린 패널(TSP)로 구성되는 경우, 미러 디스플레이 패널(11) 또는 거울(10)은 입력부(11)로써 동작할 수도 있다.
통신부(70)는 스마트 미러(1)의 외부와 데이터를 주고받을 수 있는 구성이다.
일 실시예에 따른 통신부(70)는 매장 또는 매장을 관리하는 서버(미도시)로부터 매장 내에 마련된 의상에 대한 정보를 요청하거나, 서버로부터 의상에 대한 정보를 수신할 수 있다. 의상에 대한 정보는 의상의 가격 및 모델명뿐만 아니라 의상에 대한 이미지(이하 제2 이미지)를 포함한다. 개시된 스마트 미러(1)는 제1 영상을 영상 처리한 제2 영상에서 사용자가 착용한 의상(이하 제1 이미지)를 추출하고, 제1 이미지와 제2 이미지를 정합하여, 거울에 비친 사용자의 비율에 맞는 이미지(이하 제3 이미지)를 생성한다. 이를 위해서 통신부(70)는 매장 내에서 판매하는 제2 이미지에 대한 정보를 서버로부터 수신할 수 있다.
다른 실시예에 따른 통신부(70)는 사용자가 소지한 사용자 단말과도 통신할 수 있다. 만약 사용자가 사용자 단말에 매장에서 관리하는 어플리케이션을 다운로드한 경우, 스마트 미러(1)는 사용자 단말에 설치된 어플리케이션이 수신한 제어 명령을 통신부(70)를 통해 수신할 수 있다. 이 경우 통신부(70)는 입력부(60)의 기능을 대신할 수도 있다. 또한, 스마트 미러(1)는 생성된 제3 이미지를 증강하여 표시하는 사용자의 착용 영상을 스캔한 후, 사용자 단말로 전송할 수도 있다.
한편, 통신부(70)는 전술한 동작을 수행하기 위한 하나 이상의 구성 요소를 포함할 수 있으며, 예를 들어 근거리 통신 모듈, 유선 통신 모듈 및 무선 통신 모듈 중 적어도 하나를 포함할 수 있다.
근거리 통신 모듈은 블루투스 모듈, 적외선 통신 모듈, RFID(Radio Frequency Identification) 통신 모듈, WLAN(Wireless Local Access Network) 통신 모듈, NFC 통신 모듈, 직비(Zigbee) 통신 모듈 등 근거리에서 무선 통신망을 이용하여 신호를 송수신하는 다양한 근거리 통신 모듈을 포함할 수 있다.
유선 통신 모듈은 지역 통신(Local Area Network; LAN) 모듈, 광역 통신(Wide Area Network; WAN) 모듈 또는 부가가치 통신(Value Added Network; VAN) 모듈 등 다양한 유선 통신 모듈뿐만 아니라, USB(Universal Serial Bus), HDMI(High Definition Multimedia Interface), DVI(Digital Visual Interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 다양한 케이블 통신 모듈을 포함할 수 있다.
무선 통신 모듈은 와이파이(Wifi) 모듈, 와이브로(Wireless broadband) 모듈 외에도, GSM(global System for Mobile Communication), CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), UMTS(universal mobile telecommunications system), TDMA(Time Division Multiple Access), LTE(Long Term Evolution) 및 5G 등 다양한 무선 통신 방식을 지원하는 무선 통신 모듈을 포함할 수 있다.
제어부(50)는 미러 디스플레이 패널(11)을 통해서 증강할 의상의 이미지를 생성하는 일련의 동작방법을 수행하는 프로세서이다. 구체적으로 제어부(50)는 동작 방법에 따라 영상 처리부(30) 및 가상 피팅부(40)로 구분할 수 있다.
영상 처리부(30)는 카메라(20)가 촬영한 제1 영상 및 영상 변환 정보에 기초하여 제1 영상을 거울에 비친 사용자의 모습으로 변환하는 영상 처리를 수행한다. 여기서 영상 변환 정보는 카메라(20)에 찍힌 영상의 비율을 조정하기 위한 기준값 및/또는 변환 공식으로, 사용자가 특정한 위치에 서 있는 것을 가정하여 미리 설계된 것일 수 있다. 다만, 스마트 미러(1)는 카메라(20)가 촬영한 제1 영상에서 사용자가 미리 설정된 영역(이하 마커 영역)에서 벗어난 것인지 여부를 판단한 후, 사용자가 마커 영역에 제대로 서 있는 것으로 판단되면, 영상 변환 정보를 선택한다.
일 실시예에 따른 마커 영역은 매장 내에 물리적인 표시가 그려진 바닥면의 표시일 수 있다. 이 경우, 카메라(20)는 마커 영역이 포함된 제1 영상을 촬영하고, 영상 처리부(30)는 제1 영상에서 마커 영역에 대한 물체 인식을 수행한다. 즉, 영상 처리부(30)는 사용자와 함께 마커 영역을 함께 인식한다. 다른 실시예에 따른 마커 영역은 제1 영상의 특정한 픽셀 영역일 수 있다. 즉, 영상 처리부(30)는 제1 영상이 촬영되면, 미리 설정된 픽셀 값에 기초하여 관심 영역(Region Of Interest)를 생성하고, 이를 마커 영역으로 사용자의 위치를 판단한다.
마커 영역에 서 있는 사용자를 인식하면, 영상 처리부(30)는 사용자의 하부 영역이 위치하는 픽셀 값에 기초하여 미리 설정된 영상 변환 정보를 로딩한다. 마커 영역 내에 사용자가 위치하더라도 사용자의 발의 크기 등에 따라 마커 영역 내에서 사용자가 위치하는 부분이 서로 상이할 수 있으며, 사용자의 하부 영역이 차지하는 정도 및 카메라와 마커 영역까지의 거리에 따라 사용해야할 영상 변환 정보는 다양할 수 있다. 영상 처리부(30)는 마커 영역 내에서 사용자가 차지는 픽셀 값과 픽셀 값에 기초하여 미리 저장된 기준값에 기초하여 다양한 영상 변환 정보 중에서 하나를 선택한다. 영상 처리부(30)는 선택된 영상 변환 정보에 기초하여 제1 영상에 포함된 사용자의 비율을 조정한 제2 영상을 생성한다.
한편, 다른 실시예에 따른 영상 처리부(30)는 마커 영역에 기초하여 영상 변환 정보를 선택하는 것이 아니라, 거울 스캐너(90, 도 8 참조)가 촬영한 영상(이하 제3 영상)에 기초하여 영상 변환 정보를 선택할 수 있다. 거울 스캐너(90)가 거울에 비친 사용자의 영상 즉 제3 영상을 촬영하면, 영상 처리부(30)는 제3 영상과 제1 영상을 비교한 후 비율 차이를 산출한다. 산출된 비율 차이는 바로 영상 변환 정보가 되고, 영상 처리부(30)는 영상 변환 정보에 기초하여 제1 영상을 영상 처리한다. 거울 스캐너(90)에 대한 구체적인 설명은 도 8등을 통해서 후술한다.
영상 처리부(30)가 카메라(20)가 촬영한 제1 영상을 제2 영상으로 변환하면, 가상 피팅부(40)는 제2 영상에 기초하여 의류에 대한 가상의 이미지를 생성하고, 이를 미러 디스플레이 패널(11)을 통해 증강시킨다. 이를 위해서 가상 피팅부(40)는 제2 영상에서 사용자가 착용한 의상에 대한 이미지 즉 제1 이미지와 증강할 새로운 의상에 대한 이미지, 즉 제2 이미지를 제2 영상 내의 사용자의 비율에 맞게 다시 조정해야한다. 따라서 가상 피팅부(40)는 서버 등으로부터 수신하여 미리 저장한 의류에 대한 제2 이미지를 제2 영상에 맞게 다시 변경하여 제3 이미지를 생성한 후, 생성한 제3 이미지를 미러 디스플레이 패널(11)을 통해 증강시킨다.
제3 이미지는 제1 이미지의 특징점에 기초하여 영상 정합하여 생성될 수 있다.
제3 이미지를 생성하기 위해서 가상 피팅부(40)는 증강할 의상에 대한 식별정보 및 형상 데이터, 디자인 데이터, 3차원 데이터 등을 저장부(80)에 미리 저장한다. 일 예로, 가상 피팅부(40)는 색상과 디자인을 달리하나 동일한 구조를 가지는 의상을 분류하여 저장할 수 있다. 또한, 가상 피팅부(40)는 분류한 그룹 내에 의상들에 대해서 각 의상의 특징점들에 대한 위치, 상대 위치, 특징 벡터 등 데이터를 저장한다.
미리 저장된 데이터 중 특징점은 제2 이미지에서 특징점으로 사용되는 일정한 픽셀 값으로써, 다수 개가 존재할 수 있다. 특징점은 위치, 특징벡터 등의 데이터로 구성될 수 있으며, 특징점은 의상 이미지의 경계선이나 특이한 구조, 또는 의상 내의 색상 디자인에 나타나는 특이한 부분으로도 설정될 수 있다. 또한, 특징벡터는 해당 특징점을 식별하기 위한 데이터로서, 영상의 블록 내에서 특징점을 찾기 위한 데이터이다. 특징벡터는 영상 처리 분야에서 사용되는 특징점 식별을 위한 일반적인 특징벡터를 사용한다.
만약 사용자가 피팅할 의상을 선택하면, 가상 피팅부(40)는 선택한 의상에 대한 제2 이미지와 더불어 제2 이미지의 특징점에 대한 정보를 저장부(80)로부터 함께 로딩한다.
제2 이미지를 로딩하는 것과 병렬적으로, 가상 피팅부(40)는 제2 영상에서 물체 인식 알고리즘을 사용하여 사용자가 실제 착용하고 있는 의상에 대한 제1 이미지를 인식한다. 제1 이미지가 인식되면, 가상 피팅부(40)는 제1 이미지를 추출하고, 제1 이미지에서 특징점을 생성한다. 제1 이미지에서 특징정을 생성할 때, 가상 피팅부(40)는 제1 이미지의 특징점의 위치 및 특징 벡터도 함께 추출한다.
제1 이미지의 특징점이 추출되면, 가상 피팅부(40)는 제2 이미지의 특징점을 제1 이미지의 특징점에 정합되도록 제2 이미지를 영상 처리한다. 즉, 가상 피팅부(40)는 제2 이미지를 제1 이미지에 맞춰 제3 이미지를 생성한다.
여기서 영상 정합(image registration)은 서로 다른 영상들간에 매칭 정보를 획득하는 과정이다. 전술한 가상 피팅부(40)가 수행하는 영상 정합 알고리즘은 특징 기반(feature-based) 방식으로 계속 설명되었나, 가상 피팅부(40)는 필요에 따라 세기 기반(Intensity-based) 방식을 사용하거나 둘을 혼합할 수도 있다. 또한, 가상 피팅부(40)가 수행하는 영상 정합은 변위(translation), 회전(rotation), 확대·축소(scaling), 아핀변환(affine transform) 등을 포함한 선형 변환(linear transformation)뿐만 아니라, 기하하적 변형이 가능한 탄성 변환(elastic transformation), 혹은 비강체 변환(nonrigid transformation) 모두 가능하다.
제3 이미지가 생성되면, 가상 피팅부(40)는 생성된 제3 이미지의 특징점과 제2 영상의 특징점을 매칭시켜 제3 이미지를 미러 디스플레이 패널(11)을 통해 출력한다. 가상 피팅부(40)가 제3 이미지를 증강시키는 방법은 종래 일반적인 증강 현실을 위한 동작과 동일하다. 이러한 증강 이미지를 통해서 사용자는 왜곡되지 않고, 거울(10)에 비친 사용자의 모습에 알맞은 의상을 증강시킬 수 있다.
한편, 제어부(50)는 영상 처리 및 가상 피팅 이외에도 스마트 미러(1)가 수행할 수 있는 다양한 서비스를 함께 수행할 수 있다. 일 실시예에 따른 제어부(50)는 마커 영역에 기초하여 영상 처리를 수행하면서, 사용자가 마커 영역 내에 명확하게 위치하지 않는 경우, 미러 디스플레이 패널(11) 또는 스피커(미도시) 등을 통해 사용자에게 마커 영역으로 위치를 조정하도록 유도하는 안내 표시 또는 안내 음성을 출력할 수도 있다.
저장부(80)는 제어부(50)가 처리하는 다양한 데이터를 저장하기 위한 것으로, 캐쉬, ROM(Read Only Memory), PROM(Programmable ROM), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 및 플래쉬 메모리(Flash memory)와 같은 비휘발성 메모리 소자 또는 RAM(Random Access Memory)과 같은 휘발성 메모리 소자 또는 하드디스크 드라이브(HDD, Hard Disk Drive), CD-ROM과 같은 저장 매체 중 적어도 하나로 구현될 수 있으나 이에 한정되지는 않는다. 저장부(80)는 제어부(50)와 관련하여 도 2 등에서 전술한 프로세서와 별개의 칩으로 구현된 메모리일 수 있고, 프로세서와 단일 칩으로 구현될 수도 있다.
도 3에 도시된 스마트 미러(1)의 구성 요소들의 성능에 대응하여 적어도 하나의 구성요소가 추가되거나 삭제될 수 있다. 또한, 구성 요소들의 상호 위치는 시스템의 성능 또는 구조에 대응하여 변경될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 수 있다.
도 4는 개시된 일 실시예에 따른 영상 처리부의 동작을 설명하기 위한 도면이다.
도 4를 참조하면, 스마트 미러(1)는 미러 고정부(15) 내부에 마련된 카메라(20)를 통해서 사용자(U)를 촬영한다. 도 4의 실시예와 같이, 스마트 미러(1)가 복수 개의 카메라(20)를 통해 사용자(U)를 촬영한 후 영상 합성을 통해 제1 영상을 생성하더라도, 사용자(U)를 촬영한 영상은 거울(10)에 비친 사용자(U)의 모습과 상이할 수 있다.
예를 들어, 사용자(U)를 촬영한 카메라(20)의 영상은 카메라(20)의 위치와 사용자(U)와의 거리로 인해서 제1 영상(21)과 같이 촬영될 수 있다. 다만, 사용자(U)가 거울(10)을 통해 바라보는 자신의 모습은 제2 영상(22)과 모습일 수 있다. 따라서 제1 영상(21)에 기초하여 사용자(U)가 착용한 의상의 이미지를 추출한 후, 이에 기초하여 증강할 의류에 대한 이미지를 생성하면, 제2 영상(22)을 바라보는 사용자(U)는 정확하게 피팅되지 않는 증강 이미지를 바라보게 된다.
도 4에서 도시된 실시예를 더욱 구체적으로 설명하면, 스마트 미러(1)의 외부에는 마커(M)가 마련될 수 있다. 스마트 미러(1)는 가상 피팅 동작 전 마커(M)내에 위치할 수 있도록 사용자(U)를 유도할 수 있다. 사용자(U)가 마커(M)내에 위치하여 새로운 입력 명령을 내리면, 스마트 미러(1)는 카메라(20)를 동작하여 제1 영상(21)을 생성한다. 도 3에서 전술한 바와 같이, 영상 처리부(30)는 제1 영상(21)에서 마커(M)를 포함한 마커 영역(21의 점선 영역)을 검출하거나, 제1 영상(21)에서 미리 정해진 픽셀 영역을 기초로 마커 영역을 추출할 수 있다. 마커 영역을 추출하면, 영상 처리부(30)는 마커 영역 내에 사용자(U)가 위치하는지 여부를 판단한다. 만약 제1 영상(21)에서 사용자(U)가 마커 영역에 위치하면, 영상 처리부(30)는 영상 변환 정보를 선택한다. 이때 영상 처리부(30)는 마커 영역에 위치하는 사용자(U)의 픽셀 값과 사용자(U)가 마커 영역에서 차지하는 픽셀 값에 기초하여 다양하게 설계된 영상 변환 정보 중 하나의 영상 변환 정보를 선택한다. 선택된 영상 변화 정보에 기초하여 영상 처리부(30)는 제1 영상(21)의 영상 처리를 수행하고, 제1 영상(21)에서 변환된 제2 영상(22)이 생성될 수 있다. 도 4에서 도시된 바와 같이, 제2 영상(22)은 거울(10)에 비친 사용자의 모습(23)과 일치하도록 영상 처리된다.
도 5는 개시된 일 실시예에 따른 스마트 미러의 동작방법을 설명하기 위한 순서도이고, 도 6은 의상에 대한 이미지에서 영상 정합의 일 실시예를 설명하기 위한 도면이다. 설명의 편의를 위해서 이하 함께 설명한다.
도 5를 먼저 참조하면, 스마트 미러(1)의 카메라(20)가 제1 영상을 촬영한다(200).
카메라(20)는 미러 디스플레이 패널(11) 후면, 스마트 미러(1) 내부에 마련될 수 있으며, 적어도 하나 이상으로 설치될 수 있다. 카메라(20)는 미러 거울을 통해 흡수한 빛을 전기적 신호로 변환하여 제1 영상을 생성한 후, 제1 영상을 영상 처리부(30)로 전송한다.
영상 처리부(30)는 제1 영상을 거울(10)에 비친 사용자의 모습으로 영상 처리한다(210).
영상 처리부(30)는 영상 변환 정보를 선택하고, 선택된 영상 변환 정보에 기초하여 제1 영상을 영상 처리하여 제2 영상을 생성한다. 제2 영상에서 영상 처리부(30)는 영상 변환 정보를 선택하기 위해서 제1 영상 내의 마커 영역을 이용하거나, 거울 스캐너(90)를 통해 거울(10)에 비치는 사용자의 모습을 찰영한 후 거울 스캐너(90)가 촬영한 제3 영상과 제1 영상을 비교하여 영상 변환 정보를 선택할 수 있다. 제2 영상을 생성하면, 영상 처리부(30)는 제2 영상을 가상 피팅부(40)로 전달한다.
가상 피팅부(40)는 제2 영상에서 사용자가 착용한 의상에 대한 제1 이미지의 특징점을 추출한다(220).
가상 피팅부(40)가 제2 영상에서 특징점을 추출하는 방법은 물체 인식 알고리즘 또는 일반적인 영상 처리 AI(Artificial Intelligence)기술에서 사용하는 기술을 적용할 수 있다. 다만, 이렇게 추출된 특징점은 특징점의 위치 정보와 특징 벡터를 모두 포함한다.
가상 피팅부(40)는 제1 이미지의 특징점 및 미리 저장된 의상에 대한 제2 이미지의 특징점을 정합한다(230).
여기서 영상 정합에 필요한 제2 이미지의 특징점에 대한 정보는 통신부(70)를 통해 스마트 미러(1)의 외부로부터 수신되어 미리 저장부(80)에 저장될 수 있다. 특징점을 정합하는 과정은 인-호모지니어스 정합(In-homogeneous registration) 방식을 이용하여 증강할 의상 이미지의 모양을 변형하여 참조 영상, 즉 제2 영상에서 사용자(U)가 착용한 의상에 대한 이미지로 매칭시키는 방식을 통해 수행될 수 있다.
도 6을 참조하면, 제1 이미지(31)은 제2 영상에서 사용자가 입은 반팔 T셔츠에 대한 이미지이고, 제1 이미지(31)에서 가상 피팅부(40)는 의상으로 판단되는 영역에 대해서 12개의 특징점을 추출할 수 있다.
제2 이미지(32)는 저장부(80)가 미리 서버로부터 수신하여 미리 저장된 이미지로써, 바닥에 반듯하게 정렬된 피팅용 반팔 T셔츠의 이미지이다. 다만, 제2 이미지(32)는 사람에 착용되기 전인 상태, 즉 굴곡이 일어나지 않은 상태로 저장될 수 있다. 또한, 제2 이미지(32)는 도 6에 도시된 바와 같이, 특징점 및 특징점에 대한 정보(특징 벡터 등)에 대한 정보도 함께 포함되어 있을 수 있다. 제2 이미지(32)에서 특징점은 제1 이미지(31)와 달리, 11개의 특징점이 미리 저장될 수 있다.
가상 피팅부(40)는 제2 이미지 및 특징점에 대한 정보를 로딩한 후, 추출된 제1 이미지(31)의 특징점의 위치 및 특징 벡터와 제2 이미지(32)에 포함된 특징점의 위치 및 특징 벡터에 기초하여 영상 정합을 수행할 수 있다. 여기서 제1 이미지는 참조 영상이 되고, 영상 정합으로 변형되는 이미지는 제2 이미지(32)가 된다. 도 6의 실시예와 같이, 가상 피팅부(40)는 제1 이미지(31)의 특징점의 개수에 맞춰 제2 이미지(32)의 특징점을 비교하고, 특징점의 위치 및 특징 벡터에 맞춰 제2 이미지(32)를 제1 이미지(31)와 유사하게 영상 정합시킨다.
한편, 가상 피팅부(40)가 영상 정합에 사용하는 알고리즘은 다양할 수 있다. 영상 정합 알고리즘은 참조 영상과 맞출 영상 사이의 변환관계에 따라 가상 피팅부(40)에 의해서 선택될 수 있으며, 변형에 필요한 종류에 따라 변위(translation), 회전(rotation), 확대·축소(scaling), 아핀변환(affine transform) 등을 포함한 선형 변환(linear transformation)을 사용할 수 있다. 다만, 도 6에 도시된 바와 같이, 변형할 이미지가 사람의 인체모양에 맞춰 의상에서 팔뚝에서 어깨까지의 영역이 구부러진 형태로 변형되어야 하는 경우, 가상 피팅부(40)는 강체 변환(Rigid transformation), 아핀변환(Affine transformation), Thin-plate-spline free form deformation (FFD), B-spline FFD, 탄성 모델(elastic model) 중 적어도 하나 이상을 이용하여 제2 이미지(32)의 모양을 변형시킬 수 있다.
가상 피팅부(40)가 제1 이미지(31)에 맞춰 제2 이미지(32)를 영상 정합하여 생성하는 최종적인 이미지는 제3 이미지(33)가 될 수 있다. 제3 이미지(33)는 제2 이미지(32)와 동일한 색상을 유지하면서, 제1 이미지(31)와 유사한 형태로 생성될 수 있다.
가상 피팅부(40)는 제3 이미지(33)를 증강시키면서, 제3 이미지(33)의 밝기값을 조절할 수도 있다. 밝기값은 제1 이미지(31)에 포함된 RGB 영상을 HSV(Hue Saturation Value) 영상으로 변환하고, 변환된 HSV 영상에서 명도값 또는, 명도값 및 채도값에 기초하여 결정될 수 있다. 즉, 도 6의 도면에서와 같이, 제1 이미지(31)의 명도값 또는, 명도값 및 채도값에 따라 제2 이미지(32)의 색상이 나타나도록 제3 이미지(33)의 밝기값을 조절할 수도 있다.
한편, 가상 피팅부(40)는 도 6에서 도시된 예시 이외에도 제1 이미지(31)에 포함될 수 있는 다양한 모양, 상표 또는 마크도 특징점으로 구분하여 제거하는 영상 처리도 함께 수행할 수 있으며, 다양한 실시예를 포함할 수 있다.
가상 피팅부(40)는 제3 이미지(33)를 투명 디스플레이 패널(11)을 통해 표시할 수 있다.
가상 피팅부(40)는 제1 이미지의 특징점의 위치 및 특징 벡터를 기준으로 제3 이미지를 증강시킬 수 있다. 즉, 가상 피팅부(40)는 생성된 제3 이미지의 특징점의 위치와 제1 이미지의 특징점의 위치를 대응시키고, 대응된 위치에 기초하여 제2 영상의 의상 영역에서 제3 이미지를 증강시킬 수 있다. 이 경우, 제2 영상은 사용자가 거울(10)을 통해 바라보는 자신의 모습과 매칭될 수 있고, 증강될 제3 이미지 또한, 거울에서 자신 착용하는 의상의 모양과 형태가 유사하므로, 사용자는 자연스러운 피팅 영상을 스마트 미러(1)를 통해 확인할 수 있다.
도 7은 개시된 다른 실시예에 따른 스마트 미러의 동작 방법에 관한 순서도이다.
도 7에서 설명하는 동작 방법은 스마트 미러(1)가 거울 스캐너(90)를 사용하지 않고, 마커 영역에 기초하여 사용자의 위치를 조정하는 실시예에 관한 것이다.
스마트 미러(1)의 카메라(20)가 제1 영상을 촬영하고(300), 스마트 미러(1)는 제1 영상에 포함된 마커 영역을 검출한다(310).
개시된 실시예에서 마커(M)는 스마트 미러(1)의 외부에 이미 원형의 모양으로 표시된 물리적인 표시를 의미한다. 이 경우, 카메라(20)가 촬영한 제1 영상에서는 물리적인 마커(M)가 포함될 것이다. 스마트 미러(1)는 미리 저장된 기준 또는 물체 인식 알고리즘에 기초하여 마커(M)를 인식하고, 마커 영역을 제1 영상에서 설정할 수 있다.
마커 영역이 검출되면, 스마트 미러(1)는 마커 영역과 사용자의 하부 영역이 일치하는지 여부를 판단한다(320).
일 예에서 스마트 미러(1)는 마커 영역 내에 픽셀 값을 기초로 사용자의 하부 영역을 결정하고, 결정된 하부 영역에 대응하는 픽셀값이 제1 영상에서 마커 영역 외부에도 위치하는지 여부를 판단할 수 있다.
만약 마커 영역에 사용자의 하부 영역이 완전히 들어오는 것으로 판단(320의 Yes)되면, 스마트 미러(1)는 영상 변환 정보를 선택한다(330).
영상 변환 정보를 선택하는 기준은 마커 영역내에 사용자의 하부 영역이 차지하는 비중에 의해서 결정될 수 있다. 또한, 개시된 실시예와 같이 실제 마커(M)가 표시되는 위치는 미리 설계된 영상 변환 정보에 기초하여 마련되므로, 사용자가 마커(M)에 위치하는 것으로 판단되면, 스마트 미러(1)는 그에 해당하는 영상 변환 정보를 바로 선택할 수 있다.
만약 마커 영역에 사용자의 하부 영역이 완전히 들어오지 않는 것으로 판단(320의 No)되면, 스마트 미러(1)는 사용자의 위치를 조정하는 안내 영상 또는 안내 음성을 출력한다(340).
안내 영상 또는 안내 음성은, 사용자를 마커(M)내로 유도하는 다양한 디자인적 표시나 음성 출력을 포함할 수 있으며, 다른 실시예로 스마트 미러(1)는 통신부(70)를 통해 사용자 단말로 안내 영상이나 안내 음성을 전송할 수도 있다.
도 8은 개시된 다른 실시예에 따른 스마트 미러의 구성도이다.
물리적인 마커(M)를 이용하는 것 이외에도 스마트 미러(1)는 거울 스캐너(90)을 더 포함할 수 있다.
거울 스캐너(90)는 거울에 비춰진 사용자의 모습을 촬영하고, 이를 픽셀화하여 제3 영상을 생성할 수 있다. 다만 거울 스캐너(90)는 거울에 비친 사용자의 모습을 촬영해야 하므로, 스마트 미러(1)의 미러 고정부(15) 내부가 아닌, 외부에 마련될 수 있다.
도 8에서 도시된 일 예에서 거울 스캐너(90)는 스마트 미러(1)의 본체 외부 상부에 위치할 수 있다. 거울 스캐너(90)는 거울(10)에 레이저를 조사하여, 거울(10)에 비친 사용자의 모습을 스캔한다. 거울 스캐너(90)는 거울(10)에서 반사된 레이저를 수광한 후, 제3 영상을 생성할 수도 있다. 도 2의 실시예와 마찬가지로, 영상 처리부(30)는 거울 스캐너(90)가 생성한 제3 영상의 비율에 기초하여 영상 변환 정보를 선택한다. 영상 변환 정보가 선택되면, 가상 피팅부(40)는 선택된 영상 변환 정보에 기초하여 제1 영상을 영상 처리함으로써, 증강할 제2 영상을 생성할 수 있다.
이를 통해서 개시된 스마트 미러(1)는 카메라가 촬영한 사용자의 영상을 사용자가 거울에서 바라보는 모습과 동일한 비율로 변환시킨 후 피팅하고자 하는 의상을 증강시킴으로써, 자연스러운 증강 현실을 느낄 수 있고, 나아가 사용자의 만족감을 증가시킬 수 있다.
1: 스마트 미러 10: 거울
11: 미러 디스플레이 패널 15: 미러 고정부
20: 카메라 30: 영상 처리부
40: 가상 피팅부 50: 제어부
60: 입력부 70: 통신부
80: 저장부 90: 거울 스캐너
11: 미러 디스플레이 패널 15: 미러 고정부
20: 카메라 30: 영상 처리부
40: 가상 피팅부 50: 제어부
60: 입력부 70: 통신부
80: 저장부 90: 거울 스캐너
Claims (9)
- 빛의 일부를 투과하는 거울;
상기 거울의 후면에 마련되는 미러 디스플레이 패널;
상기 미러 디스플레이 패널의 후면에 마련되고, 상기 거울의 전면에 위치하는 사용자를 촬영하는 적어도 하나 이상의 카메라;
상기 카메라가 촬영한 제1 영상 및 미리 저장된 영상 변환 정보에 기초하여 상기 제1 영상을 상기 거울에 비친 상기 사용자의 모습으로 영상 처리하는 영상 처리부; 및
상기 영상 처리부가 생성한 제2 영상에서 상기 사용자가 착용한 의상에 대한 제1 이미지의 특징점을 추출하고, 상기 제1 이미지의 특징점 및 미리 저장된 의상에 대한 제2 이미지의 특징점을 정합하여 제3 이미지를 생성하고, 상기 제3 이미지를 상기 미러 디스플레이 패널을 통해 표시하는 가상 피팅부; 를 포함하고,
상기 거울에 레이저를 조사하고, 상기 거울에 반사된 레이저를 수광하여 상기 거울에 비친 사용자의 모습을 촬영하는 거울 스캐너; 를 포함하고,
상기 영상 처리부는,
상기 제1 영상 및 상기 거울 스캐너가 생성한 제3 영상에 기초하여 상기 제2 영상을 생성하되,
상기 제3 영상과 상기 제1 영상을 비교하여 촬영된 사용자의 모습에 대한 비율 차이를 산출하고, 산출된 비율 차이를 기초로 상기 영상 변환 정보를 획득하고,
상기 제3 영상을 기준으로 상기 제1 영상을 정합하여, 상기 제1 영상에 대한 영상 분할 처리를 수행하고, 영상 변환 정보에 기초하여 분할된 상기 제1 영상의 각 영역을 변환하여, 상기 사용자가 거울에서 바라보는 모습과 동일한 비율로 변환된 상기 제2 영상을 생성하고,
외부와 통신하는 통신부를 더 포함하고,
상기 통신부는 매장 또는 매장을 관리하는 서버로부터 매장 내에 마련된 의상에 대한 정보를 요청하고, 상기 매장 또는 매장을 관리하는 서버로부터 의상에 대한 정보를 수신하고,
상기 의상에 대한 정보는 의상의 가격, 모델명 및 상기 제2 이미지를 포함하는,
가상 피팅 증강 이미지를 제공하는 스마트 미러.
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 거울, 미러 디스플레이 패널, 및 상기 미러 디스플레이 패널의 후면에 마련되고 상기 미러 디스플레이 패널의 전면에 위치하는 사용자를 촬영하는 적어도 하나 이상의 카메라를 포함하는 스마트 미러의 동작방법에 있어서,
상기 적어도 하나 이상의 카메라가 제1 영상을 촬영하고;
상기 제1 영상 및 미리 저장된 영상 변환 정보에 기초하여 상기 제1 영상을 상기 거울에 비친 상기 사용자의 모습으로 영상 처리하고;
영상 처리된 제2 영상에서 상기 사용자가 착용한 의상에 대한 제1 이미지의 특징점을 추출하고;
상기 제1 이미지의 특징점 및 미리 저장된 의상에 대한 제2 이미지의 특징점을 정합하여 제3 이미지를 생성하고;
상기 제3 이미지를 상기 미러 디스플레이 패널을 통해 표시하는 것; 을 포함하고,
거울 스캐너가 상기 거울에 레이저를 조사하고, 상기 거울에 반사된 레이저를 수광하여 상기 거울에 비친 사용자의 모습을 촬영하는 단계를 더 포함하고,
상기 사용자의 모습으로 영상 처리하는 단계는,
상기 제1 영상 및 상기 거울 스캐너가 생성한 제3 영상에 기초하여 상기 제2 영상을 생성하되,
상기 제3 영상과 상기 제1 영상을 비교하여 촬영된 사용자의 모습에 대한 비율 차이를 산출하고, 산출된 비율 차이를 기초로 상기 영상 변환 정보를 획득하고,
상기 제3 영상을 기준으로 상기 제1 영상을 정합하여, 상기 제1 영상에 대한 영상 분할 처리를 수행하고, 영상 변환 정보에 기초하여 분할된 상기 제1 영상의 각 영역을 변환하여, 상기 사용자가 거울에서 바라보는 모습과 동일한 비율로 변환된 상기 제2 영상을 생성하고,
상기 제2 이미지의 특징점을 정합하여 제3 이미지를 생성하는 단계 이전에,
통신부가 매장 또는 매장을 관리하는 서버로부터 매장 내에 마련된 의상에 대한 정보를 요청하고, 상기 매장 또는 매장을 관리하는 서버로부터 의상에 대한 정보를 수신하고,
상기 의상에 대한 정보는 의상의 가격, 모델명 및 상기 제2 이미지를 포함하는 것을 특징으로 하는 단계를 더 포함하는,
가상 피팅 증강 이미지를 제공하는 스마트 미러의 동작방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220108053A KR102486094B1 (ko) | 2021-10-26 | 2022-08-29 | 가상 피팅 증강 이미지를 제공하는 스마트 미러 및 그 동작방법 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210143284A KR102438878B1 (ko) | 2021-10-26 | 2021-10-26 | 스마트 미러 및 스마트 미러의 동작방법 |
| KR1020220108053A KR102486094B1 (ko) | 2021-10-26 | 2022-08-29 | 가상 피팅 증강 이미지를 제공하는 스마트 미러 및 그 동작방법 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210143284A Division KR102438878B1 (ko) | 2021-10-26 | 2021-10-26 | 스마트 미러 및 스마트 미러의 동작방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102486094B1 true KR102486094B1 (ko) | 2023-01-06 |
Family
ID=83281213
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210143284A KR102438878B1 (ko) | 2021-10-26 | 2021-10-26 | 스마트 미러 및 스마트 미러의 동작방법 |
| KR1020220108053A KR102486094B1 (ko) | 2021-10-26 | 2022-08-29 | 가상 피팅 증강 이미지를 제공하는 스마트 미러 및 그 동작방법 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210143284A KR102438878B1 (ko) | 2021-10-26 | 2021-10-26 | 스마트 미러 및 스마트 미러의 동작방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (2) | KR102438878B1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102592596B1 (ko) | 2023-07-12 | 2023-10-23 | 주식회사 패션에이드 | 인공지능 기반의 휴먼모델 자동 생성 시스템 및 방법 |
| KR102652199B1 (ko) | 2023-10-11 | 2024-03-29 | 주식회사 패션에이드 | 포즈추정 기반의 영상 컨텐츠 생성 시스템 및 방법 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010070889A (ja) * | 2008-09-22 | 2010-04-02 | Seiren Co Ltd | 仮想試着装置 |
| KR101494301B1 (ko) * | 2014-07-22 | 2015-02-24 | (주)지란지교소프트 | 스마트 미러 장치 |
| KR101720016B1 (ko) * | 2015-10-16 | 2017-03-27 | 광운대학교 산학협력단 | 미러 디스플레이를 구비한 특징점 기반 의상 피팅 시스템 및 방법 |
| KR102044348B1 (ko) * | 2017-11-09 | 2019-11-13 | (주)코아시아 | 증강현실을 이용한 가상 의류 피팅 미러 장치 시스템 |
-
2021
- 2021-10-26 KR KR1020210143284A patent/KR102438878B1/ko active IP Right Grant
-
2022
- 2022-08-29 KR KR1020220108053A patent/KR102486094B1/ko active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010070889A (ja) * | 2008-09-22 | 2010-04-02 | Seiren Co Ltd | 仮想試着装置 |
| KR101494301B1 (ko) * | 2014-07-22 | 2015-02-24 | (주)지란지교소프트 | 스마트 미러 장치 |
| KR101720016B1 (ko) * | 2015-10-16 | 2017-03-27 | 광운대학교 산학협력단 | 미러 디스플레이를 구비한 특징점 기반 의상 피팅 시스템 및 방법 |
| KR102044348B1 (ko) * | 2017-11-09 | 2019-11-13 | (주)코아시아 | 증강현실을 이용한 가상 의류 피팅 미러 장치 시스템 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102592596B1 (ko) | 2023-07-12 | 2023-10-23 | 주식회사 패션에이드 | 인공지능 기반의 휴먼모델 자동 생성 시스템 및 방법 |
| KR102652199B1 (ko) | 2023-10-11 | 2024-03-29 | 주식회사 패션에이드 | 포즈추정 기반의 영상 컨텐츠 생성 시스템 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102438878B1 (ko) | 2022-09-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102486094B1 (ko) | 가상 피팅 증강 이미지를 제공하는 스마트 미러 및 그 동작방법 | |
| US8982110B2 (en) | Method for image transformation, augmented reality, and teleperence | |
| US9369638B2 (en) | Methods for extracting objects from digital images and for performing color change on the object | |
| US8976160B2 (en) | User interface and authentication for a virtual mirror | |
| US8970569B2 (en) | Devices, systems and methods of virtualizing a mirror | |
| AU2014304760B2 (en) | Devices, systems and methods of virtualizing a mirror | |
| CN109288333B (zh) | 捕获和显示外观的装置、系统和方法 | |
| US9286722B2 (en) | Information processing apparatus, display control method, and program | |
| KR100935482B1 (ko) | 합성이미지 제공시스템 및 방법 | |
| KR101720016B1 (ko) | 미러 디스플레이를 구비한 특징점 기반 의상 피팅 시스템 및 방법 | |
| CN102207819A (zh) | 信息处理器、信息处理方法和程序 | |
| US20220198780A1 (en) | Information processing apparatus, information processing method, and program | |
| CN105814604B (zh) | 用于提供位置信息或移动信息以用于控制车辆的至少一种功能的方法和系统 | |
| JPWO2020130070A1 (ja) | 検出装置、情報処理装置、検出方法、及び情報処理プログラム | |
| JP6090917B2 (ja) | 被写体画像抽出および合成装置、および方法 | |
| US11043019B2 (en) | Method of displaying a wide-format augmented reality object | |
| JP2011186816A (ja) | 顔画像合成装置 | |
| KR20230059273A (ko) | 스마트 미러 및 스마트 미러를 이용한 가상피팅 방법 | |
| KR102086733B1 (ko) | 증강 현실 네일 아트 이미지 생성 장치 및 그 방법 | |
| KR20110136035A (ko) | 실제현실 적응형 증강현실 장치 | |
| KR101679844B1 (ko) | 이종 플랫폼 간 증강현실 제공 방법 | |
| KR102562713B1 (ko) | 사용자가 보유한 의류들에 대한 가상 피팅을 제공하는 전자 장치 | |
| JP7064456B2 (ja) | 共有システム及び遠隔側装置 | |
| KR20110136031A (ko) | 이종 플랫폼 간 증강현실 전달 시스템 | |
| KR20170027752A (ko) | 실제현실 적응형 증강현실 제공 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |