KR102059356B1 - 동작 인식을 이용하여 가상 피팅 서비스를 제공하는 가상 피팅 장치 및 그 장치를 이용한 방법 - Google Patents

동작 인식을 이용하여 가상 피팅 서비스를 제공하는 가상 피팅 장치 및 그 장치를 이용한 방법 Download PDF

Info

Publication number
KR102059356B1
KR102059356B1 KR1020130031263A KR20130031263A KR102059356B1 KR 102059356 B1 KR102059356 B1 KR 102059356B1 KR 1020130031263 A KR1020130031263 A KR 1020130031263A KR 20130031263 A KR20130031263 A KR 20130031263A KR 102059356 B1 KR102059356 B1 KR 102059356B1
Authority
KR
South Korea
Prior art keywords
silhouette
user
hand
virtual fitting
recognizing
Prior art date
Application number
KR1020130031263A
Other languages
English (en)
Other versions
KR20140116585A (ko
Inventor
유병인
이영범
류수정
장경자
조영철
황효선
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130031263A priority Critical patent/KR102059356B1/ko
Publication of KR20140116585A publication Critical patent/KR20140116585A/ko
Application granted granted Critical
Publication of KR102059356B1 publication Critical patent/KR102059356B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes

Abstract

동작 인식을 이용하여 가상 피팅 서비스를 제공하는 가상 피팅 장치가 개시된다. 일 실시예는 이미지 센서로부터 출력되는 영상 데이터에 기초하여 이용자의 실루엣을 인식하는 인식부, 실루엣으로부터 이용자의 손 동작과 관련된 정보를 추출하는 추출부 및 손 동작과 관련된 정보에 기초하여 이용자의 변형된 실루엣을 인식할지 여부를 판단하는 판단부를 포함한다. 여기서, 인식부는 판단부의 판단 결과에 따라 변형된 실루엣을 인식할 수 있다.

Description

동작 인식을 이용하여 가상 피팅 서비스를 제공하는 가상 피팅 장치 및 그 장치를 이용한 방법{VIRTUAL FITTING DEVICE OF PROVIDING VIRTUAL FITTING SERVICE USING MOTION RECOGNITION AND METHOD THEREOF}
아래 실시예들은 동작 인식을 이용하여 가상 피팅 서비스를 제공하는 가상 피팅 장치 및 그 장치를 이용한 방법에 관한 것이다. 특히 실시예들은 이용자가 입은 옷에 의해 가려진 이용자의 실제 체형을 인식하고, 인식된 실제 체형에 맞는 가상 객체를 제공하는 기술에 관한 것이다.
네트워크의 대중화와 더불어 온라인 쇼핑몰 등 컴퓨터나 모바일 기기 상에서 접속할 수 있는 온라인 매장이 크게 증가하고 있다.
판매자는 오프라인 매장의 운영 비용의 일부 금액으로 웹 사이트 매장 등 온라인 매장을 구축함으로써, 추가적인 판매 수익을 올릴 수 있다.
또한, 소비자는 온라인 매장을 이용함으로써, 구매 시간에 제약을 받지 않고, 오프라인 매장을 방문하기 위한 시간적 손실을 줄일 수 있으며, 동일 제품에 대한 가격 비교를 용이하게 수행할 수 있다.
다만, 온라인 매장을 이용하는 경우, 소비자는 단편적인 제품의 사진 또는 제품 평만을 보고 제품을 선택하게 되어 소비자의 체형에 맞는 제품인지 확인할 수 없고, 이로 인하여 소비자들은 제품에 대한 확신이 부족한 상태에서 구매활동을 할 수 밖에 없었다.
일 측에 따른 동작 인식을 이용하여 가상 피팅 서비스(virtual fitting service)를 제공하는 가상 피팅 장치는 이미지 센서로부터 출력되는 영상 데이터에 기초하여 이용자의 실루엣을 인식하는 인식부; 상기 실루엣으로부터 상기 이용자의 손 동작과 관련된 정보를 추출하는 추출부; 및 상기 손 동작과 관련된 정보에 기초하여 상기 이용자의 변형된 실루엣을 인식할지 여부를 판단하는 판단부를 포함한다. 여기서, 상기 인식부는 상기 판단 결과에 따라 상기 이미지 센서로부터 출력되는 영상 데이터에 기초하여 상기 변형된 실루엣을 인식할 수 있다.
이 때, 상기 가상 피팅 장치는 상기 실루엣과 상기 변형된 실루엣의 차이를 계산하는 계산부; 및 상기 차이에 기초하여 상기 이용자의 체형에 맞도록 가상 객체를 변형하는 변형부를 더 포함할 수 있다. 또한, 상기 가상 피팅 장치는상기 변형된 가상 객체에 기초하여 상기 가상 피팅 서비스를 위한 영상을 표시하는 디스플레이부를 더 포함할 수 있다.
또한, 상기 판단부는 상기 손 동작과 관련된 정보에 기초하여 상기 이용자의 변형된 실루엣을 인식하는 시점과 종점을 인지하는 인지부를 포함하고, 상기 인식부는 상기 인지부에 의해 상기 시점이 인지되는 경우 상기 인지부에 의해 상기 종점이 인지될 때까지 상기 이미지 센서로부터 출력되는 영상 데이터에 기초하여 상기 변형된 실루엣을 인식할 수 있다.
또한, 상기 인식부는 상기 판단부에 의해 상기 변형된 실루엣을 인식한다고 판단되는 경우, 상기 이미지 센서를 이용하여 상기 변형된 실루엣과 관련된 복수의 영상 데이터들을 획득하는 획득부; 및 상기 변형된 실루엣을 인식하기 위하여, 상기 실루엣 및 상기 복수의 영상 데이터들에 기초하여 상기 실루엣과 상기 변형된 실루엣의 차이를 계산하는 계산부를 포함할 수 있다.
다른 일 측에 따른 동작 인식을 이용하여 가상 피팅 서비스를 제공하는 가상 피팅 장치는 이미지 센서로부터 출력되는 영상 데이터에 기초하여 이용자의 손 동작을 인식하는 손 동작 인식부; 상기 손 동작이 미리 정해진 동작 패턴과 일치하는지 여부를 판단하는 판단부; 상기 판단부에 의해 상기 손 동작이 상기 미리 정해진 동작 패턴과 일치한다고 판단되는 경우, 상기 영상 데이터에 기초하여 상기 이용자의 실루엣을 인식하는 실루엣 인식부; 및 상기 실루엣에 기초하여 상기 이용자의 체형에 맞는 가상 객체를 생성하는 가생 객체 생성부를 포함한다.
이 때, 상기 미리 정해진 동작 패턴은 상기 이용자의 실루엣을 상기 이용자의 실제 체형에 맞도록 변형시키는 동작 패턴을 포함할 수 있다.
또 다른 일 측에 따른 동작 인식을 이용하여 가상 피팅 서비스를 제공하는 가상 피팅 방법은 이미지 센서로부터 출력되는 영상 데이터에 기초하여 이용자의 실루엣을 인식하는 단계; 상기 실루엣으로부터 상기 이용자의 손 동작과 관련된 정보를 추출하는 단계; 상기 손 동작과 관련된 정보에 기초하여 상기 이용자의 변형된 실루엣을 인식할지 여부를 판단하는 단계; 및 상기 판단 결과에 따라 상기 이미지 센서로부터 출력되는 영상 데이터에 기초하여 상기 변형된 실루엣을 인식하는 단계를 포함한다.
또 다른 일 측에 따른 동작 인식을 이용하여 가상 피팅 서비스를 제공하는 가상 피팅 방법은 이미지 센서로부터 출력되는 영상 데이터에 기초하여 이용자의 손 동작을 인식하는 단계; 상기 손 동작이 미리 정해진 동작 패턴-상기 미리 정해진 동작 패턴은 상기 이용자의 실루엣을 상기 이용자의 실제 체형에 맞도록 변형시키는 동작 패턴을 포함-과 일치하는지 여부를 판단하는 단계; 상기 손 동작이 상기 미리 정해진 동작 패턴과 일치한다고 판단되는 경우, 상기 영상 데이터에 기초하여 상기 이용자의 실루엣을 인식하는 단계; 및 상기 실루엣에 기초하여 상기 이용자의 체형에 맞는 가상 객체를 생성하는 단계를 포함한다.
도 1은 일 실시예에 따른 동작 인식을 이용하여 가상 피팅 서비스를 제공하는 가상 피팅 장치를 나타낸 블록도.
도 2a 내지 도 2c는 일 실시예에 따른 가상 피팅 장치를 이용하여 이용자의 체형에 맞게 피팅된 가상 의류를 표시하는 동작을 설명하기 위한 도면.
도 3 내지 도 4는 다른 실시예에 따른 가상 피팅 장치를 나타낸 블록도.
도 5 내지 도 6은 또 다른 실시예에 따른 가상 피팅 방법을 나타낸 동작 흐름도.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 일 실시예에 따른 동작 인식을 이용하여 가상 피팅 서비스를 제공하는 가상 피팅 장치를 나타낸 블록도이다.
도 1을 참조하면, 일 실시예에 따른 가상 피팅 장치(100)는 인식부(110), 추출부(120) 및 판단부(130)를 포함한다.
인식부(110)는 이미지 센서(170)로부터 출력되는 영상 데이터에 기초하여 이용자의 실루엣을 인식할 수 있다.
여기서, 실루엣은 이용자의 외형을 나타내는 윤곽으로, 예를 들어 이용자의 체형, 이용자의 바디 라인 또는 이용자의 볼륨 등을 포함할 수 있다. 또한, 이미지 센서(170)는 이용자가 포함된 영상을 촬영하는 장치로, 예를 들어 2차원 카메라, 3차원 카메라, 컬러 카메라, 깊이 카메라 등을 포함할 수 있고, 정지 화상 또는 동영상을 출력할 수 있다.
이 때, 일 실시예에 따른 가상 피팅 장치(100)는 이미지 센서를 포함할 수 있다. 이 경우, 인식부(110)는 가상 피팅 장치(100)에 포함된 이미지 센서로부터 출력되는 영상 데이터를 이용하여 이용자의 실루엣을 인식할 수 있다.
다른 실시예에 따른 가상 피팅 장치(100)는 별도로 구비된 이미지 센서로부터 출력되는 영상 데이터를 유선 또는 무선으로 전송 받을 수 있다. 이 경우, 인식부(110)는 전송 받은 영상 데이터를 이용하여 이용자의 실루엣을 인식할 수 있다.
이미지 센서(170)가 이용자가 차려 자세(171)를 취하고 있는 영상을 촬영한다고 가정하자. 이 경우, 인식부(110)는 이용자가 입고 있는 옷의 외형을 따라서 이용자의 실루엣을 인식할 수 있다. 만약 이용자가 입고 있는 옷이 타이트한 옷인 경우 인식부(110)에 의해 인식된 이용자의 실루엣은 실제 이용자의 체형과 유사할 수 있다. 다만 이용자가 입고 있는 옷이 헐렁한 옷인 경우 인식부(110)에 의해 인식된 이용자의 실루엣은 이용자의 실제 체형과 상이할 수 있다.
일 실시예에 따른 가상 피팅 장치(100)는 이용자가 입고 있는 옷의 종류와 무관하게 이용자의 실제 체형에 대응되는 실루엣을 인식하는 기술을 제공할 수 있다.
이를 위하여, 추출부(120)는 인식부(110)에 의해 인식된 이용자의 실루엣으로부터 이용자의 손 동작과 관련된 정보를 추출할 수 있다.
여기서, 이용자의 손 동작과 관련된 정보는 인식된 실루엣에 포함된 손 파트에 관한 정보, 손의 위치에 관한 정보, 손의 자세에 관한 정보 및 손의 동작에 관한 정보 중 적어도 하나를 포함할 수 있다.
손 파트에 관한 정보는 실루엣 내에서 이용자의 손에 해당하는 부위가 어디인지를 나타내는 정보를 포함할 수 있다. 손의 위치에 관한 정보는 영상 내에서 이용자의 손이 위치하는 절대적인 위치 또는 다른 신체 부위와의 관계에서 이용자의 손이 위치하는 상대적인 위치 등을 나타내는 정보를 포함할 수 있다.
손의 자세에 관한 정보는 이용자의 손이 취하고 있는 자세를 나타내는 정보로, 예를 들어 이용자가 주먹을 쥐고 있는지 혹은 이용자가 손을 펴고 있는지 등을 나타내는 정보를 포함할 수 있다.
손의 동작에 관한 정보는 이용자의 손의 움직임을 나타내는 정보로, 예를 들어 이용자가 손을 편 상태에서 허리 라인을 쓸어 내리는 동작 등을 나타내는 정보를 포함할 수 있다.
도면에 도시하지는 않았으나, 추출부(120)는 이용자의 손 파트를 인식하는 손 파트 인식부, 이용자의 손 위치를 추정하는 손 위치 추정부, 이용자의 손 자세를 인식하는 손 자세 인식부, 또는 이용자의 손 동작을 인식하는 손 동작 인식부 중 적어도 하나를 포함할 수 있다.
여기서, 손 파트 인식부는 이용자의 손 파트를 인식하기 위하여 아다부스트 알고리즘(Adaboost algorithm) 또는 랜덤 포레스트 분류기(Random forest classifier) 등 손 파트 인식 기법을 이용할 수 있다. 또한, 손 위치 추정부는 인식된 손의 위치를 추정하기 위해 중간값 평균 필터(Mean averaging filter)나 칼만 필터(Kalman filter)를 이용할 수 있다. 나아가, 손 자세 인식부는 인식된 손의 파트에 기초하여 주먹을 쥔 상태, 주먹을 편 상태 등의 손 자세를 인식할 수 있다. 손 동작 인식부는 이용자의 손 동작을 인식하기 위하여, 히든 마르코브 모델(Hidden Markov Model, HMM) 또는 아다부스트 알고리즘 등으로 학습된 별도의 동작 인식기를 이용할 수 있다.
다만, 전술한 기법들은 예시적인 사항에 불과할 뿐, 전술한 기법들에 의하여 손의 동작에 관한 정보를 추출하기 위한 추출부(120)의 구성이 제한되지 아니한다.
판단부(130)는 추출부(120)에 의해 추출된 손 동작과 관련된 정보에 기초하여 이용자의 변형된 실루엣을 인식할지 여부를 판단할 수 있다.
보다 구체적으로, 판단부(130)는 추출부(120)에 의해 추출된 손 동작과 관련된 정보에 기초하여 미리 정해진 특정한 손 자세 또는 미리 정해진 특정한 손 동작이 인식되는지 여부를 판단할 수 있다.
이 경우, 판단부(130)는 미리 정해진 특정한 손 자세 또는 미리 정해진 특정한 손 동작이 인식되면, 이용자의 변형된 실루엣을 인식한다고 판단할 수 있다.
여기서, 미리 정해진 특정한 손 자세 또는 미리 정해진 특정한 손 동작은 이용자의 실제 체형과 맞게 실루엣을 변형시키는 손 자세 또는 손 동작일 수 있다.
판단부(130)는 이용자가 입고 있는 옷에 의하여 이용자의 실제 체형이 드러나지 않는 실루엣을 이용자의 실제 체형에 맞도록 변형시키는 다양한 손 자세 또는 손 동작에 반응할 수 있다.
예를 들어, 미리 정해진 손 동작 중 하나로, 이용자가 자신의 실제 체형이 드러나도록 허리 라인을 양손으로 쓸어 내리는 동작을 수행한다고 가정하자.
이 경우, 판단부(130)는 이용자가 전술한 동작을 수행하기 위한 시작 자세인 양 손을 허리에 대고 있는 자세(172)에 반응하여 이용자의 변형된 실루엣을 인식한다고 판단할 수 있다. 또는, 판단부(130)는 이용자가 손을 편 채로 허리 라인을 따라 손을 쓸어 내리는 동작(173)에 반응하여 이용자의 변형된 실루엣을 인식한다고 판단할 수 있다.
여기서, 전술한 자세 또는 동작은 예시적인 사항에 불과할 뿐, 전술한 자세 또는 동작에 의하여 이용자의 변형된 실루엣을 인식할지 여부를 판단하기 위한 판단부(130)의 구성이 제한되지 아니한다.
인식부(110)는 판단부(130)의 판단 결과에 따라 이미지 센서(170)로부터 출력되는 영상 데이터에 기초하여 이용자의 변형된 실루엣을 인식할 수 있다.
보다 구체적으로, 판단부(130)에 의해 이용자의 변형된 실루엣을 인식한다고 판단되는 경우 인식부(110)는 기존에 인식했던 실루엣과 구별되는 새로운 실루엣을 인식할 수 있다.
예를 들어, 이미지 센서(170)에 의해 이용자가 손을 편 채로 허리 라인을 따라 손을 쓸어 내리는 동작(173)이 촬영되는 경우를 가정하자.
이 경우, 이용자가 전술한 동작을 수행함으로 인하여 이용자가 입고 있는 옷과 무관하게 이용자의 실제 체형이 드러날 수 있다. 이로 인하여, 인식부(110)는 전술한 동작을 통해 드러나는 이용자의 실제 체형과 실질적으로 동일하게 변형된 이용자의 실루엣을 인식할 수 있다.
인식부(110)를 이용하여 변형된 실루엣을 인식하는 동작은 다양한 방식으로 구현될 수 있다.
예를 들어, 판단부(130)는 추출부(120)에 의해 추출된 손 동작과 관련된 정보에 기초하여 이용자의 변형된 실루엣을 인식하는 시점과 종점을 인지할 수 있다. 이 경우, 인식부(110)는 판단부(130)에 의해 시점이 인지되는 순간부터 종점이 인지되는 순간까지의 시간 구간 동안 이미지 센서(170)로부터 출력되는 영상 데이터에 기초하여 이용자의 변형된 실루엣을 인식할 수 있다.
경우에 따라, 인식부(110)는 해당 시간 구간 동안 이미지 센서(170)로부터 연속적으로 출력되는 복수의 영상 데이터들에 기초하여 이용자의 변형된 실루엣을 인식할 수 있다.
마찬가지로, 전술한 동작은 예시적인 사항에 불과할 뿐, 전술한 동작에 의하여 이용자의 변형된 실루엣을 인식하기 위한 인식부(110)의 구성이 제한되지 아니한다.
나아가, 가상 피팅 장치(100)는 계산부(140), 변형부(150), 및 디스플레이부(160)를 더 포함할 수 있다.
계산부(140)는 손 동작에 의해 변형되기 전 실루엣(이하, '기존 실루엣'이라고 함)과 손 동작에 의해 변형된 실루엣(이하, '변형된 실루엣'이라고 함) 사이의 차이를 계산할 수 있다.
예를 들어, 계산부(140)는 기존 실루엣 전체와 변형된 실루엣 전체를 비교함으로써 두 실루엣들 사이의 차이를 계산할 수 있다. 또는, 계산부(140)는 인식부(110)로부터 손 동작에 의해 변형된 확률이 높은 부분들에 관한 정보를 획득하고, 해당 정보에 기초하여 기존 실루엣의 특정 부분과 변형된 실루엣의 특정 부분을 비교함으로써 두 실루엣들 사이의 차이를 계산할 수 있다.
변형부(150)는 계산부(140)에 의해 계산된 차이에 기초하여 이용자의 실체 체형에 맞도록 가상 객체를 변형할 수 있다. 여기서, 가상 객체는 가상 피팅 서비스를 위한 가상 공간 상의 객체로, 예를 들어 가상 의류 또는 가상 장신구 등을 포함할 수 있다.
예를 들어, 변형부(150)는 이용자가 가상으로 피팅해 보길 원하는 가상 의류 또는 가상 장신구의 크기나 모양을 이용자의 실제 체형에 맞게 동적으로 변형(deformation)할 수 있다.
디스플레이부(160)는 변형부(150)에 의해 변형된 가상 객체에 기초하여 가상 피팅 서비스를 위한 영상을 표시할 수 있다. 이로 인하여, 일 실시예에 따른 가상 피팅 장치(100)는 가상 의류 등 가상 객체가 이용자의 신체에 맞는 자연스러운 영상을 제공할 수 있다. 그 결과, 이용자들은 실제 의류 매장에 방문하지 않고 집 안에서 가상 의류를 착용해 본 뒤 구매를 결정할 수 있다.
도 2a 내지 도 2c는 일 실시예에 따른 가상 피팅 장치를 이용하여 이용자의 체형에 맞게 피팅된 가상 의류를 표시하는 동작을 설명하기 위한 도면이다.
도 2a를 참조하면, 일 실시예에 따른 가상 피팅 장치는 디스플레이(200)를 이용하여 가상 피팅 서비스를 제공할 수 있다.
보다 구체적으로, 가상 피팅 장치는 이용자의 모습을 촬영한 영상(210) 및 가상 객체(220)를 결합함으로써, 가상 피팅 서비스를 위한 영상(230)을 제공할 수 있다.
여기서, 가상 객체(220)는 도 1을 통하여 기술된 사항들에 의하여 이용자의 실제 체형에 맞도록 변형된 것으로, 보다 상세한 설명은 생략한다.
도 2b와 도 2c를 참조하면, 일 실시예에 따른 가상 피팅 장치를 사용하는 경우, 그렇지 않은 경우에 비하여 자연스러운 피팅 영상이 생성될 수 있다.
예를 들어, 이미지 센서(241)에 의해 평상복 차림의 이용자(240)가 촬영되는 경우를 가정하자. 이 경우, 이용자가 입고 있는 평상복의 실루엣이 인식될 수 있다.
인식된 평상복의 실루엣에 기초하여 가상 의류(250)의 크기 및 모양이 결정되는 경우, 이용자의 실제 체형과 맞지 않는 부자연스러운 영상(260)이 생성될 수 있다.
반면, 일 실시예에 따르면, 이미지 센서(271)에 의해 평상복 차림의 이용자(270)가 촬영된 이후, 가상 피팅 장치는 실루엣을 변형시키는 손 동작(272)을 인식할 수 있다.
가상 피팅 장치는 해당 손 동작(272)에 의해 변형되는 실루엣을 인식할 수 있고, 변형된 실루엣에 기초하여 가상 의류(280)의 크기 및 모양을 결정할 수 있다. 그 결과, 가상 피팅 장치는 이용자의 실제 체형과 맞는 자연스러운 영상(290)을 생성할 수 있다.
이로 인하여, 일 실시예에 따른 가상 피팅 장치는 이용자의 실제 체형에 기초하여 가상 의류 등의 치수를 추천하거나, 해당 치수의 가상 의류를 가상 공간 상에서 입어볼 수 있도록 하는 가상 피팅 서비스를 제공할 수 있다.
도 3 내지 도 4는 다른 실시예에 따른 가상 피팅 장치를 나타낸 블록도이다.
도 3을 참조하면, 다른 실시예에 따른 가상 피팅 장치(300)는 인식부(310), 추출부(320), 및 판단부(330)를 포함한다. 이 때, 인식부(310)는 획득부(311) 및 계산부(312)를 포함할 수 있다.
획득부(311)는 판단부(330)에 의해 이용자의 변형된 실루엣을 인식한다고 판단되는 경우, 이미지 센서를 이용하여 이용자의 변형된 실루엣과 관련된 복수의 영상 데이터들을 획득할 수 있다.
이 경우, 계산부(312)는 기존 실루엣과 복수의 영상 데이터들에 기초하여 기존 실루엣과 변형된 실루엣의 차이를 계산함으로써, 변형된 실루엣을 인식할 수 있다.
예를 들어, 이용자가 허리 라인을 양 손으로 쓸어 내리는 동작을 수행한다고 가정하자. 획득부(311)는 해당 동작이 수행되는 복수의 프레임들에 대응되는 복수의 영상 데이터들을 획득할 수 있다.
이 경우, 복수의 영상 데이터들 각각은 해당 프레임에서 이용자의 양 손이 위치한 허리 부분이 잘록해진 실루엣을 포함할 수 있다.
계산부(312)는 각각의 프레임에서 기존 실루엣과 변형된 실루엣(예를 들면, 해당 프레임에서 양 손이 위치한 허리 부분이 잘록해진 실루엣) 사이의 차이를 계산할 수 있다.
나아가, 계산부(312)는 복수의 프레임들에서 계산된 복수의 차이들을 이용하여 변형된 실루엣을 인식할 수 있다. 예를 들어, 계산부(312)는 기존 실루엣에 복수의 차이들을 반영시킴으로써, 이용자의 실제 체형에 맞도록 변형된 실루엣을 인식할 수 있다.
이 때, 가상 피팅 장치(300)는 생성부(340) 및 디스플레이부(350)를 더 포함할 수 있으며, 생성부(340)는 계산부(312)에 의해 인식된 이용자의 변형된 실루엣에 기초하여 이용자의 체형에 맞는 가상 객체를 생성할 수 있다. 디스플레이부(350)는 생성부(340)에 의해 생성된 가상 객체를 이용하여 가상 피팅 서비스를 위한 영상을 표시할 수 있다.
도 4를 참조하면, 또 다른 실시예에 따른 가상 피팅 장치(400)는 손 동작 인식부(410), 판단부(420), 실루엣 인식부(430), 및 가생 객체 생성부(440)를 포함할 수 있다.
이 때, 손 동작 인식부(410)는 이미지 센서로부터 출력되는 영상 데이터에 기초하여 이용자의 손 동작을 인식할 수 있다. 여기서, 영상 데이터는 이미지 센서로부터 연속적으로 출력되는 복수의 연속 이미지들을 포함할 수 있다.
판단부(420)는 손 동작이 미리 정해진 동작 패턴과 일치하는지 여부를 판단할 수 있다. 여기서, 미리 정해진 동작 패턴은 이용자의 실루엣을 이용자의 실제 체형에 맞도록 변형시키는 동작 패턴을 포함할 수 있다.
실루엣 인식부(430)는 판단부(420)에 의해 손 동작이 미리 정해진 동작 패턴과 일치한다고 판단되는 경우, 이미지 센서로부터 출력되는 영상 데이터에 기초하여 이용자의 실루엣을 인식할 수 있다.
가생 객체 생성부(440)는 인식된 실루엣에 기초하여 이용자의 체형에 맞는 가상 객체를 생성할 수 있다.
도 4에 도시된 각 모듈에는 도 1 내지 도 3을 통하여 기술된 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.
도 5 내지 도 6은 또 다른 실시예에 따른 가상 피팅 방법을 나타낸 동작 흐름도이다.
도 5를 참조하면, 또 다른 실시예에 따른 가상 피팅 방법은 단계(510)에서 이미지 센서로부터 출력되는 영상 데이터에 기초하여 이용자의 실루엣을 인식할 수 있다. 가상 피팅 방법은 단계(520)에서 실루엣으로부터 이용자의 손 동작과 관련된 정보를 추출할 수 있고, 단계(530)에서 손 동작과 관련된 정보에 기초하여 이용자의 변형된 실루엣을 인식할지 여부를 판단할 수 있다. 가상 피팅 방법은 단계(540)에서 판단 결과에 따라 이미지 센서로부터 출력되는 영상 데이터에 기초하여 변형된 실루엣을 인식할 수 있다.
또한, 가상 피팅 방법은 단계(550)에서 실루엣과 변형된 실루엣의 차이를 계산하고, 단계(560)에서 그 차이에 기초하여 이용자의 체형에 맞도록 가상 객체를 변형할 수 있다. 가상 피팅 방법은 단계(570)에서 변형된 가상 객체에 기초하여 가상 피팅 서비스를 위한 영상을 표시할 수 있다.
도 6을 참조하면, 또 다른 실시예에 따른 가상 피팅 방법은 단계(610)에서 이미지 센서로부터 출력되는 영상 데이터에 기초하여 이용자의 손 동작을 인식할 수 있다. 가상 피팅 방법은 단계(620)에서 손 동작이 미리 정해진 동작 패턴과 일치하는지 여부를 판단할 수 있다. 여기서, 미리 정해진 동작 패턴은 이용자의 실루엣을 이용자의 실제 체형에 맞도록 변형시키는 동작 패턴을 포함할 수 있다.
가상 피팅 방법은 단계(630)에서 손 동작이 미리 정해진 동작 패턴과 일치한다고 판단되는 경우, 이미지 센서로부터 출력되는 영상 데이터에 기초하여 이용자의 실루엣을 인식할 수 있고, 단계(640)에서 그 실루엣에 기초하여 이용자의 체형에 맞는 가상 객체를 생성할 수 있다.
도 5 내지 도 6에 도시된 각 단계에는 도 1 내지 도 4를 통하여 기술된 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (18)

  1. 동작 인식을 이용하여 가상 피팅 서비스(virtual fitting service)를 제공하는 가상 피팅 장치에 있어서,
    이미지 센서로부터 출력되는 영상 데이터에 기초하여 이용자의 실루엣을 인식하는 인식부;
    상기 실루엣으로부터 상기 이용자의 실제 체형에 맞게 상기 실루엣을 변형시키기 위한 상기 이용자의 손의 움직임을 나타내는 손 동작과 관련된 정보를 추출하는 추출부; 및
    상기 손 동작과 관련된 정보에 기초하여 상기 이용자의 변형된 실루엣을 인식할지 여부를 판단하는 판단부
    를 포함하고,
    상기 인식부는 상기 판단 결과에 따라 상기 이미지 센서로부터 출력되는 영상 데이터에 기초하여 상기 변형된 실루엣을 인식하는 가상 피팅 장치.
  2. 제1항에 있어서,
    상기 실루엣과 상기 변형된 실루엣의 차이를 계산하는 계산부; 및
    상기 차이에 기초하여 상기 이용자의 체형에 맞도록 가상 객체를 변형하는 변형부
    를 더 포함하는 가상 피팅 장치.
  3. 제2항에 있어서,
    상기 변형된 가상 객체에 기초하여 상기 가상 피팅 서비스를 위한 영상을 표시하는 디스플레이부
    를 더 포함하는 가상 피팅 장치.
  4. 제1항에 있어서,
    상기 추출부는
    상기 이용자의 손 파트를 인식하는 손 파트 인식부;
    상기 이용자의 손 위치를 추정하는 손 위치 추정부;
    상기 이용자의 손 자세를 인식하는 손 자세 인식부; 또는
    상기 이용자의 손 동작을 인식하는 손 동작 인식부
    중 적어도 하나를 포함하는 가상 피팅 장치.
  5. 제1항에 있어서,
    상기 판단부는 상기 손 동작이 미리 정해진 동작 패턴과 일치하는 경우 상기 이용자의 변형된 실루엣을 인식한다고 판단하고, 그렇지 않은 경우 상기 이용자의 변형된 실루엣을 인식하지 않는다고 판단하는 가상 피팅 장치.
  6. 동작 인식을 이용하여 가상 피팅 서비스(virtual fitting service)를 제공하는 가상 피팅 장치에 있어서,
    이미지 센서로부터 출력되는 영상 데이터에 기초하여 이용자의 실루엣을 인식하는 인식부;
    상기 실루엣으로부터 상기 이용자의 손 동작과 관련된 정보를 추출하는 추출부; 및
    상기 손 동작과 관련된 정보에 기초하여 상기 이용자의 변형된 실루엣을 인식할지 여부를 판단하는 판단부
    를 포함하고,
    상기 인식부는 상기 판단 결과에 따라 상기 이미지 센서로부터 출력되는 영상 데이터에 기초하여 상기 변형된 실루엣을 인식하고,
    상기 판단부는
    상기 손 동작과 관련된 정보에 기초하여 상기 이용자의 변형된 실루엣을 인식하는 시점과 종점을 인지하는 인지부
    를 포함하고,
    상기 인식부는 상기 인지부에 의해 상기 시점이 인지되는 경우 상기 인지부에 의해 상기 종점이 인지될 때까지 상기 이미지 센서로부터 출력되는 영상 데이터에 기초하여 상기 변형된 실루엣을 인식하는 가상 피팅 장치.
  7. 제1항에 있어서,
    상기 인식부는
    상기 판단부에 의해 상기 변형된 실루엣을 인식한다고 판단되는 경우, 상기 이미지 센서를 이용하여 상기 변형된 실루엣과 관련된 복수의 영상 데이터들을 획득하는 획득부; 및
    상기 변형된 실루엣을 인식하기 위하여, 상기 실루엣 및 상기 복수의 영상 데이터들에 기초하여 상기 실루엣과 상기 변형된 실루엣의 차이를 계산하는 계산부
    를 포함하는 가상 피팅 장치.
  8. 제1항에 있어서,
    상기 변형된 실루엣에 기초하여 상기 이용자의 체형에 맞는 가상 객체를 생성하는 생성부
    를 더 포함하는 가상 피팅 장치.
  9. 제1항에 있어서,
    상기 이미지 센서는 칼라 카메라 또는 깊이 카메라 중 적어도 하나를 포함하는 가상 피팅 장치.
  10. 동작 인식을 이용하여 가상 피팅 서비스를 제공하는 가상 피팅 장치에 있어서,
    이미지 센서로부터 출력되는 영상 데이터에 기초하여 이용자의 손의 움직임을 나타내는 손 동작을 인식하는 손 동작 인식부;
    상기 손 동작이 상기 이용자의 실루엣을 실제 체형에 맞게 변형시키기 위한 미리 정해진 동작 패턴과 일치하는지 여부를 판단하는 판단부;
    상기 판단부에 의해 상기 손 동작이 상기 미리 정해진 동작 패턴과 일치한다고 판단되는 경우, 상기 영상 데이터에 기초하여 상기 이용자의 실루엣을 인식하는 실루엣 인식부; 및
    상기 실루엣에 기초하여 상기 이용자의 체형에 맞는 가상 객체를 생성하는 가생 객체 생성부
    를 포함하는 가상 피팅 장치.
  11. 제10항에 있어서,
    상기 미리 정해진 동작 패턴은 상기 이용자의 실루엣을 상기 이용자의 실제 체형에 맞도록 변형시키는 동작 패턴을 포함하는 가상 피팅 장치.
  12. 제10항에 있어서,
    상기 영상 데이터는 상기 이미지 센서로부터 연속적으로 출력되는 복수의 연속 이미지들을 포함하는 가상 피팅 장치.
  13. 동작 인식을 이용하여 가상 피팅 서비스를 제공하는 가상 피팅 방법에 있어서,
    이미지 센서로부터 출력되는 영상 데이터에 기초하여 이용자의 실루엣을 인식하는 단계;
    상기 실루엣으로부터 상기 이용자의 실제 체형에 맞게 상기 실루엣을 변형시키기 위한 상기 이용자의 손의 움직임을 나타내는 손 동작과 관련된 정보를 추출하는 단계;
    상기 손 동작과 관련된 정보에 기초하여 상기 이용자의 변형된 실루엣을 인식할지 여부를 판단하는 단계; 및
    상기 판단 결과에 따라 상기 이미지 센서로부터 출력되는 영상 데이터에 기초하여 상기 변형된 실루엣을 인식하는 단계
    를 포함하는 가상 피팅 방법.
  14. 제13항에 있어서,
    상기 실루엣과 상기 변형된 실루엣의 차이를 계산하는 단계;
    상기 차이에 기초하여 상기 이용자의 체형에 맞도록 가상 객체를 변형하는 단계; 및
    상기 변형된 가상 객체에 기초하여 상기 가상 피팅 서비스를 위한 영상을 표시하는 단계
    를 더 포함하는 가상 피팅 방법.
  15. 제13항에 있어서,
    상기 추출하는 단계는
    상기 이용자의 손 파트를 인식하는 단계;
    상기 이용자의 손 위치를 추정하는 단계;
    상기 이용자의 손 자세를 인식하는 단계; 또는
    상기 이용자의 손 동작을 인식하는 단계
    중 적어도 하나를 포함하는 가상 피팅 방법.
  16. 제13항에 있어서,
    상기 판단하는 단계는
    상기 손 동작이 미리 정해진 동작 패턴과 일치하는 경우 상기 이용자의 변형된 실루엣을 인식한다고 판단하는 단계; 및
    상기 손 동작이 미리 정해진 동작 패턴과 일치하지 않는 경우 상기 이용자의 변형된 실루엣을 인식하지 않는다고 판단하는 단계
    를 포함하는 가상 피팅 방법.
  17. 동작 인식을 이용하여 가상 피팅 서비스를 제공하는 가상 피팅 방법에 있어서,
    이미지 센서로부터 출력되는 영상 데이터에 기초하여 이용자의 손 동작을 인식하는 단계;
    상기 손 동작이 미리 정해진 동작 패턴-상기 미리 정해진 동작 패턴은 상기 이용자의 실루엣을 상기 이용자의 실제 체형에 맞도록 변형시키는 동작 패턴을 포함-과 일치하는지 여부를 판단하는 단계;
    상기 손 동작이 상기 미리 정해진 동작 패턴과 일치한다고 판단되는 경우, 상기 영상 데이터에 기초하여 상기 이용자의 실루엣을 인식하는 단계; 및
    상기 실루엣에 기초하여 상기 이용자의 체형에 맞는 가상 객체를 생성하는 단계
    를 포함하는 가상 피팅 방법.
  18. 제13항 내지 제17항 중에서 어느 하나의 항의 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
KR1020130031263A 2013-03-25 2013-03-25 동작 인식을 이용하여 가상 피팅 서비스를 제공하는 가상 피팅 장치 및 그 장치를 이용한 방법 KR102059356B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130031263A KR102059356B1 (ko) 2013-03-25 2013-03-25 동작 인식을 이용하여 가상 피팅 서비스를 제공하는 가상 피팅 장치 및 그 장치를 이용한 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130031263A KR102059356B1 (ko) 2013-03-25 2013-03-25 동작 인식을 이용하여 가상 피팅 서비스를 제공하는 가상 피팅 장치 및 그 장치를 이용한 방법

Publications (2)

Publication Number Publication Date
KR20140116585A KR20140116585A (ko) 2014-10-06
KR102059356B1 true KR102059356B1 (ko) 2020-02-11

Family

ID=51990301

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130031263A KR102059356B1 (ko) 2013-03-25 2013-03-25 동작 인식을 이용하여 가상 피팅 서비스를 제공하는 가상 피팅 장치 및 그 장치를 이용한 방법

Country Status (1)

Country Link
KR (1) KR102059356B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101669927B1 (ko) 2015-01-15 2016-10-27 (주)에프엑스기어 가상 피팅 시스템, 구매 촉진을 위한 가상 피팅 서비스 제공 방법 및 이를 위한 컴퓨터 프로그램
KR101767144B1 (ko) 2015-08-13 2017-08-11 (주)에프엑스기어 의상의 3차원 모델 생성 장치, 방법 및 이를 위한 컴퓨터 프로그램

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002150058A (ja) 2000-11-09 2002-05-24 Matsushita Electric Ind Co Ltd 電子通信販売における仮想試着方法
JP2004086662A (ja) 2002-08-28 2004-03-18 Univ Waseda 服試着サービス提供方法および服試着システム、利用者端末装置、プログラム、携帯電話機搭載用プログラム、並びに管理サーバ
JP2006249618A (ja) * 2005-03-11 2006-09-21 Toshiba Corp 仮想試着装置
JP2010070889A (ja) * 2008-09-22 2010-04-02 Seiren Co Ltd 仮想試着装置
US20110022372A1 (en) 2008-03-24 2011-01-27 Toyo Boseki Kabushiki Kaisha Clothing simulation apparatus, clothing simulation program, and clothing simulation method
US20120306918A1 (en) 2011-06-01 2012-12-06 Seiji Suzuki Image processing apparatus, image processing method, and program

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100385125B1 (ko) * 2000-04-29 2003-05-22 박성범 가상 의복착용 장치
KR100934475B1 (ko) * 2007-05-09 2009-12-30 김현배 가상 의류 착용 방법
KR20090012651A (ko) * 2007-07-31 2009-02-04 주식회사 에프엑스코드 3차원 의상 데이터를 이용한 가상 의상의 데코레이션 방법
KR101650799B1 (ko) * 2009-05-11 2016-08-24 게스티곤 게엠베하 가변 자세를 포함하는 이미지를 컴퓨터를 사용하여 실시간으로 분석하는 방법
US8818027B2 (en) * 2010-04-01 2014-08-26 Qualcomm Incorporated Computing device interface
US8982160B2 (en) * 2010-04-16 2015-03-17 Qualcomm, Incorporated Apparatus and methods for dynamically correlating virtual keyboard dimensions to user finger size
KR20110123848A (ko) * 2010-05-10 2011-11-16 이경환 가상 피팅룸 서비스의 구현 방법 및 시스템
KR20120040565A (ko) * 2010-10-19 2012-04-27 (주)피센 모바일 기기를 이용한 3차원 가상 피팅 시스템 및 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002150058A (ja) 2000-11-09 2002-05-24 Matsushita Electric Ind Co Ltd 電子通信販売における仮想試着方法
JP2004086662A (ja) 2002-08-28 2004-03-18 Univ Waseda 服試着サービス提供方法および服試着システム、利用者端末装置、プログラム、携帯電話機搭載用プログラム、並びに管理サーバ
JP2006249618A (ja) * 2005-03-11 2006-09-21 Toshiba Corp 仮想試着装置
US20110022372A1 (en) 2008-03-24 2011-01-27 Toyo Boseki Kabushiki Kaisha Clothing simulation apparatus, clothing simulation program, and clothing simulation method
JP2010070889A (ja) * 2008-09-22 2010-04-02 Seiren Co Ltd 仮想試着装置
US20120306918A1 (en) 2011-06-01 2012-12-06 Seiji Suzuki Image processing apparatus, image processing method, and program
JP2012252437A (ja) 2011-06-01 2012-12-20 Sony Corp 画像処理装置、画像処理方法、およびプログラム

Also Published As

Publication number Publication date
KR20140116585A (ko) 2014-10-06

Similar Documents

Publication Publication Date Title
Habermann et al. Livecap: Real-time human performance capture from monocular video
EP3370208B1 (en) Virtual reality-based apparatus and method to generate a three dimensional (3d) human face model using image and depth data
JP6934887B2 (ja) 単眼カメラを用いたリアルタイム３ｄ捕捉およびライブフィードバックのための方法およびシステム
US8036416B2 (en) Method and apparatus for augmenting a mirror with information related to the mirrored contents and motion
US10082879B2 (en) Head mounted display device and control method
JP4950787B2 (ja) 画像処理装置及びその方法
US11721114B2 (en) Method, system, and device of generating a reduced-size volumetric dataset
KR101615719B1 (ko) 사용자의 3차원 얼굴 표정 추출 방법 및 장치
EP2182469B1 (en) System and method for sensing facial gesture
US9542003B2 (en) Image processing device, image processing method, and a computer-readable non-transitory medium
JP6857980B2 (ja) 情報処理装置、情報処理装置の制御方法およびプログラム
CN103678836A (zh) 虚拟试衣系统及方法
KR20170092533A (ko) 얼굴 포즈 교정 방법 및 장치
KR102002154B1 (ko) 스마트 미러의 피사체 자동연동 장치 및 이를 이용한 스마트 미러
Shadrach et al. Smart virtual trial room for apparel industry
KR20150097903A (ko) 3d 아바타를 이용한 가상 피팅룸 시스템 및 방법
KR102059356B1 (ko) 동작 인식을 이용하여 가상 피팅 서비스를 제공하는 가상 피팅 장치 및 그 장치를 이용한 방법
US9836846B2 (en) System and method of estimating 3D facial geometry
KR20160046399A (ko) 텍스쳐 맵 생성 방법 및 장치와 데이터 베이스 생성 방법
Nakajima et al. Depth-based gait feature representation
JP2008242833A (ja) ３次元の人の顔の表面データを再構築するための装置及びプログラム
CN108629824B (zh) 图像生成方法、装置、电子设备及计算机可读介质
KR20160113966A (ko) 행동 인식 방법 및 그 장치
Wang et al. Im2fit: Fast 3d model fitting and anthropometrics using single consumer depth camera and synthetic data
US11340706B2 (en) Gesture recognition based on depth information and computer vision

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant