KR20140116585A - Virtual fitting device of providing virtual fitting service using motion recognition and method thereof - Google Patents

Virtual fitting device of providing virtual fitting service using motion recognition and method thereof Download PDF

Info

Publication number
KR20140116585A
KR20140116585A KR1020130031263A KR20130031263A KR20140116585A KR 20140116585 A KR20140116585 A KR 20140116585A KR 1020130031263 A KR1020130031263 A KR 1020130031263A KR 20130031263 A KR20130031263 A KR 20130031263A KR 20140116585 A KR20140116585 A KR 20140116585A
Authority
KR
South Korea
Prior art keywords
user
silhouette
hand
unit
recognizing
Prior art date
Application number
KR1020130031263A
Other languages
Korean (ko)
Other versions
KR102059356B1 (en
Inventor
유병인
이영범
류수정
장경자
조영철
황효선
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130031263A priority Critical patent/KR102059356B1/en
Publication of KR20140116585A publication Critical patent/KR20140116585A/en
Application granted granted Critical
Publication of KR102059356B1 publication Critical patent/KR102059356B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes

Abstract

Disclosed is a virtual fitting device for providing a virtual fitting service using motion recognition, and a method thereof. The virtual fitting device according to one embodiment of the present invention includes: a recognition unit which recognizes the silhouette of a user based on image data which is outputted from an image sensor, an extracting unit which extracts information related to a hand motion of the user from the silhouette, and a determining unit which determines whether to recognize the changed silhouette of the user based on the information related to the hand motion. The recognition unit recognizes the changed silhouette according to the determination result of the determining unit.

Description

동작 인식을 이용하여 가상 피팅 서비스를 제공하는 가상 피팅 장치 및 그 장치를 이용한 방법{VIRTUAL FITTING DEVICE OF PROVIDING VIRTUAL FITTING SERVICE USING MOTION RECOGNITION AND METHOD THEREOF}TECHNICAL FIELD [0001] The present invention relates to a virtual fitting apparatus for providing a virtual fitting service using motion recognition, and a virtual fitting apparatus using the virtual fitting apparatus.

아래 실시예들은 동작 인식을 이용하여 가상 피팅 서비스를 제공하는 가상 피팅 장치 및 그 장치를 이용한 방법에 관한 것이다. 특히 실시예들은 이용자가 입은 옷에 의해 가려진 이용자의 실제 체형을 인식하고, 인식된 실제 체형에 맞는 가상 객체를 제공하는 기술에 관한 것이다.
The embodiments described below relate to a virtual fitting apparatus for providing a virtual fitting service using motion recognition and a method using the virtual fitting apparatus. In particular, embodiments relate to techniques for recognizing the actual body shape of a user obscured by clothes worn by a user and providing virtual objects matching the recognized actual body shape.

네트워크의 대중화와 더불어 온라인 쇼핑몰 등 컴퓨터나 모바일 기기 상에서 접속할 수 있는 온라인 매장이 크게 증가하고 있다. Along with the popularization of networks, online stores that can be accessed on computers or mobile devices such as online shopping malls are increasing greatly.

판매자는 오프라인 매장의 운영 비용의 일부 금액으로 웹 사이트 매장 등 온라인 매장을 구축함으로써, 추가적인 판매 수익을 올릴 수 있다.Sellers can earn additional sales revenue by building an online store, such as a website store, at a fraction of the cost of running the store.

또한, 소비자는 온라인 매장을 이용함으로써, 구매 시간에 제약을 받지 않고, 오프라인 매장을 방문하기 위한 시간적 손실을 줄일 수 있으며, 동일 제품에 대한 가격 비교를 용이하게 수행할 수 있다.Also, by using the online store, the consumer can reduce the time loss for visiting the offline store without being restricted by the purchase time, and can easily compare the price of the same product.

다만, 온라인 매장을 이용하는 경우, 소비자는 단편적인 제품의 사진 또는 제품 평만을 보고 제품을 선택하게 되어 소비자의 체형에 맞는 제품인지 확인할 수 없고, 이로 인하여 소비자들은 제품에 대한 확신이 부족한 상태에서 구매활동을 할 수 밖에 없었다.
However, when using the online store, the consumer can not confirm that the product is suitable for the body shape of the consumer by selecting the product of the photograph or the product evaluation of the fragmentary product only, and as a result, I had to do it.

일 측에 따른 동작 인식을 이용하여 가상 피팅 서비스(virtual fitting service)를 제공하는 가상 피팅 장치는 이미지 센서로부터 출력되는 영상 데이터에 기초하여 이용자의 실루엣을 인식하는 인식부; 상기 실루엣으로부터 상기 이용자의 손 동작과 관련된 정보를 추출하는 추출부; 및 상기 손 동작과 관련된 정보에 기초하여 상기 이용자의 변형된 실루엣을 인식할지 여부를 판단하는 판단부를 포함한다. 여기서, 상기 인식부는 상기 판단 결과에 따라 상기 이미지 센서로부터 출력되는 영상 데이터에 기초하여 상기 변형된 실루엣을 인식할 수 있다.A virtual fitting apparatus for providing a virtual fitting service using motion recognition according to one side includes a recognition unit for recognizing a silhouette of a user based on image data output from an image sensor; An extracting unit for extracting information related to a hand motion of the user from the silhouette; And a determination unit for determining whether or not to recognize the modified silhouette of the user based on the information related to the hand operation. Here, the recognition unit may recognize the modified silhouette based on the image data output from the image sensor according to the determination result.

이 때, 상기 가상 피팅 장치는 상기 실루엣과 상기 변형된 실루엣의 차이를 계산하는 계산부; 및 상기 차이에 기초하여 상기 이용자의 체형에 맞도록 가상 객체를 변형하는 변형부를 더 포함할 수 있다. 또한, 상기 가상 피팅 장치는상기 변형된 가상 객체에 기초하여 상기 가상 피팅 서비스를 위한 영상을 표시하는 디스플레이부를 더 포함할 수 있다.In this case, the virtual fitting apparatus may further include: a calculation unit for calculating a difference between the silhouette and the modified silhouette; And a transformation unit for transforming the virtual object to fit the body shape of the user based on the difference. The virtual fitting apparatus may further include a display unit for displaying an image for the virtual fitting service based on the modified virtual object.

또한, 상기 판단부는 상기 손 동작과 관련된 정보에 기초하여 상기 이용자의 변형된 실루엣을 인식하는 시점과 종점을 인지하는 인지부를 포함하고, 상기 인식부는 상기 인지부에 의해 상기 시점이 인지되는 경우 상기 인지부에 의해 상기 종점이 인지될 때까지 상기 이미지 센서로부터 출력되는 영상 데이터에 기초하여 상기 변형된 실루엣을 인식할 수 있다.The determination unit may include a recognition unit that recognizes a start point and an end point of recognizing the modified silhouette of the user based on the information related to the hand operation. The modified silhouette can be recognized based on the image data output from the image sensor until the end point is recognized by the unit.

또한, 상기 인식부는 상기 판단부에 의해 상기 변형된 실루엣을 인식한다고 판단되는 경우, 상기 이미지 센서를 이용하여 상기 변형된 실루엣과 관련된 복수의 영상 데이터들을 획득하는 획득부; 및 상기 변형된 실루엣을 인식하기 위하여, 상기 실루엣 및 상기 복수의 영상 데이터들에 기초하여 상기 실루엣과 상기 변형된 실루엣의 차이를 계산하는 계산부를 포함할 수 있다.The recognition unit may further include an acquiring unit that acquires a plurality of image data related to the modified silhouette using the image sensor when it is determined by the determination unit that the modified silhouette is recognized; And a calculation unit for calculating a difference between the silhouette and the modified silhouette based on the silhouette and the plurality of image data to recognize the modified silhouette.

다른 일 측에 따른 동작 인식을 이용하여 가상 피팅 서비스를 제공하는 가상 피팅 장치는 이미지 센서로부터 출력되는 영상 데이터에 기초하여 이용자의 손 동작을 인식하는 손 동작 인식부; 상기 손 동작이 미리 정해진 동작 패턴과 일치하는지 여부를 판단하는 판단부; 상기 판단부에 의해 상기 손 동작이 상기 미리 정해진 동작 패턴과 일치한다고 판단되는 경우, 상기 영상 데이터에 기초하여 상기 이용자의 실루엣을 인식하는 실루엣 인식부; 및 상기 실루엣에 기초하여 상기 이용자의 체형에 맞는 가상 객체를 생성하는 가생 객체 생성부를 포함한다.A virtual fitting apparatus for providing a virtual fitting service using motion recognition according to another side recognizes a hand motion of a user based on image data output from an image sensor; A determination unit for determining whether or not the hand operation is consistent with a predetermined operation pattern; A silhouette recognition unit for recognizing the silhouette of the user based on the image data when it is determined by the determination unit that the hand operation is consistent with the predetermined operation pattern; And a virtual object generation unit for generating a virtual object corresponding to the body shape of the user based on the silhouette.

이 때, 상기 미리 정해진 동작 패턴은 상기 이용자의 실루엣을 상기 이용자의 실제 체형에 맞도록 변형시키는 동작 패턴을 포함할 수 있다.At this time, the predetermined operation pattern may include an operation pattern that transforms the silhouette of the user to match the actual body shape of the user.

또 다른 일 측에 따른 동작 인식을 이용하여 가상 피팅 서비스를 제공하는 가상 피팅 방법은 이미지 센서로부터 출력되는 영상 데이터에 기초하여 이용자의 실루엣을 인식하는 단계; 상기 실루엣으로부터 상기 이용자의 손 동작과 관련된 정보를 추출하는 단계; 상기 손 동작과 관련된 정보에 기초하여 상기 이용자의 변형된 실루엣을 인식할지 여부를 판단하는 단계; 및 상기 판단 결과에 따라 상기 이미지 센서로부터 출력되는 영상 데이터에 기초하여 상기 변형된 실루엣을 인식하는 단계를 포함한다.A virtual fitting method for providing a virtual fitting service using motion recognition based on another side includes: recognizing a user's silhouette based on image data output from the image sensor; Extracting information related to the hand movements of the user from the silhouette; Determining whether to recognize the modified silhouette of the user based on the information related to the hand operation; And recognizing the modified silhouette based on the image data output from the image sensor according to the determination result.

또 다른 일 측에 따른 동작 인식을 이용하여 가상 피팅 서비스를 제공하는 가상 피팅 방법은 이미지 센서로부터 출력되는 영상 데이터에 기초하여 이용자의 손 동작을 인식하는 단계; 상기 손 동작이 미리 정해진 동작 패턴-상기 미리 정해진 동작 패턴은 상기 이용자의 실루엣을 상기 이용자의 실제 체형에 맞도록 변형시키는 동작 패턴을 포함-과 일치하는지 여부를 판단하는 단계; 상기 손 동작이 상기 미리 정해진 동작 패턴과 일치한다고 판단되는 경우, 상기 영상 데이터에 기초하여 상기 이용자의 실루엣을 인식하는 단계; 및 상기 실루엣에 기초하여 상기 이용자의 체형에 맞는 가상 객체를 생성하는 단계를 포함한다.
A virtual fitting method for providing a virtual fitting service using motion recognition based on another side includes: recognizing a hand motion of a user based on image data output from an image sensor; Judging whether or not the hand operation corresponds to a predetermined operation pattern, the predetermined operation pattern including an operation pattern for transforming the silhouette of the user into the actual body shape of the user; Recognizing the silhouette of the user based on the image data when it is determined that the hand operation is consistent with the predetermined operation pattern; And generating a virtual object corresponding to the body shape of the user based on the silhouette.

도 1은 일 실시예에 따른 동작 인식을 이용하여 가상 피팅 서비스를 제공하는 가상 피팅 장치를 나타낸 블록도.
도 2a 내지 도 2c는 일 실시예에 따른 가상 피팅 장치를 이용하여 이용자의 체형에 맞게 피팅된 가상 의류를 표시하는 동작을 설명하기 위한 도면.
도 3 내지 도 4는 다른 실시예에 따른 가상 피팅 장치를 나타낸 블록도.
도 5 내지 도 6은 또 다른 실시예에 따른 가상 피팅 방법을 나타낸 동작 흐름도.1 is a block diagram illustrating a virtual fitting apparatus for providing a virtual fitting service using motion recognition according to an exemplary embodiment;
FIGS. 2A to 2C illustrate an operation of displaying a virtual garment fitted to a body shape of a user using a virtual fitting apparatus according to an embodiment; FIG.
Figs. 3 to 4 are block diagrams showing a virtual fitting apparatus according to another embodiment; Fig.
Figures 5 to 6 are operational flow diagrams illustrating a virtual fitting method according to yet another embodiment.

이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings.

도 1은 일 실시예에 따른 동작 인식을 이용하여 가상 피팅 서비스를 제공하는 가상 피팅 장치를 나타낸 블록도이다.1 is a block diagram illustrating a virtual fitting apparatus for providing a virtual fitting service using motion recognition according to an exemplary embodiment.

도 1을 참조하면, 일 실시예에 따른 가상 피팅 장치(100)는 인식부(110), 추출부(120) 및 판단부(130)를 포함한다.Referring to FIG. 1, a virtual fitting apparatus 100 according to an exemplary embodiment of the present invention includes a recognizing unit 110, an extracting unit 120, and a determining unit 130.

인식부(110)는 이미지 센서(170)로부터 출력되는 영상 데이터에 기초하여 이용자의 실루엣을 인식할 수 있다. The recognition unit 110 can recognize the silhouette of the user based on the image data output from the image sensor 170. [

여기서, 실루엣은 이용자의 외형을 나타내는 윤곽으로, 예를 들어 이용자의 체형, 이용자의 바디 라인 또는 이용자의 볼륨 등을 포함할 수 있다. 또한, 이미지 센서(170)는 이용자가 포함된 영상을 촬영하는 장치로, 예를 들어 2차원 카메라, 3차원 카메라, 컬러 카메라, 깊이 카메라 등을 포함할 수 있고, 정지 화상 또는 동영상을 출력할 수 있다.Here, the silhouette is an outline indicating the outline of the user, and may include, for example, the body shape of the user, the body line of the user, or the volume of the user. In addition, the image sensor 170 is an apparatus for capturing an image including a user, and may include, for example, a two-dimensional camera, a three-dimensional camera, a color camera, a depth camera, have.

이 때, 일 실시예에 따른 가상 피팅 장치(100)는 이미지 센서를 포함할 수 있다. 이 경우, 인식부(110)는 가상 피팅 장치(100)에 포함된 이미지 센서로부터 출력되는 영상 데이터를 이용하여 이용자의 실루엣을 인식할 수 있다.At this time, the virtual fitting apparatus 100 according to one embodiment may include an image sensor. In this case, the recognition unit 110 can recognize the silhouette of the user by using the image data output from the image sensor included in the virtual fitting apparatus 100. [

다른 실시예에 따른 가상 피팅 장치(100)는 별도로 구비된 이미지 센서로부터 출력되는 영상 데이터를 유선 또는 무선으로 전송 받을 수 있다. 이 경우, 인식부(110)는 전송 받은 영상 데이터를 이용하여 이용자의 실루엣을 인식할 수 있다.The virtual fitting apparatus 100 according to another embodiment may receive image data output from an image sensor separately provided by wire or wireless. In this case, the recognition unit 110 can recognize the silhouette of the user using the received image data.

이미지 센서(170)가 이용자가 차려 자세(171)를 취하고 있는 영상을 촬영한다고 가정하자. 이 경우, 인식부(110)는 이용자가 입고 있는 옷의 외형을 따라서 이용자의 실루엣을 인식할 수 있다. 만약 이용자가 입고 있는 옷이 타이트한 옷인 경우 인식부(110)에 의해 인식된 이용자의 실루엣은 실제 이용자의 체형과 유사할 수 있다. 다만 이용자가 입고 있는 옷이 헐렁한 옷인 경우 인식부(110)에 의해 인식된 이용자의 실루엣은 이용자의 실제 체형과 상이할 수 있다.Assume that the image sensor 170 captures an image in which the user is taking the dressing posture 171. [ In this case, the recognition unit 110 can recognize the silhouette of the user along the outline of the clothes that the user wears. If the clothes the user wears are tight, the silhouette of the user recognized by the recognition unit 110 may be similar to the body shape of the actual user. However, the silhouette of the user recognized by the recognition unit 110 may be different from the actual body shape of the user if the clothes the user wears are loose clothes.

일 실시예에 따른 가상 피팅 장치(100)는 이용자가 입고 있는 옷의 종류와 무관하게 이용자의 실제 체형에 대응되는 실루엣을 인식하는 기술을 제공할 수 있다.The virtual fitting apparatus 100 according to one embodiment can provide a technique of recognizing a silhouette corresponding to a user's actual body shape regardless of the type of clothes the user wears.

이를 위하여, 추출부(120)는 인식부(110)에 의해 인식된 이용자의 실루엣으로부터 이용자의 손 동작과 관련된 정보를 추출할 수 있다.For this, the extracting unit 120 may extract information related to the hand operation of the user from the silhouette of the user recognized by the recognizing unit 110. [

여기서, 이용자의 손 동작과 관련된 정보는 인식된 실루엣에 포함된 손 파트에 관한 정보, 손의 위치에 관한 정보, 손의 자세에 관한 정보 및 손의 동작에 관한 정보 중 적어도 하나를 포함할 수 있다.Here, the information related to the hand motion of the user may include at least one of information on the hand part included in the recognized silhouette, information on the position of the hand, information on the posture of the hand, and information on the motion of the hand .

손 파트에 관한 정보는 실루엣 내에서 이용자의 손에 해당하는 부위가 어디인지를 나타내는 정보를 포함할 수 있다. 손의 위치에 관한 정보는 영상 내에서 이용자의 손이 위치하는 절대적인 위치 또는 다른 신체 부위와의 관계에서 이용자의 손이 위치하는 상대적인 위치 등을 나타내는 정보를 포함할 수 있다.The information on the hand part may include information indicating the part corresponding to the user's hand in the silhouette. The information about the position of the hand may include information indicating an absolute position where the user's hand is located in the image or a relative position where the user's hand is located in relation to other body parts.

손의 자세에 관한 정보는 이용자의 손이 취하고 있는 자세를 나타내는 정보로, 예를 들어 이용자가 주먹을 쥐고 있는지 혹은 이용자가 손을 펴고 있는지 등을 나타내는 정보를 포함할 수 있다.The information on the posture of the hand is information indicating the posture taken by the user's hand, and may include information indicating, for example, whether the user holds the fist or the user's hand is spreading.

손의 동작에 관한 정보는 이용자의 손의 움직임을 나타내는 정보로, 예를 들어 이용자가 손을 편 상태에서 허리 라인을 쓸어 내리는 동작 등을 나타내는 정보를 포함할 수 있다.The information on the motion of the hand may be information indicating the motion of the user's hand, for example, information indicating an operation of sweeping the waistline while the user is in the hands-off state.

도면에 도시하지는 않았으나, 추출부(120)는 이용자의 손 파트를 인식하는 손 파트 인식부, 이용자의 손 위치를 추정하는 손 위치 추정부, 이용자의 손 자세를 인식하는 손 자세 인식부, 또는 이용자의 손 동작을 인식하는 손 동작 인식부 중 적어도 하나를 포함할 수 있다.Although not shown in the figure, the extraction unit 120 may include a hand part recognition unit for recognizing the user's hand part, a hand position estimation unit for estimating the hand position of the user, a hand posture recognition unit for recognizing the hand posture of the user, And a hand motion recognition unit for recognizing the hand motion of the hand movement recognition unit.

여기서, 손 파트 인식부는 이용자의 손 파트를 인식하기 위하여 아다부스트 알고리즘(Adaboost algorithm) 또는 랜덤 포레스트 분류기(Random forest classifier) 등 손 파트 인식 기법을 이용할 수 있다. 또한, 손 위치 추정부는 인식된 손의 위치를 추정하기 위해 중간값 평균 필터(Mean averaging filter)나 칼만 필터(Kalman filter)를 이용할 수 있다. 나아가, 손 자세 인식부는 인식된 손의 파트에 기초하여 주먹을 쥔 상태, 주먹을 편 상태 등의 손 자세를 인식할 수 있다. 손 동작 인식부는 이용자의 손 동작을 인식하기 위하여, 히든 마르코브 모델(Hidden Markov Model, HMM) 또는 아다부스트 알고리즘 등으로 학습된 별도의 동작 인식기를 이용할 수 있다.Here, the hand part recognizing part can use a hand part recognizing technique such as an Adaboost algorithm or a random forest classifier to recognize a hand part of a user. In addition, the hand position estimating unit may use a mean averaging filter or a Kalman filter to estimate the position of the recognized hand. Furthermore, the hand posture recognizing unit can recognize the hand posture such as a state in which a fist is held or a state in which a fist is stuck on the basis of the recognized part of the hand. The hand motion recognition unit may use a separate motion recognizer learned by the Hidden Markov Model (HMM) or the AdaBoost algorithm in order to recognize the hand motion of the user.

다만, 전술한 기법들은 예시적인 사항에 불과할 뿐, 전술한 기법들에 의하여 손의 동작에 관한 정보를 추출하기 위한 추출부(120)의 구성이 제한되지 아니한다.However, the above-described techniques are merely illustrative, and the configuration of the extraction unit 120 for extracting information on the operation of the hand by the above-described techniques is not limited.

판단부(130)는 추출부(120)에 의해 추출된 손 동작과 관련된 정보에 기초하여 이용자의 변형된 실루엣을 인식할지 여부를 판단할 수 있다.The determination unit 130 may determine whether to recognize the modified silhouette of the user based on the information related to the hand motion extracted by the extraction unit 120. [

보다 구체적으로, 판단부(130)는 추출부(120)에 의해 추출된 손 동작과 관련된 정보에 기초하여 미리 정해진 특정한 손 자세 또는 미리 정해진 특정한 손 동작이 인식되는지 여부를 판단할 수 있다.More specifically, the determination unit 130 can determine whether a predetermined hand posture or a predetermined hand motion is recognized based on the information related to the hand motion extracted by the extraction unit 120. [

이 경우, 판단부(130)는 미리 정해진 특정한 손 자세 또는 미리 정해진 특정한 손 동작이 인식되면, 이용자의 변형된 실루엣을 인식한다고 판단할 수 있다.In this case, the determination unit 130 can determine that the user recognizes the modified silhouette if a predetermined hand posture or a predetermined hand motion predetermined is recognized.

여기서, 미리 정해진 특정한 손 자세 또는 미리 정해진 특정한 손 동작은 이용자의 실제 체형과 맞게 실루엣을 변형시키는 손 자세 또는 손 동작일 수 있다.Here, the predetermined specific hand posture or a predetermined specific hand motion may be a hand posture or a hand motion that transforms the silhouette to match the actual body shape of the user.

판단부(130)는 이용자가 입고 있는 옷에 의하여 이용자의 실제 체형이 드러나지 않는 실루엣을 이용자의 실제 체형에 맞도록 변형시키는 다양한 손 자세 또는 손 동작에 반응할 수 있다.The judging unit 130 may respond to various hand postures or hand movements that modify the silhouette of the user whose actual body shape is not revealed by the clothes he wears to match the actual body shape of the user.

예를 들어, 미리 정해진 손 동작 중 하나로, 이용자가 자신의 실제 체형이 드러나도록 허리 라인을 양손으로 쓸어 내리는 동작을 수행한다고 가정하자.For example, suppose that with one of the predetermined hand movements, the user performs an operation of sweeping the waist line with both hands so that the user's actual body shape is revealed.

이 경우, 판단부(130)는 이용자가 전술한 동작을 수행하기 위한 시작 자세인 양 손을 허리에 대고 있는 자세(172)에 반응하여 이용자의 변형된 실루엣을 인식한다고 판단할 수 있다. 또는, 판단부(130)는 이용자가 손을 편 채로 허리 라인을 따라 손을 쓸어 내리는 동작(173)에 반응하여 이용자의 변형된 실루엣을 인식한다고 판단할 수 있다.In this case, the determination unit 130 can determine that the user recognizes the deformed silhouette in response to the attitude 172, which is the starting posture for performing the above-described operation, with both hands on the waist. Alternatively, the determination unit 130 may determine that the user recognizes the deformed silhouette in response to the operation (173) of sweeping the hand along the waist line while holding the hand.

여기서, 전술한 자세 또는 동작은 예시적인 사항에 불과할 뿐, 전술한 자세 또는 동작에 의하여 이용자의 변형된 실루엣을 인식할지 여부를 판단하기 위한 판단부(130)의 구성이 제한되지 아니한다.Here, the above-described posture or operation is merely an example, and the configuration of the determination unit 130 for determining whether or not to recognize the user's modified silhouette by the above-described posture or operation is not limited.

인식부(110)는 판단부(130)의 판단 결과에 따라 이미지 센서(170)로부터 출력되는 영상 데이터에 기초하여 이용자의 변형된 실루엣을 인식할 수 있다.The recognition unit 110 can recognize the user's modified silhouette based on the image data output from the image sensor 170 according to the determination result of the determination unit 130. [

보다 구체적으로, 판단부(130)에 의해 이용자의 변형된 실루엣을 인식한다고 판단되는 경우 인식부(110)는 기존에 인식했던 실루엣과 구별되는 새로운 실루엣을 인식할 수 있다.More specifically, when it is determined by the determination unit 130 that the user's modified silhouette is recognized, the recognition unit 110 can recognize a new silhouette distinguished from the previously recognized silhouette.

예를 들어, 이미지 센서(170)에 의해 이용자가 손을 편 채로 허리 라인을 따라 손을 쓸어 내리는 동작(173)이 촬영되는 경우를 가정하자.For example, suppose that an operation 173 in which a user sweeps a hand along the waist line with his / her hand held by the image sensor 170 is photographed.

이 경우, 이용자가 전술한 동작을 수행함으로 인하여 이용자가 입고 있는 옷과 무관하게 이용자의 실제 체형이 드러날 수 있다. 이로 인하여, 인식부(110)는 전술한 동작을 통해 드러나는 이용자의 실제 체형과 실질적으로 동일하게 변형된 이용자의 실루엣을 인식할 수 있다.In this case, since the user performs the above-described operation, the actual body shape of the user can be revealed regardless of the clothes the user wears. Accordingly, the recognition unit 110 can recognize the silhouette of the user who is transformed to be substantially the same as the actual body shape of the user revealed through the above-described operation.

인식부(110)를 이용하여 변형된 실루엣을 인식하는 동작은 다양한 방식으로 구현될 수 있다.The operation of recognizing the modified silhouette using the recognition unit 110 may be implemented in various ways.

예를 들어, 판단부(130)는 추출부(120)에 의해 추출된 손 동작과 관련된 정보에 기초하여 이용자의 변형된 실루엣을 인식하는 시점과 종점을 인지할 수 있다. 이 경우, 인식부(110)는 판단부(130)에 의해 시점이 인지되는 순간부터 종점이 인지되는 순간까지의 시간 구간 동안 이미지 센서(170)로부터 출력되는 영상 데이터에 기초하여 이용자의 변형된 실루엣을 인식할 수 있다.For example, the determination unit 130 may recognize the point of time and the end point of recognizing the user's modified silhouette based on the information related to the hand motion extracted by the extraction unit 120. [ In this case, the recognizing unit 110 determines whether or not the modified silhouette (s) of the user based on the image data output from the image sensor 170 during the time period from the moment when the determination unit 130 recognizes the time point to the moment when the end point is recognized, Can be recognized.

경우에 따라, 인식부(110)는 해당 시간 구간 동안 이미지 센서(170)로부터 연속적으로 출력되는 복수의 영상 데이터들에 기초하여 이용자의 변형된 실루엣을 인식할 수 있다.In some cases, the recognition unit 110 may recognize the user's modified silhouette based on a plurality of image data continuously output from the image sensor 170 during the corresponding time period.

마찬가지로, 전술한 동작은 예시적인 사항에 불과할 뿐, 전술한 동작에 의하여 이용자의 변형된 실루엣을 인식하기 위한 인식부(110)의 구성이 제한되지 아니한다.Similarly, the above-described operation is merely an example, and the configuration of the recognition unit 110 for recognizing the user's modified silhouette by the above-described operation is not limited.

나아가, 가상 피팅 장치(100)는 계산부(140), 변형부(150), 및 디스플레이부(160)를 더 포함할 수 있다.Further, the virtual fitting apparatus 100 may further include a calculating unit 140, a transforming unit 150, and a display unit 160. [

계산부(140)는 손 동작에 의해 변형되기 전 실루엣(이하, '기존 실루엣'이라고 함)과 손 동작에 의해 변형된 실루엣(이하, '변형된 실루엣'이라고 함) 사이의 차이를 계산할 수 있다.The calculation unit 140 can calculate a difference between a silhouette before being deformed by a hand motion (hereinafter referred to as an 'existing silhouette') and a silhouette deformed by a hand motion (hereinafter referred to as a 'deformed silhouette') .

예를 들어, 계산부(140)는 기존 실루엣 전체와 변형된 실루엣 전체를 비교함으로써 두 실루엣들 사이의 차이를 계산할 수 있다. 또는, 계산부(140)는 인식부(110)로부터 손 동작에 의해 변형된 확률이 높은 부분들에 관한 정보를 획득하고, 해당 정보에 기초하여 기존 실루엣의 특정 부분과 변형된 실루엣의 특정 부분을 비교함으로써 두 실루엣들 사이의 차이를 계산할 수 있다.For example, the calculation unit 140 can calculate the difference between the two silhouettes by comparing the entire existing silhouette with the entire modified silhouette. Alternatively, the calculation unit 140 may acquire information on the high-probability parts deformed by the hand operation from the recognition unit 110, and determine a specific part of the existing silhouette and a specific part of the deformed silhouette based on the information By comparing, you can calculate the difference between the two silhouettes.

변형부(150)는 계산부(140)에 의해 계산된 차이에 기초하여 이용자의 실체 체형에 맞도록 가상 객체를 변형할 수 있다. 여기서, 가상 객체는 가상 피팅 서비스를 위한 가상 공간 상의 객체로, 예를 들어 가상 의류 또는 가상 장신구 등을 포함할 수 있다.The transforming unit 150 may transform the virtual object to fit the entity type of the user based on the difference calculated by the calculating unit 140. [ Here, the virtual object is an object in the virtual space for the virtual fitting service, and may include, for example, virtual clothing or virtual ornaments.

예를 들어, 변형부(150)는 이용자가 가상으로 피팅해 보길 원하는 가상 의류 또는 가상 장신구의 크기나 모양을 이용자의 실제 체형에 맞게 동적으로 변형(deformation)할 수 있다.For example, the transforming unit 150 may dynamically deform a size or a shape of a virtual garment or a virtual ornament desired by the user to fit the user's actual body shape.

디스플레이부(160)는 변형부(150)에 의해 변형된 가상 객체에 기초하여 가상 피팅 서비스를 위한 영상을 표시할 수 있다. 이로 인하여, 일 실시예에 따른 가상 피팅 장치(100)는 가상 의류 등 가상 객체가 이용자의 신체에 맞는 자연스러운 영상을 제공할 수 있다. 그 결과, 이용자들은 실제 의류 매장에 방문하지 않고 집 안에서 가상 의류를 착용해 본 뒤 구매를 결정할 수 있다.
The display unit 160 may display an image for a virtual fitting service based on the virtual object modified by the transforming unit 150. [ Accordingly, the virtual fitting apparatus 100 according to the embodiment can provide a natural image such as a virtual clothing that matches the user's body. As a result, users can wear virtual clothing in their home without actually visiting the clothing store, and then decide to make a purchase.

도 2a 내지 도 2c는 일 실시예에 따른 가상 피팅 장치를 이용하여 이용자의 체형에 맞게 피팅된 가상 의류를 표시하는 동작을 설명하기 위한 도면이다.2A to 2C are views for explaining an operation of displaying a virtual garment fitted to a body shape of a user using a virtual fitting apparatus according to an embodiment.

도 2a를 참조하면, 일 실시예에 따른 가상 피팅 장치는 디스플레이(200)를 이용하여 가상 피팅 서비스를 제공할 수 있다.Referring to FIG. 2A, a virtual fitting apparatus according to an exemplary embodiment may provide a virtual fitting service using a display 200. FIG.

보다 구체적으로, 가상 피팅 장치는 이용자의 모습을 촬영한 영상(210) 및 가상 객체(220)를 결합함으로써, 가상 피팅 서비스를 위한 영상(230)을 제공할 수 있다.More specifically, the virtual fitting apparatus can provide the image 230 for the virtual fitting service by combining the image 210 and the virtual object 220 that photographed the user's image.

여기서, 가상 객체(220)는 도 1을 통하여 기술된 사항들에 의하여 이용자의 실제 체형에 맞도록 변형된 것으로, 보다 상세한 설명은 생략한다.Here, the virtual object 220 is modified to fit the actual body shape of the user according to the matters described in FIG. 1, and a detailed description thereof will be omitted.

도 2b와 도 2c를 참조하면, 일 실시예에 따른 가상 피팅 장치를 사용하는 경우, 그렇지 않은 경우에 비하여 자연스러운 피팅 영상이 생성될 수 있다.Referring to FIGS. 2B and 2C, when a virtual fitting apparatus according to an embodiment is used, a natural fitting image can be generated as compared with the case without the virtual fitting apparatus.

예를 들어, 이미지 센서(241)에 의해 평상복 차림의 이용자(240)가 촬영되는 경우를 가정하자. 이 경우, 이용자가 입고 있는 평상복의 실루엣이 인식될 수 있다.For example, assume that the user 240 in casual dress is photographed by the image sensor 241. In this case, the silhouette of the casual wear worn by the user can be recognized.

인식된 평상복의 실루엣에 기초하여 가상 의류(250)의 크기 및 모양이 결정되는 경우, 이용자의 실제 체형과 맞지 않는 부자연스러운 영상(260)이 생성될 수 있다.If the size and shape of the virtual garment 250 are determined based on the silhouette of the recognized casual wear, an unnatural image 260 that does not match the actual body shape of the user can be generated.

반면, 일 실시예에 따르면, 이미지 센서(271)에 의해 평상복 차림의 이용자(270)가 촬영된 이후, 가상 피팅 장치는 실루엣을 변형시키는 손 동작(272)을 인식할 수 있다. On the other hand, according to one embodiment, after the casual wearer 270 is photographed by the image sensor 271, the virtual fitting device can recognize the hand motion 272 which transforms the silhouette.

가상 피팅 장치는 해당 손 동작(272)에 의해 변형되는 실루엣을 인식할 수 있고, 변형된 실루엣에 기초하여 가상 의류(280)의 크기 및 모양을 결정할 수 있다. 그 결과, 가상 피팅 장치는 이용자의 실제 체형과 맞는 자연스러운 영상(290)을 생성할 수 있다.The virtual fitting device can recognize the silhouette that is deformed by the corresponding hand operation 272 and can determine the size and shape of the virtual garment 280 based on the deformed silhouette. As a result, the virtual fitting apparatus can generate a natural image 290 that matches the actual body shape of the user.

이로 인하여, 일 실시예에 따른 가상 피팅 장치는 이용자의 실제 체형에 기초하여 가상 의류 등의 치수를 추천하거나, 해당 치수의 가상 의류를 가상 공간 상에서 입어볼 수 있도록 하는 가상 피팅 서비스를 제공할 수 있다.
Accordingly, the virtual fitting apparatus according to an embodiment can provide a virtual fitting service that recommends dimensions of virtual clothing or the like, based on the actual body shape of the user, or allows the virtual clothing of the dimensions to be seen on the virtual space .

도 3 내지 도 4는 다른 실시예에 따른 가상 피팅 장치를 나타낸 블록도이다.3 to 4 are block diagrams showing a virtual fitting apparatus according to another embodiment.

도 3을 참조하면, 다른 실시예에 따른 가상 피팅 장치(300)는 인식부(310), 추출부(320), 및 판단부(330)를 포함한다. 이 때, 인식부(310)는 획득부(311) 및 계산부(312)를 포함할 수 있다.Referring to FIG. 3, the virtual fitting apparatus 300 according to another embodiment includes a recognizing unit 310, an extracting unit 320, and a determining unit 330. In this case, the recognition unit 310 may include an acquisition unit 311 and a calculation unit 312.

획득부(311)는 판단부(330)에 의해 이용자의 변형된 실루엣을 인식한다고 판단되는 경우, 이미지 센서를 이용하여 이용자의 변형된 실루엣과 관련된 복수의 영상 데이터들을 획득할 수 있다.When it is determined by the determination unit 330 that the user's modified silhouette is recognized, the acquisition unit 311 can acquire a plurality of image data related to the user's modified silhouette using the image sensor.

이 경우, 계산부(312)는 기존 실루엣과 복수의 영상 데이터들에 기초하여 기존 실루엣과 변형된 실루엣의 차이를 계산함으로써, 변형된 실루엣을 인식할 수 있다.In this case, the calculation unit 312 can recognize the modified silhouette by calculating the difference between the existing silhouette and the modified silhouette based on the existing silhouette and the plurality of image data.

예를 들어, 이용자가 허리 라인을 양 손으로 쓸어 내리는 동작을 수행한다고 가정하자. 획득부(311)는 해당 동작이 수행되는 복수의 프레임들에 대응되는 복수의 영상 데이터들을 획득할 수 있다.For example, suppose that the user performs an operation of sweeping the waist line with both hands. The acquiring unit 311 may acquire a plurality of image data corresponding to a plurality of frames in which the corresponding operation is performed.

이 경우, 복수의 영상 데이터들 각각은 해당 프레임에서 이용자의 양 손이 위치한 허리 부분이 잘록해진 실루엣을 포함할 수 있다.In this case, each of the plurality of image data may include a silhouette of the waist portion where the user's hands are located in the frame.

계산부(312)는 각각의 프레임에서 기존 실루엣과 변형된 실루엣(예를 들면, 해당 프레임에서 양 손이 위치한 허리 부분이 잘록해진 실루엣) 사이의 차이를 계산할 수 있다.The calculation unit 312 can calculate the difference between the existing silhouette and the deformed silhouette (e.g., the silhouette of the waist portion where both hands are located in the frame is narrowed) in each frame.

나아가, 계산부(312)는 복수의 프레임들에서 계산된 복수의 차이들을 이용하여 변형된 실루엣을 인식할 수 있다. 예를 들어, 계산부(312)는 기존 실루엣에 복수의 차이들을 반영시킴으로써, 이용자의 실제 체형에 맞도록 변형된 실루엣을 인식할 수 있다.Furthermore, the calculation unit 312 can recognize the modified silhouette using a plurality of differences calculated in the plurality of frames. For example, the calculation unit 312 can recognize a silhouette modified to fit the actual body shape of the user by reflecting a plurality of differences in the existing silhouette.

이 때, 가상 피팅 장치(300)는 생성부(340) 및 디스플레이부(350)를 더 포함할 수 있으며, 생성부(340)는 계산부(312)에 의해 인식된 이용자의 변형된 실루엣에 기초하여 이용자의 체형에 맞는 가상 객체를 생성할 수 있다. 디스플레이부(350)는 생성부(340)에 의해 생성된 가상 객체를 이용하여 가상 피팅 서비스를 위한 영상을 표시할 수 있다.
The virtual fitting apparatus 300 may further include a generating unit 340 and a display unit 350. The generating unit 340 may generate the virtual fitting device 300 based on the deformed silhouette of the user recognized by the calculating unit 312 So that a virtual object can be created that conforms to the user's body shape. The display unit 350 may display an image for the virtual fitting service using the virtual object generated by the generating unit 340. [

도 4를 참조하면, 또 다른 실시예에 따른 가상 피팅 장치(400)는 손 동작 인식부(410), 판단부(420), 실루엣 인식부(430), 및 가생 객체 생성부(440)를 포함할 수 있다.4, the virtual fitting apparatus 400 according to another embodiment includes a hand motion recognizing unit 410, a determining unit 420, a silhouette recognizing unit 430, and a virtual object creating unit 440 can do.

이 때, 손 동작 인식부(410)는 이미지 센서로부터 출력되는 영상 데이터에 기초하여 이용자의 손 동작을 인식할 수 있다. 여기서, 영상 데이터는 이미지 센서로부터 연속적으로 출력되는 복수의 연속 이미지들을 포함할 수 있다.At this time, the hand motion recognition unit 410 can recognize the hand motion of the user based on the image data output from the image sensor. Here, the image data may include a plurality of successive images output continuously from the image sensor.

판단부(420)는 손 동작이 미리 정해진 동작 패턴과 일치하는지 여부를 판단할 수 있다. 여기서, 미리 정해진 동작 패턴은 이용자의 실루엣을 이용자의 실제 체형에 맞도록 변형시키는 동작 패턴을 포함할 수 있다.The determination unit 420 can determine whether or not the hand motion is consistent with a predetermined motion pattern. Here, the predetermined operation pattern may include an operation pattern for transforming the silhouette of the user into the actual body shape of the user.

실루엣 인식부(430)는 판단부(420)에 의해 손 동작이 미리 정해진 동작 패턴과 일치한다고 판단되는 경우, 이미지 센서로부터 출력되는 영상 데이터에 기초하여 이용자의 실루엣을 인식할 수 있다.The silhouette recognition unit 430 can recognize the silhouette of the user based on the image data output from the image sensor when it is determined by the determination unit 420 that the hand operation matches the predetermined operation pattern.

가생 객체 생성부(440)는 인식된 실루엣에 기초하여 이용자의 체형에 맞는 가상 객체를 생성할 수 있다.The virtual object generation unit 440 may generate a virtual object corresponding to the user's body based on the recognized silhouette.

도 4에 도시된 각 모듈에는 도 1 내지 도 3을 통하여 기술된 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.
1 to 3 may be applied to each of the modules shown in FIG. 4, so that a detailed description thereof will be omitted.

도 5 내지 도 6은 또 다른 실시예에 따른 가상 피팅 방법을 나타낸 동작 흐름도이다.5 to 6 are operational flowcharts showing a virtual fitting method according to yet another embodiment.

도 5를 참조하면, 또 다른 실시예에 따른 가상 피팅 방법은 단계(510)에서 이미지 센서로부터 출력되는 영상 데이터에 기초하여 이용자의 실루엣을 인식할 수 있다. 가상 피팅 방법은 단계(520)에서 실루엣으로부터 이용자의 손 동작과 관련된 정보를 추출할 수 있고, 단계(530)에서 손 동작과 관련된 정보에 기초하여 이용자의 변형된 실루엣을 인식할지 여부를 판단할 수 있다. 가상 피팅 방법은 단계(540)에서 판단 결과에 따라 이미지 센서로부터 출력되는 영상 데이터에 기초하여 변형된 실루엣을 인식할 수 있다.Referring to FIG. 5, the virtual fitting method according to another embodiment may recognize the silhouette of the user based on the image data output from the image sensor in step 510. The virtual fitting method may extract information relating to the user's hand movements from the silhouette at step 520 and determine whether to recognize the user's altered silhouette based on the information associated with the hand movements at step 530 have. The virtual fitting method can recognize the modified silhouette based on the image data output from the image sensor in accordance with the determination result in step 540. [

또한, 가상 피팅 방법은 단계(550)에서 실루엣과 변형된 실루엣의 차이를 계산하고, 단계(560)에서 그 차이에 기초하여 이용자의 체형에 맞도록 가상 객체를 변형할 수 있다. 가상 피팅 방법은 단계(570)에서 변형된 가상 객체에 기초하여 가상 피팅 서비스를 위한 영상을 표시할 수 있다.The virtual fitting method may also calculate the difference between the silhouette and the deformed silhouette in step 550 and transform the virtual object to fit the user's body based on the difference in step 560. The virtual fitting method may display an image for the virtual fitting service based on the modified virtual object in step 570. [

도 6을 참조하면, 또 다른 실시예에 따른 가상 피팅 방법은 단계(610)에서 이미지 센서로부터 출력되는 영상 데이터에 기초하여 이용자의 손 동작을 인식할 수 있다. 가상 피팅 방법은 단계(620)에서 손 동작이 미리 정해진 동작 패턴과 일치하는지 여부를 판단할 수 있다. 여기서, 미리 정해진 동작 패턴은 이용자의 실루엣을 이용자의 실제 체형에 맞도록 변형시키는 동작 패턴을 포함할 수 있다.Referring to FIG. 6, the virtual fitting method according to another embodiment may recognize the hand motion of the user based on the image data output from the image sensor in step 610. FIG. The virtual fitting method may determine in step 620 whether the hand motion matches a predetermined motion pattern. Here, the predetermined operation pattern may include an operation pattern for transforming the silhouette of the user into the actual body shape of the user.

가상 피팅 방법은 단계(630)에서 손 동작이 미리 정해진 동작 패턴과 일치한다고 판단되는 경우, 이미지 센서로부터 출력되는 영상 데이터에 기초하여 이용자의 실루엣을 인식할 수 있고, 단계(640)에서 그 실루엣에 기초하여 이용자의 체형에 맞는 가상 객체를 생성할 수 있다.The virtual fitting method can recognize the user's silhouette based on the image data output from the image sensor if it is determined in step 630 that the hand motion matches the predetermined motion pattern, The virtual object can be created based on the body shape of the user.

도 5 내지 도 6에 도시된 각 단계에는 도 1 내지 도 4를 통하여 기술된 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.
The steps described in FIGS. 1 to 4 can be directly applied to each step shown in FIGS. 5 to 6, so that a detailed description will be omitted.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

Claims (18)

동작 인식을 이용하여 가상 피팅 서비스(virtual fitting service)를 제공하는 가상 피팅 장치에 있어서,
이미지 센서로부터 출력되는 영상 데이터에 기초하여 이용자의 실루엣을 인식하는 인식부;
상기 실루엣으로부터 상기 이용자의 손 동작과 관련된 정보를 추출하는 추출부; 및
상기 손 동작과 관련된 정보에 기초하여 상기 이용자의 변형된 실루엣을 인식할지 여부를 판단하는 판단부
를 포함하고,
상기 인식부는 상기 판단 결과에 따라 상기 이미지 센서로부터 출력되는 영상 데이터에 기초하여 상기 변형된 실루엣을 인식하는 가상 피팅 장치.A virtual fitting apparatus for providing a virtual fitting service using motion recognition,
A recognition unit for recognizing the silhouette of the user based on the image data output from the image sensor;
An extracting unit for extracting information related to a hand motion of the user from the silhouette; And
A determination unit for determining whether or not to recognize the modified silhouette of the user based on the information related to the hand operation;
Lt; / RTI >
Wherein the recognition unit recognizes the modified silhouette based on the image data output from the image sensor according to the determination result. 제1항에 있어서,
상기 실루엣과 상기 변형된 실루엣의 차이를 계산하는 계산부; 및
상기 차이에 기초하여 상기 이용자의 체형에 맞도록 가상 객체를 변형하는 변형부
를 더 포함하는 가상 피팅 장치.The method according to claim 1,
A calculation unit for calculating a difference between the silhouette and the modified silhouette; And
And a transformation unit for transforming the virtual object according to the body shape of the user based on the difference,
Further comprising: 제2항에 있어서,
상기 변형된 가상 객체에 기초하여 상기 가상 피팅 서비스를 위한 영상을 표시하는 디스플레이부
를 더 포함하는 가상 피팅 장치.3. The method of claim 2,
A display unit for displaying an image for the virtual fitting service based on the modified virtual object,
Further comprising: 제1항에 있어서,
상기 추출부는
상기 이용자의 손 파트를 인식하는 손 파트 인식부;
상기 이용자의 손 위치를 추정하는 손 위치 추정부;
상기 이용자의 손 자세를 인식하는 손 자세 인식부; 또는
상기 이용자의 손 동작을 인식하는 손 동작 인식부
중 적어도 하나를 포함하는 가상 피팅 장치.The method according to claim 1,
The extracting unit
A hand part recognizing part for recognizing the hand part of the user;
A hand position estimating unit estimating a hand position of the user;
A hand posture recognizing unit for recognizing the hand posture of the user; or
The hand movement recognition unit recognizes the hand movement of the user
And at least one of the plurality of virtual fitting devices. 제1항에 있어서,
상기 판단부는 상기 손 동작이 미리 정해진 동작 패턴과 일치하는 경우 상기 이용자의 변형된 실루엣을 인식한다고 판단하고, 그렇지 않은 경우 상기 이용자의 변형된 실루엣을 인식하지 않는다고 판단하는 가상 피팅 장치.The method according to claim 1,
Wherein the determination unit determines that the modified silhouette of the user is recognized when the hand motion matches the predetermined motion pattern, and determines that the modified silhouette of the user is not recognized if not. 제1항에 있어서,
상기 판단부는
상기 손 동작과 관련된 정보에 기초하여 상기 이용자의 변형된 실루엣을 인식하는 시점과 종점을 인지하는 인지부
를 포함하고,
상기 인식부는 상기 인지부에 의해 상기 시점이 인지되는 경우 상기 인지부에 의해 상기 종점이 인지될 때까지 상기 이미지 센서로부터 출력되는 영상 데이터에 기초하여 상기 변형된 실루엣을 인식하는 가상 피팅 장치.The method according to claim 1,
The determination unit
A recognizing unit recognizing a point of time and an end point of recognizing the user's modified silhouette based on the information related to the hand operation;
Lt; / RTI >
Wherein the recognition unit recognizes the modified silhouette based on image data output from the image sensor until the end point is recognized by the recognition unit when the viewpoint is recognized by the recognition unit. 제1항에 있어서,
상기 인식부는
상기 판단부에 의해 상기 변형된 실루엣을 인식한다고 판단되는 경우, 상기 이미지 센서를 이용하여 상기 변형된 실루엣과 관련된 복수의 영상 데이터들을 획득하는 획득부; 및
상기 변형된 실루엣을 인식하기 위하여, 상기 실루엣 및 상기 복수의 영상 데이터들에 기초하여 상기 실루엣과 상기 변형된 실루엣의 차이를 계산하는 계산부
를 포함하는 가상 피팅 장치.The method according to claim 1,
The recognition unit
An acquiring unit acquiring a plurality of image data related to the modified silhouette using the image sensor when it is determined by the determination unit that the modified silhouette is recognized; And
A calculation unit for calculating a difference between the silhouette and the modified silhouette based on the silhouette and the plurality of image data,
Lt; / RTI > 제1항에 있어서,
상기 변형된 실루엣에 기초하여 상기 이용자의 체형에 맞는 가상 객체를 생성하는 생성부
를 더 포함하는 가상 피팅 장치.The method according to claim 1,
And generating a virtual object corresponding to the body shape of the user based on the modified silhouette,
Further comprising: 제1항에 있어서,
상기 이미지 센서는 칼라 카메라 또는 깊이 카메라 중 적어도 하나를 포함하는 가상 피팅 장치.The method according to claim 1,
Wherein the image sensor comprises at least one of a color camera or a depth camera. 동작 인식을 이용하여 가상 피팅 서비스를 제공하는 가상 피팅 장치에 있어서,
이미지 센서로부터 출력되는 영상 데이터에 기초하여 이용자의 손 동작을 인식하는 손 동작 인식부;
상기 손 동작이 미리 정해진 동작 패턴과 일치하는지 여부를 판단하는 판단부;
상기 판단부에 의해 상기 손 동작이 상기 미리 정해진 동작 패턴과 일치한다고 판단되는 경우, 상기 영상 데이터에 기초하여 상기 이용자의 실루엣을 인식하는 실루엣 인식부; 및
상기 실루엣에 기초하여 상기 이용자의 체형에 맞는 가상 객체를 생성하는 가생 객체 생성부
를 포함하는 가상 피팅 장치.A virtual fitting apparatus for providing a virtual fitting service using motion recognition,
A hand motion recognition unit for recognizing the hand motion of the user based on the image data output from the image sensor;
A determination unit for determining whether or not the hand operation is consistent with a predetermined operation pattern;
A silhouette recognition unit for recognizing the silhouette of the user based on the image data when it is determined by the determination unit that the hand operation is consistent with the predetermined operation pattern; And
And a virtual object generation unit for generating a virtual object corresponding to the body shape of the user based on the silhouette,
Lt; / RTI > 제10항에 있어서,
상기 미리 정해진 동작 패턴은 상기 이용자의 실루엣을 상기 이용자의 실제 체형에 맞도록 변형시키는 동작 패턴을 포함하는 가상 피팅 장치.11. The method of claim 10,
Wherein the predetermined operation pattern includes an operation pattern for transforming the silhouette of the user into an actual body shape of the user. 제10항에 있어서,
상기 영상 데이터는 상기 이미지 센서로부터 연속적으로 출력되는 복수의 연속 이미지들을 포함하는 가상 피팅 장치.11. The method of claim 10,
Wherein the image data comprises a plurality of successive images output continuously from the image sensor. 동작 인식을 이용하여 가상 피팅 서비스를 제공하는 가상 피팅 방법에 있어서,
이미지 센서로부터 출력되는 영상 데이터에 기초하여 이용자의 실루엣을 인식하는 단계;
상기 실루엣으로부터 상기 이용자의 손 동작과 관련된 정보를 추출하는 단계;
상기 손 동작과 관련된 정보에 기초하여 상기 이용자의 변형된 실루엣을 인식할지 여부를 판단하는 단계; 및
상기 판단 결과에 따라 상기 이미지 센서로부터 출력되는 영상 데이터에 기초하여 상기 변형된 실루엣을 인식하는 단계
를 포함하는 가상 피팅 방법.A virtual fitting method for providing a virtual fitting service using motion recognition,
Recognizing a user's silhouette based on image data output from the image sensor;
Extracting information related to the hand movements of the user from the silhouette;
Determining whether to recognize the modified silhouette of the user based on the information related to the hand operation; And
Recognizing the modified silhouette based on the image data output from the image sensor according to the determination result
/ RTI > 제13항에 있어서,
상기 실루엣과 상기 변형된 실루엣의 차이를 계산하는 단계;
상기 차이에 기초하여 상기 이용자의 체형에 맞도록 가상 객체를 변형하는 단계; 및
상기 변형된 가상 객체에 기초하여 상기 가상 피팅 서비스를 위한 영상을 표시하는 단계
를 더 포함하는 가상 피팅 방법.14. The method of claim 13,
Calculating a difference between the silhouette and the modified silhouette;
Transforming the virtual object to fit the user's body shape based on the difference; And
Displaying an image for the virtual fitting service based on the modified virtual object
Further comprising the steps of: 제13항에 있어서,
상기 추출하는 단계는
상기 이용자의 손 파트를 인식하는 단계;
상기 이용자의 손 위치를 추정하는 단계;
상기 이용자의 손 자세를 인식하는 단계; 또는
상기 이용자의 손 동작을 인식하는 단계
중 적어도 하나를 포함하는 가상 피팅 방법.14. The method of claim 13,
The extracting step
Recognizing the hand part of the user;
Estimating a hand position of the user;
Recognizing the hand posture of the user; or
Recognizing the hand motion of the user
/ RTI & 제13항에 있어서,
상기 판단하는 단계는
상기 손 동작이 미리 정해진 동작 패턴과 일치하는 경우 상기 이용자의 변형된 실루엣을 인식한다고 판단하는 단계; 및
상기 손 동작이 미리 정해진 동작 패턴과 일치하지 않는 경우 상기 이용자의 변형된 실루엣을 인식하지 않는다고 판단하는 단계
를 포함하는 가상 피팅 방법.14. The method of claim 13,
The determining step
Determining that the user recognizes a modified silhouette of the user when the hand operation coincides with a predetermined operation pattern; And
Determining that the modified silhouette of the user is not recognized when the hand motion does not match a predetermined motion pattern
/ RTI > 동작 인식을 이용하여 가상 피팅 서비스를 제공하는 가상 피팅 방법에 있어서,
이미지 센서로부터 출력되는 영상 데이터에 기초하여 이용자의 손 동작을 인식하는 단계;
상기 손 동작이 미리 정해진 동작 패턴-상기 미리 정해진 동작 패턴은 상기 이용자의 실루엣을 상기 이용자의 실제 체형에 맞도록 변형시키는 동작 패턴을 포함-과 일치하는지 여부를 판단하는 단계;
상기 손 동작이 상기 미리 정해진 동작 패턴과 일치한다고 판단되는 경우, 상기 영상 데이터에 기초하여 상기 이용자의 실루엣을 인식하는 단계; 및
상기 실루엣에 기초하여 상기 이용자의 체형에 맞는 가상 객체를 생성하는 단계
를 포함하는 가상 피팅 방법.A virtual fitting method for providing a virtual fitting service using motion recognition,
Recognizing the hand motion of the user based on the image data output from the image sensor;
Judging whether or not the hand operation corresponds to a predetermined operation pattern, the predetermined operation pattern including an operation pattern for transforming the silhouette of the user into the actual body shape of the user;
Recognizing the silhouette of the user based on the image data when it is determined that the hand operation is consistent with the predetermined operation pattern; And
Generating a virtual object corresponding to the body shape of the user based on the silhouette
/ RTI > 제13항 내지 제17항 중에서 어느 하나의 항의 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
A computer-readable recording medium on which a program for executing the method according to any one of claims 13 to 17 is recorded.
KR1020130031263A 2013-03-25 2013-03-25 Virtual fitting device of providing virtual fitting service using motion recognition and method thereof KR102059356B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130031263A KR102059356B1 (en) 2013-03-25 2013-03-25 Virtual fitting device of providing virtual fitting service using motion recognition and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130031263A KR102059356B1 (en) 2013-03-25 2013-03-25 Virtual fitting device of providing virtual fitting service using motion recognition and method thereof

Publications (2)

Publication Number Publication Date
KR20140116585A true KR20140116585A (en) 2014-10-06
KR102059356B1 KR102059356B1 (en) 2020-02-11

Family

ID=51990301

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130031263A KR102059356B1 (en) 2013-03-25 2013-03-25 Virtual fitting device of providing virtual fitting service using motion recognition and method thereof

Country Status (1)

Country Link
KR (1) KR102059356B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160088112A (en) 2015-01-15 2016-07-25 (주)에프엑스기어 Virtual fitting system, method of providing virtual fitting service for promoting sales and computer program for the same
KR20170019917A (en) 2015-08-13 2017-02-22 (주)에프엑스기어 Apparatus, method and computer program for generating 3-dimensional model of clothes

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010098276A (en) * 2000-04-29 2001-11-08 박성범 A devise to wear clothes of a ghost image
JP2002150058A (en) * 2000-11-09 2002-05-24 Matsushita Electric Ind Co Ltd Virtual tryal wearing method in electronic mail-order sale
JP2004086662A (en) * 2002-08-28 2004-03-18 Univ Waseda Clothes try-on service providing method and clothes try-on system, user terminal device, program, program for mounting cellphone, and control server
JP2006249618A (en) * 2005-03-11 2006-09-21 Toshiba Corp Virtual try-on device
KR20090001665A (en) * 2007-05-09 2009-01-09 주식회사 지로커뮤니케이션 Virtual clothes wearing method
KR20090012651A (en) * 2007-07-31 2009-02-04 주식회사 에프엑스코드 Method for decorating users with virtual clothes using 3-dimensional data of clothes
JP2010070889A (en) * 2008-09-22 2010-04-02 Seiren Co Ltd Virtual fitting system
US20110022372A1 (en) * 2008-03-24 2011-01-27 Toyo Boseki Kabushiki Kaisha Clothing simulation apparatus, clothing simulation program, and clothing simulation method
KR20110123848A (en) * 2010-05-10 2011-11-16 이경환 Method and system for virtual fitting room service
KR20120014925A (en) * 2009-05-11 2012-02-20 우니베지태트 주 뤼벡 Method for the real-time-capable, computer-assisted analysis of an image sequence containing a variable pose
KR20120040565A (en) * 2010-10-19 2012-04-27 (주)피센 3-d virtual fitting system and method using mobile device
US20120306918A1 (en) * 2011-06-01 2012-12-06 Seiji Suzuki Image processing apparatus, image processing method, and program
KR20130004357A (en) * 2010-04-01 2013-01-09 퀄컴 인코포레이티드 A computing device interface
KR20130010012A (en) * 2010-04-16 2013-01-24 퀄컴 인코포레이티드 Apparatus and methods for dynamically correlating virtual keyboard dimensions to user finger size

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010098276A (en) * 2000-04-29 2001-11-08 박성범 A devise to wear clothes of a ghost image
JP2002150058A (en) * 2000-11-09 2002-05-24 Matsushita Electric Ind Co Ltd Virtual tryal wearing method in electronic mail-order sale
JP2004086662A (en) * 2002-08-28 2004-03-18 Univ Waseda Clothes try-on service providing method and clothes try-on system, user terminal device, program, program for mounting cellphone, and control server
JP2006249618A (en) * 2005-03-11 2006-09-21 Toshiba Corp Virtual try-on device
KR20090001665A (en) * 2007-05-09 2009-01-09 주식회사 지로커뮤니케이션 Virtual clothes wearing method
KR20090012651A (en) * 2007-07-31 2009-02-04 주식회사 에프엑스코드 Method for decorating users with virtual clothes using 3-dimensional data of clothes
US20110022372A1 (en) * 2008-03-24 2011-01-27 Toyo Boseki Kabushiki Kaisha Clothing simulation apparatus, clothing simulation program, and clothing simulation method
JP2010070889A (en) * 2008-09-22 2010-04-02 Seiren Co Ltd Virtual fitting system
KR20120014925A (en) * 2009-05-11 2012-02-20 우니베지태트 주 뤼벡 Method for the real-time-capable, computer-assisted analysis of an image sequence containing a variable pose
KR20130004357A (en) * 2010-04-01 2013-01-09 퀄컴 인코포레이티드 A computing device interface
KR20130010012A (en) * 2010-04-16 2013-01-24 퀄컴 인코포레이티드 Apparatus and methods for dynamically correlating virtual keyboard dimensions to user finger size
KR20110123848A (en) * 2010-05-10 2011-11-16 이경환 Method and system for virtual fitting room service
KR20120040565A (en) * 2010-10-19 2012-04-27 (주)피센 3-d virtual fitting system and method using mobile device
US20120306918A1 (en) * 2011-06-01 2012-12-06 Seiji Suzuki Image processing apparatus, image processing method, and program
JP2012252437A (en) * 2011-06-01 2012-12-20 Sony Corp Image processing apparatus, image processing method, and program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160088112A (en) 2015-01-15 2016-07-25 (주)에프엑스기어 Virtual fitting system, method of providing virtual fitting service for promoting sales and computer program for the same
KR20170019917A (en) 2015-08-13 2017-02-22 (주)에프엑스기어 Apparatus, method and computer program for generating 3-dimensional model of clothes

Also Published As

Publication number Publication date
KR102059356B1 (en) 2020-02-11

Similar Documents

Publication Publication Date Title
US10757373B2 (en) Method and system for providing at least one image captured by a scene camera of a vehicle
US9928411B2 (en) Image processing apparatus, image processing system, image processing method, and computer program product
US9330470B2 (en) Method and system for modeling subjects from a depth map
Balan et al. Detailed human shape and pose from images
KR101849373B1 (en) Apparatus and method for estimating skeleton structure of human body
US10282913B2 (en) Markerless augmented reality (AR) system
Roh et al. View-independent human action recognition with volume motion template on single stereo camera
US11721114B2 (en) Method, system, and device of generating a reduced-size volumetric dataset
US20130028517A1 (en) Apparatus, method, and medium detecting object pose
CN105404392A (en) Monocular camera based virtual wearing method and system
WO2020024569A1 (en) Method and device for dynamically generating three-dimensional face model, and electronic device
CN102981603A (en) Image processing apparatus, image processing method, and program
JP2009020761A (en) Image processing apparatus and method thereof
US20150269759A1 (en) Image processing apparatus, image processing system, and image processing method
KR20150130483A (en) In situ creation of planar natural feature targets
CN103678836A (en) Virtual fit system and method
Loconsole et al. Real-time emotion recognition: an improved hybrid approach for classification performance
Kowalski et al. Holoface: Augmenting human-to-human interactions on hololens
US9836846B2 (en) System and method of estimating 3D facial geometry
KR101696007B1 (en) Method and device for creating 3d montage
KR20160046399A (en) Method and Apparatus for Generation Texture Map, and Database Generation Method
KR102059356B1 (en) Virtual fitting device of providing virtual fitting service using motion recognition and method thereof
JP5373128B2 (en) Person identification device, person identification method, and person identification program
KR101762400B1 (en) Method and apparatus for recognizing action
Woodward et al. A low cost framework for real-time marker based 3-D human expression modeling

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant