KR102415356B1 - 폐쇄형 쇼 호스팅 서비스 제공 시스템 및 그 방법 - Google Patents

Abstract

본 발명은 무식별 영상 기반의 소셜 네트워크 서비스 시스템 및 그 방법에 대한 것으로, 무식별 영상 기반의 소셜 네트워크 서비스 시스템은 입력 받은 수신한 영상 데이터 음성 데이터 및 송수신 시간 데이터를 기반으로 3D 합성 영상 데이터를 생성하고, 상기 3D 합성 영상 데이터를 사용자 단말에 제공하는 관리 서버 및 상기 관리 서버와 연결되고 깊이 카메라로부터 수신한 영상 데이터 및 송수신 시간 데이터를 관리 서버에 제공하고, 상기 3D 합성 영상 데이터를 기반으로 무식별 영상 및 소셜 네트워크 서비스를 사용자에게 제공하는 사용자 단말을 포함할 수 있다.

Description

폐쇄형 쇼 호스팅 서비스 제공 시스템 및 그 방법{Closed Show Hosting Service offering system and method therefor}

본 발명은 폐쇄형 쇼 호스팅 서비스를 제공하는 기술에 대한 것으로, 더욱 자세하게는 깊이 카메라를 이용하여 쇼 호스팅 활동을 촬영한 영상 데이터, 음성 데이터 및 송수신 시간 데이터를 수집하여 사용자의 단말로 송신하고, 사용자 단말은 영상 데이터 및 송수신 시간 데이터를 관리 서버로 송신하여, 관리서버가 영상 데이터 및 송수신 시간 데이터 분석하여 사람의 행동이 3D 영상으로 생성된 3D 합성 영상 데이터를 자동으로 생성하고, 생성한 3D 합성 영상 데이터를 기반으로 사용자 단말에서 재생될 수 있는 3D 쇼 호스팅 영상을 제공하고, 이에 대한 선호도 정보를 수집하여 가장 높은 선호도를 보인 3D 합성 영상 데이터를 최적 쇼 호스팅 교육 영상으로 선정하여, 이를 교육 컨텐츠로 지정하고 이를 수강한 사용자에게만 특정 물건을 판매할 수 있도록 상품 판매 권한을 설정하여 주는 폐쇄형 쇼 호스팅 서비스 제공 시스템 및 그 방법을 제공하는데 그 목적이 있다.

홈쇼핑 시장은 1998년부터 2000년까지 연평균 성장률이 87%에 달하면서 급성장하였으나, 최근 스마트폰의 등장에 의한 인터넷 플랫폼의 발달로 기존의 영상 매체인 TV의 영향력이 줄어감에 따라, 많은 서비스들이 현재 각광받는 모바일/SNS와 같은 인터넷 플랫폼 기반의 뉴커머스 시장으로 진출하고 있다.

그러한 홈쇼핑 시장의 성장으로 인하여 홈 쇼핑을 진행할 수 있는 쇼 호스트들이 다수 시장에 진출하게 되었는데, 특정한 자격증이 있는 것이 아니기 때문에 기본적인 소양을 갖추지 못한 쇼 호스트들의 시장 진출에 대한 문제점이 도출되었다.

또한 적절한 교육을 받은 쇼 호스트의 경우도 특정 상품을 설명하고 판매하는데 있어 상품에 대한 정보 뿐만 아니라 어휘 선택, 표현 방법, 시선 처리, 제스처 등 다양한 요소들에 의하여 많은 정보의 전달과 소비자로 하여금 물건을 구매할 수 있는 호소력을 전달할 수 있음에도 불구하고 그냥 본인들의 지식을 통해서만 해당 상품을 대상으로 호스팅을 진행하여 왔다.

또한 상품에 대한 충분한 지식이 부족한 쇼 호스트들이 상품을 판매함으로써 소비자는 적절한 정보를 제공받지 못하고 상품을 구입하여 이에 따른 피해 및 다른 역량 있는 쇼 호스트들이 평가절하 당하는 문제가 발생하여 왔다.
대한민국 공개특허공보 제10-2021-0050018호(2021.05.07.)

본 발명은 다수의 쇼 호스트들끼리 폐쇄형 커뮤니티를 구성하여, 커뮤니티 내의 쇼 호스트들을 대상으로 특정 상품에 대한 쇼 호스팅을 진행한 영상을 촬영하고, 쇼 호스트 개인의 얼굴 등 개인정보의 유출을 방지하기 위하여 촬영된 쇼 호스팅을 진행한 영상을 기반으로 3D 합성 영상 데이터를 생성하고 이 중 가장 좋은 선호도 평가를 받은 3D 합성 영상 데이터를 선정하여 최적 쇼 호스팅 교육 영상으로 지정하고, 이를 커뮤니티 내 쇼 호스트들의 교육 컨텐츠 영상으로 사용할 수 있으며, 해당 교육 콘텐츠 영상을 수료한 쇼 호스트에게만 해당 물품에 대한 판매 권한을 설정하여 일정한 가이드 라인 내에서 해당 제품을 홍보 및 판매할 수 있도록 하는 폐쇄형 쇼 호스팅 서비스 제공 시스템 및 그 방법을 제공하고자 한다.

본 발명의 실시예에 따르면 폐쇄형 쇼 호스팅 서비스 제공 시스템은 폐쇄형 쇼 호스팅 서비스 제공 시스템에 접속하여 쇼호스팅 활동을 촬영한 영상 데이터, 음성 데이터 및 송수신 시간 데이터를 기반으로 3D 합성 영상 데이터를 생성하고, 상기 3D 합성 영상 데이터를 사용자 단말에 제공하며, 상기 사용자 단말로부터 수신한 3D 합성 영상 데이터에 대한 선호도 정보를 통해 최적 쇼호스팅 교육 영상을 선정하는 관리 서버 및 상기 관리 서버와 연결되어 깊이 카메라로부터 수신한 영상 데이터 및 송수신 시간 데이터를 관리 서버에 제공하고, 수신한 상기 3D 합성 영상 데이터를 사용자에게 제공하고, 상기 사용자로부터 3D 합성 영상 데이터에 대한 선호도 정보를 수집하여 상기 관리 서버에 송신하는 사용자 단말을 포함하며, 상기 사용자 단말은, 복수의 깊이 카메라를 이용하여 사용자의 쇼 호스팅 과정을 전방위로 촬영하여 음성 데이터, 영상 데이터 및 상기 영상 데이터에 대응하는 송수신 시간 데이터를 포함한 동작 정보를 수집하여 상기 관리 서버로 송신하는 동작 정보 수집부; 및 상기 관리 서버로부터 수신한 3D 합성 영상 데이터를 영상으로 재생한 3D 쇼호스팅 영상을 사용자에게 제공하고, 사용자로부터 상기 3D 합성 영상 데이터에 대한 선호도 정보를 수집하여 상기 관리서버에 송신하는 3D 쇼호스팅 영상 제공부를 포함하고,상기 관리 서버는 수신한 동작 정보에 포함된 각 깊이 카메라별 영상 데이터를 인공 신경망 기반의 영상 분석 모델에 입력하여 각 신체 부위별 동선, 이동 속도 및 이동 각도를 포함하는 제1 행동 정보를 생성하고, 상기 동작 정보에 포함된 각 깊이 카메라별 송수신 시간 데이터를 분석하여 연속된 복수의 깊이 데이터, 속도 데이터, 진폭 데이터를 생성하고, 상기 진폭 데이터를 이용하여 진폭의 크기에 따라 누적 분포 함수 및 노이즈 제거 함수를 이용하여 노이즈를 제거하고, 상기 노이즈가 제거된 각 깊이 카메라 별로 생성된 신체 부위별 깊이 데이터, 속도 데이터, 진폭 데이터를 중간 값으로 평균화하여 제2 행동 정보를 생성하는 행동 정보 생성부; 상기 제1 행동 정보와 제2 행동 정보를 시간을 기준으로 정합 하여 오차를 산출하고, 산출된 오차에 대해서는 연속형 가중치 중간값 필터를 사용하여 오차를 제거하여 최종 행동 정보로 생성하는 최종 행동 정보 생성부; 및 상기 최종 행동 정보에 포함된 시간의 흐름에 따른 각 신체 부위별 동선, 이동 속도 및 이동 각도 및 상기 영상 데이터를 동작 영상 생성 모델에 입력하여 사람의 움직임에 대한 3D 합성 영상 데이터를 생성하는 3D 영상 생성부; 수신한 복수의 3D 합성 영상 데이터에 대한 선호도 정보를 이용하여 가장 높은 선호도를 보인 3D 합성 영상 데이터를 재생한 영상 콘텐츠를 통해 최적 쇼호스팅 교육 영상으로 선정하는 최적 쇼호스팅 교육 영상 선정부; 및 상기 최적 쇼호스팅 영상을 수강한 사용자에게만 해당 상품을 판매할 수 있는 권한을 부여하는 상품 판매 권한 설정부를 포함할 수 있다.

본 발명의 일 실시예에 따르면 상기 행동 정보 생성부는, 특징점 추출 모듈, 행동 정보 분석 모듈로 형성된 인공 신경망 기반의 영상 분석 모델을 포함하며, 상기 특징점 추출 모듈에 상기 영상 데이터를 입력하여 특징점을 추출하고, 추출된 특징점을 미리 설정 해놓은 신체 부위별로 라벨링하며, 행동 정보 분석 모듈에 상기 신체 부위별 특징점 및 영상 데이터를 입력하여 각 특징점 별 동선, 이동 속도 및 이동 각도를 포함하는 특징 맵을 생성하고, 생성된 특징 맵에 출력 활성화 함수를 적용하여 제1 행동 정보를 출력하는 제1 행동 정보 생성부; 및 상기 각 깊이 카메라별 송수신 시간 데이터를 분석하여 미리 설정 해놓은 신체 부위별 연속된 깊이 데이터, 속도 데이터, 진폭 데이터를 생성하고, 상기 진폭 데이터를 이용하여 진폭의 크기에 따라 누적 분포 함수 및 노이즈 함수를 이용하여 검출된 노이즈를 제거하고, 연속형 확률 분포 함수를 이용하여 표면의 빛의 흡수량에 상관없이 일정한 진폭으로 정규화 시킨 각 깊이 카메라 별로 생성된 신체 부위별 깊이 데이터, 속도 데이터, 진폭 데이터를 중간값 필터로 평균화하여 제2 행동 정보를 생성할 수 있다.

본 발명의 일 실시예에 따르면 상기 최종 행동 정보 생성부는, 상기 제1 행동 정보와 제2 행동 정보를 인공 신경망 기반의 최종 행동 정보 생성 모델에 입력하여 제1 행동 정보와 제2 행동 정보에 포함된 각 신체 부위별 동선, 이동 속도 및 이동 각도를 대비하여 발생하는 차이를 오차로 산출하고, 오차가 발생한 데이터 각각에 가중치를 적용하여 산출된 값들을 중간 값으로 평균화하여 오차를 제거함으로써 하나의 신체 부위별 동선, 이동 속도 및 이동 각도를 가진 최종 행동 정보를 생성하고, 상기 최종 행동 정보에 따라 생성된 3D 영상과 영상 데이터를 비교하여 정확도를 평가하는 인공 신경망 기반의 판단 모델을 이용하여, 상기 최종 행동 정보에 따라 생성된 3D 영상이 영상 데이터와 행동이 일치한다고 인정될 정도로 근사함을 평가할 수 있는 것으로 판단하기 위한 기준 행동 정보에 대한 제1 기대값을 설정하고, 상기 최종 행동 정보에 따라 생성된 3D 영상과 제1 기대값의 차이를 제1 차이값으로 산출하고, 상기 최종 행동 정보에 따라 생성된 3D 영상이 영상 데이터와 행동이 일치한다고 인정될 정도로 근사함을 평가할 수 없는 것으로 판단하기 위한 기준 행동 정보에 대한 제2 기대값을 설정하고, 상기 최종 행동 정보에 따라 생성된 3D 영상과 제2 기대값의 차이를 제2 차이값으로 산출하고, 상기 제1 차이값과 상기 제2 차이값의 합을 기반의 최종 행동 정보 생성 모델을 구성하는 인경 신경망의 구분 손실값으로 산출하고, 상기 구분 손실값이 최소가 되도록 가중치를 고정하여, 상기 최종 행동 정보 생성 모델의 오차가 발생한 데이터 각각에 적용하는 가중치로 업데이트할 수 있다.

본 발명의 일 실시예에 따르면 상기 3D 영상 생성부는, 복수의 연산 레이어로 이루어진 합성곱 인공 신경망으로 구현되고 배경화면 생성 모듈, 동작 영상 생성 모듈, 3D 영상 합성 모듈을 포함하는 동작 영상 생성 모델을 포함하고, 상기 3D 영상 합성 모듈은 상기 영상 데이터를 입력하면 영상 데이터에 포함된 객체를 제외한 복수의 배경 이미지를 추출하고, 추출된 복수의 배경 데이터를 레퍼런스 이미지에 매칭하여 전처리를 수행하고, 전처리가 수행된 복수의 배경 데이터를 분석하여 구간별로 디스크립터 데이터를 설정하며, 복수의 이미지 데이터 중 공간상 연결되는 이미지 데이터 간에 서로 공유되는 디스크립터 데이터를 도출하고, 도출된 상기 디스크립터 데이터를 기준으로 복수의 이미지를 정합하여 360도 회전이 가능한 배경화면 영상 데이터를 생성하고, 상기 동작 영상 생성 모듈은 미리 설정된 신체 부위를 중심으로 각 신체 부위를 연결해 사람의 형상을 3D로 생성하고, 상기 생성된 사람의 형상을 상기 최종 행동 정보에 포함된 각 신체 부위별 동선, 이동 속도 및 이동 각도에 따라 각 신체 부위별로 움직이는 동작 영상 데이터를 생성하고, 상기 3D 영상 합성 모듈은 상기 360도 회전이 가능한 배경화면에 3D 가상 인물의 동작 영상을 위치 및 각도에 따라 합성하여 합성 영상 데이터를 생성할 수 있다.

본 발명의 일 실시예에 따르면 상기 동작 정보 수집부는, 송수신 시간 데이터를 수집함에 있어, 2단계의 깊이 측정을 수행하고, 제1 깊이 측정은 낮은 변조 주파수를 이용하여 깊이를 측정하여 미리 설정된 신체 부위별 관심 영역에 대하여 낮은 측정 품질로 측정을 수행하고, 제2 깊이 측정은 제1 깊이 측정의 신체 부위별 관심 영역에 대한 측정 결과를 기반으로 높은 변조 주파수를 이용하여 깊이를 측정하여 높은 측정 품질로 측정 정밀도를 상승시키고, 상기 높은 변조 주파수는 상기 낮은 변조 주파수의 사용시 측정된 표준 편차에 반비례하는 값으로 선정되고, 상기 표준 편차가 미리 설정한 한계값보다 작다면 신호 대 잡음비가 높은 것으로 판단하여 상기 표준 편차가 미리 설정한 한계 값보다 큰 경우보다 상대적으로 높은 주파수로 될 수 있으며, 상기 제2 깊이 측정을 다수 수행하여 반복된 측정을 통해 측정 정밀도를 상승시킬 수 있다.

본 발명의 실시예에 따라 구현된 폐쇄형 쇼 호스팅 서비스 제공 시스템 및 그 방법을 이용하면 쇼 호스트 개인의 얼굴 등 개인정보를 보호하면서도 최적 쇼 호스팅 교육 영상의 생성 및 선정이 자동으로 이루질 수 있으며, 해당 교육 콘텐츠 영상을 수료한 쇼 호스트에게만 해당 물품에 대한 판매 권한을 설정하여 줌으로써 일정한 가이드 라인 내에서 해당 제품을 홍보 및 판매할 수 있도록 하는 효과를 제공할 수 있다.

도 1은 본 발명의 실시예에 따라 구현된 폐쇄형 쇼 호스팅 서비스 제공 시스템의 구성도이다.
도 2는 도 1에 도시된 사용자 단말의 세부 구성도이다.
도 3은 도 1에 도시된 관리 서버의 세부 구성도이다.
도 4는 도 3에 도시된 행동 정보 생성부의 세부 구성도이다.
도 5는 본 발명의 일 실시예에 따라 합성곱 연산망으로 구현된 영상 분석 모델을 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따라 구현된 영상 분석 모델에 있어 특징점 추출 모듈과 행동 정보 분석 모듈 사이의 데이터 흐름을 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따라 구현된 동작 영상 생성 모델에 포함된 세부 모듈을 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따라 합성곱 연산망으로 구현된 동작 영상 생성 모델에 포함된 세부 모듈을 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따라 구현된 동작 영상 생성 모델에 있어 배경화면 생성 모듈, 동작 영상 생성 모듈, 3D영상 합성 모듈 사이의 데이터 흐름을 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 폐쇄형 쇼 호스팅 서비스 제공 방법의 흐름도이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.

본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 발명에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.

일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

또한 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이며, 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다.

이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다.

컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다.

그리고 몇 가지 대체 실시예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

이 때, 본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다.

그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.

따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.

본 발명의 실시예들을 구체적으로 설명함에 있어서, 특정 시스템의 예를 주된 대상으로 할 것이지만, 본 명세서에서 청구하고자 하는 주요한 요지는 유사한 기술적 배경을 가지는 여타의 통신 시스템 및 서비스에도 본 명세서에 개시된 범위를 크게 벗어나지 아니하는 범위에서 적용 가능하며, 이는 당해 기술분야에서 숙련된 기술적 지식을 가진 자의 판단으로 가능할 것이다.

이하, 도면을 참조하여 본 발명의 실시 예에 따른 폐쇄형 쇼 호스팅 서비스 제공 시스템 및 그 방법에 대하여 설명한다.

도 1은 본 발명의 실시예에 따라 구현된 폐쇄형 쇼 호스팅 서비스 제공 시스템의 구성도이다.

도 1을 참조하면 무식별 영상 기반의 소셜 네트워크 서비스 시스템(10)은 복수의 사용자가 구비한 사용자 단말(100)이 각각 관리서버(200)에 무선 네트워크를 통해 연결될 수 있다.

본 발명의 일 실시예에 따르면 사용자 단말(100)은 쇼 호스팅 활동을 촬영한 영상 데이터, 음성 데이터 및 송수신 시간 데이터를 관리 서버(200)에 제공할 수 있으며, 관리서버(200)는 수신한 영상 데이터 음성 데이터 및 송수신 시간 데이터를 기반으로 3D 합성 영상 데이터를 생성하여 사용자 단말(100)에 제공하고, 사용자 단말(100)은 수신한 상기 3D 합성 영상 데이터를 3D 쇼 호스팅 영상을 사용자에게 제공하고, 사용자로부터 3D 합성 영상 데이터에 대한 선호도 정보를 수집하여 관리 서버(200)에 송신할 수 있다.

본 발명의 일 실시예에 따르면 관리 서버(200)는 수신한 복수의 3D 합성 영상 데이터에 대한 선호도 정보를 이용하여 가장 높은 선호도를 보인 3D 합성 영상 데이터를 재생한 영상 콘텐츠를 최적 쇼 호스팅 교육 영상으로 선정하고, 최적 쇼 호스팅 영상을 수강한 사용자에게만 해당 상품을 판매할 수 있는 권한을 부여할 수 있다.

본 발명의 일 실시예에 따르면 3D 합성 영상 데이터에 대한 선호도 정보는 특정 3D 합성 영상 데이터에 대한 선호도를 나타낼 수 있는 정보를 의미할 수 있으며 특정 3D 합성 영상 데이터에 대한 명시적인 선호도를 나타내는 직접 관심 정보와 응답, 미응답 또는 관련성을 통해 선호도를 유추할 수 있는 정보들을 포함하는 간접 관심 정보를 포함할 수 있다.

본 발명의 일 실시 예에 따르면 사용자 선호도 정보는 3D 합성 영상 데이터 에 대한 선호도를 나타낼 수 있는 정보를 의미할 수 있으며 협업 필터링 기법에서 사용되는 기준에 따라 특정 항목에 대한 명시적인 선호도를 나타내는 직접 관심 정보와 응답, 미응답 또는 관련성을 통해 선호도를 유추할 수 있는 정보들을 포함하는 간접 관심 정보로 분류할 수 있다.

여기서 직접 관심 정보는 사용자가 직접 기술한 3D 합성 영상 데이터에 대한 선호도 정보 또는 3D 합성 영상 데이터에 대한 평가를 분석하여 획득한 특정 3D 합성 영상 데이터에 대한 사용자의 선호도 정보를 의미할 수 있으며, 간접 관심 정보는 특정 3D 합성 영상 데이터를 직접 지정하지는 않았지만 3D 합성 영상 데이터의 선호 유사도 또는 작업 유사도를 이용하여 사용자의 선호도를 예측할 수 있는 정보를 의미할 수 있다.

도 2는 도 1에 도시된 사용자 단말의 세부 구성도이다.

도 2를 참조하면 사용자 단말(100)의 세부 구성이 나타나 있으며, 본 발명의 일 실시예에 따르면 사용자 단말(100)은 동작 정보 수집부(110), 3D 쇼 호스팅 영상 제공부(120)를 포함할 수 있다.

동작 정보 수집부(110)는 복수의 깊이 카메라를 이용하여 사용자의 쇼 호스팅 과정을 전방위로 촬영하여 음성 데이터, 영상 데이터 및 상기 영상 데이터에 대응하는 송수신 시간 데이터를 포함한 동작 정보를 수집할 수 있다.

본 발명의 일 실시예에 따르면 깊이 카메라로는 구 좌표계의 원점에서 펄스 변조된 적외선(IR) 빔을 목표물에 발사시켜 수평(pan, φ)과 상하(tilt, θ)로 스캐닝하여 구 표면(sphere surface)의 각기 다른 불연속 점(г, θ, φ)의 분포(point??wise)에서 일어나는 역방향 산란(back scattering)으로 반사되어 원점으로 되돌아오는 시간, 즉 송수신 시간을 기반으로 배경 내 목표물의 3차원 영상 정보를 획득할 수 있는 카메라가 사용될 수 있다.

본 발명의 일 실시예에 따르면 복수개의 깊이 카메라는 적어도 하나의 사람의 움직임을 전방위로 촬영할 수 있도록 일정한 각도를 기준으로 설치될 수 있으며, 영상 데이터, 음성 데이터 및 영상 데이터와 시간을 기준으로 대응되는 미리 설정된 신체 부위별 송수신 시간 데이터를 수집할 수 있다.

여기서 미리 설정된 신체 부위는 사람의 동작을 식별할 수 있는 사람의 신체 부위를 의미하며, 예를 들어 양 손의 손가락 끝과 각 마디, 팔목, 팔꿈치 어깨, 목, 얼굴의 각 이목구비 양 끝단, 고관절, 무릎, 발목, 양 발의 발가락 끝과 각 마디 등 주로 신체의 끝단 및 가동가능한 관절 부위를 중심으로 설정될 수 있다.

본 발명의 일 실시예에 따르면 동작 정보 수집부(100)는 송수신 시간 데이터를 수집함에 있어, 2단계의 깊이 측정을 수행할 수 있다.

본 발명의 일 실시예에 따르면 2단계의 깊이 측정은 제1 깊이 측정 단계 및 제2 깊이 측정 단계로 구분할 수 있다.

상기 실시예와 같이 2단계로 나누어 깊이 측정을 수행하는 이유는 단일 주파수를 사용할 때 낮은 변조 주파수를 이용하여 깊이 측정을 수행하는 경우에는 최대 범위는 넓어지지만 측정 품질은 낮아지는 단점이 존재하며, 반대로, 높은 변조 주파수를 이용하여 깊이 측정을 수행하는 경우에는 측정 품질은 향상시킬 수 있지만 최대 범위는 좁아진다는 단점이 존재하므로, 이러한 단점을 최대한 보완하기 위함에 있다.

본 발명의 일 실시예에 따르면 2가지의 변조 주파수를 이용하여 2단계의 깊이 측정을 수행할 수 있으며, 제1 깊이 측정은 2가지 변조 주파수 중 상대적으로 낮은 변조 주파수를 이용하여 깊이를 측정하여 미리 설정된 신체 부위별 관심 영역에 대하여 낮은 측정 품질로 측정을 수행하고, 제2 깊이 측정은 제1 깊이 측정의 신체 부위별 관심 영역에 대한 측정 결과를 기반으로 상기 2가지 변조 주파수 중 상대적으로 높은 변조 주파수를 이용하여 깊이를 측정하여 높은 측정 품질로 측정 정밀도를 상승시킬 수 있다,

본 발명의 일 실시예에 따르면 제1 깊이 측정은 낮은 변조 주파수를 이용하여 깊이를 측정하여 미리 설정된 신체 부위별 관심 영역에 대하여 낮은 측정 품질로 측정을 수행할 수 있다.

본 발명의 일 실시예에 따르면 제2 깊이 측정은 제1 깊이 측정의 신체 부위별 관심 영역에 대한 측정 결과를 기반으로 높은 변조 주파수를 이용하여 깊이를 측정하여 높은 측정 품질로 측정 정밀도를 상승시킬 수 있다.

본 발명의 일 실시예에 따르면 넓은 최대 깊이 범위를 갖도록 낮은 변조 주파수를 이용하는 제1 깊이 측정은, 넓은 깊이 범위를 대상으로 대략적인 깊이를 측정할 수 있으며, 이때의 측정 품질은 변조 주파수에 비례관계를 가지므로 제1 깊이 측정을 통해 측정된 경과는 넓은 관심 영역에 대하여 낮은 측정 품질을 제공할 수 있다.

본 발명의 일 실시예에 따르면 제2 깊이 측정은 최대 깊이 범위가 제1 깊이 측정의 정밀도를 기반으로 설정될 수 있으며, 상대적으로 더 높은 주파수를 선택하여 좁은 관심 영역에 대한 높은 측점 품질을 제공함으로써 제1 깊이 측정 결과의 오차를 보상할 수 있다.

본 발명의 일 실시예에 따르면 낮은 변조 주파수는 수학식 1를 기반으로 선정될 수 있다.

여기서

는 낮은 변조 주파수를 의미하며,

는 광속,

는 최대 깊이 범위를 의미할 수 있다.

본 발명의 일 실시예에 따르면 높은 변조 주파수는 낮은 변조 주파수의 사용시 측정된 표준 편차에 반비례하는 값으로 선정될 수 있으며, 표준 편차가 미리 설정한 한계값보다 작다면, 이는 신호 대 잡음비가 높은 것으로 판단하여 표준 편차가 미리 설정한 한계 값보다 큰 경우보다 상대적으로 높은 주파수로 선정될 수 있다.

여기서 표준 편차(

)는 수학식 2를 기반으로 산출될 수 있다.

여기서

는 살출하고자 하는 표준 편차를 의미할 수 있으며, dp는 제1 깊이 측정으로 통해 측정된 깊이를 의미할 수 있으며 μ는 관심 영역(RoI)에 대한 dp의 평균값을 의미하며 N은 관심 영역 내의 픽셀의 개수로서 자연수일 수 있다.

본 발명의 일 실시예에 따르면 제1 깊이 측정 단계 및 제2 깊이 측정 단계를 다수 수행하여 반복된 측정을 통해 측정 정밀도를 상승시킬 수 있다.

3D 쇼 호스팅 영상 제공부(120)는 관리 서버(200)로부터 수신한 3D 합성 영상 데이터를 영상으로 재생한 3D 쇼 호스팅 영상을 사용자에게 제공하고, 사용자로부터 3D 합성 영상 데이터에 대한 선호도 정보를 수집하여 관리 서버(200)로 송신할 수 있다.

본 발명의 일 실시예에 따르면 3D 쇼 호스팅 영상 제공부(120)는 사용자로부터 입력 받은 3D 합성 영상 데이터별 선호도 정보를 분석하여 직접 관심 정보와 간접 관심 정보로 분류할 수 있으며, 분류된 직접 관심 정보와 간접 관심 정보를 선호도 정보 생성 모델에 입력하여 3D 합성 영상 데이터별 사용자 선호도 정보를 생성할 수 있다.

본 발명의 일 실시예에 따르면 3D 합성 영상 데이터에 대한 선호도 정보는 특정 인테리어 항목에 대한 선호도를 나타낼 수 있는 정보를 의미할 수 있으며 3D 합성 영상 데이터를 영상으로 재생한 3D 쇼 호스팅 영상에 대한 명시적인 선호도를 나타내는 직접 관심 정보와 응답, 미응답 또는 관련성을 통해 선호도를 유추할 수 있는 정보들을 포함하는 간접 관심 정보를 포함할 수 있다.

여기서 직접 관심 정보는 사용자가 직접 기술한 및 점수를 산정한 3D 합성 영상 데이터의 선호도에 대한 사용자 정보 또는 3D 합성 영상 데이터에 대한 선호도 평가를 분석하여 획득한 사용자의 선호도 정보를 의미할 수 있으며, 간접 관심 정보는 특정 3D 합성 영상 데이터를 직접 지정하지는 않았지만 3D 합성 영상 데이터들의 선호 유사도 또는 작업 유사도를 이용하여 사용자의 선호도를 예측할 수 있는 정보를 의미할 수 있다.

본 발명의 일 실시예에 따르면 3D 합성 영상 데이터를 대상으로 협업적 필터링을 수행하여 각 3D 합성 영상 데이터 별 직접 관심 정보와 간접 관심 정보로 사용자 선호도 정보에 포함된 세부 정보를 분류할 수 있다.

도 3은 도 1에 도시된 관리 서버의 세부 구성도이다.

도 3을 참조하면 본 발명의 일 실시예에 따라 관리 서버(200)에 포함된 행동 정보 생성부(210), 최종 행동 정보 생성부(220), 3D 영상 생성부(230), 최적 쇼 호스팅 교육 영상 선정부(240), 상품 판매 권한 설정부(250)를 포함할 수 있다.

행동 정보 생성부(210)는 수신한 동작 정보에 포함된 각 깊이 카메라별 영상 데이터를 인공 신경망 기반의 영상 분석 모델에 입력하여 각 신체 부위별 동선, 이동 속도 및 이동 각도를 포함하는 제1 행동 정보를 생성할 수 있다.

또한 동작 정보에 포함된 각 깊이 카메라별 송수신 시간 데이터를 분석하여 연속된 복수의 깊이 데이터, 속도 데이터, 진폭 데이터를 생성하고, 진폭 데이터를 이용하여 진폭의 크기에 따라 누적 분포 함수 및 노이즈 제거 함수를 이용하여 노이즈를 제거하고, 노이즈가 제거된 각 깊이 카메라 별로 생성된 신체 부위별 깊이 데이터, 속도 데이터, 진폭 데이터를 중간 값으로 평균화하여 제2 행동 정보를 생성할 수 있다.

본 발명의 일 실시예에 따르면 인공 신경망 기반의 영상 분석 모델은 깊이 카메라별 영상 데이터를 입력층에 입력 받아 미리 설정된 각 신체 부위별로 동선, 이동 속도, 이동 각도 정보를 출력할 수 있으며, 이를 각 신체 부위별로 그룹핑하여 제1 행동 정보를 생성하도록 학습될 수 있다. 본 발명의 일 실시예에 따르면 각 깊이 카메라 별로 생성된 신체 부위별 송수신 시간 데이터를 분석하여 각 신체 부위별로 시간의 흐름에 따라 연속된 깊이 데이터, 속도 데이터, 진폭 데이터를 생성할 수 있다.

여기서 깊이 데이터란 관심 영역의 3차원적 위치를 인식할 수 있는 데이터를 의미할 수 있으며, 속도 데이터는 깊이 데이터를 기반으로 시간의 흐름에 따라 위치의 변경을 통해 산출된 이동 속도를 의미할 수 있으며, 진폭 데이터는 깊이 카메라에 의해 송신된 광은 표면의 진폭 정도에 따라 표면의 광 강도가 상이하므로 손상된 광이 반사되어 생긴 표면의 광 강도를 의미할 수 있다.

본 발명의 일 실시예에 따르면 진폭 데이터를 이용하여 진폭의 크기에 따라 누적 분포 함수 및 노이즈 함수를 이용하여 노이즈를 제거할 수 있다.

상기 실시예에 다르면 진폭 데이터는 깊이 카메라에 의해 반사되는 광이 얼마나 밝은지를 나타낼 수 있고, 이는 표면의 진폭 정도에 따라 표면의 광 강도가 상이하게 나타나는 것을 특징을 기반으로 한다.

본 발명의 일 실시예에 따르면 깊이 카메라에 사용되는 비이상적인 파형으로 인해 생기는 잡음과 객체의 경계에 생기는 노이즈를 제거하기 위해 누적 분포 함수 및 노이즈 함수를 사용하여 필터링을 수행할 수 있다.

본 발명의 일 실시예에 따르면 누적 분포 함수는 수학식 3을 기반으로 수행될 수 있다.

Φ(x)는 누적 분포 함수를 나타내며 NF는 노이즈 함수를 의미할 수 있다.

본 발명의 일 실시예에 따르면 노이즈 함수(NF)는 수학식 4를 기반으로 수행될 수 있다.

행동 정보 생성부(210)는 도 4를 참고하여 더 자세하게 설명하도록 한다.

최종 행동 정보 생성부(220)는 제1 행동 정보와 제2 행동 정보를 시간을 기준으로 정합 하여 오차를 산출하고, 산출된 오차에 대해서는 연속형 가중치 중간값 필터를 사용하여 오차를 제거하여 최종 행동 정보로 생성할 수 있다.

본 발명의 일 실시예에 따르면 제1 행동 정보와 제2 행동 정보를 인공 신경망 기반의 최종 행동 정보 생성 모델에 입력하여 제1 행동 정보와 제2 행동 정보에 포함된 신체 부위별 동선, 이동 속도 및 이동 각도를 대비하여 발생하는 차이를 오차로 산출하고, 오차가 발생한 데이터 각각에 가중치를 적용하여 산출된 값들을 중간 값으로 평균화하여 오차를 제거함으로써 하나의 신체 부위별 깊이 데이터, 속도 데이터, 진폭 데이터를 가진 최종 행동 정보를 생성할 수 있다.

본 발명의 일 실시예에 따르면 최종 행동 정보 생성 모델은 동작 분석 모듈 및 정합 모듈을 포함할 수 있다.

본 발명의 일 실시예에 따르면 동작 분석 모듈은 제2 행동 정보에 포함된 각 깊이 카메라 별로 생성된 신체 부위별 깊이 데이터, 속도 데이터, 진폭 데이터를 입력 받아 각 신체 부위별 동선, 이동 속도 및 이동 각도 정보를 출력할 수 있다.

본 발명의 일 실시예에 따르면 정합 모듈은 제1 행동 정보에 포함된 각 신체 부위별 동선, 이동 속도 및 이동 각도와 제2 행동 정보에 포함된 각 신체 부위별 동선, 이동 속도 및 이동 각도를 입력 받아 발생하는 차이를 오차로 산출할 수 있다.

상기 실시예에 따르면 오차가 발생한 데이터 각각에 가중치를 적용하여 산출된 값들을 중간 값으로 평균화하여 오차를 제거함으로써 하나의 신체 부위별 동선, 이동 속도 및 이동 각도를 출력할 수 있고, 이를 포함하는 최종 행동 정보를 생성할 수 있다.

여기서 오차가 발생한 데이터의 신체 부위별로 가중치를 부여하고 제1 행동 정보, 제2 행동 정보 별로도 가중치를 부여하여 가중치를 적용하여 산출한 값들의 중간 값으로 평균화를 수행하여 최종 행동 정보를 생성할 수 있으며, 본 발명의 일 실시예에 따르면 가중치 값들은 인공 신경망 기반의 판단 모델에 의해 정확도가 상대적으로 향상되도록 업데이트 될 수 있다.

본 발명의 일 실시예에 따르면 최종 행동 정보에 따라 생성된 3D 영상과 영상 데이터를 비교하여 정확도를 평가하는 인공 신경망 기반의 판단 모델을 이용할 수 있다.

상기 실시예에 따르면 인공 신경망 기반의 판단 모델을 이용하여 최종 행동 정보에 따라 생성된 3D 영상이 영상 데이터와 행동이 일치한다고 인정될 정도로 근사함을 평가할 수 있는 것으로 판단하기 위한 기준 행동 정보에 대한 제1 기대값을 설정하고, 최종 행동 정보에 따라 생성된 3D 영상과 제1 기대값의 차이를 제1 차이값으로 산출할 수 있다.

또한 최종 행동 정보에 따라 생성된 3D 영상이 영상 데이터와 행동이 일치한다고 인정될 정도로 근사함을 평가할 수 없는 것으로 판단하기 위한 기준 행동 정보에 대한 제2 기대값을 설정하고, 상기 최종 행동 정보에 따라 생성된 3D 영상과 제2 기대값의 차이를 제2 차이값으로 산출할 수 있다.

상기 실시예에 따르면 제1 차이값과 제2 차이값의 합을 기반의 최종 행동 정보 생성 모델을 구성하는 인경 신경망의 구분 손실값으로 산출하고, 구분 손실값이 최소가 되도록 가중치를 고정하여, 최종 행동 정보 생성 모델의 오차가 발생한 데이터 각각에 적용하는 가중치로 업데이트할 수 있다.

3D 영상 생성부(230)는 최종 행동 정보에 포함된 시간의 흐름에 따른 각 신체 부위별 동선, 이동 속도 및 이동 각도 및 영상 데이터, 음성 데이터를 동작 영상 생성 모델에 입력하여 사람의 움직임에 대한 3D 합성 영상 데이터를 생성할 수 있다.

본 발명의 일 실시예에 따르면 동작 영상 생성 모델에 최종 행동 정보에 포함된 시간의 흐름에 따른 각 신체 부위별 동선, 이동 속도 및 이동 각도를 입력하여 각 신체 부위를 기점으로 하고, 이를 연결하여 사람의 형상으로 3D 영상을 생성할 수 있으며 시간의 흐름에 따라 변화하는 값을 반영하여 사람의 움직임을 나타낼 수 있는 3D 영상을 생성할 수 있다.

본 발명의 일 실시예에 따르면 영상 데이터를 동작 영상 생성 모델에 입력하여 영상 데이터에 포함된 배경 이미지를 이용하여 배경화면 영상 데이터를 생성할 수 있다.

최적 쇼 호스팅 교육 영상 선정부(240)는 복수의 3D 합성 영상 데이터에 대한 선호도 정보를 이용하여 가장 높은 선호도를 보인 3D 합성 영상 데이터를 재생한 영상 콘텐츠를 통해 최적 쇼호스팅 교육 영상으로 선정할 수 있다.

본 발명의 일 실시예에 따르면 3D 합성 영상 데이터 선호도 정보를 대상으로 협업적 필터링을 수행하여 각 희망 개선 항목 별 직접 관심 정보와 간접 관심 정보로 세부 정보를 분류할 수 있다.

본 발명의 일 실시예에 따르면 분류된 직접 관심 정보와 간접 관심 정보를 인공 신경망 기반의 선호도 정보 생성 모델에 입력하여 3D 합성 영상 데이터에 대한 선호도를 산출하여 사용자 선호도 정보를 생성할 수 있다.

본 발명의 일 실시예에 따르면 3D 합성 영상 데이터에 대한 명시적인 선호도를 나타내는 직접 관심 정보가 존재하는 3D 합성 영상 데이터의 경우 해당 선호도에 따라 선호도를 산출할 수 있으며, 직접 관심 정보와 간접 관심 정보를 이용하여 3D 합성 영상 데이터에 대한 선호도를 산출함으로써 직접 관심 정보가 존재하지 아니하는 3D 합성 영상 데이터에 대한 선호도의 산출이 가능하고 더 나아가 직접 관심 정보가 존재하는 3D 합성 영상 데이터에 대해서도 간접 관심 정보를 이용하여 가중치 값을 부여하여 더욱 정확한 선호도를 산출할 수 있다.

본 발명의 일 실시예에 따르면 선호도 정보 생성 모델은 복수의 사용자에 각각에 대한 목적함수 및 샘플링 확률 분포(sampling probability distribution)를 산출하며, 직접 관심 정보 및 샘플링 확률 분포를 이용하여 복수의 사용자 각각에 대한 선호도의 차이가 미리 설정된 기준을 만족하는 직접 관심 정보와 간접 관심 정보를 연관 항목세트로 선정하여 복수의 항목 세트를 생성할 수 있다.

본 발명의 일 실시예에 따르면 선호도 정보 생성 모델의 목적 함수는 수학식 5와 같이 나타낼 수 있다.

여기서 u는 사용자이며,

는 사용자 u의 직접 관심 정보의 평가 벡터이며,

는 사용자 u의 간접 관심 정보인 평가 벡터이고,

는 사용자 u의 평가 정보 존재 유무에 대한 인디케이터 벡터이며,

는 활성화함수(sigmoid 또는 hyperbolic 탄젠트 함수)이며,

와

는 사용자 u의 3D 합성 영상 데이터 i,j에 대한 평가 결과 예상치이며,

와

는 정규화항에 대한 중요도를 제어하기 위해 설정하는 파라미터이고

은 딥러닝 모델에 대응되는 파라미터를 의미할 수 있다.

본 발명의 일 실시예에 따르면 샘플링 확률 분포는 사용자의 관심도가 낮은 3D 합성 영상 데이터가 선호도가 낮은 3D 합성 영상 데이터으로 샘플링되도록 구성될 수 있으며, 이러한 샘플링확률분포는 아래와 같은 수학식 6와 같이 나타낼 수 있다.

수학식 2에서

는 소프트맥스(softmax)함수를 의미할 수 있다.

본 발명의 일 실시예에 따르면 선호도 정보 생성 모델은 복수의 항목 세트에 근거하여 직접 관심 정보 또는 간접 관심 정보에 따른 3D 합성 영상 데이터에 대한 선호도를 산출하도록 학습된 인공 신경망을 기반으로 한 모델일 수 있다.

본 발명의 일 실시예에 따르면 선호도 정보 생성 모델은 직접 관심 정보와 간접 관심 정보에 텍스트에 포함된 단어들의 수 및 단어들 간의 상관 관계에 기반하여 산출된 제1 점수를 산출할 수 있으며, 이미지와 기 저장된 유사도 계산용 기준 이미지와의 유사도에 기반하여 산출된 제2 점수를 산출할 수 있다.

본 발명의 일 실시예에 따르면 산출된 제1, 2점수를 이용하여 사용자 의향에 상응하는 복수의 3D 합성 영상 데이터들의 선호 유사도들을 계산하고, 선호 유사도들에 기반하여 선호 항목 풀(POOL)에 기 저장된 복수개의 연관 항목들 중 가장 높은 작업 유사도를 갖는 연관 항목을 항목 세트로 선정할 수 있다.

본 발명의 일 실시예에 따르면 복수의 3D 합성 영상 데이터들에 기 설정된 조건에 따라 가중치를 설정하고, 가중치가 설정된 3D 합성 영상 데이터로부터 계산된 작업 유사도의 가중합(WEIGHTED SUM)을 산출할 수 있으며, 계산된 가중합을 고려하여 선호도를 산출할 수 있다.

본 발명의 일 실시예에 따르면 3D 합성 영상 데이터별로 선호도를 산출하여 가장 높은 선호도 점수를 나타내는 3D 합성 영상 데이터를 최적 쇼호스팅 교육 영상으로 선정할 수 있다.

상품 판매 권한 설정부(250)는 최적 쇼호스팅 영상을 수강한 사용자에게만 해당 상품을 판매할 수 있는 권한을 부여할 수 있다.

본 발명의 일 실시예에 따르면 최적 쇼호스팅 영상을 수강한 사용자에게만 해당 상품을 판매할 수 있도록 판매 상품에 대한 판매 권한 설정을 시스템상에서 자동으로 설정할 수 있다.

도 4는 도 3에 도시된 행동 정보 생성부의 세부 구성도이다.

도 4를 참조하면 본 발명의 일 실시예에 따르면 행동 정보 생성부(200)의 세부 구성이 나타나 있으며, 행동 정보 생성부(200)는 제1 행동 정보 생성부(211), 제2 행동 정보 생성부(212)가 포함될 수 있다.

제1 행동 정보 생성부(211)는 특징점 추출 모듈에 영상 데이터를 입력하여 특징점을 추출하고, 추출된 특징점을 미리 설정 해놓은 신체 부위별로 라벨링할 수 있다.

본 발명의 일 실시예에 따르면 제1 행동 정보 생성부(211)는 특징점 추출 모듈, 행동 정보 분석 모듈로 형성된 인공 신경망 기반의 영상 분석 모델을 포함할 수 있다.

본 발명의 일 실시예에 따르면 특징점 추출 모듈은 미리 설정된 신체 부위를 특정할 수 있는 특징점을 영상으로부터 추출할 수 있도록 학습된 모델일 수 있다.

본 발명의 일 실시예에 따르면 추출된 특징점 중 적어도 하나의 특징점을 신체 부위에 매칭시켜 라벨링할 수 있다.

또한 행동 정보 분석 모듈에 라벨링된 특징점 및 영상 데이터를 입력하여 각 특징점 별 동선, 이동 속도 및 이동 각도를 포함하는 특징 맵을 생성하고, 생성된 특징 맵에 출력 활성화 함수를 적용하여 제1 행동 정보를 출력할 수 있다.

본 발명의 일 실시예에 따르면 특징 맵은 특징점 별 동선, 이동 속도 및 이동 각도를 그룹화하여 다수의 그룹을 생성하고 이를 특징점에 매칭되는 신체 부위로 정렬해서 생성한 데이터일 수 있다.

제2 행동 정보 생성부(212)는 각 깊이 카메라별 송수신 시간 데이터를 분석하여 미리 설정 해놓은 신체 부위별 연속된 깊이 데이터, 속도 데이터, 진폭 데이터를 생성할 수 있다.

본 발명의 일 실시예에 따르면 제2 행동 정보 생성부(212)는 진폭 데이터를 이용하여 진폭의 크기에 따라 누적 분포 함수 및 노이즈 함수를 이용하여 검출된 노이즈를 제거하고, 연속형 확률 분포 함수를 이용하여 표면의 빛의 흡수량에 상관없이 일정한 진폭으로 정규화 시킨 각 깊이 카메라 별로 생성된 신체 부위별 깊이 데이터, 속도 데이터, 진폭 데이터를 중간값 필터로 평균화하여 제2 행동 정보를 생성할 수 있다.

본 발명의 일 실시예에 따르면 누적 분포 함수는 수학식 3을 기반으로 수행될 수 있다.

본 발명의 일 실시예에 따르면 노이즈 함수(NF)는 수학식 4을 기반으로 수행될 수 있다.

본 발명의 일 실시예에 따르면 중간값 필터는 오차가 발생한 데이터 각각에 가중치를 적용하여 산출된 값들을 중간 값으로 평균화하여 오차를 제거할 수 있는 필터를 의미할 수 있다.

여기서 오차가 발생한 데이터의 신체 부위별로 가중치를 부여하고 제1 행동 정보, 제2 행동 정보 별로도 가중치를 부여하여 가중치를 적용하여 산출한 값들의 중간 값으로 평균화를 수행하여 최종 행동 정보를 생성할 수 있으며, 본 발명의 일 실시예에 따르면 가중치 값들은 인공 신경망 기반의 판단 모델에 의해 정확도가 상대적으로 향상되도록 업데이트 될 수 있다.

본 발명의 일 실시예에 따르면 최종 행동 정보에 따라 생성된 3D 영상과 영상 데이터를 비교하여 정확도를 평가하는 인공 신경망 기반의 판단 모델을 이용할 수 있다.

상기 실시예에 따르면 인공 신경망 기반의 판단 모델을 이용하여 최종 행동 정보에 따라 생성된 3D 영상이 영상 데이터와 행동이 일치한다고 인정될 정도로 근사함을 평가할 수 있는 것으로 판단하기 위한 기준 행동 정보에 대한 제1 기대값을 설정하고, 최종 행동 정보에 따라 생성된 3D 영상과 제1 기대값의 차이를 제1 차이값으로 산출할 수 있다.

또한 최종 행동 정보에 따라 생성된 3D 영상이 영상 데이터와 행동이 일치한다고 인정될 정도로 근사함을 평가할 수 없는 것으로 판단하기 위한 기준 행동 정보에 대한 제2 기대값을 설정하고, 상기 최종 행동 정보에 따라 생성된 3D 영상과 제2 기대값의 차이를 제2 차이값으로 산출할 수 있다.

상기 실시예에 따르면 제1 차이값과 제2 차이값의 합을 기반의 최종 행동 정보 생성 모델을 구성하는 인경 신경망의 구분 손실값으로 산출하고, 구분 손실값이 최소가 되도록 가중치를 고정하여, 최종 행동 정보 생성 모델의 오차가 발생한 데이터 각각에 적용하는 가중치로 업데이트할 수 있다.

도 5는 본 발명의 일 실시예에 따라 합성곱 연산망으로 구현된 영상 분석 모델을 나타낸 도면이다.

도 5를 참조하면 본 발명의 일 실시예에 따라 구현된 영상 분석 모델이 도시되어 있으며 영상 분석 모델은 합성곱 연산망으로 형성될 수 있으며, 각 깊이 카메라가 수집한 복수의 영상 데이터를 입력층에 입력 받고 제1 행동 정보를 출력할 수 있다.

도 6은 본 발명의 일 실시예에 따라 구현된 영상 분석 모델에 있어 특징점 추출 모듈과 행동 정보 분석 모듈 사이의 데이터 흐름을 나타낸 도면이다.

도 6을 참조하면 본 발명의 일 실시예에 따라 구현된 영상 분석 모델에 포함된 특징점 추출 모듈과 행동 정보 분석 모듈의 데이터 흐름이 나타나 있다.

본 발명의 일 실시예에 따르면 각 깊이 카메라에서 수집된 복수의 영상 데이터를 특징점 추출 모듈에 입력하면 미리 설정된 신체 부위를 특정할 수 있는 특징점을 영상으로부터 추출되며, 추출된 특징점 중 적어도 하나의 특징점을 신체 부위에 매칭시켜 라벨링한 라벨링된 특징점 정보가 생성될 수 있다.

본 발명의 일 실시예에 따르면 행동 정보 분석 모듈에 라벨링된 특징점 정보와 각 깊이 카메라에서 수집된 복수의 영상 데이터를 입력하면 각 특징점 별 동선, 이동 속도 및 이동 각도를 포함하는 제1 행동 정보가 생성될 수 있다.

도 7은 본 발명의 일 실시예에 따라 구현된 동작 영상 생성 모델에 포함된 세부 모듈을 나타낸 도면이다.

도 7을 참조하면 본 발명의 일 실시예에 따라 구현된 동작 영상 생성 모델에 포함된 세부 모듈이 개시되어 있으며 동작 영상 생성 모델은 복수의 연산 레이어로 이루어진 합성곱 인공 신경망으로 구현되고 배경화면 생성 모듈, 동작 영상 생성 모듈, 3D 영상 합성 모듈을 포함할 수 있다.

본 발명의 일 실시예에 따르면 3D 영상 합성 모듈은 상기 영상 데이터를 입력하면 영상 데이터에 포함된 객체를 제외한 복수의 배경 이미지를 추출하고, 추출된 복수의 배경 데이터를 레퍼런스 이미지에 매칭하여 전처리를 수행할 수 있다.

여기서 레퍼런스 이미지는 복수로 생성된 배경 이미지에 매칭되어 전방위 영상으로 조합되기 위해 그 위치 및 크기에 대하여 미리 설정된 기준 이미지를 의미할 수 있다.

상기 실시예에 따르면 전처리가 수행된 복수의 배경 데이터를 분석하여 구간별로 디스크립터 데이터를 설정하며, 복수의 이미지 데이터 중 공간상 연결되는 이미지 데이터 간에 서로 공유되는 디스크립터 데이터를 도출하고, 도출된 디스크립터 데이터를 기준으로 복수의 이미지를 정합하여 360도 회전이 가능한 배경화면 영상 데이터를 생성할 수 있다.

여기서 디스크립터 데이터는 두 이미지 간 유사도를 측정하기 위하여 이미지에서 의미 있는 특징들을 적절한 숫자로 변환하여 산출된 특징을 대표할 수 있는 숫자에 대한 데이터를 의미할 수 있다.

본 발명의 일 실시예에 따르면 획득한 복수의 배경 데이터를 대상으로 이미지 부분별로 특징적인 부분(Scale-space extrema detection)을 찾아 특징점으로 분류할 수 있으며, 분류된 특징점들 중에서 신뢰도 있는 최종 특징점인 핵심 특징점을 선별하여 핵심 특징점들의 픽셀값(Intensity), 핵심 특징점들 중 객체의 코너에 해당하는 위치나 크기 등을 기준으로 최종 특징점을 우선 선별할 수 있다.

상기 실시예에 따르면 최종 특징점의 주변 영역에 대해 경사도를 산출하여 전체적으로 주변 영역의 픽셀들이 가리키는 방향을 구하고, 주변 영역의 픽셀들이 가리키는 방향이 0도가 되도록 회전하여 주변 영역에 당하는 부분을 디스크립터 데이터로 설정할 수 있다.

본 발명의 일 실시예에 따르면 디스크립터 데이터는 최종 특징점의 주변 영역의 픽셀 값들이 포함될 수 있으며, 최종 특징점을 기준으로 주변 영역의 픽셀 값들의 방향정보에 기반한 히스토그램 정보도 포함되므로, 디스크립터 데이터를 이용하여 촬영각에 따라 변경된 복수의 이미지 데이터를 대비하여 동일한 구간을 나타내는 타겟 포인트를 식별함으로써 서로 이웃하는 이미지 데이터들을 정확하게 정합하여 배경화면 영상 데이터를 생성할 수 있다.

본 발명의 일 실시예에 따르면 동작 영상 생성 모듈은 미리 설정된 신체 부위를 중심으로 각 신체 부위를 연결해 사람의 형상을 3D로 생성하고, 생성된 사람의 형상을 상기 최종 행동 정보에 포함된 각 신체 부위별 동선, 이동 속도 및 이동 각도에 따라 각 신체 부위별로 움직이는 동작 영상 데이터를 생성할 수 있다.

본 발명의 일 실시예에 따르면 3D 영상 합성 모듈은 상기 360도 회전이 가능한 배경화면에 3D 가상 인물의 동작 영상을 위치 및 각도에 따라 합성하고 음성 데이터 또한 합성하여 3D 합성 영상 데이터를 생성할 수 있다.

도 8은 본 발명의 일 실시예에 따라 합성곱 연산망으로 구현된 동작 영상 생성 모델에 포함된 세부 모듈을 나타낸 도면이다.

도 8을 참조하면 본 발명의 일 실시예에 따라 합성곱 신경망 기반으로 구현된 동작 영상 생성 모델이 도시되어 있으며, 각 깊이 카메라별 영상 데이터와 음성 데이터, 각 신체 부위별 동선, 이동속도, 이동 각도 정보를 동작 영상 모델에 입력 받으면 3D 합성 영상 데이터를 출력할 수 있다.

도 9는 본 발명의 일 실시예에 따라 구현된 동작 영상 생성 모델에 있어 배경화면 생성 모듈, 동작 영상 생성 모듈, 3D영상 합성 모듈 사이의 데이터 흐름을 나타낸 도면이다.

도 9을 참조하면 본 발명의 일 실시예에 따라 구현된 동작 영상 생성 모델에 포함된 배경화면 생성 모듈, 동작 영상 생성 모듈, 3D 영상 합성 모듈 사이의 데이터 흐름이 나타나 있다.

본 발명의 일 실시예에 따르면 배경화면 생성 모듈에 각 깊이 카메라별 영상 데이터를 입력하여 배경화면 영상 데이터를 출력 받고, 동작 영상 생성 모듈에 각 신체 부위별 동선, 이동 속도, 이동 각도 정보를 입력하여 동작 영상 데이터를 출력할 수 있다.

상기 일 실시예에 따르면 배경화면 생성 모듈과 동작 영상 생성 모듈에서 각각 출력된 배경화면 영상 데이터 및 동작 영상 데이터 그리고 음성 데이터를 3D 영상 합성 모듈에 입력하여 3D 합성 영상 데이터를 출력 받을 수 있다.

도 10은 본 발명의 일 실시예에 무식별 영상 기반의 소셜 네트워크 서비스 방법의 흐름도이다.

복수의 깊이 카메라를 이용하여 사용자의 쇼 호스팅 과정을 촬영하여 음성 데이터, 영상 데이터 및 영상 데이터에 대응하는 송수신 시간 데이터를 포함한 동작 정보를 수집한다(S10).

본 발명의 일 실시예에 따르면 복수의 깊이 카메라를 이용하여 사용자의 쇼 호스팅 과정을 전방위로 촬영하여 음성 데이터, 영상 데이터 및 상기 영상 데이터에 대응하는 송수신 시간 데이터를 포함한 동작 정보를 수집할 수 있다.

본 발명의 일 실시예에 따르면 깊이 카메라로는 구 좌표계의 원점에서 펄스 변조된 적외선(IR) 빔을 목표물에 발사시켜 수평(pan, φ)과 상하(tilt, θ)로 스캐닝하여 구 표면(sphere surface)의 각기 다른 불연속 점(г, θ, φ)의 분포(point??wise)에서 일어나는 역방향 산란(back scattering)으로 반사되어 원점으로 되돌아오는 시간, 즉 송수신 시간을 기반으로 배경 내 목표물의 3차원 영상 정보를 획득할 수 있는 카메라가 사용될 수 있다.

본 발명의 일 실시예에 따르면 복수개의 깊이 카메라는 적어도 하나의 사람의 움직임을 전방위로 촬영할 수 있도록 일정한 각도를 기준으로 설치될 수 있으며, 영상 데이터, 음성 데이터 및 영상 데이터와 시간을 기준으로 대응되는 미리 설정된 신체 부위별 송수신 시간 데이터를 수집할 수 있다.

본 발명의 일 실시예에 따르면 송수신 시간 데이터를 수집함에 있어, 2단계의 깊이 측정을 수행할 수 있다.

본 발명의 일 실시예에 따르면 2단계의 깊이 측정은 제1 깊이 측정 단계 및 제2 깊이 측정 단계로 구분할 수 있다.

상기 실시예와 같이 2단계로 나누어 깊이 측정을 수행하는 이유는 단일 주파수를 사용할 때 낮은 변조 주파수를 이용하여 깊이 측정을 수행하는 경우에는 최대 범위는 넓어지지만 측정 품질은 낮아지는 단점이 존재하며, 반대로, 높은 변조 주파수를 이용하여 깊이 측정을 수행하는 경우에는 측정 품질은 향상시킬 수 있지만 최대 범위는 좁아진다는 단점이 존재하므로, 이러한 단점을 최대한 보완하기 위함에 있다.

본 발명의 일 실시예에 따르면 제1 깊이 측정은 낮은 변조 주파수를 이용하여 깊이를 측정하여 미리 설정된 신체 부위별 관심 영역에 대하여 낮은 측정 품질로 측정을 수행할 수 있다.

본 발명의 일 실시예에 따르면 제2 깊이 측정은 제1 깊이 측정의 신체 부위별 관심 영역에 대한 측정 결과를 기반으로 높은 변조 주파수를 이용하여 깊이를 측정하여 높은 측정 품질로 측정 정밀도를 상승시킬 수 있다.

본 발명의 일 실시예에 따르면 넓은 최대 깊이 범위를 갖도록 낮은 변조 주파수를 이용하는 제1 깊이 측정은, 넓은 깊이 범위를 대상으로 대략적인 깊이를 측정할 수 있으며, 이때의 측정 품질은 변조 주파수에 비례관계를 가지므로 제1 깊이 측정을 통해 측정된 경과는 넓은 관심 영역에 대하여 낮은 측정 품질을 제공할 수 있다.

본 발명의 일 실시예에 따르면 제2 깊이 측정은 최대 깊이 범위가 제1 깊이 측정의 정밀도를 기반으로 설정될 수 있으며, 상대적으로 더 높은 주파수를 선택하여 좁은 관심 영역에 대한 높은 측점 품질을 제공함으로써 제1 깊이 측정 결과의 오차를 보상할 수 있다.

본 발명의 일 실시예에 따르면 낮은 변조 주파수는 수학식 1를 기반으로 선정될 수 있다.

본 발명의 일 실시예에 따르면 높은 변조 주파수는 낮은 변조 주파수의 사용시 측정된 표준 편차에 반비례하는 값으로 선정될 수 있으며, 표준 편차가 미리 설정한 한계값보다 작다면, 이는 신호 대 잡음비가 높은 것으로 판단하여 표준 편차가 미리 설정한 한계 값보다 큰 경우보다 상대적으로 높은 주파수로 선정될 수 있다.

여기서 표준 편차(

)는 수학식 2를 기반으로 산출될 수 있다.

본 발명의 일 실시예에 따르면 제1 깊이 측정 단계 및 제2 깊이 측정 단계를 다수 수행하여 반복된 측정을 통해 측정 정밀도를 상승시킬 수 있다.

동작 정보에 포함된 각 깊이 카메라별 영상 데이터를 인공 신경망 기반의 영상 분석 모델에 입력하여 각 신체 부위별 동선, 이동 속도 및 이동 각도를 포함하는 제1 행동 정보를 생성한다(S20).

수신한 동작 정보에 포함된 각 깊이 카메라별 영상 데이터를 인공 신경망 기반의 영상 분석 모델에 입력하여 각 신체 부위별 동선, 이동 속도 및 이동 각도를 포함하는 제1 행동 정보를 생성할 수 있다.

동작 정보에 포함된 송수신 시간 데이터를 분석하여 연속된 복수의 깊이 데이터, 속도 데이터, 진폭 데이터를 생성하여 노이즈를 제거한 후 중간값으로 평균화하여 제2 행동 정보를 생성한다(S30).

동작 정보에 포함된 각 깊이 카메라별 송수신 시간 데이터를 분석하여 연속된 복수의 깊이 데이터, 속도 데이터, 진폭 데이터를 생성하고, 진폭 데이터를 이용하여 진폭의 크기에 따라 누적 분포 함수 및 노이즈 제거 함수를 이용하여 노이즈를 제거하고, 노이즈가 제거된 각 깊이 카메라 별로 생성된 신체 부위별 깊이 데이터, 속도 데이터, 진폭 데이터를 중간 값으로 평균화하여 제2 행동 정보를 생성할 수 있다.

본 발명의 일 실시예에 따르면 인공 신경망 기반의 영상 분석 모델은 깊이 카메라별 영상 데이터를 입력층에 입력 받아 미리 설정된 각 신체 부위별로 동선, 이동 속도, 이동 각도 정보를 출력할 수 있으며, 이를 각 신체 부위별로 그룹핑하여 제1 행동 정보를 생성하도록 학습될 수 있다. 본 발명의 일 실시예에 따르면 각 깊이 카메라 별로 생성된 신체 부위별 송수신 시간 데이터를 분석하여 각 신체 부위별로 시간의 흐름에 따라 연속된 깊이 데이터, 속도 데이터, 진폭 데이터를 생성할 수 있다.

여기서 깊이 데이터란 관심 영역의 3차원적 위치를 인식할 수 있는 데이터를 의미할 수 있으며, 속도 데이터는 깊이 데이터를 기반으로 시간의 흐름에 따라 위치의 변경을 통해 산출된 이동 속도를 의미할 수 있으며, 진폭 데이터는 깊이 카메라에 의해 송신된 광은 표면의 진폭 정도에 따라 표면의 광 강도가 상이하므로 손상된 광이 반사되어 생긴 표면의 광 강도를 의미할 수 있다.

본 발명의 일 실시예에 따르면 진폭 데이터를 이용하여 진폭의 크기에 따라 누적 분포 함수 및 노이즈 함수를 이용하여 노이즈를 제거할 수 있다.

상기 실시예에 다르면 진폭 데이터는 깊이 카메라에 의해 반사되는 광이 얼마나 밝은지를 나타낼 수 있고, 이는 표면의 진폭 정도에 따라 표면의 광 강도가 상이하게 나타나는 것을 특징을 기반으로 한다.

본 발명의 일 실시예에 따르면 깊이 카메라에 사용되는 비이상적인 파형으로 인해 생기는 잡음과 객체의 경계에 생기는 노이즈를 제거하기 위해 누적 분포 함수 및 노이즈 함수를 사용하여 필터링을 수행할 수 있다.

본 발명의 일 실시예에 따르면 누적 분포 함수는 수학식 3을 기반으로 수행될 수 있다.

본 발명의 일 실시예에 따르면 노이즈 함수(NF)는 수학식 4를 기반으로 수행될 수 있다.

제1 행동 정보와 제2 행동 정보를 시간을 기준으로 정합 하여 오차를 산출하고, 산출된 오차에 대해서는 연속형 가중치 중간값 필터를 사용하여 오차를 제거하여 최종 행동 정보로 생성한다(S40).

본 발명의 일 실시예에 따르면 제1 행동 정보와 제2 행동 정보를 시간을 기준으로 정합 하여 오차를 산출하고, 산출된 오차에 대해서는 연속형 가중치 중간값 필터를 사용하여 오차를 제거하여 최종 행동 정보로 생성할 수 있다.

본 발명의 일 실시예에 따르면 제1 행동 정보와 제2 행동 정보를 인공 신경망 기반의 최종 행동 정보 생성 모델에 입력하여 제1 행동 정보와 제2 행동 정보에 포함된 신체 부위별 동선, 이동 속도 및 이동 각도를 대비하여 발생하는 차이를 오차로 산출하고, 오차가 발생한 데이터 각각에 가중치를 적용하여 산출된 값들을 중간 값으로 평균화하여 오차를 제거함으로써 하나의 신체 부위별 깊이 데이터, 속도 데이터, 진폭 데이터를 가진 최종 행동 정보를 생성할 수 있다.

본 발명의 일 실시예에 따르면 최종 행동 정보 생성 모델은 동작 분석 모듈 및 정합 모듈을 포함할 수 있다.

본 발명의 일 실시예에 따르면 동작 분석 모듈은 제2 행동 정보에 포함된 각 깊이 카메라 별로 생성된 신체 부위별 깊이 데이터, 속도 데이터, 진폭 데이터를 입력 받아 각 신체 부위별 동선, 이동 속도 및 이동 각도 정보를 출력할 수 있다.

본 발명의 일 실시예에 따르면 정합 모듈은 제1 행동 정보에 포함된 각 신체 부위별 동선, 이동 속도 및 이동 각도와 제2 행동 정보에 포함된 각 신체 부위별 동선, 이동 속도 및 이동 각도를 입력 받아 발생하는 차이를 오차로 산출할 수 있다.

상기 실시예에 따르면 오차가 발생한 데이터 각각에 가중치를 적용하여 산출된 값들을 중간 값으로 평균화하여 오차를 제거함으로써 하나의 신체 부위별 동선, 이동 속도 및 이동 각도를 출력할 수 있고, 이를 포함하는 최종 행동 정보를 생성할 수 있다.

여기서 오차가 발생한 데이터의 신체 부위별로 가중치를 부여하고 제1 행동 정보, 제2 행동 정보 별로도 가중치를 부여하여 가중치를 적용하여 산출한 값들의 중간 값으로 평균화를 수행하여 최종 행동 정보를 생성할 수 있으며, 본 발명의 일 실시예에 따르면 가중치 값들은 인공 신경망 기반의 판단 모델에 의해 정확도가 상대적으로 향상되도록 업데이트 될 수 있다.

본 발명의 일 실시예에 따르면 최종 행동 정보에 따라 생성된 3D 영상과 영상 데이터를 비교하여 정확도를 평가하는 인공 신경망 기반의 판단 모델을 이용할 수 있다.

상기 실시예에 따르면 인공 신경망 기반의 판단 모델을 이용하여 최종 행동 정보에 따라 생성된 3D 영상이 영상 데이터와 행동이 일치한다고 인정될 정도로 근사함을 평가할 수 있는 것으로 판단하기 위한 기준 행동 정보에 대한 제1 기대값을 설정하고, 최종 행동 정보에 따라 생성된 3D 영상과 제1 기대값의 차이를 제1 차이값으로 산출할 수 있다.

또한 최종 행동 정보에 따라 생성된 3D 영상이 영상 데이터와 행동이 일치한다고 인정될 정도로 근사함을 평가할 수 없는 것으로 판단하기 위한 기준 행동 정보에 대한 제2 기대값을 설정하고, 상기 최종 행동 정보에 따라 생성된 3D 영상과 제2 기대값의 차이를 제2 차이값으로 산출할 수 있다.

상기 실시예에 따르면 제1 차이값과 제2 차이값의 합을 기반의 최종 행동 정보 생성 모델을 구성하는 인경 신경망의 구분 손실값으로 산출하고, 구분 손실값이 최소가 되도록 가중치를 고정하여, 최종 행동 정보 생성 모델의 오차가 발생한 데이터 각각에 적용하는 가중치로 업데이트할 수 있다.

최종 행동 정보에 포함된 각 신체 부위별 동선, 이동 속도 및 이동 각도 및 상기 영상 데이터, 음성 데이터를 동작 영상 생성 모델에 입력하여 3D 합성 영상 데이터를 생성한다(S50).

본 발명의 일 실시예에 따르면 최종 행동 정보에 포함된 시간의 흐름에 따른 각 신체 부위별 동선, 이동 속도 및 이동 각도 및 영상 데이터, 음성 데이터를 동작 영상 생성 모델에 입력하여 사람의 움직임에 대한 3D 합성 영상 데이터를 생성할 수 있다.

본 발명의 일 실시예에 따르면 동작 영상 생성 모델에 최종 행동 정보에 포함된 시간의 흐름에 따른 각 신체 부위별 동선, 이동 속도 및 이동 각도를 입력하여 각 신체 부위를 기점으로 하고, 이를 연결하여 사람의 형상으로 3D 영상을 생성할 수 있으며 시간의 흐름에 따라 변화하는 값을 반영하여 사람의 움직임을 나타낼 수 있는 3D 영상을 생성할 수 있다.

본 발명의 일 실시예에 따르면 영상 데이터를 동작 영상 생성 모델에 입력하여 영상 데이터에 포함된 배경 이미지를 이용하여 배경화면 영상 데이터를 생성할 수 있다.

3D 합성 영상 데이터를 영상으로 재생한 3D 쇼 호스팅 영상을 사용자에게 제공하고, 사용자로부터 3D 합성 영상 데이터에 대한 선호도 정보를 수집한다(S60).

본 발명의 일 실시예에 따르면 사용자로부터 입력 받은 3D 합성 영상 데이터별 선호도 정보를 분석하여 직접 관심 정보와 간접 관심 정보로 분류할 수 있으며, 분류된 직접 관심 정보와 간접 관심 정보를 선호도 정보 생성 모델에 입력하여 3D 합성 영상 데이터별 사용자 선호도 정보를 생성할 수 있다.

본 발명의 일 실시예에 따르면 3D 합성 영상 데이터에 대한 선호도 정보는 특정 인테리어 항목에 대한 선호도를 나타낼 수 있는 정보를 의미할 수 있으며 3D 합성 영상 데이터를 영상으로 재생한 3D 쇼 호스팅 영상에 대한 명시적인 선호도를 나타내는 직접 관심 정보와 응답, 미응답 또는 관련성을 통해 선호도를 유추할 수 있는 정보들을 포함하는 간접 관심 정보를 포함할 수 있다.

여기서 직접 관심 정보는 사용자가 직접 기술한 및 점수를 산정한 3D 합성 영상 데이터의 선호도에 대한 사용자 정보 또는 3D 합성 영상 데이터에 대한 선호도 평가를 분석하여 획득한 사용자의 선호도 정보를 의미할 수 있으며, 간접 관심 정보는 특정 3D 합성 영상 데이터를 직접 지정하지는 않았지만 3D 합성 영상 데이터들의 선호 유사도 또는 작업 유사도를 이용하여 사용자의 선호도를 예측할 수 있는 정보를 의미할 수 있다.

본 발명의 일 실시예에 따르면 3D 합성 영상 데이터를 대상으로 협업적 필터링을 수행하여 각 3D 합성 영상 데이터 별 직접 관심 정보와 간접 관심 정보로 사용자 선호도 정보에 포함된 세부 정보를 분류할 수 있다.

복수의 3D 합성 영상 데이터에 대한 선호도 정보를 이용하여 가장 높은 선로도를 보인 3D 합성 영상 데이터를 재생한 영상 콘텐츠를 통해 최적 쇼 호스팅 교육 영상으로 선정한다(S70).

본 발명의 일 실시예에 따르면 복수의 3D 합성 영상 데이터에 대한 선호도 정보를 이용하여 가장 높은 선호도를 보인 3D 합성 영상 데이터를 재생한 영상 콘텐츠를 통해 최적 쇼호스팅 교육 영상으로 선정할 수 있다.

본 발명의 일 실시예에 따르면 3D 합성 영상 데이터 선호도 정보를 대상으로 협업적 필터링을 수행하여 각 희망 개선 항목 별 직접 관심 정보와 간접 관심 정보로 세부 정보를 분류할 수 있다.

본 발명의 일 실시예에 따르면 분류된 직접 관심 정보와 간접 관심 정보를 인공 신경망 기반의 선호도 정보 생성 모델에 입력하여 3D 합성 영상 데이터에 대한 선호도를 산출하여 사용자 선호도 정보를 생성할 수 있다.

본 발명의 일 실시예에 따르면 3D 합성 영상 데이터에 대한 명시적인 선호도를 나타내는 직접 관심 정보가 존재하는 3D 합성 영상 데이터의 경우 해당 선호도에 따라 선호도를 산출할 수 있으며, 직접 관심 정보와 간접 관심 정보를 이용하여 3D 합성 영상 데이터에 대한 선호도를 산출함으로써 직접 관심 정보가 존재하지 아니하는 3D 합성 영상 데이터에 대한 선호도의 산출이 가능하고 더 나아가 직접 관심 정보가 존재하는 3D 합성 영상 데이터에 대해서도 간접 관심 정보를 이용하여 가중치 값을 부여하여 더욱 정확한 선호도를 산출할 수 있다.

최적 쇼 호스팅 영상을 수강한 사용자에게만 해당 상품을 판매할 수 있는 권한을 부여한다(S80).

최적 쇼호스팅 영상을 수강한 사용자에게만 해당 상품을 판매할 수 있는 권한을 부여할 수 있다.

본 발명의 일 실시예에 따르면 최적 쇼호스팅 영상을 수강한 사용자에게만 해당 상품을 판매할 수 있도록 판매 상품에 대한 판매 권한 설정을 시스템상에서 자동으로 설정할 수 있다.

본 발명의 실시 예는 이상에서 설명한 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (5)

1. 폐쇄형 쇼 호스팅 서비스 제공 시스템에 접속하여 쇼호스팅 활동을 촬영한 영상 데이터, 음성 데이터 및 송수신 시간 데이터를 기반으로 3D 합성 영상 데이터를 생성하고, 상기 3D 합성 영상 데이터를 사용자 단말에 제공하며, 상기 사용자 단말로부터 수신한 3D 합성 영상 데이터에 대한 선호도 정보를 통해 최적 쇼호스팅 교육 영상을 선정하는 관리 서버 및
   상기 관리 서버와 연결되어 깊이 카메라로부터 수신한 영상 데이터 및 송수신 시간 데이터를 관리 서버에 제공하고, 수신한 상기 3D 합성 영상 데이터를 사용자에게 제공하고, 상기 사용자로부터 3D 합성 영상 데이터에 대한 선호도 정보를 수집하여 상기 관리 서버에 송신하는 사용자 단말을 포함하며,
   상기 사용자 단말은,
   복수의 깊이 카메라를 이용하여 사용자의 쇼 호스팅 과정을 전방위로 촬영하여 음성 데이터, 영상 데이터 및 상기 영상 데이터에 대응하는 송수신 시간 데이터를 포함한 동작 정보를 수집하여 상기 관리 서버로 송신하는 동작 정보 수집부; 및
   상기 관리 서버로부터 수신한 3D 합성 영상 데이터를 영상으로 재생한 3D 쇼호스팅 영상을 사용자에게 제공하고, 사용자로부터 상기 3D 합성 영상 데이터에 대한 선호도 정보를 수집하여 상기 관리서버에 송신하는 3D 쇼호스팅 영상 제공부를 포함하고,
   상기 관리 서버는,
   수신한 동작 정보에 포함된 각 깊이 카메라별 영상 데이터를 인공 신경망 기반의 영상 분석 모델에 입력하여 각 신체 부위별 동선, 이동 속도 및 이동 각도를 포함하는 제1 행동 정보를 생성하고, 상기 동작 정보에 포함된 각 깊이 카메라별 송수신 시간 데이터를 분석하여 연속된 복수의 깊이 데이터, 속도 데이터, 진폭 데이터를 생성하고, 상기 진폭 데이터를 이용하여 진폭의 크기에 따라 누적 분포 함수 및 노이즈 제거 함수를 이용하여 노이즈를 제거하고, 상기 노이즈가 제거된 각 깊이 카메라 별로 생성된 신체 부위별 깊이 데이터, 속도 데이터, 진폭 데이터를 중간 값으로 평균화하여 제2 행동 정보를 생성하는 행동 정보 생성부;
   상기 제1 행동 정보와 제2 행동 정보를 시간을 기준으로 정합 하여 오차를 산출하고, 산출된 오차에 대해서는 연속형 가중치 중간값 필터를 사용하여 오차를 제거하여 최종 행동 정보로 생성하는 최종 행동 정보 생성부; 및
   상기 최종 행동 정보에 포함된 시간의 흐름에 따른 각 신체 부위별 동선, 이동 속도 및 이동 각도 및 상기 영상 데이터를 동작 영상 생성 모델에 입력하여 사람의 움직임에 대한 3D 합성 영상 데이터를 생성하는 3D 영상 생성부;
   수신한 복수의 3D 합성 영상 데이터에 대한 선호도 정보를 이용하여 가장 높은 선호도를 보인 3D 합성 영상 데이터를 재생한 영상 콘텐츠를 통해 최적 쇼호스팅 교육 영상으로 선정하는 최적 쇼호스팅 교육 영상 선정부; 및
   상기 최적 쇼호스팅 영상을 수강한 사용자에게만 해당 상품을 판매할 수 있는 권한을 부여하는 상품 판매 권한 설정부를 포함하고,
   상기 최적 쇼호스팅 교육 영상 선정부는,
   3D 합성 영상 데이터 선호도 정보를 대상으로 협업적 필터링을 수행하여 각 희망 개선 항목 별 직접 관심 정보와 간접 관심 정보로 세부 정보를 분류하여, 분류된 직접 관심 정보와 간접 관심 정보를 인공 신경망 기반의 선호도 정보 생성 모델에 입력하여 3D 합성 영상 데이터에 대한 선호도를 산출하여 사용자 선호도 정보를 생성하고,
   상기 선호도 정보 생성 모델은,
   수학식 5을 기반으로 하여 복수의 사용자에 각각에 대한 목적함수 및 샘플링 확률 분포를 산출하며, 직접 관심 정보 및 샘플링 확률 분포를 이용하여 복수의 사용자 각각에 대한 선호도의 차이가 미리 설정된 기준을 만족하는 직접 관심 정보와 간접 관심 정보를 연관 항목세트로 선정하여 복수의 항목 세트를 생성하고,
   상기 복수의 항목 세트는,
   상기 직접 관심 정보와 간접 관심 정보에 텍스트에 포함된 단어들의 수 및 단어들 간의 상관 관계에 기반하여 산출된 제1 점수를 산출하고, 이미지와 기 저장된 유사도 계산용 기준 이미지와의 유사도에 기반하여 산출된 제2 점수를 산출하며,
   산출된 상기 제1, 2점수를 이용하여 사용자 의향에 상응하는 복수의 3D 합성 영상 데이터들의 선호 유사도들을 계산하고, 선호 유사도들에 기반하여 선호 항목 풀(POOL)에 기 저장된 복수개의 연관 항목세트 중 가장 높은 작업 유사도를 갖는 연관 항목세트를 복수의 항목 세트로 선정하며,
   상기 복수의 항목 세트에 근거하여 직접 관심 정보 또는 간접 관심 정보에 따른 3D 합성 영상 데이터에 대한 선호도를 산출하고,
   3D 합성 영상 데이터별로 선호도를 산출하여 가장 높은 선호도 점수를 나타내는 3D 합성 영상 데이터를 최적 쇼호스팅 교육 영상으로 선정하는 것을 특징으로 하는 폐쇄형 쇼 호스팅 서비스 제공 시스템.
2. 제 1 항에 있어서 상기 행동 정보 생성부는,
   특징점 추출 모듈, 행동 정보 분석 모듈로 형성된 인공 신경망 기반의 영상 분석 모델을 포함하며, 상기 특징점 추출 모듈에 상기 영상 데이터를 입력하여 특징점을 추출하고, 추출된 특징점을 미리 설정 해놓은 신체 부위별로 라벨링하며, 행동 정보 분석 모듈에 상기 신체 부위별 특징점 및 영상 데이터를 입력하여 각 특징점 별 동선, 이동 속도 및 이동 각도를 포함하는 특징 맵을 생성하고, 생성된 특징 맵에 출력 활성화 함수를 적용하여 제1 행동 정보를 출력하는 제1 행동 정보 생성부; 및
   상기 각 깊이 카메라별 송수신 시간 데이터를 분석하여 미리 설정 해놓은 신체 부위별 연속된 깊이 데이터, 속도 데이터, 진폭 데이터를 생성하고, 상기 진폭 데이터를 이용하여 진폭의 크기에 따라 누적 분포 함수 및 노이즈 함수를 이용하여 검출된 노이즈를 제거하고, 연속형 확률 분포 함수를 이용하여 표면의 빛의 흡수량에 상관없이 일정한 진폭으로 정규화 시킨 각 깊이 카메라 별로 생성된 신체 부위별 깊이 데이터, 속도 데이터, 진폭 데이터를 중간값 필터로 평균화하여 제2 행동 정보를 생성하는 제2 행동 정보 생성부를 더 포함하는 폐쇄형 쇼 호스팅 서비스 제공 시스템.
3. 제 2 항에 있어서 상기 최종 행동 정보 생성부는,
   상기 제1 행동 정보와 제2 행동 정보를 인공 신경망 기반의 최종 행동 정보 생성 모델에 입력하여 제1 행동 정보와 제2 행동 정보에 포함된 각 신체 부위별 동선, 이동 속도 및 이동 각도를 대비하여 발생하는 차이를 오차로 산출하고, 오차가 발생한 데이터 각각에 가중치를 적용하여 산출된 값들을 중간 값으로 평균화하여 오차를 제거함으로써 하나의 신체 부위별 동선, 이동 속도 및 이동 각도를 가진 최종 행동 정보를 생성하고,
   상기 최종 행동 정보에 따라 생성된 3D 영상과 영상 데이터를 비교하여 정확도를 평가하는 인공 신경망 기반의 판단 모델을 이용하여,
   상기 최종 행동 정보에 따라 생성된 3D 영상이 영상 데이터와 행동이 일치한다고 인정될 정도로 근사함을 평가할 수 있는 것으로 판단하기 위한 기준 행동 정보에 대한 제1 기대값을 설정하고, 상기 최종 행동 정보에 따라 생성된 3D 영상과 제1 기대값의 차이를 제1 차이값으로 산출하고,
   상기 최종 행동 정보에 따라 생성된 3D 영상이 영상 데이터와 행동이 일치한다고 인정될 정도로 근사함을 평가할 수 없는 것으로 판단하기 위한 기준 행동 정보에 대한 제2 기대값을 설정하고, 상기 최종 행동 정보에 따라 생성된 3D 영상과 제2 기대값의 차이를 제2 차이값으로 산출하고,
   상기 제1 차이값과 상기 제2 차이값의 합을 기반의 최종 행동 정보 생성 모델을 구성하는 인경 신경망의 구분 손실값으로 산출하고, 상기 구분 손실값이 최소가 되도록 가중치를 고정하여, 상기 최종 행동 정보 생성 모델의 오차가 발생한 데이터 각각에 적용하는 가중치로 업데이트하는 것을 특징으로 하는 폐쇄형 쇼 호스팅 서비스 제공 시스템.
4. 제 3 항에 있어서 상기 3D 영상 생성부는,
   복수의 연산 레이어로 이루어진 합성곱 인공 신경망으로 구현되고 배경화면 생성 모듈, 동작 영상 생성 모듈, 3D 영상 합성 모듈을 포함하는 동작 영상 생성 모델을 포함하고,
   상기 3D 영상 합성 모듈은 상기 영상 데이터를 입력하면 영상 데이터에 포함된 객체를 제외한 복수의 배경 이미지를 추출하고, 추출된 복수의 배경 데이터를 레퍼런스 이미지에 매칭하여 전처리를 수행하고, 전처리가 수행된 복수의 배경 데이터를 분석하여 구간별로 디스크립터 데이터를 설정하며, 복수의 이미지 데이터 중 공간상 연결되는 이미지 데이터 간에 서로 공유되는 디스크립터 데이터를 도출하고, 도출된 상기 디스크립터 데이터를 기준으로 복수의 이미지를 정합하여 360도 회전이 가능한 배경화면 영상 데이터를 생성하고,
   상기 동작 영상 생성 모듈은 미리 설정된 신체 부위를 중심으로 각 신체 부위를 연결해 사람의 형상을 3D로 생성하고, 상기 생성된 사람의 형상을 상기 최종 행동 정보에 포함된 각 신체 부위별 동선, 이동 속도 및 이동 각도에 따라 각 신체 부위별로 움직이는 동작 영상 데이터를 생성하고,
   상기 3D 영상 합성 모듈은 상기 360도 회전이 가능한 배경화면에 3D 가상 인물의 동작 영상을 위치 및 각도에 따라 합성하여 합성 영상 데이터를 생성하는 것을 특징으로 하는 폐쇄형 쇼 호스팅 서비스 제공 시스템.
5. 제 4 항에 있어서 상기 동작 정보 수집부는,
   송수신 시간 데이터를 수집함에 있어, 2가지의 변조 주파수를 이용하여 2단계의 깊이 측정을 수행하고,
   제1 깊이 측정은 상기 2가지 변조 주파수 중 상대적으로 낮은 변조 주파수를 이용하여 깊이를 측정하여 미리 설정된 신체 부위별 관심 영역에 대하여 낮은 측정 품질로 측정을 수행하고,
   제2 깊이 측정은 제1 깊이 측정의 신체 부위별 관심 영역에 대한 측정 결과를 기반으로 상기 2가지 변조 주파수 중 상대적으로 높은 변조 주파수를 이용하여 깊이를 측정하여 높은 측정 품질로 측정 정밀도를 상승시키고,
   상기 높은 변조 주파수는 상기 낮은 변조 주파수의 사용시 측정된 표준 편차에 반비례하는 값으로 선정되고, 상기 표준 편차가 미리 설정한 한계값보다 작다면 신호 대 잡음비가 높은 것으로 판단하여 상기 표준 편차가 미리 설정한 한계 값보다 큰 경우보다 상대적으로 높은 주파수로 될 수 있으며,
   상기 제2 깊이 측정을 다수 수행하여 반복된 측정을 통해 측정 정밀도를 상승시키는 것을 특징으로 하는 폐쇄형 쇼 호스팅 서비스 제공 시스템.
   

Images