KR102309453B1 - 무식별 영상 기반의 소셜 네트워크 서비스 시스템 및 그 방법 - Google Patents

Abstract

본 발명은 무식별 영상 기반의 소셜 네트워크 서비스 시스템 및 그 방법에 대한 것으로, 무식별 영상 기반의 소셜 네트워크 서비스 시스템은 입력 받은 수신한 영상 데이터 음성 데이터 및 송수신 시간 데이터를 기반으로 3D 합성 영상 데이터를 생성하고, 상기 3D 합성 영상 데이터를 사용자 단말에 제공하는 관리 서버 및 상기 관리 서버와 연결되고 깊이 카메라로부터 수신한 영상 데이터 및 송수신 시간 데이터를 관리 서버에 제공하고, 상기 3D 합성 영상 데이터를 기반으로 무식별 영상 및 소셜 네트워크 서비스를 사용자에게 제공하는 사용자 단말을 포함할 수 있다.

Description

무식별 영상 기반의 소셜 네트워크 서비스 시스템 및 그 방법{Social network service system based on unidentified video and method therefor}

본 발명은 무식별 영상 기반의 소셜 네트워크 서비스를 제공하는 기술에 대한 것으로, 더욱 자세하게는 깊이 카메라를 구비한 사용자를 대상으로 영상 데이터, 음성 데이터 및 송수신 시간 데이터를 수집하여 사용자의 단말로 송신하고, 사용자 단말은 사용자 단말에 설치된 소셜 네트워크 서비스 어플리케이션을 통해 영상 데이터 및 송수신 시간 데이터를 관리 서버로 송신하여, 관리서버가 영상 데이터 및 송수신 시간 데이터 분석하여 사람의 행동이 3D 영상으로 생성된 3D 합성 영상 데이터를 자동으로 생성하고, 생성한 3D 합성 영상 데이터를 기반으로 사용자 단말에서 재생될 수 있는 무식별 영상을 제공함으로써 개인정보 및 프라이버시에 예민한 사용자를 대상으로 목소리와 행동만 상대방에게 제공할 수 있는 소셜 네트워크 서비스를 제공할 수 있는 무식별 영상 기반의 소셜 네트워크 서비스 시스템 및 그 방법을 제공하는데 그 목적이 있다.

최근 전세계적으로 소셜 네트워크 서비스(SNS)에 대한 관심과 활용도가 점차 높아지고 있다.

그러나 간단하고 짧은 텍스트로만 서비스를 제공하였던 트위터는 너무나 단편적인 정보 전달 및 이를 통한 감정적인 공감이 부족한 단점이 존재하였다.

반면에 페이스북이 경우 개인정보를 많이 기입하면 할수록 이와 연결된 사람들끼리 서로를 추천함으로써 하나의 거대한 인적 네트워크를 형성할 수 있도록 서비스를 제공해 왔으나, 너무나 세부적이고 개인적인 개인 정보마저 공유가 되어 사생활 침해의 가능성이 높은 단점을 가지고 있었다.

이러한 트위터와 페이스북의 장단점을 적절히 조화시킨 인스타그램의 경우 자신의 개인정보를 공유하지 아니하여도 간단한 사진과 글들로 자신을 표현하고 소통하며 적극적 개방 소셜 네트워크가 아닌 선택적 소셜 네트워크를 표방하여 전세계인들의 사랑을 받아왔다.

그러나 사진으로만 네트워킹을 수행함으로써 네트워킹에 있어 현장감과 신속함이 부족하다는 평가를 받아왔으며, 사진 기반으로 네트워킹이 주로 수행되기 때문에 개인의 얼굴이 공개될 가능성이 높고, 이를 통해 사칭 계정 및 사진이 다른 목적으로 도용되는 등 악효과가 다수 발생하였다.

이러한 단점을 극복하기 위하여 클럽하우스라는 음성 기반의 익명성을 기반으로 한 소셜 네트워크 서비스가 한참 선풍적인 인기를 끌었으나 사람의 제스쳐나 행동에서 식별될 수 있는 뉘앙스 없이 음성으로만 네트워킹이 진행되는 것에 대한 한계가 명확히 존재하였다.

본 발명은 익명성을 기반으로 소셜 네트워킹이 가능하면서도 서로에 대한 이해도를 상승시키기 위하여 음성과 더불어 생성한 3D 영상을 제공함으로써 제스쳐나 특정 행동에서 식별될 수 있는 뉘앙스까지도 제공하여 소셜 네트워킹을 수행할 수 있는 서비스를 제공하기위한 무식별 영상 기반의 소셜 네트워크 서비스 시스템으로써 사용자의 개인정보 및 프라이버시를 완벽히 보호하면서도 더욱 진정성 있는 네트워킹이 가능하도록 실제 사용자의 음성과 행동을 기반으로 사람의 움직임에 대한 3D 영상을 생성하여 제공하고자 한다.

본 발명의 일 실시예에 따르면 무식별 영상 기반의 소셜 네트워크 서비스 시스템에 접속하여 입력 받은 수신한 영상 데이터 음성 데이터 및 송수신 시간 데이터를 기반으로 3D 합성 영상 데이터를 생성하고, 상기 3D 합성 영상 데이터를 사용자 단말에 제공하는 관리 서버 및 상기 관리 서버와 연결되고 깊이 카메라로부터 수신한 영상 데이터 및 송수신 시간 데이터를 관리 서버에 제공하고, 상기 3D 합성 영상 데이터를 기반으로 무식별 영상 및 소셜 네트워크 서비스를 사용자에게 제공하는 사용자 단말을 포함하며, 상기 사용자 단말은, 복수의 깊이 카메라를 이용하여 사용자의 움직임을 전방위로 촬영하여 음성 데이터, 영상 데이터 및 상기 영상 데이터에 대응하는 송수신 시간 데이터를 포함한 동작 정보를 수집하여 상기 관리 서버로 송신하는 동작 정보 수집부; 및 상기 관리 서버로부터 수신한 3D 합성 영상 데이터를 기반으로 무식별 영상을 통한 소셜 네트워크 서비스를 제공하는 SNS 서비스 제공부를 포함하고, 상기 관리 서버는 수신한 동작 정보에 포함된 각 깊이 카메라별 영상 데이터를 인공 신경망 기반의 영상 분석 모델에 입력하여 각 신체 부위별 동선, 이동 속도 및 이동 각도를 포함하는 제1 행동 정보를 생성하고, 상기 동작 정보에 포함된 각 깊이 카메라별 송수신 시간 데이터를 분석하여 연속된 복수의 깊이 데이터, 속도 데이터, 진폭 데이터를 생성하고, 상기 진폭 데이터를 이용하여 진폭의 크기에 따라 누적 분포 함수 및 노이즈 제거 함수를 이용하여 노이즈를 제거하고, 상기 노이즈가 제거된 각 깊이 카메라 별로 생성된 신체 부위별 깊이 데이터, 속도 데이터, 진폭 데이터를 중간 값으로 평균화하여 제2 행동 정보를 생성하는 행동 정보 생성부; 상기 제1 행동 정보와 제2 행동 정보를 시간을 기준으로 정합 하여 오차를 산출하고, 산출된 오차에 대해서는 연속형 가중치 중간값 필터를 사용하여 오차를 제거하여 최종 행동 정보로 생성하는 최종 행동 정보 생성부; 및

상기 최종 행동 정보에 포함된 시간의 흐름에 따른 각 신체 부위별 동선, 이동 속도 및 이동 각도 및 상기 영상 데이터를 동작 영상 생성 모델에 입력하여 사람의 움직임에 대한 3D 합성 영상 데이터를 생성하는 3D 영상 생성부를 포함할 수 있다.

본 발명의 일 실시예에 따르면 행동 정보 생성부는, 특징점 추출 모듈, 행동 정보 분석 모듈로 형성된 인공 신경망 기반의 영상 분석 모델을 포함하며, 상기 특징점 추출 모듈에 상기 영상 데이터를 입력하여 특징점을 추출하고, 추출된 특징점을 미리 설정 해놓은 신체 부위별로 라벨링하며, 행동 정보 분석 모듈에 상기 신체 부위별 특징점 및 영상 데이터를 입력하여 각 특징점 별 동선, 이동 속도 및 이동 각도를 포함하는 특징 맵을 생성하고, 생성된 특징 맵에 출력 활성화 함수를 적용하여 제1 행동 정보를 출력하는 제1 행동 정보 생성부; 및 상기 각 깊이 카메라별 송수신 시간 데이터를 분석하여 미리 설정 해놓은 신체 부위별 연속된 깊이 데이터, 속도 데이터, 진폭 데이터를 생성하고, 상기 진폭 데이터를 이용하여 진폭의 크기에 따라 누적 분포 함수 및 노이즈 함수를 이용하여 검출된 노이즈를 제거하고, 연속형 확률 분포 함수를 이용하여 표면의 빛의 흡수량에 상관없이 일정한 진폭으로 정규화 시킨 각 깊이 카메라 별로 생성된 신체 부위별 깊이 데이터, 속도 데이터, 진폭 데이터를 중간값 필터로 평균화하여 제2 행동 정보를 생성하는 제2 행동 정보 생성부를 더 포함할 수 있다.

본 발명의 일 실시예에 따르면 상기 최종 행동 정보 생성부는, 상기 제1 행동 정보와 제2 행동 정보를 인공 신경망 기반의 최종 행동 정보 생성 모델에 입력하여 제1 행동 정보와 제2 행동 정보에 포함된 각 신체 부위별 동선, 이동 속도 및 이동 각도를 대비하여 발생하는 차이를 오차로 산출하고, 오차가 발생한 데이터 각각에 가중치를 적용하여 산출된 값들을 중간 값으로 평균화하여 오차를 제거함으로써 하나의 신체 부위별 동선, 이동 속도 및 이동 각도를 가진 최종 행동 정보를 생성하고, 상기 최종 행동 정보에 따라 생성된 3D 영상과 영상 데이터를 비교하여 정확도를 평가하는 인공 신경망 기반의 판단 모델을 이용하여, 상기 최종 행동 정보에 따라 생성된 3D 영상이 영상 데이터와 행동이 일치한다고 인정될 정도로 근사함을 평가할 수 있는 것으로 판단하기 위한 기준 행동 정보에 대한 제1 기대값을 설정하고, 상기 최종 행동 정보에 따라 생성된 3D 영상과 제1 기대값의 차이를 제1 차이값으로 산출하고, 상기 최종 행동 정보에 따라 생성된 3D 영상이 영상 데이터와 행동이 일치한다고 인정될 정도로 근사함을 평가할 수 없는 것으로 판단하기 위한 기준 행동 정보에 대한 제2 기대값을 설정하고, 상기 최종 행동 정보에 따라 생성된 3D 영상과 제2 기대값의 차이를 제2 차이값으로 산출하고, 상기 제1 차이값과 상기 제2 차이값의 합을 기반의 최종 행동 정보 생성 모델을 구성하는 인경 신경망의 구분 손실값으로 산출하고, 상기 구분 손실값이 최소가 되도록 가중치를 고정하여, 상기 최종 행동 정보 생성 모델의 오차가 발생한 데이터 각각에 적용하는 가중치로 업데이트할 수 있다.

본 발명의 일 실시예에 따르면 상기 3D 영상 생성부는, 복수의 연산 레이어로 이루어진 합성곱 인공 신경망으로 구현되고 배경화면 생성 모듈, 동작 영상 생성 모듈, 3D 영상 합성 모듈을 포함하는 동작 영상 생성 모델을 포함하고, 상기 3D 영상 합성 모듈은 상기 영상 데이터를 입력하면 영상 데이터에 포함된 객체를 제외한 복수의 배경 이미지를 추출하고, 추출된 복수의 배경 데이터를 레퍼런스 이미지에 매칭하여 전처리를 수행하고, 전처리가 수행된 복수의 배경 데이터를 분석하여 구간별로 디스크립터 데이터를 설정하며, 복수의 이미지 데이터 중 공간상 연결되는 이미지 데이터 간에 서로 공유되는 디스크립터 데이터를 도출하고, 도출된 상기 디스크립터 데이터를 기준으로 복수의 이미지를 정합하여 360도 회전이 가능한 배경화면 영상 데이터를 생성하고, 상기 동작 영상 생성 모듈은 미리 설정된 신체 부위를 중심으로 각 신체 부위를 연결해 사람의 형상을 3D로 생성하고, 상기 생성된 사람의 형상을 상기 최종 행동 정보에 포함된 각 신체 부위별 동선, 이동 속도 및 이동 각도에 따라 각 신체 부위별로 움직이는 동작 영상 데이터를 생성할 수 있다.

본 발명의 일 실시예에 따르면 3D 영상 합성 모듈은 상기 360도 회전이 가능한 배경화면에 3D 가상 인물의 동작 영상을 위치 및 각도에 따라 합성하여 합성 영상 데이터를 생성할 수 있다.

본 발명의 일 실시예에 따르면 상기 동작 정보 수집부는, 송수신 시간 데이터를 수집함에 있어, 2단계의 깊이 측정을 수행하고, 제1 깊이 측정은 낮은 변조 주파수를 이용하여 깊이를 측정하여 미리 설정된 신체 부위별 관심 영역에 대하여 낮은 측정 품질로 측정을 수행하고, 제2 깊이 측정은 제1 깊이 측정의 신체 부위별 관심 영역에 대한 측정 결과를 기반으로 높은 변조 주파수를 이용하여 깊이를 측정하여 높은 측정 품질로 측정 정밀도를 상승시키고, 상기 낮은 변조 주파수는 수학식 1을 기반으로 선정되며, 상기 높은 변조 주파수는 상기 낮은 변조 주파수의 사용시 측정된 표준 편차에 반비례하는 값으로 선정되고, 상기 표준 편차가 미리 설정한 한계값보다 작다면 신호 대 잡음비가 높은 것으로 판단하여 상기 표준 편차가 미리 설정한 한계 값보다 큰 경우보다 상대적으로 높은 주파수로 될 수 있으며, 상기 제2 깊이 측정을 다수 수행하여 반복된 측정을 통해 측정 정밀도를 상승시킬 수 있다.

본 발명의 실시예에 따라 구현된 무식별 영상 기반의 소셜 네트워크 서비스 시스템 및 그 방법을 이용하면 실제 사용자의 음성과 행동을 기반으로 사람의 움직임에 대한 3D 영상을 생성하여 제공함으로써 사용자가 자신의 계정에 해당 영상을 게재하거나 대화를 함에 있어서 해당 3D 영상을 제공하여 음성 뿐만 아니라 제스쳐나 특정 행동에서 식별될 수 있는 뉘앙스까지도 제공하여 개인정보 및 프라이버시를 완벽히 보호하면서도 더욱 진정성 있는 네트워킹이 가능한 효과가 존재한다.

도 1은 본 발명의 실시예에 따라 구현된 미용 콘텐츠 자동 생성 장치의 구성도이다.
도 2는 도 1에 도시된 사용자 단말의 세부 구성도이다.
도 3은 도 1에 도시된 관리 서버의 세부 구성도이다.
도 4는 도 3에 도시된 행동 정보 생성부의 세부 구성도이다.
도 5는 본 발명의 일 실시예에 따라 합성곱 연산망으로 구현된 영상 분석 모델을 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따라 구현된 영상 분석 모델에 있어 특징점 추출 모듈과 행동 정보 분석 모듈 사이의 데이터 흐름을 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따라 구현된 동작 영상 생성 모델에 포함된 세부 모듈을 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따라 합성곱 연산망으로 구현된 동작 영상 생성 모델에 포함된 세부 모듈을 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따라 구현된 동작 영상 생성 모델에 있어 배경화면 생성 모듈, 동작 영상 생성 모듈, 3D영상 합성 모듈 사이의 데이터 흐름을 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 무식별 영상 기반의 소셜 네트워크 서비스 방법의 흐름도이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.

본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 발명에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.

일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

또한 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이며, 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다.

이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다.

컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 블록은 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다.

그리고 몇 가지 대체 실시예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

이 때, 본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다.

그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.

따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.

본 발명의 실시예들을 구체적으로 설명함에 있어서, 특정 시스템의 예를 주된 대상으로 할 것이지만, 본 명세서에서 청구하고자 하는 주요한 요지는 유사한 기술적 배경을 가지는 여타의 통신 시스템 및 서비스에도 본 명세서에 개시된 범위를 크게 벗어나지 아니하는 범위에서 적용 가능하며, 이는 당해 기술분야에서 숙련된 기술적 지식을 가진 자의 판단으로 가능할 것이다.

이하, 도면을 참조하여 본 발명의 실시 예에 따른 무식별 영상 기반의 소셜 네트워크 서비스 시스템 및 그 방법에 대하여 설명한다.

도 1은 본 발명의 실시예에 따라 구현된 무식별 영상 기반의 소셜 네트워크 서비스 시스템의 구성도이다.

도 1을 참조하면 무식별 영상 기반의 소셜 네트워크 서비스 시스템(10)은 복수의 사용자가 구비한 사용자 단말(100)이 각각 관리서버(200)에 무선 네트워크를 통해 연결될 수 있다.

본 발명의 일 실시예에 따르면 사용자 단말(100)은 깊이 카메라로부터 수신한 영상 데이터 및 송수신 시간 데이터를 관리 서버(200)에 제공할 수 있으며, 관리서버(200)는 수신한 영상 데이터 음성 데이터 및 송수신 시간 데이터를 기반으로 3D 합성 영상 데이터를 생성하여 사용자 단말(100)에 제공하고, 사용자 단말(100)은 수신한 상기 3D 합성 영상 데이터를 기반으로 무식별 영상 및 소셜 네트워크 서비스를 사용자에게 제공할 수 있다.

도 2는 도 1에 도시된 사용자 단말의 세부 구성도이다.

도 2를 참조하면 사용자 단말(100)의 세부 구성이 나타나 있으며, 본 발명의 일 실시예에 따르면 사용자 단말(100)은 동작 정보 수집부(110), SNS 서비스 제공부(120)를 포함할 수 있다.

동작 정보 수집부(110)는 복수의 깊이 카메라를 이용하여 사용자의 움직임을 전방위로 촬영하여 음성 데이터, 영상 데이터 및 상기 영상 데이터에 대응하는 송수신 시간 데이터를 포함한 동작 정보를 수집할 수 있다.

본 발명의 일 실시예에 따르면 깊이 카메라로는 구 좌표계의 원점에서 펄스 변조된 적외선(IR) 빔을 목표물에 발사시켜 수평(pan, φ)과 상하(tilt, θ)로 스캐닝하여 구 표면(sphere surface)의 각기 다른 불연속 점(г, θ, φ)의 분포(point??wise)에서 일어나는 역방향 산란(back scattering)으로 반사되어 원점으로 되돌아오는 시간, 즉 송수신 시간을 기반으로 배경 내 목표물의 3차원 영상 정보를 획득할 수 있는 카메라가 사용될 수 있다.

본 발명의 일 실시예에 따르면 복수개의 깊이 카메라는 적어도 하나의 사람의 움직임을 전방위로 촬영할 수 있도록 일정한 각도를 기준으로 설치될 수 있으며, 영상 데이터, 음성 데이터 및 영상 데이터와 시간을 기준으로 대응되는 미리 설정된 신체 부위별 송수신 시간 데이터를 수집할 수 있다.

여기서 미리 설정된 신체 부위는 사람의 동작을 식별할 수 있는 사람의 신체 부위를 의미하며, 예를 들어 양 손의 손가락 끝과 각 마디, 팔목, 팔꿈치 어깨, 목, 얼굴의 각 이목구비 양 끝단, 고과절, 무릎, 발목, 양 발의 발가락 끝과 각 마디 등 주로 신체의 끝단 및 가동가능한 관절 부위를 중심으로 설정될 수 있다.

본 발명의 일 실시예에 따르면 동작 정보 수집부(100)는 송수신 시간 데이터를 수집함에 있어, 2단계의 깊이 측정을 수행할 수 있다.

본 발명의 일 실시예에 따르면 2단계의 깊이 측정은 제1 깊이 측정 단계 및 제2 깊이 측정 단계로 구분할 수 있다.

상기 실시예와 같이 2단계로 나누어 깊이 측정을 수행하는 이유는 단일 주파수를 사용할 때 낮은 변조 주파수를 이용하여 깊이 측정을 수행하는 경우에는 최대 범위는 넓어지지만 측정 품질은 낮아지는 단점이 존재하며, 반대로, 높은 변조 주파수를 이용하여 깊이 측정을 수행하는 경우에는 측정 품질은 향상시킬 수 있지만 최대 범위는 좁아진다는 단점이 존재하므로, 이러한 단점을 최대한 보완하기 위함에 있다.

본 발명의 일 실시예에 따르면 제1 깊이 측정은 낮은 변조 주파수를 이용하여 깊이를 측정하여 미리 설정된 신체 부위별 관심 영역에 대하여 낮은 측정 품질로 측정을 수행할 수 있다.

본 발명의 일 실시예에 따르면 제2 깊이 측정은 제1 깊이 측정의 신체 부위별 관심 영역에 대한 측정 결과를 기반으로 높은 변조 주파수를 이용하여 깊이를 측정하여 높은 측정 품질로 측정 정밀도를 상승시킬 수 있다.

본 발명의 일 실시예에 따르면 넓은 최대 깊이 범위를 갖도록 낮은 변조 주파수를 이용하는 제1 깊이 측정은, 넓은 깊이 범위를 대상으로 대략적인 깊이를 측정할 수 있으며, 이때의 측정 품질은 변조 주파수에 비례관계를 가지므로 제1 깊이 측정을 통해 측정된 경과는 넓은 관심 영역에 대하여 낮은 측정 품질을 제공할 수 있다.

본 발명의 일 실시예에 따르면 제2 깊이 측정은 최대 깊이 범위가 제1 깊이 측정의 정밀도를 기반으로 설정될 수 있으며, 상대적으로 더 높은 주파수를 선택하여 좁은 관심 영역에 대한 높은 측점 품질을 제공함으로써 제1 깊이 측정 결과의 오차를 보상할 수 있다.

본 발명의 일 실시예에 따르면 낮은 변조 주파수는 수학식 1를 기반으로 선정될 수 있다.

여기서

는 낮은 변조 주파수를 의미하며,

는 광속,

는 최대 깊이 범위를 의미할 수 있다.

본 발명의 일 실시예에 따르면 높은 변조 주파수는 낮은 변조 주파수의 사용시 측정된 표준 편차에 반비례하는 값으로 선정될 수 있으며, 표준 편차가 미리 설정한 한계값보다 작다면, 이는 신호 대 잡음비가 높은 것으로 판단하여 표준 편차가 미리 설정한 한계 값보다 큰 경우보다 상대적으로 높은 주파수로 선정될 수 있다.

여기서 표준 편차(

)는 수학식 2를 기반으로 산출될 수 있다.

여기서

는 살출하고자 하는 표준 편차를 의미할 수 있으며, dp는 제1 깊이 측정으로 통해 측정된 깊이를 의미할 수 있으며 μ는 관심 영역(RoI)에 대한 dp의 평균값을 의미하며 N은 관심 영역 내의 픽셀의 개수로서 자연수일 수 있다.

본 발명의 일 실시예에 따르면 제1 깊이 측정 단계 및 제2 깊이 측정 단계를 다수 수행하여 반복된 측정을 통해 측정 정밀도를 상승시킬 수 있다.

SNS 서비스 제공부(120)는 관리 서버(200)로부터 수신한 3D 합성 영상 데이터를 기반으로 무식별 영상을 통한 소셜 네트워크 서비스를 제공할 수 있다.

본 발명의 일 실시예에 따르면 3D 합성 영상 데이터를 기반으로 생성한 무식별 영상을 사용자의 계정에 업로드 하거나 커뮤니케이션을 원하는 사용자에게 전송함으로써 익명성 및 개인정보를 보장받으면서도 좀더 원활한 대화 및 감정 공감이 가능한 서비스를 제공할 수 있다.

여기서 무식별 영상이란 3D 합성 영상 데이터를 기반으로 생성된 영상을 의미하고 있으며, 사용자의행동을 촬영한 영상을 기반으로 3D 모델링을 통해 재 생산된 3D 영상일 수 있다.

본 발명의 일 실시예에 따르면 무식별 영상은 3D 형식의 사람 형상을 가진 객체의 움직임이 포함된 영상일 수 있으며, 미리 설정된 스킨을 적용하여 3D 형식의 사람 형상을 특정 캐릭터 또는 특정 옷을 입은 것으로 꾸밀 수 있다.

도 3은 도 1에 도시된 관리 서버의 세부 구성도이다.

도 3을 참조하면 본 발명의 일 실시예에 따라 관리 서버(200)에 포함된 행동 정보 생성부(210), 최종 행동 정보 생성부(220), 3D 영상 생성부(230)를 포함할 수 있다.

행동 정보 생성부(210)는 수신한 동작 정보에 포함된 각 깊이 카메라별 영상 데이터를 인공 신경망 기반의 영상 분석 모델에 입력하여 각 신체 부위별 동선, 이동 속도 및 이동 각도를 포함하는 제1 행동 정보를 생성할 수 있다.

또한 동작 정보에 포함된 각 깊이 카메라별 송수신 시간 데이터를 분석하여 연속된 복수의 깊이 데이터, 속도 데이터, 진폭 데이터를 생성하고, 진폭 데이터를 이용하여 진폭의 크기에 따라 누적 분포 함수 및 노이즈 제거 함수를 이용하여 노이즈를 제거하고, 노이즈가 제거된 각 깊이 카메라 별로 생성된 신체 부위별 깊이 데이터, 속도 데이터, 진폭 데이터를 중간 값으로 평균화하여 제2 행동 정보를 생성할 수 있다.

본 발명의 일 실시예에 따르면 인공 신경망 기반의 영상 분석 모델은 깊이 카메라별 영상 데이터를 입력층에 입력 받아 미리 설정된 각 신체 부위별로 동선, 이동 속도, 이동 각도 정보를 출력할 수 있으며, 이를 각 신체 부위별로 그룹핑하여 제1 행동 정보를 생성하도록 학습될 수 있다. 본 발명의 일 실시예에 따르면 각 깊이 카메라 별로 생성된 신체 부위별 송수신 시간 데이터를 분석하여 각 신체 부위별로 시간의 흐름에 따라 연속된 깊이 데이터, 속도 데이터, 진폭 데이터를 생성할 수 있다.

여기서 깊이 데이터란 관심 영역의 3차원적 위치를 인식할 수 있는 데이터를 의미할 수 있으며, 속도 데이터는 깊이 데이터를 기반으로 시간의 흐름에 따라 위치의 변경을 통해 산출된 이동 속도를 의미할 수 있으며, 진폭 데이터는 깊이 카메라에 의해 송신된 광은 표면의 진폭 정도에 따라 표면의 광 강도가 상이하므로 손상된 광이 반사되어 생긴 표면의 광 강도를 의미할 수 있다.

본 발명의 일 실시예에 따르면 진폭 데이터를 이용하여 진폭의 크기에 따라 누적 분포 함수 및 노이즈 함수를 이용하여 노이즈를 제거할 수 있다.

상기 실시예에 다르면 진폭 데이터는 깊이 카메라에 의해 반사되는 광이 얼마나 밝은지를 나타낼 수 있고, 이는 표면의 진폭 정도에 따라 표면의 광 강도가 상이하게 나타나는 것을 특징을 기반으로 한다.

본 발명의 일 실시예에 따르면 깊이 카메라에 사용되는 비이상적인 파형으로 인해 생기는 잡음과 객체의 경계에 생기는 노이즈를 제거하기 위해 누적 분포 함수 및 노이즈 함수를 사용하여 필터링을 수행할 수 있다.

본 발명의 일 실시예에 따르면 누적 분포 함수는 수학식 3을 기반으로 수행될 수 있다.

Φ(x)는 누적 분포 함수를 나타내며 NF는 노이즈 함수를 의미할 수 있다.

본 발명의 일 실시예에 따르면 노이즈 함수(NF)는 수학식 4를 기반으로 수행될 수 있다.

행동 정보 생성부(210)는 도 4를 참고하여 더 자세하게 설명하도록 한다.

최종 행동 정보 생성부(220)는 제1 행동 정보와 제2 행동 정보를 시간을 기준으로 정합 하여 오차를 산출하고, 산출된 오차에 대해서는 연속형 가중치 중간값 필터를 사용하여 오차를 제거하여 최종 행동 정보로 생성할 수 있다.

본 발명의 일 실시예에 따르면 제1 행동 정보와 제2 행동 정보를 인공 신경망 기반의 최종 행동 정보 생성 모델에 입력하여 제1 행동 정보와 제2 행동 정보에 포함된 신체 부위별 동선, 이동 속도 및 이동 각도를 대비하여 발생하는 차이를 오차로 산출하고, 오차가 발생한 데이터 각각에 가중치를 적용하여 산출된 값들을 중간 값으로 평균화하여 오차를 제거함으로써 하나의 신체 부위별 깊이 데이터, 속도 데이터, 진폭 데이터를 가진 최종 행동 정보를 생성할 수 있다.

본 발명의 일 실시예에 따르면 최종 행동 정보 생성 모델은 동작 분석 모듈 및 정합 모듈을 포함할 수 있다.

본 발명의 일 실시예에 따르면 동작 분석 모듈은 제2 행동 정보에 포함된 각 깊이 카메라 별로 생성된 신체 부위별 깊이 데이터, 속도 데이터, 진폭 데이터를 입력 받아 각 신체 부위별 동선, 이동 속도 및 이동 각도 정보를 출력할 수 있다.

본 발명의 일 실시예에 따르면 정합 모듈은 제1 행동 정보에 포함된 각 신체 부위별 동선, 이동 속도 및 이동 각도와 제2 행동 정보에 포함된 각 신체 부위별 동선, 이동 속도 및 이동 각도를 입력 받아 발생하는 차이를 오차로 산출할 수 있다.

상기 실시예에 따르면 오차가 발생한 데이터 각각에 가중치를 적용하여 산출된 값들을 중간 값으로 평균화하여 오차를 제거함으로써 하나의 신체 부위별 동선, 이동 속도 및 이동 각도를 출력할 수 있고, 이를 포함하는 최종 행동 정보를 생성할 수 있다.

여기서 오차가 발생한 데이터의 신체 부위별로 가중치를 부여하고 제1 행동 정보, 제2 행동 정보 별로도 가중치를 부여하여 가중치를 적용하여 산출한 값들의 중간 값으로 평균화를 수행하여 최종 행동 정보를 생성할 수 있으며, 본 발명의 일 실시예에 따르면 가중치 값들은 인공 신경망 기반의 판단 모델에 의해 정확도가 상대적으로 향상되도록 업데이트 될 수 있다.

본 발명의 일 실시예에 따르면 최종 행동 정보에 따라 생성된 3D 영상과 영상 데이터를 비교하여 정확도를 평가하는 인공 신경망 기반의 판단 모델을 이용할 수 있다.

상기 실시예에 따르면 인공 신경망 기반의 판단 모델을 이용하여 최종 행동 정보에 따라 생성된 3D 영상이 영상 데이터와 행동이 일치한다고 인정될 정도로 근사함을 평가할 수 있는 것으로 판단하기 위한 기준 행동 정보에 대한 제1 기대값을 설정하고, 최종 행동 정보에 따라 생성된 3D 영상과 제1 기대값의 차이를 제1 차이값으로 산출할 수 있다.

또한 최종 행동 정보에 따라 생성된 3D 영상이 영상 데이터와 행동이 일치한다고 인정될 정도로 근사함을 평가할 수 없는 것으로 판단하기 위한 기준 행동 정보에 대한 제2 기대값을 설정하고, 상기 최종 행동 정보에 따라 생성된 3D 영상과 제2 기대값의 차이를 제2 차이값으로 산출할 수 있다.

상기 실시예에 따르면 제1 차이값과 제2 차이값의 합을 기반의 최종 행동 정보 생성 모델을 구성하는 인경 신경망의 구분 손실값으로 산출하고, 구분 손실값이 최소가 되도록 가중치를 고정하여, 최종 행동 정보 생성 모델의 오차가 발생한 데이터 각각에 적용하는 가중치로 업데이트할 수 있다.

3D 영상 생성부(230)는 최종 행동 정보에 포함된 시간의 흐름에 따른 각 신체 부위별 동선, 이동 속도 및 이동 각도 및 영상 데이터, 음성 데이터를 동작 영상 생성 모델에 입력하여 사람의 움직임에 대한 3D 합성 영상 데이터를 생성할 수 있다.

본 발명의 일 실시예에 따르면 동작 영상 생성 모델에 최종 행동 정보에 포함된 시간의 흐름에 따른 각 신체 부위별 동선, 이동 속도 및 이동 각도를 입력하여 각 신체 부위를 기점으로 하고, 이를 연결하여 사람의 형상으로 3D 영상을 생성할 수 있으며 시간의 흐름에 따라 변화하는 값을 반영하여 사람의 움직임을 나타낼 수 있는 3D 영상을 생성할 수 있다.

본 발명의 일 실시예에 따르면 영상 데이터를 동작 영상 생성 모델에 입력하여 영상 데이터에 포함된 배경 이미지를 이용하여 배경화면 영상 데이터를 생성할 수 있다.

도 4는 도 3에 도시된 행동 정보 생성부의 세부 구성도이다.

도 4를 참조하면 본 발명의 일 실시예에 따르면 행동 정보 생성부(200)의 세부 구성이 나타나 있으며, 행동 정보 생성부(200)는 제1 행동 정보 생성부(211), 제2 행동 정보 생성부(212)가 포함될 수 있다.

제1 행동 정보 생성부(211)는 특징점 추출 모듈에 영상 데이터를 입력하여 특징점을 추출하고, 추출된 특징점을 미리 설정 해놓은 신체 부위별로 라벨링할 수 있다.

본 발명의 일 실시예에 따르면 제1 행동 정보 생성부(211)는 특징점 추출 모듈, 행동 정보 분석 모듈로 형성된 인공 신경망 기반의 영상 분석 모델을 포함할 수 있다.

본 발명의 일 실시예에 따르면 특징점 추출 모듈은 미리 설정된 신체 부위를 특정할 수 있는 특징점을 영상으로부터 추출할 수 있도록 학습된 모델일 수 있다.

본 발명의 일 실시예에 따르면 추출된 특징점 중 적어도 하나의 특징점을 신체 부위에 매칭시켜 라벨링할 수 있다.

또한 행동 정보 분석 모듈에 라벨링된 특징점 및 영상 데이터를 입력하여 각 특징점 별 동선, 이동 속도 및 이동 각도를 포함하는 특징 맵을 생성하고, 생성된 특징 맵에 출력 활성화 함수를 적용하여 제1 행동 정보를 출력할 수 있다.

본 발명의 일 실시예에 따르면 특징 맵은 특징점 별 동선, 이동 속도 및 이동 각도를 그룹화하여 다수의 그룹을 생성하고 이를 특징점에 매칭되는 신체 부위로 정렬해서 생성한 데이터일 수 있다.

제2 행동 정보 생성부(212)는 각 깊이 카메라별 송수신 시간 데이터를 분석하여 미리 설정 해놓은 신체 부위별 연속된 깊이 데이터, 속도 데이터, 진폭 데이터를 생성할 수 있다.

본 발명의 일 실시예에 따르면 제2 행동 정보 생성부(212)는 진폭 데이터를 이용하여 진폭의 크기에 따라 누적 분포 함수 및 노이즈 함수를 이용하여 검출된 노이즈를 제거하고, 연속형 확률 분포 함수를 이용하여 표면의 빛의 흡수량에 상관없이 일정한 진폭으로 정규화 시킨 각 깊이 카메라 별로 생성된 신체 부위별 깊이 데이터, 속도 데이터, 진폭 데이터를 중간값 필터로 평균화하여 제2 행동 정보를 생성할 수 있다.

본 발명의 일 실시예에 따르면 누적 분포 함수는 수학식 3을 기반으로 수행될 수 있다.

본 발명의 일 실시예에 따르면 노이즈 함수(NF)는 수학식 4을 기반으로 수행될 수 있다.

본 발명의 일 실시예에 따르면 중간값 필터는 오차가 발생한 데이터 각각에 가중치를 적용하여 산출된 값들을 중간 값으로 평균화하여 오차를 제거할 수 있는 필터를 의미할 수 있다.

여기서 오차가 발생한 데이터의 신체 부위별로 가중치를 부여하고 제1 행동 정보, 제2 행동 정보 별로도 가중치를 부여하여 가중치를 적용하여 산출한 값들의 중간 값으로 평균화를 수행하여 최종 행동 정보를 생성할 수 있으며, 본 발명의 일 실시예에 따르면 가중치 값들은 인공 신경망 기반의 판단 모델에 의해 정확도가 상대적으로 향상되도록 업데이트 될 수 있다.

본 발명의 일 실시예에 따르면 최종 행동 정보에 따라 생성된 3D 영상과 영상 데이터를 비교하여 정확도를 평가하는 인공 신경망 기반의 판단 모델을 이용할 수 있다.

상기 실시예에 따르면 인공 신경망 기반의 판단 모델을 이용하여 최종 행동 정보에 따라 생성된 3D 영상이 영상 데이터와 행동이 일치한다고 인정될 정도로 근사함을 평가할 수 있는 것으로 판단하기 위한 기준 행동 정보에 대한 제1 기대값을 설정하고, 최종 행동 정보에 따라 생성된 3D 영상과 제1 기대값의 차이를 제1 차이값으로 산출할 수 있다.

또한 최종 행동 정보에 따라 생성된 3D 영상이 영상 데이터와 행동이 일치한다고 인정될 정도로 근사함을 평가할 수 없는 것으로 판단하기 위한 기준 행동 정보에 대한 제2 기대값을 설정하고, 상기 최종 행동 정보에 따라 생성된 3D 영상과 제2 기대값의 차이를 제2 차이값으로 산출할 수 있다.

상기 실시예에 따르면 제1 차이값과 제2 차이값의 합을 기반의 최종 행동 정보 생성 모델을 구성하는 인경 신경망의 구분 손실값으로 산출하고, 구분 손실값이 최소가 되도록 가중치를 고정하여, 최종 행동 정보 생성 모델의 오차가 발생한 데이터 각각에 적용하는 가중치로 업데이트할 수 있다.

도 5는 본 발명의 일 실시예에 따라 합성곱 연산망으로 구현된 영상 분석 모델을 나타낸 도면이다.

도 5를 참조하면 본 발명의 일 실시예에 따라 구현된 영상 분석 모델이 도시되어 있으며 영상 분석 모델은 합성곱 연산망으로 형성될 수 있으며, 각 깊이 카메라가 수집한 복수의 영상 데이터를 입력층에 입력 받고 제1 행동 정보를 출력할 수 있다.

도 6은 본 발명의 일 실시예에 따라 구현된 영상 분석 모델에 있어 특징점 추출 모듈과 행동 정보 분석 모듈 사이의 데이터 흐름을 나타낸 도면이다.

도 6을 참조하면 본 발명의 일 실시예에 따라 구현된 영상 분석 모델에 포함된 특징점 추출 모듈과 행동 정보 분석 모듈의 데이터 흐름이 나타나 있다.

본 발명의 일 실시예에 따르면 각 깊이 카메라에서 수집된 복수의 영상 데이터를 특징점 추출 모듈에 입력하면 미리 설정된 신체 부위를 특정할 수 있는 특징점을 영상으로부터 추출되며, 추출된 특징점 중 적어도 하나의 특징점을 신체 부위에 매칭시켜 라벨링한 라벨링된 특징점 정보가 생성될 수 있다.

본 발명의 일 실시예에 따르면 행동 정보 분석 모듈에 라벨링된 특징점 정보와 각 깊이 카메라에서 수집된 복수의 영상 데이터를 입력하면 각 특징점 별 동선, 이동 속도 및 이동 각도를 포함하는 제1 행동 정보가 생성될 수 있다.

도 7은 본 발명의 일 실시예에 따라 구현된 동작 영상 생성 모델에 포함된 세부 모듈을 나타낸 도면이다.

도 7을 참조하면 본 발명의 일 실시예에 따라 구현된 동작 영상 생성 모델에 포함된 세부 모듈이 개시되어 있으며 동작 영상 생성 모델은 복수의 연산 레이어로 이루어진 합성곱 인공 신경망으로 구현되고 배경화면 생성 모듈, 동작 영상 생성 모듈, 3D 영상 합성 모듈을 포함할 수 있다.

본 발명의 일 실시예에 따르면 3D 영상 합성 모듈은 상기 영상 데이터를 입력하면 영상 데이터에 포함된 객체를 제외한 복수의 배경 이미지를 추출하고, 추출된 복수의 배경 데이터를 레퍼런스 이미지에 매칭하여 전처리를 수행할 수 있다.

여기서 레퍼런스 이미지는 복수로 생성된 배경 이미지에 매칭되어 전방위 영상으로 조합되기 위해 그 위치 및 크기에 대하여 미리 설정된 기준 이미지를 의미할 수 있다.

상기 실시예에 따르면 전처리가 수행된 복수의 배경 데이터를 분석하여 구간별로 디스크립터 데이터를 설정하며, 복수의 이미지 데이터 중 공간상 연결되는 이미지 데이터 간에 서로 공유되는 디스크립터 데이터를 도출하고, 도출된 디스크립터 데이터를 기준으로 복수의 이미지를 정합하여 360도 회전이 가능한 배경화면 영상 데이터를 생성할 수 있다.

여기서 디스크립터 데이터는 두 이미지 간 유사도를 측정하기 위하여 이미지에서 의미 있는 특징들을 적절한 숫자로 변환하여 산출된 특징을 대표할 수 있는 숫자에 대한 데이터를 의미할 수 있다.

본 발명의 일 실시예에 따르면 획득한 복수의 배경 데이터를 대상으로 이미지 부분별로 특징적인 부분(Scale-space extrema detection)을 찾아 특징점으로 분류할 수 있으며, 분류된 특징점들 중에서 신뢰도 있는 최종 특징점인 핵심 특징점을 선별하여 핵심 특징점들의 픽셀값(Intensity), 핵심 특징점들 중 객체의 코너에 해당하는 위치나 크기 등을 기준으로 최종 특징점을 우선 선별할 수 있다.

상기 실시예에 따르면 최종 특징점의 주변 영역에 대해 경사도를 산출하여 전체적으로 주변 영역의 픽셀들이 가리키는 방향을 구하고, 주변 영역의 픽셀들이 가리키는 방향이 0도가 되도록 회전하여 주변 영역에 당하는 부분을 디스크립터 데이터로 설정할 수 있다.

본 발명의 일 실시예에 따르면 디스크립터 데이터는 최종 특징점의 주변 영역의 픽셀 값들이 포함될 수 있으며, 최종 특징점을 기준으로 주변 영역의 픽셀 값들의 방향정보에 기반한 히스토그램 정보도 포함되므로, 디스크립터 데이터를 이용하여 촬영각에 따라 변경된 복수의 이미지 데이터를 대비하여 동일한 구간을 나타내는 타겟 포인트를 식별함으로써 서로 이웃하는 이미지 데이터들을 정확하게 정합하여 배경화면 영상 데이터를 생성할 수 있다.

본 발명의 일 실시예에 따르면 동작 영상 생성 모듈은 미리 설정된 신체 부위를 중심으로 각 신체 부위를 연결해 사람의 형상을 3D로 생성하고, 생성된 사람의 형상을 상기 최종 행동 정보에 포함된 각 신체 부위별 동선, 이동 속도 및 이동 각도에 따라 각 신체 부위별로 움직이는 동작 영상 데이터를 생성할 수 있다.

본 발명의 일 실시예에 따르면 3D 영상 합성 모듈은 상기 360도 회전이 가능한 배경화면에 3D 가상 인물의 동작 영상을 위치 및 각도에 따라 합성하고 음성 데이터 또한 합성하여 3D 합성 영상 데이터를 생성할 수 있다.

도 8은 본 발명의 일 실시예에 따라 합성곱 연산망으로 구현된 동작 영상 생성 모델에 포함된 세부 모듈을 나타낸 도면이다.

도 8을 참조하면 본 발명의 일 실시예에 따라 합성곱 신경망 기반으로 구현된 동작 영상 생성 모델이 도시되어 있으며, 각 깊이 카메라별 영상 데이터와 음성 데이터, 각 신체 부위별 동선, 이동속도, 이동 각도 정보를 동작 영상 모델에 입력 받으면 3D 합성 영상 데이터를 출력할 수 있다.

도 9는 본 발명의 일 실시예에 따라 구현된 동작 영상 생성 모델에 있어 배경화면 생성 모듈, 동작 영상 생성 모듈, 3D영상 합성 모듈 사이의 데이터 흐름을 나타낸 도면이다.

도 9을 참조하면 본 발명의 일 실시예에 따라 구현된 동작 영상 생성 모델에 포함된 배경화면 생성 모듈, 동작 영상 생성 모듈, 3D 영상 합성 모듈 사이의 데이터 흐름이 나타나 있다.

본 발명의 일 실시예에 따르면 배경화면 생성 모듈에 각 깊이 카메라별 영상 데이터를 입력하여 배경화면 영상 데이터를 출력 받고, 동작 영상 생성 모듈에 각 신체 부위별 동선, 이동 속도, 이동 각도 정보를 입력하여 동작 영상 데이터를 출력할 수 있다.

상기 일 실시예에 따르면 배경화면 생성 모듈과 동작 영상 생성 모듈에서 각각 출력된 배경화면 영상 데이터 및 동작 영상 데이터 그리고 음성 데이터를 3D 영상 합성 모듈에 입력하여 3D 합성 영상 데이터를 출력 받을 수 있다.

도 10은 본 발명의 일 실시예에 무식별 영상 기반의 소셜 네트워크 서비스 방법의 흐름도이다.

복수의 깊이 카메라를 이용하여 사용자의 움직임을 전방위로 촬영하여 음성 데이터, 영상 데이터 및 영상 데이터에 대응하는 송수신 시간 데이터를 포함한 동작 정보를 수집한다(S10).

복수의 깊이 카메라를 이용하여 사용자의 움직임을 전방위로 촬영하여 음성 데이터, 영상 데이터 및 상기 영상 데이터에 대응하는 송수신 시간 데이터를 포함한 동작 정보를 수집할 수 있다.

본 발명의 일 실시예에 따르면 깊이 카메라로는 구 좌표계의 원점에서 펄스 변조된 적외선(IR) 빔을 목표물에 발사시켜 수평(pan, φ)과 상하(tilt, θ)로 스캐닝하여 구 표면(sphere surface)의 각기 다른 불연속 점(г, θ, φ)의 분포(point??wise)에서 일어나는 역방향 산란(back scattering)으로 반사되어 원점으로 되돌아오는 시간, 즉 송수신 시간을 기반으로 배경 내 목표물의 3차원 영상 정보를 획득할 수 있는 카메라가 사용될 수 있다.

본 발명의 일 실시예에 따르면 복수개의 깊이 카메라는 적어도 하나의 사람의 움직임을 전방위로 촬영할 수 있도록 일정한 각도를 기준으로 설치될 수 있으며, 영상 데이터, 음성 데이터 및 영상 데이터와 시간을 기준으로 대응되는 미리 설정된 신체 부위별 송수신 시간 데이터를 수집할 수 있다.

본 발명의 일 실시예에 따르면 송수신 시간 데이터를 수집함에 있어, 2단계의 깊이 측정을 수행할 수 있다.

본 발명의 일 실시예에 따르면 2단계의 깊이 측정은 제1 깊이 측정 단계 및 제2 깊이 측정 단계로 구분할 수 있다.

상기 실시예와 같이 2단계로 나누어 깊이 측정을 수행하는 이유는 단일 주파수를 사용할 때 낮은 변조 주파수를 이용하여 깊이 측정을 수행하는 경우에는 최대 범위는 넓어지지만 측정 품질은 낮아지는 단점이 존재하며, 반대로, 높은 변조 주파수를 이용하여 깊이 측정을 수행하는 경우에는 측정 품질은 향상시킬 수 있지만 최대 범위는 좁아진다는 단점이 존재하므로, 이러한 단점을 최대한 보완하기 위함에 있다.

본 발명의 일 실시예에 따르면 제1 깊이 측정은 낮은 변조 주파수를 이용하여 깊이를 측정하여 미리 설정된 신체 부위별 관심 영역에 대하여 낮은 측정 품질로 측정을 수행할 수 있다.

본 발명의 일 실시예에 따르면 제2 깊이 측정은 제1 깊이 측정의 신체 부위별 관심 영역에 대한 측정 결과를 기반으로 높은 변조 주파수를 이용하여 깊이를 측정하여 높은 측정 품질로 측정 정밀도를 상승시킬 수 있다.

본 발명의 일 실시예에 따르면 넓은 최대 깊이 범위를 갖도록 낮은 변조 주파수를 이용하는 제1 깊이 측정은, 넓은 깊이 범위를 대상으로 대략적인 깊이를 측정할 수 있으며, 이때의 측정 품질은 변조 주파수에 비례관계를 가지므로 제1 깊이 측정을 통해 측정된 경과는 넓은 관심 영역에 대하여 낮은 측정 품질을 제공할 수 있다.

본 발명의 일 실시예에 따르면 제2 깊이 측정은 최대 깊이 범위가 제1 깊이 측정의 정밀도를 기반으로 설정될 수 있으며, 상대적으로 더 높은 주파수를 선택하여 좁은 관심 영역에 대한 높은 측점 품질을 제공함으로써 제1 깊이 측정 결과의 오차를 보상할 수 있다.

본 발명의 일 실시예에 따르면 낮은 변조 주파수는 수학식 1를 기반으로 선정될 수 있다.

본 발명의 일 실시예에 따르면 높은 변조 주파수는 낮은 변조 주파수의 사용시 측정된 표준 편차에 반비례하는 값으로 선정될 수 있으며, 표준 편차가 미리 설정한 한계값보다 작다면, 이는 신호 대 잡음비가 높은 것으로 판단하여 표준 편차가 미리 설정한 한계 값보다 큰 경우보다 상대적으로 높은 주파수로 선정될 수 있다.

여기서 표준 편차(

)는 수학식 2를 기반으로 산출될 수 있다.

본 발명의 일 실시예에 따르면 제1 깊이 측정 단계 및 제2 깊이 측정 단계를 다수 수행하여 반복된 측정을 통해 측정 정밀도를 상승시킬 수 있다.

동작 정보에 포함된 각 깊이 카메라별 영상 데이터를 인공 신경망 기반의 영상 분석 모델에 입력하여 각 신체 부위별 동선, 이동 속도 및 이동 각도를 포함하는 제1 행동 정보를 생성한다(S20).

수신한 동작 정보에 포함된 각 깊이 카메라별 영상 데이터를 인공 신경망 기반의 영상 분석 모델에 입력하여 각 신체 부위별 동선, 이동 속도 및 이동 각도를 포함하는 제1 행동 정보를 생성할 수 있다.

동작 정보에 포함된 송수신 시간 데이터를 분석하여 연속된 복수의 깊이 데이터, 속도 데이터, 진폭 데이터를 생성하여 노이즈를 제거한 후 중간값으로 평균화하여 제2 행동 정보를 생성한다(S30).

동작 정보에 포함된 각 깊이 카메라별 송수신 시간 데이터를 분석하여 연속된 복수의 깊이 데이터, 속도 데이터, 진폭 데이터를 생성하고, 진폭 데이터를 이용하여 진폭의 크기에 따라 누적 분포 함수 및 노이즈 제거 함수를 이용하여 노이즈를 제거하고, 노이즈가 제거된 각 깊이 카메라 별로 생성된 신체 부위별 깊이 데이터, 속도 데이터, 진폭 데이터를 중간 값으로 평균화하여 제2 행동 정보를 생성할 수 있다.

본 발명의 일 실시예에 따르면 인공 신경망 기반의 영상 분석 모델은 깊이 카메라별 영상 데이터를 입력층에 입력 받아 미리 설정된 각 신체 부위별로 동선, 이동 속도, 이동 각도 정보를 출력할 수 있으며, 이를 각 신체 부위별로 그룹핑하여 제1 행동 정보를 생성하도록 학습될 수 있다. 본 발명의 일 실시예에 따르면 각 깊이 카메라 별로 생성된 신체 부위별 송수신 시간 데이터를 분석하여 각 신체 부위별로 시간의 흐름에 따라 연속된 깊이 데이터, 속도 데이터, 진폭 데이터를 생성할 수 있다.

여기서 깊이 데이터란 관심 영역의 3차원적 위치를 인식할 수 있는 데이터를 의미할 수 있으며, 속도 데이터는 깊이 데이터를 기반으로 시간의 흐름에 따라 위치의 변경을 통해 산출된 이동 속도를 의미할 수 있으며, 진폭 데이터는 깊이 카메라에 의해 송신된 광은 표면의 진폭 정도에 따라 표면의 광 강도가 상이하므로 손상된 광이 반사되어 생긴 표면의 광 강도를 의미할 수 있다.

본 발명의 일 실시예에 따르면 진폭 데이터를 이용하여 진폭의 크기에 따라 누적 분포 함수 및 노이즈 함수를 이용하여 노이즈를 제거할 수 있다.

상기 실시예에 다르면 진폭 데이터는 깊이 카메라에 의해 반사되는 광이 얼마나 밝은지를 나타낼 수 있고, 이는 표면의 진폭 정도에 따라 표면의 광 강도가 상이하게 나타나는 것을 특징을 기반으로 한다.

본 발명의 일 실시예에 따르면 깊이 카메라에 사용되는 비이상적인 파형으로 인해 생기는 잡음과 객체의 경계에 생기는 노이즈를 제거하기 위해 누적 분포 함수 및 노이즈 함수를 사용하여 필터링을 수행할 수 있다.

본 발명의 일 실시예에 따르면 누적 분포 함수는 수학식 3을 기반으로 수행될 수 있다.

본 발명의 일 실시예에 따르면 노이즈 함수(NF)는 수학식 4를 기반으로 수행될 수 있다.

제1 행동 정보와 제2 행동 정보를 시간을 기준으로 정합 하여 오차를 산출하고, 산출된 오차에 대해서는 연속형 가중치 중간값 필터를 사용하여 오차를 제거하여 최종 행동 정보로 생성한다(S40).

본 발명의 일 실시예에 따르면 제1 행동 정보와 제2 행동 정보를 시간을 기준으로 정합 하여 오차를 산출하고, 산출된 오차에 대해서는 연속형 가중치 중간값 필터를 사용하여 오차를 제거하여 최종 행동 정보로 생성할 수 있다.

본 발명의 일 실시예에 따르면 제1 행동 정보와 제2 행동 정보를 인공 신경망 기반의 최종 행동 정보 생성 모델에 입력하여 제1 행동 정보와 제2 행동 정보에 포함된 신체 부위별 동선, 이동 속도 및 이동 각도를 대비하여 발생하는 차이를 오차로 산출하고, 오차가 발생한 데이터 각각에 가중치를 적용하여 산출된 값들을 중간 값으로 평균화하여 오차를 제거함으로써 하나의 신체 부위별 깊이 데이터, 속도 데이터, 진폭 데이터를 가진 최종 행동 정보를 생성할 수 있다.

본 발명의 일 실시예에 따르면 최종 행동 정보 생성 모델은 동작 분석 모듈 및 정합 모듈을 포함할 수 있다.

본 발명의 일 실시예에 따르면 동작 분석 모듈은 제2 행동 정보에 포함된 각 깊이 카메라 별로 생성된 신체 부위별 깊이 데이터, 속도 데이터, 진폭 데이터를 입력 받아 각 신체 부위별 동선, 이동 속도 및 이동 각도 정보를 출력할 수 있다.

본 발명의 일 실시예에 따르면 정합 모듈은 제1 행동 정보에 포함된 각 신체 부위별 동선, 이동 속도 및 이동 각도와 제2 행동 정보에 포함된 각 신체 부위별 동선, 이동 속도 및 이동 각도를 입력 받아 발생하는 차이를 오차로 산출할 수 있다.

상기 실시예에 따르면 오차가 발생한 데이터 각각에 가중치를 적용하여 산출된 값들을 중간 값으로 평균화하여 오차를 제거함으로써 하나의 신체 부위별 동선, 이동 속도 및 이동 각도를 출력할 수 있고, 이를 포함하는 최종 행동 정보를 생성할 수 있다.

여기서 오차가 발생한 데이터의 신체 부위별로 가중치를 부여하고 제1 행동 정보, 제2 행동 정보 별로도 가중치를 부여하여 가중치를 적용하여 산출한 값들의 중간 값으로 평균화를 수행하여 최종 행동 정보를 생성할 수 있으며, 본 발명의 일 실시예에 따르면 가중치 값들은 인공 신경망 기반의 판단 모델에 의해 정확도가 상대적으로 향상되도록 업데이트 될 수 있다.

본 발명의 일 실시예에 따르면 최종 행동 정보에 따라 생성된 3D 영상과 영상 데이터를 비교하여 정확도를 평가하는 인공 신경망 기반의 판단 모델을 이용할 수 있다.

상기 실시예에 따르면 인공 신경망 기반의 판단 모델을 이용하여 최종 행동 정보에 따라 생성된 3D 영상이 영상 데이터와 행동이 일치한다고 인정될 정도로 근사함을 평가할 수 있는 것으로 판단하기 위한 기준 행동 정보에 대한 제1 기대값을 설정하고, 최종 행동 정보에 따라 생성된 3D 영상과 제1 기대값의 차이를 제1 차이값으로 산출할 수 있다.

또한 최종 행동 정보에 따라 생성된 3D 영상이 영상 데이터와 행동이 일치한다고 인정될 정도로 근사함을 평가할 수 없는 것으로 판단하기 위한 기준 행동 정보에 대한 제2 기대값을 설정하고, 상기 최종 행동 정보에 따라 생성된 3D 영상과 제2 기대값의 차이를 제2 차이값으로 산출할 수 있다.

상기 실시예에 따르면 제1 차이값과 제2 차이값의 합을 기반의 최종 행동 정보 생성 모델을 구성하는 인경 신경망의 구분 손실값으로 산출하고, 구분 손실값이 최소가 되도록 가중치를 고정하여, 최종 행동 정보 생성 모델의 오차가 발생한 데이터 각각에 적용하는 가중치로 업데이트할 수 있다.

최종 행동 정보에 포함된 각 신체 부위별 동선, 이동 속도 및 이동 각도 및 상기 영상 데이터, 음성 데이터를 동작 영상 생성 모델에 입력하여 3D 합성 영상 데이터를 생성한다(S50).

본 발명의 일 실시예에 따르면 최종 행동 정보에 포함된 시간의 흐름에 따른 각 신체 부위별 동선, 이동 속도 및 이동 각도 및 영상 데이터, 음성 데이터를 동작 영상 생성 모델에 입력하여 사람의 움직임에 대한 3D 합성 영상 데이터를 생성할 수 있다.

본 발명의 일 실시예에 따르면 동작 영상 생성 모델에 최종 행동 정보에 포함된 시간의 흐름에 따른 각 신체 부위별 동선, 이동 속도 및 이동 각도를 입력하여 각 신체 부위를 기점으로 하고, 이를 연결하여 사람의 형상으로 3D 영상을 생성할 수 있으며 시간의 흐름에 따라 변화하는 값을 반영하여 사람의 움직임을 나타낼 수 있는 3D 영상을 생성할 수 있다.

본 발명의 일 실시예에 따르면 영상 데이터를 동작 영상 생성 모델에 입력하여 영상 데이터에 포함된 배경 이미지를 이용하여 배경화면 영상 데이터를 생성할 수 있다.

3D 합성 영상 데이터를 기반으로 무식별 영상을 통한 소셜 네트워크 서비스를 제공한다(S60).

본 발명의 일 실시예에 따르면 로부터 수신한 3D 합성 영상 데이터를 기반으로 무식별 영상을 통한 소셜 네트워크 서비스를 제공할 수 있다.

본 발명의 일 실시예에 따르면 3D 합성 영상 데이터를 기반으로 생성한 무식별 영상을 사용자의 계정에 업로드 하거나 커뮤니케이션을 원하는 사용자에게 전송함으로써 익명성 및 개인정보를 보장받으면서도 좀더 원활한 대화 및 감정 공감이 가능한 서비스를 제공할 수 있다.

본 발명의 실시 예는 이상에서 설명한 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (5)

1. 무식별 영상 기반의 소셜 네트워크 서비스 시스템에 접속하여 입력 받은 수신한 영상 데이터 음성 데이터 및 송수신 시간 데이터를 기반으로 3D 합성 영상 데이터를 생성하고, 상기 3D 합성 영상 데이터를 사용자 단말에 제공하는 관리 서버 및 상기 관리 서버와 연결되고 깊이 카메라로부터 수신한 영상 데이터 및 송수신 시간 데이터를 관리 서버에 제공하고, 상기 3D 합성 영상 데이터를 기반으로 무식별 영상 및 소셜 네트워크 서비스를 사용자에게 제공하는 사용자 단말을 포함하며,
   상기 사용자 단말은,
   복수의 깊이 카메라를 이용하여 사용자의 움직임을 전방위로 촬영하여 음성 데이터, 영상 데이터 및 상기 영상 데이터에 대응하는 송수신 시간 데이터를 포함한 동작 정보를 수집하여 상기 관리 서버로 송신하는 동작 정보 수집부; 및
   상기 관리 서버로부터 수신한 3D 합성 영상 데이터를 기반으로 무식별 영상을 통한 소셜 네트워크 서비스를 제공하는 SNS 서비스 제공부를 포함하고,
   상기 관리 서버는
   수신한 동작 정보에 포함된 각 깊이 카메라별 영상 데이터를 인공 신경망 기반의 영상 분석 모델에 입력하여 각 신체 부위별 동선, 이동 속도 및 이동 각도를 포함하는 제1 행동 정보를 생성하고, 상기 동작 정보에 포함된 각 깊이 카메라별 송수신 시간 데이터를 분석하여 연속된 복수의 깊이 데이터, 속도 데이터, 진폭 데이터를 생성하고, 상기 진폭 데이터를 이용하여 진폭의 크기에 따라 누적 분포 함수 및 노이즈 제거 함수를 이용하여 노이즈를 제거하고, 상기 노이즈가 제거된 각 깊이 카메라 별로 생성된 신체 부위별 깊이 데이터, 속도 데이터, 진폭 데이터를 중간 값으로 평균화하여 제2 행동 정보를 생성하는 행동 정보 생성부;
   상기 제1 행동 정보와 제2 행동 정보를 시간을 기준으로 정합 하여 오차를 산출하고, 산출된 오차에 대해서는 연속형 가중치 중간값 필터를 사용하여 오차를 제거하여 최종 행동 정보로 생성하는 최종 행동 정보 생성부; 및
   상기 최종 행동 정보에 포함된 시간의 흐름에 따른 각 신체 부위별 동선, 이동 속도 및 이동 각도 및 상기 영상 데이터를 동작 영상 생성 모델에 입력하여 사람의 움직임에 대한 3D 합성 영상 데이터를 생성하는 3D 영상 생성부를 포함하고,
   상기 행동 정보 생성부는,
   특징점 추출 모듈, 행동 정보 분석 모듈로 형성된 인공 신경망 기반의 영상 분석 모델을 포함하며, 상기 특징점 추출 모듈에 상기 영상 데이터를 입력하여 특징점을 추출하고, 추출된 특징점을 미리 설정 해놓은 신체 부위별로 라벨링하며, 행동 정보 분석 모듈에 상기 신체 부위별 특징점 및 영상 데이터를 입력하여 각 특징점 별 동선, 이동 속도 및 이동 각도를 포함하는 특징 맵을 생성하고, 생성된 특징 맵에 출력 활성화 함수를 적용하여 제1 행동 정보를 출력하는 제1 행동 정보 생성부; 및
   상기 각 깊이 카메라별 송수신 시간 데이터를 분석하여 미리 설정 해놓은 신체 부위별 연속된 깊이 데이터, 속도 데이터, 진폭 데이터를 생성하고, 상기 진폭 데이터를 이용하여 진폭의 크기에 따라 누적 분포 함수 및 노이즈 함수를 이용하여 검출된 노이즈를 제거하고, 연속형 확률 분포 함수를 이용하여 표면의 빛의 흡수량에 상관없이 일정한 진폭으로 정규화 시킨 각 깊이 카메라 별로 생성된 신체 부위별 깊이 데이터, 속도 데이터, 진폭 데이터를 중간값 필터로 평균화하여 제2 행동 정보를 생성하는 제2 행동 정보 생성부를 더 포함하는 것을 특징으로 하는 무식별 영상 기반의 소셜 네트워크 서비스 시스템.
2. 삭제
3. 제 1 항에 있어서 상기 최종 행동 정보 생성부는,
   상기 제1 행동 정보와 제2 행동 정보를 인공 신경망 기반의 최종 행동 정보 생성 모델에 입력하여 제1 행동 정보와 제2 행동 정보에 포함된 각 신체 부위별 동선, 이동 속도 및 이동 각도를 대비하여 발생하는 차이를 오차로 산출하고, 오차가 발생한 데이터 각각에 가중치를 적용하여 산출된 값들을 중간 값으로 평균화하여 오차를 제거함으로써 하나의 신체 부위별 동선, 이동 속도 및 이동 각도를 가진 최종 행동 정보를 생성하고,
   상기 최종 행동 정보에 따라 생성된 3D 영상과 영상 데이터를 비교하여 정확도를 평가하는 인공 신경망 기반의 판단 모델을 이용하여,
   상기 최종 행동 정보에 따라 생성된 3D 영상이 영상 데이터와 행동이 일치한다고 인정될 정도로 근사함을 평가할 수 있는 것으로 판단하기 위한 기준 행동 정보에 대한 제1 기대값을 설정하고, 상기 최종 행동 정보에 따라 생성된 3D 영상과 제1 기대값의 차이를 제1 차이값으로 산출하고,
   상기 최종 행동 정보에 따라 생성된 3D 영상이 영상 데이터와 행동이 일치한다고 인정될 정도로 근사함을 평가할 수 없는 것으로 판단하기 위한 기준 행동 정보에 대한 제2 기대값을 설정하고, 상기 최종 행동 정보에 따라 생성된 3D 영상과 제2 기대값의 차이를 제2 차이값으로 산출하고,
   상기 제1 차이값과 상기 제2 차이값의 합을 기반의 최종 행동 정보 생성 모델을 구성하는 인경 신경망의 구분 손실값으로 산출하고, 상기 구분 손실값이 최소가 되도록 가중치를 고정하여, 상기 최종 행동 정보 생성 모델의 오차가 발생한 데이터 각각에 적용하는 가중치로 업데이트하는 것을 특징으로 하는 무식별 영상 기반의 소셜 네트워크 서비스 시스템.
4. 제 3 항에 있어서 상기 3D 영상 생성부는,
   복수의 연산 레이어로 이루어진 합성곱 인공 신경망으로 구현되고 배경화면 생성 모듈, 동작 영상 생성 모듈, 3D 영상 합성 모듈을 포함하는 동작 영상 생성 모델을 포함하고,
   상기 3D 영상 합성 모듈은 상기 영상 데이터를 입력하면 영상 데이터에 포함된 객체를 제외한 복수의 배경 이미지를 추출하고, 추출된 복수의 배경 데이터를 레퍼런스 이미지에 매칭하여 전처리를 수행하고, 전처리가 수행된 복수의 배경 데이터를 분석하여 구간별로 디스크립터 데이터를 설정하며, 복수의 이미지 데이터 중 공간상 연결되는 이미지 데이터 간에 서로 공유되는 디스크립터 데이터를 도출하고, 도출된 상기 디스크립터 데이터를 기준으로 복수의 이미지를 정합하여 360도 회전이 가능한 배경화면 영상 데이터를 생성하고,
   상기 동작 영상 생성 모듈은 미리 설정된 신체 부위를 중심으로 각 신체 부위를 연결해 사람의 형상을 3D로 생성하고, 상기 생성된 사람의 형상을 상기 최종 행동 정보에 포함된 각 신체 부위별 동선, 이동 속도 및 이동 각도에 따라 각 신체 부위별로 움직이는 동작 영상 데이터를 생성하고,
   상기 3D 영상 합성 모듈은 상기 360도 회전이 가능한 배경화면에 3D 가상 인물의 동작 영상을 위치 및 각도에 따라 합성하여 합성 영상 데이터를 생성하는 것을 특징으로 하는 무식별 영상 기반의 소셜 네트워크 서비스 시스템.
5. 제 4 항에 있어서 상기 동작 정보 수집부는,
   송수신 시간 데이터를 수집함에 있어, 2단계의 깊이 측정을 수행하고,
   제1 깊이 측정은 낮은 변조 주파수를 이용하여 깊이를 측정하여 미리 설정된 신체 부위별 관심 영역에 대하여 낮은 측정 품질로 측정을 수행하고,
   제2 깊이 측정은 제1 깊이 측정의 신체 부위별 관심 영역에 대한 측정 결과를 기반으로 높은 변조 주파수를 이용하여 깊이를 측정하여 높은 측정 품질로 측정 정밀도를 상승시키고,
   상기 낮은 변조 주파수는 수학식 1을 기반으로 선정되며,
   [수학식 1]
   

   

   
   상기 높은 변조 주파수는 상기 낮은 변조 주파수의 사용시 측정된 표준 편차에 반비례하는 값으로 선정되고, 상기 표준 편차가 미리 설정한 한계값보다 작다면 신호 대 잡음비가 높은 것으로 판단하여 상기 표준 편차가 미리 설정한 한계 값보다 큰 경우보다 상대적으로 높은 주파수로 될 수 있으며,
   상기 제2 깊이 측정을 다수 수행하여 반복된 측정을 통해 측정 정밀도를 상승시키는 것을 특징으로 하는 무식별 영상 기반의 소셜 네트워크 서비스 시스템.

Images