KR20220170538A - 음향정보 분석을 통한 매칭정보 제공방법, 장치 및 프로그램 - Google Patents

Abstract

전술한 과제를 해결하기 위한 본 발명의 일 실시예에서, 음향정보 분석을 통해 매칭정보를 제공하는 방법이 개시된다. 상기 방법은, 음향정보를 획득하는 단계, 상기 음향정보에 기초하여 사용자특성정보를 획득하는 단계 및 상기 사용자특성정보에 대응하는 매칭정보를 제공하는 단계를 포함할 수 있다.

Description

음향정보 분석을 통한 매칭정보 제공방법, 장치 및 프로그램 {METHOD, APPARATUS AND PROGRAM FOR PROVIDING MATCHING INFORMATION THROUGH ACOUSTIC INFORMATION ANALYSIS}

본 발명은 사용자에게 적합한 매칭정보를 제공하기 위한 방법에 관한 것으로, 보다 구체적으로, 음향정보에 대한 분석을 통해 사용자에게 최적화된 매칭정보를 제공하는 기술에 관한 것이다.

스마트 TV, 스마트 폰, 태블릿 PC 등과 같은 다양한 전자 장치의 사용이 증가와 인터넷 서비스의 활성화로 인해, 전자 장치 또는 온라인을 통해 제공되는 광고가 증가하고 있다.

예컨대, 전자 장치 또는 온라인을 활용한 광고방법으로는, 각 사이트에서 광고주가 설정한 광고 내용을 해당 사이트를 방문하는 모든 사용자에게 배너 형식으로 제공하는 방식 등이 있다. 구체적인 예를 들어, 최근에는 온라인 상에서 광고를 제공받는 광고 시청자 타겟이 설정되고, 해당 광고 시청자 타겟에 맞춤형 광고가 제공되고 있다.

맞춤형 광고의 제공을 위해 광고 시청자를 타겟팅하는 방법으로는, 온라인을 통하여 가입자의 정보를 획득하여 분석함으로써 가입자의 관심 분야를 파악하는 방법이 있다.

이러한 온라인 광고의 형태는 가입자가 특정 사이트에 접속하여 서비스 이용 시, 가입자의 정보를 수집하는 방법으로, 제한적인 광고의 형태를 나타내게 된다. 또한, 온라인 광고는 사용자의 관심분야가 미리 설정되어 있는 사용자 정보에 근거하여 제공되므로, 사용자의 관심분야가 변경되는 경우 사용자가 직접 설정된 관심분야를 변경하지 않으면, 기존에 설정되어 있는 관심 분야에 대한 광고 밖에 제공받지 못하므로, 사용자의 새로운 관심분야에 대한 정보를 제공하지 못하게 된다.

따라서, 상기와 같은 종래의 광고방법으로는 가입자의 관심분야에 따라 광고를 제공한다는 관점에서 광고 제공의 효율성을 높이기 어렵다. 또한, 이러한 광고방법들은 시간의 흐름에 따라 변화하는 사용자의 관심분야에 대하여 능동적으로 대처할 수 없다는 우려가 존재할 수 있다.

대한민국 등록특허 10-2044555

본 발명이 해결하고자 하는 과제는 상술한 문제점을 해결하기 위한 것으로서, 음향정보에 대한 분석을 통해 사용자에게 보다 적합한 매칭 정보를 제공하기 위함이다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 해결하기 위한 본 발명의 다양한 실시예에 따른 음향정보 분석을 통한 매칭정보 제공 방법을 개시한다. 상기 방법은, 음향정보를 획득하는 단계, 상기 음향정보에 기초하여 사용자특성정보를 획득하는 단계 및 상기 사용자특성정보에 대응하는 매칭정보를 제공하는 단계를 포함할 수 있다.

대안적인 실시예에서, 상기 음향정보에 기초하여 사용자특성정보를 획득하는 단계는, 상기 음향정보에 대한 분석을 통해 사용자 또는 객체를 식별하는 단계 및 상기 식별된 사용자 또는 객체에 기반하여 상기 사용자특성정보를 생성하는 단계를 포함할 수 있다.

대안적인 실시예에서, 상기 음향정보에 기초하여 사용자특성정보를 획득하는 단계는, 상기 음향정보에 대한 분석을 통해 사용자가 특정공간 내에서 활동하는 시간에 관련한 활동시간정보를 생성하는 단계 및 상기 활동시간정보에 기초하여 상기 사용자특성정보를 생성하는 단계를 포함할 수 있다.

대안적인 실시예에서, 상기 사용자특성정보에 대응하는 매칭정보를 제공하는 단계는, 미리 정해진 시간 동안 획득되는 복수의 음향정보 각각에 대응하는 복수의 사용자특성정보 각각의 획득 시점 및 빈도수에 기반하여 상기 매칭정보를 제공하는 단계를 포함할 수 있다.

대안적인 실시예에서, 상기 음향정보를 획득하는 단계는, 상기 획득한 음향정보에 대한 전처리를 수행하는 단계 및 상기 전처리가 수행된 음향정보에 대응하는 음향특성정보를 식별하는 단계를 포함하며, 상기 음향특성정보는, 상기 음향정보가 언어적 음향 및 비언어적 음향 중 적어도 하나에 관련한 것인지에 대한 제1특성정보 및 객체구분에 관련한 제2특성정보를 포함할 수 있다.

대안적인 실시예에서, 상기 음향정보에 기초하여 사용자특성정보를 획득하는 단계는, 상기 음향정보에 대응하는 상기 음향특성정보에 기초하여 상기 사용자특성정보를 획득하는 단계를 포함하며, 상기 사용자특성정보를 획득하는 단계는, 상기 음향특성정보가 언어적 음향에 관련한다는 제1특성정보를 포함하는 경우, 상기 음향정보를 제1음향모델에 입력으로 처리하여 상기 음향정보에 대응하는 사용자특성정보를 획득하는 단계 또는 상기 음향특성정보가 비언어적 음향에 대응한다는 제1특성정보를 포함하는 경우, 상기 음향정보를 제2음향모델에 입력으로 처리하여 상기 음향정보에 대응하는 사용자특성정보를 획득하는 단계 중 적어도 하나를 포함할 수 있다.

대안적인 실시예에서, 상기 제1음향모델은, 언어적 음향에 관련한 음향정보에 대한 분석을 수행하여 상기 음향정보에 관련한 텍스트, 주제, 또는 감정 중 적어도 하나를 판별하도록 학습된 신경망 모델이며, 상기 제2음향모델은, 비언어적 음향에 관련한 음향정보에 대한 분석을 수행하여 상기 음향정보에 관련한 객체식별정보 또는 객체상태정보를 획득하도록 학습된 신경망 모델이며, 상기 사용자특성정보는, 상기 음향정보에 관련한 텍스트, 주제 또는 감정 중 적어도 하나에 관련한 제1사용자특성정보 및 상기 음향정보에 관련한 상기 객체식별정보 또는 상기 객체상태정보에 관련한 제2사용자특성정보 중 적어도 하나를 포함할 수 있다.

대안적인 실시예에서, 상기 사용자특성정보에 대응하는 매칭정보를 제공하는 단계는, 상기 획득된 사용자특성정보가 상기 제1사용자특성정보 및 상기 제2사용자특성정보를 포함하는 경우, 상기 제1사용자특성정보 및 상기 제2사용자특성정보 간의 연관성에 관련한 연관 정보를 획득하는 단계, 상기 연관 정보에 기반하여 매칭정보를 업데이트하는 단계 및 상기 업데이트된 매칭정보를 제공하는 단계를 포함할 수 있다.

대안적인 실시예에서, 상기 사용자특성정보에 기초하여 매칭정보를 제공하는 단계는, 미리 정해진 시간을 주기로 획득되는 하나 이상의 음향정보 각각에 대응하는 하나 이상의 사용자특성정보에 기초하여 환경 특성 테이블을 생성하는 단계 및 상기 환경 특성 테이블에 기초하여 상기 매칭정보를 제공하는 단계를 포함하며, 상기 환경 특성 테이블은, 상기 미리 정해진 시간을 주기로 획득되는 사용자특성정보들 각각의 통계에 관한 정보일 수 있다.

대안적인 실시예에서, 상기 사용자특성정보에 대응하는 매칭정보를 제공하는 단계는, 상기 환경 특성 테이블에 기초하여 상기 매칭정보의 제공을 위한 제1시점을 식별하는 단계 및 상기 제1시점에 대응하여 상기 매칭정보를 제공하는 단계를 포함할 수 있다.

본 발명의 다른 실시예에 따르면, 음향정보 분석을 통한 매칭정보 제공 방법을 수행하는 장치가 개시된다. 상기 장치는, 하나 이상의 인스트럭션을 저장하는 메모리 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 전술한 음향정보 분석을 통해 매칭정보 제공 방법을 수행할 수 있다.

본 발명의 또 다른 실시예에 따르면, 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터 프로그램이 개시된다. 상기 컴퓨터 프로그램은 하드웨어인 컴퓨터와 결합되어, 전술한 음향정보 분석을 통한 매칭정보 제공 방법을 수행할 수 있다.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명의 다양한 실시예에 따라, 사용자의 생활 환경에 관련하여 획득한 음향정보에 기반하여 타겟팅된 매칭정보를 제공함으로서, 광고 효과를 극대화하는 효과를 제공할 수 있다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 음향정보 분석을 통한 매칭정보 제공 방법을 수행하기 위한 시스템을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 일 실시예와 관련된 음향정보 분석을 통한 매칭정보를 제공하기 위한 서버의 하드웨어 구성도이다.
도 3은 본 발명의 일 실시예와 관련된 음향정보 분석을 통해 매칭정보를 제공하는 방법을 예시적으로 나타낸 순서도를 도시한다.
도 4는 본 발명의 일 실시예와 관련된 음향정보에 기초하여 사용자특성정보를 획득하는 과정을 예시적으로 나타낸 도면이다.
도 5는 본 발명의 일 실시예와 관련된 사용자특성정보에 기반하여 매칭정보를 제공하는 과정을 예시적으로 나타낸 도면이다.
도 6은 본 발명의 일 실시예와 관련된 사용자가 위치한 공간 내에서 다양한 음향정보의 획득 과정과 음향정보에 대응하는 매칭정보를 제공하는 방법을 설명하기 위한 예시도를 도시한다.

다양한 실시예들이 이제 도면을 참조하여 설명된다. 본 명세서에서, 다양한 설명들이 본 발명의 이해를 제공하기 위해서 제시된다. 그러나, 이러한 실시예들은 이러한 구체적인 설명 없이도 실행될 수 있음이 명백하다.

본 명세서에서 사용되는 용어 "컴포넌트", "모듈", "시스템" 등은 컴퓨터-관련 엔티티, 하드웨어, 펌웨어, 소프트웨어, 소프트웨어 및 하드웨어의 조합, 또는 소프트웨어의 실행을 지칭한다. 예를 들어, 컴포넌트는 프로세서상에서 실행되는 처리과정(procedure), 프로세서, 객체, 실행 스레드, 프로그램, 및/또는 컴퓨터일 수 있지만, 이들로 제한되는 것은 아니다. 예를 들어, 컴퓨팅 장치에서 실행되는 애플리케이션 및 컴퓨팅 장치 모두 컴포넌트일 수 있다. 하나 이상의 컴포넌트는 프로세서 및/또는 실행 스레드 내에 상주할 수 있다. 일 컴포넌트는 하나의 컴퓨터 내에 로컬화 될 수 있다. 일 컴포넌트는 2개 이상의 컴퓨터들 사이에 분배될 수 있다. 또한, 이러한 컴포넌트들은 그 내부에 저장된 다양한 데이터 구조들을 갖는 다양한 컴퓨터 판독가능한 매체로부터 실행할 수 있다. 컴포넌트들은 예를 들어 하나 이상의 데이터 패킷들을 갖는 신호(예를 들면, 로컬 시스템, 분산 시스템에서 다른 컴포넌트와 상호작용하는 하나의 컴포넌트로부터의 데이터 및/또는 신호를 통해 다른 시스템과 인터넷과 같은 네트워크를 통해 전송되는 데이터)에 따라 로컬 및/또는 원격 처리들을 통해 통신할 수 있다.

더불어, 용어 "또는"은 배타적 "또는"이 아니라 내포적 "또는"을 의미하는 것으로 의도된다. 즉, 달리 특정되지 않거나 문맥상 명확하지 않은 경우에, "X는 A 또는 B를 이용한다"는 자연적인 내포적 치환 중 하나를 의미하는 것으로 의도된다. 즉, X가 A를 이용하거나; X가 B를 이용하거나; 또는 X가 A 및 B 모두를 이용하는 경우, "X는 A 또는 B를 이용한다"가 이들 경우들 어느 것으로도 적용될 수 있다. 또한, 본 명세서에 사용된 "및/또는"이라는 용어는 열거된 관련 아이템들 중 하나 이상의 아이템의 가능한 모든 조합을 지칭하고 포함하는 것으로 이해되어야 한다.

또한, "포함한다" 및/또는 "포함하는"이라는 용어는, 해당 특징 및/또는 구성요소가 존재함을 의미하는 것으로 이해되어야 한다. 다만, "포함한다" 및/또는 "포함하는"이라는 용어는, 하나 이상의 다른 특징, 구성요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다. 또한, 달리 특정되지 않거나 단수 형태를 지시하는 것으로 문맥상 명확하지 않은 경우에, 본 명세서와 청구범위에서 단수는 일반적으로 "하나 또는 그 이상"을 의미하는 것으로 해석되어야 한다.

당업자들은 추가적으로 여기서 개시된 실시예들과 관련되어 설명된 다양한 예시적 논리적 블록들, 구성들, 모듈들, 회로들, 수단들, 로직들, 및 알고리즘 단계들이 전자 하드웨어, 컴퓨터 소프트웨어, 또는 양쪽 모두의 조합들로 구현될 수 있음을 인식해야 한다. 하드웨어 및 소프트웨어의 상호교환성을 명백하게 예시하기 위해, 다양한 예시 적 컴포넌트들, 블록들, 구성들, 수단들, 로직들, 모듈들, 회로들, 및 단계들은 그들의 기능성 측면에서 일반적으로 위에서 설명되었다. 그러한 기능성이 하드웨어로 또는 소프트웨어로서 구현되는지 여부는 전반적인 시스템에 부과된 특정 어플리케이션(application) 및 설계 제한들에 달려 있다. 숙련된 기술자들은 각각의 특정 어플리케이션들을 위해 다양한 방법들로 설명된 기능성을 구현할 수 있다. 다만, 그러한 구현의 결정들이 본 발명의 영역을 벗어나게 하는 것으로 해석되어서는 안된다.

제시된 실시예들에 대한 설명은 본 발명의 기술 분야에서 통상의 지식을 가진 자가 본 발명을 이용하거나 또는 실시할 수 있도록 제공된다. 이러한 실시예들에 대한 다양한 변형들은 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 명백할 것이다. 여기에 정의된 일반적인 원리들은 본 발명의 범위를 벗어남이 없이 다른 실시예들에 적용될 수 있다. 그리하여, 본 발명은 여기에 제시된 실시예들로 한정되는 것이 아니다. 본 발명은 여기에 제시된 원리들 및 신규한 특징들과 일관되는 최광의의 범위에서 해석되어야 할 것이다.

본 명세서에서, 컴퓨터는 적어도 하나의 프로세서를 포함하는 모든 종류의 하드웨어 장치를 의미하는 것이고, 실시 예에 따라 해당 하드웨어 장치에서 동작하는 소프트웨어적 구성도 포괄하는 의미로서 이해될 수 있다. 예를 들어, 컴퓨터는 스마트폰, 태블릿 PC, 데스크톱, 노트북 및 각 장치에서 구동되는 사용자 클라이언트 및 애플리케이션을 모두 포함하는 의미로서 이해될 수 있으며, 또한 이에 제한되는 것은 아니다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.

본 명세서에서 설명되는 각 단계들은 컴퓨터에 의하여 수행되는 것으로 설명되나, 각 단계의 주체는 이에 제한되는 것은 아니며, 실시 예에 따라 각 단계들의 적어도 일부가 서로 다른 장치에서 수행될 수도 있다.

여기서, 본 발명의 다양한 실시예에 따른 음향정보 분석을 통해 매칭정보를 제공하는 방법은, 복수의 사용자 각각의 실생활 속에서 획득한 다양한 음향정보를 기반으로 각 사용자에게 최적화된 매칭정보를 제공할 수 있다. 예컨대, 매칭정보는, 광고에 관련한 정보일 수 있다. 즉, 사용자에게 최적화된 매칭정보를 제공하는 것은, 사용자의 구매 의욕을 향상시키는 효율적인 광고 즉, 최적화된 광고 정보를 제공하는 것을 의미할 수 있다. 즉, 본 발명의 음향정보 분석을 통해 매칭정보를 제공하는 방법은, 사용자의 생활 공간 상에서 획득되는 다양한 음향정보들을 분석하여 해당 사용자에게 맞춤형 광고 정보를 제공할 수 있다. 이에 따라, 광고주의 입장에서는 광고에 관심을 가질만한 잠재고객층 또는 목표고객층에게만 선택적으로 광고를 노출시킬 수 있기 때문에 광고비용이 획기적으로 감소될 수 있으며, 광고 효과가 극대화되는 효과를 제공받을 수 있다. 또한, 소비자 입장에서도 자신의 관심과 필요를 충족하는 광고를 제공받을 수 있어 정보 검색의 편의성이 증대되는 효과를 제공받을 수 있다.

도 1은 본 발명의 일 실시예에 따른 음향정보 분석을 통해 매칭정보를 제공하기 위한 방법을 수행하기 위한 시스템을 개략적으로 나타낸 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 음향정보 분석을 통해 매칭정보를 제공하기 위한 방법을 수행하기 위한 시스템은, 음향정보 분석을 통해 매칭정보를 제공하는 서버(100), 사용자 단말(200) 및 외부 서버(300)를 포함할 수 있다.

여기서, 도 1에 도시된 음향정보 분석을 통해 매칭정보를 제공하는 시스템은 일 실시예에 따른 것이고, 그 구성 요소가 도 1에 도시된 실시예에 한정되는 것은 아니며, 필요에 따라 부가, 변경 또는 삭제될 수 있다.

일 실시예에서, 음향정보 분석을 통해 매칭정보를 제공하는 서버(100)는 음향정보를 획득할 수 있으며, 획득한 음향정보를 분석하여 최적의 매칭정보를 제공할 수 있다. 즉, 음향정보 분석을 통해 매칭정보를 제공하는 서버(100)는, 사용자의 실생활 관련한 다양한 음향정보를 획득하고, 음향모델을 통해 획득한 음향정보를 분석함으로써 사용자의 성향에 관련한 정보를 파악하여 해당 사용자에게 최적화된 매칭정보를 제공할 수 있다.

실시예에 따르면, 음향정보 분석을 통해 매칭정보를 제공하는 서버(100)는 API(Application Programming Interface)에 의해 구현되는 임의의 서버를 포함할 수 있다. 예컨대, 사용자 단말(200)은 음향정보를 획득하여 이에 대한 분석을 수행하고, API를 통해 서버(100)에 음향 정보의 인식 결과를 제공할 수 있다. 여기서 음향 정보 인식 결과는, 예를 들어, 음향정보 분석에 관련한 피처를 의미할 수 있다. 구체적인 예를 들어, 음향 정보 인식 결과는, 음향정보에 대한 단시간 푸리에 변환(STFT: Short-Time Fourier Transform)을 통해 획득되는 스펙트로그램(Spectrogram)일 수 있다. 스펙트로그램은, 소리나 파동을 시각화하여 파악하기 위한 것으로, 파형(waveform)과 스펙트럼(spectrum)의 특징이 조합된 것일 수 있다. 스펙트로그램은 시간 축과 주파수 축의 변화에 따라 진폭을 차이를 인쇄 농도 또는, 표시 색상의 차이로 나타낸 것일 수 있다.

다른 예를 들어, 음향 정보 인식 결과는, 스펙트로그램에 대한 멜-필터 뱅크(Mel-Filter Bank)를 통해 획득된 멜-스펙트로그램(Mel-Spectrogram)을 포함할 수 있다. 일반적으로, 인간의 달팽이관은 음성 데이터의 주파수에 따라 진동하는 부위가 상이할 수 있다. 인간의 달팽이관은 주파수가 낮은 대역에서 주파수 변화를 잘 감지하며, 높은 대역에서의 주파수 변화를 잘 감지하지 못하는 특성을 가지고 있다. 이에 따라, 음성 데이터에 대한 인간의 달팽이관의 특성과 유사한 인식 능력을 갖도록 멜-필터 뱅크를 활용하여 스펙트로그램으로부터 멜-스펙트로그램을 획득할 수 있다. 즉, 멜-필터 뱅크는, 낮은 주파수 대역에서 적은 필터 뱅크를 적용하고, 고대역으로 갈수록 넓은 필터 뱅크를 적용하는 것 일 수 있다. 다시 말해, 사용자 단말(200)은 인간의 달팽이관의 특성과 유사하도록 음향정보를 인식하기 위해 멜-필터 뱅크를 스펙트로그램에 적용함으로써, 멜-스펙트로그램을 획득할 수 있다. 즉, 멜-스펙트로그램은 인간의 청각 특성이 반영된 주파수 성분을 포함할 수 있다.

서버(100)는 사용자 단말(200)로부터 획득한 음향 정보 인식 결과를 기반으로 해당 사용자에게 최적화된 매칭정보를 제공할 수 있다. 이 경우, 서버(100)는 음향정보의 인식 결과(예컨대, 사용자의 성향 예측에 기반이 되는 스펙트로그램 또는 멜 스펙트로그램)만을 사용자 단말(200)로부터 전달받게 되므로, 음향정보 수집에 따른 사용자의 프라이버시 이슈가 해소될 수 있다.

일 실시예에서, 음향모델(예: 인공지능 모델)은 하나 이상의 네트워크 함수로 구성되며, 하나 이상의 네트워크 함수는 일반적으로 ‘노드’라 지칭될 수 있는 상호 연결된 계산 단위들의 집합으로 구성될 수 있다. 이러한 ‘노드’들은 ‘뉴런(neuron)’들로 지칭될 수도 있다. 하나 이상의 네트워크 함수는 적어도 하나 이상의 노드들을 포함하여 구성된다. 하나 이상의 네트워크 함수를 구성하는 노드(또는 뉴런)들은 하나 이상의 ‘링크’에 의해 상호 연결될 수 있다.

인공지능 모델 내에서, 링크를 통해 연결된 하나 이상의 노드들은 상대적으로 입력 노드 및 출력 노드의 관계를 형성할 수 있다. 입력 노드 및 출력 노드의 개념은 상대적인 것으로서, 하나의 노드에 대하여 출력 노드 관계에 있는 임의의 노드는 다른 노드와의 관계에서 입력 노드 관계에 있을 수 있으며, 그 역도 성립할 수 있다. 전술한 바와 같이, 입력 노드 대 출력 노드 관계는 링크를 중심으로 생성될 수 있다. 하나의 입력 노드에 하나 이상의 출력 노드가 링크를 통해 연결될 수 있으며, 그 역도 성립할 수 있다.

하나의 링크를 통해 연결된 입력 노드 및 출력 노드 관계에서, 출력 노드는 입력 노드에 입력된 데이터에 기초하여 그 값이 결정될 수 있다. 여기서 입력 노드와 출력 노드를 상호 연결하는 노드는 가중치(weight)를 가질 수 있다. 가중치는 가변적일 수 있으며, 인공지능 모델이 원하는 기능을 수행하기 위해, 사용자 또는 알고리즘에 의해 가변될 수 있다. 예를 들어, 하나의 출력 노드에 하나 이상의 입력 노드가 각각의 링크에 의해 상호 연결된 경우, 출력 노드는 상기 출력 노드와 연결된 입력 노드들에 입력된 값들 및 각각의 입력 노드들에 대응하는 링크에 설정된 가중치에 기초하여 출력 노드 값을 결정할 수 있다.

전술한 바와 같이, 인공지능 모델은 하나 이상의 노드들이 하나 이상의 링크를 통해 상호연결 되어 인공지능 모델 내에서 입력 노드 및 출력 노드 관계를 형성한다. 인공지능 모델 내에서 노드들과 링크들의 개수 및 노드들과 링크들 사이의 연관관계, 링크들 각각에 부여된 가중치의 값에 따라, 인공지능 모델의 특성이 결정될 수 있다. 예를 들어, 동일한 개수의 노드 및 링크들이 존재하고, 링크들 사이의 가중치 값이 상이한 두 인공지능 모델이 존재하는 경우, 두 개의 인공지능 모델들은 서로 상이한 것으로 인식될 수 있다.

인공지능 모델을 구성하는 노드들 중 일부는, 최초 입력 노드로부터의 거리들에 기초하여, 하나의 레이어(layer)를 구성할 수 있다. 예를 들어, 최초 입력 노드로부터 거리가 n인 노드들의 집합은, n 레이어를 구성할 수 있다. 최초 입력 노드로부터 거리는, 최초 입력 노드로부터 해당 노드까지 도달하기 위해 거쳐야 하는 링크들의 최소 개수에 의해 정의될 수 있다. 그러나, 이러한 레이어의 정의는 설명을 위한 임의적인 것으로서, 인공지능 모델 내에서 레이어의 차수는 전술한 것과 상이한 방법으로 정의될 수 있다. 예를 들어, 노드들의 레이어는 최종 출력 노드로부터 거리에 의해 정의될 수도 있다.

최초 입력 노드는 인공지능 모델 내의 노드들 중 다른 노드들과의 관계에서 링크를 거치지 않고 데이터가 직접 입력되는 하나 이상의 노드들을 의미할 수 있다. 또는, 인공지능 모델 네트워크 내에서, 링크를 기준으로 한 노드 간의 관계에 있어서, 링크로 연결된 다른 입력 노드들 가지지 않는 노드들을 의미할 수 있다. 이와 유사하게, 최종 출력 노드는 인공지능 모델 내의 노드들 중 다른 노드들과의 관계에서, 출력 노드를 가지지 않는 하나 이상의 노드들을 의미할 수 있다. 또한, 히든 노드는 최초 입력 노드 및 최후 출력 노드가 아닌 인공지능 모델을 구성하는 노드들을 의미할 수 있다. 본 발명의 일 실시예에 따른 인공지능 모델은 입력 레이어의 노드가 출력 레이어에 가까운 히든 레이어의 노드보다 많을 수 있으며, 입력 레이어에서 히든 레이어로 진행됨에 따라 노드의 수가 감소하는 형태의 인공지능 모델일 수 있다.

인공지능 모델은 하나 이상의 히든 레이어를 포함할 수 있다. 히든 레이어의 히든 노드는 이전의 레이어의 출력과 주변 히든 노드의 출력을 입력으로 할 수 있다. 각 히든 레이어 별 히든 노드의 수는 동일할 수도 있고 상이할 수도 있다. 입력 레이어의 노드의 수는 입력 데이터의 데이터 필드의 수에 기초하여 결정될 수 있으며 히든 노드의 수와 동일할 수도 있고 상이할 수도 있다. 입력 레이어에 입력된 입력 데이터는 히든 레이어의 히든 노드에 의하여 연산될 수 있고 출력 레이어인 완전 연결 레이어(FCL: fully connected layer)에 의해 출력될 수 있다.

다양한 실시예에서, 인공지능 모델은, 복수의 음향정보와 각 음향정보에 대응하는 특정정보를 학습 데이터로 하여 지도학습(supervised learning)될 수 있다. 그러나, 이에 한정되지 않고, 다양한 학습 방법이 적용될 수 있다.

여기서, 지도학습은 통상적으로 특정 데이터와 특정 데이터에 연관된 정보를 라벨링하여 학습 데이터를 생성하고, 이를 이용하여 학습시키는 방법으로써, 인과 관계를 가진 두 데이터를 라벨링하여 학습 데이터를 생성하고, 생성된 학습 데이터를 통해 학습하는 방법을 의미한다.

일 실시예에서, 음향정보 분석을 통해 매칭정보를 제공하는 서버(100)는 하나 이상의 네트워크 함수의 학습이 사전 결정된 에폭 이상 수행된 경우, 검증 데이터를 이용하여 학습의 중단 여부를 결정할 수 있다. 사전 결정된 에폭은 전체 학습 목표 에폭의 일부일 수 있다.

검증 데이터는 라벨링된 학습 데이터 중 적어도 일부로 구성될 수 있다. 즉 음향정보 분석을 통해 매칭정보를 제공하는 서버(100)는 학습 데이터를 통해 인공지능 모델의 학습을 수행하며, 인공지능 모델의 학습이 사전결정된 에폭 이상 반복된 후, 검증 데이터를 이용하여 인공지능 모델의 학습 효과가 사전 결정된 수준 이상인지 여부를 판단할 수 있다. 예를 들어, 음향정보 분석을 통해 매칭정보를 제공하는 서버(100)는 100개의 학습 데이터를 이용하여 목표 반복 학습 횟수가 10회인 학습을 수행하는 경우, 사전결정된 에폭인 10회의 반복 학습을 수행한 후, 10개의 검증 데이터를 이용하여 3회의 반복 학습을 수행하여, 3회의 반복 학습 동안 인공지능 모델 출력의 변화가 사전결정된 수준 이하인 경우 더 이상의 학습이 무의미한 것으로 판단하고 학습을 종료할 수 있다.

즉, 검증 데이터는 인공지능 모델의 반복 학습에서 에폭별 학습의 효과가 일정 이상인지 이하인지 여부에 기초하여 학습의 완료를 결정하는 데 이용될 수 있다. 전술한 학습 데이터, 검증 데이터의 수 및 반복 횟수는 예시일 뿐이며 본 발명은 이에 제한되지 않는다.

음향정보 분석을 통해 매칭정보를 제공하는 서버(100)는 테스트 데이터를 이용하여 하나 이상의 네트워크 함수의 성능을 테스트하여 하나 이상의 네트워크 함수의 활성화 여부를 결정함으로써, 인공지능 모델을 생성할 수 있다. 테스트 데이터는 인공지능 모델의 성능을 검증하기 위하여 사용될 수 있으며, 학습 데이터 중 적어도 일부로 구성될 수 있다. 예를 들어, 학습 데이터 중 70%는 인공지능 모델의 학습(즉, 레이블과 비슷한 결과값을 출력하도록 가중치를 조정하기 위한 학습)을 위해 활용될 수 있으며, 30%는 인공지능 모델의 성능을 검증하기 위한 테스트 데이터로써 활용될 수 있다. 음향정보 분석을 통해 매칭정보를 제공하는 서버(100)는 학습이 완료된 인공지능 모델에 테스트 데이터를 입력하고 오차를 측정하여 사전 결정된 성능 이상인지 여부에 따라 인공지능 모델의 활성화 여부를 결정할 수 있다.

음향정보 분석을 통해 매칭정보를 제공하는 서버(100)는 학습이 완료된 인공지능 모델에 테스트 데이터를 이용하여 학습 완료된 인공지능 모델의 성능을 검증하고 학습 완료된 인공지능 모델의 성능이 사전에 결정된 기준 이상인 경우 해당 인공지능 모델을 다른 어플리케이션에서 사용하도록 활성화할 수 있다.

또한, 음향정보 분석을 통해 매칭정보를 제공하는 서버(100)는 학습 완료된 인공지능 모델의 성능이 사전에 결정된 기준 이하인 경우 해당 인공지능 모델을 비활성화하여 폐기할 수 있다. 예를 들어, 최적의 자극 위치 산출 서버(100)는 정확도(accuracy), 정밀도(precision), 재현율(recall) 등의 요소를 기준으로 하여 생성된 인공지능 모델 모델의 성능을 판단할 수 있다. 전술한 성능 평가 기준은 예시일 뿐이며 본 발명은 이에 제한되지 않는다. 본 발명의 일 실시예에 따라 최적의 자극 위치 산출 서버(100)는 각각의 인공지능 모델을 독립적으로 학습시켜 복수의 인공지능 모델 모델을 생성할 수 있으며, 성능을 평가하여 일정 성능 이상의 인공지능 모델만을 사용할 수 있다. 그러나, 이에 한정되지 않는다.

본 명세서에 걸쳐, 연산 모델, 신경망, 네트워크 함수, 뉴럴 네트워크(neural network)는 동일한 의미로 사용될 수 있다. (이하에서는 신경망으로 통일하여 기술한다.) 데이터 구조는 신경망을 포함할 수 있다. 그리고 신경망을 포함한 데이터 구조는 컴퓨터 판독가능 매체에 저장될 수 있다. 신경망을 포함한 데이터 구조는 또한 신경망에 입력되는 데이터, 신경망의 가중치, 신경망의 하이퍼 파라미터, 신경망으로부터 획득한 데이터, 신경망의 각 노드 또는 레이어와 연관된 활성 함수, 신경망의 학습을 위한 손실 함수를 포함할 수 있다. 신경망을 포함한 데이터 구조는 상기 개시된 구성들 중 임의의 구성 요소들을 포함할 수 있다. 즉, 신경망을 포함한 데이터 구조는 신경망에 입력되는 데이터, 신경망의 가중치, 신경망의 하이퍼 파라미터, 신경망으로부터 획득한 데이터, 신경망의 각 노드 또는 레이어와 연관된 활성 함수, 신경망의 트레이닝을 위한 손실 함수 등 전부 또는 이들의 임의의 조합을 포함하여 구성될 수 있다. 전술한 구성들 이외에도, 신경망을 포함한 데이터 구조는 신경망의 특성을 결정하는 임의의 다른 정보를 포함할 수 있다. 또한, 데이터 구조는 신경망의 연산 과정에 사용되거나 발생되는 모든 형태의 데이터를 포함할 수 있으며 전술한 사항에 제한되는 것은 아니다. 컴퓨터 판독가능 매체는 컴퓨터 판독가능 기록 매체 및/또는 컴퓨터 판독가능 전송 매체를 포함할 수 있다. 신경망은 일반적으로 노드라 지칭될 수 있는 상호 연결된 계산 단위들의 집합으로 구성될 수 있다. 이러한 노드들은 뉴런(neuron)들로 지칭될 수도 있다. 신경망은 적어도 하나 이상의 노드들을 포함하여 구성된다.

본 발명의 일 실시예에 따르면, 음향정보 분석을 통해 매칭정보를 제공하는 서버(100)는 클라우드 컴퓨팅 서비스를 제공하는 서버일 수 있다. 보다 구체적으로, 음향정보 분석을 통해 매칭정보를 제공하는 서버(100)는 인터넷 기반 컴퓨팅의 일종으로 정보를 사용자의 컴퓨터가 아닌 인터넷에 연결된 다른 컴퓨터로 처리하는 클라우드 컴퓨팅 서비스를 제공하는 서버일 수 있다. 상기 클라우드 컴퓨팅 서비스는 인터넷 상에 자료를 저장해 두고, 사용자가 필요한 자료나 프로그램을 자신의 컴퓨터에 설치하지 않고도 인터넷 접속을 통해 언제 어디서나 이용할 수 있는 서비스일 수 있으며, 인터넷 상에 저장된 자료들을 간단한 조작 및 클릭으로 쉽게 공유하고 전달할 수 있다. 또한, 클라우드 컴퓨팅 서비스는 인터넷 상의 서버에 단순히 자료를 저장하는 것뿐만 아니라, 별도로 프로그램을 설치하지 않아도 웹에서 제공하는 응용프로그램의 기능을 이용하여 원하는 작업을 수행할 수 있으며, 여러 사람이 동시에 문서를 공유하면서 작업을 진행할 수 있는 서비스일 수 있다. 또한, 클라우드 컴퓨팅 서비스는 IaaS(Infrastructure as a Service), PaaS(Platform as a Service), SaaS(Software as a Service), 가상 머신 기반 클라우드 서버 및 컨테이너 기반 클라우드 서버 중 적어도 하나의 형태로 구현될 수 있다. 즉, 본 발명의 음향정보 분석을 통해 매칭정보를 제공하는 서버(100)는 상술한 클라우드 컴퓨팅 서비스 중 적어도 하나의 형태로 구현될 수 있다. 전술한 클라우드 컴퓨팅 서비스의 구체적인 기재는 예시일 뿐, 본 발명은 클라우드 컴퓨팅 환경을 구축하는 임의의 플랫폼을 포함할 수도 있다.

다양한 실시예에서, 음향정보 분석을 통해 매칭정보를 제공하는 서버(100)는 네트워크(400)를 통해 사용자 단말(200)과 연결될 수 있고, 음향정보를 분석하는 음향모델을 생성하여 제공할 수 있으며, 뿐만 아니라, 음향모델을 통해 음향정보를 분석한 정보(예컨대, 사용자특성정보)를 기반으로 각 사용자에 대응하는 최적의 매칭정보를 제공할 수 있다.

여기서, 네트워크(400)는 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미할 수 있다. 예를 들어, 네트워크(400)는 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷(WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다.

또한, 여기서, 무선 데이터 통신망은 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), 5GPP(5th Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), RF(Radio Frequency), 블루투스(Bluetooth) 네트워크, NFC(Near-Field Communication) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.

일 실시예에서, 사용자 단말(200)은 네트워크(400)를 통해 음향정보 분석을 통해 매칭정보를 제공하는 서버(100)와 연결될 수 있으며, 음향정보 분석을 통해 매칭정보를 제공하는 서버(100)로 복수의 음향정보(예컨대, 언어적 음향정보 또는 비언어적 음향정보)를 제공할 수 있고, 제공된 음향정보에 대한 응답으로 각종 정보(예를 들어, 음향정보에 대응하는 사용자특성정보 및 사용자특성정보에 대응하는 매칭정보 등)를 제공받을 수 있다.

여기서, 사용자 단말(200)은 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있으나, 이에 한정되지 않는다. 예컨대, 사용자 단말(200)은, 핫 워드(hot word)를 기반으로 사용자와 상호작용을 통해 음악 감상, 정보 검색 등 다양한 기능을 제공하는 인공지능(AI) 스피커 및 인공지능 TV 등을 더 포함할 수 있다.

일 실시예에서, 사용자 단말(200)은 제1사용자 단말(210) 및 제2사용자 단말(220)을 포함할 수 있다. 사용자 단말(제1사용자 단말(210) 및 제2사용자 단말(220))들은 네트워크(400)를 통하여 서로 간에 또는 다른 엔티티와의 통신을 위한 메커니즘을 가지며, 음향정보 분석을 통해 매칭정보를 제공하기 위한 시스템에서의 임의의 형태의 엔티티를 의미할 수 있다. 일례로, 제1사용자 단말(210)은 매칭정보를 제공받는 사용자에 관련한 임의의 단말을 포함할 수 있다. 또한, 제2사용자 단말(220)은 매칭정보 등록을 위한 광고주에 관련한 임의의 단말을 포함할 수 있다. 이러한 사용자 단말(200)은 디스플레이를 구비하고 있어서, 사용자의 입력을 수신하고, 사용자에게 임의의 형태의 출력을 제공할 수 있다.

일 실시예에서, 외부 서버(300)는 네트워크(400)를 통해 음향정보 분석을 통해 매칭정보를 제공하는 서버(100)와 연결될 수 있으며, 음향정보 분석을 통해 매칭정보를 제공하는 서버(100)가 인공지능 모델을 활용하여 음향정보를 분석하기 위해 필요한 각종 정보/데이터를 제공하거나, 인공지능 모델을 활용한 음향 정보 분석을 수행함에 따라 도출되는 결과 데이터를 제공받아 저장 및 관리할 수 있다. 예를 들어, 외부 서버(300)는 음향정보 분석을 통해 매칭정보를 제공하는 서버(100)의 외부에 별도로 구비되는 저장 서버일 수 있으나, 이에 한정되지 않는다. 이하 도 2를 참조하여 음향정보 분석을 통해 매칭정보를 제공하는 서버(100)의 하드웨어 구성에 대해 설명하도록 한다.

도 2는 본 발명의 일 실시예와 관련된 음향정보 분석을 통한 매칭정보를 제공하기 위한 서버의 하드웨어 구성도이다.

도 2를 참조하면, 본 발명의 일 실시예에 따른 최적의 자극 위치 산출 서버(100)(이하, “서버(100)”)는 하나 이상의 프로세서(110), 프로세서(110)에 의하여 수행되는 컴퓨터 프로그램(151)을 로드(Load)하는 메모리(120), 버스(130), 통신 인터페이스(140) 및 컴퓨터 프로그램(151)을 저장하는 스토리지(150)를 포함할 수 있다. 여기서, 도 2에는 본 발명의 실시예와 관련 있는 구성요소들만 도시되어 있다. 따라서, 본 발명이 속한 기술분야의 통상의 기술자라면 도 2에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다.

프로세서(110)는 서버(100)의 각 구성의 전반적인 동작을 제어한다. 프로세서(110)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서를 포함하여 구성될 수 있다.

프로세서(110)는 메모리(120)에 저장된 컴퓨터 프로그램을 판독하여 본 발명의 일 실시예에 따른 인공지능 모델을 위한 데이터 처리를 수행할 수 있다. 본 발명의 일 실시예에 따라 프로세서(110)는 신경망의 학습을 위한 연산을 수행할 수 있다. 프로세서(110)는 딥러닝(DL: deep learning)에서 학습을 위한 입력 데이터의 처리, 입력 데이터에서의 피처 추출, 오차 계산, 역전파(backpropagation)를 이용한 신경망의 가중치 업데이트 등의 신경망의 학습을 위한 계산을 수행할 수 있다.

또한, 프로세서(110)는 CPU, GPGPU, 및 TPU 중 적어도 하나가 네트워크 함수의 학습을 처리할 수 있다. 예를 들어, CPU 와 GPGPU가 함께 네트워크 함수의 학습, 네트워크 함수를 이용한 데이터 분류를 처리할 수 있다. 또한, 본 발명의 일 실시예에서 복수의 컴퓨팅 장치의 프로세서를 함께 사용하여 네트워크 함수의 학습, 네트워크 함수를 이용한 데이터 분류를 처리할 수 있다. 또한, 본 발명의 일 실시예에 따른 컴퓨팅 장치에서 수행되는 컴퓨터 프로그램은 CPU, GPGPU 또는 TPU 실행가능 프로그램일 수 있다.

본 명세서에서 네트워크 함수는 인공 신경망, 뉴럴 네트워크와 상호 교환 가능하게 사용될 수 있다. 본 명세서에서 네트워크 함수는 하나 이상의 뉴럴 네트워크를 포함할 수도 있으며, 이 경우 네트워크 함수의 출력은 하나 이상의 뉴럴 네트워크의 출력의 앙상블(ensemble)일 수 있다.

프로세서(110)는 메모리(120)에 저장된 컴퓨터 프로그램을 판독하여 본 발명의 일 실시예에 따른 음향모델을 제공할 수 있다. 본 발명의 일 실시예에 따라, 프로세서(110)는 음향정보에 대응하는 사용자특성정보를 획득할 수 있다. 본 발명의 일 실시예에 따라, 프로세서(110)는 음향모델을 학습시키기 위한 계산을 수행할 수 있다.

본 발명의 일 실시예에 따르면, 프로세서(110)는 통상적으로 서버(100)의 전반적인 동작을 처리할 수 있다. 프로세서(110)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(120)에 저장된 응용 프로그램을 구동함으로써, 사용자 또는 사용자 단말에게 적정한 정보 또는, 기능을 제공하거나 처리할 수 있다.

또한, 프로세서(110)는 본 발명의 실시예들에 따른 방법을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있으며, 서버(100)는 하나 이상의 프로세서를 구비할 수 있다.

다양한 실시예에서, 프로세서(110)는 프로세서(110) 내부에서 처리되는 신호(또는, 데이터)를 일시적 및/또는 영구적으로 저장하는 램(RAM: Random Access Memory, 미도시) 및 롬(ROM: Read-Only Memory, 미도시)을 더 포함할 수 있다. 또한, 프로세서(110)는 그래픽 처리부, 램 및 롬 중 적어도 하나를 포함하는 시스템온칩(SoC: system on chip) 형태로 구현될 수 있다.

메모리(120)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(120)는 본 발명의 다양한 실시예에 따른 방법/동작을 실행하기 위하여 스토리지(150)로부터 컴퓨터 프로그램(151)을 로드할 수 있다. 메모리(120)에 컴퓨터 프로그램(151)이 로드되면, 프로세서(110)는 컴퓨터 프로그램(151)을 구성하는 하나 이상의 인스트럭션들을 실행함으로써 상기 방법/동작을 수행할 수 있다. 메모리(120)는 RAM과 같은 휘발성 메모리로 구현될 수 있을 것이나, 본 발명의 기술적 범위가 이에 한정되는 것은 아니다.

버스(130)는 서버(100)의 구성 요소 간 통신 기능을 제공한다. 버스(130)는 주소 버스(address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다.

통신 인터페이스(140)는 서버(100)의 유무선 인터넷 통신을 지원한다. 또한, 통신 인터페이스(140)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 통신 인터페이스(140)는 본 발명의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다. 몇몇 실시예에서, 통신 인터페이스(140)는 생략될 수도 있다.

스토리지(150)는 컴퓨터 프로그램(151)을 비 임시적으로 저장할 수 있다. 서버(100)를 통해 음향정보 분석을 통해 매칭정보를 제공하는 프로세스를 수행하는 경우, 스토리지(150)는 음향정보 분석을 통해 매칭정보를 제공 프로세스를 제공하기 위하여 필요한 각종 정보를 저장할 수 있다.

스토리지(150)는 ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.

컴퓨터 프로그램(151)은 메모리(120)에 로드될 때 프로세서(110)로 하여금 본 발명의 다양한 실시예에 따른 방법/동작을 수행하도록 하는 하나 이상의 인스트럭션들을 포함할 수 있다. 즉, 프로세서(110)는 상기 하나 이상의 인스트럭션들을 실행함으로써, 본 발명의 다양한 실시예에 따른 상기 방법/동작을 수행할 수 있다.

일 실시예에서, 컴퓨터 프로그램(151)은 음향정보를 획득하는 단계, 음향정보에 기초하여 사용자특성정보를 획득하는 단계 및 사용자특성정보에 대응하는 매칭정보를 제공하는 단계를 포함하는 음향정보 분석을 통해 매칭정보를 제공하는 방법을 수행하도록 하는 하나 이상의 인스트럭션을 포함할 수 있다.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.

본 발명의 구성 요소들은 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 애플리케이션)으로 구현되어 매체에 저장될 수 있다. 본 발명의 구성 요소들은 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있으며, 이와 유사하게, 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 이하, 도 3 내지 도 6을 참조하여, 서버(100)에 의해 수행되는 음향정보 분석을 통해 매칭정보를 제공하는 방법에 대해 설명하도록 한다.

도 3은 본 발명의 일 실시예와 관련된 음향정보 분석을 통해 매칭정보를 제공하는 방법을 예시적으로 나타낸 순서도이다.

본 발명의 일 실시예에 따르면, 단계 S110에서, 서버(100)는 음향정보를 획득하는 단계를 수행할 수 있다. 실시예에 따르면, 음향정보는 사용자에 관련한 사용자 단말(200)을 통해 획득될 수 있다. 예를 들어, 사용자에 관련한 사용자 단말(200)은, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치 또는 특정 공간(예컨대, 사용자의 주거 공간) 상에 구비된 전자 장치(예컨대, 마이크를 통해 음향정보를 수신할 수 있는 장치) 등을 포함할 수 있다.

일 실시예에 따르면, 음향정보의 획득은, 메모리에 저장된 음향정보를 수신하거나 또는, 로딩(loading)하는 것일 수 있다. 또한, 음향정보의 획득은, 유/무선 통신 수단에 기초하여 다른 저장 매체, 다른 서버, 동일한 서버 내의 별도 처리 모듈로부터 음향정보를 수신하거나 또는 로딩하는 것일 수 있다.

본 발명의 추가적인 실시예에 따르면, 음향정보의 획득은 사용자가 특정 공간(예컨대, 사용자의 활동 공간)에 위치하는지 여부에 기초하여 수행되는 것을 특징으로 할 수 있다. 구체적으로, 사용자의 활동에 관련한 특정 공간에는 센서모듈이 구비될 수 있다. 즉, 특정 공간 내에 구비된 센서모듈을 통해 사용자가 해당 공간 상에 위치하는지 여부를 식별할 수 있다. 예컨대, 근거리 통신 기술의 일종인 RFID(Radio Frequency Identification) 기술을 이용하여, 전파를 이용하여 원거리의 사용자의 고유 정보를 인식할 수 있다. 예를 들어, 사용자는 RFID 모듈이 포함된 카드 또는 이동 단말기(mobile terminal)를 소지할 수 있다. 사용자가 소지한 RFID 모듈에는 해당 사용자를 식별하는 정보(예를 들어, 서비스 관리 서버에 등록된 사용자의 개인ID, 식별 코드 등)이 기록될 수 있다. 센서모듈은 사용자가 소지한 RFID 모듈을 식별함으로 인하여, 해당 사용자가 특정 공간 상에 위치하는지 여부를 식별할 수 있다. 센서모듈은 RFID 기술 외에도, 접촉식/비접촉식으로 사용자의 고유정보를 송수신할 수 있는 다양한 기술(예를 들어, 블루투스 등과 같은 근거리 통신 기술)을 포함할 수 있다. 또한, 센서모듈은 마이크로폰, 터치패드, 카메라 모듈 등과 연동하여, 사용자의 생체 데이터(음성, 지문, 얼굴)를 식별하는 생체 데이터 식별 모듈을 더 포함할 수 있다. 추가적인 실시예에서, 사용자의 발화에 관련한 음향정보를 통해 사용자가 특정 공간 상에 위치하는지 여부를 식별할 수도 있다. 구체적으로, 사용자의 발화에 관련한 음성정보를 시동어로써 인식하고, 인식 시점에 대응하여 해당 공간 상에 발생하는 추가적인 음향정보들을 획득할 수 있다.

서버(100)는 상기한 바와 같은 센서모듈 또는 사용자의 발화에 관련한 음향을 통해 사용자가 특정 공간 상에 위치하는지 여부를 식별할 수 있다. 또한, 서버(100)는 사용자가 특정 공간 상에 위치하는 것으로 판단하는 경우, 해당 시점을 기초로 발생하는 음향정보들을 획득할 수 있다.

다시 말해, 사용자가 특정 공간 내에 존재하지 않는 경우, 해당 공간에 관련한 음향정보를 획득하지 않으며, 사용자가 특정 공간 내에 존재하는 경우에만 해당 공간에 관련한 음향정보를 획득함으로써, 전력 소모를 최소화할 수 있다.

본 발명의 일 실시예에 따르면, 음향정보를 획득하는 단계는, 획득한 음향정보에 대한 전처리를 수행하는 단계 및 전처리가 수행된 음향정보에 대응하는 음향특성정보를 식별하는 단계를 포함할 수 있다.

일 실시예에 따르면, 음향정보에 대한 전처리는, 음향정보의 인식률을 향상시키기 위한 전처리일 수 있다. 예컨대, 이러한 전처리는 음향정보에서 노이즈를 제거하는 전처리를 포함할 수 있다. 구체적으로, 서버(100)는 음향정보에 포함된 신호의 크기와 기준 신호의 크기의 비교에 기초하여 음향정보에 포함된 신호의 크기를 표준화할 수 있다. 서버(100)는 획득한 음향정보에 포함된 신호의 크기가 사전 결정된 시준 신호 미만인 경우, 해당 신호의 크기를 크게 조정하고, 그리고 음향정보에 포함된 신호가 사전 결정된 기준 신호 이상인 경우, 해당 신호의 크기를 작게(즉, clipping되지 않게)조정하는 전처리를 수행할 수 있다. 전술한 노이즈 제거에 관한 구체적인 기재는 일 예시일 뿐, 본 발명은 이에 제한되지 않는다.

본 발명의 다른 실시예에 따르면, 음향정보에 대한 전처리는, 음향정보에 포함된 신호의 파형을 분석하여 발화 이외의 음향(즉, 비언어적 음향)을 증폭시키는 전처리를 포함할 수 있다. 구체적으로, 서버(100)는 음향정보에 포함된 다양한 음향들의 주파수를 분석하여 적어도 하나의 특정 주파수에 관련한 음향을 확대시킬 수 있다.

예를 들어, 서버(100)는 음향정보에 포함된 다양한 음향들의 종류를 판별하기 위해 SVM(Supporting Vector Machine)과 같은 기계학습 알고리즘을 이용하여 분류하고, 각각의 상이한 주파수를 포함하는 음향 각각에 대응하는 음향 증폭 알고리즘을 통해 특정 음향을 증폭시킬 수 있다. 전술한 음향 증폭 알고리즘은, 예시일 뿐, 본 발명은 이에 제한되지 않는다.

다시 말해, 본 발명은 음향정보에 포함된 비언어적 음향을 증폭시키기 위한 전처리를 수행할 수 있다. 예컨대, 본 발명에서 사용자의 특성을 파악하기 위하여(또는, 사용자에게 최적의 매칭정보를 제공하기 위하여), 분석에 기반이되는 음향정보는 언어적 음향정보 및 비언어적 음향정보를 포함할 수 있다. 일 실시예에서, 언어적 음향정보 보다 비언어적 음향정보가 사용자의 특성을 분석하는데 유의미한 분석을 제공할 수 있다.

구체적인 예를 들어, 서버(100)가 반려동물(예컨대, 강아지)의 음향(즉, 비언어적 음향정보)을 포함하는 음향정보를 획득하는 경우, 서버(100)는 비언어적 음향정보인 '강아지 소리'의 인식률을 향상시키기 위해, 해당 비언어적 음향에 관련한 음향정보를 증폭시킬 수 있다.

다른 예를 들어, 서버(100)가 사용자의 기침 소리(즉, 비언어적 음향정보)에 관련한 음향정보를 획득하는 경우, 서버(100)는 비언어적 음향정보인 '사람의 기침 소리'의 인식률을 향상시키기 위해, 해당 비언어적 음향에 관련한 음향정보를 증폭시킬 수 있다.

다시 말해, 사용자의 특성을 파악하는데 유의미한 정보를 제공하는 비언어적 음향정보를 증폭시키는 전처리를 수행함으로써, 결과적으로 사용자에게 보다 적합한 매칭정보를 제공할 수 있게 된다.

또한, 서버(100)는 전처리된 음향정보에 대응하는 음향특성정보를 식별할 수 있다. 여기서, 음향특성정보는, 음향정보가 언어적 음향 및 비언어적 음향 중 적어도 하나에 관련한 것인지에 대한 제1특성정보 및 객체구분에 관련한 제2특성정보를 포함할 수 있다.

제1특성정보는, 음향정보가 언어적 음향인지 또는 비언어적 음향인지에 관한 정보를 포함할 수 있다. 예컨대, 제1음향정보에 대응하는 제1특성정보는, 해당 제1음향정보가 언어적 음향에 관련한다는 정보를 포함할 수 있으며, 제2음향정보에 대응하는 제1특성정보는, 해당 제2음향정보가 비언어적 음향에 관련한다는 정보를 포함할 수 있다.

제2특성정보는, 음향정보가 몇 개의 객체를 포함하는지 여부에 관한 정보를 포함할 수 있다. 예컨대, 제1음향정보에 대응하는 제2특성정보는, 해당 제1음향정보에 3명의 사용자의 발화가 존재한다는 정보를 포함할 수 있으며, 제2음향정보에 대응하는 제2특성정보는, 해당 제2음향정보에 세탁기 작동에 관련한 음향과 고양이 울음소리에 관련한 음향이 존재한다는 정보를 포함할 수 있다. 일 실시예에서, 음향정보에 대응하는 제1특성정보 및 제2특성정보는 후술될 제1음향모델 및 제2음향모델을 통해 식별될 수 있다.

즉, 서버(100)는 획득한 음향정보에 대한 전처리를 수행하며, 전처리된 음향정보에 대응하는 음향특성정보를 식별할 수 있다. 여기서 음향특성정보는 전술한 바와 같이, 해당 음향정보가 언어적 음향 또는 비언어적 음향 중 어디에 관련한 것인지 여부에 관한 정보(즉, 제1특성정보)와, 음향정보 내에 몇 개의 객체가 존재하는지에 대한 정보(즉, 제2특성정보)가 포함되어 있으므로, 이후 후술될 음향정보 분석 과정에서 편의성을 제공할 수 있다.

본 발명의 일 실시예에 따르면, 단계 S120에서, 서버(100)는 음향정보에 기초하여 사용자특성정보를 획득하는 단계를 수행할 수 있다. 일 실시예에서, 사용자특성정보를 획득하는 단계는, 음향정보에 대한 분석을 통해 사용자 또는 객체를 식별하는 단계 및 식별된 사용자 또는 객체에 기반하여 사용자특성정보를 생성하는 단계를 포함할 수 있다.

구체적으로, 서버(100)는 음향정보를 획득한 경우, 해당 음향정보에 대한 분석을 통해 음향정보에 대응하는 사용자 또는 객체를 식별할 수 있다. 예를 들어, 서버(100)는 제1음향정보에 대한 분석을 수행하여 해당 제1음향정보가 제1사용자에 대응하는 음향임을 식별할 수 있다. 다른 예를 들어, 서버(100)는 제2음향정보에 대한 분석을 수행하여 해당 제2음향정보가 청소기에 대응하는 음향임을 식별할 수 있다. 또 다른 예를 들어, 서버(100)는 제3음향정보에 대한 분석을 수행하여 해당 제3음향정보가 제2사용자에 대응하는 음향과 세탁기에 관련한 음향을 포함함을 식별할 수 있다. 전술한 제1음향정보 내지 제3음향정보에 대한 구체적은 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.

또한, 서버(100)는 음향정보에 대응하여 식별된 사용자 또는 객체에 기반하여 사용자특성정보를 생성할 수 있다. 여기서, 사용자특성정보는, 매칭정보 제공에 기반이 되는 정보로, 예컨대, 음향정보에 관련한 텍스트, 주제, 감정, 객체식별정보 또는 객체상태정보 등에 관련한 정보일 수 있다.

예를 들어, 제1음향정보가 제1사용자에 대응하는 음향임을 식별하는 경우, 서버(100)는 제1사용자에 매칭된 사용자정보를 식별하여 사용자가 26세 여성에 관련한다는 사용자특성정보를 생성할 수 있다. 다른 예를 들어, 제2음향정보가 A 브랜드 청소기에 대응하는 음향임을 식별하는 경우, 서버(100)는 해당 제2음향정보를 통해 사용자가 A 브랜드 청소기를 활용한다는 사용자특성정보를 생성할 수 있다. 또 다른 예를 들어, 제3음향정보가 제2사용자에 대응하는 음향과 B 브랜드 세탁기에 관련한 음향임을 식별하는 경우, 서버(100)는 사용자가 40세 남성에 관련하며 또한, B 브랜드 세탁기를 활용한다는 사용자특성정보를 생성할 수 있다. 전술한 제1 내지 제3음향정보 및 각 음향정보에 대응하는 사용자특성정보에 대한 구체적인 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.

즉, 서버(100)는 음향정보의 분석을 통해 식별된 사용자 또는 객체에 기반하여 사용자에 관련한 사용자특성정보를 생성할 수 있다. 이러한 사용자특성정보는, 사용자의 관심사, 취향 또는 특성 등을 파악할 수 있는 정보일 수 있다.

또한, 일 실시예에 따르면, 사용자특성정보를 획득하는 단계는, 음향정보에 대한 분석을 통해 사용자가 특정공간 내에서 활동하는 시간에 관련한 활동시간정보를 생성하는 단계 및 활동시간정보에 기초하여 사용자특성정보를 생성하는 단계를 포함할 수 있다. 구체적으로, 서버(100)는 특정 공간에 대응하여 획득한 음향정보에 대한 분석을 통해 사용자가 특정공간 내에서 활동하는 시간에 관련한 활동시간정보를 생성할 수 있다.

일 실시예에서, 서버(100)는 사용자의 발화와 관련한 음향정보를 통해 사용자가 특정 공간 상에 위치하는지 여부에 관한 정보를 획득할 수 있다. 구체적인 예를 들어, 서버(100)는 사용자의 발화에 관련한 음성을 시동어로써 인식하고, 인식 시점을 기초로 사용자가 특정공간 내에 진입한 것으로 판별하며, 해당 공간 내에서 획득된 음향정보에 사용자의 발화에 관련한 음성이 포함되지 않으며, 획득되는 음향정보의 크기가 미리 정해진 기준치 이하인 경우, 사용자가 특정공간 내에 존재하지 않는 것으로 판별할 수 있다. 또한, 서버(100)는 각각의 판별시점들을 기준으로 사용자가 특정공간 내에서 활동하는 시간에 관련한 활동시간정보를 생성할 수 있다. 즉, 서버(100)는 사용자의 발화에 관련한 음향정보를 통해 사용자가 특정 공간 상에 위치하는지 여부를 식별하여 사용자에 관련한 활동시간정보를 생성할 수 있다.

다른 실시예에서, 서버(100)는 획득되는 음향정보의 크기에 기초하여 사용자가 특정 공간 상에 위치하는지 여부에 관한 정보를 획득할 수 있다. 구체적인 예를 들어, 서버(100)는 특정 공간 상에서 지속적으로 획득되는 음향정보의 크기가 미리 정해진 기준치 이상인 시점을 식별하여 사용자가 특정 공간 내에 진입한 것으로 판별하며, 해당 공간 상에서 획득한 음향정보의 크기가 미리 정해진 기준치 미만인 시점을 식별하여 사용자가 특정공간 내에 존재하지 않는 것으로 판별할 수 있다. 또한, 서버(100)는 각각의 판별시점들을 기준으로 사용자가 특정공간 내에서 활동하는 시간에 관련한 활동시간정보를 생성할 수 있다. 즉, 서버(100)는 특정공간 내에서 발생하는 음향정보의 크기를 식별하고, 해당 크기에 기초하여 사용자가 특정 공간 상에 위치하는지 여부를 식별하여 사용자에 관련한 활동시간정보를 생성할 수 있다.

또 다른 실시예에서, 서버(100)는 특정 시동 음향을 기반으로 사용자가 특정 공간 상에 위치하는지 여부에 관한 정보를 획득할 수 있다. 여기서 특정 시동 음향은, 사용자의 출입에 관련한 음향일 수 있다. 예를 들어, 시동 음향은, 현관문의 개폐음과 관련한 음향일 수 있다. 즉, 서버(100)는 외부에서 비밀번호를 통한 도어락 개방에 관련한 음향정보에 기반하여 사용자가 해당 공간 상에 위치한 것으로 판별할 수 있다. 또한, 서버(100)는 내부에서의 현관문 개방에 관련한 음향정보에 기반하여 사용자가 해당 공간에 존재하지 않는 것으로 판별할 수 있다. 또한 서버(100)는 각각의 판별시점들을 기준으로 사용자가 특정공간 내에서 활동하는 시간에 관련한 활동시간정보를 생성할 수 있다. 즉, 서버(100)는 특정공간 내에서 발생하는 시동 음향에 기반하여 사용자가 특정 공간 상에 위치하는지 여부를 식별하여 사용자에 관련한 활동시간정보를 생성할 수 있다.

전술한 바와 같이, 서버(100)는 다양한 실시예에 따라, 사용자가 특정 공간 내에서 활동하는 시간에 관련한 활동시간정보를 생성할 수 있다. 예를 들어, 서버(100)는 제1사용자가 특정 공간(예컨대, 주거 공간)에서 활동하는 시간이 24시간 중 18시간(예컨대, 오전12시부터 오후6시까지 해당 공간에 위치)에 해당한다는 활동시간정보를 생성할 수 있다. 다른 예를 들어, 서버(100)는 제2사용자가 특정 공간에서 활동하는 시간이 하루를 기준으로 6시간(예컨대, 오전12시부터 오전6시까지 해당 공간에 위치)에 해당한다는 활동시간정보를 생성할 수 있다. 전술한 각 사용자에 대응하는 활동시간정보에 대한 구체적인 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.

또한, 서버(100)는 활동시간정보에 기초하여 사용자특성정보를 생성할 수 있다. 구체적인 예를 들어, 서버(100)는 제1사용자가 특정 공간(예컨대, 주거 공간)에서 활동하는 시간이 24시간 중 18시간에 해당한다는 활동시간정보에 기초하여 제1사용자가 주거공간에서의 활동이 많다는 사용자특성정보를 생성할 수 있다. 일례로, 서버(100)는 제1사용자의 활동시간정보를 통해, 제1사용자가 주거공간에 머무는 시간이 보다 많은 것을 식별하여 해당 제1사용자가 '주부' 또는 '재택근무자'에 관련한다는 사용자특성정보를 생성할 수도 있다. 추가적인 실시예에서, 서버(100)는 활동시간정보와 음향정보에 대한 분석정보를 추합하여 보다 구체적인 사용자의 직업을 유추할 수도 있다. 이러한 경우, 사용자의 특성이 보다 구체적으로 특정될 수 있어, 제공되는 매칭정보의 정확성이 향상되는 효과가 있다.

다른 예를 들어, 서버(100)는 제2사용자가 특정 공간에서 활동하는 시간이 하루를 기준으로 6시간에 해당한다는 활동시간정보에 기초하여 제2사용자가 주거공간에서 활동이 적다는 사용자특성정보를 생성할 수 있다. 전술한 각 사용자의 활동시간정보 및 각 활동시간정보에 대응하는 사용자특성정보에 대한 구체적인 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.

본 발명의 다른 실시예에 따르면, 사용자특성정보를 획득하는 단계는, 음향정보에 대응하는 음향특성정보에 기초하여 사용자특성정보를 획득하는 단계를 포함할 수 있다. 여기서, 음향특성정보는, 음향정보가 언어적 음향 및 비언어적 음향 중 적어도 하나에 관련한 것인지에 대한 제1특성정보 및 객체구분에 관련한 제2특성정보를 포함할 수 있다.

구체적으로, 사용자특성정보를 획득하는 단계는, 음향특성정보가 언어적 음향에 관련한다는 제1특성정보를 포함하는 경우, 음향정보를 제1음향모델에 입력으로 처리하여 음향정보에 대응하는 사용자특성정보를 획득하는 단계 또는 음향특성정보가 비언어적 음향에 대응한다는 제1특성정보를 포함하는 경우, 음향정보를 제2음향모델에 입력으로 처리하여 음향정보에 대응하는 사용자특성정보를 획득하는 단계 중 적어도 하나를 포함할 수 있다.

일 실시예에 따르면, 제1음향모델은, 언어적 음향에 관련한 음향정보에 대한 분석을 수행하여 음향정보에 관련한 텍스트, 주제, 또는 감정 중 적어도 하나를 판별하도록 학습된 신경망 모델일 수 있다.

본 발명의 일 실시에에 따르면, 제1음향모델은, 음향정보에 포함된 사용자의 발화에 관련한 음성정보(즉, 언어적 음향)를 입력으로 하여 음성정보에 대응하는 텍스트정보를 출력하는 음성 인식 모델로, 학습 데이터를 통해 사전 학습된 하나 이상의 네트워크 함수를 포함할 수 있다. 즉, 제1음향모델은 사용자의 발화에 관련한 음성정보를 텍스트정보로 전환하는 음성 인식 모델을 포함할 수 있다. 예컨대, 음성 인식 모델은 사용자의 발화에 관련한 음성정보를 입력으로 처리하여 이에 대응하는 텍스트(예컨대, "강아지 사료가 다 떨어졌다")를 출력할 수 있다. 전술한 음성정보 및 음성정보에 대응하는 텍스트에 대한 구체적인 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.

또한, 제1음향모델은, 음성정보에 대응하여 출력된 텍스트정보에 대한 자연어 처리 분석을 통해 문맥을 파악함으로써, 음성정보에 포함된 주제 또는 감정 등을 파악하는 텍스트 분석 모델을 포함할 수 있다.

일 실시예에서, 텍스트 분석 모델은 텍스트정보를 자연어 처리 신경망(즉, 텍스트 분석 모델)을 통해 텍스트에 대한 의미 분석을 통해 중요 키워드를 인식하여 주제를 파악할 수 있다. 예컨대, "강아지 사료가 다 떨어졌다"와 관련한 텍스트 정보인 경우, 텍스트 분석 모델은 해당 문장의 주제를 '사료 소진'으로 파악할 수 있다. 전술한 텍스트 정보 및 이에 대응하는 주제에 대한 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.

또한, 일 실시예에서, 텍스트 분석 모델은 텍스트정보를 자연어 처리 신경망을 통해 연산하여 다양한 의도 그룹 각각에 따른 분석값을 출력할 수 있다. 다양한 의도 그룹은, 미리 정해진 기준을 통해 텍스트를 포함하는 문장을 특정 의도들 각각으로 구분한 것일 수 있다. 여기서 자연어 처리 인공 신경망은 텍스트정보를 입력 데이터로 하고, 각각의 연결가중치를 연산하여 의도 그룹을 출력 노드로 할 수 있다. 여기서 연결 가중치는 LSTM 방식에서 사용되는 입력, 출력 및 망각 게이트의 가중치이거나 또는 RNN에서 통용되는 게이트의 가중치일 수도 있다. 이에 따라, 제1음향모델은 각각의 의도 그룹에 일대일 대응되는 텍스트정보의 분석값을 연산할 수 있다. 그리고, 여기서 분석값은 텍스트정보가 하나의 의도 그룹에 해당할 수 있는 확률을 의미할 수 있다. 추가적인 실시예에서, 제1음향모델은, 음향의 높낮이 변화에 따른 음성 분석을 통해 감정에 대한 분석값을 출력하는 감정 분석 모델을 더 포함할 수 있다. 즉, 제1음향모델은 사용자의 음성정보에 대응하는 텍스트정보 출력하는 음성 인식 모델, 텍스트정보에 대한 자연어 처리 분석을 통해 문장의 주제를 파악하는 텍스트 분석 모델 및 음향의 높낮이 변화에 따른 음성 분석을 통해 사용자의 감정을 파악하는 감정 분석 모델을 포함할 수 있다. 이에 따라, 제1음향모델은, 사용자의 발화에 관련한 음성정보를 포함하는 음향정보에 기초하여 해당 음향정보에 관련한 텍스트, 주제, 또는 감정에 대한 정보를 출력할 수 있다.

또한, 실시예에 따르면, 제2음향모델은, 비언어적 음향에 관련한 음향정보에 대한 분석을 수행하여 음향정보에 관련한 객체식별정보 및 객체상태정보를 획득하도록 학습된 신경망 모델일 수 있다.

본 발명의 일 실시예에 따르면, 제2음향모델은, 서버(100)에 의해 입력 데이터와 유사한 출력 데이터를 출력하도록 학습된 차원 감소 네트워크 함수 및 차원 복원 네트워크 함수에서, 학습된 차원 감소 네트워크 함수를 통해 구현될 수 있다. 즉, 제2음향모델은, 학습된 오토인코더(Autoencoder)의 구성에서 차원 감소 네트워크 함수를 통해 구성될 수 있다.

일 실시예에 따르면, 서버(100)는 오토인코더를 비지도학습(Unsupervised Learning) 방식을 통해 학습시킬 수 있다. 구체적으로, 서버(100)는 입력 데이터와 유사한 출력 데이터를 출력하도록 오토인코더를 구성하는 차원 감소 네트워크 함수(예컨대, 인코더) 및 차원 복원 네트워크 함수(예컨대, 디코더)를 학습시킬 수 있다. 자세히 설명하면, 차원 감소 네트워크 함수를 통해 인코딩 과정에서 입력된 음향정보의 핵심 특징 데이터(또는, 피처(feature))만을 히든 레이어를 통해 학습하고 나머지 정보를 손실시킬 수 있다. 이 경우, 차원 복원 네트워크 함수를 통한 디코딩 과정에서 히든 레이어의 출력 데이터는 완벽한 복사 값이 아닌 입력 데이터(즉, 음향정보)의 근사치일 수 있다. 즉, 서버(100)는 출력 데이터와 입력 데이터가 최대한 같아지도록 가중치를 조정함으로써, 오토인코더를 학습시킬 수 있다.

오토인코더는 입력 데이터와 유사한 출력 데이터를 출력하기 위한 신경망의 일종일 수 있다. 오토 인코더는 적어도 하나의 히든 레이어를 포함할 수 있으며, 홀수 개의 히든 레이어가 입출력 레이어 사이에 배치될 수 있다. 각각의 레이어의 노드의 수는 입력 레이어의 노드의 수에서 병목 레이어(인코딩)라는 중간 레이어로 축소되었다가, 병목 레이어에서 출력 레이어(입력 레이어와 대칭)로 축소와 대칭되어 확장될 수도 있다. 입력 레이어 및 출력 레이어의 수는 입력 데이터의 전처리 이후에 남은 입력 데이터의 항목들의의 수와 대응될 수 있다. 오토 인코더 구조에서 인코더에 포함된 히든 레이어의 노드의 수는 입력 레이어에서 멀어질수록 감소하는 구조를 가질 수 있다. 병목 레이어(인코더와 디코더 사이에 위치하는 가장 적은 노드를 가진 레이어)의 노드의 수는 너무 작은 경우 충분한 양의 정보가 전달되지 않을 수 있으므로, 특정 수 이상(예를 들어, 입력 레이어의 절반 이상 등)으로 유지될 수도 있다.

서버(100)는 객체 정보가 각각 태깅된 복수의 학습 데이터를 포함하는 학습 데이터 세트를 학습된 차원 감소 네트워크의 입력으로 하여 출력된 객체 별 특징 데이터를 태깅된 객체 정보와 매칭하여 저장할 수 있다. 구체적으로, 서버(100)는 차원 감소 네트워크 함수를 이용하여 제1객제 정보(예컨대, 강아지)가 태깅된 제1학습 데이터 서브 세트를 차원 감소 네트워크 함수의 입력으로 하여, 제1학습 데이터 서브 세트에 포함된 학습 데이터들에 대한 제1객체의 특징(feature) 데이터를 획득할 수 있다. 획득된 특징 데이터는 벡터로 표현될 수 있다. 이 경우, 제1학습 데이터 서브 세트에 포함된 복수의 학습 데이터 각각에 대응하여 출력된 특징 데이터들은 제1객체에 관련한 학습 데이터를 통한 출력이므로 벡터 공간 상에서 비교적 가까운 거리에 위치할 수 있다. 서버(100)는 벡터로 표현된 제1객체에 관련한 특징 데이터들에 제1객체 정보(즉, 강아지)를 매칭하여 저장할 수 있다. 학습된 오토인코더의 차원 감소 네트워크 함수의 경우, 차원 복원 네트워크 함수가 입력 데이터를 잘 복원할 수 있도록 하는 특징을 잘 추출하도록 학습될 수 있다. 따라서, 제2음향모델은 학습 오토인코더 중 차원 감소 네트워크 함수를 통해 구현됨에 따라, 입력 데이터(예컨대, 음향정보)를 잘 복원할 수 있도록 하는 특징들(즉, 각 객체의 음향 스타일)을 추출할 수 있다.

추가적인 예를 들어, 제2객체(예컨대, 고양이) 정보가 태깅된 제2학습 데이터 서브 세트 각각에 포함된 복수의 학습 데이터들은 차원 감소 네트워크 함수를 통해 특징 데이터들로 변환되어 벡터 공간 상에 표시될 수 있다. 이 경우, 해당 특징 데이터들은 제2객체 정보(즉, 고양이)에 관련한 학습 데이터를 통한 출력이므로, 벡터 공간 상에서 비교적 가까운 거리에 위치할 수 있다. 이 경우, 제2객체 정보에 대응하는 특징 데이터들은 제1객체 정보에 대응하는 특징 데이터들과 상이한 벡터 공간 상에 표시될 수 있다.

즉, 상기와 같은 학습 과정을 통해 제2음향모델을 구성하는 차원 감소 네트워크 함수는 특정 공간(예컨대, 거주공간)에서 발생한 음향정보를 입력으로 하는 경우, 해당 음향정보를 차원 감소 네트워크 함수를 이용하여 연산하여 음향정보에 대응하는 피처를 추출할 수 있다. 이 경우, 제2음향모델은 음향정보에 대응하는 피처가 표시된 영역와 객체 별 특징 데이터의 벡터 공간 상의 거리 비교를 통해 음향 스타일의 유사성을 평가할 수 있으며, 해당 유사성 평가에 기반하여 음향정보에 대응하는 객체식별정보 또는 객체상태정보를 획득할 수 있다.

구체적으로, 제2음향모델은 제1사용자 단말로부터 수신한 제1음향정보를 차원 감소 네트워크 함수를 이용하여 연산함으로써, 제1특징정보를 획득할 수 있다. 이 경우, 제2음향모델은, 제1특징정보와 학습을 통해 벡터 공간 상에 사전 기록된 객체 별 특징 데이터들 간의 위치에 기반하여 제1음향정보에 대응하는 객체식별정보 또는 객체상태정보를 획득할 수 있다.

구체적인 예를 들어, 제1특징정보와 가장 가까운 벡터 공간 상의 거리를 갖는 제1객체(예컨대, A 브랜드의 세탁기) 공간에 기초하여 제1음향정보가 'A 브랜드 세탁기'에 관련한다는 객체식별정보를 획득할 수 있다.

다른 예를 들어, 제1특징정보와 가장 가까운 벡터 공간 상의 거리를 갖는 제2객체(예컨대, 사람의 기침소리) 공간에 기초하여 제1음향정보가 '사람의 기침'에 관련한다는 객체상태정보가 획득될 수 있다. 전술한 객체식별정보 및 객체상태정보에 대한 구체적인 기재는 예시일 분, 본 발명은 이에 제한되지 않는다.

도 4를 참조하여 정리하면, 음향정보를 획득하는 경우, 서버(100)는 제1특성정보에 기초하여 해당 음향정보가 언어적 음향에 관련한 것인지, 또는 비언어적 음향에 관련한 것인지 여부를 판별할 수 있다. 음향정보가 언어적 음향에 해당하는 경우, 서버(100)는 제1음향모델을 활용하여 음향정보에 대응하는 텍스트, 주제 또는 감정을 판별하고, 해당 정보들에 기초하여 제1사용자특성정보를 획득할 수 있다. 또한, 음향정보가 비언어적 음향에 해당하는 경우, 서버(100)는 제2음향모델을 활용하여 음향정보에 대응하는 객체식별정보 또는 객체상태정보를 획득하고, 해당 정보들에 기초하여 제2사용자특성정보를 획득할 수 있다. 다시 말해, 언어적 음향에 대응하여 텍스트, 주제 또는 감정에 관련한 제1사용자특성정보가 획득될 수 있으며, 비언어적 음향에 대응하여 객체식별정보 또는 객체상태정보에 관련한 제2사용자특성정보가 획득될 수 있다. 즉, 본 발명의 사용자특성정보는 음향정보가 언어적 음향 또는 비언어적 음향을 포함하는지 여부에 따라 획득되어지는 제1사용자특성정보와 제2사용자특성정보를 포함할 수 있다.

본 발명의 다른 실시예에 따르면, 사용자특성정보를 획득하는 단계는, 음향정보에 대응하는 음향특성정보에 기초하여 사용자특성정보를 획득하는 단계를 포함할 수 있다. 여기서, 음향특성정보는, 객체구분에 관련한 제2특성정보를 포함할 수 있다. 제2특성정보는, 음향정보가 몇 개의 객체를 포함하는지 여부에 관한 정보를 포함할 수 있다. 예컨대, 제1음향정보에 대응하는 제2특성정보는, 해당 제1음향정보에 3명의 사용자의 발화가 존재한다는 정보를 포함할 수 있으며, 제2음향정보에 대응하는 제2특성정보는, 해당 제2음향정보에 세탁기 작동에 관련한 음향과 고양이 울음소리에 관련한 음향이 존재한다는 정보를 포함할 수 있다.

구체적으로, 서버(100)는 제2특성정보에 기초하여 사용자특성정보를 획득할 수 있다. 예컨대, 서버(100)는 제2특성정보를 통해 음향정보에 다수의 사용자의 발화가 포함된 것으로 식별한 경우, 특정 공간 내에 다수의 사용자들이 생활한다는 사용자특성정보를 획득할 수 있다. 실시예에서, 서버(100)는 각 시간대 별 획득되는 음향정보의 제2특성정보를 통해 각 시간대에 대응하여 특정 공간 내에 사용자들의 인원 변화를 감지할 수 있으며, 이에 대응하는 사용자특성정보를 생성할 수도 있다. 즉, 서버(100)는 제2특성정보를 통해 특정 공간 내에서의 사용자들의 활동 패턴 또는 생활 패턴들을 파악하여 사용자특성정보를 생성할 수 있다.

본 발명의 일 실시예에 따르면, 단계 S130에서, 서버(100)는 사용자특성정보에 대응하는 매칭정보를 제공하는 단계 수행할 수 있다. 예컨대, 매칭정보는, 광고에 관련한 정보일 수 있다. 즉, 매칭정보를 제공하는 것은, 사용자의 구매 의욕을 향상시키는 효율적인 광고 즉, 최적화된 광고 정보를 제공하는 것을 의미할 수 있다.

구체적인 예를 들어, 도 6을 참조하면, 특정 공간에 관련한 음향정보를 기반으로 획득한 사용자특성정보가 B 브랜드 세탁기(22)의 구동에 관련한 제2사용자특성정보를 포함하는 경우, 서버(100)는 이를 통해 B 브랜드 건조기에 관련한 매칭정보를 사용자(10)에게 제공할 수 있다. 다른 예를 들어, 측정 공간으로부터 C 브랜드의 에어컨(24)의 구동에 관련한 제2사용자특성정보를 포함하는 경우, 서버(100)는 이를 통해 여름 관련 상품(우산 또는 여행 등)에 관련한 매칭정보를 사용자(10)에게 제공할 수 있다. 전술한 사용자특성정보에 대한 구체적인 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.

일 실시예에 따르면, 사용자특성정보에 대응하는 매칭정보를 제공하는 단계는, 미리 정해진 시간 동안 획득되는 복수의 음향정보 각각에 대응하는 복수의 사용자특성정보 각각의 획득 시점 및 빈도수에 기반하여 매칭정보를 제공하는 단계를 포함할 수 있다. 이 경우, 미리 정해진 시간은, 예컨대, 하루(즉, 24시간)을 의미할 수 있다. 다시 말해, 서버(100)는 24시간을 기준으로 획득되는 복수의 음향정보 각각에 대응하는 복수의 사용자특성정보 각각의 획득 시점 및 빈도수에 기반하여 매칭정보를 제공할 수 있다.

예를 들어, 24시간 주기를 기준으로 동일한 시점(또는 동일한 시간대)에 지속적으로 동일한 종류의 사용자특성정보가 획득되는 경우, 서버(100)는 해당 시점에 대응하여 매칭정보를 제공할 수 있다. 구체적인 예를 들어, 날마나 동일한 시점(예컨대, 오후 7시)에 A 브랜드 세탁기 구동에 관련한 사용자특성정보가 획득되는 경우, 서버(100)는 이에 기반하여 세탁이 완료되는 오후 8시에 A 브랜드의 건조기에 관련한 매칭정보를 제공할 수 있다.

또한, 예를 들어, 24시간 주기를 기준으로 특정 키워드가 사전 결정된 횟수(예컨대, 3회) 이상 사용자를 통해 발화되는 경우, 서버(100)는 해당 키워드에 대응하는 매칭정보를 제공할 수 있다. 구체적인 예를 들어, 하루동안 '강아지 사료'라는 키워드가 3회 이상 사용자를 통해 발화되는 경우, 서버(100)는 강아지 사료에 대응하는 매칭정보를 제공할 수 있다. 전술한 사용자특성정보의 획득 시점과 횟수 및 이에 대응하는 매칭정보에 대한 구체적인 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.

즉, 서버(100)는 특정 키워드의 발화 횟수나 시점 등을 기록하며, 해당 기록들에 기초하여 사용자에 관련한 특성을 파악하고, 그리고 이를 통해 매칭정보를 제공할 수 있다. 이 경우, 사용자에게 적합한 매칭정보가 보다 적절한 시점에 제공될 수 있으므로, 광고 효과가 극대화될 수 있다.

본 발명의 다른 일 실시예에 따르면, 사용자특성정보에 대응하는 매칭정보를 제공하는 단계는, 사용자특성정보가 제1사용자특성정보 및 제2사용자특성정보를 포함하는 경우, 제1사용자특성정보 및 제2사용자특성정보 간의 연관성에 관련한 연관 정보를 획득하는 단계, 연관 정보에 기반하여 매칭정보를 업데이트하는 단계 및 업데이트된 매칭정보를 제공하는 단계를 포함할 수 있다. 여기서, 제1사용자특성정보는 언어적 음향을 통해 획득된 사용자의 특성에 관련한 정보일 수 있으며, 제2사용자특성정보는, 비언어적 음향을 통해 획득된 사용자의 특성에 관련한 정보일 수 있다. 즉, 하나의 음향정보에 대응하는 언어적 음향 및 비언어적 음향에 대응하는 사용자특성정보가 획득될 수 있다. 이러한 경우, 서버(100)는 획득된 각 사용자특성정보 간의 연관 정보에 기반하여 매칭정보를 업데이트할 수 있다. 여기서 연관 정보는, 언어적 음향과 비언어적 음향 간의 연관성에 관한 정보일 수 있다. 또한, 매칭정보의 업데이트는, 매칭정보를 통한 광고 효과를 보다 증대시키기 위한 것일 수 있다. 예컨대, 매칭정보의 업데이트는, 노출되는 매칭정보의 항목을 증대시키기거나 또는, 매칭정보에 적용되는 추가 할인 이벤트에 관련한 것일 수 있다.

보다 자세히 설명하면, 음향정보는 언어적 음향 및 비언어적 음향을 포함할 수 있다. 이 경우, 언어적 음향에 대응하여 제1음향모델을 활용함으로써 텍스트, 주제 또는 감정 등에 관련한 제1사용자특성정보가 획득될 수 있다. 또한, 비언어적 음향에 대응하여 제2음향모델을 활용함으로써, 객체식별정보 및 객체상태정보에 관련한 제2사용자특성정보가 획득될 수 있다. 서버(100)는 제1사용자특성정보와 제2사용자특성정보 간의 연관 정보를 획득할 수 있다. 예컨대, 연관 정보는 각 사용자특성정보 간의 연관성을 수치로 나타낸 정보일 수 있다. 예를 들어, 제1사용자특성정보가 '건조기'를 주제로 한다는 정보를 포함하며, 제2사용자특성정보가 A 브랜드 건조기의 활용에 관련한다는 정보를 포함하는 경우, 서버(100)는 각 사용자특성정보 간의 연관도가 매우 높은것으로 판별하여, '98'이라는 수치에 대응하는 연관 정보를 생성할 수 있다. 다른 예를 들어, 제1사용자특성정보가 '건조기'를 주제로 한다는 정보를 포함하며, 제2사용자특성정보가 B 브랜드 세탁기의 활용에 관련한다는 정보를 포함하는 경우, 서버(100)는 각 사용자특성정보 간의 연관도가 비교적 높은 것으로 판별하여 '85'라는 수치에 대응하는 연관 정보를 생성할 수 있다. 또 다른 예를 들어, 제1사용자특성정보가 '청소기'를 주제로 한다는 정보를 포함하며, 제2사용자특성정보가 고양이 울음에 관련한다는 정보를 포함하는 경우, 서버(100)는 각 사용자특성정보 간의 연관성이 거의 없는 것으로 판별하여, '7'이라는 수치에 대응하는 연관 정보를 생성할 수 있다. 전술한 각 사용자특성정보 및 연관 정보에 대한 구체적인 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.

또한, 서버(100)는 연관 정보가 미리 정해진 수치 이상인 경우, 매칭정보를 업데이트할 수 있으며, 업데이트된 매칭정보를 사용자에게 제공할 수 있다.

보다 구체적인 예를 들어, 언어적 음향에 관련한 사용자 발화(예컨대, "아 왜이렇게 건조가 안돼", 제1사용자특성정보)와 비언어적 음향인 건조기 음향(즉, 제2사용자특성정보)이 음향정보로부터 획득될 수 있다. 이 경우, 미리 정해진 수치가 90이며 각 사용자특성정보 간의 연관 정보가 98일 수 있다. 이 경우, 서버(100)는 각 사용자특성정보 간의 연관 정보가 미리 정해진 수치 이상인 것을 식별하여 매칭 정보를 업데이트시킬 수 있다. 즉, 서버(100)는 연관성이 높은 언어적 음향과 비언어적 음향이 하나의 음향정보를 통해 동시에 획득되는 경우, 사용자가 해당 객체에 대한 관심도가 보다 높은 것으로 판별하여 매칭정보를 업데이트할 수 있다. 예를 들어, 서버(100)는 사용자에게 해당 객체에 대한 보다 다양한 정보를 제공하기 위해, A 브랜드의 건조기 이외에 타사의 건조기를 추가적으로 포함하도록 매칭정보를 업데이트할 수 있다. 다른 예를 들어, 서버(100)는 A 브랜드 건조기의 구매 할인 방법에 관련한 이벤트 정보들을 포함하도록 매칭정보를 업데이트할 수 있다. 전술한 매칭정보의 업데이트에 관한 구체적인 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.

도 5를 참조하여 정리하면, 사용자특성정보를 획득하는 경우, 서버(100)는 해당 사용자특성정보가 제1사용자특성정보 및 제2사용자특성정보를 포함하는지 여부를 식별할 수 있다. 일 실시예에서, 음향정보에 대응하여 획득한 사용자특성정보가 제1사용자특성정보를 포함하는 경우, 서버(100)는 제1사용자특성정보에 대응하는 매칭정보를 제공할 수 있다. 구체적인 예를 들어, 도 6을 참조하면, 음향정보(예컨대, 사용자의 발화)에 기초하여 사용자(10)가 '강아지 간식'에 관련한 주제에 관련한 발화를 수행하였다는 제1사용자특성정보를 획득하는 경우, 서버(100)는 '강아지 간식'에 관련한 매칭정보를 제공할 수 있다. 전술한 제1사용자특성정보 및 매칭정보에 대한 구체적인 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.

또한, 음향정보에 대응하여 획득한 사용자특성정보가 제2사용자특성정보를 포함하는 경우, 서버(100)는 제2사용자특성정보에 대응하는 매칭정보를 제공할 수 있다. 구체적인 예를 들어, 도 6을 참조하면, 음향정보(예컨대, 강아지 짖는소리)에 기초하여 반려동물로써 강아지(23)가 특정공간에 위치한다는 제2사용자특성정보를 획득하는 경우, 서버(100)는 강아지 간식, 강아지 사료, 강아지 장난감 또는 강아지 옷 등 강아지에 관련한 다양한 매칭정보를 제공할 수 있다. 다른 예를 들어, 음향정보(예컨대, 사용자 기침소리)에 기초하여 사용자의 건강하지 못한 상태라는 제2사용자특성정보를 획득하는 경우, 서버(100)는 감기약, 죽, 차(tea) 또는 건강보조제 등 사용자의 건강증진에 관련한 가양한 매칭정보를 제공할 수 있다. 전술한 제2사용자특성정보 및 매칭정보에 대한 구체적인 기재는 예시일 뿐, 본 발명은 이에 제한되지 않는다.

또한, 음향정보에 대응하여 획득한 사용자특성정보가 제1사용자특성정보 및 제2사용자특성정보 즉, 모두 포함하는 경우, 서버(100)는 각 사용자특성정보 간의 연관 정보를 획득하고, 연관 정보를 기초하여 매칭정보를 업데이트할 수 있다. 또한, 서버(100)는 업데이트된 매칭정보를 제공할 수 있다.

다시 말해, 연관성을 가진 언어적, 비언어적 소리가 동시에 획득되는 경우, 사용자의 관심도가 보다 높은 것이므로, 서버(100)는 사용자의 구매가능성을 높이기 위해, 의사결정을 위한 다량의 정보 또는 객체 구매에 관련한 추가 할인에 관한 이벤트 정보 등이 반영된 매칭정보를 제공할 수 있다. 즉, 획득된 음향정보에 언어적 음향과 비언어적 음향의 연관 정보에 기초하여 사용자의 관심도를 예측하고, 이에 대응하는 매칭정보를 제공함으로써 최적화된 매칭정보의 제공이 가능해질 수 있다. 이는, 사용자의 관심도에 따라 차등적인 매칭정보를 제공하는 것으로, 구매전환 가능성을 극대화시키는 효과가 있다.

본 발명의 일 실시예에 따르면, 사용자특성정보에 기초하여 매칭정보를 제공하는 단계는, 미리 정해진 시간을 주기로 획득되는 하나 이상의 음향정보 각각에 대응하는 하나 이상의 사용자특성정보에 기초하여 환경 특성 테이블을 생성하는 단계 및 환경 특성 테이블에 기초하여 매칭정보를 제공하는 단계를 포함할 수 있다. 환경 특성 테이블은, 미리 정해진 시간을 주기로 획득되는 사용자특성정보들 각각의 통계에 관한 정보일 수 있다. 일 실시예에서, 미리 정해진 시간 주기는 24시간을 의미할 수 있다.

다시 말해, 서버(100)는 24시간에 관련한 시간 주기를 기준으로, 각 시간대 별로 획득되는 사용자특성정보의 통계치에 관련한 환경 특성 테이블을 생성하고, 해당 환경 특성 테이블에 기초하여 매칭정보를 제공할 수 있다.

구체적인 예를 들어, 환경 특성 테이블을 통해 시간대 별 획득되는 사용자특성정보의 통계치를 관측하여, 집에서 활동이 많은 사용자의 경우, 식료품 또는 인테리어 소품에 관련한 매칭정보를 제공할 수 있다. 또한 예를 들어, 집에서 TV(21)를 시청하는 시간이 많은 사용자에 대응하여 서버(100)는 신작 시청 컨텐츠에 관련한 매칭정보를 제공할 수 있다. 다른 예를 들어, 집에서 활동이 비교적 적은 사용자의 경우, 건강보조제에 관련한 매칭정보를 제공하거나 또는 무인세탁서비스에 관련한 매칭정보를 제공할 수 있다.

또한, 일 실시예에서, 사용자특성정보에 대응하는 매칭정보를 제공하는 단계는, 환경 특성 테이블에 기초하여 매칭정보의 제공을 위한 제1시점을 식별하는 단계 및 제1시점에 대응하여 매칭정보를 제공하는 단계를 포함할 수 있다. 제1시점은 해당 사용자에게 매칭정보를 제공하기 위한 최적의 시점을 의미할 수 있다. 즉, 환경 특성 테이블을 통해 사용자가 특정 공간에서 활동하는 루틴을 파악해서 각 시점 별 최적의 매칭정보를 제공할 수 있다.

예를 들어, 환경 특성 테이블을 통해 제1시간대(오후 8시)에 세탁기 소리가 주기적으로 식별되는 경우, 해당 제1시간대에 섬유유연제 또는 건조기 등에 관련한 매칭정보를 제공할 수 있다.

다른 예를 들어, 환경 특성 테이블을 통해 제2시간대(오후 2시)에 청소기 소리가 주기적으로 식별되는 경우, 해당 제2시간대에 무선 청소기 또는 물걸레 청소기 등에 관련한 매칭정보를 제공할 수 있다.

즉, 서버(100)는 특정 활동 시점에 관련하여 적절한 매칭정보를 제공함으로써, 광고의 효과가 극대화할 수 있다. 서버(100)는 전술한 바와 같은, 다양한 실시예를 기초로, 사용자의 생활 환경에 관련하여 획득한 음향정보에 기반하여 타겟팅된 매칭정보를 제공함으로써, 광고 효과를 극대화하는 효과를 제공할 수 있다.

본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.

본 발명의 구성 요소들은 하드웨어인 컴퓨터와 결합되어 실행되기 위해 프로그램(또는 애플리케이션)으로 구현되어 매체에 저장될 수 있다. 본 발명의 구성 요소들은 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있으며, 이와 유사하게, 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

Claims (12)

1. 컴퓨팅 장치에서 수행되는 방법에 있어서,
   음향정보를 획득하는 단계;
   상기 음향정보에 기초하여 사용자특성정보를 획득하는 단계; 및
   상기 사용자특성정보에 대응하는 매칭정보를 제공하는 단계;
   를 포함하는,
   음향정보 분석을 통해 매칭정보를 제공하는 방법.
   
2. 제1항에 있어서,
   상기 음향정보에 기초하여 사용자특성정보를 획득하는 단계는,
   상기 음향정보에 대한 분석을 통해 사용자 또는 객체를 식별하는 단계; 및
   상기 식별된 사용자 또는 객체에 기반하여 상기 사용자특성정보를 생성하는 단계;
   를 포함하는,
   음향정보 분석을 통해 매칭정보를 제공하는 방법.
   
3. 제1항에 있어서,
   상기 음향정보에 기초하여 사용자특성정보를 획득하는 단계는,
   상기 음향정보에 대한 분석을 통해 사용자가 특정공간 내에서 활동하는 시간에 관련한 활동시간정보를 생성하는 단계; 및
   상기 활동시간정보에 기초하여 상기 사용자특성정보를 생성하는 단계;
   를 포함하는,
   음향정보 분석을 통해 매칭정보를 제공하는 방법.
   
4. 제1항에 있어서,
   상기 사용자특성정보에 대응하는 매칭정보를 제공하는 단계는,
   미리 정해진 시간 동안 획득되는 복수의 음향정보 각각에 대응하는 복수의 사용자특성정보 각각의 획득 시점 및 빈도수에 기반하여 상기 매칭정보를 제공하는 단계;
   를 포함하는,
   음향정보 분석을 통해 매칭정보를 제공하는 방법.
   
5. 제1항에 있어서,
   상기 음향정보를 획득하는 단계는,
   상기 획득한 음향정보에 대한 전처리를 수행하는 단계; 및
   상기 전처리가 수행된 음향정보에 대응하는 음향특성정보를 식별하는 단계;
   를 포함하며,
   상기 음향특성정보는,
   상기 음향정보가 언어적 음향 및 비언어적 음향 중 적어도 하나에 관련한 것인지에 대한 제1특성정보 및 객체구분에 관련한 제2특성정보를 포함하는,
   음향정보 분석을 통해 매칭정보를 제공하는 방법.
   
6. 제5항에 있어서,
   상기 음향정보에 기초하여 사용자특성정보를 획득하는 단계는,
   상기 음향정보에 대응하는 상기 음향특성정보에 기초하여 상기 사용자특성정보를 획득하는 단계;
   를 포함하며,
   상기 사용자특성정보를 획득하는 단계는,
   상기 음향특성정보가 언어적 음향에 관련한다는 제1특성정보를 포함하는 경우, 상기 음향정보를 제1음향모델에 입력으로 처리하여 상기 음향정보에 대응하는 사용자특성정보를 획득하는 단계; 또는
   상기 음향특성정보가 비언어적 음향에 대응한다는 제1특성정보를 포함하는 경우, 상기 음향정보를 제2음향모델에 입력으로 처리하여 상기 음향정보에 대응하는 사용자특성정보를 획득하는 단계;
   중 적어도 하나를 포함하는,
   음향정보 분석을 통해 매칭정보를 제공하는 방법.
   
7. 제6항에 있어서,
   상기 제1음향모델은, 언어적 음향에 관련한 음향정보에 대한 분석을 수행하여 상기 음향정보에 관련한 텍스트, 주제, 또는 감정 중 적어도 하나를 판별하도록 학습된 신경망 모델을 포함하며,
   상기 제2음향모델은, 비언어적 음향에 관련한 음향정보에 대한 분석을 수행하여 상기 음향정보에 관련한 객체식별정보 또는 객체상태정보를 획득하도록 학습된 신경망 모델을 포함하고,
   상기 사용자특성정보는,
   상기 음향정보에 관련한 텍스트, 주제 또는 감정 중 적어도 하나에 관련한 제1사용자특성정보 및 상기 음향정보에 관련한 상기 객체식별정보 또는 상기 객체상태정보에 관련한 제2사용자특성정보 중 적어도 하나를 포함하는,
   음향정보 분석을 통해 매칭정보를 제공하는 방법.
   
8. 제7항에 있어서,
   상기 사용자특성정보에 대응하는 매칭정보를 제공하는 단계는,
   상기 획득된 사용자특성정보가 상기 제1사용자특성정보 및 상기 제2사용자특성정보를 포함하는 경우, 상기 제1사용자특성정보 및 상기 제2사용자특성정보 간의 연관성에 관련한 연관 정보를 획득하는 단계;
   상기 연관 정보에 기반하여 매칭정보를 업데이트하는 단계; 및
   상기 업데이트된 매칭정보를 제공하는 단계;
   를 포함하는,
   음향정보 분석을 통해 매칭정보를 제공하는 방법.
   
9. 제1항에 있어서,
   상기 사용자특성정보에 기초하여 매칭정보를 제공하는 단계는,
   미리 정해진 시간을 주기로 획득되는 하나 이상의 음향정보 각각에 대응하는 하나 이상의 사용자특성정보에 기초하여 환경 특성 테이블을 생성하는 단계; 및
   상기 환경 특성 테이블에 기초하여 상기 매칭정보를 제공하는 단계;
   를 포함하며,
   상기 환경 특성 테이블은,
   상기 미리 정해진 시간을 주기로 획득되는 사용자특성정보들 각각의 통계에 관한 정보인,
   음향정보 분석을 통해 매칭정보를 제공하는 방법.
   
10. 제9항에 있어서,
    상기 사용자특성정보에 대응하는 매칭정보를 제공하는 단계는,
    상기 환경 특성 테이블에 기초하여 상기 매칭정보의 제공을 위한 제1시점을 식별하는 단계; 및
    상기 제1시점에 대응하여 상기 매칭정보를 제공하는 단계;
    를 포함하는,
    음향정보 분석을 통해 매칭정보를 제공하는 방법.
    
11. 하나 이상의 인스트럭션을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함하고, 상기 프로세서는 상기 하나 이상의 인스트럭션을 실행함으로써, 제1항의 방법을 수행하는, 장치.
    
12. 하드웨어인 컴퓨터와 결합되어, 제1항의 방법을 수행할 수 있도록 컴퓨터에서 독출가능한 기록매체에 저장된 컴퓨터 프로그램.
    

Images