KR20210074246A

KR20210074246A - 대상 추천 방법, 신경망 및 그 훈련 방법, 장치 및 매체

Info

Publication number: KR20210074246A
Application number: KR1020210070758A
Authority: KR
Inventors: 창 가오; 둥친 이; 하오 원
Original assignee: 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드
Priority date: 2020-11-16
Filing date: 2021-06-01
Publication date: 2021-06-21
Also published as: CN112347361A; JP2021152941A; KR102502985B1; US20210312290A1; EP4002216A1; JP7194233B2; CN112347361B

Abstract

본 공개는 대상 추천 방법, 신경망 및 그 훈련 방법, 장치 및 매체를 제공하며, 인공지능 기술분야에 관한 것으로, 구체적으로 콘텐츠 추천 및 딥 러닝 기술분야에 관한 것이다. 컴퓨터에 의해 구현되고 신경망을 이용하여 사용자에게 대상을 추천하는 방법에 있어서, 신경망은 제1 신경망과 제2 신경망을 포함하고, 상기 방법은, 사용자 특징과 추천할 대상의 대상 특징을 제1 신경망에 입력하여, 제1 신경망에서 출력된 추천할 대상에 대한 제1 추천 결과를 획득하는 단계; 강화해야 할 특징을 결정하는 단계; 제1 추천 결과와 강화해야 할 특징을 제2 신경망에 입력하여, 제2 신경망에서 출력된 추천할 대상에 대한 제2 추천 결과를 획득하는 단계; 적어도 제2 추천 결과에 기반하여, 추천할 대상에 대한 최종 추천 결과를 결정하는 단계를 포함한다.

Description

대상 추천 방법, 신경망 및 그 훈련 방법, 장치 및 매체{METHOD FOR RECOMMENDING OBJECT, NEURAL NETWORK AND TRAINING METHOD THEREOF, DEVICE, AND MEDIUM}

본 공개는 인공지능 기술분야에 관한 것으로, 구체적으로 콘텐츠 추천 및 딥 러닝 기술분야에 관한 것이며, 특히 대상 추천 방법, 신경망 및 그 훈련 방법, 장치 및 매체에 관한 것이다.

인공지능은 컴퓨터로 하여금 사람의 어떤 사고 과정 및 지능적인 행위(예를 들면, 학습, 추리, 사고, 계획 등)를 시뮬레이션하도록 하는 것을 연구하는 학문 분야로, 하드웨어 측면의 기술을 포함할 뿐만 아니라, 소프트웨어 기술도 포함한다. 인공지능 하드웨어 기술은 일반적으로 예를 들어 센서, 전용 인공지능 칩, 클라우드 컴퓨팅, 분산형 스토리지, 빅 데이터 처리 등과 같은 분야를 포함한다. 인공지능 소프트웨어 기술은 주로 컴퓨터 비전 기술, 음성 인식 기술, 자연 언어 처리 기술 및 기계 학습/딥 러닝, 빅 데이터 처리 기술, 지식 그래프 기술 등 몇 가지 주요 방향을 포함한다. 인공지능은 예를 들어 대상 추천 분야와 같은 각 분야에서 점점 더 광범위하게 응용되고 있다.

이 부분에서 설명한 방법은 이전에 이미 구상하거나 이용했던 방법이 아닐 수 있다. 다른 설명이 없는 한, 이 부분에서 설명한 그 어떤 방법도 이 부분에 포함되었다는 이유만으로 종래기술로 인정된다고 가정해서는 안 된다. 이와 유사하게, 다른 설명이 없는 한, 이 부분에서 언급된 과제는 임의의 종래기술에서 이미 보편적으로 인정된 것으로 보아서는 안 된다.

본 공개의 하나의 측면은, 컴퓨터에 의해 구현되고 신경망을 이용하여 사용자에게 대상을 추천하는 방법을 제공한다. 상기 신경망은 제1 신경망과 제2 신경망을 포함하고, 상기 방법은,

사용자 특징과 추천할 대상의 대상 특징을 제1 신경망에 입력하여, 제1 신경망에서 출력된 추천할 대상에 대한 제1 추천 결과를 획득하되, 사용자 특징은 적어도 하나의 사용자 서브 특징을 포함하고, 추천할 대상의 대상 특징은 적어도 하나의 추천 대상 서브 특징을 포함하는 단계;

강화해야 할 특징을 결정하되, 강화해야 할 특징은 적어도 하나의 사용자 서브 특징과 적어도 하나의 추천 대상 서브 특징 중의 하나 또는 복수를 포함하는 단계;

제1 추천 결과와 강화해야 할 특징을 제2 신경망에 입력하여, 제2 신경망에서 출력된 추천할 대상에 대한 제2 추천 결과를 획득하는 단계;

적어도 제2 추천 결과에 기반하여, 추천할 대상에 대한 최종 추천 결과를 결정하는 단계를 포함한다.

본 공개의 다른 하나의 측면은, 컴퓨터에 의해 구현되는 신경망의 훈련 방법을 추가로 제공한다. 상기 신경망은 제1 신경망과 제2 신경망을 포함하고, 상기 훈련 방법은,

제1 신경망을 훈련시켜 완성하는 단계;

샘플 사용자 특징과 샘플 대상의 대상 특징을 획득하고, 샘플 대상에 대한 실제 추천 결과를 레이블링하되, 샘플 사용자 특징은 적어도 하나의 샘플 사용자 서브 특징을 포함하고, 샘플 대상의 대상 특징은 적어도 하나의 샘플 대상 서브 특징을 포함하는 단계;

강화해야 할 샘플 특징을 결정하되, 강화해야 할 샘플 특징은 적어도 하나의 샘플 사용자 서브 특징과 적어도 하나의 샘플 대상 서브 특징 중의 하나 또는 복수를 포함하는 단계;

샘플 사용자 특징과 샘플 대상의 대상 특징이 제1 신경망에 입력된 것에 응답하여, 제1 신경망이 샘플 대상에 대한 제1 예측 추천 결과를 출력하는 단계;

제1 예측 추천 결과와 강화해야 할 샘플 특징이 제2 신경망에 입력된 것에 응답하여, 제2 신경망이 샘플 대상에 대한 제2 예측 추천 결과를 출력하는 단계;

적어도 실제 추천 결과와 제2 예측 추천 결과에 기반하여, 손실값을 결정하는 단계;

손실값에 기반하여 제2 신경망의 파라미터를 조절하는 단계를 포함한다.

본 공개의 다른 하나의 측면은, 컴퓨터에 의해 구현되는 신경망을 더 제공한다. 상기 신경망은 사용자 특징과 추천할 대상의 대상 특징을 수신하여 추천할 대상에 대한 최종 추천 결과를 예측하도록 구성되며,

사용자 특징과 추천할 대상의 대상 특징이 입력된 것에 응답하여, 추천할 대상에 대한 제1 추천 결과를 출력하도록 구성되되, 사용자 특징은 적어도 하나의 사용자 서브 특징을 포함하고, 추천할 대상의 대상 특징은 적어도 하나의 추천 대상 서브 특징을 포함하는, 제1 신경망;

강화해야 할 특징을 결정하도록 구성되되, 강화해야 할 특징은 적어도 하나의 사용자 서브 특징과 적어도 하나의 추천 대상 서브 특징 중의 하나 또는 복수를 포함하는, 결정유닛;

제1 추천 결과와 강화해야 할 특징이 입력된 것에 응답하여, 추천할 대상에 대한 제2 추천 결과를 출력하도록 구성되는, 제2 신경망; 및

적어도 제2 추천 결과에 기반하여 최종 추천 결과를 결정하도록 구성되는, 출력유닛을 포함한다.

본 공개의 다른 하나의 측면은 컴퓨팅 장치를 더 제공한다. 상기 컴퓨팅 장치는 프로세서; 및 프로그램이 저장된 메모리를 포함하고, 프로그램은 명령을 포함하며, 명령이 프로세서에 의해 실행될 때 프로세서로 하여금 상술한 방법을 실행하도록 한다.

본 공개의 다른 하나의 측면은, 프로그램이 저장된 컴퓨터 판독가능 저장매체를 더 제공한다. 프로그램은 명령을 포함하며, 명령이 컴퓨팅 장치의 프로세서에 의해 실행될 때, 컴퓨터 장치로 하여금 상술한 방법을 실행하도록 한다.

본 공개의 다른 하나의 측면은, 컴퓨터 판독가능 저장매체에 저장된 컴퓨터 프로그램을 더 제공한다. 상기 컴퓨터 프로그램은 명령을 포함하며, 상기 명령이 적어도 하나의 프로세서에 의해 실행될 때 상술한 방법을 구현한다.

본 공개는 신경망을 이용하여 사용자에게 대상을 추천하는 프로세스에서, 추천 효과에 영향을 미치는 중요 특징을 강화하여, 추천 결과의 정확성을 향상시킨다.

도면은 실시예를 예시적으로 나타내고 명세서의 일부를 구성하며, 명세서의 문자 기재와 함께 실시예의 예시적 실시형태를 해석한다. 보여준 실시예는 예시적인 목적으로만 사용되고, 청구항의 범위를 한정하지 않는다. 모든 도면에서 동일한 부호는 유사하지만 반드시 동일하지는 않은 요소를 가리킨다.
도 1은 예시적 실시예에 따른 컴퓨터에 의해 구현되고 신경망을 이용하여 사용자에게 대상을 추천하는 방법을 나타낸 흐름도이다.
도 2는 예시적 실시예에 따른 컴퓨터에 의해 구현되는 신경망의 훈련 방법을 나타낸 흐름도이다.
도 3은 예시적 실시예에 따른 컴퓨터에 의해 구현되는 신경망을 나타낸 개략도이다.
도 4는 예시적 실시예에 적용될 수 있는 예시적 컴퓨팅 장치를 나타낸 구조 블록도이다.

본 공개에서, 별도의 설명이 없는 한, “제1”, “제2” 등의 용어로 각종 요소를 설명하는 것은 이들 요소의 위치 관계, 시간 순서 관계 또는 중요도 관계를 한정하려는 의도가 아니며, 이러한 용어는 하나의 소자를 다른 소자와 구분하기 위한 것일 뿐이다. 일부 예시에서 제1 요소와 제2 요소는 해당 요소의 동일한 구현예를 지칭할 수 있으며, 일부 경우에 이들은 문맥상 서로 다른 구현예를 지칭할 수도 있다.

본 공개에서 각종 상기 예시에 대한 설명에서 사용된 용어는 특정 예시를 설명하기 위한 목적일 뿐, 한정하려는 의도가 아니다. 문맥상, 별도로 명백히 표시하지 않은 한, 요소의 수를 특별히 한정하지 않으면 해당 요소는 하나일 수도 있고 다수일 수 있다. 또한, 본 공개에서 사용된 용어 “및/또는”은 나열된 항목 중의 임의의 하나 및 모든 가능한 조합 방식을 포함한다.

인공지능 기술 응용의 하나의 측면으로서, 컴퓨터로 하여금 훈련된 신경망에 기반하여 사람의 사고 과정을 시뮬레이션하여, 서로 다른 사용자에 대해 제품, 콘텐츠, 서비스 등 대상을 맞춤형으로 추천하도록 할 수 있다. 예를 들면, 정보 인터랙티브 추천 장면에서는 사용자가 관심을 가질 수 있는 오디오, 비디오, 문자 콘텐츠 등을 사용자에게 추천할 수 있으며, 상품 구매 추천 장면에서는 사용자가 관심이 가질 수 있는 상품을 사용자에게 추천할 수 있다. 또한, 결혼, 연애 또는 친구 추천 장면에서는 사용자가 관심을 가질 수 있는 사람 등을 사용자에게 추천할 수 있다.

관련 기술에 따르면, 특정 사용자에게 특정의 추천할 대상을 추천할지 여부를 판단하기 위해, 상기 사용자의 사용자 특징과 상기 추천할 대상의 대상 특징을 훈련된 신경망에 입력하고, 상기 신경망에서 출력된 추천 결과에 기반하여, 추천 실행 여부를 결정할 수 있다. 그중, 추천 결과의 결정은 신경망에 기반한 독립적인 처리 프로세스이다.

따라서, 훈련된 신경망은 인간의 사고 과정을 시뮬레이션하여 특정 판단을 구현할 수 있는 블랙 박스로 간주할 수 있다. 신경망의 입력단에 판단을 위한 관련 정보를 입력하면, 신경망은 출력단에서 상기 판단을 구현하기 위한 대응 결과를 출력할 수 있다. 그러나, 신경망에서 입력단으로부터 출력단으로의 처리 프로세스는 종종 매우 복잡하고 해석하기 어렵다.

이를 감안하여, 본 공개는 컴퓨터에 의해 구현되고 신경망을 이용하여 사용자에게 대상을 추천하는 방법, 신경망 및 그 훈련 방법, 컴퓨팅 장치 및 매체를 제안한다. 상기 신경망은 제1 신경망과 제2 신경망을 포함하여 사용자에게 대상을 추천하고, 제1 신경망을 이용하여 사용자 특징 및 추천할 대상의 대상 특징을 처리하여, 상기 추천할 대상에 대한 제1 추천 결과를 출력하고, 입력에서 강화해야 할 특징을 결정하고, 제1 신경망에서 출력된 제1 추천 결과와 강화해야 할 특징을 제2 신경망에 입력하고, 적어도 제2 신경망에서 출력된 제2 추천 결과에 따라 추천할 대상에 대한 최종 추천 결과를 결정한다. 이를 통해, 강화해야 할 특징을 신경망의 처리 프로세스에서 효과적으로 강화하여, 신경망에 의한 추천의 정확성을 향상시킬 수 있고, 강화해야 할 특징이 추천 결과에 미치는 영향을 개선함으로써, 추천 결과의 해석 가능성도 구현할 수 있다.

이하, 도면과 결합하여 본 공개의 컴퓨터에 의해 구현되고 신경망을 이용하여 사용자에게 대상을 추천하는 방법에 대해 더 상세히 설명한다.

도 1은 본 공개의 예시적 실시예에 따른 컴퓨터에 의해 구현되고 신경망을 이용하여 사용자에게 대상을 추천하는 방법을 나타낸 흐름도이고, 신경망은 제1 신경망과 제2 신경망을 포함한다. 도 1에 도시한 바와 같이, 상기 방법은, 사용자 특징과 추천할 대상의 대상 특징을 제1 신경망에 입력하여, 제1 신경망에서 출력된 추천할 대상에 대한 제1 추천 결과를 획득하되, 사용자 특징은 적어도 하나의 사용자 서브 특징을 포함하고, 추천할 대상의 대상 특징은 적어도 하나의 추천 대상 서브 특징을 포함하는 단계(단계 S101); 강화해야 할 특징을 결정하되, 강화해야 할 특징은 적어도 하나의 사용자 서브 특징과 적어도 하나의 추천 대상 서브 특징 중의 하나 또는 복수를 포함하는 단계(단계 S102); 제1 추천 결과와 강화해야 할 특징을 제2 신경망에 입력하여, 제2 신경망에서 출력된 추천할 대상에 대한 제2 추천 결과를 획득하는 단계(단계 S103); 적어도 제2 추천 결과에 기반하여, 추천할 대상에 대한 최종 추천 결과를 결정하는 단계(단계 S104)를 포함한다. 이를 통해, 신경망을 이용하여 사용자에게 대상을 추천하는 프로세스에서, 강화해야 할 특징을 효과적으로 강화하여, 강화해야 할 특징이 추천 결과에 미치는 영향을 개선할 수 있고, 나아가 추천의 정확성과 해석 가능성을 향상시킬 수 있다.

일부 실시예에 따르면, 제1 신경망과 제2 신경망 중의 하나 또는 두 개는 완전 연결 신경망일 수 있다. 구체적으로, 제1 신경망과 제2 신경망 중의 하나를 완전 연결 신경망으로 구성할 수 있으며, 또는 제1 신경망과 제2 신경망을 모두 완전 연결 신경망으로 구성할 수도 있다. 이를 통해, 신경망의 구조를 단순화하고, 신경망을 이용한 대상 추천의 효율을 향상시킬 수 있다.

본 공개 중의 제1 신경망과 제2 신경망은 완전 연결 신경망에 국한되지 않으며, 컨볼루션 신경망과 같은 다른 네트워크 유형도 사용할 수 있으며, 이에 한정되지 않음을 이해할 수 있다.

일부 실시예에 따르면, 추천할 대상은 문자, 오디오 및 비디오 중 하나 또는 복수 유형을 포함하는 데이터일 수 있다. 추천할 대상의 유형은 구체적인 추천 장면에 기반하며, 위에서 언급한 유형에 한정되지 않으며, 여기서 이를 한정하지 않음을 이해할 수 있다.

일부 실시예에 따르면, 상기 대상 추천의 방법 중 제1 추천 결과, 제2 추천 결과 및 최종 추천 결과는, 예를 들면 추천 확률과 같은 추천할 대상에 대한 추천도를 나타내는 수치를 포함할 수 있다. 예시에서, 추천할 대상에 대한 추천 확률이 임계값(예를 들면 0.7, 0.6 또는 0.5)보다 작으면, 추천할 대상을 추천하지 않도록 결정할 수 있고, 추천할 대상에 대한 추천 확률이 임계값보다 작지 않으면, 추천할 대상을 추천하도록 결정할 수 있다.

일부 실시예에 따르면, 단계 S101에서, 사용자 특징 중의 각 사용자 서브 특징과 추천할 대상의 각 추천 대상 서브 특징의 원-핫 코드를 결정할 수 있다. 예를 들면 성별과 관련된 사용자 서브 특징에 대해, “female”을 원-핫 코드 [1,0,0]에 대응시키고, “male”을 원-핫 코드 [0,1,0]에 대응시키고, 성별 “알 수 없음”을 원-핫 코드 [0,0,1]에 대응시킨다. 추가적으로 제1 임베딩 층을 통해 모든 서브 특징(모든 사용자 서브 특징과 모든 추천 대상 서브 특징을 포함)의 원-핫 코드에 대해 차원 축소하여, 각 서브 특징의 임베딩 단어 벡터를 얻는다. 예를 들면, 성별 “female"에 대응되는 임베딩 단어 벡터는 [0.2, 0.5]일 수 있으며, 성별 "male"에 대응되는 임베딩 단어 벡터는 [0.7, 0.1]일 수 있으며, 성별 “알 수 없음”에 대응되는 임베딩 단어 벡터는 [0.4, 0.6]일 수 있다. 예시에서, 모든 서브 특징의 임베딩 단어 벡터를 연결하여 제1 신경망의 입력을 얻을 수 있다. 이를 통해, 후속 신경망의 처리가 용이해질 수 있다.

단계 S102에 대하여, 일부 실시예에 따르면, 추천할 대상의 대상 특징은 추천 장면 식별자를 포함할 수 있고, 강화해야 할 특징은 추천 장면 식별자에 기반하여 결정할 수 있다. 이를 통해, 서로 다른 추천 장면의 응용 요구에 기반하여, 강화해야 할 특징을 상응하게 결정할 수 있으므로, 서로 다른 추천 장면에서 강화해야 할 특징을 효과적으로 강화할 수 있다.

일부 실시예에 따르면, 강화해야 할 특징은 하나 또는 복수의 사용자 서브 특징만을 포함하거나, 또는 하나 또는 복수의 추천 대상 서브 특징만을 포함하거나, 또는 하나 또는 복수의 사용자 서브 특징을 포함할 뿐만 아니라 하나 또는 복수의 추천 대상 서브 특징도 포함할 수 있다.

일부 실시예에 따르면, 강화해야 할 특징은 이전 경험에 따라 결정할 수 있다. 예를 들면, 지역 뉴스 추천 장면에서는 사용자가 지역 뉴스를 우선적으로 얻을 수 있도록, 지리적 위치와 관련된 사용자 서브 특징을 강화해야 할 특징으로 결정할 수 있으며, 스포츠 게임 정보 추천 장면에서는 사용자가 가장 최신의 스포츠 게임 정보를 우선적으로 얻을 수 있도록, 발표 시간과 관련된 추천할 대상의 추천 대상 서브 특징을 강화해야 할 특징으로 결정할 수 있다.

단계 S103에 대하여, 일부 실시예에 따르면, “제1 추천 결과와 강화해야 할 특징을 제2 신경망에 입력한다”에 대하여, 제1 추천 결과의 원-핫 코드 및 강화해야 할 특징에 포함된 각 서브 특징(강화해야 할 특징에 포함된 모든 사용자 서브 특징과 모든 추천 대상 서브 특징을 포함)의 원-핫 코드를 결정할 수 있다. 추가적으로, 제2 임베딩 층을 통해 제1 추천 결과의 원-핫 코드에 대해 차원 축소하여, 제1 추천 결과의 임베딩 단어 벡터를 얻을 수 있다. 강화해야 할 특징에 포함된 모든 서브 특징은 상기 단계 S101에서 결정된 임베딩 단어 벡터를 직접 이용할 수 있다. 예시에서, 획득한 제1 추천 결과와 강화해야 할 특징에 각각 대응하는 모든 임베딩 단어 벡터를 연결하여 제2 신경망의 입력을 얻을 수 있다. 여기서, 제2 임베딩 층과 상기 단계 S101 중의 제1 임베딩 층은 상이하다.

단계 S104에 대하여, 일부 실시예에 따르면, 추천할 대상에 대한 최종 추천 결과를 결정하는 것은 제2 추천 결과에만 기반하여 결정할 수 있다. 하나의 예시적 실시예에서, 제2 추천 결과를 최종 추천 결과로 결정할 수 있다.

다른 일부 실시예에 따르면, 추천할 대상에 대한 최종 추천 결과를 결정하는 것은 제1 추천 결과와 제2 추천 결과에 기반하여 결정할 수 있다. 따라서, 제1 신경망과 제2 신경망에서 출력된 추천 결과를 결합하여 최종 추천 결과를 결정하여, 최종 추천 결과의 정확성을 향상시킬 수 있다.

하나의 예시적 실시예에서, 최종 추천 결과는 제1 추천 결과와 제2 추천 결과의 가중치 합일 수 있다. 특히, 최종 추천 결과는 제1 추천 결과와 제2 추천 결과의 평균값일 수 있다.

쉽게 이해할 수 있도록, 결혼, 연애 또는 친구 추천 장면을 예로 들어, 상기 컴퓨터에 의해 구현되고 신경망을 이용하여 사용자에게 대상을 추천하는 방법에 대해 설명한다. 이해할 수 있듯이, 본 공개에서 제시한 대상 추천 방법은 결혼, 연애 또는 친구 추천 장면에 한정되지 않으며, 대상 추천이 필요한 다른 장면에도 적용할 수 있으며, 이에 대해 한정하지 않는다.

하나의 구체적인 실시예에서, 컴퓨터에 의해 구현되고 신경망을 이용하여 사용자에게 대상을 추천하는 방법은 아래 단계를 포함할 수 있다.

사용자 특징과 추천할 대상의 대상 특징을 제1 신경망에 입력한다. 사용자 특징은 예를 들면, 성별, 연령, 학력, 소득 수준 등 다양한 사용자 특징을 포함할 수 있다. 추천할 대상은 사용자에게 추천할 사람일 수 있으며, 추천할 대상의 대상 특징은 마찬가지로, 성별, 연령, 학력, 소득 수준 등 다양한 추천 대상 서브 특징을 포함할 수 있다. 상기 사용자 특징과 대상 특징이 제1 신경망에 입력된 것에 응답하여, 제1 신경망에서 출력된 추천할 대상에 대한 제1 추천 결과를 획득한다. 구체적으로, 제1 추천 결과는 하나의 값일 수 있으며, 예를 들면 0.7이다.

결혼, 연애 또는 친구 추천 장면에서, 결혼, 연애 또는 친구 추천 장면 식별자에 기반하여, 성별, 연령과 관련된 사용자 서브 특징과 성별, 연령 및 수득 수준과 관련된 추천 대상 서브 특징을 강화해야 할 특징으로 결정할 수 있다.

제1 추천 결과와 강화해야 할 특징을 제2 신경망에 입력하여, 제2 신경망에서 출력된 제2 추천 결과를 획득하고, 예를 들면 0.8를 획득한다.

제2 추천 결과에 기반하여 추천할 대상에 대한 최종 추천 결과를 결정하거나 또는 제1 추천 결과와 제2 추천 결과의 가중치 합에 기반하여 추천할 대상에 대한 최종 추천 결과를 결정할 수 있다.

미리 설정된 임계값에 기반하여, 최종 추천 결과가 상기 임계값보다 크면, 상기 추천할 대상을 사용자에게 추천한다. 예를 들면, 미리 설정된 임계값이 0.5이고, 제1 추천 결과 0.7과 제2 추천 결과 0.8의 평균값에 의해, 추천할 대상에 대한 최종 추천 결과는 0.75로 결정된다. 최종 추천 결과 0.75가 임계값 0.5보다 크므로, 상기 추천할 대상을 사용자에게 추천한다.

도 2는 본 공개의 예시적 실시예에 따른 컴퓨터에 의해 구현되는 신경망의 훈련 방법의 흐름도를 나타내고, 신경망은 제1 신경망과 제2 신경망을 포함한다. 도2에 도시한 바와 같이, 훈련 방법은,

제1 신경망을 훈련시켜 완성하는 단계(단계 S201); 샘플 사용자 특징과 샘플 대상의 대상 특징을 획득하고, 샘플 대상에 대한 실제 추천 결과를 레이블링하되, 샘플 사용자 특징은 적어도 하나의 샘플 사용자 서브 특징을 포함하고, 샘플 대상의 대상 특징은 적어도 하나의 샘플 대상 서브 특징을 포함하는 단계(단계 S202); 강화해야 할 샘플 특징을 결정하되, 강화해야 할 샘플 특징은 적어도 하나의 샘플 사용자 서브 특징과 적어도 하나의 샘플 대상 서브 특징 중의 하나 또는 복수를 포함하는 단계(단계 S203); 샘플 사용자 특징과 샘플 대상의 대상 특징이 제1 신경망에 입력된 것에 응답하여, 제1 신경망이 샘플 대상에 대한 제1 예측 추천 결과를 출력하는 단계(단계 S204); 제1 예측 추천 결과와 강화해야 할 샘플 특징이 제2 신경망에 입력된 것에 응답하여, 제2 신경망이 샘플 대상에 대한 제2 예측 추천 결과를 출력하는 단계(단계 S205); 적어도 실제 추천 결과와 제2 예측 추천 결과에 기반하여, 손실값을 결정하는 단계(단계 S206); 손실값에 기반하여 제2 신경망의 파라미터를 조절하는 단계(단계 S207)를 포함한다. 이를 통해, 신경망의 훈련 프로세스에서, 신경망으로 하여금 강화해야 할 특징에 대해 강화 학습을 진행할 수 있도록 하며, 상기 신경망에 기반한 추천 정확성을 향상시킬 수 있다.

단계 S201에 대하여, 제1 신경망은 제2 신경망 훈련 시작 전에, 먼저 훈련을 완성할 수 있다.

일부 실시예에 따르면, 제1 신경망의 훈련 프로세스는 아래와 같을 수 있다. 즉, 샘플 사용자 특징과 샘플 대상의 대상 특징을 획득하고, 샘플 사용자 특징과 샘플 대상의 대상 특징의 실제 추천 결과를 레이블링하되, 샘플 사용자 특징은 적어도 하나의 샘플 사용자 서브 특징을 포함하고, 샘플 대상의 대상 특징은 적어도 하나의 샘플 대상 서브 특징을 포함하고; 샘플 사용자 특징과 샘플 대상의 대상 특징이 제1 신경망에 입력되는 것에 응답하여, 제1 신경망이 샘플 대상에 대한 제1 예측 추천 결과를 출력하고; 실제 추천 결과와 제1 예측 추천 결과에 기반하여, 손실값을 결정하고; 손실값에 기반하여 제1 신경망의 파라미터를 조절한다.

일부 실시예에 따르면, 제1 신경망의 훈련 프로세스에서 사용되는 샘플 사용자 특징과 샘플 대상의 대상 특징은 제2 신경망의 훈련 프로세스에서 사용되는 샘플 사용자 특징과 샘플 대상의 대상 특징과 동일할 수 있다. 제1 신경망의 훈련 프로세스에서 사용되는 샘플 사용자 특징과 샘플 대상의 대상 특징은 제2 신경망의 훈련 프로세스에서 사용되는 샘플 사용자 특징과 샘플 대상의 대상 특징과 상이할 수도 있으며, 이에 한정되지 않음을 이해할 수 있다.

단계 S203에 대하여, 일부 실시예에 따르면, 샘플 대상의 대상 특징은 샘플 장면 식별자를 포함할 수 있고, 강화해야 할 샘플 특징은 샘플 장면 식별자에 기반하여 결정할 수 있다.

단계 S206에 대하여, 일부 실시예에 따르면, 실제 추천 결과와 제2 예측 추천 결과에만 기반하여, 손실값을 결정할 수 있다.

단계 S206에 대하여, 다른 일부 실시예에 따르면, 실제 추천 결과, 제1 예측 추천 결과와 제2 예측 추천 결과에 기반하여, 손실값을 결정할 수 있다. 이를 통해, 제1 신경망과 제2 신경망에서 출력된 예측 추천 결과를 결합하여 신경망을 훈련시켜, 신경망의 훈련 효과를 향상시킬 수 있다.

하나의 예시적 실시예에서, 실제 추천 결과 및 제1 예측 추천 결과와 제2 예측 추천 결과의 가중치 합에 기반하여, 손실값을 결정할 수 있다. 특히, 실제 추천 결과 및 제1 예측 추천 결과와 제2 예측 추천 결과의 평균값에 기반하여, 손실값을 결정할 수 있다.

본 공개의 다른 하나의 측면은, 도 3에 도시한 바와 같이, 컴퓨터에 의해 구현되는 신경망(300)을 더 제공한다. 신경망(300)은 사용자 특징과 추천할 대상의 대상 특징을 수신하여 추천할 대상에 대한 최종 추천 결과를 예측하도록 구성되고,

사용자 특징과 추천할 대상의 대상 특징이 입력된 것에 응답하여, 추천할 대상에 대한 제1 추천 결과를 출력하도록 구성되되, 사용자 특징은 적어도 하나의 사용자 서브 특징을 포함하고, 추천할 대상의 대상 특징은 적어도 하나의 추천 대상 서브 특징을 포함하는, 제1 신경망(301);

강화해야 할 특징을 결정하도록 구성되되, 강화해야 할 특징은 적어도 하나의 사용자 서브 특징과 적어도 하나의 추천 대상 서브 특징 중의 하나 또는 복수를 포함하는, 결정유닛(302);

제1 추천 결과와 강화해야 할 특징이 입력된 것에 응답하여, 추천할 대상에 대한 제2 추천 결과를 출력하도록 구성되는, 제2 신경망(303); 및

적어도 제2 추천 결과에 기반하여 최종 추천 결과를 결정하도록 구성되는, 출력유닛(304)을 포함한다.

일부 실시예에 따르면, 추천할 대상의 대상 특징은 추천 장면 식별자를 포함할 수 있으며, 결정유닛은 추천 장면 식별자에 기반하여 강화해야 할 특징을 결정하도록 구성될 수 있다.

일부 실시예에 따르면, 출력유닛은 제1 추천 결과와 제2 추천 결과에 기반하여 추천할 대상에 대한 최종 추천 결과를 결정하도록 구성될 수 있다.

일부 실시예에 따르면, 출력유닛은 제1 추천 결과와 제2 추천 결과의 가중치 합을 최종 추천 결과로 결정하도록 구성될 수도 있다.

일부 실시예에 따르면, 제1 신경망과 제2 신경망 중의 하나 또는 두 개는 완전 연결 신경망이다.

일부 실시예에 따르면, 추천할 대상은 문자, 오디오 및 비디오 중 하나 또는 복수 유형을 포함하는 데이터일 수 있다.

본 공개의 다른 하나의 측면은 컴퓨팅 장치를 더 제공한다. 상기 컴퓨팅 장치는 프로세서; 및 프로그램이 저장되는 메모리를 포함하며, 프로그램은 명령을 포함하고, 명령이 프로세서에 의해 실행될 때, 프로세서로 하여금 상술한 대상 추천 방법 및 훈련 방법 중의 하나 또는 복수를 실행하도록 한다.

본 공개의 다른 하나의 측면은, 프로그램이 저장되는 컴퓨터 판독가능 저장매체를 더 제공한다. 프로그램은 명령을 포함하고, 명령이 컴퓨팅 장치의 프로세서에 의해 실행될 때, 컴퓨팅 장치로 하여금 상술한 대상 추천 방법 및 훈련 방법 중의 하나 또는 복수를 실행하도록 한다.

도 4를 참고하여, 컴퓨팅 장치(4000)를 설명하며, 본 공개의 각 측면에 적용될 수 있는 하드웨어 장치(전자장치)의 예시이다. 컴퓨팅 장치(4000)는 처리 및/또는 계산을 실행할 수 있는 임의의 장치일 수 있고, 위크스테이션, 서버, 데스크톱 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 개인 정보 단말기, 로봇, 스마트폰, 차량 탑재 컴퓨터 또는 이들의 임의의 조합일 수 있으나 이에 한정되지 않는다. 상기 생성 방법은 컴퓨팅 장치(4000) 또는 유사 장치 또는 시스템에 의해 각각 완전히 또는 적어도 부분적으로 실현될 수 있다.

소프트웨어 요소(프로그램)는 작업 메모리(4014)에 위치할 수 있으며, 오퍼레이팅 시스템(4016), 하나 이상의 응용 프로그램(4018), 구동 프로그램 및/또는 기타 데이터와 코드를 포함하나 이에 한정되지 않는다. 상기 방법과 단계를 실행하기 위한 명령은 하나 또는 복수의 응용 프로그램(4018)에 포함될 수 있으며, 상기 대상 추천 방법 및 훈련 방법 중 하나 또는 복수는 프로세서(4004)에 의해 하나 또는 그 이상의 응용 프로그램(4018)의 명령을 판독 및 실행시키는 것을 통해 구현될 수 있다. 더 구체적으로, 상기 대상 추천 방법에서 단계 S101~단계 S104는 예를 들어 프로세서(4004)를 통해, 단계 S101~단계 S104의 명령을 구비한 응용 프로그램(4018)을 실행시킴으로써 구현될 수 있다. 상기 훈련 방법에서, 단계 S201~단계 S207은 예를 들어 프로세서(4004)를 통해, 단계 S201~단계 S207의 명령을 구비한 응용 프로그램(4018)을 실행시킴으로써 구현될 수 있다. 또한, 상기 대상 추천 방법 및 훈련 방법 중 하나 또는 복수의 다른 단계는 예를 들어 프로세서(4004)를 통해, 상응한 단계를 실행하는 명령을 구비한 응용 프로그램(4018)을 실행시킴으로써 구현될 수 있다. 소프트웨어 요소(프로그램)의 명령의 실행 가능한 코드 또는 소스 코드는 비일시적 컴퓨터 판독가능 저장매체(예를 들어 상기 저장 장치(4010))에 저장될 수 있으며, 실행 시에는 작업 메모리(4014)에 저장될 수 있다(컴파일 및/또는 설치될 수 있다). 소프트웨어 요소(프로그램)의 명령의 실행 가능한 코드 또는 소스 코드는 원격 위치로부터 다운로드될 수도 있다.

또한, 구체적인 요구에 따라 다양하게 변형할 수 있음을 이해해야 한다. 예를 들어, 주문형 하드웨어를 사용할 수도 있고, 및/또는 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로 코드, 하드웨어 설명 언어 또는 이들의 임의의 조합을 이용하여 특정 소자를 구현할 수 있다. 예를 들어, 공개된 방법과 장치 중의 일부 또는 전체는 본 공개에 따른 로직과 알고리즘을 이용하는 것을 통해, 어셈블리 언어 또는 하드웨어 프로그래밍 언어(예컨대 VERILOG, VHDL, C++)로 하드웨어(예를 들어, 필드 프로그래머블 게이트 어레이(FPGA) 및/또는 프로그래머블 로직 어레이(PLA)를 포함하는 프로그래머블 로직 회로)를 프로그래밍하여 구현할 수 있다.

또한, 상술한 방법은 서버-클라이언트 모드를 이용하여 구현할 수 있음을 이해해야 한다. 예를 들어, 클라이언트는 사용자가 입력한 데이터를 수신하고 상기 데이터를 서버에 송신할 수 있다. 클라이언트는 사용자가 입력한 데이터를 수신하여, 상술한 방법 중의 일부 처리를 수행하고 처리하여 얻은 데이터를 서버에 송신할 수도 있다. 서버는 클라이언트로부터 데이터를 수신하여, 상술한 방법 또는 상술한 방법 중의 다른 부분을 수행하고, 수행 결과를 클라이언트에 피드백할 수 있다. 클라이언트는 서버로부터 방법의 수행 결과를 수신할 수 있으며, 또한 예를 들어 출력 장치를 통해 사용자에게 보여줄 수 있다. 서버는 분산형 시스템의 서버이거나, 또는 블록체인을 결합한 서버일 수 있다. 서버는 클라우드 서버이거나, 또는 인공지능 기술을 결합한 스마트 클라우드 컴퓨팅 서버 또는 스마트 클라우드 호스트일 수도 있다.

또한, 컴퓨팅 장치(4000)의 구성 요소는 네트워크에 분산될 수 있음을 이해해야 한다. 예를 들어, 하나의 프로세서를 이용하여 일부 처리를 실행할 수 있으며, 이와 동시에 상기 하나의 프로세서로부터 이격된 다른 프로세서에 의해 다른 처리를 실행할 수 있다. 컴퓨팅 시스템(4000)의 다른 구성 요소도 유사하게 분포될 수 있다. 이와 같이, 컴퓨팅 장치(4000)는 다수의 위치에서 처리를 실행하는 분산형 컴퓨팅 시스템으로 해석될 수 있다.

비록, 도면을 참고하여 본 공개의 실시예 또는 예시를 설명하였으나, 상술한 방법, 시스템 및 장치는 예시적인 실시예 또는 예시일 뿐이고, 본 발명의 범위는 이들 실시예 또는 예시에 한정되지 않으며, 등록된 특허청구범위 및 그것의 균등 범위에 의해 한정된다는 것을 이해하여야 한다. 실시예 또는 예시 중의 각종 요소는 생략되거나 또는 그것의 균등 요소로 대체할 수 있다. 그리고, 본 공개에서 설명한 순서와 다른 순서로 각 단계를 실행할 수 있다. 나아가, 다양한 방식으로 실시예 또는 예시 중의 각종 요소를 조합할 수 있다. 중요한 것은 기술이 발전함에 따라, 여기서 설명한 많은 요소들은 본 공개 이후에 출현되는 균등 요소로 교체할 수 있다는 것이다.

Claims

컴퓨터에 의해 구현되고 신경망을 이용하여 사용자에게 대상을 추천하는 방법에 있어서,
상기 신경망은 제1 신경망과 제2 신경망을 포함하고,
상기 방법은,
사용자 특징과 추천할 대상의 대상 특징을 상기 제1 신경망에 입력하여, 상기 제1 신경망에서 출력된 상기 추천할 대상에 대한 제1 추천 결과를 획득하되, 상기 사용자 특징은 적어도 하나의 사용자 서브 특징을 포함하고, 상기 추천할 대상의 대상 특징은 적어도 하나의 추천 대상 서브 특징을 포함하는 단계;
강화해야 할 특징을 결정하되, 상기 강화해야 할 특징은 상기 적어도 하나의 사용자 서브 특징과 상기 적어도 하나의 추천 대상 서브 특징 중의 하나 또는 복수를 포함하는 단계;
상기 제1 추천 결과와 상기 강화해야 할 특징을 상기 제2 신경망에 입력하여, 상기 제2 신경망에서 출력된 상기 추천할 대상에 대한 제2 추천 결과를 획득하는 단계;
적어도 상기 제2 추천 결과에 기반하여, 상기 추천할 대상에 대한 최종 추천 결과를 결정하는 단계를 포함하는, 컴퓨터에 의해 구현되고 신경망을 이용하여 사용자에게 대상을 추천하는 방법.
제1항에 있어서,
상기 추천할 대상의 대상 특징은 추천 장면 식별자를 포함하고, 상기 강화해야 할 특징은 상기 추천 장면 식별자에 기반하여 결정되는, 컴퓨터에 의해 구현되고 신경망을 이용하여 사용자에게 대상을 추천하는 방법.
제1항에 있어서,
상기 추천할 대상에 대한 최종 추천 결과는 상기 제1 추천 결과와 상기 제2 추천 결과에 기반하여 결정되는, 컴퓨터에 의해 구현되고 신경망을 이용하여 사용자에게 대상을 추천하는 방법.
제3항에 있어서,
상기 추천할 대상에 대한 최종 추천 결과는 상기 제1 추천 결과와 상기 제1 추천 결과의 가중치 합인, 컴퓨터에 의해 구현되고 신경망을 이용하여 사용자에게 대상을 추천하는 방법.
제1항에 있어서,
상기 제1 신경망과 상기 제2 신경망 중의 하나 또는 두 개는 완전 연결 신경망인, 컴퓨터에 의해 구현되고 신경망을 이용하여 사용자에게 대상을 추천하는 방법.
제1항 내지 제5항 중 어느 한 항에 있어서,
상기 추천할 대상은 문자, 오디오 및 비디오 중 하나 또는 복수 유형을 포함하는 데이터인, 컴퓨터에 의해 구현되고 신경망을 이용하여 사용자에게 대상을 추천하는 방법.
컴퓨터에 의해 구현되는 신경망 훈련 방법에 있어서,
상기 신경망은 제1 신경망과 제2 신경망을 포함하고,
상기 방법은,
제1 신경망을 훈련시켜 완성하는 단계;
샘플 사용자 특징과 샘플 대상의 대상 특징을 획득하고, 상기 샘플 대상에 대한 실제 추천 결과를 레이블링하되, 상기 샘플 사용자 특징은 적어도 하나의 샘플 사용자 서브 특징을 포함하고, 상기 샘플 대상의 대상 특징은 적어도 하나의 샘플 대상 서브 특징을 포함하는 단계;
강화해야 할 샘플 특징을 결정하되, 상기 강화해야 할 특징은 상기 적어도 하나의 샘플 사용자 서브 특징과 상기 적어도 하나의 샘플 대상 서브 특징 중의 하나 또는 복수를 포함하는 단계;
상기 샘플 사용자 특징과 상기 샘플 대상의 대상 특징이 상기 제1 신경망에 입력된 것에 응답하여, 상기 제1 신경망이 상기 샘플 대상에 대한 제1 예측 추천 결과를 출력하는 단계;
상기 제1 예측 추천 결과와 상기 강화해야 할 샘플 특징이 상기 제2 신경망에 입력된 것에 응답하여, 상기 제2 신경망이 상기 샘플 대상에 대한 제2 예측 추천 결과를 출력하는 단계;
적어도 상기 실제 추천 결과와 상기 제2 예측 추천 결과에 기반하여, 손실값을 결정하는 단계;
상기 손실값에 기반하여 상기 제2 신경망의 파라미터를 조절하는 단계를 포함하는, 컴퓨터에 의해 구현되는 신경망 훈련 방법.
제7항에 있어서,
상기 샘플 대상의 대상 특징은 샘플 장면 식별자를 포함하고, 상기 강화해야 할 샘플 특징은 상기 샘플 장면 식별자에 기반하여 결정되는, 컴퓨터에 의해 구현되는 신경망 훈련 방법.
제7항에 있어서,
상기 손실값을 결정하는 것은 상기 실제 추천 결과, 상기 제1 예측 추천 결과와 상기 제2 예측 추천 결과에 기반하여 결정하는, 컴퓨터에 의해 구현되는 신경망 훈련 방법.
컴퓨터에 의해 구현되는 신경망에 있어서,
상기 신경망은 사용자 특징과 추천할 대상의 대상 특징을 수신하여 상기 추천할 대상에 대한 최종 추천 결과를 예측하도록 구성되며,
상기 신경망은,
사용자 특징과 추천할 대상의 대상 특징이 입력된 것에 응답하여, 상기 추천할 대상에 대한 제1 추천 결과를 출력하도록 구성되되, 상기 사용자 특징은 적어도 하나의 사용자 서브 특징을 포함하고, 상기 추천할 대상의 대상 특징은 적어도 하나의 추천 대상 서브 특징을 포함하는, 제1 신경망;
강화해야 할 특징을 결정하도록 구성되되, 상기 강화해야 할 특징은 상기 적어도 하나의 사용자 서브 특징과 상기 적어도 하나의 추천 대상 서브 특징 중의 하나 또는 복수를 포함하는, 결정유닛;
상기 제1 추천 결과와 강화해야 할 특징이 입력된 것에 응답하여, 상기 추천할 대상에 대한 제2 추천 결과를 출력하도록 구성되는, 제2 신경망; 및
적어도 상기 제2 추천 결과에 기반하여 상기 최종 추천 결과를 결정하도록 구성되는, 출력유닛을 포함하는, 컴퓨터에 의해 구현되는 신경망.
제10항에 있어서,
상기 추천할 대상의 대상 특징은 추천 장면 식별자를 포함하고, 상기 결정유닛은 상기 추천 장면 식별자에 기반하여 강화해야 할 특징을 결정하도록 구성되는, 컴퓨터에 의해 구현되는 신경망.
제10항에 있어서,
상기 출력유닛은 상기 제1 추천 결과와 상기 제2 추천 결과에 기반하여 상기 추천할 대상에 대한 최종 추천 결과를 결정하도록 구성되는, 컴퓨터에 의해 구현되는 신경망.
제12항에 있어서,
상기 출력유닛은 상기 제1 추천 결과와 상기 제2 추천 결과의 가중치 합을 상기 최종 추천 결과로 결정하도록 구성되는, 컴퓨터에 의해 구현되는 신경망.
제10항에 있어서,
상기 제1 신경망과 상기 제2 신경망 중의 하나 또는 두 개는 완전 연결 신경망인, 컴퓨터에 의해 구현되는 신경망.
제10항 내지 제14항 중 어느 한 항에 있어서,
상기 추천할 대상은 문자, 오디오 및 비디오 중 하나 또는 복수 유형을 포함하는 데이터인, 컴퓨터에 의해 구현되는 신경망.
컴퓨팅 장치에 있어서,
프로세서; 및
프로그램이 저장된 메모리를 포함하며,
상기 프로그램은 명령을 포함하며, 상기 명령은 상기 프로세서에 의해 실행될 때 상기 프로세서로 하여금 제1항 내지 제9항 중 어느 한 항에 따른 방법을 실행하도록 하는 컴퓨팅 장치.
프로그램이 저장된 컴퓨터 판독가능 저장매체에 있어서,
상기 프로그램은 명령을 포함하며, 상기 명령은 컴퓨팅 장치의 프로세서에 의해 실행될 때 상기 컴퓨팅 장치로 하여금 제1항 내지 제9항 중 어느 한 항에 따른 방법을 실행하도록 하는, 프로그램이 저장된 컴퓨터 판독가능 저장매체.
컴퓨터 판독가능 저장매체에 저장된 컴퓨터 프로그램에 있어서,
상기 컴퓨터 프로그램은 명령을 포함하며, 상기 명령이 적어도 하나의 프로세서에 의해 실행될 때 제1항 내지 제9항 중 어느 한 항에 따른 방법을 구현하는, 컴퓨터 판독가능 저장매체에 저장된 컴퓨터 프로그램.