KR20160041856A - 베이지안 최적화를 수행하기 위한 시스템 및 방법 - Google Patents

Abstract

복수의 작업 각각과 관련된 복수의 목적 함수를 이용하여 최적화를 수행하는 것과 관련된 사용을 위한 기술들. 기술들은 적어도 하나의 컴퓨터 하드웨어 프로세서를 이용하여: 복수의 목적 함수의 공동 확률 모델에 적어도 부분적으로 기초하여, 복수의 목적 함수 내의 목적 함수를 평가할 제1 포인트를 식별하고; 공동 확률 모델에 적어도 부분적으로 기초하여, 식별된 제1 포인트에서 평가할 복수의 목적 함수 내의 제1 목적 함수를 선택하고; 식별된 제1 포인트에서 제1 목적 함수를 평가하고; 평가의 결과들에 기초하여 공동 확률 모델을 갱신하여, 갱신된 공동 확률 모델을 획득하는 것을 수행하게 하는 것을 포함한다.

Description

베이지안 최적화를 수행하기 위한 시스템 및 방법{SYSTEMS AND METHODS FOR PERFORMING BAYESIAN OPTIMIZATION}

관련 출원의 상호 참조

본원은 대리인 사건 번호 H0776.70085US00에 따라 2013년 5월 30일자로 출원된 "TECHNIQUES FOR PERFORMING BAYESIAN OPTIMIZATION"이라는 명칭의 미국 특허 가출원 제61/829090호, 대리인 사건 번호 H0776.70086US00에 따라 2013년 5월 31일자로 출원된 "TECHNIQUES FOR PERFORMING BAYESIAN OPTIMIZATION"이라는 명칭의 미국 특허 가출원 제61/829604호 및 대리인 사건 번호 H0776.70089US00에 따라 2013년 12월 2일자로 출원된 "TECHNIQUES FOR PERFORMING BAYESIAN OPTIMIZATION"이라는 명칭의 미국 특허 가출원 제61/910837호에 대해 35 U.S.C.§119(e)에 따라 이익을 주장하며, 이들 각각은 그 전체가 본 명세서에 참고로 포함된다.

연방 후원 연구

본 발명은 DARPA(Defense Advanced Research Projects Agency)에 의해 제공되는 YFA N66001-12-1-4219에 따른 정부 지원을 이용하여 이루어졌다. 정부는 본 발명에 대해 소정의 권리들을 갖는다.

기계 학습 시스템은 데이터를 처리하기 위해 하나 이상의 기계 학습 기술(예로서, 분류 기술, 클러스터링 기술, 회귀 기술, 구조화 예측 기술 등) 및/또는 모델(예로서, 통계 모델, 신경망, 지원 벡터 기계, 결정 트리, 그래픽 모델 등)을 이용하도록 구성될 수 있다. 기계 학습 시스템들은 텍스트 분석, 기계 번역, 음성 처리, 오디오 처리, 이미지 처리, 시각 객체 인식 및 생체 데이터 분석을 포함하지만 이에 한정되지 않는 상이한 도메인들에 걸치는 광범위한 응용들에서 발생하는 데이터를 처리하는 데 사용된다.

일부 실시예들은 목적 함수를 이용하여 최적화를 수행하는 것과 관련된 사용을 위한 방법에 관한 것이다. 방법은 적어도 하나의 컴퓨터 하드웨어 프로세서를 이용하여: 통합 획득 효용 함수, 및 목적 함수의 확률 모델을 이용하여, 적어도, 목적 함수를 평가할 제1 포인트를 식별하고; 적어도 식별된 제1 포인트에서 목적 함수를 평가하고; 평가의 결과들을 이용하여 목적 함수의 확률 모델을 갱신하여, 갱신된 목적 함수의 확률 모델을 획득하는 것을 수행하는 단계를 포함한다.

일부 실시예들은 적어도 하나의 컴퓨터 하드웨어 프로세서에 의해 실행될 때 적어도 하나의 컴퓨터 하드웨어 프로세서로 하여금 목적 함수를 이용하여 최적화를 수행하는 것과 관련된 사용을 위한 방법을 수행하게 하는 프로세서 실행 가능 명령어들을 저장하는 적어도 하나의 비일시적 컴퓨터 판독 가능 저장 매체에 관한 것이다. 방법은 통합 획득 효용 함수, 및 목적 함수의 확률 모델을 이용하여, 적어도, 목적 함수를 평가할 제1 포인트를 식별하는 단계; 적어도 식별된 제1 포인트에서 목적 함수를 평가하는 단계; 및 평가의 결과들을 이용하여 목적 함수의 확률 모델을 갱신하여, 갱신된 목적 함수의 확률 모델을 획득하는 단계를 포함한다.

일부 실시예들은 목적 함수를 이용하여 최적화를 수행하는 것과 관련된 사용을 위한 시스템에 관한 것이다. 시스템은 적어도 하나의 컴퓨터 하드웨어 프로세서; 및 적어도 하나의 컴퓨터 하드웨어 프로세서에 의해 실행될 때 적어도 하나의 컴퓨터 하드웨어 프로세서로 하여금, 통합 획득 효용 함수, 및 목적 함수의 확률 모델을 이용하여, 적어도, 목적 함수를 평가할 제1 포인트를 식별하고; 적어도 식별된 제1 포인트에서 목적 함수를 평가하고; 평가의 결과들을 이용하여 목적 함수의 확률 모델을 갱신하여, 갱신된 목적 함수의 확률 모델을 획득하는 것을 수행하게 하는 프로세서 실행 가능 명령어들을 저장하는 적어도 하나의 비일시적 컴퓨터 판독 가능 저장 매체를 포함한다.

임의의 이전 실시예를 포함하는 일부 실시예들에서, 목적 함수는 기계 학습 시스템의 하이퍼-파라미터들의 값들을 기계 학습 시스템의 성능의 척도를 제공하는 값들과 관련시킨다. 일부 실시예들에서, 목적 함수는 이미지들 내의 객체들을 식별하기 위한 신경망의 복수의 하이퍼-파라미터의 값들을 이미지들 내의 객체들의 식별에 있어서의 신경망의 성능의 척도를 제공하는 각각의 값과 관련시킨다.

임의의 이전 실시예를 포함하는 일부 실시예들에서, 프로세서 실행 가능 명령어들은 또한 적어도 하나의 컴퓨터 하드웨어 프로세서로 하여금, 통합 획득 효용 함수, 및 갱신된 목적 함수의 확률 모델을 이용하여, 적어도, 목적 함수를 평가할 제2 포인트를 식별하고; 적어도 식별된 제2 포인트에서 목적 함수를 평가하게 한다.

임의의 이전 실시예를 포함하는 일부 실시예들에서, 확률 모델은 적어도 하나의 파라미터를 가지며, 통합 획득 효용 함수는 적어도 부분적으로는 확률 모델의 적어도 하나의 파라미터에 관하여 초기 획득 효용 함수를 적분함으로써 획득된다.

임의의 이전 실시예를 포함하는 일부 실시예들에서, 초기 획득 효용 함수는 개선 확률 효용 함수, 예상 개선 효용 함수, 후회 최소화 효용 함수 및 엔트로피 기반 효용 함수로 구성되는 그룹으로부터 선택되는 획득 효용 함수이다.

임의의 이전 실시예를 포함하는 일부 실시예들에서, 목적 함수의 확률 모델은 가우시안 프로세스 또는 신경망을 포함한다.

임의의 이전 실시예를 포함하는 일부 실시예들에서, 식별은 적어도 부분적으로는 마르코프 체인 몬테카를로 기법을 이용하여 수행된다.

임의의 이전 실시예를 포함하는 일부 실시예들에서, 프로세서 실행 가능 명령어들은 또한 적어도 하나의 컴퓨터 하드웨어 프로세서로 하여금, 목적 함수를 평가할 복수의 포인트를 식별하고; 복수의 포인트 각각에서 목적 함수를 평가하고; 평가의 결과들에 기초하여, 목적 함수가 최대값에 도달하는 포인트를 식별 또는 근사화하는 것을 수행하게 한다.

일부 실시예들은 목적 함수를 이용하여 최적화를 수행하는 것과 관련된 사용을 위한 방법에 관한 것이다. 방법은 적어도 하나의 컴퓨터 하드웨어 프로세서를 이용하여: 제1 포인트에서 목적 함수를 평가하고; 제1 포인트에서의 목적 함수의 평가가 완료되기 전에, 제1 포인트에서의 목적 함수의 평가의 잠재적 결과들의 가능성들에 기초하여, 목적 함수를 평가할 제1 포인트와 다른 제2 포인트를 식별하고; 제2 포인트에서 목적 함수를 평가하는 것을 수행하는 단계를 포함한다.

일부 실시예들은 목적 함수를 이용하여 최적화를 수행하는 것과 관련된 사용을 위한 방법에 관한 것이다. 방법은 적어도 하나의 컴퓨터 하드웨어 프로세서를 이용하여: 제1 포인트에서 목적 함수의 평가를 개시하고; 제1 포인트에서의 목적 함수의 평가가 완료되기 전에, 제1 포인트에서의 목적 함수의 평가의 잠재적 결과들의 가능성들에 기초하여, 목적 함수를 평가할 제1 포인트와 다른 제2 포인트를 식별하고; 제2 포인트에서 목적 함수의 평가를 개시하는 것을 수행하는 단계를 포함한다.

일부 실시예들은 적어도 하나의 컴퓨터 하드웨어 프로세서에 의해 실행될 때 적어도 하나의 컴퓨터 하드웨어 프로세서로 하여금 목적 함수를 이용하여 최적화를 수행하는 것과 관련된 사용을 위한 방법을 수행하게 하는 프로세서 실행 가능 명령어들을 저장하는 적어도 하나의 비일시적 컴퓨터 판독 가능 저장 매체에 관한 것이다. 방법은 제1 포인트에서 목적 함수의 평가를 개시하는 단계; 제1 포인트에서의 목적 함수의 평가가 완료되기 전에, 제1 포인트에서의 목적 함수의 평가의 잠재적 결과들의 가능성들에 기초하여, 목적 함수를 평가할 제1 포인트와 다른 제2 포인트를 식별하는 단계; 및 제2 포인트에서 목적 함수의 평가를 개시하는 단계를 포함한다.

일부 실시예들은 목적 함수를 이용하여 최적화를 수행하는 것과 관련된 사용을 위한 시스템에 관한 것이다. 시스템은 적어도 하나의 컴퓨터 하드웨어 프로세서; 및 적어도 하나의 컴퓨터 하드웨어 프로세서에 의해 실행될 때 적어도 하나의 컴퓨터 하드웨어 프로세서로 하여금, 제1 포인트에서 목적 함수의 평가를 개시하고; 제1 포인트에서의 목적 함수의 평가가 완료되기 전에, 제1 포인트에서의 목적 함수의 평가의 잠재적 결과들의 가능성들에 기초하여, 목적 함수를 평가할 제1 포인트와 다른 제2 포인트를 식별하고; 제2 포인트에서 목적 함수의 평가를 개시하게 하는 프로세서 실행 가능 명령어들을 저장하는 적어도 하나의 비일시적 컴퓨터 판독 가능 저장 매체를 포함한다.

임의의 이전 실시예를 포함하는 일부 실시예들에서, 목적 함수는 기계 학습 시스템의 하이퍼-파라미터들의 값들을 기계 학습 시스템의 성능의 척도를 제공하는 값들과 관련시킨다.

임의의 이전 실시예를 포함하는 일부 실시예들에서, 목적 함수는 이미지들 내의 객체들을 식별하기 위한 신경망의 복수의 하이퍼-파라미터의 값들을 이미지들 내의 객체들의 식별에 있어서의 신경망의 성능의 척도를 제공하는 각각의 값과 관련시킨다.

임의의 이전 실시예를 포함하는 일부 실시예들에서, 적어도 하나의 컴퓨터 하드웨어 프로세서는 제1 컴퓨터 하드웨어 프로세서 및 제1 컴퓨터 하드웨어 프로세서와 다른 제2 컴퓨터 하드웨어 프로세서를 포함하고, 프로세서 실행 가능 명령어들은 적어도 제1 컴퓨터 하드웨어 프로세서로 하여금, 제1 포인트에서 목적 함수의 평가를 수행하게 하고; 적어도 제2 컴퓨터 하드웨어 프로세서로 하여금, 제2 포인트에서 목적 함수의 평가를 수행하게 한다.

임의의 이전 실시예를 포함하는 일부 실시예들에서, 식별은 적어도 부분적으로는 제1 포인트에서의 목적 함수의 잠재 값들에 관하여 초기 획득 효용 함수의 예상 값을 계산함으로써 획득되는 획득 효용 함수를 이용하는 것을 포함한다.

임의의 이전 실시예를 포함하는 일부 실시예들에서, 가능성들은 목적 함수의 확률 모델을 이용하여 획득되며, 프로세서 실행 가능 명령어들은 또한 적어도 하나의 컴퓨터 하드웨어 프로세서로 하여금, 제1 포인트 및/또는 제2 포인트에서의 목적 함수의 평가의 결과들을 이용하여 목적 함수의 확률 모델을 갱신하여, 갱신된 목적 함수의 확률 모델을 획득하는 것을 수행하게 한다.

임의의 이전 실시예를 포함하는 일부 실시예들에서, 프로세서 실행 가능 명령어들은 또한 적어도 하나의 컴퓨터 하드웨어 프로세서로 하여금, 갱신된 목적 함수의 확률 모델을 이용하여, 적어도, 목적 함수를 평가할 제3 포인트를 식별하고; 적어도 식별된 제3 포인트에서 목적 함수의 평가를 개시하는 것을 수행하게 한다.

임의의 이전 실시예를 포함하는 일부 실시예들에서, 목적 함수의 확률 모델은 가우시안 프로세스 또는 신경망을 포함한다.

일부 실시예들은 제1 도메인 내의 요소들을 일정 범위 내의 값들로 맵핑하는 목적 함수를 이용하여 최적화를 수행하는 것과 관련된 사용을 위한 방법에 관한 것이다. 방법은 적어도 하나의 컴퓨터 하드웨어 프로세서를 이용하여: 획득 효용 함수 및 목적 함수의 확률 모델을 적어도 부분적으로 이용하여 목적 함수를 평가할 제1 포인트를 식별하고 - 확률 모델은 제1 도메인 내의 요소들의 제2 도메인 내의 요소들로의 비선형 일대일 맵핑에 의존함 -; 식별된 제1 포인트에서 목적 함수를 평가하여 대응하는 목적 함수의 제1 값을 획득하고; 제1 값을 이용하여 목적 함수의 확률 모델을 갱신하여, 갱신된 목적 함수의 확률 모델을 획득하는 것을 수행하는 단계를 포함한다.

일부 실시예들은 적어도 하나의 컴퓨터 하드웨어 프로세서에 의해 실행될 때 적어도 하나의 컴퓨터 하드웨어 프로세서로 하여금 제1 도메인 내의 요소들을 일정 범위 내의 값들로 맵핑하는 목적 함수를 이용하여 최적화를 수행하는 것과 관련된 사용을 위한 방법을 수행하게 하는 프로세서 실행 가능 명령어들을 저장하는 적어도 하나의 비일시적 컴퓨터 판독 가능 저장 매체에 관한 것이다. 방법은 획득 효용 함수 및 목적 함수의 확률 모델을 적어도 부분적으로 이용하여 목적 함수를 평가할 제1 포인트를 식별하는 단계 - 확률 모델은 제1 도메인 내의 요소들의 제2 도메인 내의 요소들로의 비선형 일대일 맵핑에 의존함 -; 및 식별된 제1 포인트에서 목적 함수를 평가하여 대응하는 목적 함수의 제1 값을 획득하는 단계를 포함한다.

일부 실시예들은 제1 도메인 내의 요소들을 일정 범위 내의 값들로 맵핑하는 목적 함수를 이용하여 최적화를 수행하는 것과 관련된 사용을 위한 시스템에 관한 것이다. 시스템은 적어도 하나의 컴퓨터 하드웨어 프로세서; 및 적어도 하나의 컴퓨터 하드웨어 프로세서에 의해 실행될 때 적어도 하나의 컴퓨터 하드웨어 프로세서로 하여금, 획득 효용 함수 및 목적 함수의 확률 모델을 적어도 부분적으로 이용하여 목적 함수를 평가할 제1 포인트를 식별하고 - 확률 모델은 제1 도메인 내의 요소들의 제2 도메인 내의 요소들로의 비선형 일대일 맵핑에 의존함 -; 식별된 제1 포인트에서 목적 함수를 평가하여 대응하는 목적 함수의 제1 값을 획득하고; 제1 값을 이용하여 목적 함수의 확률 모델을 갱신하여, 갱신된 목적 함수의 확률 모델을 획득하는 것을 수행하게 하는 프로세서 실행 가능 명령어들을 저장하는 적어도 하나의 비일시적 컴퓨터 판독 가능 저장 매체를 포함한다.

임의의 이전 실시예를 포함하는 일부 실시예들에서, 목적 함수는 기계 학습 시스템의 하이퍼-파라미터들의 값들을 기계 학습 시스템의 성능의 척도를 제공하는 값들과 관련시킨다.

임의의 이전 실시예를 포함하는 일부 실시예들에서, 목적 함수는 이미지들 내의 객체들을 식별하기 위한 신경망의 복수의 하이퍼-파라미터의 값들을 이미지들 내의 객체들의 식별에 있어서의 신경망의 성능의 척도를 제공하는 각각의 값과 관련시킨다.

임의의 이전 실시예를 포함하는 일부 실시예들에서, 프로세서 실행 가능 명령어들은 또한 적어도 하나의 컴퓨터 하드웨어 프로세서로 하여금, 목적 함수를 평가할 제2 포인트를 식별하고; 식별된 제2 포인트에서 목적 함수를 평가하여, 대응하는 목적 함수의 제2 값을 획득하고; 제2 값을 이용하여 갱신된 목적 함수의 확률 모델을 갱신하여, 제2의 갱신된 목적 함수의 확률 모델을 획득하게 한다.

임의의 이전 실시예를 포함하는 일부 실시예들에서, 비선형 일대일 맵핑은 전단사(bijection)이다.

임의의 이전 실시예를 포함하는 일부 실시예들에서, 비선형 일대일 맵핑은 베타 분포의 누적 분포 함수를 포함한다.

임의의 이전 실시예를 포함하는 일부 실시예들에서, 획득 효용 함수는 통합 획득 효용 함수이다.

임의의 이전 실시예를 포함하는 일부 실시예들에서, 목적 함수의 확률 모델은 적어도 부분적으로는 가우시안 프로세스 또는 신경망을 이용하여 획득된다.

일부 실시예들은 복수의 작업 각각과 관련된 복수의 목적 함수를 이용하여 최적화를 수행하는 것과 관련된 사용을 위한 방법에 관한 것이다. 방법은 적어도 하나의 컴퓨터 하드웨어 프로세서로 하여금: 적어도 부분적으로는 복수의 목적 함수의 공동 확률 모델에 기초하여 복수의 목적 함수 내의 목적 함수를 평가할 제1 포인트를 식별하고; 적어도 부분적으로는 공동 확률 모델에 기초하여, 식별된 제1 포인트에서 평가할 복수의 목적 함수 내의 제1 목적 함수를 선택하고; 식별된 제1 포인트에서 제1 목적 함수를 평가하고; 평가의 결과들에 기초하여 공동 확률 모델을 갱신하여, 갱신된 공동 확률 모델을 획득하는 것을 수행하는 단계를 포함한다.

일부 실시예들은 적어도 하나의 컴퓨터 하드웨어 프로세서에 의해 실행될 때 적어도 하나의 컴퓨터 하드웨어 프로세서로 하여금 복수의 작업 각각과 관련된 복수의 목적 함수를 이용하여 최적화를 수행하는 것과 관련된 사용을 위한 방법을 수행하게 하는 프로세서 실행 가능 명령어들을 저장하는 적어도 하나의 비일시적 컴퓨터 판독 가능 저장 매체에 관한 것이다. 방법은 적어도 부분적으로는 복수의 목적 함수의 공동 확률 모델에 기초하여 복수의 목적 함수 내의 목적 함수를 평가할 제1 포인트를 식별하는 단계; 적어도 부분적으로는 공동 확률 모델에 기초하여, 식별된 제1 포인트에서 평가할 복수의 목적 함수 내의 제1 목적 함수를 선택하는 단계; 식별된 제1 포인트에서 제1 목적 함수를 평가하는 단계; 평가의 결과들에 기초하여 공동 확률 모델을 갱신하여, 갱신된 공동 확률 모델을 획득하는 단계를 포함한다.

일부 실시예들은 복수의 작업 각각과 관련된 복수의 목적 함수를 이용하여 최적화를 수행하는 것과 관련된 사용을 위한 시스템에 관한 것이다. 시스템은 적어도 하나의 컴퓨터 하드웨어 프로세서; 및 적어도 하나의 컴퓨터 하드웨어 프로세서에 의해 실행될 때 적어도 하나의 컴퓨터 하드웨어 프로세서로 하여금, 적어도 부분적으로는 복수의 목적 함수의 공동 확률 모델에 기초하여 복수의 목적 함수 내의 목적 함수를 평가할 제1 포인트를 식별하고; 적어도 부분적으로는 공동 확률 모델에 기초하여, 식별된 제1 포인트에서 평가할 복수의 목적 함수 내의 제1 목적 함수를 선택하고; 식별된 제1 포인트에서 제1 목적 함수를 평가하고; 평가의 결과들에 기초하여 공동 확률 모델을 갱신하여, 갱신된 공동 확률 모델을 획득하는 것을 수행하게 하는 프로세서 실행 가능 명령어들을 저장하는 적어도 하나의 비일시적 컴퓨터 판독 가능 저장 매체를 포함한다.

임의의 이전 실시예를 포함하는 일부 실시예들에서, 제1 목적 함수는 기계 학습 시스템의 하이퍼-파라미터들의 값들을 기계 학습 시스템의 성능의 척도를 제공하는 값들과 관련시킨다.

임의의 이전 실시예를 포함하는 일부 실시예들에서, 제1 목적 함수는 이미지들 내의 객체들을 식별하기 위한 신경망의 복수의 하이퍼-파라미터의 값들을 이미지들 내의 객체들의 식별에 있어서의 신경망의 성능의 척도를 제공하는 각각의 값과 관련시킨다.

임의의 이전 실시예를 포함하는 일부 실시예들에서, 프로세서 실행 가능 명령어들은 또한 적어도 하나의 컴퓨터 하드웨어 프로세서로 하여금: 적어도 부분적으로는 갱신된 복수의 목적 함수의 공동 확률 모델에 기초하여, 복수의 목적 함수 내의 목적 함수를 평가할 제2 포인트를 식별하고; 적어도 부분적으로는 공동 확률 모델에 기초하여, 식별된 제1 포인트에서 평가할 복수의 목적 함수 내의 제2 목적 함수를 선택하고; 식별된 제1 포인트에서 제2 목적 함수를 평가하게 한다.

임의의 이전 실시예를 포함하는 일부 실시예들에서, 제1 목적 함수는 제2 목적 함수와 다르다.

임의의 이전 실시예를 포함하는 일부 실시예들에서, 복수의 목적 함수의 공동 확률 모델은 복수의 작업 내의 작업들 간의 상관성을 모델링한다.

임의의 이전 실시예를 포함하는 일부 실시예들에서, 복수의 목적 함수의 공동 확률 모델은 벡터 값 가우시안 프로세스를 포함한다.

임의의 이전 실시예를 포함하는 일부 실시예들에서, 공동 확률 모델은 적어도 부분적으로는 복수의 작업 내의 작업들 간의 상관성을 모델링하는 제1 공분산 커널 및 복수의 목적 함수 내의 목적 함수들이 평가될 수 있는 포인트들 간의 상관성을 모델링하는 제2 공분산 커널에 기초하여 획득되는 공분산 커널을 포함한다.

임의의 이전 실시예를 포함하는 일부 실시예들에서, 식별은 비용 가중 엔트로피 검색 효용 함수에 더 기초하여 수행된다.

위의 설명은 첨부된 청구항들에 의해 정의되는 본 발명의 비한정적인 요약이다.

다양한 양태들 및 실시예들이 아래의 도면들을 참조하여 설명된다. 도면들은 반드시 축척으로 그려진 것은 아니라는 것을 알아야 한다. 다수의 도면에 나타나는 아이템들은 이들이 나타나는 모든 도면들에서 동일하거나 유사한 참조 번호로 지시된다.
도 1은 기계 학습 시스템의 구성을 나타내는 블록도이다.
도 2a-2d는 본 명세서에서 설명되는 기술의 일부 실시예들에 따른, 적어도 부분적으로는 획득 효용 함수를 이용하여 목적 함수의 확률 모델을 반복적으로 갱신하는 것을 나타낸다.
도 3a-3b는 본 명세서에서 설명되는 기법의 일부 실시예들에 따른, 통합 획득 효용 함수를 계산하는 것을 나타낸다.
도 4는 본 명세서에서 설명되는 기술의 일부 실시예들에 따른, 적어도 부분적으로는 통합 획득 효용 함수 및 목적 함수의 확률 모델을 이용함으로써 목적 함수를 이용하여 최적화를 수행하기 위한 예시적인 프로세스의 흐름도이다.
도 5a-5f는 2개의 예시적인 비정지 목적 함수에 대한 2개의 워핑 함수의 적용을 나타낸다.
도 6은 본 명세서에서 설명되는 기술의 일부 실시예들에 따른, 적어도 부분적으로는 다수의 컴퓨터 하드웨어 프로세서를 이용함으로써 목적 함수를 이용하여 최적화를 수행하기 위한 예시적인 프로세스의 흐름도이다.
도 7은 본 명세서에서 설명되는 기술의 일부 실시예들에 따른, 적어도 부분적으로는 각각의 작업에 대응하는 다수의 목적 함수의 공동 확률 모델을 이용함으로써 다중 작업 최적화를 수행하기 위한 예시적인 프로세스의 흐름도이다.
도 8은 본 명세서에서 설명되는 실시예들이 구현될 수 있는 예시적인 컴퓨터 시스템의 블록도이다.

기계 학습 시스템을 구성하기 위한 통상적인 기술들은 시스템의 하나 이상의 파라미터를 수동으로 설정하고, (예로서, 훈련 데이터를 이용하여 파라미터들의 값들을 학습함으로써) 시스템의 하나 이상의 다른 파라미터들을 자동으로 설정하는 것을 포함한다. 예를 들어, 기계 학습 시스템은 때때로 "하이퍼-파라미터들"로 지칭되는 하나 이상의 파라미터를 가질 수 있고, 그들의 값들은 기계 학습 시스템이 훈련되기 전에(예로서, 기계 학습 시스템의 하나 이상의 다른 파라미터의 값들이 훈련 데이터를 이용하여 학습되기 전에) 수동으로 설정된다. 하이퍼-파라미터들은 기계 학습 시스템의 훈련 동안(예로서, 기계 학습 시스템의 파라미터들을 학습하기 위한 학습 기술은 하이퍼-파라미터들의 값들에 의존할 수 있음) 그리고 실행 시간 동안(예로서, 훈련된 기계 학습 시스템이 새로운 데이터를 처리하는 방식은 하이퍼-파라미터들의 값들에 의존할 수 있음) 사용될 수 있다.

예를 들어, 도 1에 도시된 바와 같이, 기계 학습 시스템(102)은 하이퍼-파라미터들(104)을 먼저 수동으로 설정하고, 이어서 훈련 스테이지(110) 동안 훈련 데이터(108) 및 하이퍼-파라미터들(104)에 기초하여 파라미터들(106a)의 값들을 학습하여, 학습된 파라미터 값들(106b)을 획득함으로써 구성될 수 있다. 이어서, 평가 스테이지(116) 동안 테스팅 데이터(114)를 이용하여, 구성된 기계 학습 시스템(112)의 성능(118)의 척도를 제공하는 하나 이상의 값을 계산함으로써, 구성된 기계 학습 시스템(112)의 성능이 평가될 수 있다. 성능(118)의 척도는 일반화 성능의 척도 및/또는 임의의 다른 적절한 성능 척도일 수 있다.

하나의 비한정적인 예로서, 기계 학습 시스템(102)은 하나 이상의 하이퍼-파라미터(예로서, 하나 이상의 학습 레이트, 하나 이상의 드롭아웃 레이트, 하나 이상의 가중치 놈, 하나 이상의 은닉 계층 크기, 신경망이 컨볼루션 신경망일 때의 컨볼루션 커널 크기, 풀링 크기 등)와 관련된 다층 신경망을 포함하는 객체 인식을 위한 기계 학습 시스템일 수 있다. 하이퍼-파라미터들은 통상적으로 훈련 데이터에 기초하여 신경망을 훈련시키기 전에 수동으로 설정된다. 다른 비한정적인 예로서, 기계 학습 시스템(102)은 잠재 디리클레(Dirichlet) 할당 기술을 이용하여 청크들 내의 텍스트를 처리하는 텍스트 처리를 위한 기계 학습 시스템일 수 있으며, 이 기술은 다양한 하이퍼-파라미터들(예로서, 하나 이상의 학습 레이트, 지향성 그래픽 모델 훈련의 각각의 반복에서 처리할 텍스트 청크들의 크기 등)과 관련된 지향성 그래픽 모델의 이용을 포함한다. 이러한 하이퍼-파라미터들은 통상적으로 훈련 데이터에 기초하여 지향성 그래픽 모델을 훈련시키기 전에 수동으로 설정된다. 또 다른 비한정적인 예로서, 기계 학습 시스템(102)은 하나 이상의 하이퍼-파라미터(예로서, 하나 이상의 정규화 파라미터, 하나 이상의 엔트로피 텀, 모델 수렴 허용 한계 등)와 관련된 지원 벡터 기계(예로서, 잠재 구조화 지원 벡터 기계)를 포함하는 단백질 DNA 시퀀스들의 분석을 위한 기계 학습 시스템일 수 있다. 이러한 하이퍼-파라미터들은 통상적으로 훈련 데이터에 기초하여 지원 벡터 기계를 훈련시키기 전에 수동으로 설정된다. 이러한 예들은 예시적이며, 통상적으로 수동으로 설정되는 하이퍼-파라미터들을 갖는 기계 학습 시스템들의 많은 다른 예가 존재한다는 것을 알아야 한다.

기계 학습 시스템들의 성능(예로서, 일반화 성능)은 하이퍼-파라미터들에 민감하며, 통상적으로 행해지는 바와 같이, 기계 학습 시스템의 하이퍼-파라미터들을 "타당한" 값들로 수동 설정하는 것은 시스템의 열악한 또는 차선의 성능을 유발할 수 있다. 사실상, 하이퍼-파라미터들의 나쁜 설정들과 좋은 설정들 간의 차이는 쓸모없는 기계 학습 시스템과 최첨단 성능을 가진 기계 학습 시스템 간의 차이일 수 있다.

기계 학습 시스템의 하이퍼-파라미터들의 설정에 대한 하나의 통상적인 접근법은 하이퍼-파라미터들의 상이한 설정들을 시험하고, 각각의 그러한 설정에 대해 기계 학습 시스템의 성능을 평가하는 것이다. 그러나, 그러한 억지 검색 접근법은 실용적이지 못한데, 그 이유는 기계 학습 시스템이 많은 수의 하이퍼-파라미터를 가질 수 있고, 따라서 평가되어야 하는 너무 많은 상이한 설정이 존재하기 때문이다. 더욱이, 하이퍼-파라미터들의 각각의 설정에 대해 기계 학습 시스템의 성능을 평가하는 것은 긴 시간이 걸리고/걸리거나 많은 양의 계산 자원을 소비할 수 있는데, 그 이유는 기계 학습 시스템이 하이퍼-파라미터들의 각각의 설정에 대해 재훈련되는 것이 필요하고, 이는 많은 기계 학습 시스템이 매우 많은 훈련 데이터 세트를 이용하여 훈련됨에 따라 계산적으로 매우 힘들기 때문이다. 결과적으로, 적은 수의 하이퍼-파라미터 설정을 평가하기 위한 시간 및/또는 계산 자원들이 존재할 수 있지만, 가능한 하이퍼-파라미터 설정들의 다수의 순열을 포괄적으로 시험하는 것은 가능하지 못할 수 있다.

기계 학습 시스템의 하이퍼-파라미터들의 설정에 대한 다른 통상적인 접근법은 베이지안 최적화 기술들을 이용하는 것이다. 이 접근법은 기계 학습 시스템의 하이퍼-파라미터들을 설정하는 문제를 기계 학습 시스템의 최상의 성능에 대응하는 기계 학습 시스템에 대한 하이퍼-파라미터 값들의 세트를 발견하는 것이 목표인 최적화 문제로서 간주하고, 최적화 기술을 적용하여 이러한 최적화 문제를 해결하는 것을 포함한다. 이를 위해, 기계 학습 시스템의 하이퍼-파라미터 값들과 그의 성능 간의 관계는 최적화 문제에 대한 목적 함수로 간주될 수 있으며(즉, 목적 함수는 기계 학습 시스템의 하이퍼-파라미터 값들을 기계 학습 시스템의 성능의 척도를 제공하는 각각의 값으로 맵핑하며), 최적화 문제의 해결은 목적 함수의 도메인 내에서 하나 이상의 극치 포인트(예로서, 국소 최소, 국소 최대, 전역 최소, 전역 최대 등)를 발견하는 것을 포함한다. 그러나, 이러한 목적 함수는 기계 학습 시스템의 하이퍼-파라미터들의 값들뿐만 아니라 기계 학습 시스템을 훈련시키는 데 사용되는 훈련 데이터 및 다른 팩터들에도 의존하는 성능을 갖는 어떠한 실제 기계 학습 시스템에 대해서도 폐쇄된 형태로(예를 들어, 분석적으로) 알려져 있지 않다(예를 들어, 도 1에 도시된 바와 같이, 성능(118)의 척도는 하이퍼-파라미터들(104)뿐만 아니라, 훈련 데이터(108), 테스팅 데이터(114), 훈련 절차(110)의 상세 등에도 의존한다). 더욱이, 목적 함수는 포인트별로 평가될 수 있으나(예를 들어, 기계 학습 시스템의 하이퍼-파라미터 값들의 각각의 설정에 대해, 기계 학습 시스템의 성능의 척도를 제공하는 값이 획득될 수 있으나), 각각의 그러한 평가의 수행은 상당한 양의 시간 및/또는 전력을 필요로 할 수 있다.

따라서, 목적 함수의 폐쇄 형태 분석 표현(예를 들어, 기울기들의 계산을 필요로 하는 기술들) 및/또는 많은 수의 목적 함수 평가(예로서, 내부 포인트 방법들)를 필요로 하는 최적화 기술들은 일반적으로 기계 학습 시스템들의 하이퍼-파라미터 값들의 식별에 대한 가능한 접근법들이 아니다. 반면, 베이지안 최적화 기술들은 목적 함수에 대한 정확한 지식도 많은 수의 목적 함수 평가도 필요로 하지 않는다. 베이지안 최적화 기술들은 목적 함수의 평가들에 의존하지만, 그들은 그러한 평가들의 수를 줄이도록 설계된다.

베이지안 최적화는 이전에 획득된 목적 함수 평가들에 기초하여 목적 함수의 확률 모델을 구성하고, 이용 가능해지는 새로운 목적 함수 평가들에 기초하여 확률 모델을 갱신하고, 확률 모델을 이용하여 목적 함수의 극치 포인트들(예로서, 하나 이상의 국소 최소, 국소 최대, 전역 최소, 전역 최대 등)을 식별하는 것을 포함한다. 확률 모델은 소위 획득 효용 함수(그 예들은 아래에서 더 상세히 설명됨)와 함께 목적 함수를 다음에 어디서 평가할지에 관한 정보 기반 결정을 행하는 데 사용되며, 새로운 평가들은 목적 함수의 확률 모델을 갱신하는 데 사용될 수 있다. 이러한 방식으로, 목적 함수를 높은 신뢰도로 정확하게 표현하는 확률 모델을 획득하기 위해 수행되는 목적 함수 평가들의 수가 감소될 수 있다. 기본 목적 함수에 대한 확률 모델의 충실도가 높을수록, 확률 모델을 이용하여 식별되는 하나 이상의 극치 포인트가 목적 함수의 극치 포인트들에 대응할 가능성이 높다(예를 들어, 그들의 양호한 추정치들/근사치들이다).

따라서, 기계 학습 시스템의 하이퍼-파라미터들의 설정에 대한 통상적인 베이지안 최적화 접근법은 기계 학습 시스템의 하이퍼-파라미터 값들과 그의 성능 간의 관계에 대한 확률 모델을 구성하고, 이 확률 모델을 획득 효용 함수와 함께 이용하여 어떤 하이퍼-파라미터 값들을 시험할지에 대한 정보 기반 결정들을 행하는 것을 포함한다. 이러한 방식으로, 기계 학습 시스템의 성능이 하이퍼-파라미터 값들의 세트들에 대해 평가되는 횟수가 감소될 수 있다.

본 발명자들은 기계 학습 시스템들의 하이퍼-파라미터들을 설정하기 위한 통상적인 베이지안 최적화 기술들을 포함하는 통상적인 베이지안 최적화 기술들이 개선될 수 있다는 것을 인식하였다. 본 발명자들은 통상적인 베이지안 최적화 기술들의 하나의 단점이 그들의 성능이 목적 함수의 확률 모델의 파라미터들의 값들에 과도하게 민감하다(예를 들어, 확률 모델의 파라미터 값들의 작은 변화가 베이지안 최적화 기술의 전체 성능의 큰 변화를 유발할 수 있다)는 것이라는 것을 인식하였다. 구체적으로, 본 발명자들은 베이지안 최적화에서 목적 함수를 다음에 평가할 포인트들을 식별하기 위해(예로서, 기계 학습 시스템의 성능을 평가할 하이퍼-파라미터 값들의 다음 세트를 식별하기 위해) 사용되는 획득 효용 함수가 목적 함수의 확률 모델의 파라미터들의 값들에 민감하고, 이는 베이지안 최적화 기술의 열악한 전체 성능을 유발할 수 있다.

따라서, 일부 실시예들은 확률 모델의 상이한 파라미터 값들에 각각 대응하는 다수의 획득 함수를 평균함으로써 얻어지는 통합 획득 효용 함수를 이용하여 베이지안 최적화를 수행하는 것과 관련된다(그러한 평균은 때때로 확률 모델의 파라미터들과 관련하여 "통합(integrating out)"으로 지칭된다). 통합 획득 효용 함수는 목적 함수의 확률 모델의 파라미터들에 덜 민감할 수 있으며, 이는 통상적인 베이지안 최적화 기술들의 강건성 및 성능을 개선할 수 있다.

본 발명자들은 기계 학습 시스템들의 하이퍼-파라미터들을 설정하기 위한 통상적인 베이지안 최적화 기술들을 포함하는 통상적인 베이지안 최적화 기술들의 다른 단점이 통상적인 베이지안 최적화 기술들이 목적 함수의 모든 이전 평가들의 결과들에 기초하여 (예를 들어, 기계 학습 시스템의 성능을 평가할 하이퍼-파라미터 값들의 다음 세트를 식별하기 위해) 목적 함수를 평가할 다음 포인트를 선택하는 것을 필요로 한다는 점에서 순차적 기술들이라는 것을 인식하였다. 따라서, 목적 함수의 각각의 평가는 목적 함수를 평가할 다음 포인트가 식별되기 전에 완료되어야 한다. 따라서, 목적 함수의 모든 평가들은 순차적으로(즉, 하나씩) 수행된다.

따라서, 일부 실시예들은 목적 함수의 다수의 평가가 병렬로 수행될 수 있게 하는(예를 들어, 기계 학습 시스템에 대한 다수의 상이한 하이퍼-파라미터 값이 예를 들어 상이한 컴퓨터 하드웨어 프로세서들을 이용하여 동시에 평가될 수 있게 하는) 베이지안 최적화의 병렬화와 관련된다. 이러한 실시예들에서, 목적 함수를 평가할 다음 포인트는 하나 이상의 이전에 개시된 목적 함수의 평가의 완료 전에 선택될 수 있지만, 선택은 목적 함수의 미결 평가들의 잠재적 결과들의 각각의 가능성에 기초하여 행해질 수 있으며, 따라서 미결 평가들에 대한 일부 정보(예로서, 평가가 행해지고 있는 특정 포인트들)가 목적 함수를 평가할 다음 포인트의 선택시에 고려된다. 목적 함수 평가들의 병렬화는 예를 들어 훈련에 긴 시간(예로서, 수 일)이 걸리는 기계 학습 시스템들에 대한 하이퍼-파라미터 값들을 식별할 때와 같이 목적 함수의 평가가 계산적으로 고가일 때 유용할 수 있다.

본 발명자들은 기계 학습 시스템들의 하이퍼-파라미터들을 설정하기 위한 통상적인 베이지안 최적화 기술들을 포함하는 통상적인 베이지안 최적화 기술들의 다른 단점이 통상적인 가우시안 최적화 기술들이 정지 가우시안 프로세스를 이용하여 목적 함수를 모델링하며(예를 들어, 정지 가우시안 프로세스를 이용하여 기계 학습 시스템의 하이퍼-파라미터 값들과 그의 성능 간의 관계를 모델링하며), 이는 비정지인 목적 함수들에 대한 적절한 확률 모델이 아닐 수 있다는 점이라는 것을 인식하였다. 예를 들어, 정지 가우시안 프로세스는 비정지 목적 함수에 대한 적절한 모델이 아닐 수 있는데, 그 이유는 정지 가우시안 프로세스의 2차 통계가 번역 불변인 반면(예로서, 가우시안 프로세스의 공분산 커널이 번역 불변인 반면), 비정지 목적 함수의 2차 통계가 번역 불변이 아닐 수 있기 때문이다.

따라서, 일부 실시예들은 정지 및 비정지 목적 함수들을 더 정확하게 모델링하도록 적응되는 확률 모델을 이용함으로써 베이지안 최적화를 수행하는 것과 관련된다. 일부 실시예들에서, 목적 함수의 확률 모델은 목적 함수의 도메인 내에서의 요소들의 비선형 일대일 맵핑에 적어도 부분적으로 기초하여 특정될 수 있다. 확률 모델이 가우시안 프로세스를 포함하는 실시예들에서, 가우시안 프로세스의 공분산 커널은 적어도 부분적으로는 비선형 일대일 맵핑을 이용함으로써 특정될 수 있다.

본 발명자들은 베이지안 최적화 기술들의 다른 단점이 그들이 특정 최적화 작업을 해결하도록 적용될 때 이러한 동일한 기술들의 관련 최적화 작업에 대한 과거의 적용들 동안 얻어진 정보를 이용하지 못한다는 점이라는 것을 인식하였다. 예를 들어, 기계 학습 시스템(예로서, 이미지들의 세트 내의 객체들을 식별하기 위한 신경망)은 상이한 데이터 세트들(예로서, 상이한 이미지 세트들)에 적용될 수 있지만, 통상적인 베이지안 최적화 기술들은 각각의 데이터 세트에 대해(예로서, 각각의 이미지 세트에 대해)기계 학습 시스템의 하이퍼-파라미터들을 새로 식별하는 것을 필요로 한다. (예로서, 하이퍼-파라미터 값들이 기계 학습 시스템으로 하여금 양호하게 동작하게 하고, 하이퍼-파라미터 값들이 기계 학습 시스템으로 하여금 불량하게 동작하게 하는) 하나의 데이터 세트를 이용하여 기계 학습 시스템에 대한 하이퍼-파라미터들을 식별하는 동안 이전에 획득된 어떠한 정보도 다른 데이터 세트를 이용하여 동일 기계 학습 시스템에 대한 하이퍼-파라미터 값들을 식별하는 데 사용되지 못한다.

따라서, 일부 실시예들은 특정 최적화 작업을 해결하도록 적용될 때 하나 이상의 다른 관련 최적화 작업을 해결하는 동안 얻어진 정보를 이용할 수 있는 베이지안 최적화 기술들과 관련된다. 예를 들어, 일부 실시예들에서, 제1 데이터 세트를 이용하여 기계 학습 시스템에 대한 하이퍼-파라미터들을 설정하는 동안 얻어진 정보는 제1 데이터 세트와 다른 제2 데이터 세트를 이용하여 기계 학습 시스템의 하이퍼-파라미터들을 설정하는 데 적용될 수 있다. 이러한 방식으로, 이전에 획득된 정보를 이용하여(예로서, 계산적으로 고가로 수행될 수 있는 목적 함수 평가들을 더 적게 이용하여) 기계 학습 시스템에 대한 하이퍼-파라미터들을 더 효율적으로 설정할 수 있다. 더 일반적으로, 다수의 상이한 최적화 작업에 대한 최적화가 더 효율적으로 수행될 수 있는데, 그 이유는 최적화 작업들 중 하나를 해결하는 동안 얻어진 정보가 다른 최적화 작업을 해결하는 데에 이용될 수 있기 때문이다.

본 명세서에서 설명되는 기술의 일부 실시예들은 기계 학습 시스템들의 하이퍼-파라미터들을 설정하기 위한 베이지안 최적화 기술들을 포함하는 통상적인 베이지안 최적화 기술들의 전술한 단점들 중 일부를 해결한다. 그러나, 모든 실시예가 이러한 단점들 모두를 해결하지는 않으며, 일부 실시예들은 그들 중 임의의 단점을 해결하지 못할 수 있다. 따라서, 본 명세서에서 설명되는 기술의 양태들은 통상적인 베이지안 최적화 기술들의 모든 또는 임의의 전술한 단점들의 해결로 한정되지 않는다는 것을 알아야 한다.

본 명세서에서 설명되는 실시예들은 임의의 다양한 방식으로 구현될 수 있다는 것도 알아야 한다. 특정 구현들의 예들이 아래에서 단지 예시적의 목적으로 제공된다. 제공되는 이러한 실시예들 및 특징들/능력들은 본 명세서에서 설명되는 기술의 양태들이 이와 관련하여 한정되지 않으므로 개별적으로, 모두 함께 또는 둘 이상의 그러한 것들의 임의 조합으로 사용될 수 있다는 것을 알아야 한다.

일부 실시예들에서, 베이지안 최적화 기술들은 목적 함수의 하나 이상의 이전에 획득된 평가에 기초하여 목적 함수의 확률 모델을 형성하고, 이용 가능해지는 목적 함수의 임의의 새로운 평가들에 기초하여 확률 모델을 갱신하는 것을 포함한다. 따라서, 일부 실시예들에서, 목적 함수를 이용하는 최적화는 각각의 반복에서 획득 효용 함수 및 목적 함수의 확률 모델을 이용하여 목적 함수를 평가할 포인트를 식별하고, 식별된 포인트에서 목적 함수를 평가하고, 평가의 결과들에 기초하여 확률 모델을 갱신하는 동작들을 수행함으로써 반복적으로(하나 또는 다수의 반복에 대해) 수행될 수 있다. 본 명세서에서 설명되는 베이지안 최적화 기술들은 상이한 응용들에서 발생하는 임의의 다양한 타입의 목적 함수에 적용될 수 있다.

전술한 바와 같이, 본 명세서에서 설명되는 베이지안 최적화 기술들이 적용될 수 있는 목적 함수의 하나의 비한정적인 예는 기계 학습 시스템의 하나 이상의 하이퍼-파라미터의 값들을 이러한 하이퍼-파라미터들을 이용하여 구성되는 기계 학습 시스템(예로서, 적어도 부분적으로는 이러한 파라미터들을 이용하여 훈련되고/되거나 적어도 부분적으로는 이러한 파라미터들을 이용하여 새로운 데이터를 처리하는 기계 학습 시스템)의 성능의 척도를 제공하는 각각의 값과 관련시키는 목적 함수이다. 그러한 기계 학습 시스템의 하나의 비한정적인 예는 신경망(예로서, 다층 신경망, 컨볼루션 신경망, 피드-포워드 신경망, 회귀 신경망, 방사 기초 함수 신경망 등) 및/또는 이미지들 내의 객체들을 인식하기 위한 임의의 다른 적절한 기계 학습 기술을 이용하는, 이미지들 내의 객체들을 인식하기 위한 기계 학습 시스템이다. 그러한 기계 학습 시스템의 하이퍼-파라미터들의 예들이 위에서 제공되었다. 그러한 기계 학습 시스템의 다른 비한정적인 예는 잠재 디리클레 할당(LDA), 확률 잠재 시맨틱 분석, 계층적 LDA, 비파라미터 LDA 및/또는 자연 언어 텍스트를 처리하기 위한 임의의 다른 적절한 기계 학습 기술을 이용하는, 자연 언어 텍스트를 처리(예로서, 텍스트 내의 하나 이상의 토픽의 식별, 텍스트 마이닝 등)하기 위한 기계 학습 시스템이다. 그러한 기계 학습 시스템들은 자연 언어 텍스트의 대형 세트들(예로서, 하나 이상의 언어 자료)의 처리에 적응될 수 있다. 그러한 기계 학습 시스템의 하이퍼-파라미터들의 예들은 위에서 제공되었다. 그러한 기계 학습 시스템의 다른 비한정적인 예는 지원 벡터 기계(예로서, 선형 지원 벡터 기계, 잠재 구조화 지원 벡터 기계, 임의의 적절한 최대 마진 분류기 등) 및/또는 생체 데이터를 처리하기 위한 임의의 다른 적절한 기계 학습 기술을 이용하는 생체 데이터의 분석을 위한 기계 학습 시스템(예로서, 단백질 모티프 예측을 위한 기계 학습 시스템)이다. 본 명세서에서 설명되는 베이지안 최적화 기술들이 (기계 시스템의 하이퍼-파라미터들을 설정하기 위해) 적용될 수 있는 기계 학습 시스템들의 다른 비한정적인 예들은 의료 이미지 처리를 위한 기계 학습 시스템들(예를 들어, 질병의 존재에 기인하고/하거나 그를 지시할 수 있는 객체들과 같은 의료 이미지들 내의 이상한 객체들을 식별하기 위한 기계 학습 시스템들), 초음파 데이터의 처리를 위한 기계 학습 시스템들, 비선형 적응성 기초 함수 회귀를 이용하여 임의의 적절한 타입의 데이터를 모델링하기 위한 기계 학습 시스템들, 레이더 데이터를 처리하기 위한 기계 학습 시스템들, 음성 처리(예로서, 음성 인식, 화자 식별, 화자 일기 쓰기, 자연 언어 이해 등)를 위한 기계 학습 시스템들 및 기계 번역을 위한 기계 학습 시스템들을 포함하지만 이에 한정되지 않는다.

본 명세서에서 설명되는 베이지안 최적화 기술들은 기계 학습 시스템들의 하이퍼-파라미터 값들의 설정에 적용되는 것으로 한정되지 않으며, 일부 실시예들에서는 다른 문제들에 적용될 수 있다는 것을 알아야 한다. 하나의 비한정적인 예로서, 본 명세서에서 설명되는 베이지안 최적화 기술들은 이미지 및/또는 비디오 압축 알고리즘의 파라미터들(예로서, 하나 이상의 JPEG 압축 표준에 의해 지정되는 하나 이상의 파라미터, 하나 이상의 MPEG 표준에 의해 지정되는 하나 이상의 파라미터 등)을 이미지 및/또는 비디오 압축 알고리즘의 성능의 척도와 관련시키는 목적 함수에 적용될 수 있다. 다른 비한정적인 예로서, 본 명세서에서 설명되는 베이지안 최적화 기술들은 컴퓨터 비전 시스템(예로서, 객체 인식, 포즈 추정, 사람 및/또는 객체 추적, 광학적 흐름, 장면 재구성 등을 위한 컴퓨터 비전 시스템)의 파라미터들을 관련시키는 목적 함수에 적용될 수 있다. 다른 비한정적인 예로서, 본 명세서에서 설명되는 베이지안 최적화 기술들은 비선형 제어 시스템(예로서, 하나 이상의 로봇을 제어하기 위한 제어 시스템)의 파라미터들을 제어 시스템의 성능과 관련시키는 목적 함수에 적용될 수 있다. 다른 비한정적인 예로서, 본 명세서에서 설명되는 베이지안 최적화 기술들은 설계되고 있는 구조를 적어도 부분적으로 특성화하는 파라미터들(비행기 날개를 적어도 부분적으로 특성화하는 파라미터들)을 구조의 성능(예로서, 비행기 날개가 적절한 바람직한 리프트 특성들을 갖는지의 여부)과 관련시키는 목적 함수에 적용될 수 있다. 위의 예들은 포괄적이 아니며, 더 일반적으로는 본 명세서에서 설명되는 베이지안 최적화 기술들은 계산적으로 고가로 평가될 수 있는 임의의 목적 함수 및/또는 임의의 적절한 최적화 문제에서 발생하는 임의의 다른 목적 함수에 적용될 수 있는데, 이는 본 명세서에서 설명되는 베이지안 최적화 기술들이 이들이 적용될 수 있는 목적 함수의 타입에 의해 제한되지 않기 때문이다.

전술한 바와 같이, 일부 실시예들에서, 본 명세서에서 설명되는 베이지안 최적화 기술들은 특정 작업에 대한 목적 함수(예로서, 기계 학습 시스템의 하이퍼-파라미터들을 그의 성능과 관련시키는 목적 함수)의 확률 모델을 생성하는 것을 포함한다. 임의의 적절한 타입의 목적 함수의 확률 모델이 사용될 수 있다. 일부 실시예들에서, 확률 모델은 함수들에 대한 분포를 지정하는 확률 프로세스인 가우시안 프로세스를 포함할 수 있다. 가우시안 프로세스는 평균 함수

및 공분산 함수(때로는 "커널" 함수라고 함)에 의해 지정될 수 있다. 예를 들어, 목적 함수가 기계 학습 시스템의 하이퍼-파라미터들을 그의 성능과 관련시킬 때, 가우시안 프로세스는 하이퍼-파라미터들의 공간 상에서 정의되며, 따라서 평균 함수는 하이퍼-파라미터 값들의 세트들(기계 학습 시스템의 하나 이상의 하이퍼-파라미터의 값들에 대응하는 하이퍼-파라미터 값들의 각각의 세트)을 실수들로 맵핑하고, 공분산 함수는 하이퍼-파라미터 값들의 세트들 간의 상관성을 나타낸다.

공분산 함수는 적어도 부분적으로는 커널에 의해 지정될 수 있으며, 임의의 다양한 타입의 커널이 사용될 수 있다. 일부 실시예들에서, 마테른 커널(

)이 사용될 수 있다. 하나의 비한정적인 예로서, 5/2 마테른 커널(K_M52)이 사용될 수 있고, 이 커널은 아래 식에 따라 정의될 수 있다.

여기서, θ₀ 및 r은 커널의 파라미터들이고, x 및 x'는 가우시안 프로세스가 정의되는 도메인 내의 포인트들이다(예를 들어, x 및 x'는 기계 학습 시스템의 하이퍼-파라미터 값들의 세트들을 나타낼 수 있다). 5/2 마테른 커널은 다른 커널 선택들보다 바람직할 수 있는데, 그 이유는 유도되는 가우시안 프로세스가 유리한 특성들을 갖기 때문이다(예로서, 가우시안 프로세스의 샘플 경로들은 2배로 구별 가능할 수 있다). 그러나, 다른 커널들을 이용하여 지정되는 가우시안 프로세스가 사용될 수 있다. 사용될 수 있는 커널들의 예들은 자동 관련성 결정 제곱 지수 커널, 유리 이차 커널, 주기성 커널, 국소적 주기성 커널, 선형 커널, 및 전술한 임의의 커널의 결합(예로서, 곱셈, 덧셈 등)에 의해 얻어지는 커널을 포함하지만 이에 한정되지 않는다.

가우시안 프로세스를 포함하는 목적 함수의 확률 모델을 이용하여, 모든 이전에 획득된 목적 함수의 평가들이 주어지는 경우에 가우시안 프로세스의 예측 평균을 계산함으로써 목적 함수의 추정치를 계산할 수 있다. 이러한 추정치와 관련된 불확실성은 모든 이전에 획득된 목적 함수의 평가들이 주어지는 경우에 가우시안 프로세스의 예측 공분산을 계산함으로써 계산될 수 있다. 예를 들어, 함수들(

) 상에서의 가우시안 프로세스에 대한 예측 평균 및 공분산은 포인트들의 세트(

) 상에서의 목적 함수의 N개의 이전에 획득된 평가

이 주어질 경우에 다음과 같이 표현될 수 있다.

여기서,

은 가우시안 프로세스의 커널이고,

는 x와 세트 X 사이의 교차 공분산들의 N차원 열 벡터이고,

는 세트 X 대한 그램(Gram) 행렬이고, y 는 평가들의 N x 1 벡터이고, m(X)은 세트 X 내의 포인트들에서의 가우시안 프로세스의 평균들의 벡터이고, θ는 가우시안 프로세스의 하나 이상의 다른 파라미터(커널의 파라미터들)의 세트이다.

목적 함수에 대한 확률 모델은 가우시안 프로세스 모델을 포함하는 것으로 한정되지 않는다는 것을 알아야 한다. 하나의 비한정적인 예로서, 목적 함수에 대한 확률 모델은 무작위 변수들인 가중치들을 갖는 신경망을 포함할 수 있고, 따라서 신경망은 함수들의 세트에 대한 분포를 지정한다. 신경망은 컨볼루션 신경망, 디프(deep) 신경망 및/또는 임의의 다른 적절한 타입의 신경망일 수 있다. 다른 비한정적인 예로서, 목적 함수에 대한 확률 모델은 적응성 기초 함수 회귀 모델을 포함할 수 있다.

하나의 비한정적인 예로서, 일부 실시예들에서, 확률 모델은 N개의 비선형 기초 함수

의 선형 결합으로서 지정되는 베이지안 선형 회귀 모델을 포함할 수 있으며, 여기서 N은 1 이상의 정수이다. 비선형 기초 함수들

는 적어도 부분적으로는 다층 신경망을 이용하여 획득될 수 있다. 예를 들어, 일부 실시예들에서, 비선형 기초 함수들은 (예로서, 임의의 적절한 훈련 기술들을 이용하여) 다층 신경망을 훈련시키고, 입력들로부터 다층 신경망 내의 최종 은닉 계층으로의 투영을 비선형 함수 기초로서 사용함으로써 획득될 수 있다. 이러한 투영은 또한 베이지안 선형 회귀 모델에 대한 특징 표현으로 사용될 수 있다. 이것은 아래와 같이 표현될 수 있다.

가 N개의 입력

을 다층 신경망의 최종 계층으로 투영함으로써 얻어진 기초 함수들

을 연결함으로써 생성되는 D x N 행렬을 나타내는 것으로 한다. 그러면, 입력들

이 주어질 경우에 관찰들(y)에 대한 베이지안 선형 회귀 모델은

로서 표현될 수 있으며, 여기서

이고,

는 스케일링 하이퍼-파라미터(

)에 따라 N개의 입력 포인터에 의해 유도되는 공분산 행렬이다. 입력(

)에 대응하는 출력(

)에 대한 예측 분포는

로서 표현될 수 있고, 여기서

는

에 의해 주어진다.

목적 함수를 모델링하는 데 사용되는 확률 모델의 타입과 무관하게, 확률 모델은 목적 함수의 추정치 및 추청치와 관련된 불확실성의 척도를 획득하는 데 사용될 수 있다. 예를 들어, 목적 함수가 기계 학습 시스템의 하이퍼-파라미터들의 값들을 그의 성능과 관련시킬 때, 확률 모델에 기초하여 얻어지는 목적 함수의 추정치는 하이퍼-파라미터 값들의 각각의 세트에 대한 기계 학습 시스템의 성능의 추정치를 제공할 수 있으며, 추정치와 관련된 불확실성의 척도는 기계 학습 시스템이 하이퍼-파라미터 값들의 특정 세트에 대해 얼마나 양호하게 동작하는지에 대한 추정치와 관련된 불확실성의 척도(예로서, 분산, 신뢰도 등)를 제공할 수 있다. 불확실성의 상이한 양들이 상이한 하이퍼-파라미터 값들에 대응하는 기계 학습 시스템 성능의 추정치들과 관련될 수 있다. 일부 하이퍼-파라미터 값들에 대해, 확률 모델은 그러한 하이퍼-파라미터 값들을 이용하여 구성될 때 기계 학습 시스템의 성능의 고신뢰도 추정치(예로서, 낮은 분산과 관련된 추정치)를 제공할 수 있는 반면, 다른 하이퍼-파라미터 값들에 대해, 확률 모델은 그러한 하이퍼-파라미터 값들을 이용하여 구성될 때 기계 학습 시스템의 성능의 저신뢰도 추정치(예로서, 높은 분산과 관련된 추정치)를 제공할 수 있다.

목적 함수의 확률 모델은 임의의 다양한 방식으로 목적 함수의 추정치를 획득하는 데 사용될 수 있다. 하나의 비한정적인 예로서, 확률 모델은 목적 함수의 모든 이전의 관찰들(즉, 평가들)이 주어지는 경우에 확률 모델에 따라 목적 함수의 예측 평균 추정치를 계산함으로써 목적 함수의 추정치를 계산하고, 불확실성의 관련 척도를 예측 공분산으로서 계산하는 데 사용될 수 있다. 그러한 계산들은 (예로서, 위에서 제공된 식들에 따른) 가우시안 프로세스들을 포함하는 임의의 다양한 타입의 확률 모델들, 적응성 기초 함수 회귀 모델들(이들의 일례는 신경망임) 및 임의의 다른 적절한 모델들에 대해 수행될 수 있다.

위의 예들로부터 알 수 있듯이, 일부 실시예들에서, 목적 함수에 대한 확률 모델은 함수들의 세트(예로서, 목적 함수 또는 목적 함수를 정밀하게 근사화하는 다른 함수를 포함할 것으로 생각되는 함수들의 세트)에 대한 확률 분포를 지정할 수 있다. 이러한 확률 분포는 함수들의 세트 내의 하나 이상의 함수 각각에 대한 확률 값을 지정할 수 있으며, 특정 함수에 대한 확률 값은 함수가 목적 함수일 확률을 지시할 수 있다. 예를 들어, 가우시안 프로세스는 가우시안 프로세스가 정의되는 공간 상에서 함수들의 세트에 대한 분포를 유도하는 것으로 간주될 수 있다. 예를 들어, 가우시안 프로세스는 모든 가능한 목적 함수들의 세트(예로서, 기계 학습 시스템의 하이퍼-파라미터들을 기계 학습 시스템의 대응하는 성능과 관련시키는 모든 목적 함수들의 세트)에 대한 분포를 지정하는 데 사용될 수 있다.

일부 실시예들에서, 목적 함수의 확률 모델은 목적 함수에 대해 획득된 새로운 정보에 기초하여 갱신될 수 있다. 갱신된 분포는 초기 분포보다 집중적일 수 있으며, 따라서 목적 함수의 더 낮은 불확실성 표현을 제공할 수 있다. 갱신된 분포는 목적 함수의 다양한 추정치들을 계산하는 데 사용될 수 있다. 전술한 바와 같이, 목적 함수는 폐쇄 형태로 알려지지 않을 수 있으며, 목적 함수에 대한 정보는 목적 함수의 포인트별 평가를 통해 획득될 수 있다. 예를 들어, 기계 학습 시스템의 하이퍼-파라미터들을 그의 성능과 관련시키는 목적 함수에 대한 정보는 하이퍼-파라미터들의 하나 이상의 설정 각각에 대해 기계 학습 시스템의 성능을 평가함으로써 획득될 수 있다. 따라서, 일부 실시예들에서, 목적 함수의 확률 모델은 새로운 평가(들)를 통해 목적 함수에 대해 학습된 추가 정보를 반영하기 위해 목적 함수의 하나 이상의 평가에 기초하여 갱신될 수 있다. 예를 들어, 목적 함수의 확률 모델이 가우시안 프로세스를 포함하는 실시예들에서, 가우시안 프로세스는 목적 함수의 새로운 평가(들)에 기초하여 갱신될 수 있다(예를 들어, 그의 평균 및/또는 공분산 함수가 갱신될 수 있다). 다른 예로서, 목적 함수의 확률 모델이 신경망을 포함하는 실시예들에서, 신경망은 목적 함수의 새로운 평가(들)에 기초하여 갱신될 수 있다(예로서, 신경망의 가중치들과 관련된 확률 분포가 갱신될 수 있다).

목적 함수의 하나 이상의 평가에 기초하여 목적 함수의 확률 모델을 갱신하는 예시적인 비한정적인 예가 도 2a-2d에 도시된다. 도 2a는 목적 함수의 각각의 값(202, 204, 206)을 얻기 위한 3개의 포인트에서의 3개의 이전에 획득된 목적 함수의 평가에 기초하여 생성된 목적 함수(200)의 확률 모델을 나타낸다. 도시된 예에서, 확률 모델은 목적 함수의 이전의 3개의 평가를 조건으로 하여 가우시안 분포의 예측 평균을 계산함으로써 목적 함수의 추정치(205)를 그리고 목적 함수의 이전의 3개의 평가를 조건으로 하여 예측 공분산(이러한 1차원 예에서의 분산)을 계산함으로써 추정치(205)와 관련된 불확실성의 척도를 계산하는 데 사용된 가우시안 프로세스를 포함한다. 불확실성의 척도는 도 2a에서 곡선들(207, 209) 사이에 도시된 음영 영역에 의해 도시된다. 도 2a로부터 알 수 있듯이, 확률 모델은 목적 함수가 평가되지 않은 영역들에서 목적 함수에 대해 더 불확실하며, 목적 함수가 평가된 영역들 주위에서 덜 불확실하다(예로서, 불확실성의 영역은 평가들(202, 204, 206)에 더 가까운 곳에서 축소된다). 즉, 목적 함수의 추정치와 관련된 불확실성은 목적 함수가 평가되지 않은 영역들에서 더 크다(예를 들어, 가우시안 프로세스의 예측 분산은 목적 함수가 평가되지 않은 영역들에서 더 크며; 예측 분산은 목적 함수가 평가된 포인트들에서 0인데, 그 이유는 그러한 포인트들에서의 목적 함수의 값이 정확히 알려지기 때문이다).

도 2b는 확률 모델이 각각의 목적 함수 값(208)을 획득하기 위한 새로운 포인트에서의 목적 함수(200)의 추가적인 평가에 기초하여 갱신된 후의 목적 함수(200)의 확률 모델을 나타낸다. 갱신된 확률 모델은 목적 함수의 이전의 4개의 평가를 조건으로 하여 가우시안 분포의 예측 평균을 계산함으로써 목적 함수(200)의 갱신된 추정치(210)를 그리고 목적 함수의 이전의 4개의 평가에 기초하여 예측 공분산을 계산함으로써 추정치(210)와 관련된 불확실성의 척도를 계산하는 데 사용될 수 있다. 불확실성의 척도는 도 2b에서 곡선들(211, 213) 사이에 도시된 음영 영역에 의해 도시된다. 도 2b로부터 알 수 있듯이, 확률 모델에 대한 변화들은 새로운 평가의 영역 주위에서 가장 심하고, 추정치(210)는 (도 2a에 도시된 추정치(205)와 달리) 값(208)을 통해 전달되며, 값(208)의 영역 내의 추정치와 관련된 불확실성이 축소된다. 따라서, 확률 모델은 목적 함수의 추가적인 평가 전에 했던 것보다 평가 값(208)에 걸치는 영역에서 더 높은 충실도를 갖는 목적 함수(200)를 나타낸다.

도 2c는 확률 모델이 각각의 목적 함수 값(214)을 획득하기 위한 새로운 포인트에서의 목적 함수(200)의 추가적인 평가에 기초하여 갱신된 후의 목적 함수(200)의 확률 모델을 나타낸다. 갱신된 확률 모델은 목적 함수의 이전의 5개의 평가를 조건으로 하여 가우시안 분포의 예측 평균을 계산함으로써 목적 함수(200)의 갱신된 추정치(215)를 그리고 목적 함수의 이전의 5개의 평가에 기초하여 예측 공분산을 계산함으로써 추정치(215)와 관련된 불확실성의 척도를 계산하는 데 사용될 수 있다. 불확실성의 척도는 도 2c에서 곡선들(216, 217) 사이에 도시된 음영 영역에 의해 도시된다. 도 2c로부터 알 수 있듯이, 확률 모델에 대한 변화들은 새로운 평가의 영역 주위에서 가장 심하고, 추정치(215)는 (도 2a 및 2b에 각각 도시된 추정치들(205, 210)과 달리) 값(214)을 통해 전달되며, 값(214)의 영역 내의 추정치와 관련된 불확실성이 축소된다. 따라서, 확률 모델은 목적 함수의 추가적인 평가 전에 했던 것보다 평가 값(214)에 걸치는 영역에서 더 높은 충실도를 갖는 목적 함수(200)를 나타낸다.

도 2d는 확률 모델이 목적 함수(200)의 다수의 추가적인 평가에 기초하여 갱신된 후의 목적 함수(200)의 확률 모델을 나타낸다. 갱신된 확률 모델은 목적 함수의 모든 이전의 평가들에 기초하여 목적 함수(200)의 갱신된 추정치(220) 및 관련된 불확실성의 척도를 계산하는 데 사용될 수 있다. 불확실성의 척도는 도 2d에서 곡선들(220, 221) 사이에 도시된 음영 영역에 의해 도시된다. 도 2d로부터 알 수 있듯이, 확률 모델은 추가적인 평가들 동안 획득된 목적 함수에 대한 결합 정보의 결과로서 더 높은 충실도를 갖는 목적 함수(200)를 나타낸다.

전체 목적 함수가 실제로 알려지지 않을 수 있고; 포인트별 평가들이 이용될 수 있으므로, 도 2a-2d에 도시된 예들은 한정이 아니라 예시적일 뿐이라는 것을 알아야 한다. 여기서는 목적 함수의 추가적인 평가들이 어떻게 목적 함수의 확률 모델을 갱신하는 데 사용될 수 있는지를 설명하는 것을 돕기 위해 전체 목적 함수(200)가 도시된다. 예시적인 목적 함수(200)가 도 2a-2d의 예들에서는 일차원이지만, 이것은 본 명세서에서 설명되는 기술의 한계가 아니라는 것도 알아야 한다. 목적 함수는 임의의 적절한 차원 d의 도메인 상에서 정의될 수 있다(예로서, d는 적어도 2이고, d는 적어도 3이고, d는 적어도 5이고, d는 적어도 10이고, d는 적어도 25이고, d는 적어도 50이고, d는 적어도 100이고, d는 적어도 500이고, d는 적어도 1000이고, d는 10-100 사이이고, d는 25와 500 사이이고, d는 500과 5000 사이이고, 기타 등등이다). 예를 들어, 기계 학습 시스템의 하이퍼-파라미터 값들과 하이퍼-파라미터 값들을 이용하여 구성된 기계 학습 시스템의 성능을 지시하는 값들 간의 관계를 나타내는 목적 함수는 기계 학습 시스템을 구성하는 데 사용되는 하이퍼-파라미터들의 수와 동일한 차원수를 갖는 도메인 상에서 정의될 수 있다.

전술한 바와 같이, 목적 함수의 확률 모델은 목적 함수의 하나 이상의 평가에 기초하여 갱신될 수 있다. 목적 함수는 임의의 포인트(들)에서의 목적 함수의 평가에 기초하여 갱신될 수 있지만, 일부 포인트들에서의 목적 함수의 평가는 다른 포인트들에서보다 목적 함수 및/또는 목적 함수의 극치 포인트들에 대한 더 많은 정보를 제공할 수 있다. 일례로서, 목적 함수는 충분히 조사되지 않은 목적 함수의 영역들에 대한 정보를 제공하는 하나 이상의 포인트(예로서, 목적 함수가 평가된 포인트들로부터 멀리 떨어진 포인트들, 목적 함수의 확률 모델이 목적 함수에 대해 가장 불확실한 포인트들 등)에서 평가될 수 있다. 다른 예로서, 목적 함수는 극치 포인트(예로서, 국소 최소, 국소 최대, 전역 최소, 전역 최대 등)를 포함하는 것으로 생각되는 목적 함수의 영역들에 대한 정보를 제공하는 하나 이상의 포인트에서 평가될 수 있으며, 이러한 정보는 기본적인 최적화를 해결하는 데 유용할 수 있다.

하나의 비한정적인 예로서, (기계 학습 시스템의 하이퍼-파라미터들의 일부 값들에 대해) 일부 포인트들에서의 하이퍼-파라미터들을 이용하여 구성될 때 기계 학습 시스템(예로서, 객체 인식을 수행하기 위한 하나 이상의 신경망을 포함하는 기계 학습 시스템)의 하이퍼-파라미터들을 기계 학습 시스템의 성능과 관련시키는 목적 함수의 평가는 다른 포인트들에서보다 목적 함수 및/또는 목적 함수의 극치 포인트들에 대한 더 많은 정보를 제공할 수 있다. 일부 하이퍼-파라미터 값들에 대한 기계 학습 시스템의 성능의 평가는 충분히 조사되지 않은 목적 함수의 영역들에 대한 정보를 제공할 수 있다. 예를 들어, 기계 학습 시스템의 성능이 평가된 하이퍼-파라미터 값들로부터, 적절한 거리 측정 기준에 따라, 멀리 떨어진 하이퍼-파라미터 값들에서의 기계 학습 시스템의 성능의 평가(목적 함수의 평가)는 (예로서, 하이퍼-파라미터 값들의 공간의 전역 조사와 유사하게) 이전에 조사되지 않은 목적 함수의 영역들에 대한 정보를 제공할 수 있다. 다른 예로서, 기계 학습 시스템이 하이퍼-파라미터 값들의 주어진 세트에 대해 얼마나 양호하게 동작할지에 대한 확률 모델의 믿음과 관련된 불확실성(예로서, 적어도 임계량의 불확실성)이 존재하도록 목적 함수의 확률 모델에 의해 제공된 성능의 추정치가 높은 분산과 관련되는 하이퍼-파라미터 값들에 대한 기계 학습 시스템의 성능을 평가한다. 다른 예로서, 기계 학습 시스템의 성능이 양호(예로서, 이전에 관찰된 임의의 하이퍼-파라미터 값에 대한 최상의 성능)할 것으로 믿어지는 하이퍼-파라미터 값들에 가까운 하이퍼-파라미터 값들에 대한 기계 학습 시스템의 성능의 평가는 (예로서, 하이퍼-파라미터 값들의 공간의 국소 조사와 유사하게) 기계 학습 시스템의 성능이 훨씬 더 양호한 하이퍼-파라미터 값들의 발견을 유도할 수 있다.

따라서, 일부 실시예들에서, 하나 이상의 이전에 완료된 목적 함수의 평가에 기초하여 목적 함수의 확률 모델이 추정되는 경우, 목적 함수를 평가할 다음 포인트(들)에 대한 정보 기반 결정이 행해질 수 있다. 그러한 결정은 전역 조사(예로서, 평가가 거의 존재하지 않고/않거나 확률 모델에 의해 제공되는 목적 함수 추정치들과 관련된 불확실성이 높을 수 있는 목적 함수의 영역들의 조사)와 국소 조사(예로서, 하나 이상의 국소/전역 최대 및/또는 최소에 가까운 목적 함수의 영역들의 조사)의 목표들을 균형화할 수 있다.

일부 실시예들에서, 목적 함수를 평가할 다음 포인트(들)는 목적 함수가 평가될 하나 이상의 포인트 각각을 그 포인트에서의 목적 함수의 평가의 효용을 나타내는 값과 관련시키는 획득 효용 함수를 이용하여 선택될 수 있다. 예를 들어, 목적 함수가 기계 학습 시스템의 하이퍼-파라미터들의 값들을 그의 성능과 관련시킬 때, 획득 효용 함수는 하이퍼-파라미터 값들의 각각의 세트를 그러한 하이퍼-파라미터 값들의 세트에 대한 기계 학습 시스템의 성능의 평가의 효용을 나타내는 값과 관련시킬 수 있다.

획득 효용 함수는 평가될 다음 포인트를 선택하기 위해 임의의 적절한 방식으로 사용될 수 있다. 일부 실시예들에서, 목적 함수를 평가할 다음 포인트는 획득 효용 함수를 최대화하는(또는 그러한 효용 함수가 어떻게 정의되는지에 따라서는 획득 효용 함수를 최소화하는) 포인트로서 선택될 수 있다. 임의의 적절한 획득 효용 함수가 사용될 수 있으며, (전술한 조사의 국소 및 전역 타입들을 적절히 균형화하는 효용의 척도들을 포함하는) 임의의 다양한 타입의 효용 척도를 나타낼 수 있다.

일부 실시예들에서, 획득 효용 함수는 목적 함수의 확률 모델에 의존할 수 있다. 획득 효용 함수는 확률 모델에 의해 획득된 목적 함수에 대한 현재 정보에 기초하여 지정될 수 있다. 예를 들어, 획득 효용 함수는 확률 모델로부터 획득될 수 있는 목적 함수의 추정치(예로서, 예측 평균), 추정치와 관련된 불확실성의 척도(예로서, 예측 공분산) 및/또는 확률 모델로부터 획득된 임의의 다른 적절한 정보에 적어도 부분적으로 기초하여 지정될 수 있다.

도 2a-2d는 획득 효용 함수를 이용하여 목적 함수의 확률 모델에 적어도 부분적으로 기초하여 목적 함수를 평가할 포인트들을 선택하는 것을 나타낸다. 획득 효용 함수는 2개의 목표: 전역 조사(이것에 의해, 평가를 위한 포인트들은 목적 함수의 확률 모델의 불확실성을 줄이도록 선택됨) 및 국소 조사(이것에 의해, 평가를 위한 포인트들은 목적 함수의 적어도 하나의 극치 포인트를 포함할 것으로 생각되는 목적 함수의 영역들을 조사하도록 선택됨)를 균형화함으로써 평가할 포인트들을 선택한다. 예를 들어, 도 2a에 도시된 바와 같이, 목적 함수(200)의 확률 모델은 목적 함수의 추정치(205) 및 곡선들(207, 209) 사이에 음영 영역으로 표시된 관련 불확실성 척도를 계산하는 데 사용될 수 있다. 추정치(205) 및 관련 불확실성 척도에 기초하여 계산된 획득 효용 함수(231)의 값들은 도 2a의 하부에 도시된다. 도시된 바와 같이, 획득 효용 함수(231)는 추정치(205)와 관련된 불확실성이 더 큰 (예로서, 값들(202, 204) 사이 및 값들(204, 206) 사이의) 영역들에서 더 큰 값들 그리고 추정치(205)와 관련된 불확실성이 더 작은 (예로서, 값들(202, 204, 206) 주위의) 영역들에서 더 작은 값을 갖는다. 목적 함수를 평가할 다음 포인트는 획득 효용 함수(231)가 그의 최대값(즉, 값(230))을 갖는 포인트로서 선택되며, 목적 함수의 확률 모델은 선택된 포인트에서의 목적 함수의 평가에 기초하여 갱신된다.

획득 효용 함수는 확률 모델에 의존하므로, 목적 함수(200)의 확률 모델이 갱신된 후에 획득 효용 함수도 갱신된다. 갱신되는 획득 효용 함수(233)는 추정치(210) 및 관련 불확실성 척도에 기초하여 계산되며, 도 2b의 하부에 도시된다. 알 수 있듯이, 획득 효용 함수(233)는 추정치(210)와 관련된 불확실성이 더 큰 (예로서, 값들(204, 206) 사이의) 영역들에서 더 큰 값들을 그리고 추정치(205)와 관련된 불확실성이 더 작은 (예로서, 값들(202, 204, 206, 208) 주위의) 영역들에서 더 작은 값들을 갖는다. 목적 함수를 평가할 다음 포인트는 획득 효용 함수(233)가 그의 최대 값(즉, 값(232))을 갖는 포인트로서 선택되며, 목적 함수의 확률 모델은 선택된 포인트에서의 목적 함수의 평가에 기초하여 갱신된다.

도 2c는 갱신된 획득 효용 함수(235)를 나타내며, 이는 추정치(215) 및 그와 관련된 불확실성 척도에 기초하여 계산된다. 도 2a 및 2b에 도시된 예들과 유사하게, 획득 효용 함수(235)는 추정치(215)와 관련된 불확실성이 더 큰 영역들에서 더 큰 값들을 갖는다. 목적 함수를 평가할 다음 포인트는 획득 효용 함수(235)가 그의 최대값(즉, 값(234))을 갖는 포인트로서 선택된다.

도 2d는 갱신된 획득 효용 함수(237)를 나타내며, 이는 추정치(220) 및 그와 관련된 불확실성 척도에 기초하여 계산된다. 이 예에서, 획득 효용 함수(237)는 추정치(220)와 관련된 불확실성이 가장 큰 영역들에서 더 큰 값들을 갖지 않는다. 오히려, 함수(237)는 목적 함수의 확률 모델이 목적 함수가 국소 및/또는 전역 최소(값(225))를 가질 가능성이 높다는 것을 지시하는 포인트 근처에서 더 큰 값들을 갖는다. 추정치(220)와 관련된 불확실성의 영역들이 존재하지만, 그 어느 것도 목적 함수의 값이 값(225)보다 작은 포인트들을 획득할 만큼 충분히 크지는 않다. 이 예에서의 목표는 목적 함수의 최소값을 식별하는 것이므로, 추정치(220)와 관련된 불확실성의 영역들의 조사에 있어서 추가적인 값은 거의 존재하지 않는데, 이는 그러한 영역들에서는 목적 함수가 값(225)보다 작은 값들을 갖는 포인트들을 발견할 가능성이 매우 낮기 때문이다. 오히려, 획득 효용 함수는 목적 함수가 가장 작은 값들을 취할 가능성이 있는 포인트 주위에서 목적 함수를 평가하는 것이 더 유용할 것이라는 것을 지시하며, 따라서 목적 함수가 값(225)보다 훨씬 낮은 값을 갖는 포인트가 식별될 수 있다.

일부 실시예들에서, 획득 효용 함수는 목적 함수를 모델링하는 데 사용되는 (θ로 표시되는) 확률 모델의 하나 이상의 파라미터, ({x _n, 1 ≤ n ≤ N}으로 표시되는) 목적 함수가 평가된 이전 포인트들, 및 ({y_n, 1 ≤ n ≤ N}으로 표시되는) 그러한 평가들의 결과들에 의존할 수 있다. 그러한 획득 함수 및 그의 의존성은 a(x; {x _n, yn}; θ)로 표시될 수 있다. 확률 모델의 하나 이상의 파라미터에 의존하는 획득 효용 함수의 하나의 비한정적인 예는 개선 확률 획득 효용 함수이다. 개선 확률 획득 효용 함수는 목적 함수의 평가가 목적 함수의 최상의 현재 값보다 개선을 제공할 확률을 최대화하도록 목적 함수를 평가할 다음 포인트를 선택하려고 시도한다(예를 들어, 기계 학습 시스템의 성능을 평가할 하이퍼-파라미터 값들의 다음 세트를 선택하여, 그러한 하이퍼-파라미터 값들을 이용하는 기계 학습 시스템의 성능의 평가가 임의의 이전에 시도된 하이퍼-파라미터 값들에 대한 것보다 기계 학습 시스템의 더 양호한 성능을 유도할 확률을 최대화하려고 시도한다). 목적 함수의 확률 모델이 가우시안 프로세스를 포함할 때, 개선 확률 효용 함수(

)는 다음과 같이 표현될 수 있다.

여기서,

는 표준 정규 무작위 변수의 누적 분포 함수이고,

및

는 각각 가우시안 프로세스의 예측 평균 및 예측 분산을 나타낸다.

확률 모델의 하나 이상의 파라미터에 의존하는 획득 효용 함수의 다른 비한정적인 예는 예상 개선 획득 효용 함수이다. 예상 개선 획득 효용 함수는 목적 함수의 최상의 현재 값보다 예상 개선을 최대화하도록 목적 함수를 평가할 다음 포인트를 선택하려고 시도한다. 목적 함수의 확률 모델이 가우시안 프로세스를 포함할 때, 예상 개선 획득 효용 함수(

)는 다음과 같이 표현될 수 있다.

여기서, N()은 표준 정규 무작위 변수의 확률 밀도 함수이다.

확률 모델의 하나 이상의 파라미터에 의존하는 획득 효용 함수의 또 다른 비한정적인 예는 (때때로 "신뢰 하한(lower confidence bound)" 획득 함수로 지칭되는) 후회 최소화 획득 함수이다. 목적 함수의 확률 모델이 가우시안 프로세스를 포함할 때, 후회 최소화 획득 함수는 다음과 같이 표현될 수 있다.

여기서,

는 국소 및 전역 조사의 균형화를 위한 조정 가능 파라미터이다.

획득 효용 함수의 또 다른 비한정적인 예는 엔트로피 검색 획득 효용 함수이다. 엔트로피 검색 획득 효용 함수는 목적 함수의 최소치의 위치에 관한(또는 등가적으로, 목적 함수의 최대치와 음의 최대치의 곱의 위치에 관한) 불확실성을 줄이도록 목적 함수를 평가할 다음 포인트를 선택하려도 시도한다. 이를 위해, 목적 함수를 평가할 다음 포인트는 목적 함수의 최소치보다 확률 분포의 엔트로피를 감소시킬 포인트들을 반복 평가함으로써 선택된다. 엔트로피 검색 획득 효용 함수는 다음과 같이 표현될 수 있다. C개의 포인트의 세트(

)가 주어지면, 최소 목적 함수 값을 갖는 포인트(

)의 확률은 다음 식에 따라 표현될 수 있다.

여기서, f는 포인트들(

)에서의 목적 함수 값들의 벡터이고, h()는 헤비사이드(Heaviside) 스텝 함수이고,

은 목적 함수의 과거 평가들이 주어지는 경우에 벡터 f 내의 값들의 사후 확률이고,

는 목적 함수가 목적 함수의 확률 모델에 따라 값 y를 가질 가능성이다. 그러면, 엔트로피 검색 획득 함수(

)는 다음과 같이 표현될 수 있다.

여기서,

은 공상적인 관찰 {x, y}가 관찰들의 세트에 추가된 것을 나타내고,

는

을 나타내고, H(P)는 P의 엔트로피를 나타내고, P_min은

을 나타낸다.

획득 효용 함수의 전술한 예들 각각은 확률 모델의 파라미터들(θ)에 의존한다. 전술한 바와 같이, 본 발명자들은 확률 모델의 파라미터들에 기초하는 획득 효용 함수를 이용하여 (예로서, 기계 학습 시스템에 대한 하이퍼-파라미터 값들을 식별하기 위해) 베이지안 최적화를 수행하는 것은 열악한 전체 성능을 유발할 수 있다는 것을 인식하였다. 예를 들어, (예를 들어, 예를 들어 d개의 하이퍼-파라미터 값으로부터의 각각의 기계 학습 시스템 성능으로의 d차원 목적 함수를 모델링하는 데 사용되는) d차원 가우시안 프로세스를 포함하는 확률 모델이 d개의 길이 스케일, 공분산 진폭, 관찰 잡음 분산 및 일정한 평균을 포함하는 d+3개의 파라미터와 관련될 수 있다. 실제로, 확률 모델 파라미터들(θ)의 값들은 다양한 절차들을 이용하여 설정되지만, 전체 최적화의 성능은 파라미터들의 설정 방식에 민감하다.

따라서, 일부 실시예들에서는, 목적 함수의 확률 모델의 파라미터들에 덜 민감할 수 있는 통합 획득 효용 함수가 사용된다.

일부 실시예들에서, 통합 획득 효용 함수는 확률 모델의 파라미터들에 의존하는 초기 획득 효용 함수를 선택하고(예로서, 임의의 전술한 효용 함수가 초기 획득 효용 함수로서 사용될 수 있음), 초기 획득 효용 함수에 대한 하나 이상의 파라미터의 효과를 적분(무시)하여 통합 획득 효용 함수를 계산함으로써 획득될 수 있다. 예를 들어, 통합 획득 효용 함수는 초기 획득 효용 함수의 인스턴스들의 가중 평균(예로서, 가중 적분)으로서 계산될 수 있으며, 초기 획득 효용 함수의 각각의 인스턴스는 확률 모델의 특정 파라미터 값들에 대응하고, 각각의 가중치는 이전에 획득된 목적 함수 평가들이 주어질 경우에 특정 파라미터 값들의 가능성에 대응한다.

예를 들어, 통합 획득 효용 함수

는 확률 모델 파라미터들(θ)에 의존하는 초기 획득 효용 함수

를 선택하고, 아래 식에 따른 θ의 사후 확률에 비례하여 파라미터들(θ)을 통합(무시)하여

을 계산함으로써 계산될 수 있다.

여기서, 가중치

은 포인트들

에서의 N개의 평가 및 그러한 평가들의 결과들

이 주어지는 경우에 확률 모델에 따른 파라미터들(θ)의 사후 확률을 나타낸다.

통합 획득 효용 함수의 계산은 도 3a 및 3b에 더 도시된다. 도 3a는 기본 확률 모델에 대한 파라미터 값들의 3개의 상이한 세트에 대해 계산된 초기 획득 효용 함수의 3개의 인스턴스를 나타낸다. 각각의 인스턴스는 목적 함수의 평가들의 동일 세트에 기초하여 계산되었다. 도 3b는 도 3a에 도시된 초기 획득 효용 함수의 3개의 인스턴스의 가중 평균에 의해 획득된 통합 획득 효용 함수를 나타낸다. 평균적으로, 초기 획득 함수의 특정 인스턴스에 대응하는 가중치는 초기 획득 함수의 특정 인스턴스를 생성하는 데 사용되는 확률 모델 파라미터 값들의 가능성에 대응한다.

위의 설명으로부터 알 수 있듯이, 통합 획득 효용 함수는 (목적 함수의 이전 평가들에 여전히 의존하지만) 확률 모델 파라미터들(θ)의 값들에 의존하지 않는다. 결과적으로, 통합 획득 효용 함수는 확률 모델의 파라미터들의 값들에 민감하지 않으며, 본 발명자들은 이를 인식하여, 통상적인 베이지안 최적화 기술들의 강건성 및 성능을 개선하였다.

일부 실시예들에서, 통합 획득 효용 함수는 폐쇄 형태로 계산될 수 있다. 그러나, 통합 획득 효용 함수가 폐쇄 형태로 획득되지 못할 수 있는 실시예들에서, 통합 획득 효용 함수는 계산 기술들을 이용하여 추정될 수 있다. 예를 들어, 일부 실시예들에서, 몬테카를로 시뮬레이션 기법들을 이용하여 통합 획득 효용 함수를 근사화하고/하거나 통합 획득 효용 함수가 그의 최대치에 도달하는 포인트(또는 포인트의 근사치)를 발견할 수 있다. 거절 샘플링 기술, 적응성 거절 샘플링 기술, 중요도 샘플링 기술, 적응성 중요도 샘플링 기술, 마르코프 체인 몬테카를로 기법(예로서, 슬라이스 샘플링, 깁스 샘플링, 메트로폴리스 샘플링, 메트로폴리스-위딘-깁스(Metropolis-within-Gibbs) 샘플링, 정밀 샘플링, 시뮬레이션 템퍼링, 병렬 템퍼링, 어닐링 샘플링, 팝퓰레이션 몬테카를로 샘플링 등) 및 순차적 몬테카를로 기법(예로서, 파티클 필터)을 포함하지만 이에 한정되지 않는 임의의 적절한 몬테카를로 시뮬레이션 기법들이 이용될 수 있다.

도 4는 본 명세서에서 설명되는 기술의 일부 실시예들에 따른, 적어도 부분적으로는 통합 획득 효용 함수 및 목적 함수의 확률 모델을 이용함으로써 목적 함수를 이용하여 최적화를 수행하기 위한 예시적인 프로세스(400)의 흐름도이다. 즉, 프로세스(400)는 본 명세서에서 설명되는 기술들을 이용하여 목적 함수의 극치 포인트(예로서, 국소 최소, 국소 최대, 전역 최소, 전역 최대 등)를 식별하는 데 사용될 수 있다. 프로세스(400)는 하나 또는 다수의 컴퓨터 하드웨어 프로세서를 포함하는 임의의 적절한 컴퓨팅 장치(들)를 이용하여 수행될 수 있는데, 이는 본 명세서에서 설명되는 기술의 양태들이 이와 관련하여 한정되지 않기 때문이다.

일부 실시예들에서, 프로세스(400)는 기계 학습 시스템의 하이퍼-파라미터들의 값들을 기계 학습 시스템의 성능의 척도를 제공하는 각각의 값과 관련시키는 목적 함수의 하나 이상의 극치 포인트를 식별하는 것(예로서, 그들의 위치를 찾거나 그들의 위치들을 근사화하는 것)에 적용될 수 있다. 프로세스(400)는 본 명세서에서 설명되는 임의의 기계 학습 시스템 및/또는 임의의 다른 적절한 기계 학습 시스템들의 하이퍼-파라미터들의 값들을 설정하는 데 사용될 수 있다. 추가로 또는 대안으로서, 프로세스(400)는 그 예들이 제공된 임의의 다른 적절한 최적화 문제에서 발생하는 목적 함수의 하나 이상의 극치 포인트를 식별하는 것(예로서, 그들의 위치를 찾거나 그들의 위치들을 근사화하는 것)에 적용될 수 있다.

프로세스(400)는 단계 402에서 시작되며, 여기서 목적 함수의 확률 모델이 초기화된다. 일부 실시예들에서, 목적 함수의 확률 모델은 가우시안 프로세스를 포함할 수 있다. 일부 실시예들에서, 목적 함수의 확률 모델은 신경망을 포함할 수 있다. 일부 실시예들에서, 목적 함수의 확률 모델은 적응성 기초 함수 회귀 모델(선형 또는 비선형)을 포함할 수 있다. 그러나, 임의의 다른 적절한 타입의 목적 함수의 확률 모델이 사용될 수 있다는 것을 알아야 하는데, 이는 본 명세서에서 설명되는 기술의 양태들이 임의의 특정 타입의 목적 함수의 확률 모델로 한정되지 않기 때문이다.

목적 함수의 확률 모델은 확률 모델의 파라미터들 중 하나 이상의(또는 모든) 파라미터에 대한 값들을 설정함으로써 초기화될 수 있다. 파라미터(들)는 일부 예들에서는 존재할 경우에 목적 함수에 대해 이용 가능한 임의의 이전 정보에 기초할 수 있는 임의의 적절한 값들로 설정될 수 있다. 파라미터 값들은 메모리 내에 또는 임의의 다른 적절한 타입의 비일시적 컴퓨터 판독 가능 매체 상에 저장될 수 있다. 일부 실시예들에서, 파라미터들의 초기 값들은 목적 함수와 소정 방식으로 관련된 다른 목적 함수의 이전에 획득된 평가들로부터 얻어진 정보에 적어도 부분적으로 기초하여 초기화될 수 있다. 이것은 다중 작업 최적화 기술들과 관련하여 아래에서 더 상세히 설명된다.

이어서, 프로세스(400)는 단계 404로 진행하며, 여기서 목적 함수를 평가할 포인트가 식별된다. 예를 들어, 목적 함수가 기계 학습 시스템의 하이퍼-파라미터들의 값들을 그의 성능과 관련시킬 때, 기계 학습 시스템의 성능을 평가할 하이퍼-파라미터 값들의 세트가 단계 404에서 식별될 수 있다. 식별은 적어도 부분적으로는 획득 효용 함수 및 목적 함수의 확률 모델을 이용하여 수행될 수 있다. 일부 실시예들에서, 확률 모델의 파라미터들에 의존하는 획득 효용 함수, 예를 들어 개선 확률 획득 효용 함수, 예상 개선 획득 효용 함수, 후회 최소화 획득 효용 함수 및 엔트로피 기반 획득 효용 함수가 단계 404에서 사용될 수 있다. 그러나, 다른 실시예들에서는, 통합 획득 효용 함수가 단계 404에서 사용될 수 있다.

전술한 바와 같이, 통합 효용 함수는 확률 모델의 하나 이상의 파라미터에 의존하는 초기 획득 효용 함수(예로서, 개선 확률 효용 함수, 예상 개선 효용 함수, 후회 최소화 효용 함수 및 엔트로피 기반 효용 함수 등)를 선택하고, (예로서, 위의 식 10에서 지시되는 바와 같이) 하나 이상의 확률 모델 파라미터와 관련하여 초기 획득 함수를 적분하여 통합 효용 함수를 계산함으로써 획득될 수 있다.

일부 실시예들에서, 목적 함수를 평가할 포인트는 획득 효용 함수가 그의 최대값에 도달하는 포인트(또는 포인트에 대한 근사치)로서 식별될 수 있다. 일부 실시예들에서, 획득 함수가 그의 최대치에 도달하는 포인트는 (예로서, 획득 효용 함수가 폐쇄 형태로 이용 가능할 때) 정확하게 식별될 수 있다. 그러나, 일부 실시예들에서, 획득 효용 함수가 그의 최대값에 도달하는 포인트는 (예를 들어, 획득 효용 함수가 폐쇄 형태로 이용 가능하지 않으므로) 정확하게 식별되지 못할 수 있으며, 이 경우에 획득 효용 함수가 그의 최대값에 도달하는 포인트는 계산 기술들을 이용하여 식별되거나 근사화될 수 있다. 예를 들어, 일부 실시예들에서, 통합 획득 효용 함수는 폐쇄 형태로 이용 가능하지 않을 수 있으며, 통합 획득 효용 함수가 그의 최대값에 도달하는 포인트를 식별 또는 근사화하기 위해 몬테카를로 기법들이 이용될 수 있다.

일부 실시예들에서는, 마르코프 체인 몬테카를로 방법들을 이용하여, 통합 획득 효용 함수가 그의 최대값에 도달하는 포인트를 식별 또는 근사화할 수 있다. 예를 들어, 통합 획득 효용 함수는 위의 식 10에서의 적분에 따라 정의될 수 있으며, 이러한 적분은 마르코프 체인 몬테카를로 기법들(및/또는 임의의 다른 적절한 몬테카를로 절차)를 이용하여 근사화될 수 있다. 일부 실시예들에서, 적분은 확률 모델 파라미터 값들의 샘플들을 (목적 함수의 임의의 이전에 획득된 평가들이 주어지는 경우에 그들의 사후 확률에 비례하여) 생성하고, 생성된 샘플들에서 초기 획득 효용 함수를 평가하고, 결과적인 평가들을 이용하여 통합 획득 효용 함수를 근사화하고/하거나 통합 획득 효용 함수가 그의 최대값에 도달하는 포인트를 식별 또는 근사화함으로써 근사화될 수 있다. 통합 획득 효용 함수의 최대값을 식별 또는 근사화하는 방법에 대한 추가 상세들이 아래에서 제공된다.

목적 함수를 평가할 포인트는 획득 효용 함수가 그의 최대치에 도달하는 포인트(또는 포인트에 대한 근사치)인 것으로 제한되지 않으며, 획득 효용 함수를 이용하여 획득되는 임의의 다른 적절한 포인트(예로서, 획득 효용 함수의 국소 최대, 획득 효용 함수의 국소 또는 전역 최소 등)일 수 있다는 것을 알아야 한다.

목적 함수를 평가할 포인트가 단계 404에서 식별된 후, 프로세스(400)는 단계 406으로 진행하며, 여기서 목적 함수는 식별된 포인트에서 평가된다. 예를 들어, 목적 함수가 기계 학습 시스템의 하이퍼-파라미터 값들을 그의 성능과 관련시킬 때, 단계 404에서 식별된 하이퍼-파라미터들을 이용하여 구성되는 기계 학습 시스템의 성능이 단계 406에서 평가될 수 있다.

단계 406에서 목적 함수가 단계 408에서 식별된 포인트에서 평가된 후, 프로세스(400)는 단계 408로 진행하며, 여기서 목적 함수의 확률 모델이 평가의 결과들에 기초하여 갱신된다. 목적 함수의 확률 모델은 단계 406에서 획득된 새로운 평가의 결과들에 기초하여 임의의 다양한 방식으로 갱신될 수 있다. 하나의 비한정적인 예로서, 목적 함수의 확률 모델의 갱신은 단계 406에서 수행된 평가의 결과들에 기초하여 확률 모델의 하나 이상의 파라미터를 갱신(예로서, 재추정)하는 것을 포함할 수 있다. 다른 비한정적인 예로서, 목적 함수의 확률 모델의 갱신은 확률 모델의 공분산 커널을 갱신하는 것을 포함할 수 있다(예로서, 확률 모델이 가우시안 프로세스를 포함할 때, 가우시안 프로세스의 공분산 커널이 새로운 평가의 결과들에 기초하여 갱신될 수 있다. 또 다른 비한정적인 예로서, 목적 함수의 확률 모델의 갱신은 확률 모델을 이용하여 목적 함수의 갱신된 추정치를 계산하는 것(예로서, 목적 함수의 임의의 이전에 획득된 평가들 및 단계 406에서의 목적 함수의 평가의 결과들에 기초하여 확률 모델의 예측 평균을 계산하는 것)을 포함할 수 있다. 또 다른 비한정적인 예로서, 목적 함수의 확률 모델의 갱신은 목적 함수의 갱신된 추정치와 관련된 불확실성의 갱신된 척도를 계산하는 것(예로서, 목적 함수의 임의의 이전에 획득된 평가들 및 단계 406에서의 목적 함수의 평가의 결과들에 기초하여 확률 모델의 예측 공분산을 계산하는 것)을 포함할 수 있다. 또 다른 비한정적인 예로서, 확률 모델을 갱신하는 것은 목적 함수의 확률 모델을 이용하여 계산들을 수행할 때(예로서, 목적 함수의 추정치를 계산하고, 확률 모델의 하나 이상의 파라미터를 갱신하고, 기타 등등일 때) 평가의 결과들이 후속 사용될 수 있도록 평가의 결과들을 단순히 저장하는 것을 포함할 수 있다.

목적 함수의 확률 모델이 단계 408에서 갱신된 후, 프로세스(400)는 결정 블록 410으로 진행하며, 여기서 목적 함수가 다른 포인트에서 평가될지를 결정한다. 이러한 결정은 임의의 적절한 방식으로 수행될 수 있다. 하나의 비한정적인 예로서, 프로세스(400)는 목적 함수의 임계 수 이하의 평가를 수행하는 것을 포함할 수 있으며, 그러한 수의 평가가 수행되었을 때, 목적 함수가 (예로서, 그러한 평가 수행의 시간 및/또는 계산 비용으로 인해) 다시 평가되지 않는 것으로 결정될 수 있다. 한편, 임계 수보다 적은 평가가 수행된 때, 목적 함수가 다시 평가되는 것으로 결정될 수 있다. 다른 비한정적인 예로서, 목적 함수를 다시 평가할지에 대한 결정은 목적 함수의 하나 이상의 이전에 획득된 값에 기초할 수 있다. 예를 들어, 최적화가 목적 함수의 극치 포인트(예로서, 최대)를 발견하는 것을 포함하고, 목적 함수의 값들이 이전의 반복들(예로서, 임계 수의 이전에 수행된 평가)을 통해 임계값 이상만큼 증가되지 않은 경우, 목적 함수를 다시 평가하지 않을 것이라는 결정이 행해질 수 있다(예를 들어, 이는 목적 함수의 추가적인 평가들이 목적 함수가 이미 평가된 포인트들에서의 값들보다 큰 값들을 갖는 포인트들을 식별할 가능성이 없기 때문이다). 그러나, 목적 함수를 다시 평가할지에 대한 결정은 임의의 다른 적절한 방식으로 수행될 수 있는데, 이는 본 명세서에서 설명되는 기술의 양태들이 이와 관련하여 한정되지 않기 때문이다).

결정 블록 410에서 목적 함수가 다시 평가되는 것으로 결정될 때, 프로세스(400)는 예 분기를 통해 단계 404로 복귀하며, 단계 404-408이 반복된다. 반면, 결정 블록 408에서 목적 함수가 다시 평가되지 않는 것으로 결정될 때, 프로세스(400)는 단계 412로 진행하며, 여기서 목적 함수의 극값이 프로세스(400) 동안 획득된 목적 함수의 하나 이상의 값에 기초하여 식별될 수 있다.

단계 412에서, 목적 함수의 극값이 목적 함수의 획득된 값(들)에 기초하여 임의의 적절한 방식으로 식별될 수 있다. 하나의 비한정적인 예로서, 극값(예로서, 최대)은 (예로서, 프로세스(400) 동안 획득된 목적 함수의 값들 중 최대치를 취함으로써) 평가 동안 획득된 값들 중 하나로서 선택될 수 있다. 다른 비한정적인 예로서, 극값(예로서, 최대)은 프로세스(400) 동안 획득된 목적 함수의 값들에 맞춰진 함수 형태(예로서, 목적 함수의 커널 밀도 추정치, 확률 모델에 기초하여 획득된 목적 함수의 추정치의 최대 등)를 이용하여 획득될 수 있다. 목적 함수의 극값이 단계 412에서 식별된 후, 프로세스(400)가 종료된다.

전술한 바와 같이, 일부 실시예들에서, 몬테카를로 방법들은 통합 획득 효용 함수가 그의 최대값에 도달하는 포인트를 식별 및/또는 근사화하는 데 사용될 수 있다. 그러한 계산들을 수행할 수 있는 방법의 하나의 비한정적인 예가 아래에서 설명된다.

f(x)를 목적 함수라고 하고, 세트 X를 목적 함수가 계산될 수 있는 포인트들의 세트라고 한다. 목적 함수가 N번 평가된 것으로 가정하면, 우리는 입력으로서

을 가지며, 각각의

은 목적 함수가 평가된 포인트를 나타내고,

은 목적 함수의 대응하는 값(즉

)을 나타낸다. p()를 목적 함수의 확률 모델이라 한다.

통합 획득 효용 함수는 다음 식에 따라 주어질 수 있다.

여기서,

는

및 확률 모델의 파라미터들(θ)이 주어진 경우에 목적 함수의 확률 모델로부터 획득되는 한계 예측 밀도이고,

은

이 주어지는 경우의 확률 모델의 가능성이고,

는 선택 휴리스틱에 대응한다. 예를 들어, 개선 확률 및 예상 개선 휴리스틱들은 각각 다음 식에 따라 표현될 수 있다.

전술한 바와 같이, 일부 예들에서, 식 12의 통합 획득 효용 함수는 폐쇄 형태로 획득되지 못할 수 있다(예로서, 파라미터들(θ)에 대한 적분을 폐쇄 형태로 계산하는 것이 가능하지 않을 수 있다). 따라서, 식 12의 통합 획득 효용 함수는 아래의 계산 절차에 의해 근사화될 수 있다.

먼저,

각각에 대해, 다음 식에 따라 샘플

를 도출한다.

여기서, 베이지안 규칙에 의해,

이다.

반전 샘플링, 중요도 샘플링, 거절 샘플링 및 마르코프 체인 몬테카를로 기법들(이들의 예들이 제공되었다)을 포함하지만 이에 한정되지 않는 임의의 적절한 몬테카를로 기법을 이용하여 식 16에 따라 샘플들을 도출할 수 있다.

식 16에 따라 N개의 샘플

가 주어지면, 통합 획득 효용 함수는 다음 식에 따라 근사화될 수 있다.

식 18을 통해 계산되는 통합 획득 효용 함수의 근사화는 통합 획득 효용 함수가 그의 최대값에 도달하는 포인트(또는 그의 근사치)를 식별하는 데 사용될 수 있다. 목적 함수는 식별된 포인트에서 평가될 수 있다.

전술한 바와 같이, 본 발명자들은 통상적인 베이지안 최적화 기술들이 일부 타입의 목적 함수들을 정확히 모델링하는 데 적합하지 않은 확률 모델들을 이용한다는 것을 인식하였다. 예를 들어, 통상적인 베이지안 최적화 기술들은 목적 함수들을 모델링하기 위해 정지 가우시안 프로세스들을 이용하지만(예를 들어, 2개의 출력 사이의 공분산은 입력 공간에서의 변환들에 대해 불변임), 정지 가우시안 프로세스는 비정지 목적 함수를 모델링하는 데 적합하지 않을 수 있다. 예를 들어, 목적 함수가 기계 학습 시스템의 하이퍼-파라미터 값들을 그의 성능에 관련시킬 때, 단거리 스케일을 갖는 가우시안 프로세스는 목적 함수를 그의 최대값 근처의 포인트들에서 모델링하는 데 더 적합할 수 있으며, 장거리 스케일을 갖는 가우시안 프로세스는 목적 함수를 그의 최대값으로부터 더 멀리 떨어진 포인트들에서 모델링하는 데 더 적합할 수 있다(예를 들어, 이는 기계 학습 시스템이 하이퍼-파라미터들의 모든 "나쁜" 값들에 대해 동일하게 열악하게 동작할 수 있지만, 그의 성능은 "양호한" 하이퍼-파라미터 체제들에서의 작은 변동들에 민감할 수 있기 때문이다). 이와 달리, 정지 가우시안 프로세스 모델은 목적 함수가 정의되는 모든 포인트들에 대해 동일한 길이 스케일을 이용하여 목적 함수를 나타낼 것이다.

따라서, 일부 실시예들은 정지 및 비정지 목적 함수들을 더 정확하게 모델링하는 데 적합한 확률 모델을 이용하여 베이지안 최적화를 수행하는 것과 관련된다. 일부 실시예들에서, 목적 함수의 확률 모델은 목적 함수의 비정지성을 해결하기 위해 목적 함수의 도메인 내의 요소들의 (때때로 "워핑"이라고 하는) 비선형 일대일 맵핑에 적어도 부분적으로 기초하여 지정될 수 있다. 예를 들어, 목적 함수가 기계 학습 시스템의 하이퍼-파라미터 값들을 그의 성능과 관련시키는 실시예들에서, 확률 모델은 목적 함수의 비정지성을 해결하기 위해 하이퍼-파라미터 값들의 비선형 워핑에 적어도 부분적으로 기초하여 지정될 수 있다.

일부 실시예들에서, 목적 함수의 비선형성을 해결하는 목적 함수의 확률 모델은 정지 확률 모델과의 비선형 일대일 맵핑의 합성으로서 지정될 수 있다. 예를 들어, 목적 함수의 비선형성을 해결하는 목적 함수의 확률 모델은 정지 가우시안 프로세스와의 비선형 일대일 맵핑의 합성으로서 지정될 수 있다. 가우시안 프로세스의 공분산 커널은 적어도 부분적으로는 비선형 일대일 맵핑을 이용하여 지정될 수 있다.

목적 함수의 확률 모델이 비선형 일대일 맵핑과 정지 확률 모델의 합성으로서 지정되는 실시예들에서, 합성은 다음과 같이 표현될 수 있다.

를 하나 이상의 파라미터(

)에 의해 파라미터화된 비선형 일대일 맵핑이라 하고, p(z; θ)를 파라미터들(θ)에 의해 파라미터화된 정지 확률 모델(예로서, 정지 가우시안 프로세스)이라 한다(포인트들(x) 및 포인트들(z)은 비선형 일대일 맵핑

의 선택에 따라 동일한 도메인 내에 또는 상이한 도메인들 내에 존재할 수 있다). 그러면, 비선형 일대일 맵핑과 정지 확률 모델의 합성은 p(z = g(x;

); θ) 또는 약하여 p(g(x;

); θ)에 의해 주어지는 확률 모델을 획득하는 데 사용될 수 있다. 비선형 맵핑

를 이용하여 정지 가우시안 프로세스와 같은 정지 확률 모델의 입력(z)을 변환하는 것은 결과적인 확률 모델이 목적 함수에서의 비정지 효과들을 해결하는 것을 가능하게 한다.

일부 실시예들에서, 목적 함수는 제1 도메인으로부터 한 범위로의 요소들의 맵핑일 수 있으며, 비선형 일대일 맵핑

는 제1 도메인 내의 요소들(예로서, X 내의 포인트들 x)의 제2 도메인 내의 요소들(예로서, Z 내의 포인트들

)로의 맵핑일 수 있다. 예를 들어, 목적 함수가 기계 학습 시스템의 하이퍼-파라미터들의 값들을 그의 성능과 관련시킬 때, 제1 도메인은 하이퍼-파라미터들의 값들 또는 하이퍼-파라미터들의 적절히 정규화된 값들(단위 하이퍼-큐브, 단위 볼, 지정된 직경의 하이퍼-큐브, 지정된 직경의 볼 등 내에 존재하도록 정규화된 하이퍼-파라미터들의 값들)을 포함할 수 있고, 범위는 기계 학습 시스템의 성능을 지시하는 값들을 포함할 수 있고, 제2 도메인은 제1 도메인 내의 하이퍼-파라미터 값들에 비선형 일대일 맵핑을 적용함으로써 얻어지는 값들을 포함할 수 있다. 즉, 제2 도메인은 비선형 일대일 맵핑의 범위이다. 제1 도메인은 제2 도메인과 동일한 도메인일 수 있지만(예를 들어, 제1 도메인은 단위 하이퍼큐브일 수 있고, 제2 도메인은 단위 하이퍼큐브일 수 있지만: 위의 표기법을 이용하여 X = Z일 수 있지만), 본 명세서에서 설명되는 기술의 양태들은 이와 관련하여 한정되지 않는데, 이는 제1 및 제2 도메인들이 일부 실시예들에서 상이할 수 있기 때문이다(예로서, 위의 표기법을 이용할 때 X ≠ Z).

일부 실시예들에서, 비선형 일대일 맵핑은 무작위 변수의 누적 분포 함수를 포함할 수 있다. 일부 실시예들에서, 비선형 일대일 맵핑은 베타 무작위 변수의 누적 분포 함수를 포함할 수 있다. 예를 들어, 목적 함수가 정의되는 d차원 공간(예로서, d개의 하이퍼-파라미터를 갖는 기계 학습 시스템의 하이퍼-파라미터 값들의 공간) 내의 포인트들의 비선형 일대일 맵핑은 아래와 같이 좌표별로 지정될 수 있다.

여기서, x_d는 x의 d 번째 좌표에서의 그의 값이고, BetaCDF는 베타 무작위 변수의 누적 분포 함수(CDF)를 나타내고,

는 베타 CDF의 정규화 상수이다. 베타 CDF는 양의 값을 갖는 ("형상") 파라미터들

에 의해 파라미터화된다. 비선형 일대일 맵핑은 베타 무작위 변수의 누적 분포 함수를 포함하는 것으로 한정되지 않으며, 구마라스와미(Kumaraswamy) 무작위 변수, 감마 무작위 변수, 프아송 무작위 변수, 이항 무작위 변수, 가우시안 무작위 변수 또는 임의의 다른 적절한 무작위 변수의 누적 분포 함수를 대신 포함할 수 있다는 것을 알아야 한다. 또한, 비선형 일대일 맵핑은 누적 분포 함수인 것으로 한정되지 않으며, 예를 들어 임의의 적절한 단조 증가 또는 단조 감수 함수, 임의의 적절한 전단사 함수(예를 들어, 정수 d≥1에 대해 d차원 하이퍼큐브를 도메인 및 범위로서 갖는 임의의 적절한 전단사 함수)일 수 있다.

일부 실시예들에서, 비선형 일대일 맵핑은 둘 이상의 비선형 일대일 맵핑의 조합(예로서, 합성 또는 임의의 다른 적절한 타입의 조합)을 포함할 수 있다. 예를 들어, 비선형 일대일 맵핑은 둘 이상의 누적 분포 함수의 조합을 포함할 수 있다. 하나의 비한정적인 예로서, 비선형 일대일 맵핑은 베타 분포의 누적 분포 함수와 구마라스와미 분포의 누적 분포 함수의 조합을 포함할 수 있다.

비선형 일대일 맵핑이 비정지 목적 함수를 워핑하는 방법의 예시적인 비한정적인 예들이 도 5a-5f에 도시된다. 일례로서, 도 5a에 도시된 비정지 일차원 주기 목적 함수가 도 5b에 도시된 비선형 전단사 워핑의 적용에 의해 변환되어, 도 5c에 도시된 정지 주기 목적 함수가 얻어질 수 있다. 다른 예로서, 도 5d에 도시된 비정지 일차원 지수 목적 함수가 도 5e에 도시된 비선형 전단사 워핑의 적용에 의해 변환되어, 도 5f에 도시된 정지 주기 목적 함수가 얻어질 수 있다. 이러한 2개의 예는 한정이 아니라 예시적이며, 본 명세서에서 설명되는 기술들이 적용될 수 있는 목적 함수들은 도 5a-5f에 도시된 2개의 예시적인 일차원 목적 함수는 말할 것도 없고 일차원 목적 함수들로 한정되지 않는다는 것을 알아야 한다.

본 발명자들은 목적 함수의 확률 모델을 지정하는 데 사용될 수 있는 많은 상이한 비선형 워핑이 존재한다는 것을 인식하였다. 목적 함수의 (존재할 경우) 비정지성은 사전에 알려지지 않을 수 있으므로, 확률 모델을 지정하는 데 사용할 적절한 비선형 워핑을 선택하기 위한 기술이 필요하다. 따라서, 일부 실시예들에서, 목적 함수의 하나 이상의 평가에 적어도 부분적으로 기초하여 비선형 워핑이 추정될 수 있으며(예를 들어, 모든 평가들의 결과들이 주어지는 경우에 있어서의 비선형 워핑의 파라미터들의 최대 사후 추정치가 비선형 워핑을 결정하는 데 사용될 수 있으며), 목적 함수의 확률 모델은 비선형 워핑을 이용하여 지정될 수 있다.

일부 실시예들에서, 목적 함수의 확률 모델은 비선형 워핑들의 패밀리의 함수로서 지정될 수 있으며, 워핑들의 패밀리는 하나 또는 다수의 파라미터에 의해 파라미터화되고, 파라미터(들)는 목적 함수의 하나 이상의 평가에 기초하여 추정될 수 있다. 예를 들어, 목적 함수의 확률 모델은 2개의 양의 형상 파라미터(

,

)에 의해 파라미터화되는 베타 무작위 변수의 누적 분포 함수들의 패밀리를 이용하여 지정될 수 있다. 형상 파라미터들(

,

) 각각은 로그-정규 분포에 따라 (예로서, 서로 독립적으로) 분포되는 것으로 사전에(즉, 목적 함수의 임의의 평가들이 수행되기 전에) 가정될 수 있다. 예를 들어, 일부 실시예들에서, (예로서, 목적 함수가 정의되는 공간 내의 포인트들의 d 번째 좌표를 워핑하기 위한) 비선형 워핑의 형상 파라미터들(

,

)은 아래 식에 따라 분포되는 것으로 가정될 수 있다.

따라서, 일부 실시예들에서, 목적 함수의 확률 모델은 비선형 워핑들의 패밀리(예로서, 베타 무작위 변수와 같은 무작위 변수의 누적 분포 함수의 파라미터들 상에 이전의 분포들을 배치함으로써 지정되는 비선형 워핑들의 패밀리)를 이용하여 지정될 수 있다. 그러한 확률 모델은 기계 학습 시스템의 하이퍼-파라미터들의 값들을 기계 학습 시스템의 성능의 척도를 제공하는 각각의 값과 관련시키는 목적 함수 및/또는 그 예들이 제공된 임의의 다른 적절한 최적화 문제에서 발생하는 임의의 목적 함수의 하나 이상의 극치 포인트를 식별하는 데(예로서 그들의 위치들을 찾거나 근사화하는 데) 사용될 수 있다. 이것은 임의의 적절한 방식으로 수행될 수 있으며, 일부 실시예들에서 비선형 워핑들의 패밀리의 파라미터들을 위의 프로세스(400)를 참조하여 설명된 바와 같이 적분될 확률 모델의 파라미터들로서 간주하여 이러한 파라미터들을 적분(평균화)함으로써 수행될 수 있다.

따라서, 일부 실시예들에서, 적어도 부분적으로는 비선형 일대일 맵핑에 의존하는 목적 함수의 확률 모델을 이용함으로써 목적 함수를 이용하는 최적화는 비선형 맵핑에 대한 확률 모델의 의존성을 해결하기 위한 (예로서, 프로세스(400)의 단계 404에 대한) 적절한 변경들과 함께 프로세스(400)에 따라 수행될 수 있다. 구체적으로, 비선형 워핑들의 패밀리의 파라미터들(예로서, 베타 CDF의 스케일 파라미터들(

,

))은 확률 모델의 파라미터들로서 간주되며, 목적 함수를 평가할 포인트들을 식별하는 데 사용되는 통합 획득 효용 함수는 확률 모델의 적어도 이러한 파라미터들을 적분함으로써 획득된다. 더 일반적으로, 확률 모델은 두 세트의 파라미터들(

,

)을 포함할 수 있으며, 파라미터들(

)은 비선형 워핑들의 패밀리의 파라미터들이고,

는 확률 모델의 모든 다른 파라미터들이고, 통합 획득 효용 함수는

,

또는

및

에 대해 초기 획득 효용 함수를 적분함으로써 획득될 수 있다.

프로세스(400)와 관련하여 설명된 바와 같이, 일부 실시예들에서, 계산 기술들을 이용하여, 통합 획득 효용 함수가 그의 최대값에 도달하는 포인트를 식별 및/또는 근사화할 수 있다. 계산 기술들(예로서, 거절 샘플링, 중요도 샘플링, 마르코프 체인 몬테카를로 등)은 또한 확률 모델이 비선형 일대일 맵핑의 파라미터들에 의존할 때 이러한 목적을 위해 필요할 수 있다. 확률 모델이 비선형 맵핑에 의존할 때 통합 획득 효용 함수가 그의 최대값에 도달하는 포인트를 식별 및/또는 근사화하기 위해 몬테카를로 기법들이 사용될 수 있는 방법의 하나의 비한정적인 예가 아래에서 설명된다.

f(x)를 목적 함수라고 하고, 세트 X를 목적 함수가 계산될 수 있는 포인트들의 세트라고 한다. 목적 함수가 N번 평가된 것으로 가정하면, 우리는 입력으로서

에 대해}를 가지며, 여기서

각각은 목적 함수가 평가된 포인트를 나타내고,

는 파라미터들(

)을 갖는 비선형 전단사 워핑 함수(g)를 포인트

에 적용한 결과를 나타내고,

은 목적 함수의 대응하는 값을 나타낸다(즉,

=

). p()를 비선형 일대일 맵핑(g)에 의존하는 목적 함수의 확률 모델이라 하고, 확률 모델은 파라미터들

(비선형 일대일 맵핑의 어떠한 파라미터도 포함하지 않는 확률 모델의 하나 이상의 파라미터) 및

(비선형 일대일 맵핑의 하나 이상의 파라미터)를 갖는다. 우리는 파라미터들

및

가 독립적인 것으로 가정한다. 통합 획득 효용 함수는 아래의 계산 절차에 의해 근사화될 수 있다.

먼저,

각각에 대해, 다음 식에 따라 샘플

을 도출한다.

반전 샘플링, 중요도 샘플링, 거절 샘플링 및 마르코프 체인 몬테카를로 기법들(이들의 예들이 제공되었다)을 포함하지만 이에 한정되지 않는 임의의 적절한 몬테카를로 기법을 이용하여 식 21에 따라 샘플들을 도출할 수 있다.

식 21에 따라 N개의 샘플

가 도출되면, 통합 획득 효용 함수는 아래 식에 따라 근사화될 수 있다.

식 22를 통해 계산된 통합 획득 효용 함수의 근사화는 통합 획득 효용 함수가 그의 최대값에 도달하는 포인트(

)(또는 그의 근사치)인 포인트를 식별하는 데 사용될 수 있다. 이것은 임의의 적절한 방식으로 수행될 수 있다. 예를 들어, 일부 실시예들에서, 통합 획득 함수는 포인트들의 그리드 상에서 식 22에 따라 근사화될 수 있으며, 목적 함수가 최대값을 달성하는 그리드 상의 포인트가 포인트(

)로서 취해질 수 있다. 대안으로서, 그리드 상의 하나 이상의 포인트 주위에서 (예로서, 워핑 함수의 기울기에 기초하는) 국소 조사를 수행하여 포인트(

)를 식별할 수 있다. 포인트(

)가 식별된 후, 목적 함수가

에서 평가될 수 있다.

전술한 바와 같이, 통상적인 베이지안 최적화 기술들은 목적 함수의 모든 이전의 평가들의 결과들에 기초하여 목적 함수를 평가할 다음 포인트를 선택하는 것(예로서, 기계 학습 시스템의 성능을 평가할 하이퍼-파라미터 값들의 다음 세트를 식별하는 것)을 필요로 한다. 목적 함수의 각각의 평가는 목적 함수를 평가할 다음 포인트가 식별되기 전에 완료되어야 한다. 따라서, 목적 함수의 모든 평가들은 통상적인 베이지안 최적화 방법들을 이용할 때 순차적으로(즉, 하나씩) 수행되어야 한다.

이와 달리, 본 명세서에서 설명되는 기술은 목적 함수의 다수의 평가가 병렬로 수행될 수 있도록 베이지안 최적화 기술들을 병렬화하는 데 사용될 수 있으며, 이는 훈련에 오랜 시간(예로서, 수 일)이 걸리는 기계 학습 시스템들에 대한 하이퍼-파라미터 값들을 식별할 때와 같이 목적 함수의 각각의 평가의 수행이 계산적으로 고가일 때 유리하다. 목적 함수의 병렬 평가들은 상이한 컴퓨터 하드웨어 프로세서들을 이용하여 수행될 수 있다. 예를 들어, 목적 함수의 병렬 평가들은 동일 기판 상에 집적된 상이한 컴퓨터 하드웨어 프로세서들(예로서, 상이한 프로세서 코어들) 또는 동일 기판 상에 집적되지 않은 상이한 컴퓨터 하드웨어 컴퓨터 프로세서들(예로서, 상이한 컴퓨터들, 상이한 서버들 등)을 이용하여 수행될 수 있다.

본 발명자들은 이전에 완료된 평가들의 결과들에 기초하여 모두 선택된 상이한 포인트들에서 목적 함수를 동시에 평가함으로써 간단히 통상적인 베이지안 최적화를 병렬화하는 것은 이러한 방식으로 목적 함수를 평가할 포인트들을 선택하는 것이 목적 함수의 미결 평가들에 대한 어떠한 정보도 고려하지 않는다는 점에서 비효율적이라는 것을 인식하였다. 따라서, 일부 실시예들에서, 목적 함수를 평가할 다음 포인트는 목적 함수의 하나 이상의 미결 평가 및 목적 함수의 하나 이상의 이전에 완료된 평가에 대한 정보에 기초하여 수행된다. 예를 들어, 목적 함수를 평가할 다음 포인트는 목적 함수의 하나 이상의 이전에 개시된 평가의 완료 전에 선택될 수 있지만, 선택은 목적 함수의 미결 평가들의 잠재적 결과들의 각각의 가능성에 기초하여 행해져, 목적 함수를 평가할 다음 포인트를 선택할 때 미결 평가들(예로서, 평가가 수행되고 있는 특정 포인트들)에 대한 일부 정보가 고려될 수 있게 한다.

일부 실시예들에서, 목적 함수의 하나 이상의 미결 평가에 기초하여 목적 함수를 평가할 다음 포인트를 선택하는 것은 목적 함수의 미결 평가들의 잠재적 결과들의 가능성들에 의존하는 획득 효용 함수를 이용하여 수행될 수 있으며, 가능성들은 목적 함수의 확률 모델에 따라 결정된다. 일부 실시예들에서, 목적 함수를 평가할 다음 포인트를 선택하는 것은 적어도 부분적으로는 복수의 포인트에서 목적 함수의 잠재적 값들에 대해 초기 획득 효용 함수의 예상 값을 계산함으로써 얻어지는 획득 효용 함수를 이용하는 것을 포함한다. 초기 획득 효용 함수는 개선 확률 효용 함수, 예상 개선 효용 함수, 후회 최소화 효용 함수, 엔트로피 기반 효용 함수, 통합 획득 효용 함수 및/또는 임의의 적절한 획득 효용 함수일 수 있다.

도 6은 본 명세서에서 설명되는 기술의 일부 실시예들에 따른, 적어도 부분적으로는 다수의 컴퓨터 하드웨어 프로세서를 이용함으로써 목적 함수를 이용하여 최적화를 수행하기 위한 예시적인 프로세스(600)의 흐름도이다. 프로세스(600)는 본 명세서에서 설명되는 기술을 이용하여 목적 함수의 극치 포인트(예로서, 국소 최소, 국소 최대, 전역 최소, 전역 최대 등)를 식별하는 데 사용될 수 있다. 프로세스(600)는 임의의 적절한 타입의 상이한 컴퓨터 하드웨어 프로세서들을 이용하여 수행될 수 있다. 예를 들어, 프로세스(600)의 적어도 일부(예로서, 전부)는 동일 기판 상에 집적된 상이한 컴퓨터 하드웨어 프로세서들(예로서, 상이한 프로세서 코어들) 또는 동일 기판 상에 집적되지 않은 상이한 컴퓨터 하드웨어 컴퓨터 프로세서들을 이용하여 수행될 수 있다.

일부 실시예들에서, 프로세스(600)는 기계 학습 시스템의 하이퍼-파라미터들의 값들을 기계 학습 시스템의 성능의 척도를 제공하는 각각의 값과 관련시키는 목적 함수의 하나 이상의 극치 포인트를 식별하는 것(예를 들어, 그들의 위치들을 찾거나 근사화하는 것)에 적용될 수 있다. 프로세스(600)는 본 명세서에서 설명되는 임의의 기계 학습 시스템 및/또는 임의의 다른 적절한 기계 학습 시스템들의 하이퍼-파라미터들의 값들을 설정하는 데 사용될 수 있다. 추가로 또는 대안으로서, 프로세스(600)는 그 예들이 제공된 임의의 다른 적절한 최적화 문제에서 발생하는 목적 함수의 하나 이상의 극치 포인트를 식별하는 것(예를 들어, 그들의 위치들을 찾거나 근사화하는 것)에 적용될 수 있다.

프로세스(600)는 단계 602에서 시작되며, 여기서 목적 함수의 확률 모델이 초기화된다. 이것은 임의의 적절한 방식으로 행해질 수 있으며, 예를 들어 프로세스(400)의 단계 402와 관련하여 설명된 임의의 방식으로 수행될 수 있다.

이어서, 프로세스(600)는 결정 블록 604로 진행하며, 여기서 목적 함수의 임의의 미결 평가(즉, 완료되지 않은 목적 함수의 평가)가 존재하는지를 결정한다. 미결 평가는, 평가를 수행할 포인트가 식별되었지만(예로서, 기계 학습 시스템의 성능을 평가할 하이퍼-파라미터 값들의 세트가 식별되었지만), 식별된 포인트에서의 목적 함수의 평가가 시작되지 않은(따라서 완료되지 않은) 평가일 수 있다. 미결 평가는 시작되었지만 완료되지 않은 목적 함수의 임의의 평가일 수 있다. 목적 함수의 임의의 미결 평가가 존재하는지에 대한 결정은 임의의 적절한 방식으로 수행될 수 있는데, 이는 본 명세서에서 설명되는 기술의 양태들이 그러한 결정을 수행할 수 있는 방식에 의해 한정되지 않기 때문이다.

결정 블록 604에서 목적 함수의 미결 평가가 존재하지 않는 것으로 결정될 때, 프로세스(600)는 단계 605로 진행하며, 여기서 목적 함수를 평가할 포인트가 목적 함수의 확률 모델 및 획득 효용 함수를 이용하여 식별된다. 이것은 임의의 적절한 방식으로 행해질 수 있으며, 예를 들어 프로세스(400)의 단계 404와 관련된 임의의 방식으로 수행될 수 있다. 단계 605에서는 예를 들어 본 명세서에서 설명되는 임의의 획득 효용 함수를 포함하는 임의의 적절하나 획득 효용 함수가 이용될 수 있다.

한편, 결정 블록 604에서 목적 함수의 하나 이상의 미결 평가가 존재하는 것으로 결정될 때, 프로세스(600)는 단계 606으로 진행하며, 여기서 미결 평가(들)에 대한 정보가 획득된다. 미결 평가(들)에 대한 정보는 미결 평가(들)가 수행되고 있는(또는 수행될) 포인트(들)(예로서, 하이퍼-파라미터 값들의 세트들)를 식별하는 정보를 포함할 수 있다. 미결 평가(들)에 대한 정보는 미결 평가(들)의 잠재적 결과들의 가능성들에 대한 정보도 포함할 수 있다. 미결 평가(들)의 잠재적 결과들의 가능성들에 대한 정보는 목적 함수의 확률 모델에 적어도 부분적으로 기초하여 획득될 수 있다.

이어서, 프로세스(600)는 단계 608로 진행하며, 여기서 목적 함수를 평가할 하나 이상의 새로운 포인트가 단계 608에서 획득된 미결 평가들에 대한 정보에 적어도 부분적으로 기초하여 식별된다. 단계 608에서는 목적 함수를 평가할 임의의 적절한 수의 포인트가 식별될 수 있다. 예를 들어, 목적 함수의 M개의 미결 평가가 존재할 때(M은 1 이상의 정수), 목적 함수를 평가할 M개의 포인트가 단계 608에서 식별될 수 있다. 그러나, 일부 실시예들에서는, M개보다 적은 포인트가 단계 608에서 식별될 수 있다. 일부 실시예들에서는, M개보다 많은 포인트가 단계 608에서 식별될 수 있다.

일부 실시예들에서, 목적 함수를 평가할 포인트(들)는 미결 평가들이 수행되고 있는(또는 수행될) 포인트(들)를 식별하는 정보에 적어도 부분적으로 기초하여 식별된다. 일부 실시예들에서, 목적 함수를 평가할 포인트(들)는 목적 함수의 평가들의 잠재적 결과들의 가능성들에 더 기초하여 식별되며, 가능성들은 목적 함수의 확률 모델에 적어도 부분적으로 기초하여 결정된다.

예를 들어, 일부 실시예들에서, 목적 함수를 평가할 포인트(들)는 미결 평가들에 대한 정보 및 확률 모델에 의존하는 획득 효용 함수를 이용하여 식별될 수 있다. 획득 효용 함수는 미결 평가들이 수행되고 있는(또는 수행될) 포인트들 및 목적 함수의 확률 모델에 따른(예로서, 목적 함수의 확률 모델에 의해 유도되는 예측 분포에 따른) 그들의 결과들의 각각의 가능성에 의존할 수 있다.

예를 들어, 아래의 획득 효용 함수 h(x)는 단계 608의 일부로서 평가할 포인트(들)를 식별하는 데 사용될 수 있다.

여기서, 세트

은 N개의 이전에 완료된 평가(목적 함수가 평가되었을 뿐만 아니라, 평가들의 결과들이 이전에 완료된 평가들에 대해 이용 가능한 포인트들)에 대응하고, 세트

은 M개의 미결 평가에 대응하고(목적 함수가 평가되고 있거나 평가될 포인트들이 미결 평가들에 대해 이용 가능함), p()는 목적 함수의 확률 모델이고,

는 (예로서, 식 14 및 15와 관련하여 전술한 바와 같은) 선택 휴리스틱에 대응한다. 따라서, 식 23의 획득 효용 함수는 복수의 포인트

에서의 목적 함수의 잠재 값들에 대한 (선택 휴리스틱

을 통해 지정되는) 초기 획득 효용 함수의 예상 값으로서 계산된다.

일부 실시예들에서, 목적 함수를 평가할 다수의 포인트가 단계 608에서 식별될 때, 포인트들은 하나씩 식별될 수 있으며, 획득 효용 함수(예로서, 식 23에 표시된 획득 효용 함수)는 각각의 포인트의 식별 후에 갱신될 수 있다. 예를 들어, 단계 608에서 제1 포인트가 식별된 후, 제1 포인트를 식별하는 정보에 의존하는 획득 효용 함수를 이용하여 제2 포인트가 선택될 수 있다.

일부 실시예들에서, 단계 608에서, 목적 함수를 평가할 새로운 포인트는 획득 효용 함수가 그의 최대값에 도달하는 포인트(또는 포인트에 대한 근사치)로서 식별될 수 있다. 일부 실시예들에서, 획득 함수가 그의 최대치에 도달하는 포인트는 (예로서, 획득 효용 함수가 폐쇄 형태로 이용 가능할 때) 정확하게 식별될 수 있다. 그러나, 일부 실시예들에서, 획득 효용 함수가 그의 최대값에 도달하는 포인트는 (예로서, 획득 효용 함수가 폐쇄 형태로 이용 가능하지 않으므로) 정확하게 식별되지 못할 수 있으며, 이 경우에 획득 효용 함수가 그의 최대값에 도달하는 포인트는 계산 기술들을 이용하여 식별 또는 근사화될 수 있다.

예를 들어, 일부 실시예들에서, 식 23의 획득 효용 함수는 아래 식에 따라 몬테카를로 추정을 통해 근사화될 수 있다.

여기서,

는

에 의해 유도되는 M차원 예측 분포로부터의 샘플이다. 확률 모델이 가우시안 프로세스를 포함할 때, 예측 분포는 가우시안 분포이고,

는 적절한 파라미터들을 이용하는 가우시안 분포로부터의 시뮬레이션에 의해 생성될 수 있다. 다른 확률 모델들에 대해, 거절 샘플링, 중요도 샘플링, 마르코프 체인 몬테카를로 등과 같은 몬테카를로 기법들을 포함하지만 이에 한정되지 않는 다른 계산 기술들이 이용될 수 있다.

목적 함수를 평가할 포인트는 획득 효용 함수가 그의 최대치에 도달하는 포인트(또는 포인트의 근사치)로 한정되지 않으며, 획득 효용 함수를 이용하여 획득되는 임의의 다른 적절한 포인트(예로서, 획득 효용 함수의 국소 최대, 획득 효용 함수의 국소 또는 전역 최소 등)일 수 있다는 것을 알아야 한다.

목적 함수를 평가할 하나 이상의 포인트(들)가 단계 608에서 식별된 후, 프로세스(600)는 단계 610으로 진행하며, 여기서 식별된 포인트(들)에서의 목적 함수의 평가가 개시된다. 이것은 임의의 적절한 방식으로 수행될 수 있다. 예를 들어, 일부 실시예들에서, 단계 608에서 다수의 포인트가 식별될 때, 식별된 포인트들에서의 목적 함수의 평가는 상이한 컴퓨터 하드웨어 프로세서들을 이용하여 목적 함수가 평가되도록 개시될 수 있다(예로서, 단계 608에서 제1 및 제2 포인트들이 식별될 때, 제1 및 제2 포인트들의 평가는 목적 함수가 제1 포인트에서 제1 컴퓨터 하드웨어 프로세서를 이용하여 그리고 제2 포인트에서 제1 컴퓨터 하드웨어 프로세서와 다른 제2 컴퓨터 하드웨어 프로세서를 이용하여 평가되도록 개시될 수 있다).

이어서, 프로세스(600)는 결정 블록 612로 진행하며, 여기서 임의의 포인트에서의 목적 함수의 평가가 완료되었는지를 결정한다. 이러한 결정은 임의의 적절한 방식으로 수행될 수 있다. 임의의 포인트에서의 목적 함수의 평가가 완료되지 않은 것으로 결정될 때, 프로세스(600)는 적어도 한 포인트에서 평가가 완료되기를 기다린다. 한편, 하나 이상의 포인트에서 목적 함수의 평가가 완료된 것으로 결정될 때, 프로세스(600)는 단계 614로 진행하며, 여기서 목적 함수의 확률 모델이 완료된 평가들의 결과들에 기초하여 갱신된다. 확률 모델은 임의의 적절한 방식으로 갱신될 수 있으며, 예를 들어 프로세스(400)의 단계 408과 관련하여 설명된 임의의 방식으로 갱신될 수 있다.

목적 함수의 확률 모델이 단계 614에서 식별된 후, 프로세스(600)는 결정 블록 616으로 진행하며, 여기서 목적 함수가 다른 포인트에서 평가될지를 결정한다. 이러한 결정은 임의의 적절한 방식으로 수행될 수 있으며, 예를 들어 프로세스(400)의 결정 블록 410과 관련하여 설명된 임의의 방식으로 수행될 수 있다.

결정 블록 616에서 목적 함수가 다시 평가될 것으로 결정될 때, 프로세스(600)는 예 분기를 통해 결정 블록 604로 복귀하고, 단계/결정 블록 604-612가 반복된다. 한편, 결정 블록 616에서 목적 함수가 다시 평가되지 않을 것으로 결정될 때, 프로세스(600)는 단계 618로 진행하며, 여기서 프로세스(600) 동안 획득된 목적 함수의 하나 이상의 값에 기초하여 목적 함수의 극값이 식별될 수 있다.

단계 618에서, 목적 함수의 극값은 목적 함수의 획득된 값(들)에 기초하여 임의의 적절한 방식으로 식별될 수 있으며, 예를 들어 프로세스(400)의 단계 412와 관련하여 설명된 임의의 방식으로 식별될 수 있다. 목적 함수의 극값이 단계 618에서 식별된 후, 프로세스(600)가 종료된다.

전술한 바와 같이, 일부 실시예들은 특정 최적화 작업에 적용될 때 하나 이상의 관련 최적화 작업에 베이지안 최적화 기술들을 적용하는 동안 획득된 정보를 이용할 수 있는 베이지안 최적화 기술들과 관련된다. 이러한 기술들은 본 명세서에서 "다중 작업" 베이지안 최적화 기술들로서 지칭된다. 본 명세서에서 설명되는 다중 작업 최적화 기술들은 다양한 타입의 문제들에 적용될 수 있으며, 그 예들이 아래에서 제공된다.

하나의 비한정적인 예로서, 일부 실시예들에서, 본 명세서에서 설명되는 다중 작업 베이지안 최적화 기술들은 특정 기계 학습 시스템에 대한 하이퍼-파라미터들의 값들을 식별하는 작업에 적용될 수 있으며, 이를 위해 관련 기계 학습 시스템에 대한 하이퍼-파라미터들의 값들을 식별하는 동안(그의 관련 작업을 수행하는 동안) 이전에 획득된 정보를 이용할 수 있다. 관련 기계 학습 시스템은 특정 기계 학습 시스템과 하나 이상의(예로서, 모든) 하이퍼-파라미터들을 공유하는 임의의 기계 학습 시스템일 수 있다. 예를 들어, 특정 기계 학습 시스템은 하이퍼-파라미터들의 제1 세트를 갖는 제1 신경망을 포함할 수 있고, 관련 기계 학습 시스템은 하이퍼-파라미터들의 제2 세트를 갖는 제2 신경망(예로서, 제1 신경망과 다른 수의 계층을 갖는 신경망, 제1 신경망과 다른 비선형성을 갖는 신경망, 제1 및 제2 신경망들은 동일할 수 있음, 기타 등등)을 포함할 수 있으며, 따라서 하이퍼-파라미터들의 제1 및 제2 세트들이 적어도 하나의 하이퍼-파라미터를 공유한다. 게다가, 하이퍼-파라미터들의 제1 및 제2 세트들이 중복되지 않는 경우에도, 파라미터의 공동 공간이 임의의 적절한 방식으로 생성될 수 있다. 예를 들어, 각각의 파라미터에 대한 '디폴트' 값이 추정될 수 있으며, 따라서 특정 모델에 대한 파라미터가 존재하지 않는 경우, 디폴트 값이 사용될 수 있다. 이러한 방식으로, 각각의 신경망은 하이퍼-파라미터들의 동일 세트를 가질 수 있고, 따라서 임의의 표준 커널이 적용될 수 있다.

관련 기계 학습 시스템의 하이퍼-파라미터들을 식별하는 동안 이전에 획득된 정보는 하이퍼-파라미터 값들의 하나 이상의 세트에 대해 관련 기계 학습 시스템의 성능을 평가한 결과들을 포함할 수 있다. 그러한 정보는 관련 기계 학습 시스템(예로서, 제2 신경망을 포함하는 시스템)이 다양한 하이퍼-파라미터 값들에 대해 어떻게 동작하는지를 지시할 수 있으며, 결과적으로 이러한 정보는 특정 기계 학습 시스템(예로서, 제1 신경망을 포함하는 시스템)에 대한 하이퍼-파라미터 값들의 검색을 안내하는 데 사용될 수 있다.

본 명세서에서 설명되는 다중 작업 최적화 기술들은 완료된 최적화 작업으로부터의 이전에 획득된 정보(예로서, 기계 학습 시스템에 대한 하이퍼-파라미터들을 식별하는 완료된 작업의 수행으로부터 획득된 정보 - 완료는 사용할 하이퍼-파라미터 값들이 식별되었고, 기계 학습 시스템이 식별된 하이퍼-파라미터 값들과 함께 사용하기 위해 구성되었다는 것을 의미함)의 이용으로 한정되지 않는다는 것을 알아야 한다. 일부 실시예들에서, 본 명세서에서 설명되는 다중 작업 최적화 기술들은 동시에 해결되는 다수의 관련 최적화 기술에 적용될 수 있다. 그러한 실시예들에서, 본 명세서에서 설명되는 다중 작업 최적화 기술들은 다수의 상이한 목적 함수의 평가를 포함하며, 각각의 목적 함수는 각각의 최적화 작업에 대응한다. 작업들이 관련되므로, 하나의 작업에 대응하는 목적 함수를 평가한 결과들은 다른 관련 작업에 대응하는 다른 목적 함수를 평가할 포인트의 선택을 안내하는 데 사용될 수 있다.

하나의 비한정적인 예로서, 일부 실시예들에서, 본 명세서에서 설명되는 다중 작업 베이지안 최적화 기술들은 다수의 관련 작업 각각에 각자 대응하는 목적 함수들의 조합으로 표현될 수 있는 목적 함수의 평균 값을 추정하는 문제에 적용될 수 있다. 그러한 문제는 예를 들어 기계 학습 시스템의 성능을 최적화하는 기계 학습 시스템의 하이퍼-파라미터들을 식별하는 상황, 기계 학습 시스템의 성능이 기계 학습 시스템들의 일반화 에러를 추정하기 위한 기술인 T-폴드 상호 검증을 적용함으로써 획득되는 상황을 포함하는 다양한 상황들에서 발생한다.

T-폴드 상호 검증에서, 기계 학습 시스템을 훈련시키는 데 사용되는 데이터는 "폴드"라고 하는 T개의 서브세트로 분할되며, 기계 학습 시스템의 성능의 척도는 T개의 폴드에 대한 기계 학습 시스템의 평균 성능으로서 계산된다. 특정 폴드에 대한 기계 학습 시스템의 성능은 모든 다른 폴드들에서의 데이터에 기초하여 기계 학습 시스템을 훈련시키고 특정 폴드에서의 데이터에 기초하여 시스템의 성능을 평가함으로써 획득된다. 따라서, 하이퍼-파라미터 값들의 특정 세트에 대한 기계 학습 시스템의 성능을 평가하기 위해, 기계 학습 시스템은 T번 훈련되어야 하며, 이는 복잡한 기계 학습 시스템들 및/또는 더 큰 데이터 세트들에 대해 계산적으로 고가이다. 그러나, T개의 폴드 각각과 관련된 성능의 척도들은 서로 상관될 가능성이 있으며, 따라서 하이퍼-파라미터 값들의 세트를 이용하여 특정 폴드에 대한 기계 학습 시스템의 성능을 평가하는 것은 하이퍼-파라미터 값들의 동일 세트를 이용하는 다른 폴드에 대한 기계 학습 시스템의 성능을 지시하는 정보를 제공할 수 있다. 결과적으로, 기계 학습 시스템의 성능은 하이퍼-파라미터 값들의 각각의 세트에 대해 T개의 폴드 각각에 대해 평가될 필요가 없다.

따라서, 일부 실시예들에서, 본 명세서에서 설명되는 다중 작업 최적화 기술들은 T-폴드 상호 검증의 문제를, 각각의 작업이 특정 상호 검증 폴드에 대한(즉, 기계 학습 시스템의 훈련에 사용되는 데이터의 각각의 서브세트에 대한) 기계 학습 시스템의 성능을 최적화하기 위한 하이퍼-파라미터 값들의 세트의 식별에 대응하는 다중 작업 최적화 문제로서 재형성함으로써 이러한 문제에 적용될 수 있다. 작업에 대한 목적 함수는 기계 학습 시스템의 하이퍼-파라미터 값들을 작업과 관련된 상호 검증 폴드에 대한 기계 학습 시스템의 성능과 관련시킨다(예를 들어, 상호 검증 폴드 t와 관련된 작업에 대한 목적 함수는 기계 학습 시스템의 하이퍼-파라미터들의 값들을, 폴드 t가 아닌 다른 모든 폴드들에서의 데이터에 기초하여 기계 학습 시스템을 훈련시키고, 폴드 t에서의 데이터에 기초하여 결과적인 훈련된 기계 학습 시스템의 성능을 평가함으로써 계산된 기계 학습 시스템의 성능과 관련시킨다). 따라서, 본 명세서에서 설명되는 다중 작업 최적화 기술들은 (예로서, "하위 목적" 함수들로서 지칭될 수 있는) 다수의 다른 목적 함수의 함수로서 지정될 수 있는 단일 목적 함수를 최대화하는 데 사용될 수 있다는 것을 알아야 한다.

다른 비한정적인 예로서, 일부 실시예들에서, 본 명세서에서 설명되는 다중 작업 베이지안 최적화 기술들은 다수의 관련 최적화 작업을 동시에 해결하는 문제에 적용될 수 있으며, 작업들 중 하나의 작업과 관련된 목적 함수는 다른 작업과 관련된 목적 함수보다 평가 비용을 더 높을 수 있다. 2개의 작업이 관련될 때, 하나의 작업에 대한 목적 함수의 평가들은 정보를 제공하고, 다른 작업에 대한 목적 함수의 하나 이상의 극치 포인트의 위치에 대한 불확실성을 줄일 수 있다. 예를 들어, 대형 데이터 세트(예로서, 천만 개의 데이터 포인트)에 기초하여 기계 학습 시스템의 성능을 최적화하기 위한 하이퍼-파라미터 값들을 식별하는 작업 "A"와 관련된 목적 함수는 데이터의 서브세트(예로서, 천만 개의 데이터 포인트 중 10,000개)에 기초하여 기계 학습 시스템의 성능을 최적화기 위한 하이퍼-파라미터 값들을 식별하는 관련 작업 "B"와 관련된 목적 함수보다 (하이퍼-파라미터 값들 각각에 대해) 평가 비용이 더 높다. 그러나, 작업들이 관련되므로(어닐링에서와 같이, 하나의 작업이 다른 작업의 더 대략적인 버전이므로), 작업 "B"에 대한 목적 함수의 평가들은 작업 "A"에 대해 어떤 하이퍼-파라미터 값들을 평가하려고 시도할지에 대한 정보를 제공하며, 따라서 작업 "A"에 대한 목적 함수의 계산적으로 고가인 평가들의 수를 줄일 수 있다.

다른 비한정적인 예로서, 일부 실시예들에서, 본 명세서에서 설명되는 다중 작업 베이지안 최적화 기술들은 임의의 자연스런 방식으로 배열되지 않는 개별 값들을 갖는 기계 학습 시스템의 하이퍼-파라미터(카테고리 파라미터)의 값의 식별에 적용될 수 있다. 기계 학습 시스템에 대한 그러한 하이퍼-파라미터의 하나의 비한정적인 예는 신경망에서 사용되는 타입의 비선형성(예로서, 하이퍼볼릭 탄젠트 비선형성, 시그모이드 비선형성 등)이다. 기계 학습 시스템에 대한 그러한 하이퍼-파라미터의 다른 비한정적인 예는 지원 벡터 기계에서 사용되는 타입의 커널이다. 그러한 하이퍼-파라미터의 또 다른 비한정적인 예는 데이터의 동일 세트에 기초하여 기계 학습 시스템을 훈련시키는 데 사용될 수 있는 상이한 훈련 알고리즘들의 세트 중에서 기계 학습 시스템에 대한 훈련 알고리즘을 선택하는 파라미터이다. 다중 작업 최적화 기술들은 카테고리 하이퍼-파라미터들의 각각의 값에 대한 작업을 갖는 관련 작업들의 세트를 생성함으로써 그러한 문제들에 적용될 수 있다. 각각의 작업은 각각의 작업에 대해 값들의 가능한 세트들 중 하나로 설정되는 값들인 하나 이상의 카테고리 하이퍼-파라미터의 값들과 다른 기계 학습 시스템의 모든 하이퍼-파라미터들의 값들을 식별하는 것을 포함한다(예를 들어, 하나의 작업은 하이퍼볼릭 탄젠트를 활성화 함수로서 이용하여 신경망의 하이퍼-파라미터들의 값들을 식별하는 것을 포함할 수 있고, 다른 관련 작업은 시그모이드를 활성화 함수로서 이용하여 신경망의 값들을 식별하는 것을 포함할 수 있다).

본 명세서에서 설명되는 다중 작업 베이지안 최적화 기술들이 적용될 수 있는 문제들의 위의 예들은 한정이 아니라 예시적이라는 것을 알아야 하는데, 이는 본 명세서에서 설명되는 다중 작업 기술들이 임의 다른 적절한 최적화 작업 세트에 적용될 수 있기 때문이다.

일부 실시예들에서, 다중 작업 최적화 기술들은 공동 확률 모델을 이용하여 다수의 목적 함수를 공동으로 모델링하는 것을 포함할 수 있으며, 목적 함수들 각각은 다수의 관련 작업 중 하나에 대응한다. 전술한 바와 같이, 다중 작업 최적화 기술들은 임의의 적절한 세트의 관련 최적화 작업들에 적용될 수 있다. 하나의 비한정적인 예로서, 각각의 작업은 작업과 관련되고 하이퍼-파라미터 값들의 세트가 주어지는 경우에 기계 학습 시스템을 훈련시키는 데 사용되는 데이터의 세트에 대해 동일 기계 학습 시스템의 성능을 최적화하기 위한 하이퍼-파라미터들을 식별하는 것을 포함할 수 있다. 다른 비한정적인 예로서, 다수의 관련 작업 중 하나는 관련된 제1 세트의 데이터에 대해 하나의 기계 학습 시스템의 성능을 최적화하기 위한 하이퍼-파라미터들을 식별하는 것을 포함할 수 있으며, 다수의 관련 작업 중 다른 작업은 제2 세트의 데이터에 대해 다른 관련 기계 학습 시스템의 성능을 최적화하기 위한 하이퍼-파라미터들을 식별하는 것을 포함할 수 있다(제1 세트의 데이터는 제2 세트의 데이터와 다르거나 동일할 수 있다). 이러한 예들 각각에서, 특정 작업에 대응하는 목적 함수는 기계 학습 시스템의 하이퍼-파라미터 값들을 그의 성능과 관련시킬 수 있다.

일부 실시예들에서, 다수의 목적 함수의 공동 확률 모델은 복수의 작업 내의 작업들 사이의 상관성을 모델링할 수 있다. 일부 실시예들에서, 공동 확률 모델은 복수의 작업 내의 작업들 간의 상관성을 모델링하기 위한 하나 이상의 파라미터(예로서, 상관성 또는 공분산 커널을 지정하기 위한 하나 이상의 파라미터)를 포함할 수 있다. 이러한 파라미터(들)의 값들은 복수의 작업에 대응하는 목적 함수들의 평가의 결과들에 기초하여 추정될 수 있다. 파라미터(들)의 값들은 다수의 목적 함수 중 임의의 목적 함수의 하나 이상의 추가 평가가 수행될 때 갱신될 수 있다. 이러한 방식으로, 복수의 작업 내의 작업들 간의 상관성을 모델링하는 공동 확률 모델의 파라미터(들)는 적응적으로 추정될 수 있다.

예를 들어, 일부 실시예들에서, 다수의 목적 함수의 공동 확률 모델은 복수의 작업 내의 작업들 간의 상관성을 모델링할 수 있는 공분산 커널을 포함할 수 있다. 일부 실시예들에서, 공분산 커널

은 복수의 작업 내의 작업들 간의 상관성을 모델링하는 제1 공분산 커널

및 복수의 목적 함수 내의 목적 함수들이 평가될 수 있는 포인트들 간의 상관성을 모델링하는 제2 공분산 커널

에 적어도 부분적으로 기초하여 획득될 수 있다. 공분산 커널은 아래 식에 따라 제1 및 제2 공분산 커널들로부터 계산될 수 있다.

여기서,

는 크로넥커(Kronecker) 곱을 나타낸다.

일부 실시예들에서, 다수의 목적 함수의 공동 확률 모델은 도메인 X 내의 값들을 범위 R^T로 맵핑하는 "다목적" 함수들(f)을 모델링하는 데 사용될 수 있는 벡터 값 가우시안 프로세스를 포함할 수 있으며, 여기서 R은 실수들의 세트이고, T는 2보다 큰 정수이다. 도메인 X는 다차원일 수 있다. 따라서, 벡터 값 가우시안 프로세스에 의해 모델링되는 각각의 다목적 함수(f)는 입력들을 T개의 관련 작업에 대응하는 T개의 출력으로 맵핑하며, T개의 출력 각각은 대응하는 작업에 대한 출력이다. 일부 실시예들에서, 가우시안 프로세스의 공분산 커널은 식 25에 의해 주어질 수 있으며, 커널(K_x)은 본 명세서에서 설명되는 커널 함수들 중 어느 하나(예로서, 마테른 커널)를 통해 지정된다. 그러나, 다수의 목적 함수의 공동 확률 모델은 가우시안 프로세스를 포함하는 것으로 한정되지 않으며, 임의의 다른 적절한 확률 모델을 포함할 수 있다는 것을 알아야 한다.

일부 실시예들에서, 커널

은 다수의 목적 함수의 평가들로부터 추정될 수 있다. 임의의 적절한 추정 기술을 이용하여 커널

을 추정할 수 있다. 예를 들어, 일부 실시예들에서, 슬라이스 샘플링(또는 임의의 다른 적절한 몬테카를로 기법)을 이용하여 커널

의 콜레스키(Cholesky) 팩터를 추정할 수 있다. 일부 실시예들에서, 커널

은 관련 작업들이 긍정적으로 상관된다는 제약에 따라 추정된다. 그러한 실시예들에서,

의 요소들은 로그 공간에서 추정되고, 이러한 제약이 충족되도록 적절히 지수화될 수 있다. 공분산 커널의 임의의 적절한 파라미터화가 이용될 수 있다는 것을 알아야 하는데, 이는 본 명세서에서 설명되는 기술의 양태들이 공분산 커널의 어느 하나의 파라미터화(예로서, 콜레스키)로 한정되지 않기 때문이다.

도 7은 목적 함수들의 세트를 이용하여 다중 작업 베이지안 최적화를 수행하기 위한 예시적인 프로세스(700)의 흐름도이며, 세트 내의 목적 함수들 각각은 관련 작업들의 세트 내의 각각의 작업과 관련된다. 함수들의 세트는 임의의 적절한 수의 함수(예로서, 2개, 3개, 5개, 적어도 2개, 적어도 5개, 적어도 10개, 적어도 25개, 적어도 50개, 2개 내지 25개, 10 내지 100개 등)를 포함할 수 있다. 프로세스(700)는 본 명세서에서 설명되는 기술들을 이용하여 하나 이상의 목적 함수 각각의 극치 포인트(예로서, 국소 최소, 국소 최대, 전역 최소, 전역 최대 등)를 식별하는 데 사용될 수 있다.

프로세스(700)는 하나 또는 다수의 컴퓨터 하드웨어 프로세서를 이용하여 수행될 수 있는데, 이는 본 명세서에서 설명되는 기술의 양태들이 이와 관련하여 한정되지 않기 때문이다. 프로세스(700)가 다수의 컴퓨터 하드웨어 프로세서를 이용하여 수행될 때, 그의 실행은 도 6과 관련하여 전술한 기술들에 따라 다수의 프로세서를 통해 병렬화될 수 있다.

일부 실시예들에서, 프로세스(700)는 기계 학습 시스템의 하이퍼-파라미터들의 값들을 기계 학습 시스템의 성능의 척도를 제공하는 각각의 값과 관련시키는 하나 이상의 목적 함수의 하나 이상의 극치 포인트를 식별하는 것(예로서, 그들의 위치를 찾거나 그들의 위치들을 근사화하는 것)에 적용될 수 있다. 프로세스(700)는 본 명세서에서 설명되는 임의의 기계 학습 시스템 및/또는 임의의 다른 적절한 기계 학습 시스템들의 하이퍼-파라미터들의 값들을 설정하는 데 사용될 수 있다. 추가로 또는 대안으로서, 프로세스(700)는 임의의 다른 적절한 최적화 작업들에서 발생하는 하나 이상의 목적 함수의 하나 이상의 극치 포인트를 식별하는 것(예로서, 그들의 위치를 찾거나 그들의 위치들을 근사화하는 것)에 적용될 수 있다.

프로세스(700)는 단계 702에서 시작되며, 여기서 목적 함수들의 세트 내의 목적 함수들의 공동 확률 모델이 초기화된다. 공동 확률 모델은 임의의 적절한 확률 모델일 수 있다. 하나의 비한정적인 예로서, 일부 실시예들에서, 공동 확률 모델은 식 25에 의해 주어지는 공분산 커널을 이용하여 지정되는 벡터 값 가우시안 프로세스를 포함할 수 있다. 그러나, 다른 실시예들에서, 가우시안 프로세스는 임의의 다른 적절한 커널을 이용하여 지정될 수 있으며, 또 다른 실시예들에서 공동 확률 모델은 가우시안 프로세스를 포함할 수 있고, 신경망, 적응성 기초 함수 회귀 모델(함수들은 다수의 출력을 가짐) 또는 임의의 다른 적절한 확률 모델을 대신 포함할 수 있다. 공동 확률 모델은 (예로서, 프로세스(400)의 단계 402와 관련하여 설명된 바와 같은) 임의의 적절한 방식으로 초기화될 수 있는데, 이는 본 명세서에서 설명되는 기술의 양태들이 다수의 목적 함수의 공동 확률 모델이 초기화되는 방식에 의해 한정되지 않기 때문이다.

이어서, 프로세스(700)는 단계 704로 진행하며, 여기서 목적 함수들의 세트 내의 소정 목적 함수를 평가할 포인트가 식별된다. 포인트는 적어도 부분적으로는 목적 함수들의 공동 확률 모델 및 (목적 함수의 공동 확률 모델에 의존할 수 있는) 획득 효용 함수를 이용함으로써 식별될 수 있다. 임의의 다양한 타입의 획득 효용 함수들이 다중 작업 설정에 대해 적절히 일반화된 후에 사용될 수 있다. 하나의 비한정적인 예로서, 일부 실시예들에서, 엔트로피 검색 획득 함수(예로서, 식 9 참조)가 다중 작업 사례에 대해 일반화될 수 있으며, 목적 함수들의 세트 내의 목적 함수를 평가할 포인트는 공동 확률 모델 및 일반화된 엔트로피 검색 획득 함수에 기초하여 식별될 수 있다.

일부 실시예들에서, 엔트로피 검색 획득 함수는 목적 함수들의 세트 내의 목적 함수들을 평가하는 계산 비용을 고려하도록 일반화될 수 있다. 비용 가중 엔트로피 검색 획득 효용 함수라고 하는 결과적인 획득 함수

가 아래 식에 따라 계산될 수 있다.

여기서, p()는 목적 함수들의 세트 내의 목적 함수들의 공동 확률 모델이고,

은 공상적인 관찰

가 관찰들의 세트에 추가되었다는 것을 나타내고,

는 t 번째 작업과 관련된 목적 함수가 평가될 수 있는 공상 포인트이고,

에서의 목적 함수의 값은 엔트로피 검색 획득 함수를 평가할 때 공상화되고,

는

를 나타내고, H(P)는 P의 엔트로피를 나타내고,

은

을 나타내고, 각각의

는 평가

의 결과를 획득하기 위해 t 번째 작업과 관련된 목적 함수가 평가된 포인트에 대응한다. 함수

는 포인트 x에서 t번째 작업과 관련된 목적 함수를 평가하는 비용을 나타낸다. 이러한 비용 함수는 미리 알려질 수 있거나, 일부 실시예들에서는 (각각의 그러한 평가의 완료에 얼마나 걸리는지를 지시하는 정보와 함께) 목적 함수들의 세트 내의 목적 함수들의 하나 이상의 평가에 기초하여 추정될 수 있다. 비용 가중 엔트로피 검색 획득 함수는 후보 포인트 평가의 단위 비용당 (포인트 x에서의 t 번째 목적 함수의 평가로부터의) 정보 이득을 반영할 수 있다.

목적 함수들의 세트 내의 목적 함수를 평가할 포인트는 획득 효용 함수(예로서, 비용 가중 엔트로피 검색 획득 효용 함수)가 그의 최대값에 도달하는 포인트로서(또는 포인트에 대한 근사치로서) 식별될 수 있다. 일부 실시예들에서, 획득 함수가 그의 최대치에 도달하는 포인트는 (예를 들어, 획득 효용 함수가 폐쇄 형태로 이용 가능할 때) 정확히 식별될 수 있다. 그러나, 일부 실시예들에서, 획득 효용 함수가 그의 최대값에 도달하는 포인트는 정확하게 식별되지 못할 수 있으며(예로서, 이는 획득 효용 함수가 폐쇄 형태로 이용되지 못하기 때문이며), 이 경우에 획득 효용 함수가 그의 최대값에 도달하는 포인트는 계산 기술들을 이용하여 식별 또는 근사화될 수 있다. 예를 들어, 비용 가중 엔트로피 검색 획득 효용 함수는 폐쇄 형태로 이용 가능하지 못할 수 있으며, 몬테카를로 기법들(예로서, 거절 샘플링, 중요도 샘플링, 마르코프 체인 몬테카를로 등)을 이용하여, 통합 획득 효용 함수가 그의 최대값에 도달하는 포인트를 식별 또는 근사화할 수 있다.

목적 함수들의 세트 내의 목적 함수를 평가할 포인트는 목적 함수가 그의 최대치에 도달하는 포인트(또는 포인트에 대한 근사치)로 한정되지 않으며, 획득 효용 함수를 이용하여 획득되는 임의의 다른 적절한 포인트(예로서, 획득 효용 함수의 국소 최대, 획득 효용 함수의 국소 또는 전역 최소 등)일 수 있다는 것을 알아야 한다.

목적 함수들의 세트 내의 목적 함수를 평가할 포인트가 단계 704에서 식별된 후, 프로세스(700)는 단계 706으로 진행하며, 여기서 단계 704에서 식별된 포인트에서 평가될 목적 함수가 목적 함수들의 세트로부터 선택된다. 식별된 포인트에서 평가될 목적 함수는 공동 확률 모델에 적어도 부분적으로 기초하여 선택될 수 있다. 하나의 비한정적인 예로서, 평가될 목적 함수는 공동 확률 모델에 따라 식별된 포인트에서 가장 큰 대응하는 값을 생성할 가능성이 가장 큰 목적 함수인 것으로 선택된다.

이어서, 프로세스(700)는 단계 708로 진행하며, 여기서 단계 706에서 선택된 목적 함수가 단계 704에서 식별된 포인트에서 평가된다. 이어서, 프로세스(700)는 단계 710으로 진행하며, 여기서 공동 확률 모델을 단계 708에서 수행된 평가의 결과들에 기초하여 갱신하여, 갱신된 공동 확률 모델을 획득할 수 있다.

공동 확률 모델은 단계 708에서 획득된 새로운 평가의 결과들에 기초하여 임의의 다양한 방식으로 갱신될 수 있다. 예를 들어, 공동 확률 모델의 갱신은 단계 708에서 수행된 평가의 결과들에 기초하여 확률 모델의 하나 이상의 파라미터를 갱신(예로서, 재추정)하는 것을 포함할 수 있다. 하나의 비한정적인 예로서, 공동 확률 모델의 갱신은 복수의 작업 내의 작업들 간의 상관성을 모델링하는 데 사용되는 공동 확률 모델 내의 하나 이상의 파라미터(예로서, 상관성 또는 공분산 커널을 지정하기 위한 하나 이상의 파라미터)를 갱신하는 것을 포함할 수 있다. 다른 비한정적인 예로서, 공동 확률 모델의 갱신은 획득 효용 함수의 하나 이상의 파라미터(예로서, 비용 가중 엔트로피 검색 획득 함수

의 하나 이상의 파라미터)를 갱신하는 것을 포함할 수 있다. 추가로 또는 대안으로서, 공동 확률 모델은 프로세스(400)의 단계 408과 관련하여 설명된 임의의 방식으로 그리고/또는 임의의 다른 적절한 방식으로 갱신될 수 있다.

공동 확률 모델이 단계 710에서 갱신된 후, 프로세스(700)는 결정 블록 712로 진행하며, 여기서 목적 함수들의 세트 내의 임의의 목적 함수가 다른 포인트에서 평가될지를 결정한다. 이러한 결정은 임의의 적절한 방식으로 수행될 수 있다. 예를 들어, 이러한 결정은 프로세스(400)의 결정 블록 410과 관련하여 설명된 임의의 방식으로 목적 함수들의 세트 내의 목적 함수들 각각에 대해 수행될 수 있으며, 목적 함수들 중 어느 하나가 갱신될 것으로 결정되는 경우, 프로세스(700)는 "예" 분기를 통해 단계 704로 복귀하고, 단계 704-710 및 결정 블록 712가 반복된다.

한편, 목적 함수들의 세트 내의 어떠한 목적 함수도 갱신되지 않을 것으로 결정되는 경우, 프로세스(700)는 "아니오" 분기를 통해 단계 714로 진행하며, 여기서 목적 함수들의 세트 내의 하나 이상의 목적 함수의 극값이 식별될 수 있다. 목적 함수들의 세트 내의 목적 함수의 극값은 임의의 적절한 방식으로 발견될 수 있으며, 예를 들어 프로세스(400)의 단계 412와 관련하여 설명된 임의의 방식으로 발견될 수 있다. 하나 이상의 목적 함수의 극값이 단계 714에서 식별된 후, 프로세스(700)가 종료된다.

프로세스(700)는 예시적이며, 프로세스(700)의 많은 변형이 가능하다는 것을 알아야 한다. 예를 들어, 도시된 실시예에서는 소정의 목적 함수를 평가할 포인트가 단계 704에서 먼저 식별되고, 이어서 식별된 포인트에서 평가될 목적 함수가 단계 706에서 선택되었지만, 다른 실시예들에서는 이러한 2개의 단계의 순서가 바뀔 수 있다. 따라서, 일부 실시예들에서, 목적 함수를 평가하기 위한 작업이 먼저 선택되고, 이어서 선택된 작업을 평가할 포인트가 식별될 수 있다.

다른 예로서, 목적 함수들의 공동 확률 모델은 하나 이상의 비선형 맵핑을 이용하여 지정될 수 있으며(예로서, 각각의 작업은 각각의 비선형 맵핑과 관련될 수 있으며), 이는 다양한 문제들에 유용할 수 있다. 예를 들어, 상이한 데이터 세트들에 기초하여 기계 학습 시스템을 훈련시킬 때, 데이터 세트의 크기는 어떤 하이퍼-파라미터 설정들이 기계 학습 시스템의 양호한 성능을 유발할지에 영향을 줄 수 있다. 예를 들어, 작은 데이터 세트를 이용하여 훈련되는 기계 학습 시스템은 동일 기계 학습 시스템이 더 큰 데이터 세트에 기초하여 훈련되는 경우보다 더 많은 정규화를 요구할 수 있다(따라서, 예로서, 정규화의 양을 지시하는 하이퍼-파라미터들은 적은 양 및 많은 양의 데이터에 기초하여 훈련된 기계 학습 시스템들에 대해 상이할 수 있다). 더 일반적으로, 하나의 작업의 입력 공간의 한 부분이 다른 작업의 입력 공간의 다른 부분과 상관될 수 있는 것이 가능하다. 각각의 작업이 (예로서, 단일 작업에 대해 전술한 바와 같이) 그 자신의 각각의 비선형 워핑과 관련되는 것을 가능하게 하는 것은 공동 확률 모델이 그러한 작업간 상관성을 해결하는 것을 가능하게 할 수 있다. 비선형 워핑들과 관련된 파라미터들(예로서, 관련 누적 분포 함수들의 파라미터들 등)의 추정은 작업들을 정지 다중 작업 모델(예로서, 정지 벡터 값 가우시안 프로세스를 이용하여 지정된 다중 작업 모델)에 의해 더 적절하게 모델링되는 공동 정지 공간 내로 워핑할 수 있다.

본 명세서에서 설명되는 기술의 임의의 실시예와 관련하여 사용될 수 있는 컴퓨터 시스템(800)의 예시적인 구현이 도 8에 도시된다. 컴퓨터 시스템(800)은 하나 이상의 프로세서(810), 및 비일시적 컴퓨터 판독 가능 저장 매체(예로서, 메모리(820) 및 하나 이상의 비휘발성 저장 매체(830))를 포함하는 하나 이상의 제조물을 포함할 수 있다. 프로세서(810)는 메모리(820) 및 비휘발성 저장 장치(820)에 데이터를 기록하고 그로부터 데이터를 판독하는 것을 임의의 적절한 방식으로 제어할 수 있는데, 이는 본 명세서에서 설명되는 기술의 양태들이 이와 관련하여 한정되지 않기 때문이다. 본 명세서에서 설명되는 임의의 기능을 수행하기 위해, 프로세서(810)는 프로세서(810)에 의한 실행을 위해 프로세서 실행 가능 명령어들을 저장하는 비일시적 컴퓨터 판독 가능 저장 매체로서 사용될 수 있는 하나 이상의 비일시적 컴퓨터 판독 가능 저장 매체(예로서, 메모리(820)) 내에 저장된 하나 이상의 프로세서 실행 가능 명령어들을 실행할 수 있다.

용어 "프로그램" 또는 "소프트웨어"는 본 명세서에서 일반적인 의미에서 전술한 바와 같은 실시예들의 다양한 양태들을 구현하도록 컴퓨터 또는 다른 프로세서를 프로그래밍하는 데 사용될 수 있는 임의 타입의 컴퓨터 코드 또는 프로세서 실행 가능 명령어들의 세트를 지칭하는 데 사용된다. 게다가, 일 양태에 따르면, 실행될 때 본 명세서에서 설명되는 기술의 방법들을 수행하는 하나 이상의 컴퓨터 프로그램은 단일 컴퓨터 또는 프로세서 상에 상주할 필요가 없으며, 본 명세서에서 설명되는 기술의 다양한 양태들을 구현하도록 상이한 컴퓨터들 또는 프로세서들 사이에 모듈 방식으로 분산될 수 있다는 것을 알아야 한다.

프로세서 실행 가능 명령어들은 하나 이상의 컴퓨터 또는 다른 장치에 의해 실행되는 프로그램 모듈과 같은 많은 형태를 가질 수 있다. 일반적으로, 프로그램 모듈들은 특정 작업들을 수행하거나 특정 추상 데이터 타입들을 구현하는 루틴, 프로그램, 객체, 컴포넌트, 데이터 구조 등을 포함한다. 통상적으로, 프로그램 모듈들의 기능은 다양한 실시예들에서 필요에 따라 결합 또는 분산될 수 있다.

또한, 데이터 구조들은 임의의 적절한 형태로 하나 이상의 비일시적 컴퓨터 판독 가능 저장 매체 내에 저장될 수 있다. 예시의 간소화를 위해, 데이터 구조들은 데이터 구조 내의 위치를 통해 관련되는 필드들을 갖는 것으로 표현될 수 있다. 그러한 관계들은 또한 필드들 간의 관계를 전달하는 비일시적 컴퓨터 판독 가능 매체 내의 위치들을 필드들을 위한 저장에 할당함으로써 달성될 수 있다. 그러나, 포인터들, 태그들, 또는 데이터 요소들 간의 관계들을 설정하는 다른 메커니즘들을 사용하는 것을 포함하는 임의의 적절한 메커니즘을 이용하여 데이터 구조의 필드들 내의 정보 간의 관계들을 설정할 수 있다.

또한, 본 발명의 다양한 개념들은 하나 이상의 프로세스로서 구현될 수 있으며, 이들의 예들(도 4, 6, 7)이 제공되었다. 각각의 프로세스의 일부로서 수행된 단계들은 임의의 적절한 방식으로 배열될 수 있다. 따라서, 도시된 실시예들에서는 순차적인 단계들로서 도시되지만, 일부 단계들을 동시에 수행하는 것을 포함할 수 있는, 도시된 것과 다른 순서로 단계들이 수행되는 실시예들이 구성될 수 있다.

청구항 요소를 수식하기 위해 청구항들에서 "제1", "제2", "제3" 등과 같은 서수 용어들을 사용하는 것은 그 자체만으로는 하나의 청구항 요소의 다른 청구항 요소에 대한 임의의 우선권, 우선순위 또는 순서를 또는 방법의 단계들이 수행되는 시간 순서를 의미하지 않는다. 그러한 용어들은 소정의 명칭을 갖는 하나의 청구항 요소를 동일 명칭을 갖는(그러나 서수 용어의 사용을 위한) 다른 요소로부터 구별하기 위한 라벨들로서 사용될 뿐이다.

본 명세서에서 사용되는 표현 및 용어는 설명을 위한 것이며, 한정으로 간주되지 않아야 한다. "including", "comprising", "having", "containing", "involving" 및 이들의 변형들의 사용은 그 뒤에 열거되는 아이템들 및 추가 아이템들을 포함하는 것을 의도한다.

Claims (80)

1. 복수의 작업 각각과 관련된 복수의 목적 함수를 이용하여 최적화를 수행하는 것과 관련된 사용을 위한 시스템으로서,
   적어도 하나의 컴퓨터 하드웨어 프로세서; 및
   프로세서 실행 가능 명령어들을 저장하는 적어도 하나의 비일시적 컴퓨터 판독 가능 저장 매체
   를 포함하고,
   상기 프로세서 실행 가능 명령어들은, 상기 적어도 하나의 컴퓨터 하드웨어 프로세서에 의해 실행될 때 상기 적어도 하나의 컴퓨터 하드웨어 프로세서로 하여금:
   상기 복수의 목적 함수의 공동 확률 모델(joint probabilistic model)에 적어도 부분적으로 기초하여, 상기 복수의 목적 함수 내의 목적 함수를 평가할 제1 포인트를 식별하고;
   상기 공동 확률 모델에 적어도 부분적으로 기초하여, 상기 식별된 제1 포인트에서 평가할 상기 복수의 목적 함수 내의 제1 목적 함수를 선택하고;
   상기 식별된 제1 포인트에서 상기 제1 목적 함수를 평가하고;
   상기 평가의 결과들에 기초하여 상기 공동 확률 모델을 갱신하여, 갱신된 공동 확률 모델을 획득하는 것을 수행하게 하는 시스템.
2. 제1항에 있어서,
   상기 제1 목적 함수는 기계 학습 시스템의 하이퍼-파라미터들의 값들을 상기 기계 학습 시스템의 성능의 척도를 제공하는 값들과 관련시키는 시스템.
3. 제1항 또는 임의의 다른 선행 청구항에 있어서,
   상기 제1 목적 함수는 이미지들 내의 객체들을 식별하기 위한 신경망의 복수의 하이퍼-파라미터의 값들을 상기 이미지들 내의 상기 객체들의 식별에 있어서의 상기 신경망의 성능의 척도를 제공하는 각각의 값과 관련시키는 시스템.
4. 제1항 또는 임의의 다른 선행 청구항에 있어서,
   상기 프로세서 실행 가능 명령어들은 또한 상기 적어도 하나의 컴퓨터 하드웨어 프로세서로 하여금:
   상기 복수의 목적 함수의 상기 갱신된 공동 확률 모델에 적어도 부분적으로 기초하여, 상기 복수의 목적 함수 내의 목적 함수를 평가할 제2 포인트를 식별하고;
   상기 공동 확률 모델에 적어도 부분적으로 기초하여, 상기 식별된 제1 포인트에서 평가할 상기 복수의 목적 함수 내의 제2 목적 함수를 선택하고;
   상기 식별된 제1 포인트에서 상기 제2 목적 함수를 평가하는 것을 수행하게 하는 시스템.
5. 제4항 또는 임의의 다른 선행 청구항에 있어서,
   상기 제1 목적 함수는 상기 제2 목적 함수와 다른 시스템.
6. 제1항 또는 임의의 다른 선행 청구항에 있어서,
   상기 복수의 목적 함수의 상기 공동 확률 모델은 상기 복수의 작업 내의 작업들 간의 상관성을 모델링하는 시스템.
7. 제1항 또는 임의의 다른 선행 청구항에 있어서,
   상기 복수의 목적 함수의 상기 공동 확률 모델은 벡터 값 가우시안 프로세스(vector-valued Gaussian process)를 포함하는 시스템.
8. 제1항 또는 임의의 다른 선행 청구항에 있어서,
   상기 공동 확률 모델은 상기 복수의 작업 내의 작업들 간의 상관성을 모델링하는 제1 공분산 커널(covariance kernel) 및 상기 복수의 목적 함수 내의 목적 함수들이 평가될 수 있는 포인트들 간의 상관성을 모델링하는 제2 공분산 커널에 적어도 부분적으로 기초하여 획득되는 공분산 커널을 포함하는 시스템.
9. 제1항 또는 임의의 다른 선행 청구항에 있어서,
   상기 식별은 비용 가중 엔트로피 검색 효용 함수(cost-weighted entropy-search utility function)에 더 기초하여 수행되는 시스템.
10. 복수의 작업 각각과 관련된 복수의 목적 함수를 이용하여 최적화를 수행하는 것과 관련된 사용을 위한 방법으로서,
    적어도 하나의 컴퓨터 하드웨어 프로세서를 이용하여:
    상기 복수의 목적 함수의 공동 확률 모델에 적어도 부분적으로 기초하여, 상기 복수의 목적 함수 내의 목적 함수를 평가할 제1 포인트를 식별하고,
    상기 공동 확률 모델에 적어도 부분적으로 기초하여, 상기 식별된 제1 포인트에서 평가할 상기 복수의 목적 함수 내의 제1 목적 함수를 선택하고,
    상기 식별된 제1 포인트에서 상기 제1 목적 함수를 평가하고,
    상기 평가의 결과들에 기초하여 상기 공동 확률 모델을 갱신하여, 갱신된 공동 확률 모델을 획득하는 것
    을 수행하는 단계
    를 포함하는 방법.
11. 제10항 또는 임의의 다른 선행 청구항에 있어서,
    상기 제1 목적 함수는 기계 학습 시스템의 하이퍼-파라미터들의 값들을 상기 기계 학습 시스템의 성능의 척도를 제공하는 값들과 관련시키는 방법.
12. 제10항 또는 임의의 다른 선행 청구항에 있어서,
    상기 복수의 목적 함수의 상기 갱신된 공동 확률 모델에 적어도 부분적으로 기초하여, 상기 복수의 목적 함수 내의 목적 함수를 평가할 제2 포인트를 식별하는 단계;
    상기 공동 확률 모델에 적어도 부분적으로 기초하여, 상기 식별된 제1 포인트에서 평가할 상기 복수의 목적 함수 내의 제2 목적 함수를 선택하는 단계; 및
    상기 식별된 제1 포인트에서 상기 제2 목적 함수를 평가하는 단계
    를 더 포함하는 방법.
13. 제10항 또는 임의의 다른 선행 청구항에 있어서,
    상기 복수의 목적 함수의 상기 공동 확률 모델은 상기 복수의 작업 내의 작업들 간의 상관성을 모델링하는 방법.
14. 제10항 또는 임의의 다른 선행 청구항에 있어서,
    상기 복수의 목적 함수의 상기 공동 확률 모델은 벡터 값 가우시안 프로세스를 포함하는 방법.
15. 제10항 또는 임의의 다른 선행 청구항에 있어서,
    상기 공동 확률 모델은 상기 복수의 작업 내의 작업들 간의 상관성을 모델링하는 제1 공분산 커널 및 상기 복수의 목적 함수 내의 목적 함수들이 평가될 수 있는 포인트들 간의 상관성을 모델링하는 제2 공분산 커널에 적어도 부분적으로 기초하여 획득되는 공분산 커널을 포함하는 방법.
16. 적어도 하나의 컴퓨터 하드웨어 프로세서에 의해 실행될 때 상기 적어도 하나의 컴퓨터 하드웨어 프로세서로 하여금 복수의 작업 각각과 관련된 복수의 목적 함수를 이용하여 최적화를 수행하는 것과 관련된 사용을 위한 방법을 수행하게 하는 프로세서 실행 가능 명령어들을 저장하는 적어도 하나의 비일시적 컴퓨터 판독 가능 저장 매체로서,
    상기 방법은,
    상기 복수의 목적 함수의 공동 확률 모델에 적어도 부분적으로 기초하여, 상기 복수의 목적 함수 내의 목적 함수를 평가할 제1 포인트를 식별하는 단계;
    상기 공동 확률 모델에 적어도 부분적으로 기초하여, 상기 식별된 제1 포인트에서 평가할 상기 복수의 목적 함수 내의 제1 목적 함수를 선택하는 단계;
    상기 식별된 제1 포인트에서 상기 제1 목적 함수를 평가하는 단계; 및
    상기 평가의 결과들에 기초하여 상기 공동 확률 모델을 갱신하여, 갱신된 공동 확률 모델을 획득하는 단계
    를 포함하는 적어도 하나의 비일시적 컴퓨터 판독 가능 저장 매체.
17. 제16항 또는 임의의 다른 선행 청구항에 있어서,
    상기 제1 목적 함수는 기계 학습 시스템의 하이퍼-파라미터들의 값들을 상기 기계 학습 시스템의 성능의 척도를 제공하는 값들과 관련시키는 적어도 하나의 비일시적 컴퓨터 판독 가능 저장 매체.
18. 제16항 또는 임의의 다른 선행 청구항에 있어서,
    상기 프로세서 실행 가능 명령어들은 상기 적어도 하나의 컴퓨터 하드웨어 프로세서로 하여금:
    상기 복수의 목적 함수의 상기 갱신된 공동 확률 모델에 적어도 부분적으로 기초하여, 상기 복수의 목적 함수 내의 목적 함수를 평가할 제2 포인트를 식별하는 단계;
    상기 공동 확률 모델에 적어도 부분적으로 기초하여, 상기 식별된 제1 포인트에서 평가할 상기 복수의 목적 함수 내의 제2 목적 함수를 선택하는 단계; 및
    상기 식별된 제1 포인트에서 상기 제2 목적 함수를 평가하는 단계
    를 더 수행하게 하는 적어도 하나의 비일시적 컴퓨터 판독 가능 저장 매체.
19. 제16항 또는 임의의 다른 선행 청구항에 있어서,
    상기 복수의 목적 함수의 상기 공동 확률 모델은 벡터 값 가우시안 프로세스를 포함하는 적어도 하나의 비일시적 컴퓨터 판독 가능 저장 매체.
20. 제16항 또는 임의의 다른 선행 청구항에 있어서,
    상기 공동 확률 모델은 상기 복수의 작업 내의 작업들 간의 상관성을 모델링하는 제1 공분산 커널 및 상기 복수의 목적 함수 내의 목적 함수들이 평가될 수 있는 포인트들 간의 상관성을 모델링하는 제2 공분산 커널에 적어도 부분적으로 기초하여 획득되는 공분산 커널을 포함하는 적어도 하나의 비일시적 컴퓨터 판독 가능 저장 매체.
21. 제1 도메인 내의 요소들을 일정 범위 내의 값들로 맵핑하는 목적 함수를 이용하여 최적화를 수행하는 것과 관련된 사용을 위한 시스템으로서,
    적어도 하나의 컴퓨터 하드웨어 프로세서; 및
    프로세서 실행 가능 명령어들을 저장하는 적어도 하나의 비일시적 컴퓨터 판독 가능 저장 매체
    를 포함하고,
    상기 프로세서 실행 가능 명령어들은, 상기 적어도 하나의 컴퓨터 하드웨어 프로세서에 의해 실행될 때 상기 적어도 하나의 컴퓨터 하드웨어 프로세서로 하여금:
    획득 효용 함수(acquisition utility function) 및 상기 목적 함수의 확률 모델을 적어도 부분적으로 이용하여 상기 목적 함수를 평가할 제1 포인트를 식별하는 단계 - 상기 확률 모델은 상기 제1 도메인 내의 요소들의 제2 도메인 내의 요소들로의 비선형 일대일 맵핑에 의존함 -;
    상기 식별된 제1 포인트에서 상기 목적 함수를 평가하여 상기 목적 함수의 대응하는 제1 값을 획득하는 단계; 및
    상기 제1 값을 이용하여 상기 목적 함수의 상기 확률 모델을 갱신하여, 상기 목적 함수의 갱신된 확률 모델을 획득하는 단계
    를 수행하게 하는 시스템.
22. 제21항 또는 임의의 다른 선행 청구항에 있어서,
    상기 목적 함수는 기계 학습 시스템의 하이퍼-파라미터들의 값들을 상기 기계 학습 시스템의 성능의 척도를 제공하는 값들과 관련시키는 시스템.
23. 제21항 또는 임의의 다른 선행 청구항에 있어서,
    상기 목적 함수는 이미지들 내의 객체들을 식별하기 위한 신경망의 복수의 하이퍼-파라미터의 값들을 상기 이미지들 내의 상기 객체들의 식별에 있어서의 상기 신경망의 성능의 척도를 제공하는 각각의 값과 관련시키는 시스템.
24. 제21항 또는 임의의 다른 선행 청구항에 있어서,
    상기 프로세서 실행 가능 명령어들은 상기 적어도 하나의 컴퓨터 하드웨어 프로세서로 하여금:
    상기 목적 함수를 평가할 제2 포인트를 식별하는 단계;
    상기 식별된 제2 포인트에서 상기 목적 함수를 평가하여, 상기 목적 함수의 대응하는 제2 값을 획득하는 단계; 및
    상기 제2 값을 이용하여 상기 목적 함수의 상기 갱신된 확률 모델을 갱신하여, 상기 목적 함수의 제2의 갱신된 확률 모델을 획득하는 단계
    를 더 수행하게 하는 시스템.
25. 제21항 또는 임의의 다른 선행 청구항에 있어서,
    상기 비선형 일대일 맵핑은 전단사(bijection)인 시스템.
26. 제25항 또는 임의의 다른 선행 청구항에 있어서,
    상기 비선형 일대일 맵핑은 베타 분포의 누적 분포 함수를 포함하는 시스템.
27. 제21항 또는 임의의 다른 선행 청구항에 있어서,
    상기 획득 효용 함수는 통합 획득 효용 함수인 시스템.
28. 제21항 또는 임의의 다른 선행 청구항에 있어서,
    상기 목적 함수의 상기 확률 모델은 적어도 부분적으로는 가우시안 프로세스 또는 신경망을 이용하여 획득되는 시스템.
29. 제1 도메인 내의 요소들을 일정 범위 내의 값들로 맵핑하는 목적 함수를 이용하여 최적화를 수행하는 것과 관련된 사용을 위한 방법으로서,
    적어도 하나의 컴퓨터 하드웨어 프로세서를 이용하여:
    획득 효용 함수 및 상기 목적 함수의 확률 모델을 적어도 부분적으로 이용하여 상기 목적 함수를 평가할 제1 포인트를 식별하고 - 상기 확률 모델은 상기 제1 도메인 내의 요소들의 제2 도메인 내의 요소들로의 비선형 일대일 맵핑에 의존함 -,
    상기 식별된 제1 포인트에서 상기 목적 함수를 평가하여 상기 목적 함수의 대응하는 제1 값을 획득하고,
    상기 제1 값을 이용하여 상기 목적 함수의 상기 확률 모델을 갱신하여, 상기 목적 함수의 갱신된 확률 모델을 획득하는 것
    을 수행하는 단계
    를 포함하는 방법.
30. 제29항 또는 임의의 다른 선행 청구항에 있어서,
    상기 목적 함수는 기계 학습 시스템의 하이퍼-파라미터들의 값들을 상기 기계 학습 시스템의 성능의 척도를 제공하는 값들과 관련시키는 방법.
31. 제29항 또는 임의의 다른 선행 청구항에 있어서,
    상기 목적 함수는 이미지들 내의 객체들을 식별하기 위한 신경망의 복수의 하이퍼-파라미터의 값들을 상기 이미지들 내의 상기 객체들의 식별에 있어서의 상기 신경망의 성능의 척도를 제공하는 각각의 값과 관련시키는 방법.
32. 제29항 또는 임의의 다른 선행 청구항에 있어서,
    상기 프로세서 실행 가능 명령어들은 상기 적어도 하나의 컴퓨터 하드웨어 프로세서로 하여금:
    상기 목적 함수를 평가할 제2 포인트를 식별하는 단계;
    상기 식별된 제2 포인트에서 상기 목적 함수를 평가하여, 상기 목적 함수의 대응하는 제2 값을 획득하는 단계; 및
    상기 제2 값을 이용하여 상기 목적 함수의 상기 갱신된 확률 모델을 갱신하여, 상기 목적 함수의 제2의 갱신된 확률 모델을 획득하는 단계
    를 더 수행하게 하는 방법.
33. 제29항 또는 임의의 다른 선행 청구항에 있어서,
    상기 비선형 일대일 맵핑은 전단사인 방법.
34. 제33항 또는 임의의 다른 선행 청구항에 있어서,
    상기 비선형 일대일 맵핑은 베타 분포의 누적 분포 함수를 포함하는 방법.
35. 제34항 또는 임의의 다른 선행 청구항에 있어서,
    상기 획득 효용 함수는 통합 획득 효용 함수인 방법.
36. 적어도 하나의 컴퓨터 하드웨어 프로세서에 의해 실행될 때, 상기 적어도 하나의 컴퓨터 하드웨어 프로세서로 하여금, 제1 도메인 내의 요소들을 일정 범위 내의 값들로 맵핑하는 목적 함수를 이용하여 최적화를 수행하는 것과 관련된 사용을 위한 방법을 수행하게 하는 프로세서 실행 가능 명령어들을 저장하는 적어도 하나의 비일시적 컴퓨터 판독 가능 저장 매체로서,
    상기 방법은,
    획득 효용 함수 및 상기 목적 함수의 확률 모델을 적어도 부분적으로 이용하여 상기 목적 함수를 평가할 제1 포인트를 식별하는 단계 - 상기 확률 모델은 상기 제1 도메인 내의 요소들의 제2 도메인 내의 요소들로의 비선형 일대일 맵핑에 의존함 -; 및
    상기 식별된 제1 포인트에서 상기 목적 함수를 평가하여 상기 목적 함수의 대응하는 제1 값을 획득하는 단계
    를 포함하는 적어도 하나의 비일시적 컴퓨터 판독 가능 저장 매체.
37. 제36항 또는 임의의 다른 선행 청구항에 있어서,
    상기 목적 함수는 기계 학습 시스템의 하이퍼-파라미터들의 값들을 상기 기계 학습 시스템의 성능의 척도를 제공하는 값들과 관련시키는 적어도 하나의 비일시적 컴퓨터 판독 가능 저장 매체.
38. 제36항 또는 임의의 다른 선행 청구항에 있어서,
    상기 프로세서 실행 가능 명령어들은 상기 적어도 하나의 컴퓨터 하드웨어 프로세서로 하여금:
    상기 목적 함수를 평가할 제2 포인트를 식별하는 단계;
    상기 식별된 제2 포인트에서 상기 목적 함수를 평가하여, 상기 목적 함수의 대응하는 제2 값을 획득하는 단계; 및
    상기 제2 값을 이용하여 상기 목적 함수의 상기 갱신된 확률 모델을 갱신하여, 상기 목적 함수의 제2의 갱신된 확률 모델을 획득하는 단계
    를 더 수행하게 하는 적어도 하나의 비일시적 컴퓨터 판독 가능 저장 매체.
39. 제36항 또는 임의의 다른 선행 청구항에 있어서,
    상기 비선형 일대일 맵핑은 전단사인 적어도 하나의 비일시적 컴퓨터 판독 가능 저장 매체.
40. 제36항 또는 임의의 다른 선행 청구항에 있어서,
    상기 비선형 일대일 맵핑은 베타 분포의 누적 분포 함수를 포함하는 적어도 하나의 비일시적 컴퓨터 판독 가능 저장 매체.
41. 목적 함수를 이용하여 최적화를 수행하는 것과 관련된 사용을 위한 시스템으로서,
    적어도 하나의 컴퓨터 하드웨어 프로세서; 및
    프로세서 실행 가능 명령어들을 저장하는 적어도 하나의 비일시적 컴퓨터 판독 가능 저장 매체
    를 포함하고,
    상기 프로세서 실행 가능 명령어들은, 상기 적어도 하나의 컴퓨터 하드웨어 프로세서에 의해 실행될 때 상기 적어도 하나의 컴퓨터 하드웨어 프로세서로 하여금:
    통합 획득 효용 함수, 및 상기 목적 함수의 확률 모델을 이용하여, 적어도, 상기 목적 함수를 평가할 제1 포인트를 식별하는 단계;
    적어도 상기 식별된 제1 포인트에서 상기 목적 함수를 평가하는 단계; 및
    상기 평가의 결과들을 이용하여 상기 목적 함수의 상기 확률 모델을 갱신하여, 상기 목적 함수의 갱신된 확률 모델을 획득하는 단계
    를 수행하게 하는 시스템.
42. 제41항 또는 임의의 다른 선행 청구항에 있어서,
    상기 목적 함수는 기계 학습 시스템의 하이퍼-파라미터들의 값들을 상기 기계 학습 시스템의 성능의 척도를 제공하는 값들과 관련시키는 시스템.
43. 제42항 또는 임의의 다른 선행 청구항에 있어서,
    상기 목적 함수는 이미지들 내의 객체들을 식별하기 위한 신경망의 복수의 하이퍼-파라미터의 값들을 상기 이미지들 내의 상기 객체들의 식별에 있어서의 상기 신경망의 성능의 척도를 제공하는 각각의 값과 관련시키는 시스템.
44. 제41항 또는 임의의 다른 선행 청구항에 있어서,
    상기 프로세서 실행 가능 명령어들은 상기 적어도 하나의 컴퓨터 하드웨어 프로세서로 하여금:
    상기 통합 획득 효용 함수, 및 상기 목적 함수의 상기 갱신된 확률 모델을 이용하여, 적어도, 상기 목적 함수를 평가할 제2 포인트를 식별하는 단계; 및
    적어도 상기 식별된 제2 포인트에서 목적 함수를 평가하는 단계
    를 더 수행하게 하는 시스템.
45. 제41항 또는 임의의 다른 선행 청구항에 있어서,
    상기 확률 모델은 적어도 하나의 파라미터를 가지며, 상기 통합 획득 효용 함수는 적어도 부분적으로는 상기 확률 모델의 상기 적어도 하나의 파라미터에 관하여 초기 획득 효용 함수를 적분함으로써 획득되는 시스템.
46. 제45항 또는 임의의 다른 선행 청구항에 있어서,
    상기 초기 획득 효용 함수는 개선 확률 효용 함수(probability of improvement utility function), 예상 개선 효용 함수(expected improvement utility function), 후회 최소화 효용 함수(regret minimization utility function) 및 엔트로피 기반 효용 함수(entropy-based utility function)로 구성되는 그룹으로부터 선택되는 획득 효용 함수인 시스템.
47. 제41항 또는 임의의 다른 선행 청구항에 있어서,
    상기 목적 함수의 상기 확률 모델은 가우시안 프로세스 또는 신경망을 포함하는 시스템.
48. 제41항 또는 임의의 다른 선행 청구항에 있어서,
    상기 식별은 적어도 부분적으로는 마르코프 체인 몬테카를로 기법(Markov chain Monte Carlo technique)을 이용하여 수행되는 시스템.
49. 제41항 또는 임의의 다른 선행 청구항에 있어서,
    상기 프로세서 실행 가능 명령어들은 상기 적어도 하나의 컴퓨터 하드웨어 프로세서로 하여금:
    상기 목적 함수를 평가할 복수의 포인트를 식별하는 단계;
    상기 복수의 포인트 각각에서 상기 목적 함수를 평가하는 단계; 및
    상기 평가의 결과들에 기초하여, 상기 목적 함수가 최대값에 도달하는 포인트를 식별 또는 근사화하는 단계
    를 더 수행하게 하는 시스템.
50. 목적 함수를 이용하여 최적화를 수행하는 것과 관련된 사용을 위한 방법으로서,
    적어도 하나의 컴퓨터 하드웨어 프로세서를 이용하여:
    통합 획득 효용 함수, 및 상기 목적 함수의 확률 모델을 이용하여, 적어도, 상기 목적 함수를 평가할 제1 포인트를 식별하고,
    적어도 상기 식별된 제1 포인트에서 상기 목적 함수를 평가하고,
    상기 평가의 결과들을 이용하여 상기 목적 함수의 상기 확률 모델을 갱신하여, 상기 목적 함수의 갱신된 확률 모델을 획득하는 것
    을 수행하는 단계
    를 포함하는 방법.
51. 제50항 또는 임의의 다른 선행 청구항에 있어서,
    상기 목적 함수는 기계 학습 시스템의 하이퍼-파라미터들의 값들을 상기 기계 학습 시스템의 성능의 척도를 제공하는 값들과 관련시키는 방법.
52. 제50항 또는 임의의 다른 선행 청구항에 있어서,
    상기 프로세서 실행 가능 명령어들은 상기 적어도 하나의 컴퓨터 하드웨어 프로세서로 하여금:
    상기 통합 획득 효용 함수, 및 상기 목적 함수의 상기 갱신된 확률 모델을 이용하여, 적어도, 상기 목적 함수를 평가할 제2 포인트를 식별하는 단계; 및
    적어도 상기 식별된 제2 포인트에서 목적 함수를 평가하는 단계
    를 더 수행하게 하는 방법.
53. 제50항 또는 임의의 다른 선행 청구항에 있어서,
    상기 목적 함수의 상기 확률 모델은 가우시안 프로세스 또는 신경망을 포함하는 방법.
54. 제50항 또는 임의의 다른 선행 청구항에 있어서,
    상기 식별은 적어도 부분적으로는 마르코프 체인 몬테카를로 기법을 이용하여 수행되는 방법.
55. 제50항 또는 임의의 다른 선행 청구항에 있어서,
    상기 프로세서 실행 가능 명령어들은 상기 적어도 하나의 컴퓨터 하드웨어 프로세서로 하여금:
    상기 목적 함수를 평가할 복수의 포인트를 식별하는 단계;
    상기 복수의 포인트 각각에서 상기 목적 함수를 평가하는 단계; 및
    상기 평가의 결과들에 기초하여, 상기 목적 함수가 최대값에 도달하는 포인트를 식별 또는 근사화하는 단계
    를 더 수행하게 하는 방법.
56. 적어도 하나의 컴퓨터 하드웨어 프로세서에 의해 실행될 때, 상기 적어도 하나의 컴퓨터 하드웨어 프로세서로 하여금, 목적 함수를 이용하여 최적화를 수행하는 것과 관련된 사용을 위한 방법을 수행하게 하는 프로세서 실행 가능 명령어들을 저장하는 적어도 하나의 비일시적 컴퓨터 판독 가능 저장 매체로서,
    상기 방법은,
    통합 획득 효용 함수, 및 상기 목적 함수의 확률 모델을 이용하여, 적어도, 상기 목적 함수를 평가할 제1 포인트를 식별하는 단계;
    적어도 상기 식별된 제1 포인트에서 상기 목적 함수를 평가하는 단계; 및
    상기 평가의 결과들을 이용하여 상기 목적 함수의 상기 확률 모델을 갱신하여, 상기 목적 함수의 갱신된 확률 모델을 획득하는 단계
    를 포함하는 적어도 하나의 비일시적 컴퓨터 판독 가능 저장 매체.
57. 제56항 또는 임의의 다른 선행 청구항에 있어서,
    상기 목적 함수는 기계 학습 시스템의 하이퍼-파라미터들의 값들을 상기 기계 학습 시스템의 성능의 척도를 제공하는 값들과 관련시키는 적어도 하나의 비일시적 컴퓨터 판독 가능 저장 매체.
58. 제56항 또는 임의의 다른 선행 청구항에 있어서,
    상기 프로세서 실행 가능 명령어들은 상기 적어도 하나의 컴퓨터 하드웨어 프로세서로 하여금:
    상기 통합 획득 효용 함수, 및 상기 목적 함수의 상기 갱신된 확률 모델을 이용하여, 적어도, 상기 목적 함수를 평가할 제2 포인트를 식별하는 단계; 및
    적어도 상기 식별된 제2 포인트에서 목적 함수를 평가하는 단계
    를 더 수행하게 하는 적어도 하나의 비일시적 컴퓨터 판독 가능 저장 매체.
59. 제56항 또는 임의의 다른 선행 청구항에 있어서,
    상기 목적 함수의 상기 확률 모델은 가우시안 프로세스 또는 신경망을 포함하는 적어도 하나의 비일시적 컴퓨터 판독 가능 저장 매체.
60. 제56항 또는 임의의 다른 선행 청구항에 있어서,
    상기 식별은 적어도 부분적으로는 마르코프 체인 몬테카를로 기법을 이용하여 수행되는 적어도 하나의 비일시적 컴퓨터 판독 가능 저장 매체.
61. 목적 함수를 이용하여 최적화를 수행하는 것과 관련된 사용을 위한 시스템으로서,
    적어도 하나의 컴퓨터 하드웨어 프로세서; 및
    프로세서 실행 가능 명령어들을 저장하는 적어도 하나의 비일시적 컴퓨터 판독 가능 저장 매체
    를 포함하고,
    상기 프로세서 실행 가능 명령어들은, 상기 적어도 하나의 컴퓨터 하드웨어 프로세서에 의해 실행될 때 상기 적어도 하나의 컴퓨터 하드웨어 프로세서로 하여금:
    제1 포인트에서 상기 목적 함수의 평가를 개시하는 단계;
    상기 제1 포인트에서의 상기 목적 함수의 평가가 완료되기 전에:
    상기 제1 포인트에서의 상기 목적 함수의 평가의 잠재적 결과들의 가능성들에 기초하여, 상기 목적 함수를 평가할 상기 제1 포인트와 다른 제2 포인트를 식별하는 단계; 및
    상기 제2 포인트에서 상기 목적 함수의 평가를 개시하는 단계
    를 수행하게 하는 시스템.
62. 제61항 또는 임의의 다른 선행 청구항에 있어서,
    상기 목적 함수는 기계 학습 시스템의 하이퍼-파라미터들의 값들을 상기 기계 학습 시스템의 성능의 척도를 제공하는 값들과 관련시키는 시스템.
63. 제61항 또는 임의의 다른 선행 청구항에 있어서,
    상기 목적 함수는 이미지들 내의 객체들을 식별하기 위한 신경망의 복수의 하이퍼-파라미터의 값들을 상기 이미지들 내의 상기 객체들의 식별에 있어서의 상기 신경망의 성능의 척도를 제공하는 각각의 값과 관련시키는 시스템.
64. 제61항 또는 임의의 다른 선행 청구항에 있어서,
    상기 적어도 하나의 컴퓨터 하드웨어 프로세서는 제1 컴퓨터 하드웨어 프로세서 및 상기 제1 컴퓨터 하드웨어 프로세서와 다른 제2 컴퓨터 하드웨어 프로세서를 포함하고,
    상기 프로세서 실행 가능 명령어들은
    적어도 상기 제1 컴퓨터 하드웨어 프로세서로 하여금, 상기 제1 포인트에서 상기 목적 함수의 평가를 수행하게 하고;
    적어도 상기 제2 컴퓨터 하드웨어 프로세서로 하여금, 상기 제2 포인트에서 상기 목적 함수의 평가를 수행하게 하는 시스템.
65. 제61항 또는 임의의 다른 선행 청구항에 있어서,
    상기 식별하는 단계는 적어도 부분적으로는 상기 제1 포인트에서의 상기 목적 함수의 잠재 값들에 관하여 초기 획득 효용 함수의 예상 값을 계산함으로써 획득되는 획득 효용 함수를 이용하는 단계를 포함하는 시스템.
66. 제61항 또는 임의의 다른 선행 청구항에 있어서,
    상기 가능성들은 상기 목적 함수의 확률 모델을 이용하여 획득되며,
    상기 프로세서 실행 가능 명령어들은 상기 적어도 하나의 컴퓨터 하드웨어 프로세서로 하여금, 상기 제1 포인트 및/또는 상기 제2 포인트에서의 상기 목적 함수의 평가의 결과들을 이용하여 상기 목적 함수의 상기 확률 모델을 갱신하여, 상기 목적 함수의 갱신된 확률 모델을 획득하는 단계를 더 수행하게 하는 시스템.
67. 제66항 또는 임의의 다른 선행 청구항에 있어서,
    상기 프로세서 실행 가능 명령어들은 상기 적어도 하나의 컴퓨터 하드웨어 프로세서로 하여금,
    상기 목적 함수의 상기 갱신된 확률 모델을 이용하여, 적어도, 상기 목적 함수를 평가할 제3 포인트를 식별하는 단계; 및
    적어도 상기 식별된 제3 포인트에서 상기 목적 함수의 평가를 개시하는 단계
    를 더 수행하게 하는 시스템.
68. 제66항 또는 임의의 다른 선행 청구항에 있어서,
    상기 목적 함수의 상기 확률 모델은 가우시안 프로세스 또는 신경망을 포함하는 시스템.
69. 목적 함수를 이용하여 최적화를 수행하는 것과 관련된 사용을 위한 방법으로서,
    적어도 하나의 컴퓨터 하드웨어 프로세서를 이용하여:
    제1 포인트에서 상기 목적 함수의 평가를 개시하고,
    상기 제1 포인트에서의 상기 목적 함수의 평가가 완료되기 전에:
    상기 제1 포인트에서의 상기 목적 함수의 평가의 잠재적 결과들의 가능성들에 기초하여, 상기 목적 함수를 평가할 상기 제1 포인트와 다른 제2 포인트를 식별하고,
    상기 제2 포인트에서 상기 목적 함수의 평가를 개시하는 것
    을 수행하는 단계
    를 포함하는 방법.
70. 제69항 또는 임의의 다른 선행 청구항에 있어서,
    상기 목적 함수는 기계 학습 시스템의 하이퍼-파라미터들의 값들을 상기 기계 학습 시스템의 성능의 척도를 제공하는 값들과 관련시키는 방법.
71. 제69항 또는 임의의 다른 선행 청구항에 있어서,
    상기 목적 함수는 이미지들 내의 객체들을 식별하기 위한 신경망의 복수의 하이퍼-파라미터의 값들을 상기 이미지들 내의 상기 객체들의 식별에 있어서의 상기 신경망의 성능의 척도를 제공하는 각각의 값과 관련시키는 방법.
72. 제69항 또는 임의의 다른 선행 청구항에 있어서,
    상기 적어도 하나의 컴퓨터 하드웨어 프로세서는 제1 컴퓨터 하드웨어 프로세서 및 상기 제1 컴퓨터 하드웨어 프로세서와 다른 제2 컴퓨터 하드웨어 프로세서를 포함하고,
    상기 방법은
    적어도 상기 제1 컴퓨터 하드웨어 프로세서를 이용하여, 상기 제1 포인트에서 상기 목적 함수의 평가를 수행하는 단계; 및
    적어도 상기 제2 컴퓨터 하드웨어 프로세서를 이용하여, 상기 제2 포인트에서 상기 목적 함수의 평가를 수행하는 단계
    를 포함하는 방법.
73. 제69항 또는 임의의 다른 선행 청구항에 있어서,
    상기 식별하는 단계는 적어도 부분적으로는 상기 제1 포인트에서의 상기 목적 함수의 잠재 값들에 관하여 초기 획득 효용 함수의 예상 값을 계산함으로써 획득되는 획득 효용 함수를 이용하는 단계를 포함하는 방법.
74. 제69항 또는 임의의 다른 선행 청구항에 있어서,
    상기 가능성들은 상기 목적 함수의 확률 모델을 이용하여 획득되며,
    상기 방법은 상기 제1 포인트 및/또는 상기 제2 포인트에서의 상기 목적 함수의 평가의 결과들을 이용하여 상기 목적 함수의 상기 확률 모델을 갱신하여, 상기 목적 함수의 갱신된 확률 모델을 획득하는 단계를 더 포함하는 방법.
75. 적어도 하나의 컴퓨터 하드웨어 프로세서에 의해 실행될 때 상기 적어도 하나의 컴퓨터 하드웨어 프로세서로 하여금, 목적 함수를 이용하여 최적화를 수행하는 것과 관련된 사용을 위한 방법을 수행하게 하는 프로세서 실행 가능 명령어들을 저장하는 적어도 하나의 비일시적 컴퓨터 판독 가능 저장 매체로서,
    상기 방법은,
    제1 포인트에서 상기 목적 함수의 평가를 개시하는 단계;
    상기 제1 포인트에서의 상기 목적 함수의 평가가 완료되기 전에:
    상기 제1 포인트에서의 상기 목적 함수의 평가의 잠재적 결과들의 가능성들에 기초하여, 상기 목적 함수를 평가할 상기 제1 포인트와 다른 제2 포인트를 식별하는 단계; 및
    상기 제2 포인트에서 상기 목적 함수의 평가를 개시하는 단계
    를 포함하는 적어도 하나의 비일시적 컴퓨터 판독 가능 저장 매체.
76. 제75항 또는 임의의 다른 선행 청구항에 있어서,
    상기 목적 함수는 기계 학습 시스템의 하이퍼-파라미터들의 값들을 상기 기계 학습 시스템의 성능의 척도를 제공하는 값들과 관련시키는 적어도 하나의 비일시적 컴퓨터 판독 가능 저장 매체.
77. 제75항 또는 임의의 다른 선행 청구항에 있어서,
    상기 목적 함수는 이미지들 내의 객체들을 식별하기 위한 신경망의 복수의 하이퍼-파라미터의 값들을 상기 이미지들 내의 상기 객체들의 식별에 있어서의 상기 신경망의 성능의 척도를 제공하는 각각의 값과 관련시키는 적어도 하나의 비일시적 컴퓨터 판독 가능 저장 매체.
78. 제75항 또는 임의의 다른 선행 청구항에 있어서,
    상기 적어도 하나의 컴퓨터 하드웨어 프로세서는 제1 컴퓨터 하드웨어 프로세서 및 상기 제1 컴퓨터 하드웨어 프로세서와 다른 제2 컴퓨터 하드웨어 프로세서를 포함하고,
    상기 프로세서 실행 가능 명령어들은,
    적어도 상기 제1 컴퓨터 하드웨어 프로세서로 하여금, 상기 제1 포인트에서 상기 목적 함수의 평가를 수행하게 하고;
    적어도 상기 제2 컴퓨터 하드웨어 프로세서로 하여금, 상기 제2 포인트에서 상기 목적 함수의 평가를 수행하게 하는 적어도 하나의 비일시적 컴퓨터 판독 가능 저장 매체.
79. 제75항 또는 임의의 다른 선행 청구항에 있어서,
    상기 식별하는 단계는 적어도 부분적으로는 상기 제1 포인트에서의 상기 목적 함수의 잠재 값들에 관하여 초기 획득 효용 함수의 예상 값을 계산함으로써 획득되는 획득 효용 함수를 이용하는 단계를 포함하는 적어도 하나의 비일시적 컴퓨터 판독 가능 저장 매체.
80. 제75항 또는 임의의 다른 선행 청구항에 있어서,
    상기 가능성들은 상기 목적 함수의 확률 모델을 이용하여 획득되며,
    상기 프로세서 실행 가능 명령어들은 상기 적어도 하나의 컴퓨터 하드웨어 프로세서로 하여금 상기 제1 포인트 및/또는 상기 제2 포인트에서의 상기 목적 함수의 평가의 결과들을 이용하여 상기 목적 함수의 상기 확률 모델을 갱신하여, 상기 목적 함수의 갱신된 확률 모델을 획득하는 단계를 더 수행하게 하는 적어도 하나의 비일시적 컴퓨터 판독 가능 저장 매체.

Images