KR20210050593A - 태스크 할당 시스템에서 페어링 전략들을 벤치마킹하기 위한 기술들 - Google Patents

Abstract

태스크 할당 시스템에서 페어링 전략들을 벤치마킹하기 위한 기술들이 개시된다. 하나의 특정 실시예에서, 기술들은 태스크 할당 시스템에서 페어링 전략들을 벤치마킹하기 위한 방법으로서 실현될 수 있으며, 방법은 제1 기간 동안 제1 및 제2 페어링 전략을 각각 사용하여 페어링되는 제1 및 제2 복수의 이력 태스크 할당들을 결정하는 단계; 제1 기간 후의 제2 기간 동안 제1 복수의 이력 태스크 할당들 및 제2 복수의 이력 태스크 할당들의 각각의 태스크에 기인하는 값을 결정하는 단계; 제2 기간 동안 각각의 태스크에 기인하는 값에 기초하여 제1 및 제2 페어링 전략 간의 성능 차이를 결정하는 단계; 및 적어도 제1 페어링 전략 및 제2 페어링 전략을 벤치마킹하기 위해 제1 페어링 전략과 제2 페어링 전략 간의 성능 차이를 출력하는 단계를 포함한다.

Description

태스크 할당 시스템에서 페어링 전략들을 벤치마킹하기 위한 기술들{TECHNIQUES FOR BENCHMARKING PAIRING STRATEGIES IN A TASK ASSIGNMENT SYSTEM}

<관련 출원들에 대한 상호 참조>

이 국제특허 출원은 2017년 11월 8일자로 출원된 미국 특허 출원 번호 제15/807,215호 및 2017년 11월 8일자로 출원된 미국 특허 출원 번호 제15/807,227호의 우선권을 주장하며, 이들 각각은 본 명세서에 완전히 개시된 것처럼 본 명세서에서 전체적으로 참조로 포함된다.

<기술 분야>

본 개시내용은 일반적으로 페어링 전략들을 벤치마킹하는 것에 관한 것으로, 보다 구체적으로, 태스크 할당 시스템에서 페어링 전략들을 벤치마킹하기 위한 기술에 관한 것이다.

통상적인 태스크 할당 시스템은 태스크 할당 센터에 도달한 태스크들을 해당 태스크들을 핸들링하는 데 이용 가능한 에이전트들에게 알고리즘 방식으로 할당한다. 때때로, 태스크 할당 시스템은 이용 가능하며 태스크 할당을 대기하는 에이전트들을 가질 수 있다. 다른 경우, 태스크 할당 센터는 에이전트가 할당에 이용 가능해질 수 있도록 하나 이상의 대기열(queue)에서 대기하는 태스크들을 가질 수 있다.

일부 통상적인 태스크 할당 센터들에서, 태스크들은 태스크들이 생성되는 순서에 기초하여 순서화된 에이전트들에 할당되고, 에이전트들은 해당 에이전트들이 이용 가능해진 시간에 기초하여 순서화된 태스크들을 수신한다. 이 전략은 "선입 선출(first-in, first-out)", "FIFO" 또는 "라운드-로빈" 전략이라고 지칭될 수 있다.

일부 태스크 할당 시스템들은 이용 가능한 에이전트들, 또는 때때로 태스크들의 대기열을 순서화하기 위해 "성과-기반 라우팅(performance-based routing)" 또는 "PBR" 접근 방식을 사용할 수 있다. PBR 순서화 전략들은 각각의 태스크 할당의 예상 결과를 최대화하려고 시도하지만, 통상적으로는 태스크 할당 시스템에서 에이전트들을 균일하게 활용하는 것에 관계없이 그렇게 한다.

태스크 할당 시스템이 한 가지 타입의 페어링 전략(예를 들어, FIFO)을 사용하는 것으로부터 다른 타입의 페어링 전략(예를 들어, PBR)으로 변경될 때, 전체 태스크 할당 시스템 성능은 시간이 지남에 따라 계속 변할 것이다. 주어진 태스크 할당에 기인하는 성능의 양 또는 가치가 나중(예를 들어, 초기 태스크 할당 후 몇 개월 또는 몇년 후)까지 실현되지 않을 수 있으므로, 대안적인 페어링 전략들을 사용하는 것에 기인하는 성능 변화량을 측정하기가 어려울 수 있다.

전술한 내용을 고려하여, 대안적인 태스크 할당 전략들(또는 "페어링 전략들")을 벤치마킹하여 시간에 따른 대안적인 태스크 할당 전략들에 기인하는 성능의 변화들을 측정할 수 있는 시스템이 필요하다는 것이 이해될 수 있다.

태스크 할당 시스템에서 페어링 전략들을 벤치마킹하기 위한 기술들이 개시된다. 하나의 특정 실시예에서, 기술들은 태스크 할당 시스템에서 페어링 전략들을 벤치마킹하기 위한 방법으로서 실현될 수 있으며, 방법은 제1 기간 동안 제1 페어링 전략을 사용하여 페어링되는 제1 복수의 이력 태스크 할당들을 결정하는 단계; 제1 기간 동안 제2 페어링 전략을 사용하여 페어링되는 제2 복수의 이력 태스크 할당들을 결정하는 단계; 제1 기간 후의 제2 기간 동안 제1 복수의 이력 태스크 할당들 및 제2 복수의 이력 태스크 할당들의 각각의 태스크에 기인하는 값을 결정하는 단계; 제2 기간 동안 각각의 태스크에 기인하는 값에 기초하여 제1 및 제2 페어링 전략 간의 성능 차이를 결정하는 단계; 및 적어도 제1 페어링 전략 및 제2 페어링 전략을 벤치마킹하기 위해 제1 페어링 전략과 제2 페어링 전략 간의 성능 차이를 출력하는 단계를 포함하고, 성능 차이는 제1 페어링 전략이 제2 페어링 전략과 비교하여 태스크 할당 시스템의 성능을 최적화한다는 것을 입증한다.

이 특정 실시예의 다른 양태들에 따르면, 태스크 할당 시스템은 컨택 센터 시스템이고, 제1 복수의 태스크들은 제1 복수의 컨택들이고, 제2 복수의 이력 태스크 할당들은 제2 복수의 컨택들일 수 있다.

이 특정 실시예의 다른 양태들에 따르면, 제1 페어링 전략은 행동 페어링 전략일 수 있다.

이 특정 실시예의 다른 양태들에 따르면, 제2 페어링 전략은 FIFO 전략 또는 성과-기반 라우팅 전략일 수 있다.

이 특정 실시예의 다른 양태들에 따르면, 태스크 할당 시스템은 적어도 제1 및 제2 페어링 전략 사이에서 적어도 시간 당 1회 순환할 수 있다.

이 특정 실시예의 다른 양태들에 따르면, 성능 차이는 율-심슨(Yule-Simpson) 효과에 대해 조정될 수 있다.

이 특정 실시예의 다른 양태들에 따르면, 성능 차이는 제1 및 제2 복수의 이력 태스크 할당 간의 상대적인 사이즈 차이에 따라 가중될 수 있다.

이 특정 실시예의 다른 양태들에 따르면, 제1 기간 동안 제1 페어링 전략 또는 제2 페어링 전략 중 어느 것이 대응하는 태스크를 할당했는지를 결정하는 것에 관계없이, 제1 페어링 전략은 제2 기간 동안 에이전트에 태스크를 할당할 수 있다.

이 특정 실시예의 다른 양태들에 따르면, 방법은, 제1 기간 동안 제1 페어링 전략 또는 제2 페어링 전략 중 어느 것이 임의의 대응하는 태스크들을 할당했는지에 관계없이, 제2 기간 동안 태스크들의 통계적으로 공정한 할당에 대한 보고서를 생성하는 단계를 추가로 포함할 수 있다.

다른 특정 실시예에서, 기술들은 태스크 할당 시스템에서 페어링 전략들을 벤치마킹하기 위한 시스템으로서 실현될 수 있으며, 시스템은 태스크 할당 시스템에 통신 가능하게 커플링되고 태스크 할당 시스템에서 동작하도록 구성되는 적어도 하나의 컴퓨터 프로세서를 포함하고, 적어도 하나의 컴퓨터 프로세서는 위에서 설명된 방법의 단계들을 수행하도록 추가로 구성된다.

다른 특정 실시예에서, 기술들은 태스크 할당 시스템에서 페어링 전략들을 벤치마킹하기 위한 제조물로서 실현될 수 있으며, 제조물은 비-일시적 프로세서 판독 가능 매체; 및 매체 상에 저장된 명령어들을 포함하고, 명령어들은 태스크 할당 시스템에 통신 가능하게 커플링되고 태스크 할당 시스템에서 동작하도록 구성되는 적어도 하나의 컴퓨터 프로세서에 의해 매체로부터 판독 가능하도록 구성되어, 적어도 하나의 컴퓨터 프로세서로 하여금, 위에서 설명된 방법의 단계들을 수행하도록 동작하게 한다.

본 개시내용은 이제 첨부 도면들에 도시된 바와 같은 그 특정 실시예들을 참조하여 보다 상세하게 설명될 것이다. 본 개시내용은 특정 실시예들을 참조하여 이하에서 설명되지만, 본 개시내용은 이에 제한되지 않는다는 것이 이해되어야 한다. 본 명세서의 교시들에 액세스할 수 있는 본 기술분야의 통상의 기술자는 추가적인 구현들, 수정들 및 실시예들뿐만 아니라, 본 명세서에 설명된 바와 같은 본 개시내용의 범위 내에 있고 본 개시내용이 상당히 유용할 수 있는 다른 사용 분야들을 인식할 것이다.

본 개시내용의 더 완전한 이해를 용이하게 하기 위해, 이제 첨부 도면들을 참조하도록 하며, 첨부 도면들에서 유사한 엘리먼트들은 유사한 번호들로 참조된다. 이들 도면들은 본 개시내용을 제한하는 것으로 해석되어서는 안되며, 단지 예시적인 것으로 의도된다.
도 1은 본 개시내용의 실시예들에 따른 태스크 할당 시스템의 블록도를 도시한다.
도 2a는 본 개시내용의 실시예들에 따른 벤치마킹 데이터의 테이블을 도시한다.
도 2b는 본 개시내용의 실시예들에 따른 벤치마킹 데이터의 테이블을 도시한다.
도 2c는 본 개시내용의 실시예들에 따른 벤치마킹 데이터의 테이블을 도시한다.
도 3은 본 개시내용의 실시예들에 따른 벤치마킹 방법의 흐름도를 도시한다.
도 4는 본 개시내용의 실시예들에 따른 벤치마킹 방법의 흐름도를 도시한다.

통상적인 태스크 할당 시스템은 태스크 할당 센터에 도달한 태스크들을 해당 태스크들을 핸들링하는 데 이용 가능한 에이전트들에게 알고리즘 방식으로 할당한다. 때때로, 태스크 할당 시스템은 이용 가능하며 태스크 할당을 대기하는 에이전트들을 가질 수 있다. 다른 경우, 태스크 할당 센터는 에이전트가 할당에 이용 가능해질 수 있도록 하나 이상의 대기열에서 대기하는 태스크들을 가질 수 있다.

일부 통상적인 태스크 할당 센터들에서, 태스크들은 태스크들이 생성되는 순서에 기초하여 순서화된 에이전트들에 할당되고, 에이전트들은 해당 에이전트들이 이용 가능해진 시간에 기초하여 순서화된 태스크들을 수신한다. 이 전략은 "선입 선출", "FIFO" 또는 "라운드-로빈" 전략이라고 지칭될 수 있다.

일부 태스크 할당 시스템들은 이용 가능한 에이전트들, 또는 때때로 태스크들의 대기열을 순서화하기 위해 "성과-기반 라우팅" 또는 "PBR" 접근 방식을 사용할 수 있다. PBR 순서화 전략들은 각각의 태스크 할당의 예상 결과를 최대화하려고 시도하지만, 통상적으로는 태스크 할당 시스템에서 에이전트들을 균일하게 활용하는 것에 관계없이 그렇게 한다.

태스크 할당 시스템이 한 가지 타입의 페어링 전략(예를 들어, FIFO)을 사용하는 것으로부터 다른 타입의 페어링 전략(예를 들어, PBR)으로 변경될 때, 전체 태스크 할당 시스템 성능은 시간이 지남에 따라 계속 변할 것이다. 주어진 태스크 할당에 기인하는 성능의 양 또는 가치가 나중(예를 들어, 초기 태스크 할당 후 몇 개월 또는 몇년 후)까지 실현되지 않을 수 있으므로, 대안적인 페어링 전략들을 사용하는 것에 기인하는 성능 변화량을 측정하기가 어려울 수 있다.

전술한 내용을 고려하여, 대안적인 태스크 할당 전략들(또는 "페어링 전략들")을 벤치마킹하여 시간에 따른 대안적인 태스크 할당 전략들에 기인하는 성능의 변화들을 측정할 수 있는 시스템이 필요하다는 것이 이해될 수 있다.

도 1은 본 개시내용의 실시예들에 따른 태스크 할당 시스템(100)의 블록도를 도시한다. 본 명세서의 설명은 하나 이상의 모듈을 포함할 수 있는 태스크 할당 시스템에서 페어링 전략들을 벤치마킹하기 위한 시스템 및 방법의 네트워크 엘리먼트들, 컴퓨터들 및/또는 컴포넌트들을 설명한다. 본 명세서에 사용된 바와 같이, "모듈"이라는 용어는 컴퓨팅 소프트웨어, 펌웨어, 하드웨어 및/또는 이들의 다양한 조합들을 지칭하는 것으로 이해될 수 있다. 그러나, 모듈들은 하드웨어, 펌웨어 상에 구현되지 않거나, 또는 비-일시적 프로세서 판독 가능한 기록 가능 저장 매체 상에 레코딩되지 않은 소프트웨어로서 해석되지 않는다(즉, 모듈들은 그 자체로는 소프트웨어가 아니다). 단, 모듈들은 예시적인 것이라는 점에 유의하도록 한다. 모듈들은 다양한 애플리케이션들을 지원하기 위해 결합, 통합, 분리 및/또는 복제될 수 있다. 또한, 특정 모듈에서 수행되는 것으로 본 명세서에 설명된 기능은 특정 모듈에서 수행되는 기능 대신에 또는 그에 더하여 하나 이상의 다른 모듈에서 및/또는 하나 이상의 다른 디바이스에 의해 수행될 수 있다. 또한, 모듈들은 다수의 디바이스들 및/또는 로컬 또는 서로 원격인 다른 컴포넌트들에 걸쳐 구현될 수 있다. 또한, 모듈들은 하나의 디바이스로부터 이동하여 다른 디바이스에 추가될 수 있고/있거나, 두 디바이스 모두에 포함될 수 있다.

도 1에 도시된 바와 같이, 태스크 할당 시스템(100)은 태스크 할당 모듈(110)을 포함할 수 있다. 태스크 할당 시스템(100)은 큐잉 또는 스위칭 컴포넌트들 또는 다른 인터넷-, 클라우드-, 또는 네트워크-기반 하드웨어 또는 소프트웨어 솔루션들을 포함하여, 다양한 에이전트들 사이에서 태스크들을 할당하는 것을 돕는 스위치 또는 다른 타입의 라우팅 하드웨어 및 소프트웨어를 포함할 수 있다.

태스크 할당 모듈(110)은 들어오는 태스크들을 수신할 수 있다. 도 1의 예에서, 태스크 할당 시스템(100)은 주어진 기간 동안 m개의 태스크, 즉, 태스크들(130A-130m)을 수신한다. m개의 태스크 각각은 서비스 또는 다른 타입들의 태스크 프로세싱을 위해 태스크 할당 시스템(100)의 에이전트에 할당될 수 있다. 도 1의 예에서는, 주어진 기간 동안 n개의 에이전트, 즉, 에이전트들(120A-120n)이 이용 가능하다. m 및 n은 1 이상의 임의의 큰 유한 정수들일 수 있다. 컨택 센터와 같은 실제 태스크 할당 시스템에서는, 시프트 근무 동안 컨택들과 상호 작용하기 위해 컨택 센터에 로그인한 수십 명, 수백 명 등의 에이전트들이 있을 수 있고, 컨택 센터는 시프트 근무 동안 수십 개, 수백 개, 수천 개 등의 컨택들(예를 들어, 호출들)을 수신할 수 있다.

일부 실시예들에서, 태스크 할당 전략 모듈(140)은 태스크 할당 시스템(100)에 통신 가능하게 커플링되고/되거나 태스크 할당 시스템(100)에서 동작하도록 구성될 수 있다. 태스크 할당 전략 모듈(140)은 개별 에이전트들에게 개별 태스크들을 할당(예를 들어, 컨택 센터 에이전트들과 컨택들을 페어링)하기 위한 하나 이상의 태스크 할당 전략(또는 "페어링 전략들")을 구현할 수 있다.

다양한 상이한 태스크 할당 전략들이 태스크 할당 전략 모듈(140)에 의해 고안되고 구현될 수 있다. 일부 실시예들에서는, 예를 들어, ("L1" 또는 에이전트-과잉 환경들에서) 가장 길게-대기한 에이전트가 다음 이용 가능한 태스크를 수신하거나, 또는 ("L2" 또는 태스크-과잉 환경들에서) 가장 길게-대기한 태스크가 다음 이용 가능한 에이전트에 할당되는 선입 선출("FIFO") 전략이 구현될 수 있다. 다른 FIFO 및 FIFO-유사 전략들은 개별 태스크들 또는 개별 에이전트들에 특정한 정보에 의존하지 않고 할당할 수 있다.

다른 실시예들에서는, 태스크 할당을 위해 더 높은-성과의 에이전트들을 우선 순위화하는 데 성과-기반 라우팅(PBR) 전략이 사용될 수 있다. 예를 들어, PBR 하에서는, 이용 가능한 에이전트들 중에서 최고-성과의 에이전트가 다음 이용 가능한 태스크를 수신한다. 다른 PBR 및 PBR-유사 전략들은 특정 에이전트들에 관한 정보를 사용하여 할당할 수 있지만, 반드시 특정 태스크들 또는 에이전트들에 관한 정보에 의존할 필요는 없다.

또 다른 실시예들에서는, 행동 페어링(behavioral pairing)(BP) 전략이 특정 태스크들 및 특정 에이전트들 둘 다에 관한 정보를 사용하여 태스크들을 에이전트들에 최적으로 할당하는 데 사용될 수 있다. 대각선 모델 BP 전략 또는 네트워크 흐름 BP 전략과 같은 다양한 BP 전략들이 사용될 수 있다. 이들 태스크 할당 전략들 및 기타 태스크 할당 전략들은, 예를 들어, 미국 특허 번호 제9,300,802호 및 미국 특허 출원 번호 제15/582,223호에서 컨택 센터 컨텍스트에 대해 상세하게 설명되며, 이들은 본 명세서에서 참조로 포함된다.

일부 실시예들에서는, 이력 할당 모듈(150)이 태스크 할당 모듈(110) 및/또는 태스크 할당 전략 모듈(140)과 같은 다른 모듈들을 통해 태스크 할당 시스템(100)에 통신 가능하게 커플링되고/되거나 태스크 할당 시스템(100)에서 동작하도록 구성될 수 있다. 이력 할당 모듈(150)은 이미 이루어진 에이전트 태스크 할당들에 관한 정보를 모니터링, 저장, 리트리브 및/또는 출력하는 것과 같은 다양한 기능들을 담당할 수 있다. 예를 들어, 이력 할당 모듈(150)은 주어진 기간에서의 태스크 할당들에 관한 정보를 수집하기 위해 태스크 할당 모듈(110)을 모니터링할 수 있다. 이력 태스크 할당의 각각의 기록은 에이전트 식별자, 태스크 또는 태스크 타입 식별자, 결과 정보 또는 페어링 전략 식별자(즉, 태스크 할당이 BP 페어링 전략을 사용하여 이루어졌는지 또는 FIFO 또는 PBR 페어링 전략과 같은 일부 다른 페어링 전략을 사용하여 이루어졌는지를 지시하는 식별자)와 같은 정보를 포함할 수 있다.

일부 실시예들에서 및 일부 컨텍스트들의 경우, 추가 정보가 저장될 수 있다. 예를 들어, 콜 센터 컨텍스트에서, 이력 할당 모듈(150)은 또한 호출 시작 시간, 호출 종료 시간, 다이얼된 전화 번호 및 호출자의 전화 번호에 관한 정보를 저장할 수 있다. 다른 예에서, 디스패치 센터(예를 들어, "트럭 롤") 컨텍스트에서, 이력 할당 모듈(150)은 또한 운전자(즉, 필드 에이전트)가 디스패치 센터로부터 출발하는 시간, 추천 경로, 취해진 경로, 추정 여정 시간, 실제 여정 시간, 고객의 태스크를 핸들링하는 고객 사이트에서 보낸 시간량 등에 관 정보를 저장할 수 있다.

일부 실시예들에서, 이력 할당 모듈(150)은 일정 기간(예를 들어, 지난 주, 지난 달, 지난 연도 등) 동안의 이력 할당 세트에 기초하여 페어링 모델 또는 유사한 컴퓨터 프로세서-생성 모델을 생성할 수 있으며, 이는 태스크 할당 모듈(110)에 태스크 할당 추천들 또는 지시들을 하기 위해 태스크 할당 전략 모듈(140)에 의해 사용될 수 있다. 다른 실시예들에서, 이력 할당 모듈(150)은 이력 할당 정보를 태스크 할당 전략 모듈(140) 또는 벤치마킹 모듈(160)과 같은 다른 모듈에 전송할 수 있다.

일부 실시예들에서는, 벤치마킹 모듈(160)이 태스크 할당 모듈(110) 및/또는 이력 할당 모듈(150)과 같은 다른 모듈들을 통해 태스크 할당 시스템(100)에 통신 가능하게 커플링되고/되거나 태스크 할당 시스템(100)에서 동작하도록 구성될 수 있다. 벤치마킹 모듈(160)은, 예를 들어, 이력 할당 모듈(150)로부터 수신될 수 있는 이력 할당 정보를 사용하여 2개 이상의 페어링 전략(예를 들어, FIFO, PBR, BP 등)의 상대적인 성능을 벤치마킹할 수 있다. 일부 실시예들에서, 벤치마킹 모듈(160)은 다양한 페어링 전략들 사이에서 순환하기 위한 벤치마킹 스케줄 확립, 코호트들(예를 들어, 이력 할당들의 기준 및 측정 그룹들) 추적 등과 같은 다른 기능들을 수행할 수 있다. 벤치마킹을 위한 기술들, 및 다양한 태스크 할당 전략들 및 다양한 컨텍스트들을 위해 벤치마킹 모듈(160)에 의해 수행되는 다른 기능은 본 개시내용 전반에 걸쳐 나중 섹션들에서 설명된다. 벤치마킹은, 예를 들어, 미국 특허 제9,712,676호에서 컨택 센터 컨텍스트에 대해 상세하게 설명되며, 이는 본 명세서에서 참조로 포함된다.

일부 실시예들에서, 벤치마킹 모듈(160)은 상대적인 성능 측정들을 출력하거나 또는 다르게는 보고 또는 사용할 수 있다. 상대적인 성능 측정들은, 예를 들어, 상이한 태스크 할당 전략(또는 상이한 페어링 모델)이 사용되어야 하는지를 결정하기 위해, 또는 태스크 할당 시스템(100) 내에서 달성되는 전체 성능(또는 성능 이득)을 최적화되어 있거나 또는 다른 방식으로 하나의 태스크 할당 전략을 다른 태스크 할당 전략 대신 사용하도록 구성되어 있는 동안 측정하기 위해, 태스크 할당 전략의 품질을 평가하는 데 사용될 수 있다.

일부 태스크 할당 시스템들에서, 태스크 할당 전략들을 벤치마킹하기 위한 기술들은 주로 각각의 이력 태스크 할당에 대한 즉각적인 결과를 고려할 수 있다. 예를 들어, 컨택 센터의 판매 대기열에서, 컨택들(예를 들어, 호출자들)이 에이전트들과 그들의 상호 작용 동안에 구매하는지를 추적함으로써 전환율이 측정될 수 있다. 벤치마킹 모듈 또는 다른 컴포넌트는 어떤 컨택들이 대안적인 페어링 전략(예를 들어, FIFO 또는 PBR)과 반대로 하나의 페어링 전략(예를 들어, BP)에 의해 페어링되었는지를 추적할 수 있다. 벤치마킹 모듈은 각각의 페어링 전략의 상대적인 전환율을 비교함으로써 대안적인 페어링 전략 또는 전략들에 대한 BP의 상대적인 성능을 결정할 수 있다.

일부 태스크 할당 시스템들에서는, 값(예를 들어, 금전적 가치 또는 다른 보상)이 상대적인 성능에 기인할 수 있다. 예를 들어, 값은 취득 비용, 판매량, 사용자 당 평균 수익(average revenue per user)(ARPU) 등에 기초할 수 있다. 이 값은 최적화된 태스크 할당 전략의 벤더 또는 다른 서드-파티 제공자에게 지불될 보상을 결정하는 데 사용될 수 있다. 예를 들어, 보상은 최적화된 태스크 할당 전략에 기인하는 값의 백분율일 수 있다.

그러나, 각각의 이력 태스크 할당에 대한 즉각적인 결과들에 주로 의존하는 데에는 몇 가지 단점이 있을 수 있다. 첫째, ARPU에 기초한 값은 시간에 따른 태스크 할당에 기인하는 실제 라이프타임 수익을 포착하지 않는다. 예를 들어, 가입 서비스들(예를 들어, 핸드폰 또는 케이블 텔레비전 가입들)을 위한 컨택 센터의 판매 대기열에서, 주어진 가입자에 대한 ARPU는 평균 가입자의 보유기간이 24개월이라는 가정에 기초할 수 있다. 그러나, 상대적으로 불안정한 가입자들은 더 짧은 기간 후에 그들의 가입을 취소하여, ARPU 및 예상 보유기간에 기초한 예상 수익보다 낮은 실제 라이프타임 수익을 가질 수 있고, 상대적으로 충성도가 높은 가입자들은 더 긴 기간 동안 그들의 가입들을 유지하여, ARPU 및 예상 보유기간에 기초한 예상 수익보다 높은 실제 라이프타임 수익을 가질 수 있다. 따라서, 하나의 전략 또는 다른 전략으로부터 취득된 가입자들이 예상 수익보다 높은 실제 라이프타임 수익을 갖는 경향이 있는지 또는 이보다 낮은 실제 라이프타임 수익을 갖는 경향이 있는지에 따라, 즉각적인 결과들에 기초한 벤치마크가 대안적인 태스크 할당 전략들의 상대적인 성능을 과대 추정하거나 또는 과소 추정할 수 있다.

둘째, 벤더가 주어진 기간(예를 들어, 일, 주, 월)에서의 상대적인 성능에 대한 ARPU 및 예상 보유기간에 기초하여 보상받는 태스크 할당 시스템들의 경우, 전체 추정된 값은 즉각적인 결과를 따라 예정되거나 또는 다른 방식으로 수집 가능할 것이다. 예를 들어, 가입 서비스들(예를 들어, 핸드폰 또는 케이블 텔레비전 가입들)을 위한 컨택 센터의 판매 대기열에서, 가입자는 당시에 오퍼레이터에게 최적화된 태스크 할당 전략에 기인하는 값의 일부만 빚지고 있을 수 있지만, 벤더는 결과의 추정된 값에 기초하여 오퍼레이터에 의해 값이 실현되기 몇 개월 또는 몇년 전에 보상을 받을 자격이 주어질 수 있다. 타이밍은 오퍼레이터에게 현금 흐름 또는 예산 문제들로 이어질 수 있다.

이하에서 상세하게 설명되는 바와 같이, 이들 단점들은 주로 즉각적인 결과들을 고려하기보다는 시간에 따른 이력 태스크 할당들의 실제 성능을 추적하고 측정함으로써 극복될 수 있다. 이들 기술들은 때때로 "코호트 추적" 또는 "코호트 모델링"으로 지칭되는데, 왜냐하면 새로운 코호트 또는 이력 태스크 할당 그룹이 이러한 벤치마킹 기술들이 적용될 수 있는 각각의 시간 주기마다 추적될 수 있기 때문이다. 코호트 추적에 대해 취해진 측정들은 시간에 따른 실제 값 및 성능을 측정하는 것을 용이하게 할 수 있고, 이들 측정들은 즉각적인 결과에 대해 주로 최적화하는 대신에 시간에 따른 값에 대해 최적화되는 행동 페어링 모델들을 생성할 수도 있다. 따라서, 태스크 할당 전략에 의해 가능해지는 최적화들은 ARPU 증가, 고객 충성도/보유기간/만족도 증가, 비용 감소, 취득 원가에 대한 내부 수익률 증가 등과 같은 오퍼레이터의 장기 목표들에 더 잘 맞을 수 있다.

도 2a 내지 도 2c는 본 개시내용의 실시예들에 따른 벤치마킹 데이터(200A-C)의 테이블들을 각각 도시한다. 도 2a 내지 도 2c를 참조한 이하의 섹션은 컨택 센터 시스템의 컨텍스트에서 코호트 추적의 예를 설명한다.

이 매우 단순화된 가설에서는, A-J로 식별되는 총 10명의 고객이 있다. 각각의 고객은 12개월 가입을 갖는다. 컨택 센터는 2개의 컨택 할당 전략인 BP와 FIFO 사이에서 순환되며, 각각의 전략은 컨택 상호 작용들의 50%에 사용된다. 다른 환경들에서는, 다양한 가입 옵션들 및 지속시간들을 가진 임의의 많은 수의 고객들이 있을 수 있고, 다양한 컨택 할당 전략들 사이에서 순환하기 위한 상이한 벤치마킹 기술들이 사용될 수 있고, 코호트 추적 기간들 및 지속시간들은 더 짧아지거나 더 길어질 수 있다(예를 들어, 5년 동안 매월, 10년 동안 매주, 8년 동안 매년 등).

벤치마킹 데이터(200A)(도 2a)에 도시된 바와 같이, 1년차에, 각각의 고객 A-J는 그들의 계약 갱신을 논의하기 위해 전화를 한다. 고객 A-E는 BP를 사용하여 페어링되었고, 고객들 F-J는 FIFO를 사용하여 페어링되었다. 1년차 동안, 각각의 페어링 전략들에 대해, 5명의 고객 중 4명은 그들의 계약들을 갱신하기로 선택하였고(BP에 대한 고객 A-D 및 FIFO에 대한 고객 F-I), 각각의 페어링 전략들에 대한 1명의 고객은 갱신하지 않기로 선택하였다(BP에 대한 고객 E 및 FIFO에 대한 고객 J, 모두 취소선으로 표시됨). 2년차에서는, 고객 E와 J가 더 이상 고객이 아니므로, 이들은 전화를 걸지 않는다. 나머지 고객 A-D 및 F-I는 각각 그들의 계약 갱신에 대해 다시 논의하기 위해 전화를 걸고, 고객 C와 F는 갱신하지 않기로 선택하였다. 이 프로세스는 3-6년차에 계속되고, 3년차에서는, 고객 H와 G가 갱신하지 않기로 선택하였고, 4년차에서는, 고객 A와 I가 갱신하지 않기로 선택하였고, 5년차에서는, 고객 D가 갱신하지 않기로 선택하였고, 6년차에서는, 다시 갱신하기로 선택한 고객 B만이 고객으로서 남아 있다.

일부 실시예들에서는, 이 예에서와 같이, 코호트의 구성원이 1년 내에는 BP를 사용하여 페어링되고 다음 해에는 FIFO를 사용하여 페어링되든 또는 그 반대이든 간에, 이것은 중요하지 않다. 각각의 고객 상호 작용은 어느 페어링 전략이 이전 상호 작용들에 대한 고객의 할당을 핸들링했는지에 관계없이 독립적으로 취급될 수 있다.

도 2a는 매년 각각의 페어링 전략에 대한 컨택 상호 작용들을 도시하지만, 도 2b 및 도 2c는 각각의 측정 연도에 대한 1년차 및 2년차 코호트의 진화를 각각 도시한다.

벤치마킹 데이터(200B)(도 2b)에 도시된 바와 같이, 1년차 코호트(또는 "Y1 코호트")는 BP에 대한 고객 A-D 및 FIFO에 대한 고객 F-I를 포함한다. 각각의 고객의 갱신이 동일한 값을 갖고 BP 및 FIFO가 동일한 수의 컨택 상호 작용들을 갖는다고 가정하면, 1년차 동안 FIFO에 대한 BP의 상대적인 성능 이득은 0이다(BP에 대한 4명의 고객 및 FIFO에 대한 4명의 고객). 2년차 후, 1년차 코호트는 다시 측정될 수 있고, 고객 A, B 및 D가 2년차 후의 BP에 대한 Y1 코호트에 남아 있고, 고객 G, H 및 I가 2년차 후에 FIFO에 대한 Y1 코호트에 남아 있다. 다시 말하자면, 상대적인 성능 차이는 0이다(BP에 대한 3명의 고객 및 FIFO에 대한 3명의 고객). 3 년차 후에, 고객 A, B 및 D는 여전히 BP에 대한 Y1 코호트에 남아 있지만, FIFO에 대한 Y1 코호트에는 고객 I만이 남아 있다. 이제, Y1 코호트와 관련하여 FIFO에 대한 BP의 상대적인 성능 이득은 +2이다.

이들 실시예들에서, 고객이 후속 측정 기간에 BP와 페어링되는지 또는 FIFO와 페어링되는지는 Y1 코호트에 중요하지 않다. 예를 들어, 2년차에서, 고객 B는 FIFO와 페어링되었고, 갱신하기로 선택하였으므로, BP에 대한 Y1 코호트에 남아 있다.

마찬가지로, 2년차 이후, 2년차 코호트는 2년차에 갱신한 호출자들에 기초하여 결정된다. 벤치마킹 데이터(200C)(도 2c)에 도시된 바와 같이, 2년차 코호트(또는 "Y2 코호트")는 BP에 대한 고객 A, G 및 H, 및 FIFO에 대한 고객 B, D 및 I를 포함한다. 이들 실시예들에서, 고객이 이전 기간에 BP와 페어링되었는지 또는 FIFO와 페어링되었는지는 Y2 코호트에 중요하지 않다. 예를 들어, 1년차에서, 고객 B는 BP와 페어링되었고, BP에 대한 Y1 코호트의 일부가 되었다.

2년차 이후 Y2 코호트에 대한 상대적인 성능 이득은 0이다(BP에 대한 3명의 고객 및 FIFO에 대한 3명의 고객). 3년차 후에는, 고객 A만 BP에 대한 Y2 코호트에 남아 있고, 고객 B, D 및 I는 여전히 FIFO에 대한 Y2 코호트에 남아 있으므로, Y2 코호트에 대한 FIFO에 대한 BP의 상대적인 성능은 -2이다.

2년차 후에, Y1 및 Y2 코호트를 모두 고려하면, 2년차 후의 순 성능 차이가 0인 경우, 상대적인 성능 차이는 Y1 코호트에 대한 0 플러스 Y2 코호트에 대한 0이다. 3년차 후, 순 차이가 0인 경우, 상대적인 성능 차이들은 Y1 코호트에 대한 2 플러스 Y2 코호트에 대한 -2이다.

각각의 기간에, 새로운 코호트가 정의될 수 있다. 예를 들어, 3년차 후에는, Y3 코호트가 정의될 수 있으며, 상대적인 성능 차이는 0이다. 매년 순 성능 차이를 결정할 때, 각각의 코호트가 고려될 수 있다. 따라서, 3년차 후, 순 차이가 0인 경우, Y1, Y2 및 Y3 코호트 모두를 고려한 순 성능 차이는 Y1 코호트에 대한 2 플러스 Y2 코호트에 대한 -2 플러스 Y3 코호트에 대한 0이다.

4년차(Y1-Y4 코호트 카운팅), 5년차(Y1-Y5 코호트 카운팅) 및 6년차(Y1-Y6 코호트 카운팅) 후의 순 차이들은 각각 0, 3 및 3이다.

일부 실시예들에서, 상대적인 성능 차이는 각각의 페어링 전략을 사용하여 할당되는 실제 호출 수에 기초하여 가중될 수 있다. 예를 들어, 6년차에, BP는 하나의 호출(고객 B)을 할당했지만, FIFO를 사용하여 할당된 호출은 없다. 결과적으로, Y6 코호트의 첫 해에 대한 가중 성능 차이는 0일 수 있다.

일부 실시예들에서는, 벤치마크를 "램프-업(ramp-up)"하기 위해 여러 측정 기간들이 취해질 수 있다. 예를 들어, 1년차 후에는, 벤치마크를 계산하기 위한 1개의 코호트(Y1 코호트) 및 1년분의 측정 데이터가 있다. 2년차 후에는, 2개의 코호트 및 2년분의 측정 데이터가 있고, 기타 등등 마찬가지이다. 또한, 실제 예에서는, 추가 호출자들(예를 들어, 고객 K-Q 등)이 후속 몇년 동안 처음으로 가입하고 갱신할 것이다.

일부 실시예들에서, 고객은 제한된 지속시간(예를 들어, 5년, 10년 등) 동안만 추적될 수 있다. 이 예가 5년 추적으로 제한된 경우, 6년차에서의 고객 B의 갱신은 Y2-Y6 코호트에만 관련될 것이고, 더 이상 Y1 코호트에 대해서는 추적되지 않을 것이다. 후속하여, 6년차 후에 결정되는 순(또는 "누적") 성능은 Y2-Y6 코호트들에 대해 측정된 성능 차이들만 고려할 것이다. 이 예에서, Y1 코호트에 대한 +1은 무시되고, 누적 차이는 총 3 대신 2인 경우, Y2에 대한 -1, Y3에 대한 1, Y4에 대한 1, Y5에 대한 1 및 Y6에 대한 0(가중됨)일 것이다.

위의 예에서 설명된 바와 같이, 코호트 추적을 갖는 벤치마킹은 시간에 따른 고객의 값을 고려한다. 예를 들어, 고객 B는 상대적으로 긴 보유기간을 갖고, BP에 대한 Y1 코호트는 이 보유기간 동안 6회 평가되었고(카운팅), Y2 코호트는 이 보유기간 동안 5회 평가되었고(카운팅), 기타 등등 마찬가지이다. 반면, 고객 A는 상대적으로 짧은 보유기간을 갖고, BP에 대한 Y1 코호트는 이 보유기간 동안 3회 평가되었고, Y2 코호트는 2회 평가되었다.

위의 예는 또한 동일한 고객이 다수의 코호트들에서 및 다수의 페어링 전략들에 대해 나타날 수 있음을 보여준다. 실제로, 일부 예들에서, 고객은 주어진 측정 기간 동안 고객이 몇 번이나 호출을 했는지에 따라 하나 이상의 페어링 전략에 대해 동일한 코호트에서 여러 번 나타날 수 있다. 각각의 태스크(여기서는, 컨택 상호 작용)는 각각의 상호 작용에 대한 페어링 전략에 효과적으로 랜덤하게 할당되기 때문에, 코호트 추적은 주어진 기간, 및 고객이 컨택 센터 오퍼레이터에게 가치/수익을 제공하는 각각의 후속 기간 동안의 결과에 책임이 있는 페어링 전략을 평가하기 위해 위에서 설명된 바와 같이 구성될 수 있다. 때때로, 하나의 기간에서의 성공적인 또는 성공적이지 못한 즉각적인 결과는 이전 기간들에서의 성공적인 결과들을 효과적으로 "취소"할 수 있지만, 전체 누적 순 성능은 시간에 따른 하나의 페어링 전략의 다른 페어링 전략에 대한 상대적인 성능을 측정할 수 있다.

일부 실시예들에서, 벤치마킹 모듈(160) 또는 유사한 컴포넌트는, 태스크 할당 시스템으로 하여금, 50% BP 온 및 50% BP 오프, 80%/20% 등과 같은 시간 주기들에 걸쳐 BP와 대안적인(예를 들어, 기준 또는 현행) 전략 사이에서 순환하게 할 수 있다. 이들 시간 주기들은 상대적으로 짧을 수 있으며, 예를 들어, 30분, 1시간마다 적어도 1회 스위칭하거나, 기타 등등일 수 있다.

일부 실시예들에서, BP의 이점(예를 들어, 상대적인 성능 이득에 기인하는 값)은 더 긴 기간(예를 들어, 60개월 동안 매달, 10년 동안 매년 등)에 걸쳐 BP 온 코호트들 및 BP 오프 코호트들을 추적함으로써 측정될 수 있다. 코호트가 확립된 달(또는 예를 들어, 년)은 "기준 월(base month)"로 지칭될 수 있고, 다음 5년(또는, 예를 들어, 10년) 동안의 매월은 "측정 달들"로 지칭될 수 있다. 임의의 주어진 기간(예를 들어, 12개월)에서는, 12개의 기준 월이 있고, 해당 기준 월 각각은 60개의 후속 측정 월을 가질 것이다.

일부 실시예들에서, 기준 월과 연관된 각각의 측정 월에서의 값 또는 이익(예를 들어, 수익)을 측정하기 위한 기초는 기준 월에 대한 BP 온과 연관된 모든 태스크들(예를 들어, 고객 상호 작용들) 및 기준 월에 대한 BP 오프와 연관된 모든 태스크들을 추적하는 것일 수 있다. 기준 월 다음의 각각의 측정 월에서, BP 온 코호트에서의 고객 상호 작용들로부터의 평균 수익은 (관련된 기준 월에서 확립된) BP 오프 코호트에서의 고객 상호 작용들로부터의 평균 수익과 비교될 수 있다. 2개의 코호트들 사이에서의 평균 수익의 차이는 주어진 측정 월에서의 BP에 기인하는 값 또는 이익을 결정하기 위해 기준 월에서의 BP 온으로부터의 태스크들/상호 작용들의 수에 의해 가중될 수 있다(곱해질 수 있다).

일부 실시예들에서, BP 벤더는 BP에 기인하는 값 또는 이익을 제공하기 위한 요금을 청구할 수 있다. 요금은 전달된 값 또는 이익의 함수로서의 성능 지불 요금일 수 있다.

일부 실시예들에서, 코호트는 알려지지 않은 고객들을 포함하는 것이 가능할 수 있고, 이 경우에 이들 알려지지 않은 고객들은 그들의 계정들을 변경하지 않은 알려진 고객들과 동일한 값 또는 이익을 제공하는 것으로 취급될 수 있다.

일부 실시예들에서, BP 벤더 및/또는 오퍼레이터는 더 이상 코호트들을 추적하는 것을 원치 않거나 계속 추적할 수 없을 수 있고, 여기서는 잔여 측정 월 동안 BP에 기인한 것일 잔여 값 또는 이익이 추정될 수 있다. 일부 컨텍스트들에서, 잔여 값 또는 이익은 BP 벤더에 대한 최종 요금을 계산하는 데 사용될 수 있다.

일부 실시예들에서, 순 성능은 율-심슨(Yule-Simpson) 효과와 같은 다양한 통계적 현상들을 고려하도록 결정될 수 있다(예를 들어, 조정 또는 정정될 수 있다). 이는, 예를 들어, 본 명세서에 참조로 포함된 미국 특허 제9,692,899호를 참조하도록 한다.

일부 실시예들에서, 페어링 전략은 이전 코호트들에서의 컨택의 포함에 대해 블라인드 방식일 수 있다. 이전 코호트들에서 컨택의 상태에 관한 정보를 무시하면 페어링 전략에서 편향의 위험이 제거된다. 예를 들어, 악의적인 페어링 전략은 가설적으로는 대안적인 또는 기본적인 페어링 전략(예를 들어, "BP 오프" 또는 FIFO)과 연관된 이전 코호트들로부터의 컨택들을 제거하기 위해 의도적으로 열악한 페어링 선택을 하도록 최적화될 수 있다.

일부 실시예들에서는, 모든 컨택들의 통계적으로 공정한 처리를 나타내는 보고서가 "온" 또는 "오프" 페어링 전략 중 어느 것과 연관된 이전 코호트들에서의 그들의 존재에 관계없이 생성될 수 있다.

도 3은 본 개시내용의 실시예들에 따른 벤치마킹 방법(300)의 흐름도를 도시한다.

벤치마킹 방법(300)은 블록(310)에서 시작할 수 있다. 블록(310)에서, 제1 기간 동안 제1 페어링 전략을 사용하여 페어링되는 제1 복수의 이력 태스크 할당들이 결정될 수 있다. 위에서 설명된 예에서, 이것은 BP 전략에 대한 1년차 코호트의 일부인 고객 A-D에 대한 고객 상호 작용들일 수 있다.

벤치마킹 방법(300)은 블록(320)으로 진행할 수 있다. 블록(320)에서, 제1 기간 동안 제2 페어링 전략을 사용하여 페어링되는 제2 복수의 이력 태스크 할당들이 결정될 수 있다. 위에서 설명된 예에서, 이것은 FIFO 전략에 대한 1년차 코호트의 일부인 고객들 F-I에 대한 고객 상호 작용들일 수 있다. 일부 실시예들에서, 블록(320)은 블록(310) 이전에 또는 이와 동시에 수행될 수 있다.

벤치마킹 방법(300)은 블록(330)으로 진행할 수 있다. 블록(330)에서, 제1 기간 후의 제2 기간 동안 제1 복수의 이력 태스크 할당들 및 제2 복수의 이력 태스크 할당들의 각각의 태스크에 기인하는 값이 결정될 수 있다. 위에서 설명된 예에서, 이것은 BP 또는 FIFO에 대한 1년차 코호트의 일부였던 고객과 연관된 2년차에서의 각각의 고객 상호 작용과 연관된 값들일 수 있다.

벤치마킹 방법(300)은 블록(340)으로 진행할 수 있다. 블록(340)에서, 제2 기간 동안 각각의 태스크에 기인하는 값에 기초하여 제1 및 제2 페어링 전략 간의 성능 차이가 결정될 수 있다. 위에서 설명된 예에서, 이것은 2년차 후의 Y1 코호트와 연관된 성능 차이일 수 있다.

벤치마킹 방법(300)은 블록(350)으로 진행할 수 있다. 블록(350)에서, 성능 차이가 출력될 수 있다. 일부 실시예들에서, 출력된 성능 차이는 다른 기간들 동안 측정된 하나 이상의 추가 성능 차이와 (예를 들어, 누적적으로) 결합될 수 있다. 위에서 설명된 예에서, 이것은 2년차 후의 Y1 및 Y2 코호트와 연관된 누적 성능 차이일 수 있다.

블록(350) 후에, 벤치마킹 방법(300)이 종료될 수 있다.

도 4는 본 개시내용의 실시예들에 따른 벤치마킹 방법(400)의 흐름도를 도시한다.

벤치마킹 방법(400)은 블록(410)에서 시작할 수 있다. 블록(410)에서, 적어도 2개의 페어링 전략에 대한 제1 복수의 이력 태스크 할당들의 제1 기준 코호트가 결정될 수 있다. 위에서 설명된 예에서, 이것은 1년차 후의 BP 및 FIFO에 대한 Y1 코호트와 연관된 고객 상호 작용들일 수 있다.

벤치마킹 방법(400)은 블록(420)으로 진행할 수 있다. 블록(420)에서, 제1 측정 기간 후에 적어도 2개의 페어링 전략 간의 제1 성능 차이가 결정될 수 있다. 위에서 설명된 예에서, 이것은 2년차 후의 BP 및 FIFO에 대한 Y1 코호트와 연관된 성능 차이일 수 있다.

벤치마킹 방법(400)은 블록(430)으로 진행할 수 있다. 블록(430)에서, 제1 성능 차이가 출력될 수 있다. 일부 실시예들에서, 벤치마킹 방법(400)은 종료될 수 있다.

다른 실시예들에서, 벤치마킹 방법(400)은 블록(440)으로 진행할 수 있다. 블록(440)에서, 제2 기준 기간 동안 적어도 2개의 페어링 전략에 대한 제2 복수의 이력 태스크 할당들의 제2 기준 코호트가 결정될 수 있다. 일부 실시예들에서, 제2 기준 기간은 블록(420)과 연관된 제1 측정 기간에 대응할 수 있다. 위에서 설명된 예에서, 이것은 2년차 후의 BP 및 FIFO에 대한 Y2 코호트와 연관된 고객 상호 작용들일 수 있다.

벤치마킹 방법(400)은 블록(450)으로 진행할 수 있다. 블록(450)에서, 제1 및 제2 기준 코호트에 기초하여 제2 측정 기간 후에 적어도 2개의 페어링 전략 간의 제2 성능 차이가 결정될 수 있다. 위에서 설명된 예에서, 이것은 3년차 후의 BP 및 FIFO에 대한 Y1 및 Y2 코호트와 연관된 누적 성능 차이일 수 있다. 일부 실시예들에서, 제2 성능 차이는 추가 코호트들과 연관된 더 많은 수의 추가적인 중간 성능 차이들을 포함할 수 있다. 위에서 설명된 예에서, 6년차 후의 누적 성능 차이는 1-6년차 각각으로부터의 코호트들과 연관된 (중간) 성능 차이들을 포함한다.

벤치마킹 방법(400)은 블록(460)으로 진행할 수 있다. 블록(460)에서, 제2 성능 차이가 출력될 수 있다.

블록(460) 후에, 벤치마킹 방법(400)이 종료될 수 있다.

이 지점에서, 위에서 설명된 바와 같은 본 개시내용에 따른 태스크 할당 시스템에서 페어링 전략들을 벤치마킹하기 위한 기술들은 입력 데이터의 프로세싱 및 출력 데이터의 생성을 어느 정도 포함할 수 있음에 유의해야 한다. 이 입력 데이터 프로세싱 및 출력 데이터 생성은 하드웨어 또는 소프트웨어로 구현될 수 있다. 예를 들어, 특정 전자 컴포넌트들이 위에서 설명된 바와 같은 본 개시내용에 따른 태스크 할당 시스템에서 페어링 전략들을 벤치마킹하는 것과 연관된 기능들을 구현하기 위해 행동 페어링 모듈 또는 유사하거나 관련된 회로에 채택될 수 있다. 대안적으로, 명령어들에 따라 동작하는 하나 이상의 프로세서가 위에서 설명된 바와 같은 본 개시내용에 따른 태스크 할당 시스템에서 페어링 전략들을 벤치마킹하는 것과 연관된 기능들을 구현할 수 있다. 그러한 경우라면, 이러한 명령어들이 하나 이상의 비-일시적 프로세서 판독 가능 저장 매체(예를 들어, 자기 디스크 또는 다른 저장 매체) 상에 저장될 수도 있고, 또는 하나 이상의 반송파에 구현된 하나 이상의 신호를 통해 하나 이상의 프로세서로 송신될 수도 있다는 것이 본 개시내용의 범주 내에 있다.

본 개시내용은 본 명세서에 설명된 특정 실시예들에 의해 범위가 제한되지 않는다. 실제로, 본 개시내용에 설명된 것들에 더하여, 본 개시내용의 다른 다양한 실시예들 및 그 변형들은 전술한 설명 및 첨부 도면들로부터 본 기술분야의 통상의 기술자에게 명백할 것이다. 따라서, 이러한 다른 실시예들 및 수정들은 본 개시내용의 범위 내에 속하는 것으로 의도된다. 또한, 본 개시내용이 적어도 하나의 특정 목적을 위해 적어도 하나의 특정 환경에서의 적어도 하나의 특정 구현의 맥락에서 본 명세서에서 설명되었지만, 본 기술분야의 통상의 기술자는 그 유용성이 그에 제한되지 않으며 본 개시내용은 임의의 수의 목적들을 위해 임의의 수의 환경들에서 유리하게 구현될 수 있다는 것을 인식할 것이다. 따라서, 이하에 기재된 청구 범위는 본 명세서에 설명된 바와 같은 본 개시내용의 전체 폭 및 사상을 고려하여 해석되어야 한다.

Claims (15)

1. 컨택 센터 시스템에서 페어링 전략들을 벤치마킹하기 위한 방법으로서,
   상기 컨택 센터 시스템에 통신 가능하게 커플링되고 상기 컨택 센터 시스템에서 동작하도록 구성되는 적어도 하나의 컴퓨터 프로세서에 의해, 제1 코호트를 결정하는 단계 - 상기 제1 코호트는 제1 기간 동안 제1 페어링 전략을 사용하여 페어링된 제1 복수의 컨택들 및 상기 제1 기간 동안 제2 페어링 전략을 사용하여 페어링된 제2 복수의 컨택들을 포함함 -;
   상기 적어도 하나의 컴퓨터 프로세서에 의해, 제2 코호트를 결정하는 단계 - 상기 제2 코호트는 제2 기간 동안 상기 제1 페어링 전략을 사용하여 페어링된 제3 복수의 컨택들 및 상기 제2 기간 동안 상기 제2 페어링 전략을 사용하여 페어링된 제4 복수의 컨택들을 포함하고, 상기 제2 기간은 상기 제1 기간에 후속함 -;
   상기 적어도 하나의 컴퓨터 프로세서에 의해, 상기 제2 기간 동안 상기 제1 코호트에 대한 상기 제1 페어링 전략과 상기 제2 페어링 전략 사이의 제1 상대적인 성능 차이를 결정하는 단계;
   상기 적어도 하나의 컴퓨터 프로세서에 의해, 상기 제2 기간 동안 상기 제2 코호트에 대한 상기 제1 페어링 전략과 상기 제2 페어링 전략 사이의 제2 상대적인 성능 차이를 결정하는 단계;
   상기 적어도 하나의 컴퓨터 프로세서에 의해, 상기 제1 상대적인 성능 차이 및 상기 제2 상대적인 성능 차이에 기초하여 상기 제1 페어링 전략 및 상기 제2 페어링 전략에 대한 순 성능 차이를 결정하는 단계
   를 포함하는, 방법.
2. 제1항에 있어서,
   상기 제1 상대적인 성능 차이를 결정하는 단계는:
   상기 적어도 하나의 컴퓨터 프로세서에 의해, 상기 제1 페어링 전략을 사용하여 페어링된 상기 제1 복수의 컨택들과 연관된 제1 값을 결정하는 단계;
   상기 적어도 하나의 컴퓨터 프로세서에 의해, 상기 제2 페어링 전략을 사용하여 페어링된 상기 제2 복수의 컨택들과 연관된 제2 값을 결정하는 단계; 및
   상기 적어도 하나의 컴퓨터 프로세서에 의해, 상기 제1 상대적인 성능 차이로써 상기 제1 값과 상기 제2 값 사이의 차이를 제공하는 단계
   를 더 포함하는, 방법.
3. 제2항에 있어서,
   상기 제1 값은 상기 제1 기간 동안 상기 제1 페어링 전략이 사용된 시간의 제1 백분율에 기초하여 가중되고, 상기 제2 값은 상기 제2 기간 동안 상기 제2 페어링 전략이 사용된 시간의 제2 백분율에 기초하여 가중되는, 방법.
4. 제1항에 있어서,
   상기 제1 기간 및 상기 제2 기간은 대응하는 시간 길이들을 포함하는, 방법.
5. 제1항에 있어서, 상기 제1 코호트에서 페어링된 적어도 하나의 컨택은 상기 제2 코호트에 있는, 방법.
6. 제5항에 있어서,
   상기 적어도 하나의 컴퓨터 프로세서에 의해, 상기 제1 기간 동안 상기 제1 코호트에서 페어링된 상기 적어도 하나의 컨택과 연관된 상기 제1 페어링 전략 및 상기 제2 페어링 전략의 페어링 전략과 독립적인 상기 제3 복수의 컨택들 또는 상기 제4 복수의 컨택들에 상기 제1 코호트에서 페어링된 상기 적어도 하나의 컨택을 할당하는 단계를 더 포함하는, 방법.
7. 제1항에 있어서,
   상기 순 성능 차이는 적어도 하나의 제3 코호트의 상대적인 성능 차이들에 더 기초하고, 상기 적어도 하나의 제3 코호트는 제3 기간 동안 상기 제1 페어링 전략을 사용하여 페어링된 제5 복수의 컨택들 및 상기 제3 기간 동안 상기 제2 페어링 전략을 사용하여 페어링된 제6 복수의 컨택들을 포함하고, 상기 제3 기간은 상기 제1 기간으로부터 임계 시간 내인, 방법.
8. 컨택 센터 시스템에서 페어링 전략들을 벤치마킹하기 위한 시스템으로서,
   상기 컨택 센터 시스템에 통신 가능하게 커플링되고 상기 컨택 센터 시스템에서 동작하도록 구성되는 적어도 하나의 컴퓨터 프로세서를 포함하고, 상기 적어도 하나의 컴퓨터 프로세서는:
   제1 코호트를 결정하고 - 상기 제1 코호트는 제1 기간 동안 제1 페어링 전략을 사용하여 페어링된 제1 복수의 컨택들 및 상기 제1 기간 동안 제2 페어링 전략을 사용하여 페어링된 제2 복수의 컨택들을 포함함 -;
   제2 코호트를 결정하고 - 상기 제2 코호트는 제2 기간 동안 상기 제1 페어링 전략을 사용하여 페어링된 제3 복수의 컨택들 및 상기 제2 기간 동안 상기 제2 페어링 전략을 사용하여 페어링된 제4 복수의 컨택들을 포함하고, 상기 제2 기간은 상기 제1 기간에 후속함 -;
   상기 제2 기간 동안 상기 제1 코호트에 대한 상기 제1 페어링 전략과 상기 제2 페어링 전략 사이의 제1 상대적인 성능 차이를 결정하고;
   상기 제2 기간 동안 상기 제2 코호트에 대한 상기 제1 페어링 전략과 상기 제2 페어링 전략 사이의 제2 상대적인 성능 차이를 결정하고;
   상기 제1 상대적인 성능 차이 및 상기 제2 상대적인 성능 차이에 기초하여 상기 제1 페어링 전략 및 상기 제2 페어링 전략에 대한 순 성능 차이를 결정하도록 더 구성되는, 시스템.
9. 제8항에 있어서,
   상기 적어도 하나의 컴퓨터 프로세서는:
   상기 제1 페어링 전략을 사용하여 페어링된 상기 제1 복수의 컨택들과 연관된 제1 값을 결정하고;
   상기 제2 페어링 전략을 사용하여 페어링된 상기 제2 복수의 컨택들과 연관된 제2 값을 결정하고;
   상기 제1 상대적인 성능 차이로써 상기 제1 값과 상기 제2 값 사이의 차이를 제공함으로써, 상기 제1 상대적인 성능 차이를 결정하도록 더 구성되는, 시스템.
10. 제9항에 있어서,
    상기 제1 값은 상기 제1 기간 동안 상기 제1 페어링 전략이 사용된 시간의 제1 백분율에 기초하여 가중되고, 상기 제2 값은 상기 제2 기간 동안 상기 제2 페어링 전략이 사용된 시간의 제2 백분율에 기초하여 가중되는, 시스템.
11. 제8항에 있어서,
    상기 제1 기간 및 상기 제2 기간은 대응하는 시간 길이들을 포함하는, 시스템.
12. 제8항에 있어서,
    상기 제1 코호트에서 페어링된 적어도 하나의 컨택은 상기 제2 코호트에 있는, 시스템.
13. 제12항에 있어서,
    상기 적어도 하나의 컴퓨터 프로세서는, 상기 제1 기간 동안 상기 제1 코호트에서 페어링된 상기 적어도 하나의 컨택과 연관된 상기 제1 페어링 전략 및 상기 제2 페어링 전략의 페어링 전략과 독립적인 상기 제3 복수의 컨택들 또는 상기 제4 복수의 컨택들에 상기 제1 코호트에서 페어링된 상기 적어도 하나의 컨택을 할당하도록 더 구성되는, 시스템.
14. 제13항에 있어서,
    상기 순 성능 차이는 적어도 하나의 제3 코호트의 상대적인 성능 차이들에 더 기초하고, 상기 적어도 하나의 제3 코호트는 제3 기간 동안 상기 제1 페어링 전략을 사용하여 페어링된 제5 복수의 컨택들 및 상기 제3 기간 동안 상기 제2 페어링 전략을 사용하여 페어링된 제6 복수의 컨택들을 포함하고, 상기 제3 기간은 상기 제1 기간으로부터 임계 시간 내인, 시스템.
15. 컨택 센터 시스템에서 페어링 전략들을 벤치마킹하기 위한 제조물로서,
    비-일시적인 프로세서 판독 가능 매체; 및
    상기 매체에 저장된 명령어들
    을 포함하고,
    상기 명령어들은 상기 컨택 센터 시스템에 통신 가능하게 커플링되고 상기 컨택 센터 시스템에서 동작하도록 구성되는 적어도 하나의 컴퓨터 프로세서에 의해 상기 매체로부터 판독 가능하도록 구성되어, 상기 적어도 하나의 컴퓨터 프로세서로 하여금:
    제1 코호트를 결정하고 - 상기 제1 코호트는 제1 기간 동안 제1 페어링 전략을 사용하여 페어링된 제1 복수의 컨택들 및 상기 제1 기간 동안 제2 페어링 전략을 사용하여 페어링된 제2 복수의 컨택들을 포함함 -;
    제2 코호트를 결정하고 - 상기 제2 코호트는 제2 기간 동안 상기 제1 페어링 전략을 사용하여 페어링된 제3 복수의 컨택들 및 상기 제2 기간 동안 상기 제2 페어링 전략을 사용하여 페어링된 제4 복수의 컨택들을 포함하고, 상기 제2 기간은 상기 제1 기간에 후속함 -;
    상기 제2 기간 동안 상기 제1 코호트에 대한 상기 제1 페어링 전략과 상기 제2 페어링 전략 사이의 제1 상대적인 성능 차이를 결정하고;
    상기 제2 기간 동안 상기 제2 코호트에 대한 상기 제1 페어링 전략과 상기 제2 페어링 전략 사이의 제2 상대적인 성능 차이를 결정하고;
    상기 제1 상대적인 성능 차이 및 상기 제2 상대적인 성능 차이에 기초하여 상기 제1 페어링 전략 및 상기 제2 페어링 전략에 대한 순 성능 차이를 결정하도록 동작하게 하는, 제조물.

Images