KR20240036199A - 조합최적화를 위한 탐색기술의 평가장치 및 평가방법 - Google Patents

Abstract

본 발명은 조합최적화를 위한 탐색기술의 평가장치 및 평가방법에 관한 것으로, 본 발명의 일 실시예에 의한 조합최적화를 위한 탐색기술의 평가장치는 미리 설정된 조합 최적화 문제에 대한 상기 탐색기술의 탐색이력을 수신하는 탐색기술 입력부; 상기 탐색이력을 이용하여, 상기 탐색기술의 성능평가를 위한 평가연산을 수행하는 탐색기술 연산부; 및 상기 평가연산의 결과를 이용하여, 상기 탐색기술의 전역최적해 탐색 품질을 판별하는 품질평가부를 포함할 수 있다.

Description

조합최적화를 위한 탐색기술의 평가장치 및 평가방법 {Apparatus and method for evaluating searching process for the combinational optimization}

본 발명은 조합최적화 문제를 해결하기 위한 탐색기술들의 성능을 평가할 수 있는 평가장치 및 평가방법에 관한 것이다.

조합 최적화 문제는 다수의 독립 변수들로 구성된 목적 함수의 최소값이나 혹은 최대값을 얻을 수 있는 효과적인 해를 찾는 것이다. 대표적인 조합 최적화 문제로는 순회 외판원 문제(Traveling Salesman Problem; TSP), 배낭 문제(Knapsack Problem; KP), 차량 경로 문제(Vehicle Routing Problem; VRP) 등이 있다.

조합 최적화 문제에 대한 최근 연구에서는 확률적 수용 규칙(stochastic acceptance rule)을 학습하기 위해 심층 정책 네트워크(deep policy network)를 채택하였으나, 심층 정책 네트워크의 구조적, 기능적 복잡성으로 인하여 지역 탐색을 수행하는 동시에 문제 공간에 대한 전역 탐색을 수행하기는 어려운 문제점이 존재한다. 즉, 검색 프로세스가 지역에 고정되어, 전역 최적해를 찾지 못하는 등의 심각한 성능 저하를 초래하는 결과가 발생할 수 있다.

이러한 조합 최적화 문제의 해결을 위해 다양한 탐색기술들이 제안되고 있으나, 이들 탐색기술들은 전역 탐색을 효율적으로 수행할 수 있는지를 미리 평가하기 어려운 문제점이 존재한다.

대한민국 공개특허공보 제10-2021-0149393호

본 발명은, 조합최적화 문제를 해결하기 위한 탐색기술들의 성능을 평가할 수 있는 조합최적화를 위한 탐색기술의 평가장치 및 평가방법을 제공하기 위한 것이다.

본 발명은, 해공간 내 효율적인 공간 탐색을 통한 고성능의 최적화를 수행할 수 있는 탐색기술을 개발할 수 있는 조합최적화를 위한 탐색기술의 평가장치 및 평가방법을 제공하기 위한 것이다.

본 발명은, 구조적, 기능적으로 복잡성이 있는 문제공간을 유동적으로 탐색할 수 있도록, 확률적 지역 탐색방안과 같은 기존 기술에 대한 탐색 품질을 평가하고, 평가결과에 따라 탐색기술의 문제점 및 개선점을 도출함으로써, 유동적 전역최적화를 위한 탐색기술을 개발하도록 할 수 있는 조합최적화를 위한 탐색기술의 평가장치 및 평가방법을 제공하기 위한 것이다.

본 발명의 일 실시예에 의한 조합최적화를 위한 탐색기술의 평가장치는, 미리 설정된 조합 최적화 문제에 대한 상기 탐색기술의 탐색이력을 수신하는 탐색기술 입력부; 상기 탐색이력을 이용하여, 상기 탐색기술의 성능평가를 위한 평가연산을 수행하는 탐색기술 연산부; 및 상기 평가연산의 결과를 이용하여, 상기 탐색기술의 전역최적해 탐색 품질을 판별하는 품질평가부를 포함할 수 있다.

여기서 상기 탐색이력은, 상기 탐색기술이 상기 조합 최적화 문제에 대한 전역 최적해를 구하기 위해 방문한 각각의 해들에 대한 이력을 포함하는 것일 수 있다.

여기서 상기 탐색기술 연산부는, 상기 탐색기술이 초기 설정횟수 동안 방문한 해 중 최적의 해인 초기 최적해와 상기 탐색기술이 방문한 나머지 해들 사이의 제1 거리값, 및 상기 전역최적해와 상기 탐색기술이 방문한 각각의 해들 사이의 제2 거리값을 구하는 제1 평가연산을 수행하는 것일 수 있다.

여기서 상기 탐색기술 연산부는, 전역최적해와 상기 탐색기술이 방문한 각각의 해들 사이의 최적성 갭(optimality gap)에 대한 밀도추정(density estimation)을 구하는 제2 평가연산을 수행하는 것일 수 있다.

여기서 상기 탐색기술 연산부는, 상기 탐색기술이 방문한 해들을 단위횟수마다 각각 그룹핑하고, 각각의 그룹에서 발견한 최적해와 나머지 그룹들 내 해들의 거리에 대한 제1 평균값과, 전역 최적해와 각각의 그룹들 내 해들의 거리에 대한 제2 평균값을 각각 구하는 제3 평가연산을 수행하는 것일 수 있다.

여기서 상기 탐색기술 연산부는, 각각의 해들에 대하여, 상기 탐색기술이 초기 설정횟수 동안 방문한 해 중 최적의 해인 초기 최적해와의 거리를 제1 좌표값, 상기 전역최적해와의 거리를 제2 좌표값으로 설정하고, 상기 제1 좌표값과 제2 좌표값의 좌표쌍을 2차원 평면상에 빈도 등고선으로 표시하는 제4 평가연산을 수행하는 것일 수 있다.

여기서 상기 품질평가부는, 상기 제1 평가연산 결과, 상기 제1 거리값이 설정범위 내를 유지하고, 상기 제2 거리값이 한계값 이상이면, 상기 탐색기술은 지역에 제한된 탐색을 수행하는 것으로 판별하는 것일 수 있다.

여기서 상기 품질평가부는, 복수의 탐색기술에 대하여 상기 제2 평가연산을 수행한 후, 상기 최적성 갭이 작을수록 더 높은 밀도를 가지는 탐색기술에 대하여, 상기 전역최적해 탐색 품질이 더 높은 것으로 판별하는 것일 수 있다.

본 발명의 일 실시예에 의한 조합 최적화를 위한 탐색기술의 평가방법은, 미리 설정된 조합 최적화 문제에 대한 상기 탐색기술의 탐색이력을 수신하는 단계; 상기 탐색이력을 이용하여, 상기 탐색기술의 성능평가를 위한 평가연산을 수행하는 단계; 및 상기 평가연산의 결과를 이용하여, 상기 탐색기술의 전역최적해 탐색 품질을 판별하는 단계를 포함할 수 있다.

여기서 상기 평가연산을 수행하는 단계는, 상기 탐색기술이 초기 설정횟수 동안 방문한 해 중 최적의 해인 초기 최적해와 상기 탐색기술이 방문한 나머지 해들 사이의 제1 거리값, 및 상기 전역최적해와 상기 탐색기술이 방문한 각각의 해들 사이의 제2 거리값을 구하는 제1 평가연산을 수행하는 것일 수 있다.

여기서 상기 평가연산을 수행하는 단계는, 전역최적해와 상기 탐색기술이 방문한 각각의 해들 사이의 최적성 갭(optimality gap)에 대한 밀도추정(density estimation)을 구하는 제2 평가연산을 수행하는 것일 수 있다.

여기서 상기 평가연산을 수행하는 단계는, 상기 탐색기술이 방문한 해들을 단위횟수마다 각각 그룹핑하고, 각각의 그룹에서 발견한 최적해와 나머지 그룹들 내 해들의 거리에 대한 제1 평균값과, 전역 최적해와 각각의 그룹들 내 해들의 거리에 대한 제2 평균값을 각각 구하는 제3 평가연산을 수행하는 것일 수 있다.

여기서 상기 평가연산을 수행하는 단계는, 각각의 해들에 대하여, 상기 탐색기술이 초기 설정횟수 동안 방문한 해 중 최적의 해인 초기 최적해와의 거리를 제1 좌표값, 상기 전역최적해와의 거리를 제2 좌표값으로 설정하고, 상기 제1 좌표값과 제2 좌표값의 좌표쌍을 2차원 평면상에 빈도등고선으로 표시하는 제4 평가연산을 수행하는 것일 수 있다.

여기서 상기 전역최적해 탐색 품질을 판별하는 단계는, 상기 제1 평가연산 결과, 상기 제1 거리값이 설정범위 내를 유지하고, 상기 제2 거리값이 한계값 이상이면, 상기 탐색기술은 지역에 제한된 탐색을 수행하는 것으로 판별할 수 있다.

여기서 상기 전역최적해 탐색 품질을 판별하는 단계는, 복수의 탐색기술에 대하여 상기 제2 평가연산을 수행한 후, 상기 최적성 갭이 작을수록 더 높은 밀도를 가지는 탐색기술에 대하여, 상기 전역최적해 탐색 품질이 더 높은 것으로 판별할 수 있다.

본 발명의 일 실시예에 의하면, 하드웨어와 결합하여, 상술한 조합 최적화를 위한 탐색기술의 평가방법을 수행하기 위하여 매체에 저장된 컴퓨터 프로그램이 존재할 수 있다.

덧붙여 상기한 과제의 해결수단은, 본 발명의 특징을 모두 열거한 것이 아니다. 본 발명의 다양한 특징과 그에 따른 장점과 효과는 아래의 구체적인 실시형태를 참조하여 보다 상세하게 이해될 수 있을 것이다.

본 발명의 일 실시예에 의한 조합최적화를 위한 탐색기술의 평가장치 및 평가방법에 의하면, 조합최적화 문제를 해결하기 위한 탐색기술들의 성능을 평가하는 것이 가능하다. 즉, 평가결과를 기반으로 해공간 내 효율적인 공간 탐색을 통한 고성능의 최적화를 수행할 수 있는 탐색기술을 개발하도록 유도할 수 있다.

본 발명의 일 실시예에 의한 조합최적화를 위한 탐색기술의 평가장치 및 평가방법에 의하면, 평가결과를 기반으로 탐색기술을 지속적으로 업데이트할 수 있으므로, 해공간 내 효율적인 공간 탐색을 통한 고성능의 최적화를 수행할 수 있는 탐색기술을 개발하는 것이 가능하다.

본 발명의 일 실시예에 의한 조합최적화를 위한 탐색기술의 평가장치 및 평가방법에 의하면, AICC(Artificial Intelligence Contact Center) 서비스와 같은 다중 태스크 의도추론, 지식그래프 기반의 복합 탐색 추론문제에 적용하는 탐색 기술에 대한 품질을 평가하고, 이에 대한 지속적인 개선전략을 도출할 수 있으므로, AICC 서비스 운용에 필요한 시간과 비용을 감소시킬 수 있다.

도1은 본 발명의 일 실시예에 의한 조합최적화를 위한 탐색기술 개발을 나타내는 개략도이다.
도2는 본 발명의 일 실시예에 의한 조합최적화 문제의 지형도를 나타내는 예시도이다.
도3은 본 발명의 일 실시예에 의한 조합최적화를 위한 탐색기술의 평가장치를 나타내는 블록도이다.
도4는 본 발명의 일 실시예에 의한 제1 평가연산결과를 나타내는 그래프이다.
도5는 본 발명의 일 실시예에 의한 제2 평가연산결과를 나타내는 그래프이다.
도6은 본 발명의 일 실시예에 의한 제3 평가연산결과를 나타내는 그래프이다.
도7은 본 발명의 일 실시예에 의한 제4 평가연산결과를 나타내는 그래프이다.
도8은 본 발명의 일 실시예에 의한 평가장치의 동작을 나타내는 개략도이다.
도9는 본 발명의 일 실시예에 의한 평가장치를 이용한 탐색기술 평가를 나타내는 개략도이다.
도10은 본 발명의 일 실시예에 의한 평가장치를 이용한 AICC 서비스를 개발을 나타내는 개략도이다.
도11은 본 발명의 다른 실시예에 의한 평가장치를 나타내는 블록도이다.
도12는 본 발명의 일 실시예에 의한 조합최적화를 위한 탐색기술의 평가방법을 나타내는 순서도이다.

이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 '연결'되어 있다고 할 때, 이는 '직접적으로 연결'되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 '간접적으로 연결'되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다. 또한, 명세서에 기재된 "~부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

도1은 본 발명의 일 실시예에 의한 조합최적화를 위한 탐색기술 개발 시스템을 나타내는 개략도이다.

도1을 참조하면, 평가장치(100)는 조합최적화 문제에 대한 탐색기술(M)의 최적화 결과에 대한 품질을 평가할 수 있으며, 이를 통하여 탐색기술(M)이 보다 효과적으로 조합최적화 문제에 대한 전역 최적해(global optimal solution)를 찾을 수 있도록 개선시킬 수 있다.

여기서, 평가장치(100)는 미리 설정된 조합최적화 문제를 제공할 수 있으며, 탐색기술(M)은 해당 조합최적화 문제에 대한 탐색을 수행하여 전역 최적해를 구할 수 있다. 실시예에 따라서는, 평가장치(100)가 전역최적해와 지역최적해를 미리 알고 있는 조합최적화 문제를 평가문제로 저장할 수 있으며, 해당 평가문제를 탐색기술(M)에게 제공할 수 있다.

탐색기술(M)은 제공받은 평가문제에 대한 전역 최적해를 구하기 위해 방문한 각각의 해(solution)들에 대한 이력 등을 포함하는 탐색이력(H)을 생성할 수 있으며, 평가장치(100)는 탐색이력(H)을 기반으로 해당 탐색기술(M)의 최적화 결과에 대한 품질을 평가할 수 있다.

이 경우, 도1에 도시한 바와 같이, 평가장치(100)의 평가결과를 기반으로 탐색기술(M)을 지속적으로 업데이트할 수 있으므로, 해공간 내 효율적인 공간 탐색을 통한 고성능의 최적화를 수행할 수 있는 탐색기술(M)을 개발하는 것이 가능하다.

여기서, 조합 최적화 문제는 해가 이산 집합에 속하는 문제군에서 최적의 해를 찾는 것으로, 일반적으로 조합 최적화 문제는 다항 시간 내에 해를 찾는 효율적인 알고리즘이 존재하지 않는 것으로 추정되는 NP-Hard(Non-deterministic polynomial-time hardness) 문제에 해당한다.

NP-Hard 문제 중 하나인 순환조합원문제(TSP: Traveling Salesman Problem)의 지형도(landscape)는, 도2(a)에 도시한 바와 같이 전역최적점까지의 그래프 거리가 평가(evaluation)와 상관관계가 있는 '큰 골짜기(big valley)' 형태로 추측되어 왔다. 다만, 최근 연구에 따르면, 도2(b)에 도시한 바와 같이 전역 최적해 근처에서 다중 클러스터를 형성하는 '다중 깔때기(multi-funnel)' 구조를 가지는 것으로 밝혀졌다. 이 경우, 탐색기술(M)들이 전역최적해를 찾기 전에 다중 클러스터 중 어느 하나의 지역최적해(local optimal solution)에 고립되는 경우 등이 발생할 수 있으므로, 조합 최적화 문제를 해결하기 위해서는, 지역적 탐색과 전역적 탐색을 유동적으로 수행하도록 탐색기술(M)을 구현할 필요가 있다.

따라서, 본 발명의 일 실시예에 의한 평가장치(100)는, 구조적, 기능적으로 복잡성이 있는 문제공간을 유동적으로 탐색할 수 있도록, 확률적 지역 탐색방안과 같은 기존 기술에 대한 탐색 품질을 평가하고, 평가결과에 따라 탐색기술(M)의 문제점 및 개선점을 도출함으로써, 유동적 전역최적화를 위한 탐색기술(M)을 개발하도록 할 수 있다. 이하, 도3을 참조하여 본 발명의 일 실시예에 의한 평가장치(100)를 설명한다.

도3은 본 발명의 일 실시예에 의한 조합최적화를 위한 탐색기술의 평가장치를 나타내는 블록도이다. 도3을 참조하면, 본 발명의 일 실시예에 의한 평가장치(100)는 탐색기술 입력부(110), 탐색기술 연산부(120) 및 품질평가부(130)를 포함할 수 있다.

탐색기술 입력부(110)는 미리 설정된 조합 최적화 문제에 대한 탐색기술(M)의 탐색이력(H)을 수신할 수 있다. 즉, 평가장치(100)는 전역최적해와 지역최적해를 미리 알고 있는 조합최적화 문제를 평가문제로 저장할 수 있으며, 해당 평가문제에 대한 전역 최적해를 탐색하도록 탐색기술(M)에게 요청할 수 있다.

탐색기술(M)은 조합 최적화 문제를 해결하기 위한 알고리즘 등을 포함할 수 있으며, 주어진 평가문제에 대한 전역 최적해를 찾기 위해 방문한 각각의 해들에 대한 이력 등을 포함하는 탐색이력(H)을 생성할 수 있다. 이후, 탐색기술(M)에 대한 평가를 위하여, 탐색기술(M)이 생성한 탐색이력(H)은 평가장치(100)로 전송될 수 있으며, 평가장치(100)는 탐색기술 입력부(110)를 통하여 탐색이력(H)을 수신할 수 있다.

탐색기술 연산부(120)는 탐색이력을 이용하여, 탐색기술의 성능평가를 위한 평가연산을 수행할 수 있다. 탐색기술(M)은 다양한 정책을 적용하여 전역 최적해를 찾기 위한 탐색을 수행할 수 있으며, 실시예에 따라서는 확률적 수용정책(stochastic acceptance rule)을 적용할 수 있다. 즉, 탐색기술(M)은 탐색할 다음 해를 확률적 프로세스를 통하여 결정하도록 설계될 수 있다.

이 경우, 탐색기술 연산부(120)는 해당 확률적 수용정책이 지역에서 성공적으로 탈출할 수 있는지를 확인하기 위한 평가연산을 수행할 수 있다. 즉, 일부 탐색기술(M)의 경우 확률적 수용정책을 통하여 전역과 지역에 대한 검색을 잘 수행할 수 있으나, 나머지 탐색기술(M)들의 경우 설정된 확률적 수용정책에 의하여 전역적 규모에 대한 검색을 효율적으로 수행하지 못할 수 있다. 예를들어, 탐색기술(M)이 탐색하는 궤적이 지역에 한정되면 전체 탐색기술(M)의 성능을 심각하게 저하시키는 등의 문제가 발생할 수 있다. 이와 같이, 특정 지역에서 예상되는 성능 향상이 낮은 경우, 가장 좋은 전략은 해당 지역에서의 탐색을 중단하고 다른 지역으로 이동하는 것이나, 일부 탐색기술(M)들에 설정된 정책에 의하면 이러한 탐색 중단이 적용되지 않을 수 있다. 따라서, 탐색기술 연산부(120)를 통하여, 해당 탐색기술(M)이 지역에서 성공적으로 탈출할 수 있는지 전역 탐색 품질을 평가하기 위한 평가연산을 수행할 수 있다.

구체적으로, 탐색기술 연산부(120)는 제1 평가연산을 수행할 수 있으며, 제1 평가연산을 통하여, 탐색기술(M)이 초기 설정횟수 동안 방문한 해 중 최적의 해인 초기 최적해와 탐색기술(M)이 방문한 나머지 해들 사이의 거리(distance)인 제1 거리값을 구할 수 있다. 또한, 전역최적해와 탐색기술(M)이 방문한 각각의 해들 사이의 거리인 제2 거리값을 구할 수 있다. 여기서, 거리는 각각의 해들에 포함된 경로들 중에서 서로 다른 두 개의 해들 사이의 공통경로를 제외한 나머지 경로들의 개수에 해당한다.

예를 들어, 전체 5000 스텝의 탐색을 수행하면서, 임의의 초기(예를들어 500 스텝) 동안 찾은 최고 품질의 해를 초기 최적해로 간주할 수 있다. 이후, 탐색 동안 마주하게 되는 해들에 대하여, 초기 최적해와의 거리(제1 거리값)와, 이미 알려진 전역 최적해와의 거리(제2 거리값)를 각각 비교할 수 있다. 이를 통하여 초기 지역 최적해로부터 얼마나 벗어났는지와, 전역 최적해에 얼마나 가까워졌는지를 비교할 수 있다.

도4(a)는 초기 500회 방문한 해 중에서 최적의 해를 초기 최적해로 설정한 것으로, 도4(a)에는 제1 거리값, 도4(b)에는 제2 거리값이 각각 나타나 있다. 도4(a)를 참조하면, 각각의 해들은 초기 최적해와 거리 차이가 크게 나타나지 않으며, 도4(b)를 참조하면 각각의 해들과 전역 최적해와의 거리 차이도 초기를 제외하면 크게 줄어들지 않음을 확인할 수 있다. 즉, 도4에 예시된 탐색기술(M)의 경우, 탐색하는 해들이 초기 최적해와 유사한 형태로 지속되며 전역 최적해와의 거리도 좁혀지지 않으므로, 초기 지역 내 한정되어 다른 지역으로 이동하지 않은 것으로 볼 수 있다.

또한, 탐색기술 연산부(120)는 제2 평가연산을 수행할 수 있으며, 제2 평가연산을 통하여, 전역최적해와 탐색기술이 방문한 각각의 해들 사이의 최적성 갭(optimality gap)에 대한 밀도추정(density estimation)을 구할 수 있다. 예를들어, 5000 스텝을 탐색하는 동안 방문한 모든 해들에 대하여, 전역최적해 대비 품질을 나타내는 최적성 갭을 구할 수 있으며, 최적성 갭에 대한 밀도추정을 통하여 탐색기술의 방문밀도를 측정할 수 있다. 이를 통하여 탐색기술이 전역 최적해와 유사한 품질의 해를 얼마나 방문하는지를 확인하는 것이 가능하다.

여기서, 최적성 갭은 전역 최적해와 해당 해의 비율을 나타내는 것으로 해당 해의 성능을 나타내는 지표에 해당한다. 최적성 갭은 ((특정해의 품질/ 전역 최적해의 품질) - 1)로 구할 수 있으므로, 최적성 갭은 작을수록 성능이 좋은 것에 해당한다. 여기서, 각각의 해들의 품질은 실시예에 따라 다양한 방식으로 연산할 수 있다. 한편, 최적성 갭에 대한 밀도 추정은 해당 최적성 갭이 가지는 값에 대한 확률밀도를 나타내는 것으로, 실시예에 따라서는 확률밀도함수로 커널 함수(kernel function)를 이용하는 커널 밀도 추정(kernel density estimation)을 활용할 수 있다.

도5를 참조하면, 최적성 갭이 적을 때의 확률밀도가 높게 나타나므로, 해당 탐색기술(M)의 경우 대부분 전역 최적해에 도달할 것으로 예상된다. 다만, 최적성 갭이 높은 경우에 대한 확률밀도도 존재하므로, 일부 예에서는 상대적으로 낮은 품질의 해만 방문하여 전체 성능에 부정적인 영향을 주는 경우가 발생할 수 있다. 따라서, 최적성 갭이 작을 때의 확률밀도는 높으면서, 최적성 갭이 클 때의 확률밀도는 낮으면 해당 탐색기술(M)의 성능이 좋은 것으로 판별할 수 있다.

또한, 탐색기술 연산부(120)는 제3 평가연산을 수행할 수 있으며, 제3 평가연산을 통하여, 탐색기술(M)이 방문한 해들을 단위횟수마다 각각 그룹핑하고, 각각의 그룹에서 발견한 최적해들 사이의 거리에 대한 제1 평균값을 구할 수 있다.

여기서, 도6(b)는 단위횟수를 500으로 설정한 경우를 나타낸 예시로, 전체 5000 횟수를 500씩 10개의 그룹으로 구별할 수 있다. 첫번째 줄은 첫번째 그룹에서의 최적해와 나머지 그룹들의 최적해 사이의 거리에 대한 제1 평균값을 나타내는 것이고, 두번째 줄은 두번째 그룹에서의 최적해와 나머지 그룹의 최적해 사이의 거리에 대한 제1 평균값을 나타내는 것이다. 나머지 줄에 대하여도 동일한 방식으로 제1 평균값을 나타낼 수 있다. 여기서, 각각의 그룹들은 탐색 진행에 따른 시간의 구간에 대응하므로, 각각의 그룹들의 최적해를 비교함으로써, 탐색기술이 같은 영역에 머무는지 아니면 다른 영역으로 이동하는지 간접적으로 확인하는 것이 가능하다. 도6(b)의 경우, 각각의 제1 평균값의 크기가 상대적으로 크고 변화하고 있으므로, 탐색이 진행됨에 따라 서로 다른 영역을 탐색하고 있음을 확인할 수 있다.

또한, 탐색기술 연산부(120)는 전역 최적해와 각각의 그룹들의 최적해와의 거리에 대한 제2 평균값을 구할 수 있다. 여기서, 제2 평균값은 각 그룹들의 최적해와 전역최적해 사이의 거리에 해당하므로, 탐색기술이 시간에 따라 얼마나 전역 최적해로 다가가는지를 확인할 수 있다. 도6(a)를 참조하면 각각의 그룹의 최적해와 전역 최적해의 거리는 각각 8.2, 6.6, 6.1, 5.8, 5.6, 5.4, 5.4, 5.2, 5.1, 5.1에 해당한다. 여기서, 첫번째 그룹에서는 거리가 크게 나타나고 뒤로 갈수록 점차 거리가 좁해지고 있으나, 크게 좁혀지지는 않고 마지막 그룹까지 5.1의 거리를 가지고 있음을 확인할 수 있다.

여기서, 도6(a) 및 도6(b)를 동시에 비교하면, 탐색기술(M)은 도6(b)에 도시한 바와 같이 각각의 그룹마다 상이한 지역 최적해를 가지지만, 도6(a)에 도시한 바와 같이 전역 최적해와의 제2 평균값이 좁혀지지 않음을 확인할 수 있다. 이를 통하여, 탐색기술(M)은 지역 내에서는 이동을 잘 할 수 있으나, 해당 지역에서 벗어나 다른 지역으로 이동하는 전역 탐색의 품질은 좋지 않은 것으로 판별할 수 있다. 즉, 지역 내의 지역 언덕(local hill) 간의 이동은 원활하지만, 지역을 벗어나기 위한 언덕의 클러스터는 탈출하지 못하는 것으로 판별할 수 있다.

탐색기술 연산부(120)는 제4 평가연산을 수행할 수 있으며, 제4 평가연산을 통하여, 탐색기술(M)이 방문한 각각의 해와 초기 최적해와의 거리를 제1 좌표값, 탐색기술(M)이 방문한 각각의 해와 전역최적해와의 거리를 제2 좌표값으로 각각 설정할 수 있다. 이후, 탐색기술 연산부(120)는 제1 좌표값과 제2 좌표값의 좌표쌍을 2차원 평면상에 방문 밀도에 대한 빈도 등고선으로 표시할 수 있다. 이를 통하여 탐색기술(M)이 찾은 해들이 특정 영역 내에 갇혀있는지를 확인할 수 있다.

도5를 참조하면, 대부분 최적성 갭이 적게 나타나지만 최적성 갭이 크게 나타나는 경우도 나타날 수 있다. 이와 같이 일부 인스턴스에서 성능이 저하됨으로 인해 탐색 기법의 최종 성능에도 악영향을 미치게 되는 이유를 이해하기 위하여, 특정 인스턴스 레벨에서 탐색영역을 확인할 수 있다. 구체적으로, 도7(a)는 최적성 갭이 적게 나타난 인스턴스에서의 제4 평가연산결과를 나타낸 것이고, 도7(b)는 최적성 갭이 높게 나타난 인스턴스에서의 제4 평가연산결과를 나타내는 결과이다.도7(a)의 경우, 탐색기술(M)이 초기 최적해로부터 벗어나 다양한 해들을 방문하는 것을 확인할 수 있다. 반면에, 도7(b)의 경우 탐색기술(M)이 초기 최적해와 일부 상이한 해들을 방문하지만, 전역 최적해와의 거리를 크게 벗어나지 않는 범위에서 이동하므로, 특정 지역 내에서 한정된 지역 최적해를 찾는 것으로 해석할 수 있다.

한편, 탐색기술 연산부(120)는 제1 평가연산 내지 제4 평가연산 이외에도, 다양한 종류의 평가연산을 수행할 수 있다.

품질평가부(130)는 평가연산의 결과를 이용하여, 탐색기술의 전역최적해 탐색 품질을 판별할 수 있다. 즉, 도8에 도시한 바와 같이, 평가장치(100)는 탐색이력(H)을 기반으로, 해당 탐색기술(M)이 전역적 탐색(Globally Exploed) 이 가능한지, 아니면 지역 제한 탐색(Locally stucked)인지를 판별할 수 있다.

실시예에 따라서는, 제1 평가연산 결과, 제1 거리값이 설정범위 내를 유지하고, 제2 거리값이 한계값 이상이면, 품질평가부(130)가 해당 탐색기술(M)은 지역에 제한된 탐색을 수행하는 것으로 판별할 수 있다. 즉, 초기 최적해와의 거리가 일정하게 유지되면서, 전역 최적해와의 거리도 좁혀지지 않는 경우에 해당하므로, 전역탐색의 품질이 좋지 않은 것으로 판별할 수 있다. 반면에, 제1 거리값이 설정범위를 벗어나고, 제2 거리값이 한계값 미만으로 좁혀지는 경우에는, 품질평가부(130)가 해당 탐색기술(M)은 전역적 탐색이 가능한 것으로 판별할 수 ?다.

또한, 실시예에 따라서는, 품질평가부(130)가 복수의 탐색기술들에 대한 제2 평가연산을 수행한 후, 각각의 제2 평가연산결과를 비교하여 전역최적해 탐색 품질을 판별하는 것도 가능하다. 즉, 품질평가부(130)는 제2 평가연산결과 최적성 갭이 작을수록 더 높은 밀도를 가지는 탐색기술에 대하여, 전역최적해 탐색 품질이 더 높은 것으로 판별할 수 있다. 구체적으로, 도9를 참조하면, 품질평가부(130)는 탐색기술 A와 탐색기술 B를 비교할 수 있으며, 도9(a)를 참조하면 탐색기술 B는 탐색기술 A와 비교할 때, 최적화 갭이 작을수록 밀도가 더 높고, 최적화 갭이 높을 때에는 밀도가 더 낮음을 확인할 수 있다. 따라서, 탐색기술 B가 탐색기술 A보다 전역탐색의 품질이 더 높은 것으로 판별할 수 있다.

또한, 도9(b)를 참조하면, 제4 평가연산결과 탐색기술 B의 경우 전역최적해와의 거리가 상이한 다양한 해들을 방문함을 확인할 수 있으나, 탐색기술 A는 전역최적해와의 거리가 크게 벗어나지 않는 상태에서 초기 최적해 주변의 해들을 방문하는 것으로 확인할 수 있다. 따라서, 품질평가부(130)는 탐색기술 B가 탐색기술A와 비교할 때 지역에서 벗어나 다른 지역에서의 탐색을 수행하는 것으로 판별할 수 있다.

도9(c)는, 각각의 해와 전역최적해 사이의 거리와, 최적성 갭 사이의 관계를 나타내는 것으로, 도9(c)를 참조하면 품질평가부(130)는 탐색기술 B는 전역최적해와의 거리가 상이하고 다양한 최적성 갭을 가지는 해들을 방문하지만, 탐색기술 A는 전역최적해와의 거리가 제한된 일정한 지역 내의 해들을 방문하는 것으로 판별할 수 있다. 따라서, 품질평가부(130)는 도9에 도시한 바와 같이, 서로 다른 복수의 탐색기술들을 비교하여, 상대적인 전역품질을 평가하는 것도 가능하다.

한편, 도10에 도시한 바와 같이, 본 발명의 일 실시예에 의하면 사용자에게 가상 통화비서 서비스(AICC: Artificial Intelligence Contact Center) 등을 제공하기 위한 서비스 시스템을 구축할 수 있다. 여기서 가상 통화비서 서비스는 사용자가 말하는 요구사항을 이해한 후, 적절한 답변이나 서비스 등으로 연결시키는 서비스에 해당한다. 일반적으로 사람의 대화는 자유도가 높으며 정해진 스탭이나 규칙에 따라 대화를 하지 않을 수 있다. 즉, 사람은 명확한 지식을 가지고 대화하기 보다, 추상적인 질문을 통해 원하는 답변을 요구할 수 있다. 따라서, 사용자는 "지금 나에게 필요한 상품은 뭐예요?"와 같은 질문을 할 수 있으며, 이 경우 시간, 장소, 개인의 프로파일 정보, 상품 지식 등을 조합하여 최적의 상품을 도출할 수 있어야 답변이 가능하다. 다만, 서비스 시스템 내에 개인별 성향이나, 대화이력, 상품지식 등을 포괄하는 복합 지식그래프가 존재하는 경우에도, 답변을 탐색하기 위한 최적경로에 대한 최적화가 필요하며, 이는 조합 최적화 문제를 통해 해결할 수 있다. 이때, 조합 최적화 문제를 해결하기 위한 탐색기술을 적용할 수 있으며, 탐색기술은 신경-조합형 추론기술을 기반으로 구축될 수 있다. 여기서, 탐색기술의 최적화를 위하여 본 발명의 일 실시예에 의한 평가장치(100)가 서비스 시스템 내에 포함될 수 있다.

도11은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(100)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술되지 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.

도시된 컴퓨팅 환경(100)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 본 발명의 실시예들에 따른 평가장치(100)일 수 있다. 컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.

컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.

통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.

컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.

도12는 본 발명의 일 실시예에 의한 조합최적화를 위한 탐색기술의 평가방법을 나타내는 순서도이다. 여기서, 도12의 각 단계들은 본 발명의 일 실시예에 의한 평가장치에 의하여 수행될 수 있다.

평가장치는, 미리 설정된 조합 최적화 문제에 대한 상기 탐색기술의 탐색이력을 수신할 수 있다(S10). 탐색기술은 조합 최적화 문제를 해결하기 위한 알고리즘 등을 포함할 수 있으며, 전역 최적해를 찾기 위해 방문한 각각의 해들에 대한 이력 등을 포함하는 탐색이력을 생성할 수 있다. 따라서, 탐색기술에 대한 평가를 위하여, 탐색기술이 생성한 탐색이력을 평가장치로 전송할 수 있으며, 평가장치는 탐색이력을 수신할 수 있다.

평가장치는, 탐색이력을 이용하여, 탐색기술의 성능평가를 위한 평가연산을 수행할 수 있다(S20). 탐색기술은 다양한 정책을 적용하여 전역 최적해를 찾기 위한 탐색을 수행할 수 있으며, 탐색을 위한 다양한 정책들이 적용될 수 있다. 여기서, 평가장치는 탐색기술의 정책이 지역에서 성공적으로 탈출할 수 있는지를 확인하기 위한 평가연산을 수행할 수 있다. 즉, 일부 탐색기술의 경우, 전역과 지역에 대한 검색을 잘 수행할 수 있으나, 나머지 탐색기술(M)들의 경우 설정된 정책에 의하여 전역적 규모에 대한 검색을 효율적으로 수행하지 못할 수 있다. 즉, 탐색기술이 탐색하는 궤적이 지역에 한정되어 전체 탐색기술의 성능을 심각하게 저하시키는 등의 문제가 발생할 수 있다. 따라서, 평가장치는, 해당 탐색기술이 지역에서 성공적으로 탈출할 수 있는지 전역 탐색 품질을 평가하기 위한 평가연산을 수행할 수 있다.

구체적으로, 평가장치는 제1 평가연산을 수행할 수 있으며, 제1 평가연산을 통하여, 탐색기술이 초기 설정횟수 동안 방문한 해 중 최적의 해인 초기 최적해와 탐색기술이 방문한 나머지 해들 사이의 거리(distance)인 제1 거리값을 구할 수 있다. 또한, 전역최적해와 탐색기술이 방문한 각각의 해들 사이의 거리인 제2 거리값을 구할 수 있다.

평가장치는 제2 평가연산으로, 전역최적해와 탐색기술이 방문한 각각의 해들 사이의 최적성 갭(optimality gap)에 대한 밀도추정(density estimation)을 구할 수 있으며, 제3 평가연산으로 탐색기술이 방문한 해들을 단위횟수마다 각각 그룹핑하고, 각각의 그룹에서 발견한 최적해와 나머지 그룹들의 최적해들의 거리에 대한 제1 평균값을 구할 수 있다. 또한, 평가장치는 제3 평가연산으로 전역 최적해와 각각의 그룹들의 최적해의 거리에 대한 제2 평균값을 구할 수 있다. 즉, 각각의 그룹별로 전역 최적해와 얼마나 가까워지는 지를 확인하는 것이 가능하다.

또한, 평가장치는 제4 평가연산으로, 탐색기술이 방문한 각각의 해와 초기 최적해와의 거리를 제1 좌표값, 각각의 해와 전역최적해와의 거리를 제2 좌표값으로 설정하고, 제1 좌표값과 제2 좌표값의 좌표쌍을 2차원 평면상에 빈도 등고선으로 표시할 수 있다.

이후, 평가장치는, 평가연산의 결과를 이용하여, 상기 탐색기술의 전역최적해 탐색 품질을 판별할 수 있다(S30). 즉, 평가장치는 탐색이력을 기반으로, 해당 탐색기술이 전역적 탐색(Globally Exploed) 가능한지, 아니면 지역 제한 탐색(Locally stucked)인지를 판별할 수 있다. 실시예에 따라서는, 평가장치가 제1 평가연산 결과, 제1 거리값이 설정범위 내를 유지하고, 제2 거리값이 한계값 이상이면, 탐색기술은 지역에 제한된 탐색을 수행하는 것으로 판별할 수 있다. 반면에, 제1 거리값이 설정범위를 벗어나고, 제2 거리값이 한계값 미만으로 좁혀지면 해당 탐색기술은 전역적 탐색이 가능한 것으로 판별할 수 있다.

또한, 실시예에 따라서는, 평가장치가 복수의 탐색기술에 대한 제2 평가연산을 수행한 후, 각각의 제2 평가연산결과를 비교하여 전역최적해 탐색 품질을 비교할 수 있다. 즉, 제2 평가연산결과 최적성 갭이 작을수록 더 높은 밀도를 가지는 탐색기술에 대하여, 전역최적해 탐색 품질이 더 높은 것으로 판별할 수 있다.

전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 본 발명에 따른 구성요소를 치환, 변형 및 변경할 수 있다는 것이 명백할 것이다.

100: 평가장치 110: 탐색기술 입력부
120: 탐색기술 연산부 130: 품질평가부

Claims (16)

1. 조합 최적화(Combinatorial Optimization)를 위한 탐색기술의 평가장치에 있어서,
   미리 설정된 조합 최적화 문제에 대한 상기 탐색기술의 탐색이력을 수신하는 탐색기술 입력부;
   상기 탐색이력을 이용하여, 상기 탐색기술의 성능평가를 위한 평가연산을 수행하는 탐색기술 연산부; 및
   상기 평가연산의 결과를 이용하여, 상기 탐색기술의 전역최적해 탐색 품질을 판별하는 품질평가부를 포함하는 평가장치.
   
2. 제1항에 있어서, 상기 탐색이력은
   상기 탐색기술이 상기 조합 최적화 문제에 대한 전역 최적해를 구하기 위해 방문한 각각의 해들에 대한 이력을 포함하는 것인, 평가장치.
   
3. 제1항에 있어서, 상기 탐색기술 연산부는
   상기 탐색기술이 초기 설정횟수 동안 방문한 해 중 최적의 해인 초기 최적해와 상기 탐색기술이 방문한 나머지 해들 사이의 제1 거리값, 및 상기 전역최적해와 상기 탐색기술이 방문한 각각의 해들 사이의 제2 거리값을 구하는 제1 평가연산을 수행하는 것인, 평가장치.
   
4. 제1항에 있어서, 상기 탐색기술 연산부는
   전역최적해와 상기 탐색기술이 방문한 각각의 해들 사이의 최적성 갭(optimality gap)에 대한 밀도추정(density estimation)을 구하는 제2 평가연산을 수행하는 것인, 평가장치.
   
5. 제1항에 있어서, 상기 탐색기술 연산부는
   상기 탐색기술이 방문한 해들을 단위횟수마다 각각 그룹핑하고, 각각의 그룹에서 발견한 최적해와 나머지 그룹들 내 해들의 거리에 대한 제1 평균값과, 전역 최적해와 각각의 그룹들 내 해들의 거리에 대한 제2 평균값을 각각 구하는 제3 평가연산을 수행하는 것인, 평가장치.
   
6. 제1항에 있어서, 상기 탐색기술 연산부는
   각각의 해들에 대하여, 상기 탐색기술이 초기 설정횟수 동안 방문한 해 중 최적의 해인 초기 최적해와의 거리를 제1 좌표값, 상기 전역최적해와의 거리를 제2 좌표값으로 설정하고, 상기 제1 좌표값과 제2 좌표값의 좌표쌍을 2차원 평면상에 빈도 등고선으로 표시하는 제4 평가연산을 수행하는 것인, 평가장치.
   
7. 제3항에 있어서, 상기 품질평가부는
   상기 제1 평가연산 결과, 상기 제1 거리값이 설정범위 내를 유지하고, 상기 제2 거리값이 한계값 이상이면, 상기 탐색기술은 지역에 제한된 탐색을 수행하는 것으로 판별하는 것인, 평가장치.
   
8. 제4항에 있어서, 상기 품질평가부는
   복수의 탐색기술에 대하여 상기 제2 평가연산을 수행한 후, 상기 최적성 갭이 작을수록 더 높은 밀도를 가지는 탐색기술에 대하여, 상기 전역최적해 탐색 품질이 더 높은 것으로 판별하는 것인, 평가장치.
   
9. 조합 최적화(Combinatorial Optimization)를 위한 탐색기술의 평가방법에 있어서,
   미리 설정된 조합 최적화 문제에 대한 상기 탐색기술의 탐색이력을 수신하는 단계;
   상기 탐색이력을 이용하여, 상기 탐색기술의 성능평가를 위한 평가연산을 수행하는 단계; 및
   상기 평가연산의 결과를 이용하여, 상기 탐색기술의 전역최적해 탐색 품질을 판별하는 단계를 포함하는 평가방법.
   
10. 제9항에 있어서, 상기 평가연산을 수행하는 단계는
    상기 탐색기술이 초기 설정횟수 동안 방문한 해 중 최적의 해인 초기 최적해와 상기 탐색기술이 방문한 나머지 해들 사이의 제1 거리값, 및 상기 전역최적해와 상기 탐색기술이 방문한 각각의 해들 사이의 제2 거리값을 구하는 제1 평가연산을 수행하는 것인, 평가방법.
    
11. 제9항에 있어서, 상기 평가연산을 수행하는 단계는
    전역최적해와 상기 탐색기술이 방문한 각각의 해들 사이의 최적성 갭(optimality gap)에 대한 밀도추정(density estimation)을 구하는 제2 평가연산을 수행하는 것인, 평가방법.
    
12. 제9항에 있어서, 상기 평가연산을 수행하는 단계는
    상기 탐색기술이 방문한 해들을 단위횟수마다 각각 그룹핑하고, 각각의 그룹에서 발견한 최적해와 나머지 그룹들 내 해들의 거리에 대한 제1 평균값과, 전역 최적해와 각각의 그룹들 내 해들의 거리에 대한 제2 평균값을 각각 구하는 제3 평가연산을 수행하는 것인, 평가방법.
    
13. 제9항에 있어서, 상기 평가연산을 수행하는 단계는
    각각의 해들에 대하여, 상기 탐색기술이 초기 설정횟수 동안 방문한 해 중 최적의 해인 초기 최적해와의 거리를 제1 좌표값, 상기 전역최적해와의 거리를 제2 좌표값으로 설정하고, 상기 제1 좌표값과 제2 좌표값의 좌표쌍을 2차원 평면상에 빈도등고선으로 표시하는 제4 평가연산을 수행하는 것인, 평가방법.
    
14. 제10항에 있어서, 상기 전역최적해 탐색 품질을 판별하는 단계는
    상기 제1 평가연산 결과, 상기 제1 거리값이 설정범위 내를 유지하고, 상기 제2 거리값이 한계값 이상이면, 상기 탐색기술은 지역에 제한된 탐색을 수행하는 것으로 판별하는 것인, 평가방법.
    
15. 제11항에 있어서, 상기 전역최적해 탐색 품질을 판별하는 단계는
    복수의 탐색기술에 대하여 상기 제2 평가연산을 수행한 후, 상기 최적성 갭이 작을수록 더 높은 밀도를 가지는 탐색기술에 대하여, 상기 전역최적해 탐색 품질이 더 높은 것으로 판별하는 것인, 평가방법.
    
16. 하드웨어와 결합하여, 제9항 내지 제15항 중 어느 하나의 항에 따른 조합 최적화를 위한 탐색기술의 평가방법을 수행하기 위하여 매체에 저장된 컴퓨터 프로그램.

Images