KR102213962B1 - 크라우드 소싱을 통한 벤치마크 테스트 수행 방법 및 장치 - Google Patents

크라우드 소싱을 통한 벤치마크 테스트 수행 방법 및 장치 Download PDF

Info

Publication number
KR102213962B1
KR102213962B1 KR1020180172508A KR20180172508A KR102213962B1 KR 102213962 B1 KR102213962 B1 KR 102213962B1 KR 1020180172508 A KR1020180172508 A KR 1020180172508A KR 20180172508 A KR20180172508 A KR 20180172508A KR 102213962 B1 KR102213962 B1 KR 102213962B1
Authority
KR
South Korea
Prior art keywords
evaluation item
evaluation
terminals
verifier
items
Prior art date
Application number
KR1020180172508A
Other languages
English (en)
Other versions
KR20200082177A (ko
Inventor
박지환
천선일
Original Assignee
(주)씽크포비엘
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)씽크포비엘 filed Critical (주)씽크포비엘
Priority to KR1020180172508A priority Critical patent/KR102213962B1/ko
Publication of KR20200082177A publication Critical patent/KR20200082177A/ko
Application granted granted Critical
Publication of KR102213962B1 publication Critical patent/KR102213962B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0278—Product appraisal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0623—Item investigation
    • G06Q30/0625—Directed, with specific intent or strategy
    • G06Q30/0629—Directed, with specific intent or strategy for generating comparisons

Landscapes

  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

서버에 의해서 수행되는, 복수의 비교 제품에 대한 벤치마크 테스트의 중개 방법이 제공된다. 본 개시의 방법은, 통신망을 통하여, 외부 의뢰자 단말로부터 벤치마크 테스트를 위한 요구 스펙을 수신하는 단계- 상기 요구 스펙은, 상기 복수의 비교 제품의 정보와, 상기 벤치마크 테스트를 통해 달성하려는 목표 및 하나 이상의 요구사항 중 적어도 하나를 포함함 -; 상기 수신된 요구 스펙에 기초하고 소정의 기준에 따라, 복수의 평가항목 작성 전문가 단말을 선정하는 단계- 상기 복수의 평가항목 작성 전문가 단말 각각은 서로 독립적으로 선정됨 -; 상기 통신망을 통하여, 상기 복수의 평가항목 작성 전문가 단말로부터, 상기 벤치마크 테스트를 위한 하나 이상의 평가항목과, 각 평가항목에 대한 가중치를 확인해 줄 하나 이상의 평가항목 확인자 단말 선정 요건을 수신하는 단계- 상기 하나 이상의 평가항목 확인자 단말 선정 요건은, 각각 할당된 가중치 값을 가짐 -; 상기 복수의 평가항목 작성 전문가 단말로부터 수신된, 상기 하나 이상의 평가항목 확인자 단말 선정 요건에 기초하여, 복수의 평가항목 확인자 단말을 선정하는 단계- 상기 복수의 평가항목 확인자 단말 각각은 서로 독립적이고, 상기 복수의 평가항목 작성 전문가 단말에 대해서 독립적으로 선정됨-; 상기 통신망을 통하여, 상기 복수의 평가항목 확인자 단말 각각으로부터, 상기 벤치마크 테스트를 위한 상기 복수의 평가항목 작성 전문가 단말로부터 수신된 상기 하나 이상의 평가항목 각각에 대해, 상기 평가항목 확인자 단말이 할당한 각각의 가중치 값을 수신하는 단계; 상기 수신된 요구 스펙에 기초하고 소정의 기준에 따라, 상기 복수의 비교 제품 중 적어도 하나에 대하여, 상기 하나 이상의 평가항목 각각에 관한 만족 여부를 확인해줄 복수의 테스트 단말을 선정하는 단계- 상기 복수의 테스트 단말 각각은 서로 독립적이며, 상기 복수의 평가항목 작성 전문가 단말 및 상기 복수의 평가항목 확인자 단말와 독립적으로 선정됨 -; 및 상기 복수의 테스트 단말에 의한, 상기 복수의 비교 제품에 관한, 상기 하나 이상의 평가항목 각각에 관한 만족 여부의 확인 결과에 기초하여, 상기 벤치마크 테스트 결과를 획득하는 단계를 포함한다.

Description

크라우드 소싱을 통한 벤치마크 테스트 수행 방법 및 장치{APPARATUS AND METHOD FOR PERFORMING A BENCHMARK TEST THROUGH CROWD SOURCING}
본 개시는, 벤치마크 테스트 수행 방법 및 장치에 관한 것이며, 보다 구체적으로는 크라우드 소싱 방식을 활용한, 자동화된 벤치마크 테스트의 수행 방법 및 장치에 관한 것이다.
정부, 공공기관, 기업체 등 다양한 기관들(발주기관)은, 사업 운영에 있어서 하드웨어 및 소프트웨어를 비롯한 각종 제품의 구매에 관한 의사결정의 순간을 수시로 맞이하게 되는데, 그러한 때마다 후보가 된 다수의 제품들 중에 가장 적합한 제품을 선택할 수 있기를 희망한다. 이를 위하여, 각 기관들은, 통상적으로, 벤치마크 테스트(Benchmark Test) 방법을 자주 이용하는데, 벤치마크 테스트는 일종의 성능 테스트 방법으로서, 동종의 경쟁제품들을 객관적 기준에 따라 비교 분석하고 그 비교 분석 결과를 토대로 구매자(발주자)로 하여금 위 경쟁제품들 가운데 최적의 제품을 선택할 기회를 갖도록 지원하는 테스트 방법을 말한다. 벤치마크 테스트는, 통상적으로, 요구 사항의 분석, 평가항목의 선정 및 측정 기준의 도출, 평가의 수행, 및 결과 분석 등 복수의 순차적 단계에 의해 수행된다. 그런데, 각 발주기관을 위한 벤치마크 테스트는, 대개 각 발주기관의 의뢰에 따라, 일부 소수의 선별된 전문가(예컨대 벤치마크 테스트 전문 기관의 전문가)의 주관적 판단에 의해서 전술한 단계들, 예컨대 테스트를 위한 요구 사항의 분석, 평가 항목의 선정 및 측정 기준의 도출, 평가의 수행, 및 결과 분석 등이 모두 이루어지는 것이 일반적이며, 그렇기 때문에 구체적인 평가 항목의 선정 기준이 다소 모호할 뿐 아니라 검증 또한 충분히 객관적으로 이루어지지 못하는 면이 있어 왔다.
한편, 최근에는, 기업 활동의 전 과정에 있어서, 종전에는 내부 또는 일부 한정된 범위의 관련 전문가만이 접근 가능하였었던 지식을 외부의 대중(예컨대, 외부 전문가 또는 비전문가)에게 개방하고, 구체적인 연구 개발 및 문제 해결 등에 관하여 그러한 외부의 대중의 참여를 유도하여 그로부터 얻어진 지식 등을 기업 활동에 적극적으로 활용함으로써 기업 활동 능력을 향상시키고 혁신을 이루려는 시도, 이른바 크라우드 소싱이 사회적으로 크게 각광을 받고 있다.
소수의 전문가에 의한 전체 벤치마크 테스트가 수행되었던 종래의 방식과 달리, 벤치마크 테스트의 각 단계별로, 이전 단계와는 독립적(블라인드)으로 선정된 많은 수의 전문가들이 해당 각 단계에 자유롭게 참여할 수 있도록 함으로써, 아무런 편견이나 주관적 치우침 없이 객관적이고 공정하게 벤치마크 테스트의 각 단계를 수행하도록 할 수 있는, 벤치마크 테스트 방법 등의 제공이 필요로 된다. 아울러, 전문가들의 판단과 함께, 대중의 참여를 함께 유도함으로써, 더욱 정확하고 객관적인 결과 도출을 제공할 수 있는, 크라우드 소싱 방식에 기초한 자동화된 벤치마크 테스트의 수행 방법 등의 제공이 필요로 된다.
본 개시의 일 특징에 의하면, 서버에 의해서 수행되는, 복수의 비교 제품에 대한 벤치마크 테스트의 중개 방법이 제공된다. 본 개시의 방법은, 통신망을 통하여, 외부 의뢰자 단말로부터 벤치마크 테스트를 위한 요구 스펙을 수신하는 단계- 상기 요구 스펙은, 상기 복수의 비교 제품의 정보와, 상기 벤치마크 테스트를 통해 달성하려는 목표 및 하나 이상의 요구사항 중 적어도 하나를 포함함 -; 상기 수신된 요구 스펙에 기초하고 소정의 기준에 따라, 복수의 평가항목 작성 전문가를 선정하는 단계- 상기 복수의 평가항목 작성 전문가 각각은 서로 독립적으로 선정됨 -; 상기 통신망을 통하여, 상기 복수의 평가항목 작성 전문가로부터, 상기 벤치마크 테스트를 위한 하나 이상의 평가항목과, 각 평가항목에 대한 가중치를 확인해 줄 하나 이상의 평가항목 확인자 선정 요건을 수신하는 단계- 상기 하나 이상의 평가항목 확인자 선정 요건은, 각각 할당된 가중치 값을 가짐 -; 상기 복수의 평가항목 작성 전문가로부터 수신된, 상기 하나 이상의 평가항목 확인자 선정 요건에 기초하여, 복수의 평가항목 확인자를 선정하는 단계- 상기 복수의 평가항목 확인자 각각은 서로 독립적이고, 상기 복수의 평가항목 작성 전문가에 대해서 독립적으로 선정됨-; 상기 통신망을 통하여, 상기 복수의 평가항목 확인자 각각으로부터, 상기 벤치마크 테스트를 위한 상기 복수의 평가항목 작성 전문가로부터 수신된 상기 하나 이상의 평가항목 각각에 대해, 상기 평가항목 확인자가 할당한 각각의 가중치 값을 수신하는 단계; 상기 수신된 요구 스펙에 기초하고 소정의 기준에 따라, 상기 복수의 비교 제품 중 적어도 하나에 대하여, 상기 하나 이상의 평가항목 각각에 관한 만족 여부를 확인해줄 복수의 테스터를 선정하는 단계- 상기 복수의 테스터 각각은 서로 독립적이며, 상기 복수의 평가항목 작성 전문가 및 상기 복수의 평가항목 확인자와 독립적으로 선정됨 -; 및 상기 복수의 테스터에 의한, 상기 복수의 비교 제품에 관한, 상기 하나 이상의 평가항목 각각에 관한 만족 여부의 확인 결과에 기초하여, 상기 벤치마크 테스트 결과를 획득하는 단계를 포함한다.
본 개시의 일 실시예에 의하면, 방법은, 상기 복수의 평가항목 작성 전문가 각각으로부터 수신된 상기 평가항목 확인자 선정 요건 각각에 할당된 상기 가중치 값에 기초하여, 상기 복수의 평가항목 확인자 각각의 상대 가중치를 결정하는 단계를 더 포함할 수 있다.
본 개시의 일 실시예에 의하면, 방법은, 상기 복수의 평가항목 확인자 각각에 대하여 결정된 상기 상대 가중치를 이용해서, 상기 평가항목 확인자가 상기 하나 이상의 평가항목 각각에 대해 할당한 상기 각각의 가중치 값을 조정하는 단계를 더 포함할 수 있다.
본 개시의 일 실시예에 의하면, 방법은, 상기 각 평가항목 확인자에 관련된, 상기 하나 이상의 평가항목 각각에 대한 상기 조정된 각 가중치 값을 이용해서, 상기 하나 이상의 평가항목 각각에 대한 최종 가중치 점수를 결정하는 단계를 더 포함할 수 있다.
본 개시의 일 실시예에 의하면, 상기 복수의 테스터에 의한, 상기 복수의 비교 제품에 관한, 상기 하나 이상의 평가항목 각각에 관한 만족 여부의 확인 결과에 기초하여, 상기 벤치마크 테스트 결과를 획득하는 단계는, 상기 하나 이상의 평가항목 각각에 대한 상기 최종 가중치 점수를 이용해서, 상기 각 비교 제품에 대한 상기 하나 이상의 평가항목 각각에 관한 상기 만족 여부의 확인 결과를, 각 평가 점수로 전환하는 단계를 포함할 수 있다.
본 개시의 일 실시예에 의하면, 상기 하나 이상의 평가항목은, 상기 요구 스펙의 상기 하나 이상의 요구사항 중 하나에 대응하고, 방법은, 상기 각 비교 제품에 대하여, 상기 요구 스펙의 상기 각 요구사항별로, 관련된 상기 하나 이상의 평가항목 각각에 관한 상기 각 평가 점수를 합산하는 단계를 더 포함할 수 있다.
본 개시의 일 실시예에 의하면, 방법은, 소정의 기준에 따라, 복수의 투표자를 선정하는 단계- 상기 복수의 투표자 각각은 서로 독립적이며, 상기 복수의 평가항목 작성 전문가, 상기 복수의 평가항목 확인자, 및 상기 복수의 테스터와 독립적으로 선정됨 -; 상기 복수의 투표자 각각에 대해, 상기 복수의 비교 제품 각각에 대한 상기 평가 점수에 관련된 정보를 전송하는 단계; 및 상기 복수의 투표자 각각으로부터 상기 복수의 비교 제품 중 하나에 대한 투표 결과를 수신하는 단계를 더 포함할 수 있다.
본 개시의 일 실시예에 의하면, 방법은, 상기 통신망을 통하여, 상기 복수의 비교 제품 각각에 대한 상기 평가 점수에 관련된 정보 및 상기 투표 결과를, 상기 외부 의뢰자 단말로 전송하는 단계를 더 포함할 수 있다.
본 개시의 다른 특징에 의하면, 컴퓨터에 의해 실행 가능한 하나 이상의 명령이 수록된 컴퓨터 판독가능 기록 매체로서, 상기 하나 이상의 명령은 상기 컴퓨터에 의해 실행되는 경우, 상기 컴퓨터로 하여금, 전술한 방법들 중 어느 하나의 방법을 수행하도록 하는, 컴퓨터 판독가능 기록 매체가 제공된다.
본 개시의 또 다른 특징에 의하면, 컴퓨터 장치로서, 메모리, 및 프로세서를 포함하고, 상기 프로세서는, 전술한 방법들 중 어느 하나의 방법을 수행하도록 구성된, 컴퓨터 판독가능 기록 매체가 제공된다.
본 개시의 실시예들에 의하면, 벤치마크 테스트 수행을 위한 복수의 단계 각각마다, 해당 단계에 참여하는 인력들이 이전 단계와 독립적으로 선별(즉, 벤치마크 테스트 수행의 각 단계에 관여하는 인력은, 이전 단계에 관여한 인력과는 아무런 연관성이 없이 별도로 선정)될 수 있고, 그에 따라 각 단계에 참여하는 인력들은 (이전 단계에서 어떠한 과정을 통해 현재 단계에 이르게 되었는지에 관한 아무런 편견이나 주관적 치우침 없이 블라인드 상태로) 해당 단계에 있어서의 공정하고 투명한 업무 수행을 달성할 수 있다. 본 개시의 실시예들에 의하면, 벤치마크 테스트 수행의 각 단계마다 해당 단계의 수행을 위해 복수의 인력이 선별될 수 있고 그 복수의 인력 각각에 의한 의사/판단 사항을 (상대 가중치의 적용 등에 의하여) 종합적으로 고려할 수 있으므로, 의사결정을 위한 보다 객관적이고 공정한 판단에 이를 수 있다. 본 개시의 실시예들에 의하면, 또한, 크라우드 소싱 방식을 이용한 벤치마크 테스트를 수행함으로써 많은 전문가들에 의한 판단뿐만 아니라, 많은 수의 비전문가를 포함할 수 있는 대중의 관여가 이루어질 수 있고, 이로써 각 단계에 관한 충분하고 객관적인 검증 절차를 거칠 수 있으며, 객관성과 공정성이 확보된 테스트 수행 및 그에 따른 의사결정을 가능하게 할 수 있다.
도 1은, 본 개시의 일 실시예에 따른, 크라우드 소싱 방식에 기초한 자동화된 벤치마크 테스트 수행 시스템(100)의 기능적 구성을 개략적으로 도시한 블록도이다.
도 2는, 도 1의 중개 서버(104)의 기능을 좀 더 자세히 설명하기 위한 기능 블록도이다.
도 3은, 본 개시의 일 실시예에 따른, 크라우드 소싱 방식에 기초한 자동화된 벤치마크 테스트 수행 방법의 순차적 흐름을 보여주는 동작 흐름도이다.
이하, 첨부 도면을 참조하여 본 개시의 실시예에 관하여 상세히 설명한다. 이하에서는, 본 개시의 요지를 불필요하게 흐릴 우려가 있다고 판단되는 경우, 이미 공지된 기능 및 구성에 관한 구체적인 설명을 생략한다. 또한, 이하에서 설명하는 내용은 어디까지나 본 개시의 일 실시예에 관한 것일 뿐 본 개시가 이로써 제한되는 것은 아님을 알아야 한다.
본 개시에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용되는 것으로 본 개시를 한정하려는 의도에서 사용된 것이 아니다. 예를 들면, 단수로 표현된 구성요소는 문맥상 명백하게 단수만을 의미하지 않는다면 복수의 구성요소를 포함하는 개념으로 이해되어야 한다. 본 개시에서 사용되는 "및/또는"이라는 용어는, 열거되는 항목들 중 하나 이상의 항목에 의한 임의의 가능한 모든 조합들을 포괄하는 것임이 이해되어야 한다. 본 개시에서 사용되는 '포함하다' 또는 '가지다' 등의 용어는 본 개시 상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것일 뿐이고, 이러한 용어의 사용에 의해 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하려는 것은 아니다.
본 개시의 실시예에 있어서 '모듈' 또는 '부'는 적어도 하나의 기능이나 동작을 수행하는 기능적 부분을 의미하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 '모듈' 또는 '부'는, 특정한 하드웨어로 구현될 필요가 있는 '모듈' 또는 '부'를 제외하고는, 적어도 하나의 소프트웨어 모듈로 일체화되어 적어도 하나의 프로세서에 의해 구현될 수 있다.
덧붙여, 달리 정의되지 않는 한 기술적 또는 과학적인 용어를 포함하여, 본 개시에서 사용되는 모든 용어들은 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의된 용어들은, 관련 기술의 문맥상 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 개시에서 명백하게 달리 정의하지 않는 한 과도하게 제한 또는 확장하여 해석되지 않는다는 점을 알아야 한다.
이하, 첨부된 도면을 참조하여, 본 개시의 실시예에 대해 구체적으로 설명하기로 한다.
도 1은, 본 개시의 일 실시예에 따른, 크라우드 소싱 방식에 기초한 자동화된 벤치마크 테스트 수행 시스템(100)의 기능적 구성을 개략적으로 도시한 블록도이다. 도시된 바에 의하면, 벤치마크 테스트 수행 시스템(100)은, 의뢰 단말(102), 통신망(104), 중개 서버(106), 복수의 평가항목 작성 전문가 단말(108), 복수의 평가항목 확인자 단말(110), 복수의 테스터 단말(112), 및 복수의 투표자 단말(114)을 포함한다.
본 개시의 일 실시예에 의하면, 의뢰 단말(102)은, 소정의 의사 결정 및 이를 위한 벤치마크 테스트를 필요로 하는 기관, 예컨대 특정 제품의 발주를 희망하는 정부, 공공기관, 기업체 등 각종 기관의 관련 단말일 수 있다. 본 개시의 일 실시예에 의하면, 의뢰 단말(102)은, 의사결정이 필요한 사안과 관련한 각종 정보, 예컨대 의사결정과 관련된 달성하려는 목표 및/또는 그 배경, 이를 위하여 필요한 요구사항들, 및 벤치마크 테스트의 대상이 되는 제품 정보 등을 포함한 소정의 요구 스펙을 작성할 수 있다. 본 개시의 일 실시예에 의하면, 요구 스펙은 소정의 형식에 따라 작성될 수 있으나, 본 개시가 이로써 제한되는 것은 아니다. 구체적으로 도시되지는 않았으나, 본 개시의 일 실시예에 의하면, 의뢰 단말(102)은, 각 해당 기관의 관련 유선 또는 무선 단말이거나 각종 서버 시스템일 수 있다. 또한, 본 도면에서는, 벤치마크 테스트 시스템(100)이 의뢰 단말(102)을 하나만 포함하는 것으로 도시되어 있으나, 본 개시가 이로써 제한되는 것은 아니다. 본 개시의 다른 실시예에 의하면, 벤치마크 테스트 시스템(100)은 통신망(104)을 통하여 중개 서버(106)에 접속할 수 있는 복수의 의뢰 단말(102)을 포함할 수 있음을 알아야 한다.
본 개시의 일 실시예에 의하면, 중개 서버(106)는, 통신망(104)을 통하여, 의뢰 단말(102), 각 평가항목 작성 전문가 단말(108), 각 평가항목 확인자 단말(110), 각 테스터 단말(112), 및 각 투표자 단말(114)과 통신할 수 있다. 본 개시의 일 실시예에 의하면, 의뢰 단말(102)을 통하여 의뢰자로부터 의뢰된 벤치마크 테스트가, 중개 서버(106)의 중재 하에, 복수의 평가항목 작성 전문가 단말(108), 복수의 평가항목 확인자 단말(110), 복수의 테스터 단말(112), 및 복수의 투표자 단말(114) 간의 통신 및 협업을 통해서, 수행될 수 있다.
본 개시의 일 실시예에 의하면, 통신망(104)은, 임의의 유선 또는 무선 통신망, 예컨대 TCP/IP 통신망을 포함할 수 있다. 본 개시의 일 실시예에 의하면, 통신망(104)은, 예컨대 Wi-Fi망, LAN망, WAN망, 인터넷망 등을 포함할 수 있으며, 본 개시가 이로써 제한되는 것은 아니다. 본 개시의 일 실시예에 의하면, 통신망(104)은, 예컨대 이더넷, GSM, EDGE(Enhanced Data GSM Environment), CDMA, TDMA, OFDM, 블루투스, Wi-MAX, Wibro 기타 임의의 다양한 유선 또는 무선 통신 프로토콜을 이용하여 구현될 수 있다.
본 개시의 일 실시예에 의하면, 의뢰 단말(102)로부터의 벤치마크 테스트 의뢰에 기초하여, 중개 서버(106)는, 소정의 기준(예컨대, 관련 도메인에서의 소정의 경력을 갖춤 등)에 따라, 복수의 평가항목 작성 전문가들을 선정할 수 있다. 본 개시의 일 실시예에 의하면, 중개 서버(106)는, 예컨대 벤치마크 테스트의 평가항목 작성에 관한 다수의 전문가들의 경력 및 이력 정보 등을 미리 저장할 수 있고, 의뢰 단말(102)로부터 소정의 의뢰가 있을 경우, 그 미리 저장된 정보에 기초하여 위 의뢰에 적합한 복수의 전문가들을 선정할 수 있다. 본 개시의 일 실시예에 의하면, 중개 서버(106)에 의해서 선정된 복수의 평가항목 작성 전문가들 각각은, 소정의 평가항목들, 예컨대 주어진 의사 결정을 위하여 각 비교 대상 제품들에 대해 평가해야 할 사항으로 정한 항목들과, 그 각각의 평가항목을 확인(즉, 그 평가항목 각각의 중요도 또는 가중치를 결정)해 줄 평가항목 확인자(예컨대, 관련 전문가)에 대한 요구 조건들을 결정할 수 있고, 각 대응하는 평가항목 작성 전문가 단말(108)을 통하여, 그 결정된 사항들을 중개 서버(106)에 전달할 수 있다. 본 개시의 일 실시예에 의하면, 각 평가항목 작성 전문가에 의해 결정된 평가항목 확인자에 대한 요구 조건들은, 각각 할당된 가중치(평가항목 작성 전문가에 의해 할당됨)를 가질 수 있다.
본 개시의 일 실시예에 의하면, 중개 서버(106)는, 각 평가항목 작성 전문가 단말(108)로부터 전달되어 온, 각 평가항목 작성 전문가에 의해 결정된 정보, 특히 평가항목 확인자에 대한 요구 조건들에 기초하여, 그러한 요구 조건을 충족하는 복수의 평가항목 확인자를 선정할 수 있다. 본 개시의 일 실시예에 의하면, 중개 서버(106)에 의해서 선정된 복수의 평가항목 확인자들 각각은, 각 평가항목 작성 전문가에 의해 결정된 평가항목들에 대한 확인, 예컨대 그 각 평가항목에 대한 중요도 또는 가중치를 결정할 수 있고, 각 대응하는 평가항목 확인자 단말(110)을 통하여, 그 결정된 사항들을 중개 서버(106)에 전달할 수 있다.
본 개시의 일 실시예에 의하면, 각 테스터 단말(112)은, 의뢰 단말(102)로부터의 의뢰에 기초하여, 중개 서버(106)에 의해서 선정된, 해당 벤치마크 테스트에서 각 평가항목(예컨대, 위 평가항목 작성 전문가 각각에 의해 결정된 전체 평가항목들 각각)에 관한 테스트, 즉 비교 대상이 되는 각 제품에 관한, 위 각 평가항목에 관한 만족도 평가를 담당할 테스터(평가자)에 관련된 단말일 수 있다. 본 개시의 일 실시예에 의하면, 중개 서버(106)에 의해서 선정된 각 테스터(평가자)는, 대응하는 테스터 단말(112)을 통하여, 주어진 제품에 관하여 위 평가항목들 각각에 대한 평가 결과, 예컨대 만족도 여부에 대한 확인 결과 및 그에 관한 이유를 생성하고, 이를 중개 서버(106)로 전달할 수 있다.
본 개시의 일 실시예에 의하면, 전술한 바와 같이 각 평가항목 작성 전문가에 의해 결정된 평가항목 확인자에 대한 요구 조건들은, 각각 할당된 가중치를 가질 수 있는데, 중개 서버(106)는, 그 각각의 평가항목 확인자에 대한 요구 조건 및 그에 할당된 가중치를 이용해서, 위 선정된 평가항목 확인자들 각각에 대한 상대 가중치를 결정할 수 있다. 본 개시의 일 실시예에 의하면, 중개 서버(106)는 또한 각 평가항목 확인자에 대한 상대 가중치, 각 평가항목 확인자에 의해 결정된 각 평가항목에 대한 가중치, 및 각 테스터에 의한 각 제품의 각 평가항목에 관한 평가결과, 즉 만족도 여부를 병합하여, 각 제품마다 각 평가항목별로 가중치 점수를 부여할 수 있다. 본 개시의 일 실시예에 의하면, 중개 서버(106)는 또한 의뢰자로부터의 요구 스펙에 따른 각 요구 항목(각 요구 항목에 대응하는 하나 또는 복수의 평가항목이 존재할 수 있음)별로, 관련된 평가항목들에 부여된 가중치 점수를 합산하여, 그 각 요구항목에 대응하는 최종 합산 점수를 획득할 수 있다. 중개 서버(106)의 구체적인 동작에 대해서는 후술하기로 한다.
본 개시의 일 실시예에 의하면, 중개 서버(106)는, 소정의 기준(예컨대, 관련 도메인에 대한 사용자 또는 기타 다른 기준 등)에 따라, 많은 수의 투표자들을 자동으로 선택하고, 각 투표자들에 대응한 투표자 단말(114)로 비교 대상 제품들 중 하나의 제품에 관한 투표를 해줄 것을 요청을 전송할 수 있다. 본 개시의 일 실시예에 의하면, 선택된 투표자는 중개 서버(106)에 의해 관리되는 임의의 대중(전문가 또는 비전문가를 포함한 대중, 크라우드일 수 있음)일 수 있으며, 중개 서버(106)로부터 전송되는 투표 요청은 비교 대상 제품들에 관한 정보, 예컨대 제품 명칭, 의뢰자에 의한 요구 스펙의 각 요구 항목별 최종 합산 점수, 벤치마크 테스트의 목표 및 배경 등 관련 정보 등을 포함할 수 있다. 본 개시의 일 실시예에 의하면, 전술한 투표 요청에는, 요구 스펙의 각 요구 항목에 대응하는 하나 또는 복수의 구체적인 평가항목에 대한 정보는 포함되지 않을 수 있음을 알아야 한다. 구체적으로 도시되지는 않았으나, 본 개시의 일 실시예에 의하면, 복수의 평가항목 작성 전문가 단말(108), 복수의 평가항목 확인자 단말(110), 복수의 테스터 단말(112), 및 복수의 투표자 단말(114) 각각은, 임의의 유선 또는 무선 통신 단말일 수 있다.
도 2는, 도 1의 중개 서버(106)의 기능을 좀 더 자세히 설명하기 위한 기능 블록도이다. 도시된 바에 의하면, 중개 서버(106)는, 통신부(202), 인력 풀 데이터베이스(204), 평가항목 작성 전문가 선정/정보 송수신부(206), 평가항목 확인자 선정/정보 송수신부(208), 테스터 선정/정보 송수신부(210), 가중치 합산부(212), 투표자 선정/정보 송수신부(214), 및 최종 결과 확인부(216)를 포함한다.
본 개시의 일 실시예에 의하면, 통신부(202)는, 중개 서버(106)가 소정의 유선 또는 무선 통신 프로토콜에 따라, 통신망(104)을 통하여, 도 1의 의뢰 단말(102), 복수의 평가항목 작성 전문가 단말(108), 복수의 평가항목 확인자 단말(110), 복수의 테스터 단말(112), 및 복수의 투표자 단말(114) 각각과 정보를 송수신할 수 있게 한다.
본 개시의 일 실시예에 의하면, 인력 풀 데이터베이스(204)는, 중개 서버(106)가 임의의 방식에 의해 수집한 인력 정보를 저장한 데이터베이스일 수 있다. 본 개시의 일 실시예에 의하면, 인력 풀 데이터베이스(204)는, 예컨대 벤치마크 테스트 분야의 관련 전문가들에 관한 정보, 예를 들어 각 전문가의 경력 및 이력 정보 등을 포함할 수 있다. 본 개시의 일 실시예에 의하면, 인력 풀 데이터베이스(204)는 또한 다수의 비전문가(또는 임의의 다른 분야에 관한 전문가 등)에 관한 정보를 포함할 수 있다. 본 도면에서는, 인력 풀 데이터베이스(204)가 중개 서버(106) 내에 포함된 하나의 물리적 저장소인 것과 같이 도시되어 있으나, 본 개시가 이로써 제한되는 것은 아니다. 본 개시의 일 실시예에 의하면, 인력 풀 데이터베이스(204)는, 중개 서버(106)가 통신망(104) 등을 통해 액세스할 수 있는 별도의 하나 이상의 저장 공간일 수 있다.
본 개시의 일 실시예에 의하면, 평가항목 작성 전문가 선정/정보 송수신부(206)는, 통신부(202) 및 도 1의 통신망(104)을 통하여 의뢰 단말(102)로부터 수신된 의뢰 정보, 예컨대 요청 스펙 정보에 기초하여, 인력 풀 데이터베이스(204)로부터, 위 의뢰에 대응하는 적합한 복수의 평가항목 작성 전문가들을 선정할 수 있다. 본 개시의 일 실시예에 의하면, 평가항목 작성 전문가 선정/정보 송수신부(206)는, 예컨대 의뢰 요청이 속한 도메인 및 목표 등을 고려하고, 인력 풀 데이터베이스(204) 상의 각 인력의 경력 및 이력 정보에 기초하여, 복수의 평가항목 작성 전문가들을 선정할 수 있다. 본 개시의 일 실시예에 의하면, 평가항목 작성 전문가 선정/정보 송수신부(206)는, 선정된 복수의 평가항목 작성 전문가에 관한 정보를 통신부(202)를 통해 의뢰 단말(102)로 통지할 수 있고, 의뢰 단말(102)로부터의 확인에 기초하여 최종적으로 해당 벤치마크 테스트에 참여할 복수의 평가항목 작성 전문가를 결정할 수 있다. 본 개시의 일 실시예에 의하면, 평가항목 작성 전문가 선정/정보 송수신부(206)는, 최종적으로 결정된 평가항목 작성 전문가 각각을 위하여, 해당 벤치마크 테스트에 관한 정보, 예컨대 요청 스펙 등의 정보를 송신할 수 있다.
본 개시의 일 실시예에 의하면, 평가항목 작성 전문가 선정/정보 송수신부(206)는, 통신부(202)를 통하여, 최종 선정된 복수의 평가항목 작성 전문가들의 각 대응하는 단말(108)로부터, 각 대응하는 전문가에 의해 결정된 소정의 평가항목들, 예컨대 주어진 의사 결정을 위하여 각 비교 대상 제품들에 대해 평가해야 할 사항으로 정한 항목들과, 그 각각의 평가항목을 확인(즉, 그 평가항목 각각의 중요도 또는 가중치를 결정)해 줄 평가항목 확인자(예컨대, 관련 전문가)에 대한 요구 조건들을 수신 및 저장할 수 있다.
본 개시의 일 실시예에 의하면, 평가항목 확인자 선정/정보 송수신부(208)는, 평가항목 작성 전문가 선정/정보 송수신부(206) 상에 저장된 정보, 특히 평가항목 확인자에 대한 요구 조건들에 기초하여, 인력 풀 데이터베이스(204)로부터, 그러한 요구 조건을 충족하는 복수의 평가항목 확인자를 선정할 수 있다. 본 개시의 일 실시예에 의하면, 평가항목 확인자 선정/정보 송수신부(208)는, 예컨대 인력 풀 데이터베이스(204) 상의 각 인력의 경력 및 이력 정보에 기초하여, 복수의 평가항목 확인자들을 선정할 수 있다. 본 개시의 일 실시예에 의하면, 평가항목 확인자 선정/정보 송수신부(208)는, 선정된 복수의 평가항목 확인자에 관한 정보를 통신부(202)를 통해 의뢰 단말(102)로 통지할 수 있고, 의뢰 단말(102)로부터의 확인에 기초하여 최종적으로 해당 벤치마크 테스트에 참여할 복수의 평가항목 확인자를 결정할 수 있다. 본 개시의 일 실시예에 의하면, 평가항목 확인자 선정/정보 송수신부(208)는, 통신부(202)를 통하여, 최종 선정된 복수의 평가항목 확인자들의 각 대응하는 단말(110)로, 해당 벤치마크 테스트에 관한 정보, 예컨대 요청 스펙 및 각 평가항목 등의 정보를 송신할 수 있다. 본 개시의 일 실시예에 의하면, 평가항목 확인자 선정/정보 송수신부(208)는, 각 대응하는 평가항목 확인자에 의해 결정된 각 평가항목에 관한 중요도 또는 가중치 정보를 수신 및 저장할 수 있다.
본 개시의 일 실시예에 의하면, 테스터 선정/정보 송수신부(210)는, 소정의 기준(예컨대, 관련 도메인의 제품 사용 경험 유무 또는 기타 다른 기준 등)에 따라, 인력 풀 데이터베이스(204)로부터, 해당 벤치마크 테스트를 위한 테스터, 즉 해당 벤치마크 테스트에서 각 평가항목(예컨대, 위 평가항목 작성 전문가 선정/정보 송수신부(206)에 의해 결정된 전체 평가항목들 각각)에 관한 테스트, 즉 비교 대상이 되는 각 제품에 관한, 위 각 평가항목별 만족도 평가를 담당할 테스터(평가자)를 선정할 수 있다. 본 개시의 일 실시예에 의하면, 테스터 선정/정보 송수신부(210)에 의해 선정되는 복수의 테스터는, 해당 분야 전문가 또는 경력자일 수도 있고, 해당 분야의 단순 소비자일 수도 있으며, 본 개시가 특정 형태로 제한되는 것은 아니다. 본 개시의 일 실시예에 의하면, 테스터 선정/정보 송수신부(210)는, 선정된 복수의 테스터에 관한 정보를 통신부(202)를 통해 의뢰 단말(102)로 통지할 수 있고, 의뢰 단말(102)로부터의 확인에 기초하여 최종적으로 해당 벤치마크 테스트에 참여할 복수의 테스터를 결정할 수 있다. 본 개시의 일 실시예에 의하면, 테스터 선정/정보 송수신부(210)는, 통신부(202)를 통하여, 최종 선정된 복수의 테스터들의 각 대응하는 단말(112)로, 해당 벤치마크 테스트에 관한 정보, 예컨대 각 제품 및 각 평가항목 등의 정보를 송신할 수 있다. 본 개시의 일 실시예에 의하면, 테스터 선정/정보 송수신부(210)는, 각 대응하는 테스터에 의해 결정된 각 제품에 관한 각 평가항목들 각각에 대한 평가 결과, 예컨대 만족 여부에 대한 확인 결과 및 그에 관한 이유를 수신 및 저장할 수 있다.
본 개시의 일 실시예에 의하면, 가중치 합산부(212)는, 각 평가항목 작성 전문가 선정/정보 송수신부(206)에 저장된 각 평가항목 확인자에 대한 각 요구 조건 및 그에 할당된 가중치를 이용해서, 위 평가항목 확인자 선정/정보 송수신부(208)에서 최종 결정된 평가항목 확인자들 각각에 대한 상대 가중치를 결정(예컨대, 각 요구조건마다 점수를 배정하고, 각 평가항목 확인자에 대해 복수의 요구조건들 중 충족되는 각 요구조건마다 그에 배정된 점수를 합산하며, 최종적으로 얻어진 각 점수를 전체 평가항목 확인자가 얻은 총 점수에 대한 각 평가항목 확인자가 얻은 점수의 비율로서, 그 각 평가항목 확인자에 대한 상대 가중치를 결정)할 수 있다. 본 개시의 일 실시예에 의하면, 가중치 합산부(212)는 또한, 위 결정된 각 평가항목 확인자에 대한 상대 가중치를 이용해서, 평가항목 확인자 선정/정보 송수신부(208)에 저장된, 각 평가항목 확인자에 의해 결정된 각 평가항목에 관한 중요도 또는 가중치 정보를, 조정할 수 있다. 예컨대, 본 개시의 일 실시예에 의하면, 가중치 합산부(212)는, 평가항목 확인자 선정/정보 송수신부(208)에 저장된 각 평가항목 확인자에 의해 결정된 각 평가항목에 관한 중요도 또는 가중치 정보를, 해당 평가항목 확인자에 대한 상대 가중치와 곱하여 조정된 가중치를 획득할 수 있다. 본 개시의 일 실시예에 의하면, 가중치 합산부(212)는, 또한, 복수의 평가항목 확인자들에 의해 결정된 각 평가항목에 대한 조정된 가중치를 모두 합산하여, 최종적으로 각 평가항목에 관한 가중치 점수를 획득할 수 있다. 본 개시의 일 실시예에 의하면, 가중치 합산부(212)는, 각 제품 및 각 평가항목 별로, 각 테스터에 의해 결정되어 테스터 선정/정보 송수신부(210)에 저장된, 해당 제품에 대한 해당 평가항목에 대한 만족 여부 확인 결과에 따라, 해당 평가항목에 할당된 가중치 점수를 부여하거나 부여하지 않을 수 있다. 본 개시의 일 실시예에 의하면, 가중치 합산부(212)는, 각 제품별로, 의뢰자로부터의 요구 스펙에 따른 각 요구 항목(각 요구 항목에 대응하는 하나 또는 복수의 평가항목이 존재할 수 있음)마다, 관련된 평가항목들에 부여된 가중치 점수를 합산하여, 그 각 요구항목에 대응하는 해당 제품의 최종 합산 점수 각각을 획득할 수 있다.
본 개시의 일 실시예에 의하면, 투표자 선정/정보 송수신부(214), 소정의 기준에 따라, 인력 풀 데이터베이스(204)로부터, 해당 벤치마크 테스트를 위한 투표자, 즉 해당 벤치마크 테스트에서 제품들 중 하나의 제품을 선택하기 위한 투표에 참여할 복수의 투표자를 선정할 수 있다. 본 개시의 일 실시예에 의하면, 투표자 선정/정보 송수신부(214)에 의해 선정되는 복수의 투표자는, 예컨대 인력 풀 데이터베이스(204) 상의 임의의 참여자일 수 있으며, 해당 분야의 소비자일 수도 있고 기타 임의의 일반 대중일 수도 있다. 본 개시의 일 실시예에 의하면, 투표자 선정/정보 송수신부(214)는, 통신부(202)를 통하여, 각 투표자 단말(114)로, 해당 벤치마크 테스트에 관한 정보, 비교 대상 제품들에 관한 정보, 예컨대 제품 명칭, 의뢰자에 의한 요구 스펙의 각 요구 항목별 최종 합산 점수, 벤치마크 테스트의 목표 및 배경 등 관련 정보 등을 전송할 수 있다. 본 개시의 일 실시예에 의하면, 투표자 선정/정보 송수신부(214)는, 각 대응하는 투표자로부터의 투표 결과, 예컨대 하나의 제품의 선택 결과 및 관련 이유를 수신 및 저장할 수 있다.
본 개시의 일 실시예에 의하면, 최종 결과 확인부(216)는, 투표자 선정/정보 송수신부(214)에서 수신 및 저장된 각 투표자에 의한 투표 결과와 이유를 종합할 수 있다. 본 개시의 일 실시예에 의하면, 최종 결과 확인부(216)는, 위 최종 투표 결과 및 이유, 기타 관련 정보, 예컨대 각 제품별 각 평가항목별 할당된 가중치 점수 등의 정보를 의뢰 단말(102)로 전달할 수 있다.
도 3은, 본 개시의 일 실시예에 따른, 크라우드 소싱 방식에 기초한 자동화된 벤치마크 테스트 수행 방법의 순차적 흐름을 보여주는 동작 흐름도이다.
먼저, 단계(302)에서, 의뢰 단말(102)은, 의사결정을 필요로 하는 사안에 관한 정보들, 예컨대 고려 중인 목표 및 배경, 목표 달성을 위하여 필요한 요구사항들, 및 벤치마크 테스트 대상이 되는 후보 제품들의 정보 등을 포함한 요구 스펙을 작성하고, 그 작성된 요구 스펙을 중개 서버(106)로 전송하여 중개 서버(106)에 대해 해당 사안에 관한 벤치마크 테스트를 의뢰할 수 있다. 예컨대, 작성된 요구 스펙은 하기 표 1과 같은 형태일 수 있으며, 다만 본 개시가 이로써 제한되는 것은 아니다.
목표/배경 각 구성원 간의 커뮤니케이션을 원활하게 하고자 함
요구사항 보안이 철저히 지켜지면 좋겠음
항상 화면 위에 띄워지면 좋겠음
조직 내부에서만 사용하면 좋겠음
비교대상 후보제품들 카톡, 잔디, 라인 등 업무 협업 커뮤니케이션 툴
그런 다음, 단계(304)에서, 중개 서버(106)는, 의뢰 단말(102)로부터 수신된 요구 스펙에 기초하여, 소정의 기준에 따라, 데이터베이스로부터, 해당 벤치마크 테스트를 위한 평가 항목들을 작성할 둘 이상의 평가항목 작성 전문가를 자동으로 섭외 또는 선택할 수 있다. 본 개시의 일 실시예에 의하면, 중개 서버(106)는, 의뢰 단말(102)의 확인을 얻어 그러한 평가항목 작성 전문가들을 최종적으로 확인할 수 있다. 단계(306)에서, 각 평가항목 작성 전문가의 단말(108)은, 중개 서버(106)로부터 전달받은 요구 스펙에 따라, 평가항목들의 목록과 그 평가항목들을 확인해 줄 평가항목 확인자 조건(들)을 작성하고, 중개 서버(106)로 업로드 또는 전송할 수 있다. 본 개시의 일 실시예에 의하면, 각 평가항목 작성 전문가 단말(108)로부터 업로드 또는 전송된 평가항목 확인자 조건(들)은 각각에 할당된 가중치를 가질 수 있다. 예컨대, 각 평가항목 작성 전문가 단말(108)로부터 업로드 또는 전송된 평가항목들의 목록과 그 평가항목들을 확인해 줄 평가항목 확인자 조건(들)은 하기 표 2 및 표 3과 같은 형태일 수 있으며, 다만 본 개시가 이로써 제한되는 것은 아니다(2명의 평가항목 작성 전문가의 경우만을 표시하였음). 평가항목 확인자 조건 각각의 앞에 기재된 괄호 안의 숫자는, 각 요구 조건에 할당된 예시적 가중치 값이다.
평가항목 작성 전문가 1
요구스펙에 따른 평가항목 (요) 보안이 철저히 지켜지면 좋겠음
-> SSL 프로토콜을 지원해야 함
(요) 항상 화면 위에 띄워지면 좋겠음
-> 화면 플로팅 지원이 가능해야 함
(요) 조직 내부에서만 사용하면 좋겠음
-> Private 서버 구축이 가능해야 함
평가항목 확인자 조건 (20) 업무 협업 시스템 개발 경력 3년 이상
(30) 업무 협업 시스템 활용 기간 5년 이상
(30) 업무 협업 시스템 전문가
(20) 일반 사용자
평가항목 작성 전문가 n
요구스펙에 따른 평가항목 (요) 보안이 철저히 지켜지면 좋겠음
-> SHA256 암호화를 지원해야 함
(요) 항상 화면 위에 띄워지면 좋겠음
-> 화면 플로팅 지원이 가능해야 함
(요) 조직 내부에서만 사용하면 좋겠음
-> 조직 그룹으로만 설정이 가능해야 함
평가항목 확인자 조건 (20) 일반 사용자
(50) 업무 협업 시스템 전문가
(30) 업무 협업 시스템 3개 제품 이상 사용 경험
그런 다음, 단계(308)에서, 중개 서버(106)는, 각 평가항목 작성 전문가 단말(108)로부터 수신된 정보, 예컨대 각 평가항목 확인자 조건에 기초하여, 소정의 기준에 따라, 데이터베이스로부터, 복수의 평가항목 확인자들을 자동으로 섭외 또는 선정할 수 있다. 본 개시의 일 실시예에 의하면, 중개 서버(106)는, 의뢰 단말(102)의 확인을 얻어 그러한 평가항목 확인자들을 최종적으로 확인할 수 있다. 단계(310)에서, 각 평가항목 확인자 단말(110)은, 중개 서버(106)로부터 수신된 정보, 예컨대 각 평가항목 작성 전문가에 의해 작성된 평가 항목들을 모두 병합한 전체 평가항목 목록 및 기타 요구 스펙 정보 등을 수신할 수 있고, 수신된 전체 평가항목 목록 상의 각 평가항목을 확인하고 그에 대한 가중치를 할당할 수 있다. 본 개시의 일 실시예에 의하면, 평가항목 확인자에 의해 각 평가항목에 할당되는 가중치는, 예컨대 전체 평가항목들에 대한 전체 배점을 100점 만점으로 했을 때 각 평가항목에 대해 할당될 수 있는 중요도 점수일 수 있다. 본 개시의 일 실시예에 의하면, 각 평가항목 확인자에 의한 평가항목의 확인 및 가중치 할당 결과는 하기 표 4 및 표 5와 같은 형태일 수 있으며, 다만 본 개시가 이로써 제한되는 것은 아니다(2명의 평가항목 확인자의 경우만을 표시하였음). 표 4 및 5의 각 오른쪽 컬럼에 기재된 값은 각 평가항목에 대하여 할당된 각 가중치 값이다.
평가항목 확인자 1
SSL 프로토콜을 지원해야 함 50
SHA256 암호화를 지원해야 함 10
화면 플로팅 지원이 가능해야 함 30
Private 서버 구축이 가능해야 함 -
조직 그룹으로만 설정이 가능해야 함 10
평가항목 확인자 m
SSL 프로토콜을 지원해야 함 20
SHA256 암호화를 지원해야 함 30
화면 플로팅 지원이 가능해야 함 30
Private 서버 구축이 가능해야 함 20
조직 그룹으로만 설정이 가능해야 함 -
단계(312)에서, 중개 서버(106)는, 의뢰 단말(102)로부터의 요구 스펙에 기초하여, 소정의 기준에 따라, 데이터베이스로부터, 복수의 테스터를 자동으로 섭외 또는 선택할 수 있다. 본 개시의 일 실시예에 의하면, 중개 서버(106)는, 의뢰 단말(102)의 확인을 얻어 그러한 테스터들을 최종적으로 확인할 수 있다. 단계(314)에서, 각 테스터 단말(112)은, 중개 서버(106)로부터 수신된 정보, 예컨대 각 제품에 대하여 각 평가항목 작성 전문가에 의해 작성된 각 평가항목들에 관한 테스트를 수행하고, 각 테스트 수행 결과, 예컨대 각 평가항목에 대한 만족 여부의 확인 결과 및 이유 등을 중개 서버(106)로 다시 보고할 수 있다. 본 개시의 일 실시예에 의하면, 각 테스터에 의한 평가항목의 테스트 수행 결과는 하기 표 6 및 표 7과 같은 형태일 수 있으며, 다만 본 개시가 이로써 제한되는 것은 아니다(2명의 테스터의 경우만을 표시하였음). 표 6 및 7의 각 오른쪽 컬럼에 기재된 값은 각 테스터의 주어진 제품에 대한 각 평가항목별 평가 결과, 즉 만족 여부를 나타낸다.
테스터 1(라인)
SSL 프로토콜을 지원해야 함 O
SHA256 암호화를 지원해야 함 -
화면 플로팅 지원이 가능해야 함 O
Private 서버 구축이 가능해야 함 -
조직 그룹으로만 설정이 가능해야 함 O
테스터 k(카카오톡)
SSL 프로토콜을 지원해야 함 O
SHA256 암호화를 지원해야 함 -
화면 플로팅 지원이 가능해야 함 O
Private 서버 구축이 가능해야 함 -
조직 그룹으로만 설정이 가능해야 함 -
단계(316)에서, 중개 서버(106)는, 각 평가항목 확인자의 상대 가중치를 결정하고, 결정된 각 평가항목 확인자의 상대 가중치를 이용해서 해당 평가항목 확인자에 의해 결정된 각 평가항목 가중치를 조정하며, 각 평가항목 확인자별로 각 평가항목에 대해 부여된, 조정된 평가항목 가중치를 모든 평가항목 확인자에 관한 것으로 합산하여, 최종적으로 각 평가항목에 관한 가중치 점수를 획득할 수 있다. 예컨대, 하기 표 8 내지 11은, 각 평가항목 확인자에 대한 상대 가중치를 계산하는 예시적 과정을 보여주고 있으며, 본 개시가 이로써 제한되는 것은 아니다.
평가항목 작성 전문가 1의 평가항목 확인자 조건 (20) 업무 협업 시스템 개발 경력 3년 이상
(30) 업무 협업 시스템 활용 기간 5년 이상
(30) 업무 협업 시스템 전문가
(20) 일반 사용자
평가항목 작성 전문가 n의 평가항목 확인자 조건 (20) 일반 사용자
(50) 업무 협업 시스템 전문가
(30) 업무 협업 시스템 3개 제품 이상 사용 경험
위 표 8에서, 오른쪽 컬럼의 각 괄호 안의 숫자는, 평가항목 작성 전문가가 각 요구 조건에 배정한 각각의 가중치 값일 수 있다.
평가항목 확인자 조건 합산 (20) 업무 협업 시스템 개발 경력 3년 이상
(30) 업무 협업 시스템 활용 기간 5년 이상
(80) 업무 협업 시스템 전문가
(40) 일반 사용자
(30) 업무 협업 시스템 3개 제품 이상 사용 경험
표 9는, 위 표 8의 각 요구 조건을 단순히 병합한 것이며, 오른쪽 컬럼의 각 괄호 안의 숫자는, 각 평가항목 작성 전문가가 각 요구 조건에 배정한 가중치 값들의 합(각기 다른 평가항목 작성 전문가에 의해 동일한 요구 조건이 주어진 경우 각각에 할당된 가중치 값의 합)일 수 있다.
평가항목 확인자 1 = 110 (80) 업무 협업 시스템 전문가
(30) 업무 협업 시스템 3개 제품 이상 사용 경험
평가항목 확인자 m = 40 (40) 일반 사용자
표 10은, 표 9의 평가항목 확인자 요구조건 기준에 따라, 각 평가항목 확인자에 대해 충족될 수 있는 요건들을 모두 선별하고, 어느 하나의 평가항목 확인자에게 복수의 요구 조건이 충족되는 경우에는 그 충족되는 요건들을 모두 선택하고 그 요건에 할당된 표 9의 가중치 값들을 합산한 결과를 획득하는 과정을 보여주고 있다.
항목 정규화 점수
평가항목 확인자 1 = 110 0.73 = (110 / (110 + 40))
평가항목 확인자 m = 40 0.27 = (40 / (110 + 40))
표 11은, 표 10의 평가항목 확인자 각각에 대해 획득된 가중치 값들의 합을, 전체 평가항목 확인자를 기준으로, 상대 가중치로 변환하는 과정을 보여주고 있다. 예컨대, 평가항목 확인자 1은, 110의 가중치 합을 갖고, 평가항목 확인자 m이 40의 가중치 합을 갖는 경우, 평가항목 확인자 1은 전체 150 중에서 110, 즉 0.73의 상대 가중치를 갖고, 평가항목 확인자 m은 전체 150 중에서 40, 즉 0.27의 상대 가중치를 가질 수 있다. 또한, 하기 표 12 내지 14는, 각 평가항목 확인자에 대한 상대 가중치를 이용해서 해당 평가항목 확인자에 의해 결정된 각 평가항목의 가중치를 조정하고, 각 평가항목 확인자별로 각 평가항목에 대해 부여된, 조정된 평가항목 가중치를 모든 평가항목 확인자에 관한 것으로 합산하여, 최종적으로 각 평가항목에 관한 가중치 점수를 획득하는 예시적 과정을 보여주고 있으며, 본 개시가 이로써 제한되는 것은 아니다.
평가항목 확인자 1 작성 가중치 변환 가중치
(=작성 가중치*평가항목 확인자 상대 가중치)
SSL 프로토콜을 지원해야 함 50 36.5
SHA256 암호화를 지원해야 함 10 7.3
화면 플로팅 지원이 가능해야 함 30 21.9
Private 서버 구축이 가능해야 함 - -
조직 그룹으로만 설정이 가능해야 함 10 7.3
평가항목 확인자 m 작성 가중치 변환 가중치
SSL 프로토콜을 지원해야 함 20 5.4
SHA256 암호화를 지원해야 함 30 8.1
화면 플로팅 지원이 가능해야 함 30 8.1
Private 서버 구축이 가능해야 함 20 5.4
조직 그룹으로만 설정이 가능해야 함 - -
표 12 및 표 13은, 평가항목 확인자 1 및 m 각각이 작성한 각 평가항목에 대한 가중치(작성 가중치)에 대해, 해당 평가항목 확인자 1 및 m 각각에 대한 상대 가중치(예컨대, 각각 0.73 및 0.27)를 곱하여, 해당 평가항목 확인자에 의해 결정된 각 평가항목의 가중치를 조정하고, 변환 가중치를 획득하는 과정을 예시적으로 보여주고 있다.
최종 평가항목 점수
SSL 프로토콜을 지원해야 함 41.9
SHA256 암호화를 지원해야 함 15.4
화면 플로팅 지원이 가능해야 함 30
Private 서버 구축이 가능해야 함 5.4
조직 그룹으로만 설정이 가능해야 함 7.3
표 14은, 모든 평가항목 확인자에 관한 모든 평가항목에 대해, 각각의 조정된 평가항목 가중치를 모두 합산하여, 최종적으로 각 평가항목에 관한 가중치 점수를 획득하는 예시적 과정을 보여주고 있다.단계(318)에서, 중개 서버(106)는, 또한, 각 대상 제품별로, 각 평가항목 마다 각 테스터에 의해 결정된 만족 여부 확인 결과(예컨대 전술한 표 6 및 표 7에 표시된 결과 등)에 따라, 그 대상 제품의 각 평가항목에 대해 해당 평가항목에 할당된 가중치 점수(예컨대, 전술한 표 14에 표시된 결과 등)를 부여하거나 부여하지 않을 수 있고, 의뢰자로부터의 각 요구 항목(각 요구 항목에 대응하는 하나 또는 복수의 평가항목이 존재할 수 있음)마다 관련된 평가항목들에 부여된 가중치 점수를 합산하여, 그 각 요구 항목에 대응하는 해당 제품의 최종 합산 점수 각각을 획득할 수 있다. 하기 표 15는, 각 대상 제품별로, 각 평가항목에 대해, 모든 평가항목 확인자들에 의해 부여된 가중치 점수의 합산 결과를 보여주고 있고, 하기 표 16은, 의뢰자로부터의 요구 스펙, 즉 각 요구 항목마다 관련된 하나 또는 복수의 평가항목들에 부여된 가중치 점수를 합산하여 얻어진, 각 요구 항목에 대응하는 해당 제품의 최종 합산 점수를 보여주고 있다. 이들 표 15 및 16에 표시된 내용은, 예시적 내용일 뿐이며, 본 개시가 이로써 제한되는 것은 결코 아님을 알아야 한다.
최종 평가항목 라인 카카오톡
SSL 프로토콜을 지원해야 함 41.9 41.9
SHA256 암호화를 지원해야 함 - -
화면 플로팅 지원이 가능해야 함 30 30
Private 서버 구축이 가능해야 함 - -
조직 그룹으로만 설정이 가능해야 함 7.3 -
요구스펙 항목 최종 평가항목 라인 카카오톡
보안이 철저히 지켜지면 좋겠음 SSL 프로토콜을 지원해야 함 41.9 41.9
SHA256 암호화를 지원해야 함
항상 화면위에 띄워지면 좋겠음 화면 플로팅 지원이 가능해야 함 30 30
조직 내부에서만 사용하면 좋겠음 Private 서버 구축이 가능해야 함 7.3 -
조직 그룹으로만 설정이 가능해야 함
단계(320)에서, 중개 서버(106)는, 소정의 기준에 따라, 많은 수의 투표자들을 자동으로 섭외 또는 선택할 수 있고, 본 개시의 일 실시예에 의하면, 의뢰자로부터 확인을 받은 후, 각 투표자에게 해당 벤치마크 테스트에 관한 정보, 비교 대상 제품들에 관한 정보, 예컨대 제품 명칭, 의뢰자에 의한 요구 스펙의 각 요구 항목별 최종 합산 점수, 벤치마크 테스트의 목표 및 배경 등 관련 정보 등을 전송할 수 있다. 본 개시의 일 실시예에 의하면, 이 때 점수표의 평가항목은 제외할 수 있다. 하기 표 17은, 투표자에게 전달될 수 있는 정보의 예시를 보여주고 있다.
요구스펙 항목 라인 카카오톡
보안이 철저히 지켜지면 좋겠음 41.9 41.9
항상 화면위에 띄워지면 좋겠음 30 30
조직 내부에서만 사용하면 좋겠음 7.3 -
단계(322)에서, 각 투표자는, 투표자 단말(114)을 통해, 주어진 정보를 확인하고 제품들 중 하나의 제품에 대한 투표를 행한 후 그 결과를 중개 서버(106)로 전송한다. 단계(324)에서, 중개 서버(106)는, 각 투표자로부터의 투표 결과, 즉 복수의 제품들 중 하나의 제품에 대한 투표 및 그 선택의 이유를 수신하고, 그 투표 결과를 합산할 수 있다. 단계(326)에서, 중개 서버(106)는, 각 투표자 단말(112)로부터 수신된 투표 결과 및 이유 등의 합산 결과 등을 의뢰자에게 전달하여 의뢰자로 하여금 그 결과를 확인하고 최종 의사결정을 진행하게 할 수 있다.당업자라면 알 수 있듯이, 본 개시가 본 명세서에 기술된 예시에 한정되는 것이 아니라 본 개시의 범주를 벗어나지 않는 범위 내에서 다양하게 변형, 재구성 및 대체될 수 있다. 본 명세서에 기술된 다양한 기술들은 하드웨어 또는 소프트웨어, 또는 하드웨어와 소프트웨어의 조합에 의해 구현될 수 있음을 알아야 한다.
본 개시의 일 실시예에 따른 컴퓨터 프로그램은, 컴퓨터 프로세서 등에 의해 판독 가능한 저장 매체, 예컨대 EPROM, EEPROM, 플래시 메모리장치와 같은 비휘발성 메모리, 내장형 하드 디스크와 착탈식 디스크 같은 자기 디스크, 광자기 디스크, 및 CDROM 디스크 등을 포함한 다양한 유형의 저장 매체에 저장된 형태로 구현될 수 있다. 또한, 프로그램 코드(들)는 어셈블리어나 기계어로 구현될 수 있다. 본 개시의 진정한 사상 및 범주에 속하는 모든 변형 및 변경을 이하의 특허청구범위에 의해 모두 포괄하고자 한다.

Claims (10)

  1. 서버에 의해서 수행되는, 복수의 비교 제품에 대한 벤치마크 테스트의 중개 방법으로서,
    통신망을 통하여, 외부 의뢰자 단말로부터 벤치마크 테스트를 위한 요구 스펙을 수신하는 단계- 상기 요구 스펙은, 상기 복수의 비교 제품의 정보와, 상기 벤치마크 테스트를 통해 달성하려는 목표 및 하나 이상의 요구사항 중 적어도 하나를 포함함 -;
    상기 수신된 요구 스펙에 기초하고 소정의 기준에 따라, 복수의 평가항목 작성 전문가 단말을 선정하는 단계- 상기 복수의 평가항목 작성 전문가 단말 각각은 서로 독립적으로 선정됨 -;
    상기 통신망을 통하여, 상기 복수의 평가항목 작성 전문가 단말로부터, 상기 벤치마크 테스트를 위한 하나 이상의 평가항목과, 각 평가항목에 대한 가중치를 확인해 줄 하나 이상의 평가항목 확인자 단말 선정 요건을 수신하는 단계- 상기 하나 이상의 평가항목 확인자 단말 선정 요건은, 각각 할당된 가중치 값을 가짐 -;
    상기 복수의 평가항목 작성 전문가 단말로부터 수신된, 상기 하나 이상의 평가항목 확인자 단말 선정 요건에 기초하여, 복수의 평가항목 확인자 단말을 선정하는 단계- 상기 복수의 평가항목 확인자 단말 각각은 서로 독립적이고, 상기 복수의 평가항목 작성 전문가 단말에 대해서 독립적으로 선정됨-;
    상기 통신망을 통하여, 상기 복수의 평가항목 확인자 단말 각각으로부터, 상기 벤치마크 테스트를 위한 상기 복수의 평가항목 작성 전문가 단말로부터 수신된 상기 하나 이상의 평가항목 각각에 대해, 상기 평가항목 확인자 단말이 할당한 각각의 가중치 값을 수신하는 단계;
    상기 수신된 요구 스펙에 기초하고 소정의 기준에 따라, 상기 복수의 비교 제품 중 적어도 하나에 대하여, 상기 하나 이상의 평가항목 각각에 관한 만족 여부를 확인해줄 복수의 테스트 단말을 선정하는 단계- 상기 복수의 테스트 단말 각각은 서로 독립적이며, 상기 복수의 평가항목 작성 전문가 단말 및 상기 복수의 평가항목 확인자 단말와 독립적으로 선정됨 -;
    상기 복수의 테스트 단말에 의한, 상기 복수의 비교 제품에 관한, 상기 하나 이상의 평가항목 각각에 관한 만족 여부의 확인 결과에 기초하여, 상기 벤치마크 테스트의 결과를 획득하는 단계;
    상기 복수의 평가항목 작성 전문가 단말 각각으로부터 수신된 상기 평가항목 확인자 단말 선정 요건 각각에 할당된 상기 가중치 값에 기초하여, 상기 복수의 평가항목 확인자 단말 각각의 상대 가중치를 결정하는 단계; 및
    상기 복수의 평가항목 확인자 단말 각각에 대하여 결정된 상기 상대 가중치를 이용해서, 상기 평가항목 확인자 단말이 상기 하나 이상의 평가항목 각각에 대해 할당한 상기 각각의 가중치 값을 조정하는 단계를 포함하는,
    벤치마크 테스트 중개 방법.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 각 평가항목 확인자 단말에 관련된, 상기 하나 이상의 평가항목 각각에 대한 상기 조정된 각 가중치 값을 이용해서, 상기 하나 이상의 평가항목 각각에 대한 최종 가중치 점수를 결정하는 단계를 더 포함하는, 벤치마크 테스트 중개 방법.
  5. 제4항에 있어서,
    상기 복수의 테스트 단말에 의한, 상기 복수의 비교 제품에 관한, 상기 하나 이상의 평가항목 각각에 관한 만족 여부의 확인 결과에 기초하여, 상기 벤치마크 테스트의 결과를 획득하는 단계는,
    상기 하나 이상의 평가항목 각각에 대한 상기 최종 가중치 점수를 이용해서, 상기 각 비교 제품에 대한 상기 하나 이상의 평가항목 각각에 관한 상기 만족 여부의 확인 결과를, 각 평가 점수로 전환하는 단계를 포함하는,
    벤치마크 테스트 중개 방법.
  6. 제5항에 있어서,
    상기 하나 이상의 평가항목은, 상기 요구 스펙의 상기 하나 이상의 요구사항 중 하나에 대응하고,
    상기 각 비교 제품에 대하여, 상기 요구 스펙의 상기 각 요구사항별로, 관련된 상기 하나 이상의 평가항목 각각에 관한 상기 각 평가 점수를 합산하는 단계를 더 포함하는, 벤치마크 테스트 중개 방법.
  7. 제5항에 있어서,
    소정의 기준에 따라, 복수의 투표자 단말을 선정하는 단계- 상기 복수의 투표자 단말 각각은 서로 독립적이며, 상기 복수의 평가항목 작성 전문가 단말, 상기 복수의 평가항목 확인자 단말, 및 상기 복수의 테스트 단말와 독립적으로 선정됨 -;
    상기 복수의 투표자 단말 각각에 대해, 상기 복수의 비교 제품 각각에 대한 상기 평가 점수에 관련된 정보를 전송하는 단계; 및
    상기 복수의 투표자 단말 각각으로부터 상기 복수의 비교 제품 중 하나에 대한 투표 결과를 수신하는 단계
    를 더 포함하는, 벤치마크 테스트 중개 방법.
  8. 제7항에 있어서,
    상기 통신망을 통하여, 상기 복수의 비교 제품 각각에 대한 상기 평가 점수에 관련된 정보 및 상기 투표 결과를, 상기 외부 의뢰자 단말로 전송하는 단계를 더 포함하는, 벤치마크 테스트 중개 방법.
  9. 컴퓨터에 의해 실행 가능한 하나 이상의 명령이 수록된 컴퓨터 판독가능 기록 매체로서,
    상기 하나 이상의 명령은 상기 컴퓨터에 의해 실행되는 경우, 상기 컴퓨터로 하여금, 제1항 및 제4항 내지 제8항 중 어느 한 항의 방법을 수행하도록 하는, 컴퓨터 판독가능 기록 매체.
  10. 컴퓨터 장치로서,
    메모리, 및
    프로세서를 포함하고,
    상기 프로세서는, 제1항 및 제4항 내지 제8항 중 어느 한 항의 방법을 수행하도록 구성된, 컴퓨터 장치.
KR1020180172508A 2018-12-28 2018-12-28 크라우드 소싱을 통한 벤치마크 테스트 수행 방법 및 장치 KR102213962B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180172508A KR102213962B1 (ko) 2018-12-28 2018-12-28 크라우드 소싱을 통한 벤치마크 테스트 수행 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180172508A KR102213962B1 (ko) 2018-12-28 2018-12-28 크라우드 소싱을 통한 벤치마크 테스트 수행 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20200082177A KR20200082177A (ko) 2020-07-08
KR102213962B1 true KR102213962B1 (ko) 2021-02-09

Family

ID=71601452

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180172508A KR102213962B1 (ko) 2018-12-28 2018-12-28 크라우드 소싱을 통한 벤치마크 테스트 수행 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102213962B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100490736B1 (ko) * 2000-11-08 2005-05-24 주식회사 포스코 기술가치 평가방법
KR100524562B1 (ko) * 2003-06-16 2005-11-01 심학봉 기술평가 방법 및 그 시스템
KR101811212B1 (ko) * 2016-12-30 2017-12-21 (주)씽크포비엘 Diy 사용성 테스트 방법 및 장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160133161A (ko) * 2015-05-12 2016-11-22 (주) 퍼셉션 집단 의사 결정 지원 서버 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100490736B1 (ko) * 2000-11-08 2005-05-24 주식회사 포스코 기술가치 평가방법
KR100524562B1 (ko) * 2003-06-16 2005-11-01 심학봉 기술평가 방법 및 그 시스템
KR101811212B1 (ko) * 2016-12-30 2017-12-21 (주)씽크포비엘 Diy 사용성 테스트 방법 및 장치

Also Published As

Publication number Publication date
KR20200082177A (ko) 2020-07-08

Similar Documents

Publication Publication Date Title
US10943500B2 (en) Method of online test and online test server for evaluating idea creating skills
US20180082238A1 (en) Manager reviews system and methods thereof
US20170046794A1 (en) System for sourcing talent utilizing crowdsourcing
Lopes et al. Involving patients in health technology funding decisions: stakeholder perspectives on processes used in A ustralia
Álvarez-García et al. Dependency relationships between critical factors of quality and employee satisfaction
WO2019160905A1 (en) Security assessment platform
CN107133711A (zh) 一种绩效考核管理系统及管理方法
Shakya et al. Critical success factor of agile methodology in software industry of nepal
KR20200056153A (ko) 시간제 일자리 구직 인력과 구인 기업을 연결하는 매칭 서비스 방법 및 시스템
US20100094679A1 (en) Establishing and managing mentor-protege relationships
US20150332405A1 (en) System and method for evaluating an idea with expert review over a collaborative platform
US20160381004A1 (en) Certification management system
KR102518355B1 (ko) 협업 툴에 연계하여 동기화된 인사 평가 관리 서비스를 제공하기 위한 장치 및 방법
KR102213962B1 (ko) 크라우드 소싱을 통한 벤치마크 테스트 수행 방법 및 장치
Hummer et al. Measuring Identity and Access Management Performance-An Expert Survey on Possible Performance Indicators.
Ikerionwu et al. Business process outsourcing service providers' perception of performance and performance measurement
US10116755B2 (en) Apparatus and method for providing social network service
Camerlo et al. Fluid paths to the cabinet in federal presidential systems: Argentina 1983–2020
Parry The relationship between effective information technology governance and project portfolio control, risk management, and business/information technology alignment in an organization
KR20220105955A (ko) 채용담당자를 위한 레퍼런스보고서 제공방법 및 장치
Ramukumba et al. Participatory development of peri-urban and rural poor communities in tourism in the Garden Route area of Southern Cape, South Africa
Barsy The impact of using customer relationship management to achieve competitive advantage for Egypt air
CN114258554A (zh) 提供携带型履经历的方法及系统
KR101827651B1 (ko) 평가 서비스 방법 및 장치
US20190213520A1 (en) Method and system for marker community to access aggregated marking technologies

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant