KR20160089059A - 호텔 만족도에 대한 최적집계방식의 온라인 평점부여방법 - Google Patents

호텔 만족도에 대한 최적집계방식의 온라인 평점부여방법 Download PDF

Info

Publication number
KR20160089059A
KR20160089059A KR1020150008415A KR20150008415A KR20160089059A KR 20160089059 A KR20160089059 A KR 20160089059A KR 1020150008415 A KR1020150008415 A KR 1020150008415A KR 20150008415 A KR20150008415 A KR 20150008415A KR 20160089059 A KR20160089059 A KR 20160089059A
Authority
KR
South Korea
Prior art keywords
hotel
rating
evaluator
individual
quality
Prior art date
Application number
KR1020150008415A
Other languages
English (en)
Inventor
송원호
김민철
Original Assignee
주식회사 스위트케이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 스위트케이 filed Critical 주식회사 스위트케이
Priority to KR1020150008415A priority Critical patent/KR20160089059A/ko
Publication of KR20160089059A publication Critical patent/KR20160089059A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/12—Hotels or restaurants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0203—Market surveys; Market polls

Landscapes

  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Tourism & Hospitality (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Game Theory and Decision Science (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 호텔을 이용한 사용자들로 하여금 자신이 이용한 호텔에 대한 만족도 수준을 온라인상에서 평점을 주어 평가하는 사이트에 있어서 그 누적평가 결과의 객관성을 담보하기 위한 기술로서, 본 발명은 기존 누적된 과거 평균평점과 새 사용자가 부여하는 개별평점의 평균을 합산하여 새로운 누적 평균평점을 표시함에 있어서, 이를 단순 산술평균으로 구하여 제공하는 것이 아니라 평가 대상물인 호텔 상품(호텔 서비스 등)에 관한 실제의 참모습에 근접하게 평가될 수 있도록 다양한 가중평균 요소를 적용한 최적집계방식의 온라인 호텔 평점부여방법에 관한 것이다. 본 발명에 의해 평가 대상물인 호텔에 대하여 그 호텔의 현재 실제의 참모습에 부합하는 적정한 품질 점수를 찾는 알고리즘이 적용되는 온라인 호텔 평점부여방법이 개시된다.

Description

호텔 만족도에 대한 최적집계방식의 온라인 평점부여방법 {METHOD FOR ONLINE RATING ON HOTEL SATISFACTION LEVEL USING OPTIMUM COUNTING ALGORITHM}
본 발명은 호텔을 이용한 이용자들이 자신이 이용한 호텔의 시설이나 서비스등에 대한 만족도에 대하여 온라인으로 평점을 부여한 것을 최적으로 집계하여 웹상에서 표현함으로서 당해 호텔의 실제 참모습에 근접한 바른 정보를 다른 네티즌에게 제공할 수 있는 방법에 관한 것이다. 좀 더 구체적으로 본 발명은 호텔을 이용한 사용자들로 하여금 자신이 이용한 호텔에 대한 만족도 수준을 온라인상에서 평점을 주어 평가하는 사이트에 있어서 그 누적평가 결과의 객관성을 담보하기 위한 기술로서, 본 발명은 기존 누적된 과거 평균평점과 새 사용자가 부여하는 개별평점의 평균을 합산하여 새로운 누적 평균평점을 표시함에 있어서, 이를 단순 산술평균으로 구하여 제공하는 것이 아니라 평가 대상물인 호텔 상품(호텔 서비스 등)에 관한 실제의 참모습에 근접하게 평가될 수 있도록 다양한 가중평균 요소를 적용한 최적집계방식의 온라인 호텔 평점부여방법에 관한 것이다. 본 발명에 의해 평가 대상물인 호텔에 대하여 그 호텔의 현재 실제의 참모습에 부합하는 적정한 품질 점수를 찾는 알고리즘이 적용되는 온라인 호텔 평점부여방법이 개시된다.
도 11은 최근 6년간의 우리나라 외국인 관광수입에 관한 한국은행 통계그래프이다. 이 그래프에서 알 수 있듯이, 2008년 7월 한 달의 외국인 관광수입이 5억 8940만 달러이었던 것이 2014년 7월 한 달에는 16억 1590만 달러에 이르러 우리나라의 최근 외국인 관광수입은 6년 동안 약 270%의 정도의 증가를 보이고 있다. 또한 한국관광공사가 2014년 12월 말에 발표한 자료에 따르면 2014년 한 해 동안 우리나라를 방문한 외국인 관광객 수는 1400만명을 넘은 것으로 집계되고 있으며 그 연간 관광수입도 176억달러(19조 3459억원 상당)에 이르러 사상최고를 달성하고 있다. 이러한 외국인 관광객의 증가는 특히 중국 관광객의 증가에 힘입은 바 크지만 그간의 외국인 관광객 증가 추세로 볼 때 앞으로도 더욱 지속적으로 늘어날 것으로 예상된다. 한국관광공사는 2015년 외국 관광객 1550만명, 오는 2017년에는 외국 관광객 2000만명 달성을 목표로 다양한 계획을 세우고 있다.
이러한 외국인 관광객의 증가추이 및 그 관광수입의 증가의 중요성을 반영하여 그간 무궁화 개수와 함께 특1등급, 특2등급, 1등급, 2등급, 3등급으로 구분했던 호텔의 등급표시제도가 2015년부터 좀 더 엄밀하고 의무화된 기준의 5성급, 4성급, 3성급, 2성급, 1성급의 체계로 바뀌게 되고 그 등급의 심사주체도 종래 한국관광협회중앙회와 호텔업협회 등 사업자 단체가 하던 것을 문화체육관광부로부터 호텔업등급결정기관 승인을 받은 한국관광공사가 주관하도록 바뀌는 한편 그 심사 내용도 강화되어 외국인 관광객들의 편의를 도모하고 호텔 등급에 대한 공신력을 높이는 노력이 기울여 지고 있다. 이처럼 심사등급제도가 바뀌고 공신력 있는 공기관이 등급심사 주체로 되는 한편 호텔 등급심사가 의무화됨으로써 그동안 다소 느슨한 기준으로 표시되었던 무궁화 개수의 호텔 등급이 실제의 호텔의 품질과 일치하지 않음으로써 야기되었던 이용자들의 불만이 많이 해소되고 새로운 국제적 기준의 5성급 표시제도가 채택됨에 따라 그 별표 등급표시의 타당성과 신뢰도가 높아질 것이 기대되고 있다.
그러나 이러한 정부 또는 공기업 주도의 호텔 품질개선의 노력과는 별개로 실제로 호텔을 이용한 수많은 사람들 개개인의 자발적 평가에 의해 축적되는 온라인 호텔 평점부여 시스템은 또다른 중요한 의미를 가진다. 즉, 호텔측의 신청에 의한 정부 또는 공기업 주도로 진행되는 호텔 품질 등급표시제도 개선의 노력이 주로 안전점검, 정밀안전진단, 소방시설 설치·유지 및 안전관리 점검, 승강기시설 안전검사, 도시가스 검사, 에너지 이용합리화법에 따른 검사, 전기사업법 정기검사 등과 같은 기본적인 시설 측면의 평가가 강화된 하드웨어적인 평가인 것과는 달리 실제 호텔을 이용한 개개 이용자들에 의한 평가는 그러한 호텔의 각 시설 및 실제의 다양한 서비스를 받아 본 사용자로서의 주관적인 만족도와 같은 소프트웨어적인 평가여서 양쪽의 평가는 상보적(相補的) 또는 협력적 지위를 갖는다고 볼 수 있으며, 특히 처음으로 어떤 호텔을 이용해 보고자 정보를 찾는 잠재적인 호텔 고객에게는 공기관이 부여한 별표시 호텔등급보다 오히려 수많은 뭇 네티즌들이 부여하여 집적된 평균평점정보를 더 신뢰하여 호텔 선택의 의사결정의 기준으로 삼을 수도 있을 것이다.
호텔은 비교적 그 시설의 규모가 크고 전문적이고 복합적이며 사업의 영속성이 있고 또한 다수의 국내외 이용자가 반복하여 오랫동안 사용하는 시설로서 그 이용 형태가 숙박 외에 비즈니즈, 회의, 친목, 가족, 국제행사, 의식주, 여행 및 레저 문화 등 다양한 활동이 일어나는 복합적 상품이기 때문에 실제 사용자들에 의한 누적적인 평가정보의 취득과 그 바른 제공(명실상부한 표시)은 호텔측의 비즈니즈 입장에서 중요할 뿐만 아니라 새로운 외국인 관광객에게 보다 정확한 호텔의 실제정보를 제공하여 훌륭한 품질의 호텔서비스를 제공하는 결과로 됨으로써 지속적인 관광객 유치를 꾀하여 국가경제의 발전에 기여할 수 있다.
이러한 점에서 호텔을 이용한 이용자들로 하여금 자신이 이용한 호텔의 시설이나 서비스 등에 대한 품질 만족도에 대하여 온라인으로 평점을 부여하는 종래의 다양한 시스템에 있어서 무엇보다 그 통계처리되어 표시되는 평균평점이 실제 호텔의 참모습으로부터 왜곡되지 않게 바르게 표시되는 방법을 강구할 필요가 있다. 본 발명은 호텔을 이용한 이용자들이 자신이 이용한 호텔의 시설이나 서비스 등에 대한 만족도에 대하여 온라인으로 평점을 부여한 것을 본 발명에 따른 시스템(적정 가중 파라메타 및 그 적용 알고리즘의 적용)에 의해 최적으로 집계하여 웹상에서 표현함으로써 당해 호텔의 실제 참모습에 근접한 바른 정보를 다른 네티즌에게 제공할 수 있는 방법에 관한 것이다.
온라인 사이트에서 상품 또는 서비스에 대하여 평점을 매기는 종래 일반적인 온라인 평점부여 시스템을 살펴보면 다음과 같다.
온라인 평점은 크게 각 개인이 매기는 개별평점과 그 평균평점으로 구분할 수 있다. 개인이 매긴 개별평점은 사이트에 접속하여 로그인한 사용자가 직접 매긴 각 개별값을 의미하고, 평균평점은 사이트에 가입한 사용자들이 해당 상품에 대해 매긴 개별평점들의 합을 그 평점을 매긴 사용자들의 수로 나누어 표시한 산술평균값을 의미한다. 개별평점이 누적되어야만 평균평점이 산출될 수 있다.
일반적으로 온라인 평점은 5점 만점 혹은 10점 만점으로 책정된다. 음의 점수는 없고 0점부터 양의 점수로 매겨진다. 개인이 평점을 매길 경우는 정수단위나 소수 첫째자리로 매기고, 평균을 표시할 경우에는 정수단위나 소수 첫째자리 혹은 둘째자리까지 표시한다.
예를 들어 5점 만점의 평점을 매기는 경우 점수를 1점, 2점, 3점 이렇게 정수로 매기거나 0.5점, 1점, 1.5점 혹은 0.1점, 0.2점, 0.3점으로 소수점 첫째자리까지 점수를 매긴다.
표시 방법은 별점 혹은 숫자로 표시되며 별점일 경우 별의 모양 혹은 기타 여러 디자인의 아이콘 모양에 색이 채워진 형태와 채워지지 않은 형태로 구별하여 채워진 경우가 점수를 얻은 경우라는 표시로 보여준다. 반만 채워진 경우는 해당 아이콘이 의미하는 점수의 반점을 획득한 것을 의미한다. 별점과 숫자는 둘 중 하나만 선택되어 표시되거나 동시에 같이 표시되는 경우도 있다.
평점을 매길 때는 한 개의 아이디(한 명의 등록사용자)가 한 번 평점을 매길 수 있고, 대부분 매긴 점수를 수정할 수 있다. 다만 점수를 매긴 시점은 수정을 포함하여 가장 최근에 매긴 점수를 기준으로 한다.
평점을 매기는 시스템은 사용자가 직접 마주하는 웹 화면 영역이 있고, 웹 화면에서 입력된 내용에 대해 연산처리를 진행하는 시스템 영역이 있으며, 평점 데이터(개별 데이터 및 평균 처리된 데이터)를 관리하는 데이터베이스 영역이 있다. 사용자가 웹에 접속하여 로그인 후 개별평점을 매기면, 연산처리 영역에서 그 개별평점 입력값을 받아 기존 평균평점에 추가한 후 다시 평균평점을 계산하는 작업을 하게 되며 입력된 개별평점과 계산 처리된 평균평점은 데이터베이스에 추가되어 누적보관된다.
한편 웹은 사용자 페이지와 관리자 페이지로 나누어진다. 사용자 페이지는 일반 사용자가 로그인하여 개별평점을 매기는 영역으로 웹에서 자체적으로 제공할 수 있고 외부에서 API(Application Programming Interface)로 제공받을 수도 있다. 관리자 페이지는 사용자 페이지의 웹 콘텐츠 또는 화면 디스플레이를 수정하거나 추가하는 영역이다. 데이터베이스에 입력된 평점 현황과 등록 통계를 확인할 수 있는 것도 관리자 페이지이다. 데이터베이스에는 단순히 평점 데이터뿐만 아니라 작성한 작성자의 정보도 함께 보관된다.
등록특허 제10-1054524호(평점 계산 방법 및 그 시스템)(2011. 8. 4공고) 공개특허 제10-2012-0047079호(집단지성을 이용한 추천 시스템 및 방법)(2012. 5. 11공개)
대부분의 온라인 평점부여방법은 사용자가 입력하는 각 개별평점에 대해 동일한 가중치로 계산된 평균평점을 웹상에 표시하는 방식으로 이루어지고 있다. 즉, 예를 들어 종래의 온라인 평점부여방법에서는 그 평점 부여자의 평가의 엄격함 정도와 같은 개인적 특성을 고려하지 않았고, 과거에 작성한 평점과 최근에 작성한 평점에 대해 차이를 두지 않았으며, 평가대상물이 시간 경과에 따라 그 품질이 달라질 수 있음으로써 그에 대한 경시적(經時的) 평가점수도 달라져야 하는 것을 고려하지 않았으며, 평가갯수가 많은 사용가인가 그렇지 않은가와 같은 평가자 수준도 고려하지 않았다.
종래의 온라인 평점부여방법에 있어서 평가의 결과에 영향을 미칠 수 있는 이러한 다양한 파라메타(변수)를 고려하지 않은 채 단지 생성되는 각 개별평점 하나 하나를 모두 균일한 값(균등 가중치)를 갖는 것으로 취급하여 이들을 수학적으로 단순 산술평균하여 평균평점을 구한 것은, 이러한 온라인 평점부여시의 그 평균평점 산출결과에 영향을 미칠 수 있는 다양한 변수에 대한 인식이 미치지 못한 것이거나 그러한 파라메타를 정교하게 정량화해 내는 수단을 강구하지 못한 것이거나 또는 그러한 파라메타들이 적절하게 적용됨으로써 평가대상의 실제의 참모습에 부합하도록 적정한 품질점수를 찾는 수학적 또는 통계학적 알고리즘을 구하지 못한 까닭일 것이다.
또한 이와 같은 종래의 평범한 온라인 평점부여방법을 사용할 경우에는 평점부여자가 상당한 전문가 수준의 식견과 객관성을 갖고 호텔 품질을 엄격하게 평가하더라도 그렇지 않게 평가되어 누적된 과거의 평범한 평균평점에 묻히게 되어 당해 호텔의 현재의 참품질과는 동떨어진 과거정보를 제공하는 결과로 된다.
또한 이와 같은 종래의 온라인 평점부여방법을 사용할 경우에는 평점을 매긴 상품(호텔)에 경시적으로 큰 품질의 긍정적 변화가 있어서 그 변화된 새로운 품질에 대한 평가를 평균평점으로 신속하게 반영하여 나타낼 필요가 있는데 그러려면 과거에 작성된 평점보다 더 많은 수의 평점이 누적되어 평균평점을 점수를 높이지 않으면 안되며, 그러한 결과가 나오기까지의 경과기간 동안은 여전히 과거에 작성된 평균평점의 영향하에 그와 근사하게 표시되어 당해 호텔의 현재의 참품질과는 동떨어진 과거정보를 제공하는 결과로 된다. 이러한 문제는 호텔의 품질이 과거보다 나빠진 부정적 변화가 있는 경우에도 마찬가지이다. 평가대상 상품에 품질 변화가 없을 경우에는 평점에 변화가 없기 때문에 산술평가로 계산한 값을 활용해도 큰 문제가 되지 않지만, 이처럼 평가대상 상품의 품질에 변화가 있을 경우에는 종래의 평가방법으로는 변화된 품질에 대한 평점 반영 속도가 매우 느리게 되어 표시된 평균평점과 실제 품질 간의 차이가 커지게 되고, 이로 인해 표시된 평균평점에 대한 신뢰도 하락으로 이어지는 결과를 초래하게 된다.
본 발명은 이처럼 종래 온라인 평점부여방법에 있어서 평가의 결과에 영향을 미칠 수 있는 다양한 파라메타(변수)를 고려하지 않은 채 단지 생산되는 각 개별평점 하나 하나를 모두 균일한 값(균등 가중치)를 갖는 것으로 취급함으로써 호텔의 현재의 참품질과는 동떨어진 정보(평균평점)를 제공하는 문제점을 해결하기 위한 것으로서, 기존 누적된 과거 평균평점과 새 사용자가 부여하는 개별평점의 평균을 합산하여 새로운 누적 평균평점을 표시함에 있어서, 이를 단순 산술평균으로 구하여 제공하는 것이 아니라 가능한 한 신속하게 평가 대상물인 호텔 상품에 관한 실제의 참모습에 근접하게 평가될 수 있도록 다양한 가중평균 요소를 적용한 최적집계 알고리즘을 개발하고 이 알고리즘이 적용된 온라인 호텔 평점부여방법을 제공하는 것을 목적으로 한다.
상기한 목적을 달성하기 위해 본 발명은 온라인 평점 시스템이 제공하는 평균 평점을 산출함에 있어서 각각의 개별평점에 영항을 미치는 특징적 요소를 분석한 후 그 신뢰가치를 구별하여 그 개별평점에 영항을 미치는 특징적 요소에 적용되는 파라메타가 찾아내고 이 파라메타가 반영된 최적집계알고리즘을 도출함으로써 평가대상 상품(호텔)의 새로운 품질(현재의 참품질)과 유사한 평균평점이 도출되도록 한다.
이를 위해 본 발명은 그 일 특징에 따라, 청구항 1에 규정되었듯이,
웹 화면 영역으로서의 서비스 이용자 영역과, 웹 화면에서 서비스 이용자가 입력한 내용에 대해 연산처리를 진행하는 평점관리 알고리즘 적용영역 및 서비스 이용자에 대한 개별 데이터 및 개별평점 및 평균 처리된 평점데이터를 관리하는 데이터베이스 관리영역을 포함하며,
상기 평점관리 알고리즘 영역에서 적용하는 평가자 n까지의 정보가 주어졌을 때 n번째 평가시의 호텔 품질의 조건부 기대치(
Figure pat00001
)는
Figure pat00002
로 산출되며, 이때 호텔 만족도에 대한 n번째 호텔 사용자가 관찰한 신호값(
Figure pat00003
)은,
Figure pat00004
(여기서,
Figure pat00005
은 개인의 엄격함 변수,
Figure pat00006
은 개별평점,
Figure pat00007
은 가중치,
Figure pat00008
,
Figure pat00009
은 분산,
Figure pat00010
은 호텔의 품질에 대한 기대치)
인 것을 특징으로 하는 호텔 만족도에 대한 최적집계방식의 온라인 평점부여방법에 의해 이루어진다.
또한 전술한 본 발명의 목적은 본 발명의 다른 일 특징에 따라, 청구항 2에 규정되었듯이,
청구항 1에서 상기 개인의 엄격함 변수(
Figure pat00011
)를 결정짓는 요소는 평가자가 기존에 평가한 평가의 개수(
Figure pat00012
), 그 평가자가 일정 기간 동안에 제출한 평가의 개수(
Figure pat00013
), 그 평가자와 평가대상 호텔 사이의 적합도(matching)의 차이(
Figure pat00014
), 그 평가자와 평가대상 호텔 사이의 방문 다양성의 지표(
Figure pat00015
) 및 그 평가자가 평가대상 호텔을 방문한 시간 간격(
Figure pat00016
) 지수의 산술적 합
Figure pat00017
(여기서
Figure pat00018
는 상수, α는 계수)
으로 결정되는 것을 특징으로 하는 호텔 만족도에 대한 최적집계방식의 온라인 평점부여방법에 의해 이루어진다.
또한 전술한 본 발명의 목적은 본 발명의 다른 일 특징에 따라, 청구항 1 또는 청구항 2에서,
상기 개별평점
Figure pat00019
은
Figure pat00020
여기서 여기서,
Figure pat00021
은 개인의 엄격함 변수,
Figure pat00022
,
Figure pat00023
는 가중치,
Figure pat00024
은 신호입력값,
Figure pat00025
은 기존에 방문한 사람들이 평가한 평점에 대한 정보(
Figure pat00026
) 및 신호입력값(
Figure pat00027
)을 고려한 호텔의 참품질에 대한 예측값)
으로 결정되는 것을 특징으로 하는 호텔 만족도에 대한 최적집계방식의 온라인 평점부여방법에 의해 이루어진다.
본 발명의 또다른 특징과 이점은 후술하는 발명을 실시하기 위한 구체적인 내용의 기재로부터 잘 이해될 수 있을 것이다.
본 발명을 통해 확인할 수 있는 효과는 두 가지다.
먼저 새로이 쌓이는 평가데이터에 대해 알고리즘 공식을 적용할 경우, 최신 정보로부터 얻은 품질에 부합하는 정확한 호텔 정보를 통해 소비자에게 신뢰할 수 있는 평가를 제공할 수 있다. 이렇게 신뢰가 쌓인 평가를 소비자에게 꾸준히 제공하면, 데이터에 대한 신뢰와 충성 고객을 만들게 되어 고정된 소비자 수를 유지할 수 있을 것이다.
두 번째로 기업의 입장에서는 신뢰할 수 있는 소비자 평가 정보를 얻을 수 있어 해당 호텔품질에 대한 정확한 분석을 할 수 있고, 이를 통해 호텔경영, 호텔상품의 품질 개선, 호텔마케팅 활용 등에 도움이 되게 할 수 있다. 나아가 호텔 상품 및 호텔 서비스 판매자의 매출 증대 및 관련 산업의 향상에 기여하는 역할도 기대할 수 있다.
도 1은 최적집계 알고리즘을 적용한 평점 관리 시스템의 기본 구성을 도식화한 블록도이다.
도 2는 평점 정보가 표시되는 일례를 설명하기 위한 도면이다.
도 3는 평점정보를 입력하는 입력 영역에 대한 구성을 도식화한 블록도이다.
도 4은 최적집계 알고리즘의 연산과정을 도식화한 흐름도이다.
도 5는 수집된 정보를 분석하고, 연산처리 및 알고리즘 적용을 처리하는 영역에 대한 블록도이다.
도 6은 수집된 DB를 관리하는 DB 시스템에 대한 블록도이다.
도 7은 전체 시스템을 관리하는 영역에서 관리하는 내용을 정리한 블록도이다.
도 8은 호텔 품질의 참값에 아무런 변화가 없는 경우를 가정(가정 1)할 경우의 단순평균 방식과 본 발명에 따른 최적집계방식에 따른 평균평점의 상황을 도시한 가상자료(simulation) 그래프이다.
도 9는 호텔의 품질이 불연속적으로 변하는 경우를 가정(가정 2)할 때의 단순평균 방식과 본 발명에 따른 최적집계방식에 따른 평균평점의 상황을 도시한 가상자료(simulation) 그래프이다.
도 10은 호텔 품질의 변화가 작게 연속적으로 발생하는 경우를 가정(가정 3)할 때의 단순평균 방식과 본 발명에 따른 최적집계방식에 따른 평균평점의 상황을 도시한 가상자료(simulation) 그래프이다.
도 11은 최근 6년간의 우리나라 외국인 관광수입에 관한 한국은행 통계그래프이다.
평가자 그룹의 고려(
Figure pat00028
,
Figure pat00029
)
본 발명에 따른 호텔 만족도에 대한 최적집계방식의 온라인 평점부여방법을 적용함에 있어서 평가자는 등록평가자와 미등록평가자로 구분하고 등록평가자는 다시 우수평가자와 일반평가자로 나누어 고려한다.
등록평가자(registered reviewer)(첨자 re로 구분)는 평가사이트에 사용자 정보를 입력하여 아이디를 부여받고 로그인한 평가자를 말하고, 미등록평가자(not-registered reviewer)(첨자 nr로 구분)는 사용자 정보의 입력없이 현장에서 즉석으로 평가를 작성한 평가자를 말한다.
등록평가자는 다시 우수평가자(elite reviewer)(첨자 -e로 구분)와 일반평가자(non-elite reviewer)(첨자 ne로 구분)로 나뉘며, 이를 구분하는 기준은 평가의 숫자이다. 호텔에 대한 평가를 작성할 당시 기존에 평가를 한 횟수가 많은 사람은 평가참여의 적극성이 있는 것으로 보아 우수평가자로 구분한 것이며, 기존에 평가횟수가 적은 사람은 평가참여의 적극성이 없는 것으로 보아 일반평가자로 정의한다. 구분의 기준이 되는 평가의 숫자는 데이터베이스에 보관된 사용자 정보를 사용하여 아래에 소개될 모형에 포함된 여러 변수들에 대한 파라미터(parameter) 값들을 추정했을 때 통계학적으로 가장 많은 변수들이 유의해지는 수준에서 결정한다.
한편 신축 호텔에 대한 평가처럼 초기에 평가자가 많지 않아 평가자 자료가 축적되어 있지 않을 때는 기존의 방법과 같이 단순평균 방법을 사용하여 평균평점을 계산하며 이후에 평가자에 대한 자료가 축적되어 전술한 평가자 각 그룹(우수그룹, 일반그룹, 미등록그룹) 당 평가가 10개 ~ 30개 이상이 되면 각 평가자에 대한 파라미터들을 추정함으로써 최적집계 방법을 사용할 수 있게 된다.
이렇게 정의될 수 있는 우수평가자, 일반평가자, 미등록평가자들이 각각 호텔을 방문한 후 얻게 되는 호텔 품질에 대한 평가신호의 정확성을 분산(
Figure pat00030
)으로, 기존 평가자들의 평가에 대한 관심도를 가중치(
Figure pat00031
)로 측정한다. 이러한 호텔 품질에 대한 평가신호의 정확성 지표로서의 분산(
Figure pat00032
)과 기존 평가자들의 평가에 대한 관심도 지표로서의 가중치(
Figure pat00033
)를 구하는 까닭은 예를 들어, 우수평가자는 일반평가자에 비해 평판(기존 평가자들의 평가)을 꼼꼼히 읽어보는 것과 같이 기존 평가자들의 평가에 대해 관심이 많고(
Figure pat00034
) 신호의 정확성이 더 높다(
Figure pat00035
)고 판단되기 때문에 이러한 차이를 반영하고자 함이다.
한편 일반평가자와 미등록평가자를 비교하면, 미등록평가자는 일반평가자에 비해 평판에 관심이 적을 것으로 예상되는데(
Figure pat00036
) 그 까닭은 미등록평가자는 웹사이트에서 평점을 매기지 않고 호텔 방문시에 현장에서 평점을 매기므로 기존 평가자의 평가보다 자신이 현장에서 직접 관찰한 신호에 더 높은 가중치를 줄 것으로 기대되기 때문에 그러한 차이를 반영하기 위함이다. 반면에 신호의 정확성은 사전적으로 어느 그룹이 더 높을지 정해지지 않는다.
평가자의 엄격함(
Figure pat00037
)의 고려
평가자의 개인별 프로파일 자료를 사용하여 엄격함(stringency) 변수(
Figure pat00038
)를 만들어 낸다. 이렇게 개인별 엄격함 변수(
Figure pat00039
)를 계산하는 이유는 호텔 관찰 후 발견하는 품질에 대한 객관적인 신호 이외에도 개인적으로 성향에 따라, 과거 경험에 따라 실제 호텔의 실제의 참품질보다 더 높게 혹은 더 낮게 평가할 수 있기 때문이다. 예를 들어 호텔을 여러 다양한 목적(예를 들어 가족/친구/사업 등)으로 방문한 경험이 있는 평가자는 새로운 종류의 호텔에 대해서 반감이 적어 비교적 후하게 평가하는 반면, 호텔을 하나의 목적, 예컨대 가족 목적으로만 호텔을 방문했던 평가자는 사업 목적으로 호텔을 방문할 경우 필요한 서비스를 제공받지 못하는 것으로 인해 호텔에 대해서 매우 박하게 평가를 할 수 있는 것과 같은 개인적 경험 내지 성향을 고려한 변수이다.
본 발명에서 이러한 평가자의 엄격함 변수에 영향을 미칠 수 있는 요소로서 포착한 것은 다음 5가지 요소이다.
첫 번째로, 기존에 그 평가자가 평가한 평가의 개수(
Figure pat00040
)이다. 이는 기존에 많은 호텔을 방문한 경험이 있는 사람과 그렇지 않은 사람의 평가가 다를 수 있음을 고려한 것이다.
두 번째는 일정 단위기간 동안에 제출한 평가의 개수(
Figure pat00041
)이다. 이를 통해 얼마나 자주 평가를 하는 사람인지를 알 수 있다. 예를 들어, 10개월간 2개의 평가를 하는 사람과 일주일간 2개의 평가를 하는 사람을 다르게 취급할 수 있다. 계산식은 총 평가의 개수를 첫 평가 이후 지나간 날짜수로 나눈 수, 즉 일간 평균 평가수이다. 예를 들어, 10일간 2개의 평가를 남긴 사람은 2/10=0.2의 값을 가지며, 100일간 2개의 평가를 남긴 사람은 2/100=0.02의 값을 가지고, 100일간 3개의 평가를 남긴 사람은 3/100=0.03의 값을 가진다. 오직 하나의 평가만을 남긴 사람은 하나 이상의 평가를 남긴 사람들의 평균값으로 대체한다. 일간 평균 평가수가 작은 사람은 호텔을 매우 드물게 방문하는 사람이고, 반대로 높은 사람은 자주 호텔에 방문하는 사람으로 볼 수 있다. 이론적으로 생각해 보면 호텔을 드물게 방문하는 사람은 호텔에 대한 평가가 후하고 호텔을 자주 방문해서 비교의 기회가 많은 사람은 호텔의 평가가 매우 박할 수가 있는 것을 고려하기 위함이다.
세 번째는, 평가자와 제품 사이의 적합도(matching) 차이()이다. 이 차이를 계산함으로써 평가자와 제품 사이에 얼마나 매칭(matching)이 잘 되었는지를 판단할 수 있다. 먼저 개별 호텔의 특징값을 산정한다. 예를 들어, 호텔에 방문하는 목적이 (가족/커플/친구/솔로/사업) 등으로 분류가 된다고 가정하자. 세 명의 방문객이 어떤 호텔에 방문했을 때 그 목적으로 두 명이 가족을, 한 명이 친구로 표시했다면 그‘호텔의 특징값’은 (0.66/0/0.33/0/0)이 된다. 이 때 어떤 방문객(V1)이 그 호텔(A)을 방문하게 되면 그 호텔(A)의 산정된 특징값이 방문객(V1)의 아이디에 기록이 되고, 그 방문객(V1)이 다른 호텔(B)을 방문하게 되면 그 호텔(B)의 특징값을 기존의 호텔(A)의 특징값과 합산해서 평균 특징값을 계산한다. 이것이‘그 방문객(V1) 개인의 호텔 적합도 특징값’이 된다. 여기서 그 방문객(V1)이 새롭게 호텔(C)을 방문할 때 그 방문객(V1) 개인의 특징값과 호텔의 특징값의 차이의 제곱들을 모두 더한 값이
Figure pat00043
값이다. 이 값이 크다는 것은 평가자(V1)가 방문한 호텔이 그 평가자(V1)가 그 전까지 방문했던 호텔들의 성향에 비추어볼 때 많이 다르다는 것을 의미하고, 작다는 것은 평가자의 기존 호텔 방문 성향과 매우 유사하다는 것을 의미한다.
네 번째로, 평가자가 그 동안 얼마나 다양한 호텔을 경험하였는지에 대한 다양성 지표(
Figure pat00044
)를 만들 수 있다. 이는 평가자가 기존에 방문했던 호텔들의 각 특징값, 즉 (가족/커플/친구/솔로/사업)에 해당하는 각 점수들의 분산값을 구한 후 이 값들을 모두 합한 후 제곱근을 취하여 계산한다. 이 다양성 지표가 크면 평가자는 다양한 목적으로 호텔을 방문하는 것이고, 이 지표가 작으면 평가자는 비교적 동일한 목적으로 호텔을 방문하는 것이다.
다섯 번째로, 시간(
Figure pat00045
)도 중요한 변수이다. 경험적으로 시간이 지남에 따라 평균등급은 하락하는 경향이 있다. 이 현상의 원인에 대한 해석은 다양한데, 그 한 예로서 최근의 평가자가 초기의 평가자보다 더 엄격한 경향이 있기 때문이다.
평가자의 개별평점(
Figure pat00046
) 산출모형
평가자는 호텔을 방문한 후 다음과 같은 공식을 사용하여 평점을 매기는 것으로 모형화한다.
Figure pat00047
(여기서,
Figure pat00048
은 개인의 엄격함 변수,
Figure pat00049
,
Figure pat00050
는 가중치,
Figure pat00051
은 신호입력값,
Figure pat00052
은 기존에 방문한 사람들이 평가한 평점에 대한 개별평점 정보(
Figure pat00053
) 및 신호입력값(
Figure pat00054
)을 고려한 호텔의 참품질에 대한 예측값)
즉, 사전에 웹사이트에서 기존에 방문한 사람들이 평가한 평점에 대한 정보(
Figure pat00055
) 및 이번에 새롭게 방문해서 관찰한 신호값(
Figure pat00056
)를 사용하여 평가한 호텔의 참 품질에 대한 예측값
Figure pat00057
에
Figure pat00058
의 가중치를 주고, 본인이 새롭게 관찰해서 얻은 신호값에
Figure pat00059
의 가중치를 주어서 계산한 후 개인별 엄격함 변수(
Figure pat00060
)를 포함하여 최종적으로 자신의 평점
Figure pat00061
을 매긴다고 가정한다.
이와 같은 모형을 좀 더 이해하기 쉽게 설명하면 다음과 같다.
즉, 평가자 본인이 자신이 이용한 호텔에 대한 개별평점
Figure pat00062
을 매길 때, 본인이 알고 있는 정보는 ① 본인의 타입(우수평가자인가 혹은 일반평가자인가), ② 그에 따른
Figure pat00063
값, ③ 엄격함
Figure pat00064
, ④ 평가자가 관찰한 호텔의 품질에 대한 신호값
Figure pat00065
, ⑤
Figure pat00066
, 즉, 기존의 평가와 내가 관찰한 정보를 종합했을 때 호텔의 참품질에 대한 예측값이다.
그러나 본 발명에 따른 시스템의 분석자가 알고 있는 것은 ① 평가자의 타입(우수평가자인가 혹은 일반평가자인가) 및 평가자의 개인정보, 기존 평가자의 평가
Figure pat00067
뿐이며 이 정보로부터 통계학적인 과정을 거쳐서 ② 평가자의
Figure pat00068
값, ③ 엄격함
Figure pat00069
, ④ 평가자가 관찰한 호텔의 품질에 대한 신호값
Figure pat00070
⑤
Figure pat00071
등을 모두 사후적으로 계산해내는 것이다.
다음으로 평가자는 위 식(1)에서와 같이
Figure pat00072
에 주어진 공식대로 평점을 매기는 것으로 가정한다. 평가자 본인이 스스로 매긴 값이
Figure pat00073
이지만 마구잡이로 매기는 것이 아니라 공식에 의해 시스템적으로 매기는 것으로 가정한다. ‘평가자 본인이 스스로 매기는 것’과 ‘공식에 의해 시스템적으로 매기는 것’ 의 두 문장이 모순이 아닌데 이에 대한 이해는 경제학적 사고방식으로 설명될 수 있다. 즉, 경제학에서는 개인이 자유롭게 의사결정을 내리지만 아무렇게나 결정하는 것이 아니라 일정한 합리성 하에서 논리적으로, 공식을 염두에 두고 결정을 한다고 가정한다. 간단한 예를 들면 우유나 과자를 살 때 집 앞에 있는 편의점에서 사지 않고 굳이 멀리 있는 이마트까지 차를 타고 가서 사는 이유를 설명하기 위해서 이마트의 물건 가격, 교통비, 시간, 쇼핑의 즐거움, 폭넓은 선택의 자유, 편의점의 물건 가격, 편리함 등을 x, y, z 등의 변수로 표현하여 부등호가 이마트쪽이 더 클 때 이마트를 방문하는 결정을 내린다고 모형화하는 것이다. 따라서 소비자의 선택은 자유이고 스스로 결정을 내리는 것이지만, 그 결정은 아무렇게나 마구잡이가 아니라 소비자의 생각과 행동을 묘사하는 일정한 ‘공식’에 의해 결정된다고 보는 것이 경제학에서의 기본 분석방법이다.
이러한 관점에서 다시 평가자 본인이 개별평점
Figure pat00074
을 매기는 수식으로 돌아가
Figure pat00075
을 구성하는 수식의 내용을 살펴보면, 기본적으로 평가자는 호텔의 품질에 대한 평가를 하기를 원한다. 이 때 평가자에게는 두 가지 목표가 있을 수 있다. 하나는 방문한 호텔에 대해서 남들이 뭐라 하든 신경쓰지 않고 자신이 느끼고 경험한 바를 솔직하게 평가하는 것입니다. 이것이
Figure pat00076
이다. 쉬운 예로
Figure pat00077
은 호텔의 서비스에 큰 감동을 받았다던가, 반대로 서비스가 엉망이라서 무척 화가 났다던가 하는 경우에 감각적으로 느끼는 바에 따른 평가이다. 다른 하나는 일종의 공공서비스처럼 다른 사람들에게 호텔의 참품질을 알리는 것을 사명처럼 여기는 것으로, 기존 평가자들의 평점 정보(
Figure pat00078
)도 참고하고 본인이 직접 관찰한 호텔의 품질정보(신호,
Figure pat00079
)를 종합하여 호텔의 참품질에 대한 최선의 예측치
Figure pat00080
를 계산해 내는 것이다. 평가자의 최종적인 평가
Figure pat00081
는 이 두 목표 사이의 가중평균으로 결정한다. 따라서 공공서비스적인 정신에 두는 가중치를
Figure pat00082
라고 하고, 다른 사람이 뭐라 하건 자기 감정을 솔직하게 표현하는 것에 두는 가중치를
Figure pat00083
로 해서 가중평균을 구한다. 여기에 개인적인 엄격함에 대한 조정을 해서 최종적인 평점
Figure pat00084
을 결정하는 것이다. 이 모형에 따르면 우수평가자는 일반평가자에 비해
Figure pat00085
가 크다. 즉, 호텔의 참품질에 대한 최선의 예측치에 더 큰 가중치를 두는 것으로 그 이유로 호텔의 참품질을 알고자 할 때 우수평가자를 더 중요시 하는 것이다.
호텔의 참품질(
Figure pat00086
)
다음으로 호텔의 t시점에서의 참품질(true quality) (
Figure pat00087
)는 다음과 같은 식에 의해 변한다고 모형화한다.
Figure pat00088
(여기서
Figure pat00089
는 품질에 영향을 미치는 변수)
여기서
Figure pat00090
는 정규분포를 따른다고 가정한다. 즉, 현재의 호텔의 참품질(
Figure pat00091
)은 이전의 기(期)의 호텔의 참품질에 새롭게 발생한 변수(
Figure pat00092
)가 영향을 미쳐서 결정된다고 가정한다. 이 새로운 변수(
Figure pat00093
)에는 예를 들어 호텔 식당 웨이터의 사소한 서빙 실수도 포함되고, 새로운 호텔 지배인의 경영철학에 따른 종업원들의 서비스 마인드의 변화 등도 포함되며 호텔 설비 등에 대한 제도(법령)의 강화와 같은 비예측적 변수의 발생도 이에 해당한다. 만약 새로운 변화가 계속해서 전혀 발생하지 않는다면(
Figure pat00094
, t=1,2,...) 참품질의 값도 변화가 없을 것이지만 이는 비현실적인 가정이다.
호텔 참품질의 변화를 위와 같이 모형화할 때 시간의 변화에 따른 참품질의 변화분(분산)은 다음과 같이 표현된다.
Figure pat00095
.
즉, 호텔의 참품질은 시간이 지날수록(
Figure pat00096
) 변화분(
Figure pat00097
)이 누적되어 참품질의 값이 처음부터 크게 달라지게 된다. 따라서 평가자들의 평가로부터 호텔의 참품질을 알고자 할 때 n-1번째 평가자 이후에 시간이 많이 지난 후 n번재 평가자가 평가를 남기게 되면 n-1번째 평가 이후로 호텔의 품질이 크게 변했을 것이므로 상대적으로 n-1번째 평가자보다 n번째 평가자에게 더 높은 가중치를 주어야 할 것이다.
평가자의 관찰 신호(
Figure pat00098
)
본 발명에서 평가자가 호텔의 품질에 대하여 평가하는 신호값인
Figure pat00099
은 예를 들어 호텔이 썩 나쁘지 않을 경우 평가자가 관찰한 호텔의 점수는 “이 정도면 별 4개(
Figure pat00100
)는 되겠네”와 같은 주관적 판단이다. 이 판단은 평가자 본인은 알고 있지만 시스템 분석자의 입장에서는 모르는 값이며 분석자가 알 수 있는 값은 평가자가 최종적으로 매기는 평점인
Figure pat00101
과 평가자의 개인정보뿐이다. 따라서 최적집계분석을 하기 위해서는 시스템은
Figure pat00102
과 평가자의 개인정보로부터 평가자의
Figure pat00103
을 ‘사후적으로’ 계산해 내는 것이다.
한편, n번째 평가자가 관찰한 신호는 다음과 같은 식으로 표현될 수 있다.
Figure pat00104
(여기서
Figure pat00105
은 신호값,
Figure pat00106
은 평가대상 호텔의 참품질값,
Figure pat00107
은 신호값에 영향을 미치는 변수)
여기서 신호값에 영향을 미치는 변수(
Figure pat00108
)는 정규분포를 따른다고 가정하고, 그것의 조건부 분산인
Figure pat00109
이 바로 앞서 언급한 n번째 평가자의 신호의 정확성이다. 이 분산이 작다는 것은 n번째 평가자가 호텔의 참품질에 대한 신호를 정확하게 포착한다는 의미이고, 분산이 크다는 것은 신호를 정확하게 포착하지 못한다는 의미이다.
Figure pat00110
은 n-1번째까지 평가자들의 평가 정보(
Figure pat00111
)를 사용하여 계산한 n번째 평가 당시의 호텔의 품질에 대한 기대치로서 통계학적으로 조건부 기대치 혹은 예측치이다.
신호(
Figure pat00112
)의 분산 혹은 신호의 정확성이 언급되는 이유는 다음과 같다. 즉, 평가자가 평가한 호텔의 품질에 대한 평가값(신호값)인
Figure pat00113
은
Figure pat00114
라고 말할 수 있는데(
Figure pat00115
=신호값,
Figure pat00116
=호텔의 참품질,
Figure pat00117
은 호텔의 참품질에 영향을 미치는 에러) 평가자가 예를 들어 호텔 구석구석을 잘 살피지 못해서(에러
Figure pat00118
이 발생) 참품질과 약간 다른 평가를 내릴 수 있기 때문이다. 우수평가자는 구석구석을 잘 살펴서 참품질을 더 잘 알 수 있기 때문에 더 작은
Figure pat00119
값을 갖게 되고 따라서
Figure pat00120
의 분산, 다시 말해서 신호의 분산이 작게, 즉 신호의 정확성이 높아진다. 반면 일반평가자는 구석구석을 잘 못보기 때문에 에러
Figure pat00121
가 크게 되고
Figure pat00122
의 분산도 커지고 다시 말해서 신호의 정확성이 낮아지게 된다.
최적집계 알고리즘 모델
위와 같이 본 발명에 따른 최적집계 알고리즘을 도출하기 위한 변수들 모형의 정의가 주어졌을 때, 최적집계방법을 사용하여 호텔의 참품질을 구하기 위해서는 데이터에 입력된 데이터를 사용하여 몇 가지 파라미터 값들을 계산하여야 한다.
먼저 우수평가자, 일반평가자, 미등록평가자들의 평판에 대한 관심도인
Figure pat00123
,
Figure pat00124
,
Figure pat00125
등과 신호의 정확성인
Figure pat00126
,
Figure pat00127
,
Figure pat00128
, 그리고 개인별 엄격함인
Figure pat00129
,
Figure pat00130
을 구해야 한다. (미등록평가자는 로그인하여 개인 정보를 입력하지 않으므로
Figure pat00131
을 계산하지 않는다) 개인별 엄격함은 앞서 언급한 다섯 가지 항목이 있으므로 이들 항목들의 합산으로 계산한다. 즉, 각 항목에 해당하는 계수값을 계산한다.
Figure pat00132
(여기서
Figure pat00133
는 상수이고 α는 계수).
이러한 계수값은 통계학적 추정모형(estimation model) 중에 최우추정법(Maximum Likelihood Estimation Method)을 사용하여 구할 수 있다. 일반적으로 평균이
Figure pat00134
이고 분산이
Figure pat00135
인 정규분포를 따르는 확률변수의 확률밀도함수는 다음과 같이 표현된다.
Figure pat00136
이 식은 파라미터인
Figure pat00137
와
Figure pat00138
이 주어졌을 때
Figure pat00139
의 확률밀도함수값을 계산하는 식이다. 그런데 이 식을 거꾸로 해석해서 데이터인
Figure pat00140
가 주어졌을 때 파라미터가
Figure pat00141
와
Figure pat00142
일 확률(우도, likelihood)을 나타내는 식으로 볼 수도 있다. 이 해석에 착안해서 주어진 데이터를 가장 잘 설명하는, 혹은 주어진 데이터를 만들어냈음직한 그럴 듯한 파라미터
Figure pat00143
와
Figure pat00144
를 찾는 방법이 최우추정법이다. 이 식은 실제 참값인
Figure pat00145
와
Figure pat00146
를 대입했을 경우 이 함수식이 최대값을 갖고, 다른 파라미터값을 대입하게 되면 함수값이 작아지게 된다. 따라서 데이터의 실제 참값인
Figure pat00147
와
Figure pat00148
를 찾기 위해서는 위 함수값을 최대화하는
Figure pat00149
와
Figure pat00150
를 찾으면 된다. 이 방법은 보통 수치최적화(numerical optimization) 방법에서 예를 들면 newton-raphson algorithm등과 같은 알고리즘을 사용하여 최대값을 찾아내게 된다. 위 식은 데이터가 하나 있을 경우의 식이고 데이터가 N개 있을 경우에는 벡타와 행렬을 사용하여 다음과 같은 식으로 표현된다.
Figure pat00151
여기서
Figure pat00152
,
Figure pat00153
는
Figure pat00154
열벡터이고,
Figure pat00155
는
Figure pat00156
행렬이며,
Figure pat00157
은 벡터
Figure pat00158
를 전치(transpose)한 것이다.
최우추정법을 사용하여 모형의 파라미터를 추정하면 다음과 같다. 특별히 모형의 오차항인
Figure pat00159
이 정규분포를 따른다는 가정을 사용하여 우도함수(likelihood function)을 만들고 이 우도함수를 최대화하도록 앞서 열거한 파라미터 값들을 구한다. 이 때 주의할 점은 우도함수는 본래 평점 자료
Figure pat00160
를 사용한다. 하지만 실제 계산과정에서 참 파라미터 값을 계산하는데 시간이 오래 걸리고 계산 결과도 오차가 큰 현상이 발견되어서
Figure pat00161
대신에 그 차이인
Figure pat00162
데이터를 사용하여 우도함수를 추정하도록 한다. 그리고 또한
Figure pat00163
를 직접 사용하면 우도함수식이 매우 복잡해지므로 그 대신에 신호의 차이인
Figure pat00164
를 사용하여 우도함수를 계산한다. 둘 사이의 관계는 위의 식 (1)로부터
Figure pat00165
와
Figure pat00166
에 대한 전환식(자코비안 행렬)을 계산하여 얻는다. 정리하면,
Figure pat00167
이라 하고, 을 분산행렬이라고 할 때 파라미터값들은 다음 함수를 최대화(최우추정법)함으로써 구한다.
Figure pat00169
여기서 N은 평가자의 총 숫자이고, 통계학적으로 N 대신에 N-1을 사용하는 것이 더 좋다고 알려져 있으므로 N-1을 사용한다.
Figure pat00170
은 변수
Figure pat00171
를
Figure pat00172
에 대해 미분한 편미분 행렬인 자코비안(Jacobian) 행렬이다. 이 행렬 역시 위의 식(1)을 사용하여 편미분을 적용함으로써 계산한다.
최우추정법에 의해 파라미터 값들을 구했다면 이제 최적집계 방법을 사용한 호텔의 참품질을 계산하여야 한다. 최적집계에 의한 참품질은 평가자들의 평가들이 모두 주어졌을 때 호텔의 품질에 대한 기대치,
즉
Figure pat00173
의 값을 구함으로써 얻을 수 있다. 여기서
Figure pat00174
은 평가자 n까지의 정보가 모두 주어졌을 때 n번째 평가자 때의 품질의 조건부 기대치(conditional expectation)를 의미한다. 이 때
Figure pat00175
와
Figure pat00176
의 에러항들이 모두 정규분포를 따르므로
Figure pat00177
의 조건부 기대치와 분산은 이변량 정규분포(bivariate normal distribution)에 대해 잘 알려진 통계학의 결과를 사용하여 다음과 같은 평균
Figure pat00178
과 분산
Figure pat00179
의 일반식을 얻을 수 있다.
Figure pat00180
Figure pat00181
여기서
Figure pat00182
이고
Figure pat00183
이다.
Figure pat00184
은 앞서 정의한 각 그룹별 신호의 정확성을 나타내는 분산이다. 우수평가자는
Figure pat00185
를 갖고, 일반평가자는
Figure pat00186
, 그리고 미등록평가자는
Figure pat00187
의 값을 가지게 된다.
위의 식을 보면 호텔의 참품질인
Figure pat00188
은
Figure pat00189
과
Figure pat00190
의 가중평균으로 계산된다. 여기서
Figure pat00191
에는
Figure pat00192
까지의 모든 정보가 포함되어 있고,
Figure pat00193
에는 n번째 평가자의 정보만 있으므로 ‘일반적으로’
Figure pat00194
의 가중치가
Figure pat00195
의 가중치보다 더 크다. 하지만
Figure pat00196
의 가중치에는
Figure pat00197
이 포함되어 있는데, 이는 앞에서 언급한 바와 같이 n-1번째 평가자 이후부터 n번째 평가자까지의 시간 동안 호텔의 품질이 얼마나 변했는가를 측정하는 부분이다. 따라서 만약에 n-1번째 이후 n번째 평가자까지 많은 시간이 흘러서 호텔의 품질이 변했다면 비록
Figure pat00198
에 기존 평가자들의 모든 정보가 포함되어 있다 하더라도 이번에 새로운 n번째 평가자의 신호인
Figure pat00199
에 최근 호텔의 변화된 품질에 대한 정보가 많이 포함되어 있을 것으로
Figure pat00200
에 대한 가중치가 상대적으로 더 커질 수도 있다.
위의 식에서
Figure pat00201
을 구하기 위해서는
Figure pat00202
을 알아야 한다. 이 값은 평가자의 평점
Figure pat00203
이 주어지고, 주어진 평가자의 프로파일에 따라
Figure pat00204
이 계산되어졌을 때 다음 두 식(1)(2)의 연립방정식에 의해 다음과 같이 계산한다.
Figure pat00205
(2)
Figure pat00206
(3)
즉,
Figure pat00207
이고, 이 식을 정리해서
Figure pat00208
을 좌변으로 넘기면 다음과 같은 식을 얻게 된다.
Figure pat00209
이렇게 구한
Figure pat00210
을 사용하여 최적집계 방식에 의한 평균평점을 계산할 수가 있다.
시뮬레이션
단순평균 방식과 본 발명에 따른 새로운 집계 방식이 여러 다양한 상황에서 어떤 모습을 보이는 지를 가상자료(simulation)를 사용하여 평가하면 다음과 같다. 자료는 호텔에 대한 사용자 평가를 제공하는 기존의 인터넷 평가 사이트 A에서 한국호텔에 대한 평가데이타를 사용하였고, 총 423개의 호텔에 대해 총 관측치는 26,289개이다. A 사이트는 평가자의 등급을 평가의 개수에 따라 6등급으로 구분하는데, 1, 2등급을 우수평가자, 나머지 등급을 일반평가자로 구분할 때 (A 사이트는 미등록평가자를 따로 정의하지 않으므로 미등록평가자는 포함하지 않았다) 가장 많은 개수의 파라미터값들이 통계학적으로 유의하게 나왔다. 이렇게 구분한 평가자 그룹에 대해 파라미터 값들을 계산하면 다음과 같다.
파라미터 추정치
Figure pat00211
 1.19062 (0.10855)***
Figure pat00212
 1.62507 (0.13405)***
Figure pat00213
 0.00188 (0.00038)***
Figure pat00214
 0.32363 (0.03173)***
Figure pat00215
 0.30507 (0.02951)***
Figure pat00216
 0.07713 (0.03412)**
Figure pat00217
 -0.00003 (0.00001)**
Figure pat00218
 -0.11384 (0.12323)
Figure pat00219
 -0.26825 (0.15960)*
Figure pat00220
 0.01054 (0.01989)
Figure pat00221
 0.03385 (0.01570)**
Figure pat00222
 0.00003 (0.00002)
Figure pat00223
 -0.12514 (0.17469)
Figure pat00224
 0.36472 (0.13789)***
Figure pat00225
 -0.00105 (0.01621)
Figure pat00226
 -0.04776 (0.01517)***
N 26,289
(파라미터 추정결과)
이렇게 계산한 파라미터 값들을 사용하여 최적집계 평균평점을 계산하였다. 단순 산술평균 방식에 의한 평균평점은 평가자 n의 평가값이
Figure pat00227
일 때
Figure pat00228
으로 계산한다.
호텔 참품질의 변화 모습을 세 가지 형태로 가정하고 각 경우에 서로 다른 집계방식이 어떠한 결과를 보이는지 살펴보았다. 위에서 추정에 사용된 총 26,289개의 평가 중에서 무작위로 1,000개의 평가에 대한 평가자의 자료를 사용하여 최적집계 방식으로 평균평점을 계산하였다. 아래에서는 가상적으로 호텔의 참품질이 변하는 모습을 상정하였고, 그 상황에서 위의 식 (1)에 따라 개인들이 평점을 매겨서
Figure pat00229
값을 사이트에 평점을 제시할 때 단순평균과 최적집계 방식이 어떻게 참품질 값을 찾아가는지를 보여주고 있다. 단순평균은
Figure pat00230
의 자료만을 사용하여 평균평점을 계산하지만, 최적집계는
Figure pat00231
, 즉, 평점 자료
Figure pat00232
뿐만 아니라 개인의 프로파일 및 과거 평점 정보인
Figure pat00233
까지 사용하여 평균평점을 계산한다.
먼저 가정1은 호텔 품질의 참값에 아무런 변화가 없는 경우이다. 품질의 참값은 3등급으로 고정시킨 후 시간의 흐름에 따른 각 평균방식의 결과에 대한 95% 신뢰구간을 표시하였다.
도 9에서 알 수 있듯이 참품질에 전혀 변화가 없을 경우 단순집계 방식은 평가자의 개인적 엄격함으로 인한 편의(bias)로 인해 시간이 지남에 따라 참값인 3등급으로부터 벗어나 점차 위쪽으로 멀어지고 있다. 반면에 최적집계 방식은 시간이 지남에 따라 참값인 3등급에 수렴해 가고 있다.
가정 2는 호텔의 품질이 불연속적으로 변하는 경우이다. 예컨대 참품질이 3등급을 유지하다가 200번째 평가가 있을 때 2.5등급으로 하락하고, 500번째 평가가 있을 때 3.5등급으로 상승하는 것이다. 현실에서도 이러한 일은 예컨대 호텔의 경영전략이 크게 바뀌거나 레노베이션을 통해 호텔의 품질이 급격하게 바뀔 경우에 발생할 수 있다.
도 10에 의해 알 수 있듯이 가정 2의 경우 최적집계와 단순평균의 결과는 크게 차이가 난다. 특히 초기에 등급 변화가 없을 때에도 단순집계는 이미 편의(bias)를 보이고 있다. 등급이 3에서 2.5로 하락했을 경우 최적집계 방식은 평가가 26개를 넘길 때 평균평점이 2.5로 빠르게 수정되는 반면, 단순평균 방식은 평가 개수가 300개가 지나더라도 평균 평점이 2.5로 변하지 않는다. 또 참 평점이 2.5에서 3.5로 변할 때 최적집계는 50개의 평가 만에 3.5로 평균 평점이 변하는 반면에, 단순평균은 평가가 492개가 넘어야 3.5로 변하게 된다. 따라서 단순평균은 호텔의 참품질을 반영하는데 매우 오랜 시간이 걸린다는 것을 확인할 수 있다.
가정 3은 품질의 변화가 작게 연속적으로 발생하는 경우이다. 이 경우 품질의 참값의 변화가 가정 1이나 2와 같이 규칙적이지 않고 무작위로 이루어지므로 참품질값 대신에 참값과 각 방식의 추정값과의 차이의 제곱을 나타내는 평균제곱오차(Mean Squared Error)값을 표시하였다. 이 값이 클수록 계산한 평균평점이 참품질값에서 멀어짐을 의미하고 작을수록 참품질값에 가까워짐을 의미한다.
도 11에 의해 알 수 있듯이 연속적으로 발생하는 품질의 변화가 누적될 경우 단순평균 방식은 참값으로부터 시간이 지날수록 점점 멀어지고 있다. 반면 새로운 최적집계 방식은 그 오차가 일정 정도를 넘어가지 않고 유지하고 있다.
이렇게 세 가지 경우에 대해서 호텔의 참품질이 변하는 모습을 보았을 때, 세 경우 모두에 대해 단순평균보다 최적집계 방식의 평균평점이 월등히 우수하게 호텔의 참품질을 잘 반영하고 있음을 알 수 있다.
온라인 시스템에의 적용
다음으로 본 발명에 따른 호텔 만족도에 대한 최적집계방식의 온라인 평점부여방법이 적용된 실제 온라인 평점 시스템을 통해 평점이 정리되는 과정을 첨부도면을 사용하여 설명하면 다음과 같다.
도 1은 본 발명에 따른 호텔 만족도에 대한 최적집계방식의 온라인 평점부여방법을 적용한 평점 관리 시스템의 기본 구성을 도식화한 블록도이며, 도 2는 평점 정보가 표시되는 일례를 설명하기 위한 도면이다.
이들 도면에 의해 알 수 있듯이 본 발명에 따른 호텔 만족도에 대한 최적집계방식 시스템은 사용자가 직접 마주하는 웹 화면 영역으로서의 서비스 이용자 영역(100)과, 웹사이트 영역(200)과, 웹 화면에서 입력된 내용에 대해 연산처리를 진행하는 평점관리 알고리즘 영역(300) 및 평점 데이터(개별 데이터 및 평균 처리된 데이터)를 관리하는 데이터베이스 관리영역(400)으로 이루어진다.
사용자가 웹에 접속하여 로그인 후 개별평점을 매기면, 평점관리 알고리즘 영역(300)에서 그 개별평점 입력값을 받아 기존 평균평점에 추가한 후 다시 평균평점을 계산하는 작업을 하게 되며 입력된 개별평점과 계산 처리된 평균평점은 데이터베이스에 추가되어 누적 보관된다.
서비스 이용자(100) 즉 사용자가 API를 통해 본 발명에 따른 최적집계 알고리즘 시스템을 적용한 웹(200)에 평점을 매긴다. 평점은 도 2와 같이 웹 화면에는 적용된 평점을 숫자와 별점 형태(501) 두 가지를 동시에 표시할 수 있고, 사용자가 각 점수대에 얼마나 분포되어 있는지를 그래프(502)로 표시할 수 있다. 그 외 개별 작성자의 평점(503)을 하단에 같이 표시한다.
도 3은 평점정보를 입력하는 영역에 대한 구성을 도식화한 블록도이다. 사용자는 평점을 매기는 웹에서 사용자 등록(2001)을 통해 접속한다. 사용자 등록은 일반적으로 로그인이라는 접속정보를 통한 접속 과정이며, 사용자 정보가 없는 경우에는 회원가입을 통해 사용자 정보를 등록한 후에 다시 로그인을 통해 접속해야 한다.
사용자 접속이 되면 세션관리(2002) 과정을 통해 접속 장비와 접속자 정보를 매칭시켜 작성자 상태 정보를 체크하여 연산처리 쪽에 전달한다. 또 평점을 입력할 수 있는 사용자 환경(2003)을 보여주면서 입력정보를 받아들이고, 보안 작업(2004)을 통해 평점을 매긴 사용자 정보가 외부에 유출되지 않게 막는다.
도 4는 최적집계 알고리즘의 연산과정을 도식화한 흐름도이며, 도 5는 도 4최적집계 알고리즘의 연산과정(3004)의 구체적 진행과정의 블록도로서 사용자가 웹에 접속하여 개별 평점을 입력하면 해당 개별평점을 포함한 실질적 평균평점을 계산하는 과정이 본 발명에 따른 최적집계 알고리즘의 연산과정(3004)을 통해 진행된다. 이 알고리즘의 연산과정(3004)은 3가지 정보를 처리하는 과정을 거치게 되는데 첫 번째로 사용자 정보에 대해 기존 작성 경험과 비교하여 성향, 작성빈도, 작성 형태 등을 분석하여 알고리즘 계산을 위한 개인 정보 (
Figure pat00234
,
Figure pat00235
)를 확인하는 과정(30041)과 두 번째로 평가 개수, 평가 주기, 매칭거리, 다양성, 시간추세 변수를 고려하여 알고리즘 계산을 위한 평가자의 엄격함 변수(λ)을 분석하는 과정(30042)과 마지막으로 알고리즘 계산을 위한 새 평가자의 포착신호
Figure pat00236
및 기존 최적품질평가
Figure pat00237
를 계산하는 과정(30043)을 거쳐 이러한 알고리즘이 적용된 평점이 웹 화면에 표시된다(30044).
이렇게 입력된 평점을 비롯한 관련 정보는 데이터베이스(400)에 보관된다. 도 6은 수집된 DB를 관리하는 DB 시스템에 대한 블록도이다.
입력된 평점은 평점 데이터베이스(4003)에 저장이 되며 API를 통해 연결된 경우 API를 제공받는 회사의 정보를 보관하는 고객사 데이터베이스(4001), 평점을 매긴 사용자에 대한 정보를 보관하는 사용자 데이터베이스(4002), 고객사의 상품(호텔) 정보를 저장하거나 서비스 데이터베이스(4004), 평점의 변화 흐름과 평점 작성 빈도 등을 정리하여 저장하는 통계 데이터베이스(4005), 그 외 보관해야 할 정보를 보관하는 기타 데이터베이스(4006)까지 저장되어 데이터가 필요할 경우 알고리즘 적용시 활용한다.
도 7은 전체 시스템을 관리하는 영역의 블록도이다. 데이터베이스 관리 이외에도 전체 시스템이 문제없이 돌아갈 수 있도록 시스템 반응 속도 및 에러 발생 등 성능(Performance)을 관리(601)하고, 프로그램에 문제가 없는지에 대해 시스템도 관리(602)하는 것이 필요하다. 또 웹과의 연결에 있어 이상이 없는지 네트워크를 관리(603)하고 보안사항 등에 문제가 없는지 보안도 관리(604)하여 시스템에 대한 다각도의 관리를 통해 알고리즘을 통한 평점 표시가 문제없게 한다.
100 : 온라인 평점 시스템을 통한 실질적 평점 작성자
200 : API로 연결된 평점 서비스 제공 웹
2001 : Web 영역 사용자 등록 부분
2002 : Web 영역 세션 관리 부분
2003 : Web 영역 평점 입력 부분
2004 : Web 영역 변환/ Data 보안 부분
300 : 알고리즘 계산을 진행하는 시스템
3001 : 연산처리 부분의 사용자 정보 처리 영역
3002 : 연산처리 부분의 평점 분석 영역
3003 : 연산처리 부분의 고객사 서비스 관리 영역
3004 : 서비스 알고리즘 연산 처리 영역
30041 : 알고리즘 계산을 위한 개인 정보(
Figure pat00238
,
Figure pat00239
) 확인모형
30042 : 알고리즘 계산을 위한 평가자 엄격함 변수(λ) 계산모형
30043 : 알고리즘 계산을 위한 새 평가자의 포착신호
Figure pat00240
및 기존 최적품질평가
Figure pat00241
계산모형
30044 : 전체 알고리즘이 적용되어 웹 화면에 최적평가평점이 표기되는 모형
400 : 누적된 평점 등을 저장하는 DB
4001 : 고객사DB
4002 : 사용자DB
4003 : 평점DB
4004 : Service DB
4005 : Statistics DB
4006 : ETC DB
500 : 사용자들의 평균 평점 표시부
501 : 사용자들이 매긴 점수의 분포도
502 : 개별 사용자들의 평점 분포도
601 : Performance 관리 영역
602 : System 관리 영역
603 : Network 관리 영역
604 : Security 관리 영역

Claims (3)

  1. 웹 화면 영역으로서의 서비스 이용자 영역과, 웹 화면에서 서비스 이용자가 입력한 내용에 대해 연산처리를 진행하는 평점관리 알고리즘 적용영역 및 서비스 이용자에 대한 개별 데이터 및 개별평점 및 평균 처리된 평점데이터를 관리하는 데이터베이스 관리영역을 포함하며,
    상기 평점관리 알고리즘 영역에서 적용하는 평가자 n까지의 정보가 주어졌을 때 n번째 평가시의 호텔 품질의 조건부 기대치는
    Figure pat00242
    로 산출되며, 이때 호텔 만족도에 대한 n번째 호텔 사용자가 관찰한 신호값(
    Figure pat00243
    )은,
    Figure pat00244

    (여기서,
    Figure pat00245
    은 개인의 엄격함 변수,
    Figure pat00246
    은 개별평점,
    Figure pat00247
    은 가중치,
    Figure pat00248
    ,
    Figure pat00249
    은 분산,
    Figure pat00250
    은 호텔의 품질에 대한 기대치)
    인 것을 특징으로 하는 호텔 만족도에 대한 최적집계방식의 온라인 평점부여방법
  2. 청구항 1에 있어서
    상기 개인의 엄격함 변수(
    Figure pat00251
    )를 결정짓는 요소는 평가자가 기존에 평가한 평가의 개수(
    Figure pat00252
    ), 그 평가자가 일정 기간 동안에 제출한 평가의 개수(
    Figure pat00253
    ), 그 평가자와 평가대상 호텔 사이의 적합도(matching)의 차이(
    Figure pat00254
    ), 그 평가자와 평가대상 호텔 사이의 방문 다양성의 지표(
    Figure pat00255
    ) 및 그 평가자가 평가대상 호텔을 방문한 시간 간격(
    Figure pat00256
    ) 지수의 산술적 합
    Figure pat00257

    (여기서
    Figure pat00258
    는 상수, α는 계수)
    으로 결정되는 것을 특징으로 하는 호텔 만족도에 대한 최적집계방식의 온라인 평점부여방법
  3. 청구항 1 또는 청구항 2에서,
    상기 개별평점
    Figure pat00259
    은
    Figure pat00260

    (여기서,
    Figure pat00261
    은 개인의 엄격함 변수,
    Figure pat00262
    ,
    Figure pat00263
    는 가중치,
    Figure pat00264
    은 신호입력값,
    Figure pat00265
    은 기존에 방문한 사람들이 평가한 평점에 대한 개별평점 정보(
    Figure pat00266
    ) 및 신호입력값(
    Figure pat00267
    )을 고려한 호텔의 참품질에 대한 예측값)
    으로 결정되는 것을 특징으로 하는 호텔 만족도에 대한 최적집계방식의 온라인 평점부여방법

KR1020150008415A 2015-01-18 2015-01-18 호텔 만족도에 대한 최적집계방식의 온라인 평점부여방법 KR20160089059A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150008415A KR20160089059A (ko) 2015-01-18 2015-01-18 호텔 만족도에 대한 최적집계방식의 온라인 평점부여방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150008415A KR20160089059A (ko) 2015-01-18 2015-01-18 호텔 만족도에 대한 최적집계방식의 온라인 평점부여방법

Publications (1)

Publication Number Publication Date
KR20160089059A true KR20160089059A (ko) 2016-07-27

Family

ID=56616984

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150008415A KR20160089059A (ko) 2015-01-18 2015-01-18 호텔 만족도에 대한 최적집계방식의 온라인 평점부여방법

Country Status (1)

Country Link
KR (1) KR20160089059A (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101054524B1 (ko) 2009-02-27 2011-08-04 한국전자통신연구원 평점 계산 방법 및 그 시스템
KR20120047079A (ko) 2010-11-03 2012-05-11 엔에이치엔(주) 집단지성을 이용한 추천 시스템 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101054524B1 (ko) 2009-02-27 2011-08-04 한국전자통신연구원 평점 계산 방법 및 그 시스템
KR20120047079A (ko) 2010-11-03 2012-05-11 엔에이치엔(주) 집단지성을 이용한 추천 시스템 및 방법

Similar Documents

Publication Publication Date Title
Lawani et al. Reviews and price on online platforms: Evidence from sentiment analysis of Airbnb reviews in Boston
Steurer et al. Metrics for evaluating the performance of machine learning based automated valuation models
Nazari-Shirkouhi et al. Importance-performance analysis based balanced scorecard for performance evaluation in higher education institutions: an integrated fuzzy approach
Feizizadeh et al. Spatially explicit sensitivity and uncertainty analysis for multicriteria-based vulnerability assessment
Srivastava et al. Intelligent employee retention system for attrition rate analysis and churn prediction: An ensemble machine learning and multi-criteria decision-making approach
CN103927675B (zh) 判断用户年龄段的方法及装置
Ioannides et al. Interactions, neighborhood selection and housing demand
Ustinovichius et al. Application of a quantitative multiple criteria decision making (MCDM-1) approach to the analysis of investments in construction
LeSage et al. The importance of modeling spatial spillovers in public choice analysis
Hu Fuzzy multiple-criteria decision making in the determination of critical criteria for assessing service quality of travel websites
Kallas et al. A stated preference analysis comparing the analytical hierarchy process versus choice experiments
Mimis et al. Property valuation with artificial neural network: The case of Athens
Aleksynska et al. THE HETEROGENEITY OF IMMIGRANTS, HOST COUNTRIES'INCOME AND PRODUCTIVITY: A CHANNEL ACCOUNTING APPROACH
Chang et al. Comparative analysis of trip generation models: results using home-based work trips in the Seoul metropolitan area
Kenny et al. How informative are the subjective density forecasts of macroeconomists?
Emrouznejad et al. A novel ranking procedure for forecasting approaches using Data Envelopment Analysis
Kerr et al. Choice experiment adaptive design benefits: a case study
Madhavan et al. Short-term forecasting for airline industry: the case of Indian air passenger and air cargo
Badea et al. CUSTOMER SATISFACTION WITH BANKING SERVICES. SIMULATING THE INFLUENCE OF CUSTOMER SATISFACTION DETERMINANTS USING ARTIFICIAL NEURAL NETWORK ALGORITHMS.
Akbari et al. The consequences of the COVID-19 pandemic on marketing performance considering the role of technology (Case study: Iranian chain hotels)
Frydman et al. Random survival forest for competing credit risks
Papić et al. Using Bayesian network and AHP method as a marketing approach tools in defining tourists' preferences
Modares et al. Applying a multi-criteria group decision-making method in a probabilistic environment for supplier selection (Case study: Urban railway in Iran)
Shahin et al. Prioritisation of departments based on service quality dimensions in Isfahan Steel Company: a multiple criteria decision making approach
Renigier-Biłozor et al. Residential market ratings using fuzzy logic decision-making procedures

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application