KR20090000286A - 평가자의 신뢰도에 기초한 컨텐츠 신뢰도 평가 시스템 및그 방법 - Google Patents

평가자의 신뢰도에 기초한 컨텐츠 신뢰도 평가 시스템 및그 방법 Download PDF

Info

Publication number
KR20090000286A
KR20090000286A KR1020070016204A KR20070016204A KR20090000286A KR 20090000286 A KR20090000286 A KR 20090000286A KR 1020070016204 A KR1020070016204 A KR 1020070016204A KR 20070016204 A KR20070016204 A KR 20070016204A KR 20090000286 A KR20090000286 A KR 20090000286A
Authority
KR
South Korea
Prior art keywords
content
reliability
evaluation
evaluator
user
Prior art date
Application number
KR1020070016204A
Other languages
English (en)
Other versions
KR100887253B1 (ko
Inventor
안상일
김형주
Original Assignee
안상일
김형주
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 안상일, 김형주 filed Critical 안상일
Priority to KR1020070016204A priority Critical patent/KR100887253B1/ko
Priority to US12/032,092 priority patent/US20080201373A1/en
Publication of KR20090000286A publication Critical patent/KR20090000286A/ko
Application granted granted Critical
Publication of KR100887253B1 publication Critical patent/KR100887253B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Databases & Information Systems (AREA)
  • Human Resources & Organizations (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Development Economics (AREA)
  • Operations Research (AREA)
  • General Engineering & Computer Science (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Game Theory and Decision Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

컨텐츠 평가자의 신뢰도에 기초한 컨텐츠 신뢰도 평가 시스템 및 그 방법이 개시된다. 컨텐츠 신뢰도 평가 방법은 신뢰도 평가 서버가 컨텐츠에 대한 컨텐츠 평가자의 평가행위 정보를 획득하는 단계; 상기 신뢰도 평가 서버가 신뢰도 저장 데이터베이스로부터 상기 컨텐츠 평가자의 신뢰도를 획득하는 단계; 및 상기 신뢰도 평가 서버가 상기 컨텐츠 평가자의 신뢰도 및 상기 평가행위 정보에 기초하여 컨텐츠 신뢰도를 계산하는 단계를 포함할 수 있다. 이에 의하여, 컨텐츠의 신뢰도를 평가하는 과정에서 컨텐츠 평가자의 신뢰도를 고려할 수 있고, 온라인 상의 검색엔진의 성능을 개선시킬 수 있다.
신뢰도, 온라인 설문조사, 검색 엔진

Description

평가자의 신뢰도에 기초한 컨텐츠 신뢰도 평가 시스템 및 그 방법{evaluator credibility based contents credibility evaluation system and method thereof}
도1은 본 발명의 일 실시예에 따른 컨텐츠 신뢰도 평가 시스템의 구성도,
도2는 본 발명의 일 실시예에 따른 컨텐츠 신뢰도 평가 방법의 흐름도,
도3은 본 발명의 일 실시예에 따른 척도변환 함수들을 나타낸 도면,
도4는 본 발명의 일 실시예에 따른 컨텐츠 신뢰도 계산 결과를 예시한 도면,
도5는 본 발명의 일 실시예에 따른 컨텐츠 평가자의 컨텐츠에 대한 평가점수 분포를 예시한 도면이다.
본 발명은 컨텐츠 신뢰도 평가 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 컨텐츠 평가자의 신뢰도에 기초하여 컨텐츠의 신뢰도를 평가하는 시스템 및 그 방법에 관한 것이다.
온라인 상에서 신뢰성 있는 컨텐츠를 찾아내는 것은 가치있는 작업이다. 온 라인상에는 너무나 많은 정보가 존재하므로 사용자 즉, 컨텐츠의 소비자들은 보다 가치있고 신뢰할 수 있는 정보들을 선별하여 보고 싶어한다. 이러한 요구들을 해결하기 위해 컨텐츠의 가치 내지는 신뢰도를 평가하기 위한 시도들이 있었다. 일 예로 해당 컨텐츠를 링크하는 다른 컨텐츠의 수를 기초로 해당 컨텐츠의 가치를 간접적으로 평가하는 방법 등이 사용되었다.
그러나 이는 해당 컨텐츠에 대한 다른 사용자들의 반응을 간접적으로 반영하는 것에 그친다. 이러한 간접적인 방법들은 사용자가 생성한 컨텐츠(UCC, user created content)의 활발한 소비와 그에 대한 직접적인 평가참여에 적절히 대응하기에 부적합할 수 있다.
본 발명은 컨텐츠 평가자의 신뢰도를 반영한 컨텐츠 신뢰도 평가방법을 제공하기 위한 것이다.
또한, 본 발명은 컨텐츠 평가자의 신뢰도를 반영하여 컨텐츠의 신뢰도를 평가하는 시스템의 구성을 제공하기 위한 것이다.
본 발명의 일 측면에 따르면, a) 신뢰도 평가 서버가 컨텐츠에 대한 컨텐츠 평가자의 평가행위 정보를 획득하는 단계; b) 상기 신뢰도 평가 서버가 신뢰도 저장 데이터베이스로부터 상기 컨텐츠 평가자의 신뢰도를 획득하는 단계; 및 c) 상기 신뢰도 평가 서버가 상기 컨텐츠 평가자의 신뢰도 및 상기 평가행위 정보에 기초하여 컨텐츠 신뢰도를 계산하는 단계를 포함하는 컨텐츠 신뢰도 평가 방법이 제공된다. 컨텐츠 신뢰도 평가 방법은 d) 컨텐츠 신뢰도에 기초하여 컨텐츠 게시자의 신뢰도를 갱신하는 단계를 더 포함할 수 있고, e) 컨텐츠 신뢰도 및 평가행위 정보를 기초로 하여 컨텐츠 평가자의 신뢰도를 갱신하는 단계를 더 포함 수 있다. 이러한 컨텐츠 게시자 또는 컨텐츠 평가자의 신뢰도 갱신은 컨텐츠 평가종료 시점에 도달한 후에 수행될 수 있고, 신뢰도 평가서버가 계산한 컨텐츠 신뢰도가 통계적으로 유의한 경우에 한하여 수행될 수 있다.
또한, 본 발명의 다른 측면에 따르면, 컨텐츠 평가자의 평가행위 정보를 획득하는 컨텐츠 정보 획득부; 컨텐츠 평가자의 신뢰도를 획득하는 사용자 정보 획득부; 및 컨텐츠 평가자의 신뢰도 및 평가행위 정보에 기초하여 상기 컨텐츠의 신뢰도를 평가하는 컨텐츠 신뢰도 계산부를 포함하는 컨텐츠 신뢰도 평가 장치가 제공된다. 컨텐츠 신뢰도 평가 장치는 컨텐츠 신뢰도에 기초하여 상기 컨텐츠 게시자 또는 컨텐츠 평가자를 포함하는 사용자의 신뢰도를 갱신하는 사용자 신뢰도 갱신부를 더 포함할 수 있으며, 컨텐츠 정보에 포함된 평가종료 조건이 성취되었는지 여부를 판단하는 컨텐츠 평가종료 시점 판단부 및 컨텐츠 신뢰도가 통계적으로 유의한 것인지를 판단하는 컨텐츠 신뢰도 유의성 판단부를 포함할 수 있다.
컨텐츠는 각종 유무선 통신망을 통해 제공되는 디지털 정보나 그 내용을 총칭하는 용어로 사용될 수 있다. 컨텐츠는 뉴스, 게시자의 의견, 블로그 포스팅과 같은 형태일 수 있다. 또한, 온라인 설문조사와 같은 형태에서 설문의 내용도 광의 의 컨텐츠에 포함된다. 이러한 컨텐츠는 사용자가 생성한 컨텐츠(UCC, user created content) 및 PCC(proteur created content)의 형태일 수 있다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
이하, 본 발명에 따른 평가자의 신뢰도에 기초한 컨텐츠 신뢰도 평가 시스템 및 그 방법의 실시예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도1은 본 발명의 일 실시예에 따른 컨텐츠 신뢰도 평가 시스템의 구성도이다.
도1을 참조하면, 컨텐츠 신뢰도 평가 시스템은 사용자 단말기(110), 컨텐츠 서버(120), 신뢰도 평가서버(130), 사용자 정보 서버(140)를 포함한다. 각 단말기와 서버들은 네트워크(150)를 통하여 연결될 수 있다. 개시된 각 요소들의 기능은 본 발명의 실시예를 설명하는 다른 도면을 참조하여 이해될 수 있다. 각 서버(120, 130, 140)들이 하나 이상의 서버로 통합하여 운용될 수 있음은 자명하지만, 이하에서는 설명상의 편의를 위하여 컨텐츠 서버(120), 신뢰도 평가서버(130) 및 사용자 정보 서버(140)가 송수신 기능을 갖춘 독립된 서버로서 동작하는 경우에 대하여 설명한다.
사용자 단말기(110)는 컨텐츠 서버(120)에 저장된 컨텐츠를 네트워크(150)를 통해 수신하여 표시한다. 본 발명의 일 실시예에서, 사용자는 사용자 단말기(110)의 입력수단을 통해 컨텐츠에 대한 평가점수(찬반여부 또는 온라인 설문조사에서의 선택적인 의사표시를 포함)를 입력할 수 있다. 컨텐츠에 대한 평가점수를 입력하는 방법은 컨텐츠 평가 유형에 따라서 달라질 수 있다. 컨텐츠에 대한 평가 방법은 예를 들어 설명하면, 사용자에게 해당 컨텐츠에 대한 찬반투표를 요청하거나, 컨텐츠에 대한 평점부여를 요청하거나, 또는 온라인 설문조사에서와 같이 선택적인 의사표시를 요청하는 방법 등일 수 있다. 이러한 요청에 대응하는 사용자의 반응은 사용자 단말기(110)를 통해 입력되고 네트워크(150)를 통해 전송되어 평가행위 정보 데이터베이스(142)에 저장된다. 사용자 단말기(110)는 또한 사용자 식별(identification)을 위한 정보의 입력 수단으로 활용된다. PC(personal computer), 휴대폰 또는 PDA(personal digital assistant) 등과 같이 수신된 컨텐츠를 표시하고 이에 따른 평가행위 정보를 네트워크(150)를 통해 전송할 수 있는 장치라면 아무런 제한 없이 사용자 단말기(110)로서 사용될 수 있음은 자명하다.
컨텐츠 서버(120)는 컨텐츠 데이터베이스(121) 및 컨텐츠 신뢰도 데이터베이스(122)를 포함한다. 컨텐츠 데이터베이스(121)는 사용자에게 제공되는 컨텐츠와 컨텐츠 정보를 저장하고, 컨텐츠 신뢰도 데이터베이스(122)는 신뢰도 평가서버(130)로부터 전달받은 컨텐츠의 신뢰도를 저장한다.
컨텐츠 서버(120)는 사용자 단말기(110)의 요청에 따라 컨텐츠를 해당 사용자 단말기(110)로 제공한다. 컨텐츠 서버(120)는 컨텐츠에 대한 평가점수를 입력할 수 있는 수단을 컨텐츠와 함께 제공한다. 사용자는 이를 통해 컨텐츠에 대한 평가 점수를 입력함으로써 컨텐츠의 평가자가 된다. 컨텐츠 서버(120)는 컨텐츠 평가자가 입력한 평가점수를 사용자 정보 서버(140)로 전달한다. 컨텐츠 서버(120)는 컨텐츠 정보 획득부(132)의 요청에 따라 컨텐츠 정보를 신뢰도 평가서버(130)에 제공한다. 또한, 컨텐츠 서버(120)는 신뢰도 평가서버(130)에 의하여 계산된 컨텐츠 신뢰도 데이터베이스(122)에 저장된 컨텐츠 신뢰도를 컨텐츠와 함께 사용자에게 제공할 수 있다.
신뢰도 평가서버(130)는 컨텐츠 평가자의 신뢰도 및 평가행위 정보 등에 기초하여 컨텐츠의 신뢰도를 계산한다. 또한, 컨텐츠를 게시한 사용자(이하 '컨텐츠 게시자'라 한다)의 신뢰도 역시 컨텐츠 신뢰도의 계산에 사용될 수 있다.
도1을 참조하면, 신뢰도 평가서버(130)는 사용자 정보 획득부(131), 컨텐츠 정보 획득부(132), 컨텐츠 신뢰도 계산부(134) 및 사용자 신뢰도 갱신부(136)를 포함할 수 있다. 또한, 신뢰도 평가서버(130)는 평가 종료시점 판단부(133) 및 컨텐츠 신뢰도 유의성 판단부(135)를 더 포함할 수 있다. 컨텐츠의 신뢰도는 그 내용 자체의 진실한 정도를 직접적으로 표현한 값이라기 보다는, 컨텐츠를 통해 나타나는 컨텐츠 게시자의 의견에 컨텐츠 평가자가 동의하는 정도를 나타내는 값 또는 컨텐츠의 유용성의 간접적인 판단기준으로서 이해될 수 있다.
본 발명의 일 실시예에서, 평점부여 유형의 컨텐츠 평가행위에서는 컨텐츠 신뢰도는 만점대비 획득한 점수로 해석된다. 찬반투표 유형의 컨텐츠 평가행위에서는 컨텐츠 신뢰도는 컨텐츠 평가자들이 컨텐츠가 나타내는 의견에 어느 정도 찬성하는가를 나타내는 값으로 해석된다. 또한, 온라인 설문조사와 관련하여 컨텐츠의 신뢰도는 각 선택적인 응답이 컨텐츠 평가자들로부터 어느 정도의 지지를 받았는지를 나타내는 값일 수 있다. 이 외에도 다양한 유형의 컨텐츠 평가행위가 가능함은 물론이다. 이하에서는 발명의 이해와 설명의 편의를 위하여 컨텐츠 평가행위의 유형에 상관없이 컨텐츠 평가자가 부여한 점수, 찬반 여부, 응답 선택 등을 평가점수라고 통칭하기로 한다.
사용자 정보 획득부(131)는 사용자 정보 데이터베이스(141)로부터 사용자 정보를 획득하고, 평가행위 정보 데이터베이스(142)로부터 컨텐츠 평가자의 평가행위 정보를 획득한다. 획득한 사용자 정보 및 평가행위 정보는 컨텐츠 신뢰도 계산부(134)에 전달되어 컨텐츠 신뢰도를 계산하는 기초자료로서 활용된다. 사용자 정보는 사용자 정보 데이터베이스(141)에 저장된다.
사용자 정보는 컨텐츠 게시자 및 컨텐츠 평가자를 포함하는 개별 사용자에 관한 정보이다. 사용자 정보는 사용자 식별 정보(예로서 사용자가 로그인한 아이디), 사용자의 신상에 관한 추가적인 정보, 사용자의 신뢰도 및 사용자의 신뢰도 변경 이력정보를 포함할 수 있다.
평가행위 정보는 사용자 단말기(110)를 통해 입력된 사용자의 컨텐츠에 대한반응에 관한 정보이다. 본 발명의 일 실시예에 의하면, 평가행위 정보는 평가대상 컨텐츠에 대한 식별정보, 컨텐츠 평가자가 컨텐츠에 대해 부여한 점수, 컨텐츠에 대한 찬반 의사표시, 온라인 설문조사에서의 선택적인 의사표시 및 평가행위가 이루어진 시각 등의 정보가 포함할 수 있다. 평가행위 정보는 사용자 정보 서버(140)의 평가행위 정보 데이터베이스(142)에 저장될 수 있다. 평가행위 정보는 사용자 별로 저장될 수 있다. 평가행위 정보 데이터베이스(142)에는 컨텐츠 평가자가 컨텐츠에 반응하여 행한 평가행위에 관한 이력정보가 저장될 수 있다. 본 발명의 일 실시예에서, 평가행위 정보는 평가행위 정보 데이터베이스(142)에 사용자 별로 저장되는 것으로 설명되었지만, 본 발명의 다른 실시예에서는, 평가행위 정보는 컨텐츠 데이터베이스(121)내에 사용자 식별정보가 포함된 형태로 저장될 수 도 있다.
컨텐츠 정보 획득부(132)는 컨텐츠 서버(120)의 컨텐츠 데이터베이스(121)로부터 컨텐츠의 정보를 획득한다. 본 발명의 일 실시예에서, 컨텐츠 정보는 컨텐츠에 관한 식별정보, 컨텐츠 평가종료 조건 및 컨텐츠 평가 유형 정보를 포함할 수 있다. 또한, 컨텐츠 식별정보는 컨텐츠의 주제에 관한 정보를 포함할 수 있다. 컨텐츠 평가종료 조건은 평가 종료시점 판단부(133)에 전달되고, 컨텐츠 평가 유형에 관한 정보는 컨텐츠 신뢰도 계산부(134)에 전달된다. 컨텐츠 평가 유형은 찬반투표, 평점부여, 온라인 설문조사와 같은 선택적인 의사표시의 형태를 포함한다.
평가 종료시점 판단부(133)는 추가적인 사용자의 평가행위를 받아들일 것인지를 판단한다. 컨텐츠 정보 획득부(132)에 의하여 획득된 컨텐츠 평가종료 조건이 활용된다. 본 발명의 일 실시예에서, 평가종료 조건은 최소 평가자 수 또는 마감시각의 형태로 정의될 수 있다. 이러한 종료조건은 컨텐츠 게시자에 의하여 설정될 수 있다. 또한, 컨텐츠 신뢰도 평가가 유의하게 되는 최소 평가자수를 만족시키는지 여부가 평가종료의 전제조건의 하나로서 고려될 수 있다.
컨텐츠 신뢰도 계산부(134)는 사용자 정보 획득부(131) 및 컨텐츠 정보 획득부(132)가 획득한 컨텐츠 정보, 사용자 정보 및 평가행위 정보에 기초하여 컨텐츠 의 신뢰도를 계산한다. 계산된 컨텐츠의 신뢰도는 컨텐츠 신뢰도 유의성 판단부(135). 사용자 신뢰도 갱신부(136) 및 컨텐츠 서버(120)로 전달된다. 구체적인 컨텐츠 신뢰도 평가방법은 도2에 관한 상세한 설명을 참조하여 이해될 수 있다. 신뢰도 평가과정에서 사용되는 척도변환 함수는 도3의 상세한 설명에서 언급될 것이다.
컨텐츠 신뢰도 유의성 판단부(135)는 컨텐츠 신뢰도 계산부(134)로부터 전달받은 컨텐츠의 신뢰도가 통계적으로 유의한 값을 가지는 지에 대해 판단을 수행한다. 예를 들어, 컨텐츠의 신뢰도가 정규분포를 보이는 경우에 있어서 해당 컨텐츠의 신뢰도가 그 정규분포의 중심값으로부터 일정한 유의수준보다 멀리 위치하는 경우에는 그 신뢰도 평가결과는 통계적으로 유의하지 않은 것으로 판단될 수 있고, 이 경우 사용자 신뢰도 갱신의 기초로 사용되지 않을 수 있다. 유의여부의 판단기준이 되는 유의수준은 신뢰도 평가서버 운용자의 선택에 따라 달라질 수 있다. 1% 또는 5%와 같은 일정한 값의 유의수준이 선택될 수 도 있지만, 그 값들로 제한되지는 아니한다. 또한, 전체 컨텐츠 신뢰도 평가결과들 중에 일정한 비율만이 유의하도록 유의수준을 조절할 수도 있다. 통계적으로 유의하지 않은 컨텐츠의 신뢰도 평가결과는 컨텐츠 게시자 또는 컨텐츠 평가자의 신뢰도 변경에서 고려되지 않을 수 있다. 이를 통해, 간접적으로 컨텐츠 신뢰도 평가의 편향성을 제거할 수 있다.
사용자 신뢰도 갱신부(136)는 컨텐츠 신뢰도 계산부(134)로부터 전달받은 컨텐츠 신뢰도에 기초하여 사용자의 신뢰도를 갱신(update)한다. 사용자의 신뢰도 갱신은 신뢰도 평가 서버(130)가 사용자 정보 서버(140)에 사용자 신뢰도 갱신정보를 전달함으로써 이루어진다. 컨텐츠 게시자의 신뢰도 및 컨텐츠 평가자의 신뢰도가 갱신될 수 있다.
본 발명의 일 실시예에서, 컨텐츠 평가자들의 높은 평점부여로 인해 상대적으로 높은 신뢰도를 가진 컨텐츠는 컨텐츠 게시자의 신뢰도에 긍정적인 영향을 미칠 수 있다. 이 경우, 계산된 컨텐츠 신뢰도에 근접하는 정확한 평점 부여는 컨텐츠 평가자의 신뢰도에 긍정적인 영향을 미친다. 이와 같이 컨텐츠 신뢰도는 컨텐츠 게시자 및 컨텐츠 평가자 신뢰도의 갱신 모두에 영향을 미친다. 사용자는 컨텐츠 게시자가 될 수도 있고, 타인의 컨텐츠에 대하여 컨텐츠 평가자가 될 수도 있으므로, 재귀적인 사용자 신뢰도 갱신방법이 구현됨으로써 컨텐츠 평가에 내재될 수 있는 편향성을 제거하는 데 기여할 수 있다. 또한, 사용자 신뢰도 갱신에 관한 구체적인 사항들은 후술되는 다른 도면들에 관한 상세한 설명을 참조하여 이해될 수 있다.
사용자 정보 서버(140)는 사용자 정보 데이터베이스(141)와 평가행위 정보 데이터베이스(142)를 포함한다. 사용자 정보 데이터베이스(141)는 사용자 신뢰도 및 사용자 식별정보 등을 저장한다. 평가행위 정보 데이터베이스(142)는 사용자 단말기(110)를 통해 입력된 컨텐츠 평가자의 평가행위와 관련된 정보를 저장한다. 사용자 정보 서버(140)는 사용자 정보 획득부(131)에 사용자 정보 및 컨텐츠 평가자의 평가행위 정보를 전달한다. 또한, 사용자 정보 서버(140)는 사용자 신뢰도 갱신부(136)의 요청에 따라 사용자의 신뢰도를 갱신한다. 이와 같이 사용자 정보 서버(140)는 다른 서버 또는 사용자 단말기(110)와의 데이터의 송수신 기능을 수행할 수 있다.
사용자 정보 데이터베이스(141)에 저장되는 사용자의 정보는 사용자의 신뢰도를 포함한다. 사용자 정보는 사용자 별로 저장될 수 있다. 사용자 별로 사용자 정보를 관리하기 위해서는 사용자 식별 정보가 요구된다. 사용자의 로그인(log-in)정보 또는 사용자 단말기(110)의 식별 정보(네트워크 상의 단말기 IP정보 등) 등이 이러한 사용자 식별 정보로서 활용될 수 있다. 또한, 휴대폰 등의 개인기기를 이용한 인증절차를 통해 사용자를 식별하는 것도 가능하다.
사용자의 신뢰도는 그 사용자가 온라인 상에서 표현하는 의견이 어느 정도의 중요도를 가지고 다루어져야 하는지에 대한 간접적인 기준을 제공하는 값이다. 모든 사용자가 완벽하게 동일한 지적 수준을 가질 수는 없다. 특히, 사용자의 의견을 종합하여 컨텐츠의 신뢰도를 평가함에 있어서 모든 사용자를 동일한 비중으로 다루는 것은 비효율성을 포함할 수 있으므로, 사용자 신뢰도의 개념은 어떤 사용자의 의견을 더 중요하게 여길 것인가에 대한 판단기준을 제공한다.
사용자 신뢰도는 컨텐츠의 주제에 따라 달리 부여될 수 있다. 동일한 사용자라고 하여도 경제분야에서 신뢰도와 스포츠 분야에서의 신뢰도는 다를 수 있다. 또한, 상위개념의 주제에 대한 신뢰도는 그 상위개념에 속하는 하위개념의 주제에 대한 신뢰도에 기초하여 계산될 수 있다. 스포츠 분야에 대한 사용자 신뢰도는 야구, 축구 및 농구 등 종목별 사용자 신뢰도에 기초하여 계산될 수 있으며, 예를 들어 그 종목별 사용자 신뢰도의 총합 또는 평균 등이 스포츠 분야의 사용자 신뢰도를 나타낼 수 있다. 이와 유사하게 여러 분야를 포함하는 주제에 대한 사용자 신뢰도 는 그 분야들의 사용자 신뢰도를 종합하여 계산될 수 있다.
사용자의 신뢰도는 연속적인 값을 가질 수 있는 수치화된 정보로서 존재할 수 있으나, 경우에 따라서는 등급제도로 운영될 수 있다. 등급제도에서 사용자 신뢰도는 일정한 기준을 만족하는 사용자 그룹에 대하여 동일한 값을 가진다. 사용자 신뢰도가 연속적인 값을 가지는 수치화 된 형태인 경우 필요에 따라 척도변환(scaling) 함수가 사용될 수 있다. 사용자 신뢰도는 사용자 계정이 최초로 생성될 당시에 동일한 초기값을 가질 수 있다.
평가행위 정보 데이터베이스(142)는 컨텐츠에 대한 컨텐츠 평가자의 반응으로서 나타나는 평가행위에 관한 정보를 저장한다. 상술한 바와 같이, 평가행위 정보는 컨텐츠 평가자가 사용자 단말기(110)에 입력한 평가점수, 평가점수를 부여한 시각 등의 정보가 포함한다. 본 발명의 일 실시예에서, 컨텐츠 평가자가 입력한 평가점수는 수치화된 평가점수일 수 있다. 또한, 컨텐츠 평가 유형에 따라서, 컨텐츠 평가자는 찬반투표 또는 선택적인 의사표시의 형태로 평가에 참여할 수 있다.
네트워크(150)는 유무선 통신망으로서 사용자 단말기(110), 컨텐츠 서버(120), 신뢰도 평가 서버(130) 및 사용자 정보 서버(140)를 연결한다. 각 단말기 및 서버간의 정보교환은 미리 정하여진 통신 규약에 의하여 이루어질 수 있다. 데이터베이스(121,122,141,142)에의 접근은 해당 데이터베이스를 관리하는 서버(120,140)에 정보를 요청하는 형태로 이루어지거나, 해당 데이터베이스에 직접 접근하는 형태로 이루어질 수 있다. 각 서버들 및 사용자 단말기 사이를 연결하는 네트워크가 반드시 하나의 단일 네트워크일 필요는 없다. 또한, 네트워크는 ADSL, VDSL, Wi-Fi, WIBRO 및 HSDPA 등의 기술에 의하여 LAN 및 WAN의 형태로 구성될 수 있고, 보안을 강화하기 위해 VPN등의 기술이 사용될 수 있다.
도2는 본 발명의 일 실시예에 따른 컨텐츠 신뢰도 평가 방법의 흐름도이다.
도2를 참조하면, 사용자 정보를 획득하는 단계(S210), 컨텐츠 정보를 획득하는 단계(S220) 및 컨텐츠 신뢰도를 계산하는 단계(S230)를 포함하는 컨텐츠 신뢰도 평가방법이 개시된다. 또한, 컨텐츠 신뢰도 평가방법은 컨텐츠 신뢰도를 제공하는 단계(S240), 평가종료 시점을 판단하는 단계(S250), 컨텐츠 신뢰도의 유의성을 판단하는 단계(S260), 게시자의 신뢰도를 갱신하는 단계(S270) 및 평가자의 신뢰도를 갱신하는 단계(S280)를 포함할 수 있다.
사용자 정보를 획득하는 단계(S210)는 사용자 정보 획득부(131)가 사용자 정보 서버(140)로부터 사용자 정보를 획득하는 단계이다. 컨텐츠 평가자의 반응이 사용자 단말기(110)로부터 수신되면, 사용자 정보 획득부(131)는 해당 컨텐츠 평가자의 사용자 정보를 사용자 정보 서버(140)에 요청한다. 획득된 사용자 정보는 컨텐츠 신뢰도를 계산하는 단계(S230)에서 컨텐츠 신뢰도의 기초로서 사용될 수 있다. 상술한 바와 같이 사용자 정보는 사용자 식별 정보(예를 들면 로그인한 사용자의 ID정보 또는 사용자 단말기의 IP주소), 사용자의 신상에 관한 추가적인 정보, 사용자의 신뢰도 및 사용자의 신뢰도 변경 이력정보를 포함할 수 있다. 사용자 식별 정보가 이용가능 하지 않거나 불충분한 경우의 예외적인 처리에 관해서는 컨텐츠 신뢰도를 계산하는 단계(S230)의 상세한 설명 등에서 언급될 것이다.
컨텐츠 정보를 획득하는 단계(S220)는 컨텐츠 정보 획득부(132)가 컨텐츠 서 버(120)로부터 컨텐츠 정보를 획득하는 단계이다. 상술한 바와 같이 컨텐츠 정보는 컨텐츠 평가종료 조건, 컨텐츠 평가 유형 정보를 포함할 수 있다. 획득된 사용자 정보는 컨텐츠 신뢰도를 계산하는 단계(S230)에서 컨텐츠 신뢰도 계산의 기초로서 사용된다.
컨텐츠 신뢰도를 계산하는 단계(S230)는 신뢰도 평가서버(130)가 사용자 신뢰도와 평가행위 정보 등에 기초하여 컨텐츠 신뢰도를 계산하고 그 계산된 컨텐츠 신뢰도를 컨텐츠 서버(120)로 전송하는 단계이다. 컨텐츠 신뢰도는 연속인 값을 가질 수 있는 수치화된 형태일 수 있으며, 일정한 조건을 만족하는 컨텐츠는 동일한 등급을 갖는 등급의 형태일 수 있다.
컨텐츠 신뢰도를 계산하는 단계(S230)에서 컨텐츠 평가자의 신뢰도가 활용된다. 동일한 평가행위라 하더라도 컨텐츠 평가자의 신뢰도에 따라 컨텐츠 신뢰도 평가에 미치는 영향은 다를 수 있다. 컨텐츠 평가자의 신뢰도는 각 평가자의 평가행위로부터 컨텐츠 신뢰도를 계산하는 과정에서 가중치로 작용활 수 있다.
본 발명의 일 실시예에서, 컨텐츠 평가유형이 사용자들로의 평점부여인 경우에 있어서 컨텐츠의 신뢰도는 컨텐츠 평가자의 신뢰도가 가중치로 고려된 평가점수에 기초하여 계산될 수 있다. 가중된 평가점수들의 총합 또는 평균치는 컨텐츠 신뢰도 결정의 기준값이 될 수 있다. 이 기준값에 의하여 컨텐츠 신뢰도 등급을 부여할 수 있다. 또한, 이 기준값은 척도변환(scaling) 함수를 통해 연속적인 수치를 갖는 컨텐츠 신뢰도로 변환될 수 있다. 척도변환 함수는 선형, 비선형 함수일 수 있고, 그 구체적인 형태는 도3을 참조하여 이해된다.
컨텐츠 평가자의 직업정보, 거주지역, 연령 등의 추가정보가 컨텐츠 평가자의 신뢰도에 반영될 수 있다. 컨텐츠 평가자에 대한 추가정보가 컨텐츠 평가자의 신뢰도에 직접 반영되면, 컨텐츠 평가자의 모든 컨텐츠 평가에 영향을 미치게 된다. 따라서, 컨텐츠의 주제에 따라, 컨텐츠 평가자에 대한 추가정보가 신뢰도에 반영될 것인지 여부가 결정될 수 있다.
컨텐츠 신뢰도를 계산하는 단계(S230)에서 컨텐츠 게시자의 신뢰도가 활용될 수 있다. 컨텐츠 게시자의 신뢰도에 따라 컨텐츠의 초기 신뢰도 값을 부여할 수 있다. 컨텐츠 게시자에 관한 직업정보, 거주지역, 연령 등의 정보가 컨텐츠의 주제와 부합하는 경우에는 추가적인 초기 신뢰도를 부여하는 요소로서 고려될 수 있다. 또한, 컨텐츠 게시자를 한 명의 컨텐츠 평가자로 취급하여 컨텐츠 신뢰도를 계산할 수 있다. 이 경우, 컨텐츠 게시자는 평가점수 부여에 있어서 가장 우호적인 컨텐츠 평가자로 취급될 수 있다.
컨텐츠의 신뢰도를 계산하는 단계(S230)는 예외적인 상황을 처리하는 과정을 포함할 수 있다. 로그인 정보가 확인되지 않거나, 프록시(proxy) 등으로 인해 사용자 단말기(110)의 IP정보 등이 확보되지 않는 경우, 컨텐츠 평가자의 식별이 이루지지 않을 수 있으며, 식별되지 않은 컨텐츠 평가자는 익명 컨텐츠 평가자로 분류될 수 있다. 익명 컨텐츠 평가자의 평가정보는 컨텐츠의 신뢰도 계산에서 제외될 수 있다. 익명 컨텐츠 평가자의 평가정보를 컨텐츠 신뢰도 계산에 포함시키는 경우에 있어서, 익명 컨텐츠 평가자에 대해 부여되는 신뢰도는 사용자 계정의 최초 생성시의 초기값과 동일할 수 있으며, 컨텐츠의 평가에 참여한 다른 식별된 평가자들 의 신뢰도 평균값에 상응하여 설정될 수 있다. 상응하여 설정된다는 것은 그 값에 비례 또는 반비례하여 설정되는 것만이 아니라. 동일한 값으로 설정되는 것을 포함한다.
예외적인 상황에 대한 처리의 또 다른 예로서, 모든 컨텐츠에 대하여 최상 또는 최하의 평가점수만을 부여하거나, 모든 컨텐츠에 대하여 동일한 평가를 반복하는 평가자의 평가는 컨텐츠 신뢰도 계산에서 제외될 수 있다. 평가자의 신뢰도를 갱신하는 단계(S280)에서 이러한 평가자들의 신뢰도가 점차 낮아지게 함으로써, 컨텐츠의 신뢰도를 평가하는 과정에서 이러한 컨텐츠 평가자들의 영향력을 축소할 수 있다. 그럼에도 불구하고, 이러한 평가 자체를 컨텐츠 신뢰도 평가에서 직접적으로 배제하는 것 역시 고려된다.
상술한 바와 같이 계산된 컨텐츠 신뢰도는 해당 컨텐츠의 가치를 평가하기 위한 요소들 중의 하나로서 이해되어야 하며, 그 내용 자체의 진실성에 대한 직접적인 척도로서의 신뢰도만을 의미하지 아니한다.
컨텐츠 신뢰도를 제공하는 단계(S240)는 컨텐츠 서버(120)가 컨텐츠 신뢰도를 사용자에게 제공하는 단계이다. 컨텐츠 서버(120)는 신뢰도 평가 서버(130)로부터 전달받은 컨텐츠 신뢰도를 컨텐츠 신뢰도 데이터베이스(122)에 저장하고, 사용자 단말기(110)로 전송한다. 컨텐츠의 신뢰도는 별도의 사용자 요청이 없더라도 컨텐츠와 동시에 제공되거나 해당 컨텐츠를 열람하는 사용자의 요청에 의하여 별도로 제공될 수 있다.
본 발명의 일 실시예에서, 컨텐츠의 신뢰도는 신뢰도 평가가 진행되는 과정 에서 사용자에게 실질적인 실시간으로 제공된다. 다만, 컨텐츠 신뢰도 평가 초기단계에서부터 컨텐츠 신뢰도를 실시간으로 제공하는 경우에는 그 자체로서 컨텐츠 평가의 편향성을 유발할 수 있다. 따라서, 컨텐츠의 평가결과를 통계적으로 유의하게 만드는 컨텐츠 평가자 수에 도달한 경우 또는 소정의 수 이상의 컨텐츠 평가자가 평가에 참여한 경우, 또는 추가적인 컨텐츠 평가자의 참여가 컨텐츠의 신뢰도에 미칠 수 있는 영향이 일정수준 이하로 작은 경우에 한하여 컨텐츠 신뢰도를 제공할 수 있다. 본 발명의 일 실시예에서, 컨텐츠의 신뢰도 값을 유의하게 만드는 컨텐츠 평가자 수는 신뢰수준과 표준편차에 의하여 수학식 1과 같이 계산될 수 있다.
Figure 112007014354198-PAT00001
(컨텐츠 평가자 수:
Figure 112007014354198-PAT00002
, 신뢰수준:
Figure 112007014354198-PAT00003
, 표준편차:
Figure 112007014354198-PAT00004
, 추정오차한계:
Figure 112007014354198-PAT00005
, 표준정규분포함수:
Figure 112007014354198-PAT00006
)
평가종료 시점을 판단하는 단계(S250)는 평가 종료시점 판단부(133)가 컨텐츠에 대한 추가적인 사용자의 평가를 받아들일 것인지를 판단하는 단계이다. 평가종료 시점에 도달하는 것으로 판단되는 경우, 그때까지의 컨텐츠 평가자들의 평가행위에 기초하여 컨텐츠 신뢰도가 계산된다.
평가종료 조건은 컨텐츠 정보 획득부(132)에 의하여 컨텐츠 서버(120)로부터 획득된다. 상술한 바와 같이 평가종료 조건은 컨텐츠 게시자에 의하여 설정될 수 있다. 예로서, 평가종료 조건은 평가 마감시각, 평가자 수, 또는 그들의 조합일 수 있다. 또한, 본 발명의 일 실시예에서 평가 종료시점의 기준은 소정의 기준에 의하여 컨텐츠의 평가가 유의하게 되는 최소의 평가자 수를 만족하는 것일 수 있다. 평가 종료시점에 도달하지 않은 것으로 판단되면, 신뢰도 평가서버(130)는 사용자 정보를 획득하는 단계(S210)로 다시 돌아가 추가적인 컨텐츠 평가자가 있을 때까지 대기한다. 평가종료 시점에 도달한 것으로 판단되면, 신뢰도 평가서버(130)는 평가된 컨텐츠의 유의성을 판단하는 단계(S260)를 수행한다.
컨텐츠 신뢰도의 유의성을 판단하는 단계(S260)는 컨텐츠 신뢰도 유의성 판단부(135)가 컨텐츠 신뢰도 계산부(134)에 의하여 계산된 컨텐츠 신뢰도의 통계적 유의여부를 판단하는 단계이다. 계산된 컨텐츠의 신뢰도가 통계적으로 유의한 경우, 사용자 신뢰도 갱신부(136)는 컨텐츠의 신뢰도를 컨텐츠의 게시자 및 컨텐츠 평가자의 신뢰도에 반영한다. 계산된 컨텐츠의 신뢰도가 통계적으로 유의하지 않은 경우, 사용자 신뢰도의 갱신은 이루어지지 않는다.
컨텐츠의 유의성 판단은 통계적인 방법에 의하여 수행될 수 있다. 본 발명의 일 실시예에서 컨텐츠 신뢰도의 유의성은 서버에 저장된 다른 컨텐츠 집단의 신뢰도 값의 분포를 고려하여 결정된다. 유의성 판단의 기준이 되는 다른 컨텐츠 집단은, 유의한 신뢰도를 가지는 컨텐츠 전체일 수 있다. 또한, 컨텐츠 게시자가 동일한 컨텐츠 집단 또는 동일한 주제를 가지는 컨텐츠 집단 등으로 한정된 집단 내에서 컨텐츠 신뢰도의 유의성을 판단하는 것도 가능하다.
본 발명의 일 실시예에서, 컨텐츠에 대한 신뢰도 평가에 관한 통계는 정규분 포의 형태를 가질 수 있다. 이 경우, 정규분포의 평균치에서 지나치게 멀리 위치한 컨텐츠의 신뢰도는 편향된 평가를 하는 집단에 의해 조작된 결과 또는 너무나도 당연한 것에 대한 무의미한 평가일 가능성이 있으므로 사용자 신뢰도 변경의 기초로서 활용되는 것이 부적절 할 수 있다.
게시자의 신뢰도를 갱신하는 단계(S270)는 사용자 신뢰도 갱신부(136)가 컨텐츠 신뢰도에 기초하여 컨텐츠 게시자의 신뢰도를 갱신하는 단계이다.
본 발명의 일 실시예에서, 컨텐츠 게시자의 신뢰도는 통계적으로 유의한 신뢰도를 가진 것으로 판단된 컨텐츠들의 신뢰도, 컨텐츠 평가자 수 및 컨텐츠 평가종료 시점 등에 기초하여 갱신될 수 있다. 참여 컨텐츠 평가자 수 및 컨텐츠 평가종료 시점을 가중치로 고려하여 각 컨텐츠의 신뢰도가 합산될 수 있으며, 이렇게 합산된 값이 컨텐츠 게시자 신뢰도 변경의 기준값이 된다. 컨텐츠 평가자 수를 가중치로 고려하는 경우에는 상대적으로 많은 수의 평가자가 참여한 평가결과는 상대적으로 적은 수의 평가자가 참여한 평가결과에 비하여 더 큰 영향을 미칠 수 있다. 또한, 컨텐츠 평가종료 시점을 가중치로 고려하는 경우에는, 마치 반감기가 적용되는 경우와 같이, 상대적으로 오래된 컨텐츠에 대한 평가점수가 더 작은 영향력을 갖도록 하거나, 소정기간 동안의 평가점수만을 고려하여 컨텐츠 게시자의 신뢰도에 반영할 수 있다. 컨텐츠 평가자수와 컨텐츠 종료시점을 고려하지 않는 경우에는 각 컨텐츠 신뢰도의 평균값이 컨텐츠 게시자 신뢰도 변경의 기준값이 될 수 있다. 이러한 기준값으로 컨텐츠 게시자의 신뢰도를 갱신하는 과정에는 선형 또는 비선형적인 척도변환 함수가 사용될 수 있다. 척도변환 함수는 이 기준값을 로그스케일로 변환하거나 정규화 하는 기능을 수행할 수 있다.
평가자의 신뢰도를 갱신하는 단계(S280)는 사용자 신뢰도 갱신부(136)가 컨텐츠 신뢰도에 기초하여 컨텐츠 평가자의 신뢰도를 갱신하는 단계이다.
본 발명의 일 실시예에서, 컨텐츠 평가자의 신뢰도는 컨텐츠 평가자가 수행한 평가의 정확도를 기초로 하여 변경될 수 있다. 평가의 정확도는 해당 컨텐츠에 대한 신뢰도 평가결과와 평가자가 해당 컨텐츠에 부여한 평가점수가 근접하는 정도로서 표현될 수 있다. 양자간의 근접도는 통계적인 분석에 의하여 계산될 수 있다. 컨텐츠 신뢰도 평가결과에 근접하는 평가자의 평가점수는 평가자의 신뢰도에 긍정적인 영향을 미친다. 따라서, 모든 컨텐츠에 대하여 최상 또는 최하의 평가점수만을 부여하거나, 모든 컨텐츠에 대하여 동일한 평가만을 반복하는 극단적인 컨텐츠 평가자들은 평가를 반복함에 따라서 신뢰도가 점차 낮아질 수 있다. 컨텐츠 평가유형에 따른 컨텐츠 평가자의 신뢰도 갱신은 도4의 상세한 설명을 참조하여 이해될 수 있다.
평가자의 신뢰도는 연속적으로 변화 가능한 수치의 형태로서 저장될 수 있으며, 평가자의 신뢰도가 수치화 되는 과정에서는 선형 또는 비선형적인 척도변환 함수가 사용될 수 있다. 또한, 경우에 따라서는 소정의 기준을 만족하는 사용자들에 대하여는 동일한 신뢰도 등급을 부여하는 방법이 고려된다.
본 발명의 일 실시예에서, 사용자는 컨텐츠 게시자 또는 컨텐츠 평가자가 될 수 있다. 사용자가 컨텐츠 게시자인 경우와 컨텐츠 평가자인 경우에 있어서 갱신방법은 달라질 수 있으나, 갱신의 대상은 사용자 정보 데이터베이스(141)에 저장된 각 사용자의 신뢰도로서 동일할 수 있다. 사용자의 신뢰도를 갱신하는 두 가지 단계(S270, S280)를 통해 각 사용자의 신뢰도를 갱신하는 경우에는, 평가를 반복함에 따라, 사용자 상호간에 재귀적인 평가가 이루어 질 수 있다.
본 발명의 일 실시예에서, 컨텐츠에 대한 평가가 종료시점에 도달한 것과 계산된 컨텐츠 신뢰도가 통계적으로 유의한 것은 사용자 신뢰도 변경단계(S270, S280)가 수행되기 위한 전제조건이 된다. 그러나, 본 발명의 다른 실시예에서는 이러한 전제조건이 생략될 수 있다.
도3은 본 발명의 일 실시예에 따른 척도변환 함수들을 나타낸 도면이다. 앞서 언급한 바와 같이, 컨텐츠 신뢰도를 계산하는 단계(S230) 및 사용자의 신뢰도를 갱신하는 단계(S270, S280)에서는 각 신뢰도 값을 계산, 갱신하는 기준값이 산출된다. 이러한 기준값은 척도변환 함수를 통하여 컨텐츠 신뢰도의 계산 및 사용자 신뢰도의 갱신의 기초로 활용된다. 또한, 평가자 및 컨텐츠 게시자의 신뢰도를 평가하는 과정에서도 척도변환 함수가 사용될 수 있다.
도3의 (a)를 참조하면 계단형태의 척도변환 함수가 예시된다. 이러한 형태의 척도변환 함수는 일정한 범위의 기준값들을 동일한 척도변환 값으로 변환하므로, 신뢰도를 등급제로 운용하는 데 사용될 수 있다. 도3의 (b) 및 (c)를 참조하면 일정한 최대값 또는 최소값을 가지는 비선형 척도변환 함수가 예시된다. 척도변환을 통하여 부여되는 일정한 최대값 또는 최소값은 극단적으로 크거나 작은 신뢰도를 가지는 사용자들에 의하여 컨텐츠 신뢰도 평가결과가 왜곡되는 현상을 예방할 수 있다. 척도변환 함수는 전체 컨텐츠 신뢰도 평가방법을 수행하는 과정에서 필요에 따라 달라질 수 있다.
도4는 본 발명의 일 실시예에 따른 컨텐츠 신뢰도 계산 결과를 예시한 도면이다. 도4의 (a)를 참조하면, 컨텐츠 평가유형이 찬반투표인 경우의 컨텐츠 신뢰도 계산과정이 예시된다. 컨텐츠 평가자의 찬성투표는 2의 평가점수를 가지고, 반대투표는 -2의 평가점수를 가지는 것으로 가정한다. 컨텐츠 평가자의 신뢰도를 가중치로서 반영한 신뢰도 반영점수는 신뢰도와 찬반여부에 따른 평가점수의 곱의 형태로 나타난다. 평가자 A의 경우를 살펴보면 신뢰도 100을 가지고 평가점수 2인 찬성에 투표하였으므로 신뢰도가 반영된 평가점수는 200이 된다. 이 신뢰도 반영점수는 척도변환에 의하여 0.751244의 값으로 변환된다. 다섯 사용자의 척도변환된 신뢰도 반영 점수 값을 평균함으로써 28%의 컨텐츠 신뢰도가 얻어진다. 28%의 컨텐츠 신뢰도는 즉, 28%의 찬성을 의미하는바 이는 찬성보다 반대에 가까운 결과이다. 이 경우, 평가자의 신뢰도를 갱신하는 단계(S280)에 의하여, 찬성투표를 한 컨텐츠 평가자에 대하여는 그 신뢰도의 부정적인 갱신이 이루어지고 반대투표를 한 컨텐츠 평가자에게는 긍정적인 신뢰도 갱신이 이루어진다.
도4의 (b)를 참조하면, 컨텐츠 평가유형이 평점부여인 경우의 컨텐츠 신뢰도 계산과정이 예시된다. 컨텐츠 평가자는 최고점인 5점과 최하점인 1점 사이의 점수를 선택한다. 계산과정에 있어서, 1에서 5사이의 선택 점수는 -2에서 2의 범위를 갖는 평가점수로 변환된다. 따라서, 중립적인 선택점수 3점은 평가점수 0으로, 최대 선택점수인 5점은 평가점수 2점으로 변환된다. 따라서 컨텐츠 평가자 C의 경우를 살펴보면, C의 신뢰도인 50에 평가점수 1점(C의 선택점수에 3을 뺀 값)을 곱하 면, 신뢰도 반영점수가 50으로 계산된다. 이 신뢰도 반영점수는 척도변환에 의하여 0.52381의 값으로 변환되고, 다른 사용자들의 그것과 합산되어 47%의 컨텐츠 신뢰도로 귀결된다.
도4의 (c)를 참조하면, 컨텐츠 평가유형이 온라인 설문조사인 경우의 컨텐츠 신뢰도 계산과정이 예시된다. 본 발명의 일 실시예에서, 컨텐츠 평가자는 주어진 '가'부터 '라'의 4가지의 응답 중에서 하나를 선택하게 된다. 컨텐츠 평가자의 신뢰도는 각 응답 별로 합산되어 응답신뢰도의 기초가 된다. 응답'나'의 경우, 평가자 신뢰도의 합은 B 및 E의 신뢰도 값이 더해진 510이 된다. 응답 신뢰도는 전체 응답자의 신뢰도의 총합에서 각 응답의 평가자 신뢰도 합이 차지하는 비율이 된다. 응답 '나'의 신뢰도는 그 응답을 선택한 평가자 신뢰도 합인 510을 평가자 신뢰도의 총합인 1561로 나누어 계산되며, 약 32.671%의 응답 신뢰도로 귀결된다.
도4에서는 컨텐츠 평가자의 평가점수에 기초한 컨텐츠의 신뢰도 평가과정이 예시되었다. 컨텐츠 게시자의 신뢰도 역시 컨텐츠의 신뢰도 평가과정에서 고려될 수 있고, 컨텐츠 게시자에 관한 추가정보가 요구될 수 있다는 점은 앞서 언급되었다.
도5는 본 발명의 일 실시예에 따른 컨텐츠 평가자의 컨텐츠에 대한 평가점수 분포를 예시한 도면이다. 도5를 참조하면, 상대적으로 낮은 평가점수를 부여한 컨텐츠 평가자들의 평가점수 분포(510)와 상대적으로 높은 점수를 부여한 컨텐츠 평가자들의 평가점수 분포(520)가 보여진다.
본 발명의 일 실시예에서, 상대적으로 높은 평가점수 분포(520)을 따르는 경 우에는 컨텐츠의 신뢰도 평가결과 값은 μ2이 되고, σ2의 표준편차를 가진다. μ2에 근접하는 평가점수를 부여한 컨텐츠 평가자에게는 정확한 평가에 대한 보상으로서 신뢰도의 긍정적인 변화가 부여될 수 있다. 반면에, μ2에서 σ2의 일정배수 이상 떨어진 평가점수를 부여한 컨텐츠 평가자는 부정확한 평가를 내린 것으로 판단되어 그 신뢰도에 부정적인 영향을 받을 수 있다.
두 가지 형태의 분포(510, 520)가 혼합된 형태의 평가점수 분포가 나타날 수 있다. 이 경우 컨텐츠의 전체 신뢰도 평가결과는 μ1과 μ2사이의 값이 될 것이다. 이 경우 평가의 정확도를 계산함에 있어서 전체 컨텐츠 신뢰도 평가점수인 μ1과 μ2사이의 값이 기준이 될 수 있다. 평가점수의 분포 형태에 따라서. μ1 또는 μ2가 평가자 정확도 산정의 기준이 될 수 있다. 이 경우 μ1보다 지나치게 낮은 평가점수를 부여한 사용자 또는 μ2보다 지나치게 높은 평가점수를 부여한 사용자에 대해서만 신뢰도상의 불이익을 부여하는 것이 고려대상이다.
한편, 상술한 컨텐츠 신뢰도 평가방법은 컴퓨터 프로그램으로 작성 가능하다. 상기 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터에 의하여 읽혀지고 실행됨으로써 컨텐츠 신뢰도 평가방법 구현한다. 상기 정보저장매체는 자기 기록매체, 광 기록매체, 및 캐리어 웨이브 매체를 포함한다.
이제까지 본 발명에 대하여 그 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특 성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
상술한 바와 같이 본 발명의 실시예에 따르면, 컨텐츠의 신뢰도를 평가하는 과정에서 평가자의 신뢰도를 고려함으로써 향상된 컨텐츠 신뢰도 평가방법을 제공한다. 이와 같이 향상된 컨텐츠 신뢰도 평가방법은 온라인 상의 검색엔진의 성능을 개선하는 데 사용될 수 있다.
또한, 컨텐츠의 신뢰도 평가결과를 컨텐츠 평가자 및 컨텐츠 게시자의 신뢰도에 반영함으로써 재귀적인 사용자 신뢰도 평가 시스템이 구현된다. 이를 통해 특정한 그룹에 속하는 사용자에 의하여 컨텐츠 신뢰도가 왜곡되는 것을 막을 수 있고, 이에 부수하는 효과로서 이른바 스팸(spam)성 게시물을 차단하는 효과를 거둘 수 있다.

Claims (14)

  1. 신뢰도 평가 서버에 의해 수행되는 컨텐츠 신뢰도 평가 방법에 있어서,
    a) 컨텐츠에 대한 컨텐츠 평가자의 평가행위 정보를 획득하는 단계;
    b) 신뢰도 저장 데이터베이스로부터 상기 컨텐츠 평가자의 신뢰도를 획득하는 단계; 및
    c) 상기 컨텐츠 평가자의 신뢰도 및 상기 평가행위 정보에 기초하여 컨텐츠 신뢰도를 계산하는 단계를 포함하는 컨텐츠 신뢰도 평가 방법.
  2. 제1항에 있어서,
    상기 평가행위 정보는 상기 컨텐츠에 대한 평가 점수를 포함하고,
    상기 c)단계에서 상기 컨텐츠 신뢰도는 상기 컨텐츠 평가자의 신뢰도가 가중치로서 반영되어 계산되는 컨텐츠 신뢰도 평가 방법.
  3. 제1항에 있어서,
    d) 상기 컨텐츠 신뢰도에 기초하여 상기 컨텐츠를 게시한 컨텐츠 게시자의 신뢰도를 갱신하는 단계를 더 포함하는 컨텐츠 신뢰도 평가 방법.
  4. 제3항에 있어서,
    상기 d) 단계는 소정의 기준에 따라, 상기 컨텐츠 신뢰도가 유의(有意)한 것 으로 판단되는 경우에 상기 컨텐츠 게시자의 신뢰도를 갱신하는 것을 특징으로 하는 컨텐츠 신뢰도 평가 방법.
  5. 제3항에 있어서,
    상기 d) 단계는 상기 컨텐츠 게시자가 지정한 평가종료시점 또는 소정의 기준에 의하여 계산된 평가종료시점 이후에 수행되는 컨텐츠 신뢰도 평가 방법
  6. 제3항에 있어서,
    e) 상기 컨텐츠 신뢰도 및 상기 평가행위 정보를 기초로 하여 상기 컨텐츠 평가자의 신뢰도를 갱신하는 단계를 더 포함하는 컨텐츠 신뢰도 평가 방법.
  7. 제1항에 있어서,
    e) 상기 컨텐츠 신뢰도 및 상기 평가행위 정보를 기초로 하여 상기 컨텐츠 평가자의 신뢰도를 갱신하는 단계를 더 포함하는 컨텐츠 신뢰도 평가 방법.
  8. 제1항에 있어서,
    f) 상기 평가된 컨텐츠 신뢰도를 온라인상의 사용자에게 제공하는 단계를 더 포함하고,
    상기 f)단계는 소정의 기준에 따라 계산된 최소 컨텐츠 평가자 수에 도달한 이후에 수행되는 것을 특징으로 하는 컨텐츠 신뢰도 평가 방법.
  9. 온라인 상의 컨텐츠 평가자로부터 컨텐츠에 대한 상기 컨텐츠 평가자의 평가행위 정보를 획득하는 컨텐츠 정보 획득부;
    신뢰도 저장 데이터베이스로부터 상기 컨텐츠 평가자의 신뢰도를 획득하는 사용자 정보 획득부; 및
    상기 컨텐츠 평가자의 신뢰도 및 상기 평가행위 정보에 기초하여 상기 컨텐츠의 컨텐츠 신뢰도를 평가하는 컨텐츠 신뢰도 계산부를 포함하는 컨텐츠 신뢰도 평가 장치.
  10. 제9항에 있어서,
    상기 컨텐츠 평가자의 평가행위 정보는 상기 컨텐츠에 대한 평가 점수를 포함하고,
    상기 컨텐츠 신뢰도 계산부는 상기 컨텐츠 평가자의 신뢰도를 가중치로서 반영한 상기 평가점수의 총합에 기초하여 컨텐츠 신뢰도를 계산하는 것을 특징으로 하는 컨텐츠 신뢰도 평가 장치.
  11. 제9항에 있어서,
    상기 컨텐츠 신뢰도에 기초하여 상기 컨텐츠 게시자 또는 상기 컨텐츠 평가자를 포함하는 사용자의 신뢰도를 갱신하는 사용자 신뢰도 갱신부를 더 포함하는 컨텐츠 신뢰도 평가 장치.
  12. 제11항에 있어서,
    상기 컨텐츠 신뢰도가 유의(有意)한 것으로 판단되는 경우에 한하여, 상기 사용자 신뢰도 갱신부를 활성화시키는 컨텐츠 신뢰도 유의성 판단부를 더 포함하는 컨텐츠 신뢰도 평가 장치.
  13. 제11항에 있어서,
    평가종료시점에 도달한 경우에 한하여, 상기 사용자 신뢰도 갱신부를 활성화시키는 평가종료시점 판단부를 더 포함하는 컨텐츠 신뢰도 평가 장치.
  14. 제1항 내지 제8항 중 어느 한 항의 방법을 컴퓨터에서 실행하기 위한 프로그램을 기록하는 컴퓨터 판독 가능한 기록매체.
KR1020070016204A 2007-02-15 2007-02-15 평가자의 신뢰도에 기초한 컨텐츠 신뢰도 평가 시스템 및그 방법 KR100887253B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020070016204A KR100887253B1 (ko) 2007-02-15 2007-02-15 평가자의 신뢰도에 기초한 컨텐츠 신뢰도 평가 시스템 및그 방법
US12/032,092 US20080201373A1 (en) 2007-02-15 2008-02-15 Evaluator credibility based content credibility evaluation apparatus and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070016204A KR100887253B1 (ko) 2007-02-15 2007-02-15 평가자의 신뢰도에 기초한 컨텐츠 신뢰도 평가 시스템 및그 방법

Publications (2)

Publication Number Publication Date
KR20090000286A true KR20090000286A (ko) 2009-01-07
KR100887253B1 KR100887253B1 (ko) 2009-03-10

Family

ID=39707553

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070016204A KR100887253B1 (ko) 2007-02-15 2007-02-15 평가자의 신뢰도에 기초한 컨텐츠 신뢰도 평가 시스템 및그 방법

Country Status (2)

Country Link
US (1) US20080201373A1 (ko)
KR (1) KR100887253B1 (ko)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101512618B1 (ko) * 2014-11-25 2015-04-16 이동인 행정 및 의정 평가 방법 및 시스템
WO2016089179A1 (en) * 2014-12-05 2016-06-09 Novavin, Inc. Content evaluation method and server in network environment
WO2017074467A1 (en) * 2015-10-30 2017-05-04 Intuit Inc. Automatically modifying computer parameters as an incentive for complying with data policies
WO2018200406A1 (en) * 2017-04-24 2018-11-01 Harris Demetre Managing content using implicit weighted ratings
KR101946814B1 (ko) * 2017-10-20 2019-02-12 윤선희 지리정보 기반 소셜 스토리 공유 장치
CN110471898A (zh) * 2019-08-22 2019-11-19 长江师范学院 一种信息信用管理方法与数字新闻可追溯发布方法
KR20200043347A (ko) * 2020-04-16 2020-04-27 리더스가이드 주식회사 집단 지능을 이용한 상품 검증 방법, 서버, 프로그램 및 컴퓨터 판독 가능한 기록 매체
US10715384B2 (en) 2015-10-30 2020-07-14 Intuit Inc. Automatically modifying computer parameters as an incentive for complying with data policies
KR102179104B1 (ko) * 2019-11-12 2020-11-16 주식회사 씨앤디랩 빅데이터 기반의 반려동물 맞춤형 서비스 정보 제공 시스템
KR20210040118A (ko) 2018-08-10 2021-04-12 카와사키 주코교 카부시키 카이샤 중개 장치 및 중개 방법

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8176057B2 (en) * 2009-04-01 2012-05-08 Korea Institute Of Science And Technology Assessment of a user reputation and a content reliability
CN102999490A (zh) * 2011-09-08 2013-03-27 北京无限讯奇信息技术有限公司 商户文档权重评价方法
WO2014210598A1 (en) * 2013-06-28 2014-12-31 1World Online, Inc. Polling questions served with supplemental information
US9665665B2 (en) 2013-08-20 2017-05-30 International Business Machines Corporation Visualization credibility score
US20200050527A1 (en) * 2013-09-05 2020-02-13 Colleen Pettit Jones Content analysis and scoring system and method
CN104636947A (zh) * 2013-11-13 2015-05-20 同济大学 一种物联网中推荐信息置信度的计算方法
WO2015105270A1 (ko) * 2014-01-10 2015-07-16 에스케이플래닛 주식회사 사용자 장치, 그 제어 방법 및 그를 포함하는 감성 평가 시스템
US9432395B2 (en) * 2014-04-28 2016-08-30 Quixey, Inc. Application spam detector
US10095797B2 (en) * 2014-10-03 2018-10-09 Salesforce.Com, Inc. Suggesting actions for evaluating user performance in an enterprise social network
KR101746287B1 (ko) * 2015-10-14 2017-06-13 동국대학교 경주캠퍼스 산학협력단 실감미디어 평가 방법 및 이를 이용한 실감 평가 시스템
CN106127404B (zh) * 2016-06-30 2022-05-31 联想(北京)有限公司 一种评价方法、电子设备及电子装置
CN113785317A (zh) * 2019-02-21 2021-12-10 科氏工业公司 使用因领域而异的建模来进行反馈挖掘

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI20000715A (fi) * 2000-03-28 2001-09-29 Creativesco Oy Ryhmätyömenetelmä ja -järjestelmä
KR20040008065A (ko) * 2002-07-15 2004-01-28 (주)모빌닉 Ｖｍ기반의 무선 인터넷 콘텐츠에 대한 정보를 제공하는방법
US7801738B2 (en) * 2004-05-10 2010-09-21 Google Inc. System and method for rating documents comprising an image
KR20050112882A (ko) * 2004-05-28 2005-12-01 엔에이치엔(주) 신뢰성 있는 컨텐츠를 제공하는 컨텐츠 검색 시스템 및 그방법
US7519562B1 (en) * 2005-03-31 2009-04-14 Amazon Technologies, Inc. Automatic identification of unreliable user ratings
KR100952391B1 (ko) * 2005-04-14 2010-04-14 에스케이커뮤니케이션즈 주식회사 인터넷 네트워크에서 콘텐츠의 평가에 따른 가치 분석시스템, 방법 및 이를 구현할 수 있는 컴퓨터로 읽을 수있는 기록 매체

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101512618B1 (ko) * 2014-11-25 2015-04-16 이동인 행정 및 의정 평가 방법 및 시스템
WO2016089179A1 (en) * 2014-12-05 2016-06-09 Novavin, Inc. Content evaluation method and server in network environment
US10552503B2 (en) 2014-12-05 2020-02-04 Jong Yoon Chun Content evaluation method and server in network environment
WO2017074467A1 (en) * 2015-10-30 2017-05-04 Intuit Inc. Automatically modifying computer parameters as an incentive for complying with data policies
US10715384B2 (en) 2015-10-30 2020-07-14 Intuit Inc. Automatically modifying computer parameters as an incentive for complying with data policies
WO2018200406A1 (en) * 2017-04-24 2018-11-01 Harris Demetre Managing content using implicit weighted ratings
KR101946814B1 (ko) * 2017-10-20 2019-02-12 윤선희 지리정보 기반 소셜 스토리 공유 장치
KR20210040118A (ko) 2018-08-10 2021-04-12 카와사키 주코교 카부시키 카이샤 중개 장치 및 중개 방법
CN110471898A (zh) * 2019-08-22 2019-11-19 长江师范学院 一种信息信用管理方法与数字新闻可追溯发布方法
KR102179104B1 (ko) * 2019-11-12 2020-11-16 주식회사 씨앤디랩 빅데이터 기반의 반려동물 맞춤형 서비스 정보 제공 시스템
KR20200043347A (ko) * 2020-04-16 2020-04-27 리더스가이드 주식회사 집단 지능을 이용한 상품 검증 방법, 서버, 프로그램 및 컴퓨터 판독 가능한 기록 매체

Also Published As

Publication number Publication date
US20080201373A1 (en) 2008-08-21
KR100887253B1 (ko) 2009-03-10

Similar Documents

Publication Publication Date Title
KR100887253B1 (ko) 평가자의 신뢰도에 기초한 컨텐츠 신뢰도 평가 시스템 및그 방법
US11659050B2 (en) Discovering signature of electronic social networks
US20230351182A1 (en) Systems and processes for bias removal in a predictive performance model
US8768759B2 (en) Advertising based on influence
First et al. Exploring the relationship between environmental orientation and brand value: is there fire or only smoke?
Ripolles Meliá et al. The influence of innovation orientation on the internationalisation of SMEs in the service sector
US9378287B2 (en) Enhanced search system and method based on entity ranking
US8794971B2 (en) Method and system for assigning a task to be processed by a crowdsourcing platform
US20150293924A1 (en) User Validation In A Social Network
CN109635206B (zh) 融合隐式反馈和用户社会地位的个性化推荐方法及系统
US10402465B1 (en) Content authority ranking using browsing behavior
US11151418B2 (en) Interactive modeling application adapted for execution via distributed computer-based systems
Decancq et al. Wellbeing inequality and preference heterogeneity
US20120173250A1 (en) Behavior based loyalty system to deliver personalized benefits
Saleem et al. Personalized decision-strategy based web service selection using a learning-to-rank algorithm
CN113742492A (zh) 保险方案生成方法、装置、电子设备及存储介质
Rostamzadeh et al. An application of a hybrid MCDM method for the evaluation of entrepreneurial intensity among the SMEs: a case study
Hemming et al. Improving expert forecasts in reliability: Application and evidence for structured elicitation protocols
US20140222700A1 (en) Predictive pairing and/or matching systems, apparatus, and methods
WO2023205713A2 (en) Systems and methods for improved user experience participant selection
US20170032323A1 (en) Estimating effects of courses
Cheung et al. A study of clients' and estimators' tolerance towards estimating errors
Zupancic et al. TACO: a novel method for trust rating subjectivity elimination based on Trust Attitudes COmparison
Faltings et al. Peer truth serum: incentives for crowdsourcing measurements and opinions
Carnehl et al. Pricing for the Stars

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee