KR101005510B1 - 블로그 문서의 순위 부여 - Google Patents

블로그 문서의 순위 부여 Download PDF

Info

Publication number
KR101005510B1
KR101005510B1 KR1020087008671A KR20087008671A KR101005510B1 KR 101005510 B1 KR101005510 B1 KR 101005510B1 KR 1020087008671 A KR1020087008671 A KR 1020087008671A KR 20087008671 A KR20087008671 A KR 20087008671A KR 101005510 B1 KR101005510 B1 KR 101005510B1
Authority
KR
South Korea
Prior art keywords
blog
document
score
quality
blog document
Prior art date
Application number
KR1020087008671A
Other languages
English (en)
Other versions
KR20080044915A (ko
Inventor
앤드리 바이흔
제이슨 골드먼
알렉스 케신
비노드 마러
에두아르도 모랄레스
제프 레이나
Original Assignee
구글 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 인코포레이티드 filed Critical 구글 인코포레이티드
Publication of KR20080044915A publication Critical patent/KR20080044915A/ko
Application granted granted Critical
Publication of KR101005510B1 publication Critical patent/KR101005510B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/951Indexing; Web crawling techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9538Presentation of query results

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

블로그 검색 엔진은 검색 질의를 수신할 수 있다. 상기 블로그 검색 엔진은 상기 검색 질의에 응답하여 블로그 문서의 그룹에 대한 스코어를 결정할 수 있으며, 상기 스코어는 상기 검색 질의에 대한 블로그 문서의 그룹의 관련도 및 블로그 문서의 그룹의 품질에 기초한다. 상기 블로그 검색 엔진은 또한 상기 결정된 스코어에 기초하여 상기 블로그 문서의 그룹에 관한 정보를 제공할 수 있다.

Description

블로그 문서의 순위 부여 {RANKING BLOG DOCUMENTS}
본 발명의 원리와 동일한 실시예들은 일반적으로 정보 검색에 관한 것이고, 더욱 구체적으로, 검색 질의에 응답하여 순위가 부여된 블로그 문서(blog document)의 세트를 제공하는 것에 관한 것이다.
월드와이드웹(World Wide Web, 이하 "웹(web)"이라 한다)은 엄청난 양의 정보를 포함하고 있다. 하지만 정보의 원하는 부분을 찾아내는 것은 도전일 수 있다. 웹상의 정보의 양과 웹 검색의 경험이 없는 새로운 사용자의 수가 급격하게 증가하고 있기 때문에, 이 문제는 더욱 심해지고 있다.
검색 엔진은 사용자가 관심을 갖는 웹 페이지에 대한 하이퍼링크(hyperlink)의 회신(return)을 시도한다. 일반적으로, 검색 엔진은 사용자에 의해 입력된 (검색 질의라고 하는) 검색어에 대한 사용자의 관심을 자신의 결정에 기초로 한다. 검색 엔진의 목적은 검색 질의에 기초하여 고품질의 관련 결과(예컨대, 웹 페이지)에 대한 링크를 사용자에게 제공하는 것이다. 일반적으로, 검색 엔진은 검색 질의 내의 용어를 미리 저장된 웹 페이지들의 코퍼스(corpus)와 대조함으로써 상기한 목적을 달성한다. 사용자의 검색어를 포함하는 웹 페이지는 식별된 검색 결과이고 사용자에게 링크로서 회신된다.
지난 수년간, 블로그라고 하는 새로 매체가 웹상에 나타났다. 블로그(약칭하여 웹로그(web log))는, 일반적으로 포스트(post)라고 하는 새로운 저널 엔트리(journal entry)로 빈번히 갱신되는 개인의 사고(personal thoughts)에 대한 공개물이다. 블로그의 컨텐츠 및 품질과 이들의 포스트는 블로그 작가의 목적에 따라 매우 달라질 수 있다. 블로깅(blogging)이 대중화될 수록 양질의 블로그 검색 결과를 제공하는 능력이 더 중요해진다.
본 발명의 원리와 일치하는 일 실시예에 따른 방법은, 블로그 검색 엔진에서 검색 질의를 수신하는 단계, 상기 검색 질의에 응답하여 블로그 문서를 검색하는 단계, 상기 검색 질의에 대한 상기 블로그 문서의 관련도(relevance)에 기초하여 상기 블로그 문서에 대한 제1 스코어를 결정하는 단계, 상기 블로그 문서의 품질에 기초하여 상기 제1 스코어를 변경하는 단계, 및 상기 변경된 제1 스코어에 기초하여 상기 블로그 문서에 관한 정보를 제공하는 단계를 포함할 수 있다.
본 발명의 원리와 일치하는 다른 실시예에서의 컴퓨터로 구현되는 방법은, 블로그 문서를 취득하는 단계, 상기 블로그 문서의 품질에 대한 긍정적인 지표(positive indicator)들 또는 상기 블로그 문서의 품질에 대한 부정적인 지표(negative indicator)들 중 적어도 하나를 식별하는 단계, 및 상기 식별된 긍정적인 식별자들 또는 부정적인 식별자들 중 적어도 하나에 기초하여 상기 블로그 문서에 대한 품질 스코어를 결정하는 단계를 포함한다.
본 발명의 원리와 일치하는 또 다른 실시예에서의 방법은, 블로그 검색 엔진에서 검색 질의를 수신하는 단계, 상기 검색 질의에 응답하여, 한 그룹의 블로그 문서들에 대해 상기 검색 질의에 대한 상기 그룹의 블로그 문서들의 관련도 및 상기 그룹의 블로그 문서들의 품질에 기초하는 스코어를 결정하는 단계, 및 상기 결정된 스코어에 기초하여 상기 그룹의 블로그 문서들에 관한 정보를 제공하는 단계를 포함할 수 있다.
본 발명의 원리와 일치하는 또 다른 실시예에서의 방법은, 블로그 문서의 품질에 대한 긍정적인 지표들 또는 상기 블로그 문서의 품질에 대한 부정적인 지표들 중 적어도 하나를 식별하며, 상기 식별된 긍정적인 지표들 또는 부정적인 지표들 중 적어도 하나는 블로그 문서들에 특정한 지표를 포함하는 단계, 상기 식별된 긍정적인 지표들 또는 부정적인 지표들 중 적어도 하나에 기초하여 상기 블로그 문서에 대한 품질 스코어를 결정하는 단계, 상기 검색 질의에 대한 상기 블로그 문서의 관련도에 기초하여 상기 블로그 문서에 대한 스코어를 결정하는 단계; 상기 품질 스코어에 기초하여 상기 블로그 문서에 대한 상기 스코어를 조정하는 단계, 및 상기 조정된 스코어에 기초하여 상기 블로그 문서에 관한 정보를 제공하는 단계를 포함할 수 있다.
본 명세서의 포함되어 본 명세서의 일부를 구성하는 첨부도면은 본 발명의 실시예를 나타내며, 상세한 설명과 함께 본 발명을 설명한다.
도 1은 본 발명의 원리와 일치하는 개념을 설명하는 예시적인 도면이다.
도 2는 본 발명의 원리와 일치하는 시스템 및 방법이 구현될 수 있는 네트워 크의 예시적인 도면이다.
도 3은 본 발명의 원리와 일치하는 실시예에서의 클라이언트 또는 서버 엔티티의 예시적인 도면이다.
도 4는, 도 2의 서버에 의해 사용될 수 있는 예시적인 컴퓨터로 판독 가능한 매체의 일부를 나타낸 도면이다.
도 5는 본 발명의 원리와 일치하는 실시예에서 도 2의 서버와 연계될 수 있는 예시적인 데이터베이스이다.
도 6은 본 발명의 원리와 일치하는 실시예에서 블로그 문서에 대한 품질 스코어를 결정하기 위한 예시적인 프로세스의 흐름도이다.
도 7은 본 발명의 원리와 일치하는 실시예에서 검색 결과를 제시하기 위한 예시적인 프로세스의 흐름도이다.
도 8은 본 발명의 원리와 일치하는 실시예에서 검색될 수 있는 예시적인 문서의 세트를 나타낸 도면이다.
이하, 첨부도면을 참조하여 본 발명의 원리와 일치하는 실시예에 대해 상세하게 설명한다. 상이한 도면들에서의 동일한 도면부호는 동일 또는 유사한 구성요소임을 확인할 수 있다. 또한 이하의 상세한 설명은 본 발명의 한정하는 것은 아니다.
개요
본 발명의 원리와 일치하는 시스템 및 방법은 검색 질의에 대한 응답으로 제 공되는 블로그 결과(blog result)에 대한 품질을 개선한다. 블로그 결과에 대한 품질을 개선하기 위해, 다수의 품질 요소(factor)가 블로그 결과의 스코어를 변경(긍정적으로 또는 부정적으로)하기 위해 사용될 수 있다.
도 1은 본 발명의 원리와 일치하는 개념을 설명하는 예시적인 도면이다. 도 1에 나타낸 바와 같이, 검색 질의에 응답하여 블로그(또는 블로그 포스트)의 스코어를 결정하기 위해 두 개의 다른 데이터 세트, 즉 검색 질의 내의 용어들에 대한 블로그(또는 블로그 포스트)의 주제 관련도 및 질의 용어들과는 무관한 블로그(또는 블로그 포스트)의 품질을 사용한다. 블로그(또는 블로그 포스트)의 품질은 블로그(또는 블로그 포스트)의 스코어에 긍정적으로나 부정적으로 영향을 미칠 수 있다.
이하에 사용되는 바와 같이, "블로그 문서(blog document)"라는 구는 블로그, 블로그 포스트, 또는 블로그 및 블로그 포스트 모두를 포함하는 것으로 광의로 해석되어야 한다. 본 명세서에 기재되는 기술은 블로그와 블로그 포스트에 똑같이 적용 가능하다는 것을 이해할 것이다. "문서(document)"라는 용어는 여기에서 사용되는 경우, 임의의 기계로 판독 가능하고(machine_readable) 기계에 저장 가능한 작업 결과물(machine-storable work product)을 포함하는 것으로 광의로 해석되어야 한다. 문서는, 예를 들면 이메일, 웹 사이트, 파일, 파일들의 조합, 다른 파일에 대한 링크가 삽입된(embedded) 하나 이상의 파일, 뉴스 그룹 포스팅, 블로그 문서, 웹 광고 등을 포함할 수 있다. 인터넷 환경에서, 일반적인 문서는 웹 페이지이다. 웹 페이지는 흔히 텍스트 정보를 포함하고, (메타 정보, 이미지, 하이퍼링 크 등과 같은) 삽입된 정보 및/또는 (자바스크립트 등과 같은) 삽입된 명령어를 포함할 수 있다. "링크(link)"라는 용어가 여기에서 사용되는 경우, 다른 문서나 동일한 문서의 다른 부분으로부터의 어떤 문서에 대한 임의의 참조 및 어떤 문서로부터의 다른 문서나 동일한 문서의 다른 부분에 대한 임의의 참조를 포함하는 것으로 광의로 해석되어야 한다.
예시적인 네트워크 구성
도 2는 본 발명의 원리와 일치하는 시스템 및 방법이 구현될 수 있는 네트워크(200)의 예시적인 도면이다. 네트워크(200)는 네트워크(250)를 통해 다수의 서버(220-240)와 연결된 다수의 클라이언트(210)를 포함할 수 있다. 간결하게, 두 개의 클라이언트(210)와 세 개의 서버(220-240)가 네트워크(250)에 연결되어 있는 것으로 예시하였다. 실제로, 클라언트와 서버는 더 많거나 더 적을 수 있다. 또, 어떤 경우에는 클라이언트가 서버의 기능을 수행할 수 있고, 서버가 클라이언트의 기능을 수행할 수도 있다.
클라이언트(210)는 클라이언트 엔티티들을 포함할 수 있다. 엔티티는 개인용 컴퓨터, 무선 전화, 개인용 휴대 정보 단말기(personal digital assistant, PDA), 랩톱 컴퓨터, 또는 다른 타입의 계산 또는 통신 디바이스, 이들 디바이스 중 어느 하나에서 실행되는 스레드(thread)나 프로세스(process), 및/또는 이들 디바이스 중 어느 하나에 의해 실행 가능한 객체(object)로 규정될 수 있다. 서버(220-240)는 본 발명의 원리와 일치하는 방식으로 문서들을 수집(gather), 처리, 검색, 및/또는 유지하는 서버 엔티티들을 포함할 수 있다.
본 발명의 원리와 일치하는 실시예에서, 서버(220)는 클라이언트(210)에서 사용 가능한 검색 엔진(225)을 포함할 수 있다. 일 실시예에서, 검색 엔진(225)은 블로그 문서들만을 검색하는 블로그 검색 엔진을 포함할 수 있다. 서버(220)는 문서의 코퍼스(corpus)를 크롤링(crawling)하고, 문서를 색인화하며, 저장소(repository)에 문서와 연관된 정보를 저장할 수 있다. 서버(230, 240)는 서버(220)에 의해 크롤링 또는 분석될 수 있는 문서들을 저장하거나 유지할 수 있다.
서버(220-240)는 별개의 엔티티로 도시되어 있지만, 서버(220-240) 중 하나 이상의 서버는 서버(220-240) 중 다른 하나 이상의 서버가 갖는 기능 중 하나 이상을 수행하는 것이 가능할 수 있다. 예를 들면, 서버(220-240) 중 둘 이상이 단일(single) 서버로서 구현될 수도 있다. 또한, 단일 서버(220-240) 중 단 하나의 서버가 둘 이상의 별개의 (그리고 아마도 분산형) 디바이스로서 구현될 수도 있다.
네트워크(250)는 근거리 통신망(LAN, Local Area Network), 광역 통신망(WAN, Wide Area Network), 공중 전화 교환망(PSTN, Pubic Switched Telephone Network)과 같은 전화망, 인트라넷, 인터넷, 또는 네트워크들의 조합을 포함할 수 있다. 클라이언트(210) 및 서버(220-240)는 유선, 무선, 및/또는 광학적 연결을 통해 네트워크(250)에 연결될 수 있다.
예시적인 클라이언트 서버/ 아키텍처
도 3은 하나 이상의 클라이언트(210) 및/또는 서버(220-240)에 대응할 수 있는, 클라이언트 또는 서버 엔티티(이하, "클라이언트/서버 엔티티"라고 한다)의 예시적인 도면이다. 이 클라이언트/서버 엔티티는 버스(310), 프로세서(320), 주 메 모리(330), ROM(Read Only Memory)(340), 스토리지 디바이스(350), 입력 디바이스(360), 출력 디바이스(370), 및 통신 인터페이스(380)를 포함할 수 있다. 버스(310)는 클라이언트/서버 엔티티의 구성요소 사이의 통신을 가능하게 하는 경로를 포함할 수 있다.
프로세서(320)는 명령어를 해석하고 실행할 수 있는, 프로세서, 마이크로프로세서 또는 처리 로직(processing logic)을 포함할 수 있다. 주 메모리(330)는 프로세서(320)에 의한 실행을 위한 정보 및 명령어를 저장하는 RAM(Random Access Memory) 또는 다른 타입의 동적 스토리지 디바이스(dynamic storage device)를 포함할 수 있다. ROM(340)은 프로세서(320)가 사용하는 정적인 정보 및 명령어를 저장하는 ROM 디바이스 또는 다른 타입의 정적 스토리지 디바이스를 포함할 수 있다. 스토리지 디바이스(350)는 자기 기록 매체 및/또는 광학 기록 매체와 그에 대응하는 드라이브를 포함할 수 있다.
입력 디바이스(360)는 키보드, 마우스, 펜, 음성 인식(voice recognition) 장치 및/또는 바이오메트릭(biometric) 장치 등과 같은, 조작자가 클라이언트/서버 엔티티에 정보를 입력할 수 있도록 해주는 장치를 포함할 수 있다. 출력 디바이스(370)는 디스플레이, 프린터, 스피커 등을 포함하는, 조작자에게 정보를 출력하는 장치를 포함할 수 있다. 통신 인터페이스(380)는, 클라이언트/서버 엔티티가 다른 디바이스 및/또는 시스템과 통신할 수 있도록 해주는 임의의 송수신기형(transceiver-like) 장치를 포함할 수 있다. 예를 들면, 통신 인터페이스(380)는 네트워크(240)와 같은 네트워크를 통해 다른 디바이스나 시스템과 통신하는 장 치를 포함할 수 있다.
이하에 상세하게 설명하는 바와 같이, 본 발명의 원리와 일치하는 클라이언트/서버 엔티티는 일정한 문서 처리와 관련된 작업(operation)을 수행할 수 있다. 클라이언트/서버 엔티티는 주 메모리(330)와 같은, 컴퓨터로 판독 가능한 매체 내에 저장된 소프트웨어 명령어를 실행하는 프로세서(320)에 응답하여 이 작업들을 수행할 수 있다. 컴퓨터로 판독 가능한 매체는 물리 또는 논리 메모리 디바이스 및/또는 반송파(carrier wave, 搬送波)로서 규정될 수 있다.
소프트웨어 명령어는 데이터 스토리지 디바이스(350)와 같은, 다른 컴퓨터로 판독 가능한 매체로부터, 또는 통신 인터페이스(380)를 통해 다른 디바이스로부터 주 메모리(330) 내로 판독될 수 있다. 주 메모리(330)에 저장된 소프트웨어 명령어는 프로세서(320)로 하여금 후술하는 프로세스들을 수행하게 할 수 있다. 다르게는, 소프트웨어 명령어 대신에 또는 소프트웨어 명령어와 결합하여 하드와이어링 된 회로(hardwired circuitry)를 사용하여 본 발명의 원리와 일치하는 프로세스들을 실행할 수 있다. 따라서, 본 발명의 원리와 일치하는 실시예들은 하드웨어 회로와 소프트웨어의 어떤 특정 조합으로 한정되는 것은 아니다.
예시적인 컴퓨터로 판독한 매체
도 4는 서버(220)에 의해 사용될 수 있는 예시적인 컴퓨터로 판독 가능한 매체(400)의 일부를 나타낸 도면이다. 일 실시예에서, 컴퓨터로 판독 가능한 매체(400)는 서버(220)의 주 메모리(330)에 대응할 수 있다. 도 4에 나타낸 컴퓨터로 판독 가능한 매체(400)의 일부분은 운영 체제(410) 및 블로그 품질 소프트웨 어(420)를 포함할 수 있다.
운영 체제(410)는 Windows, Unix, 또는 Linux 운영 체제와 같은, 운영 체제 소프트웨어를 포함할 수 있다. 블로그 품질 소프트웨어(420)는 블로그 문서에 관한 데이터를 수신하고, 이 데이터에 기초하여 블로그 문서의 품질 스코어를 결정하는 소프트웨어를 포함할 수 있다. 이하에 더욱 상세하게 설명하는 바와 같이, 이 데이터는 후보 결과물(candidate result)인 블로그 문서의 격하(demotion) 또는 배제(elimination)를 초래할 것인, 블로그 문서의 컨텐츠가 낮은 품질일 가능성을 측정하는 신호들을 포함할 수 있다. 이 데이터는 또한 후보 결과물인 블로그 문서의 격상(promotion)을 초래할 것인, 블로그 문서의 컨텐츠가 고품질/인기있을 가능성을 측정하는 신호들을 포함할 수 있다.
도 5는 본 발명의 원리와 일치하는 실시예에서 서버(220)와 연계될 수 있는 예시적인 데이터베이스(500)이다. 데이터베이스(500)는 서버(220)에, 예를 들면 주 메모리(330) 또는 스토리지 디바이스(350)에 로컬로 저장될 수 있거나, 예를 들면, 어쩌면 원격지일 수 있는, 서버(200)의 외부에 저장될 수 있다. 도시된 바와 같이, 데이터베이스(500)는 다음의 예시적인 필드들, 즉 문서 식별(ID) 필드(510) 및 품질 스코어 필드(520)를 포함할 수 있다. 데이터베이스(500)는 도 5에 나타낸 필드들 외의 다른 필드들을 포함할 수 있음은 물론이다.
문서 ID 필드(510)는 위에서 설명한 바와 같이 블로그 또는 블로그 포스트일 수 있는 블로그 문서를 식별하는 정보를 저장할 수 있다. 이 정보는 고유 식별자(unique identifier)를 포함할 수 있다. 품질 스코어 필드(520)는 문서 ID 필 드(510)에서 식별된 블로그 문서 각각에 대한 품질 스코어를 저장할 수 있다. 데이터베이스(500)는 서버(200)에서 수신된 검색 질의에 응답하여 액세스될 수 있다. 서버(220)는 품질 스코어 필드(520)의 품질 스코어에 기초하여 검색 결과의 세트로부터 블로그 문서(즉, 블로그 및/또는 포스트)를 격상, 격하, 또는 심지어 배제할 수도 있다.
블로그 문서에 대한 품질 스코어 결정
도 6은 본 발명의 원리와 일치하는 실시예에서 블로그 문서에 대한 품질 스코어를 결정하기 위한 예시적인 프로세스의 흐름도이다. 처리는 스코어가 부여되는 블로그 문서에 관한 정보를 취득함으로써 개시될 수 있다(동작 610). 이 정보는 블로그 자체, 포스트, 블로그로부터의 메타데이터(matadata), 및/또는 블로그 문서와 연관된 하나 이상의 피드(feed)를 포함할 수 있다.
블로그 문서의 품질에 관한 긍정적인 지표들을 식별할 수 있다(동작 620). 이러한 지표들은 블로그 문서의 인기도(popularity), 블로그 문서의 상정된 인기도(implied popularity), 블로그롤(blogroll)들 내의 불로그 문서의 존재, 고품질 블로그롤 내의 블로그 문서의 존재, 블로그 문서의 태깅(tagging), 다른 소스에 의한 블로그 문서의 참조, 및 블로그 문서의 페이지 순위(pagerank)를 포함할 수 있다. 또한 다른 지표들이 사용될 수 있는 것은 물론이다.
블로그 문서의 인기도는 블로그 문서의 품질에 대한 긍정적인 표시이다. 개인들이 블로그 문서에 (피드를 통해) 가입할 수 있는 경우에, 다수의 뉴스 수집자 사이트(new aggregator site)(일반적으로 "뉴스 구독자" 또는 "피드 구독자"라고 함)가 존재한다. 이러한 수집자들은 해당 블로그 문서에 얼마나 많은 개인이 가입되어 있는지를 설명하는 정보를 저장한다. 가입자의 수가 많은 블로그 문서는 그 블로그 문서의 품질이 높다는 것을 암시한다. 또한, 가입은 가입된 고유 사용자들을 허가함으로써 또는 가입자들의 고유 인터넷 프로토콜(Internet Protocol, IP)을 필터링함으로써 (스패머들이 자신의 블로그 문서를 "더욱 인기있는 것"으로 만들려고 자신의 블로그 문서에 가입하는 경우에) "가입 스팸(subsciption spam)"에 대비하여 허가될 수 있다
상정된 인기도는 블로그 문서에 대해 식별될 수 있다. 이 상정된 인기도는, 예를 들면 검색 결과에 대한 클릭 스트림(click stream)을 조사함으로써 식별될 수 있다. 예를 들면, 블로그 문서가 결과 세트에 나타났을 때, 어떤 블로그 문서가 다른 블로그 문서들보다 더 많이 클릭되면, 이것은 그 블로그 문서가 인기가 있다는 표시일 수 있으므로, 그 블로그 문서의 품질에 대한 긍정적인 지표이다.
블로그롤들 내의 블로그 문서의 존재는 해당 블로그 문서의 품질에 대한 긍정적인 표시일 수 있다. 블로그 문서들이 흔히 최근의 엔트리(즉, 포스트)들만을 포함하는 것이 아니라, 저자/블로거(blogger)가 관심을 가진 외부 사이트(대개는 다른 블로그)들에 대한 링크를 집중 수집(dense collection)한 것인 "블로그롤"들도 포함하는 것은 물론이다. 블로그 문서에 대한 블로그롤 링크는 그 블로그 문서에 대한 인기도의 표시이므로, 블로그 문서에 대해 수집된 블로그롤 링크들은 그 문서에 대한 인기도의 크기를 추량하기 위해 계수되고 사용될 수 있다.
고품질 블로그롤 내의 블로그 문서의 존재는 해당 블로그 문서의 품질에 대한 긍정적인 표시이다. 고품질 블로그롤은 널리 알려져 있거나 신뢰받는 블로거들에 링크되어 있는 블로그롤이다. 따라서, 블로그 문서에도 링크되는 고품질 블로그롤은 그 블로그 문서의 품질에 대한 긍정적인 지표이다.
마찬가지로, 널리 알려져 있거나 신뢰받는 블로거의 블로그롤 내의 블로그 문서의 존재도 또한 그 블로그 문서의 품질에 대한 긍정적인 표시일 수 있다. 이 상황에서, 널리 알려져 있거나 신뢰받는 블로거는 스패밍(spamming) 블로거에 링크되어 있지 않은 것으로 한다.
블로그 문서의 태깅은 그 블로그 문서의 품질에 대한 긍정적인 표시이다. 기존의 몇몇 사이트는 사용자에게 블로그 문서에 대해 "태그(tag)"들의 추가(즉, "범주화")를 허용한다. 이들 맞춤 범주화(custom categorization)는, 개인이 블로그 문서의 컨텐츠를 평가받았고 그 컨텐츠를 적절히 설명하는 하나 이상의 카테고리를 결정하였다는 지표이며, 그러한 것은 블로그 문서의 품질에 대한 긍정적인 지표이다.
다른 소스들에 의한 블로그 문서의 참조는 그 블로그 문서의 품질에 대한 긍정적인 표시일 수 있다. 예를 들면, 이메일의 내용 또는 채팅 기록(chat transcript)은 블로그 문서의 URL을 포함할 수 있다. 블로그 문서에 대한 참조를 포함하는 이메일 또는 채팅 토의(chat discussion)는 블로그 문서의 품질에 대한 긍정적인 지표이다.
블로그 문서의 페이지 순위는 그 블로그 문서의 품질에 대한 긍정적인 지표일 수 있다. 높은 페이지 순위(일반적인 웹 페이지들에 대해 일반적으로 계산된 신호)는 고품질에 대한 지표이므로, 블로그 문서의 품질에 대한 긍정적인 지표로서 블로그 문서들에 적용될 수 있다. 몇몇 실시예에서, 블로그 문서(예컨대, 포스트)는 페이지 순위와 연관되어 있지 않을 수 있다(예컨대, 포트가 새로운 것일 때). 이러한 상태에서, 새로운 포스트에 대한 독립된 페이지 순위가 결정될 때까지, 새로운 포스트는 연관된 블로그의 페이지 순위를 물려받을 수 있다. 이 물려받은 페이지 순위는 새로운 포스트의 품질에 대한 긍정적인 표시로 이용된다. 블로그 문서의 품질에 관한 부정적인 지표들을 식별할 수 있다(동작 630). 이러한 지표들은 블로그 문서상의 새로운 포스트들의 빈도, 블로그 문서 내의 포스트들의 컨텐츠, 블로그 문서 내의 포스트들의 크기, 블로그 문서의 링크 분포(distribution), 및 블로그 문서 내의 공고의 존재를 포함할 수 있다. 또한 다른 지표들도 사용될 수 있음은 물론이다.
블로그 문서에 새로운 포스트가 추가되는 빈도는 그 블로그 문서의 품질에 대한 부정적인 표시일 수 있다. 피드들은 일반적으로 블로그 문서로부터의 가장 최근의 포스트들만을 포함한다. 스패머들은 종종 일순간에(즉, 단기간 내에 많은 새로운 포스트가 출현) 또는 예측 가능한 기간 내에(10분마다 하나의 포스트, 또는 해당 시각이 지난 후 3시간마다 하나의 포스트) 새로운 포스트들을 생성한다. 이 두 가지 작용(behavior) 모두는 악의와 상관 있고, 스패머 후보를 식별하는데 사용될 수 있다. 따라서, 블로그 문서에 새로운 포스트들이 추가되는 빈도가 예측 가능한 패턴과 일치하는 경우, 이것은 블로그 문서의 품질에 대한 부정적인 표시일 수 있다.
블로그 문서 내의 포스트들의 컨텐츠는 블로그 문서의 품질에 대한 부정적인 표시일 수 있다. 피드는 일반적으로 주어진 블로그 문서로부터의 수개의 포스트에 대한 컨텐츠의 일부 또는 전부를 포함한다. 블로그 문서 자체는 또한 포스트들의 컨텐츠를 포함한다. 스패머들은 검색 결과에서의 자신의 순위를 상승시키기 위해, 피드에 한 가지 버전의 컨텐츠를 넣고, 자신의 블로그 문서에 상이한 버전(예컨대, 관계없는 광고에 대한 링크들)을 넣을 수 있다. 그러므로, 이 (피드와 블로그 문서 간의) 불일치는 블로그 문서의 품질에 대한 부정적인 표시일 수 있다.
또한, 몇몇 경우에, 특정한 컨텐츠는 블로그 문서 내의 다수의 포스트에서 중복될 수 있으며, 그 때문에 다수의 피드가 동일한 컨텐츠를 포함할 수 있다. 이러한 중복은, 피드가 저품질/스팸임을 나타내고, 따라서 블로그 문서의 품질에 대한 부정적인 표시일 수 있다.
블로그 문서의 포스트들에 사용된 단어/구(phrase)도 또한 그 블로그 문서의 품질에 대한 부정적인 표시일 수 있다. 예를 들면, 평가자들이 스팸으로 평가하는 블로그 문서 및 피드의 수집물로부터, 스팸에서 빈번히 나타나는 단어 및 구의 리스트를 추출할 수 있다. 만약 블로그 문서가 이 리스트의 단어나 구를 높은 비율로 포함하면, 이것은 블로그 문서의 품질에 대한 부정적인 표시일 수 있다
블로그 문서 내의 포스트들의 사이즈는 블로그 문서의 품질에 대한 부정적인 표시일 수 있다. 많은 자동화된 포스트 생성기는 동일하거나 매우 유사한 길이를 갖는 다수의 포스트를 생성한다. 그 결과, 포스트 사이즈의 분포는 스팸성(spamminess)에 대한 신뢰할 만한 기준(measure)으로서 사용될 수 있다. 블로그 문서가 동일하거나 매우 유사한 길이를 갖는 다수의 포스트를 포함하는 경우에, 이것은 블로그 문서의 품질에 대한 부정적인 표시일 수 있다.
블로그 문서의 링크 분포는 블로그 문서의 품질에 대한 부정적인 표시일 수 있다. 전술한 바와 같이, 일부 포스트는 특정한 블로그 문서의 페이지 순위를 상승시키기 위해 생성될 수 있다. 몇몇 경우에, 포스트로부터의 또는 블로그 문서로부터의 높은 비율의 모든 링크는, 모두 단일 웹 페이지 또는 단일 외부 사이트 중 어느 하나를 가리킨다. 임의의 단일 외부 사이트에 대한 링크의 수가 임계값을 초과하면, 이것은 블로그 문서의 품질에 대한 부정적인 표시일 수 있다.
블로그 문서 내의 광고의 존재는 그 블로그 문서의 품질에 대한 부정적인 표시일 수 있다. 만약 블로그 문서가 다수의 광고를 포함하며, 이것은 그 블로그 문서의 품질에 대한 부정적인 표시일 수 있다.
또, 블로그 문서는 일반적으로 3가지 타입의 컨텐츠, 즉 최근 포스트들의 컨텐츠, 블로그롤, 및 블로그 메타데이터(예를 들면, 저자 프로파일 정보 및/또는 블로그 문서 또는 그 저자에 관한 다른 정보)를 포함한다. 만약 존재한다면, 광고는 일반적으로 블로그 메타데이터 섹션 또는 블로그롤 근처에 나타난다. 블로그 문서의 최근 포스트 부분 내의 광고의 존재는 그 블로그 문서의 품질에 대한 부정적인 표시일 수 있다.
블로그 문서에 대한 품질 스코어를 이들 지표에 기초하여 결정할 수 있다(동작 640). 예를 들면, 일 실시예에서, 블로그 문서에 대한 품질 스코어는 상이한 지표들에 대해 가중치를 할당하고 품질 스코어를 취득하기 위해 그 가중치들을 결합함으로써 결정될 수 있다. 이 지표들은 임의의 방식으로 결합 및/또는 가중될 수 있다. 예를 들면, 본 발명의 원리와 일치하는 일 실시예에서, 각각의 지표는 양의 값 또는 음의 값이 부여될 수 있다. 이 값들은 블로그 문서에 대한 품질 스코어를 결정하기 위해 서로 가산될 수 있다. 다르게는, 각각의 지표 값은 대응하는 요소(또는 가중치)만큼 승산될 수 있고, 결과값들은 블로그 문서에 대한 품질 스코어를 제공하기 위해 합계될 수 있다. 이와는 달리 품질 스코어를 결정하기 위한 다른 기술이 사용될 수도 있다.
일단 블로그 문서에 대한 품질 스코어가 결정되었으면, 품질 스코어는 그 블로그 문서와 연관될 수 있다. 예를 들면, 품질 스코어는, 데이터베이스(500)와 같은 데이터베이스 내의, 스코어가 결정되어 있는 블로그 문서를 식별하는 정보와 연관될 수 있다. 이렇게 하여, 데이터베이스(500)는 블로그 문서들에 대한 품질 스코어와 같이 있을 수 있다. 품질 스코어는 주기적으로 갱신될 수 있다.
검색 결과 제시
도 7은 검색 결과를 제시하기 위한 예시적인 프로세스의 흐름도이다. 일 실시예에서, 도 7의 처리는 서버(220) 내의 하나 이상의 소프트웨어 및/또는 하드웨어 구성요소에 의해 수행될 수 있다. 다른 실시예에서, 이 처리는 다른 디바이스 또는 서버(220)를 포함하거나 서버(220)와는 분리된 디바이스의 그룹 내의 하나 이상의 소프트웨어 및/또는 하드웨어 구성요소에 의해 수행될 수 있다.
검색 질의 수신함으로써 처리를 개시할 수 있다(동작 710). 예를 들면, 검색 엔진과 연관된 검색 상자 내에 검색 질의를 제공할 수 있다(예컨대, 검색 엔진 인터페이스 또는 애드온 툴바(add-on toolbar)의 검색 상자에 검색 용어를 입력). 웹브라우저(또느 애드온 툴바)는 서버(220)와 연관된 검색 엔진(225)과 같은, 검색 엔진에 검색 질의를 전송할 수 있다.
문서의 세트에 대한 관련도 스코어를 검색 질의에 기초하여 결정할 수 있다(동작 720). 예를 들면, 서버(220)는 문서들에 대한 정보 검색(information retrival, IR) 스코어를 결정할 수 있다. 문서에 대한 정보 검색(IR) 스코어는 검색 질의의 검색 용어들과 문서의 컨텐츠와의 대조에 기초하여 결정될 수 있다. 문서에 대한 정보 검색(IR) 스코어를 결정하는데 사용될 수 있는 다수의 공지 기술이 존재한다. 예를 들면, 정보 검색(IR) 스코어는 문서에서 검색 용어들이 발견되는 횟수에 기초하여 결정될 수 있다. 대안으로 또는 부가적으로, 정보 검색(IR) 스코어는, 문서 내에서 검색 용어들이 발견된 곳(예컨대, 타이틀, 컨텐츠 등) 또는 검색 용어들의 특징(예컨대, 폰트, 크기, 컬러 등)에 기초하여 결정될 수 있다. 대안으로 또는 부가적으로, 다수의 검색 용어가 제공되는 경우에, 하나의 검색 용어는 다른 검색 용어와 상이하게 가중치가 부여될 수 있다. 대안으로 또는 부가적으로, 다수의 검색 용어가 제공되는 경우에, 검색 용어들의 인접도(proximity)는 정보 검색(IR) 스코어에 영향을 미칠 수 있다. 문서에 대한 정보 검색(IR) 스코어를 결정하는 또 다른 기술들이 해당 기술분야의 당업자에게 알려져 있다.
문서들의 품질에 기초하여 문서들에 대한 전체 스코어를 결정할 수 있다(동작 730). 예를 들면 각각의 문서에 대한 정보 검색(IR) 스코어는 전체 스코어를 결정하기 위해 문서의 품질 스코어와 결합될 수 있다. 스코어들의 결합은, 문서들 에 대한 정보 검색(IR) 스코어가 품질 스코어에 기초하여 조정되도록 하여,
전체 스코어를 구하기 위해 스코어를 증가 또는 감소시키거나, 몇몇 경우에는 동일하게 놓아둔다. 다르게는, 정보 검색(IR) 스코어를 생성하지 않고 품질 스코어만에 기초하여 문서에 스코어를 부여할 수 있다. 어쨌든, 품질 스코어를 사용하여 문서에 대한 전체 스코어를 결정할 수 있다.
문서들에 대한 전체 점수에 기초하여 순위가 부여된 문서의 세트를 사용자에게 제공할 수 있다(동작 740). 이렇게 하여, 사용자에게 제공되는 검색 결과를 향상시키는데 문서의 품질을 사용할 수 있다.
다음의 예는 위의 처리를 설명한다. 사용자는 판타지 풋볼(fantasy football)에 관한 블로그에 관심이 있다고 하자. 사용자는 검색 질의 "판타지 풋볼(fantasy football)"을 검색 엔진(225)과 같은, 검색 엔진에 제출할 수 있다. 응답으로, 검색 엔진(225)이 검색 질의에 대한 관련도에 기초하여(예컨대, 정보 검색(IR) 기술을 사용) 블로그 문서의 그룹을 검색한다고 하자.
도 8은 검색 질의에 대한 응답으로 수신된 예시적인 블로그 문서의 세트를 나타낸 도면이다. 나타낸 바와 같이, 검색 엔진(225)은 다음의 관련도(또는 정보 검색(IR)) 스코어를 가지는 다섯 개의 블로그 문서(블로그 문서 1-5)를 검색하였다: 블로그 문서 1은 정보 검색(IR) 스코어가 1.0이고, 블로그 문서 2는 정보 검색(IR) 스코어가 0.9이며, 블로그 문서 3은 정보 검색(IR) 스코어가 0.8이고, 블로그 문서 4는 정보 검색(IR) 스코어가 0.7이며, 블로그 문서 5는 정보 검색(IR) 스 코어가 0.6이다. 설명을 위해, 이 다섯 개의 블로그 문서가 다음의 품질 스코어를 가진다고 하자: 블로그 문서 1은 양의 품질 스코어 0.4를 가지고, 블로그 문서 2는 음의 품질 스코어 -0.4를 가지며, 블로그 문서 3은 양의 품질 스코어 0.8을 가지고, 블로그 문서 4는 양의 품질 스코어 0.3을 가지며, 블로그 문서 5는 양의 품질 스코어 0.3을 가진다.
검색 엔진(225)은 관련도 스코어를 품질 스코어 가산함으로써 블로그 문서에 대한 전체 스코어를 결정할 수 있다. 이 경우에, 블로그 문서 1은 전체 스코어가 1.4이고, 블로그 문서 2는 전체 스코어가 0.5이며, 블로그 문서 3은 전체 스코어가 1.6이고, 블로그 문서 4는 전체 스코어가 1.0이고, 블로그 문서 5는 전체 스코어가 0.9이다. 따라서, 검색 엔진(225)은 블로그 문서 1-5를 다음과 같은 순서로 제공할 수 있다: 블로그 문서 3, 블로그 문서 1, 블로그 문서 4, 블로그 문서 5, 그리고 블로그 문서 2.
도 8의 예로부터 명백한 바와 같이, 블로그 문서의 품질은 그 문서의 순위를 증가 또는 감소시킬 수 있다. 이렇게 하여, 사용자에게 더욱 품질이 높은 결과를 제공한다.
결론
본 발명의 원리와 일치하는 실시예들은 블로그의 품질을 고려함으로써 블로그 검색을 향상시킨다.
본 발명의 바람직한 실시예들에 대한 이상의 설명은, 본 발명에 대한 설명과 예시를 제공하지만, 본 발명을 총망라하거나 개시된 바로 그 형태로 한정하려는 의 도는 아니다. 이상의 교시에 비추어 여러 변경예 및 변형예가 가능하거나, 또는 본 발명의 실시로부터 여러 변경예 및 변형예를 얻을 수 있다.
예를 들면, 도 6 및 도 7과 관련하여 일련의 동작(act)을 설명하였지만, 본 발명의 원리와 일치하는 다른 실시예에서는 이 동작들의 순서가 변경될 수 있다. 또, 비종속적인(non-dependent) 동작들은 병렬로 실행될 수 있다.
이상의 설명은 사용자에 적용된다. "사용자"는 클라이언트(210)(도 2)와 같은 클라이언트, 또는 클라이언트의 운영자를 가리키는 것으로 의도된다.
이상에서 설명한 바와 같이, 본 발명의 측면들이 도면에 예시된 실시예에서 여러 상이한 형태의 소프트웨어, 펌웨어, 및 하드웨어로 구현될 수 있다는 것은 해당 기술분야의 당업자에게 명백할 것이다. 본 발명의 원리와 일치하는 측면들을 구현하는데 이용되는 실제의 소프트웨어 코드 또는 특화된(specialized) 제어 하드웨어는 본 발명을 제한하고 있지 않다. 따라서, 본 발명의 측면들에 대한 동작(operation) 및 작용(behavior)을 특정한 소프트웨어 코드에 대한 언급 없이 설명하였으며, 해당 기술분야의 당업자라면 본 명세서의 상세한 설명에 기초하여 본 발명의 측면들을 구현하기 위한 소프트웨어 및 제어 하드웨어를 설계할 수 있다는 것을 알 것이다.
본 출원의 설명에서 사용된 요소(element), 동작(act), 명령어(instruction)는 결정적이거나 필수적인 것으로 명백히 기술되지 않는 한, 본 발명에서 그러한 것으로 해석되어서는 안 된다. 오직 하나의 아이템이 의도되는 경우, 용어 "하나(one)" 또는 유사한 표현을 사용한다. 또, 구 "...에 기초하여(based on)"는 명 백히 다르게 나타내지 않는 한 "적어도 일부는 ...에 기초하여"를 의미하는 것으로 의도된다.

Claims (36)

  1. 블로그 검색 엔진에 의해 검색 질의를 수신하는 단계;
    상기 검색 질의에 응답하여 블로그 문서를 검색하는 단계;
    상기 검색 질의에 대한 상기 블로그 문서의 관련도(relevance)에 기초하는 제1 관련도 스코어를 상기 블로그 문서에 대해 생성하는 단계;
    상기 검색 질의와는 별개이면서 상기 블로그 문서의 품질에 기초하는 제2 품질 스코어를 상기 블로그 문서에 대해 생성하는 단계;
    상기 제1 관련도 스코어 및 상기 제2 품질 스코어에 기초하여 제3 순위 스코어를 생성하는 단계; 및
    상기 제3 순위 스코어에 기초하여 상기 블로그 문서에 관한 정보를 제공하는 단계
    를 포함하는 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 제2 품질 스코어는 복수의 지표(indicator)에 기초하는, 방법.
  4. 제3항에 있어서,
    상기 복수의 지표는 하나 이상의 긍정적인 지표(positive indicator) 또는 하나 이상의 부정적인 지표(negative indicator) 중 적어도 하나를 포함하는, 방법.
  5. 제4항에 있어서,
    상기 하나 이상의 긍정적인 지표는, 상기 블로그 문서의 인기도(popularity), 상기 블로그 문서와 연관된 태깅(tagging)을 포함하는, 방법.
  6. 제4항에 있어서,
    상기 제2 품질 스코어를 생성하는 단계는, 상기 하나 이상의 긍정적인 지표와 상기 하나 이상의 부정적인 지표를 결합하는 단계를 포함하는, 방법.
  7. 제6항에 있어서,
    상기 제3 순위 스코어를 생성하는 단계는, 상기 제2 품질 스코어에 기초하여 상기 제1 관련도 스코어를 증가 또는 감소시키는 단계를 포함하는, 방법.
  8. 삭제
  9. 블로그 검색 엔진에 의해 검색 질의를 수신하기 위한 수단;
    상기 검색 질의에 응답하여 블로그 문서를 취득하기 위한 수단;
    상기 검색 질의에 대한 상기 블로그 문서의 관련도에 기초하는 제1 스코어를 상기 블로그 문서에 대해 생성하기 위한 수단;
    상기 검색 질의와는 별개이면서 상기 블로그 문서의 품질에 기초하는 제2 스코어를 상기 블로그 문서에 대해 생성하기 위한 수단;
    상기 제1 스코어 및 상기 제2 스코어에 기초하여 제3 스코어를 생성하기 위한 수단; 및
    상기 제3 스코어에 기초하여 상기 블로그 문서에 관한 정보를 제공하기 위한 수단
    을 포함하는 시스템.
  10. 블로그 검색 엔진을 포함하는 디바이스로서,
    상기 블로그 검색 엔진은,
    검색 질의를 수신하고;
    상기 검색 질의에 응답하여 복수의 블로그 문서를 검색하며;
    상기 검색 질의에 대한 각각의 상기 블로그 문서의 관련도에 기초하는 관련도 스코어를 각각의 상기 블로그 문서에 대해 생성하고;
    상기 검색 질의와는 별개이면서 상기 블로그 문서의 품질에 기초하는 품질 스코어를 각각의 상기 블로그 문서에 대해 생성하며;
    각각의 상기 블로그 문서에 대한 상기 제1 스코어 및 상기 제2 스코어에 기초하여 각각의 상기 블로그 문서의 순위 스코어를 생성하고;
    상기 순위 스코어에 따라 상기 복수의 블로그 문서를 순서대로 정렬하며;
    상기 순서에 따라 정렬된 상기 복수의 블로그 문서를 제공하는,
    디바이스.
  11. 방법을 수행하도록 하나 이상의 프로세서를 제어하는 명령어를 포함하는 컴퓨터로 판독 가능한 매체로서,
    상기 방법은,
    블로그 검색 엔진에 의해, 검색 질의를 수신하는 단계;
    상기 검색 질의에 응답하여 블로그 문서를 포함하는 문서들을 검색하는 단계;
    상기 검색 질의에 대한 각각의 상기 문서의 관련도에 기초하는 제1 관련도 스코어를 각각의 상기 문서에 대해 생성하는 단계;
    상기 검색 질의와는 별개이면서 각각의 상기 문서의 품질에 기초하는 제2 품질 스코어를 각각의 상기 문서에 대해 생성하는 단계;
    각각의 상기 문서에 대한 상기 제1 관련도 스코어 및 상기 제2 품질 스코어에 기초하는 제3 순위 스코어를 각각의 상기 문서에 대해 생성하는 단계; 및
    상기 문서들의 상기 제3 순위 스코어에 기초하여 상기 문서들에 대한 정보를 제공하는 단계
    를 포함하는, 컴퓨터로 판독 가능한 매체.
  12. 검색 질의를 수신하는 단계;
    블로그 문서를 취득하는 단계;
    상기 블로그 문서의 품질에 대한 긍정적인 지표들 또는 상기 블로그 문서의 품질에 대한 부정적인 지표들 중 적어도 하나를 식별하는 단계;
    상기 식별된 긍정적인 식별자들 또는 부정적인 식별자들 중 적어도 하나에 기초하여 상기 블로그 문서에 대한 품질 스코어를 생성하는 단계;
    검색 질의에 대한 상기 블로그 문서의 관련도를 결정하는 단계; 및
    상기 블로그 문서에 대해 생성된 상기 품질 스코어를 사용하여 상기 블로그 문서에 대한 상기 결정된 관련도를 변경하는 단계
    를 포함하고,
    상기 블로그 문서의 품질은 상기 검색 질의와는 별개인, 컴퓨터로 구현되는 방법.
  13. 제12항에 있어서,
    상기 블로그 문서는 블로그 또는 블로그 포스트를 포함하는, 컴퓨터로 구현되는 방법.
  14. 삭제
  15. 삭제
  16. 제12항에 있어서,
    상기 부정적인 지표들은, 상기 블로그 문서의 컨텐츠와 상기 블로그 문서와 연관된 피드(feed)의 컨텐츠 사이의 불일치에 대한 표시를 포함하는, 컴퓨터로 구현되는 방법.
  17. 제12항에 있어서,
    상기 부정적인 지표들은, 상기 블로그 문서가 미리 정해진 단어들 또는 구들을 높은 비율로 포함한다는 표시를 포함하는, 컴퓨터로 구현되는 방법.
  18. 제12항에 있어서,
    상기 부정적인 지표들은, 상기 블로그 문서가 중복된 컨텐츠를 포함한다는 표시를 포함하는, 컴퓨터로 구현되는 방법.
  19. 삭제
  20. 검색 질의를 수신하는 로직(logic);
    블로그 문서를 수신하기 위한 로직;
    상기 블로그 문서의 품질에 대한 긍정적인 지표들 또는 상기 블로그 문서의 품질에 대한 부정적인 지표들 중 적어도 하나를 식별하기 위한 로직;
    상기 식별된 긍정적인 식별자들 또는 부정적인 식별자들 중 적어도 하나에 기초하여 상기 블로그 문서에 대한 품질을 결정하기 위한 로직;
    검색 질의에 대한 상기 블로그 문서의 관련도에 기초하여 상기 블로그 문서의 순위를 결정하기 위한 로직; 및
    상기 블로그 문서에 대한 상기 결정된 품질을 사용하여, 상기 블로그 문서의 상기 순위를 변경하기 위한 로직
    을 포함하고,
    상기 긍정적인 지표들 또는 상기 부정적인 지표들 중 적어도 하나는 모두 상기 검색 질의와는 별개인, 디바이스.
  21. 블로그 검색 엔진에서 검색 질의를 수신하는 단계;
    상기 검색 질의에 응답하여, 복수의 블로그 문서에 대해, 상기 검색 질의에 대한 상기 복수의 블로그 문서의 관련도 및 상기 복수의 블로그 문서의 품질에 기초하는 순위 스코어를 생성하는 단계; 및
    상기 생성된 순위 스코어들에 기초하여 상기 복수의 블로그 문서에 관한 정보를 제공하는 단계
    를 포함하고,
    상기 블로그 문서의 품질은 상기 검색 질의와는 별개이며,
    상기 순위 스코어를 생성하는 단계는,
    상기 복수의 블로그 문서에 대한 관련도 스코어를 생성하는 단계; 및
    상기 복수의 블로그 문서의 품질에 기초하여 상기 관련도 스코어를 조정하는 단계
    를 포함하는, 방법.
  22. 삭제
  23. 제21항에 있어서,
    복수의 지표에 기초하여 상기 복수의 블로그 문서 내의 블로그 문서 각각의 품질을 결정하는 단계를 더 포함하는 방법.
  24. 제23항에 있어서,
    상기 복수의 지표는 하나 이상의 긍정적인 지표 및 하나 이상의 부정적인 지표를 포함하는, 방법.
  25. 삭제
  26. 제24항에 있어서,
    상기 블로그 문서 각각의 품질을 결정하는 단계는, 상기 하나 이상의 긍정적인 지표와 상기 하나 이상의 부정적인 지표를 결합하여 상기 블로그 문서 각각에 대한 품질 스코어를 결정하는 단계를 포함하는, 방법.
  27. 검색 질의를 수신하는 단계;
    블로그 문서의 품질에 대한 긍정적인 지표들 또는 상기 블로그 문서의 품질에 대한 부정적인 지표들 중 적어도 하나를 식별하는 단계로서, 상기 블로그 문서의 품질은 상기 검색 질의와 별개이고, 상기 식별된 긍정적인 지표들 또는 부정적인 지표들 중 적어도 하나는 블로그 문서들에 특정한 지표를 포함하는, 식별하는 단계;
    상기 식별된 긍정적인 지표들 또는 부정적인 지표들 중 적어도 하나에 기초하여 상기 블로그 문서에 대한 품질 스코어를 생성하는 단계;
    상기 검색 질의에 대한 상기 블로그 문서의 관련도에 기초하여 상기 블로그 문서에 대한 관련도 스코어를 생성하는 단계;
    상기 품질 스코어와 상기 관련도 스코어에 기초하여 상기 블로그 문서에 대한 순위 스코어를 생성하는 단계; 및
    상기 생성된 순위 스코어에 기초하여 상기 블로그 문서에 관한 정보를 제공하는 단계
    를 포함하는 방법.
  28. 제4항에 있어서,
    상기 하나 이상의 긍정적인 지표는, 다른 블로그 문서와 연관된 하나 이상의 블로그 롤 내에서 상기 블로그 문서에 대한 링크의 준재를 포함하는, 방법.
  29. 제4항에 있어서,
    상기 하나 이상의 긍정적인 지표는, 다른 문서 내에서 상기 블로그 문서에 대한 참조를 포함하는, 방법.
  30. 제4항에 있어서,
    상기 하나 이상의 긍정적인 지표는 상기 블로그 문서의 페이지 순위(PageRank)를 포함하는, 방법.
  31. 제4항에 있어서,
    상기 하나 이상의 부정적인 지표는 상기 블로그 문서에 포스트가 부가되는 횟수를 포함하는, 방법.
  32. 제4항에 있어서,
    상기 하나 이상의 부정적인 지표는 상기 블로그 문서의 컨텐츠를 포함하는, 방법.
  33. 제4항에 있어서,
    상기 하나 이상의 부정적인 지표는 상기 블로그 문서 내의 포스트의 길이를 포함하는, 방법.
  34. 제4항에 있어서,
    상기 하나 이상의 부정적인 지표는 상기 블로그 문서와 연관된 링크 분포를 포함하는, 방법.
  35. 제4항에 있어서,
    상기 하나 이상의 부정적인 지표는 상기 블로그 문서 내의 광고의 양을 포함하는, 방법.
  36. 제4항에 있어서,
    상기 하나 이상의 부정적인 지표는 상기 블로그 문서 내의 광고의 위치를 포함하는, 방법.
KR1020087008671A 2005-09-13 2006-09-13 블로그 문서의 순위 부여 KR101005510B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/224,321 US8244720B2 (en) 2005-09-13 2005-09-13 Ranking blog documents
US11/224,321 2005-09-13

Publications (2)

Publication Number Publication Date
KR20080044915A KR20080044915A (ko) 2008-05-21
KR101005510B1 true KR101005510B1 (ko) 2011-01-04

Family

ID=37432282

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087008671A KR101005510B1 (ko) 2005-09-13 2006-09-13 블로그 문서의 순위 부여

Country Status (9)

Country Link
US (2) US8244720B2 (ko)
EP (1) EP1934830A1 (ko)
JP (2) JP4837040B2 (ko)
KR (1) KR101005510B1 (ko)
CN (1) CN101305371A (ko)
AU (1) AU2006290977B2 (ko)
BR (1) BRPI0615915B1 (ko)
CA (1) CA2622784A1 (ko)
WO (1) WO2007033202A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9785677B2 (en) 2012-02-09 2017-10-10 Tencent Technology (Shenzhen) Company Limited Method and system for sorting, searching and presenting micro-blogs

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7421429B2 (en) * 2005-08-04 2008-09-02 Microsoft Corporation Generate blog context ranking using track-back weight, context weight and, cumulative comment weight
US8244720B2 (en) 2005-09-13 2012-08-14 Google Inc. Ranking blog documents
US8417569B2 (en) * 2005-11-30 2013-04-09 John Nicholas and Kristin Gross Trust System and method of evaluating content based advertising
US8924558B2 (en) * 2005-11-30 2014-12-30 John Nicholas and Kristin Gross System and method of delivering content based advertising
US9202241B2 (en) * 2005-11-30 2015-12-01 John Nicholas and Kristin Gross System and method of delivering content based advertising
US7856445B2 (en) * 2005-11-30 2010-12-21 John Nicholas and Kristin Gross System and method of delivering RSS content based advertising
US8117195B1 (en) 2006-03-22 2012-02-14 Google Inc. Providing blog posts relevant to search results
US20070239674A1 (en) * 2006-04-11 2007-10-11 Richard Gorzela Method and System for Providing Weblog Author-Defined, Weblog-Specific Search Scopes in Weblogs
US20070255701A1 (en) * 2006-04-28 2007-11-01 Halla Jason M System and method for analyzing internet content and correlating to events
US20090070683A1 (en) * 2006-05-05 2009-03-12 Miles Ward Consumer-generated media influence and sentiment determination
US20070271259A1 (en) * 2006-05-17 2007-11-22 It Interactive Services Inc. System and method for geographically focused crawling
US8452777B2 (en) 2007-02-01 2013-05-28 Linkedin Corporation Dynamic submission and preference indicator
US8527594B2 (en) * 2007-02-16 2013-09-03 Ecairn, Inc. Blog advertising
US8346763B2 (en) * 2007-03-30 2013-01-01 Microsoft Corporation Ranking method using hyperlinks in blogs
US20090006341A1 (en) * 2007-06-28 2009-01-01 Bruce Chapman Method of website ranking promotion using creation of mass blog posting links
WO2009023984A1 (en) 2007-08-17 2009-02-26 Google Inc. Ranking social network objects
CN100545847C (zh) * 2007-09-25 2009-09-30 腾讯科技(深圳)有限公司 一种对博客文章进行排序的方法及系统
KR100932841B1 (ko) * 2007-11-09 2009-12-21 엔에이치엔(주) 검색 문서 품질 측정 방법 및 그 시스템
KR100932842B1 (ko) * 2007-12-06 2009-12-21 엔에이치엔(주) 검색랭킹의 품질 평가 방법 및 시스템
KR100975502B1 (ko) * 2008-01-30 2010-08-11 엔에이치엔(주) 블로그 포스트의 랭킹 판단 방법 및 시스템
US8078197B2 (en) * 2008-02-20 2011-12-13 Agere Systems Inc. Location-based search-result ranking for blog documents and the like
KR101004999B1 (ko) * 2008-08-27 2011-01-04 서강대학교산학협력단 콘텐츠와 콘텐츠 제공 사이트의 파급력 측정 방법 및 장치
US8082288B1 (en) * 2008-10-17 2011-12-20 GO Interactive, Inc. Method and apparatus for determining notable content on web sites using collected comments
US20100114910A1 (en) * 2008-10-27 2010-05-06 Korea Advanced Institute Of Science And Technology Blog search apparatus and method using blog authority estimation
KR101013761B1 (ko) * 2008-10-27 2011-02-14 한국과학기술원 블로그 권위값 추정 기법을 사용한 블로그 검색 장치 및 방법
KR101049648B1 (ko) 2009-02-23 2011-07-14 성균관대학교산학협력단 블로그 랭크 알고리즘을 이용해서 효율적으로 블로그를 검색하기 위한 블로그 랭크 방법
JP5216654B2 (ja) * 2009-03-27 2013-06-19 Kddi株式会社 重要度判定装置、重要度判定方法、およびプログラム
US8572109B1 (en) 2009-05-15 2013-10-29 Google Inc. Query translation quality confidence
US8577909B1 (en) 2009-05-15 2013-11-05 Google Inc. Query translation using bilingual search refinements
US8577910B1 (en) 2009-05-15 2013-11-05 Google Inc. Selecting relevant languages for query translation
US8538957B1 (en) * 2009-06-03 2013-09-17 Google Inc. Validating translations using visual similarity between visual media search results
US8745067B2 (en) * 2009-08-12 2014-06-03 Google Inc. Presenting comments from various sources
KR101284788B1 (ko) * 2009-10-13 2013-07-10 한국전자통신연구원 신뢰도에 기반한 질의응답 장치 및 그 방법
US8606792B1 (en) 2010-02-08 2013-12-10 Google Inc. Scoring authors of posts
US20110258560A1 (en) * 2010-04-14 2011-10-20 Microsoft Corporation Automatic gathering and distribution of testimonial content
US20110276554A1 (en) * 2010-05-10 2011-11-10 Chen-Yu Sheu Query and note based search system
AU2013203650B2 (en) * 2010-05-17 2014-08-14 Buzzmetrics Ltd. Methods, apparatus and articles of manufacture to rank web site influence
US8560530B2 (en) 2010-05-17 2013-10-15 Buzzmetrics, Ltd. Methods, apparatus, and articles of manufacture to rank web site influence
US8849807B2 (en) 2010-05-25 2014-09-30 Mark F. McLellan Active search results page ranking technology
CN102385576A (zh) * 2010-08-27 2012-03-21 腾讯科技(深圳)有限公司 博主影响力计算方法及系统
US10380147B1 (en) * 2010-10-07 2019-08-13 PatentSight GmbH Computer implemented method for quantifying the relevance of documents
US9009065B2 (en) * 2010-12-17 2015-04-14 Google Inc. Promoting content from an activity stream
JP2012141837A (ja) * 2011-01-04 2012-07-26 Sony Corp 情報処理装置、情報処理方法及びプログラム
US20120210240A1 (en) * 2011-02-10 2012-08-16 Microsoft Corporation User interfaces for personalized recommendations
US9251269B2 (en) * 2011-10-27 2016-02-02 International Business Machines Corporation Accounting for authorship in a web log search engine
US9135291B2 (en) * 2011-12-14 2015-09-15 Megathread, Ltd. System and method for determining similarities between online entities
US9589303B2 (en) * 2012-01-09 2017-03-07 Google Inc. Selective presentation of content types and sources in search
JP5962213B2 (ja) * 2012-05-28 2016-08-03 ソニー株式会社 情報処理装置、情報処理方法、および、プログラム
WO2014007826A1 (en) * 2012-07-06 2014-01-09 Empire Technology Development Llc Organization of inputs for online service
US9553783B2 (en) * 2012-09-14 2017-01-24 Salesforce.Com, Inc. Spam flood detection methodologies
CN103914491B (zh) * 2013-01-09 2017-11-17 腾讯科技(北京)有限公司 对优质用户生成内容的数据挖掘方法和系统
JP6130270B2 (ja) * 2013-08-21 2017-05-17 Kddi株式会社 メディアコンテンツに対応するコメント集合をソートして明示するコメントリスト公開サーバ、プログラム及び方法
US10303684B1 (en) * 2013-08-27 2019-05-28 Google Llc Resource scoring adjustment based on entity selections
EP3049962B1 (en) * 2013-09-27 2019-10-23 Intel Corporation Mechanism for facilitating dynamic and proactive data management for computing devices
CN105488151A (zh) * 2015-11-27 2016-04-13 小米科技有限责任公司 参考文档的推荐方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050077242A (ko) * 2004-02-10 2005-08-01 엔에이치엔(주) 검색 작업 요청에 응답하여 출력되는 검색 결과에 광고를제공하는 방법 및 시스템

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6421675B1 (en) 1998-03-16 2002-07-16 S. L. I. Systems, Inc. Search engine
US6598046B1 (en) * 1998-09-29 2003-07-22 Qwest Communications International Inc. System and method for retrieving documents responsive to a given user's role and scenario
US6510406B1 (en) 1999-03-23 2003-01-21 Mathsoft, Inc. Inverse inference engine for high performance web search
US7693830B2 (en) * 2005-08-10 2010-04-06 Google Inc. Programmable search engine
US7743045B2 (en) * 2005-08-10 2010-06-22 Google Inc. Detecting spam related and biased contexts for programmable search engines
US7716199B2 (en) * 2005-08-10 2010-05-11 Google Inc. Aggregating context data for programmable search engines
US6946715B2 (en) * 2003-02-19 2005-09-20 Micron Technology, Inc. CMOS image sensor and method of fabrication
US7016889B2 (en) * 2003-01-30 2006-03-21 Hewlett-Packard Development Company, Lp. System and method for identifying useful content in a knowledge repository
US7739281B2 (en) * 2003-09-16 2010-06-15 Microsoft Corporation Systems and methods for ranking documents based upon structurally interrelated information
US7346839B2 (en) 2003-09-30 2008-03-18 Google Inc. Information retrieval based on historical data
US8930239B2 (en) * 2005-03-23 2015-01-06 Douglas Ashbaugh Distributed content exchange and presentation system
US7761447B2 (en) * 2004-04-08 2010-07-20 Microsoft Corporation Systems and methods that rank search results
US20070067297A1 (en) * 2004-04-30 2007-03-22 Kublickis Peter J System and methods for a micropayment-enabled marketplace with permission-based, self-service, precision-targeted delivery of advertising, entertainment and informational content and relationship marketing to anonymous internet users
US7596571B2 (en) * 2004-06-30 2009-09-29 Technorati, Inc. Ecosystem method of aggregation and search and related techniques
US7890871B2 (en) * 2004-08-26 2011-02-15 Redlands Technology, Llc System and method for dynamically generating, maintaining, and growing an online social network
US8335785B2 (en) * 2004-09-28 2012-12-18 Hewlett-Packard Development Company, L.P. Ranking results for network search query
US8060463B1 (en) * 2005-03-30 2011-11-15 Amazon Technologies, Inc. Mining of user event data to identify users with common interests
WO2006128136A2 (en) * 2005-05-25 2006-11-30 Insider Pages Structured blogging with reciprocal links
US9158855B2 (en) * 2005-06-16 2015-10-13 Buzzmetrics, Ltd Extracting structured data from weblogs
US7421429B2 (en) * 2005-08-04 2008-09-02 Microsoft Corporation Generate blog context ranking using track-back weight, context weight and, cumulative comment weight
US20070050389A1 (en) * 2005-09-01 2007-03-01 Opinmind, Inc. Advertisement placement based on expressions about topics
US8244720B2 (en) 2005-09-13 2012-08-14 Google Inc. Ranking blog documents
US7765209B1 (en) * 2005-09-13 2010-07-27 Google Inc. Indexing and retrieval of blogs
US7716226B2 (en) * 2005-09-27 2010-05-11 Patentratings, Llc Method and system for probabilistically quantifying and visualizing relevance between two or more citationally or contextually related data objects
US8688673B2 (en) * 2005-09-27 2014-04-01 Sarkar Pte Ltd System for communication and collaboration
US7657585B2 (en) * 2005-10-25 2010-02-02 Innternational Business Machines Corporation Automated process for identifying and delivering domain specific unstructured content for advanced business analysis
US7917519B2 (en) * 2005-10-26 2011-03-29 Sizatola, Llc Categorized document bases
US20070255702A1 (en) * 2005-11-29 2007-11-01 Orme Gregory M Search Engine
US7734610B2 (en) * 2005-12-12 2010-06-08 Google Inc. Decentralised web annotation
US7685144B1 (en) * 2005-12-29 2010-03-23 Google Inc. Dynamically autocompleting a data entry
US7634463B1 (en) * 2005-12-29 2009-12-15 Google Inc. Automatically generating and maintaining an address book
US20070203891A1 (en) * 2006-02-28 2007-08-30 Microsoft Corporation Providing and using search index enabling searching based on a targeted content of documents
US8117195B1 (en) * 2006-03-22 2012-02-14 Google Inc. Providing blog posts relevant to search results
US20090171866A1 (en) * 2006-07-31 2009-07-02 Toufique Harun System and method for learning associations between logical objects and determining relevance based upon user activity
US8200648B2 (en) * 2006-08-07 2012-06-12 Yeda Research & Development Co. Ltd. At The Weizmann Institute Of Science Data similarity and importance using local and global evidence scores
WO2008052068A2 (en) * 2006-10-24 2008-05-02 Careflash, Llc A system and method for secure, anonymous, and pertinent reposting of private blog posting, etc.
US20080154887A1 (en) * 2006-12-01 2008-06-26 S.L.I. Systems, Inc. Method and system for displaying information
WO2008115519A1 (en) * 2007-03-20 2008-09-25 President And Fellows Of Harvard College A system for estimating a distribution of message content categories in source data
US7873635B2 (en) * 2007-05-31 2011-01-18 Microsoft Corporation Search ranger system and double-funnel model for search spam analyses and browser protection
US7664726B2 (en) * 2007-06-25 2010-02-16 Microsoft Corporation Influence based rewards for word-of-mouth advertising ecosystems
US8010527B2 (en) * 2007-06-29 2011-08-30 Fuji Xerox Co., Ltd. System and method for recommending information resources to user based on history of user's online activity
US9283476B2 (en) * 2007-08-22 2016-03-15 Microsoft Technology Licensing, Llc Information collection during game play
US7716228B2 (en) * 2007-09-25 2010-05-11 Firstrain, Inc. Content quality apparatus, systems, and methods
US8291492B2 (en) * 2007-12-12 2012-10-16 Google Inc. Authentication of a contributor of online content
US8983975B2 (en) * 2008-02-22 2015-03-17 Christopher Kenton Systems and methods for measuring and managing distributed online conversations
US8069179B2 (en) * 2008-04-24 2011-11-29 Microsoft Corporation Preference judgements for relevance
US20100131455A1 (en) * 2008-11-19 2010-05-27 Logan James D Cross-website management information system
US8694496B2 (en) * 2008-11-26 2014-04-08 At&T Intellectual Property I, L.P. Harvesting application metadata
US8886636B2 (en) * 2008-12-23 2014-11-11 Yahoo! Inc. Context transfer in search advertising
US8745067B2 (en) * 2009-08-12 2014-06-03 Google Inc. Presenting comments from various sources
US8321463B2 (en) * 2009-08-12 2012-11-27 Google Inc. Objective and subjective ranking of comments
US10019518B2 (en) * 2009-10-09 2018-07-10 Excalibur Ip, Llc Methods and systems relating to ranking functions for multiple domains

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050077242A (ko) * 2004-02-10 2005-08-01 엔에이치엔(주) 검색 작업 요청에 응답하여 출력되는 검색 결과에 광고를제공하는 방법 및 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9785677B2 (en) 2012-02-09 2017-10-10 Tencent Technology (Shenzhen) Company Limited Method and system for sorting, searching and presenting micro-blogs

Also Published As

Publication number Publication date
US20070061297A1 (en) 2007-03-15
EP1934830A1 (en) 2008-06-25
AU2006290977A1 (en) 2007-03-22
CN101305371A (zh) 2008-11-12
JP2009508267A (ja) 2009-02-26
AU2006290977B2 (en) 2011-04-21
CA2622784A1 (en) 2007-03-22
JP4837040B2 (ja) 2011-12-14
US20120265757A1 (en) 2012-10-18
BRPI0615915B1 (pt) 2019-09-10
JP2011238276A (ja) 2011-11-24
BRPI0615915A2 (pt) 2012-04-10
US8244720B2 (en) 2012-08-14
WO2007033202A1 (en) 2007-03-22
KR20080044915A (ko) 2008-05-21

Similar Documents

Publication Publication Date Title
KR101005510B1 (ko) 블로그 문서의 순위 부여
US8452799B2 (en) Query rewriting with entity detection
US8549014B2 (en) Document scoring based on document content update
US8554759B1 (en) Selection of documents to place in search index
US9305099B1 (en) Ranking documents based on user behavior and/or feature data
US7747632B2 (en) Systems and methods for providing subscription-based personalization
US7765209B1 (en) Indexing and retrieval of blogs
US8117195B1 (en) Providing blog posts relevant to search results
Shahzad et al. The new trend for search engine optimization, tools and techniques
US8924380B1 (en) Changing a rank of a document by applying a rank transition function
Kolte Client side privacy protection using personalized web search
Zhang et al. Refining web search engine results using incremental clustering
US8577893B1 (en) Ranking based on reference contexts
AU2011204929B2 (en) Ranking blog documents
Song et al. Searchable web sites recommendation
Yu et al. Finding high quality documents through link and click graphs
CN111460307B (zh) 一种移动终端精确搜索方法和装置
Saravanan MONITORING ROUTINE IN WEB EXPLORATION ENVIRONMENTS
AU2006252227B2 (en) Document scoring based on link-based criteria
Htay et al. International Journal of Engineering Technology Research & Management

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20131210

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20141210

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20151208

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20171212

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20181211

Year of fee payment: 9