KR20070007964A - 이미지를 포함하는 문서를 평가하는 시스템 및 방법 - Google Patents

이미지를 포함하는 문서를 평가하는 시스템 및 방법 Download PDF

Info

Publication number
KR20070007964A
KR20070007964A KR1020067026074A KR20067026074A KR20070007964A KR 20070007964 A KR20070007964 A KR 20070007964A KR 1020067026074 A KR1020067026074 A KR 1020067026074A KR 20067026074 A KR20067026074 A KR 20067026074A KR 20070007964 A KR20070007964 A KR 20070007964A
Authority
KR
South Korea
Prior art keywords
document
image
evaluation
content
information
Prior art date
Application number
KR1020067026074A
Other languages
English (en)
Other versions
KR101321234B1 (ko
Inventor
웨슬리 찬
슈미트 아가르왈
레오라 루스 와이즈만
Original Assignee
구글, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글, 인코포레이티드 filed Critical 구글, 인코포레이티드
Publication of KR20070007964A publication Critical patent/KR20070007964A/ko
Application granted granted Critical
Publication of KR101321234B1 publication Critical patent/KR101321234B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services

Abstract

이미지를 포함하는 문서를 평가하는 시스템 및 방법이 제공된다. 배포를 위한 문서가 수신된다. 문서와 연관된 평가 정보는 하나 이상의 평가 실체로부터 수신된다. 상기 하나 이상의 평가 실체 중 적어도 하나는 이미지와 연관된 평가 정보를 판정하는 프로세서를 포함한다. 평가 정보에 기초하여 배포를 위한 문서가 승인된다.
문서 평가, 인터넷 광고, 피드백, 평가자

Description

이미지를 포함하는 문서를 평가하는 시스템 및 방법{SYSTEM AND METHOD FOR RATING DOCUMENTS COMPRISING AN IMAGE}
본 발명은 이미지 광고 등의 문서를 평가하는 시스템 및 방법에 관한 것이다.
인터넷의 등장으로, 광고 등의 겉보기에 매우 다양한 텍스트 및 그래픽 컨텐츠가 다양한 연령, 선호도, 및 감수성의 사람들에게 제공될 수 있다. 어떤 이미지 및 다른 컨텐츠는 어떤 개인 및 그룹에 대해 다른 개인 및 그룹보다 더 적절할 수 있다. 예를 들어, 폭력적이거나 성인물 이미지는 일반적으로 아이들에게 부적절한 것으로 생각된다. 이용자(audience)에 적절한 컨텐츠를 제공하는 것이 바람직한 이유는 그것이 일반적으로 컨텐츠 제공자 및 이용자 둘다에 대해 이익을 최대화하고 부담을 최소화하기 때문이다. 예를 들어, 이용자에 적절하고 관련있는 광고는 거슬리고 관련없는 것보다 판매를 가져올 가능성이 더 높다.
따라서, 광고 및 다른 컨텐츠는 종종 그 컨텐츠에 관심을 가지고 있을 수 있는 특정의 이용자를 타겟으로 하고 있다. 예를 들어, 남성들에게 지향되는 광고는 전국적으로 텔레비전 방송되는 축구 경기 동안에 디스플레이될 수 있는데, 그 이유는 그 경기가 많은 수의 남성 시청자를 끌기 때문이다. 이와 유사하게, 항공편에 대한 광고는 사용자가 단어 "비행기"를 포함하는 질의를 전송할 때 인터넷 검색 엔진 사이트에 디스플레이될 수 있다.
그렇지만, 사용자 관련 컨텐츠에 기초하여 광고 및 다른 컨텐츠를 제공하는 것은 문서의 텍스트, 이미지 및 다른 컨텐츠가 특정의 이용자에게 적절하도록 보장해주지 않는다. 예를 들어, 웹 사이트의 컨텐츠가 주제에 의해서는 관련되어 있지만, 맥주 광고는 알콜 중독자를 회복시키기 위한 웹 사이트 상에서는 부적절할 수 있다.
적절한 이미지 및 다른 컨텐츠를 이용자에게 맞추는 한 방법은 그것을 이용자에게 배포하기 이전에 그 컨텐츠를 수동으로 검토하는 것이다. 그렇지만, 수동 검토와 연관된 문제점들이 있다. 예를 들어, 수동 평가 시스템 및 방법의 한가지 중요한 단점은 컨텐츠의 검토에 수반되는 시간 및 비용이다.
이들 및 다른 단점은 기존의 시스템 및 방법에 존재한다.
따라서, 본 발명의 여러가지 실시예들은 이미지 광고 등의 문서를 평가 및/또는 승인하는 시스템 및 방법에 관한 것일 수 있다. 한 예시적인 실시예에서, 이미지를 포함하는 문서를 평가하는 방법이 제공된다. 배포를 위한 문서가 수신된다. 하나 이상의 평가 실체로부터 상기 문서와 연관된 평가 정보가 수신된다. 상기 하나 이상의 평가 실체 중 적어도 하나는 상기 이미지와 연관된 평가 정보를 결정하는 프로세서를 포함한다. 상기 평가 정보에 기초하여 배포를 위한 문서가 승인된다.
다른 예시적인 실시예는 전자 문서를 평가하기 위해 컴퓨터 프로그램 코드로 인코딩된 컴퓨터-판독가능 매체를 포함한다. 상기 프로그램 코드는, 하나 이상의 평가 실체로부터 상기 문서와 연관된 평가 정보를 수신하는 단계 - 상기 하나 이상의 평가 실체 중 적어도 하나는 이미지와 연관된 평가 정보를 판정하는 프로세서를 포함함 -, 및 상기 평가 정보에 기초하여 상기 문서를 승인할지 여부를 판정하는 단계를 수행하는 데 효과적이다.
다른 예시적인 실시예에서, 문서를 평가하는 시스템이 제공된다. 입력 장치는 하나 이상의 평가 실체로부터 문서와 연관된 평가 정보를 수신하고, 상기 하나 이상의 평가 실체 중 적어도 하나는 이미지 프로세서를 포함한다. 이미지 프로세서는 이미지와 연관된 평가 정보를 결정한다. 프로세서는 상기 평가 정보에 기초하여 상기 문서를 승인할지 여부를 판정한다.
다른 예시적인 실시예에서, 문서를 평가하는 시스템이 제공된다. 평가 수신 수단은 하나 이상의 평가 실체로부터 문서와 연관된 평가 정보를 수신하고, 상기 하나 이상의 평가 실체 중 적어도 하나는 이미지 프로세서를 포함한다. 이미지 처리 수단은 이미지와 연관된 평가 정보를 결정한다. 판정 수단은 상기 평가 정보에 기초하여 상기 문서를 승인할지 여부를 판정한다.
다른 예시적인 실시예에서, 문서를 평가하는 방법이 제공된다. 신호가 서버 등의 실체로 전송된다. 상기 실체는 상기 신호를 문서에 대한 기준과 연관되어 있는 것으로 해석하도록 구성되어 있다. 이 실체는 또한 이미지를 포함하는 문서가 전달되어야 하는지 여부를 판정하도록 구성되어 있다. 이 실체는 하나 이상의 문서에 대한 복수의 평가자로부터 수신된 평가 정보에 부분적으로 기초하여 또한 상기 하나 이상의 문서가 상기 기준과 관련되어 있는지 여부에 부분적으로 기초하여 이 판정을 행하도록 구성되어 있다. 상기 하나 이상의 문서 중 적어도 하나는 이미지를 포함한다. 상기 복수의 평가자는 이미지를 처리하고 문서를 평가하도록 구성되어 있는 이미지 프로세서를 포함한다. 상기 신호에 응답하여 이미지를 포함하는 문서가 수신된다.
다른 예시적인 실시예에서, 문서를 평가하는 방법이 제공된다. 서버 시스템 등의 시스템으로부터 하나 이상의 문서가 수신되고, 상기 하나 이상의 문서 중 적어도 하나는 이미지를 포함하고, 상기 시스템은 이미지를 처리하고 문서를 평가하는 이미지 프로세서를 포함한다. 문서에 대한 요청에 응답하여 하나 이상의 문서를 전달할지 여부를 판정할 때 상기 시스템이 사용하기 위한 평가 정보가 상기 서버 시스템에 제공되고, 이 판정하는 단계는 제공된 평가에 기초하고 있다.
다른 예시적인 실시예에서, 이미지를 포함하는 특정의 문서를 평가하는 방법이 제공된다. 상기 문서는 하나 이상의 평가 실체로 배포되고, 상기 하나 이상의 평가 실체 중 적어도 하나는 상기 이미지를 저장하는 파일 및 상기 이미지의 광학 데이터 중 적어도 하나를 처리함으로써 평가 정보를 결정하는 프로세서를 포함한다. 상기 하나 이상의 평가 실체로부터 상기 특정의 문서와 연관된 평가 정보가 수신된다. 상기 특정의 문서는 하나 이상의 특정의 기준과 연관된다. 상기 평가 정보에 기초하여 상기 특정의 문서를 승인할지 여부가 판정된다. 기준과 관련되어 있는 문서에 대한 요청이 수신된다. 상기 특정의 문서를 포함하는 데이터베이스로부터 배포를 위한 문서가 선택되고, 상기 선택 단계는 상기 기준 및 상기 평가 정보에 기초한다.
다른 예시적인 실시예에서, 문서를 평가하는 방법이 제공된다. 이미지를 포함하는 제1 광고와 연관된 제1 컨텐츠 평가가 수신되고, 상기 제1 컨텐츠 평가는 상기 이미지를 처리함으로써 상기 제1 컨텐츠 평가를 결정하도록 구성되어 있는 이미지 프로세서로부터 수신된다. 하나 이상의 평가자로부터 상기 제1 광고와 연관된 하나 이상의 제2 컨텐츠 평가가 수신되고, 상기 하나 이상의 평가자 중 적어도 하나는 최종 사용자이다. 상기 평가 정보에 기초하여 상기 제1 광고에 대한 종합적 평가가 결정된다. 하나 이상의 광고의 전자 전달에 대한 요청이 수신되고, 상기 요청은 개념과 연관되어 있다. 상기 제1 광고 및 하나 이상의 제2 광고를 포함하는 데이터베이스로부터 광고가 선택되고, 상기 하나 이상의 제2 광고 각각은 이미지 및 종합적 평가를 포함한다. 상기 요청에 기초하여 상기 선택된 광고가 전자적으로 전달된다.
다른 예시적인 실시예에서, 전자 문서를 승인하는 방법이 제공된다. 배포를 위한 전자 문서가 처리되고, 상기 전자 문서는 수신자가 상기 전자 문서를 평가할 수 있게 해주는 피드백 메카니즘을 포함한다. 문서에 대한 복수의 요청이 수신되고, 각각의 요청은 복수의 최종 사용자 중 하나로부터 수신된다. 대응하는 복수의 요청에 기초하여 상기 복수의 최종 사용자로 상기 전자 문서가 전달된다. 상기 복수의 최종 사용자 중 미리 정해진 수의 최종 사용자로 상기 전자 문서를 전달한 것에 기초하여 그 최종 사용자들로부터 임계값 이상의 피드백을 수신하지 않고 배포를 위한 상기 전자 문서가 승인된다.
다른 실시예들도 역시 본 발명의 범위 내에 속한다.
도 1은 본 발명의 일 실시예에 따른, 이미지를 평가하는 시스템을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른, 이미지를 평가하는 시스템의 동작을 위한 네트워크화된 환경을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른, 이미지를 평가하는 예시적인 방법을 나타낸 플로우차트이다.
도 4는 본 발명의 일 실시예에 따른 예시적인 문서를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 예시적인 이미지를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 예시적인 문서 평가를 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 예시적인 컨텐츠 평가 요청을 나타낸 도면이다.
도 8은 본 발명의 일 실시예에 따른 예시적인 컨텐츠 평가를 나타낸 도면이다.
본 명세서에 기술된 실시예들은 기존의 시스템 및 방법에서의 많은 문제점들을 해결한다. 인터넷 컨텐츠 제공자가 직면하고 있는 한가지 문제점은 각 문서가 광범위한 서로 다른 사용자에게 적절한지 여부를 판정하기 위해 많은 수의 문서(그 의 서비스를 통해 제공되는 이미지 및/또는 광고 등)를 평가하는 것이다. 본 명세서에 기술된 실시예들은 사람 및/또는 컴퓨터 프로세서를 비롯한, 다양한 평가 실체로부터 평가 정보를 획득함으로써 이들 및 다른 문제점들을 극복한다. 프로세서는 평가 정보를 자동적으로 판정할 수 있지만, 사람은 평가 정보를 제공하기 위해 문서를 수동으로 검토할 수 있다. 본 명세서에서 사용되는 바와 같이, 용어 "자동적으로"는 동작이 임의의 기계-실행가능 프로세스, 예를 들어 사람의 개입 또는 입력을 필요로 하지 않는 프로세스에 의해 수행되는 것을 말한다. 각각의 평가자는 예를 들어 적은 수의 문서를 검토할 수 있지만, 각각의 평가자는 예를 들어 적은 수의 문서를 검토할 수 있다. 종합하면, 복수의 평가가 수집될 수 있고, 신뢰성있는 취합된 평가가 각각의 문서에 대해 결정될 수 있다.
인터넷 컨텐츠 제공자가 직면하고 있는 다른 문제점은 서로 다른 감수성 및 선호도를 갖는 서로 다른 사용자에 의해 문서가 요청될 때마다 적절한 컨텐츠를 선택하는 것이다. 본 명세서에 기술된 실시예들은 각각의 전자 문서에 대한 일반적으로 적용가능한 취합된 컨텐츠 평가를 결정함으로써 이들 문제점을 극복한다. 문서가 사용자에게 제공될 수 있을 때마다 문서를 재평가하지 않고, 컨텐츠 제공자는 적절한 컨텐츠를 사용자 또는 제공자와 매칭시키기 위해 문서의 취합된 컨텐츠 평가를 검토 또는 처리만을 할 수 있다. 문서가 배포될 때마다, 특정의 이용자에 대한 문서의 적합성은 컨텐츠 평가 및 이용자 적합성 데이터를 참조하여 효율적으로 결정될 수 있다.
또 다른 문제점은 컨텐츠 제공자가 거슬리는 컨텐츠를 알고 있을 때 컨텐츠 제공자는, 어떤 상황에서, 적절한 컨텐츠 배포에 대한 의무(예를 들어, 법적 의무)가 더 많을 수 있다는 것이다. 예시적인 실시예에서, 컨텐츠 제공자는 다른 사람들에 의한 평가(들)에 의존하며 따라서 많은 의무를 지지 않아도 된다. 오히려, 서버가 적어도 부분적으로 그의 컨텐츠의 검토를 평가자들(예를 들어, 파트너 광고자 또는 다른 사람 등의 제3자)에게 위임한다. 컨텐츠가 최종 사용자에게 적절하도록 보장하기 위해 컨텐츠 제공자가 적극적인 조치를 취하기 때문에, 컨텐츠 제공자는 거슬리는 컨텐츠의 부적절한 배포를 방지함에 있어서의 일반적인 주의 의무를 충족시키는 것으로 생각될 수 있다.
본 명세서에서 사용되는 바와 같이, 용어 "문서" 및 "전자 문서"는 하나 이상의 광고, 컨텐츠 페이지(예를 들어, 웹 페이지), 검색 결과, 이메일, 애플리케이션, IM 메시지, 오디오 컨텐츠 또는 파일, 비디오 컨텐츠 또는 파일, 기타 파일, 하나 또는 몇개의(예를 들어, 네트워크) 컴퓨터 시스템 상에 상주할 수 있는 기타 데이터 또는 애플리케이션, 또는 다른 정의가능한 개념이나 컨텐츠를 포괄할 수 있다. "이미지" 또는 "이미지 광고"가 본 명세서에서 예시적인 문서로서 사용되는 경우가 많지만, 임의의 문서가 사용될 수 있다는 것을 잘 알 것이다.
본 출원은 2004년 3월 30일자로 출원된 발명의 명칭이 "전자 문서를 평가하는 시스템 및 방법(System and Method for Rating Electronic Documents)"인 미국 특허 출원(대리인 문서 번호 제64557.000020호)에 관한 것이며, 이는 여기에 인용함으로써 그 전체 내용이 본 명세서에 포함된다. 본 출원은 또한 동일자로 출원된 발명의 명칭이 "이미지 유사성에 기초하여 문서를 승인하는 방법 및 시스템(Method and System For Approving Documents Based On Image Similarity)"인 미국 특허 출원(대리인 문서 번호 제64557.000027호), 및 동일자로 출원된 발명의 명칭이 "그 안의 자동적으로 식별된 개념에 기초하여 타겟팅 문서를 제공하는 방법 및 시스템(Method and System For Providing Targeted Documents Based On Concepts Automatically Indentified Therein)"인 미국 특허 출원(대리인 문서 번호 제64557.000025호)에 관한 것으로서, 이 둘다 여기에 인용함으로써 그 전체 내용이 본 명세서에 포함된다.
개요 및 시스템 설명
도 1 및 도 2에 도시한 한 예시적인 실시예에 따르면, 하나 이상의 문서 소스(12)는 하나 이상의 문서를 서버(2)에 제공한다. 단일의 서버(2)가 도시되어 있지만, 다수의 서버(2)가 제공될 수 있다는 것과 이러한 다수의 서버가 본 명세서에 기술된 기능들의 효율 및 동작을 달성하기 위해 데이터 및 연산 작업을 공유할 수 있다는 것을 잘 알 것이다. 서버(2)는 하나 이상의 문서(이미지 광고 등) 및 그 문서를 평가하는 하나 이상의 평가자(4)를 선택할 수 있다. 서버(2)는 하나 이상의 문서를 하나 이상의 선택된 평가자(4)에게 전달할 수 있거나, 아니면 평가를 위해 다른 방식으로 하나 이상의 평가자(4)가 그 문서를 이용가능하도록 만들어 줄 수 있다. 예를 들어, 하나 이상의 문서 소스(12), 제공자(8) 및 최종 사용자(10)도 역시 문서를 평가할 수 있으며, 이 정도까지는 이들도 역시 "평가자(4)"인 것으로 생각될 수 있다. 평가자(4)는 성적인 컨텐츠 및 폭력적 컨텐츠 등의 하나 이상의 기준에 따라 문서(들)를 평가한다. 평가자(4)는 그의 평가 정보를 서버(2)로 전달한다. 서버(2)는 그 문서에 관하여 수신된(또는 추론된) 평가 정보에 기초하여 문서를 승인, 불승인, 또는 다른 방식으로 평가할 수 있다. 서버(2)는 문서의 관련 평가자 평가의 전부 또는 일부(하나 이상)를 처리함으로써 그 문서에 대한 종합적 평가를 결정할 수 있다. 예를 들어, 문서가 10명의 평가자에 의해 평가되는 경우, 종합적 평가는 1개 내지 10개의 평가자의 평가 중 임의의 것에 기초할 수 있다. 예를 들어, 종합적 평가는 중간의 6개 또는 평가들의 어떤 다른 조합에 기초할 수 있다.
하나 이상의 문서가 서버(2)에 요청되거나 서버(2)가 문서를 전송할 수 있다. 예를 들어, 서버(2)는 사람의 개입 없이 신호에 응답하여 문서를 전송할 수 있다. 이 동작은 다수의 인자에 기초할 수 있다. 예를 들어, 제공자(8) 및/또는 최종 사용자(10)는 문서를 요청할 수 있다. 이 요청은 서버가 문서에 대한 요청으로서 해석하는 신호의 형태로 올 수 있지만, 그 신호는 문서가 요청되고 있음을 구체적으로 표시하지는 않는다. 예를 들어, 최종 사용자는 웹 페이지를 요청하는 신호를 서버로 전송할 수 있고, 그 신호는 또한 이미지 광고 문서에 대한 요청으로서 해석될 수 있다. 서버(2)는 하나 이상의 잠재적인 문서의 평가 및/또는 하나 이상의 기준(예를 들어, 문서가 신호와 연관된 컨텐츠를 만족시키는지 또는 이에 관련되어 있는지 여부)에 기초하여 그 신호에 응답하기 위해 임의의 문서가 이용가능한지 여부를 판정할 수 있다. 서버(2)는 요청하는 실체 등의 수신자에게로 하나 이상의 문서를 전달할 수 있다. 서버(2)는 신호와 연관된 다른 기준(및/또는, 요청자와 다른 경우, 문서의 수신자)을 식별할 수 있다. 기준이 신호 또는 문서에 대 한 요청(예를 들어, 키워드에 대한 검색 요청, 기타 등등)의 내용에 기초할 수 있지만, 기준은 또한 수신자와 연관된 선호도에 기초할 수 있다. 예를 들어, 서버(2)는 요청자 또는 수신자와 연관된 감수성 정보 및/또는 적합성 정보를 식별할 수 있다. 수신자가 폭력적 컨텐츠에 반대하는 선호도로 식별되는 경우, 서버(2)는 임의의 이용가능한 문서가 낮은 또는 최소의 폭력적 컨텐츠를 나타내는 평가를 갖는지 여부를 판정할 수 있다.
도 1은 본 발명의 일 실시예에 따른, 전자 문서를 평가하는 예시적인 시스템(100)을 나타낸 것이다. 이 시스템은, 서버(2), 하나 이상의 평가자(4), 하나 이상의 제공자(8), 하나 이상의 문서 소스(12), 광학 프로세서(6), 이미지 파일 프로세서(7), 하나 이상의 최종 사용자(10), 및 서버(2)에 연결되어 동작하는 하나 이상의 데이터베이스(39)를 포함할 수 있다.
시스템(100)은 서버(2)로 하여금 전자 문서의 컨텐츠 평가를 요청, 수신 및/또는 처리할 수 있게 해줄 수 있다. 문서 소스(12), 평가자(4), 제공자(8), 및 최종 사용자(10)는 인터넷 통신을 비롯한 전자 통신을 통해 하나 이상의 서버(2)와 통신할 수 있다. 문서 소스(12), 평가자(4), 제공자(8), 및 최종 사용자(10)는 전자 문서와 연관된 기능을 제공하기 위해 하나 이상의 서버(2)를 포함하거나 그에 액세스할 수 있다.
서버(2), 평가자(4), 제공자(8), 문서 소스(12) 및 최종 사용자(10) 간에 전달될 수 있는 정보는 이하의 것, 즉 문서 정보, 컨텐츠 평가 정보, 감수성 평가 정보, 적합성 표준 정보, 신뢰 점수 정보, 및/또는 평가자나 제공자 정보 중 하나 이 상을 포함할 수 있다. 문서 정보는 이하의 것, 즉 문서 자체, 문서에서 사용되는 임의의 언어(들), 길이 정보, 파일 유형 정보(예를 들어, html, doc, zip, 기타 등등), 문서의 유형(광고, 교육적 문서), 요약 정보, 오디오-비디오 컨텐츠(예를 들어, 얼굴의 사진, 노래 가사, 기타 등등), 성인물 컨텐츠, 다른 거슬리는 컨텐츠(예를 들어, 잠재적으로 거슬리는 말의 사용), 나이 관련 컨텐츠, 문서 소유자 및/또는 문서 생성자의 신원, 문서의 의도된 이용자에 관한 정보(지역, 연령 범위, 성별, 인종, 국적, 종교, 다른 인구통계학적 정보 등), 및 문서에 관계된 또는 서버(2), 평가자(4), 제공자(8), 또는 문서 소스(12)에 관계된 임의의 다른 정보 중 하나 이상을 포함할 수 있다.
상세하게는, 평가자(4), 제공자(8), 문서 소스(12), 최종 사용자(10), 광학 프로세서(6), 및 이미지 파일 프로세서(7)(집합적으로 및 개별적으로, "평가 실체"라고 함)는 서버(2)에 하나 이상의 문서에 대한 문서 평가 정보를 제공한다. 예를 들어, 평가 실체는 서버(2)(또는 제공자(8))로부터 이미지 광고 등의 문서를 수신하고 이어서 문서(및/또는 이 문서를 참조하거나 그에 링크되어 있는 다른 문서들)에 관한 평가 정보를 서버(2)에 제공할 수 있다.
문서 소스(12)는 서버(2)에 문서를 제공할 수 있거나, 서버(2)는 문서 소스(12)로부터 문서를 "가져오거나" 검색할 수 있다. 예를 들어, 문서 소스(12)는 광고를 서버(2)에 제공할 수 있으며, 그에 따라 서버(2)는 이어서 광고를 하나 이상의 컨텐츠 제공자(8)에 제공할 수 있고, 이 컨텐츠 제공자(8)는 이어서 이 광고를 하나 이상의 최종 사용자(10)에게 제공할 수 있다(또는 서버(2)는 광고를 직접 최종 사용자(10)에게 제공할 수 있다). 문서 소스(12)는 광고 목록 제공자 또는 서버(2) 등의 임의의 컨텐츠 생성자 또는 컨텐츠 제공자(8)를 포함할 수 있다.
제공자(8)는 하나 이상의 최종 사용자(10a 내지 10n)에 문서를 제공할 수 있다. 제공자(8) 및 평가자(4)는 인터넷 등의 전자 네트워크를 통해 정보, 서비스, 및/또는 제품을 이용가능하게 해주는 컨텐츠 제공자, 검색 엔진, 또는 다른 실체를 포함할 수 있다. 제공자(8)는 예를 들어 이하의 것, 광고 목록 제공자, 전자 문서 제공자, 웹 사이트 호스트, 서버(2), 사용자 또는 다른 실체에 전자 문서를 제공하는 임의의 다른 실체, 또는 임의의 다른 컨텐츠 제공자 중 하나 이상을 포함할 수 있다. 제공자(8)는 평가자(4) 또는 문서 제공자(12)일 수 있다.
광학 프로세서(6)는 광학 센서를 구비한 하나 이상의 컴퓨터 또는 데이터 프로세서를 포함할 수 있다. 문서 자체의 이미지(예를 들어, 이미지 광고의 사진 복사로부터)로부터 광학 데이터를 식별 및/또는 판독하기 위해 광학 프로세서(6)의 광학 센서가 장착되어 있을 수 있고, 이 광학 센서는 자동적으로(즉, 사람의 개입없이) 그렇게 할 수 있다. 환언하면, 광학 프로세서(6)는 사람의 눈 및 두뇌가 신문의 페이지로부터 텍스트 및 이미지를 판독 및 처리하는 방법과 유사한 방식으로 문서의 이미지 정보를 "판독" 및 처리할 수 있다.
어떤 실시예에서, 광학 센서는 먼저 문서의 물리적 구현을 "판독"하고 광학적 이미지 데이터를 파일(예를 들어, .pdf 파일, .tiff 파일, 또는 다른 이미지 파일 포맷)로 변환할 수 있다. 광학 센서는 물리적 문서로부터 데이터를 판독하기 위해 레이저, 스캐너, 또는 다른 광학 판독기를 사용할 수 있다. 광학 프로세 서(6)는 이어서 파일을 처리할 수 있다. 예를 들어, 광학 프로세서는 저장된 광학 데이터에서 패턴을 인식 또는 식별하기 위해 OCR(예를 들어, OCR 소프트웨어 또는 다른 소프트웨어)을 사용할 수 있다. 어떤 유형의 OCR은 인쇄된 또는 기록된 텍스트 문자의 광학적으로 스캔된 비트맵을 ASCII 등의 문자 코드로 변환하는 것을 필요로 한다.
문서의 이미지로부터의 광학 데이터를 처리함으로써, 여러가지 광학 스캐닝 기술은 광학 프로세서로 하여금 문서로부터 문자 및 이미지를 식별할 수 있게 해줄 수 있다. 예를 들어, 광학 문자 인식(optical character recognition, OCR) 기술(예를 들어, OCR 스캐너 및 소프트웨어)은 광학 프로세서(6)로 하여금 문서 내의 텍스트 문자를 식별할 수 있게 해준다. 예를 들어, OCR은 광학 프로세서(6)로 하여금 신문을 광학적으로 "판독"함으로써 신문의 텍스트를 뽑아낼 수 있게 해준다. 이 뽑아낸 텍스트는 파일에 저장될 수 있다.
이미지의 광학 데이터를 처리함에 있어서, 광학 프로세서(6)는 그 이미지(또는 그의 일부분)를 다른 이미지들(또는 그의 일부분), 예를 들어 컨텐츠 데이터베이스(40)에 저장된 이미지 또는 일부분과 비교할 수 있다. 구체적으로는, 광학 프로세서(6)는 하나의 문서 소스(12a)로부터의 이미지를, 컨텐츠 데이터베이스(40)에 이미 저장되어 있는 동일 문서 소스(12a)로부터의 하나 이상의 문서와 비교할 수 있다. 예를 들어, 광학 프로세서(6)는 문서가 다른 문서와 동일한지(또는 실질적으로 동일한지) 여부를 판정할 수 있다. "실질적으로 동일한" 문서는 다른 문서와 90%(또는 95%, 98% 또는 99.5%, 기타 등등) 동일한 컨텐츠를 갖는 것으로 판정되는 문서일 수 있다. 예를 들어, 텍스트의 90%가 동일할 수 있고(단어들의 90%는 동일한 순서로 동일하고), 및/또는 한 문서의 이미지를 정의하는 패턴이 다른 문서 내의 이미지를 정의하는 패턴과 99% 동일할 수 있다. "실질적으로 동일한"의 다른 척도가 생각될 수 있다.
한 문서는 거의 동일한 텍스트 및 이미지를 갖지만 다른 포맷팅을 갖는 것으로 판정될 수 있으며, 광학 프로세서(6)는 2개의 문서의 (상대적) 등가성을 판정할 수 있다. (실질적으로) 동일한 문서의 경우, 광학 프로세서(6)는 그 문서가 다른 문서와 (실질적으로) 동일함을 나타낼 수 있고 또 상대편 문서를 식별할 수 있다. 제1 문서가 데이터베이스에 이미 저장되어 있는 제2 문서와 실질적으로 동일한 것으로 식별되는 경우, 그것은 제1 문서와 동일한 평가 정보를 수신할 수 있다.
종래의 OCR 기술이 일반적으로 텍스트를 식별하기 위해 사용되지만, OCR 및 OCR과 유사한 기술들은 광학 프로세서(6)로 하여금 문서를 광학적으로 "판독"함으로써 문서 내의 하나 이상의 이미지를 식별할 수 있게 해줄 수 있다. 예를 들어, 광학 프로세서는 이미지를 판독하여 그 이미지가 필름 프로젝터의 사진, 맥주병, 사람(옷의 상태가 다양함), 또는 다른 객체를 포함하는 것으로 판정할 수 있다. 광학 프로세서(6)는 또한 이미지 색상, 색상 배합(color scheme), 패턴, 및 기타 정보 등의 이미지에 관한 다른 광학 데이터를 판정할 수 있다. 이러한 기술을 사용함으로써, 광학 프로세서(6)는 이미지에 나타나는 사람 육체(예를 들어, 옷을 입지 않은 사람의 육체)의 양을 판정할 수 있다. 따라서, 광학 프로세서(6)는 마약, 술, 나체, 또는 다른 아마도 거슬리는 또는 부적절한 컨텐츠의 텍스트 또는 이미지 의 양 또는 존재를 판정할 수 있다. 이 정보에 기초하여, 광학 프로세서(6)는 이들 및 다른 기준에 따라 문서(예를 들어, 이미지)를 평가할 수 있다. 광학 프로세서에 의한 샘플 평가가 도 6에 도시되어 있다.
이미지 파일 프로세서(7)는 또한 문서 상의 텍스트 및 이미지를 식별하고 처리할 수 있다. 그렇지만, 이미지 파일 프로세서(7)는 문서의 물리적 구현을 광학적으로 판독하는 것보다는 문서 또는 이미지(예를 들어, .pdf 또는 .tiff 파일)를 저장하는 컴퓨터 파일을 처리함으로써 그렇게 할 수 있다. 따라서, 이미지 파일 프로세서(7)는, 광학 스캐닝 요소를 가지지 않을 수 있다는 것을 제외하고는, 광학 프로세서(6)와 유사한 방식으로 동작한다.
단일의 문서가 하나 이상의 전자적 구현(electronic embodiment) 및 하나 이상의 물리적 구현(physical embodiment)을 가질 수 있다는 것을 잘 알 것이다. 예를 들어, 단일의 문서는 .pdf 파일, .gif 파일, .tiff 파일, 다른 포맷의 파일, 인쇄된 종이, 사진, 다른 물리적 실체, 또는 화면이나 모니터 상의 시각적 디스플레이의 형태를 취할 수 있다. 따라서, 단일의 문서는 전자 포맷(예를 들어, .pdf 포맷) 또는 물리적 구현(예를 들어, 종이 상에 인쇄된 문서)으로 서버(2)로부터 평가 실체(광학 프로세서(6) 및 이미지 파일 프로세서(7) 등)로 전달될 수 있다. 문서의 물리적 구현이 사용될 때 광학 프로세서(6)가 평가 정보를 결정할 수 있으며, 문서가 전자 포맷으로 되어 있을 때 광학 프로세서(6) 또는 이미지 파일 프로세서(7)가 사용될 수 있다. 광학 프로세서(6) 및/또는 이미지 파일 프로세서(7)는 서버(2)에 연결되어 있을 수 있거나 서버(2)의 일부일 수 있다.
평가 정보를 결정하기 위해 프로세서(6, 7)를 사용하는 것의 이점은 평가 정보가 (예를 들어, 자동적으로) 결정될 수 있다는 것이다. 서버(2)가 수천, 수백만 및/또는 수십억개의 서로 다른 문서를 수신하여 배포할 수 있기 때문에, 각각의 문서를 수동으로 검토하는 것의 거래 및 관리 비용이 금지되어 있거나 및/또는 고비용이 들 수 있다. 문서가 일반적인 배포를 위해 또는 하나 이상의 특정의 제공자(8)나 최종 사용자(10)로의 배포를 위해 승인되는지(예를 들어, 타당하고 적절한지) 여부를 판정하기 위해 프로세서(6, 7)는 이미지 또는 다른 문서의 충분한 사전 검토를 제공할 수 있다.
프로세서(6, 7)는 또한 문서 내의 링크를 (예를 들어, 링크를 식별한 것에 응답하여 자동적으로) 조사할 수 있다. 예를 들어, 이미지 광고 문서가 하나 이상의 링크를 포함하는 경우(예를 들어, 이미지 광고가 광고 상에 URL 링크를 디스플레이하거나, 하이퍼텍스트 링크를 내장하고 있거나 또는 다른 방식으로 보는 사람으로 하여금 예를 들어 링크를 클릭함으로써 연관된 문서를 선택할 수 있게 해주는 경우), 프로세서(6, 7)는 링크 및 링크된 문서에 액세스할 수 있다. 프로세서(6, 7)가 링크 또는 링크된 문서에 액세스할 수 없는 경우(예를 들어, 프로세서의 웹 브라우저가 링크된 문서를 로드하지 못하거나 다른 에러가 있는 경우), 프로세서는 (예를 들어, "깨진" 링크를 식별한 것에 응답하여 자동적으로) "깨진" 링크(broken link)를 보고할 수 있다. 예를 들어, 프로세서(6, 7)는 그의 평가 정보에서 이 정보를 보고할 수 있다.
평가자(4)는 제공자(8), 문서 소스(12), 최종 사용자(10), 광학 프로세 서(6), 이미지 파일 프로세서(7), 및 서버(2) 자체일 수 있다. 평가자(4)는 하나 이상의 사람, 그룹, 및/또는 프로세서일 수 있다. 평가자(4) 및 제공자(8)는 운영 서버(2)와 연관된 실체의 파트너일 수 있다. 최종 사용자(10)는 하나 이상의 사람, 컴퓨터, 컴퓨터 네트워크, 또는 네트워크 상의 다른 실체일 수 있다. 최종 사용자(10)는 제공자(8) 및/또는 서버(2)에 컨텐츠를 요청하고 그로부터 컨텐츠를 수신할 수 있다. 여러가지 응용에 기초하여 부가의 참가자가 포함될 수 있다.
서버(2)는 임의의 서버(2), 허브, 중앙 처리기, 제공자, 검색 엔진, 또는 네트워크 내의 다른 실체를 포함할 수 있다. 서버(2)에 연결된 데이터베이스(39)는 하나 이상의 데이터베이스(39-54)를 포함할 수 있다. 또한, 데이터베이스(39-54)는 단일의 데이터베이스(39)의 일부분을 포함할 수 있다. 데이터베이스(39-54)가 물리적으로 구분되거나 구분되지 않을 수 있다는 것을 잘 알 것이다. 서버(2) 및 그의 모듈(20-36)은 정보를 저장하고 데이터베이스(들)(39, 39-54) 내에 저장된 정보에 액세스할 수 있다.
컨텐츠 데이터베이스(40)는 문서 및/또는 문서의 일부분, 이미지 및 텍스트 등의 문서에 관련된 데이터를 저장할 수 있다. 문서는 평가(rate) 및/또는 미평가(unrate)될 수 있다. 예를 들어, 문서는 그와 연관된 특정 유형의 평가 정보를 갖거나 갖지 않을 수 있다. 예를 들어, 문서는 프로세서(6, 7)로부터의 평가 정보를 가질 수 있지만, 최종 사용자(10) 또는 제공자(12)로부터의 평가 정보를 갖지 않을 수 있다.
문서는 문서 소스(12), 평가자(4) 및 제공자(8)로부터 수신될 수 있거나 그 렇지 않고 서버(2)에 의해 저장되어 있을 수 있다. 컨텐츠 데이터베이스(40)는 어떤 유형 및/또는 그룹의 문서를 식별하거나 다른 방식으로 문서를 서로 연관시킬 수 있다. 예를 들어, 문서는 이하의 특징, 즉 주제, 컨텐츠 평가, 종합적 컨텐츠 평가, 감수성 점수, 컨텐츠 유형, 언어, 원산지(예를 들어, 원산 국가 또는 도시), 타겟 이용자의 지역, 문서 소스(12), 컨텐츠의 소유자, 컨텐츠의 생성자, 타겟 인구통계, 또는 다른 기준 중 하나 이상에 따라 식별되고 및/또는 다른 문서들과 연관될 수 있다. 예를 들어, 문서는 다른 거슬리는 컨텐츠, 연관된 키워드, 연관된 사이트(예를 들어, 내장된 하이퍼텍스트 링크 등을 통해 문서에 명시적으로 또는 암시적으로 링크되어 있는 사이트), 연관된 사이트의 상태(예를 들어, 문서 내의 링크가 깨져 있는지 및/또는 무효 URL을 가리키고 있는지), 육체 컨텐츠(예를 들어, 옷을 입지 않은 상태의 사람 이미지), 포르노 또는 다른 외설적 컨텐츠, 성인 컨텐츠, 마약 또는 술 관련 컨텐츠, 아이들의 컨텐츠, 또는 타겟 연령, 성별, 인종, 국적, 또는 종교에 따라 식별되거나 그룹화될 수 있다. 컨텐츠를 적절한 이용자와 매칭시키는 것과 관련된 다른 요인들이 생각될 수 있다.
컨텐츠 평가 데이터베이스(42)는 평가자(4)로부터 수신된 컨텐츠 평가("평가 정보"라고도 함) 및 문서를 평가하는 것과 관련되어 있을 수 있는 임의의 다른 정보를 저장할 수 있다. 예를 들어, 컨텐츠 평가 데이터베이스(42)는 문서 상에서의 클릭의 횟수, 문서가 제공된 횟수, 클릭율, 문서가 거래에까지 이른 횟수(예를 들어, 사용자가 문서를 클릭하고 이어서 링크된 또는 다른 방식으로 연관된 사이트로부터 구매를 한 경우), 피드백(예를 들어, 최종 사용자(10) 또는 제공자(12)로부터 수신된 피드백)에 관한 정보, 문서에 대해 제출된 불만 사항 편지에 관한 정보, 검증 정보(특정의 문서의 적절성을 보증하는 컨텐츠 생성자 등), 및 문서의 컨텐츠와 관련한 제3자 또는 다른 결정을 저장할 수 있다. 각각의 저장된 컨텐츠 평가는 특정의 평가자(4) 및 특정의 문서(예를 들어, 전자 문서)와 연관되어 있을 수 있다. 각각의 컨텐츠 평가는 하나 이상의 주제 평가를 포함할 수 있다(도 7 참조). 예를 들어, 컨텐츠 평가는 폭력적 컨텐츠에 대한 평가 및 성적 컨텐츠 및 마약 관련 컨텐츠에 대한 다른 평가를 포함할 수 있다. 문서가 하나 이상의 다른 문서에 링크되어 있는 경우(예를 들어, URL에 링크되어 있는 경우), 링크된 문서의 컨텐츠 평가도 역시 여기에 포함되어 있을 수 있다. 이들 개별적인 평가는 단일의 점수(예를 들어, 문서에 대한 단일의 종합적 평가)로 결합되거나 결합되지 않을 수 있다. 문서의 컨텐츠 평가 및/또는 종합적 평가는 문서에 대한 새로운 평가 정보가 수신될 때 변경될 수 있다.
컨텐츠 평가 데이터베이스(42)는 또한 문서의 일반적 승인 상태 및 문서에 관계된 성능 데이터를 저장할 수 있다. 승인 상태는 "승인됨", "불승인됨(disapproved)", "추가 검토까지 보류됨(suspended pending further review)", 또는 "미승인됨(un-approved)"일 수 있다. 문서는 다양한 기준에 대한 승인 상태를 가질 수 있다. 성능 데이터는, 그 중에서도 특히, 문서의 클릭율, 피드백 평가, 피드백 평가의 수, 거래율(문서가 서버(2)에 의해 제공되거나 최종 사용자에 의해 선택된 횟수와 비교된 문서가 거래에까지 이르게 된 횟수), 및 거래량(transaction volume)을 포함할 수 있다.
신뢰 점수 데이터베이스(44)는 하나 이상의 평가자(4), 문서 소스(12), 및 컨텐츠 생성자(집합적으로, "신뢰 실체"라 함)와 연관된 신뢰 점수를 저장할 수 있다. 단일의 신뢰 실체는 그와 연관된 하나 이상의 신뢰 점수를 가질 수 있다. 단일의 신뢰 실체는 다른 유형의 컨텐츠 평가 주제 영역에 대해 다른 점수를 가질 수 있다. 예를 들어, 신뢰 실체는 연령 적합성 평가에 대해 높은 신뢰 점수를 가질 수 있지만, 폭력성 평가에 대해 낮은 신뢰 점수를 가질 수 있다. 평가자는 또한 이하의 기준, 즉 시간(예를 들어, 하루 중 시간대, 일년 중 날짜), 평가자의 지리적 위치, 문서 수신자 프로파일, 평가자 실체의 크기, 평가자의 사업 영역 또는 산업, 사전 평가자 평가 일관성 또는 정확성, 신뢰 실체와 서버(2)(있는 경우) 간의 계약 조건, 및 다른 평가자(4b-4n)에 의한 신뢰 실체의 신뢰 평가 중 임의의 것에 따라 다른 신뢰 점수를 가질 수 있다. 평가자(4)는 그 자신의 컨텐츠를 평가할 때 낮은 신뢰 평가를 할당받을 수 있다. 이러한 평가는 평가자가 그 자신의 컨텐츠를 평가하고 있다는 것을 식별한 것에 응답하여 자동적으로 할당될 수 있다.
신뢰 점수는 하나 이상의 평가자(4)에 대해 정규화되거나 다른 방식으로 조절될 수 있다. 예를 들어, 신뢰 점수는 신뢰 실체가 일관성있게 더 높은 또는 더 낮은 평가, 예를 들어 특정 유형의 컨텐츠(광고)에 대한 특정 유형의 평가(폭력성)를 제공하는 것을 반영하도록 조절될 수 있다. 예를 들어, 신뢰 실체는 평가자(4a)의 평가의 80%에서 다른 평가자(4b-4n)의 평가보다 높은 평균의 적어도 하나의 표준 편차인 성인 컨텐츠 평가를 제공할 수 있다. 이것은 평균적으로 평가자(4a)의 성인 점수 평가가 장래의 평가, 예를 들어 특정 유형의 컨텐츠에 대한 특 정 유형의 장래의 평가에서의 평균보다 높을 가능성이 있다는 것을 시스템에 알려줄 수 있다.
하나 이상의 평가자의 평가 거동으로부터 다른 정보가 결정, 연역 또는 추론될 수 있다. 예를 들어, 평가자 A가 평가자 B보다 문서 XYZ에 대해 더 높은 성인 컨텐츠 평가를 제공하고 평가자 B가 평가자 C보다 문서 QRS에 대해 더 높은 성인 컨텐츠 평가를 제공하는 경우, 시스템은 평가자 A가 평가자 C보다 더 높은 성인 컨텐츠 평가를 제공하는 것으로(또는 제공하게 될 것으로) 가정할 수 있다. 그 결과, 시스템은 평가자 A 및 C 둘다로부터의 성인 컨텐츠 평가를 포함하는 평가 등의 장래의 평가에서 평가자 A(또는 B 또는 C)에 대한 신뢰 점수를 조절할(예를 들어, 낮출) 수 있다.
마찬가지로, 평가자의 신뢰 점수를 조절하는 것 대신에(또는 그에 부가하여), 평가 자체가, 신뢰 점수에 대해 상기한 바와 같이, 정규화 또는 다른 방식으로 조절될 수 있다. 예를 들어, 동일 또는 유사한 컨텐츠에 대해 유사하게 위치한 평가자(4b-4g)의 평가와 비교하여 일관되게 높은 폭력성 평가를 제공하는 특정의 신뢰 실체에 대해, 그 유형의 컨텐츠에 대한 그 특정의 신뢰 실체의 폭력성 평가는 하향 조정될 수 있다.
유의해야 할 점은 수백(또는 아마도 수천 또는 수백만)의 평가자(4)에 대해 평가가 요청되고 그로부터 평가가 수신될 수 있기 때문에, 많은 수의 사용자, 컨텐츠 유형, 평가 카테고리 및 다른 기준에 대해 편중 및 다른 평가 거동이 추적되고 예측될 수 있다. 당업자에게는 안출되는 바와 같이, 데이터를 처리하기 위해 정규 화와 다른 통계적 및/또는 데이터 처리 기술이 사용될 수 있다. 처리된 데이터는 평가, 신뢰 점수, 종합적 평가, 및 다른 계산과 정보를 조절하는 데 사용될 수 있다.
감수성 데이터(46)는 평가자(4), 제공자(8), 최종 사용자(10), 문서 소스(12), 서버(2), 특정의 문서에 대한 감수성 정보, 또는 다른 감수성 정보를 저장할 수 있다. 감수성 점수는 컨텐츠 평가를 종합하는 기준이 되는 보수성의 레벨을 나타낼 수 있다. 예를 들어, 높은 감수성 점수(예를 들어, 95%)는 종합적 평가가 아주 보수적으로 종합되어야만 함을 나타낼 수 있다. 보수적 종합(conservative aggregation)이란, 하나의 평가자(4)가 아이들에 대해 부적절한 것으로 문서를 평가한 경우, "평균적인" 평가가 그 컨텐츠가 모든 연령에 대해 적절함을 나타내고 있더라도, 종합적 평가도 역시 그 문서가 아이들에 대해 부적절함을 나타내는 것을 의미한다. 감수성 점수는 제공자(8) 및/또는 최종 사용자(10), 또는 임의의 다른 실체에 의해 지정될 수 있다. 예를 들어, 제공자(8)는 폭력적 컨텐츠 및 성적 컨텐츠에 대해 아주 높은 감수성을 지정할 수 있고, 나이 관련 컨텐츠에 낮은 감수성을 지정할 수 있다. 따라서, 서버(2)가 그 제공자(8)에 대한 문서를 선택할 때, 문서의 평가자(4) 중 아무도 어떤 성적 또는 폭력적 컨텐츠를 발견하지 못한 경우(또는 아주 적은 평가자가 성적 또는 폭력적 컨텐츠를 발견한 경우), 그 문서가 임의의 연령의 이용자에게 대한 컨텐츠를 포함할 수 있는 경우, 서버(2)는 그 문서를 선택할 수 있다.
예를 들어, 감수성 데이터베이스(46)는 제공자 A(또는 특정의 최종 사용 자(10a))가 성적 컨텐츠에 대해 55%의 감수성 점수를 가지고 또 나이 관련 컨텐츠에 대해 20%의 감수성 점수를 가짐을 나타내는 레코드를 포함할 수 있다.
종합적 평가 데이터베이스(48)는 종합적 평가를 저장할 수 있다. 각각의 종합적 평가는 평가된 문서는 물론 종합적 평가를 결정하는 데 사용된 평가자(4)와 연관될 수 있다. 종합적 평가는 또한 하나 이상의 감수성 평가 및 신뢰 점수와 연관될 수 있다. 각각의 종합적 평가는 다양한 기준에 걸친 컨텐츠 평가를 포함할 수 있다. 종합적 평가의 컨텐츠에 대해서는 이하에서 평가 종합 모듈(rating aggregation module)(30)과 관련하여 더 기술된다. 종합적 평가 데이터베이스(48)는 또한 문서의 승인 상태를 저장할 수 있다.
평가자 데이터베이스(50)는 평가자(및 다른 신뢰 실체) 정보를 저장할 수 있다. 예를 들어, 평가자 데이터베이스(50)는 특정 신뢰 실체의 신뢰 점수에 관계된 정보를 저장할 수 있다. 평가자 데이터베이스(50)는 신뢰 실체의 이름, 주소, 국적, 회사 규모, 사전 컨텐츠 평가 정보, 산업 분야, 회사 명성 정보, 사전 신뢰 점수, 및 신뢰 실체의 신뢰 점수와 관계될 수 있는 다른 정보 등의 신뢰 실체 정보를 저장할 수 있다.
평가자 데이터베이스(50)는 서버(2)가 특정의 최종 사용자(10a) 또는 제공자(8a)를 식별할 수 있게 해주는 정보를 저장할 수 있다. 예를 들어, 평가자 데이터베이스(50)는 과거에 문서에 대한 평가 정보를 제공했던 사용자의 정적 IP 주소를 저장할 수 있다.
적합성 데이터베이스(52)는 문서를 요청할 수 있는 제공자(8) 및 최종 사용 자(10)에 관한 정보를 저장한다. 예를 들어, 적합성 데이터베이스(52)는 성별, 연령, 이름, 국적, 및 최종 사용자(10) 또는 다른 컨텐츠 요청자에 관한 다른 개인 정보를 식별할 수 있다. 이 프로파일은 스페인 출신의 62세 남성이었던 다른 최종 사용자(10)와 상이할 것이다. 각각의 사용자(10) 및/또는 제공자(8)는 그들과 연관되어 있고 적합성 데이터베이스(52)에 저장되어 있는 일련의 적합성 표준을 가지고 있을 수 있다.
기타 데이터베이스(들)(54)는 평가자(4), 제공자(8), 최종 사용자(10), 문서 소스(12), 서버(2), 컨텐츠 평가, 종합적 평가, 신뢰 점수, 적합성 점수, 및 감수성 점수에 관계된 다른 정보를 저장할 수 있다.
서버(2)는 컨텐츠, 평가, 및 기타 데이터를 처리하는 하나 이상의 모듈을 포함할 수 있다.
문서 선택 모듈(20)은 평가될, 예를 들어 하나 이상의 특정 평가자에 의해 평가될 문서를 선택할 수 있다. 이 모듈(20)은 문서 데이터베이스(40)에 저장된 문서를 선택할 수 있다. 문서 선택 모듈(20)은 문서를 랜덤하게 선택할 수 있거나, 특정의 특징을 갖는 문서를 선택할 수 있다. 예를 들어, 문서 선택 모듈(20)은 특정의 문서 소스(12)에 의해 제공된 문서, 특정의 평가자(4)에 의해 평가된 문서, 특정의 길이 또는 유형의 문서(예를 들어, 짧은 광고나 이미지 광고)를 선택할 수 있다. 문서는 주제, 연관된 키워드(예를 들어, 의심스런 컨텐츠와 일반적으로 연관된 키워드), 금융 데이터, 성능 데이터, 출신지, 소유자의 신원, 생성자의 신원, 및/또는 문서와 연관된 다른 정보에 따라 선택될 수 있다.
예를 들어, 검토(예를 들어, 수동 검토)를 위해 선택될 수 있는 문서는 이하의 특징, 즉 육체 평가가 충분히 높음, 문서가 제공자(8) 또는 최종 사용자(10)에 제공된 횟수가 충분히 높거나 낮음, 문서가 최종 사용자(10)에 의해 선택된(예를 들어, 클릭된) 횟수가 충분히 높거나 낮음, 하나 이상의 카테고리에서의 평가가 충분히 높거나 낮음, 문서가 평가된 횟수가 충분히 높거나 낮음 중 하나 이상을 갖는 문서를 포함할 수 있다. 문서가 다른 문서와 연관되어 있는 경우, 연관된 문서의 임의의 컨텐츠-관련 고려사항이 검토를 위한 기초가 될 수 있다. 예를 들어, 이미지 광고가 웹 사이트의 URL에 명시적으로 또는 암시적으로 링크되어 있는 경우, 컨텐츠 고려사항(예를 들어, 웹 사이트의 "평가")은 문서를 검토 또는 불승인하기 위한 기초일 수 있다. 예를 들어, 그 사이트가 부적절한 컨텐츠를 제공하거나 보여줄 가능성이 있는 것으로 플래그가 붙여져 있는 경우, 또는 그 사이트가 이러한 컨텐츠를 제공하는 것으로 알려져 있는 경우, 문서가 검토될 수 있다. 평가자는 그의 컨텐츠 평가를 통해 이러한 조사 결과를 (예를 들어 이미지 광고로부터의 피드백을 통해) 보고할 수 있다.
게다가, 이미지 광고 등의 문서는, 그 문서가 "깨진" 문서에 링크되어 있는 경우, 불승인되거나 검토해야 하는 것으로 표시될 수 있다. 예를 들어, 최종 사용자는, 문서 내의 링크가 최종 사용자의 브라우저를 의도된 사이트로(또는 어떤 사이트로도 전혀) 효과적으로 안내하지 않다는 것을 또는 링크된 문서를 적절히 로드하지 못하는 등 다른 방식으로 에러를 야기한다는 것을, 피드백을 통해 보고할 수 있다. 문서는 또한, 제공자(8)가 그 문서(또는 문서 소스(12))에 관해 불평을 하 고 그 문서를 그의 사이트로부터 차단시키는 경우, 불승인되거나 또는 검토를 위해 선택될 수 있다.
평가된 및 미평가된 문서는 검토를 위해 선택될 수 있다. ("미평가된" 문서가 수동적 평가를 갖지 않는 문서를 포함할 수 있으며, 따라서 미평가된 문서가 광학 프로세서(6) 및 이미지 파일 프로세서(7)로부터의 평가를 갖는 문서를 포함할 수 있음을 잘 알 것이다.) 예를 들어, 높은 클릭율(CTR)을 갖는 광고가 낮은 클릭율을 갖는 광고보다 이전에 평가를 위해 선택될 수 있다. 더 많은 평가 정보(예를 들어, 부정적 피드백) 또는 상반되는 평가 정보를 갖는 문서는 더 적은 평가 정보(또는 긍정적 평가 정보)를 갖는 문서보다 우선권을 가질 수 있다. 술 유통업자로부터의 웹 페이지는 기구 제조업자로부터의 광고보다 먼저 선택될 수 있다.
평가자 선택 모듈(22)은 하나 이상의 전자 문서를 평가하는 평가자(4a-4n)를선택할 수 있다. 평가자(4) 및 연관된 문서는 랜덤하게 또는 다른 방법에 의해 선택될 수 있다. 예를 들어, 평가자(4)는 파트너 광고자들 또는 광고 목록 파트너들의 그룹 등의 특정 유형의 평가자들의 그룹으로부터 랜덤하게 선택될 수 있다. 평가자(4)는 평가자의 신뢰 점수 등의 임의의 기준에 따라 선택될 수 있다.
미평가된 문서는 평가된 문서 이전에(또는 이후에) 평가를 위해 선택될 수 있다. 어떤 평가자(4)는 평가가능한 문서들 중 일부를 서버(2)로 전송할 수 있다. 이들 평가자(4)는 문서를 검토하도록 선택되거나 선택되지 않을 수 있다. 일 실시예에서, 평가가능한 컨텐츠를 서버(2)에 제공하는 실체들은 그 컨텐츠를 서버(2)에 제공하기 이전에 그 컨텐츠를 평가한다.
신뢰 점수 모듈(24)은 평가자(4)에 대한 신뢰 점수를 결정한다. 평가자(4)의 신뢰 점수는 평가자(4)의 컨텐츠 평가가 종합적 평가를 결정함에 있어서 고려되는 정도의 척도이다. 예를 들어, 고도로 신뢰되는 평가자(4)의 컨텐츠 평가는 덜 신뢰되는 평가자(4)보다 종합적 평가의 산출에 있어서 더 큰 가중치를 부여받을 수 있다. 신뢰 점수는 평가자(4)에 관련된 이하의 요인들, 즉 평가자 이름, 회사, 회사 규모, 평가자의 위치(및 국적), 평가자의 언어, 평가자의 명성, 회사 업계, 사전 컨텐츠 평가, 사전 컨텐츠 평가의 수, 및 사전 컨텐츠 평가와 연관된 종합적 평가 또는 다른 평가자에 의한 연관된 컨텐츠 평가 간의 비교 중 임의의 것에 따라 결정될 수 있다.
감수성 모듈(26)은 제공자(8), 최종 사용자(10), 평가자(4), 및/또는 서버(2)에 대한 감수성 점수를 결정할 수 있다. 이들 점수는 사전 평가 데이터 및 데이터베이스(39) 중 임의의 것에 저장된 임의의 정보 등의 이들 실체에 관해 수집된 정보에 기초할 수 있다. 높은 감수성은 종합적 평가를 결정함에 있어서 높은 정도의 보수성을 나타낼 수 있다. 예를 들어, 제공자(8a)가 과거에 부적절하게 폭력적인 컨텐츠를 수신한 것에 불평한 경우, 감수성 모듈(26)은 높은 폭력 감수성 점수를 그 제공자(8a)와 연관시킬 수 있다.
컨텐츠 평가 모듈(28)은 컨텐츠 평가 요청을 생성하고 이들을 평가자(4)로 전달할 수 있다. 예시적인 컨텐츠 평가 요청이 도 7에 도시되어 있다. 컨텐츠 평가 요청은 평가될 문서에 대해 요청된 정보의 리스트를 포함할 수 있다. 컨텐츠 평가 요청은 각각의 문서에 대해 동일하거나 서로 다를 수 있다. 따라서, 요청된 정보는 특정의 유형의 문서(특정의 유형의 키워드 또는 산업과 관련된 이미지 광고 또는 문서 등) 등의 각각의 문서에 대해 서로 다를 수 있다(또는 동일할 수 있다). 예를 들어, 맥주 광고를 평가해달라는 요청은 맥주/술이 표현되는 방식에 관한 상세한 정보를 요청할 수 있는 반면, 전력 도구 상인의 웹 사이트를 평가해달라는 요청은 그렇지 않을 수 있다. 컨텐츠 평가 모듈(28)은 또한 평가자(4)로부터 수신된 컨텐츠 평가를 수신하여 처리할 수 있다. 컨텐츠 평가 요청 및 컨텐츠 평가는 종래의 우편, 이메일, 또는 다른 방법을 통해 전달될 수 있다. 예를 들어, 서버(2)는 문서 및 연관된 컨텐츠 평가 정보를 포함하고 있는 서버(2) 웹 사이트로의 링크를 평가자(4)에게 전송할 수 있다. 평가자는 이어서 문서에 액세스하고 서버(2) 사이트 상에서 직접 컨텐츠 평가를 제공할 수 있다. 컨텐츠 평가 모듈(28)은 이어서 평가 정보를 전자적으로 처리할 수 있다.
평가 종합 모듈(30)은 하나 이상의 평가자(4)로부터 수신된 문서의 하나 이상의 컨텐츠 평가를 처리함으로써 문서에 대한 종합적 평가를 결정할 수 있다. 평가 종합 모듈(30)은 임의의 종합 알고리즘 또는 방법을 사용할 수 있다. 예를 들어, 종합(aggregation)은 총 점수, 평균(mean), 최빈치(mode), 메디안(median), 스텝 함수, 75번째 (또는 다른) 백분위 점수(percentile score), 또는 고려된 데이터와 관련있는 임의의 다른 척도일 수 있다. 이 알고리즘은 이하의 것, 즉 예를 들어 컨텐츠 평가, 감수성 정보, 적합성 정보, 신뢰 점수 정보, 문서 성능 데이터(클릭율 및 디스플레이 빈도수 등), 및 평가자, 문서, 문서 컨텐츠, 또는 종합에 관한 다른 정보 중 하나 이상을 고려할 수 있다. 예를 들어, 한 특정의 반복에서, 어떤 컨텐츠 평가라도 여하튼 폭력성을 표시한 경우에, 평가 종합 모듈(30)은 문서에 폭력적인 것으로 표시를 할 수 있다. 이것은 폭력성에 대한 높은 감수성이 그 알고리즘에 포함되어 있는 경우에 일어날 수 있다. 다른 알고리즘은 압도적 다수의 평가자(4)가 그 문서를 강한 폭력성을 갖는 것으로 평가하는 경우에만 높은 폭력성 점수를 결정할 수 있다. 이 알고리즘은 각각의 평가자의 신뢰 점수(있는 경우)에 따라 서로 다른 평가자의 평가를 다르게 가중할 수 있다. 예를 들어, 고도로 신뢰되는 평가자의 폭력성 평가는 덜 신뢰되는 평가자의 폭력성 평가의 3배만큼 중요할 수 있다. 이 알고리즘은 또한 프로세서(6, 7)로부터 수신된 평가를 도외시할 수 있다. 다른 예들도 역시 가능하다.
종합적 평가는 하나 이상의 별개의 수치 점수(numerical score)(예를 들어, 외설성 및 폭력성같은 서로 다른 주제 영역에 대해) 및/또는 하나 이상의 말로 표현된 점수(verbal score)를 포함할 수 있다. 말로 표현된 점수는 문서의 특징의 단어(예를 들어, 작문) 분석일 수 있다. 예를 들어, 평가자는 "성적 컨텐츠" 카테고리에 4/10의 수치 점수를 제공할 수 있고, 평가자는 또한 그 문서가 "섹시하게 도발적인 눈빛을 갖는 반라의 여성을 포함하고 있다"고 말로 표현할 수 있다. 평가는 또한 하나 이상의 이진 점수(예/아니오 또는 플래그(flag)/무플래그(no-flag) 등)를 포함할 수 있다. 예를 들어, 5명의 평가자 중 3명이 문서를 그의 컨텐츠 평가에서 포르노로서 플래그를 붙이는 경우, 평가 종합 모듈(30)은 그 문서를 포르노로서 플래그를 붙일 수 있다. 수치 점수는 특정의 주제 영역에서의 총 평가의 하나 이상의 척도를 포함할 수 있으며, 수치 점수는 또한 종합된 여러가지 평가에 관 한 다른 정보를 나타낼 수 있다. 예를 들어, 점수는 평균의 표준 편차 이외에 평균을 포함할 수 있다. 종합적 평가는 말로 표현된 응답과 결합된 다차원 벡터를 포함할 수 있다.
평가 종합 모듈(30)은 또한 특정의 문서가 부가적인 검토를 받을 수 있는 것으로 결정할 수 있다. 예를 들어, 덜 신뢰되는 평가자가 문서를 포르노로서 표시한 경우, 그 문서는 추가의 검토(서버(2) 또는 그의 에이전트에 의한 수동 검토 등)를 해야 할 것으로 표시될 수 있다. 평가 종합 모듈은, 특정의 때에 또는 새로운 평가가 시스템에 입력될 때, 종합적 평가를 (예를 들어, 자동적으로) 갱신할 수 있다.
평가 종합 모듈(30)은 또한 문서 선택 모듈(20)에 의해 검토를 해야 할 것으로 플래그가 붙여져 있는 문서의 평가 또는 상태를 보류, 불승인 또는 다른 방식으로 변경할 수 있다.
적합성 표준 모듈(32)은 제공자(8) 및 최종 사용자(10) 등의 문서 수신자의 적합성 표준을 식별 또는 결정할 수 있다. 적합성 표준은 상기한 정보 등의 제공자(8) 또는 사용자(10) 정보에 기초할 수 있다. 적합성 표준은 적합성 표준 모듈(32)에 의해 식별될 수 있다. 예를 들어, 팝 가수의 웹 사이트를 보고 있는 20세 여성인 것으로 식별되는 사용자에 대한 적합성 표준은 적은 양의 폭력적 및 외설적 컨텐츠가 그 사용자에게 적절할 수 있지만, 술 관련 컨텐츠는 그렇지 않음을 나타낼 수 있다. 적합성 표준은 그 사용자에 대해 적절한 문서를 선택하기 위해 사용될 수 있다.
서버(2)가 요청하는 서비스 제공자(8) 또는 최종 사용자(10)에게 전달될 가능성이 있는 하나 이상의 문서를 선택하려고 시도하는 경우, 적합성 표준 모듈(32)은 제공자(8) 또는 최종 사용자(10)의 선호도에 관련된 임의의 정보가 적합성 데이터베이스(52) 내에 저장되어 있는지 여부를 판정하려고 시도할 수 있다. 잠재적인 컨텐츠 수신자에 대해 적합성 표준이 존재하는 경우, 문서 제공 모듈(34)은 적합성 표준을 만족시키는 문서(예를 들어, 폭력적 컨텐츠를 거의 포함하지 않는 문서)를 선택할 수 있다. 이와 유사하지만 약간 다른, 적합한 컨텐츠 식별 방법은, 본 명세서에 기술되어 있는 바와 같이, 감수성 점수를 사용하여 달성될 수 있다.
문서 제공 모듈(34)은 제공자(8), 최종 사용자(10) 또는 다른 실체로부터의 요청에 응답하여 문서를 선택 및 제공할 수 있다. 예를 들어, 아동 서적 소매상은 그의 사이트 상에 디스플레이할 광고를 요청할 수 있다. 그에 응답하여, 문서 제공 모듈(34)은 아동 서적 소매상과 연관된 감수성 점수 정보 및 적합성 정보를 식별하거나 결정할 수 있고 이어서 이 정보(식별된 적합성 표준 등)에 기초하여 문서를 선택할 수 있다. 예를 들어, 그 사이트가 폭력적 컨텐츠에 대한 높은 감수성과 연관되어 있는 경우, 문서 제공 모듈(34)은 폭력적 컨텐츠 없음을 나타내는 종합적 평가를 갖는 컨텐츠를 선택할 수 있다. 문서 제공 모듈(34)은 또한 신뢰된 평가자에 의해 못마땅한 폭력적 컨텐츠를 갖지 않는 것으로 검증된 문서를 선택할 수 있다.
문서 선택은 문서와 연관된 종합적 평가(또는 컨텐츠 평가)는 물론 적합성 및/또는 감수성 정보에 기초할 수 있다. 예를 들어, 문서 제공 모듈(34)은 제공 자(8)(또는 최종 사용자(10))가 외설적 컨텐츠에 대해 높은 감수성을 갖는 것으로 판정할 수 있으며, 따라서 어떤 평가자도 포르노 컨텐츠를 발견하지 못한 문서 또는 어떤 평가자도 어떤 종류의 성적 컨텐츠도 발견하지 못한 문서를 선택할 수 있다. 문서 제공 모듈(34)은 또한 제공자가 어린이 컨텐츠의 카테고리에서 높은 값을 나타내는 종합적 평가를 갖는 문서를 선호하는 것으로 판정할 수 있으며, 따라서 실질적인 어린이 컨텐츠를 포함하는 문서를 선택할 수 있다.
특정의 제공자(8) 및 최종 사용자(10)(또는 문서를 수신하는 다른 실체)에 대한 적합성 및/또는 감수성 점수를 식별함으로써, 그 실체와 연관된 적합성 프로파일(또는 표준)에 맞는 문서가 선택될 수 있다. 따라서, 최종 사용자는 거슬리지 않는 컨텐츠를 수신할 수 있고, 컨텐츠 제공자는 그 사이트 상에 제공되는 컨텐츠의 적절성을 보장할 수 있다.
어떤 실시예들에서, 문서 제공 모듈(34)은 "승인된" 문서를 선택 및 제공할 수 있다. 승인된 문서는 다양한 컨텐츠 영역 중 임의의 것에서 충분히 높거나 다른 방식으로 타당한 종합적 평가를 갖거나 또는 충분히 높은 컨텐츠 평가를 갖는 임의의 문서일 수 있다. 예를 들어, 어떤 실시예들에서, 승인된 문서는 모든 이용자들에 대한 일반적인 승인을 나타내는 평가를 갖는 임의의 문서일 수 있다. 어떤 실시예들에서, 승인된 문서는 부정적 평가를 갖지 않는(또는 어떤 평가도 갖지 않는) 임의의 문서일 수 있다. 예를 들어, 피드백(도 4 참조) 등의 평가 정보를 제공하는 수단을 갖는 광고 이미지의 경우, 승인된 문서는 피드백을 갖지 않는 문서를 포함할 수 있다.
문서 선택 모듈(34)은 문서의 수신자에 기초하여 문서를 선택할 수 있다. 예를 들어, 수신자가 남성인 경우, 문서 선택 모듈(34)은 남성 이용자와 연관된 문서를 선택할 수 있다.
문서 선택 모듈(34)은, 예를 들어 최종 사용자의 컴퓨터 상의 "쿠키"를 조사함으로써, 수신자 정보를 식별할 수 있다. 예를 들어, 문서 선택 모듈(34)은 이전에 제공된 문서에 대한 평가 정보 등의 최종 사용자로부터 수신된 사전 정보에 기초하여 최종 사용자(10)의 선호도를 식별할 수 있다. 문서 선택 모듈에 의해 인에이블되거나 식별되는 정보는 평가자 데이터베이스(50)에 저장될 수 있다.
광학 데이터 모듈(35)은 광학 프로세서(6)로 정보를 전달하고 그로부터 정보를 전달할 수 있다. 광학 데이터 모듈(35)은 광학 데이터를 수신하고 그 데이터를 처리하여 평가 정보를 결정할 수 있고(광학 프로세서(6) 자체에 대해 상기한 바와 같음), 및/또는 광학 데이터 모듈(35)은 단지 광학 프로세서(6)에 의해 결정된 평가 정보를 수신하여 처리할 수 있다. 광학 데이터 모듈(35)은 이 데이터를, 필요에 따라 다른 모듈(20-38)에 의해 판독가능한 포맷으로 변환할 수 있다.
파일 데이터 모듈(36)은 이미지 파일 프로세서(7)로 정보를 전달하고 그로부터 정보를 전달할 수 있다. 광학 데이터 모듈(35)은 광학 데이터를 수신하고 그 데이터를 처리하여 평가 정보를 결정할 수 있고(광학 프로세서(6) 자체에 대해 상기한 바와 같음), 및/또는 광학 데이터 모듈(35)은 단지 이미지 파일 프로세서(7)에 의해 결정된 평가 정보를 수신하여 처리할 수 있다. 광학 데이터 모듈(35)은 이 데이터를, 필요에 따라 다른 모듈(20-38)에 의해 판독가능한 포맷으로 변환할 수 있다.
종합하면, 광학 데이터 모듈(35) 및 파일 데이터 모듈(36)은 이미지 광고 또는 이미지를 포함하는 다른 문서 등의 문서의 평가를 처리할 수 있다. 서버(2)가 문서 소스(12)로부터 새로운 또는 수정된 문서를 수신할 때(또는 문서를 수정하라고 요청할 때), 모듈(35, 36)은 상기한 바와 같이 문서가 처리되고 평가되게 할 수 있다. 이와 같이, 각각의 문서가 서버(2)에 의해 수신될 때(또는 서버(2)에 의해 발생될 때) 각각의 문서에 대한 평가가 자동적으로 획득될 수 있다. 선택된 문서에 대한 수동 평가도 역시 상기한 바와 같이, 예를 들어 문서 선택 모듈(20)을 통해 획득될 수 있다.
기타 모듈(들)(38)은 전자 문서를 평가하는 것과 관계된 다른 기능을 달성할 수 있다.
예시적인 시스템 네트워크 환경
도 2는 본 발명의 일 실시예에 따른, 문서를 평가하는 시스템의 동작을 위한 네트워크화된 환경을 나타낸 것이다. 이러한 환경에서, 평가자(4) 및 제공자(8)는 서버(2)에 문서 및 평가 정보를 제공하고 또 서버(2)로부터 문서 및 평가 요청 정보를 수신하기 위해 네트워크(14, 15)를 통해 (예를 들어, 보안 https 연결을 사용하여) 서버(2)에 연결될 수 있다. 서버(2)는 문서 및 평가 정보를 데이터베이스(39)에 저장할 수 있다. 서버(2)는 인쇄 매체로 직접 배포하는 것, 서버(2)와 제휴된 하나 이상의 웹 사이트 상에 문서를 제공하는 것, 및 제공자(8)를 통하는 것을 비롯하여, 여러가지 포럼 또는 피드를 통해 문서를 배포할 수 있다. 유의할 점은 제공자가 서버(2)(예를 들어, 원하는 보안에 따라 네트워크(14) 또는 네트워크(15)를 통해 연결됨), 컨텐츠 시스템(예를 들어, 연관된 컨텐츠 데이터베이스를 가짐), 및 서버(2) 또는 제공자(들)(8)에 의해 동작되는 검색 엔진 시스템의 신디케이션 파트너(syndication partner)를 포함할 수 있다는 것이다.
이들 여러가지 포럼을 통해, 제공자(8)에 제공된 문서는 최종 사용자(10)에 디스플레이되는 페이지(또는 다른 문서)에 포함될 수 있다(종종 각인(impression)이라고 함).
서버(2), 평가자(4), 제공자(8), 및 문서 소스(12) 각각은 이하의 시스템, 즉 웹 서버(2), 데이터베이스 서버(2), 프록시 서버(2), 네트워크 밸런싱 메카니즘 및 시스템, 시스템을 인터넷 또는 다른 네트워크 유형 시스템 상에서 동작할 수 있게 해주는 다양한 소프트웨어 컴포넌트 중 하나 이상을 포함하는 컴퓨터화된 시스템을 포함할 수 있다. 게다가, 네트워크(14, 15)는, http 네트워크로 도시되어 있지만, 사설 회선, 인트라넷, 또는 임의의 다른 네트워크 등의 다른 네트워크를 포함할 수 있다. 예시적인 실시예에서, 광고 제공자 등의 문서 소스(12)와 서버(2) 간의 연결(및 제공자(8)와 서버(2) 사이 등의 다른 연결)은 데이터가 임의의 해커 또는 다른 제3자에 의해 공격 또는 손상을 받지 않도록 보장하기 위해 보안 네트워크 연결을 포함할 수 있다. 게다가, 2개의 평가자(4) 및 2개의 문서 제공자(12)가 도시되어 있지만, 하나 이상의 평가자(4) 및 하나 이상의 문서 제공자(12)가 네트워크에 제공될 수 있다는 것을 잘 알 것이다. 이와 유사하게, 하나의 데이터베이스(39)가 도시되어 있지만, 다수의 데이터베이스(39)가 제공될 수 있고 또 이러한 데이터베이스(39)가, 분산 데이터베이스 서버(2) 아키텍처를 비롯하여, 임의의 유형의 네트워크 연결을 통해 서버(2)에 연결될 수 있다는 것을 잘 알 것이다.
이와 유사하게, 제공자(8a)는 http 또는 https 네트워크를 비롯한 임의의 유형의 네트워크를 통해 평가자(4) 또는 서버(2)에 연결되어 있는 임의의 수의 이러한 시스템을 포함할 수 있다. 컨텐츠 제공자(8)는 인터넷 또는 다른 네트워크 프로토콜을 통한 연결을 가능하게 해주는 기능을 제공하는 서버(2) 등의 시스템을 포함할 수 있다. 최종 사용자(10)는 임의의 사용자(인터넷에 연결된 사용자 등)를 포함할 수 있고, 인터넷 서비스 제공자, 케이블 회사, 및 인터넷을 통해 데이터에 액세스하는 임의의 다른 방법을 통하는 것을 비롯하여, 여러가지 유형의 네트워크 중 임의의 것을 통해 그 연결을 가능하게 해주는 컴퓨터화된 시스템을 포함할 수 있다. 제공자(8)는 최종 사용자(10)에게 광고 등의 컨텐츠를 배포하는 임의의 시스템을 포함할 수 있다.
예시적인 프로세스
도 3은 본 발명의 일 실시예에 따른, 전자 문서를 평가하는 예시적인 방법을 나타낸 플로우차트이다. 본 명세서에 기술된 방법은 도 1 및 도 2에 기술된 시스템들에 의해 구현될 수 있다.
블록(300)에서, 하나 이상의 문서가 수신될 수 있다. 예를 들어, 서버(2)는 하나 이상의 파트너 광고자 또는 다른 컨텐츠 제공자로부터 하나 이상의 광고를 수신할 수 있다. 다른 대안으로서 또는 그에 부가하여, 서버(2)는 하나 이상의 문서를 발생할 수 있다.
블록(310)에서, 서버(2)는 하나 이상의 평가자로 전달할 하나 이상의 문서를 선택할 수 있다. 예를 들어, 서버(2)는 하나 이상의 파트너 광고자 또는 컨텐츠 제공자로 문서를 전달할 수 있으며, 이 경우 이들 실체는 평가자일 수 있다. 이들 평가자는 블록(300)에서 그로부터 문서가 수신된 실체와 동일한 또는 다른 실체일 수 있다(즉, 서버(2)는 블록(310)에서의 평가자 중 하나가 될 문서의 최초 제공자를 (블록 (300)으로부터) 선택할 수 있다).
서버(2)는 랜덤하게 또는 알고리즘 및/또는 하나 이상의 기준에 기초하여 문서 및 평가자를 선택할 수 있다. 문서는 복수의 문서 중에서 선택될 수 있고, 평가자는 복수의 평가자 중에서 선택될 수 있다. 이 설명이 하나의 전자 문서를 평가하는 방법에 대해 기술하고 있지만, 많은 문서가 이 방법을 사용하여 동시에 평가될 수 있다는 것을 잘 알 것이다. 예를 들어, 각각의 부가적인 문서가 서버(2)에 의해 수신될 때, 그 문서들은 시스템에 의해 (자동적으로) 선택된 하나 이상의 평가자로 전달될 수 있다. 이 문서들은 상기한 바와 같이 문서 선택 모듈(20)에 의해 선택될 수 있다.
블록(320)에서, 선택된 문서(또는 선택된 문서로의 링크)가 하나 이상의 평가자로 전달될 수 있다. 예를 들어, 서버(2)는 문서를 평가하게 될 하나 이상의 파트너 광고자로 문서를 전달할 수 있다. 서버(2)는 또한 문서에 대해 요청된 여러가지 평가를 기술하는 평가 명령어를 평가자(4)로 전송할 수 있다. 평가 명령어는 특정의 평가 정보를 얻기 위해 평가자를 재촉하는 사이트로 평가자를 안내하는 링크(예를 들어, 피드백 링크)를 제공할 수 있다. 링크된 사이트는 또한 문서 자 체를 획득하거나 보기 위한 수단을 포함할 수 있다. 예를 들어, 서버(2)는 타겟 연령 범위, 가족용 컨텐츠, 폭력적인 컨텐츠, 및 기타 기준 등의 다양한 기준에 따라 문서를 평가하도록 각각의 평가자에게 요청할 수 있다.
서버(2)는 또한 문서를 평가할 수 있는(또는 평가하지 않을 수 있는) 최종 사용자에게 (직접 또는 제공자를 통해 간접적으로) 문서를 전달할 수 있다. 문서 자체는 평가를 위한 내장된 수단을 가질 수 있다. 예를 들어, 이미지 광고는 평가 정보를 제공하기 위한 "피드백" 링크를 가질 수 있다. 이미지 광고(또는 평가 정보를 제공하는 수단을 갖는 다른 문서)를 수신하는 최종 사용자는 이어서 그 문서를 평가할 수 있다. 이러한 시나리오에서, 블록(310)에서 평가자가 선택될 필요가 없는데, 그 이유는 문서의 수신자가 잠재적인 평가자일 수 있기 때문이다.
블록(330)에서, 평가자는 문서와 연관된 하나 이상의 컨텐츠 평가("평가 정보"라고도 함)를 발생할 수 있다. 예를 들어, 파트너 평가자는 하나 이상의 평가자 직원 또는 대행자로 하여금 문서를 검토하고 서버(2)에 의해 지정된 각각의 카테고리 내의 문서를 평가하게 할 수 있다. 컨텐츠 평가는 수치 점수(예를 들어, 1 내지 5 사이의 수, 또는 다른 수 또는 퍼센트), 코드(폭력적인 것에 대해 "V" 등), 또는 말로 표현된 의견(예를 들어, 작문 응답)일 수 있다.
예를 들어, 최종 사용자 또는 다른 평가자는 피드백 링크를 클릭함으로써 평가 정보를 제공하도록 선택을 할 수 있다. 피드백 링크는 평가자가 평가 정보를 제공할 수 있는 사이트(또는 사이버 공간에서의 다른 위치)로 평가자를 안내할 수 있다. 예를 들어, 피드백 링크는 여러가지 평가 정보를 얻기 위해 평가자를 재촉 하는 사이트로 평가자를 안내할 수 있다(도 7 참조). 평가 정보는 프롬프트에 입력될 수 있다.
예를 들어, 광학 프로세서(6), 이미지 파일 프로세서(7), 및 광학 및 파일 데이터 모듈(35, 36)에 대해 상기한 바와 같이, 문서가 프로세서에 의해 평가될 수 있다는 것을 이해해야 한다. 문서가 자동적으로 평가되는 경우, 블록(300-330) 모두는 자동적으로 또 거의 동시에 행해질 수 있다. 서버(2)가 예를 들어 광학 또는 파일 데이터 모듈(35, 36)을 통해 자체적으로 문서를 평가하는 경우, 블록(340)에서 서버(2)는 평가자로부터 평가 정보를 "수신"할 필요가 없다.
블록(340)에서, 컨텐츠 평가가 평가자로부터 수신될 수 있다. 예를 들어, 컨텐츠 평가가 서버(2)에 의해 피드백 링크를 통해 최종 사용자로부터 또는 파트너 광고자로부터 수신될 수 있다.
선택적인 블록(350)에서, 감수성 평가 및 평가자 신뢰 점수가 식별될 수 있다. 예를 들어, 서버(2)는 문서에 대한 컨텐츠 평가를 제출한 평가자 중 하나 이상과 연관된 신뢰 점수를 식별할 수 있다. 신뢰 점수는 도 1의 신뢰 점수 모듈(24)에 대해 기술된 바와 같이 결정되고 식별될 수 있으며, 감수성 정보는 도 1의 감수성 모듈(26)에 대해 기술된 바와 같이 결정되고 식별될 수 있다.
블록(360)에서, 종합적 평가가 결정될 수 있다. 종합적 평가는 컨텐츠 평가, 감수성 점수, 및 신뢰 점수 중 하나 이상에 기초할 수 있다. 종합적 평가는 평가 종합 모듈(30)(도 1 참조)에 대해 상기한 바와 같이 임의의 방법에 의해 결정될 수 있다. 종합적 평가는 일반적인 승인 또는 불승인을 포함할 수 있다.
블록(370)에서, 문서에 대한 요청이 수신될 수 있다. 예를 들어, 서버(2)는제공자(8) 또는 최종 사용자(10)로부터 문서에 대한 요청을 수신할 수 있다. 블록(380)에서, 적합성 표준 및/또는 감수성 점수가 결정될 수 있다.
블록(390)에서, 문서가 선택될 수 있다. 예를 들어, 사용자 또는 제공자로부터 문서에 대한 요청을 수신하는 서버(2)는 사용자 또는 제공자에 대한 문서를 선택할 수 있다. 이 선택은 사용자 또는 제공자의 적합성 표준, 문서의 하나 이상의 종합적 평가, 및/또는 평가자, 서버(2), 제공자(들), 및/또는 사용자(들)와 연관된 감수성 점수에 기초할 수 있다.
블록(400)에서, 하나 이상의 선택된 문서는 요청하는 실체로 전달될 수 있다. 예를 들어, 블록(370)에서 제공자 또는 사용자가 문서를 요청한 경우, 서버(2)는 경우에 따라서는 선택된 문서를 제공자 또는 사용자에게 전달할 수 있다.
당업자라면, 제공자, 평가자, 및 최종 사용자 등의 실체에 연결된 서버(2) 시스템 등의 하나 이상의 컴퓨팅 시스템에서 구현될 수 있는 바와 같이, 기술된 동작들이 사람의 개입이 있는 또는 없는 상태에서 하드웨어, 소프트웨어 또는 이들의 조합에 의해 수행될 수 있다는 것을 잘 알 것이다. 게다가, 블록들 전부가 달성되어야만 하는 것이 아님을 이해해야 한다. 예를 들어, 일 실시예에서, 이 방법은 블록(340)에서 시작하고 블록(390)에서 종료될 수 있다. 또한, 각각의 블록에서의 동작(들)이 도 3에 도시된 순서로 수행될 필요는 없다. 임의의 수행 순서가 생각될 수 있다.
유의할 점은 사용자 또는 컨텐츠 제공자가 서버(2)에 문서를 요청하기 이전 보다는 이러한 요청을 한 후에 종합적 컨텐츠 평가가 결정될 수 있다는 것이다. 감수성, 적합성 표준, 및 평가자 신뢰 점수가 시간에 따라 변할 수 있기 때문에, 또한 특정의 문서에 대해 새로운 평가가 부가될 수 있기 때문에, 문서의 종합적 평가도 변할 수 있다. 문서를 사용자 또는 제공자에게 제공하기 이전에 문서에 대한 최신의 평가를 획득하는 것은 그 문서가 사용자 또는 제공자에게 적합할 가능성을 최대화시킬 수 있다.
예시적인 사용자 인터페이스 및 결과
도 4는 본 발명의 실시예에 따른 예시적인 문서(1)를 도시한다. 도 4는 인터넷 검색 엔진으로부터의 예시적인 웹 페이지(3) 검색 결과를 나타낸 것이다. 웹 페이지(3) 자체는 문서일 수 있다. 웹 페이지(3) 상의 컨텐츠도 역시 문서일 수 있다. 예를 들어, 검색 결과 페이지(3) 상의 광고(1)도 역시 문서일 수 있다. 광고, 파일, 프로그램, 및 기타 정보 등의 다른 유형의 문서도 생각될 수 있다.
문서는 여러가지 유형의 컨텐츠를 가질 수 있다. 예를 들어, 문서는 단어, 이미지, 사운드, 및 기타 정보는 물론, 단어, 이미지, 사운드, 및 기타 정보를 동적으로 생성할 수 있는 함수 또는 프로그램을 가질 수 있다. 각각의 문서는 성적 컨텐츠, 폭력적 컨텐츠, 마약 또는 술 관련 컨텐츠, 금융 컨텐츠, 성인-관련 컨텐츠, 어린이-관련 컨텐츠, 및 기타 컨텐츠 등의 여러가지 유형의 컨텐츠를 서로 다른 양만큼 가질 수 있다.
도 5는 본 발명의 일 실시예에 따른 예시적인 이미지 광고 문서(1)를 나타낸 것이다. 이미지 광고(1)는 배너 광고, 웹 페이지 상에 디스플레이될 수 있는 다른 광고, 또는 전자적 수단을 통해 디스플레이될 수 있는 다른 그래픽 광고를 포함할 수 있다. 이미지 광고(1)는 특정의 이미지(1A), 광고 텍스트(1B), 하나 이상의 링크(1C), 및 문서(1)를 평가하는 메카니즘(1D)을 보여준다. 특정의 이미지(1A)는 필름 프로젝터, 및 DVD, VHS 및 디지털 필름 컨테이너의 이미지를 포함하고 있다. 텍스트(1B)는 광고 메시지, 예를 들어 제품 또는 서비스의 설명, 잠재적 고객에 대한 제안, 및/또는 다른 광고 텍스트를 포함한다. 링크(1C)는 광고자의 웹 페이지 URL 등의 다른 문서로의 링크를 포함할 수 있다. 예를 들어, 링크(1C)는 내장된 하이퍼텍스트 링크를 포함할 수 있고, 내장된 링크는 문서(1)의 이미지에 디스플레이되는 링크(1C)와 연관되어 있을 수 있다. 어떤 실시예들에서, (예를 들어, 웹 브라우저에서) 문서(1)을 보면서 디스플레이된 URL 또는 다른 링크를 선택(예를 들어, 클릭)하는 것은 문서를 보기 위한 뷰어의 메카니즘(예를 들어, 웹 브라우저)을 링크(예를 들어, 광고자의 웹 페이지)와 연관된 컨텐츠로 안내할 수 있다.
문서(1)가 명시적으로 링크(1C)를 디스플레이할 수 있다. 다른 대안으로서, 링크(1C)는 링크(1C)가 보이지 않도록 문서(예를 들어, 문서의 프로그래밍) 또는 그의 일부분 내에 내장되어 있을 수 있다. 여기서, 문서(1), 이미지(1A), 텍스트(1B), 또는 문서의 다른 일부분을 선택(예를 들어, 클릭)하는 것은 사용자의 문서 뷰잉 메카니즘을 링크된 문서(들)로 안내할 수 있다. 문서(1) 자체, 이미지(1A), 및 텍스트(1C)는 또한 하나 이상의 링크(1C)를 포함할 수 있다. 예를 들어, 복수의 제품을 광고하는 광고는 각각의 제품에 대한 링크를 포함할 수 있으며, 여기서 특정의 제품에 관련된 이미지(1A), 아이콘(1A), 또는 텍스트(1B)를 선택(예 를 들어, 클릭)하는 것은 웹 브라우저(또는 다른 문서 뷰잉 메카니즘)를, 특정의 제품과 연관된 상인의 사이트에 있는 페이지로(또는 다른 문서로) 안내할 수 있다.
메카니즘(1D)은 평가 정보를 제공하는 링크를 포함할 수 있다. 예를 들어, 메카니즘(1D)의 선택(예를 들어, 링크(1D)를 클릭하는 것)은 문서 뷰어를, 사용자가 평가 정보를 제공할 수 있는 이메일 또는 웹 페이지로 안내할 수 있다. 예를 들어, 웹 페이지는 평가 정보를 제공하기 위한 프롬프트를 포함하거나 아니면 평가 정보를 요청할 수 있다. 본 명세서에서 평가자(4)와 서버(2) 간의 통신 링크를 제공하는 다른 메카니즘(1D)이 생각될 수 있다.
도 6은 본 발명의 일 실시예에 따른 예시적인 문서 평가(600)를 나타낸 것이다. 문서 평가(600)는 예를 들어 광학 프로세서(6), 이미지 파일 프로세서(7), 광학 데이터 모듈(35), 또는 파일 데이터 모듈(36)에 의해 자동적으로 발생될 수 있다. 문서 평가(600)는 컨텐츠, 성능, 또는 문서에 관한 기타 특성에 관련된 정보를 포함할 수 있다. 예를 들어, 문서 평가(600)는 이하의 정보, 즉 문서 텍스트(예를 들어, OCR에 의해 식별된 텍스트), 문서 이미지(들)(예를 들어, 프로세서(6, 7)에 의해 식별된 이미지)의 설명, 텍스트 및/또는 이미지(들)와 연관된 컨텐츠 키워드, 임의의 이미지(들)에서 검출되는 육체(예를 들어, 옷을 입지 않은 사람의 육체)의 분량, 잠재적으로 부적절한 컨텐츠(예를 들어, 술 및 폭력 등의 부적절한 컨텐츠의 유형으로 구성됨)의 분량, 신뢰 점수 정보, 피드백의 분량 및 컨텐츠 등의 피드백 정보, 클릭율 등의 문서의 성능 데이터, 일반적 평가, 및 임의의 다른 평가-관련 또는 문서-관련 정보(예를 들어, 본 명세서에 언급됨) 중 임의의 것을 포함 할 수 있다. 문서에 대한 성능 데이터는 컨텐츠 평가 데이터베이스(42)로부터 획득될 수 있다.
다른 문서(예를 들어, 이미지 광고)는 와인잔을 들고 있는 비키니를 입은 여성의 사진 및 "햇볕에서 WineCo 브랜드 와인을 즐기세요"라는 관련 제목을 가질 수 있다. 다른 문서는 "빚"이라고 되어 있는 아이콘을 겨냥하고 있는 총을 들고 있는 남자를 보여줄 수 있다. 다른 문서는 "지난 해 6.25% 수익을 낸 FundCo에 투자"라고 되어 있을 수 있다. 다른 문서는 무지개 아래에서 춤을 추면서 "It's a Small World After All" 노래를 부르고 있는 아이들을 보여줄 수 있다. 다른 문서는 클릭될 때 사용자로 하여금 비디오 게임에서와 같이 커서를 사용하여 호수에 앉아 있는 오리에 라이플(rifle)을 겨눔으로써 가상적으로 오리 사냥을 할 수 있게 해주는 아이콘을 가질 수 있다. 광고 등의 각각의 문서는 또한 광고(또는 그의 일부분)가 선택되는 경우(예를 들어, 사용자 장치를 통해 클릭되는 경우) 액세스되는 사이트의 URL(예를 들어, 텍스트 문자로 되어 있음)을 명시적으로 열거하고 있는 광고의 하단에 견본을 포함할 수 있다. 게다가, 이 견본(또는 문서의 다른 부분)은 문서의 소스 또는 후원자임을 나타내는 그래픽 또는 텍스트를 포함할 수 있다.
도 7은 본 발명의 일 실시예에 따른 예시적인 컨텐츠 평가 요청(700)("피드백 질문 사항")을 나타낸 것이다. 컨텐츠 평가 요청(700)은 일정 범위의 주제 및 컨텐츠 유형에 걸친 특정의 평가(701-703)에 대한 하나 이상의 요청을 포함할 수 있다. 예를 들어, 폭력(701), 십대 적절성(702), 국가-관련 적합성 고려사항(703), 및 다른 정보에 대한 평가의 요청이 있을 수 있다. 예를 들어, 컨텐츠 평가 요청은 성적 컨텐츠, 폭력적 컨텐츠, 성인 컨텐츠, 언어-관련 또는 국가-관련 컨텐츠, 또는 다른 유형의 컨텐츠 또는 기준의 분량을 나타내는 숫자(예를 들어, 1 내지 10의 숫자)를 제공하도록 평가자에게 요구할 수 있다. 이 요청은 또한 문서가 언제(하루, 일주, 일년 중 시간) 보기에 가장 적합한지에 관한 정보를 요청할 수 있다. 이 요청은 또한 요청자의 수치 평가에 대한 이유를 설명하거나 다른 말로 표현된 평가를 제공하도록 요청자에게 요구할 수 있다.
도 8은 본 발명의 일 실시예에 따른 예시적인 컨텐츠 평가(80)(전체로서 또는 부분적으로 완성된 피드백 질문 사항)를 나타낸 것이다. 컨텐츠 평가(80)는 폭력성에 대한 평가(81), 십대 적절성(82), 및 국가-관련 적합성 고려사항(83), 및 다른 정보 등의 문서에 대한 하나 이상의 주제 영역 컨텐츠 평가(81-83)를 포함할 수 있다. 컨텐츠 평가는 컨텐츠 평가 요청(도 7 참조)에 대한 하나 이상의 응답을 포함할 수 있다. 컨텐츠 평가는 성적 컨텐츠, 폭력적 컨텐츠, 성인-테마 컨텐츠, 문화-관련 컨텐츠, 또는 다른 컨텐츠 기준 등의 다양한 기준에 걸친 수치 평가 또는 말로 표현된 평가를 나타낼 수 있다.
실제로, 서버(2)는 문서 소스로부터 복수의 이미지 광고 또는 다른 문서를 수신할 수 있다. 서버(2)는, 각각의 이미지 광고를 수신할 때, 예를 들어 프로세서(6, 7)를 통해 문서를 평가할 수 있다. 이 평가는 포르노, 거슬리는 단어 및 잠재적으로 거슬리는 링크된 사이트 등의 잠재적으로 거슬리는 컨텐츠에 대한 이미지 광고를 차단(screen)할 수 있다. 예를 들어, 이 평가는 이러한 거슬리는 컨텐츠를 갖는 것으로 판정되지 않는 광고만을 승인할 수 있다.
제공자(또는 최종 사용자)가 이미지 광고 등의 문서를 요청할 때, 서버(2)는 그 요청에 응답하여 이미지 광고를 제공할 수 있다. 서버(2)는, 그의 컨텐츠, 적합성, 요청자의 신원, 이미지 광고의 성능, 및 기타 요인들에 따라, 승인된 이미지 광고를 선택할 수 있다. 예를 들어, 사용자의 요청이 하나 이상의 키워드와 연관되어 있는 경우, 서버(2)는 하나 이상의 동일한 또는 유사한 키워드(예를 들어, 의미론적 공간에서 밀접하게 관계된 키워드)와 연관된 이미지 광고를 제공할 수 있다. 예를 들어, 사용자가 검색 엔진 상에서 단어 "항공편"을 검색하고 검색 결과 문서를 요청하는 경우, 서버(2)는 단어 "항공편"에 관련된 이미지 광고를 갖는 검색 결과를 제공할 수 있다.
최종 사용자(10) 등의 평가자(4)는 이미지 광고의 일부일 수 있는 피드백 링크를 통해 피드백을 제공할 수 있다. 예를 들어, 광고가 극도의 폭력성의 묘사 등의 거슬리는 컨텐츠를 포함하고 있는 경우, 최종 사용자는 피드백 링크를 클릭하여 (그 문서를 상당한 폭력적 컨텐츠를 갖는 것으로 평가함으로써) 이러한 컨텐츠를 나타내는 피드백을 제공할 수 있다. 서버(2)는 평가 정보를 수신하고 그에 따라 이미지 광고의 평가를 변경할 수 있다.
서버(2)는 또한 문서의 검토를 요청하거나, (예를 들어, 하나 이상의 제공자에 또는 어린이 등의 하나 이상의 최종 사용자에) 문서를 제공하는 것을 중단하거나, 문서의 배포를 변경 또는 보류하거나, 또는 문서의 평가 및/또는 성능 정보에 기초하여 다른 방식으로 문서의 상태를 변경할 수 있다. 예를 들어, 상기한 바와 같이, 서버(2)는 광고의 평가(예를 들어, 종합적 평가 또는 하나 이상의 구체적인 컨텐츠 평가)가 부적절한 또는 거슬리는 컨텐츠를 나타내는 경우 이미지 광고를 제공하는 것을 중단하거나 광고의 추가적인 검토를 요청할 수 있다. 이것은 또한 특정의 제공자(8a)가 그 제공자(8a)를 통해 문서가 배포되지 못하도록 차단하는 경우에 또는 평가자(4)가 (예를 들어, 피드백 메카니즘을 통해) 부가적인 수동 검토를 요청하는 경우에 일어날 수 있다. 성능 정보에 관해서는, 문서가 충분히 낮은(또는 높은) 클릭율, 거래량 또는 다른 성능 특성을 갖는 경우, 서버(2)는 광고의 수동 검토를 요청하거나 다른 방식으로 광고의 상태를 변경할 수 있다. 예를 들어, 문서가 낮은 클릭율을 갖는 경우, 서버(2)는 하나 이상의 부가적인 평가자(4)에게 문서를 검토하도록 요청할 수 있다. 바람직하지 않은 성능 특성(예를 들어, 낮은 클릭율)을 갖는 문서는 최종 사용자에의 배포에 대해 불승인될 수 있다. 이 경우에, 이들이 불승인될 수 있는 이유는 부적절한 컨텐츠 때문이 아니라 최종 사용자(10) 관심 또는 수익을 제대로 창출하지 못하기 때문이다.
서버(2)는 임의의 이유로 수동 검토를 요청할 수 있다. 예를 들어, 서버(2)는 평가에 상관없이 당연한 일로서 문서의 어떤 제한된 수동 검토를 요청할 수 있다. 서버(2)는 또한 문서 소스(12)의 신뢰 점수 또는 다른 요인에 따라 수동 검토를 요청할 수 있다.
문서가 평가되기 이전에(또는 문서의 충분히 신뢰성있는 평가를 결정하기에 충분한 평가 정보가 있기 이전에), 문서는 "미승인됨", 즉 "아직 승인되지 않음"으로서 분류될 수 있다. 이들은 문서 소스(12)로부터 수신된 문서일 수 있거나, 또는 이들은 아직 평가되지 않은(또는 프로세서에 의해서만 평가된), 서버(2)에 의해 발생된 문서일 수 있다. 이들 문서의 경우, 컨텐츠 평가 데이터베이스(42)는 문서의 평가가 "미승인됨", "미결정됨", "검토중" 또는 "예비 승인됨" 기타 등등임을 나타낼 수 있다. 문서는 여전히 예를 들어 문서에 관한 평가 정보(예를 들어, 피드백)를 획득하기 위해 (예를 들어, 제공자(8)를 통해) 최종 사용자(10)에게 전달될 수 있다. 그렇지만, 문서의 제공은 그의 불확실한 상태로 인해 제한될 수 있다. 예를 들어, 문서는 어린이(10) 또는 비파트너 제공자(8) 등의 특정의 사용자(10a) 또는 제공자(8a)에게 제공되지 않을 수 있다. 평가 정보를 획득하고 및/또는 문서에 대한 종합적 평가를 결정한 후에, 서버(2)는 사용자(10), 요청, 사용자 정보, 제공자 정보, 및/또는 문서-관련 정보에 기초하여 사용자(10)에게 문서를 전달할 수 있다. 예를 들어, 성적 컨텐츠를 포함하는 이미지 광고는 성인 웹 사이트를 보기 위한 요청에 응답하여 선택되어 성인 사용자에게 전달될 수 있다.
문서는 피드백 메카니즘(1D)을 포함할 수 있다. 어떤 피드백(또는 없음 등의 지정된 분량의 부정적 피드백)도 수신하지 않고 문서가 여러번(예를 들어, 5000번) 보여진 후에, 문서는 승인됨 또는 완전히 승인됨(예를 들어, "모든 이용자들에 대해 승인됨")으로서 분류될 수 있다. 이러한 문서는 제한없이 최종 사용자(10)에게 전달될 수 있다. 게다가, 피드백 메카니즘(1C)이 문서로부터 제거될 수 있거나(예를 들어, 불필요한 것으로 생각되기 때문에) 문서의 컨텐츠가 다른 방식으로 수정될 수 있다.
추가의 검토를 필요로 하는 것으로 식별된 문서에 대한 검토(들)(예를 들어, 추가적인 수동 검토)를 획득하기 위해, 서버(2)는 하나 이상의 문서 및 이 하나 이 상의 문서를 검토할 하나 이상의 평가자(4)를 선택할 수 있다. 예를 들어, 수동 검토를 필요로 하는 100개의 문서 중에서, 서버(2)는 수동 평가를 위한 5개를 선택할 수 있고, 이어서 5개 문서 각각을 평가할 3개의 평가자를 선택할 수 있다. (또한 및/또는 다른 대안으로서, 서버(2)는 각각의 문서가 3개의 평가자(4)를 갖지만 평가자(4) 각각이 3개의 문서 전부를 갖지 않도록 복수의 선택된 평가자(4)에게 5개의 문서를 전송할 수 있다.) 서버(2)는 각각의 문서와 함께 평가 요청을 전송할 수 있다. 또한, 서버(2)는 문서 및 평가 요청(예를 들어, 평가 양식)을 데이터베이스에(예를 들어, 데이터베이스(6)에 및/또는 웹 사이트 상에) 게시할 수 있고, 평가자(4)로 하여금 데이터베이스에 액세스하여 컨텐츠 평가를 제공할 수 있게 해준다.
예를 들어, 비키니를 입은 여성 및 와인잔을 갖는 문서의 한 평가자에 의한 하나의 컨텐츠 평가(80)는 성적 컨텐츠인지에 대해 10 중에서 6의 평가, 술 컨텐츠인지에 대해 5 중에서 4의 평가, 그 문서가 어린이에 적합하다는 표시를 보여줄 수 있으며, 이 평가는 그 문서가 오후 7와 오전 6시 사이의 시간에 가장 적합하다는 표시를 포함할 수 있다. 동일한 문서에 대한 제2 평가자로부터의 컨텐츠 평가는 성적 컨텐츠인지에 대해 10 중에서 7의 평가, 술 컨텐츠인지에 대해 5 중에서 3의 평가, 그 문서가 어린이에 적합하다는 표시, 및 그 문서가 오후 4시와 오전 6시 사이의 시간에 가장 적합하다는 표시를 나타낼 수 있다. 동일한 문서에 대한 제3 평가자로부터의 컨텐츠 평가는 성적 컨텐츠인지에 대해 10 중에서 8의 평가, 술 컨텐츠인지에 대해 5 중에서 3의 평가, 그 광고가 어린이에 적합하지 않다는 표시, 및 그 문서가 오후 11시와 오전 6시 사이의 시간에 가장 적합하고 휴일에는 적합하지 않다는 표시를 나타낼 수 있다
서버(2)는 3가지 평가에 기초하여 이 문서에 대한 종합적 평가를 산출해낼 수 있다. 서버(2)는 어린이 컨텐츠에 대해 높은 감수성을 지정하고 폭력적 컨텐츠에 대해 중간 감수성을 지정할 수 있다. 서버(2)는 3가지 성적 컨텐츠 평가의 평균(또는 메디안)(이 경우에 이는 10 중의 7임)에 기초하여 성적 컨텐츠에 대한 종합적 평가를 산출해낼 수 있다. 서버(2)는 술 평가의 최빈치(mode)(가장 통상적인 점수)(이 경우에 이는 5 중의 3임)에 기초하여 술 컨텐츠에 대한 종합적 평가를 산출할 수 있다. 또한, 서버(2)는 제1 평가자가 낮은 신뢰 점수를 가지는 경우 5 중의 4의 제1 평가자의 평가를 도외시할 수 있으며, 3가지 평가의 가중 평균은 5 중 3.1(이는 3으로 반올림될 수 있음)일 수 있다. 서버(2)가 어린이 컨텐츠에 높은 감수성을 적용하기 때문에, 그 문서가 어린이에 적합하지 않은 것으로 평가자 중 하나가 나타내기 때문에 서버는 그 문서가 어린이에 적합하지 않은 것으로 판정할 수 있다. 서버(2)는 가장 신뢰된 평가자의 하루 중 시간대 평가(time of day rating)를 선택할 수 있다. 평가자가 가장 적합한 시간이 오후 11시부터 오전 6시까지인 것으로 나타낸 경우, 종합적인 평가는 가장 적합한 시간이 오후 11시부터 오전 6시까지인 것으로 나타낼 수 있다. 종합적 평가는 또한 종합적 평가의 각각의 구성요소에 대한 표준 편차를 나타낼 수 있거나 또는 서로 다른 평가자로부터의 서로 다른 평가의 분산(variance)을 나타내는 어떤 다른 척도를 사용할 수 있다.
3가지 평가 중 임의의 것이 종합적 평가와 상당히 다른 경우, 그 평가는 추 가적인 검토를 해야 할 것으로 표시될 수 있다. 예를 들어, 단지 하나의 평가자만이 문서가 어린이에 적합하지 않은 것으로 나타내었기 때문에, 서버(2)(또는 서버(2)의 대행자 또는 다른 평가자)는 특이한 평가가 정확한지 여부를 판정하기 위해 문서를 검토할 수 있다. 예를 들어, 서버(2)는 평가자의 평가를 검토하고 및/또는 문서에 대한 하나 이상의 부가적인 평가를 발생(또는 요청)할 수 있다. 결과에 따라, 서버(2)는 (예를 들어, 종합적 평가를 재산출함으로써) 종합적 평가를 변경하고 및/또는 하나 이상의 컨텐츠 기준에 대한 문제의 평가자의 신뢰 점수를 변경할 수 있다.
다른 문서들의 종합적 평가도 역시 결정될 수 있다. 예를 들어, 아이들이 무지개 아래에서 노래하는 광고는 성적 컨텐츠가 없고, 술 컨텐츠가 없으며, 폭력적 컨텐츠가 없고 또 하루 중 임의의 시간(특히 오전 8시에서 오후 6시까지)에 적합한 것으로 평가될 수 있다.
최종 사용자 또는 제공자는 이어서 자정에 문서를 요청할 수 있다. 예를 들어, 고객이 제공자의 웹 페이지를 클릭할 수 있고, 제공자는 제공자의 사이트 상에서 고객에 디스플레이할 광고를 요청할 수 있다. 서버(2)는 여러가지 문서들의 종합적 컨텐츠 평가에 따라 제공자에 전달할 문서를 선택할 수 있다. 적절한 문서를 선택하기 위해, 서버(2)는 또한 요청하는 제공자(또는 사용자)의 감수성 및 적합성 정보를 식별할 수 있고 또 요청 시간 등의 다른 기준을 고려할 수 있다. 예를 들어, 서버(2)는 제공자가 성적 컨텐츠에 대해 높은 감수성을 갖는다는 것을 식별할 수 있다. (다른 예에서, 서버(2)는 (예를 들어, 사용자의 IP 주소와 연관된 데이 터베이스에 저장된 쿠키 또는 정보를 사용하여) 사용자의 연령 및 성별(예를 들어, 25세 남성)을 식별할 수 있다.) 서버(2)는 예를 들어 하루 중 시간대에 대해 감수성 또는 적합성 기준을 할당할 수 있다. 자정에 있는 요청에 대해, 서버(2)는 하루 중 중간보다 성적 및 폭력적 컨텐츠에 더 낮은 감수성을 할당할 수 있는데, 그 이유는 어린이가 그 시간에 인터넷을 브라우징하고 있을 가능성이 아주 낮기 때문이다. 관련 시간은 서버(2), 제공자(8), 또는 최종 사용자(10)의 관점에서 본 것일 수 있다.
따라서, 서버(2)는 성적 컨텐츠에 높은 감수성을 가지고 폭력적 컨텐츠에 중간 감수성을 갖는 제공자에 적합한 문서를 선택할 수 있다. 서버(2)는 선택을 위해, 비키니/와인 문서, 노래하는 아이들, 및 오리 사냥 문서를 비롯한, 데이터베이스에 저장된 문서들 전부 또는 그 일부분을 고려할 수 있다. 예를 들어, 서버(2)는 성적 컨텐츠가 거의 없거나 전혀 없고 단지 가벼운(또는 보다 적은) 폭력성이 있음을 나타내는 종합적 평가를 갖는 그 문서들만을 고려할 수 있다. 하루 중 중간에, 서버(2)는 하루 중 시간대로 인해 폭력적 컨텐츠에 높은 감수성을 적용할 수 있으며, 따라서 그 시간에는 비폭력적 문서만을 고려할 수 있다. 그렇지만, 자정에, 서버(2)는 보다 이른 시간이라면 사용자에게 적절하지 않을 수 있는 다른 문서를 고려할 수 있다.
서버(2)는 이어서 문서 요청 및 관련 감수성 및 적합성 정보와 연관된 여러가지 기준에 맞는 문서를 검색할 수 있다. 아이들이 노래하는 이미지가 거슬리거나 잠재적으로 거슬리는 컨텐츠를 전혀 가지지 않을 수 있지만, 그것은 또한 낮은 클릭율을 가지며 따라서 선택되지 않을 수 있다. 유의할 점은 잠재적으로 거슬리는 컨텐츠를 거의 갖지 않거나 전혀 갖지 않는 문서가 잠재적으로 거슬리는 자료를 포함하는 문서보다 선호될 수도 그렇지 않을 수도 있다는 것이다. 여기에서, 오리 사냥 문서는 그의 종합적 평가가 단지 가벼운 폭력성만을 나타내는 경우에 선택될 수 있다. 이 문서가 높은 클릭율을 갖는 광고인 경우에 그 문서의 선택 가능성이 더 많을 수 있다. 문서 선택의 다른 요인들이 고려될 수 있다.
본 명세서에 기술된 서버, 프로세서, 및 모듈이 그의 기능(예를 들어, 광학 정보를 판독하는 것 또는 평가 정보를 결정하는 것)을 자동적으로 또는 자동화된 시스템을 통해 수행할 수 있다는 것을 잘 알 것이다. 본 명세서에서 사용되는 바와 같이, 용어 "자동적으로"는 동작이 임의의 기계-실행가능 프로세스에 의해 수행되는 것, 예를 들어 사람의 개입 또는 입력을 필요로 하지 않는 프로세스를 말한다.
본 발명의 실시예들은 본 명세서에 기술된 특정의 실시예들에 의해 범위가 제한되어서는 안된다. 예를 들어, 본 명세서에 개시된 실시예들 중 다수가 광고와 관련하여 기술되어 있지만, 본 명세서의 원리들은 문서 및 다른 컨텐츠에 똑같이 적용가능하다. 실제로, 본 발명의 실시예들의 여러가지 변형은, 본 명세서에 기술된 것들에 부가하여, 당업자에게는 이상의 설명 및 첨부 도면으로부터 명백할 것이다. 따라서, 이러한 변형은 이하의 첨부된 청구항들의 범위 내에 속하는 것으로 보아야 한다. 게다가, 본 발명의 실시예들 중 일부가 특정의 목적을 위한 특정의 환경에서의 특정의 구현과 관련하여 본 명세서에 기술되어 있지만, 당업자라면 그 의 유용성이 이들에 한정되지 않으며 또 본 발명의 실시예들이 유익하게도 임의의 수의 목적을 위해 임의의 수의 환경에서 구현될 수 있다는 것을 잘 알 것이다. 따라서, 이하에 기술되는 청구항들은 본 명세서에 기술된 본 발명의 실시예들의 전범위 및 정신을 고려하여 해석되어야만 한다.

Claims (65)

  1. 이미지를 포함하는 문서를 평가하는 방법으로서,
    배포를 위한 문서를 수신하는 단계,
    하나 이상의 평가 실체로부터 상기 문서와 연관된 평가 정보를 수신하는 단계 - 상기 하나 이상의 평가 실체 중 적어도 하나는 상기 이미지와 연관된 평가 정보를 결정하는 프로세서를 포함함 -, 및
    상기 평가 정보에 기초하여 배포를 위한 상기 문서를 승인하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 문서는 웹 페이지, 웹 페이지에서 사용될 수 있는 컨텐츠, 및 프로그램 중 적어도 하나를 포함하는 방법.
  3. 제1항에 있어서,
    상기 프로세서는 광학 판독기를 포함하며,
    상기 프로세서는,
    상기 광학 판독기에 의해 상기 이미지로부터 광학 데이터를 판독하는 단계,
    상기 광학 데이터를 컴퓨터-판독가능 데이터로 변환하는 단계, 및
    상기 컴퓨터-판독가능 데이터를 처리하는 단계
    를 통해 평가 정보를 결정하는 방법.
  4. 제3항에 있어서,
    상기 프로세서는 상기 컴퓨터-판독가능 데이터를 처리함으로써 하나 이상의 개념을 상기 이미지와 연관시키는 방법.
  5. 제1항에 있어서,
    상기 문서는 이미지 광고를 포함하는 방법.
  6. 제1항에 있어서,
    상기 문서는 광고자와 연관된 이미지 광고를 포함하고, 상기 이미지 광고는 상기 광고자와 연관된 웹 사이트로의 링크를 포함하는 방법.
  7. 제6항에 있어서,
    사용자에 의한 상기 이미지 광고의 선택에 응답하여, 상기 사용자가 상기 이미지 광고와 연관된 웹 사이트로 안내되게 하는 단계를 더 포함하는 방법.
  8. 제1항에 있어서,
    상기 문서는 수신자들이 상기 문서를 평가할 수 있도록 해주는 피드백 메카니즘을 포함하는 방법.
  9. 제1항에 있어서,
    상기 이미지 프로세서에 의해 상기 이미지를 적어도 하나의 저장된 이미지와 비교하는 단계를 더 포함하는 방법.
  10. 제1항에 있어서,
    상기 이미지를 저장하는 파일을 처리함으로써 상기 문서와 연관된 하나 이상의 개념을 식별하는 단계를 더 포함하는 방법.
  11. 제1항에 있어서,
    상기 프로세서는 상기 이미지 내의 사람 육체 컨텐츠(human flesh content)를 식별하는 방법.
  12. 제1항에 있어서,
    상기 문서는 이미지 광고를 포함하며,
    상기 방법은,
    검색 결과에 대한 요청을 수신하는 단계, 및
    상기 이미지 광고를 포함하는 검색 결과를 제공하는 단계
    를 더 포함하는 방법.
  13. 제1항에 있어서,
    상기 문서가 부적절한 컨텐츠를 포함하고 있다는 판정에 응답하여 상기 문서를 불승인하는 단계를 더 포함하는 방법.
  14. 제1항에 있어서,
    상기 문서는 이미지 광고를 포함하고,
    상기 방법은, 상기 이미지 광고의 성능 파라미터에 기초하여 상기 이미지 광고를 승인하는 단계를 더 포함하는 방법.
  15. 제14항에 있어서,
    상기 성능 파라미터는 클릭율(click-through-rate), 거래량(transaction volume), 거래율(transaction rate), 및 피드백 평가들의 수 중 하나인 방법.
  16. 제1항에 있어서,
    상기 문서를 상기 하나 이상의 평가 실체로 배포하는 단계를 더 포함하는 방법.
  17. 제1항에 있어서,
    상기 문서는 개념과 연관된 이미지 광고를 포함하고,
    상기 방법은, 상기 개념과 연관된 문서에 대한 요청에 응답하여 상기 이미지 광고를 제공하는 단계를 더 포함하는 방법.
  18. 제1항에 있어서,
    제공자가 상기 문서의 배포를 거부한다는 판정에 응답하여 상기 문서를 불승인하는 단계를 더 포함하는 방법.
  19. 제1항에 있어서,
    상기 문서는 웹 사이트로의 링크를 포함하며,
    상기 방법은, 상기 링크가 사용자의 브라우저를 상기 웹 사이트로 안내하지 않는다는 판정에 응답하여 상기 문서를 불승인하는 단계를 더 포함하는 방법.
  20. 제1항에 있어서,
    상기 평가 정보가 부적절한 컨텐츠의 표시를 포함하지 않는 경우 상기 문서를 승인하는 단계를 더 포함하는 방법.
  21. 제1항에 있어서,
    상기 평가 정보는 부적절한 컨텐츠의 표시를 적어도 하나 포함하며,
    상기 방법은, 하나 이상의 추가적인 평가 실체로부터의 평가 정보를 요청하는 단계를 더 포함하는 방법.
  22. 제1항에 있어서,
    상기 문서는 웹 사이트로의 링크를 포함하며,
    상기 방법은, 상기 웹 사이트가 부적절한 컨텐츠를 포함한다는 판정에 응답하여 상기 문서를 불승인하는 단계를 더 포함하는 방법.
  23. 제1항에 있어서,
    상기 문서를 승인하는 단계는 또한 적어도 하나의 신뢰 점수(trust score)에 기초하며, 각각의 신뢰 점수는 상기 하나 이상의 평가 실체 중 특정의 평가 실체와 연관되어 있는 방법.
  24. 제23항에 있어서,
    상기 특정의 평가 실체로부터 수신된 평가 정보에 기초하여 상기 하나 이상의 평가 실체 중 상기 특정의 평가 실체의 신뢰 점수를 수정하는 단계를 더 포함하는 방법.
  25. 제23항에 있어서,
    적어도 하나의 신뢰 점수는 상기 하나 이상의 평가 실체 중 상기 연관된 특정의 평가 실체의 지리적 위치에 기초하는 방법.
  26. 제23항에 있어서,
    적어도 하나의 신뢰 점수는 상기 하나 이상의 평가 실체 중 상기 연관된 특정의 평가 실체로부터 수신된 하나 이상의 사전 컨텐츠 평가에 기초하는 방법.
  27. 제23항에 있어서,
    적어도 하나의 신뢰 점수는 상기 하나 이상의 평가 실체 중 상기 연관된 특정의 평가 실체와 연관된 산업에 기초하는 방법.
  28. 제23항에 있어서,
    적어도 하나의 신뢰 점수는 상기 하나 이상의 평가 실체 중 특정의 평가 실체의 평가 편차(rating deviation)에 기초하며,
    상기 평가 편차는 (i) 상기 특정의 평가 실체로부터 수신된 하나 이상의 문서에 대한 평가 정보와 (ii) 하나 이상의 다른 평가 실체로부터 수신된 상기 하나 이상의 문서에 대한 평가 정보의 비교에 기초하는 방법.
  29. 제23항에 있어서,
    상기 평가 정보 및 상기 적어도 하나의 신뢰 점수에 기초하여 종합적 평가를 결정하는 단계를 더 포함하며,
    상기 문서를 승인하는 단계는 또한 상기 종합적 평가에 기초하는 방법.
  30. 제29항에 있어서,
    적어도 하나의 신뢰 점수는 평가 실체의 평가 편차에 기초하며,
    상기 평가 편차는 (i) 상기 평가 실체로부터 수신된 하나 이상의 문서에 대한 평가 정보와 (ii) 상기 하나 이상의 문서에 대한 종합적 평가들의 비교에 기초하는 방법.
  31. 제23항에 있어서,
    상기 하나 이상의 평가 실체 중 특정의 평가 실체의 상기 신뢰 점수는 하나 이상의 문서에 대한 상기 특정의 평가 실체로부터 미리 수신된 평가 정보에 기초하는 방법.
  32. 제23항에 있어서,
    상기 하나 이상의 평가 실체 중 하나 이상에 대한 하나 이상의 정정된 신뢰 점수를 결정하는 단계, 및
    상기 하나 이상의 정정된 신뢰 점수에 기초하여 정정된 종합적 평가를 결정하는 단계를 더 포함하는 방법.
  33. 제23항에 있어서,
    상기 적어도 하나의 신뢰 점수 중 적어도 하나는 상기 연관된 평가 실체의 지리적 위치 및 상기 연관된 평가 실체로부터 수신된 사전 평가 정보 중 적어도 하나에 기초하는 방법.
  34. 제1항에 있어서,
    상기 평가 정보는 제공자에 의한 문서의 배포의 거부를 포함하며,
    상기 방법은, 상기 제공자로의 상기 문서의 배포를 차단하는 단계를 더 포함하는 방법.
  35. 제1항에 있어서,
    상기 프로세서가 상기 문서를 승인하지 않았다는 판정에 응답하여 수동 검토를 위해 상기 문서를 하나 이상의 평가자로 전달하는 단계를 더 포함하는 방법.
  36. 제1항에 있어서,
    상기 평가 정보는 상기 문서 내의 성적인 컨텐츠, 폭력적 컨텐츠, 성인 컨텐츠, 및 타겟이 되는 연령 컨텐츠 중 적어도 하나에 관한 정보를 포함하는 방법.
  37. 제1항에 있어서,
    상기 문서는 문서 소스와 연관되어 있으며,
    상기 방법은, 프로세서에 의해 상기 이미지를 하나 이상의 저장된 이미지와 비교하는 단계를 더 포함하며,
    상기 하나 이상의 저장된 이미지는 또한 상기 문서 소스와 연관되어 있는 방법.
  38. 제37항에 있어서,
    상기 하나 이상의 저장된 이미지는 승인된 이미지를 포함하며,
    상기 방법은, 상기 이미지가 상기 승인된 이미지와 실질적으로 동일하다는 판정에 응답하여 상기 이미지를 승인하는 단계를 더 포함하는 방법.
  39. 제1항에 있어서,
    기준과 관련된 신호를 수신하는 단계, 및
    상기 기준 및 상기 평가 정보에 기초한 상기 신호에 응답하여 상기 문서를 전달하는 단계를 더 포함하는 방법.
  40. 제39항에 있어서,
    상기 신호는 실체로부터 수신된 요청이고, 상기 실체는 적합성 표준과 연관되어 있으며, 상기 전달 단계는 상기 문서가 상기 적합성 표준을 만족시키는지 여부에 기초하는 방법.
  41. 제40항에 있어서,
    상기 평가 정보에 기초하여 종합적 평가를 결정하는 단계, 및
    상기 종합적 평가 및 상기 적합성 표준에 기초하여 배포를 위한 상기 전자 문서를 선택하는 단계를 더 포함하는 방법.
  42. 제39항에 있어서,
    적어도 하나의 신뢰 점수를 식별하는 단계 - 각각의 신뢰 점수는 상기 하나 이상의 평가 실체 중 특정의 평가 실체와 연관되어 있음 -, 및
    상기 평가 정보 및 상기 적어도 하나의 신뢰 점수에 기초하여 종합적 평가를 결정하는 단계 - 상기 문서를 승인하는 단계는 또한 상기 종합적 평가에 기초함 - 를 더 포함하는 방법.
  43. 제39항에 있어서,
    상기 기준은 감수성 점수(sensitivity score)를 포함하는 방법.
  44. 제39항에 있어서,
    상기 문서에 대한 새로운 평가 정보를 수신하는 단계, 및
    상기 문서와 연관된 정정된 종합적 평가를 결정하기 위해 상기 새로운 평가 정보를 처리하는 단계를 더 포함하는 방법.
  45. 제1항에 있어서,
    상기 평가 정보를 종합함으로써 상기 문서의 종합적 평가를 결정하는 단계를 더 포함하며, 상기 평가 정보는 적어도 2개의 평가 실체로부터 수신되고, 상기 문서를 승인하는 단계는 상기 종합하는 단계에 기초하는 방법.
  46. 제45항에 있어서,
    상기 종합적 평가는 상기 평가 정보의 메디안(median)을 포함하는 방법.
  47. 제45항에 있어서,
    상기 종합적 평가는 상기 평가 정보의 최빈치(mode)를 포함하는 방법.
  48. 제45항에 있어서,
    상기 종합적 평가는 수량(quantity)을 포함하는 방법.
  49. 제45항에 있어서,
    상기 종합적 평가는 상기 평가 정보의 평균(mean)을 포함하는 방법.
  50. 제1항에 있어서,
    상기 문서를 하나 이상의 개념과 연관시키는 단계를 더 포함하는 방법.
  51. 제1항에 있어서,
    상기 평가 정보에 기초하여 상기 문서를 하나 이상의 키워드와 연관시키는 단계를 더 포함하는 방법.
  52. 제51항에 있어서,
    개념과 연관된 문서에 대한 요청을 수신하는 단계 - 상기 요청은 제공자 및 최종 사용자 중 적어도 하나로부터 수신됨 -, 및
    상기 문서를 상기 제공자 및 최종 사용자 중 상기 적어도 하나로 배포하는 단계
    를 포함하고,
    상기 배포 단계는 상기 개념과 상기 하나 이상의 키워드 간의 연관성에 기초하는 방법.
  53. 제1항에 있어서,
    상기 문서는 수신자들이 상기 문서를 평가할 수 있게 해주는 피드백 메카니즘을 포함하며,
    상기 방법은,
    적어도 하나의 수신자로부터 상기 문서의 부정적 컨텐츠 평가를 수신하는 단계, 및
    상기 부정적 컨텐츠 평가에 기초하여 상기 문서를 적어도 하나의 사람 평가자에게 전달하는 단계를 더 포함하는 방법.
  54. 제1항에 있어서,
    상기 문서는 수신자들이 상기 문서를 평가할 수 있게 해주는 피드백 메카니 즘을 포함하며,
    상기 방법은,
    적어도 하나의 수신자로부터 상기 문서의 부정적 컨텐츠 평가를 수신하는 단계, 및
    상기 부정적 컨텐츠 평가에 기초하여 배포를 위한 상기 문서를 승인 또는 불승인하는 단계를 더 포함하는 방법.
  55. 제1항에 있어서,
    상기 문서는 이미지 광고이고,
    상기 방법은,
    상기 이미지 광고의 클릭율을 결정하는 단계, 및
    상기 클릭율에 기초하여 상기 광고를 승인 또는 불승인하는 단계를 더 포함하는 방법.
  56. 전자 문서를 평가하기 위해 컴퓨터 프로그램 코드로 인코딩된 컴퓨터-판독가능 매체로서,
    상기 프로그램 코드는,
    하나 이상의 평가 실체로부터 상기 문서와 연관된 평가 정보를 수신하는 단계 - 상기 하나 이상의 평가 실체 중 적어도 하나는 이미지와 연관된 평가 정보를 판정하는 프로세서를 포함함 -, 및
    상기 평가 정보에 기초하여 상기 문서를 승인할지 여부를 판정하는 단계
    를 수행하는데 효과적인 컴퓨터-판독가능 매체.
  57. 문서들을 평가하는 시스템으로서,
    하나 이상의 평가 실체로부터 문서와 연관된 평가 정보를 수신하는 입력 장치 - 상기 하나 이상의 평가 실체 중 적어도 하나는 이미지 프로세서를 포함함 -,
    이미지와 연관된 평가 정보를 결정하는 이미지 프로세서, 및
    상기 평가 정보에 기초하여 상기 문서를 승인할지 여부를 판정하는 프로세서
    를 포함하는 시스템.
  58. 문서들을 평가하는 시스템으로서,
    하나 이상의 평가 실체로부터 문서와 연관된 평가 정보를 수신하는 평가 수신 수단 - 상기 하나 이상의 평가 실체 중 적어도 하나는 이미지 프로세서를 포함함 -,
    이미지와 연관된 평가 정보를 결정하는 이미지 처리 수단, 및
    상기 평가 정보에 기초하여 상기 문서를 승인할지 여부를 판정하는 판정 수단
    을 포함하는 시스템.
  59. 서버로 신호를 전송하는 단계 - 상기 서버는 상기 신호를 문서에 대한 기준 과 연관되어 있는 것으로 해석하고, 하나 이상의 문서에 대한 복수의 평가자로부터 수신된 평가 정보에 부분적으로 기초하여 또한 상기 하나 이상의 문서가 상기 기준과 관련되어 있는지 여부에 부분적으로 기초하여 이미지를 포함하는 문서가 전달될 것인지 여부를 판정하며, 상기 하나 이상의 문서 중 적어도 하나는 이미지를 포함하고, 상기 복수의 평가자는 이미지를 처리하고 문서를 평가하는 이미지 프로세서를 포함함 -, 및
    상기 신호에 응답하여 이미지를 포함하는 문서를 수신하는 단계
    를 포함하는 방법.
  60. 서버 시스템으로부터 하나 이상의 문서를 수신하는 단계 - 상기 하나 이상의 문서 중 적어도 하나는 이미지를 포함하고, 상기 서버 시스템은 이미지를 처리하고 문서를 평가하는 이미지 프로세서를 포함함 -, 및
    제공되는 평가에 기초해서 문서에 대한 요청들에 응답하여 상기 하나 이상의 문서를 전달할지 여부를 판정할 때 상기 서버 시스템이 사용하기 위한 평가 정보를 상기 서버 시스템에 제공하는 단계
    를 포함하는 방법.
  61. 이미지를 포함하는 특정의 문서를 평가하는 방법으로서,
    상기 문서를 하나 이상의 평가 실체로 배포하는 단계 - 상기 하나 이상의 평가 실체 중 적어도 하나는 상기 이미지를 저장하는 파일 및 상기 이미지의 광학 데 이터 중 적어도 하나를 처리함으로써 평가 정보를 결정하는 프로세서를 포함함 -,
    상기 하나 이상의 평가 실체로부터 상기 특정의 문서와 연관된 평가 정보를 수신하는 단계,
    상기 특정의 문서를 하나 이상의 특정의 기준과 연관시키는 단계,
    상기 평가 정보에 기초하여 상기 특정의 문서를 승인할지 여부를 판정하는 단계,
    기준과 관련되어 있는 문서에 대한 요청을 수신하는 단계, 및
    상기 특정의 문서를 포함하는 데이터베이스로부터 배포를 위한 문서를 선택하는 단계 - 상기 선택하는 단계는 상기 기준 및 상기 평가 정보에 기초함 -
    를 포함하는 방법.
  62. 문서를 평가하는 방법으로서,
    이미지를 포함하는 제1 광고와 연관된 제1 컨텐츠 평가를 수신하는 단계 - 상기 제1 컨텐츠 평가는 상기 이미지를 처리함으로써 상기 제1 컨텐츠 평가를 결정하는 이미지 프로세서로부터 수신됨 -,
    하나 이상의 평가자로부터 상기 제1 광고와 연관된 하나 이상의 제2 컨텐츠 평가를 수신하는 단계 - 상기 하나 이상의 평가자 중 적어도 하나는 최종 사용자임 -,
    상기 평가 정보에 기초하여 상기 제1 광고에 대한 종합적 평가를 결정하는 단계,
    하나 이상의 광고의 전자 전달에 대한 요청을 수신하는 단계 - 상기 요청은 개념과 연관되어 있음 -,
    상기 제1 광고 및 하나 이상의 제2 광고를 포함하는 데이터베이스로부터 광고를 선택하는 단계 - 상기 하나 이상의 제2 광고의 각각은 이미지 및 종합적 평가를 포함함 -, 및
    상기 요청에 기초하여 상기 선택된 광고를 전자적으로 전달하는 단계
    를 포함하는 방법.
  63. 제62항에 있어서,
    상기 제1 광고를 상기 최종 사용자에게 배포하는 단계 - 상기 제1 광고는 피드백 링크를 포함함 -, 및
    상기 피드백 링크를 통해 상기 최종 사용자 컨텐츠 평가를 수신하는 단계를 더 포함하는 방법.
  64. 전자 문서를 승인하는 방법으로서,
    배포를 위해 전자 문서를 처리하는 단계 - 상기 전자 문서는 수신자들이 상기 전자 문서를 평가할 수 있게 해주는 피드백 메카니즘을 포함함 -,
    문서에 대한 복수의 요청을 수신하는 단계 - 각각의 요청은 복수의 최종 사용자 중 하나로부터 수신됨 -,
    대응하는 복수의 요청에 기초하여 상기 복수의 최종 사용자로 상기 전자 문 서를 전달하는 단계, 및
    상기 복수의 최종 사용자 중 미리 정해진 수의 최종 사용자로 상기 전자 문서를 전달한 것에 기초하여 그 최종 사용자들로부터 임계값보다 많은 피드백을 수신하지 않고 배포를 위한 상기 전자 문서를 승인하는 단계
    를 포함하는 방법.
  65. 제64항에 있어서,
    상기 피드백의 임계값은 영 피드백(zero feedback)인 방법.
KR1020067026074A 2004-05-10 2005-05-10 이미지를 포함하는 문서를 평가하는 시스템 및 방법 KR101321234B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10/841,834 US7801738B2 (en) 2004-05-10 2004-05-10 System and method for rating documents comprising an image
US10/841,834 2004-05-10
PCT/US2005/015963 WO2005111896A2 (en) 2004-05-10 2005-05-10 System and method for rating documents comprising an image

Publications (2)

Publication Number Publication Date
KR20070007964A true KR20070007964A (ko) 2007-01-16
KR101321234B1 KR101321234B1 (ko) 2013-10-25

Family

ID=35240515

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020067026074A KR101321234B1 (ko) 2004-05-10 2005-05-10 이미지를 포함하는 문서를 평가하는 시스템 및 방법

Country Status (7)

Country Link
US (1) US7801738B2 (ko)
EP (1) EP1787258A4 (ko)
KR (1) KR101321234B1 (ko)
CN (1) CN101116100A (ko)
AU (2) AU2005242772B2 (ko)
CA (1) CA2566738C (ko)
WO (1) WO2005111896A2 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008106460A1 (en) * 2007-02-26 2008-09-04 Hello-Hello, Inc. Mass comparative analysis of advertising
KR100859918B1 (ko) * 2007-08-09 2008-09-23 김서준 사용자 피드백을 이용하여 검색된 컨텐츠를 평가하고 평가결과를 이용하여 검색 결과를 제공하는 방법 및 장치
KR100887253B1 (ko) * 2007-02-15 2009-03-10 안상일 평가자의 신뢰도에 기초한 컨텐츠 신뢰도 평가 시스템 및그 방법

Families Citing this family (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6252547B1 (en) 1998-06-05 2001-06-26 Decisionmark Corp. Method and apparatus for limiting access to signals delivered via the internet
US8027867B2 (en) * 2000-10-03 2011-09-27 Blenk Christopher W System and method for decision of publishing literary work based on reviewer's satisfaction demographic factors
US8010981B2 (en) 2001-02-08 2011-08-30 Decisionmark Corp. Method and system for creating television programming guide
US7913287B1 (en) 2001-06-15 2011-03-22 Decisionmark Corp. System and method for delivering data over an HDTV digital television spectrum
US7370285B1 (en) * 2002-07-31 2008-05-06 Opinionlab, Inc. Receiving and reporting page-specific user feedback concerning one or more particular web pages of a website
US7478121B1 (en) 2002-07-31 2009-01-13 Opinionlab, Inc. Receiving and reporting page-specific user feedback concerning one or more particular web pages of a website
US7827487B1 (en) 2003-06-16 2010-11-02 Opinionlab, Inc. Soliciting user feedback regarding one or more web pages of a website without obscuring visual content
CA2504118A1 (en) * 2004-04-09 2005-10-09 Opinionlab, Inc. Using software incorporated into a web page to collect page-specific user feedback concerning a document embedded in the web page
US7290205B2 (en) * 2004-06-23 2007-10-30 Sas Institute Inc. System and method for management of document cross-reference links
US7933845B1 (en) 2004-07-27 2011-04-26 Stamps.Com Inc. Image-customization of computer-based value-bearing items
US7677970B2 (en) * 2004-12-08 2010-03-16 Microsoft Corporation System and method for social matching of game players on-line
US7657520B2 (en) * 2005-03-03 2010-02-02 Google, Inc. Providing history and transaction volume information of a content source to users
US7904473B2 (en) * 2005-04-04 2011-03-08 Aol Inc. Community-based parental controls
US8066568B2 (en) * 2005-04-19 2011-11-29 Microsoft Corporation System and method for providing feedback on game players and enhancing social matchmaking
US8221238B1 (en) * 2005-04-19 2012-07-17 Microsoft Corporation Determination of a reputation of an on-line game player
CA2605993A1 (en) * 2005-04-25 2006-11-02 Ellen Eatough Mind-body learning system and methods of use
US20060265368A1 (en) * 2005-05-23 2006-11-23 Opinionlab, Inc. Measuring subjective user reaction concerning a particular document
US7610345B2 (en) 2005-07-28 2009-10-27 Vaporstream Incorporated Reduced traceability electronic message system and method
US9282081B2 (en) 2005-07-28 2016-03-08 Vaporstream Incorporated Reduced traceability electronic message system and method
US20070067270A1 (en) * 2005-09-21 2007-03-22 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Searching for possible restricted content related to electronic communications
US20070067850A1 (en) * 2005-09-21 2007-03-22 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Multiple versions of electronic communications
US20070067719A1 (en) * 2005-09-21 2007-03-22 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Identifying possible restricted content in electronic communications
KR100759798B1 (ko) * 2005-10-27 2007-09-20 한국전자통신연구원 지능적 화면 감시를 통한 유해 멀티미디어 차단 장치 및 그방법
US7603619B2 (en) 2005-11-29 2009-10-13 Google Inc. Formatting a user network site based on user preferences and format performance data
US7971137B2 (en) 2005-12-14 2011-06-28 Google Inc. Detecting and rejecting annoying documents
WO2007084720A2 (en) * 2006-01-20 2007-07-26 Topcoder, Inc. System and method for design development
US7844603B2 (en) * 2006-02-17 2010-11-30 Google Inc. Sharing user distributed search results
US8199160B2 (en) * 2006-06-02 2012-06-12 Advanced Us Technology Group, Inc. Method and apparatus for monitoring a user's activities
US10839332B1 (en) 2006-06-26 2020-11-17 Stamps.Com Image-customized labels adapted for bearing computer-based, generic, value-bearing items, and systems and methods for providing image-customized labels
US8775237B2 (en) 2006-08-02 2014-07-08 Opinionlab, Inc. System and method for measuring and reporting user reactions to advertisements on a web page
US8595057B2 (en) * 2006-08-08 2013-11-26 Narbeh AVEDISSIAN System for apportioning revenue based on content delivery by an online community
US20080050713A1 (en) * 2006-08-08 2008-02-28 Avedissian Narbeh System for submitting performance data to a feedback community determinative of an outcome
KR100803714B1 (ko) 2006-08-16 2008-02-15 엔에이치엔(주) 개선된 ｕｉ의 품질을 검증하는 테스트 방법 및 상기방법을 수행하는 시스템
KR100823160B1 (ko) 2006-08-16 2008-04-21 엔에이치엔(주) 검색 광고의 효율을 측정하는 방법 및 상기 방법을수행하는 시스템
EP1895459A1 (en) * 2006-08-31 2008-03-05 Opinionlab, Inc. Computer-implemented system and method for measuring and reporting business intelligence based on comments collected from web page users using software associated with accessed web pages
US20080104626A1 (en) * 2006-10-27 2008-05-01 Avedissian Narbeh System and method for ranking media
US20080147728A1 (en) * 2006-12-15 2008-06-19 Tal Reichert Exposure-based scheduling
US8505978B1 (en) 2006-12-20 2013-08-13 Stamps.Com Inc. Systems and methods for creating and providing shape-customized, computer-based, value-bearing items
US20080154621A1 (en) * 2006-12-21 2008-06-26 Ping-Chen Wu Method for verifying defective material list
US8244599B2 (en) * 2007-02-28 2012-08-14 Ebay Inc. Methods and systems for social shopping on a network-based marketplace
US7739153B1 (en) 2007-05-18 2010-06-15 Qurio Holdings, Inc. Methods, systems, and computer readable medium for providing video content over a network
US20090240684A1 (en) * 2007-06-02 2009-09-24 Steven Newell Image Content Categorization Database
US20100138279A1 (en) * 2007-08-02 2010-06-03 Elizabeth Heller Cohen Brand sustainability index
US8392246B2 (en) * 2007-08-30 2013-03-05 Google Inc. Advertiser ad review
US8392241B2 (en) * 2007-08-30 2013-03-05 Google Inc. Publisher ad review
US20100332405A1 (en) * 2007-10-24 2010-12-30 Chad Williams Method for assessing reputation of individual
US7865455B2 (en) * 2008-03-13 2011-01-04 Opinionlab, Inc. System and method for providing intelligent support
US20090240652A1 (en) * 2008-03-19 2009-09-24 Qi Su Automated collection of human-reviewed data
CN101594450B (zh) * 2008-05-30 2012-11-21 鸿富锦精密工业（深圳）有限公司 数码相框中照片的自动分级方法
US20090307610A1 (en) * 2008-06-10 2009-12-10 Melonie Elizabeth Ryan Method for a plurality of users to be simultaneously matched to interact one on one in a live controlled environment
US8782054B2 (en) * 2008-07-17 2014-07-15 Microsoft Corporation Method and system for self-adapting classification of user generated content
JP2010092374A (ja) * 2008-10-09 2010-04-22 Fuji Xerox Co Ltd プログラム、電子メール処理プログラム、情報処理装置及び電子メール処理装置
US9300755B2 (en) * 2009-04-20 2016-03-29 Matthew Gerke System and method for determining information reliability
US20110047006A1 (en) * 2009-08-21 2011-02-24 Attenberg Joshua M Systems, methods, and media for rating websites for safe advertising
WO2011050495A1 (en) * 2009-10-29 2011-05-05 Google Inc. Ranking user generated web content
TWI501096B (zh) * 2009-10-30 2015-09-21 Google Inc 排名用戶產生的網路內容
US8332232B2 (en) * 2009-11-05 2012-12-11 Opinionlab, Inc. System and method for mobile interaction
US20130138487A1 (en) * 2009-12-02 2013-05-30 Google Inc. Distributing content
US20110153388A1 (en) * 2009-12-17 2011-06-23 Max Vuong System and method for collecting end user feedback for stationery designs
US20120284090A1 (en) * 2011-05-02 2012-11-08 Sergejs Marins System and method for accumulation and verification of trust for participating users in a crowd sourcing activity
JP5280495B2 (ja) * 2011-07-19 2013-09-04 株式会社コナミデジタルエンタテインメント アミューズメントシステム
US10373216B1 (en) 2011-10-12 2019-08-06 Stamps.Com Inc. Parasitic postage indicia
WO2013063740A1 (en) * 2011-10-31 2013-05-10 Google Inc. Selecting images based on textual description
CN103377191B (zh) * 2012-04-12 2017-04-12 阿里巴巴集团控股有限公司 一种提供图片的相关信息的方法及装置
US9832519B2 (en) 2012-04-18 2017-11-28 Scorpcast, Llc Interactive video distribution system and video player utilizing a client server architecture
US8682809B2 (en) 2012-04-18 2014-03-25 Scorpcast, Llc System and methods for providing user generated video reviews
US20140150029A1 (en) 2012-04-18 2014-05-29 Scorpcast, Llc System and methods for providing user generated video reviews
US10506278B2 (en) 2012-04-18 2019-12-10 Scorpoast, LLC Interactive video distribution system and video player utilizing a client server architecture
US20140172585A1 (en) * 2012-12-18 2014-06-19 Eric Michael Faccer Advertising system to solve the problem of click fraud
US10176500B1 (en) * 2013-05-29 2019-01-08 A9.Com, Inc. Content classification based on data recognition
EP3051920A4 (en) * 2013-09-26 2017-02-22 Jung, Jaelark Method for controlling home screen of communication terminal, communication terminal, and computer-readable recording medium
US9703846B1 (en) 2014-10-15 2017-07-11 Google Inc. Methods, systems, and media for presenting content based on a generic rating
US10082992B2 (en) * 2014-12-22 2018-09-25 Hewlett-Packard Development Company, L.P. Providing a print-ready document
US10229219B2 (en) * 2015-05-01 2019-03-12 Facebook, Inc. Systems and methods for demotion of content items in a feed
US9743154B2 (en) 2015-09-09 2017-08-22 Sorenson Media, Inc Dynamic video advertisement replacement
US20170083946A1 (en) * 2015-09-18 2017-03-23 Comscore, Inc. Method and system for data-informed online advertisement delivery
CN105872616A (zh) * 2015-12-09 2016-08-17 乐视网信息技术（北京）股份有限公司 一种影音作品播放方法和服务器
CN105978928B (zh) * 2016-04-14 2018-12-18 平安科技（深圳）有限公司 资讯内容更新管理方法和装置
US11144836B1 (en) * 2017-04-17 2021-10-12 Intuit Inc. Processing and re-using assisted support data to increase a self-support knowledge base
US20190303976A1 (en) * 2018-03-29 2019-10-03 SuperAwesome Trading Limited System and method for fulfilling digital advertising requests without storing or providing personally identifiable information about a user to an external entity
US10536366B1 (en) * 2018-09-13 2020-01-14 Charter Communication Operating, LLC Methods and apparatus for controlling and making link bundle advertisements to support routing decisions
US20210118063A1 (en) * 2019-10-18 2021-04-22 Google Llc Multi-tier scalable media analysis
US11615445B2 (en) * 2020-11-02 2023-03-28 Shutterstock, Inc. Systems, methods, computing platforms, and storage media for providing image recommendations
US11789989B1 (en) 2021-06-30 2023-10-17 Amazon Technologies, Inc. Automatically detecting unacceptable content pairs

Family Cites Families (92)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5636346A (en) 1994-05-09 1997-06-03 The Electronic Address, Inc. Method and system for selectively targeting advertisements and programming
US5724521A (en) 1994-11-03 1998-03-03 Intel Corporation Method and apparatus for providing electronic advertisements to end users in a consumer best-fit pricing manner
US5845265A (en) 1995-04-26 1998-12-01 Mercexchange, L.L.C. Consignment nodes
US6026368A (en) 1995-07-17 2000-02-15 24/7 Media, Inc. On-line interactive system and method for providing content and advertising information to a targeted set of viewers
US5872588A (en) 1995-12-06 1999-02-16 International Business Machines Corporation Method and apparatus for monitoring audio-visual materials presented to a subscriber
US5920854A (en) 1996-08-14 1999-07-06 Infoseek Corporation Real-time document collection search engine with phrase indexing
US5948061A (en) 1996-10-29 1999-09-07 Double Click, Inc. Method of delivery, targeting, and measuring advertising over networks
US5931901A (en) 1996-12-09 1999-08-03 Robert L. Wolfe Programmed music on demand from the internet
US6285987B1 (en) 1997-01-22 2001-09-04 Engage, Inc. Internet advertising system
US5918010A (en) 1997-02-07 1999-06-29 General Internet, Inc. Collaborative internet data mining systems
US6247009B1 (en) 1997-03-10 2001-06-12 Canon Kabushiki Kaisha Image processing with searching of image data
US6223163B1 (en) 1997-03-21 2001-04-24 Walker Digital, Llc Method and apparatus for controlling offers that are provided at a point-of-sale terminal
US5974398A (en) 1997-04-11 1999-10-26 At&T Corp. Method and apparatus enabling valuation of user access of advertising carried by interactive information and entertainment services
US6061696A (en) 1997-04-28 2000-05-09 Computer Associates Think, Inc. Generating multimedia documents
US6061659A (en) 1997-06-03 2000-05-09 Digital Marketing Communications, Inc. System and method for integrating a message into a graphical environment
US6253189B1 (en) 1997-09-15 2001-06-26 At&T Corp. System and method for completing advertising time slot transactions
US6067570A (en) 1997-10-20 2000-05-23 The Delfin Project, Inc. Method and system for displaying and interacting with an informational message based on an information processing system event
US6421675B1 (en) 1998-03-16 2002-07-16 S. L. I. Systems, Inc. Search engine
US6044375A (en) 1998-04-30 2000-03-28 Hewlett-Packard Company Automatic extraction of metadata using a neural network
US6230170B1 (en) 1998-06-17 2001-05-08 Xerox Corporation Spatial morphing of text to accommodate annotations
US6185589B1 (en) 1998-07-31 2001-02-06 Hewlett-Packard Company Automatic banner resizing for variable-width web pages using variable width cells of HTML table
US6078866A (en) 1998-09-14 2000-06-20 Searchup, Inc. Internet site searching and listing service based on monetary ranking of site listings
US7039856B2 (en) 1998-09-30 2006-05-02 Ricoh Co., Ltd. Automatic document classification using text and images
US6324519B1 (en) 1999-03-12 2001-11-27 Expanse Networks, Inc. Advertisement auction system
US6298348B1 (en) 1998-12-03 2001-10-02 Expanse Networks, Inc. Consumer profiling system
AU2358000A (en) 1998-12-18 2000-07-12 Flycast Communications Corp. Optimized internet advertising using history to select sites
US11109114B2 (en) 2001-04-18 2021-08-31 Grass Valley Canada Advertisement management method, system, and computer program product
US6985882B1 (en) 1999-02-05 2006-01-10 Directrep, Llc Method and system for selling and purchasing media advertising over a distributed communication network
US6269361B1 (en) 1999-05-28 2001-07-31 Goto.Com System and method for influencing a position on a search result list generated by a computer network search engine
US7072888B1 (en) * 1999-06-16 2006-07-04 Triogo, Inc. Process for improving search engine efficiency using feedback
US6295559B1 (en) 1999-08-26 2001-09-25 International Business Machines Corporation Rating hypermedia for objectionable content
US8813123B2 (en) 2000-01-19 2014-08-19 Interad Technologies, Llc Content with customized advertisement
US6434747B1 (en) 2000-01-19 2002-08-13 Individual Network, Inc. Method and system for providing a customized media list
US20010047297A1 (en) 2000-02-16 2001-11-29 Albert Wen Advertisement brokering with remote ad generation system and method in a distributed computer network
US20010044818A1 (en) 2000-02-21 2001-11-22 Yufeng Liang System and method for identifying and blocking pornogarphic and other web content on the internet
US20020026359A1 (en) 2000-02-22 2002-02-28 Long Kenneth W. Targeted advertising method and system
US6606644B1 (en) 2000-02-24 2003-08-12 International Business Machines Corporation System and technique for dynamic information gathering and targeted advertising in a web based model using a live information selection and analysis tool
KR20010096454A (ko) * 2000-04-15 2001-11-07 양기웅 온라인 광고 콘텐츠 제공 시스템, 광고 검색과 게임을이용한 온라인 광고 시스템 및 방법
US7076743B2 (en) 2000-05-04 2006-07-11 I-Lor, Llc Method for adding a plurality of user selectable functions to a hyperlink
US20010051911A1 (en) 2000-05-09 2001-12-13 Marks Michael B. Bidding method for internet/wireless advertising and priority ranking in search results
US20020046104A1 (en) 2000-05-09 2002-04-18 Geomicro, Inc. Method and apparatus for generating targeted impressions to internet clients
KR20020035113A (ko) 2000-05-31 2002-05-09 추후보정 네트웍을 통해 광고를 전달하기 위한 방법 및 시스템
JP2002015217A (ja) 2000-06-30 2002-01-18 Fujitsu Ltd オークションを用いたデジタルコンテンツ広告表示システム
US20020002509A1 (en) 2000-06-30 2002-01-03 Wagorn Paul E. Custom advertising and trade facilitation system for internet or e-mail implementation
US7599851B2 (en) 2000-09-05 2009-10-06 Renee Frengut Method for providing customized user interface and targeted marketing forum
US7624051B2 (en) 2000-09-18 2009-11-24 Icon One, Inc. Method and system for forming a list-based value discovery network
US7461024B2 (en) 2000-09-27 2008-12-02 Montgomery Rob R Bidder-side auction dynamic pricing agent, system, method and computer program product
US20020099605A1 (en) 2000-10-06 2002-07-25 Searchcactus, Llc Search engine with demographic-based advertising
CA2323883C (en) 2000-10-19 2016-02-16 Patrick Ryan Morin Method and device for classifying internet objects and objects stored oncomputer-readable media
AU2002251680A1 (en) 2000-11-01 2002-08-19 Real Media, Inc. System and method for delivering plural advertisement information on a data network
US20020077891A1 (en) 2000-12-15 2002-06-20 Castle Daniel C. Method and apparatus to maximize advertising revenue
JP2002216017A (ja) 2001-01-22 2002-08-02 Sony Corp 広告枠のオークション方法および装置、ならびに、記録媒体
US8001118B2 (en) 2001-03-02 2011-08-16 Google Inc. Methods and apparatus for employing usage statistics in document retrieval
US20020194062A1 (en) 2001-04-19 2002-12-19 Leif Linde Method and system for simulating the distribution of targeted advertising
US6507228B2 (en) * 2001-05-03 2003-01-14 International Business Machines Corporation Method and apparatus for latching a clocked data signal
WO2002095600A1 (en) 2001-05-24 2002-11-28 Electronic Advertising Solutions Innovators, Inc. Dba Easi, Inc. System and method for managing in-theater display advertisements
JP2002358455A (ja) 2001-05-31 2002-12-13 Matsushita Electric Ind Co Ltd 広告情報配信装置及び課金装置
CN1465021A (zh) 2001-06-06 2003-12-31 索尼公司 广告选择装置、广告选择方法及存储介质
US20040054589A1 (en) 2001-06-14 2004-03-18 Nicholas Frank C. Method and system for providing network based target advertising and encapsulation
JP2003006085A (ja) 2001-06-20 2003-01-10 Nec Corp コンテンツ配信システムとそのコンテンツ配信方法、及びコンテンツ配信プログラム
JP4185333B2 (ja) 2001-09-07 2008-11-26 松下電器産業株式会社 映像配信装置および映像受信装置
US20030083937A1 (en) 2001-11-01 2003-05-01 Masayuki Hasegawa Advertisement delivery systems, advertising content and advertisement delivery apparatus, and advertisement delivery methods
AU2002364148A1 (en) 2001-12-07 2003-06-23 Sofcast, Inc. Delivering content and advertisement
US20030126267A1 (en) 2001-12-27 2003-07-03 Koninklijke Philips Electronics N.V. Method and apparatus for preventing access to inappropriate content over a network based on audio or visual content
US20030149618A1 (en) 2002-02-01 2003-08-07 Microsoft Corporation Flexible dynamic advertising
JP3910177B2 (ja) 2002-02-04 2007-04-25 松下電器産業株式会社 広告番組提供システム
US7136875B2 (en) 2002-09-24 2006-11-14 Google, Inc. Serving advertisements based on content
US7716161B2 (en) 2002-09-24 2010-05-11 Google, Inc, Methods and apparatus for serving relevant advertisements
US9235849B2 (en) 2003-12-31 2016-01-12 Google Inc. Generating user information for use in targeted advertising
JP4007060B2 (ja) 2002-05-20 2007-11-14 日産自動車株式会社 広告配信処理システム、広告配信処理装置及び方法、通信端末及び広告提示方法
US7818764B2 (en) * 2002-06-20 2010-10-19 At&T Intellectual Property I, L.P. System and method for monitoring blocked content
US20050033849A1 (en) 2002-06-20 2005-02-10 Bellsouth Intellectual Property Corporation Content blocking
US7752072B2 (en) 2002-07-16 2010-07-06 Google Inc. Method and system for providing advertising through content specific nodes over the internet
US8050970B2 (en) 2002-07-25 2011-11-01 Google Inc. Method and system for providing filtered and/or masked advertisements over the internet
US20040044571A1 (en) 2002-08-27 2004-03-04 Bronnimann Eric Robert Method and system for providing advertising listing variance in distribution feeds over the internet to maximize revenue to the advertising distributor
US20040059625A1 (en) 2002-09-20 2004-03-25 Ncr Corporation Method for providing feedback to advertising on interactive channels
US20040059712A1 (en) 2002-09-24 2004-03-25 Dean Jeffrey A. Serving advertisements using information associated with e-mail
US8086559B2 (en) 2002-09-24 2011-12-27 Google, Inc. Serving content-relevant advertisements with client-side device support
US8311890B2 (en) 2002-11-01 2012-11-13 Google Inc. Method and system for dynamic textual ad distribution via email
US20040119740A1 (en) 2002-12-24 2004-06-24 Google, Inc., A Corporation Of The State Of California Methods and apparatus for displaying and replying to electronic messages
US8438154B2 (en) 2003-06-30 2013-05-07 Google Inc. Generating information for online advertisements from internet data and traditional media data
US20040107363A1 (en) * 2003-08-22 2004-06-03 Emergency 24, Inc. System and method for anticipating the trustworthiness of an internet site
US20050222989A1 (en) 2003-09-30 2005-10-06 Taher Haveliwala Results based personalization of advertisements in a search engine
US8041601B2 (en) 2003-09-30 2011-10-18 Google, Inc. System and method for automatically targeting web-based advertisements
US7472424B2 (en) 2003-10-10 2008-12-30 Microsoft Corporation Parental controls for entertainment content
US7930206B2 (en) 2003-11-03 2011-04-19 Google Inc. System and method for enabling an advertisement to follow the user to additional web pages
US7873536B2 (en) 2003-12-11 2011-01-18 Google Inc. Systems and methods for providing advertisements in a communications network
US20050144069A1 (en) 2003-12-23 2005-06-30 Wiseman Leora R. Method and system for providing targeted graphical advertisements
US20050216335A1 (en) 2004-03-24 2005-09-29 Andrew Fikes System and method for providing on-line user-assisted Web-based advertising
US20050222900A1 (en) 2004-03-30 2005-10-06 Prashant Fuloria Selectively delivering advertisements based at least in part on trademark issues
US7533090B2 (en) 2004-03-30 2009-05-12 Google Inc. System and method for rating electronic documents
US20050222903A1 (en) 2004-03-31 2005-10-06 Paul Buchheit Rendering content-targeted ads with e-mail

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100887253B1 (ko) * 2007-02-15 2009-03-10 안상일 평가자의 신뢰도에 기초한 컨텐츠 신뢰도 평가 시스템 및그 방법
WO2008106460A1 (en) * 2007-02-26 2008-09-04 Hello-Hello, Inc. Mass comparative analysis of advertising
KR100859918B1 (ko) * 2007-08-09 2008-09-23 김서준 사용자 피드백을 이용하여 검색된 컨텐츠를 평가하고 평가결과를 이용하여 검색 결과를 제공하는 방법 및 장치

Also Published As

Publication number Publication date
WO2005111896A3 (en) 2007-03-01
AU2005242772A1 (en) 2005-11-24
AU2010241442B2 (en) 2012-06-28
WO2005111896A2 (en) 2005-11-24
AU2005242772B2 (en) 2010-12-09
CN101116100A (zh) 2008-01-30
CA2566738A1 (en) 2005-11-24
AU2010241442A1 (en) 2010-12-02
EP1787258A2 (en) 2007-05-23
US20050251399A1 (en) 2005-11-10
CA2566738C (en) 2016-03-01
KR101321234B1 (ko) 2013-10-25
US7801738B2 (en) 2010-09-21
EP1787258A4 (en) 2010-05-19

Similar Documents

Publication Publication Date Title
KR101321234B1 (ko) 이미지를 포함하는 문서를 평가하는 시스템 및 방법
US10146776B1 (en) Method and system for mining image searches to associate images with concepts
US8014634B1 (en) Method and system for approving documents based on image similarity
US8849070B2 (en) Method and system for providing targeted documents based on concepts automatically identified therein
US7533090B2 (en) System and method for rating electronic documents
US7996753B1 (en) Method and system for automatically creating an image advertisement
KR100855195B1 (ko) 이메일을 이용한 콘텐트 타켓 광고들의 렌더링
US8626563B2 (en) Enhancing sales leads with business specific customized statistical propensity models
US7752236B2 (en) Systems and methods of enhancing leads
US8086559B2 (en) Serving content-relevant advertisements with client-side device support
US20080109294A1 (en) Systems and methods of enhancing leads
EP2284731A2 (en) Personalized search engine based on special keyword placement
KR20050086417A (ko) 이메일과 관련된 정보를 사용하는 광고들 서빙
US11681761B1 (en) Method and system for mining image searches to associate images with concepts

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
AMND Amendment
E601 Decision to refuse application
J201 Request for trial against refusal decision
AMND Amendment
B601 Maintenance of original decision after re-examination before a trial
J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20120705

Effective date: 20130830

GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161011

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181010

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20191002

Year of fee payment: 7