KR20030048027A - 로봇 방지 웹 사이트 구현 시스템 및 방법 - Google Patents

Abstract

본 발명에 의하면 로봇들이 환영 페이지를 넘어서 웹 사이트를 브라우징하는 것을 방지할 수 있게 된다. 웹 사이트는 확인되지 않은 발신자로부터의 최초 요청을 수신할 때, 질문을 포함한 환영 페이지로 그에 응답한다. 그 다음에, 웹 사이트는 확인되지 않은 발신자로부터의 추가의 요청을 수신할 때, 질문이 충족되었는지 여부를 검사할 수 있다. 충족된 경우, 확인되지 않은 발신자를 사람인 것으로 추정하여 계속 진행하도록 허가해준다. 그렇지만 질문이 충족되지 않은 경우, 확인되지 않은 발신자를 로봇인 것으로 추정하고, 이러한 경우 더 이상의 사이트 접속을 거부해 버린다. 본 발명은 사용자들에게 로그온할 것을 요구하지 않으면서 웹 사이트 콘텐츠가 로봇들에 의해 조사되는 것을 방지한다.

Description

로봇 방지 웹 사이트 구현 시스템 및 방법{SYSTEM AND METHOD FOR IMPLEMENTING ROBOT PROOF WEB SITE}

웹 방랑자(Web Wanderer), 웹 크롤러(Web Crawler) 또는 웹 스파이더(Web Spider)라고도 불리우고, 종종은 그냥 봇(bot)(bot는 robot의 단축형임)이라고만 칭하는 WWW 로봇들은 자동적으로 웹의 하이퍼텍스트 구조를 순회하면서 문서를 검색하도록 고안된 프로그램으로서, 링크된 페이지들 모두를 재귀적으로 검색할 수 있다. 특히 이것은 수많은 검색 엔진들 및 이들의 로봇들의 경우에 해당하는 것으로서, 이들은 월드 와이드 웹을 돌아다니면서 자신의 데이터베이스에 부가할 콘텐츠를 탐색 및 인덱싱하고 있다. 대부분의 로봇들이 귀중한 서비스를 제공하고 있지만, 이러한 것은 이 엔진들로부터의 요청들에 서비스하기 위해 자신들의 귀중한 서버 시간 및 대역폭의 정확히 얼마만큼이 사용되고 있는지에 관하여 웹 사이트 관리자들 사이에 상당한 관심을 불러 일으켰다. 대부분의 로봇들이 잘 설계되고 전문가들에 의해 운영되며 어떤 문제도 일으키지 않는다고 할지라도, 웹 서버들을 방문하는 로봇들이 환영받지 못하는 경우들이 있다. 때로는 로봇들이 행동하는 방식 때문이기도 하다. 어떤 로봇들은 속사포와 같은 요청들로 서버들을 정신못차리게 하거나 동일한 파일들을 반복하여 검색할 수도 있다. 이것을 고의적으로 한 경우는 서비스 거부(Denial of Service : DoS) 공격의 한 형태가 되며, 비록 이것이 많은 경우 형편없거나 결함있는 로봇 설계의 결과이지만 말이다. 다른 경우들에서, 로봇들은 검색하기에는 적합하지 않은, 예를 들면 복제된 정보나 임시 정보를 가지고 있거나, 대형 문서, 예를 들어 CGI 스크립트들(CGI는 월드 와이드 웹 HTTP 서버에서 외부 프로그램들을 실행하기 위한 규약임)을 포함하고 있는 WWW 서버들의 여러 부분들을 순회한다. 이러한 후자의 경우들 및 이와 유사한 상황들에서, 스크립트들은 액세스되어 실행될 때 동적인 페이지들을 생성하기 위해 상당한 서버 자원들을 소모하게 되고, 따라서 시스템의 속도를 저하시키는 경향이 있다. 이러한 문제점들을 인식하고서, 많은 웹 로봇들은 웹 사이트 관리자들 및 콘텐츠 제공자들에게 그 로봇에게 허용된 행위를 제한하기 위한 여러 도구들을 제공하고 있다. 2가지 메카니즘이 제공되어 있다. 첫번째 메카니즘으로는 '로봇 배척 프로토콜'(Robots Exclusion Protocol)이라는 것이 있으며, 비록 이것이 실제로 시행되는 프로토콜은 아니지만 1996년 "A Method for Web Robots Control"(웹 로봇 제어 방법)이라는 제목 하에 IETF(Internet Engineering Task Force: 인터넷 엔지니어링 태스크 포스)에 의해 인터넷 초안(Internet-Draft)으로서 논의되었던 작업 원안(working document)이었다. 이 문서에 따르면, 웹 사이트 관리자는 특수한 형식의 파일을 http://.../robots.txt 형태로 제공함으로써 로봇이 사이트의 어느 부분들을 방문해서는 안되는지를 나타낼 수 있다. 다른 메카니즘에서는, 페이지를 인덱싱해도 되는지 여부, 즉 링크들에 대한 분석을 해도 되는지 여부를, 특수한 HTML(Hyper Text Markup Languae) 메타 태그(META tag), 즉 "로봇 메타 태그"를 사용하여 웹 저작자가 나타낼 수 있는 것으로 가정한다. 그렇지만, 이들 메카니즘은 로봇들의 협력 여하에 달려 있으며, 모든 로봇에 대해 효력이 있는 것으로 보장조차 되어 있지 않다. 게다가, 이상(DoS)에서 이미 언급한 바와 같이, 이들 로봇 중 일부는 그렇게 호의적이지 않을 수 있다. 이들은 예를 들면 웹 사이트를 공격하여 웹 사이트가 과부하 상태로 되도록 하여 적법한 사용자, 즉 정상적으로 사이트를 이용하려고 하는 사람들에 대해 서비스를 거부하기 시작하도록 하는 악의를 가지고 실행된 것일 수 있다(그러한 경우, 로봇들은 robots.txt 파일 및 로봇 메타 태그들을 그냥 무시해 버린다). 또한, 어떤 사이트 상에서 이용가능하게 되어 있는 정보가 비록 기밀 사항은 아닐지라도, 관리자는 그 정보의 무제한적인 유포를 방지하고자 할 것이며, 그렇지 않았을 경우 그 정보는 모든 종류의 로봇들에 의해 인덱싱 및 참조될 것이다. 이것을 달성하는 기본 방식은 어떤 형태의 인증을 통해 웹 사이트를 보호하는 것으로서, 보다 통상적인 인증 방법은 패스워드를 갖는 등록된 사용자들의 목록을 관리하여 사이트 접속 시에 사인 온(sign on)하도록 하는 것이다. 이것의 명백한 단점은 관리자들이 폐쇄형 사용자 리스트(a closed list of users)를 관리 및 갱신해야만 하고, 따라서 어떤 사이트를 처음 방문하는 경우 등록 단계를 필요로 하고 또한 사용자가 차후의 방문 시에 패스워드를 기억하고 있는 것으로 가정하고 있다는 것이다. 이것은 관리자가 우선적으로 달성하고자 하는 것이 전혀아닐 수도 있으며 또 역효과를 가져올 수조차도 있는 데, 그 이유는 그렇게 하면 사이트를 브라우징하려고 하는 일부 개인들은 등록 요청을 받을 경우 더 이상 나아가려고 하지 않을 것임이 분명하기 때문이다.

본 발명은 인터넷에 관한 것으로서, 보다 상세하게는 사람들은 환영하지만 방문하여 정보를 수집해가는 로봇(robot)들은 배척하기를 원하는 월드 와이드 웹(WWW) 사이트에 적용되는 것이다.

도 1은 본 발명에 따른 전형적인 환영 페이지를 나타낸 것이다.

도 2는 도 1의 환영 페이지에 대응하는 HTML 코드를 나타낸 것이다.

도 3은 본 발명의 방법의 단계들을 나타낸 것이다.

도 4는 로깅된 IP 주소를 갖는 요청들에 대해 타이머가 온 상태에 있는 동안은 본 발명에 따라 웹 사이트로의 접속을 거부하는 본 방법의 추가 단계들을 나타낸 것이다.

도 5는 질문들을 갖는 다른 전형적인 환영 페이지들을 나타낸 것이다.

따라서, 본 발명의 광의의 목적은 웹 사이트 콘텐츠가 로봇들에 의해 조사되는 것을 방지하는 데 있다.

본 발명의 다른 목적은 로봇 방어된 웹 사이트(robot protected Web site)로의 접속을 시도하는 사람들이, 처음 접속 시에는 등록을 강요하고 차후의 접속시마다 로그 온 절차(log on procedure)를 강요함에 따라 더 이상 나아가려고 하지 않는 것을 해소시키는 데 있다.

본 발명의 또 다른 목적은 로봇들의 협조에 의존하지 않고 웹 사이트의 콘텐츠에 대한 로봇들의 접속을 금지시키는 데 있다.

본 발명의 다른 목적들, 특징들 및 이점들은 첨부 도면들을 참조하여 기재된 이하의 상세한 설명을 살펴보면 당업자에게는 명백하게 될 것이다. 그 밖의 어떤 이점들도 모두 여기에 포함되는 것으로 보아야 한다.

로봇들이 환영 페이지를 넘어서 웹 사이트를 브라우징하는 것을 방지하기 위한 방법 및 시스템에 대해 기술되어 있다. 웹 사이트는 확인되지 않은 발신자(undefined originator)로부터 최초의 요청을 수신할 때 어떤 질문(challenge)을 포함하는 환영 페이지로 그에 응답한다. 그 후에, 웹 사이트는 확인되지 않은 발신자로부터 또다른 요청을 수신할 때 질문이 충족되었는지 여부를검사할 수 있다. 질문이 충족된 경우 확인되지 않은 발신자는 사람인 것으로 추정되고, 사이트는 계속하여 추가 요청을 처리하고, 후속 요청들이 있는 경우 그들을 모두 처리한다. 그렇지만, 질문이 충족되지 않은 경우 확인되지 않은 발신자는 로봇인 것으로 추정되고, 이 경우 그 발신자로부터의 모든 요청들은 더 이상 처리되지 않는다.

본 발명은 일반 사용자들에게는 등록하도록 요구하지 않고 또 사이트 관리자에게는 인증된 사용자들의 접속 리스트를 관리하도록 요구하지 않으면서, 웹 사이트 콘텐츠가 로봇들에 의해 조사되는 것을 방지한다.

도 1은 로봇들이 웹 사이트의 환영 페이지를 넘어서 웹 사이트에 접속하는 것을 방지하기 위한 본 발명에 따른 방법을 나타낸 것이다. 웹 사이트에 접속하는 사람이, 예를 들어 이하의 URL(Uniform Resource Locator)"http://www.anysite.com/welcome.html"에서 보게 되는 전형적인 환영 페이지가 도시되어 있다. 웹 사이트로의 접속은 임의의 이용가능한 웹 브라우저로 실행될 수 있다, 예를 들어 미국 캘리포니아주 94043 마운틴 뷰 미들필드 로드 501 이스트 소재의 넷스케이프 커뮤니케이션즈 코포레이션의 넷스케이프 브라우저(110)가 사용될 수 있다. 그 다음에, 로봇들을 방지하기 위한 이러한 제1 방법에 따르면, 환영 페이지는 더미 질문(dummy challenge)을 실시하는 데, 이 더미 질문은 사람에 의해서는 간단히 처리될 수 있지만 로봇은 그에 대한 대답을 하지 못할 것이 확실한 것으로 한다. 여러가지 가능한 것들 중에서, 도 1은 본 발명에 따른 전형적인 질문을 나타낸 것이다. 환영 페이지는 이와같이 이 특정의 일례에서는 웹에 접속하는 개인이 읽을 수 있을 것으로 추정되는 언어로 된 하나의 단어 또는 문장으로 명백하게 지칭될 수 있는 몇가지 기하 형태들을 포함하는 이미지(120)를 보여주고 있다. 그 다음에, 여기에서는 정사각형, 원, X 표 및 삼각형을 포함하는 이미지와 관련하여, 보고 있는 사람은 누구든지 예를 들면 X 표(121)를 클릭하도록 재촉하는 프롬프트(130)가 제공된다. 계속 나아가서 사이트를 방문하기를 원하는 사람은 자연스럽게 그렇게 할 것이지만 로봇은 아무것도 하지 않거나 엉뚱한 짓을 할 것이며, 그 이유는 간단한 데 로봇은 무엇이 X 표인지 전혀 모르기 때문이다. 그러므로, 이렇게 함으로써 사람과 로봇의 구별을 그들 각각의 추상화 수준(level of abstraction)에 기초하여 용이하게 할 수 있는 데, 이 추상화 수준은 사람의 경우 당연히 높거나 아주 높지만 로봇은 이러한 능력이 전혀 없다. 이렇게 함으로써, 사이트에 접속하는 사람들에게 등록 및 로그온하도록 하는 부담을 주지 않음은 물론 사이트의 관리자에 대해서도 적법한 사용자들의 리스트를 관리하도록 요구하지 않으면서, 로봇들이 환영 페이지를 넘어서 사이트를 브라우징하는 것을 방지하고자 하는 본 발명의 목적들이 달성될 수 있다.

주어진 질문 또는 한 세트의 예측가능한 이러한 질문들에 적응할 수 있도록 구성되어 있는 로봇에 의한 브라우징에 대해 사이트를 더욱 더 저항력이 있도록 만들기 위해, 프롬프트를 랜덤하게 작성함으로써 누군가 들어올 때마다 그 질문이 약간씩 다르게 되도록 할 수 있다. 예를 들어, X 표는 이미지 맵 상의 다른 위치로 이동될 수 있으며, 따라서 그를 클릭할 때 반환되는 좌표가 다르다. 또는, 프롬프트에서 요청하는 바에 변화를 줄 수 있다, 예를 들면 그 대신에 삼각형을 클릭하는 것으로 변경될 수 있다.

도 2는 도 1의 일례에 대한 HTML 소스 코드(140)를 나타낸 것으로서, HTML 언어의 <A..>..</A> 구조 형태(construct form)(149)로 작성된 앵커 태그(anchor tag) 내에 포함된 서버측 맵, 즉 ismap(142)을 사용하고 있다. 이와 같이, 사용자가 X 표(121)를 클릭하면, 브라우저는 그 클릭 좌표가 X 표 위치와 실제로 일치하는지를 서버가 검사할 수 있도록, ismap(142) 내에 내포되어 있는 클릭의 X 좌표 및 Y 좌표를 포함한 요청을 서버 URL(/cgi-bin/challenge.exe)(141)로 반송한다. 앵커 태그는 또한 현재의 질문이 전술한 바와 같이 사용자마다 변동되는 경우, 클릭 좌표를 포함하는 응답과 현재의 질문과의 상관 관계를 구하는 데 유용한 식별자 필드, 즉 id=XD34F739 (143)도 전달한다.

도 3은 웹 사이트에 대한 최초 요청의 발신자가 질문에 응답할 때의 본 발명에 따른 방법의 단계들을 나타낸 것이다. 웹 사이트 서버는 이 최초 요청을 수신하면(단계 300), 그에 응답한다(단계 310). 이것은 발신자와의 TCP 연결의 설정을 통해 행해진다(인터넷 TCP/IP 프로토콜 집합 중 신뢰성있는 전송 프로토콜이 웹에 의해 사용됨). 응답은 예를 들면 도 1에 기재된 종류의 질문을 포함한 웹 페이지의 형태로 되어 있다. 그 다음에, 발신자는 서버 응답을 받고나서 그 웹 사이트와 새로운 트랜잭션을 계속한다(단계 320). 웹 사이트 서버는 새로운 트랜잭션을 수신하면 질문이 충족되었는지를 검사한다(단계 330). 충족된 경우에는(단계 340), 발신자가 사람인 것으로 추정하고 계속하도록 허용한다. 그렇지만, 웹 서버는 질문에 대한 응답이 적절하지 않다는 것을 알았을 경우, 발신자가 로봇인 것으로 추정한다(단계 350). 따라서, 웹 서버는 현재의 요청과 추가 요청이 있는 경우 그 추가 요청들의 처리를 중지하며(단계 351), 이 중지에는 TCP 연결의 단절이나 다른 사이트로의 경로 변경이 포함된다(단계 352). 또한, 소스 IP 주소(361)로부터 사이트로의 접속이 일시적으로 저지될 수 있도록 소스 IP 주소를 기억시켜둠과 동시에 타이머를 기동시킬 수 있으며, 이에 대해서는 도 4에 도시되어 있다.

도 4는 로봇인 것으로 추정되었을 때 발신자의 IP 주소를 기억시켜두는 경우를 나타낸 것이다. 그런 경우, 이러한 특정의 소스 IP 주소로 발행된 모든 요청들과 로봇으로부터 온 것으로 추정된 모든 요청들을 즉각 무시해버릴지 또는 경로 변경시킬지에 관한 결정을 할 수 있다(이것은 항상 그렇지 않을 수 있으며, 그 이유는 포워딩해야 하는 모든 IP 소스 주소들의 네트워크 주소 변환을 수행하는 프록시 또는 방화벽 뒤에 로봇이 숨어 있을 수 있기 때문이다). 도 3에서 설명한 바와 같이 그 요청의 IP 소스 주소가 로깅되어 있고 또 타이머가 기동되어 있기 때문에, 새로운 요청이 수신될 때마다(단계 410), 동일한 소스 IP 주소가 발견되는지를 먼저 검사한다(단계 420). "아니오"인 경우, 정상적으로 계속 진행할 수 있다(단계 450). "예"인 경우, 타이머를 검사한다(단계 430). 타이머가 만료된 경우, 로깅된 IP 주소는 리셋되고(단계 440), 새로운 요청은 정상적으로 처리된다(단계 450). 그렇지만, 타이머가 만료되지 않은 경우, TCP 연결의 단절 또는 경로 변경(단계 460)이 이루어진 후에 새로 수신된 요청으로 복귀한다(단계 410).

도 5는 사람이라면 용이하게 답변할 수 있는 다른 질문의 일례들을 나타낸 것이다.

도 5a는 퀴즈(510)의 형태를 취하고 있는 것으로서, 참조 번호 500으로 나타낸 것과 같은 단순하게 되어 있는 것이거나, 또는 정교한 로봇을 무력화시키거나 그 대신에 동일한 종류의 직업을 공유하는 특정의 일반 사용자 집단에 적응하기에 필요한 정도로 복잡하게 되어 있는 것일 수 있다.

도 5b는 훨씬 더 추상적인 방식으로 이미지(520)와 텍스트(530)를 조합시킨 다른 대체예를 나타낸 것으로서, 사람과 로봇을 구별하는 데 한층 더 적합하도록 답변이 암시되어 있다. 그렇지만, 이러한 질문은 문화에 따라 다르고 또 사람들을 그들의 사회적 또는 인종적 출신에 기초하여 구별하는 데도 이용될 수 있다는 점도 여기에 언급할 만한 가치가 있다.

Claims (11)

1. 로봇들이 환영 페이지(110)를 넘어서 웹 사이트를 브라우징하는 것을 방지하는 방법으로서,

   확인되지 않은 발신자로부터 최초 요청을 수신했을 때, 상기 최초 요청(300)에 대해 질문을 포함하는 상기 환영 페이지로 응답하는 단계(310),

   상기 확인되지 않은 발신자로부터 추가 요청(320)을 수신했을 때, 상기 질문이 충족되었는지 여부를 검사하는 단계(330),

   충족된 경우, 상기 확인되지 않은 발신자가 사람인 것으로 추정하는 단계(340)와 상기 추가 요청 및 후속 요청이 있는 경우 그 후속 요청들의 처리를 계속하는 단계(341), 및

   충족되지 않은 경우, 상기 확인되지 않은 발신자가 로봇인 것으로 추정하는 단계(350)와 상기 추가 요청 및 후속 요청이 있는 경우 그 후속 요청들의 처리를 중지하는 단계(351)를 포함하는 방법.
2. 제1항에 있어서, 상기 확인되지 않은 발신자의 소스 IP 주소를 로깅하는 단계(361), 및

   타이머를 기동시키는 단계(362)를 더 포함하는 방법.
3. 제1항 또는 제2항에 있어서, 상기 추가 요청의 처리를 중지하는 단계는 상기확인되지 않은 발신자와 설정되어 있는 TCP 연결의 단절 또는 경로 변경을 행하는 단계(352)를 더 포함하는 것인 방법.
4. 제1항 내지 제3항 중 어느 한 항에 있어서,

   새로운 요청을 수신(410)할 때마다, 상기 새로운 요청의 소스 IP 주소가 상기 로깅된 소스 IP 주소와 일치하는지 여부를 검사하는 단계(420),

   일치하는 경우, 상기 타이머가 만료되었는지 여부를 검사하는 단계(430),

   만료된 경우, 상기 로깅된 IP 주소를 리셋시키는 단계(440)와 상기 새로운 요청을 정상적으로 처리하는 단계(450),

   만료되지 않은 경우, 상기 TCP 연결의 단절 또는 경로 변경을 행하는 단계(460),

   일치하지 않는 경우, 상기 새로운 요청을 정상적으로 처리하는 단계(450), 및

   새로운 요청을 수신(410)할 때마다 상기 단계들 모두를 계속하여 실행하는 단계를 더 포함하는 방법.
5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 질문은 상기 확인되지 않은 발신자에게 특정의 행위를 수행하도록 재촉하는 프롬프트(130)를 포함하는 것인 방법.
6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 프롬프트는 상기 웹 사이트의 차후 접속시마다 다른 것인 방법.
7. 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 행위는 복수의 선택 항목(120) 중 하나를 선택하도록 하는 것을 포함하는 것인 방법.
8. 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 행위는 퀴즈(510)에 응답하도록 요청하는 것인 방법.
9. 제1항 내지 제8항 중 어느 한 항에 있어서, 상기 행위는 암시되어 있는 것(530)인 방법.
10. 질문 접속(challenge access)을 실시하는 웹 사이트와 같은 시스템으로서,

    제1항 내지 제9항 중 어느 한 항에 따른 방법을 수행하도록 구성된 수단을 포함하는 시스템.
11. 제1항 내지 제9항 중 어느 한 항에 따른 방법을 수행하는 명령어들을 포함하는 컴퓨터 등에 의해 판독 가능한 매체.