KR100747724B1 - 시각장애인을 위한 웹 네비게이션 시스템 및 그 방법 - Google Patents

시각장애인을 위한 웹 네비게이션 시스템 및 그 방법 Download PDF

Info

Publication number
KR100747724B1
KR100747724B1 KR1020060012266A KR20060012266A KR100747724B1 KR 100747724 B1 KR100747724 B1 KR 100747724B1 KR 1020060012266 A KR1020060012266 A KR 1020060012266A KR 20060012266 A KR20060012266 A KR 20060012266A KR 100747724 B1 KR100747724 B1 KR 100747724B1
Authority
KR
South Korea
Prior art keywords
web
file
information
user
block
Prior art date
Application number
KR1020060012266A
Other languages
English (en)
Inventor
심재석
Original Assignee
스페이스인터내셔널 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 스페이스인터내셔널 주식회사 filed Critical 스페이스인터내셔널 주식회사
Priority to KR1020060012266A priority Critical patent/KR100747724B1/ko
Application granted granted Critical
Publication of KR100747724B1 publication Critical patent/KR100747724B1/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62BHAND-PROPELLED VEHICLES, e.g. HAND CARTS OR PERAMBULATORS; SLEDGES
    • B62B1/00Hand carts having only one axis carrying one or more transport wheels; Equipment therefor
    • B62B1/10Hand carts having only one axis carrying one or more transport wheels; Equipment therefor in which the load is intended to be transferred totally to the wheels
    • B62B1/14Hand carts having only one axis carrying one or more transport wheels; Equipment therefor in which the load is intended to be transferred totally to the wheels involving means for grappling or securing in place objects to be carried; Loading or unloading equipment
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62BHAND-PROPELLED VEHICLES, e.g. HAND CARTS OR PERAMBULATORS; SLEDGES
    • B62B1/00Hand carts having only one axis carrying one or more transport wheels; Equipment therefor
    • B62B1/10Hand carts having only one axis carrying one or more transport wheels; Equipment therefor in which the load is intended to be transferred totally to the wheels
    • B62B1/12Hand carts having only one axis carrying one or more transport wheels; Equipment therefor in which the load is intended to be transferred totally to the wheels involving parts being adjustable, collapsible, attachable, detachable, or convertible

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 발명은 시각장애인을 위하여 웹 페이지의 구성 내용을 음성으로 안내하고 사용자의 명령에 따라 웹 네비게이션을 수행하는 웹 네비게이션 시스템 및 그 방법에 관한 것이다. 본 발명에 따르는 웹 네비게이션 시스템은, 웹 네비게이션 관리자의 접속을 수신하고 사용자 인증을 수행하여 로그인 처리하는 관리자 로그인 처리 수단; 웹 사이트를 구성하는 개별 웹 페이지의 URL 정보, 사용자에게 음성 안내하는 TTS 서버 정보, 사용자 단말에 설치될 네비게이터 프로그램 정보를 설정받고 환경 설정 파일을 생성하는 환경 설정 수단; 개별 웹 페이지를 구성하는 단위 콘텐츠의 블록 또는 그룹에 대하여 마스터 구조 정보 및 블록 구조 정보를 설정받아 맵핑 파일을 생성하는 맵핑 파일 생성 수단; 및 개별 웹 페이지에서 사용자의 키 버튼 명령 및 음성 명령에 대응하는 특정 네비게이션 명령을 설정받고 키 매크로 파일을 생성하는 키 매크로 엔진 설정 수단으로 구성되는 웹 서버를 포함하는 것을 특징으로 한다. 본 발명에 따르면, 기존 홈페이지의 기술 구성에 변경없이 본 발명의 기술을 적용할 수 있고, 사용자가 별도의 추가 장비없이 웹페이지의 구성 내용을 음성으로 안내받아 웹 네비게이션을 수행하여 웹 정보의 접근성과 사용성을 높인다.
시각, 네비게이션, 음성, 인식, 명령, 이벤트, 후킹, 페이지, 위치, 이동

Description

시각장애인을 위한 웹 네비게이션 시스템 및 그 방법{System and its method for web navigation for visually handicapped person}
본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 후술하는 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되지 않아야 한다.
도 1은 종래 시각장애인용 인터넷 서버/클라이언트 환경의 구성도.
도 2는 본 발명의 일 실시예에 따른 웹 네비게이션 시스템의 구성도.
도 3은 본 발명의 일 실시예에 따른 웹 서버의 기능 블록도.
도 4는 본 발명의 일 실시예에 따른 사용자 단말에 설치된 OCX의 기능 블록도.
도 5는 본 발명의 일 실시예에 따른 사용자 단말에 설치된 네비게이터 프로그램의 기능 블록도.
도 6은 본 발명의 일 실시예에 따른 웹 네비게이션 방법의 전체 순서도.
도 7은 본 발명의 일 실시예에 따른 네비게이터 프로그램 전송 및 설치 단계의 상세 순서도.
도 8은 본 발명의 일 실시예에 따른 맵핑 파일 수신 및 좌표값 저장 단계의 상세 순서도.
도 9는 본 발명의 일 실시예에 따른 사용자의 명령 이벤트 발생에 따른 좌표값 연산 단계의 상세 순서도.
도 10은 본 발명의 일 실시예에 따른 웹 서버가 관리자로부터 맵핑 정보를 설정받는 화면의 예시도.
도 11은 본 발명의 일 실시예에 따른 웹 서버가 생성하는 맵핑 파일의 예시도.
* 도면의 주요 부분에 대한 부호의 설명 *
1 : 시스템 2 : 웹 서버
3 : 사용자 단말 4 : TTS 서버
21 : 관리자 로그인 처리 수단 22 : 환경 설정 수단
23 : 맵핑 파일 생성 수단 24 : 키 매크로 엔진 설정 수단
31 : 웹 브라우저 32 : OCX
61 : 네비게이터 프로그램 611 : 데이터 통신 수단
612 : 웹 플로우 수단 613 : 네비게이션 수단
614 : 출력처리 수단
본 발명은 시각장애인을 위한 웹 네비게이션 시스템 및 그 방법으로서, 더욱 상세하게는, 맹인을 포함하는 시각장애인이 인터넷 웹 페이지를 이용할 때 웹 페이지 구조 및 웹 콘텐츠의 시각적 정보를 음성으로 안내하여 시각장애인의 웹 서핑에 대한 접근성과 사용성을 높이고자 한 웹 네비게이션 시스템 및 그 방법에 관한 것이다.
웹 네비게이션이란 사용자가 지형 및 도로의 지리적 위치 정보를 GPS를 통해 실시간으로 안내받는 시스템과 동일한 방법적 요소를 인터넷 웹에 적용한 것으로서, 시각장애인이 인터넷 웹 페이지의 정보를 음성으로 안내받고, 정의된 플로우 키와 음성 인식 명령을 입력하면 일반인처럼 웹 콘텐츠의 접근 및 사용성을 지원받을 수 있도록 하는 시스템을 말한다.
도 1은 종래 시각장애인을 위한 웹 시스템(100)을 도시한다. 종래에는 시각장애인이 인터넷 브라우저상(104)에 표시되는 웹 페이지를 이용하기 위해서는 개인 컴퓨터에 설치된 스크린리더군(105)을 이용하여 선택된 단순 문자열을 음성으로 안내받거나 또는 웹 서버(101)에서 시각장애인을 위한 별도의 음성 정보로 구성되는 웹 페이지(102)를 구축하여 TTS 서버(103)에 의한 제한적인 음성 정보를 이용했었다. 이러한 종래 웹 시스템(100)은 정상인과 시각장애인의 차별적 이용과 제한을 가져왔고, 시각장애인용 웹 서비스를 제공하는 기관 또한 경제적 비용을 부담해야 하는 문제점이 있었다. 참고로 상기 TTS 서버(103)는 실시간으로 텍스트 문장을 음성 합성하여 변환된 음성을 출력해주는 서버이다.
그래서 최근에는 기술적 및 방법적 해결이 보이지 않자, 종래에 이용되고 있던 시각장애인용 스크린리더군 제품에 의존해서 각 기관이 TTS 서버의 도입없이 기 존 홈페이지의 텍스트를 제외한 콘텐츠의 이미지나 동영상 등에 문자로 표시될 수 있는 기능만 제공하는 단순 웹 접근성만을 권고하게 되었다.
그러나 이것은 스크린리더군 제품을 이용하고 있는 대상자가 맹인에 국한되어 있어서 중증이 아닌 시각장애인이나 고령자와 같은 저시력자는 이용하기 어렵다는 문제점과 스크린리더군의 보조기기 제품을 보유하고 있지 않을 경우에는 반드시 별도로 보조기기 제품을 구매해야 하는 경제적 부담의 문제점을 갖고 있다. 또한 위에서 밝힌 바와 같이 스크린리더군 제품은 복잡하고 다양한 형태의 웹 콘텐츠 접근 및 사용이 어렵기 때문에 근본적인 해결책이 되지 못하고 있는 실정이다.
본 발명은 전술한 문제점을 해결하기 위한 것으로서, 기존의 홈페이지에서 본 발명의 웹 네비게이션 엔진을 탑재하여 시각장애인을 포함한 사용자가 음성 안내에 따라 웹 콘텐츠를 쉽게 접근하고 이용할 수 있게 하는 웹 네비게이션의 구현 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적 및 장점들은 하기에 설명될 것이며, 본 발명의 실시에 의해 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 조합에 의해 실현될 수 있다.
전술한 바와 같은 목적을 달성하기 위한 본 발명의 시각장애인을 위한 웹 네비게이션 시스템에 따르면, 유무선 인터넷상에서 웹 페이지의 네비게이션 정보를 사용자에게 제공하여 웹 페이지상에서의 사용자의 위치를 음성으로 안내하는 웹 네 비게이션 시스템에 있어서, 웹 네비게이션 관리자의 접속을 수신하고 사용자 인증을 수행하여 로그인 처리하는 관리자 로그인 처리 수단; 로그인한 상기 관리자로부터 웹 사이트를 구성하는 개별 웹 페이지의 URL 정보, 사용자에게 음성 안내하는 TTS 서버 정보, 사용자 단말에 설치될 네비게이터 프로그램 정보를 설정받고 환경 설정 파일을 생성하는 환경 설정 수단; 상기 관리자로부터 개별 웹 페이지를 구성하는 단위 콘텐츠의 블록 또는 그룹에 대하여 마스터 구조 정보 및 블록 구조 정보를 설정받아 맵핑 파일을 생성하는 맵핑 파일 생성 수단; 및 상기 관리자에게 모든 웹 페이지의 구조와 링크 주소가 도시된 맵 페이지를 제공하여 개별 웹 페이지에서 사용자의 키 버튼 명령 및 음성 명령에 대응하는 특정 네비게이션 명령을 설정받고 키 매크로 파일을 생성하는 키 매크로 엔진 설정 수단으로 구성되는 웹 서버를 포함하여, 상기 웹 서버는 홈페이지에 접속하는 상기 사용자 단말로 상기 환경 설정 파일, 키 매크로 파일 및 맵핑 파일을 전송하여 음성 안내를 이용한 웹 네비게이션 서비스를 제공하는 것을 특징으로 한다.
또한, 유무선 인터넷상에서 웹 서버로부터 웹 페이지의 네비게이션 정보를 제공받아 웹 페이지상에서의 사용자의 위치를 음성으로 안내하는 사용자 단말에 있어서, 상기 웹 서버로부터 액티브엑스 오브젝트(OCX)의 중개를 통하여 키 매크로 파일, 맵핑 파일 및 네비게이터 프로그램을 포함하는 데이터를 송수신하는 데이터 통신 수단; 상기 키 매크로 파일 및 맵핑 파일을 분석하고 브라우저상에서의 사용자의 음성 명령, 키 버튼 명령 및 마우스 명령에 대응하는 이벤트 메시지를 처리하는 웹 플로우 수단; 분석된 상기 맵핑 파일을 읽어들여 마스터 구조 정보 및 블록 구조 정보로 분리하고, 상기 구조 정보를 상위 블록, 하위 블록 및 콘텐츠 항목으로 구분된 계층에 따라 구조 정보의 좌표값을 생성하는 네비게이션 수단; 및 상기 좌표값에 대응하는 콘텐츠의 안내 문장을 파싱하여 TTS 서버로 전송하고, 변환된 음성파일을 전송받아 재생하고, 콘텐츠 포커싱과 페이지 이동을 수행하는 출력처리 수단을 포함하는 네비게이터 프로그램이 설치되는 것을 특징으로 한다.
본 발명의 시각장애인을 위한 웹 네비게이션 방법에 따르면, 유무선 인터넷상에서 웹 페이지의 네비게이션 정보를 사용자에게 제공하여 웹 페이지상에서의 사용자의 위치를 음성으로 안내하는 웹 네비게이션 방법에 있어서, (1)웹 서버가 홈페이지에 접속한 사용자 단말로 상기 웹 서버에 구축된 웹 페이지를 음성 안내하는 네비게이터 프로그램을 제공하고, 상기 사용자 단말에서 상기 프로그램을 자동 설치하고, 상기 프로그램의 자동 실행 후 환경설정을 하는 단계; (2)상기 웹 서버로부터 웹 페이지의 구조정보가 마스터 구조 정보 및 블록 구조 정보로 구성되는 맵핑 파일을 전송받아 위치정보를 분석하여 좌표값을 저장하는 단계; (3)상기 사용자 단말에서 사용자가 입력하는 음성 명령, 마우스 명령 또는 키 버튼 명령의 이벤트가 발생하는 경우, 상기 이벤트 키 값에 대응하는 웹 페이지와 상기 웹 페이지에서의 좌표값을 연산하는 단계; (4)연산된 상기 좌표값에 대응하는 콘텐츠에 포커싱하고, 상기 맵핑 파일로부터 상기 콘텐츠에 대응하는 안내 문장을 추출하는 단계; 및 (5)상기 안내 문장을 TTS 서버로 전송하고 변환된 음성파일을 전송받아 재생하는 단계를 포함하는 것을 특징으로 한다.
이하, 첨부도면을 참조하여 본 발명의 바람직한 일 실시예의 구성을 상세하 게 살펴본다.
<1. 웹 네비게이션 시스템>
도 2는 본 발명의 일 실시예에 따른 웹 네비게이션 시스템(1)의 구성을 도시한다.
본 발명의 일 실시예에 따른 웹 네비게이션 시스템(1)은 웹 페이지의 네비게이션 정보를 제공하는 웹 서버(2)와 상기 웹 서버(2)로부터 그 네비게이션 정보를 제공받아 사용자의 웹페이지상의 위치에 대응하는 안내 문장을 음성 안내하고 네비게이션 동작(이동)을 수행하는 사용자 단말(3)을 포함하여 구성된다.
상기 웹 서버(2)는 홈페이지에 접속하는 사용자의 웹 브라우저(4)로 웹 페이지를 제공하며 상기 웹 페이지의 네비게이션 정보를 제공한다. 웹 페이지를 제공하기 위한 구성으로서는 도 1에서와 같은 웹 서버 엔진, CGI, 웹 리소스가 요구된다. 그리고 웹 페이지의 네비게이션 정보를 제공하기 위한 수단으로서는 웹 서버(2)에 관리자 프로그램이 설치되며, 그 프로그램은 관리자 로그인 처리 수단(21), 환경 설정 수단(22), 맵핑 파일 생성 수단(23) 및 키 매크로 엔진 설정 수단(24)을 포함하여 구성된다.
상기 사용자 단말(3)은 상기 웹 서버(2)로부터 웹 페이지 및 그 웹 페이지의 네비게이션 정보를 제공받는다. 상기 네비게이션 정보는 상기 웹 서버(2)에 접속하여 자동 설치되는 액티브 엑스 오브젝트인 OCX(5)를 통하여 수신된다. OCX(5)는 웹 서버(2)로부터 다운받은 네비게이터 프로그램(6)의 버전 설치를 실행하고 웹 브라우저(4)와 네비게이터 프로그램(6) 사이에서 메시지 교환 방식으로 각종 정보를 전 달한다.
- 1.1 웹 서버
도 3은 도 2에 도시한 본 발명의 일 실시예에 따른 웹 서버(2)의 기능 블록을 도시한다.
상기 관리자 로그인 처리 수단(21)은 웹 서버(2)의 홈페이지에 관리자로 접속하는 관리자 단말로부터 접속을 수신하고 입력받은 아이디 및 패스워드를 이용하여 로그인 인증을 수행한다.
상기 환경 설정 수단(22)은 로그인한 관리자로부터 음성 안내를 이용한 웹 네비게이션 서비스의 환경 설정 정보를 입력받는다. 상기 환경 설정 정보는 IP 주소와 포트 번호를 포함하는 TTS 서버(7)의 접속 정보, 사용자 단말(3)에 설치되는 네비게이터 프로그램의 파일 이름(예를 들면, 웹 사이트의 기관명), 웹 사이트를 구성하는 웹 페이지의 URL 정보를 포함한다. 관리자가 등록한 환경 설정 정보는 config.sys 파일로 생성된다.
상기 맵핑 파일 생성 수단(23)은 관리자로부터 특정 웹 페이지를 구성하는 웹 콘텐츠의 영역 또는 블록을 정의받고 사용자가 특정 블록에 위치할 때 안내받는 안내 문장을 등록받는다. 관리자가 등록한 맵핑 정보는 맵핑 파일로 생성되어 사용자가 웹 페이지상에서 위치하는 위치정보 좌표값을 생성하는데 이용된다.
본 발명에서 특정 웹 페이지를 구성하는 각종 구성 요소의 위치정보를 정의하는 맵핑 파일은 확장자가 .msi인 마스터 구조 정보(MSI : Master Structure Info) 파일과 확장자가 .bsi인 블록 구조 정보(BSI : Block Structure Info) 파일로 구성된다. MSI 설정 기능(231)은 관리자가 웹 페이지마다 공통적으로 표시되는 블록을 정의하는 것이다. 예를 들면, 웹 페이지마다 공통적으로 표시되는 상단 메뉴(회사소개, 제품안내, 고객센터 등)와 같은 것으로서 매번 관리자가 웹 페이지의 구성을 정의할 때마다 반복적으로 입력해야 할 콘텐츠 정보를 MSI로 정의하는 것이다. 그리고 웹 페이지상에서 마스터 구조 정보 영역을 제외한 나머지 영역은 BSI로 설정하는 것이다.
마스터 구조 정보(MSI)는 ㄱ)상위 블록, ㄴ)하위 블록의 구조를 가지며, 블록 구조 정보(BSI)는 ㄱ)상위 블록 및 ㄴ)하위 블록과 더불어 ㄷ)콘텐츠 항목을 더 가진다. 그리고 각각의 최소 단위별 블록(ㄱ, ㄴ)의 구조는 맵핑 정보로서 키 인덱스(Key Index), 데이터 타입(Data Type), 데이터, 링크 주소, 가상 그룹, 안내 문장을 포함하는 속성을 가진다. 여기서, 하위 계층은 선택적으로 존재할 수 있다. 예를 들면, 상위 블록이 존재할 때 하위 블록은 존재하지 않을 수 있다. 마찬가지로 하위 블록이 존재할 때 콘텐츠 항목은 존재하지 않을 수 있다. 이와 같은 블록 구조를 통하여 개별 웹 페이지를 구성하는 모든 웹 콘텐츠의 구성 정보가 정의된다. 각각의 구조 정보에 따라서 2계층(MSI) 또는 3계층(BSI)으로 정의되는 웹 페이지 구성 정보는 사용자의 웹 사이트상에서의 위치 좌표값으로 변환되어 속성 정보를 참조하여 안내 문장을 음성 안내하고 링크 주소를 참조하여 웹 네비게이션을 수행하게 된다.
상기 키 매크로 엔진 설정 수단(24)은 관리자에게 웹 사이트를 구성하는 전체 개별 페이지 구조 및 URL 주소가 표시된 사이트 맵 페이지를 제공하고, 관리자 가 선택하는 특정 웹 페이지에서 처리되는 키 매크로 명령의 키워드를 정의 받는다. 키 매크로 명령은 사용자가 입력하는 키 버튼 명령 및 음성 명령의 키워드에 대하여 특정 웹 페이지로 바로 가기 실행을 수행한다.
전술한 환경 설정 파일(config.sys), 맵핑 파일(msi 파일 및 bsi 파일), 키 매크로 파일 등은 본 발명의 네비게이션 정보로서 홈페이지에 접속한 사용자 단말(3)로 제공된다. 또한, 맵핑 파일 및 키 매크로 파일은 사용자 단말(3)로 제공될 때 제 3자의 변형 및 해킹을 막기 위하여 암호화 처리된 파일로 전송된다. 예를 들면, 암호화 알고리즘으로서 128bit AES(Advanced Encryption Standard) 알고리즘이 이용되어 암호화 처리를 수행한다.
- 1. 2 사용자 단말
도 4는 도 2에 도시한 사용자 단말(3)에 설치된 OCX(5)의 기능 블록을 도시한다.
사용자가 사용자 단말(3)의 웹 브라우저(4)를 실행하여 본 발명의 웹 네비게이션 서비스를 제공하는 상기 웹 서버(2)의 홈페이지에 접속하면, 사용자 선택에 의하여 OCX(5)가 웹 브라우저(4)에 자동 설치된다. OCX(5)는 상기에서 설명한 관리자가 웹 서버(2)에서 네비게이션 정보로서 생성한 키 매크로 파일과 맵핑 파일을 네비게이터 프로그램(6)으로 전달하는 주요 기능을 갖는 액티브엑스 COM(Component Object Model)이다.
프로그램 설치 및 업그레이드 기능(51)은 사용자가 웹 네비게이션이 적용된 홈페이지에 들어가면 상기 OCX(5)가 사용자 단말(3)에 프로그램(6)이 설치되었는지 를 확인하고, 설치되어 있지 않거나 설치된 프로그램의 버전이 다를 경우 클라이언트의 지정된 디렉토리에 업그레이드 및 설치를 한다
환경설정 전달 기능(52)은 프로그램(6) 설치가 완료된 후 실행되면 OCX(5)가 전송받은 환경 설정 파일(config.sys)을 사용자 단말(3)의 프로그램(6)으로 전달한다.
핸들값 전달 기능(53)은 프로그램(6)이 OCX(5)로부터 환경 설정 파일을 전달받고 기재된 환경 설정 정보에 따라서 TTS 서버(7)로 IP 주소와 포트 번호를 이용하여 접속을 한다. 이후 OCX(5)는 상기 웹 네비게이션이 적용된 웹 페이지를 갖는 웹 브라우저(4)의 키 액세스를 제어하기 위해 해당 웹 브라우저(4)와 OCX(5)의 윈도우 핸들값을 프로그램(6)으로 전달한다.
웹 쿠키정보 전달 기능(54)은 웹 브라우저(4)의 웹 쿠키(Cookie) 정보 값을 읽고 프로그램(6)의 동작 켜기와 끄기, 음성 속도의 높낮이 조절, 음성 크기의 높낮이 조절, 웹 텍스트 문자의 크기 조절, 웹 텍스트 문자의 색상과 웹 배경색 조절 등의 기록된 값을 프로그램(6)으로 전달한다. 이것은 사용자가 본 발명의 웹 네비게이션이 적용되는 특정 웹 사이트를 방문할 때마다 매번 설정해야 하는 불편을 없애기 위한 기능이다.
키 매크로 엔진 파일 전달 기능(55)은 상기에서 설명된 바와 같이, 검색하고자 하는 링크 페이지로 바로가기 명령에서 이용될 키워드가 정의된 파일을 프로그램(6)으로 전달한다. 상기 키 매크로 파일에는 관리자가 정의한 키워드명과 특정 페이지로 이동할 URL 주소가 정의되어 있다.
맵핑 파일 전달 기능(56)은 관리자가 생성한 맵핑 파일 정보(MSI, BSI 맵핑 파일)를 상기 프로그램(6)으로 전달하여 해당 웹 페이지의 웹 네비게이션이 동작될 수 있도록 한다. 이와 같은 상기 네비게이션 구현에 필요한 정보가 상기 웹 서버(2)에서 상기 프로그램(6)으로 전달되면 사용자가 입력하는 음성 명령, 키보드 명령, 마우스 명령에 따라서 상기 프로그램(6)으로 전달된 웹 페이지의 현재 위치에 대응하는 콘텐츠의 안내 문장을 검색하여 음성으로 안내하게 된다.
상기 웹 페이지의 네비게이션 동작 중, 블록내 첫 콘텐츠 포커싱 기능(57) 은 관리자의 선택에 의해 웹 페이지 내에서 디폴트로 선택된 블록을 사용자에게 자동으로 음성 안내할 때 사용하는 것으로, 상기 프로그램(6)에서 상기 OCX(5)로 전달하여 웹 브라우저(4)에 표시되는 웹 페이지를 구성하는 블록의 첫번째 콘텐츠 항목을 자동 포커싱한다. 만약, 포커싱된 계층 정보의 데이터 형태가 보드 리스트(Board List), 또는 보드(Board)인 경우 OCX(5)로부터 블록내 텍스트 전달 기능(58)으로 설정된 블록의 텍스트를 전달받아 TTS 서버(7)를 통하여 음성 출력한다.
종료 메시지 전달 기능(59)은 사용자가 액티브된 웹 브라우저(4)에서 웹 주소를 본 발명의 웹 네비게이션 서비스를 제공하지 않는 홈페이지로 이동시키거나 상기 인터넷 브라우저를 종료시키면 OCX(5)는 윈도우의 소멸자 이벤트 값을 받아 사용자 단말(3)의 프로그램(6)으로 종료하라는 메시지를 전송하고 자동 종료한다. 그리고 프로그램(6)은 종료 메시지를 받아 OCX(5)의 핸들 값의 존재 여부를 확인한 후 프로세스에 해당 OCX(5) 핸들 값이나 웹 브라우저(4)의 핸들 값이 없을 경우 상기 프로그램(6)은 자동 종료한다. 만약, OCX(5)의 핸들 값이 존재할 경우 OCX(5)를 강제 종료한 후 프로그램(6)을 종료한다.
도 5는 도 2에 도시한 사용자 단말(3)에 설치된 네비게이터 프로그램(6)의 기능 블록을 도시한다.
본 발명의 일 실시예에 따른 사용자 단말(3)의 네비게이터 프로그램(6)은 데이터 통신 수단(61), 웹 플로우 수단(62), 네비게이션 수단(63) 및 출력처리 수단(64)을 포함하여 구성된다.
상기 데이터 통신 수단(61)은 OCX(5)와 메시지 기능을 수행하는 것으로서, 도 4에서 설명한 OCX(5)의 기능과 대응하여 웹 쿠키정보 수신(611), OCX 핸들 수신(612), 키 매크로 파일 수신(613), 맵핑 파일 수신(614), 블록내 텍스트 수신(615), 블록 Path 전달(616), 종료 메시지 수신(617)의 기능들을 수행한다.
키 매크로 파일 수신(613)이 기능되면 웹 플로우 수단(62)의 키 매크로 엔진(622) 기능이 액티브 상태로 전환되고 사용자가 정의된 키 버튼을 누를 경우, 상기 키 매크로 엔진(622)은 화면에 입력창을 표시한다. 입력창에 바로가기 명령어인 "이동"이라는 명령어와 사이트맵에서 정의한 특정 웹 페이지의 키워드명을 입력하면 해당 키워드에 정의된 웹 페이지의 링크 페이지 주소로 바로 이동하게 된다. 바람직한 사용예를 도시하면, 입력창에 "이동 자유게시판", 또는 "자유게시판으로 이동해줘"와 같이 키 매크로 명령을 입력하면 된다. 상기에서 전자의 입력 방식은 정의된 명령어를 이용한 방법이고, 후자의 입력 방식은 자연어 문장을 형태소 분석과 통사 분석을 통해 문장의 의미를 파악하여 명령어와 키워드를 분류하고 검색하여 전자 입력 방식으로 재변환해서 처리하는 방법이다.
또한, 맵핑 파일 수신(614)이 기능되면 네비게이션 수단(63)은 맵핑 파일을 읽는다. 맵핑 파일의 분석 중에 MSI 정보가 있으면 우선적으로 상기 MSI 파일을 읽어 맵핑 정보를 분석(631)하고 이를 계층별로 분류(632)하여 계층 위치적 좌표값으로 변환(633)한 후 메모리에 저장한다. 상기에서 설명한 바와 같이 맵핑 정보의 계층은 상위 블록, 하위 블록, 콘텐츠 항목으로 구분되며, 읽어들인 위치 영역의 계층에 따라 [An, Bn, Cn]와 같이 예시될 수 있는 순차에 의한 좌표값을 생성한 후 메모리에 저장한다. 여기서, An은 상위 블록의 순서이며, Bn은 하위 블록의 순서이며, Cn은 콘텐츠 항목의 순차적 순서의 좌표값이 된다. n은 순차적 기호로 1,2,3, ... n 값이다. 구체적인 예시를 하면 상위블록만 있고 하위블록이나 콘텐츠 항목이 없는 경우는 [1,0,0]과 같은 좌표값이 생성된다. 즉, 생성된 좌표값 및 상기 좌표값에 대응하는 계층 정보의 속성 데이터가 메모리에 저장되어 웹 네비게이션의 맵 정보로 이용된다.
상기 데이터 통신 수단(61)에서 웹 네비게이션이 동작될 때 위치 이동에 따라 OCX(5)로부터 블록내 텍스트를 수신(615)받고 포커싱된 블록의 데이터 형태가 보드나 보드리스트일 경우 블록내의 텍스트를 메세징하고 이를 문장별로 파싱 처리 후(641), TTS 서버(7)를 통하여 실시간으로 음성 변환(642) 출력한다. 블록 path 전달(616) 기능은 상기에서 설명한 바와 같이 관리자의 선택에 따라 웹 포커싱하여 상기 위치 이동된 블록의 텍스트를 메세징하기 위해 상기 OCX(5)로 전달한다.
상기 웹 플로우 수단(62)은 키 매크로 파일 및 맵핑 파일을 분석하고 웹 브라우저(4)상에서 발생하는 사용자의 음성 명령, 키 버튼 명령 및 마우스 명령에 대 응하는 이벤트 메시지를 처리한다. 상기 웹 플로우 수단(62)은 네비게이션 엔진(621), 키 매크로 엔진(622), 키 후킹 엔진(623), 웹 메시지 후킹 엔진(624) 및 음성 인식 엔진(625)의 기능을 포함하고 있다.
상기 네비게이션 엔진(621)은 본 발명의 핵심적 역할을 처리하는 기능으로서 사용자에 의하여 웹페이지의 이동 또는 동일 웹페이지에서 위치 이동이 발생하는 경우, 맵핑 정보의 분석(631)을 통한 계층적 정보의 분류(632)와 계층 정보의 좌표 변환(633)을 하고, 후킹된 키에 의한 네비게이션 조작시 해당 블록의 검색 정보(634)를 파싱 처리(641)해서 음성 안내해준다.
상기 키 후킹 엔진(623)은 웹 네비게이션이 되고 있는 웹 브라우저(4)에서 발생하는 키 버튼 명령의 메시지를 후킹하고, 후킹된 메시지 중에서 정의된 이동 키만을 처리한다. 일반적인 이동 키는 TAB, SHIFT+TAB, PgUp, PgDn, Home, End, ESC, ENTER 키와 펑션 키들로서, 액티브 상태의 상기 웹 브라우저(4)에서 동작되지 않고 사용자 단말(3)의 메모리에 로드된 맵 영역에서만 이용된다. 그 외의 키를 누르면 상기 액티브된 웹 브라우저(4)로 보내어 이용할 수 있게 한다. 단, TAB, SHIFT+TAB, ENTER 키는 상기 위치한 블록의 데이터 형태(EDIT, BOARD, BOARDLIST)에 따라 후킹된 키를 풀어서 상기 액티브된 웹 브라우저(4)로 보낸다. 이러한 이유는 하기에 설명할 웹 메시지 후킹(624)을 통해 블록내의 텍스트를 읽을 경우와 커서가 위치한 EDIT에 문자를 입력, 검색할 때 직접적인 이용이 가능하게 하기 위함이다.
이와 같이 후킹된 키는 네비게이션에 이용되는 키로, 이동 키가 눌러질 때 좌표값을 연산 처리하여 계층좌표 변환(633)에 따른 맵 정보를 검색한다. 이동키에 대한 설명을 한다면 F11 키는 프로그램(6)의 설치 키이고, F12 키는 프로그램(6)의 네비게이션 기능의 ON/OFF를 토글하는 키이고, F8 키는 해당 웹페이지의 구성 안내를 해주는 펑션 키이다. TAB 키는 해당 위치에서 순차적으로 다음에 해당되는 블록이나 콘텐츠 항목으로 이동하고, SHIFT+TAB 키는 TAB 키의 이동과는 반대로 역으로 이동한다. PgUp, PgDn 키는 상위 블록간의 이동이고, Home 키는 최상위의 첫번째 위치한 블록으로 이동하고, End 키는 최하위의 마지막에 위치한 블록으로 이동하는 키이다. ESC 키는 현재 위치한 계층에서 상위 계층으로 이동하고자 할 때 사용하는 키로, 콘텐츠 항목의 계층에서 하위 계층으로 이동할 때, 그리고 하위 계층에서 상위 계층으로 이동할 때 사용된다.
상기 웹 메시지 후킹 엔진(624)은 웹 이용자 중 일반인 또는 저시력자를 위한 기능으로, 마우스와 키보드 사용이 병행되어 이용될 수 있다. 액티브된 웹 브라우저(4)상에서 포커싱, 또는 커서 이동에 따라서 위치하는 웹의 콘텐츠를 메시지 후킹하고, 이를 문자 파싱(641) 처리해서 실시간으로 음성 변환(642)하여 출력한다. 상기 웹 메시지 후킹 엔진(624)은 웹뿐만 아니라 인터넷 브라우저의 메뉴와 아이콘까지도 후킹해서 음성 출력을 할 수 있다. 마우스의 이용은 음성 정보를 듣고자 하는 웹 콘텐츠에 마우스 커서를 갖다 대기만 하면 바로 웹의 메시지를 후킹해서 음성으로 출력해준다.
상기 음성 인식(Speech Recognition) 엔진(625)은 화자 인식으로 불특정 다수의 이용자 음성을 인식하여 인식 키워드에 해당하는 음성정보를 추출하고, 이를 계층 좌표로 변환(622)하여 맵 위치정보를 검색하는 기능이다. 음성 인식 안내에 이용되는 인식 키워드를 설명하면 다음과 같다. "페이지 안내"는 해당 웹 페이지의 구성을 안내해주는 인식 명령어이고, "다음"은 TAB 키와 같은 역할로 순차적 이동을 의미하는 인식 명령어이고, "이전"은 SHIFT+TAB 키와 같은 역할로 해당 위치에서 역 방향으로의 이동을 의미하는 인식 명령어이고, "이전블록", "다음블록"은 상위 블록, 하위 블록으로의 이동을 의미하는 인식 명령어이고, "상단블록", "하단블록"은 웹 페이지의 최상위 블록과 최하위 블록의 이동을 의미하는 인식 명령어이고, "링크"는 포커싱된 콘텐츠의 링크 페이지로 이동할 때의 인식 명령어이다. 이외에도 키 매크로 엔진(622)에서 분석한 키워드를 인식 명령어로 이용하여 해당 웹 페이지로 바로 갈 수 있다. 예를 들면, 관리자가 웹 서버(2)에서 공지사항 게시판의 웹 페이지 키워드명을 "공지"로 정의했다면, 이용자는 "공지"라는 단어를 음성 인식의 키워드로 이용할 수 있다. 즉, 이용자가 "공지"라고 마이크로폰에 음성 입력을 하면 음성 인식 처리 엔진(625)은 "공지" 키워드를 인식하고 설정된 링크 주소를 검색하여 해당 페이지로 이동하게 된다.
상기 네비게이션 수단(63)은 맵핑 파일을 읽어들여 마스터 구조 정보(MSI) 및 블록 구조 정보(BSI)로 분리하고, 상기 구조 정보를 상위 블록, 하위 블록 및 콘텐츠 항목으로 구분된 계층에 따라 구조 정보의 좌표값을 생성하여 저장한다.
상기 출력처리 수단(64)은 사용자의 네비게이션 좌표값에 대응하는 콘텐츠의 안내 문장을 파싱(641)한 후, TTS 서버(7)로 전송하여 변환된 음성파일을 전송받아 재생하고(642), 콘텐츠 포커싱(643)과 페이지 이동(644)을 수행한다.
<2. 웹 네비게이션 방법의 수행 절차>
도 6은 본 발명의 일 실시예에 따른 웹 네비게이션 방법의 전체 순서를 도시한다.
본 발명의 일 실시예에 따른 웹 네비게이션 방법은 전술한 웹 네비게이션 시스템(1)의 구축을 통하여 실현될 수 있다. 사용자가 클라이언트의 웹 브라우저(4)를 실행하여 본 발명의 웹 네비게이션 서비스를 제공하는 홈페이지에 접속하면, 웹 페이지의 네비게이션 정보를 갖는 맵핑 파일을 다운로드 받는다. 상기 맵핑 파일을 통하여 사용자는 자신이 위치하는 웹페이지의 콘텐츠 정보를 음성으로 안내받고 마우스 명령, 키보드 명령 또는 음성 명령으로 동일 웹페이지 내에서 이동하거나 타 웹페이지로 이동하는 웹 네비게이션을 수행한다.
- 2.1 웹 네비게이션 초기 환경 설정
사용자는 웹 브라우저(3)를 실행하여 본 발명에 따른 웹 네비게이션 서비스를 제공하는 웹 서버(2)의 홈페이지에 접속하고, 상기 홈페이지로부터 네비게이션 프로그램(6)을 다운로드 받아 설치한다(S10). 본 발명의 사용자는 시각장애인뿐만 아니라 정상인도 포함될 수 있다. 만약, 사용자가 상기 홈페이지에 최초 접속하는 경우라면, 상기 홈페이지로부터 OCX(5)를 다운로드 받아 웹 브라우저(4)에 설치한다. 상기 OCX(5)는 액티브엑스 COM으로서 웹 브라우저(4)와 네비게이터 프로그램(6) 사이에서 데이터 전달 및 메시지 전달을 수행하는 매개체이다.
도 7을 참조하여 상기 단계(S10)를 상세히 설명하면, 사용자가 웹 브라우저 (4)를 실행하여 웹 서버(2)의 홈페이지에 접속하면, 자동 설치되는 OCX(5)가 메모리에 로딩된다(S101). OCX(5)는 네비게이터 프로그램(6)이 설치되었는지를 검사하고(S102), 만약 설치가 되어 있지 않다면 프로그램(6)의 설치 안내를 음성으로 안내한다(S103). 사용자는 안내 음성을 듣고 설치할 경우 전술한 F11 키를 누른다. 입력된 키를 검사(S104)하여 사용자가 프로그램(6)을 설치하지 않는다면 기존의 웹 서비스를 이용(S105)하게 된다. 키가 눌려지면 설치키에 해당되는 키인지를 검사(S106)하고 네비게이터 프로그램(6)을 전송하여 사용자 단말(3)에 설치한다(S107). 상기 단계(S102)에서 만약 프로그램(6)이 설치되어 있다면, 버전 비교를 수행하고(S108), 상위 버전의 프로그램(6)을 다운받아 업그레이드한다(S109). 프로그램(6)의 설치가 완료되면 사용자 단말(3)에서 실행중인 프로세스를 검사하여 스크린리더군 제품이 실행 중인지를 검색(S110)한다. 이러한 이유는 음성 충돌 및 중복음이 발생하는 것을 막기 위함이다. 사용자 단말(3)에서 스크린리더 프로그램이 실행중이라면 해당 제품의 음성 기능을 OFF 상태로 토글하라는 안내(S111)를 한다. 상기 스크린리더군 제품이 실행 중이 아니라면 본 발명의 웹 네비게이션 서비스를 동작시키기 위해 상기 OCX(61)는 사용자 단말(3)의 프로그램(6)을 실행한다(S112).
그리고 사용자 단말(3)에서 프로그램(6)이 실행되면, 웹 서버(2)로부터 전송받은 환경 설정 파일은 OCX(5)를 통해 프로그램(6)에 전달된다(S113). 상기 환경설정 파일은 웹 사이트를 구성하는 개별 웹 페이지의 URL 정보, 사용자에게 음성 안내하는 TTS 서버 정보(IP 주소, 포트 번호), 사용자 단말에 설치될 네비게이터 프로그램 정보를 포함하고 있다. 프로그램(6)은 웹 브라우저(4)와 OCX(5)의 핸들값을 전달받는다(S114). 또한, 프로그램(6)은 상기 환경 설정 파일의 IP와 포트 번호를 이용하여 음성 인식 엔진(626)의 초기화를 수행하여 로딩한 후 TTS 서버(7)에 접속한다(S115). 여기서 프로그램(6)이 웹 서버(2)의 데이터베이스와 연동되어 있다면 CRM(Customer Relationship Management) 기능을 제공하여 이용자의 메시지 정보가 있는지 검사하고(S116), 이용자에게 해당되는 맞춤정보를 데이터베이스에서 갱신된 정보를 검색하여 안내한다(S117, S118). 프로그램(6)은 웹 메시지 후킹 엔진(625)을 로드하고(S119), 키 후킹 엔진(624)을 로드한다(S120).
- 2.2 웹 페이지의 위치 정보 저장
상기 단계(S10)를 통하여 사용자 단말(3)에서의 프로그램(6) 설치 및 초기 환경 설정이 완료된 후, 웹 서버로부터 새로운 웹페이지가 수신될 때마다 사용자 단말(3)은 상기 웹페이지의 맵핑 파일을 전송받고, 상기 맵핑 파일을 분석하여 위치정보로서 좌표값을 연산하여 메모리에 저장한다(S20). 도 8을 참조하여 상기 단계(S20)를 상세히 설명하면, 네비게이터 프로그램(6)은 OCX(5)로부터 맵핑 파일을 전달받고(S201), 상기 맵핑 파일의 마스터 구조 정보(MSI : master structure info)와 블록 구조 정보(BSI : block structure info)를 해석한다(S202). MSI 정보가 있으면 마스터 맵 정보를 상위 블록 구조 및 하위 블록 구조의 계층별로 분류하고(S204), 계층의 위치 좌표값을 메모리에 저장한다(S205). 그리고 BSI 정보를 상위 블록 구조, 하위 블록 구조 및 콘텐츠 항목 구조로 계층별로 분류하고(S206), 상기 BSI의 계층별 위치 좌표값을 메모리에 저장한다(S207).
상기 단계(S20)를 수행하면 프로그램(6)은 사용자의 입력을 대기하여 사용자 가 입력하여 발생하는 명령 이벤트에 대응하는 네비게이션을 수행한다. 상기 네비게이션은 사용자의 입력에 따른 명령 이벤트 발생시 대응하는 새로운 페이지 이동하거나 동일 페이지 내에서 콘텐츠 항목을 이동한 후 사용자의 현 위치를 음성으로 안내하는 것이다.
- 2.3 웹 페이지의 위치 이동 발생
도 6에서, 상기 단계(S20)를 통하여 웹페이지의 좌표값이 저장된 후, 사용자 단말(3)의 웹 브라우저(4)에서 음성 명령, 마우스 명령 또는 키 명령 이벤트가 발생하는 경우, 상기 이벤트 키 값에 대응하는 위치정보로서 웹 페이지와 상기 웹 페이지에서의 좌표값을 연산한다(S30). 도 9를 참조하여 상기 단계(S30)를 상세히 설명하면, 웹 브라우저(4)상에서, 프로그램(6)은 사용자의 음성 명령 이벤트 단계(S31), 마우스 명령 이벤트 단계(S32), 후킹키 명령 이벤트 단계(S33) 및 키 매크로 입력 이벤트 단계(S34)를 수행한다.
상기 음성 명령 이벤트 단계(S31)에서는, 음성 인식 엔진(626)이 사용자의 음성 명령을 인식하고(S311), 수신한 명령을 자연어 처리한 후 텍스트 변환하고(S312), 키 매크로 파일의 명령을 조회하여 상기 텍스트와 비교한다(S313). 비교 결과 웹페이지 이동 명령이면 대응하는 URL 주소를 OCX(5)로 전달하고, OCX(5)는 전달받은 URL주소에 대응하는 페이지를 서버(2) 측에 요청하여 페이지 이동을 처리한다. 그리고 상기 비교 결과가 동일 페이지상의 위치 이동 명령이면 새로운 좌표값을 연산한다(S314). 또한, 사용자 단말(3)에서 새로운 웹페이지가 표시될 때에는 상기 웹페이지상에서 포커스가 위치하는 디폴트 좌표값이 결정된다.
상기 마우스 명령 이벤트 단계(S32)에서는 웹 메시지 후킹 엔진(625)이 마우스 이벤트 메시지를 후킹하고(S321), 메시지 파라미터를 통하여 마우스 커서의 좌표값에 해당하는 윈도우즈 텍스트를 전달받는다. 이 텍스트는 TTS서버(7)를 통하여 사용자에게 음성 안내된다.
상기 후킹키 명령 이벤트 단계(S33)에서는 키 후킹 엔진(624)이 키보드 이벤트 메시지를 후킹하여 이동에 관련한 후킹키인지를 검사한다(S331). 여기서 키 매크로 파일에 정의된 후킹키와 비교될 수도 있다. 만약, 후킹키가 특정 웹페이지로 이동을 정의하는 경우라면 새로운 웹페이지에서의 디폴트 좌표값이 결정된다. 후킹키가 동일 웹페이지상에서의 이동을 정의하는 경우라면 새로운 좌표값을 연산한다(S332). 후킹키가 아닐 경우는 후킹한 메시지를 웹 브라우저(4)로 넘긴다.
상기 키 매크로 입력 이벤트 단계(S34)에서는 사용자가 키 매크로 입력 버튼을 누르면 입력창을 화면에 표시한다(S341). 상기 입력창을 통하여 키 매크로 엔진(622)은 사용자가 입력하는 명령어와 키워드를 입력받고(S342), 자연어 처리를 수행하고(S343), 키 매크로 파일을 조회하여 대응하는 URL 주소를 추출한 후(S344), 상기 URL 주소를 OCX(5)로 전달한다(S345). OCX는 상기 URL 주소에 대응하는 웹페이지를 웹 서버(2)로 요청한다.
- 2.4 현재 위치의 음성 안내
상기 단계(S30)에서 사용자의 네비게이션 명령에 따라 새로운 위치정보(웹페이지 + 좌표값)가 결정되면, 프로그램(6)은 연산된 상기 좌표값에 대응하는 콘텐츠에 포커싱하도록 OCX(5)를 통하여 위치정보를 전달하고, 메모리에 저장한 상기 맵 핑 파일의 위치정보에서 상기 좌표값에 대응하는 콘텐츠의 안내 문장을 추출한다(S40).
상기 단계(S40)에서 사용자의 현재 위치에 대응하는 안내 문장이 결정되면, 프로그램(6)은 상기 안내 문장을 TTS 서버(7)로 전송하고 변환된 음성파일을 전송받아 재생함으로써 사용자에게 음성 안내를 한다(S50).
<3. 웹 페이지의 맵핑 파일 예시>
도 10은 본 발명의 일 실시예에 따른 웹 서버(2)가 관리자로부터 맵핑 정보를 설정받는 화면을 예시한다.
관리자는 웹 서버(2)의 홈페이지에 접속하고, 웹 사이트를 구성하는 개별 웹 페이지마다 그 구성 요소(콘텐츠)의 단위별로 영역 및 속성을 지정하여 맵핑 파일로 저장한다.
예를 들면, 관리자는 도 10에서와 같은 메인 페이지를 선택하여 화면에 로딩하고, 마스터 구조 정보(MSI)와 블록 구조 정보(BSI)의 영역을 설정한다. 여기서, 상단의 메뉴 영역(101)은 전체 웹 페이지마다 동일하게 표시되는 부분이기 때문에 마스터 구조 정보(MSI)로 설정하고 나머지 영역을 블록 구조 정보(BSI)로 설정한다. 그러면 BSI 파일을 생성할 경우에는 메뉴 영역(101) 블록을 따로 생성할 필요가 없이 BSI 파일 생성시 마스터 넣기에 체크를 하게 되면 미리 만들어진 MSI 파일에 대한 정보가 BSI 파일에서 포함할 수 있도록 BSI 파일이 생성된다. 만약, MSI 파일을 생성하지 않을 경우는 전체 페이지(101을 포함)가 BSI 파일로 생성된다.
상기 메뉴 영역(101)의 블록을 설정하기 위해서는 상기 영역(101)의 테두리 를 클릭하면 하단 설정 윈도에 그 정보가 표시되고 저장하면 상기 영역(101) 전체가 상위계층 블록(좌표값 0.0.0)으로 생성된다. 그리고 메뉴 영역(101) 내에 위치하는 각각의 이미지(회사소개 ~ 고객지원) 영역(102)의 테두리를 클릭하면 상위 계층그룹의 하위 계층그룹으로 표시되며 저장하면 하위계층 블록(좌표값 0.1.0 ~ 0.5.0)으로 생성된다. 각각의 계층 블록 구조는 상기의 키 인덱스, 데이터 타입, 데이터, 링크 주소, 가상 그룹, 안내 문장을 포함하는 속성을 가진다.
웹 페이지를 구성하는 콘텐츠 요소의 위치정보를 정의하는 과정에서 전술한 바와 같이 MSI를 설정하고 나면, 나머지 영역으로서 BSI를 설정한다. 이미지 영역(103)을 정의하는 경우, 전체 이미지 영역(103)에 대응하는 가장 바깥쪽 테두리를 클릭하여 상위 블록(좌표값 1.0.0)으로 지정하고, "고객센터" 영역(104)에 대응하는 바깥쪽 테두리를 클릭하여 하위 블록 1(좌표값 1.1.0)로 지정하고, 마찬가지로 "CD SPACE" 영역에 대응하는 바깥쪽 테두리를 클릭하여 하위 그룹 2(좌표값 1.2.0)로 지정하면 3개의 콘텐츠로 구성되는 BSI가 정의된다.
전술한 바와 같은 과정으로 정의되는 개별 웹페이지의 구성 요소들은 msi 파일 및 bsi 파일로 구성된 맵핑 파일로 생성된다. 사용자 단말(3)은 상기 맵핑 파일을 제공받고 네비게이터 프로그램(7)에 의하여 읽혀져 좌표값으로 연산 된다. 그리고 상기 프로그램(7)은 사용자의 네비게이션(위치 이동) 동작이 발생하면 대응하는 목적 위치의 좌표값을 구한 후 상기 좌표값의 속성 정보인 안내 문장을 추출한 후 TTS 서버(7)를 통하여 음성으로 안내한다.
도 11은 도 10을 통하여 생성하는 맵핑 파일을 예시한다. 맵핑 파일은 마스 터 구조 정보(MSI)로서 키워드 <MSI>, </MSI>를 사용하며, 블록 구조 정보(BSI)로서 키워드 <BSI>, </BSI>를 사용한다. 또한, 각각의 상기 구조 정보는 상위 블록 정보로서 키워드 <Block>, </Block>을 사용하고, 하위 블록 정보로서 키워드 <Sub Block>, </Sub Block>을 사용한다. 여기서, 블록 구조 정보는 추가로 콘텐츠 항목 구조로서 키워드 <Item>, </Item>을 더 사용한다. 그리고 각각의 상위 블록, 하위 블록, 콘텐츠 항목은 동일한 항목 속성(Key Index, Data, Description, Block Path, Link, Data Type, Parent, e Flag, SubBlockNo, ItemNo)을 가진다.
상술한 바와 같이, 본 발명에 따른 시각장애인을 위한 웹 네비게이션 시스템 및 그 방법의 실시예가 구성된다. 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.
본 발명에 따른 시각장애인을 위한 웹 네비게이션 시스템 및 그 방법은, 기존 홈페이지의 기술 구성에 변경없이 본 발명의 기술을 적용할 수 있고, 사용자도 별도의 추가 장비없이 웹페이지의 구성 내용을 음성으로 안내받고, 음성, 키보드 및 마우스의 명령을 통하여 웹 네비게이션을 수행할 수 있어 웹 정보의 접근성과 사용성을 높이는 효과가 있다.

Claims (16)

  1. 유무선 인터넷상에서 웹 페이지의 네비게이션 정보를 사용자에게 제공하여 웹 페이지상에서의 사용자의 위치를 음성으로 안내하는 웹 네비게이션 시스템에 있어서,
    웹 네비게이션 관리자의 접속을 수신하고 사용자 인증을 수행하여 로그인 처리하는 관리자 로그인 처리 수단;
    로그인한 상기 관리자로부터 웹 사이트를 구성하는 개별 웹 페이지의 URL 정보, 사용자에게 음성 안내하는 TTS 서버 정보, 사용자 단말에 설치될 네비게이터 프로그램 정보를 설정받고 환경 설정 파일을 생성하는 환경 설정 수단;
    상기 관리자로부터 개별 웹 페이지를 구성하는 단위 콘텐츠의 블록 또는 그룹에 대하여 마스터 구조 정보 및 블록 구조 정보를 설정받아 맵핑 파일을 생성하는 맵핑 파일 생성 수단; 및
    상기 관리자에게 모든 웹 페이지의 구조와 링크 주소가 도시된 맵 페이지를 제공하여 개별 웹 페이지에서 사용자의 키 버튼 명령 및 음성 명령에 대응하는 특정 네비게이션 명령을 설정받고 키 매크로 파일을 생성하는 키 매크로 엔진 설정 수단
    으로 구성되는 웹 서버를 포함하여, 상기 웹 서버는 홈페이지에 접속하는 상기 사용자 단말로 상기 환경 설정 파일, 키 매크로 파일 및 맵핑 파일을 전송하여 음성 안내를 이용한 웹 네비게이션 서비스를 제공하는 것을 특징으로 하는 웹 네비 게이션 시스템.
  2. 제 1항에 있어서,
    상기 웹 서버는,
    상기 사용자 단말로부터 홈페이지 접속 요청을 수신받으면, 상기 웹 서버와 상기 네비게이터 프로그램 사이에서 소정의 데이터 파일을 송수신하는 액티브엑스 오브젝트(OCX)를 전송하여 사용자 단말에 자동 설치하고, 상기 오브젝트를 통하여 상기 환경 설정 파일, 상기 맵핑 파일 및 상기 키 매크로 파일을 포함하는 상기 네비게이션 정보를 제공하는 것을 특징으로 하는 웹 네비게이션 시스템.
  3. 제 1항에 있어서,
    상기 맵핑 파일 생성 수단은,
    웹 페이지마다 공통적으로 표시되는 블록 또는 그룹을 상기 마스터 구조 정보에 저장하여 상기 관리자가 개별 페이지마다 매번 정의하는 불편을 없애고, 나머지 웹 페이지 영역을 상기 블록 구조 정보로 설정하는 것을 특징으로 하는 웹 네비게이션 시스템.
  4. 제 1항 또는 제 3항에 있어서,
    상기 맵핑 파일 생성 수단은,
    상기 마스터 구조 정보를 상위 블록 및 하위 블록의 구조로 구성하고, 상기 블록 구조 정보를 상위 블록, 하위 블록 및 콘텐츠 항목의 구조로 구성하고,
    모든 개별 단위 블록의 구조는 키 인덱스, 데이터 타입, 데이터, 링크 주소, 가상 그룹, 안내 문장을 포함하는 속성으로 구성하는 것을 특징으로 하는 웹 네비게이션 시스템.
  5. 제 1항에 있어서,
    상기 키 매크로 파일, 상기 마스터 구조 정보가 저장된 확장자 MSI 파일, 상기 블록 구조 정보가 저장된 확장자 BSI 파일은 암호화 처리되어 사용자 단말로 전송될 때 변형 및 해킹을 방지하는 것을 특징으로 하는 웹 네비게이션 시스템.
  6. 유무선 인터넷상에서 웹 서버로부터 웹 페이지의 네비게이션 정보를 제공받아 웹 페이지상에서의 사용자의 위치를 음성으로 안내하는 사용자 단말에 있어서,
    상기 웹 서버로부터 액티브엑스 오브젝트(OCX)의 중개를 통하여 키 매크로 파일, 맵핑 파일 및 네비게이터 프로그램을 포함하는 데이터를 송수신하는 데이터 통신 수단;
    상기 키 매크로 파일 및 맵핑 파일을 분석하고 브라우저상에서의 사용자의 음성 명령, 키 버튼 명령 및 마우스 명령에 대응하는 이벤트 메시지를 처리하는 웹 플로우 수단;
    분석된 상기 맵핑 파일을 읽어들여 마스터 구조 정보 및 블록 구조 정보로 분리하고, 상기 구조 정보를 상위 블록, 하위 블록 및 콘텐츠 항목으로 구분된 계층에 따라 구조 정보의 좌표값을 생성하는 네비게이션 수단; 및
    상기 좌표값에 대응하는 콘텐츠의 안내 문장을 파싱하여 TTS 서버로 전송하고, 변환된 음성파일을 전송받아 재생하고, 콘텐츠 포커싱과 페이지 이동을 수행하는 출력처리 수단
    을 포함하는 네비게이터 프로그램이 설치되는 것을 특징으로 하는 사용자 단말.
  7. 제 6항에 있어서,
    상기 데이터 통신 수단은,
    상기 웹 서버에 대응하는 쿠키파일로부터 네비게이션 기능의 동작 켜기와 끄기, 음성 속도 및 크기의 조절의 쿠키값을 읽어와서 설정하는 기능;
    상기 오브젝트에 의하여 상기 웹 서버로부터 특정 웹 페이지로 이동하는 키워드 명령 및 링크 주소를 포함하는 키 매크로 파일을 전송받아 상기 네비게이션 수단으로 전달하는 기능;
    상기 오브젝트가 사용자 선택에 의하여 포커싱된 블록내의 텍스트를 수신받아 음성 안내하는 기능;
    사용자의 네비게이션에 의하여 상기 포커싱된 블록의 경로를 찾아서 상기 텍스트를 추출하여 상기 오브젝트로 전달하는 기능; 및
    상기 웹 서버 이외의 페이지로 링크되어 네비게이션을 종료하는 메시지를 수신하는 기능
    을 포함하는 것을 특징으로 하는 사용자 단말.
  8. 제 6항에 있어서,
    상기 웹 플로우 수단은,
    상기 맵핑 파일을 분석하여 상기 네비게이션 수단으로 전달하여 맵핑 정보를 관리하는 네비게이션 엔진;
    상기 키 매크로 파일을 분석하여 메모리에 저장하고, 사용자의 키 버튼 또는 음성 명령을 통하여 수신받은 키 매크로 명령을 처리하는 키 매크로 엔진;
    사용자의 키 버튼 명령을 후킹하여 분석하고 상기 프로그램이 처리해야 할 제어 명령 또는 상기 사용자의 운영체제가 처리해야 할 제어 명령인지를 판별하고, 상기 프로그램이 처리해야 할 제어 명령일 경우 페이지 이동, 콘텐츠 음성 안내를 처리하는 키 후킹 엔진;
    상기 브라우저상에서 사용자의 마우스 및 키보드 메시지를 후킹하여 선택된 콘텐츠에 대응하는 문장을 음성으로 안내하는 웹 메시지 후킹 엔진; 및
    사용자의 음성 명령을 인식하고, 상기 음성 명령을 분석하여 미리 정의된 명령일 경우 그 처리를 수행하는 음성 인식 엔진
    을 포함하는 것을 특징으로 하는 사용자 단말.
  9. 제 6항에 있어서,
    상기 네비게이션 수단은,
    상기 맵핑 파일을 분석하여 마스터 구조 정보 및 블록 구조 정보로 분리하는 맵 정보 분석 기능;
    상기 구조 정보를 상위 블록, 하위 블록 및 콘텐츠 항목으로 구분된 계층에 따라 분리하는 계층별 정보 분류 기능;
    상기 계층별 정보의 위치 정보로서 좌표값으로 변환하는 계층 좌표 변환 기능; 및
    사용자에 의하여 특정 좌표값의 콘텐츠가 선택될 때 음성 안내를 위하여 그 블록의 안내 문장을 검색하는 블록 검색 정보 기능
    을 포함하는 것을 특징으로 하는 사용자 단말.
  10. 제 6항에 있어서,
    상기 출력처리 수단은,
    사용자 선택에 따른 안내 문장을 전달받고 파싱하는 문장 파싱 기능;
    파싱된 문장을 TTS 서버로 전송하고 변환된 음성 파일을 수신하여 재생하는 실시간 음성 변환 기능;
    사용자의 이동 명령 또는 콘텐츠 선택에 따른 대응하는 블록의 첫번째 콘텐츠를 포커싱하는 웹 포커싱 기능; 및
    사용자의 음성, 마우스, 키 명령에 따라서 대응하는 링크 페이지로 이동 처리하는 링크 페이지 이동 기능
    을 포함하는 것을 특징으로 하는 사용자 단말.
  11. 유무선 인터넷상에서 웹 페이지의 네비게이션 정보를 사용자에게 제공하여 웹 페이지상에서의 사용자의 위치를 음성으로 안내하는 웹 네비게이션 방법에 있어서,
    (1)웹 서버가 홈페이지에 접속한 사용자 단말로 상기 웹 서버에 구축된 웹 페이지를 음성 안내하는 네비게이터 프로그램을 제공하고, 상기 사용자 단말에서 상기 프로그램을 자동 설치하고, 상기 프로그램의 자동 실행 후 환경설정을 하는 단계;
    (2)상기 웹 서버로부터 웹 페이지의 구조정보가 마스터 구조 정보 및 블록 구조 정보로 구성되는 맵핑 파일을 전송받아 위치정보를 분석하여 좌표값을 저장하는 단계;
    (3)상기 사용자 단말에서 사용자가 입력하는 음성 명령, 마우스 명령 또는 키 버튼 명령의 이벤트가 발생하는 경우, 상기 이벤트 키 값에 대응하는 웹 페이지와 상기 웹 페이지에서의 좌표값을 연산하는 단계;
    (4)연산된 상기 좌표값에 대응하는 콘텐츠에 포커싱하고, 상기 맵핑 파일로부터 상기 콘텐츠에 대응하는 안내 문장을 추출하는 단계; 및
    (5)상기 안내 문장을 TTS 서버로 전송하고 변환된 음성파일을 전송받아 재생하는 단계
    를 포함하는 것을 특징으로 하는 웹 네비게이션 방법.
  12. 제 11항에 있어서,
    상기 단계(1)는,
    상기 웹 서버가 접속한 관리자 단말로부터 웹 페이지마다 공통적으로 표시되는 블록 또는 그룹을 상위 블록 및 하위 블록 구조로 구성되는 상기 마스터 구조 정보로 설정받고,
    나머지 웹 페이지 영역을 상위 블록, 하위 블록 및 콘텐츠 항목 구조로 구성되는 상기 블록 구조 정보로 설정받고,
    각각의 상기 블록 구조는 키 인덱스, 데이터 타입, 데이터, 링크 주소, 가상 그룹, 안내 문장을 포함하는 속성으로 구성되는 상기 맵핑 파일을 미리 생성하는 단계를 더 포함하는 것을 특징으로 하는 웹 네비게이션 방법.
  13. 제 11항 또는 제 12항에 있어서,
    상기 단계(1)는,
    상기 웹 서버가 상기 사용자 단말로부터 홈페이지 접속을 수신하면, 상기 웹 서버와 네비게이터 프로그램 사이에서 소정의 데이터 파일을 송수신하는 액티브엑스 오브젝트(OCX)를 전송하여 사용자 단말에 자동 설치하고, 상기 사용자 단말은 상기 오브젝트를 통하여 키 매크로 파일 및 네비게이터 프로그램을 전송받고, 상기 프로그램이 실행되어 TTS 서버 설정 및 사용자의 명령 이벤트를 후킹하는 엔진을 로드하는 환경 설정을 수행하는 단계인 것을 특징으로 하는 웹 네비게이션 방법.
  14. 제 11항에 있어서,
    상기 단계(2)는,
    상기 사용자 단말이 상기 웹 서버로부터 새로운 웹페이지를 수신할 때마다 상기 웹페이지에 대응하는 상기 맵핑 파일을 수신하고, 상기 맵핑 파일로부터 상기 마스터 구조 정보를 상위 블록 및 하위 블록 구조로 구분하고, 상기 블록 구조 정보를 상위 블록, 하위 블록 및 콘텐츠 항목 구조로 구분하고, 각각의 상기 블록 구조로부터 키 인덱스, 데이터 타입, 데이터, 링크 주소, 가상 그룹, 안내 문장을 포함하는 속성으로 상기 위치정보를 분석하여 상기 좌표값을 연산한 후 메모리에 저장하는 단계인 것을 특징으로 하는 웹 네비게이션 방법.
  15. 제 11항에 있어서,
    상기 단계(3)는,
    상기 명령 이벤트가 발생하는 경우, 상기 프로그램에서 이벤트 메시지를 후킹하여 상기 프로그램이 처리할 메시지와 상기 사용자 단말의 운영체제가 처리할 메시지를 구분하고, 상기 프로그램이 처리할 메시지가 위치 이동에 관련된 메시지일 경우 웹페이지 및 좌표값으로 구성되는 위치정보를 연산하는 단계인 것을 특징으로 하는 웹 네비게이션 방법.
  16. 제 11항에 있어서,
    상기 단계(3)는,
    상기 사용자 단말에서 키 매크로를 로딩하는 키가 눌려지는 경우, 키 매크로 입력창을 화면에 표시하여 사용자의 키 매크로 명령을 입력받고, 상기 명령을 자연어 처리 분석을 통하여 키워드를 추출하는 재해석 단계를 포함하는 것을 특징으로 하는 웹 네비게이션 방법.
KR1020060012266A 2006-02-08 2006-02-08 시각장애인을 위한 웹 네비게이션 시스템 및 그 방법 KR100747724B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060012266A KR100747724B1 (ko) 2006-02-08 2006-02-08 시각장애인을 위한 웹 네비게이션 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060012266A KR100747724B1 (ko) 2006-02-08 2006-02-08 시각장애인을 위한 웹 네비게이션 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR100747724B1 true KR100747724B1 (ko) 2007-08-09

Family

ID=38602381

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060012266A KR100747724B1 (ko) 2006-02-08 2006-02-08 시각장애인을 위한 웹 네비게이션 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR100747724B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101008996B1 (ko) * 2010-05-17 2011-01-17 주식회사 네오브이 음성안내문을 활용한 순차적 웹사이트 이동 시스템
KR101088841B1 (ko) 2009-11-12 2011-12-06 한국정보인증주식회사 음성지원 인증서 인증시스템 및 그 방법
KR101326427B1 (ko) 2007-09-03 2013-11-07 엘지전자 주식회사 웹 네비게이션 서비스 시스템
CN112579032A (zh) * 2019-09-27 2021-03-30 百度在线网络技术(北京)有限公司 智能设备引导的方法及装置
KR102387468B1 (ko) 2021-10-26 2022-04-15 주식회사 강한손 시각장애인용 이료 서비스 관리 시스템 및 그 방법
US11403362B1 (en) 2021-01-12 2022-08-02 International Business Machines Corporation Interaction on a web page
KR102518520B1 (ko) 2022-07-19 2023-04-05 주식회사 엠브이아이 시각장애인의 디지털 정보격차를 해소하기 위한 클라우드 기반의 경영 관리 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990031015A (ko) * 1997-10-08 1999-05-06 김덕중 음성 합성을 이용한 오디오 웹 브라우져 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990031015A (ko) * 1997-10-08 1999-05-06 김덕중 음성 합성을 이용한 오디오 웹 브라우져 장치

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101326427B1 (ko) 2007-09-03 2013-11-07 엘지전자 주식회사 웹 네비게이션 서비스 시스템
KR101088841B1 (ko) 2009-11-12 2011-12-06 한국정보인증주식회사 음성지원 인증서 인증시스템 및 그 방법
KR101008996B1 (ko) * 2010-05-17 2011-01-17 주식회사 네오브이 음성안내문을 활용한 순차적 웹사이트 이동 시스템
WO2011145834A2 (ko) * 2010-05-17 2011-11-24 주식회사 네오브이 음성안내문을 활용한 순차적 웹사이트 이동 시스템
WO2011145834A3 (ko) * 2010-05-17 2012-02-02 주식회사 네오브이 음성안내문을 활용한 순차적 웹사이트 이동 시스템
US9141712B2 (en) 2010-05-17 2015-09-22 Neov Co., Ltd. Sequential website moving system using voice guide message
CN112579032A (zh) * 2019-09-27 2021-03-30 百度在线网络技术(北京)有限公司 智能设备引导的方法及装置
CN112579032B (zh) * 2019-09-27 2023-10-03 百度在线网络技术(北京)有限公司 智能设备引导的方法及装置
US11403362B1 (en) 2021-01-12 2022-08-02 International Business Machines Corporation Interaction on a web page
KR102387468B1 (ko) 2021-10-26 2022-04-15 주식회사 강한손 시각장애인용 이료 서비스 관리 시스템 및 그 방법
KR102518520B1 (ko) 2022-07-19 2023-04-05 주식회사 엠브이아이 시각장애인의 디지털 정보격차를 해소하기 위한 클라우드 기반의 경영 관리 시스템

Similar Documents

Publication Publication Date Title
TWI400631B (zh) 依據輸入裝置來自動客製化計算裝置之方法及裝置
KR101004501B1 (ko) 쿼리에 기초하여 사용자에게 문서의 정보를 렌더링하는 방법, 음성 쿼리에 기초하여 사용자에게 정보를 렌더링하는 방법, 사용자에게 정보를 제공하는 방법, 및 컴퓨터 판독 가능 기록 매체
US9633004B2 (en) Better resolution when referencing to concepts
KR100747724B1 (ko) 시각장애인을 위한 웹 네비게이션 시스템 및 그 방법
US20160306784A1 (en) Audio Onboarding Of Digital Content With Enhanced Audio Communications
US10394577B2 (en) Method and apparatus for automatic processing of service requests on an electronic device
US20110289407A1 (en) Font recommendation engine
CN111813910B (zh) 客服问题的更新方法、系统、终端设备及计算机存储介质
CN109360557A (zh) 语音控制应用程序的方法、装置和计算机设备
NO335888B1 (no) System og fremgangsmåte for å gjøre elementer til brukergrensesnittet kjent for en applikasjon og bruker
CN110046227A (zh) 对话系统的配置方法、交互方法、装置、设备和存储介质
US20140164296A1 (en) Chatbot system and method with entity-relevant content from entity
EP4421802A2 (en) Interfacing with applications via dynamically updating natural language processing
KR102307380B1 (ko) 자연어 처리 기반 콜센터 지원 시스템 및 방법
US11194883B2 (en) Alert driven interactive interface to a website mining system
KR100491613B1 (ko) 웹문서의 클로즈업 기능을 구비한 정보통신기기와 이것을 이용한 웹문서의 디스플레이 방법 및 그 방법을 기록한 기록매체
KR20150062541A (ko) 인스턴트 메신저 상의 메시지 바로 검색 지원 방법
CN112948733B (zh) 接口维护方法、装置、计算设备以及介质
WO2021240673A1 (ja) 対話プログラム、装置、および方法
JP2000040115A (ja) ファームバンキングサービス方法
KR100381605B1 (ko) Ars 음성 웹 호스팅 서비스 시스템 및 그 방법
US20240095448A1 (en) Automatic guidance to interactive entity matching natural language input
KR100811290B1 (ko) 자연어처리를 활용한 자동기능 구현형 쇼핑몰 관리 시스템
CN113722467B (zh) 用户搜索意图的处理方法、系统、装置和存储介质
JP2004054501A (ja) 情報端末装置、サーバから言語識別情報に対応する情報を得る方法、及びそのプログラム、並びにネットワークシステム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120209

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee