KR20020058386A - 검색하는 웹 문서의 구조와 요소 객체의 특징을 음색으로자동 표현하는 음성 브라우저 - Google Patents

Abstract

본 발명은 음성으로 인터넷에 접속하기 위하여 사용되는 음성 웹 브라우저에 관한 것으로써 접속되는 웹 페이지의 웹 문서의 구조를 해석하여 필요로 하는 형식을 갖는 요소들로 이루어진 새로운 구조를 생성하여 음성 안내에 사용하는 자동화된 방식과 구현방법에 관한 것과 문서의 내용을 음성으로 되돌려 줄 때, 문서의 요소 객체 속성에 따라 각기 다른 음성의 음색 속성을 일 대 일로 대응시켜서 브라우저의 사용자가 컴퓨터에서 들려주는 음성의 특성으로 해당 문서의 포함된 요소의 속성을 새로운 부가정보 없이 입체적으로 파악하는 기능과 그 구현 방법에 대한 것이다. 이 방법은 시각 인터페이스에 비하여 제한된 정보 대역폭을 갖는 음성인터페이스의 취약점을 보완하기 위한 것이며, 특히 시각장애인의 경우에 정상인과 유사한 정보 파악 능력을 제공할 수 있는 효과가 있다.

Description

검색하는 웹 문서의 구조와 요소 객체의 특징을 음색으로 자동 표현하는 음성 브라우저{Voice web browser which represent element features in web documents and structures of web document automatically by voice}

본 발명은 음성 웹 브라우저 상에서 음성 인터페이스가 이루어지는 HTML코드에 대한 새로운 해석 정보 생성과 음성 정보의 효과적 이용 방식에 대한 것이다. 브라우저가 접속하는 웹 페이지의 웹 문서의 내용을 해석하여 사용자에게 음성으로 되돌려주는 역할을 하는 음성 웹 브라우저에 있어서 종래에는 그 문서의 객체 특성과 무관하게 단일한 음색으로 문서 내용을 음성으로 표현하여 되돌려 줌으로써 시각적 인터페이스에서는 쉽게 파악되는 문서 특성을 음성으로는 전혀 알 수 없어 문서 내용과 전체 문서와의 관계 등을 이해하기기 어려운 문제가 있다. 또는 이 문제를 해결하기 위하여 음성 포탈 사이트를 만들고, 그 포탈 사이트에서 접속하는 웹 문서를 해석하여 부가적인 설명을 음성으로 제공하는 서비스를 하는 경우도 있다.

또한 웹 문서의 구조적 특성을 사용자에게 제시하지 않고, HTML코드의 순서에 따라 그 내용을 사용자게게 음성으로 안내하는 방식을 사용하여 시각적 인터페이스에서는 쉽게 파악되는 문서의 구조를 음성 인터페이스에서는 파악을 하기가 어려운 문제가 있다. 따라서 검색하거나 취득하고자 하는 정보를 찾아내는데 많은 시간이 소요된다.

음성 웹 브라우저에서 전술한 문제점을 해결하기 위하여 첫 번째 웹 문서의 구조적 특성을 해석하고, 전달해야 될 요소만을 선별하여 선별된 요소만으로 새로운 구조를 생성하고, 그 구조를 음성안내에 연결시키는 자동화된 방식과 구현을 하고, 두 번째 문서요소를 인식하고, 해당 음성 브라우저를 사용하는 사용자와 미리 약속된 문서 요소의 특성과 일 대 일로 대응하는 음색효과를 사용하여 사용자에게 웹 문서의 내용을 음성으로 되돌려 주는 방법과 구현을 목적으로 한다.

도 1은 본 발명에 따른 시스템의 하드웨어 구성도

도 2은 본 발명이 적용되는 웹 브라우저의 모델구조

도 3은 본 발명의 전체적인 흐름도

도 4는 본 발명의 HTML 파일 분석 흐름도

도 5는 본 발명의 각 요소의 타입에 따른 출력 음성 속성

도 6은 본 발명 중 구조파악을 위한 트리 추가 알고리즘

상기 목적을 달성하기 위하여 본 발명의 장치는 , 인터넷에 접속하기 위하여 일반적으로 사용되는 웹 브라우저를 가지며, 인터넷을 통하여 전달되는 HTML 파일에서 음성인식 대상이 되는 링크(link 또는 Uniform Resource Locator(URL))를 가지는 하이퍼텍스트(Hypertext)들을 찾아내기 위한 HTML(Hypertext Markup Language), 파일 분석기, 찾아낸 Hypertext에서 실제적으로 인식대상 어휘를 만들어 내는 인식 대상 어휘 생성기, 그리고 이렇게 매 HTML 파일에 따라 새롭게 만들어지는 인식 후보들을 인식할 수 있는 가변 어휘 인식기, 음성 인식을 수행한 후 얻어지는 인식 결과를 분석하여 적절한 작업을 하여 주는 인식결과 분석기, 음성인식, 마우스, 키보드 입력에 의하여 지정되는 웹 문서의 요소 이름이나 내용을 음성으로 변환하여 주는 음성합성기를 포함하는 것을 특징으로 한다.

도 1은 본 발명에 따른 시스템의 하드웨어 구성도로서 상기 중앙처리장치(CPU)(101)는 키보드와 마우스(107)를 통한 사용자의 입력이나 마이크(102)를 통하여 들어오는 음성을 인식한 결과를 받아 적합한 수행을 하는 곳으로 본 발명의 알고리즘이 탑재되어 수행되는 부분이다. 중앙처리장치는 랜 인터페이스 장치(109)나 모뎀(110)을 사용하여 국부 지역망(111) 또는 전화선(112)과 연결되어 인터넷에 접속될 수 있다.

양방향 사운드 카드(103)는 마이크(102)를 통하여 들어오는 아날로그 음성신호를 컴퓨터에서 사용할 수 있도록 디지털로 바꿔주고, 음성합성기(105)를 통하여 문자에서 변환된 음성을 스피커에 출력하는 장치이다.

가변어휘인식기(104)는 고정되어 있지 않고 수시로 변화하는 인식대상 어휘들을 별도의 훈련이 없이 인식할 수 있는 음성장치이다.

모니터(108)는 현재 중앙처리장치(101)에 의하여 수행되는 내용 및 결과를 표시하며, 사용자에게 필요한 정보를 시각적으로 제공하는 장치이다.

도 2는 본 발명이 적용되는 시스템의 구성 개념도로서, 웹 브라우저(201), HTML 파일 분석기(204), 음성합성기(209), 인식대상 어휘생성기(212), 인식명령 분석기(218), 가변어휘 음성인식기(216), 음성북마크와 명령어 모듈(214)로 구성되어 있다.

웹 브라우저(201)는 인터넷과의 접속을 통하여 사용자가 원하는 사이트에 접속 할 수 있도록 해주며, 화면 출력을 담당하는 SHDOCVW.DLL(202)과 HTML 문서의 파서(parser)를 담당하는 MSHTML.DLL(203)로 구성된다. 웹 브라우저(201)에서 보여지는 HTML문서는 다른 사이트로의 연결을 제공하거나, 문서내의 특정한 곳으로 이동하기 위한 링크들을 가지고 있다. 이러한 링크들은 하이퍼텍스트로 HTML 문서 내에서 표시가 되며, 음성인식 후보를 생성하기 위하여 사용된다. 이러한 작업은 HTML 파일분석기(204)를 통하여 이루어진다.

링크를 제공하는 하이퍼텍스트는 그 길이가 다양하고 그 종류가 한글, 영어, 그림, 아라비아 숫자, 특수기호 또는 이런 것들의 조합으로 이루어져 있다. 이렇게 다양한 형태의 하이퍼텍스트에서 실제로 인식에 사용할 인식후보를 생성하는 작업은 인식대상 어휘 생성기(212)에서 이루어진다. 이 때 음성 북마크와 웹 브라우저의 메뉴를 제어하기 위한 명령어들이 함께 사용되어 전제척인 음성 인식 후보 어휘들이 생성된다.

음성 북마크는 웹 브라우저에서 사용되는 북마크와 같은 기능을 하는 것으로 자주 접속하는 사이트를 음성을 사용하여 접속할 수 있도록 프로그램 수행 중 새로운 음성 북마크를 등록할 수 있으며, 또한 음성 북마크를 별도의 파일로 관리하므로 프로그램 수행중이 아닐때에는 오프라인(Off-Line)상에서 쉽게 추가, 삭제, 변경이 가능하다. 웹 브라우저의 메뉴를 제어하기 위한 명령어들은 새로운 음성DB(214)가 생성될 때 자동적으로 저장이 된다.

인식대상 어휘 생성기(212)의 결과인 인식 대상 어휘 목록은 가변어휘 인식기(216)로 전달되고, 인식 대상 어휘 목록과 각 인식 대상 어휘의 실제 기능 목록은 인식결과 분석기(218)로 넘겨진다.

인식 결과 분석기(218)는 가변어휘 인식기(216)에서 넘겨준 결과를 인식대상 어휘 생성기(212)에서 받은 인식 후보들과 비교하여 웹 브라우저에 적절한 명령을 전달하거나 웹 정보 DB의 내용을 음성으로 출력하는 기능을 한다. 웹 정보의 출력 음성 합성(211)은 웹 정보 DB에서 출력음성의 속성값과 정보를 이용하여 음성속성을 변화시키고, 정보를 음성으로 변환하여 출력한다.

웹 브라우저(201)에서는 HTML 파일을 가져오거나 인식결과로 웹 브라우저에 원하는 명령을 내리는 등의 웹 브라우저와 통신은 브라우저의 문서(Document) 객체에 이벤트를 전달하여 사용한다.

도 3은 본 발명의 전체적인 흐름도로서, 본 발명이 어떠한 과정을 거쳐 음성을 사용하여 웹 브라우저를 제어할 수 있는지를 보여준다.

먼저 음성인식기와 합성기를 초기화를 시키고(302), 사용자가 인터넷 접속에 사용할 웹 브라우저를 실행시키면(303) 초기 홈 페이지로 이동하거나, 즐겨 찾기, 또는 음성입력 등에 의한 인터넷 웹사이트에 접속한다(304). 인터넷 웹사이트에 접속하게 되면 서버로부터 HTML 파일이 전달되는데, 이 HTML 파일에서 제공하는링크(link), 이미지, 컨트롤, 텍스트, 표의 내용을 음성 인식을 사용하여 접속하려면 웹 페이지에 표현된 정보를 찾아내고, 이것들을 가공하여 적절한 음성 인식 후보들을 만들어야 한다.

접속 후 HTML의 수신이 완료되면 상기 작업이 HTML 파일 분석기(305)와 인식대상 어휘 생성기에서 이루어지는데(307), 그 자세한 과정은 도 4와 도 5에서 설명되어진다. 이렇듯 매번 새로운 사이트에 접속할 때마다 인식 대상 후보들이 달라지게 되므로 사용자에게 현재 사용 가능한 음성명령이 무엇인지를 알려주어야 하기 때문에, 이를 위하여 현재의 인식대상 어휘 목록을 트리 구조로 전개하여 준다(307).

링크의 경우, 실제로 어떠한 음성이 어떠한 링크를 따라갈 수 있는지를 알려주기 위하여 그 정보를 음성으로 출력하고, 트리 구조로 표현된 HTML문서 정보에서 링크를 나타내는 아이콘을 사용한다. 링크를 제공하는 하이퍼텍스트들의 종류가 한글, 영어, 그 외의 다른 언어, 그림, 숫자 또는 이러한 것들의 조합 등 매우 다양한 형태를 취하고 있으며, 한글과 영어를 제외한 다른 언어와 그림 등은 음성 인식 후보로 삼을 수 없으므로 일정한 형식을 갖춘 임의의 인식 후보를 만들어 주어야 하는데, 이렇게 만들어진 인식 후보들을 빠르게 식별할 수 있도록 실제로 트리 구조상에 링크를 나타내는 아이콘으로 표시하고, 음성으로 그 정보를 들을 수 있다.

이제 사용자는 키보드와 마우스를 사용하는 일반적인 방법과 음성을 사용하는 두 가지 방법 모두를 병행하여 웹 브라우저를 사용할 수 있다.

상기 수신된 HTML 파일을 웹 브라우저에게 보여주고, 트리 구조로 보여준후, 마우스나 키보드 입력, 또는 음성입력이 들어왔는지 판단하여(308), 입력이 들어왔으면 그 입력의 인식 결과를 분석한 후(309) 인식 결과가 새로운 URL을 가지는 가를 판단하여 새로운 URL을 가지는 것이라면 그곳으로 접속하게 되고(315), 그렇지 않으면 해당되는 정보를 음성으로 출력하게 된다. 인식 결과가 웹 브라우저 프로그램을 종료시키는 명령인지를 판단하여(314) 종료시키는 명령이면, 웹 브라우저를 종료한 후(317)에 전체 과정을 종료한다.

인식 결과가 현재의 웹사이트를 음성 북마크에 등록시키라는 명령인지를 판단하여(312) 등록시키라는 명령이라면, 음성 북마크 설정을 위한 작업이 이루어진 후(313) 또 다른 사용자 입력을 받을 준비가 되며, 음성 인식 결과가 웹 브라우저를 제어하는 명령인 경우에는 해당되는 명령을 수행한 후(315) 또 다른 사용자 입력을 받아들인다.

도 4는 본 발명의 HTML 파일 분석 흐름도로서, 상기 도 3의 HTML 파일분석기(305)에 대한 내부의 자세한 수행과정을 나타내고 있다.

먼저 웹 브라우저의 Window 객체에 접근하여(401) 현재 웹 페이지가 프레임을 가지고 있는지를 판단한다(403). 프레임이 있는 경우는 Collection 객체의 Document 객체에 접근하여(405) 요소정보를 추출하게 되고, 없는 경우는 Document 객체에 접근하여(404) 요소정보를 추출하게 된다. Document 객체에서 각 요소의 태그이름을 순차적으로 읽는다(406). 이는 필요한 링크나 기타 요소의 정보를 찾아내기 위함이다(407).

링크, 이미지, 테이블, 텍스트, 입력박스, 컨트롤 등 인식대상요소정보라면(408-413) 기본적으로 텍스트 정보를 추출하고, 링크정보를 가지고 있으면 링크정보도 추출한다. 각 요소에 따라 그 특성이 적합한지를 판단하여(416) 적합하지 않으면 순차적으로 다음 요소의 정보를 추출하게 된다. 즉, 모든 요소는 하위요소를 가지고 있으며, 텍스트 정보는 하위의 텍스트를 모두 포함기 때문에 중복을 피하기 위하여 요소의 특성에 따라 추가적으로 정보를 추출한다(417). 이미지와 같은 경우는 텍스트 정보가 없기 때문에 ALT 정보를 추출하게 되며, 입력박스의 경우는 타입에 따라 텍스트 입력, 패스워드 입력 및 옵션박스 등이 있기 때문에 각 요소의 이름을 가지는 경우는 이름을 추출하고, 그렇지 않은 경우는 텍스트 정보를 대상으로 하여 음성인식 후보에 사용한다(418).

일반적으로 텍스트 정보를 가지는 경우는 6자 이내의 두 단어를 음성인식 후보로 사용하며(419), 이미지와 같은 경우나 텍스트 정보가 없는 경우는 요소의 타입과 고유번호를 조합하여 음성인식 후보로 사용한다(420).

각 요소에서 추출한 음성인식 후보, 요소의 타입에 따른 음성속성 값 및 요소의 정보를 웹 정보 DB에 저장하고(421) 이 정보를 트리 구조로 표현한다(422).

도 5는 본 발명의 각 요소의 타입에 따른 출력 음성 속성을 나타낸다. 대표적인 요소는 이미지, 링크, 테이블, 텍스트, 입력박스, 컨트롤 및 플러그 인이 있다(506-511). Document 객체에서 각 요소의 태그이름을 이용하여 이러한 요소일 경우를 추출하고, 중복되거나 불필요한 요소일 경우는 웹 정보 데이터베이스 및 음성 인식 대상에서 제외된다.

요소의 정보에서 링크 속성이 있을 경우는 남자 목소리(503), 그렇지 않은경우는 여자 목소리로 하였으며(504), 기본 설정은 여자 목소리이다. 이미지 및 동영상인 경우는 피치를 낮게(506), 일반적인 텍스트 링크는 보통(507), 테이블은 높게(508), 텍스트는 보통, 입력박스는 높게(509), 컨트롤의 경우는 낮게 설정하였다(510). 따라서 이미지에 링크속성이 있는 경우는 남자 목소리에 피치는 낮게 설정되며(507), 일반텍스트는 여자 목소리에 보통의 피치 속성을 갖게 된다(509). 이렇게 설정된 음성속성 값은 웹 정보 데이터베이스에 저장된다(512).

도 6은 웹 브라우저에 표시된 HTML문서에서 추출한 요소의 음성인식 대상 명령을 트리 구조로 표현하는 알고리즘이다. 각 요소는 고유한 인덱스 번호를 가지고 있으며, 현재 요소의 상위요소와 하위요소를 가질 수 있고, 이러한 정보를 가진 HTML 문서내의 요소가 화면에 표시되기 때문이다. 먼저 웹 페이지 내에서 모든 요소의 태그이름과 고유 번호를 순차적으로 추출하고(601), 현재 요소의 고유 번호에 대한 트리 구조 아이템의 핸들 값을 저장한다(602). 만약 이 요소가 필요 없는 경우는 트리 구조에서 부모 요소 고유번호에 대한 트리 구조의 아이템 핸들 값이 되며(605), 필요한 경우는 부모 요소 고유번호 트리 구조 아이템 핸들 값의 하위로 아이템을 추가한다(604). 이러한 과정을 웹 페이지에 표시되는 모든 요소를 대상으로 반복하면 트리 구조로 표현할 수 있다.

음성 웹 브라우저를 사용할 때, 웹 문서의 내용뿐만 아니라 청취하는 웹 문서의 일반적인 특징과 전체 웹 문서와의 구조적 관계를 부가적인 설명이나 정보 없이 사용자가 입체적으로 이해할 수 있다. 이러한 특징은 특히 시각적 정보를 전혀취득할 수 없는 시각장애인의 문서의 구조와 특징을 이해하는데 유용하며, 결과적으로는 좀 더 빠르게 웹 문서를 검색하고, 필요한 정보를 찾을 수 있다.

Claims (3)

1. 음성 웹 브라우저에서 웹 문서의 객체 특징을 사용자에게 되돌려지는 음성정보의 음색효과로 일 대 일로 대응시키기 위하여 음성 브라우저의 사용자가 선택하는 기능 및 방법. 일반적으로 표준의 선택으로 음성 브라우저에 제공되지만 사용자의 청각 특성에 따라 구별이 용이한 음색이 달라 질 수 있으며, 이러한 문제를 해결하기 위하여 사용자에게 미리 제시된 음색효과 중에서 구별이 잘되는 것을 선택하는 기능을 제공한다.
2. 음성 웹 브라우저에 웹 문서 객체의 특징을 인식하는 모듈의 결과를 사용하여, 브라우저가 해석한 웹 문서의 내용을 음성 합성 모듈을 사용하여 음성 정보로 변환할 때, 객체 특징들을 서로 음향적으로 구별할 수 있도록 음색 효과를 사용하는 기능과 그 구현 방식.
3. 음성 웹 브라우저에서 웹 문서의 구조를 음성 안내로 제공하는 방법으로써 IBM 개인용 컴퓨터의 운용체계인 윈도우즈에서 제공하는 트리 구조를 웹 문서에 적용하여 적용하고자 하는 문서의 요소인지를 판단하고, 해당되는 요소들만에 대한 구조를 추출한 뒤에 그 구조를 브라우저에 삽입하여 재구성하여 보여주며, 키보드의 조작으로 재구성된 문서 구조에 따라 음성 합성을 통한 음성 안내를 제공하는 방식과 그 구현