KR20040028722A - 정보 시스템 억세스를 위한 자연어 질의 시스템 - Google Patents

정보 시스템 억세스를 위한 자연어 질의 시스템 Download PDF

Info

Publication number
KR20040028722A
KR20040028722A KR10-2003-7011359A KR20037011359A KR20040028722A KR 20040028722 A KR20040028722 A KR 20040028722A KR 20037011359 A KR20037011359 A KR 20037011359A KR 20040028722 A KR20040028722 A KR 20040028722A
Authority
KR
South Korea
Prior art keywords
user
information
module
information system
domain
Prior art date
Application number
KR10-2003-7011359A
Other languages
English (en)
Other versions
KR100885033B1 (ko
Inventor
켐퍼찰스
르커프랑소와
덴아우덴아트
Original Assignee
보이스 인사이트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 보이스 인사이트 filed Critical 보이스 인사이트
Publication of KR20040028722A publication Critical patent/KR20040028722A/ko
Application granted granted Critical
Publication of KR100885033B1 publication Critical patent/KR100885033B1/ko

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2452Query translation
    • G06F16/24522Translation of natural language queries to structured queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/903Querying
    • G06F16/9032Query formulation
    • G06F16/90332Natural language query formulation or dialogue systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/183Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G10L15/19Grammatical context, e.g. disambiguation of the recognition hypotheses based on word sequence rules
    • G10L15/193Formal grammars, e.g. finite state automata, context free grammars or word networks
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/226Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics
    • G10L2015/228Procedures used during a speech recognition process, e.g. man-machine dialogue using non-speech characteristics of application context

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Stored Programmes (AREA)
  • Memory System Of A Hierarchy Structure (AREA)
  • Telephone Function (AREA)

Abstract

사용자(4)가 정보 시스템(1)과 대화가능하게 하는 대화 시스템(5)은 정보시스템(1)과 연결되는 것을 목적으로 하며, 대화 시스템(5)은 사용자(4)에 의해 발생되며 인식 시스템(2)에 의해 처리되는 말에 의해 사용자(4)가 정보 시스템(1)과 대화하도록 하기 위해 인식 시스템(2)과 연결되는 것을 목적으로 한다. 상기 대화 시스템(5)은 인식된 애플리케이션 도메인의 상기 정보 시스템(1)에 공통적이며, 정보 시스템(1)과 대화하기 위해 사용자(4)가 발생하는 말의 문법을 정의하기 위해, 정보 시스템(1)에 마련되는 특정 객체 타입, 애트리뷰트 타입, 동작 타입과 그들의 인스턴스로 특정되도록 제공되는 객체 클래스, 애트리뷰트 클래스, 동작 클래스에 기초하여 구현되는 말 설정(phrase set-ups)을 정의하는 것을 목적으로 하는 적어도 하나의 도메인 모듈(5a)로 구성된다.

Description

정보 시스템 억세스를 위한 자연어 질의 시스템{NATURAL LANGUAGE QUEARY SYSTEM FOR ACCESSING AN INFORMATION SYSTEM}
인식 시스템은 대개 두 모듈로 구성된다. 사용가가 발생한 말을 컴퓨터 문자(textual) 표현으로 변환하는 인식 모듈과, 컴퓨터 문자 표현을 사용자가 이해가능한 말로 변환하는 텍스트 생성 모듈로 구성된다. 인식 시스템 중에서 한가지는 사용자가 발음을 이용하여 말을 발생하면, 사용자에게 말을 큰 소리로 발생하는 언어 인식 시스템이고, 사용자가 손으로 쓴 문자(text) 방식으로 말을 발생할 수 있고 사용자에게 글로 써진 형태로 말을 생성할 수 있는 텍스트 스캐닝 시스템과 같은 텍스트 인식 시스템이다.
정보 시스템은 보통 데이터 베이스에 저장되는 데이터를 관리한다. 이러한 데이터 베이스는 공통적으로 데이터 사용자의 주문을 받아서 만들어지며, 정보 시스템은 상기 데이터 베이스를 개발하는 것을 목적으로 한다.
데이터 베이스에서, 데이터는 객체(object)라고 불리우며, 코드로 인식되는 객체 타입으로 집합된다. 각 객체 타입은 인식된 타입의 특정 데이터 또는 객체라불리는 객체 인스턴스(instance)를 집합한다. 각 객체 타입은 객체 타입의 인스턴스에 특성을 부여하는 애트리뷰트(attribute)과 연결된다. 객체와 유사한, 애트리뷰트는 애트리뷰트 타입으로 집합될 수 있다. 애트리뷰트 타입은 애트리뷰트들을 유사한 특성의 문자 또는 날짜 애트리뷰트를 가지는 그룹으로 나눈다.
각 정보 시스템은 자신이 조작해야 하는 데이터 베이스에 적합하게 되므로, 정보 시스템은 객체 타입과 애트리뷰트 타입 및 소정 애트리뷰트 인스턴스를 가지는 객체 타입의 객체 인스턴스를 다룰 수 있다. 그러므로, 객체 타입과 애트리뷰트 타입을 정의하기 위해 데이터 베이스가 이용하는 코드는 상기 데이터 베이스를 조작해야 하는 정보 시스템에 의해 인식된다.
또한, 각 정보 시스템은 시스템이 데이터 베이스의 객체에 응용할 수 있는 동작(action)을 집합시키는 동작 타입을 포함한다. 각 동작 타입은 하나 또는 그 이상의 객체 타입에 맞춰진다.
정보 시스템은 잘 알려진 비즈니스 애플리케이션 도메인으로서 그래픽 정보 시스템(Geographical Informaton System : GIS), 자원 계획(Enterprise Resource Planning : ERP) 시스템, 문서 관리(Document Management : DM) 시스템 또는 제품 데이터 관리(Product Data Management :PDM) 시스템과 같은 다른 도메인의 애플리케이션들에 집합된다.
전통적으로, 특정 정보 시스템의 사용자는 시스템용으로 특별히 개발된 인터페이스 수단에 의해 정보 시스템과 대화해야만 한다. 인터페이스 수단은 같은 애플리케이션 도메인에서 조차도 하나의 시스템에서 다른 시스템까지 모두 다르게 될것이다. 게다가, 상기 사용자는 정보 시스템에 액세스하는 컴퓨터 키보드와 마우스를 이용하여 정보 시스템과 대화해야 할 것이다.
본 발명은 사용자가 인식 시스템에 의해 정보 시스템과 대화하게 하는 것을 목적으로 하는 대화 시스템(interaction system)에 관한 것이다.
도 1은 본 발명에 따른 대화 시스템의 구성도이다.
본 발명은 음성 질의 언어라 불리는 대화 시스템을 제공하여 문제를 해소한다. 음성 질의 언어는 이전에 존재하는 다른 인식 시스템을 이용하여 이전에 존재하는 다른 어플케이션 도메인의 정보 시스템과 사용자가 대화할 수 있게 한다. 그러므로 본 발명은 사용자가 말의 발생에 의한 소위 질문, 정보 시스템에 의해 정의된 동작을 객체에 응용할 수 있게 한다. 상기 객체는 정보 시스템에 의해 조작되는 데이터 베이스에 저장되고 애트리뷰트에 의해 정의된다.
발명자는, 하나의 애플리케이션 도메인에 대해 공통적인 객체 클래스, 애트리뷰트 클래스, 동작 클래스가 정의될 수 있음을 발견했다. 이러한 클래스들은 각각 인식된(considered) 클래스를 정의하는 공통적인 특성을 제공하는 객체, 애트리뷰트, 동작(action)을 집합한다. 상기 공통적인 특성은 모든 정보 시스템의 도메인에 대해 특별히 특정된 것이다. 객체의 같은 인스턴스는 만일 다른 클래스의 특성을 동시에 제공한다면, 몇몇의 객체 클래스의 부분이 될 수 있다. 동작 말 설정(action phrase set-ups)은, 상기 객체, 애트리뷰트와 동작 클래스에 기초하여 정의될 수 있다. 동작 말 설정은 인식된 애플리케이션 도메인의 특정 정보 시스템의 특정 객체 타입과 애트리뷰트 타입 및 동작 타입과, 상기 정보 시스템에 의해 조작되는 데이터 베이스에 저장되는 애트리뷰트 인스턴스를 가지는 객체의 인스턴스로 특정될 수 있는 모델을 구성할 것이다. 상기 동작 말 설정은 실제의 말을 생성하는데 이용되며, 시스템이 사용자가 요청할 수 있는 다른 질문을 사용자에게 제공할 때와, 사용자가 정보 시스템에 그런 질문을 제공(address)할 때, 객체 타입과 애트리뷰트 타입 및 동작 타입, 인식한 도메인의 정보 시스템과 사용자의 대화에 이용되도록 제공하는 발음 법칙을 본질적으로 구성하는 문법을 정의한다.
그러므로, 본 발명은 같은 정보 시스템의 애플리케이션 도메인에 속하는 정보 시스템의 사용자가 상기 정보 시스템과 대화할 수 있도록 하는 대화 시스템을 제공하는 것이다. 상기 대화 시스템은 정보 시스템에 연결되는 것을 목적으로 하며, 또한 상기 대화 시스템은 사용자가 말을 발생하여 인식 시스템에 의해 처리되는 말을 이용하여 정보 시스템과 사용자가 대화 가능하도록, 인식 시스템에 연결되는 것을 목적으로 한다. 상기 대화 시스템은, 적어도 하나의 도메인 모듈로 구성된다. 도메인 모듈은 인식된 애플리케이션 도메인의 상기 정보 시스템에 공통적인 객체 클래스와 애트리뷰트 클래스 및 동작 클래스에 기초하여 구축되는 말 설정을 정의하는 것을 목적으로 한다. 객체 클래스와 애트리뷰트 클래스 및 동작 클래스는 정보 시스템과 대화하기 위해 사용자가 말을 발생하여 제공되는 말 문법을 정의하기 위해, 정보 시스템으로부터 제공되는 특정한 객체 타입과 동작 타입 및 애트리뷰트 타입과 그들의 인스턴스를 특정하기 위해 마련된다.
바람직하게는, 본 발명에 따른 대화 시스템은 적어도 하나의 도메인 모듈에 연결되고, 인식 시스템에 연결되는 것을 목적으로 하는 일반 모듈로 구성된다. 상기 일반 모듈은, 사용자가 말을 발생할 때, 사용자에 의해 발생되는 말을 인식하기 위해 상기 말을 인식 시스템이 이용 가능한 컴퓨터의 문자(textual) 표현으로 변환하고, 사용자에 의해 발생된 말의 인식이 된 후에, 상기 인식 시스템에 의해 생성된 컴퓨터의 문서 표현을 상기 문법에 의해 정의된 말로 변환하는 것을 목적으로 한다.
더 바람직하게는, 상기 일반 모듈은 상기 인식 시스템을 구현할 수 있는 정보를 포함하는 요소(element)로 구성되는 것이 바람직하다.
바람직하게는, 본 발명에 따른 대화 시스템의 구현으로, 일반 모듈은, 정보 시스템에 연결되는 것을 목적으로 하는 적어도 하나의 도메인 모듈에 연결되는 어댑터(adapter) 모듈로 구성된다. 상기 어댑터 모듈은 정보 시스템으로부터 객체와 애트리뷰트 및 동작 타입과 그들의 인스턴스를 추출하고, 그것들을 적어도 하나의 도메인 모듈에 대입시키는 것을 목적으로 하며, 도메인 모듈이 사용자에 의해 발생된 말에 포함된 동작을 위한 요구를 수행하도록 정보 시스템을 동작시키는 것을 목적으로 한다.
바람직하게는, 적어도 하나의 도메인 모듈은 몇몇의 애플리케이션 도메인에 공통적인 객체를 정의하는 객체와 애트리뷰트의 일반 개념(notion)에 대한 정보를 포함하는 요소(element)로 구성된다.
바람직하게는, 적어도 하나의 모듈은 객체 클래스와 애트리뷰트 클래스 및 동작 클래스와, 상기 적어도 하나의 도메인 모듈이 정의하고자 하는 말 설정을 정의하는 것을 목적으로 하는 시스템 분석가와 언어학자와 연결되는 것을 목적으로 한다.
더 바람직하게는, 상기 언급된 인식 시스템은 언어 인식 시스템이며, 사용자에 의해 발생되는 말은 상기 사용자의 발음에 의해 발생된다.
이것은 상기 사용자의 자연적인 언어 수단에 의해 상기 사용자가 정보 시스템과 대화하도록 한다.
다르게는, 상기 인식 시스템은 문자(text) 인식 시스템이며, 사용자에 의해 발생된 말은 상기 사용자가 손으로 쓴 텍스트이다.
이하에서, 본 발명에 따른 대화 시스템을 도시한 도 1을 참조하여 더 상세하게 기술될 것이다.
도 1을 참조하면, 본 발명에 따른 대화 시스템을 구성하는 조건은 다음 요소(element)로 구성된다.
1 : 일부 애트리뷰트 타입이 되는 몇몇의 애트리뷰트에 의해 특성화되는 몇몇의 객체 타입을 조작하는 것을 목적으로 하는 정보 시스템. 조작은 몇몇의 동작 타입 수단에 의해 수행된다. 객체 및 동작 타입은 정보 시스템에 의해 조작되는 데이터 베이스에서 발견될 수 있는 인스턴스를 가진다.
2 : 인식 시스템은 두 개의 모듈로 구성된다.
2a : 사용자에 의해 발생된 말을 컴퓨터 문자(textual) 표현으로 변환하는 인식 모듈
2b : 컴퓨터 문자 표현을 사용자가 이해가능한 말로 변환하는 텍스트생성 모듈
3 : 객체 애트리뷰트와 동작 클래스 뿐만 아니라 정보 시스템 동작이 객체 타입에서 일어나도록 사용되는 말 설정을 제공하는 시스템 분석가와 언어학자. 시스템 분석가와 언어학자는 사용자가 시스템에 음성으로 어떻게 질문했는지를 분석하는 사람이다. 분석의 결과는 애플리케이션 도메인의 전형이 되는 동작 말 설정의 집합이 될 것이다.
4 : 정보 시스템에 의해 조작되는 객체와 애트리뷰트와 동작의 인스턴스로 특정되는 말 설정에 의해 정의되는 문법을 사용하여 시스템을 사용하는 사용자
5 : 상기 특정된 말 설정에 기초하여, 상기 시스템이 처리해야 하는 말을 발생할 때 사용자가 정보 시스템과 대화하도록 하는 본 발명에 따른 대화 시스템. 이 시스템은 세 모듈로 구성된다.:
5b : 객체 타입, 동작 타입, 정보 시스템과 대화시에 사용자에 의해 발생될 수 있는 다양한 말의 생성 법칙을 인식 시스템이 이용할 수 있는 컴퓨터 표현으로 변환하고, 인식된 컴퓨터 표현을 문법에 의해 정의된 말로 변환하는 일반 모듈. 상기 일반 모듈은 인식 시스템 즉, 인식 소프트웨어, 언어, 마이크 또는 전화기 장치와 같은 통신 장치를 구현할 수 있는 정보를 포함하는 요소(element) c1을 포함한다.
5a : 객체 타입, 애트리뷰트 타입과 동작 타입 뿐만 아니라 소정의 애플리케이션 도메인의 정보 시스템에 의해 조작되는 상기 타입들의 인스턴스의 요소(element)를 수신할 수 있는 도메인 모듈. 도메인 모듈은 일반 모듈 5b에 의해필요한 문법을 생성하기 위해 상기 동작 말 설정과 상기 요소를 조합하기 위해 이용되는 객체와 동작 및 애트리뷰트의 클래스의 정의로 구성된다. 상기 객체와 동작 및 애트리뷰트의 클래스는 상기 도메인 모듈의 전형이다. 동작 말 설정은 사용자가 한 질문이 자연어로 생성될 수 있도록, 시스템 분석가와 언어학자로부터 수신된다. 다수 정보 시스템들이 동시에 이용될 수 있다면, 다수 문법이 생성되어 동작될 수 있다. 본 발명에 따른 대화 시스템은, 정보 시스템들 사이에서 전환(switch)될 것이다. 유사한 스위치(switch)가 GIS와 같은 도메인을 위한 발명에 따른 대화 시스템과, DM과 같은 다른 도메인의 발명에 따른 대화 시스템 사이에서 만들어질 수 있다. 도메인 모듈은 인식이 이루어진 후에 일반 모듈에 의해 생성된 말을 얻을 수 있고, 정보 시스템(1)에 의해 수행되는 특정 애트리뷰트 값에 의해 정의되는 특정 객체상에서 동작의 정의(definition)를 생성할 수 있다. 상기 정의는 도메인 모듈의 요소 c2로 구성된다. 도메인 모듈은 다음으로 구성된다.:
- 객체와 객체를 정의하는 애트리뷰트의 개념(notion)과 같은 몇몇의 도메인에 공통적인 정보
- 예를 들어 GIS 정보 시스템과 같은 정보 시스템 도메인을 정의하는 구현 요소로 구성되는 도메인 식별(identification)
- 도메인에 속하는 객체 클래스들. 각 클래스는 공통적인 특성을 가지는 한 셋트의 객체를 나타낸다. 예를 들어, GIS 애플리케이션에서, 면(surface) 클래스(국가, 주), 선 클래스(강, 거리), 점 클래스(도시), 그래픽 클래스(지리적으로 항공 촬영한 지도)와 같은 객체 클래스. 실제 객체는, 몇몇의 객체 클래스의 부분이 될 수 있다. 예를 들어, GIS 도메인에서, 도시 거리와 같은 전형적인 객체는 표시 가능한 객체 클래스, 선택가능한 객체 클래스, 공간적인 객체 클래스와 선형 객체 클래스에 속할 것이다.
- 객체 클래스에 적용될 수 있는 동작 클래스. 사실 각 객체 클래스와 연결되며, 각 클래스는 주어진 도메인을 위해 객체 클래스에 적용될 수 있는 동작의 클래스를 정의할 수 있다. 예를 들어, GIS 도메인에서, 표시 가능한 객체 클래스에 속하는 클래스는 표시되거나 숨겨질 수 있다. 공간적인 객체 클래스에 속하는 객체는 지도상에서 돌출 되거나, 유사한 클래스에 속하는 또 다른 클래스와 겹칠 수 있다(intersect). 선택적인 객체에 속하는 클래스는 선택되거나 선택되지 않을 수 있다. 선형 객체 클래스에 속하는 객체는 특정한 위치를 제공하기 위한 어떤 차이(distance)를 위해 움직일 수 있다. 특정한 객체 타입과 인스턴스가 될 수 있는 것은 무엇이든간에, 다른 면 객체에 포함되는 점, 선, 면 객체를 조작하는 것이 항상 가능하며, 선 객체를 교차시켜 면 객체를 조작하거나 주어진 선 객체를 따라 점 객체를 조작하는 것이 가능하다.
- 객체에 부착될 수 있는 애트리뷰트 클래스. 애트리뷰트 클래스는 모든 객체 클래스의 객체를 대해 공통적인 의미를 가지는 애트리뷰트를 집합시킨다. 즉, "인스턴스 이름" 클래스에 속하는 애트리뷰트는 객체 타입의 특정 인스턴스를 정의하기 위해 이용된다. 예를 들어, 만일 GIS 도메인에서, 도로는 "도로 번호"라는 애트리뷰트를 가지며, "도로 번호"의 인스턴스는 숫자이다. 도로는 도로 숫자에 의해 말로 참조될 수 있기 때문에, "도로 번호"는 "숫자"의 애트리뷰트 타입일 뿐만 아니라 "인스턴스 이름짓기(naming)" 애트리뷰트 클래스의 일부분이다.
- 동작의 수행을 요청하기 위해 이용될 수 있는 다양한 말 설정. 각 동작 클래스와 연결되며, 동작 클래스들은 행해진 동작 클래스를 요청하기 위해 이용될 수 있는 한 셋트의 말 설정을 정의할 수 있다. 예를 들어, GIS 도메인에서, 'xyz' 표시(display) 또는 'abc'로 가는(go to) 것과 같은 말 설정이 정의될 수 있다. 애트리뷰트 클래스는 'xyz' 또는 'abc'처럼, 동작이 수행될 때 참조되는 객체 타입을 정의하기 위해 이용될 수 있다. 이러한 설정은, 사용자가 대화하는 정보 시스템에 의해 조작되는 타입에 속하는 객체의 인스턴스에 의해 특정될 것이다. 더구나, 'display' 또는 'go to'와 같은 동작은 원래의 용어와 쉽게 교환될 수 있는 동의어를 가질 수 있다. 이것은 유사한 말 설정의 다수의 변형은 문법적인 구조에서 본질적인 변화없이 존재할 수 있다.
- 순차적으로 조립되는 용어 요소(element)는 사용자에 의해 생성되는 말로 구성된다. 사람(one)은 정보 시스템으로부터 추출할 필요가 없는 숫자, 비교 연산자(operator)와 같은 인스턴스를 갖는 고정적인 용어 요소와, 객체 타입 또는 애트리뷰트 타입의 그것과 같이 정보 시스템으로부터 추출되어야 하는 인스턴스를 갖는 다이나믹 요소를 찾는다. 고정적으로 정의된 용어 요소는 간단한 용어 리스트이다. 요소들은 도메인 모듈을 구현하는 동안 정의될 수 있다.
이러한 각 요소는 선택적으로 설정(flag)될 수 있다.; 이것은 예절적인(politeness) 표현과 같은 말의 의미를 손상시키지 않고 생성시에 잊혀질 수 있다는 것을 의미한다.
이러한 각 요소는 숫자값을 구성하거나 스펠링 인식 코드를 판독(spell)하거나 지리적인 위치를 특정하기 위해서 반복적으로 설정 될 수 있다.
예를 들어, GIS 도메인에서, 사람(one)은 다음 순으로 고정 용어 요소를 찾을 수 있다. : [-1], [2] [+3] [-4] 중에서 [-1]은 'please'와 'can you' 용어로 구성되는 선택적인 용어 리스트를 표시(mark)하고, [2]는 'pan to the' or 'move to the'로 구성되는 필수적인 용어 리스트를 표시하고, [+3]은 'north', 'east', 'west', 'south'로 구성되는 반복적인 용어 리스트를 표시하고, [-4]는 'please'용어로 구성되는 선택적인 용어 리스트를 표시한다. 결과적으로, 다음은 이러한 요소에 기초한 유효한 말이다. : pan to the north east, can you move to the south east please.
[1] [2] [3]과 [1] [4] [3] [5] [2]와 같은 말은 또한 생성될 수 있다. [1]은 'show'와 'display' 둘 다이다. [2]는 객체 인스턴스 이름과 관련된다. [3]은 공간적인 객체 타입 이름이다. [4]는 'the'이고, [5]는 'of'이고, [2]와 [3]은 다이나믹 용어 요소이다. 만일 정보 시스템으로부터 추출한 다이나믹 요소가 도시와 주라 불리는 두 공간적 요소이고, 도시가 뉴욕과 와싱턴이고, 주가 뉴욕과 아이다호라 불리는 두 인스턴스 이름이라면, 조합 발생은 다음 말을 생성할 것이다;
[1] [2a] [3a]
[1] [2b] [3b]
[1] [4] [3a] [5] [2a]
[1] [4] [3b] [5] [3b]
여기서, [2a]는 뉴욕 또는 와싱턴이 될 것이다.
[3a]는 도시가 되고, [2b]는 뉴욕과 아이다호가 될 것이다.
[3b]는 주가 될 것이다.
"show New-York city" 또는 "display the state of Idaho"와 같은 특별한 말을 만든다.
5c : 정보 시스템 어댑터 모듈은 특정한 정보 시스템 애플리케이션을 위해 생성된다. 어댑터 모듈은 인식된 정보 시스템으로부터 객체, 애트리뷰트, 동작 타입 뿐만 아니라 그들의 인스턴스를 추출하고, 정보 시스템의 도메인을 정의하는 객체, 애트리뷰트, 동작 클래스로 참조되는 도메인 모듈(5a)에 객체, 애트리뷰트, 동작 타입 뿐만 아니라 그들의 인스턴스를 대입시키는 것을 목적으로 한다. 한편, 상기 어댑터 모듈은 사용자에 의해 생성된 말에 포함되는 동작을 위해 요구를 수행하도록 정보 시스템을 구동시킬 수 있다. 여기서, 어댑터 모듈이 도메인 모듈(5a)에 제공되는 동작 설명을 정보 시스템의 애플리케이션 법칙(logic)으로 변환하는 것이 요구된다.
위에서 정의된 환경의 다른 요소사이에서 정보 전송이 다음과 같이 발생한다. :
- 5b에서 2a로 : 단어 리스트와, 단어들의 조합을 컴퓨터 표현에 적합한 말로 관리하는 생성 법칙의 정의는 인식 시스템에 적합하다.
- 2a에서 5b로 : 컴퓨터 표현으로 인식된 말은 인식 시스템에 적합하다. 이 말은 다양한 순서의 단어에 대응된다.
-5b에서 2b로 : 사용자가 크게 읽은 컴퓨터 문자 표현
-5a에서 5b로 : 사용자가 생성할 수 있는 유효한 말을 표현하는 말 설정을 생성(build)하기 위해 한 셋트의 용어 리스트와 용어 리스트를 이용하는 한 셋트의 조합 법칙
-5b에서 5a로 : 사용자가 생성한 말은 관련된 용어 리스트와 사용자가 생성한 용어 리스트 의 정의와 조합 법칙 정의로 분해된다.
-5c에서 5a로 : 대응하는 클래스, 객체 인스턴스, 대응하는 클래스와 애트리뷰트 인스턴스를 가지는 애트리뷰트 타입을 가지는 객체 타입 리스트
-5a에서 5c로 : 정보 시스템에 의해 수행되는 관련된 파라미터를 갖는 동작(action). 이 파라미터는 객체와 애트리뷰트 인스턴스를 포함할 수 있다. 두 다른 동작 또는 두 다른 객체가 같은 사용자 명령어에 의해 접근되는 애매한 경우에, 어댑터 모듈이 정보 시스템 문맥상의 정보를 이용하거나 사용자로부터 피드백을 요청받아 애매함을 제거할 수 있을 거라는 바램으로, 다른 가능성이 도메인 모듈에 의해 정보 시스템으로 리턴될 것이다.
-1에서 5c로 : 1의 논리(logic) 언어에 의해서가 아니지만 1에 의존하는 5c에서 5a로와 같은 항목(item).
-5c에서 1로 : 1의 문법 언어로 번역되지 않지만 1에 의존하는 5a에서 5c로와 같은 아이템.
본 발명에 따른 대화 시스템의 사용은 다음 순서로 발생된다:
-도메인은 공통적인 객체와 애트리뷰트 및 정보 시스템의 클래스의 동작 클래스를 재그룹화하록 정의된다.
-시스템 분석가와 언어학자(3)는 객체, 애트리뷰트와 동작 클래스와, 도메인이 요구하는 관련된 동작 말 설정을 정의한다.
-정보는 도메인 모듈(5a)이 이용할 수 있는 내부 형식으로 인코딩된다.
-어댑터 모듈(5c)은 정의된 도메인에 속하는 특정 정보 시스템(1)을 위해 정의된다.
-사용자(4)는 정보 시스템을 시작한다.
-정보 시스템은 어댑터 모듈을 시작한다.
-어댑터 모듈은 사용자가 이용할 수 있는 객체를 추출하기 위해 정보 시스템을 이용하여 정보를 도메인 모듈에 대입시킨다.
-도메인 모듈은 일반 모듈(5b)을 위한 용어 리스트와 조합 법칙을 설정하기 위해 객체 클래스, 애트리뷰트 클래스와 동작 말 설정을 이용한다.
- 일반 모듈은 용어 리스트와 조합 법칙을 인식 시스템에 적합한 형태로 변환하고 인식 시스템을 시작한다.
-사용자는 말을 발생한다.
-인식 시스템(2)은 그럴듯한 말을 인식한 후에, 일반 모듈로 인식한 말을 리턴시킨다.
-일반 모듈은 조합법칙과 용어 리스트로 말을 분석해서 그것을 도메인 모듈에 다시 대입시킨다.
-도메인 모듈은 동작을 수행하기 위해 필요한 정보를 어댑터 모듈에 보고한다.
-어댑터 모듈은 동작을 수행하기 위해 정보 시스템을 호출한다.
사용자가 GIS 도메인 정보 시스템과 대화하도록 하는 본 발명에 따른 대화 시스템에 의해 처리되는 정보 분류의 예 :
우리는 적절한 값 또는 공간적인 관계에 의해 공간적인 객체를 표시하고 선택할 수 있는 정보 시스템을 가진다.
이 시스템과 관련하여, 우리는 나라와 도시가 되는 객체 타입을 가진다. : 이러한 객체 타입의 객체 인스턴스는 이름과 인구가 되는 두 관련된 애트리뷰트를 가진다. 이름은 문자(textual)의 애트리뷰트 타입이고, 인구는 숫자 애트리뷰트 타입이다.
나라에 대하여, 우리는 두 인스턴스를 가진다.: U.S.A와 France
그들의 인구는 각각 250000000와 60000000 거주자이다.
도시에 대하여, 우리는 6개의 인스턴스를 가진다.: New York, Los Angeles, Dallas, Paris, Lyon, Marseille
그들의 인구는 각각 1200000, 10000000, 500000, 6000000, 1000000, 800000 거주자이다.
영어로, 사람이 시스템으로 객체에 억세스하기 위해 다음 말을 정의할 수 있다.
일반적인 표시/가림 동작 :
나라 표시
나라 숨기기
도시 표시
도시 숨기기
전체적인 선택 동작 :
모든 나라 선택
모든 도시 선택
이름짓는 애트리뷰트 선택 동작 :
France라는 이름의 나라 선택
Los Angeles라는 이름의 도시 선택
애트리뷰트 조건 표현 :
U.S.A라는 이름 가짐
1000000을 초과하는 인구 가짐
애트리뷰트 관련 선택 :
이름이 U, S, A인 나라 선택
12000000 거주자의 인구를 갖는 도시 선택
공간 조건 선택 :
U.S.A 안에서
공간과 관련된 선택 :
U.S.A안의 도시 선택
Paris가 위치한 나라 선택
그래서 우리는 시스템의 도메인 모듈의 요소 c2를 위한 다음 구현 항목(item)을 정의할 것이다.
도메인 정의
도메인 X
객체 클래스들
표시가능한 객체
선택가능한 객체
공간적으로 포함하는 객체
공간적으로 포함되는 객체
숫자 판별 객체
인스턴스라는 이름의 객체
동작 클래스들(예)
표시 객체 :
표시(사용자에게 객체 표현)
숨기기(사용자로부터 객체를 가림)
선택 객체 :
모두 선택(모든 객체 선택)
선택 해제(모든 객체 선택해제)
애트리뷰트 클래스
숫자 값 애트리뷰트
문자 값 애트리뷰트
동작 말 설정
모든 리스트('모든 나라 리스트', '모든 도시 리스트')
모두 선택('모든 나라 선택')
조건('5백만을 초과하는 인구를 가짐')
용어 요소의 순서(예)
조건 명령어 = [1] [2] [3] [4] [5]
다이나믹 용어 요소
[3] : "population"과 같은 질문의 숫자 애트리뷰트
고정 용어 요소
[1] : 갖는/가지는
[2] = a
[4] = 보다 작은/보다 큰/ 동일한
[5] = 숫자값

Claims (8)

  1. 정보 시스템(1)에 접속하는 것을 목적으로 하며, 유사한 정보 시스템의 애플리케이션 도메인에 속하는 정보 시스템(1)의 사용자(4)가 상기 정보 시스템(1)과 상호 대화하게 하는 대화 시스템(5)에 있어서,
    상기 대화 시스템(5)은 상기 사용자가 발생하는 말을 이용하여 상기 정보 시스템(1)과 상기 사용자가 대화하도록 하기 위해 상기 말을 처리하는 인식 시스템(2)에 접속하는 것을 목적으로 하며, 상기 정보 시스템과(1) 상호 대화하기 위해서 상기 사용자(4)에 의해 발생되어 제공되는 말 문법을 정의하기 위해, 특정 객체 타입, 동작 타입, 애트리뷰트 타입과 그들의 인스턴스로 특정되도록 제공되며 인식된 애플리케이션 도메인의 정보 시스템과 공통되는 객체 클래스와 애트리뷰트 클래스와 동작 클래스에 기초하여 구현되는 말 설정(phrase set-ups)을 정의하는 것을 목적으로 하는 적어도 하나의 도메인 모듈(5a)을 포함하는 것을 특징으로 대화 시스템.
  2. 제1항에 있어서,
    적어도 하나의 도메인 모듈(5a)에 접속되어 상기 인식 시스템(2)에 접속하는 일반 모듈을 포함하고,
    상기 일반 모듈(5b)은 상기 사용자(4)에 의해 발생된 말의 인식을 위해 상기 사용자(4)에 의해 발생된 상기 말을 상기 인식 시스템(2)이 이용가능한 컴퓨터 문자(textual) 표현으로 변환하며, 상기 사용자(4)에 의해 발생된 말을 인식한 후 상기 인식 시스템(2)에 의해 생성된 컴퓨터 문자 표현을 상기 문법에 의해 정의된 말로 변환하는 것을 특징으로 하는 대화 시스템.
  3. 제2항에 있어서,
    상기 일반 모듈(5b)은 상기 인식 시스템(2)을 구현하게 하는 정보를 포함하는 요소(element)를 포함하는 것을 특징으로 하는 대화 시스템.
  4. 제1항 내지 제3항 중 한 항에 있어서,
    적어도 하나의 도메인 모듈(5a)에 접속하여 상기 정보 시스템(1)에 접속하고자 하는 어댑터 모듈(5c)을 포함하며,
    상기 어댑터 모듈(5c)은 객체, 애트리뷰트, 동작 타입과 그들의 요소를 상기 정보 시스템(1)으로부터 추출하며, 상기 객체, 애트리뷰트, 동작 타입과 그들의 요소들을 상기 적어도 하나의 도메인 모듈(5a)에 대입(pass)시켜서 상기 사용자(4)에 의해 발생되는 말에 포함된 동작을 위해 필요한 요구를 상기 도메인 모듈(5a)이 수행하도록 상기 정보 시스템(1)을 구동시키는 것을 특징으로 하는 대화 시스템.
  5. 제1항 내지 제4항 중 한 항에 있어서,
    상기 적어도 하나의 도메인 모듈(5a)은 몇몇의 애플리케이션 도메인과 공통되는 객체를 정의하는 객체와 애트리뷰트의 일반 개념에 대한 정보를 포함하는 요소(element)로 구성되는 것을 특징으로 하는 대화 시스템.
  6. 제1항 내지 제5항에 있어서,
    상기 적어도 하나의 도메인 모듈(5a)은, 객체 클래스, 애트리뷰트 클래스, 동작 클래스와 적어도 하나의 도메인 모듈(5a)이 정의되는 말 설정을 정의하는 시스템 분석가와 언어학자(3)에 접속하는 것을 목적으로 하는 것을 특징으로 하는 대화 시스템.
  7. 제1항 내지 제6항에 있어서,
    상기 인식 시스템(2)은 언어 인식 시스템이며, 상기 사용자(4)에 의해 발생되는 말은 상기 사용자(4)에 의한 발음에 의해 발생되는 것을 특징으로 하는 대화 시스템.
  8. 제1항 내지 제7항 중 한 항에 있어서,
    상기 인식 시스템(2)은 문자 인식 시스템이고, 상기 사용자(4)가 발생한 말은 상기 사용자(4)가 글로 쓴 것인 것을 특징으로 하는 대화 시스템.
KR1020037011359A 2001-02-28 2002-02-28 정보 시스템 억세스를 위한 자연어 질의 시스템 KR100885033B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP01200749.8 2001-02-28
EP01200749 2001-02-28
PCT/BE2002/000024 WO2002071393A1 (en) 2001-02-28 2002-02-28 Natural language query system for accessing an information system

Publications (2)

Publication Number Publication Date
KR20040028722A true KR20040028722A (ko) 2004-04-03
KR100885033B1 KR100885033B1 (ko) 2009-02-20

Family

ID=8179950

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020037011359A KR100885033B1 (ko) 2001-02-28 2002-02-28 정보 시스템 억세스를 위한 자연어 질의 시스템

Country Status (19)

Country Link
US (2) US20040064323A1 (ko)
EP (1) EP1366491B1 (ko)
JP (1) JP4334227B2 (ko)
KR (1) KR100885033B1 (ko)
CN (1) CN1232948C (ko)
AT (1) ATE288614T1 (ko)
BR (1) BR0207642A (ko)
CA (1) CA2437614C (ko)
DE (1) DE60202847T2 (ko)
DK (1) DK1366491T3 (ko)
ES (1) ES2236483T3 (ko)
HK (1) HK1062497A1 (ko)
IL (2) IL157454A0 (ko)
MX (1) MXPA03007724A (ko)
OA (1) OA12495A (ko)
PT (1) PT1366491E (ko)
RU (1) RU2269164C2 (ko)
WO (1) WO2002071393A1 (ko)
ZA (1) ZA200307267B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100718147B1 (ko) * 2005-02-01 2007-05-14 삼성전자주식회사 음성인식용 문법망 생성장치 및 방법과 이를 이용한 대화체음성인식장치 및 방법

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070179827A1 (en) 2003-08-27 2007-08-02 Sandeep Gupta Application processing and decision systems and processes
US11132183B2 (en) 2003-08-27 2021-09-28 Equifax Inc. Software development platform for testing and modifying decision algorithms
FR2862780A1 (fr) * 2003-11-25 2005-05-27 Thales Sa Procede d'elaboration d'une grammaire specifique a un domaine a partir d'une grammaire sous-specifiee
US7529733B2 (en) * 2004-11-10 2009-05-05 International Business Machines Corporation Query builder using context sensitive grids
WO2007013521A1 (ja) * 2005-07-26 2007-02-01 Honda Motor Co., Ltd. ユーザと機械とのインタラクションを実施するための装置、方法、およびプログラム
US8229745B2 (en) * 2005-10-21 2012-07-24 Nuance Communications, Inc. Creating a mixed-initiative grammar from directed dialog grammars
US20070136222A1 (en) * 2005-12-09 2007-06-14 Microsoft Corporation Question and answer architecture for reasoning and clarifying intentions, goals, and needs from contextual clues and content
US8310533B2 (en) 2006-03-27 2012-11-13 GE Sensing & Inspection Technologies, LP Inspection apparatus for inspecting articles
US8625434B2 (en) * 2006-12-29 2014-01-07 Ge Inspection Technologies Lp IP based voice communication enabled inspection system
CA2921562C (en) * 2007-08-07 2017-11-21 Equifax, Inc. Systems and methods for managing statistical expressions
US8219407B1 (en) 2007-12-27 2012-07-10 Great Northern Research, LLC Method for processing the output of a speech recognizer
US9978365B2 (en) * 2008-10-31 2018-05-22 Nokia Technologies Oy Method and system for providing a voice interface
US20100198876A1 (en) 2009-02-02 2010-08-05 Honeywell International, Inc. Apparatus and method of embedding meta-data in a captured image
US9519814B2 (en) 2009-06-12 2016-12-13 Hand Held Products, Inc. Portable data terminal
EP2341450A1 (en) * 2009-08-21 2011-07-06 Mikko Kalervo Väänänen Method and means for data searching and language translation
US20110106779A1 (en) * 2009-10-30 2011-05-05 Research In Motion Limited System and method to implement operations, administration, maintenance and provisioning tasks based on natural language interactions
US9679561B2 (en) 2011-03-28 2017-06-13 Nuance Communications, Inc. System and method for rapid customization of speech recognition models
US9069814B2 (en) * 2011-07-27 2015-06-30 Wolfram Alpha Llc Method and system for using natural language to generate widgets
CN105074693B (zh) * 2012-10-25 2018-06-12 沃克阅读技术公司 语句解析校正系统
US10650089B1 (en) * 2012-10-25 2020-05-12 Walker Reading Technologies Sentence parsing correction system
RU2737598C1 (ru) * 2020-02-04 2020-12-01 Павел Андреевич Морозов Способ формирования оперативной информации на основе формализованной концептуальной модели предметной области

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4688195A (en) * 1983-01-28 1987-08-18 Texas Instruments Incorporated Natural-language interface generating system
US5083268A (en) * 1986-10-15 1992-01-21 Texas Instruments Incorporated System and method for parsing natural language by unifying lexical features of words
EP0505621A3 (en) * 1991-03-28 1993-06-02 International Business Machines Corporation Improved message recognition employing integrated speech and handwriting information
JP2818362B2 (ja) * 1992-09-21 1998-10-30 インターナショナル・ビジネス・マシーンズ・コーポレイション 音声認識装置のコンテキスト切換えシステムおよび方法
JPH06202688A (ja) * 1992-12-28 1994-07-22 Sony Corp 音声認識装置
US5642519A (en) * 1994-04-29 1997-06-24 Sun Microsystems, Inc. Speech interpreter with a unified grammer compiler
US6157935A (en) * 1996-12-17 2000-12-05 Tran; Bao Q. Remote data access and management system
US6023697A (en) * 1997-02-24 2000-02-08 Gte Internetworking Incorporated Systems and methods for providing user assistance in retrieving data from a relational database
JPH11224265A (ja) * 1998-02-06 1999-08-17 Pioneer Electron Corp 情報検索装置及び情報検索方法並びに情報検索プログラムを記録した記録媒体
JPH11231894A (ja) * 1998-02-18 1999-08-27 Denso Corp 音声認識装置
JP2001034292A (ja) * 1999-07-26 2001-02-09 Denso Corp 単語列認識装置
US6314402B1 (en) * 1999-04-23 2001-11-06 Nuance Communications Method and apparatus for creating modifiable and combinable speech objects for acquiring information from a speaker in an interactive voice response system
US6356869B1 (en) * 1999-04-30 2002-03-12 Nortel Networks Limited Method and apparatus for discourse management
JP3980791B2 (ja) * 1999-05-03 2007-09-26 パイオニア株式会社 音声認識装置を備えたマンマシンシステム
KR100332966B1 (ko) * 1999-05-10 2002-05-09 김일천 음성인식 대화형 인형완구 및 그 제어방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100718147B1 (ko) * 2005-02-01 2007-05-14 삼성전자주식회사 음성인식용 문법망 생성장치 및 방법과 이를 이용한 대화체음성인식장치 및 방법

Also Published As

Publication number Publication date
CA2437614C (en) 2011-06-14
JP2004526196A (ja) 2004-08-26
EP1366491A1 (en) 2003-12-03
OA12495A (en) 2006-05-24
CN1494713A (zh) 2004-05-05
US20060184476A1 (en) 2006-08-17
US7653604B2 (en) 2010-01-26
WO2002071393A8 (en) 2003-11-20
ZA200307267B (en) 2004-05-03
EP1366491B1 (en) 2005-02-02
BR0207642A (pt) 2004-06-01
JP4334227B2 (ja) 2009-09-30
MXPA03007724A (es) 2004-11-12
RU2003128960A (ru) 2005-03-27
HK1062497A1 (en) 2004-11-05
DE60202847T2 (de) 2006-02-09
KR100885033B1 (ko) 2009-02-20
ATE288614T1 (de) 2005-02-15
RU2269164C2 (ru) 2006-01-27
DE60202847D1 (de) 2005-03-10
US20040064323A1 (en) 2004-04-01
PT1366491E (pt) 2005-06-30
IL157454A (en) 2008-07-08
CN1232948C (zh) 2005-12-21
CA2437614A1 (en) 2002-09-12
WO2002071393A1 (en) 2002-09-12
IL157454A0 (en) 2004-03-28
DK1366491T3 (da) 2005-05-09
ES2236483T3 (es) 2005-07-16

Similar Documents

Publication Publication Date Title
KR100885033B1 (ko) 정보 시스템 억세스를 위한 자연어 질의 시스템
CA2929018C (en) Natural expression processing method, processing and response method, device and system
CN100592385C (zh) 用于对多语言的姓名进行语音识别的方法和系统
CN109891411A (zh) 一种语音转换器
KR100917552B1 (ko) 대화 시스템의 충실도를 향상시키는 방법 및 컴퓨터이용가능 매체
JP2005174325A (ja) 意味的速記のためのシステム及び方法
Trivedi Fundamentals of Natural Language Processing
Oberteuffer Commercial applications of speech interface technology: an industry at the threshold.
Olaide et al. Android platform for machine translation-a focus on Yorùbá Language
Cuomo et al. Visitor assistant tools based on machine learning approaches in cultural heritage contexts
Ali Issues in English to Indian sign generation and translation model and developed corpus based translation system to tackle those issues
CN1979636A (zh) 一种音标到语音的转换方法
Griol et al. A proposal to enhance human-machine interaction by means of multi-agent conversational interfaces
Sasajima et al. MINOS-II: a prototype car navigation system with mixed initiative turn taking dialogue.
KR20230143711A (ko) 수어 기반 양방향 의사소통 시스템 및 방법
Granell et al. Speech recognition on the percepción project
Mandita et al. Malaysian to German sign language statistical machine translation using Markov chain and search algorithms
Saigal SEES: An adaptive multimodal user interface for the visually impaired
Voskresenskij et al. Development of Translation Tools from the Natural Language on Sign Language of Deaf People
Vasudev et al. KNOWLEDGE MANAGEMENT WITH INNOVATIVE INTELLIGENT SYSTEMS OF HUMAN LANGUAGE TECHNOLOGY
SANSKRIT GENERAL INFORMATICS & SANSKRIT
Costello The wizard of OZ: instilling a resilient heart into self-service business applications
Costello 1 4 THE WIZARD OF OZ: lnstilling a Resilient Heart into Self-Service
van Vark et al. Adaptive dialog management using multiple modalities
JP2005115814A (ja) 標準文作成支援方式および装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120206

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20130207

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee