KR20130000448A - 유사문장 검색장치 및 그 검색방법 - Google Patents

유사문장 검색장치 및 그 검색방법 Download PDF

Info

Publication number
KR20130000448A
KR20130000448A KR1020110060206A KR20110060206A KR20130000448A KR 20130000448 A KR20130000448 A KR 20130000448A KR 1020110060206 A KR1020110060206 A KR 1020110060206A KR 20110060206 A KR20110060206 A KR 20110060206A KR 20130000448 A KR20130000448 A KR 20130000448A
Authority
KR
South Korea
Prior art keywords
sentence
sentences
unit
similarity
input
Prior art date
Application number
KR1020110060206A
Other languages
English (en)
Other versions
KR101414492B1 (ko
Inventor
김정세
김상훈
이수종
왕지현
윤승
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020110060206A priority Critical patent/KR101414492B1/ko
Publication of KR20130000448A publication Critical patent/KR20130000448A/ko
Application granted granted Critical
Publication of KR101414492B1 publication Critical patent/KR101414492B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/268—Morphological analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

유사문장 검색장치 및 그 검색방법이 개시된다. 본 발명의 실시예에 따른 유사문장 검색장치는, 사용자로부터 문장을 입력받는 입력부; 말뭉치를 데이터베이스로 저장하는 말뭉치 데이터베이스부; 입력부를 통해 입력된 문장에 대하여 유사도 계산을 위한 언어처리를 수행하는 언어 처리부; 말뭉치 데이터베이스부에 저장된 후보 말뭉치에 대해 언어 처리부에 의해 언어처리된 문장과의 유사도를 검색하여 유사도가 일정값 이상인 문장을 추출하는 유사도 검색부; 및 유사도 검색부에 의해 추출된 문장이 다수인 경우, 추출된 문장들의 순위를 결정하는 순위 결정부를 포함하는 것을 특징으로 한다.

Description

유사문장 검색장치 및 그 검색방법{Apparatus and Method for Searching Similar Sentence}
본 발명은 유사문장 검색장치 및 그 검색방법에 관한 것이다. 보다 상세하게는 사용자로부터 입력받은 문장에 대응하여 데이터베이스에 저장된 말뭉치로부터 유사한 문장들을 검색하고, 검색된 문장들에 대한 문장 순위를 재조정하여 출력할 수 있는 유사문장 검색장치 및 그 검색방법에 관한 것이다.
일반적인 기계 번역 시스템의 경우, 현재로서는 자연스러운 번역 품질을 얻을 수 없다. 그 이유는 원시 언어 분석 기술이 아직 완벽하지 않으며, 원시언어를 목표언어로 변환하는 변환 기술 또한 현재로서는 미흡한 실정이기 때문이다.
이에 대하여 번역 지원 시스템은, 완전 자동 번역 기능은 제공하지는 못하지만, 사용자가 번역하려는 문장과 가장 유사한 문장을 데이터베이스에서 검색하여 제시함으로써 사용자가 번역을 하는데 많은 도움을 준다는 점에서 현재의 기계 번역 시스템보다 훨씬 실용성이 높다고 할 수 있다.
하지만, 일반적인 번역 지원 시스템은, 단순하게 입력 원문에 나타나는 단어들에 대한 스트링 매칭 기법만을 사용하므로, 표면적으로 매칭되는 문장만을 출력할 수밖에 없다는 단점을 여전히 지니고 있다.
최근에는, 이와 같은 문제점을 해결하고, 문장의 구조적, 문법적인 성분을 고려하여 보다 양질의 결과를 실현시키기 위하여 단순히 표층 단어 위주의 매칭뿐만 아니라, 형태소 분석 결과 및 품사에 따라 상이한 가중치 등을 적용하여 유사 문장을 추출하는 방법이 개발되었다.
그런데, 이와 같은 유사문장 검색방법에서는 유사도가 설정값 이상인 문장들 즉, 유사한 것으로 판단되는 문장들이 다수 발생할 수 있다. 사용자에 의해 입력된 문장과 유사한 것으로 판단되는 문장이 하나인 경우에는 해당 문장을 출력하면 되지만, 유사도가 설정된 값 이상인 문장들이 다수인 경우 즉, 유사도가 일정 확률 이상인 문장들이 다수인 경우에는 어느 문장을 최우선 순위로 하여 출력하여야 하는지가 문제될 수 있다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 창안된 것으로서, 입력된 문장과 유사한 문장이 다수인 경우, 문장간 유사도 측정 시 검색된 문장들의 순위를 재조정하여 입력문장에 가장 유사한 문장을 상위에 출력함으로써 유사문장 검색 기술의 성능을 향상시킬 수 있는 유사문장 검색장치 및 그 검색방법을 제공하는 것을 목적으로 한다.
그러나 본 발명의 목적은 상기에 언급된 사항으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 목적들을 달성하기 위하여, 본 발명의 한 관점에 따른 유사문장 검색장치는 사용자로부터 문장을 입력받는 입력부; 말뭉치를 데이터베이스로 저장하는 말뭉치 데이터베이스부; 입력부를 통해 입력된 문장에 대하여 유사도 계산을 위한 언어처리를 수행하는 언어 처리부; 말뭉치 데이터베이스부에 저장된 후보 말뭉치에 대해 언어 처리부에 의해 언어처리된 문장과의 유사도를 검색하여 유사도가 일정값 이상인 문장을 추출하는 유사도 검색부; 및 유사도 검색부에 의해 추출된 문장이 다수인 경우, 추출된 문장들의 순위를 결정하는 순위 결정부를 포함하는 것을 특징으로 한다.
바람직하게, 언어 처리부는, 입력부를 통해 입력된 문장에 대해 의미가 없는 단어들을 제거하는 가비지(garbage) 제거부; 가비지 제거부에 의해 가비지가 제거된 입력문장에 대해 형태소 품사 태거를 수행하는 형태소 품사 태거부; 입력문장의 문형 및 시제를 확인하는 문형 및 시제 확인부; 형태소 품사태거가 수행된 문장에 대해 키워드를 추출하는 키워드 추출부; 입력문장에 대해 용언의 기본형을 검색하는 용언 기본형 검색부; 및 입력문장에 포함된 고유명사에 대해 클래스 태깅을 수행하는 클래스 태깅부를 포함할 수 있다.
바람직하게, 유사도 검색부는, 언어처리된 문장과 말뭉치 데이터베이스부의 후보 문장들에 대해 유사도를 계산하는 유사도 계산부; 후보 문장들 중 유사도 계산부에 의해 계산된 유사도가 일정값 이상인 문장을 추출하는 문장 추출부; 및 추출된 문장의 클래스에 대해 입력부를 통해 입력된 문장에서의 클래스 엔트리로 복원하는 클래스 복원부를 포함할 수 있다.
바람직하게, 순위 결정부는, 계산된 유사도의 확률과 추출된 문장의 빈도, n-gram 확률값, 입력문장의 n-gram, 추출된 문장의 n-gram의 유사도 중 적어도 하나에 기초하여 추출된 문장들의 순위를 결정할 수 있다.
바람직하게, 순위 결정부는, 추출된 문장들 사이의 유사도를 측정하여 측정된 유사도가 일정값 이상인 문장들을 제거한 후 그룹화하는 그룹핑부를 더 포함할 수도 있다.
본 발명의 다른 한 관점에 따른 유사문장 검색방법은 사용자로부터 문장을 입력받는 단계; 입력된 문장에 대하여 유사도 계산을 위한 언어처리를 수행하는 단계; 말뭉치 데이터베이스부에 저장된 후보 문장에 대해 언어처리된 문장과의 유사도를 검색하여 유사도가 일정값 이상인 문장을 추출하는 단계; 및 추출된 문장이 다수인 경우, 추출된 문장들의 순위를 결정하는 단계를 포함하는 것을 특징으로 한다.
바람직하게, 언어 처리단계는, 입력된 문장에 대해 가비지를 제거하는 단계; 가비지가 제거된 입력문장에 대해 형태소 품사 태거를 수행하는 단계; 입력문장의 문형 및 시제를 확인하는 단계; 형태소 품사태거가 수행된 문장에 대해 키워드를 추출하는 단계; 입력문장에 대해 용언의 기본형을 검색하는 단계; 및 입력문장에 포함된 고유명사에 대해 클래스 태깅을 수행하는 단계를 포함할 수 있다.
바람직하게, 유사도 검색단계는, 언어처리된 문장과 후보 문장들에 대해 유사도를 계산하는 단계; 후보 문장들 중 계산된 유사도가 일정값 이상인 문장을 추출하는 단계; 및 추출된 문장의 클래스에 대해 입력된 문장에서의 클래스 엔트리로 복원하는 단계를 포함할 수 있다.
바람직하게, 순위 결정단계는, 계산된 유사도의 확률과 추출된 문장의 빈도, n-gram 확률값, 입력문장의 n-gram, 추출된 문장의 n-gram의 유사도 중 적어도 하나에 기초하여 추출된 문장들의 순위를 결정할 수 있다.
바람직하게, 순위 결정단계는, 추출된 문장들 사이의 유사도를 측정하여 측정된 유사도가 일정값 이상인 문장들을 제거한 후 그룹화하는 단계를 더 포함할 수도 있다.
본 발명의 실시예에 따른 유사문장 검색장치 및 그 검색방법은, 문장간 유사도 측정 시 검색된 문장들의 순위를 재조정하여 입력문장과 좀더 유사한 의도의 문장을 상위에 보여줌으로써, 유사문장검색 기술의 성능을 향상시킬 수 있는 효과가 있다.
또한, 본 발명의 실시예에 따른 유사문장 검색장치 및 그 검색방법은, 유사문장검색결과의 문장에 대해 유사도계산공식을 적용하여 같은 값을 가진 문장은 그룹핑함으로써, 다양한 문장을 사용자에게 보여줄 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 유사문장 검색장치를 개략적으로 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 유사문장 검색방법을 나타낸 흐름도이다.
도 3은 본 발명의 다른 실시예에 따른 유사문장 검색방법을 나타낸 흐름도이다.
이하에서는, 본 발명의 실시예에 따른 유사문장 검색장치 및 그 검색방법을 첨부한 도 1 내지 도 3을 참조하여 설명한다. 본 발명에 따른 동작 및 작용을 이해하는데 필요한 부분을 중심으로 상세히 설명한다. 명세서 전체를 통하여 각 도면에서 제시된 동일한 참조 부호는 동일한 구성 요소를 나타낸다.
도 1은 본 발명의 실시예에 따른 유사문장 검색장치를 개략적으로 도시한 도면이다.
도면을 참조하면, 본 발명의 실시예에 따른 유사문장 검색장치는, 입력부(100), 말뭉치 데이터베이스부(200), 언어 처리부(300), 유사도 검색부(400) 및 순위 결정부(500)를 포함할 수 있다.
입력부(100)는 사용자로부터 문장을 입력받는다. 이때, 사용자로부터 입력되는 문장은 키보드, 키패드, 터치패널 등과 같은 입력수단을 통해 입력된 문자이거나 음성인식 결과에 의해 변환된 문자일 수 있다.
말뭉치 데이터베이스부(200)는 말뭉치 데이터베이스를 저장한다. 여기서, 말뭉치 데이터베이스는 본 발명의 실시예에 이용되는 후보 문장들에 대한 데이터베이스로서, 이와 같은 말뭉치 데이터베이스는 가비지(garbage) 제거, 형태소 품사 태거, 문형 및 시제 확인, 키워드 추출, 용언 기본형 변환 등의 언어처리를 통해 데이터베이스로 저장될 수 있다.
언어 처리부(300)는 입력부(100)를 통해 입력된 문장에 대하여 유사도를 계산하기 위한 언어처리를 수행한다. 여기서, 언어 처리부(300)는 가비지 제거부(310), 형태소 품사 태거부(320), 문형 및 시제 확인부(330), 키워드 추출부(340), 용언 기본형 검색부(350) 및 클래스 태깅부(360)를 구비할 수 있다.
가비지 제거부(310)는 입력부(100)를 통해 입력된 문장에 대해 의미가 없는 단어들을 제거한다. 예를 들면, 입력된 문장 중에서 "음~, 와우~" 등과 같은 감탄사들은 의미가 없는 가비지로 판단하여 제거될 수 있다.
형태소 품사 태거부(320)는 가비지 제거부(310)에 의해 가비지가 제거된 입력문장에 대해 형태소 및 구문을 분석한다. 형태소는 국어에서 뜻을 가지고 있는 가장 작은 단위의 말을 의미하며, 구문은 문법을 구성하는 글의 짜임을 의미한다.
문형 및 시제 확인부(330)는 입력되는 문장에 대하여 평서형, 명령형, 청유형, 의문형 등의 문형을 확인하고, 또한 입력되는 문장에 대해 과거, 현재 또는 미래의 시제를 확인한다. 입력되는 문장의 문형 및 시제는 유사도 판단에 따라 삭제 여부 또는 그룹화 여부의 판단에 이용될 수 있다.
키워드 추출부(340)는 형태소 품사태거가 수행된 문장에 대해 키워드를 추출한다. 예를 들어, 형태소 품사 태거부(320)에 의해 형태소 품사 태거가 수행된 문장에서 조사와 어미를 제외한 나머지를 키워드로 사용할 수 있다. 이와 같은 키워드는 유사 문장의 검색에 있어 반드시 일치해야 하는 문장의 내용어로 선택될 수 있다.
용언 기본형 검색부(350)는 입력문장에 대해 용언의 기본형을 검색한다. 즉, 용언의 다양한 활용형들에 대해 기본형을 검색하고, 해당 활용형을 검색된 기본형으로 변환할 수 있다. 또한, 용언 기본형 검색부(350)는 핸드폰, 휴대폰 등과 같은 동일하거나 유사한 단어들을 하나로 통일하여 변환할 수도 있다.
클래스 태킹부(360)는 입력문장의 인명, 지명, 호텔명 등과 같은 고유명사에 대해서 클래스 태깅을 수행하며, 단순 단어매칭에서부터 다양한 알고리즘을 활용할 수 있다.
유사도 검색부(400)는 말뭉치 데이터베이스부(200)에 저장된 후보 말뭉치에 대해 언어 처리부(300)에 의해 언어 처리된 문장과의 유사도를 검색한다. 이를 위해, 유사도 검색부(400)는 유사도 계산부(410), 문장 추출부(420) 및 클래스 복원부(430)를 구비할 수 있다.
유사도 계산부(410)는 언어 처리부(300)에 의해 언어 처리된 문장과 말뭉치 데이터베이스(200)에 저장된 후보 말뭉치(후보 문장들)에 대해 다음의 [수학식 1]과 같이 각각의 키워드에 대한 유사도를 계산한다.
[수학식 1]
Figure pat00001
여기서 S1은 입력문장, S2는 후보문장, e1 ,i는 입력문장의 i번째 요소, e2 ,i는 후보문장의 i번째 요소, fi는 i번째 요소에 대한 유사도 함수, wi는 fi의 가중치이다. 이때, 품사별 키워드를 하나의 요소로 하여 계산할 수 있다.
문장 추출부(420)는 말뭉치 데이터베이스(200)의 후보 문장들 중 유사도 계산부(410)에 의해 유사도가 일정값 이상인 문장을 추출한다. 즉, 유사도 계산부(410)에 의해 계산된 유사도가 기준치에 미치지 못할 경우, 해당 기준치 이상의 문장들만 추출한다. 이때, 기준치는 메모리 또는 버퍼의 저장량을 조절하여 변화시킬 수 있다.
클래스 복원부(430)는 말뭉치 데이터베이스(200)로부터 추출된 문장의 클래스에 대해 입력된 문장에서의 클래스 엔트리로 복원한다.
순위 결정부(500)는 유사도 검색부(400)에 의해 추출된 문장이 다수인 경우, 추출된 문장들에 대한 순위를 결정한다. 이때, 순위 결정부(500)는 계산된 유사도의 확률과 추출된 문장의 빈도, n-gram 확률값, 입력문장의 n-gram, 추출된 문장의 n-gram의 유사도 중 적어도 하나에 기초하여 추출된 문장들의 순위를 결정할 수 있다. 예를 들어, 순위 결정부(500)는 말뭉치 데이터베이스부(200)로부터 추출된 문장들에 대해 유사도 계산부(410)의 유사도 계산공식을 한번 더 적용하여 각각의 문장들에 대한 유사도를 계산할 수 있다. 이에 사용되는 요소로는 입력문장에 대한 n-gram과 추출된 문장에 대한 n-gram을 요소로 하여 계산될 수 있다. 또는, 순위 결정부(500)는 수학식 2와 같이 각각에 가중치를 부여하여 순위를 결정할 수도 있다.
[수학식 2]
순위 재조정값 = 유사도 계산부(410)에 의한 계산공식×A + 검색된 문장의 빈도×B + 검색된 문장의 n-gram 확률×C + n-gram 유사도×D
여기서, A, B, C, 및 D는 가중치로서, A, B, C, 및 D의 합은 1이다.
한편, 순위 결정부(500)는, 말뭉치 데이터베이스(200)로부터 추출된 문장들 사이의 유사도를 측정하며, 측정된 유사도가 일정값 이상인 문장들을 제거한 후 그룹화하는 그룹핑부(510)를 포함할 수 있다. 즉, 그룹핑부(510)는 순위 결정부(500)의 결과에 대해 문장끼리의 유사도를 측정하여 동일한 문장들을 축소시키며, 그에 따라 다양한 문장들을 그룹화하여 출력될 수 있도록 한다. 추출된 문장들에 대해 유사문장 검색을 하면 유사도 점수가 다양한 문장들이 나타난다. 예를 들면, 입력문장이 “버스는 어디서 타나요?”일 경우, 다음과 같은 검색결과가 나타날 수 있다.
0 100 버스는 어디서 타나요?
1 100 버스는 어디서 타요?
2 100 버스는 어디서 타죠?
3 100 버스는 어디서 탑니까?
…
여기서, 0,...,3는 순서이고 100은 유사도 값이다. 검색결과를 보면 어미의 활용형만 다르지 전부 같은 문장들이다. 그룹핑부(510)는 이러한 문장들을 없애고 다양한 문장들을 보여주기 위하여 그룹핑을 한다. 그룹핑부(510)는 검색된 한 문장을 기준으로 다른 문장들에 대해 유사도 계산부(410)의 공식을 재적용하여 다른 문장들과의 유사도를 계산한다. 여기서 기준값을 넘게되면 유사하다고 판단하고 시제와 문형이 같은지 확인한다. 시제와 문형까지 같으면 유사한 문장으로 판단하여 해당 문장은 없앤다. 그에 따라 다음과 같은 결과가 나타날 수 있다.
0 버스는 어디서 타나요?
1 공항 버스 어디서 타요?
2 관광 버스는 어디에서 타요?
3 리무진 버스는 어디서 타죠?
4 버스 타는 곳은 어디에요?
이와 같이, 순위 결정부(500)에 의해 순위가 결정되고 그룹핑부(510)에 의해 그룹화된 문장들이 화면에 출력될 수 있다.
도 2는 본 발명의 일 실시예에 따른 유사문장 검색방법을 나타낸 흐름도이다.
도 1 및 도 2를 참조하면, 입력부(100)는 사용자로부터 문장을 입력받는다(S210). 이때, 사용자로부터 입력되는 문장은 키보드, 키패드, 터치패널 등과 같은 입력수단을 통해 입력된 문자이거나 음성인식 결과에 의해 변환된 문자일 수 있다.
언어 처리부(300)는 입력부(100)를 통해 입력된 문장에 대하여 유사도를 계산하기 위한 언어처리를 수행한다(S220). 이때, 가비지 제거부(310)는 도 3에 나타낸 바와 같이, 입력부(100)를 통해 입력된 문장에 대해 의미가 없는 단어들을 제거한다(S221). 예를 들면, 입력된 문장 중에서 "음~, 와우~" 등과 같은 감탄사들은 의미가 없는 가비지로 판단하여 제거될 수 있다.
또한, 형태소 품사 태거부(320)는 가비지 제거부(310)에 의해 가비지가 제거된 입력문장에 대해 형태소 및 구문을 분석한다(S222).
문형 및 시제 확인부(330)는 입력되는 문장에 대하여 평서형, 명령형, 청유형, 의문형 등의 문형을 확인하고, 또한 입력되는 문장에 대해 과거, 현재 또는 미래의 시제를 확인할 수 있다(S223). 입력되는 문장의 문형 및 시제는 유사도 판단에 따라 삭제 여부 또는 그룹화 여부의 판단에 이용될 수 있다.
키워드 추출부(340)는 형태소 품사태거가 수행된 문장에 대해 키워드를 추출한다(S224). 예를 들어, 형태소 품사 태거부(320)에 의해 형태소 품사 태거가 수행된 문장에서 조사와 어미를 제외한 나머지를 키워드로 사용할 수 있다.
용언 기본형 검색부(350)는 입력문장에 대해 용언의 기본형을 검색할 수 있다(S225). 즉, 용언의 다양한 활용형들에 대해 기본형을 검색하고, 해당 활용형을 검색된 기본형으로 변환할 수 있다. 또한, 용언 기본형 검색부(350)는 핸드폰, 휴대폰 등과 같은 동일하거나 유사한 단어들을 하나로 통일하여 변환할 수도 있다.
클래스 태킹부(360)는 입력문장의 인명, 지명, 호텔명 등과 같은 고유명사에 대해서 클래스 태깅을 수행하며, 단순 단어매칭에서부터 다양한 알고리즘을 활용할 수 있다(S226).
유사도 검색부(400)는 말뭉치 데이터베이스부(200)에 저장된 후보 말뭉치에 대해 언어 처리부(300)에 의해 언어 처리된 문장과의 유사도를 검색한다(S230). 이때, 유사도 계산부(410)는 언어 처리부(300)에 의해 언어 처리된 문장과 말뭉치 데이터베이스(200)에 저장된 후보 말뭉치(후보 문장들)에 대해 수학식 1과 같이 각각의 키워드에 대한 유사도를 계산할 수 있다(S232).
또한, 문장 추출부(420)는 말뭉치 데이터베이스(200)의 후보 문장들 중 유사도 계산부(410)에 의해 유사도가 일정값 이상인 문장을 추출할 수 있다(S234). 즉, 유사도 계산부(410)에 의해 계산된 유사도가 기준치에 미치지 못할 경우, 해당 기준치 이상의 문장들만 추출한다. 이때, 기준치는 메모리 또는 버퍼의 저장량을 조절하여 변화시킬 수 있다.
클래스 복원부(430)는 말뭉치 데이터베이스(200)로부터 추출된 문장의 클래스에 대해 입력된 문장에서의 클래스 엔트리로 복원한다(S236).
순위 결정부(500)는 유사도 검색부(400)에 의해 추출된 문장이 다수인 경우, 추출된 문장들에 대한 순위를 결정하여 출력한다(S240). 이때, 순위 결정부(500)는 계산된 유사도의 확률과 추출된 문장의 빈도, n-gram 확률값, 입력문장의 n-gram, 추출된 문장의 n-gram의 유사도 중 적어도 하나에 기초하여 추출된 문장들의 순위를 결정할 수 있다.
그룹핑부(510)는 순위 결정부(500)의 결과에 대해 문장끼리의 유사도를 측정하여 동일한 문장들을 축소시키며, 그에 따라 다양한 문장들이 출력될 수 있도록 한다(S250).
이로써, 본 발명의 실시예에 따른 유사문장 검색장치 및 그 검색방법은, 입력된 문장과 유사한 문장이 다수인 경우, 문장간 유사도 측정 시 검색된 문장들의 순위를 재조정하여 입력문장에 가장 유사한 문장을 상위에 출력함으로써 유사문장 검색 기술의 성능을 향상시킬 수 있게 된다.
본 발명에 의한 유사문장 검색장치 및 그 검색방법이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 입력부
200: 말뭉치 데이터베이스부
300: 언어 처리부
400: 유사도 검색부
500: 순위 결정부

Claims (1)

  1. 사용자로부터 문장을 입력받는 입력부;
    말뭉치를 데이터베이스로 저장하는 말뭉치 데이터베이스부;
    상기 입력부를 통해 입력된 문장에 대하여 유사도 계산을 위한 언어처리를 수행하는 언어 처리부;
    상기 말뭉치 데이터베이스부에 저장된 후보 말뭉치에 대해 상기 언어 처리부에 의해 언어처리된 문장과의 유사도를 검색하여 유사도가 일정값 이상인 문장을 추출하는 유사도 검색부; 및
    상기 유사도 검색부에 의해 추출된 문장이 다수인 경우, 상기 추출된 문장들의 순위를 결정하는 순위 결정부;
    를 포함하는 것을 특징으로 하는 유사문장 검색장치.
KR1020110060206A 2011-06-21 2011-06-21 유사문장 검색장치 및 그 검색방법 KR101414492B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110060206A KR101414492B1 (ko) 2011-06-21 2011-06-21 유사문장 검색장치 및 그 검색방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110060206A KR101414492B1 (ko) 2011-06-21 2011-06-21 유사문장 검색장치 및 그 검색방법

Publications (2)

Publication Number Publication Date
KR20130000448A true KR20130000448A (ko) 2013-01-03
KR101414492B1 KR101414492B1 (ko) 2014-07-04

Family

ID=47833947

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110060206A KR101414492B1 (ko) 2011-06-21 2011-06-21 유사문장 검색장치 및 그 검색방법

Country Status (1)

Country Link
KR (1) KR101414492B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104216968A (zh) * 2014-08-25 2014-12-17 华中科技大学 一种基于文件相似度的排重方法及系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220014749A (ko) * 2020-07-29 2022-02-07 삼성전자주식회사 제공되는 컨텐츠를 기반으로 검색어를 추천하는 전자 장치 및 그 제어 방법
KR102523767B1 (ko) * 2020-11-17 2023-04-21 주식회사 한글과컴퓨터 Bleu 스코어를 기초로 유사 문장에 대한 검색을 수행하는 전자 장치 및 그 동작 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3622503B2 (ja) * 1998-05-29 2005-02-23 株式会社日立製作所 特徴文字列抽出方法および装置とこれを用いた類似文書検索方法および装置並びに特徴文字列抽出プログラムを格納した記憶媒体および類似文書検索プログラムを格納した記憶媒体
KR100434902B1 (ko) * 2000-08-28 2004-06-07 주식회사 에이전트엑스퍼트 지식 기반 맞춤 정보 제공 시스템 및 그 서비스 방법
KR100546743B1 (ko) * 2003-10-02 2006-01-26 한국전자통신연구원 언어분석 기반 자동 질문/정답 색인 방법과 그 질의응답방법 및 시스템
KR101224660B1 (ko) * 2008-07-09 2013-01-21 고려대학교 산학협력단 유사 문장 검색 장치, 검색 방법, 저장 매체, 자동 대화서비스 시스템 및 서비스 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104216968A (zh) * 2014-08-25 2014-12-17 华中科技大学 一种基于文件相似度的排重方法及系统

Also Published As

Publication number Publication date
KR101414492B1 (ko) 2014-07-04

Similar Documents

Publication Publication Date Title
US9600469B2 (en) Method for detecting grammatical errors, error detection device for same and computer-readable recording medium having method recorded thereon
Gao et al. IBM MASTOR: Multilingual automatic speech-to-speech translator
WO2008107305A2 (en) Search-based word segmentation method and device for language without word boundary tag
CN106610951A (zh) 改进的基于语义分析的文本相似度求解算法
CN108538286A (zh) 一种语音识别的方法以及计算机
KR20130042839A (ko) 유사문장 검색 장치 및 방법, 유사문장 검색 방법을 실행시키기 위한 프로그램이 기록된 기록매체
CN102306144A (zh) 一种基于语义词典的词语消歧方法
Chen et al. Identification and classification of proper nouns in Chinese texts
CN101334768A (zh) 一种利用计算机对词义进行排歧的方法、系统及检索方法
EP2912569A1 (en) Method for summarizing document
Cao et al. A system to mine large-scale bilingual dictionaries from monolingual web pages
CN113743090A (zh) 一种关键词提取方法及装置
KR101616031B1 (ko) 위키피디아의 언어자원과 병렬 코퍼스를 이용한 교차언어 검색기의 질의어 번역 시스템 및 방법
KR20130000448A (ko) 유사문장 검색장치 및 그 검색방법
Dilekh et al. Implementation of a new hybrid method for stemming of Arabic text
Anwar et al. A statistical based part of speech tagger for Urdu language
Leidig et al. Automatic detection of anglicisms for the pronunciation dictionary generation: a case study on our German IT corpus.
Zamin et al. A lazy man’s way to part-of-speech tagging
KR101069534B1 (ko) 미등록어를 포함한 환경에서 오디오 및 비디오의 음성 데이터 검색 방법 및 장치
KR20200073524A (ko) 특허 문서의 키프레이즈 추출 장치 및 방법
JP5298834B2 (ja) 例文マッチング翻訳装置、およびプログラム、並びに翻訳装置を含んで構成された句翻訳装置
Lin et al. Learning Indonesian frequently used vocabulary from large-scale news
Fawi et al. Italian-Arabic domain terminology extraction from parallel corpora
Baldwin The hare and the tortoise: speed and accuracy in translation retrieval
Zheng et al. The selection of Mongolian stop words

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20110621

A201 Request for examination
AMND Amendment
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20120406

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20110621

Comment text: Patent Application

PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20130428

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20131029

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20130428

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20131029

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20130604

Comment text: Amendment to Specification, etc.

Patent event code: PX09012R01I

Patent event date: 20120406

Comment text: Amendment to Specification, etc.

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20131230

Patent event code: PE09021S01D

AMND Amendment
PX0701 Decision of registration after re-examination

Patent event date: 20140624

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20140205

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20131121

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20131029

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20130604

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20120406

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20140626

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20140626

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20170529

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20170529

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20180529

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20180529

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20190604

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20190604

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20200525

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20210503

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20230810

Start annual number: 10

End annual number: 10

PR1001 Payment of annual fee

Payment date: 20240522

Start annual number: 11

End annual number: 11