KR20020053968A - 자연어를 이용한 이미지 데이터 색상 및 형태 검색 장치및 그 방법 - Google Patents

자연어를 이용한 이미지 데이터 색상 및 형태 검색 장치및 그 방법 Download PDF

Info

Publication number
KR20020053968A
KR20020053968A KR1020000082179A KR20000082179A KR20020053968A KR 20020053968 A KR20020053968 A KR 20020053968A KR 1020000082179 A KR1020000082179 A KR 1020000082179A KR 20000082179 A KR20000082179 A KR 20000082179A KR 20020053968 A KR20020053968 A KR 20020053968A
Authority
KR
South Korea
Prior art keywords
color
shape
natural language
image data
word
Prior art date
Application number
KR1020000082179A
Other languages
English (en)
Other versions
KR100422805B1 (ko
Inventor
박성희
김현진
박수준
장명길
Original Assignee
오길록
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오길록, 한국전자통신연구원 filed Critical 오길록
Priority to KR10-2000-0082179A priority Critical patent/KR100422805B1/ko
Priority to US10/025,912 priority patent/US20020081024A1/en
Publication of KR20020053968A publication Critical patent/KR20020053968A/ko
Application granted granted Critical
Publication of KR100422805B1 publication Critical patent/KR100422805B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야
본 발명은 자연어를 이용한 이미지 데이터 색상 및 형태 검색 장치 및 그 방법에 관한 것임.
2. 발명이 해결하려고 하는 기술적 과제
본 발명은 사람들이 가지고 있는 색상과 형태에 대한 퍼지(fuzzy)한 대표값을 자연어와 함께 등록하여, 사용자가 친숙한 자연어로 입력하면 질의어를 분석하여 검색하여 주는 자연어를 이용한 이미지 데이터 색상 및 형태 검색 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있음.
3. 발명의 해결방법의 요지
본 발명은, 언어 처리용 사전 정보를 저장하고 있는 언어 처리용 사전 저장 수단; 색상과 관련된 단어와 매핑된 색상 히스토그램(histogram)값과, 형태(shape)와 관련된 단어에 상당하는 에지 정보를 저장하고 있는 색상/형태 임계치 저장 수단; 사용자로부터 색상과 형태를 기술한 자연어 질의 문장을 입력받기 위한 질의문 입력 수단; 상기 질의문 입력 수단을 통하여 입력된 자연어 문장을 상기 언어 처리용 사전 저장 수단에 저장되어 있는 사전 정보를 이용하여 분석하기 위한 자연어 처리 수단; 상기 자연어 처리 수단에서 분석된 단어에 대하여 색상 또는 형태를 나타내는 단어인지를 인식하기 위한 색상/형태 단어 인식 수단; 색상과 관련된 단어와 색상 히스토그램값을 매핑하여 상기 색상/형태 임계치 저장 수단에 저장하고, 형태와 관련된 단어에 상당하는 에지 정보를 상기 색상/형태 임계치 저장 수단에 저장하기 위한 색상/형태 임계치 데이터베이스 구축 수단; 상기 색상/형태 단어 인식 수단에서 인식된 색상과 형태에 대한 요구를 만족하는 데이터를 상기 색상/형태 임계치 저장 수단에서 검색하기 위한 색상/형태 임계치 검색 수단; 및 상기 색상/형태 임계치 검색 수단에서 검색한 이미지 데이터를 상기 사용자에게 제공하기 위한 검색 결과 출력 수단을 포함한다.
4. 발명의 중요한 용도
본 발명은 이미지 데이터의 검색 등에 이용됨.

Description

자연어를 이용한 이미지 데이터 색상 및 형태 검색 장치 및 그 방법{Color and shape search method and apparatus of image data based on natural language with fuzzy concept}
본 발명은 기존의 이미지 데이터의 검색 방식인 색상과 형태 정보 검색 방식과 자연어 질의 방식을 혼합한 자연어를 이용한 이미지 데이터 색상 및 형태 검색 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것으로서, 더욱 상세하게는 사람들이 가지고 있는 색상과 형태에 대한 퍼지(fuzzy)한 대표값을 자연어와 함께 등록하여, 사용자가 친숙한 자연어로 입력하면 질의어를 분석하여 검색하여 주는 자연어를 이용한 이미지 데이터 색상 및 형태 검색 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.
현재 이미지 데이터를 검색하는 질의 방식에서는 색상과 형태 정보를 직접 입력하는 방식을 따르고 있다. 그래서, 사용자가 직접 검색을 원하는 색상에 대한 RGB(Red, Green, Blue)값을 숫자 형식으로 직접 입력하던지, 색상이 있는 팔레트에서 비슷한 색상을 고르는 질의 방식을 취하도록 하고 있다. 또한, 형태 정보(비슷한 에지 정보를 가진 이미지를 검색하는 방식)를 직접 이미지로 그리거나, 아니면 원하는 정보와 유사한 형태를 가진 그림을 직접 입력하는 질의 방식으로 검색하도록 하고 있다.
그러나, 상기와 같은 종래의 방법은, 데이터베이스로 확보해야 하는 어휘 정보(사전 정보)가 적다는 장점이 있으나, 이미지 데이터 검색 시스템의 입력으로 들어오는 질의문의 경우에 색상과 형태로 제한되어 있어서, 색상과 형태에 대한 각각의 수치들을 미리 대응시켜 두어야 하는 절차가 필요하다.
한편, 물론 몇몇 이미지 검색 시스템에서는 이러한 자연어 처리 기법을 응용하여 색상을 나타내는 어휘들을 이용한 질의 검색을 시도하고 있으나, 이는 시스템에서 지정한 한정된 어휘에 한해서만 가능하도록 하고 있다.
즉, 자연어로 검색하는 기술은 기존 정보검색에 많이 적용되어서 보편화되었지만, 이미지 정보검색은 주석정보(contents)를 바탕으로 한 검색에만 자연어 처리 기술을 적용하기 때문에 실제 칼라 검색이나 형태 검색의 경우에는 사용자가 친숙한 자연어로 된 검색이 불가능한 문제점이 있었다.
본 발명은 상기 문제점을 해결하기 위하여 제안된 것으로, 사람들이 가지고 있는 색상과 형태에 대한 퍼지(fuzzy)한 대표값을 자연어와 함께 등록하여, 사용자가 친숙한 자연어로 입력하면 질의어를 분석하여 검색하여 주는 자연어를 이용한 이미지 데이터 색상 및 형태 검색 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있다.
도 1 은 본 발명에 따른 자연어를 이용한 이미지 데이터 색상 및 형태 검색 장치의 일실시예 구성도.
도 2 는 본 발명에 따른 자연어를 이용한 이미지 데이터 색상 및 형태 검색 방법에 대한 일실시예 흐름도.
도 3 은 본 발명에 따른 데이터 흐름에 대한 일예시도.
* 도면의 주요 부분에 대한 부호의 설명
11 : 질의문 입력부 12 : 언어 처리용 사전 저장부
13 : 자연어 처리부 14 : 색상/형태 단어 인식부
15 : 색상/형태 임계치 데이터베이스
16 : 색상/형태 임계치 데이터베이스 구축부
17 : 색상/형태 임계치 데이터베이스 검색부
18 : 검색 결과 출력부
상기 목적을 달성하기 위한 본 발명의 장치는, 자연어를 이용한 이미지 데이터 색상 및 형태 검색 장치에 있어서, 언어 처리용 사전 정보를 저장하고 있는 언어 처리용 사전 저장 수단; 색상과 관련된 단어와 매핑된 색상 히스토그램(histogram)값과, 형태(shape)와 관련된 단어에 상당하는 에지 정보를 저장하고 있는 색상/형태 임계치 저장 수단; 사용자로부터 색상과 형태를 기술한 자연어 질의 문장을 입력받기 위한 질의문 입력 수단; 상기 질의문 입력 수단을 통하여 입력된 자연어 문장을 상기 언어 처리용 사전 저장 수단에 저장되어 있는 사전 정보를 이용하여 분석하기 위한 자연어 처리 수단; 상기 자연어 처리 수단에서 분석된 단어에 대하여 색상 또는 형태를 나타내는 단어인지를 인식하기 위한 색상/형태 단어 인식 수단; 색상과 관련된 단어와 색상 히스토그램값을 매핑하여 상기 색상/형태 임계치 저장 수단에 저장하고, 형태와 관련된 단어에 상당하는 에지 정보를 상기 색상/형태 임계치 저장 수단에 저장하기 위한 색상/형태 임계치 데이터베이스 구축 수단; 상기 색상/형태 단어 인식 수단에서 인식된 색상과 형태에 대한 요구를 만족하는 데이터를 상기 색상/형태 임계치 저장 수단에서 검색하기 위한 색상/형태 임계치 검색 수단; 및 상기 색상/형태 임계치 검색 수단에서 검색한 이미지 데이터를 상기 사용자에게 제공하기 위한 검색 결과 출력 수단을 포함하는 것을 특징으로 한다.
한편, 본 발명의 방법은, 자연어를 이용한 이미지 데이터 색상 및 형태 검색 장치에 적용되는 이미지 데이터 색상 및 형태 검색 방법에 있어서, 언어 처리용 사전 정보를 저장하고, 색상과 관련된 단어와 매핑된 색상 히스토그램(histogram)값과, 형태(shape)와 관련된 단어에 상당하는 에지 정보를 저장하는 제 1 단계; 사용자로부터 입력된 색상과 형태를 기술한 자연어 질의 문장을 상기 사전 정보를 이용하여 분석하는 제 2 단계; 상기 분석된 단어에 대하여 색상 또는 형태를 나타내는 단어인지를 인식하는 제 3 단계; 상기 인식된 색상과 형태에 대한 요구를 만족하는 데이터를 상기 저장된 색상 히스토그램(histogram)값과 에지 정보에서 검색하는 제 4 단계; 및 상기 검색한 이미지 데이터를 상기 사용자에게 제공하는 제 5 단계를 포함하는 것을 특징으로 한다.
또한, 상기 본 발명의 방법은, 상기 검색시 상기 인식된 색상과 형태에 대한 요구를 만족하는 데이터가 없을 경우에, 상기 사용자로부터 상기 인식된 색상과 형태에 대한 임계치를 입력받아 저장하는 제 6 단계를 더 포함하는 것을 특징으로 한다.
한편, 본 발명은, 자연어를 이용하여 이미지 데이터 색상 및 형태를 검색하기 위하여, 프로세서를 구비한 이미지 데이터 색상 및 형태 검색 장치에, 언어 처리용 사전 정보를 저장하고, 색상과 관련된 단어와 매핑된 색상 히스토그램(histogram)값과, 형태(shape)와 관련된 단어에 상당하는 에지 정보를 저장하는 제 1 기능; 사용자로부터 입력된 색상과 형태를 기술한 자연어 질의 문장을 상기 사전 정보를 이용하여 분석하는 제 2 기능; 상기 분석된 단어에 대하여 색상 또는 형태를 나타내는 단어인지를 인식하는 제 3 기능; 상기 인식된 색상과 형태에 대한 요구를 만족하는 데이터를 상기 저장된 색상 히스토그램(histogram)값과 에지 정보에서 검색하는 제 4 기능; 및 상기 검색한 이미지 데이터를 상기 사용자에게 제공하는 제 5 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
또한, 상기 본 발명은, 상기 검색시 상기 인식된 색상과 형태에 대한 요구를 만족하는 데이터가 없을 경우에, 상기 사용자로부터 상기 인식된 색상과 형태에 대한 임계치를 입력받아 저장하는 제 6 기능을 더 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
이처럼 본 발명에서는, 사람들이 가지고 있는 색상과 형태에 대한 퍼지(fuzzy)한 대표값을 자연어와 함께 등록하여, 사용자가 친숙한 자연어로 질의어를 입력하면 그것을 분석하여, 검색하여 검색 결과를 제공한다. 즉, 종래의 색상과 형태를 직접 질의 방식으로 처리하던 방법에서 자연어 처리부를 한 번 더 거치게 함으로써, 사용자에게 더 친숙한 이미지 검색 인터페이스를 제공한다.
또한, 본 발명에서는 자연어로 입력되는 단순한 명사 형태의 질의어 뿐만 아니라, 색상과 형태를 복합으로 처리할 수 있도록 하기 위해, 수식문을 포함한 단문 형태로 확장할 수 있도록 한다.
예를 들어, "붉은 색의 산"이라는 문장을 처리하기 위해서는 "붉다"라는 단어에 대해서 먼저 수식어라는 단어의 구문적인 정보 추출과 색상을 나타내는 단어라는 것을 인식하는 자연어 처리와 함께 붉은 색을 나타내는 RGB값의 임계치를 데이터베이스로부터 가져와야 한다. 또한, "산"이라는 단어에 대해서는 형태 정보로 인식하고, "산"에 대한 에지 임계치를 색상과 같이 데이터베이스로부터 가져와서 검색을 원하는 색상과 형태를 가진 이미지 데이터를 검색한다.
상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.
도 1 은 본 발명에 따른 자연어를 이용한 이미지 데이터 색상 및 형태 검색 장치의 일실시예 구성도이다.
도 1 에 도시된 바와 같이, 본 발명에 따른 자연어를 이용한 이미지 데이터 색상 및 형태 검색 장치는, 사용자가 검색하기를 원하는 색상과 형태를 기술한 자연어 질의 문장을 입력받기 위한 질의문 입력부(11), 언어 처리용 사전 정보를 저장하고 있는 언어 처리용 사전 저장부(12), 상기 질의문 입력부(11)를 통하여 입력된 자연어를 상기 언어 처리용 사전 저장부(12)에 저장되어 있는 사전 정보를 이용하여 분석하기 위한 자연어 처리부(13), 상기 자연어 처리부(13)에서 분석된 단어에 대하여 색상 또는 형태를 나타내는 단어인지를 인식하고 각각의 조건을 인식하는 색상/형태 단어 인식부(14), 색상과 관련된 단어와 매핑된 색상 히스토그램(histogram)값과, 형태(shape)와 관련된 단어에 상당하는 에지 정보를 저장하고 있는 색상/형태 임계치 데이터베이스(15), 색상과 관련된 단어와 색상 히스토그램(histogram)값을 매핑(mapping)하여 상기 색상/형태 임계치 데이터베이스(15)에 저장하고, 형태(shape)와 관련된 단어에 상당하는 에지 정보를 상기 색상/형태 임계치 데이터베이스(15)에 저장하기 위한 색상/형태 임계치 데이터베이스 구축부(16), 상기 색상/형태 단어 인식부(14)에서 인식된 색상과 형태에 대한 요구를 만족하는 데이터를 상기 색상/형태 임계치 데이터베이스(15)에서 검색하기 위한 색상/형태 임계치 데이터베이스 검색부(17) 및 색상/형태 임계치 데이터베이스 검색부(17)에서 검색한 이미지 데이터를 상기 사용자에게 제공하기 위한 검색 결과 출력부(18)를 포함한다.
이제, 본 발명에 따른 자연어를 이용한 이미지 데이터 색상 및 형태 검색 장치의 중요 구성요소에 대하여 좀 더 상세히 살펴보면 다음과 같다.
먼저, 자연어 처리부(13)는 사용자가 검색하기를 원하는 색상과 형태를 기술한 질의 문장을 질의문 입력부(11)를 통하여 입력받아 자연어 분석을 하는 모듈로서, 입력 문장에 대하여 단어를 분리 분석하는 부분이다. 따라서, 자연어 처리부(13)는 크게 입력문을 어절 단위로 분리하는 어절 분리기(Tokenizer)와 어절 분리기에서 나온 출력 데이터에서 각 단어의 사전 정보를 검색하고 형태소적 정보를 찾아 내는 사전 검색기와 구문 형식을 파악하는 구문 분석기(Parser)를 포함한다.
그리고, 색상/형태 단어 인식부(14)는 상기 자연어 처리부(13)에서 나온 결과 리스트를 입력받아 각 결과리스트 중에서 색상을 나타내는 단어와 형태를 나타내는 단어로 구별하여 인식하는 기능을 하고 있다. 또한, 상기 구문 분석기에서 분석한 수식관계 및 기타 패턴을 활용하여 각각의 조건 등을 자동으로 인식하도록 한다.
그리고, 색상/형태 임계치 데이터베이스 구축 및 검색부(16,17)는 색상/형태 단어 인식부(14)에서 인식된 결과로 나온 색상과 형태에 대한 요구를 만족하는 데이터에 대해서 검색하고, 미리 이러한 색상과 형태에 대한 데이터를 저장하는 기능을 수행한다. 즉, 미리 사용자가 요구할 만한 정보에 대해서 각각의 임계치값을 저장하여 데이터베이스를 구축하고, 검색부를 통해서 검색한다.
이때, 색상(color) 질의에서는 기존 색상을 나타내는 단어와 색상 히스토그램(histogram)값을 매핑(mapping)하여 데이터베이스화하는 방식(예 : 초록, 푸른색, 붉은색 등)과 색상을 나타내지는 않더라도 개념적으로 색을 표현할 수 있는 어휘 또는 개념과 그 단어에 맞는 색상 히스토그램(histogram)값을 함께 저장하는 방식(예 : 단풍, 바다, 노을 등)을 사용한다. 또한, 형태(shape) 질의에서는 객관화될 수 있는 형체를 가진 어휘에 상당하는 에지 정보를 데이터베이스화하여 저장하는 방식을 사용한다.
그리고, 상기 색상 정보의 경우에는 기존 팔레트와 사용자 정의 팔레트 정보로 구별하여 기존 팔레트 정보를 이용하는 경우에는 256가지 색상에 대해서 각각의 어휘와 임계치를 매핑(Mapping)하여 데이터베이스로 구축하고, 사용자 팔레트 정보를 사용하는 경우에는 사용자가 직접 팔레트 판을 이용하여 색상을 지정한 후 거기에 해당하는 어휘를 입력받아 저장하여, 이후에는 그 어휘에 대해서도 검색이 자동으로 계속되도록 하는 기능을 제공한다.
그리고, 형태 정보의 경우에도 기존 유형과 사용자 정의 유형으로 구별하여 기존 유형에서는 일반적으로 이미지 검색 시스템에서 유형별 검색에 자주 등장하는 모형을 일반화하여 각각의 어휘와 에지 정보를 함께 데이터베이스화하고, 사용자 정의 유형에서는 사용자가 검색하기를 원하는 에지 정보를 직접 입력(그리기 또는 파일 로딩)하도록 하여 어휘와 함께 저장한다.
그리고, 검색 결과 출력부(18)는 입력받은 질의문을 분석하여 검색한 결과인 이미지 데이터를 사용자에게 출력하여 준다.
도 2 는 본 발명에 따른 자연어를 이용한 이미지 데이터 색상 및 형태 검색 방법에 대한 일실시예 흐름도로서, 사용자가 "아주 붉은 색"이라는 질의문을 입력한 경우를 예로 들어 설명하기로 한다.
먼저, 사용자가 "아주 붉은 색"과 같이 자연어로 된 질의문을 입력하면, 자연어 처리부(13)의 어휘 분석기에서는 [아주] [붉은] [색]의 세 어휘로 분리한다(21). 그러면, 사전 검색기가 언어 처리용 사전 저장부(12)를 통해서 [아주-(부사)] [붉-(형용사)+은-(관형형 어미)] [색-(색상을 통칭하는 명사)]을 검색하여 n개(n은 자연수)의 어절 후보 리스트를 생성한다(22). 이후, 상기 n개의 어절 후보에 대하여 색상/형태 정보를 검색하고 구문 관계를 설정하는 과정을 반복 수행한다(23 내지 27). 이때, 사전 검색기로부터 어절 후보 리스트를 입력으로 받은 구문 분석기에서는 상기 입력 문장에서 [아주]라는 부사가 [붉은]을 수식하고 [아주 붉은]이 [색]을 수식하는 상관 관계가 있음을 분석해 낸다.
상기와 같이 분석된 결과를 입력받은 색상/형태 단어 인식부(14)에서는 형용사와 명사 정보를 위주로 상기 단어들 중에 색상 또는 형태를 나타내는 단어를 인식한다(28).
이처럼, 형용사로 분석된 [붉다]의 경우와 [색]이라는 명사를 사전 정보를 통해서 색상을 나타내는 형용사와 색상을 일컫는 통칭이라는 정보로 인식해 내고, [아주]라는 부사는 색상의 경우에는 바로 뒤의 피수식어구를 강조하는 의미가 있음을 인식한다.
다음으로, 색상/형태 임계치 데이터베이스 검색부(17)에서는 [붉다]의 임계치 정보(색상 히스토그램 데이터)를 미리 구축해 둔 색상/형태 데이터베이스(15)를 검색하여 찾아, [아주]라는 수식어구를 처리하기 위해 앞에서 찾은 붉은 색상의 임계치에서 명도와 채도를 높인 수치로 전환해 준다(29).
이후, 검색 결과 출력부(18)에서는 검색한 이미지 데이터를 사용자에게 출력한다(30).
한편, 색상/형태 데이터베이스(15)를 검색한 결과, 찾고자 하는 색상 임계치 정보(색상 히스토그램 데이터)가 없으면 색상/형태 데이터를 사용자가 등록한 후에(31) 검색하도록 한다.
도 3 은 본 발명에 따른 데이터 흐름에 대한 일예시도이다.
도 3 에 도시된 바와 같이, "초록색 배경에 붉은 색 자동차가 있는 그림"이라는 문장이 입력되면, 어절 후보 리스트로는 {초록색}, {배경+에}, {붉+은}, {색}, {자동차+가}, {있+는}, {그림}이 생성된다.
그리고, 어절별 색상/형태 정보 검색 과정에서는 {초록색} : 초록(green)(색상(color)), {배경+에} : 배경(background)(팩터(factor)), {붉+은}{색} : 레드(red)(색상(color)), {자동차+가} : 자동차(car)(형태(shape)), {있+는} : 없음(none), {그림} : 그림(image)(팩터(factor)) 등으로 검색된다.
그리고, 구문 관계 설정 과정에서는 "초록색"이 "배경에"를 수식하고, "붉은"이 "색"을 수식하고, "붉은 색"이 "자동차가"를 수식하고, "초록색 배경에"와 "붉은 색 자동차가"가 "있는"을 수식하고, "초록색 배경에 붉은 색 자동차가 있는"이 "그림"을 수식한다.
그리고, 색상/형태 데이터베이스 검색 과정에서는 "초록색"과 "배경"을 색상 데이터베이스에서 검색하고, "붉은색"과 "자동차"를 색상 데이터베이스와 형태 데이터베이스에서 검색한다.
이후, 검색 결과를 사용자에게 제시한다.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.
상기와 같은 본 발명은, 사람들이 가지고 있는 색상과 형태에 대한 퍼지(fuzzy)한 대표값을 자연어와 함께 등록하여, 사용자가 친숙한 자연어로 질의어를 입력하면 질의어를 분석하여 검색하여 줌으로써, 기존의 색상 배합과 단순한 형태 정보만을 이용한 질의 방식을 개선시킬 수 있는 효과가 있다.
이처럼, 본 발명은 색상(color)과 형태(shape) 검색에 자연어 처리 기능을 부가함으로써, 사용자에게 친숙한 검색 인터페이스를 제공하여 사용자의 편리성을 크게 향상시킬 수 있는 효과가 있다.

Claims (8)

  1. 자연어를 이용한 이미지 데이터 색상 및 형태 검색 장치에 있어서,
    언어 처리용 사전 정보를 저장하고 있는 언어 처리용 사전 저장 수단;
    색상과 관련된 단어와 매핑된 색상 히스토그램(histogram)값과, 형태(shape)와 관련된 단어에 상당하는 에지 정보를 저장하고 있는 색상/형태 임계치 저장 수단;
    사용자로부터 색상과 형태를 기술한 자연어 질의 문장을 입력받기 위한 질의문 입력 수단;
    상기 질의문 입력 수단을 통하여 입력된 자연어 문장을 상기 언어 처리용 사전 저장 수단에 저장되어 있는 사전 정보를 이용하여 분석하기 위한 자연어 처리 수단;
    상기 자연어 처리 수단에서 분석된 단어에 대하여 색상 또는 형태를 나타내는 단어인지를 인식하기 위한 색상/형태 단어 인식 수단;
    색상과 관련된 단어와 색상 히스토그램값을 매핑하여 상기 색상/형태 임계치 저장 수단에 저장하고, 형태와 관련된 단어에 상당하는 에지 정보를 상기 색상/형태 임계치 저장 수단에 저장하기 위한 색상/형태 임계치 데이터베이스 구축 수단;
    상기 색상/형태 단어 인식 수단에서 인식된 색상과 형태에 대한 요구를 만족하는 데이터를 상기 색상/형태 임계치 저장 수단에서 검색하기 위한 색상/형태 임계치 검색 수단; 및
    상기 색상/형태 임계치 검색 수단에서 검색한 이미지 데이터를 상기 사용자에게 제공하기 위한 검색 결과 출력 수단
    을 포함하는 자연어를 이용한 이미지 데이터 색상 및 형태 검색 장치.
  2. 제 1 항에 있어서,
    상기 색상/형태 임계치 검색 수단에서 검색시 상기 색상/형태 단어 인식 수단에서 인식된 색상과 형태에 대한 요구를 만족하는 데이터가 없을 경우에, 상기 색상/형태 임계치 데이터베이스 구축 수단이 상기 사용자로부터 상기 인식된 색상과 형태에 대한 임계치를 입력받아 상기 색상/형태 임계치 저장 수단에 저장하는 것을 특징으로 하는 자연어를 이용한 이미지 데이터 색상 및 형태 검색 장치.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 색상/형태 임계치 데이터베이스 구축 수단은,
    색상(color) 질의어에 대하여 기존 색상을 나타내는 단어와 색상 히스토그램(histogram)값을 매핑(mapping)하여 데이터베이스화하고, 색상을 나타내지는 않더라도 개념적으로 색을 표현할 수 있는 어휘 또는 개념과 그 단어에 맞는 색상 히스토그램(histogram)값을 함께 저장하며, 형태(shape) 질의어에 대하여 객관화될 수 있는 형태를 가진 어휘에 상당하는 에지 정보를 데이터베이스화하여 저장하는 것을 특징으로 하는 자연어를 이용한 이미지 데이터 색상 및 형태 검색 장치.
  4. 제 3 항에 있어서,
    상기 색상/형태 단어 인식 수단은,
    상기 자연어 처리 수단에서 분석한 수식관계 및 기타 패턴을 활용하여 각각의 조건을 자동으로 인식하는 것을 특징으로 하는 자연어를 이용한 이미지 데이터 색상 및 형태 검색 장치.
  5. 자연어를 이용한 이미지 데이터 색상 및 형태 검색 장치에 적용되는 이미지 데이터 색상 및 형태 검색 방법에 있어서,
    언어 처리용 사전 정보를 저장하고, 색상과 관련된 단어와 매핑된 색상 히스토그램(histogram)값과, 형태(shape)와 관련된 단어에 상당하는 에지 정보를 저장하는 제 1 단계;
    사용자로부터 입력된 색상과 형태를 기술한 자연어 질의 문장을 상기 사전 정보를 이용하여 분석하는 제 2 단계;
    상기 분석된 단어에 대하여 색상 또는 형태를 나타내는 단어인지를 인식하는 제 3 단계;
    상기 인식된 색상과 형태에 대한 요구를 만족하는 데이터를 상기 저장된 색상 히스토그램(histogram)값과 에지 정보에서 검색하는 제 4 단계; 및
    상기 검색한 이미지 데이터를 상기 사용자에게 제공하는 제 5 단계
    를 포함하는 자연어를 이용한 이미지 데이터 색상 및 형태 검색 방법.
  6. 제 5 항에 있어서,
    상기 검색시 상기 인식된 색상과 형태에 대한 요구를 만족하는 데이터가 없을 경우에, 상기 사용자로부터 상기 인식된 색상과 형태에 대한 임계치를 입력받아 저장하는 제 6 단계
    를 더 포함하는 자연어를 이용한 이미지 데이터 색상 및 형태 검색 방법.
  7. 자연어를 이용하여 이미지 데이터 색상 및 형태를 검색하기 위하여, 프로세서를 구비한 이미지 데이터 색상 및 형태 검색 장치에,
    언어 처리용 사전 정보를 저장하고, 색상과 관련된 단어와 매핑된 색상 히스토그램(histogram)값과, 형태(shape)와 관련된 단어에 상당하는 에지 정보를 저장하는 제 1 기능;
    사용자로부터 입력된 색상과 형태를 기술한 자연어 질의 문장을 상기 사전 정보를 이용하여 분석하는 제 2 기능;
    상기 분석된 단어에 대하여 색상 또는 형태를 나타내는 단어인지를 인식하는 제 3 기능;
    상기 인식된 색상과 형태에 대한 요구를 만족하는 데이터를 상기 저장된 색상 히스토그램(histogram)값과 에지 정보에서 검색하는 제 4 기능; 및
    상기 검색한 이미지 데이터를 상기 사용자에게 제공하는 제 5 기능
    을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  8. 제 7 항에 있어서,
    상기 검색시 상기 인식된 색상과 형태에 대한 요구를 만족하는 데이터가 없을 경우에, 상기 사용자로부터 상기 인식된 색상과 형태에 대한 임계치를 입력받아 저장하는 제 6 기능
    을 더 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR10-2000-0082179A 2000-12-26 2000-12-26 자연어를 이용한 이미지 데이터 색상 및 형태 검색 장치및 그 방법 KR100422805B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR10-2000-0082179A KR100422805B1 (ko) 2000-12-26 2000-12-26 자연어를 이용한 이미지 데이터 색상 및 형태 검색 장치및 그 방법
US10/025,912 US20020081024A1 (en) 2000-12-26 2001-12-26 Apparatus and method for retrieving color and shape of image based on natural language

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2000-0082179A KR100422805B1 (ko) 2000-12-26 2000-12-26 자연어를 이용한 이미지 데이터 색상 및 형태 검색 장치및 그 방법

Publications (2)

Publication Number Publication Date
KR20020053968A true KR20020053968A (ko) 2002-07-06
KR100422805B1 KR100422805B1 (ko) 2004-03-12

Family

ID=19703616

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2000-0082179A KR100422805B1 (ko) 2000-12-26 2000-12-26 자연어를 이용한 이미지 데이터 색상 및 형태 검색 장치및 그 방법

Country Status (2)

Country Link
US (1) US20020081024A1 (ko)
KR (1) KR100422805B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003019410A1 (en) * 2001-08-24 2003-03-06 Jong-Won Park Electronic dictionary system with a tree structure and the output thereof
KR100510404B1 (ko) * 2002-10-08 2005-08-31 정보통신연구진흥원 전자 앨범 및 전자 앨범의 이미지 데이터 검색방법
KR100748401B1 (ko) * 2002-04-03 2007-08-10 (주)케이테크 전자상거래를 위한 퍼지 지식 기반 지능형 에이전트 시스템
KR100955181B1 (ko) * 2008-04-15 2010-04-29 엔에이치엔(주) 이미지 검색방법 및 검색 시스템

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2391666B (en) * 2001-11-06 2004-08-18 Nec Corp Method of searching for electronic mail in an electronic device and electronic mail searching program for an electronic device
JP2003141044A (ja) * 2001-11-06 2003-05-16 Nec Corp 携帯電話のメール検索方法ならびに携帯電話のメール検索プログラム
KR100818983B1 (ko) * 2005-12-09 2008-04-03 삼성전자주식회사 후보 이미지와 자연어를 이용한 최적 선호색 재현 장치 및 방법, 선호색에 대한 특정 정보 생성 장치 및 방법, 및 상기 방법을 이용한 기록매체
US7755646B2 (en) * 2006-10-17 2010-07-13 Hewlett-Packard Development Company, L.P. Image management through lexical representations
JP5724430B2 (ja) * 2011-02-15 2015-05-27 カシオ計算機株式会社 情報検索装置およびプログラム
WO2013021888A1 (ja) * 2011-08-05 2013-02-14 楽天株式会社 色決定装置、色決定システム、色決定方法、情報記録媒体、ならびに、プログラム
WO2013021889A1 (ja) * 2011-08-05 2013-02-14 楽天株式会社 色名決定装置、色名決定方法、情報記録媒体、ならびに、プログラム
CN103186538A (zh) * 2011-12-27 2013-07-03 阿里巴巴集团控股有限公司 一种图像分类方法和装置、图像检索方法和装置
CN110413816B (zh) * 2013-06-14 2023-09-01 微软技术许可有限责任公司 彩色草图图像搜索
CN104899280B (zh) * 2015-05-29 2017-12-29 山西大学 基于彩色直方图和nsct的模糊相关异步图像检索方法
CN104915400B (zh) * 2015-05-29 2017-12-29 山西大学 基于彩色直方图和nsct的模糊相关同步图像检索方法
CN110502650A (zh) * 2019-08-12 2019-11-26 深圳智能思创科技有限公司 一种基于自然语言描述的图像检索系统及方法
CN111046202A (zh) * 2019-12-16 2020-04-21 广西师范大学 基于hsv颜色空间特有属性的图像检索方法
KR20210097347A (ko) 2020-01-30 2021-08-09 한국전자통신연구원 인공지능 기반 이미지 검색 방법 및 장치
US11403339B2 (en) * 2020-05-04 2022-08-02 Adobe Inc. Techniques for identifying color profiles for textual queries
US20230244868A1 (en) * 2022-01-31 2023-08-03 International Business Machines Corporation Visualization of the impact of training data
US11934452B1 (en) 2022-10-31 2024-03-19 Adobe Inc. Text-based color palette searches utilizing text-to-color models

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5317508A (en) * 1991-10-24 1994-05-31 Matsushita Electric Industrial Co., Ltd. Image editing apparatus
US5493677A (en) * 1994-06-08 1996-02-20 Systems Research & Applications Corporation Generation, archiving, and retrieval of digital images with evoked suggestion-set captions and natural language interface
US5835667A (en) * 1994-10-14 1998-11-10 Carnegie Mellon University Method and apparatus for creating a searchable digital video library and a system and method of using such a library
US5664227A (en) * 1994-10-14 1997-09-02 Carnegie Mellon University System and method for skimming digital audio/video data
US5983237A (en) * 1996-03-29 1999-11-09 Virage, Inc. Visual dictionary
US5930783A (en) * 1997-02-21 1999-07-27 Nec Usa, Inc. Semantic and cognition based image retrieval
US5895464A (en) * 1997-04-30 1999-04-20 Eastman Kodak Company Computer program product and a method for using natural language for the description, search and retrieval of multi-media objects
US6411724B1 (en) * 1999-07-02 2002-06-25 Koninklijke Philips Electronics N.V. Using meta-descriptors to represent multimedia information
US6970860B1 (en) * 2000-10-30 2005-11-29 Microsoft Corporation Semi-automatic annotation of multimedia objects

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003019410A1 (en) * 2001-08-24 2003-03-06 Jong-Won Park Electronic dictionary system with a tree structure and the output thereof
KR100748401B1 (ko) * 2002-04-03 2007-08-10 (주)케이테크 전자상거래를 위한 퍼지 지식 기반 지능형 에이전트 시스템
KR100510404B1 (ko) * 2002-10-08 2005-08-31 정보통신연구진흥원 전자 앨범 및 전자 앨범의 이미지 데이터 검색방법
KR100955181B1 (ko) * 2008-04-15 2010-04-29 엔에이치엔(주) 이미지 검색방법 및 검색 시스템

Also Published As

Publication number Publication date
US20020081024A1 (en) 2002-06-27
KR100422805B1 (ko) 2004-03-12

Similar Documents

Publication Publication Date Title
KR100422805B1 (ko) 자연어를 이용한 이미지 데이터 색상 및 형태 검색 장치및 그 방법
US5890103A (en) Method and apparatus for improved tokenization of natural language text
US6269189B1 (en) Finding selected character strings in text and providing information relating to the selected character strings
US10445359B2 (en) Method and system for classifying media content
JP5167546B2 (ja) 文単位検索方法、文単位検索装置、コンピュータプログラム、記録媒体及び文書記憶装置
US20050138018A1 (en) Information retrieval system, search result processing system, information retrieval method, and computer program product therefor
US7647303B2 (en) Document processing apparatus for searching documents, control method therefor, program for implementing the method, and storage medium storing the program
WO1997004405A9 (en) Method and apparatus for automated search and retrieval processing
JP2007328311A (ja) マルチメディアデータ管理方法とその装置
JP2960936B2 (ja) 係り受け解析装置
JPS61248160A (ja) 文書情報登録方式
JPH0215904B2 (ko)
JP2001344256A (ja) 単語クラス自動決定装置、用例文検索装置、媒体及び情報集合体
JPH07244669A (ja) 文書検索方式
JPS63228326A (ja) キ−ワ−ド自動抽出方式
KR100371135B1 (ko) 용언 굴절사전을 이용한 용언 형태소 분석장치 및 방법
JP3707506B2 (ja) 文書検索装置及び文書検索方法
JP3698454B2 (ja) 並列句解析装置および学習データ自動作成装置
JPH07296005A (ja) 日本語テキスト登録・検索装置
JPH0262668A (ja) 文章情報解析技法を用いた文章情報検索方式
JPH05242147A (ja) 自然言語解釈方法
JP2005173753A (ja) 自然語辞書更新装置、更新方法、プログラム及び記録媒体
JPH0320866A (ja) テキストベース検索方式
JPH04182871A (ja) 類似文書検索装置
JPH11120193A (ja) 自然文検索方法および装置と自然文検索プログラムを記録した記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20091228

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee