KR100889026B1

KR100889026B1 - 이미지를 이용한 검색 시스템

Info

Publication number: KR100889026B1
Application number: KR1020090001073A
Authority: KR
Inventors: 김정태; 문상환; 안진명
Original assignee: 김정태
Priority date: 2008-07-22
Filing date: 2009-01-07
Publication date: 2009-03-17
Also published as: US8103692B2; WO2010011026A3; WO2010011026A2; US20120093403A1; US20100023507A1; US8849020B2

Abstract

본 발명은 인터넷 상에서 검색을 수행할 때 URL 또는 검색 키워드를 알지 못하는 경우에 이미지만으로 원하는 웹사이트를 검색할 수 있도록 하는 이미지를 이용한 검색 시스템에 관한 것이다.

본 발명의 주요구성은 웹사이트에 포함된 이미지를 검색하는 웹사이트서버와, 상기 웹사이트서버에 검색 이미지를 등록하는 사용자단말기를 구비하는 이미지를 이용한 검색 시스템에 있어서, 상기 웹사이트서버는 웹사이트 정보에 포함된 이미지와 사용자가 업로드한 검색 이미지에 포함되는 단위 색상의 개수와 상호 비율을 고유값으로 추출하는 단위색상 관리부를 포함하는 이미지변환부와; 상기 이미지변환부에서 추출된 사용자가 업로드한 검색 이미지의 고유값과 웹사이트 정보에 포함된 검색 이미지의 고유값을 비교하여 일치되는 고유값을 가지는 웹사이트 정보를 검출하는 이미지검색부와; 상기 웹사이트정보와 상기 웹사이트정보에 포함된 이미지와, 상기 변환된 검색 포맷 이미지에 대한 고유값 정보를 저장하는 저장부;로 구성되는 것을 특징으로 한다.

인터넷, 검색엔진, 이미지검색, 웹사이트 정보, 고유값, 검색시스템

Description

이미지를 이용한 검색 시스템{SEARCHING SYSTEM USING IMAGE}

일반적으로 인터넷 사용자들은 정보 검색을 원하는 경우, 인터넷 브라우저를 구동한 후, 주소창에 특정 도메인의 URL 주소를 입력하여 직접 검색 대상 웹사이트로 접속하거나, 또는 특정 포털 사이트, 검색 사이트에 접속한 후 검색사이트에서 제공하는 검색식 입력창에 원하는 정보를 의미하는 특정 키워드, 문장 등을 입력하여 정보를 검색하게 된다.

이때 URL을 이용한 방법은 일일이 도메인의 URL 정보를 나타내는 알파벳 문자를 기억하거나 기록해두었다가 입력창에 사용자가 직접 입력하여 원하는 웹사이트를 찾아가는 방법이며, 키워드를 이용한 방법은 사용자가 정확한 도메인을 알지 못하는 경우 주로 사용되고, 방대한 자료 내에서 자신이 원하는 자료를 자유롭게 찾아다닐 수 있다는 장점이 있다.

그러나 상술한 종래기술의 인터넷 상에서의 정보 검색 방법 중 URL 정보를 이용한 방법은 도메인을 나타내는 URL을 잊어버리거나 기록 등이 손실되었을 경우 다시 도메인을 찾기 위해 상당한 시간을 낭비하여야 하는 문제점을 가진다.

또한, 키워드를 통한 인터넷 상에서의 정보 검색 방법은 검색 대상 정보를 나타내는 정확한 키워드를 알지 못하는 경우 해당 정보를 용이하게 찾지 못하게 되는 문제점을 가진다.

즉, 종래기술의 경우 URL 정보나 특정 사이트를 검색하기 위한 키워드를 알고 있지 않은 경우에는 인터넷 상에서의 정보 검색에 많은 시간이 소요되는 문제점을 가지며, 이외의 다른 검색 방법을 제공하지 못하는 문제점을 가진다.

따라서 본 발명은 상술한 종래기술의 문제점을 해결하기 위한 것으로서, 인터넷 상에서 검색을 수행할 때 URL 또는 검색 키워드를 알지 못하는 경우에 이미지만으로 원하는 웹사이트를 검색할 수 있도록 하는 이미지를 이용한 검색 시스템을 제공하는 것을 그 목적으로 한다.

본 발명의 다른 목적은 검색 이미지에 대하여 여러 다른 각도, 색상, 크기의 이미지에 대하여 유사도 조정을 통해 오차를 감안하여 일치 및 유사한 이미지의 정보를 확인할 수 있는 이미지를 이용한 검색 시스템을 제공하는 것이다.

상술한 목적을 달성하기 위한 본 발명의 이미지를 이용한 검색 시스템은, 웹사이트에 포함된 이미지를 검색하는 웹사이트서버와, 상기 웹사이트서버에 검색 이미지를 등록하는 사용자단말기를 구비하는 이미지를 이용한 검색 시스템에 있어서, 상기 웹사이트서버는,

웹사이트 정보에 포함된 이미지와 사용자가 업로드한 검색 이미지에 포함되는 단위 색상의 개수와 상호 비율을 고유값으로 추출하는 단위색상 관리부를 포함하는 이미지변환부와; 상기 이미지변환부에서 추출된 사용자가 업로드한 검색 이미지의 고유값과 웹사이트 정보에 포함된 검색 이미지의 고유값을 비교하여 일치되는 고유값을 가지는 웹사이트 정보를 검출하는 이미지검색부와; 상기 웹사이트정보와 상기 웹사이트정보에 포함된 이미지와, 상기 변환된 검색 포맷 이미지에 대한 고유값 정보를 저장하는 저장부;로 구성되는 것을 특징으로 한다.

바람직하게, 상기 이미지 변환부는 웹사이트 정보에 포함된 이미지와 사용자가 업로드한 검색 이미지를 비압축 포맷 이미지로 변환시키는 비압축 포맷 변환부를 더 포함하는 것을 특징으로 한다.

바람직하게, 상기 이미지 변환부는 상기 웹사이트 정보에 포함된 이미지와 사용자가 업로드한 검색 이미지에 포함되는 단위 색상 중에서 유사 관계가 있는 픽셀이 집합하여 구성된 구역의 색상의 개수 및 집합도를 고유값으로 추출하는 집합구역 관리부를 더 포함하는 것을 특징으로 한다.

바람직하게, 상기 이미지 변환부는 상기 웹사이트 정보에 포함된 이미지와 사용자가 업로드한 검색 이미지를 동일한 비율로 축소하고 단순화된 색상 팔레트에 의거, 각 픽셀의 가장 유사한 대표 색으로 재구성하여 고유값으로 추출하는 대표색 관리부를 더 포함하는 것을 특징으로 한다.

바람직하게, 상기 이미지 변환부는 상기 웹사이트 정보에 포함된 이미지와 사용자가 업로드한 검색 이미지에서 각 픽셀의 색상에 지정된 값을 토대로 픽셀의 선형 또는 다중 선형(복수 개의 선이 서로 인접하여 생성된 면 또는 서로 인접하지 않는 복수개의 선) 패턴의 값 또는 유사 및 특정 관계에 있는 색상이 픽셀단위로 이웃할 경우 이를 패턴의 단위로 하여 단수/복수 패턴 간의 값인 선형/다중선형 패턴 정보를 고유값으로 추출하는 선형/다중선형 패턴 관리부를 더 포함하는 것을 특징으로 한다.

바람직하게, 상기 이미지 변환부는 상기 웹사이트 정보에 포함된 이미지와 사용자가 업로드한 검색 이미지의 초기 파일에 대한 해쉬(Hash)값을 고유값으로 추출하는 해쉬값 관리부를 더 포함하는 것을 특징으로 한다.

바람직하게, 상기 이미지 검색부는 비교되는 고유값들에 대한 비교결과에 대한 오차범위 조정하는 완전/부분일치 선택부를 더 포함하는 것을 특징으로 한다.

바람직하게, 상기 웹서비스서버는, 인터넷 접속 서비스를 제공한 후 사용자의 검색 대상 이미지를 등록받은 검색 이미지를 포함하는 웹사이트 정보를 사용자 단말기로 전송하여 출력하는 웹서비스부와; 웹사이트 정보 검색을 위한 검색엔진부;를 더 포함하여 구성되는 것을 특징으로 한다.

바람직하게, 상기 웹서비스서버는, 인터넷을 통해 접속한 사용자 단말기로 검색 이미지를 등록할 수 있는 검색이미지 등록 인터페이스 화면을 포함하여 구성되는 것을 특징으로 한다.

상술한 구성 및 작용을 수행하는 본 발명의 이미지를 이용한 검색 시스템은, 인터넷 상에서 정보 검색을 수행하는 사용자가, URL 또는 검색 키워드를 알지 못하는 경우에도 검색 대상 관련 이미지를 이용하여 인터넷 정보 검색을 용이하게 수행할 수 있도록 하는 효과를 제공한다.

또한 본 발명은 이미지 소유권자가 자신의 동의 없이 무단으로 이미지가 사용되고 있는지를 쉽게 검색할 수 있도록 함으로써 이미지 저작권을 보호할 수 있도록 하는 효과를 제공한다

이하, 첨부 도면을 참조하여 본 발명을 더욱 상세히 설명한다.

도 1은 본 발명의 일 실시 예에 따르는 이미지를 이용한 검색 시스템의 블록 구성도이고, 도 2는 도 1의 구성 중 이미지검색서버(100)의 상세 구성을 나타내는 블록 구성도이다.

도 1에 도시된 바와 같이, 이미지검색서버(100)는 통신망에 접속된 웹사이트서버(400)들로부터 웹사이트 정보를 검색한 후 이미지 변환을 수행하여 저장하고, 통신망(300)에 접속된 후 인터넷 접속이 가능한 이동통신 단말기(210) 또는 사용자 컴퓨터(220) 등의 사용자단말기(200)로부터 검색 대상 이미지를 제공받아 이미지 변환을 수행하며, 일치되는 등록된 이미지를 검색하여 각종 정보를 제공한다.

도 2를 참조하여 이미지검색서버(100)를 자세히 살펴보면, 이미지검색서버(100)는 인터넷 접속 서비스를 제공한 후 사용자의 검색 대상 이미지를 등록받은 검색 이미지를 포함하는 웹사이트 정보를 사용자 단말기로 전송하여 출력하는 웹서비스부(110)와; 등록된 웹사이트 정보에 포함된 이미지와 사용자가 업로드하여 등록한 검색 이미지를 검색 포맷 이미지로 변환하는 이미지변환부(120)와; 이미지변환부(120)에서 변환된 사용자가 업로드한 검색이미지와 저장된 웹사이트 정보에 포함된 검색이미지를 비교한 후 상기 사용자가 업로드한 검색이미지에 대응되는 이미지에서 웹사이트 정보를 검출한 후 이미지검색서버(100)의 웹서비스부(110)로 출력하는 이미지검색부(130)와; 검색된 웹사이트 정보와 이미지변환부(120)에서 변환된 검색 포맷 이미지에 대한 정보가 저장되는 저장부(140)를 구비한다.

웹서비스부(110)는 IIS, 아파치서버 등의 인터넷 서비스를 제공하기 위한 서 버시스템 프로그램으로 구현 가능하다. 그리고 웹서비스부(110)에서 제공하는 인터페이스는 인터넷을 통해 접속한 사용자 단말기로 검색 이미지를 등록할 수 있는 검색이미지 등록 인터페이스 화면을 포함하여 구성되며, 상기 검색이미지 등록 인터페이스 화면은 검색 이미지 파일명에 의한 업로드, 사용자 단말기의 모니터 상에서 해당 검색 이미지를 드래그 앤 드롭(Drag and Drop) 방식에 의해 등록하여 웹서비스부로 업로드(upload)할 수 있도록 구성되며, 이때 사용자가 임의로 설정한 오차정보를 입력할 수 있도록 구성될 수 있다.

그리고, 이미지 변환부(120)는 비압축 포맷 변환부(121), 단위색상 관리부(122), 집합구역 관리부(123), 선형/다중선형 패턴 관리부(124), 대표색 관리부(125) 및 해쉬값 관리부(126)를 구비한다.

비압축 포맷 변환부(121)는 웹사이트 정보에 포함된 이미지와 사용자가 업로드한 검색 이미지를 비압축 포맷 이미지로 변환시킨다. 이때, 비압축 포맷 변환부()에 의해 변환되는 비압축된 파일 포맷은 jpg 파일 등의 압축 파일 포맷을 bmp 파일 등의 비압축 포맷으로 변환하는 것을 의미하며, 이미지에 대한 고유값은 해당 웹사이트에 대한 태그 또는 링크 정보로서 주석화한 것을 의미하며 저장부(140)에 저장된다.

단위색상 관리부(122)는 웹사이트 정보에 포함된 이미지와 사용자가 업로드한 검색 이미지에 포함되는 단위 색상의 개수와 상호 비율을 고유값으로 추출한다. 예를 들면, 단위 색상을 대표하는 단위 색상 값으로 빨강은 1, 녹색은 2, 파랑은 3으로 임의로 지정할 수 있으며, 도 4와 같은 픽셀 단위의 이미지는 도 5에 도시된 바와 같이 각각의 색상을 대표하는 값으로 변화될 수 있다. 즉, 도 4에서 각 네모가 픽셀이라 가정한다면 이 6x4 = 24개의 픽셀로 이루어진 이미지는, 빨강 : 5개, 파랑 : 8개, 녹색 : 11개로 이루어져 있으며 이 각각의 색상 개수 정보가 이미지 검색을 위한 고유값으로 사용된다.

집합구역 관리부(123)는 상기 이미지의 인접하거나 또는 떨어져 있는 일정 구역의 색상의 개수 및 색상의 비율에 대한 집합도를 고유값으로 추출한다. 예를 들면, 특정 구역의 픽셀들의 색상이 빨강-빨강-파랑-노랑이고, 소정거리 떨어져 있는 구역의 픽셀들의 색상이 녹색-녹색-파랑으로 이루어진 경우 이러한 정보가 고유값으로 사용된다.

선형/다중선형 패턴 관리부(124)는 이미지의 각 픽셀의 색상에 지정된 값을 토대로 픽셀의 선형 또는 다중 선형(복수 개의 선이 서로 인접하여 생성된 면 또는 서로 인접하지 않는 복수개의 선) 패턴의 값 또는 유사 및 특정 관계에 있는 색상이 픽셀단위로 이웃할 경우 이를 패턴의 단위로 하여 단수/복수 패턴 간의 값인 선형/다중선형 패턴 정보를 고유값으로 추출한다.

대표색 관리부(125)는 상기 이미지를 임의의 고정비율로 축소하고 임의의 단순화된 색상 팔레트에 의거, 각 픽셀의 가장 유사한 대표 색으로 재구성하여 고유값으로 추출한다. 이때, 축소는 이미지 파일을 특정 비율로 축소하는 것을 의미하고, 대표색의 재구성은 HSV의 스펙트럼 변화에 따라 결정된 임의의 대표색으로 변환하는 것을 의미한다. 예를 들어 대표색의 재구성은 색상팔레트를 채도 및 명도 등에 따라 변화시키는 것으로 하나의 진하고 연하게 변경하거나 이미지를 흑백 또 는 세피라톤, 빨간색, 노란색, 파란색 등으로 변화시키는 것에 의해 단순화시키는 등의 다양한 방법이 적용될 수 있다. 즉, 도 3에 도시된 바와 같이 36컬러에서 5가지의 색상은 16컬러에서 노란색의 한 가지 색상을 대표색으로 표현될 수 있다. 이와 같이 변환된 대표색들은 차후 각각의 색상을 특정 숫자로 표시되어 사용될 수 있다.

해쉬값 관리부(126)는 상기 이미지의 초기 파일에 대한 해쉬(Hash)값을고유값으로 추출한다. 상기 해쉬(Hash)값은 CRC, MDS, SHA-1 외에도 수많은 종류에 의해 생성되며, 각각의 초기 파일에 대하여 유일한 고유값을 생성하게 되고, 고유값은 대개 "dkfj354k5k6lkdkf" 이런 식으로 표현된다. 이 경우 어느 데이터 파일의 극히 일부에만 수정을 가했을 때도 이 해쉬(Hash) 값은 완전히 다른 것이 되어버리게 되나, 수정한 일부를 다시 원상복구시켰을 땐 원래의 해쉬(Hash) 값으로 돌아온다.

저장부(140)는, 검색엔진(도면에 미도시) 등에 의해 기 검색된 웹사이트정보, 이미지변환부(120)의 비압축 포맷 변환모듈(121)과 축소 및 색상 단순화 모듈(122)에 의해 변환된 각각의 비압축 파일 포맷으로 변환된 이미지, 비압축 포맷으로 변환된 이미지의 축소 파일 이미지 및 색상 단순화 이미지 등의 검색 포맷 이미지와, 고유값 정보로서의 해쉬값 정보, 단위 색상 개수 및 비율 정보, 선형/다중선형 패턴 정보를 웹사이트 검색을 위하여 주석화(태그화 또는 링크)하여 웹사이트 정보와 함께 저장한다. 즉, 각 파일에 해당하는 고유값을 주석화(태그(tag) 또는 링크화)하여 웹사이트 정보와 함께 저장하는 것에 의해 기존의 텍스트를 매개로 한 검색 수준의 속도로 정확히 일치하는 이미지 파일을 검색할 수 있게 된다.

한편, 이미지검색부(130)는 단위색상 비교부(131), 선형/다중선형 패턴 비교부(132), 집합구역 비교부(133), 대표색 비교부(134), 해쉬값 비교부(135), 완전/부분일치 선택부(136)를 구비한다. 이때, 각각의 비교부는 단독 또는 2개 이상 상호 조합하여 검색의 효율을 증가시킬 수 있다.

단위색상 비교부(131)는 단위색상 관리부(122)에서 웹사이트의 이미지와 사용자가 업로드한 검색 이미지에서 추출된 단위 색상의 개수와 상호 비율에 대한 고유값을 비교하여 일치여부를 확인한다.

선형/다중선형 패턴 비교부(132)는 선형/다중선형 패턴 관리부(124)에서 추출된 웹사이트의 이미지와 사용자가 업로드한 검색 이미지에 대한 선형/다중선형 패턴의 고유값을 비교하여 일치여부를 확인한다.

집합구역 비교부(133)는 집합구역 관리부(123)에서 추출된 웹사이트의 이미지와 사용자가 업로드한 검색 이미지에 대한 집합구역의 고유값을 비교하여 일치여부를 확인한다.

대표색 비교부(134)는 대표색 관리부(125)에서 추출된 웹사이트의 이미지와 사용자가 업로드한 검색 이미지에 대한 대표색의 고유값을 비교하여 일치여부를 확인한다.

해쉬값 비교부(135)는 해쉬값 관리부(126)에서 추출된 웹사이트의 이미지와 사용자가 업로드한 검색 이미지에 대한 해쉬(Hash)값의 고유값을 비교하여 일치여부를 확인한다.

완전/부분일치 선택부(136)는 이미지검색부(130)의 각 비교부(131~135)들이 비교하는 고유값들에 대한 비교결과에 대한 오차범위 조정할 수 있도록 제공한다. 이러한 완전/부분일치 선택부(136)에 의해 사용자가 검색 시 임의로 "정확도 설정"항목으로 설정할 수 있다.

이미지검색부(130)에 의해 사용자가 업로드한 이미지를 포함하는 웹사이트 정보가 검색된 경우 해당 웹사이트에 대한 정보를 저장부에 저장된 웹사이트 정보에 주석화하여 저장하고, 이를 사용자 단말기로 출력하여 줌으로써 사용자가 차후에 해당 웹사이트 정보에 대한 키워드 검색을 수행할 수 있도록 한다.

도 7은 상술한 구성을 가지는 본 발명의 이미지를 이용한 검색시스템에 의한 검색방법의 처리과정을 나타내는 순서도이다.

도 7에 도시된 바와 같이, 본 발명의 이미지를 이용한 검색 방법의 처리과정은, 웹서비스부와, 이미지변환부와, 이미지검색부를 구비한 이미지를 이용한 검색시스템에 있어서, 인터넷에서 검색되어 저장된 웹사이트 정보에 포함된 이미지를 이미지변환부(120)가 검색 포맷 이미지로 변환하여 저장하고, 사용자가 업로드한 검색 대상 이미지를 검색 포맷 이미지로 변환하는 이미지변환과정(S10)과; 이미지검색부(130)가 상기 검색 포맷 이미지로 변환된 웹사이트 정보의 이미지와 상기 사용자가 업로드한 이미지를 비교하여 상기 사용자 업로드 이미지를 포함하는 웹사이트 정보를 검색하는 웹사이트 정보 검색 과정(S20);으로 이루어진다.

상술한 처리과정 중 이미지변환과정(S10)은 도 7에 도시된 바와 같이, 인터 넷 상에서 제공되는 정보를 검색하여 저장하는 웹사이트 정보 검색과정을 수행한다(S11).

그리고 웹사이트 정보 검색과정(S11)에 의해 검색된 웹사이트 정보에 포함된 이미지를 추출(S12)한 후 이미지변환(S13)을 수행한다.

이때 상술한 S13 과정에서 수행되는 이미지변환은 검색된 웹사이트 정보에 포함된 이미지를 검색 포맷 이미지로 변환하고, 변환된 검색 포맷 이미지에서 해쉬값을 고유값으로 추출하는 과정, 단위 색상의 개수와 상호 비율을 고유값으로 추출하는 과정, 집합구역에 대한 색상의 개수와 상호 비율을 고유값으로 추출하는 과정, 선형/다중선형 패턴 정보를 고유값으로 추출하는 과정, 각 픽셀의 가장 유사한 대표 색으로 재구성하여 고유값으로 추출하는 과정으로 이루어진다.

여기서 비압축 포맷 이미지 변환과정은 이미지변환부(120)의 비압축 포맷변환모듈(121)이 기 검색되어 저장된 웹사이트정보 이미지와 상기 사용자 업로드 이미지를 비압축 포맷 이미지로 변환하는 것을 말한다.

그리고, 변환된 검색 포맷 이미지에서 해쉬값을 고유값으로 추출하는 과정은 웹사이트정보 이미지와 상기 사용자 업로드 이미지에서 이미지의 초기 파일에 대한 해쉬(Hash)값을고유값으로 추출하는 것을 말한다.

집합구역에 대한 색상의 개수와 상호 비율을 고유값으로 추출하는 과정은 웹사이트정보 이미지와 상기 사용자 업로드 이미지에서 인접구역 또는 서로 떨어져 있는 일정 구역의 색상의 개수 및 색상의 비율에 대한 집합도를 고유값으로 추출하 는 것을 말한다.

단위 색상의 개수와 상호 비율을 고유값으로 추출하는 과정은 단위색상 관리부(122)에서 웹사이트 정보에 포함된 이미지와 사용자가 업로드한 검색 이미지에 포함되는 단위 색상에 대한 개수와 상호 비율을 고유값으로 추출하는 과정을 말한다.

집합구역에 대한 색상의 개수와 상호 비율을 고유값으로 추출하는 과정은 집합구역 관리부(123)에서 이미지의 인접 구역 하거나 또는 떨어져 있는 일정 구역의 색상의 개수 및 색상의 비율에 대한 집합도를 고유값으로 추출하는 과정을 말한다.

선형/다중선형 패턴 정보를 고유값으로 추출하는 과정은 선형/다중선형 패턴 관리부(124)에서 웹사이트 정보에 포함된 이미지와 사용자가 업로드한 검색 이미지의 각 픽셀의 색상에 지정된 값을 토대로 픽셀의 선형 또는 다중 선형 패턴의 값 또는 유사 및 특정 관계에 있는 색상이 픽셀단위로 이웃할 경우 이를 패턴의 단위로 하여 단수/복수 패턴 간의 값인 선형/다중선형 패턴 정보를 고유값으로 추출하는 과정을 말한다.

각 픽셀의 가장 유사한 대표 색으로 재구성하여 고유값으로 추출하는 과정은 대표색 관리부(125)에서 상기 이미지를 임의의 고정비율로 축소하고 임의의 단순화된 색상 팔레트에 의거, 각 픽셀의 가장 유사한 대표 색으로 재구성하여 고유값으로 추출하는 과정을 말한다.

상술한 각각의 고유값의 추출과정은 도 1 내지 도 6의 설명에서 상세히 설명 되었으므로 그 상세한 설명은 생략한다.

다음으로, 상술한 바와 같은 이미지 변환이 수행된 후에는 변환된 이미지와 고유값을 저장부에 저장된 대응되는 웹사이트 정보에 주석화하여 저장한다(S14).

상술한 S11 내지 S14과정을 본 발명의 이미지변환과정(S10)이라 한다.

다음으로 상술한 이미지변환과정(S10)을 수행한 후 사용자가 업로드한 이미지를 이용한 웹사이트 정보 검색을 수행하는 웹사이트검색과정(S20)을 설명한다.

웹사이트 검색과정(S20)은 도 7에 도시된 바와 같이, 웹사이트 정보 검색을 희망하는 사용자가 사용자 단말기(200)를 이용한 이미지검색서버(100)에 접속한 후 이미지검색서버(100)의 웹서비스부(110)에서 제공하는 인터페이스화면에 파일 업로드 또는 드래그 앤 드롭 방식에 의해 검색 대상 웹사이트 정보에 대응되는 검색이미지를 등록한 후 이미지검색서버(100)로 업로드한다(S21). 이때 사용자는 검색 이미지에 대한 다른 각도, 색상, 크기 및 고유값의 오차정보를 입력하여 완전일치 또는 부분일치에 의한 검색을 선택할 수 있다, 즉 사용자는 임의로 오차를 감안할 수 있도록 범위를 정해서 효율적인 검색을 수행하는 오차설정과정을 수행할 수 있다. 이러한 오차범위 조정은 사용자가 검색 시 임의로 설정할 수 있도록 "정확도 설정"이라는 웹서비스부에서 제공하는 인터페이스로 제공될 수 있다.

이후 이미지검색서버(100)의 이미지변환부(120)는 업로드된 검색 이미지에 대한 이미지변환을 수행한다. 이때 이미지변환은 상술한 도 1 내지 도 6에서 설명한 바와 같이 변환된 검색 포맷 이미지에서 해쉬값을 고유값으로 추출하는 과정, 단위 색상의 개수와 상호 비율을 고유값으로 추출하는 과정, 집합구역에 대한 색상의 개수와 상호 비율을 고유값으로 추출하는 과정, 선형/다중선형 패턴 정보를 고유값으로 추출하는 과정, 각 픽셀의 가장 유사한 대표 색으로 재구성하여 고유값으로 추출하는 과정을 수행한다(S22).

다음으로, 상술한 바와 같이 사용자가 업로드한 검색 대상 이미지에 대한 이미지변환 및 고유값이 추출된 후에는 사용자가 업로드한 검색 대상 이미지에 대한 고유값과 저장부(140)에 저장된 고유값을 비교하여 대응되는 웹사이트 정보를 검색하여 출력한다(S23).

이때, 웹사이트정보 검색을 위한 고유값의 비교과정은 해쉬값을 비교하는 과정, 단위 색상의 개수와 상호 비율에 대한 고유값을 비교하는 과정, 집합구역의 색상 개수와 상호 비율에 대한 고유값을 비교하는 과정, 선형/다중선형 패턴 정보에 대한 고유값을 비교하는 과정, 각 픽셀의 가장 유사한 대표 색에 대한 고유값을 비교하는 과정을 수행한다(S24).

이러한 고유값의 비교는 완전일치 또는 부분일치과정으로 이루어진다.

상술한 도 8 내지 도 12를 참조하여 웹사이트 정보 검색을 위한 각각의 처리과정을 더욱 상세히 설명하면 다음과 같다.

먼저 고유값 완전일치 또는 부분일치 검색과정은, 비압축 포맷 이미지 또는 상기 축소 및 색상 단순화 이미지의 고유값 중 어느 하나 이상을 비교하여 완전일치 하는지의 여부 또는 일정 오차 범위 내에서의 일치하는 부분일치 여부를 검색하는 과정을 말한다.

즉 해쉬값을 비교하는 과정, 단위 색상의 개수와 상호 비율에 대한 고유값을 비교하는 과정, 집합구역의 색상 개수와 상호 비율에 대한 고유값을 비교하는 과정의 완전일치 검색과정은 도 9에 도시된 바와 같이, 이미지 중 왼쪽 이미지는 사용자가 업로드한 검색 대상 이미지이고, 오른쪽 이미지는 웹사이트 정보에 포함된 이미지로서 사이즈, 색상이 모두 동일한 이미지로서 이 경우 본원 발명의 이미지 검색은 고유값 완전일치 검색 과정에 의해 사용자 검색 이미지를 포함하는 웹사이트 정보를 검색할 수 있게 된다. 또한, 부분일치 검색과정은 도 10에 도시된 바와 같이 검색이미지가 웹사이트 정보에 포함된 이미지와 동일한 사이즈를 가지나 색상이 바래는 등의 요인에 의해 색상이 달라진 경우로서, 이 경우에는 고유값의 일치에 대한 일정 오차범위(정확도범위) 내의 고유값을 가지는 이미지를 포함하는 웹사이트 정보를 검색 대상 웹사이트 정보로서 검출한다.

다음으로, 선형/다중선형 패턴 정보에 대한 완전일치 검색 과정은 도 11에 도시된 바와 같이, 검색 이미지(왼쪽)가 검색 대상 이미지(오른쪽)의 일정 부분인 경우 검색 이미지에 대한 선형 패턴을 설정하고 이에 대한 고유값을 생성한다. 그리고 검색 대상 이미지에서 동일한 선형패턴을 추출하여 고유값을 생성하고 각각의 고유값을 비교하여 일치하는 경우 해당 검색 대상 이미지를 포함하는 웹사이트 정보를 검색 대상 웹사이트 정보로서 검출한다. 선형/다중선형 패턴 정보에 대한 부분일치 검색 과정은 도 12에 도시된 바와 같이, 검색 이미지(왼쪽)가 검색 대상 이미지(오른쪽)의 일정 부분이고 색이 바래는 등의 이유로 색상이 달라진 경우에 대한 검색으로서, 해당 검색 이미지에 대한 선형 패턴을 설정하고 이에 대한 고유값 을 생성한다. 그리고 검색 대상 이미지에서 동일한 선형패턴을 추출하여 고유값을 생성하고 각각의 고유값을 비교하여 고유값이 일정 오차 범위 내에서 일치하는 경우 해당 검색 대상 이미지를 포함하는 웹사이트 정보를 검색 대상 웹사이트 정보로서 검출한다.

이후 상술한 바와 같은 웹사이트 정보에 대한 검색이 종료된 후에는 검색된 웹사이트에 대한 검색 히스토리 정보로부터 해당 웹사이트 정보 검색을 위한 키워드를 검출한 후 이를 상기 저장부에 저장된 웹사이트 정보에 주석화하여 저장부에 저장하는 키워드검출과정을 수행한다. 이는 검색된 키워드를 사용자 단말기로 출력하여 줌으로써 사용자가 차후에 해당 웹사이트 정보에 대한 키워드 검색을 수행할 수 있도록 한다(S24).

도 1은 본 발명의 일 실시 예에 따르는 이미지를 이용한 검색 시스템의 블록 구성도,

도 2는 도 1의 구성 중 이미지검색서버의 상세 구성을 나타내는 블록 구성도,

도 3은 색상 단순화를 설명하기 위한 도면,

도 4는 상술한 바와 같이 생성되는 색상 개수 정보에 대한 구체적인 예를 나타내는 도면,

도 5는 비압축 포맷 이미지, 축소 및 색상 단순화 이미지에 대한 단위 색상을 고유값으로 변환하는 것을 나타내는 도면,

도 6은 선형패턴비교모듈에 의해 비교되는 선형패턴을 나타내는 도면,

도 7은 상술한 구성을 가지는 본 발명의 이미지를 이용한 검색시스템에 의한 검색방법의 처리과정을 나타내는 순서도,

도 8은 검색 웹페이지 정보에 포함되는 이미지를 나타내는 도면,

도 9는 동일한 이미지에 의한 고유값 완전일치 검색과정을 위한 이미지를 나타내는 도면,

도 10은 동일한 사이즈를 가지나 색상 정보가 다른 이미지를 이용한 고유값 부분일치 검색과정을 위한 이미지를 나타내는 도면,

도 11은 검색 이미지가 검색 대상 이미지와 일부분으로서 선형/다중선형 패턴 정보에 대한 완전일치 검색과정을 위한 이미지를 나타내는 도면,

도 12는 검색 이미지가 검색 대상 이미지와 일부분이고 색상이 상이한 경우의 선형/다중선형 패턴 정보에 대한 검색과정을 위한 이미지를 나타내는 도면이다.

Claims

웹사이트에 포함된 이미지를 검색하는 웹사이트서버와, 상기 웹사이트서버에 검색 이미지를 등록하는 사용자단말기를 구비하는 이미지를 이용한 검색 시스템에 있어서, 상기 웹사이트서버는

웹사이트 정보에 포함된 이미지와 사용자가 업로드한 검색 이미지에 포함되는 단위 색상의 개수와 상호 비율을 고유값으로 추출하는 단위색상 관리부를 포함하는 이미지변환부와;

상기 이미지변환부에서 추출된 사용자가 업로드한 검색 이미지의 고유값과 웹사이트 정보에 포함된 검색 이미지의 고유값을 비교하여 일치되는 고유값을 가지는 웹사이트 정보를 검출하는 이미지검색부와;

상기 웹사이트정보와 상기 웹사이트정보에 포함된 이미지와, 상기 변환된 검색 포맷 이미지에 대한 고유값 정보를 저장하는 저장부;로 구성되는 것을 특징으로 하는 이미지를 이용한 검색 시스템.
청구항 1에 있어서, 상기 이미지 변환부는 웹사이트 정보에 포함된 이미지와 사용자가 업로드한 검색 이미지를 비압축 포맷 이미지로 변환시키는 비압축 포맷 변환부를 더 포함하는 것을 특징으로 하는 이미지를 이용한 검색 시스템.
청구항 1에 있어서, 상기 이미지 변환부는 상기 웹사이트 정보에 포함된 이미지와 사용자가 업로드한 검색 이미지에 포함되는 단위 색상 중에서 유사 관계가 있는 픽셀이 집합하여 구성된 구역의 색상의 개수 및 집합도를 고유값으로 추출하는 집합구역 관리부를 더 포함하는 것을 특징으로 하는 이미지를 이용한 검색 시스템.
청구항 1에 있어서, 상기 이미지 변환부는 상기 웹사이트 정보에 포함된 이미지와 사용자가 업로드한 검색 이미지를 동일한 비율로 축소하고 단순화된 색상 팔레트에 의거, 각 픽셀의 가장 유사한 대표 색으로 재구성하여 고유값으로 추출하는 대표색 관리부를 더 포함하는 것을 특징으로 하는 이미지를 이용한 검색 시스템.
청구항 1에 있어서, 상기 이미지 변환부는 상기 웹사이트 정보에 포함된 이미지와 사용자가 업로드한 검색 이미지에서 각 픽셀의 색상에 지정된 값을 토대로 픽셀의 선형 또는 다중 선형(복수 개의 선이 서로 인접하여 생성된 면 또는 서로 인접하지 않는 복수개의 선) 패턴의 값 또는 유사 및 특정 관계에 있는 색상이 픽셀단위로 이웃할 경우 이를 패턴의 단위로 하여 단수/복수 패턴 간의 값인 선형/다중선형 패턴 정보를 고유값으로 추출하는 선형/다중선형 패턴 관리부를 더 포함하는 것을 특징으로 하는 이미지를 이용한 검색 시스템.
청구항 1 내지 청구항 제5항 중의 어느 한 항에 있어서, 상기 이미지 변환부는 상기 웹사이트 정보에 포함된 이미지와 사용자가 업로드한 검색 이미지의 초기 파일에 대한 해쉬(Hash)값을 고유값으로 추출하는 해쉬값 관리부를 더 포함하는 것을 특징으로 하는 이미지를 이용한 검색 시스템.
청구항 1 내지 청구항 제5항 중의 어느 한 항에 있어서, 상기 이미지 검색부는 비교되는 고유값들에 대한 비교결과에 대한 오차범위 조정하는 완전/부분일치 선택부를 더 포함하는 것을 특징으로 하는 이미지를 이용한 검색 시스템.
청구항 1에 있어서, 상기 웹사이트서버는,

인터넷 접속 서비스를 제공한 후 사용자의 검색 대상 이미지를 등록받은 검색 이미지를 포함하는 웹사이트 정보를 사용자 단말기로 전송하여 출력하는 웹서비스부와;

웹사이트 정보 검색을 위한 검색엔진부;를 더 포함하여 구성되는 것을 특징으로 하는 이미지를 이용한 검색 시스템.
청구항 1에 있어서, 상기 웹사이트서버는,

인터넷을 통해 접속한 사용자 단말기로 검색 이미지를 등록할 수 있는 검색이미지 등록 인터페이스 화면을 포함하여 구성되는 것을 특징으로 하는 이미지를 이용한 검색 시스템.