KR20130060766A

KR20130060766A - 개체별다중구성요소분석을 이용한 내용기반 다차원이미지검색시스템 및 이를 이용한 검색방법

Info

Publication number: KR20130060766A
Application number: KR1020110127000A
Authority: KR
Inventors: 이병선; 김창걸; 심승보
Original assignee: 이병선
Priority date: 2011-11-30
Filing date: 2011-11-30
Publication date: 2013-06-10
Also published as: KR101363374B1

Abstract

다차원의 입력이미지를 분석하고, 이 입력으로부터 개체별다중구성요소분석모듈을 이용해 추출된 개체의 특징들 즉, 구성요소분석, 이미지초점, 이미지광원초점에 기초하여 검색질의어를 확정할 수 있는 시스템으로서, 예컨대, 검색시스템의 입력자료로서 이미지,동영상, 그래픽이 단수 혹은 복수로 입력될 수 있고, 이미지에 패턴인식 및 이미지분석이 적용되고 나서, 이 이미지입력으로부터 추출된 개체들의 다중구성요소 특징에 대응하는 검색 질의를 확정할 수 있으며, 이 시스템은 또한 검색가능항목을 인덱싱함으로써 이미지검색 질의에 대한 결과로서 검색될 수 있게 하는 것을 용이하게 해줄 수 있다. 보다 상세하게, 이 시스템은 이미지분석, 동영상이미지분석 및 조성된 이미지 분석을 구성요소분석 메커니즘을 이용하여 검색가능항목들로부터 특징들을 추출할 수 있다. 이들 추출된 특징들은 검색가능항목들을 인덱싱하는 데 이용될 수 있다.

Description

개체별다중구성요소분석을 이용한 내용기반 다차원이미지검색시스템 및 이를 이용한 검색방법{Multiple level image search system using multiple element analysis and the method using the same thereof}

본 발명은 “개체별다중구성요소분석”을 이용한 내용기반 “다차원이미지검색시스템” 및 이를 이용한 검색방법에 관한 것으로, 더 상세하게는 입력된 이미지를 관심영역으로 구분하여 입력하고, 입력된 이미지를 검색시스템에 등록하거나 “개체별구성요소분석”을 이용하여 이미지를 이루는 구성요소로 분석한 후 분석된 특징을 이용하여 데이터베이스에서 이미지검색을 수행하여 수행된 검색결과를 검색자에게 보여주도록 한 “개체별다중구성요소분석”을 이용한 내용기반 다차원 이미지 검색시스템 및 이를 이용한 검색방법에 관한 것이다.

일반적으로, 종래의 컴퓨터 기반 검색은 검색 엔진이 통상적으로 문자, 숫자 등의 검색 질의를 분석하여 결과를 보여준다는 점에서 극히 텍스트 중심적이다. 현재에는 웹을 통한 이미지의 공유가 증가함에 따라 텍스트 중심의 정보검색뿐만 아니라 이미지에 대한 검색 요구도 증가하고 있다.

이미지를 검색하는 방법은 크게 이미지에 딸린 텍스트 정보를 이용하는 방법과 이미지 자체의 내용을 기반으로 검색하는 방법으로 구별할 수 있다. 최근에는 이미지가 급격하게 증가함에 따라, 이미지에 딸린 텍스트 정보를 이용할 수 없는 경우가 많아 이미지의 내용에 기반한 검색방법이 요구되고 있다.

디지털 카메라 및 휴대폰 카메라 등과 같은 휴대용 이미지 촬영 장치의 폭발적인 보급에 따라서 사용자들은 관리하기 어려울 정도로 많은 양의 이미지들을 저장하고 사용하게 되었다. 이러한 많은 양의 이미지들 중에서 사용자가 원하는 이미지를 효과적으로 제공하기 위해, 다양한 내용 기반의 이미지 검색 기법들이 제안되었다.

정확한 이미지 검색을 위해서는 효과적인 이미지의 특징 정보를 정의해야 하는데, 이러한 특징 정보로써 이미지의 색상(Color), 질감(Texture) 및 윤곽선(Shape) 정보가 널리 사용된다. 하지만, 이러한 특징 정보들 중 대부분이 높은 차원의 분석능력을 요구하게 되고, 이를 만족시키기 위해서는 한 가지 기법이 아닌 이들 모두를 분석하여 이미지들 간의 유사성으로 분석하여 검색을 한다.

그러므로, 처리속도뿐만 아니라 검색결과도 아주 낮은 단계의 결과를 보여주고 있다. 이것은 전체를 색상, 질감, 윤곽선으로 분석하다 보니 분석은 되었지만 어떤 개체인지를 알 수가 없게 되었다. 그래서 고안 되어진 이미지 분석법이 다양한 인덱싱 기법들이다. 이들은 전체를 하나의 이미지로 보지 않고 다양한 방법으로 인덱싱해서 분석을 하고 인덱싱된 값들에서 유사성을 찾는 방법들로 대표적인 인덱싱 기법으로는SS-트리, SR-트리, R-트리 등의 트리 구조를 사용한 기법과 해시를 사용한 기법을 들 수 있다.

그러나, 분석된 수많은 DB에서 유사정보를 찾아내는 방법으로는 매우 진보되었지만, 형태나 개체를 분석할 수 없는 것은 여전하다. 어떤 방법으로 색상, 질감, 윤곽선을 분석해도 이미지들은 중첩과 빛의 간섭 등으로 본래의 모습을 가지고 있는 것들이 없다. 그래서 현재 이미지 검색에서 보여주고 있는 방식은 인덱싱한 색 분해방식을 주로 하고 있다.

예를 들어, 붉은 장미를 내용기반으로 이미지 검색하면, 이미지 색 분석 값의 비율이 같거나 유사한 비율로 있는 모든 이미지가 검색된다. 그렇다고 질감으로 분석하기에는 모든 이미지가 질감 특성으로 분석하기 어렵기 때문에 전적으로 사용하기 어렵고, 윤곽선으로 분석하자니 모든 윤곽선들이 겹쳐있어서 누구의 윤곽선인지 알 수가 없는 실정이다. 결국 세 가지를 모두 합친 검색어를 만들면 거의 무한대의 변수가 만들어지므로 검색이 불가능해진다. 무한대의 변수가 만들어지는 것을 막기 위해서 다양한 인덱싱방법이 연구되었지만 변수만 줄어들었을 뿐 방식은 동일함으로 현재의 모습에서 정체되어 있는 것이다.

이미지 검색의 어려운 점은 검색자의 의도를 알 수 없다는 것이다. 글이나 기호가 포함되었다 해도 어떤 것을 원하는지 표현의 방법을 가지지 못한다는 것이 이미지나 동영상의 한계적인 검색조건이다. 그러므로 2차원 이미지뿐만 아니라 3차원의 이미지가 넘쳐나는 현실에서 보다 효율적이고, 분석이 용이한 시스템의 등장이 절실한 것이다.

본 발명은 상술한 문제점들을 개선하고 필요성들을 충족시키기 위한 것으로, 입력된 이미지를 관심영역으로 구분하여 입력하고, 입력된 이미지를 검색시스템에 등록하거나 개체별 구성요소분석을 이용하여 이미지를 이루는 구성요소로 분석한 후 분석된 특징을 이용하여 데이터베이스에서 이미지검색을 수행하여 수행된 검색결과를 검색자에게 보여주도록 한 개체별다중구성요소분석을 이용한 내용기반 다차원이미지검색시스템 및 이를 이용한 검색방법을 제공하는데 그 목적이 있다.

본 명세서에 개시된 본 발명은, 한 측면에서, 다차원 입력을 분석하고 이 다차원 입력으로부터 추출된 특징들에 기초하여 검색 질의를 작성할 수 있는 시스템을 포함한다. 예를 들어, 이미지 데이터가 검색 메카니즘의 입력으로서 사용될 수 있다. 그에 따라, 이미지 입력으로부터 추출된 특징들에 대응하는 검색 질의를 작성하기 위해 이미지 특성분석 및 다중개체구성요소분석이 이용될 수 있다.

다른 측면에서, 본 시스템은 다차원 검색가능 항목을 인덱싱함으로써 검색 질의에 대한 결과로서 검색될 수 있게 해주는 것을 용이하게 해줄 수 있다. 보다 상세하게는, 본 시스템은 검색가능 항목들로부터 특징들을 추출하기 위해 이미지분석모듈, 동영상분석모듈 및 그래픽분석모듈을 이용할 수 있다. 이 추출된 특징들은 검색가능 항목들을 인덱싱하는 데 이용될 수 있다.

또 다른 측면에서, 본 발명에 따른 검색은 서로 다른 차원들에 대해 수행될 수 있다. 검색 질의의 일부가 특정의 상황(이미지가 가지고 있는 고유정보, 예를 들어, 크기, 시간, 장소(GPS), 상태, 이미지 만든 장비, 프로그램 등) 등을 포함한 이미지가 입력으로서 사용될 수 있다. 이미지 추출 컴포넌트는 입력된 이미지로부터 관련 정보(이미지가 가지고 있는 고유정보, 예를 들어, 크기, 시간, 장소(GPS), 상태, 이미지 만든 장비, 프로그램 등)를 추출하고, 검색 질의를 작성(예를 들어, 이미지 기반, 동영상기반, 그래픽 등)하며, 이미지 입력의 대상자/상황에 관련된 모든 결과(예를 들어, 이미지출처, 웹 사이트, 전문제공자 등)를 찾아내는 것을 용이하게 해주기 위해 이미지특성분석모듈을 이용할 수 있다.

실시 예로서, 입력이미지의 색상, 질감, 외형으로부터 윤곽선의 위치 및 윤곽선들간의 상관관계 추출하여 사전에 미리 저장해둔 이미지의 윤곽선들간의 상관관계(위치) 및 구성요소 개수를 비교하여 유사이미지를 검색하여 사용자에게 디스플레이하는 것이다.

실시 예로서, 입력된 데이터가 이미지인지, 동영상인지, 그래픽인지 여부를 분석하는 입력자료 분석모듈, 입력된 이미지, 동영상, 그래픽으로부터 윤곽선을 추출하여 분석하는 “다중개체구성요소분석모듈”을 가진 개체별다중구성요소 분석모듈과; 상기 입력자료의 윤곽선정보와 데이터베이스에 저장된 자료의 윤곽선정보를 비교하여 유사여부를 판단하여 사용자에게 유사이미지정보를 제공하는 검색엔진으로 이루어진 것이다.

실시 예로서, 상기 윤곽선분석모듈은 동영상이나 그래픽데이터를 이미지로 변환시키는 동영상/그래픽데이터변환모듈; 변환된 이미지의 특징을 추출하여 분석하는 이미지특성분석모듈을 포함하는 것이다.

실시 예로서, 상기 다중개체 구성요소 분석모듈은 입력자료 자체적인 특징을 분석하는 개체본질적 구성요소분석모듈; 구성요소 간 상관관계를 분석하는 결합조건적 구성요소분석모듈을 포함하는 것이다.

실시 예로서, 상기 동영상/그래픽 변환모듈은 동영상과 그래픽을 이미지로 변환하는 변환모듈; 미리 입력된 조건에 따라 동영상을 분석하는 동영상분석모듈; 미리 입력된 조건에 따라 그래픽을 분석하는 그래픽분석모듈을 포함하는 것이다.

실시 예로서, 상기 이미지특성분석모듈은 최소 윤곽선에 연접한 윤곽선을 추출하여 분석하는 연접한윤곽선분석모듈; 이미지의 초점좌표를 추출하는 이미지초점좌표분석모듈; 이미지의 광원초점좌표를 추출하는 이미지광원초점좌표분석모듈을 포함하는 것이다.

실시 예로서, 상기 연접한 윤곽선분석모듈은 입력자료에서 최소윤곽선을 추출하는 최소윤곽선분석모듈; 상기 최소윤곽선과 연접하는 다른 윤곽선을 추출하는 최소윤곽선과 연접한 윤곽선분석모듈; 최소윤곽선 그룹과 연접하는 다른 윤곽선을 추출하는 최소윤곽선 그룹기반 분석특성생성모듈을 포함하는 것이다.

실시 예로서, 상기 이미지초점좌표분석모듈은 이미지의 초점을 추출하는 이미지초점분석모듈; 이미지의 초점 값을 추출하는 이미지초점값분석모듈; 이미지의 초점 좌표값을 기준으로 개체원형을 복원하여 복원이미지를 생성하는 좌표값을 이용한 개체원형 복원분석모듈을 포함하는 것이다.

실시 예로서, 상기 이미지광원초점좌표 분석모듈은 광원 직사광을 추출하는 광원직사광의 분석모듈; 광원에 의한 그림자를 추출하는 광원이 만든 그림자분석모듈; 다-초점 광원에 의한 이미지영역을 분석하는 다-초점 광원에 의한 분석모듈을 포함하는 것이다.

실시 예로서, 상기 개체본질적구성요소분석모듈은 입력자료의 색 구성을 분석하는 개체의 색구성분석모듈; 입력자료의 질감을 분석하는 개체의 질감분석모듈; 입력자료의 윤곽선을 분석하는 개체의 윤곽선분석모듈을 포함하는 것이다.

실시 예로서, 상기 개체의 색 구성 특징 분석모듈은 히스토그램을 분석하는 히스토그램분석모듈; 광원으로 인한 명암영역을 추출하는 광원에 의한 명암분석모듈; 색조, 채도, 명도를 추출하는 색조, 채도, 명도 분석모듈을 포함하는 것이다.

실시 예로서, 상기 개체의 질감분석모듈은 패턴질감을 추출하는 패턴질감특성분석모듈; 거칠기 질감을 추출하는 거칠기질감특성분석모듈; 입체특징을 추출하는 입체특징분석모듈을 포함하는 것이다.

실시 예로서, 상기 개체의 윤곽선분석모듈은 에지를 검출하여 분석하는 에지검출분석모듈; 미리 설정된 불필요한 잡상을 제거하는 불필요한 잡상제거 분석모듈; 구성요소간 관계분석을 위한 의미적 내용 분석모듈을 포함하는 것이다.

실시 예로서, 상기 결합조건적 구성요소분석모듈은 개체간 주종관계를 추출하는 개체간 주종관계모듈; 사용자로부터 입력된 관심영역인지 여부를 체크하는 관심영역관계모듈; 변형여부를 검출하여 변형영역을 추출하는 변형분석모듈을 포함하는 것이다.

실시 예로서, 적어도 둘 이상의 이미지를 등록시키기 위한 다중이미지등록모듈을 더 포함하는 것이다.

실시 예로서, 클라이언트로부터 이미지를 입력받는 단계 2501; 클라이언트로부터 상기 이미지의 관심영역을 입력받는 단계 2502; 클라이언트로부터 입력이미지검색여부를 입력받는 단계 2503; 클라이언트로부터 입력이미지등록여부를 입력받는 단계 2504; 상기 이미지에 대한 이미지특성인 윤곽선, 이미지초점좌표, 이미지광원좌표를 분석하는 단계 2505; 상기 이미지에 대한 색구성, 질감, 윤곽선에 대한 정보와 구성요소간 주종관계, 관심영역관계, 변형정보를 분석하여 이미지가중치를 부여하는 단계 2506; 상기 이미지에 대한 특성과 가중치를 색인으로 생성하는 단계 2507; 클라이언트로부터 이미지코드등록여부를 입력받는 단계 2508; 상기 이미지코드에 대한 연결카테고리를 입력받는 단계 2509; 클라이언트로부터 입력된 이미지를 이미지코드로 등록하는 단계 2510; 상기 이미지코드에 대한 색인과 링크된 정보를 데이터베이스에 저장하는 단계 2511을 더 포함하는 것이다.

실시 예로서, 상기 이미지의 카테고리에 대하여 카테고리설정여부를 입력받는 단계 2512; 카테고리를 입력받아 지정하는 단계 2513; 카테고리지정완료여부를 입력받는 단계 2514; 상기 이미지에 대한 이미지특성인 윤곽선, 이미지초점좌표, 이미지광원좌표를 분석하는 단계 2515; 상기 이미지에 대한 색구성, 질감, 윤곽선에 대한 정보와 구성요소간 주종관계, 관심영역관계, 변형정보를 분석하여 이미지가중치를 부여하는 단계 2516; 분석된 이미지의 특징들을 색인으로 생성하는 단계 2517; 미리 저장된 데이터베이스의 특징들과 상기 이미지의 특징들을 비교하여 이미지검색을 실행하는 단계 2518; 상기 특징들과 유사한 이미지들을 검색결과로 표시하는 단계 2519를 더 포함하는 것이다.

본 발명은 스마트폰에서 이미지나, 동영상 등의 모드에서 직접입력하고 관심영역을 지정하여 검색하면 사용자가 원하는 정보를 얻을 수 있다. 물론 스마트폰 내의 저장장치는 직접 선택할 수 있고, 다른 장비에 있는 자료라도 각종 통신방법을 이용해서 정보를 입력하여 검색할 수 있다. 그뿐 아니라 최신 유행하고 있는 터치패드 등 즉석입력장치에 의해 입력된 정보는 글이나 그림의 정보를 분석해서 정보를 검색할 수 있다.

또한, 본 발명은 실용화하고 있는 스마트TV를 이용하는 것도 스마트폰과 매우 유사하게 검색할 수 있다. 예를 들어 영화를 보다가 어떤 배우가 입은 옷을 선택했다면 옷에 대한 모든 정보를 제공할 수 있다. 또한 홈소핑에서 소품으로 사용되는 개체를 검색하면 원하는 대로 관련 홈페이지나 관련 정보로 연결될 수 있다. 특히 대표이미지를 등록했다면, 이 대표이미지는 바코드나, QR코드, 기타 삼차원코드가 하는 역할을 대신할 수 있다. 대표이미지는 본인이 정보를 입력 또는 등록하므로 이미지 검색에서는 있을 수 없는 100%의 확률로 검색될 수 있으며, 비즈니스나, 기타 관련자가 사용자들에게 무한대의 정보를 제공하므로 또 다른 비즈니스 영역을 만들어 낼 수 있다.

또한, 본 발명은 스마트카메라에 인터넷이 연결되었다면 사진을 찍으면서 피사체에 보이는 물건들을 검색하면서 사진을 원하는 부분만 찍을 수도 있다. 날아가는 철새를 찍었다면, 철새의 이름, 생식습성, 수명, 이동경로 등 다양한 정보를 얻을 수 있다. 그러므로 카메라는 더 이상 사진을 찍는 것이 아니라 망원경이나, 현미경으로서의 기능도 수행할 수 있다. 이러한 정보는 이미지에 연결하여 저장할 수도 있고 따로 저장하여 자료로 사용도 가능하다.

또한, 본 발명은 스마트망원경에서 어떤 물체나 사물에 초점이 고정되었다면 그 화면에서 관심영역을 지정하여 바로 정보를 얻을 수 있다. 그러면 정보를 망원경내부에 중첩하여 디스플레이할 수도 있고, 같은 정보를 이미지와 같이 저장할 수도 있다.

또한, 본 발명은 군사용 장비에 장착한 조준경/망원경이나 군사장비의 모니터에 나타나는 정보는 바로 검색하여 디스플레이할 수 있으므로, 목표물을 좀더 정확하게 확인하고 다음 단계로 이동이 가능하므로 정확성이나 정밀성, 그리고 효율성을 극대화할 수 있다.

또한, 본 발명은 앞으로의 스마트 전자현미경은 관찰하면서 어떤 세균인지 어떤 물체인지를 보면서 비교분석하고 저장해서 연구의 성과를 높일 수 있다. 현미경을 사용하는 모든 사람들이 같은 분야의 전문가 일수는 없지만 많은 발견과 발명 또는 연구를 할 수 있도록 기회를 제공할 수 있다.

또한, 본 발명은 모든 스마트자동차의 네비게이션과 같은 장착전자장비를 이용하면 자동항법 운행에 많은 도움을 줄 수 있다. 사물을 파악하고 대비할 수 있는 어플의 개발은 사고를 예방하고, 쾌적한 운전상황을 만들어낼 수 있다.

또한, 본 발명은 스마트간판을 스마트 기기를 이용하여 이미지를 입력하면, 그 식당에서 오늘의 메뉴, 오늘의 식단이나 서비스를 알 수 있다, 미장원, 주유소, 어떤 매장이나 백화점의 간판을 입력하면 대 고객에 관한 정보를 모두 제공할 수 있고, 전화를 바로 연결해서 예약이나 구매도 가능해진다.

또한, 본 발명은 스마트검색을 할 수 있다. 상표권이나 의장권 등의 이미지를 검색할 때 이미지검색시스템을 구축하면 매우 용이하게 관련정보를 얻어낼 수 있다. 모든 DB는 코드값이나 인덱스로 구분하여 저장되어 있기 때문에, 텍스트는 인덱스 하는데 문제가 없지만 그림이나 블록도 들을 인덱스 하는 데는 문제가 있으므로 이미지를 분석해서 이들을 관련된 코드와 연결한다면 유사 정도로 모두 검색이 가능할 것이다.

또한, 신문이나 방송의 수많은 미디어자료에서 특정이미지에 대한 정보를 쉽게 도출해낼 수 있다.

또한, 본 발명은 스마트학습을 제공한다. 학생들이 수업을 받을 때 교과서에 있는 그림을 입력하거나 실험장치가 있는 이미지를 입력하면 좀더 자세하게 정보를 얻을 수 있다. 이것은 체험학습을 할 때 더 다양한 효과를 볼 수 있다. 체험학습이나 실습을 개발한 사람은 무료 또는 유료로 이러한 프로그램을 만들면 가족끼리 체험실습을 해도 전문가와 멘토링 학습하는 효과를 제공할 수 있다. 이때, 스마트 이미지코드를 입력하면 더욱 효율적인 정보를 얻을 수 있다.

또한, 본 발명은 스마트관광으로 문화나 자연에 대한 정보를 제공할 수 있다. 만약에 불국사를 갔다면 안내판에 모든 내용이 축약되어서 표현되어 있고, 좀더 다양한 정보는 팜플렛이나 관광가이드북에 나올 수 있다. 그러나 그것이 전부이다. 그러나, 여기에 스마트를 접목하면 쉽게 다양한 정보를 얻을 수 있다. 만약 안내판을 이미지코드로 등록했다면 자세한 정보를 제공하는 사이트나 웹페이지로 이동될 수 있다. 또한, 전시된 유물을 이미지코드로 등록해놓으면 사용자는 자신이 관심 있는 유물에 대해 좀더 폭넓은 정보를 얻을 수 있다. 도로표지판을 입력하면 노선안내가 자동으로 나타나며, 현재의 위치를 기반으로 지역이나 교통에 대한 다양한 정보를 제시할 수 있다.

또한, 본 발명은 스마트산업에 적용할 수 있다. 모든 장비에 이미지코드를 넣었다면, 장비의 재원, 능력, 사용법, AS, 구입장소 등 다양한 정보를 알 수 있다.

또한, 본 발명은 스마트 지역검색을 제공할 수 있다. 요즘 검색엔진에서 제공되고 있는 로드뷰나, 스카이뷰 등 GPS기반의 다양한 정보가 제공되고 있지만 이미지가 전부이다. 그러나, 이미지에 대한 정보나 이미지에 등장하는 개체를 설명할 수 없으므로 반쪽정보를 제공한다고 볼 수 있다. 스마트한 지역검색은 로드뷰나 스카이뷰 등에서 제공하는 정보를 분석하여 보이는 영상의 개체마다 설명을 제공하는 서비스가 가능하다.

또한, 본 발명은 스마트한 광고 및 홍보에 사용되는 마크, 상표, 광고탑, 전단지, 포스터, 유인물, 명함 등을 입력하면 모든 정보가 있는 홈페이지나 웹으로 연결이 가능하다. 또는 동영상이나 즉석 정보제공이 가능하므로 다양한 어플을 제공할 수 있다.

또한, 본 발명은 스마트한 일상을 제공한다. 벽에 걸린 사진을 찍으면 누구의 작품인지 알 수가 있다, 제품에 대한 가격 및 구매 여부도 알 수 있다. 출판물에 대표 이미지를 지정하면 출판자의 홈 페이지 등의 지정 매체로 이동한다. 신문이나 잡지의 광고면을 대표 이미지로 지정하면 광고자의 지정매체로 이동한다.

또한, 본 발명은 스마트 산행이 가능하다. 등산하다가 예쁜 꽃, 들풀, 버섯, 약초 등을 검색하면 분류, 식용 여부, 효능 등 다양한 정보를 확보할 수 있다. 산속에서, 지층의 화석, 바위나 암석, 강가의 자갈이나 모래, 바닷가의 갯벌이나 생명체 등을 검색하면 정보를 얻을 수 있다.

또한, 본 발명은 스마트선거운동 지나가면서 포스트를 검색하면 자세한 정보를 얻을 수 있다.

또한, 본 발명은 스마트보안을 제공한다. 방범카메라 저장자료에 어떤 인물이나 사물을 검색하면 매우 길게 녹화된 동영상에서 원하는 부분만 검색해서 보여준다. 은행의 입출금, 회사출입, 보안지역출입 등에 응용하면 다양한 정보를 용이하게 얻을 수 있다. 출입국관리에 사용되는 얼굴인식시스템을 획기적으로 효율성을 높일 수 있다.

또한, 본 발명은 스마트요리를 제공한다. 식당에서 요리를 찍으면 구성요소 및 관련된 정보를 알 수 있다. 다른 밥상과 비교할 수 있다, 먹는 음식의 식단별 칼로리를 분석할 수 있다.

또한, 본 발명은 스마트한 병원을 운영할 수 있도록 해준다. 진료 영상이나 필름으로 얻어진 정보를 이미지 분석하여 보관함으로써 임상에 대한 다양한 정보와 치료방법 연구에 응용될 수 있다. 현대사회는 첨단장비와 이 장비에서 얻어진 자료를 해독하는 의사의 능력이 매우 중요하므로 의료분야에서 스마트진료는 많은 연구자원을 제공할 수 있을 것이다.

또한, 본 발명은 사람 찾기에 응용할 수 있다. 개인의 사생활에 관련된 부분은 법적인 한도 내에서 정보를 제공할 수 있다. 실종자나 범죄자 등의 정보를 원할 경우 자세한 정보를 제공하기 위해 법적인 범위 내에서 정보를 제공한다.

또한, 본 발명은 유물이나 문화재 찾기를 지원할 수 있다. 유실물의 정보를 입력하면 DB에 자료가 있는 한 찾아낼 수 있다. 특히 표시가 된 것이라면 유용하다. 유물이나 문화재 등의 정보를 입력하면 유사 검색이 가능하다.

또한, 스마트 동영상검색이 가능하다. 예를 들면 영화에서 특정인물이 나오는 부분만 감상할 수도 있다. 공연자료 중 특정인물이 나오는 부분만의 동영상을 검색하는 것도 가능하며, 그룹 멤버 중 특정연예인의 동영상을 제외한 부분만 볼 수도 있다.

또한, 본 발명은 스마트이미지코드를 제공할 수 있다. 이미지를 등록할 때 대표이미지로 지정할 경우 이 이미지는 코드 역할을 할 수 있다. 예를 들어 간판에 이미지코드가 있다면 지나가는 사람이 코드를 스마트장비로 입력하면 오늘의 메뉴, 오늘의 상품, 오늘의 이벤트 등 다양한 정보를 제공해줄 수 있다. 그러므로 전화를 하지 않아도 효율적인 고객유도가 가능하고, 소비자는 원하는 상황을 선택할 수 있다. 같은 의미로 화가나 예술가 등 전문직 종사자들의 싸인이 이미지코드로 입력되었다면 조각이나, 그림 등에 들어있는 싸인(이미지코드)를 검색하면 작품설명뿐 아니라 다양한 작가의 세계를 보여 줄 수도 있다. 이것은 정확도나 검색시간을 획기적으로 단축시킬 수 있는 방법이다.

도 1은 본 발명의 제 1 검색시스템을 개략적으로 나타낸 블록도이다.
도 2는 본 발명의 제 1 검색방법을 개략적으로 나타낸 순서도이다.
도 3은 본 발명의 제 2 검색방법을 나타낸 순서도이다.
도 4는 본 발명의 개체별 다중구성요소 분석모듈을 세부적으로 나타낸 블록도이다.
도 5는 본 발명의 윤곽선분석모듈과 다중개체 구성요소 분석모듈을 세부적으로 나타낸 블록도이다.
도 6은 본 발명의 동영상/그래픽변환모듈을 세부적으로 나타낸 블록도이다.
도 7은 본 발명의 이미지특성분석모듈을 세부적으로 나타낸 블록도이다.
도 8은 본 발명의 연접한 윤곽선분석모듈을 세부적으로 나타낸 블록도이다.
도 9는 본 발명의 이미지초점좌표 분석모듈을 세부적으로 나타낸 블록도이다.
도 10은 본 발명의 이미지광원초점좌표 분석모듈을 세부적으로 나타낸 블록도이다.
도 11은 본 발명의 개체본질적 구성요소분석모듈을 세부적으로 나타낸 블록도이다.
도 12는 본 발명의 개체의 색구성특징 분석모듈을 세부적으로 나타낸 블록도이다.
도 13은 본 발명의 개체의 질감특징분석모듈을 세부적으로 나타낸 블록도이다.
도 14는 본 발명의 윤곽선특징분석모듈을 세부적으로 나타낸 블록도이다.
도 15는 본 발명의 결합조건적 구성요소분석모듈을 세부적으로 나타낸 블록도이다.
도 16은 본 발명의 제 2 검색시스템을 나타낸 블록도이다.
도 17은 본 발명의 제 3 검색시스템을 나타낸 블록도이다.
도 18은 본 발명의 제 4 검색시스템을 나타낸 블록도이다.
도 19는 본 발명의 결과구성콤포넌트를 세부적으로 나타낸 블록도이다.
도 20은 본 발명의 제 5 검색시스템을 나타낸 블록도이다.
도 21은 본 발명의 이미지편집모듈과 검색이미지지정모듈을 세부적으로 나타낸 블록도이다.
도 22는 본 발명의 제 6 검색시스템을 나타낸 블록도이다.
도 23은 본 발명의 다중이미지등록모듈과 이미지코드등록모듈을 세부적으로 나타낸 블록도이다.
도 24는 본 발명의 시스템연결구성을 예시한 블록도이다.
도 25는 본 발명의 제 3 검색방법을 나타낸 순서도이다.
도 26 내지 도 28은 본 발명의 최소윤곽선을 설명하기 위한 도면이다.

이하, 첨부된 도면을 참조하여 본 발명을 상세히 설명하도록 한다.

본 출원에서 사용되는 용어 중에 모듈(Module)은 잘 정의된 한 가지 일을 수행하는 프로그램의 논리적인 일부분으로 큰 시스템 중 비교적 독립적인 한 부분으로 사용되고 있으며, “시스템”은 이러한 여러 개의 모듈이 모여서 하나의 완전한 프로그램으로 만들어진 것을 의미한다.

여기에서 “시스템”은 컴퓨터 관련 개체, 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어를 말하는 것이다. 구성요소(Component)는 객체, 개체의 요소, 실행파일, 프로세서상에서 실행중인 프로세서, 프로세서, 프로그램, 컴퓨터일 수 있지만 한정되지는 않는다. 예를 들어 어떤 개체나, 형태를 만들어내기 위한 것일 수도 있으며, 시스템이나 모듈에서 실행중인 어플리케이션 및 서버 둘 다 컴포넌트일 수도 있다.

프로세스(Process)나 쓰레드(Thread)내에 하나 이상의 컴포넌트가 존재할 수 있고, 컴포넌트는 하나의 컴퓨터 내에 있을 수도 있지만 2개 이상의 컴퓨터 간에 분산되어 있을 수 있다.

또한, 본 명세서에서 사용되는 “추론”의 의미는 실행명령이나 데이터를 통해 포착된 일련의 관찰 결과로부터 시스템이나 사용자의 상태를 추리하거나 추리해내는 프로세서를 말하고, 여기서 추론은 특정의 상황 또는 동작을 식별하는 데 이용될 수 있는데, 예를 들어 상태들에 대한 확률 분포를 생성할 수 있다.

사용자에게 정보를 디스플레이하는 용어로 "화면", "웹 페이지", 및 "페이지"는 일반적으로 본 명세서에서 서로 바꾸어 사용될 수 있다. 페이지 또는 화면은 디스플레이설명으로서, 그래픽 사용자 인터페이스로서, 또는 화면(예를 들어, 퍼스널 컴퓨터, PDA, 모바일 전화, 또는 기타 등가 장치) 상에 정보를 나타내는 다른 방법에 의해 저장 또는 전송되며, 이때 페이지 상에 디스플레이될 레이아웃 및 정보 또는 컨텐츠는 메모리, 데이터베이스, 또는 다른 저장 수단에 저장된다.

도 1을 참조하면, 다차원이미지검색시스템(100)에는 검색하고자 하는 이미지의 특징을 분석하는 개체별다중구성요소분석모듈(102), 이미지검색을 수행하는 검색엔진(104)이 구비된다. 이것은 적어도 2개의 전체적인 측면을 가진 다차원이미지검색시스템(100)을 나타낸 것이다. 시스템(100)은 다수의 차원(예를 들어, 이미지, 동영상, 그래픽)을 갖는 입력으로부터 특징 및 데이터를 추출할 수 있다. 추출된 경우, 이 특징들은 검색 질의를 생성하거나 수정하는 데 이용될 수 있다. 그리고, 검색 질의는 입력에 관계된 검색 결과를 보여주는데 이용될 수 있다. 시스템(100)의 다른 기능은 검색가능 데이터 항목의 특징들에 기초하여 검색 결과를 찾아내는 기능이다.

다시 말하면, 시스템(100)은 특징들을 추출하기 위해 검색가능 데이터 항목들(예를 들어, 이미지 파일, 비디오(동영상)파일, 그래픽 파일)을 분석하는 것을 용이하게 해줄 수 있다. 데이터 항목으로부터 특징들이 추출된 경우, 시스템(100)은 그 항목을 인덱싱함으로써 검색될 수 있게 해주는 것을 용이하게 해줄 수 있다.

다차원이미지검색시스템(100)은 도시된 바와 같이 입력(예를 들어, 이미지, 동영상, 그래픽)이 “개체별다중구성요소분석모듈” 컴포넌트(102)에 전달될 수 있고, 이 “개체별다중구성요소분석모듈” 컴포넌트(102)에서 특징들(예를 들어, 속성들, 특성들)이 입력으로부터 추출될 수 있다. 아래에서 기술하는 바와 같이, 한 측면에서, 이미지 입력으로부터 속성들 및 특성들을 알아내기 위해 패턴인식이 이용될 수 있다. 보다 구체적인 예에서, 입력이 어떤 자동차 옆에 서있는 사람의 이미지라고 가정하면, “개체별다중구성요소분석모듈” 은 사용자의 신원을 알아내기 위해 특수화된 형태의 패턴 인식(예를 들어, 구성요소간 상관관계를 이용해 얼굴 인식)을 사용할 수 있다. 이와 유사하게, 그 자동차를 분석하여 그 사람이 어떤 자동차 옆에서 사진을 찍었는지를 알아내기 위해 패턴 인식(예를 들어, 구성요소간 상관관계를 이용해 자동차를 인식하고, 사람이 입고 있는 옷, 자동차와 사람간의 결합조건구성요소분석으로 사람뿐 아니라 사람이 착용하고 있는 문체들을 분석)이 사용될 수 있다.

검색이미지의 패턴분석과 시스템에서 다른 특징들 및 속성들을 알아낸 경우, 검색 질의가 작성되어 검색 엔진(104)에 전달될 수 있다. 검색엔진(104)은 이 질의에 따라 검색 결과들을 검색하는 데 이용될 수 있다. 다른 예들에서, 검색 엔진(104)은 인터넷, 인트라넷, 로컬 또는 원격 서버/저장소, 기타 등등으로부터 결과들을 검색할 수 있다. 사실상, 본 발명의 실시 예들은 다양한 형태의 이미지 입력으로부터 검색 질의를 작성하는 것을 용이하게 해준다.

종래의 시스템들이 다양한 데이터 유형(예를 들어, 텍스트, 웹 페이지 링크, 이미지 파일)으로 결과들을 표현할 수 있지만, 이 종래의 시스템들이 여전히 텍스트 중심적인 이유는 검색 질의를 가능한 결과들에 매핑(Mapping;연결)하기 위해 수작업으로 생성된 메타데이터(Metadata; 다른 데이터를 설명해 주는 데이터) 및 태그에 의존하기 때문이다. 시각화(다양한 이미지)가 포함되어 있는 한, 이러한 시각화는 통상적으로 사용자 정의에 의한 메타데이터를 사용하여 수행되며, 검색가능 항목들은 수작업으로 이 항목의 속성에 대응하는 메타데이터로 사전에 태깅(Tagging) 되어 있다.

일부 시스템에서 사용하고 있는 내용기반이미지분석은 이러한 방식을 사용하지 않고 색상분포(color histogram)와 질감분해, 외형분해의 방식을 사용하고 있다. 이러한 검색은 매우 고도화되어 다양한 형태의 검색방식을 만들어냈다. 그 중심에 색 분해방식이 있다. 이러한 방식은 미리 분석되어 저장된 기존의 이미지데이터를 찾는 방법에는 효율적이지만 검색이미지가 새롭게 만들어진 경우, 다시 말하면 미리 분석되어 있지 않은 신규의 이미지분석에는 그 효율성이 현저하게 떨어진다.

종래의 검색 메카니즘과는 달리, 본 시스템(100)의 한 가지 특징은 입력으로부터 구성요소적인 특징들 및 속성들을 추출하는 것이다. 예를 들어, 본 시스템은 입력으로서 입력 파일을 수신하고 컬러, 패턴, 외형, 구성요소, 구성요소간 상관관계, 이미지초점, 광원초점 기타 등등(이에 한정되지 않음)을 비롯한 특징들을 추출할 수 있다. 이러한 것은 패턴 인식 시스템이 이미지를 다중으로 분석한 다음에 관련검색 결과를 검색하는 데 사용될 수 있는 검색 질의를 작성하는 데 이용될 수 있다.

검색에서 고려되는 속성들로는, 이미지고유초점, 이미지고유광원초점, 이미지구성요소, 이미지구성요소간 상관관계, 이미지의 크기, 동영상의 길이, 출처, 전체적인 성질, (예를 들어 이미지, 동영상, 커리커쳐, 만화, 이미지코드, 이미지 고유정보 예컨대, 촬영일자, GPS, 크기, 인용프로그램, 기타 등의 측면들을 비롯한, 이미지의 형태 및 구조가 있을 수 있고 이미지 컨텐츠의 다른 속성들(그래픽 컨텐츠 중의 포인터 또는 URL(Uniform ResourceLocator) 등에 대한 관계가 인덱싱 및 검색에서 고려될 수 있다.

이하의 시나리오는 본 발명에 대한 전반적인 이해를 더하기 위해 제공된 것이며 결코 본 발명을 제한하기 위한 것이 아니다. 이를 위해, 본 발명의 특징들을 이용하는 다른 시나리오들이 있을 수 있다는 것은 당연하고, 이 부가의 시나리오들은 본 발명 및 첨부된 청구항들의 범위 내에 포함된다.

상기한 바와 같이, 서로 다른 차원에 대해 본 발명에 따른 검색이 수행될 수 있다. 예를 들어, 검색 질의가 특정의 상황에 있는 이미지를 포함할 수 있다. 따라서, 설원에서 아름다운 스키복을 입고 스키를 즐기는 대한민국의 대통령과 그 옆에 경호원 있는 이미지가 시스템(100)에의 입력으로서 사용될 수 있다. 도 1의 시스템(100)에 따르면, 개체별다중구성요소분석모듈(102)는 입력된 이미지로부터 관련 정보(예를 들어, 컬러, 패턴, 외형, 구성요소, 구성요소간 상관관계, 이미지초점, 광원초점을 분석하여 대통령의 특징과 경호원의 특징을 분석) 추출하고, 질의를 작성하며, 검색을 실행하면 검색이미지와 가장 유사한 정보를 이미지뿐 아니라 동영상과 그래픽에서도 검색해 줄 수 있다.

도 2를 참조하면, 검색하고자 하는 이미지 등의 자료가 검색엔진으로 입력되는 단계 202, 입력자료가 분석되는 단계 204, 입력자료로부터 검색질의를 생성하는 단계 206, 위 검색질의에 유사성을 가진 이미지에 대한 검색결과를 검색하는 단계 208, 검색된 결과를 출력하는 단계 210으로 진행된다.

즉, 본 발명의 한 측면에 따른 입력으로부터 검색 질의를 생성하는 방법을 나타낸 것이다. 설명의 간단함을 위해, 본 명세서에 나타낸 하나 이상의 방법(예를 들어, 플로우차트 형태임)이 일련의 동작으로 도시되고 기술되어 있지만, 본 발명에 따르면, 어떤 동작들이 본 명세서에 도시되고 기술된 것과 다른 순서로 또는 다른 동작들과 동시에 행해질 수 있기 때문에, 본 발명이 동작들의 순서에 의해 제한되지 않는다. 본 발명에 따른 방법을 구현하는데 도시된 동작들 모두가 필요한 것은 아닐 수 있다. 그러므로 도 2는 표준적인 흐름을 표현한 것이다.

도 2의 202에서, 특정 유형의 데이터를 나타내는 입력이 수신될 수 있다. 예를 들어, 이 입력은 이미지, 동영상이미지, 그래픽이미지, 기타 등등(이에 한정되지 않음)을 비롯한 형태의 데이터를 포함할 수 있다. 또한, 이 입력은 2개 이상의 유형의 데이터를 포함하는 다차원 데이터의 형태를 가질 수 있다. 예를 들어, 이미지와 동영상이미지를 입력이미지로 사용할 수 있으며, 그래픽은 이미지와 터치패드나 그래픽패드 등의 디바이스를 이용하여 각기 다른 두 이미지를 포함한 이미지 데이터, 다시 말해 그래픽을 포함할 수 있다.

204에서, 이 입력과 연관된 특징과 속성들 또는 특성들을 식별하기 위해 이 입력이 분석될 수 있다. 예를 들어, 상기한 바와 같이, 특정 이미지의 대상물(들) 및 상황을 식별하기 위해 패턴 인식 메카니즘이 이미지 문서에 적용될 수 있다. 특정의 예로 등산하다가 이름 모를 야생화를 발견하고 사진을 찍어서 검색하려고 이미지가 입력되었다면, “개체별다중구성요소분석모듈”에서 패턴모듈을 이용한 분석 및 개체구성요소분석과 개체구성요소간 상관관계의 분석을 이용해 이들 분석자료는 검색 질의를 생성하기 위해 사용될 수 있다.

특정의 예를 참조하면, 이 이미지가 서울 남산에 있는 “한국들국화”를 나타내는 것으로 판정하기 위해 패턴인식이 이용될 수 있다. 그에 따라, 206에서, 추출된 특징은 들국화의 구성요소인 꽃잎, 꽃줄기, 꽃 수술, 암술, 등등과 구성요소간 상관관계인 꽃잎들과 수술, 암술간의 중심간 거리비율 등의 다중의 구성요소 특징을 만족하는 검색 질의가 작성될 수 있다.

이미지 입력으로부터 설정된 검색 질의에 따라, 208에서, 결과가 검색될 수 있다. 계속하여 이 예에서, 들국화와 관련된 다양한 정보들이 검색될 수 있다. 보다 상세하게는, 들국화의 이미지와 동영상을 선택하면 웹 페이지 링크 등의 방법으로 상세하고 다양한 정보를 확인할 수 있다. 210에서, 이들 결과가 렌더링(예를 들어, 디스플레이)될 수 있다. 또한 결과의 이미지에는 검색된 이미지 중 들국화로 검색된 부분을 별도의 표시방법(예를 들어, 사각형 줄 박스 형태 등)보여줄 수 있으며, 동영상 영역에서는 발견되는 부분의 프레임을 별도(예를 들어, 시간 축으로 표현되는 프레임부분에 별도표시 등)로 보여줄 수도 있다.

도 3을 참조하면, 검색을 위한 자료입력장치를 선택하는 단계 302, 위 자료입력장치로 입력된 자료를 입력받는 단계 304, 입력된 자료가 이미지인지 판단하는 단계 306, 이미지를 이루는 구성요소를 분석하는 단계 308, 입력된 자료가 그래픽인지 판단하는 단계 310, 그래픽데이터의 패턴을 분석하는 단계 312, 그래픽을 이루는 구성요소를 분석하는 단계 314, 입력된 자료가 동영상인지 판단하는 단계 316, 동영상을 프레임별로 분석하는 단계 318, 동영상의 각 프레임을 이루는 구성요소를 분석하는 단계 320, 위 단계별로 분석된 특징들을 검색질의어로 생성시키는 단계 322, 위 검색질의어로 유사이미지를 검색하는 단계 324로 수행된다.

이것은 본 발명의 한 측면에 따른, 입력을 분석하는 방법을 나타낸 것이다. 302에서, 상기한 바와 같이, 기본적으로 입력디바이스를 선택할 수도 있다. 입력디바이스에는 휴대폰, 스마트폰, 카메라기기, 동영상기기, 그래픽패드입력장치, 이기종간무선입력장치, 저장장치 등에서 어떤 기기에서도 직접 입력이 수신될 수 있다. 예를 들어, 이미지입력을 컴퓨터기기의 저장장치에서 이미지나 동영상을 업로드 할 수 있다, 또 다른 예로, 카메라기기(스마트 기기 또는 디지털카메라 등)에서 이미지 생성과 동시에 유,무선을 이용하여 업로드 할 수 있다. 그래픽패드장치에서도 원하는 이미지를 만들어서 입력하거나 기존의 이미지와 통합하여 업로드 할 수 있다. 또는 이들의 조합일 수 있다. 이하의 방법을 검토하면 잘 알 것인 바와 같이 대부분의 다차원 및 단일 차원의 입력기기는 입력을 위해 본 발명에서 이용될 수 있다.

304에서 상기한 바와 같이, 기본적으로 어떠한 이미지유형이라도 입력으로 수신될 수 있다. 예를 들어, 입력은 이미지, 동영상, 그래픽이미지, 트리밍이미지, 또는 이들의 조합일 수 있다. 이하의 방법을 검토하면 잘 알겠지만 대부분의 다차원(또는 단일차원) 입력을 분석하기 위해 본 발명이 이용될 수 있다.

306에서, 입력이 시각데이터(일반이미지)를 포함하는지를 결정하기 위해 판정이 행해진다. 시각데이터를 포함하는 경우, 308에서, 이미지검색키워드를 결정하기 위해 입력이 구성요소분석모듈로 분석될 수 있다.

이와 유사하게, 310에서, 입력이 그래픽시각데이터를 포함하고 있는지를 결정하기 위해 판정이 행해질 수 있다.

입력이 그래픽시각데이터를 포함하는 경우, 312에서, 그래픽시각데이터패턴분석과 연관된 이미지키워드를 확정하기 위해 구성요소분석모듈이 사용될 수 있다. 예로서, 구성요소분석데이터가 그래픽인 경우, 그래픽과 관련하여 구성요소분석을 이용하여 그래픽 인식이 사용될 수 있다.

또한, 316에서, 입력이 동영상 데이터(예를 들어, 비디오 데이터)를 포함하는지의 판정이 행해진다. 상기한 시각이미지와 조성시각이미지에서와 같이, 동영상 데이터가 존재하는 경우, 318에서 동영상프레임분석을 통해 주요 특징(예를 들어, 속성들 및 특성들)이 확정될 수 있다. 이렇게 분석된 정보는 구성요소분석을 이용하여 동영상이미지인식에 사용될 수 있다.

입력이 분석된 경우(예를 들어, 306~316), 322에서, 수집된 정보를 이용하여 검색 질의가 확정될 수 있다. 그 다음에, 324에서, 검색 질의와 관련한 결과가 검색될 수 있다. 그 다음 도면을 참조하여 더 상세히 기술되는 바와 같이, 이 결과가 사용자에게 렌더링(예를 들어, 디스플레이)할 때 원하는 바(카테고리)에 따라 구성(예를 들어, 필터링, 순위 지정, 정렬)될 수 있다.

도 4를 참조하면, 개체별다중구성요소분석모듈(102)에는 입력자료분석모듈(402), 다중개체구성요소분석모듈(404)이 구비되고, 개체별다중구성요소분석모듈(102)은 검색엔진(104)과 연결된다.

다차원이미지검색시스템(100)의 입력정보를 분석하고 검색어를 만들어낼 수 있는 정보를 만들어주는 모듈인 “개체별다중구성요소분석모듈”(102)에서 입력자료분석(402)은 입력된 자료가 이미지, 동영상, 또는 그래픽인지를 분석하는 단계와 입력된 자료의 특성 및 특징들을 다양한 방법으로 분석하는 단계로 나누어졌다. 여기에서 분석한 입력이미지정보를 가지고, “다중개체구성요소분석”(404)에서는 구성요소로 분석을 하는데, 주로 형태적인 방법과 결합조건관계의 구성요소로 분석을 한다. 이 단계에서 제일 중요한 것은 분석된 자료를 다층구조를 가진 매트릭(matrix) 구조로 만들어 구성요소를 분석하는 것이다. 이러한 구성요소분석은 검색어를 만들 수 있는 기초정보가 된다.

도 5를 참조하면, 윤곽선분석모듈(402)에는 동영상/그래픽데이터변환모듈(502)과 이미지특성분석모듈(504)이 구비되고, 다중개체구성요소분석모듈(404)에는 개체본질적구성요소분석모듈(506)과 결합조건적구성요소분석모듈(508)이 구비된다.

개체별다중구성요소분석모듈(102)의 윤곽선분석모듈(402)은 동영상/그래픽데이터변환모듈(502)과 이미지특성분석모듈(504)로 특성분석을 할 수 있으며, 개체의 구성요소 구분을 개체본질적구성요소분석모듈(506) 특성을 분석해서 인식하고, 개체의 구성요소들 간의 상관관계를 이용하며 개체의 주체를 찾아낼 수가 있다. 예를 들어, 유명연예인의 얼굴을 검색이미지로 입력했다면, 입력분석자료에서 정지이미지인지를 확인하고, 다수의 최소윤곽선이 만들어내는 소그룹으로 분석하면 사람의 개체요소가 다수 포함되었고, 반지와 목걸이 구성요소도 다수 포함된 다중의 분석도가 만들어진다. 이러한 분석도는 구성요소간 상관관계를 분석하는 모듈에서 반지와 목걸이는 유명연예인이 착용한 것으로 판단하는 결합조건적구성요소분석으로 확인된다.

그러므로 유명연예인이 주 검색요소가 되고, 나머지요소인 반지나 목걸이는 부차적인 검색요소로 되기 때문에 유명연예인을 검색이미지의 대표검색어로 만들어 낼 수가 있다. 이것은 매우 중요한 사실이다. 왜냐하면, 검색이미지가 들어왔을 때 기존의 검색방식은 구성요소분석방식이 아니므로 주 검색어를 찾는다는 것이 불가능했으므로 내용기반의 이미지 검색을 하면, 어떤 개체요소가 검색어로 될지 알 수가 없었다. 사람, 바위, 꽃, 반지, 목걸이… 이미지 내에 있는 어떤 개체도 아닌 통합 정밀 분석된 값으로 검색되어서 결과를 도출시키므로, 이미지검색에 매우 어려움을 느꼈다고 볼 수 있다.

도 6은 동영상/그래픽 변환모듈의 분석을 설명하는 블록 예시도로서, 동영상/그래픽변환모듈(502)에는 변환모듈(602), 동영상분석모듈(604), 그래픽분석모듈(606)로 이루어지고, 동영상분석모듈에는 동영상프레임이미지변환모듈(608)이 구비되며, 그래픽분석모듈에는 그래픽이미지변환모듈(610)이 구비된다.

이미지검색시스템은 입력되는 다차원의 입력자료를 분석이 용이한 이미지로의 변환이 필요하다. 예를 들어 동영상이미지나 애니메이션(Animation)이 검색이미지로 입력이 되었다면, 수많은 이미지의 시간적 결합으로 만들어진 자료에서 전체를 분석한 내용으로 검색할 것이 아니라면, 동영상 중에서 어떤 프레임을 선정해야 할 것이다. 이러한 행위를 가능하게 해주는 동영상프레임이미지변환모듈(608)이 이용될 수 있다. 또 다른 예로 그래픽이미지가 검색이미지로 입력된 경우를 보면, 그래픽(상품화, 정보 제공, 일러스트레이트, 엔터테인먼트를 위한, 벽, 캔버스, 컴퓨터 화면, 종이, 돌과 같은 어떠한 표면에 보여 줄 시각 표현을 말할 수 있는데. 예를 들면, 가공된 사진, 드로잉, 라인 아트, 그래프, 다이어그램, 타이포그래피, 숫자, 기호, 기하학 디자인, 지도, 도면, 포스터, 브로슈어, 기타 이미지 등으로 주로 예술적일 수 있다)은 전통적인 이미지보다는 설계되고 편집된 이미지를 의미하므로 이러한 이미지의 특징을 분석하고, 구성요소를 분석하려면 다중의 구성요소분석이 가능해야 한다. 그러므로 그래픽이미지를 표준적인 이미지로 변화하는 모듈을 이용할 필요가 있다.

도 7을 참조하면, 이미지특성분석모듈(504)에는 연접한윤곽선분석모듈(702), 이미지초점좌표분석모듈(704), 이미지광원초점좌표분석모듈(706)이 구비된다.

연접한윤곽선분석모듈(702)에서, 이미지의 검색은, 수많은 개체로 만들어진 이미지 조합체를 하나의 이미지로 입력시켜 놓고 무조건 검색해달라는 것과 같다.

이렇게 입력된 이미지는 “색특성분석방식”과 “질감특성분석” 그리고 “외형선특성분석방식”의 분석을 이용해서, 관심영역의 중심으로부터 방사상으로 검색해서 최소의 픽셀로 만들어진 “윤곽선”을 찾는다.

도 8을 참조하면, 연접한윤곽선분석모듈(702)에는 최소윤곽선분석모듈(802), 최소 윤곽선과연접한윤곽선분석모듈(804), 최소윤곽선그룹기반분석특성생성모듈(806)이 구비된다. 여기에서 도 8의 “최소윤곽선분석모듈”(802)에서 “최소윤곽선”이란, 같은 특징이 있는 픽셀들의 최소 조합을 말하는데, 단위픽셀로 만들어진 것도 최소윤곽선일 수 있다. 그러나 이러한 최소윤곽선은 검색이미지의 해상도나 크기를 컴퓨터가 최소윤곽선으로 분석하는데 용이한 픽셀수로 정의하여 실행할 수 있다.

이렇게 “색”과 “질감”과 “외형선”을 이용하여 찾아낸 정의된 “최소윤곽선”이 없다면, 보다 많은 픽셀로 만들어진 윤곽선의 조합을 검색이미지를 특성분석 하는 “초기값윤곽선”으로 이용할 수 있다. 이렇게 만들어진 “초기값윤곽선”을 이용하여 순차적으로 “연접윤곽선”을 찾는 방식이다.

도 8에서 말하는 “최소윤곽선과연접한윤곽선분석모듈”(804) 다시 말해 연접한 윤곽선이란 최소윤곽선을 포함하는 단일 연접선이거나 최소윤곽선과 연접한 윤곽선으로 최소윤곽선과 같거나 큰 윤곽선 모두를 1차 연접한 윤곽선이라 한다. 다음단계로 이제 각각의 연접한 윤곽선이 “2차 초기값윤곽선”이 된다. 그러면 2차 초기값 윤곽선에 연접하는 윤곽선을 모두 찾아낸다. 계속 반복하면 이미지 내에서 더 이상 연접하는 윤곽선을 찾을 수 없게 되었을 때 정지하고, 지금까지 만들어진 윤곽선들의 조합을 1차 최소윤곽선에 의해 만들어진 이미지 특성분석 소-그룹이라 한다. 이렇게 수차에 걸쳐서 만들어진 특성분석 소-그룹들을 “최소윤곽선그룹 기반분석특성생성모듈”(806)를 이용하여 관리 저장된다. 그런 다음 “다중개체구성요소분석모듈”(102)로 보내서 같은 조건을 만족하는 요소가 있는지 찾는다. 이것은 건축물을 만드는 것과 같아서 기둥이나 유리창을 하나 가지고 오더라도 이 개체들이 건물의 어느 곳에 들어가는지, 또한 다 만들어진 건물은 어떤 건물의 모습일지 알 수 없듯 하나의 초기값윤곽선이 만들어내는 소그룹으로는 만족하는 개체의 구성요소로 분석하기가 어려울 것이다. 하지만 계속해서 또 다른 “초기값윤곽선”을 이용해 같은 방법으로 실행한 후 #2번 소-그룹에 저장하고 이번에는 #1번 소-그룹과 2번 소-그룹의 특성 값을 만족하는 요소가 있는가 확인한다. 이와 같은 찾는 행위를 최소값윤곽 개수만큼 반복한다.

이렇게 해서 발견된 모든”초기값윤곽선”개수와 같은 개수의 입력된 정보의 분석특성값을 가지는 모든 소-그룹이 만들어지면, 이제는 이러한 소-그룹의 조합을 만들어서 “다중개체구성요소분석모듈”(102)에서 같은 구성요소특징을 가지는 데이터가 있는지 검색을 실행한다. 그러면 어떤 단계에서는 검색이미지에서 만들어진 분석자료가 “다중개체구성요소분석모듈”(102)에서도 같은 요소가 발견될 수 있다. 본 시스템에서는 이와 같이 초기값윤곽선소그룹이 만들어질 때마다 비교검색하고, 모든 초기값윤곽선소그룹이 만들어 졌을 때는 초기값윤곽선소그룹의 조합을 만들어서 검색을 한다.

이것을 다른 방법으로 설명하면, 검색이미지에서 10개의 “초기값윤곽선”이 발견되었다면, 1번” 초기값윤곽선”을 이용하여 자신을 포함한 연접한 윤곽선들로 하나의 투명한 층을 만들고 이를 만족하는 데이터가 있는지 확인한다. 그리고, 2번”초기값윤곽선”을 이용하여 자신을 포함한 연접한 윤곽선들이 모여있는 또 하나의 투명 아크릴층을 만들고 이를 만족하는 데이터가 있는지 확인한다. 이렇게 해서 10개의 아크릴층이 만들었다 하자. 이들의 아크릴층을 하나만 보면 어떤 것인지 알 수 없지만, 2개를 적층해 보면 보이지 않던 요소가 보일 수 있다. 하나를 더 적층해서 보면 또다시 보이지 않던 물체를 인식할 수 있을 것이다. 이런 식으로 아크릴층을 모두 적층해서 보면 좀더 개체의 분석을 용이하게 할 수 있다.

여기에서 10개의 층들의 조합으로 만들어 분석하면 좀더 정확한 분석을 할 수 있을 것이다. 여기에서 분석한 정보는 검색이미지분석을 구성요소로 분석한 것과 같다는 말이다. 다시 말해, 어떤 객체의 구성요소가 10,000개중 500개가 발견되었고, 또 어떤 객체의 구성요소가 500개중 20개가 발견될 수도 있다. 또 어떤 객체의 구성요소가…00개,…로 분석될 수 있다. 결국 컴퓨터는 입력된 이미지를 다중으로 분석하여 각 구성요소들의 조건을 만족하는 입력이미지구성요소와 유사한 이미지를 찾아내는 방식이다. 이렇게 분석된 층들의 조합을 변형시키면 좀더 정확한 구성요소분석이 가능해질 수 있다.

보충 설명하면, 윤곽선을 아무리 분석하였다 하더라도 어떤 개체의 요소인지 알기란 불가능하다. 그래서 앞에서도 언급했던 윤곽선간의 상관관계를 분석하는 것이 매우 중요하다. 상관관계는 이렇게 분석할 수 있다. 모든 윤곽선은 중심선을 가지고 있다. 그러나 이러한 윤곽선이 개체의 윤곽선으로 인정받기 위해서는 여러 층에서 만들어진 윤곽선의 중심선들이 겹칠 때 인정받을 수 있다. 이렇게 인정받은 윤곽선들의 상관관계를 분석하는 것이 구성요소를 분석할 수 있는 기초자료가 된다. 여기에서 말하는 상관관계란 발견된 인접한 윤곽선간의 가상의 중심선들이 만들어내는 다양한 다각형을 말할 수도 있다.

도 9를 참조하면, 이미지초점좌표분석모듈(704)에는 이미지초점분석모듈(902), 이미지초점값분석모듈(904),좌표값을이용한개체원형복원분석모듈(906)이 구비된다.

모든 물체나 개체는 입체로 만들어져 있으므로 촬영된 실사의 모든 이미지는 포커스(초점)를 가지게 된다. 이러한 상의 초점은, 동일한 시간과 공간 속에서 촬영되었어도, 이미지를 만드는 조건은 조금씩은 다를 수밖에 없다. 그러므로 정확하게 분석하면 초점은 같을 수가 없다. 따라서 검색이미지에 있는 모든 개체는 “고유의 구성요소”와 “고유의 초점좌표 값”으로 표시될 수도 있다.

도 5의 이미지특성분석모듈(504)에서 이미지초점좌표분석을 하기 위해서는 이미지초점분석을 먼저 수행해야 한다. 고유의 초점을 분석하기 위해서는 찍은 곳의 위치를 찾으면 된다. 이것은 찍은 곳과 반대쪽 방향에 이미지 다시 말해 상의 초점이 만들어지기 때문이다. 이미지의 초점은 이미지에서 어떤 개체의 측면에 있는 선을 연장시키면 바로 초점을 찾을 수가 있다. 예를 들어 주사위를 찍었다면 정면은 사각형으로 보이겠지만 우 측면은 사다리꼴로 보일 수 있다. 이미지 내에 있는 모든 사다리꼴들의 연장선을 따라가면 초점이 있을 것이다. 이렇게 윗면, 좌 측면 경사면들의 초점을 찾으면 3개의 초점에 모든 연장선들이 만들어질 것이다. 이것이 상의 x축, y축, z축의 좌표 값이 된다. “이미지초점값분석모듈”(904)은 이러한 좌표 값들을 찾아내는 모듈이다. 그러므로 이 3점의 초점에 수렴되지 않는 물체의 초점은 다른 값일 것이다. 그러므로 그러한 값들은 무시한다.

도 9에서 좌표 값을 이용한 개체원형분석복원분석모듈(906)은 모든 이미지의 이러한 “초점좌표값”은 어떤 물체의 3차원 분석에 매우 중요한 분석방법으로 적용될 수 있다. 어떤 물체를 삼차원으로 완벽하게 복원할 수 있다면, 그 물체가 어떤 모습으로 이미지가 만들어졌다 해도 구분해 낼 수가 있기 때문이다. 이러한 분석을 하려면 확보된 이미지에서 이미지초점을 찾아낸다면 완벽하게 복원할 수 있다. 한 장의 이미지는 보이는 모든 측면에서만 복원이 가능하므로 각기 다른 이미지가 많이 있다면 그건 완벽한 삼차원복원이 가능하다는 말이 된다.

다시 말해 이미지의 초점좌표를 알고 있다면 어떤 이미지의 측면이 초점좌표로부터 나온 각도에 의해 변형되어 보인다는 것을 알 수 있다. 그러므로 각도의 변화 량을 알고 있으므로 측면의 본래 모습을 재현하는데 전혀 문제가 없게 된다. 예를 들어 구성요소분석에서 나무 잎의 정면에 대해 특성분석 해놨는데, 검색이미지의 초점좌표분석이 없다면, 약간 비스듬하게 보이는 잎을 어떤 개체의 구성요소로 판단한다는 것이 쉽지가 않다. 그러나 이미지초점좌표를 알기 때문에 비스듬한 잎사귀에 “이미지초점촤표값”을 적용하면 정확한 정면의 모습으로 분석 복원해낼 수 있다. 이것이 구성요소 분석에서 모습이 다르더라도 구성요소의 분석을 쉽게 해주는 중요한 기술적 분석방법이다. 결론적으로 이미지구성요소와 구성요소의 상관관계로 개체의 이미지를 분석하는 본 특허에서는 매우 중요한 분석모듈이 된다.

다르게 설명해 보면, 입력한 이미지의 초점 값이 구좌표로(X=0.001, Y=0.001, Z=0.001) 이라고 하자. 이것을 DB에서 이미지를 검색했다. 만약 같은 것이 없다면 우리는 이와 비슷한 좌표를 검색한 이미지를 답으로 제시할 수 있다. 그러한 예로 여기에서 검색엔진이 제시한 유사이미지가 구좌표값이(X=0.005,Y=0.001,Z=0.001) 검색되었다고 하자. 이것을 분석하면 모든 값이 같고 X값만 + 0.004로 다른 것을 볼 수 있다. 이렇게 유사한 이미지가 검색될 수 있는 환경은 같은 장소에서 같은 기기로 찍을 때 만 발생할 수 있는 환경으로밖에 설명할 수가 없다. 사용자는 잘 모르겠지만 같이 찍은 사진 중 하나가 검색된 것으로 분석할 수 있다. 이렇게 분석하는 근거는 한쪽으로만 흔들림이 있었다고 분석했기 때문이다. 우리는 이 이미지에서 X=0.005값을 X=0.001로 변환해서 분석해보면 검색한 값과 거의 똑같은 이미지라는 것을 알 수 있을 것이다. 이와 같이 이미지의 초점은 시뮬레이션도 가능하게 하는 다양한 정보를 제공할 수 있다.

카메라의 초점은 유일무이하므로 사람의 지문과 같은 역할을 할 수 있다. 그러므로 이것을 이용해 이미지를 분석해서 찾는다면 같은 이미지는 100% 찾을 수 있다. 유사한 이미지도 매우 높은 확률로 찾아낼 수 있다. 그러나 모든 이미지가 초점이 명확하게 나타나는 것도 아니고 하나인 것도 아닐 수 있다. 촬영한 이미지 중 확대를 극대화할 때는 이미지초점의 분석이 어려울 수도 있고, 편집한 이미지나 그래픽이미지, 예술이나 창작한 이미지는 초점이 다중으로 발견될 수가 있다. 그러므로 초점이 다중 발견될 때는 구성요소의 특징분석과 광원의 초점을 같이 분석해서 이미지의 특성분석 효율성을 높일 수 있다.

도 10을 참조하면, 이미지광원초점좌표분석모듈(706)에는 광원직사광의분석모듈 (1002)과, 광원이만든그림자분석모듈(1004), 다초점광원에의한분석모듈(1006)이 구비된다.

이것은 직사 광으로 들어오는 빛이나 조명기구에 의한 빛들의 광원을 분석하는 직사광의광원분석모듈(1002)과, 다양한 광원들에 의해서 만들어지는 그림자의 특성을 분석하는 광원이만든그림자분석모듈(1004), 그리고 다양한 방향에서 나오는 광원의 분석 및 반사에 의해서 만들어지는 간접광원에서의 분석을 용이하게 해주는 다초점광원에의한분석모듈(1006)로 구성되어있다. 모든 이미지는 다중 또는 단독 광원(빛, 조명, 반사 등)의 초점을 가지고 있다. 세상의 모든 이미지는 빛에 의해서 만들어지므로 빛이 이미지에 미치는 영향을 알고 있다면, 좀더 정확한 개체정보분석결과를 제공할 수 있다.

그러므로, 빛의 초점은 이미지검색시스템의 정확도를 높일 수 있는 조건이 된다. 광원에 의한 “빛의초점좌표값”과, 광원에 의한 “그림자의초점좌표값”은 같은 “구(x,y,z,)좌표값”으로 표현된다. 주의할 요소는 이미지에 영향을 주는 광원이 매우 많다는 것이다. 원광이 있고, 반사되어 이미지에 조사되는 광원이 있다.

그뿐 아니라 빛은 입자의 특성과 파장의 특성을 가지고 있으므로 빛의 간섭이나, 사물의 인력에 대한 부분을 분석해서 “이미지광원초점분석”에 적용하고 있다.

광원의 초점을 분석해내는 방식은, 직사광에 의해서 만들어지는 선들의 연장선을 이용해서 빛의 초점을 찾아내고, 역시 개체의 그림자에 의해 만들어지는 선들의 연장선을 만들어서 초점을 분석하면 좀더 정확한 이미지의 “초점좌표값”을 만들 수 있다.

이미지의 광원에 의한 초점도 이미지고유의 초점 좌표 값과 마찬가지로 단일 이미지 내에서 주광에 의한 빛의 초점(x,y,z) 값으로 발견된다. 이들의 값이 바로 광원의 초점 좌표값인 x,y,z의 값을 의미한다. 당연한 말이지만, 이러한 좌표값은 이미지 내에 여러 곳이 발견될 수 있다. 주광말고도 다양한 광원이 있기 때문이다. 이러한 다양한 광원에 의한 빛의 간섭과 굴절에 대한 분석 값은 이미지내의 정확한 광원분석에 매우 중요한 요소가 된다.

어떤 개체의 구성요소를 분석하기 위해서는 구성요소들의 참값과 거짓값을 찾아내는 일은 매우 중요하다. 그러나, 구성요소를 분석하기 위해서 폐곡선을 찾아낼 때, 광원에서 나오는 광선과 그림자는 가상의 폐곡선을 수없이 많이 만들어낸다. 그러므로 광원의 초점으로 만들어지는 경계선, 다시 말해 광원의 초점으로부터 나오는 각과 같은 각을 가지는 경계선을 특성분석 프로그램에서 무시하라는 명령을 내리면, 이미지분석에서 적어도 그림자나 광선 때문에 발생하는 오류를 현격하게 줄일 수 있다.

도 11을 참조하면, 개체본질적구성요소분석모듈(506)에는 개체의색구성분석모듈 (1102), 개체의질감분석모듈(1104), 개체의윤곽선분석모듈(1106)이 구비된다.

다중개체구성요소분석모듈(404)에서는 개체본질적구성요소분석모듈(506)과 결합 조건적구성요소분석모듈(508)로 분류되며, 그 중에 개체본질적구성요소분석모듈 (506)은 또다시 개체의색구성특징(1102), 개체의질감특징(1104), 개체의윤곽선특징 (1106)등을 이용하여 모든 개체들의 구성요소들의 특성과 특징들을 분석해 놓았다. 사람을 예로 들어보자, 사람은 머리부분, 몸통부분, 사지의 3요소로 구성되어 있으며, 머리는 다시 머리카락, 이미, 눈썹, 미간, 코, 눈썹, 눈, 귀, 인중, 입, 입술, 이, 턱, 볼, 등으로 구성되어 있다. 눈은 다시 수정체, 동공, 각막, 홍체, 모양체, 유리체, 망막, 진대, 눈썹, 속눈썹 등으로 구성되어 있다. 수정체(Crystalline lens)는 표피, 상피세포, 수정체섬유, 체근, 수정체낭, 핵, 피질 등으로 구성되어있다. 더 낮은 단계로 구성요소를 분석해낼 수도 있다. 중요한 것은 누구라도 구성요소라는 것은 알고 있지만 어디까지가 눈이고, 코인지, 또는 입인지 알 수 없다는 것이다. 그렇기 때문에 공산품일 경우와 유기체나 자연을 대상으로 할 때는 구성요소간의 상관관계를 분석할 때 개체간의 중심선의 상관관계를 분석하는 것이 중요하며, 이들 상관관계가 만드는 다각형을 적용하여 특히 유기체중 경골을 가지는 개체들은 골격들이 만드는 상관관계를 분석하여 객체의 구성요소분석에 사용하는 것이 본 시스템의 특징이다.

또한, 이들 구성요소는 각각 색구성특징(1102), 질감특징(1104), 외형선특징 (1106)들을 가지고 있으며, 이들 구성요소들은 일정한 거리비율의 상관관계의 위치에 존재하는 특징을 가지고 있는 것으로 분석되어 있다. 이러한 객체들의 구성요소특징은 많은 이미지들을 분석하여 가장 표준적인 것을 기준으로 분석되어 있으며, 같은 구성요소 특징분석이라 할지라도 생로병사와, 희노애락적 요소를 분석하여 역시 각각의 개체간 상관관계를 고려하여 변화의 폭(대역/진폭)으로 분석되어 있다.

그러므로, 눈의 구성요소가 발견되었다 하더라도 눈을 구성하고 있는 요소들간의 거리비율이 변화의 대역폭 내에 있다면 개체가 사람인지, 원숭이인지, 돼지인지 등의 다른 개체로 오해될 경우는 매우 감소할 것이다.

예를 들면, 구성요소 중 눈썹의 요소가 발견되었다면 연접한 윤곽선조합에서 이마도 보일 것이고, 눈동자와 흰자위, 코 등이 연접한 윤곽선으로 나타날 것이다.

이러한 요소들의 분석은 최소윤곽선을 이용한 연접윤곽선의 소 그룹들의 다층분석으로 요소들간의 중심선과 위치를 확인할 수 있을 것이다. 이들 중심선들이 만들어내는 개체들의 특별한 상관관계들이 만드는 다각형으로 인하여 검색이미지에 알맞은 검색어 요소를 만들어낼 수 있다.

도 12를 참조하면, 개체의색구성특징분석모듈(1102)에는 히스트그램분석모듈(1202), 광원에의한명암분석모듈(1204), 색조,채도,명도분석모듈(1206)이 구비된다.

개체본질적구성요소분석모듈(506)은 구성요소의 가장 근간이 되는 색 구분을 어떻게 할 것인가를 설명하고 있는 것이 개체의색구성분석모듈(1102)이다. 여기에는 색 고유의 값으로 이미지를 분석하는 방식인 히스토그램분석모듈(1202)을 이용하며, 이미지 본래의 색을 찾아내기 위해서는 다양한 광원에 대한 영향을 적용해야 하는데 여기에서 분석하는 방법은 광원에의한명암분석모듈(1204)을 적용하고 있다. 또한 다양한 색으로 만들어진 이미지의 원색으로 복원하기 위해서는 색의 구성 자체를 분석해야 할 때도 있다. 이때 사용하는 방식이 색조,채도,명도분석모듈(1206)을 적용한다.

그러므로 본 시스템에서는 다양한 색으로 만들어진 이미지를 가지고 개체를 분석한다는 것은 정확한 색 분해는 당연하게 분석해야 하지만, 색에 영향을 주는 광원에 의한 명암이나 채도, 명도 등이 이미지에 미치는 부분을 분석해서 개체분석의 효율성을 높이도록 했다.

도 13을 참조하면, 개체의질감특징모듈(1104)에는 패턴질감특성분석모듈(1302), 거칠기질감특성분석모듈(1304), 입체특징분석모듈(1306)이 구비된다.

개체본질적구성요소분석모듈(506)은 개체마다 독특한 질감이 있는데 이것을 어떻게 질량적으로 판단할 것인가를 분석하기 위한 모듈인 개체의질감분석모듈(1104)에 대하여 설명하고 있다. 벽지, 옷감, 곡물, 대리석등은 고유한 패턴이 있는 질감을 가지고 있다. 이것을 정량 분석하는 것이 패턴질감특성분석모듈(1302)이다. 그리고 어떤 개체들은 패턴은 없지만 거친 정도나 부드러운 정도 등의 특성을 가지는 것도 있는데 이러한 것들을 분석하기 위하여 거칠기질감특성분석모듈(1304)를 가지고 있다. 이러한 거칠기나 패턴들이 어떤 규칙적인 배열을 가질 수 있는데 이러한 특성을 분석하는 모듈이 입체특징특성분석(1306)이다. 이러한 특징들로 질감의 특징을 분석한다.

도 14를 참조하면, 개체의윤곽선특징분석모듈(1106)에는 에지검출분석모듈(1402), 불필요한잡상제거분석모듈(1404), 의미적내용분석모듈(1406)이 구비된다.

개체본질적구성요소분석모듈(506)은 개체마다 독특한 윤곽선을 가지는데 이러한 개체의윤곽선특징분석모듈(1106)을 이용하여 개체의 구성요소를 찾아내는 설명을 하고 있다. 개체에서 윤곽선을 찾아내려면 이미지의 구분이 어떤 경계선으로 구분되는지 판단해야 한다. 이러한 판단을 하는 분석이 이미지에서 모서리를 찾는 에지검출분석모듈(1402)이다. 그리고 이미지를 분석하면 이미지분석에는 전혀 관계없는 요소들이 많이 있다. 예를 들어 광원에 의한 그림자, 빛의 간섭에 의한 색 변화 등이 있는데 이들을 제거하거나 무시하는 기능을 하는 모듈이 불필요한잡상제거분석모듈(1404)이다. 그리고, 본 시스템에서 가장 강조하는 요소인 이미지의 의미적 내용을 판단할 필요가 있다. 예를 들어 얼굴인식에 한정해서 보면 얼굴에는 눈, 코, 입, 귀 등의 길이와 두께, 머리카락의 색상 등이 정의되어 있다면 이러한 구성요소들의 관계를 분석할 수 있는 모듈이 필요한데 이것이”의미적내용분석모듈”이 제공하는 분석정보이다. 이것은 한정된 주제에서 검색할 경우에는 유효하지만 주제가 확대될 경우에도 적용하면 너무 많은 변수로 인해 검색이 무한루프에 빠질 수도 있으므로 적용범위를 제한하여 적용하는 것이 중요하다.

도 15를 참조하면, 결합조건적구성요소분석모듈(508)에는 개체간 주종관계모듈 (1502), 관심영역관계모듈(1504), 변형분석모듈(1506)이 구비된다.

다중개체구성요소분석모듈(404)에서는 개체본질적구성요소분석모듈(506)과 결합 조건적구성요소분석모듈(508)로 구분되어 분석되며, 그 중에 결합조건적구성요소 분석모듈(508)은 주로 구성요소분석 중 대표 검색어를 생성하기 위하여 가중치를 만들기 위한 분석방식이다. 개체간주종관계모듈(1502), 관심영역관계모듈(1504), 인위적비중관계모듈(1506)등과 같이 어떤 관계에 있는지를 분석하는 유형이다. 개체간주종관계모듈(1502)는 개체간 “주종관계가중치”라고 말할 수 있으며 이것은 모든 사물은 연관관계 또는 개체간 주종관계(수평관계, 결합관계 포함)등으로 구성되어 있다고 판단하는 기준이다.

예를 들어, 사람은 옷을 입고, 모자를 쓰며, 신발이나 양말 그리고 장갑 등등을 착용할 수 있다. 사람 입장에서 보면 이러한 물체나 개체는 사람과의 주종관계에 있다.

그러므로, 관심영역의 이미지에서 수많은 개체의 구성요소가 발견되더라도 사람의 구성요소가 한 개라도 발견된다면, 이 개체들은 사람을 구성하는 결합요소로 보고 사람이 착용하고 있는 것으로 생각하는 것이다. 이와 같은 경우를 주종관계에 있다고 할 수 있다. 이러한 경우 어떤 개체의 윤곽선(contour)의 합이 가장 크다 해도 그 개체가 주된 검색어로 될 수는 없다는 것이다.

만약, 인간의 구성요소가 하나도 발견되지 않았다면 그것은 종속관계가 해제되므로 구성요소가 많이 발견되었거나 개체윤곽선의합이 큰 개체(옷이나 모자,신발.. 등)가 주된 검색어로 당연하게 만들어진다. 이것을 주종관계의 가중치라 한다. 이러한 주종관계는 다양하게 만들어질 수 있다. 예를 들어 자동차와 수 천 가지의 부품들, 휴대폰과 수 백 개의 부품들, 개와 개를 치장하는 목걸이, 옷, 리본 등, TV의 스피커, 모니터, 스탠드 등, 수 백 개의 부품들, 나무와 나무에 기생하는 식물들, 밥상 위의 반찬, 수저,…, 등의 유연관계를 이해하면 정확도를 높일 수 있기 때문에 만들어진 가중치이다.

개체의 관심영역관계(1504)는“관심영역의가중치”와 같은 의미로 사용자의 입력한 이미지를 분석했을 때 어떤 개체의 윤곽선(contour)의 면적 합이 넓었을 경우, 다른 검색조건이 없다면 사용자의 관심개체를 윤곽선(contour)의 면적이 제일 넓은 개체를 대표검색어로 만들어 검색하는 방식을 말한다.

예를 들어, 일반적인 사람이 등장한 이미지를 “개체분석”해본 결과 사람의 구성요소 10,000개 중 300개, 반지의 구성요소 500개 중 200개, 목걸이의 구성요소 600개 중 300개로 구성된 것으로 분석되었다면, 여기에서 주된 검색어는 사람, 반지, 목걸이 중 당연하게 구성요소 비율이 제일 높게 검색된 목걸이가 될 수 있다. 그러나 각각 개체 구성요소의 윤곽선(contour) 면적의 합으로 보면 사람이 주인공으로 되는 검색어가 만들어진다. 이것은 윤곽선(contour)의 면적에 대한 가중치가 있기 때문이다. 다르게 말하면 구성요소에 면적을 고려해야만 주 관심부분을 이해했다고 보는 분석방식이다. 여기에서 사용되는 관심영역에는 면적, 이미지중심배치, 동일개체복수검색 등의 요소도 병용 적용될 수 있다.

개체의 “인위적비중관계”(1506)는 개체의 구성요소를 시간적 특성으로 분석할 때 일어나는 변수를 보완하기 위한 특성분석이다. 개체의 모든 구성요소는 자연적으로 변하는 요소가 있지만 강제적으로 변화시키는 방법이 있다. 어떤 구성요소를 외부의 힘을 빌어 더 낡아 보이게 하거나, 어떤 구성요소에 외부의 힘을 빌어 시간의 함수를 줄이는(젊어 보이게 하는)방식들이 있다. 또한, 어떤 개체를 복제하거나 모방을 할 경우 원본과 카피본의 차이를 분석하여 적용해줄 필요가 있다. 다른 예로는 창작작품이나 예술작품을 분류하거나 분석하는 정보를 제공할 필요가 있다. 이렇게 본질적이거나 결합적인 방법이 아닌 인위적인 작용이 구성요소분석에 장애요인으로 작용하는 것을 줄이기 위한 방법으로 적용하는 특성분석방식이다.

도 16을 참조하면, 개체별다중구성요소분석모듈(102)은 검색엔진(104)과 연결되고, 검색엔진에는 다차원인덱스발생기컴포넌트(1602), 검색인덱스(1604), 결과검색 구성요소(1606)가 구비된다.

이는 다차원이미지검색시스템(100)의 다른 실시형태로서, 시스템(100)의 대안의 측면은 검색엔진(104)이 결과검색컴포넌트(1006), 다차원인덱스발생기 컴포넌트 (1602), 및 검색인덱스(1604)를 포함할 수 있다는 것을 나타내고 있다.

동작을 설명하면, 이들 3개의 서브컴포넌트(1602, 1604, 1606)는 검색 질의와 관련하여 다차원 항목들을 동적으로 인덱싱 및 검색하는 것을 용이하게 해줄 수 있다.

상기한 바와 같이, 한 측면에서, 검색 엔진(104)은 검색가능 항목들로부터 시각적 정보를 추출하기 위해, 예를 들어, 결과검색컴포넌트(1606)를 통해 개체별다중구성요소분석 시스템을 이용할 수 있다. 다른 측면에서, 이러한 이미지 정보의 추출은 도 16에 나타낸 바와 같이 인덱싱 시스템의 일부로서 수행될 수 있다. 도 16에 나타낸 측면에 따르면, 다차원인덱스발생기컴포넌트(1602)는 데이터 항목(예를 들어, 이미지데이터, 동영상데이터, 그래픽데이터, 등)과 연관된 특징들에 기초하여 인덱스(1604)를 작성할 수 있다.

도 17을 참조하면, 개체별다중구성요소분석모듈(102)에는 이미지분석모듈(1702), 동영상분석(1706), 그래픽분석모듈(1710)이 구비되고, 다차원인덱스발생기컴포넌트 (1602)에는 이미지분석모듈(1704), 동영상분석모듈(1708), 그래픽분석모듈 (1712)이 구비되며, 개체별다중구성요소분석모듈(102)은 다차원인덱스발생기 컴포넌트(1602)와 연결되고 다차원인덱스 발생기컴포넌트(1602)는 검색인덱스 (1604)와 연결된다.

도 17의 시스템(100)의 개체별다중구성요소분석모듈(102)은 다차원인덱스발생기 컴포넌트(1602) 각각이 이미지분석모듈(1702,1704), 동영상분석모듈(1706,1708), 및 그래픽분석모듈(1710,1712)를 포함할 수 있다는 것을 나타내고 있다. 각각의 컴포넌트(102,1602)가 컨텐츠 분석기 컴포넌트(1702-1712)를 포함하는 것으로 도시되어 있지만, 입력 및 검색가능 항목들 내에 각각 포함된 특징들을 찾기 위해 개체별다중구성요소분석모듈(102)은 물론 다차원 인덱스 발생기(1602)에 의해서도 단일 세트의 컨텐츠 분석기 컴포넌트가 제공되어 이용될 수 있다는 것을 생각할 수 있다.

상기한 바와 같이, 서브컴포넌트(1702-1712) 각각에 의해 시스템은 입력은 물론 검색가능 항목으로부터 특징들을 추출할 수 있다. 한 측면에서, 이 특징 추출에 의해 사용자 입력이 분석될 수 있고 그 다음에 이 추출된 특징들로부터 검색 질의를 확정할 수 있다. 다른 측면에서, 이 특징 추출은 검색가능 항목들의 자동적이고 동적인 인덱싱을 용이하게 해준다.

바꾸어 말하면, 이 인덱싱 메카니즘에 따르면, 본 시스템은 검색가능 항목들로부터 특징들을 자동적으로 또는 동적으로 추출할 수 있고 그 다음에 하나의 특정 질의 또는 일련의 특정 질의에 기초하여 이 특징들이 검색될 수 있게 해준다.

개체별다중구성요소분석모듈(102)내의 이미지분석모듈(1702, 1704), 동영상분석모듈 (1706, 1708), 및 그래픽분석모듈(1710, 1712)은 모두 이미지 내의 식별된 패턴들로부터 추출되는 통계적 정보 및 선험적 지식에 기초하여 데이터의 패턴을 분류할 수 있는 기계 학습 및 추론(machine learning and reasoning, MLR)의 영역 내의 한 분야를 말할 수 있다. 종종, 분류된 패턴들은 적절한 다차원 공간에서의 점들을 정의하는 측정치들이거나 관찰 결과들의 그룹이다.

개체별다중구성요소분석시스템은 색구성 특징, 질감특징, 외형선 특징들을 이용하여 상기한 바와 같이 분류 또는 기술될 관찰 결과들을 수집한다. 또한, 개체별다중구성요소분석시스템은 추출된 특징들에 기초하여 관찰 결과들을 실제로 분류 또는 기술하는 분류 또는 기술 메카니즘을 포함할 수 있다. 이미지 분석은 개체별다중구성요소분석시스템에의 입력인 디지털 이미지에 관한 패턴 인식의 한 형태이다.

도 18을 참조하면, 결과구성컴포넌트(1802)에는 카테고리컴포넌트(1902), 필터 컴포넌트(1904), 순위지정컴포넌트(1906), 정렬컴포넌트(1908)이 구비된다.

다차원이미지검색시스템이 결과구성컴포넌트(1802)를 포함하고 있는 시스템(100)의 대안의 측면이 도시되어 있다. 동작을 설명하면, 결과구성컴포넌트(1802)는 결과를 원하는 방식으로 필터링, 정렬, 인덱싱, 순위 지정하고 그에 따라 디스플레이하는 것을 용이하게 해줄 수 있다. 한 구체적인 예에서, 본 발명의 특징은 검색 결과가 보다 이미지중심의 형태를 취할 수 있게 해주는 것이다.

예를 들어, 검색 결과로서 적어도 하나 이상의 이미지 형태로 제시될 수 있으며, 검색된 이미지에는 이미지의 어느 부분이 사용자가 검색 요구한 부분과 같은 부분이라는 것을 표시해줄 수도 있다. 동영상에서의 검색결과표기는 전통이미지처럼 별도의 자료로 표현하기가 어렵다. 왜냐하면 검색된 파일 전부를 봐야만 검색된 부분을 알 수 있기 때문이다.

그러므로 동영상에서의 검색결과 표기는 검색된 동영상의 시간 축에 동기 된 부분에 검색동영상이 나오는 부분에만 별도의 표시를 할 수 있다. 이것은 같은 동영상 내에서 여러 곳에서 검색결과가 각각 다르게 나타날 수 있기 때문이다. 그러므로 동일 동영상 내에 검색되는 모든 부분을 표시하는 것이 가장 좋은 방법이다. 그러면 사용자는 표시된 부분에서 플레이를 누르면 검색동영상(이미지)을 볼 수 있다.

여기에서도 동영상이미지마다 검색된 부분에 별도의 표시를 할 수도 있다. 물론 부분별로 보거나 나온 전체를 볼 수가 있다. 또한 발견되지 않은 부분만 “inverse”기능을 이용해 볼 수 도 있다. 그러므로 검색된 정보는 그에 따라 높은 파악성(glanceability)을 용이하게 해줄 수 있다.

동영상 검색의 예를 보자. 어떤 아이가 실종이 되었다. 그래서 주변의 녹화 자료를 확보했다. 혹시 발견될지 모르므로 본 시스템에 녹화자료를 등록한 후 실종아이의 이미지나 동영상자료를 검색이미지로 입력한다. 그리고 카테고리에서 내가 입력한 동영상(녹화자료)에서 검색하기를 지정한다. 그러면 그 동영상 내에서 실종된 아이의 정보가 나오는 모든 프레임을 보여 준다. 이렇게 분석하면, 수많은 CCTV정보도 순식간에 검색하여 실종 아이와 관련된 정보를 검색해낼 수 있다. 상기한 바와 같이 녹화자료 중 실종 아이와 관련된 부분만 볼 수가 있으므로 수많은 녹화자료에서 검색하는 시간을 현저하게 줄일 수 있다. 만약 실종 아이의 다른 모든 정보도 알고 싶다면 카테고리를 지정하지 않고 검색을 하면 실종 아이에 대한 공개되거나 노출된 모든 정보를 검색해낼 수 있다. 당연하지만 합법적인 방법 한도 내에서 실행한다.

또 다른 예를 보자. 나는 유명배우 “아놀드”의 팬이다. 그러나 그의 영화모두를 보기에는 시간이 부족하니까. 그 영화 중에서 “아놀드”가 나오는 곳만 본다고 했을 때. 사용자는 “아놀드”의 자료를 입력하고, 옵션으로 문화나 영화의 카테고리를 선택하면 그 영화배우가 나오는 모든 컨텐츠가 검색될 것이다. 그 검색된 모든 컨텐츠에서 “아놀드”가 나온 부분만 볼 수가 있다. 당연하게 영화 전체를 볼 수도 있고, 주인공이 등장하는 부분만 볼 수도 있고, 반대로 나오지 않는 부분만 볼 수도 있다. 이와 같은 것은 뮤직비디오에서 내가 좋아하는 “아이돌”이 나오는 부분의 뮤직비디오의 시청도 가능하게 해줄 수 있다.

도 19는 본 발명의 한 측면에 따른 예시적인 결과구성컴포넌트(1802)를 나타낸 것이다. 도시된 바와 같이, 결과구성컴포넌트(1802)는 카테고리컴포넌트(1902), 필터컴포넌트(1904), 순위지정컴포넌트(1906), 및 정렬컴포넌트(1908)를 포함할 수 있다. 이들 컴포넌트 각각은 원하는 우선순위 및 다차원 컨텍스트에 따라 검색 결과의 렌더링에 영향을 주는 데 사용될 수 있다.

예를 들어, 적어도 부분적으로 시간, 장소, 장치 컨텍스트(Context), 기타 등등에 기초하여 검색 결과들의 일부분을 관심영역에서 검색하기 위해 카테고리컴포넌트(1902)를 지정하거나, 자동적으로 필터링하기 위해 필터 컴포넌트(1904)가 이용될 수 있다. 각각의 시나리오에서, 필터 컴포넌트(1904)는 부수적인 다차원 요인들에 기초하여 적절한 정렬 또는 필터링 기준을 추론할 수 있다. 이와 유사하게, 결정되거나 추론된 컨텍스트 또는 부수적인 다차원 데이터에 기초하여 결과를 정리하기 위해 순위 지정 컴포넌트(1906) 및 정렬 컴포넌트(1908)가 이용될 수 있다.

도 20을 참조하면, 다차원이미지검색시스템(100)이 관심영역지정모듈(2000)를 포함하고 있는 시스템(100)의 대안의 측면이 도시되어 있다. 동작을 설명하면, 관심영역지정모듈(2000)은 내용기반으로 이미지 검색하려면, 제일 중요한 것이 입력된 이미지가 관심영역인지 확인하는 것이다. 이미지검색을 할 때 일반적으로 “관심영역”을 표시하지 않는다면, 이미지 전역에 걸쳐서 특성 값을 찾아내므로 전체를 이해하는 방법으로는 유효하지만 사용자가 관심을 갖는 대상을 중심으로 만들어진 특성 값이 아니므로 전혀 다른 특성 값으로 분석될 수 있다.

도 21을 참조하면, 이미지편집모듈(2102)과 검색이미지지정모듈(2104)은 연결되고, 이미지편집모듈(2102)에는 이미지관심영역지정모듈(21022), 동영상관심영역지정 모듈(210224), 그래픽관심영역지정모듈(21026)이 구비되며, 검색이미지지정모듈 (2104)에는 단독및다중지정모듈(21042), 동일개체이미지 지정모듈(21044)이 구비된다.

관심영역지정모듈(2000)은 관심영역을 이미지 내에서 지정할 수 있도록 해주는 이미지편집모듈(2102)과 이렇게 지정한 영역을 검색이미지로 지정해주는 검색이미지지정모듈(2104)로 구성되어 있다. 만약 입력된 자료 전체가 관심영역이라면 확인을 선택한다. 그러면 이미지의 관심영역은 전체가 될 수 있다.

그렇지 않을 경우 관심영역의 지정은 각각 이미지와 동영상이미지, 그래픽이미지 일 때 지정방법이 다르므로 아래에서 상세 설명할 것이다. 이렇게 관심영역으로 지정된 이미지는 단독및다중지정모듈(21042)에서 세부 지정하며, 검색이미지의 보다 정확한 정보를 구하기 위하여 동일한 개체의 다양한 이미지를 입력했다면, 동일개체이미지지정(21044)에서 이를 확인해 주면 검색을 용이하게 해줄 수 있다.

도 21에서 이미지편집모듈(2102)은 이미지관심영역지정(21022)에서 검색할 입력이미지의 전체영역이 관심영역과 일치한다면 그대로 확인하고 검색을 실행하면 된다. 그러나 입력한 이미지 중 관심영역 지정이 필요한 경우에는 따로 관심영역의 지정을 하면 된다. 이미지편집모듈(2102)에서는 이미지가 입력되면 자동적으로 초점을 가진 사각형의 박스(관심존박스)가 나타나는데, 이 관심존박스는 이미지의 중심에 있다. 그러므로 중심에 있는 개체이미지 검색을 원한다면 관심존박스의 크기를 조정하여 개체의 이미지에 맞춘 다음 확인을 입력하면 검색할 이미지가 지정이 된다. 중심에 있지 않다면 관심존박스를 이동하여 원하는 곳에 초점을 맞춘 후 크기를 지정하면 된다. 이러한 관심영역은 하나의 이미지에서 단독및다중지정모듈(20142)에 의해 “관심영역”으로 지정된 이미지를 “검색” 완료되고 난 후, 자동적으로 순차 “관심영역”지정된 이미지가 검색페이지로 지정되므로 사용자는 검색 실행하거나 취소할 수 있다.

도 21에서 동영상관심영역지정모듈(21024)은 일반 이미지 검색과는 다르게 동영상을 입력하여 검색하는 것이다. 동영상은 매우 많은 프레임이 시간 축과 연동된 이미지이므로 시간 축을 변화시켜야만 한다. 이러한 행위를 동영상을 동작(플레이)시킨다 라고 말한다. 이렇게 동작되는 동영상에서 관심이미지가 보이면 동작을 정지시킨다. 그러면 나타나는 프레임을 본 시스템에서는 동영상에서 입력된 이미지로 판단한다.

이렇게 동영상으로 입력된 검색이미지에서 관심영역의 지정이 없다면, 자동 생성된 ”관심존박스”가 나타났다 하더라도 검색을 실행하면 된다. 이것은 관심프레임의 이미지전체를 관심영역으로 판단하였다고 분석되기 때문에 선택된 프레임의 특성분석을 한 후 이미지의 검색을 실행한다.

만약 관심영역지정을 할 경우에는 스톱된 프레임에서 “관심존박스”를 이동시키고, 크기를 변화시킨 후 확인을 하면 동영상에서의 이미지검색이 실행되는 것이다.

만약 사용자가 동영상을 입력한 후 동영상을 동작시키지 않고 바로 검색을 실행하면, 본 시스템에서는 입력된 동영상 전체의 특성 값을 분석해서 결과를 도출해낸다. 이러한 경우 사용자는 입력한 동영상 전체를 분석한 결과이므로 원하는 결과가 아니라고 판단하면, 다시 동영상을 동작시켜 프레임형태의 동영상이미지 검색을 실행할 수 있다.

도 21에서 그래픽이미지관심영역지정(21026)은 그래픽이미지 즉, 조성된 이미지인데, 이것은 말 그대로 하나의 이미지를 변화시키거나 다중의 이미지를 가지고 하나의 이미지를 만든 경우를 말한다. 여기에서 말하는 그래픽(Graphic)이란 사진, 드로잉, 라인 아트, 그래프, 다이어그램, 타이포그래피, 숫자, 기호, 기하학 디자인, 지도, 도면, 포스터, 기타 이미지를 포함할 수 있다. 정의에서도 알 수 있듯 예술성이나 상업성이 많이 포함된 이미지를 그래픽이미지라 한다. 여기에서는 전통적인 의미에 기존의 이미지나 동영상에 별도의 이미지도구(예를 들면, 그래픽패드, 터치패드 등)를 이용하여 부가적인 의미를 부여하는 복합이미지도 포함하고 있다.

이러한 이미지가 입력되었다면 기존의 구성요소분석이나, 이미지초점, 광원초점 등의 특성분석은 그 검색 효율적인 면에서 매우 낮은 결과치를 만들어낼 수도 있다.

그러므로 이러한 경우에는 여기에서 관심영역은 복수로 선택하는 것이 좋은 결과를 만들어낼 수 있다. 예를 들면, 포스터이미지를 분석할 경우 이미지를 편집했으므로 이미지초점이 여러 개가 등장할 수 있으며, 광원의 초점도 다중으로 분석될 것이다. 뿐만 아니라 예술적인 부분도 포함될 수도 있다.

이러한 경우 사용자는 관심영역을 초점이 다른 사진을 모두 각기 선택하고, 예술적인 부분도 각기 선택한다면, 이들을 모두 만족하는 검색어를 만들어내므로 보다 사용자의 요구에 근접할 수 있는 결과를 추출해 낼 수 있다.

도 22를 참조하면, 다중이미지등록모듈(2200), 개체별다중구성요소분석모듈(102), 검색엔진(104)이 하나의 검색시스템(100)으로 구성된다.

다차원이미지검색시스템(100)이 다중이미지등록모듈(2200)을 포함하고 있는 시스템(100)의 대안의 측면이 도시되어 있다. 동작을 설명하면, 다중이미지등록모듈(2200)은 도 23에서 보는 것과 같이 두 가지 기능이 있다.

도 23을 참조하면, 다중이미지등록모듈(2302)와 이미지코드등록모듈(2304)가 연결되고, 이미지코드등록모듈(2304)에는 이미지코드연결카테고리설정모듈(23042), 이미지다중지정설정모듈(23044)이 구비된다.

하나는 다중이미지등록모듈(2302)을 이용하여 검색도구로 사용하는 것이 있다. 예를 들면, 수많은 CC-TV자료정보에서 어떤 특정인이 들어 있는 부분을 검색하거나, 실종자의 정보를 다양하게 입력한 후 그 실종자의 정보를 등록한 정보에서 검색할 때 매우 유용하게 정보분석을 할 수 있다.

결국 특정 등록정보 내에서 자료를 분석하거나 찾아내는 도구로 사용할 수 있다는 말이다. 다른 하나는 이미지코드등록모듈(2304)로 다양의 제품의 바코드나 QR코드처럼 어떤 특정한 이미지를 코드화해서 실생활에 이용하고자 하는데 목적이 있는 기능이다.

기존의 이미지검색시스템은 이미지만을 대상으로 모든 솔루션을 제공하기 때문에 자신의 홈페이지가 있어도 바로 연결할 방법이 없다. 여러 검색엔진을 같이 이용할 경우에는 별문제이지만 이미지검색시스템만 사용할 때는 이러한 문제를 가지고 있다.

이것을 보완하기 위하여 본 시스템은 대표이미지등록이라는 방법을 사용하고 있다. 이것을 본 시스템에서는 이미지코드라 정의한다. 이미지코드를 이용하는 방법은, 사용자가 판단하기에 자신이 정보를 제공하기에 가장 적합한 이미지를 선정한다.

다시 말하면, 이미지는 로고, 상표, 본인 싸인, 특별이미지, 명함, 고유이미지 등 자신이나 설명할 대상을 대표할만한 이미지를 선정한다. 입력한 다음 이미지코드연결카테고리설정모듈(23042)를 이용하여 연결할 매체(홈페이지, 블러그, 카페, 페이스북..등)를 설정/해제하면 된다. 그러면 어떤 사용자가 대표이미지로 등록한 이미지를 검색하면 본 시스템에서 지정한 연결매체로 연결해주는 기능이다.

대표 이미지들을 사용하는 예를 보면, 화가가 본인의 싸인을 대표이미지로 연결했다 하자, 어느 날 지나가는 사람이 벽에 걸려있는 그림이 너무 좋아서 그 예술가의 정보를 더 알고 싶었다. 그래서 혹시 연락처가 있나 보니까. 그런 것은 없고 이미지코드를 등록한 이미지에 표시되는 특별마크(예를 들어 ⓘ)표시가 있어서 그림의 싸인을 이미지 휴대폰으로 찍은 다음 검색했다면, 작품이 설명될 수 있는 화가 자신의 홈페이지나 갤러리로 고객을 연결해 다양한 자신의 예술세계를 보여줄 수 있다.

로고를 대표이미지로 입력한 회사(위 로고들 참조)는 사용자가 로고만 입력하면 회사 내의 다양한 광고나 이벤트는 물론, 기업설명을 할 수 있는 곳으로 연결해서 사업에 적극 이용할 수 있다. 또 다른 예로 간판을 입력했다면 지나가는 사람이 간판을 찍어서 이미지 검색하면 전화번호로 연결해줄 수도 있고, 오늘의 특선메뉴를 소개해줄 수도 있다. 교과서의 어떤 실험하는 사진을 대표이미지로 등록했다면, 이 실험이미지를 입력하면 책을 만든 저자가 지정한 실험실로 바로 연결해서 정확한 학습을 지도받을 수 있다. 또한, 명함을 대표이미지로 했다면 명함을 입력하는 사람에게 본인의 다양한 정보를 제공해줄 수 있다.

본 시스템에서 이미지의 등록은 어떤 장비나 기기의 설명에 이용하면 매우 유용하다. 오래된 기기에 안내되어있는 전화나 AS망의 연락처도 세월 앞에서는 그 진실성을 의심받을 수도 있으며, 나아가 제작사에게는 신뢰도를 떨어뜨리는 문제도 야기할 수 있는데, 이러한 오래된 기계나 장비 또는 가전제품이라도 본 시스템에서 “이미지코드”라고 대표이미지만 등록하면 아주 효율적인 생산제품의 관리를 할 수 있다. 이러한 것은 바코드나 QR코드가 인쇄나 등록되어 있지 않더라도 대표 이미지등록만 하고, 고객이 사진을 찍어 이미지 검색하면 자동연결 해준다는 메시지를 공지한다면 고품위의 서비스를 해줄 수 있다.

이것은 기존의 바코드나 QR코드를 이용하려면 필요했던 관련전문성도 필요 없다. 본인이 이미지를 찍어서 등록만 하면 되고, 언제라도 이미지 정보를 수정할 수 있는 장점이 있다. 옛날간판이나 광고탑이라도 이미지코드 등록만 하면 살아있는 광고를 해줄 수 있다는 말이다. 다시 말하면 기존의 방식은 RF칩이나 QR코드나 바코드 등을 미리 설치하지 않으면 불가능했던 것을 별도의 비용을 추가하지 않아도 스마트광고로 사용할 수 있음을 의미한다.

도 24를 참조하면, 본 발명에 따른 예시적인 컴퓨팅 환경(2400)의 개략 블록도가 도시되어 있다. 시스템은 하나 이상의 클라이언트(들)(2402)를 포함한다. 클라이언트(들)(2402)는 하드웨어 또는 소프트웨어(예를 들어, 쓰레드, 프로세스, 컴퓨팅 장치)일 수 있다. 클라이언트(들)(2402)는, 예를 들어, 본 발명을 이용함으로써 쿠키(들) 또는 연관된 컨텍스트 정보를 가지고 있을 수 있다.

시스템은 또한 하나 이상의 서버(들)(2404)를 포함한다. 서버(들)(2404)도 역시 하드웨어 및 소프트웨어(예를 들어, 쓰레드, 프로세스, 컴퓨팅 장치)일 수 있다. 서버(2404)는, 예를 들어, 본 발명을 이용함으로써 변환을 수행하는 쓰레드를 가지고 있을 수 있다. 클라이언트(2402)와 서버(2404) 간의 한가지 가능한 통신은 2개 이상의 컴퓨터 프로세스 간에 전송되도록 구성된 데이터 패킷의 형태로 되어 있을 수 있다.

데이터패킷은, 예를 들어, 쿠키 및 관련된 컨텍스트 정보를 포함할 수 있다. 시스템은 클라이언트(들)(2402)와 서버(들)(2404) 간의 통신을 용이하게 해주는 데 이용될 수 있는 통신 프레임워크(2406)(예를 들어, 인터넷 등의 전세계 통신 네트워크)를 포함한다.

통신이 유선(광 섬유를 포함함) 및 무선 기술을 통해 용이하게 될 수 있다. 클라이언트(들)(2402)는 클라이언트(들)(2402)에 로컬인 정보(예를 들어, 쿠키(들) 및 관련된 컨텍스트 정보)를 저장하는 데 이용될 수 있는 하나 이상의 클라이언트 데이터 저장소(들)(2408)와 연결되어 동작한다. 이와 유사하게, 서버(들)(1404)는 서버(2404)에 로컬인 정보를 저장하는 데 이용될 수 있는 하나 이상의 서버 데이터 저장소(들)(2410)에 연결되어 동작한다.

이러한 구성을 토대로 이미지검색과 이미지코드등록이 다음과 같은 흐름을 가질 수 있다.

도 25를 참조하면, 클라이언트로부터 이미지를 입력받는 단계 2501, 클라이언트로부터 상기 이미지의 관심영역을 입력받는 단계 2502, 클라이언트로부터 입력이미지검색여부를 입력받는 단계 2503이 차례로 진행된다.

클라이언트로부터 입력이미지등록여부를 입력받는 단계 2504, 상기 이미지에 대한 이미지특성인 윤곽선, 이미지초점좌표, 이미지광원좌표를 분석하는 단계 2505, 상기 이미지에 대한 색구성, 질감, 윤곽선에 대한 정보와 구성요소간 주종관계, 관심영역관계, 변형정보를 분석하여 이미지가중치를 부여하는 단계 2506이 차례로 수행된다.

상기 이미지에 대한 특성과 가중치를 색인으로 생성하는 단계 2507, 클라이언트로부터 이미지코드등록여부를 입력받는 단계 2508, 상기 이미지코드에 대한 연결카테고리를 입력받는 단계 2509가 차례로 진행된다.

클라이언트로부터 입력된 이미지를 이미지코드로 등록하는 단계 2510, 상기 이미지코드에 대한 색인과 링크된 정보를 데이터베이스에 저장하는 단계 2511이 차례로 수행된다.

또한, 상기 이미지의 카테고리에 대하여 카테고리설정여부를 입력받는 단계 2512, 카테고리를 입력받아 지정하는 단계 2513, 카테고리지정완료여부를 입력받는 단계 2514가 차례로 진행된다.

상기 이미지에 대한 이미지특성인 윤곽선, 이미지초점좌표, 이미지광원좌표를 분석하는 단계 2515, 상기 이미지에 대한 색구성, 질감, 윤곽선에 대한 정보와 구성요소간 주종관계, 관심영역관계, 변형정보를 분석하여 이미지가중치를 부여하는 단계 2516, 분석된 이미지의 특징들을 색인으로 생성하는 단계 2517이 차례로 수행된다.

미리 저장된 데이터베이스의 특징들과 상기 이미지의 특징들을 비교하여 이미지검색을 실행하는 단계 2518, 상기 특징들과 유사한 이미지들을 검색결과로 표시하는 단계 2519가 차례로 진행된다.

다음으로, 최소윤곽선을 이용하여 계속 연접한 윤곽선을 찾아내어 소그룹을 만드는 방법을 예시해본다.

도 26은 상단우측의 원본이미지에서 최소윤곽선이 5개가 발견되었다고 가정할 때 최소윤곽선들이 만들어내는 소그룹이 만들어지는 과정을 설명한 것이다. 1번 최소윤곽선이 세 번째 손가락일 경우 만들어낸 연접한 윤곽선들의 소그룹 #01, 2번 최소윤곽선이 네 번째 손가락일 경우 만들어낸 연접한 윤곽선들의 소그룹 #02, 3번 최소윤곽선이 다섯 번째 손가락일 경우 만들어낸 연접한 윤곽선들의 소그룹 #03, 4번 최소윤곽선이 오른쪽 눈동자일 경우 만들어낸 연접한 윤곽선들의 소그룹 #04, 5번 최소윤곽선이 왼쪽 눈동자일 경우 만들어낸 연접한 윤곽선들의 소그룹 #05를 도시한 것이다.

도 27은 도 26에서 최소윤곽선(폐곡선)을 이용하여 계속 연접한 윤곽선들을 찾아내어 최소윤곽선 #01, #02, #03, #04, #05가 만들어낸 소-그룹을 다층으로 만들어 분석하는 방법을 도시한 것이다. 이러한 소-그룹은 최소윤곽선의 수와 정확하게 일치한다. 이렇게 만들어진 소-그룹은 투명아크릴로 만든 다층의 레이어와 같아서 투명 아크릴층을 계속 적층해서 보면 어떤 개체의 구성요소 인지를 정확하게 분석해낼 수 있다. 그것은 윤곽선들이 만들어내는 중심선을 찾아내는 것으로 분석한다는 말이다. 왜냐하면 윤곽선 자체는 작은 변수인 빛이나 간섭 등에 의해서도 변할 수 있지만 윤곽선이 만들어내는 중심선은 상대적으로 변화가 적다는 것에 중점을 둔 분석방식이다. 이러한 것은 투명아크릴층으로 표현되는 최소윤곽선이 만들어낸 소-그룹의 다양한 조합으로 중심선들의 진위 여부를 분석할 수 있으므로 구성요소분석의 신뢰성을 높일 수 있다.

도 28에서 보면, 도 27에서 윤곽선들이 만들어내는 중심선들 중에서 연접한 중심선들을 연결하여 다각형을 만들어내면 개체 고유의 다각형 조합을 찾아낼 수도 있으며, 이러한 다각형들은 개체구성요소들간의 상관관계를 분석하는데 본 시스템에서 매우 중요한 기초 자료가 된다.

100 ; 검색시스템 102 ; 개체별다중구성요소분석모듈
104 ; 검색엔진 402 ; 입력자료 분석모듈
404 ; 다중개체 구성요소 분석모듈 502 ; 동영상/그래픽 데이터변환모듈
504 ; 이미지특성분석모듈 506 ; 개체본질적 구성요소분석모듈
508 ; 결합조건적 구성요소분석모듈 602 ; 변환모듈
604 ; 동영상분석모듈 606 ; 그래픽분석모듈
608 ; 동영상프레임이미지변환 610 ; 그래픽이미지변환
702 ; 연접한 윤곽선분석모듈 704 ; 이미지초점좌표 분석모듈
706 ; 이미지 광원초점좌표 분석모듈 802 ; 최소윤곽선분석모듈
804 ; 최소윤곽선과 연접한 윤곽선 분석모듈
806 ; 최소윤곽선 그룹기반 분석특성생성모듈
902 ; 이미지초점 분석모듈 904 ; 이미지초점값 분석모듈
906 ; 좌표값을 이용한 개체원형 복원분석모듈
1002 ; 광원직사광의 분석모듈 1004 ; 광원이 만든 그림자분석모듈
1006 ; 다초점 광원에 의한 분석모듈

Claims

이미지, 동영상, 그래픽에서 추출된 입력이미지의 색상, 질감, 외형으로부터 윤곽선 및 윤곽선들의 중심선간 상관관계를 분석하여 사전에 미리 분석해둔 개체의 구성요소간 윤곽선 및 윤곽선들의 상관관계를 비교하여 유사이미지를 검색하고 사용자에게 디스플레이하는 개체별다중구성요소분석을 이용한 내용기반 다차원이미지검색시스템.
입력된 데이터가 이미지인지, 동영상인지, 그래픽인지 여부를 분석하는 입력자료 분석모듈, 입력된 이미지, 동영상, 그래픽으로부터 윤곽선을 추출하여 분석하는 다중개체 구성요소 분석모듈을 가진 개체별 다중구성요소 분석모듈과;
상기 입력자료의 윤곽선정보와 데이터베이스에 저장된 자료의 윤곽선정보를 비교하여 유사여부를 판단하여 사용자에게 유사이미지정보를 제공하는 검색엔진으로 이루어진 개체별 다중구성요소분석을 이용한 내용기반 다차원이미지검색시스템.
제 2 항에 있어서,
상기 윤곽선분석모듈은 동영상이나 그래픽데이터를 이미지로 변환시키는 동영상/그래픽데이터변환모듈; 변환된 이미지의 특징을 추출하여 분석하는 이미지특성분석모듈을 포함하는 개체별 다중구성요소분석을 이용한 내용기반 다차원이미지검색시스템.
제 2 항에 있어서,
상기 다중개체 구성요소 분석모듈은 입력자료 자체적인 특징을 분석하는 개체본질적 구성요소분석모듈; 구성요소 간 상관관계를 분석하는 결합조건적 구성요소분석모듈을 포함하는 개체별 다중구성요소분석을 이용한 내용기반 다차원이미지검색시스템.
제 3 항에 있어서,
상기 동영상/그래픽 변환모듈은 동영상과 그래픽을 이미지로 변환하는 변환모듈; 미리 입력된 조건에 따라 동영상을 분석하는 동영상분석모듈; 미리 입력된 조건에 따라 그래픽을 분석하는 그래픽분석모듈을 포함하는 개체별 다중구성요소분석을 이용한 내용기반 다차원이미지검색시스템.
제 3 항에 있어서,
상기 이미지특성분석모듈은 최소 윤곽선에 연접한 윤곽선을 추출하여 분석하는 연접한 윤곽선분석모듈; 이미지의 초점좌표를 추출하는 이미지초점좌표분석모듈을 포함하는 개체별다중구성요소분석을 이용한 내용기반 다차원이미지검색시스템.
제 3 항에 있어서,
상기 이미지특성분석모듈은 최소 윤곽선에 연접한 윤곽선을 추출하여 분석하는 연접한 윤곽선분석모듈; 이미지의 광원초점좌표를 추출하는 이미지광원초점좌표분석모듈을 포함하는 개체별다중구성요소분석을 이용한 내용기반 다차원이미지검색시스템.
제 6 항에 있어서,
상기 연접한 윤곽선분석모듈은 입력자료에서 최소윤곽선을 추출하는 최소윤곽선분석모듈; 상기 최소윤곽선과 연접하는 다른 윤곽선을 추출하는 최소윤곽선과 연접한 윤곽선분석모듈; 다수의 최소윤곽선에 의해 만들어진 연접한 윤곽선 소그룹을 다양한 조합으로 추출하는 최소윤곽선 그룹기반 분석특성생성모듈을 포함하는 개체별 다중구성요소분석을 이용한 내용기반 다차원이미지검색시스템.
제 6 항에 있어서,
상기 이미지초점좌표분석모듈은 이미지의 초점을 추출하는 이미지초점분석모듈; 이미지의 초점값을 추출하는 이미지초점값분석모듈; 이미지의 초점 좌표값을 기준으로 개체원형을 복원하여 복원이미지를 생성하는 좌표값을 이용한 개체원형 복원분석모듈을 포함하는 개체별 다중구성요소분석을 이용한 내용기반 다차원이미지검색시스템.
제 6 항에 있어서,
상기 이미지광원초점좌표 분석모듈은 광원직사광을 추출하는 광원직사광의 분석모듈;
광원에 의한 그림자를 추출하는 광원이 만든 그림자분석모듈;
다초점광원에 의한 이미지영역을 분석하는 다초점광원에 의한 분석모듈을 포함하는 개체별다중구성요소분석을 이용한 내용기반 다차원이미지검색시스템.
제 4 항에 있어서,
상기 개체본질적구성요소분석모듈은 입력자료의 색구성을 분석하는 개체의 색구성분석모듈; 입력자료의 질감을 분석하는 개체의 질감분석모듈; 입력자료의 윤곽선을 분석하는 개체의 윤곽선분석모듈을 포함하는 개체별다중구성요소분석을 이용한 내용기반 다차원이미지검색시스템.
제 11 항에 있어서,
상기 개체의 색구성특징 분석모듈은 히스토그램을 분석하는 히스토그램분석모듈; 광원으로 인한 명암영역을 추출하는 광원에 의한 명암분석모듈; 색조, 채도, 명도를 추출하는 색조, 채도, 명도 분석모듈을 포함하는 개체별다중구성요소분석을 이용한 내용기반 다차원이미지검색시스템.
제 11 항에 있어서,
상기 개체의 질감분석모듈은 패턴질감을 추출하는 패턴질감특성분석모듈; 거칠기질감을 추출하는 거칠기질감특성분석모듈; 입체특징을 추출하는 입체특징분석모듈을 포함하는 개체별 다중구성요소분석을 이용한 내용기반 다차원이미지 검색시스템.
제 11 항에 있어서,
상기 개체의 윤곽선분석모듈은 에지를 검출하여 분석하는 에지검출분석모듈; 미리 설정된 불필요한 잡상을 제거하는 불필요한 잡상제거분석모듈; 구성요소간 관계분석을 위한 의미적내용 분석모듈을 포함하는 개체별다중구성요소분석을 이용한 내용기반 다차원이미지 검색시스템.
제 4 항에 있어서,
상기 결합조건적 구성요소분석모듈은 개체간 주종관계를 추출하는 개체간 주종관계모듈; 사용자로부터 입력된 관심영역인지 여부를 체크하는 관심영역관계모듈; 변형여부를 검출하여 변형영역을 추출하는 변형분석모듈을 포함하는 개체별 다중구성요소분석을 이용한 내용기반 다차원이미지 검색시스템.
제 1 항에 있어서,
상기 이미지, 동영상, 그래픽으로부터 적어도 둘 이상의 이미지를 등록시키기 위한 다중이미지등록모듈을 더 포함하는 개체별다중구성요소분석을 이용한 내용기반 다차원이미지 검색시스템.
클라이언트로부터 이미지를 입력받는 단계 2501;
클라이언트로부터 상기 이미지의 관심영역을 입력받는 단계 2502;
클라이언트로부터 입력이미지검색여부를 입력받는 단계 2503;
클라이언트로부터 입력이미지등록여부를 입력받는 단계 2504;
상기 이미지에 대한 이미지특성인 윤곽선, 이미지초점좌표, 이미지광원좌표를 분석하는 단계 2505;
상기 이미지에 대한 색구성, 질감, 윤곽선에 대한 정보와 구성요소간 주종관계, 관심영역관계, 변형정보를 분석하여 이미지가중치를 부여하는 단계 2506;
상기 이미지에 대한 특성과 가중치를 색인으로 생성하는 단계 2507;
클라이언트로부터 이미지코드등록여부를 입력받는 단계 2508;
상기 이미지코드에 대한 연결카테고리를 입력받는 단계 2509;
클라이언트로부터 입력된 이미지를 이미지코드로 등록하는 단계 2510;
상기 이미지코드에 대한 색인과 링크된 정보를 데이터베이스에 저장하는 단계 2511을 포함하는 개체별다중구성요소분석을 이용한 내용기반 다차원이미지검색방법.
제 17 항에 있어서,
상기 이미지의 카테고리에 대하여 카테고리설정여부를 입력받는 단계 2512;
카테고리를 입력받아 지정하는 단계 2513;
카테고리지정완료여부를 입력받는 단계 2514;
상기 이미지에 대한 이미지특성인 윤곽선, 이미지초점좌표, 이미지광원좌표를 분석하는 단계 2515;
상기 이미지에 대한 색구성, 질감, 윤곽선에 대한 정보와 구성요소간 주종관계, 관심영역관계, 변형정보를 분석하여 이미지가중치를 부여하는 단계 2516;
분석된 이미지의 특징들을 색인으로 생성하는 단계 2517;
미리 저장된 데이터베이스의 특징들과 상기 이미지의 특징들을 비교하여 이미지검색을 실행하는 단계 2518;
상기 특징들과 유사한 이미지들을 검색결과로 표시하는 단계 2519를 더 포함하는 개체별 다중구성요소분석을 이용한 내용기반 다차원이미지검색방법.