KR101307325B1 - System for dual-searching image using region of interest set - Google Patents
System for dual-searching image using region of interest set Download PDFInfo
- Publication number
- KR101307325B1 KR101307325B1 KR1020110102966A KR20110102966A KR101307325B1 KR 101307325 B1 KR101307325 B1 KR 101307325B1 KR 1020110102966 A KR1020110102966 A KR 1020110102966A KR 20110102966 A KR20110102966 A KR 20110102966A KR 101307325 B1 KR101307325 B1 KR 101307325B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- search
- information
- user
- global feature
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Abstract
본 발명은 관심영역 설정을 이용한 이미지 이중 검색 시스템에 관한 것으로서, 이미지 검색을 위해 사용자의 조작을 통해 입력받은 이미지촬영 요청정보를 촬영모듈로 인가하고, 이미지 검색을 위해 사용자의 조작을 통해 입력받은 이미지색인 요청정보를 영상선택모듈로 인가하는 메뉴선택모듈; 이미지촬영 요청정보를 인가받아 정지영상 이미지 또는 동영상 이지미 중에 어느 하나의 이미지를 촬영하여 이미지정보를 생성하는 촬영모듈; 이미지색인 요청정보 또는 사용자의 조작을 통해 입력받은 이미지색인 요청정보와 대응하는 이미지정보를 내부 저장소로부터 색인하여 출력하는 영상선택모듈; 및 색인된 이미지정보에 포함된 특징(이하, '전역 특징소')들을 추출하고, 정보통신망을 통해 접속된 웹사이트로부터 전역 특징소와 대응하는 상품이미지(이하, '전역 특징소 검색이미지')를 검색하여 출력하며, 사용자의 조작에 따라 입력받은 상세검색 요청정보에 따라 전역 특징소 검색이미지와 대응하는 상품정보를 검색하여 출력하는 전역 특징소 검색모듈;을 포함한다.The present invention relates to an image dual retrieval system using a region of interest setting. The present invention relates to image capturing request information received through a user's operation for image retrieval to a photographing module, and an image received through a user's operation for image retrieval. A menu selection module for applying the index request information to the image selection module; A photographing module configured to generate image information by capturing any one of a still image image or a moving image image by receiving image photographing request information; An image selection module for indexing and outputting image index request information or image information corresponding to image index request information input through a user's operation from an internal storage; And extracting features (hereinafter referred to as "global features") included in the indexed image information, and corresponding product images (hereinafter referred to as "global feature search images") from the website connected through the information communication network. And a global feature search module for searching for and outputting the product information corresponding to the global feature search image according to the detailed search request information received according to the user's manipulation.
Description
본 발명은 관심영역 설정을 이용한 이미지 이중 검색 시스템에 관한 것으로 더욱 상세하게는, 복수개의 이미지로부터 사용자의 조작에 따라 선택된 전역특징 이미지와 대응하는 상품정보를 검색하고, 전역특징 이미지로부터 사용자의 조작에 따라 선택된 관심영역과 대응하는 영역인 지역특징 이미지와 대응하는 세부상품정보를 이중으로 검색하는 기술에 관한 것이다.The present invention relates to an image dual retrieval system using a region of interest setting. More particularly, the present invention relates to a product information corresponding to a global feature image selected according to a user's operation from a plurality of images, and to the user's operation from the global feature image. Accordingly, the present invention relates to a technique for searching for a double feature of local feature image and detailed product information corresponding to a region of interest selected.
일반적으로 이미지 검색은 사용자로부터 입력받은 검색어와 대응하는 이미지를 저장된 복수개의 이미지들로부터 색인하여 검색하거나, 입력받은 검색어와 대응하는 이미지를 정보통신망을 통해 접속된 웹사이트의 검색엔진을 통해 검색하게 된다.In general, an image search is performed by searching an image corresponding to a search word input from a user from a plurality of stored images, or searching an image corresponding to the input search word through a search engine of a website connected through an information communication network. .
예컨대, 검색 사이트인 네이버(http://naver.com)의 경우, 입력된 검색어가 텍스트로 포함된 HTML 파일에 존재하는 이미지 검색 결과를 제공하고, 검색된 이미지들 중 하나를 클릭하게 되면, 클릭한 이미지가 포함되어 있던 포토앨범, 카페 또는 블로그 등의 페이지를 제공하는 형태이다.For example, in the case of a search site, Naver (http://naver.com), an input search query provides an image search result present in an HTML file including text, and when one of the searched images is clicked, It is a form that provides a page such as a photo album, a cafe, or a blog including an image.
그러나, 상술한 검색 사이트들은 검색어를 입력하는 경우 관련된 이미지들을 제공하고 있지만, 사용자는 일반적으로 한두 개의 검색어에 의존하는 경우가 대부분이며, 검색 결과도 해당 이미지가 존재하던 웹 페이지를 출력하는 데 그치고 있어서 원하는 정보를 검색하는 데 한계가 있었다.However, the above-mentioned search sites provide related images when a search term is input, but a user generally relies on one or two search terms, and the search results only output a web page in which the image exists. There was a limit to searching for the desired information.
이처럼, 종래의 검색엔진들에서 이미지를 통한 정보의 상세 검색이 불가능했던 이유는 종래의 검색엔진들이 이미지파일, 파일명, 출처인 웹페이지의 URL 또는 해당하는 웹페이지에 존재하는 텍스트 정도만을 자체의 이미지 데이터 관리 데이터베이스에 저장하는 데 그치고 있기 때문이며, 이미지 데이터 관리 데이터베이스에 저장된 텍스트정보들을 활용한 추가적인 검색은 불가능하기 때문이다.As such, the reason why the detailed search of the information through the image is not possible in the conventional search engines is that the conventional search engines can only image the image file, the file name, the URL of the web page that is the source, or the text of the corresponding web page. This is because it is only stored in the data management database, and further retrieval using text information stored in the image data management database is impossible.
근래 들어 단순히 검색어와 대응하는 이미지에 대한 검색결과를 제공하는데 그치지 않고, 검색된 이미지로부터 추가 검색결과를 제공하는 기술에 대해 다양한 연구개발이 이루어지고 있으며, 대한민국 공개특허공보 제10-2004-0098419호(핸드폰 카메라와 이미지 검색/판별 시스템을 이용한 정보제공 서비스 방법) 외에 다수가 개시되어 있다.Recently, various research and developments have been made on technology for providing an additional search result from the searched image, instead of simply providing a search result for an image corresponding to a search word, and Korean Patent Publication No. 10-2004-0098419 ( A method of providing an information service using a mobile phone camera and an image retrieval / discrimination system) is disclosed.
도 1에 도시된 바와 같이, 선행특허는 핸드폰 카메라에서 찍은 이미지를 이미지 검색/판별 시스템에 맞는 이미지로 변화하여 전송하는 단계; 검색/판별된 내용을 핸드폰 카메라에 적합한 정보로 가공하여 전송하는 단계; 이미지 검색/판별 시스템의 이미지 데이터를 가공 및 저장하는 단계; 이미지 검색/판별 시스템의 이미지를 검색하고 판별하는 단계;로 이루어지는 핸드폰 카메라와 이미지 검색/판별 시스템을 이용한 정보제공 서비스 방법을 제공하고 있다.As shown in Figure 1, the prior patent is to convert the image taken by the mobile phone camera to an image suitable for the image retrieval / identification system for transmitting; Transmitting the searched / determined information into information suitable for a mobile phone camera; Processing and storing image data of the image retrieval / discrimination system; It provides a method of providing information service using a mobile phone camera and an image search / discrimination system consisting of; searching and determining the image of the image search / discrimination system.
즉, 선행특허는 사용자가 촬영한 이미지를 이미지 검색/판별 시스템으로 전송하고, 이를 수신한 이미지 검색/판별 시스템이 이미지에 대한 정보와 사용자가 원하는 정보를 검색하여 피드백하는 구성이다.That is, the prior patent is a configuration that transmits the image photographed by the user to the image search / discrimination system, the image search / discrimination system receiving the received information and retrieves the information about the image and the user desired information.
그러나, 이러한 이미지 검색/판별 시스템은 사용자가 검색하고자 하는 이미지와 매칭되는 정보가 첨부된 이미지를 미리 저장하고 있지 않은 경우에는, 사용자가 원하는 이미지를 검색하여 제공해주지 못하며, 별도의 통신수행을 거쳐야만 하는 문제점이 있다.However, such an image search / determination system does not store and provide an image desired by the user when the user does not store an image attached with information matching the image to be searched in advance. There is a problem.
본 발명은 상기와 같은 문제점을 해결하고자 안출된 것으로, 복수개의 이미지로부터 사용자의 조작에 따라 선택된 전역특징 이미지와 대응하는 상품정보를 검색하고, 전역특징 이미지로부터 사용자의 조작에 따라 설정된 관심영역과 대응하는 영역인 지역특징 이미지와 대응하는 세부상품정보를 이중으로 검색함으로써, 직관적이고 간단한 조작을 통해 사용자에게 정확하고 세부적인 이미지검색 및 상품정보 결과를 제공하는데 그 목적이 있다.SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and searches for product information corresponding to a global feature image selected according to a user's operation from a plurality of images, and corresponds to a region of interest set according to a user's operation from the global feature image. The purpose is to provide accurate and detailed image retrieval and product information results to the user through intuitive and simple operation by searching the local feature image and the detailed product information corresponding to the area.
이러한 기술적 과제를 달성하기 위한 본 발명의 관심영역 설정을 이용한 이미지 이중 검색 시스템은, 이미지 검색을 위해 사용자의 조작을 통해 입력받은 이미지촬영 요청정보를 촬영모듈로 인가하고, 이미지 검색을 위해 사용자의 조작을 통해 입력받은 이미지색인 요청정보를 영상선택모듈로 인가하는 메뉴선택모듈; 이미지촬영 요청정보를 인가받아 정지영상 이미지 또는 동영상 이지미 중에 어느 하나의 이미지를 촬영하여 이미지정보를 생성하는 촬영모듈; 이미지색인 요청정보 또는 사용자의 조작을 통해 입력받은 이미지색인 요청정보와 대응하는 이미지정보를 내부 저장소로부터 색인하여 출력하는 영상선택모듈; 및 색인된 이미지정보에 포함된 특징(이하, '전역 특징소')들을 추출하고, 정보통신망을 통해 접속된 웹사이트로부터 전역 특징소와 대응하는 상품이미지(이하, '전역 특징소 검색이미지')를 검색하여 출력하며, 사용자의 조작에 따라 입력받은 상세검색 요청정보에 따라 전역 특징소 검색이미지와 대응하는 상품정보를 검색하여 출력하는 전역 특징소 검색모듈;을 포함한다.
Image dual retrieval system using the ROI setting of the present invention for achieving the technical problem, the image acquisition request information received through the user's operation for image retrieval to the recording module, and the user's operation for image retrieval A menu selection module for applying the image index request information received through the image selection module; A photographing module configured to generate image information by capturing any one of a still image image or a moving image image by receiving image photographing request information; An image selection module for indexing and outputting image index request information or image information corresponding to image index request information input through a user's operation from an internal storage; And extracting features (hereinafter referred to as "global features") included in the indexed image information, and corresponding product images (hereinafter referred to as "global feature search images") from the website connected through the information communication network. And a global feature search module for searching for and outputting the product information corresponding to the global feature search image according to the detailed search request information received according to the user's manipulation.
그리고, 전술한 바와 같은 시스템을 기반으로 하는 본 발명의 관심영역 설정을 이용한 이미지 이중 검색 방법은, 메뉴선택모듈이 이미지 검색을 위해 사용자의 조작을 통해 입력받은 이미지촬영 요청정보를 촬영모듈로 인가하고, 이미지 검색을 위해 사용자의 조작을 통해 입력받은 이미지색인 요청정보를 영상선택모듈로 인가하는 (a) 단계; 촬영모듈이 메뉴선택모듈로부터 이미지촬영 요청정보를 인가받아 정지영상 이미지 또는 동영상 이지미 중에 어느 하나의 이미지를 촬영하여 이미지정보를 생성하는 (b) 단계; 영상선택모듈이 메뉴선택모듈로부터 인가받은 이미지색인 요청정보 또는 사용자의 조작을 통해 입력받은 이미지색인 요청정보와 대응하는 이미지정보를 내부 저장소로부터 색인하여 출력하는 (c) 단계; 전역 특징소 검색모듈이 영상선택모듈에 의해 색인된 이미지정보에 포함된 전역 특징소들을 추출하고, 정보통신망을 통해 접속된 웹사이트로부터 전역 특징소와 대응하는 전역 특징소 검색이미지를 검색하여 출력하는 (d) 단계; 및 전역 특징소 검색모듈이 사용자의 조작에 따라 입력받은 상세검색 요청정보에 따라 전역 특징소 검색이미지와 대응하는 상품정보를 검색하여 출력하는 (e) 단계;를 포함한다.In the dual image retrieval method using the ROI setting of the present invention based on the system as described above, the menu selection module applies the image capturing request information received through the user's operation to retrieve the image to the capturing module. (A) applying image index request information input through a user's manipulation to search for an image to an image selection module; (B) the photographing module receives image request information from the menu selection module and photographs any one of a still image image or a moving image image to generate image information; (C) the image selection module indexing and outputting image index request information received from the menu selection module or image information corresponding to the image index request information received through a user's operation from an internal storage; The global feature search module extracts the global features included in the image information indexed by the image selection module, and retrieves and outputs the global feature search images corresponding to the global features from a website connected through the information communication network. (d) step; And (e) searching and outputting, by the global feature search module, product information corresponding to the global feature search image according to the detailed search request information received according to a user's operation.
상기와 같은 본 발명에 따르면, 복수개의 이미지로부터 사용자의 조작에 따라 선택된 전역특징 이미지와 대응하는 상품정보를 검색하고, 전역특징 이미지로부터 사용자의 조작에 따라 설정된 관심영역과 대응하는 영역인 지역특징 이미지와 대응하는 세부상품정보를 이중으로 검색함으로써, 직관적이고 간단한 조작을 통해 사용자에게 정확하고 세부적인 이미지검색 및 상품정보 결과를 제공하는 효과가 있다.According to the present invention as described above, the product information corresponding to the global feature image selected according to the user's operation is retrieved from the plurality of images, and the local feature image which is an area corresponding to the ROI set according to the user's operation from the global feature image. By searching the detailed product information corresponding to and double, it is effective to provide accurate and detailed image search and product information results to the user through an intuitive and simple operation.
도 1은 종래의 핸드폰 카메라와 이미지 검색/판별 시스템을 이용한 정보제공 서비스 방법을 도시한 구성도.
도 2는 본 발명에 따른 관심영역 설정을 이용한 이미지 이중 검색 시스템을 도시한 구성도.
도 3은 본 발명에 따른 관심영역 설정을 이용한 이미지 이중 검색 시스템의 메뉴선택모듈을 도시한 예시도.
도 4는 본 발명에 따른 관심영역 설정을 이용한 이미지 이중 검색 시스템의 전역 특징소 검색모듈을 도시한 예시도.
도 5는 본 발명에 따른 관심영역 설정을 이용한 이미지 이중 검색 시스템의 관심영역 설정모듈을 도시한 예시도.
도 6은 본 발명에 따른 관심영역 설정을 이용한 이미지 이중 검색 방법을 도시한 순서도.
도 7은 본 발명에 따른 관심영역 설정을 이용한 이미지 이중 검색 방법의 제S50단계 이후과정을 도시한 순서도.1 is a block diagram showing an information providing service method using a conventional mobile phone camera and the image search / identification system.
2 is a block diagram illustrating an image dual retrieval system using the ROI setting according to the present invention.
3 is an exemplary diagram illustrating a menu selection module of an image dual retrieval system using the ROI setting according to the present invention.
4 is an exemplary view showing a global feature search module of the image dual search system using the ROI setting according to the present invention.
5 is an exemplary view showing a region of interest setting module of the image dual search system using the region of interest setting according to the present invention.
FIG. 6 is a flowchart illustrating a method for image dual retrieval using the ROI setting according to the present invention. FIG.
FIG. 7 is a flowchart illustrating a process subsequent to step S50 of the method of performing a dual image search using the ROI setting according to the present invention; FIG.
본 발명의 구체적인 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 발명자가 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 할 것이다. 또한, 본 발명에 관련된 공지 기능 및 그 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.Specific features and advantages of the present invention will become more apparent from the following detailed description based on the accompanying drawings. Prior to this, terms and words used in the present specification and claims are to be interpreted in accordance with the technical idea of the present invention based on the principle that the inventor can properly define the concept of the term in order to explain his invention in the best way. It should be interpreted in terms of meaning and concept. It is to be noted that the detailed description of known functions and constructions related to the present invention is omitted when it is determined that the gist of the present invention may be unnecessarily blurred.
도 2에 도시된 바와 같이 본 발명에 따른 관심영역 설정을 이용한 이미지 이중 검색 시스템(S)은 사용자단말기(100)에 의해 촬영 또는 색인된 복수개의 이미지로부터 사용자의 조작에 따라 선택된 전역특징 이미지와 대응하는 상품정보를 검색하고, 검색된 전역특징 이미지로부터 사용자의 조작에 따라 설정된 관심영역과 대응하는 영역인 지역특징 이미지와 대응하는 세부상품정보를 검색하되, 메뉴선택모듈(110), 촬영모듈(120), 영상선택모듈(130), 전역 특징소 검색모듈(140), 관심영역 설정모듈(150) 및 지역 특징소 검색모듈(160)을 포함하여 구성된다.As shown in FIG. 2, the image dual retrieval system S using the ROI setting according to the present invention corresponds to a global feature image selected according to a user's operation from a plurality of images photographed or indexed by the user terminal 100. Search for product information, and search detailed product information corresponding to a region feature image corresponding to a region of interest set according to a user's operation from the searched global feature image, but the
구체적으로, 메뉴선택모듈(110)은 도 3에 도시된 바와 같이 이미지 검색을 위해 사용자의 조작을 통해 입력받은 이미지촬영 요청정보를 촬영모듈(120)로 인가하고, 이미지 검색을 위해 사용자의 조작을 통해 입력받은 이미지색인 요청정보를 영상선택모듈(130)로 인가한다.In detail, the
이때, 메뉴선택모듈(110)은 사용자단말기(100)의 디스플레이 창에 버튼 형태로 출력되며, 사용자의 조작을 통해 입력받은 터치신호에 대응하도록 이미지를 촬영하도록 제어하는 이미지촬영 요청정보 및 이미지를 색인하도록 제어하는 이미지색인 요청정보를 생성한다.At this time, the
또한, 촬영모듈(120)은 메뉴선택모듈(110)로부터 이미지촬영 요청정보를 인가받아 정지영상 이미지 또는 동영상 이지미 중에 어느 하나의 이미지를 촬영하여 이미지정보를 생성한다. 이때, 생성된 이미지정보는 사용자단말기(100)의 내부 저장소에 자동으로 저장되며, 복수개의 이미지정보들은 앨범형태로 관리된다.In addition, the
또한, 영상선택모듈(130)은 메뉴선택모듈(110)로부터 인가받은 이미지색인 요청정보 또는 사용자의 조작을 통해 입력받은 이미지색인 요청정보와 대응하는 이미지정보를 내부 저장소로부터 색인하여 출력한다.In addition, the
또한, 전역 특징소 검색모듈(140)은 영상선택모듈(130)에 의해 색인된 이미지정보에 포함된 특징(이하, '전역 특징소')들을 추출하고, 정보통신망을 통해 접속된 웹사이트로부터 상기 전역 특징소와 대응하는 상품이미지(이하, '전역 특징소 검색이미지')를 검색하여 출력하며, 도 4에 도시된 바와 같이 사용자의 조작에 따라 입력받은 상세검색 요청정보에 따라 전역 특징소 검색이미지와 대응하는 상품정보를 검색하여 출력한다.In addition, the global
여기서, 전역 특징소는 이미지정보를 다차원 벡터이미지(vector image)로의 변환을 통해 점과 선분(베지어 곡선)을 추출하여 형성한 윤곽선과 윤곽선 내부의 색상 및 패턴을 추출한 값이다.Here, the global feature is a value obtained by extracting a contour and a color and pattern inside the contour formed by extracting points and line segments (Bezier curves) by converting image information into a multidimensional vector image.
또한, 전역 특징소 검색이미지는 전역 특징소에 포함된 값이 기 설정된 범위 이내인 경우 전역 특징소 검색이미지인 것으로 상정하여 검색되며, 상품정보는 검색된 전역 특징소 검색이미지와 대응하는 상품의 제품명, 제조사명, 제품소재, 제품색상, 제품사이즈 또는 판매가격 중에 어느 하나의 데이터를 포함한다.In addition, the global feature search image is searched assuming that it is a global feature search image when the value included in the global feature is within a predetermined range, and the product information is searched for the product name of the product corresponding to the searched global feature search image, The data includes any one of the manufacturer's name, product material, product color, product size or sales price.
예컨대, 전역 특징소 검색모듈(140)에 의해 추출된 전역 특징소에 포함된 값이 '00010'인 경우 기 설정된 범위는 '00001' 내지 '00011'와 같이 설정될 수 있고, 전역 특징소 검색이미지는 기 설정된 범위 이내의 전역 특징소 값을 갖는 이미지 즉, 유사 디자인 이미지들에 한하여 검색된다. 이때 기 설정 범위는 사용자의 조작을 통해 변경이 가능하다.For example, when the value included in the global feature extracted by the global
또한, 상품정보는 전역 특징소 검색이미지와 대응하는 상품의 검색을 위해 사용자의 조작에 의한 터치신호(상기 상세검색 요청정보)에 대응하여 전역 특징소 검색이미지와 대응하는 상품의 제품명, 제조사명, 제품소재, 제품색상, 제품사이즈 또는 판매가격을 포함하도록 검색된다.In addition, the product information is a product name, manufacturer name, product name of the product corresponding to the global feature search image in response to a touch signal (the detailed search request information) by the user's operation to search for a product corresponding to the global feature search image Searches include product material, product color, product size, or selling price.
또한, 관심영역 설정모듈(150)은 전역 특징소 검색모듈(140)로부터 전역 특징소 검색이미지 및 상품정보를 인가받되, 도 5에 도시된 바와 같이 사용자의 조작을 통해 입력받은 관심영역 좌표정보에 해당하는 전역 특징소 검색이미지를 추출하여 지역 특징소를 생성한다.In addition, the
여기서, 지역 특징소는, 전역 특징소 검색이미지를 다차원 벡터이미지(vector image)로의 변환을 통해 점과 선분을 추출하여 형성한 윤곽선과 윤곽선 내부의 색상 및 패턴을 추출한 값으로 이해함이 바람직하다.Here, the local feature is preferably understood as a value obtained by extracting a contour formed by extracting points and line segments and a color and pattern inside the contour by converting the global feature search image into a multidimensional vector image.
또한, 관심영역 좌표정보는, 전역 특징소 검색이미지 상에서 사용자의 조작을 통해 입력받은 첫 번째 터치신호의 좌표 및 두 번째 터치신호의 좌표를 대각선으로 잇는 직방형의 구역을 포함하는 좌표로 이해함이 바람직하다.In addition, the ROI coordinate information may be understood as a coordinate including a rectangular region that diagonally connects the coordinates of the first touch signal and the coordinates of the second touch signal received through a user's manipulation on the global feature search image. Do.
그리고, 지역 특징소 검색모듈(160)은 관심영역 설정모듈(150)로부터 인가받은 지역 특징소와 대응하는 상품이미지(이하, '지역 특징소 검색이미지')를 검색하여 출력하며, 사용자의 조작에 따라 입력받은 상세검색 요청정보에 따라 지역 특징소 검색이미지와 대응하는 상품정보를 검색하여 출력한다.
In addition, the local
이하, 도 6을 참조하여 본 발명에 따른 관심영역 설정을 이용한 이미지 이중 검색 방법에 대해 살피면 아래와 같다.Hereinafter, referring to FIG. 6, an image double search method using the ROI setting according to the present invention will be described.
먼저, 메뉴선택모듈(110)이 이미지 검색을 위해 사용자의 조작을 통해 입력받은 이미지촬영 요청정보를 촬영모듈(120)로 인가하고, 이미지 검색을 위해 사용자의 조작을 통해 입력받은 이미지색인 요청정보를 영상선택모듈(130)로 인가한다(S10).First, the
이어서, 촬영모듈(120)이 메뉴선택모듈(110)로부터 이미지촬영 요청정보를 인가받아 정지영상 이미지 또는 동영상 이지미 중에 어느 하나의 이미지를 촬영하여 이미지정보를 생성한다(S20).Subsequently, the photographing
뒤이어, 영상선택모듈(130)이 메뉴선택모듈(110)로부터 인가받은 이미지색인 요청정보 또는 사용자의 조작을 통해 입력받은 이미지색인 요청정보와 대응하는 이미지정보를 내부 저장소로부터 색인하여 출력한다(S30).Subsequently, the
이어서, 전역 특징소 검색모듈(140)이 영상선택모듈(130)에 의해 색인된 이미지정보에 포함된 전역 특징소들을 추출하고, 정보통신망을 통해 접속된 웹사이트로부터 상기 전역 특징소와 대응하는 전역 특징소 검색이미지를 검색하여 출력한다(S40).Subsequently, the global
그리고, 전역 특징소 검색모듈(140)이 사용자의 조작에 따라 입력받은 상세검색 요청정보에 따라 전역 특징소 검색이미지와 대응하는 상품정보를 검색하여 출력한다(S50).
Then, the global
한편, 도 7을 참조하여 본 발명에 따른 관심영역 설정을 이용한 이미지 이중 검색 방법의 제S50단계 이후 과정에 대해 살피면 아래와 같다.Meanwhile, referring to FIG. 7, the process after step S50 of the image dual retrieval method using the ROI setting according to the present invention will be described below.
제S50단계 이후, 관심영역 설정모듈(150)이 전역 특징소 검색모듈(140)로부터 전역 특징소 검색이미지 및 상품정보를 인가받고, 사용자의 조작을 통해 입력받은 관심영역 좌표정보에 해당하는 전역 특징소 검색이미지를 추출하여 지역 특징소를 생성한다(S60).After step S50, the
그리고, 지역 특징소 검색모듈(160)이 관심영역 설정모듈(150)로부터 인가받은 지역 특징소와 대응하는 지역 특징소 검색이미지를 검색하여 출력하며, 사용자의 조작에 따라 입력받은 상세검색 요청정보에 따라 지역 특징소 검색이미지와 대응하는 상품정보를 검색하여 출력한다(S70).In addition, the local
이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서 그러한 모든 적절한 변경 및 수정과 균등 물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.While the present invention has been particularly shown and described with reference to preferred embodiments thereof, it will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. It will be appreciated by those skilled in the art that numerous changes and modifications may be made without departing from the invention. And all such modifications and changes as fall within the scope of the present invention are therefore to be regarded as being within the scope of the present invention.
S: 관심영역 설정을 이용한 이미지 이중 검색 시스템
100: 사용자단말기 110: 메뉴선택모듈
120: 촬영모듈 130: 영상선택모듈
140: 전역 특징소 검색모듈 150: 관심영역 설정모듈
160: 지역 특징소 검색모듈S: Image Retrieval System using ROI Setting
100: user terminal 110: menu selection module
120: recording module 130: image selection module
140: global feature search module 150: region of interest setting module
160: local feature search module
Claims (8)
이미지 검색을 위해 사용자의 조작을 통해 입력받은 이미지촬영 요청정보를 촬영모듈로 인가하고, 이미지 검색을 위해 사용자의 조작을 통해 입력받은 이미지색인 요청정보를 영상선택모듈로 인가하는 메뉴선택모듈;
상기 이미지촬영 요청정보를 인가받아 정지영상 이미지 또는 동영상 이지미 중에 어느 하나의 이미지를 촬영하여 이미지정보를 생성하고, 생성된 이미지정보를 사용자단말기의 내부 저장소에 자동으로 저장하며, 복수개의 이미지정보들을 앨범형태로 관리하는 촬영모듈;
상기 이미지색인 요청정보 또는 사용자의 조작을 통해 입력받은 이미지색인 요청정보와 대응하는 이미지정보를 내부 저장소로부터 색인하여 출력하는 영상선택모듈;
색인된 이미지정보에 포함된 특징(이하, '전역 특징소')들을 추출하고, 정보통신망을 통해 접속된 웹사이트로부터 상기 전역 특징소와 대응하는 상품이미지(이하, '전역 특징소 검색이미지')를 검색하여 출력하며, 사용자의 조작에 따라 입력받은 상세검색 요청정보에 따라 전역 특징소 검색이미지와 대응하는 상품정보를 검색하여 출력하는 전역 특징소 검색모듈;
상기 전역 특징소 검색모듈로부터 전역 특징소 검색이미지 및 상품정보를 인가받고, 사용자의 조작을 통해 입력받은 관심영역 좌표정보에 해당하는 전역 특징소 검색이미지를 추출하여 지역 특징소를 생성하는 관심영역 설정모듈; 및
상기 지역 특징소와 대응하는 상품이미지(이하, '지역 특징소 검색이미지')를 검색하여 출력하며, 사용자의 조작에 따라 입력받은 상세검색 요청정보에 따라 지역 특징소 검색이미지와 대응하는 상품정보를 검색하여 출력하는 지역 특징소 검색모듈;을 포함하되,
상기 메뉴선택모듈은, 사용자단말기의 디스플레이 창에 버튼 형태로 출력되며, 사용자의 조작을 통해 입력받은 터치신호에 대응하도록 이미지를 촬영하도록 제어하는 이미지촬영 요청정보 및 이미지를 색인하도록 제어하는 이미지색인 요청정보를 생성하고,
상기 전역 특징소는, 상기 이미지정보를 다차원 벡터이미지(vector image)로의 변환을 통해 점과 선분(베지어 곡선)을 추출하여 형성한 윤곽선과 윤곽선 내부의 색상 및 패턴을 추출한 값이며,
상기 지역 특징소는, 상기 전역 특징소 검색이미지를 다차원 벡터이미지(vector image)로의 변환을 통해 점과 선분을 추출하여 형성한 윤곽선과 윤곽선 내부의 색상 및 패턴을 추출한 값인 것을 특징으로 하는 관심영역 설정을 이용한 이미지 이중 검색 시스템.In the image dual search system using the ROI setting,
A menu selection module for applying the image capturing request information received through the user's operation to the image capturing module for image searching, and applying the image index request information input through the user's operation for the image searching to the image selecting module;
Image information is generated by receiving any one of a still image image or a moving image image by receiving the image capturing request information, and automatically stores the generated image information in an internal storage of a user terminal and stores a plurality of image information. Shooting module to manage in the form of album ;
An image selection module for indexing and outputting the image index request information or image information corresponding to the image index request information received through a user's manipulation from an internal storage;
Extract features (hereinafter, 'global features') included in the indexed image information, and product images corresponding to the global features from a website connected through an information and communication network (hereinafter, 'global feature search image'). A global feature search module for searching for and outputting the search information and searching for and outputting product information corresponding to the global feature search image according to the detailed search request information received according to a user's manipulation;
Set a region of interest by receiving a global feature search image and product information from the global feature search module, and extracting a global feature search image corresponding to the ROI coordinate information input through a user's manipulation to generate a local feature module; And
Search for and output a product image corresponding to the local feature (hereinafter referred to as 'local feature search image'), and display product information corresponding to the local feature search image according to the detailed search request information received according to a user's operation. Including; local feature search module for searching and outputting;
The menu selection module is output in the form of a button on the display window of the user terminal, and the image photographing request information for controlling to photograph the image corresponding to the touch signal input through the user's operation and the image index request for controlling the indexing of the image. Generate information,
The global feature is a value obtained by extracting a contour and a color and pattern inside the contour formed by extracting points and line segments (Bezier curves) by converting the image information into a multidimensional vector image.
The local feature is a region of interest set by extracting a point and line segment formed by converting the global feature search image into a multidimensional vector image and a color and a pattern inside the outline. Dual Image Retrieval System.
상기 전역 특징소 검색이미지는 상기 전역 특징소에 포함된 값이 기 설정된 범위 이내인 경우 전역 특징소 검색이미지인 것으로 상정하여 검색되며,
상기 상품정보는 검색된 전역 특징소 검색이미지와 대응하는 상품의 제품명, 제조사명, 제품소재, 제품색상, 제품사이즈 또는 판매가격 중에 어느 하나의 데이터를 포함하는 것을 특징으로 하는 관심영역 설정을 이용한 이미지 이중 검색 시스템.The method of claim 1,
The global feature search image is searched on the assumption that the global feature search image is a global feature search image when a value included in the global feature is within a preset range.
The product information includes image data of any one of the product name, manufacturer name, product material, product color, product size, or selling price of the corresponding product. Search system.
상기 관심영역 좌표정보는,
상기 전역 특징소 검색이미지 상에서 사용자의 조작을 통해 입력받은 첫 번째 터치신호의 좌표 및 두 번째 터치신호의 좌표를 대각선으로 잇는 직방형의 구역을 포함하는 좌표인 것을 특징으로 하는 관심영역 설정을 이용한 이미지 이중 검색 시스템.The method of claim 1,
The ROI coordinate information is
An image using the ROI setting, wherein the coordinates include a rectangular region connecting diagonally the coordinates of the first touch signal and the second touch signal received through a user's manipulation on the global feature search image. Dual Search System.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110102966A KR101307325B1 (en) | 2011-10-10 | 2011-10-10 | System for dual-searching image using region of interest set |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110102966A KR101307325B1 (en) | 2011-10-10 | 2011-10-10 | System for dual-searching image using region of interest set |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20130038547A KR20130038547A (en) | 2013-04-18 |
| KR101307325B1 true KR101307325B1 (en) | 2013-09-10 |
Family
ID=48439043
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020110102966A KR101307325B1 (en) | 2011-10-10 | 2011-10-10 | System for dual-searching image using region of interest set |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101307325B1 (en) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102125314B1 (en) * | 2013-06-10 | 2020-06-23 | 에스케이 텔레콤주식회사 | Method and Apparatus for Providing Product Information by Using Store and Image Information |
| US11120491B2 (en) | 2013-09-24 | 2021-09-14 | Ebay Inc. | Method, medium, and system for social media based recommendations |
| US10013710B2 (en) | 2014-04-17 | 2018-07-03 | Ebay Inc. | Fashion preference analysis |
| KR101511050B1 (en) | 2014-07-25 | 2015-04-13 | 오드컨셉 주식회사 | Method, apparatus, system and computer program for offering and displaying a product information |
| KR101941693B1 (en) | 2017-05-31 | 2019-01-24 | 서강대학교산학협력단 | Method and system for content based image search |
| KR101942065B1 (en) * | 2018-07-26 | 2019-01-24 | 아이씨티웨이주식회사 | Modificating image process system composing synthesis for missing images |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100764441B1 (en) * | 2005-05-31 | 2007-10-05 | 에스케이 텔레콤주식회사 | Method for Processing Segmented Object of Object Based Mobile Brocasting in Mobile Communication Terminal and Mobile Communication Terminal therefor |
| KR20110082690A (en) * | 2010-01-12 | 2011-07-20 | 인크로스 주식회사 | Information provide method and information service method using terminal having a camera |
-
2011
- 2011-10-10 KR KR1020110102966A patent/KR101307325B1/en not_active IP Right Cessation
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100764441B1 (en) * | 2005-05-31 | 2007-10-05 | 에스케이 텔레콤주식회사 | Method for Processing Segmented Object of Object Based Mobile Brocasting in Mobile Communication Terminal and Mobile Communication Terminal therefor |
| KR20110082690A (en) * | 2010-01-12 | 2011-07-20 | 인크로스 주식회사 | Information provide method and information service method using terminal having a camera |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20130038547A (en) | 2013-04-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10091202B2 (en) | Text suggestions for images | |
| KR101307325B1 (en) | System for dual-searching image using region of interest set | |
| US9076069B2 (en) | Registering metadata apparatus | |
| US20140250110A1 (en) | Image attractiveness based indexing and searching | |
| JP6740457B2 (en) | Content-based search and retrieval of trademark images | |
| JP4457988B2 (en) | Image management apparatus, image management method, and computer program | |
| US8467613B2 (en) | Automatic retrieval of object interaction relationships | |
| WO2016199662A1 (en) | Image information processing system | |
| WO2014112138A1 (en) | Information processing device, information processing system, and information processing program | |
| WO2017067485A1 (en) | Picture management method and device, and terminal | |
| CN104572847A (en) | Method and device for naming photo | |
| KR20100101204A (en) | Method for retrievaling ucc image region of interest based | |
| CN112020709A (en) | Visual menu | |
| JP2004005314A (en) | Data retrieval system, and device, method, recording medium or program for the same | |
| US20110305406A1 (en) | Business card recognition system | |
| CN105025145A (en) | Photo-related contact method and apparatus | |
| KR20150032141A (en) | Semantic searching system and method for smart device | |
| US9977793B2 (en) | Information processing system, information processing method, and information processing apparatus | |
| JP2007052581A (en) | Metadata generation device, metadata generation system, processing method in them and program making computer execute the method | |
| US20220292173A1 (en) | Systems, Methods and Apparatuses For Integrating A Service Application Within An Existing Application | |
| JPH10254901A (en) | Method and device for retrieving image | |
| JP5708868B1 (en) | Program, information processing apparatus and method | |
| KR20210105124A (en) | System for dual-searching image using region of interest set | |
| KR20210131770A (en) | System for dual-searching image using region of interest set | |
| EP2784736A1 (en) | Method of and system for providing access to data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E90F | Notification of reason for final refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20160901 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20170901 Year of fee payment: 5 |
|
| LAPS | Lapse due to unpaid annual fee |