KR20110068587A - Content based retrieval service method for images with location information - Google Patents

Content based retrieval service method for images with location information Download PDF

Info

Publication number
KR20110068587A
KR20110068587A KR1020090125611A KR20090125611A KR20110068587A KR 20110068587 A KR20110068587 A KR 20110068587A KR 1020090125611 A KR1020090125611 A KR 1020090125611A KR 20090125611 A KR20090125611 A KR 20090125611A KR 20110068587 A KR20110068587 A KR 20110068587A
Authority
KR
South Korea
Prior art keywords
image
search
value
user
location information
Prior art date
Application number
KR1020090125611A
Other languages
Korean (ko)
Other versions
KR101078767B1 (en
Inventor
정동석
조주희
조아영
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020090125611A priority Critical patent/KR101078767B1/en
Publication of KR20110068587A publication Critical patent/KR20110068587A/en
Application granted granted Critical
Publication of KR101078767B1 publication Critical patent/KR101078767B1/en

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003Maps
    • G09B29/006Representation of non-cartographic information on maps, e.g. population distribution, wind direction, radiation levels, air and sea routes
    • G09B29/007Representation of non-cartographic information on maps, e.g. population distribution, wind direction, radiation levels, air and sea routes using computer methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Ecology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

PURPOSE: A content based retrieval service method for images with location information is provided to easily obtain search results on the basis of an accurate location by using a specific image and a location information included image. CONSTITUTION: A map screen is displayed on an initial screen. If a user sets an initial location on the map screen, a marker is marked on the location. A user inputs an image or text keyword into a search dialog box presented on the map screen. The keyword type is checked. A similar image is retrieved from an image database by handling the process according to the keyword type, and is then displayed to the user.

Description

위치 정보를 포함하는 영상을 대상으로 한 내용기반 검색 서비스 방법{CONTENT BASED RETRIEVAL SERVICE METHOD FOR IMAGES WITH LOCATION INFORMATION}CONTENT BASED RETRIEVAL SERVICE METHOD FOR IMAGES WITH LOCATION INFORMATION}

본 발명은 위치 정보를 포함하는 영상을 대상으로 한 내용기반 검색 서비스 방법에 관한 것으로서, 사용자가 특정 영상을 정보로 이용하여 원하는 위치의 위도/경도 정보를 추출할 수 있는 위치 정보를 포함하는 영상을 대상으로 한 내용기반 검색 서비스 방법에 관한 것이다.The present invention relates to a content-based search service method for an image including location information. The present invention relates to an image including location information that allows a user to extract latitude / longitude information of a desired location using a specific image as information. The present invention relates to a content-based search service method.

인터넷 보급이 확산되면서 최근 전 세계적으로 수많은 영상 콘텐츠가 웹상에서 생겨나고 있고, 또한 공유되고 있다.With the spread of the Internet, a lot of video contents have been generated and shared on the web in recent years.

이러한 콘텐츠는 그 유통양이 워낙 방대하여 사용자들은 자신이 원하는 콘텐츠를 찾기 위해 검색(search)을 이용한다.Such content is so vast that users use search to find the content they want.

그러나, 공간과 시간의 제약성 때문에 한 사람이 접근할 수 있는 콘텐츠 범위는 한정적이다. 이런 이유로 효율적인 정보 검색 방법이 연구되고 있지만 현재 실제 응용단계에서는 텍스트 기반의 검색 방법에서 크게 벗어나지 못하고 있다.However, due to space and time constraints, the range of content that a person can access is limited. For this reason, an efficient information retrieval method has been studied, but at present, it is not far from the text-based retrieval method in the actual application stage.

영상 콘텐츠는 특정 장소에 대한 정보를 시각적으로 담고 있다.Video content visually contains information about a specific place.

사람들은 약속이나 여행 일정 등을 잡을 때 시각 정보에 의존하게 되며, 더 많은 정보를 획득하기 위해 영상 콘텐츠를 검색하고 있다. 현재는 눈에 보이는 정보를 텍스트로 변환하여 정보를 수행한다.People rely on visual information when they make appointments or travel itineraries, and are searching for video content to get more information. Currently, information is performed by converting the visible information into text.

예를 들어, 누군가의 블로그에서 "강남역 앞 뉴욕제과" 사진을 보게 된다면 사용자는 "강남역, 뉴욕제과" 라는 텍스트를 통해 위치 정보를 수집할 수 있다.For example, if someone sees a picture of "New York Confectionery in front of Gangnam Station" on someone's blog, the user can collect location information through the text "Gangnam Station, New York Confectionery".

하지만, 블로그에 올려진 사진이 위치정보를 포함하고 있고 이 사진 자체의 내용을 가지고 검색을 수행할 수 있으면 적어도 동일한 사진에 대한 위치 정보를 더 효과적으로 얻어낼 수 있다.However, if a photo posted on a blog contains location information and can be searched with the content of the picture itself, at least the location information for the same picture can be obtained more effectively.

도 33은 종래의 검색 결과로서 지도 상에 표시된 영상을 나타내는 도이고, 도 34는 종래의 검색 결과로서 리스트로 표현된 영상을 나타내는 도이다.FIG. 33 is a diagram illustrating an image displayed on a map as a conventional search result, and FIG. 34 is a diagram illustrating an image represented by a list as a conventional search result.

한편, 종래의 영상 검색 서비스의 예는 도 33 및 도 34에 도시된 바와 같다.Meanwhile, examples of the conventional image search service are as shown in FIGS. 33 and 34.

구체적으로, 도 33은 지도 서비스에 텍스트로 질의어를 입력했을 때, 질의어와 관련성이 높은 영상을 화면상에 표시한 도이고, 도 34는 일반적인 웹 검색 서비스를 통해 텍스트를 질의어로 입력하여 얻어낸 결과들을 화면 상에 표시한 도이다.In detail, FIG. 33 is a diagram showing an image related to a query on the screen when a query is input as text to a map service. FIG. 34 shows results obtained by inputting text as a query through a general web search service. This is the figure displayed on the screen.

종래의 영상 검색 서비스는 사진의 파일명을 이용하거나 사진과 함께 게시된 글의 제목이나 내용을 이용하여 그것이 질의어와 관련이 있는지 여부를 판단하는 방법을 통해 사용자에게 검색결과를 제공하고 있다.Conventional image retrieval service provides a search result to a user through a method of determining whether it is related to a query by using a file name of a picture or a title or content of a post posted with the picture.

도 33의 경우, 지도상에서 영상 정보를 추출할 수 있으나, 사용자가 먼저 텍스트 검색을 수행하면 검색 엔진이 사용자가 입력한 질의어와 관련된 링크를 지도상에 표시한다. 이후, 사용자는 지도를 확대/축소/이동하는 동작을 통해 링크를 따라 가야하는 2차적인 절차를 수행해야 한다.In FIG. 33, image information may be extracted from a map. However, when a user first performs a text search, the search engine displays a link related to a query input by the user on a map. Thereafter, the user must perform a secondary procedure of following a link through an operation of zooming / moving / moving the map.

또한, 도 34의 경우, 도 33과 마찬가지의 방법으로 질의어에 대한 유사도를 판별한다. 이 경우에는 실제로 사용자가 원하는 사진의 분위기이나 색감을 반영하는데 한계가 있다.In addition, in the case of FIG. 34, the similarity degree to the query is determined in the same manner as in FIG. 33. In this case, there is a limit in reflecting the mood or color of the picture actually desired by the user.

본 발명은 상기한 바와 같은 문제를 해결하기 위해 안출된 것으로, 특정 영상과 데이터베이스에 저장된 위치정보를 포함한 영상을 이용하여 사용자가 용이하게 정확한 위치 기반의 검색 결과를 획득할 수 있는 위치 정보를 포함하는 영상을 대상으로 한 내용기반 검색 서비스 방법을 제공하는데 그 목적이 있다.The present invention has been made to solve the above problems, and includes a location information that allows a user to easily obtain a precise location-based search results using a specific image and an image including location information stored in a database. Its purpose is to provide a content-based retrieval service method for video.

본 발명의 다른 목적은, 영상 자체가 가지고 있는 특징을 추출하여 그 특징이 유사한 영상을 선별하여 의미 있는 정보를 제공함으로써 사용자의 검색 효율성을 높일 수 있는 위치 정보를 포함하는 영상을 대상으로 한 내용기반 검색 서비스 방법을 제공하는데 있다.Another object of the present invention is to extract a feature owned by the image itself, select an image having similar features, and provide meaningful information. To provide a search service method.

본 발명의 또 다른 목적은, 사용자 인터페이스로 지도 화면을 제공하여 사용자의 검색 편리성을 높이면서 영상의 내용 유사도에 따른 검색 결과를 정렬할 수 있는 위치 정보를 포함하는 영상을 대상으로 한 내용기반 검색 서비스 방법을 제공하는데 있다.It is still another object of the present invention to provide a map screen through a user interface, while improving the user's search convenience, and content-based search for an image including location information for sorting the search results according to the content similarity of the image. To provide a service method.

상기한 바와 같은 목적을 달성하기 위해 본 발명에 따른 위치 정보를 포함하는 영상을 대상으로 한 내용기반 검색 서비스 방법은 초기 화면으로 지도 화면을 디스플레이하는 지도 화면 표시단계와, 사용자가 상기 지도 화면에 초기 위치를 설정하면 해당 위치에 마커를 디스플레이하는 초기 위치 선택단계와, 사용자가 상기 지도 화면 상에 제시되는 검색 대화상자에 영상 또는 텍스트 검색어를 입력하는 검색어 입력단계와, 상기 검색 대화상자에 입력된 검색어의 타입을 검사하는 검색어 타입 검사단계 및 상기 검색어의 타입에 따른 프로세스를 처리하여 영상 데이터베이스에서 유사 영상을 검색한 후 사용자에게 디스플레이하는 유사 영상 검색단계를 포함하는 것을 특징으로 한다.In order to achieve the above object, a content-based search service method for an image including location information according to the present invention includes a map screen display step of displaying a map screen on an initial screen, and a user initializing the map screen. When the location is set, an initial location selection step of displaying a marker at a corresponding location, a search word input step in which a user inputs an image or text search word in a search dialog box displayed on the map screen, and a search word input in the search dialog box And a similar image search step of searching for a similar image in an image database and displaying the same to a user by processing a process according to the type of the search word.

또한, 상기 초기 위치 선택단계는 사용자가 상기 지도 화면에서 키워드를 입력하여 초기 위치를 설정할 수 있다.In addition, in the initial location selection step, the user may set an initial location by inputting a keyword on the map screen.

또한, 상기 초기 위치 선택단계는 사용자가 상기 지도 화면에서 줌인, 줌아웃, 이동기능을 수행하여 초기 위치를 설정할 수 있다.In addition, in the initial position selection step, the user may set an initial position by performing a zoom in, zoom out, and move function on the map screen.

또한, 상기 초기 위치 선택단계는 사용자가 설정한 상기 초기 위치를 중심으로 검색 반경을 설정할 수 있다.The initial position selection step may set a search radius around the initial position set by the user.

또한, 상기 검색어 입력단계에서, 상기 검색 대화상자는 영상을 이용한 검색 또는 텍스트를 이용한 검색을 구분하는 라디오 버튼을 포함할 수 있다.Also, in the search word input step, the search dialog may include a radio button for distinguishing a search using an image or a search using text.

또한, 상기 검색어 입력단계에서, 상기 검색 대화상자에 영상을 입력하여 검색하는 경우, 상기 영상의 파일 포맷은 jpg, bmp, png 등의 범용 포맷이며, 상기 영상은 위치 정보를 포함할 수 있다.In addition, in the search word input step, when the image is input to the search dialog box for searching, the file format of the image may be a general format such as jpg, bmp, or png, and the image may include location information.

또한, 상기 유사 영상 표시단계에서, 상기 검색어의 타입이 영상인 경우, 해당 영상에 대한 특징을 추출하고 식별자를 생성하여 상기 영상 데이터베이스의 식별자 리스트와 비교한 후 내용이 유사한 영상 리스트를 획득하여 사용자에게 디스플레이할 수 있다.In addition, in the similar image display step, when the type of the search word is an image, a feature of the corresponding image is extracted, an identifier is generated, compared with an identifier list of the image database, and a similar image list is obtained to the user. Can be displayed.

또한, 상기 유사 영상 표시단계는 입력 영상에 대한 썸네일(thumbnail) 영상을 형성하기 위해 상기 입력 영상을 W(width)×H(height) 크기로 변환하는 사이즈 정규화공정과, 상기 입력 영상을 W×H 개의 부분 블록으로 분할하는 부분 블록 분할공정과, 상기 부분 블록에 대한 평균 화소값을 상기 썸네일(thumbnail) 영상의 화소값으로 설정하는 화소값 설정공정 및 상기 썸네일(thumbnail) 영상에 대해 영상 특징을 추출하여 썸네일 식별자를 생성하는 식별자 생성공정을 포함할 수 있다.In addition, the similar image displaying step may include a size normalization process of converting the input image into a W (width) × H (height) size to form a thumbnail image of the input image, and converting the input image into W × H. A partial block dividing step of dividing into four partial blocks, a pixel value setting step of setting an average pixel value of the partial block as a pixel value of the thumbnail image, and extracting image characteristics of the thumbnail image It may include an identifier generating step for generating a thumbnail identifier.

또한, 상기 유사 영상 표시단계는 입력 영상의 크기를 일정하게 변환하는 사이즈 정규화공정과, 정규화된 입력 영상을 반지름 단위로 구획하고 이를 다시 각도 단위로 구획하여 일정한 구역으로 나누는 동심원 구획 지도화공정과, 상기 동심원 내에 구획된 고리 내의 모든 영역의 평균 화소 분포를 계산하는 평균 화소 분포계산공정과, 상기 평균 화소 분포계산공정에서 구한 평균 화소값과 이웃 고리의 평균 화소값의 차이값의 절대값 분포를 계산하는 평균 화소 1차 변이 분포계산공정과, 상기 평균 화소 1차 변이 분포계산공정에서 구한 1차 변이값과 이웃 고리의 1차 변이값과의 차이값의 절대값 분포를 계산하는 평균 화소 2차 변이 분포계산공정과, 상기 고리 내의 한 영역과 고리 내의 이웃한 영역 및 고리 내에서 반대편에 위치한 영역에 대한 평균 화소 분포의 차이를 계산하는 회전형 변이 분포계산공정과, 상기 평균 화소 분포와 1차 변이 분포와 2차 변이 분포 및 회전형 변이 분포의 특징 분포를 해시 함수를 이용하여 비트열로 변환하는 특징 분포 해시화공정 및 상기 비트열로부터 정지영상 서술자를 생성하는 식별자 생성공정을 포함할 수 있다.In addition, the similar image display step may include a size normalization step of constantly converting the size of the input image, a concentric circle mapping process of dividing the normalized input image into a unit of radius, and dividing the normalized input image into units of an angle again; An average pixel distribution calculation step of calculating an average pixel distribution of all regions in the ring partitioned within the concentric circle, and an absolute value distribution of a difference value between the average pixel value obtained in the average pixel distribution calculation step and the average pixel value of the neighboring ring An average pixel secondary variation that calculates an absolute value distribution of a difference value between a primary variation obtained by the average pixel primary variation distribution calculation step and a primary variation value obtained by the average pixel primary variation distribution calculation process The process of calculating the distribution and the mean for one region in the ring and the region adjacent to the ring and the region located opposite the ring A rotational disparity calculation step of calculating a difference between pixel distributions and a feature distribution converting the feature distributions of the average pixel distribution, the primary variation distribution, the secondary variation distribution, and the rotational variation distribution into a bit string using a hash function. And a hashing step and an identifier generation step of generating a still picture descriptor from the bit string.

또한, 상기 유사 영상 표시단계는 입력 영상을 N×M 개의 부분 블록으로 분할하는 입력 영상 분할공정과, 상기 부분 블록에 대해 특징값으로 0°, 45°, 90°, 135°, 180°, 225°, 270°, 315°의 8개 방향 에지(edge)성분에 대한 특징을 추출하는 8방향 에지 특징값 추출공정 및 상기 부분 블록의 대표 에지(edge) 성분 값을 정하고 그 값을 식별자로 저장하는 식별자 생성공정을 포함할 수 있다.In addition, the similar image display step includes an input image segmentation process of dividing an input image into N × M partial blocks, and 0 °, 45 °, 90 °, 135 °, 180 °, and 225 as feature values for the partial block. An eight-way edge feature value extraction process for extracting features for eight direction edge components of °, 270 °, and 315 °, and a representative edge component value of the partial block are determined and the values are stored as identifiers. It may include an identifier generation process.

또한, 상기 유사 영상 표시단계는 입력 영상의 3차원 컬러 공간에 대한 히스토그램을 추출하는 히스토그램 생성공정과, 상기 히스토그램의 계급의 수를 L1, L2, L3 개로 양자화하는 히스토그램 양자화공정과, 상기 히스토그램의 도수값이 0 내지 255의 값을 갖도록 정규화시키는 히스토그램 정규화공정 및 정규화된 상기 히스토그램의 도수값을 1바이트 공간에 저장하여 식별자를 생성하는 식별자 생성공정 을 포함할 수 있다.The similar image display step may include a histogram generating step of extracting a histogram of a three-dimensional color space of an input image, a histogram quantization step of quantizing the number of ranks of the histogram into L1, L2, and L3, and the frequency of the histogram. A histogram normalization step of normalizing the value to have a value of 0 to 255, and an identifier generation step of generating an identifier by storing the frequency value of the normalized histogram in a single byte space.

또한, 상기 유사 영상 검색단계 후, 검색된 상기 유사 영상을 상기 검색 대화상자에 재입력하여 상기 유사 영상 검색단계를 재수행하는 유사 영상 재검색단계를 더 포함할 수 있다.The method may further include a similar image re-searching step of re-entering the similar image searching step by re-entering the searched similar image into the search dialog box after the similar image searching step.

또한, 사용자가 상기 지도 화면 상에서 특정 위치를 선택하고 위치 정보를 포함하는 영상을 업로드하는 영상 등록 단계를 더 포함할 수 있다.The method may further include registering an image in which a user selects a specific location on the map screen and uploads an image including the location information.

또한, 상기 영상 등록 단계는 사용자가 상기 지도 화면 상에서 특정 위치를 선택하는 특정 위치 선택공정과, 상기 특정 위치의 위도/경도 값을 추출하는 위도/경도 추출공정과, 사용자가 위치 정보를 포함하는 영상을 업로드하는 영상 업로드공정 및 업로드된 영상의 메타데이터로부터 위치값을 등록하는 위치값 등록공정을 포함할 수 있다.The image registration step may include a specific location selection process of selecting a specific location on the map screen, a latitude / longitude extraction process of extracting latitude / longitude values of the specific location, and an image including location information of the user. It may include a video upload process for uploading a location value registration process for registering a location value from the metadata of the uploaded image.

또한, 상기 유사 영상 표시단계는 상기 검색어의 타입이 텍스트인 경우, 상기 영상 데이터베이스와 비교한 후 내용이 유사한 영상 리스트를 획득하여 사용자에게 디스플레이할 수 있다.In addition, when the type of the search word is text, the similar image displaying step may be compared with the image database to obtain an image list having similar contents and display the same to the user.

상기한 바와 같이 본 발명에 따른 위치 정보를 포함하는 영상을 대상으로 한 내용기반 검색 서비스 방법은 특정 영상과 데이터베이스에 저장된 위치정보를 포함한 영상을 이용하여 사용자가 용이하게 정확한 위치 기반의 검색 결과를 획득할 수 있는 효과가 있다.As described above, the content-based search service method for an image including location information according to the present invention enables a user to easily obtain an accurate location-based search result using a specific image and an image including location information stored in a database. It can work.

또한, 영상 자체가 가지고 있는 특징을 추출하여 그 특징이 유사한 영상을 선별하여 의미 있는 정보를 제공함으로써 사용자의 검색 효율성을 높일 수 있는 효과가 있다.In addition, by extracting a feature owned by the image itself, it is effective to increase the user's search efficiency by selecting a similar image and providing meaningful information.

더불어, 사용자 인터페이스로 지도 화면을 제공하여 사용자의 검색 편리성을 높이면서 영상의 내용 유사도에 따른 검색 결과를 정렬할 수 있는 효과가 있다.In addition, by providing a map screen as a user interface, it is possible to sort the search results according to the similarity of the contents of the image while increasing the user's search convenience.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다. 우선, 도면들 중 동일한 구성요소 또는 부품들은 가능한 한 동일한 참조부호를 나타내고 있음에 유의해야 한다. 본 발명을 설명함에 있어서 관련된 공지기능 혹은 구성에 대한 구체적인 설명은 본 발명의 요지를 모호하게 하지 않기 위해 생략한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. First, it should be noted that the same components or parts in the drawings represent the same reference numerals as much as possible. In describing the present invention, detailed descriptions of related well-known functions or configurations are omitted in order not to obscure the gist of the present invention.

도 1 내지 도 4는 본 발명의 일 실시예에 따른 위치 정보를 포함하는 영상을 대상으로 한 내용기반 검색 서비스 방법의 블록도이고, 도 5는 본 발명의 일 실시예에 따른 위치 정보를 포함하는 영상을 대상으로 한 내용기반 검색 서비스 방법의 전체 알고리즘을 나타내는 도이다.1 to 4 are block diagrams of a content-based search service method for an image including location information according to an embodiment of the present invention, and FIG. 5 includes location information according to an embodiment of the present invention. A diagram showing the overall algorithm of a content-based retrieval service method for video.

본 발명의 일 실시예에 따른 위치 정보를 포함하는 영상을 대상으로 한 내용기반 검색 서비스 방법은 도 1에 도시된 바와 같이, 지도 화면 표시단계(S100)와, 초기 위치 선택단계(S200)와, 검색어 입력단계(S300)와, 검색어 타입 검사단 계(S400) 및 유사 영상 검색단계(S500)를 포함한다.Content-based search service method for the image including the location information according to an embodiment of the present invention, as shown in Figure 1, the map screen display step (S100), the initial location selection step (S200), A search word input step S300, a search word type checking step S400, and a similar image search step S500 are included.

상기 지도 화면 표시단계(S100)는 도 1 및 도 5에 도시된 바와 같이, 검색을 위한 초기 화면으로 지도 화면을 디스플레이하는 단계이다.The map screen display step (S100) is a step of displaying a map screen as an initial screen for searching, as shown in FIGS. 1 and 5.

도 6은 지도 화면 상에 초기 위치를 설정하는 모습을 나타내는 도이고, 도 7은 검색 반경을 설정하는 모습을 나타내는 도이며, 도 28은 초기 위치 설정 및 검색어 입력을 나타내는 도이다.6 is a diagram illustrating a state of setting an initial position on a map screen, FIG. 7 is a diagram illustrating a state of setting a search radius, and FIG. 28 is a diagram illustrating an initial position setting and a search word input.

상기 초기 위치 선택단계(S200)는 사용자가 상기 지도 화면에 초기 위치를 설정하면 해당 위치에 마커를 디스플레이하는 단계이다.The initial location selection step (S200) is a step of displaying a marker at a corresponding location when the user sets an initial location on the map screen.

상기 초기 위치 선택단계(S200)에서, 사용자는 도 6에 도시된 바와 같이, 상기 지도 화면에서 키워드를 입력하여 초기 위치를 설정하거나, 상기 지도 화면에서 줌인, 줌아웃, 이동기능을 수행하여 초기 위치를 설정함으로써 검색 조건을 설정할 수 있다.In the initial position selection step (S200), as shown in FIG. 6, the user inputs a keyword on the map screen to set an initial position, or performs a zoom in, zoom out, and move function on the map screen to set the initial position. By setting, the search condition can be set.

또한, 상기 초기 위치 선택단계(S200)에서, 사용자는 도 7에 도시된 바와 같이, 상기 초기 위치를 중심으로 검색 반경을 설정함으로써 검색 조건을 추가로 설정할 수 있다.In addition, in the initial position selection step (S200), as shown in FIG. 7, the user may additionally set a search condition by setting a search radius around the initial position.

사용자가 상기와 같이, 검색 반경을 설정함으로써, 상기 초기 위치와 검색 반경 내의 위도/경도값을 가지는 영상 데이터를 선별할 수 있다.As described above, by setting the search radius, the user may select the image data having the latitude / longitude value within the initial position and the search radius.

상기 검색어 입력단계(S300)는 사용자가 상기 지도 화면 상에 제시되는 검색 대화상자에 영상 또는 텍스트 검색어를 입력하는 단계이다.The search word input step (S300) is a step in which a user inputs an image or text search word in a search dialog box displayed on the map screen.

상기 검색 대화 상자는 도 28에 도시된 바와 같이, 사용자가 검색어를 입력할 수 있는 창으로, 영상을 이용한 검색 또는 텍스트를 이용한 검색을 구분하는 라디오 버튼을 포함한다. 따라서, 상기 라디오 버튼을 통해 영상을 이용한 검색인지 텍스트를 이용한 검색인지 구분할 수 있다.As shown in FIG. 28, the search dialog is a window in which a user can input a search word, and includes a radio button for distinguishing a search using an image or a search using text. Therefore, it is possible to distinguish whether a search using an image or a search using text through the radio button.

한편, 상기 검색 대화상자에 영상을 입력하여 검색하는 경우, 상기 영상의 파일 포맷은 jpg, bmp, png 등의 범용 포맷이며, 상기 영상은 위치 정보를 포함할 수 있다.On the other hand, in the case of searching by inputting an image in the search dialog box, the file format of the image may be a general format such as jpg, bmp, or png, and the image may include location information.

상기 검색어 타입 검사단계(S400)는 상기 검색 대화상자에 입력된 검색어가 영상인지 또는 텍스트인지 그 타입을 검사하는 단계이다.The search word type checking step (S400) is a step of checking whether a search word input in the search dialog box is an image or text.

상기 유사 영상 검색단계(S500)는 상기 검색어의 타입에 따른 프로세스를 처리하여 영상 데이터베이스에서 유사 영상을 검색한 후 사용자에게 디스플레이하는 단계이다.The similar image retrieval step (S500) is a process of searching for a similar image in an image database by processing a process according to the type of the search word and displaying the same to the user.

상기 유사 영상 검색단계(S500)에서는 검색어, 즉, 질의어가 영상 질의어인 경우, 영상 질의어에 대한 프로세스를 수행하고, 질의어가 텍스트 질의어인 경우, 텍스트 질의어에 대한 프로세스를 수행한다.In the similar image retrieval step (S500), when the search word, that is, the query is an image query, a process for the image query is performed, and when the query is a text query, the process is performed for the text query.

상기 검색어 타입이 영상인 경우, 상기 유사 영상 검색단계(S500)에서는 해당 영상에 대한 특징을 추출하고 식별자를 생성하여 영상 데이터베이스의 식별자 리스트와 비교한 후, 내용이 유사한 영상 리스트를 획득하여 사용자에게 디스플레이한다.If the search term type is an image, the similar image search step (S500) extracts a feature of the corresponding image, generates an identifier, compares the identifier with an identifier list of an image database, and obtains an image list having similar contents to display to the user. do.

상기 영상 데이터베이스는 영상 자체 파일을 가짐과 동시에 각 영상에 대해 특징 추출 및 식별자 생성 과정을 거쳐 영상 파일에 대응하는 식별자 파일을 같이 저장하고 있도록 구성할 수 있다.The image database may be configured to have an image file itself and to simultaneously store an identifier file corresponding to the image file through feature extraction and identifier generation for each image.

이는 영상이 질의어로 들어온 경우 질의어에 대한 특징 추출 및 식별자 생성 을 수행한 후, 사전에 추출해 놓은 식별자 리스트와 비교하여 내용이 유사한 영상 리스트를 용이하게 얻어내기 위함이다.This is to easily obtain an image list having similar contents compared to the identifier list previously extracted after performing feature extraction and identifier generation for the query word when the image comes in as a query word.

도 8은 본 발명의 일 실시예에 따른 위치 정보를 포함하는 영상을 대상으로 한 내용기반 검색 서비스 방법 중 유사 영상 검색단계의 제 1블록도이고, 도 9는 도 8의 알고리즘을 나타내는 도이다. 또한, 도 10은 썸네일 영상 생성을 나타내는 도이며, 도 11은 썸네일 영상을 이용한 특징을 저장하는 모습을 나타내는 도이다.FIG. 8 is a first block diagram of a similar image search step of a content-based search service method for an image including location information according to an embodiment of the present invention, and FIG. 9 is a diagram illustrating the algorithm of FIG. 8. FIG. 10 is a diagram illustrating thumbnail image generation, and FIG. 11 is a diagram illustrating a feature of storing a feature using a thumbnail image.

상기 유사 영상 검색단계(S500)는 도 8에 도시된 바와 같이, 사이즈 정규화공정(S511)과, 부분 블록 분할공정(S512)과, 화소값 설정공정(S513) 및 식별자 생성공정(S514)을 포함할 수 있다.As shown in FIG. 8, the similar image retrieval step S500 includes a size normalization step S511, a partial block dividing step S512, a pixel value setting step S513, and an identifier generation step S514. can do.

상기 사이즈 정규화공정(S511)은 입력 영상에 대한 썸네일(thumbnail) 영상을 형성하기 위해 상기 입력 영상을 W(width)×H(height) 크기로 변환하는 공정이다.The size normalization process (S511) is a process of converting the input image into a W (width) × H (height) size to form a thumbnail image of the input image.

상기 사이즈 정규화공정(S511)은 질의어로 들어올 입력 영상의 크기를 사전에 알 수 없기 때문에, 이 점에 대한 정규화 공정이라 할 수 있다.Since the size normalization step S511 does not know the size of the input image to be entered in the query language in advance, it may be referred to as a normalization step for this point.

상기 부분 블록 분할공정(S512)은 도 10에 도시된 바와 같이, 상기 입력 영상을 W×H 개의 부분 블록으로 분할하는 공정이다.As shown in FIG. 10, the partial block dividing process S512 divides the input image into W × H partial blocks.

상기 화소값 설정공정(S513)은 도 11에 도시된 바와 같이, 상기 부분 블록에 대한 평균 화소값을 상기 썸네일(thumbnail) 영상의 화소값으로 설정하는 공정이다.The pixel value setting step S513 is a step of setting an average pixel value for the partial block to a pixel value of the thumbnail image, as shown in FIG. 11.

상기 식별자 생성공정(S514)은 상기 썸네일(thumbnail) 영상에 대해 영상 특징을 추출하여 썸네일 식별자를 생성하는 공정이다.The identifier generation step S514 is a process of generating a thumbnail identifier by extracting an image feature with respect to the thumbnail image.

상술한 바와 같이, 상기 썸네일(thumbnail) 영상을 생성하기 위한 알고리즘은 도 9에 도시된 바와 같다.As described above, the algorithm for generating the thumbnail image is shown in FIG. 9.

도 12는 본 발명의 일 실시예에 따른 위치 정보를 포함하는 영상을 대상으로 한 내용기반 검색 서비스 방법 중 유사 영상 검색단계의 제 2블록도이고, 도 13은 도 12의 알고리즘을 나타내는 도이다. 또한, 도 14는 동심원 구획 지도화 과정을 통한 구역 설정을 나타내는 도이고, 도 15는 화소값 변이 분포를 나타내는 도이며, 도 16은 회전형 변이 분포를 나타내는 도이다. 더불어, 도 17은 4가지 특징 분포에 대한 비트열을 나타내는 도이며, 도 18은 비트열 생성을 나타내는 도이다.12 is a second block diagram of a similar image search step of a content-based search service method for an image including location information according to an embodiment of the present invention, and FIG. 13 is a diagram illustrating the algorithm of FIG. 14 is a diagram illustrating a zone setting through a concentric section mapping process, FIG. 15 is a diagram illustrating a pixel value variation distribution, and FIG. 16 is a diagram illustrating a rotational variation distribution. In addition, FIG. 17 is a diagram illustrating bit strings for four feature distributions, and FIG. 18 is a diagram illustrating bit string generation.

한편, 상기 유사 영상 검색단계(S500)는 도 12에 도시된 바와 같이, 사이즈 정규화공정(S521)과, 동심원 구획 지도화공정(S522)과, 평균 화소 분포계산공정(S523)과, 평균 화소 1차 변이 분포계산공정(S524)과, 평균 화소 2차 변이 분포계산공정(S525)과, 회전형 변이 분포계산공정(S526)과, 특징 분포 해시화공정(S527) 및 식별자 생성공정(S528)을 포함할 수 있다.Meanwhile, as shown in FIG. 12, the similar image retrieval step S500 includes a size normalization step S521, a concentric division mapping step S522, an average pixel distribution calculation step S523, and an average pixel 1. The difference variation distribution calculation step (S524), the average pixel secondary variation distribution calculation step (S525), the rotational variation distribution calculation step (S526), the feature distribution hashing step (S527), and the identifier generation step (S528) It may include.

상기 사이즈 정규화공정(S521)은 입력 영상의 크기를 일정하게 변환하는 공정이다.The size normalization process (S521) is a process of constantly converting the size of the input image.

상기 동심원 구획 지도화공정(S522)은 도 14에 도시된 바와 같이, 정규화된 입력 영상을 반지름 단위로 구획하고 이를 다시 각도 단위로 구획하여 일정한 구역으로 나누는 공정이다. 이때, 각 구역의 값은 구역 내의 평균 화소값으로 정할 수 있다.As shown in FIG. 14, the concentric partition mapping process (S522) divides the normalized input image into a radius unit and divides the normalized input image into an angle unit and divides it into a predetermined region. In this case, the value of each zone may be determined as an average pixel value in the zone.

한편, 정지영상 서술자는 4가지 특징 분포로 구성될 수 있다.Meanwhile, the still image descriptor may be composed of four feature distributions.

상기 정지영상 서술자의 특징 분포는 구체적으로, 평균 화소 분포와, 평균 화소의 1차 변이 분포와, 평균 화소의 2차 변이 분포 및 회전형 변이 분포일 수 있다.Specifically, the feature distribution of the still image descriptor may be an average pixel distribution, a primary variation distribution of the average pixel, a secondary variation distribution of the average pixel, and a rotational variation distribution.

상기 평균 화소 분포계산공정(S523)은 상기 동심원 내에 구획된 고리 내의 모든 영역의 평균 화소 분포를 계산하는 공정이다.The average pixel distribution calculating step (S523) is a step of calculating an average pixel distribution of all regions in the ring partitioned in the concentric circles.

상기 평균 화소 1차 변이 분포계산공정(S524)은 도 15에 도시된 바와 같이, 상기 평균 화소 분포계산공정(S523)에서 구한 평균 화소값과 이웃 고리의 평균 화소값의 차이값의 절대값 분포를 계산하는 공정이다.As shown in FIG. 15, the average pixel primary variation distribution calculation step S524 is used to calculate the absolute value distribution of the difference between the average pixel value obtained in the average pixel distribution calculation step S523 and the average pixel value of the neighboring ring. Calculation process.

상기 평균 화소 2차 변이 분포계산공정(S525)은 상기 평균 화소 1차 변이 분포계산공정(S524)에서 구한 1차 변이값과 이웃 고리의 1차 변이값과의 차이값의 절대값 분포를 계산하는 공정이다.The average pixel secondary variation distribution calculation step (S525) calculates an absolute value distribution of a difference value between the primary variation value obtained in the average pixel primary variation distribution calculation process (S524) and the primary variation value of a neighboring ring. It is a process.

상기 회전형 변이 분포계산공정(S526)은 도 16에 도시된 바와 같이, 상기 고리 내의 한 영역과, 고리 내의 이웃한 영역 및 고리 내에서 반대편에 위치한 영역에 대한 평균 화소 분포의 차이를 계산하는 공정이다.As shown in FIG. 16, the rotational disparity distribution calculation process S526 calculates a difference between an average pixel distribution of one region in the ring, a neighboring region in the ring, and a region located opposite to the region in the ring. to be.

상기 특징 분포 해시화공정(S527)은 도 17 및 도 18에 도시된 바와 같이, 상기 평균 화소 분포와, 1차 변이 분포와, 2차 변이 분포 및 회전형 변이 분포의 특징 분포를 해시 함수를 이용하여 비트열로 변환하는 공정이다.In the feature distribution hashing process (S527), as shown in FIGS. 17 and 18, a hash function is used for the feature distribution of the average pixel distribution, the primary variation distribution, the secondary variation distribution, and the rotational variation distribution. Is converted to a bit string.

상기 식별자 생성공정(S528)은 상기 비트열로부터 정지영상 서술자를 생성하는 공정이다.The identifier generating step S528 is a step of generating a still image descriptor from the bit string.

상술한 바와 같이, 동심원 구획 기반의 식별자를 생성하기 위한 알고리즘은 도 13에 도시된 바와 같다.As described above, the algorithm for generating the concentric partition-based identifier is as shown in FIG.

도 19는 본 발명의 일 실시예에 따른 위치 정보를 포함하는 영상을 대상으로 한 내용기반 검색 서비스 방법 중 유사 영상 검색단계의 제 3블록도이고, 도 20은 도 19의 알고리즘을 나타내는 도이며, 도 21은 에지 기반 식별자 생성을 나타내는 도이다.19 is a third block diagram of a similar image search step of a content-based search service method for an image including location information according to an embodiment of the present invention. FIG. 20 is a diagram illustrating an algorithm of FIG. 19. 21 illustrates edge-based identifier generation.

한편, 상기 유사 영상 검색단계(S500)는 도 19에 도시된 바와 같이, 입력 영상 분할공정(S531)과, 8방향 에지 특징값 추출공정(S532) 및 식별자 생성공정(S533)을 포함할 수 있다.Meanwhile, as illustrated in FIG. 19, the similar image retrieval step S500 may include an input image segmentation step S531, an eight-way edge feature value extraction step S532, and an identifier generation step S533. .

상기 입력 영상 분할공정(S531)은 입력 영상을 N×M 개의 부분 블록으로 분할하는 공정이다.The input image segmentation process S531 is a process of dividing an input image into N × M partial blocks.

상기 8방향 에지 특징값 추출공정(S532)은 도 21에 도시된 바와 같이, 상기 N×M 개의 부분 블록에 대해 특징값으로 0°, 45°, 90°, 135°, 180°, 225°, 270°, 315°의 8개 방향 에지(edge)성분에 대한 특징을 추출하는 공정이다.As shown in FIG. 21, the eight-way edge feature value extracting process S532 may include 0 °, 45 °, 90 °, 135 °, 180 °, 225 °, as feature values for the N × M partial blocks. It is a process of extracting features for eight directions of edge components of 270 ° and 315 °.

상기 식별자 생성공정(S533)은 각 부분 블록의 대표 에지(edge) 성분 값을 정하고 그 값을 식별자로 저장하는 공정이다.The identifier generation step S533 determines a representative edge component value of each partial block and stores the value as an identifier.

상술한 바와 같이, 에지(edge) 특징을 이용한 식별자를 생성하기 위한 알고리즘은 도 20에 도시된 바와 같다.As described above, an algorithm for generating an identifier using an edge feature is as shown in FIG. 20.

도 22는 본 발명의 일 실시예에 따른 위치 정보를 포함하는 영상을 대상으로 한 내용기반 검색 서비스 방법 중 유사 영상 검색단계의 제 4블록도이고, 도 23은 도 22의 알고리즘을 나타내는 도이다. 또한, 도 24는 히스토그램 추출 및 양자화를 나타내는 도이며, 도 25는 히스토그램 정규화 및 저장을 나타내는 도이다.FIG. 22 is a fourth block diagram of a similar image search step of a content-based search service method for an image including location information according to an embodiment of the present invention, and FIG. 23 is a diagram illustrating an algorithm of FIG. 22. 24 is a diagram illustrating histogram extraction and quantization, and FIG. 25 is a diagram illustrating histogram normalization and storage.

한편, 상기 유사 영상 검색단계(S500)는 도 22에 도시된 바와 같이, 히스토그램 생성공정(S541)과, 히스토그램 양자화공정(S542)과, 히스토그램 정규화공 정(S543) 및 식별자 생성공정(S544)을 포함할 수 있다.Meanwhile, as shown in FIG. 22, the similar image retrieval step S500 includes a histogram generation step S541, a histogram quantization step S542, a histogram normalization step S543, and an identifier generation step S544. It may include.

상기 히스토그램 생성공정(S541)은 도 24에 도시된 바와 같이, 입력 영상의 3차원 컬러 공간에 대한 히스토그램을 추출하는 공정이다.As shown in FIG. 24, the histogram generating process S541 is a process of extracting a histogram of a three-dimensional color space of an input image.

상기 입력 영상의 3차원 컬러 공간은 RGB(Red, Green, Blue)나 HSV(Hue, Saturation, Value) 또는 YUV(Y:휘도 신호, U:휘도 신호와 적색 성분의 차, V:휘도 신호와 청색 성분의 차) 공간으로 이루어질 수 있다.The three-dimensional color space of the input image is RGB (Red, Green, Blue) or HSV (Hue, Saturation, Value) or YUV (Y: luminance signal, U: luminance signal and red component difference, V: luminance signal and blue Difference of components) space.

상기 히스토그램 양자화공정(S542)은 각각의 3개의 차원에 대해 상기 히스토그램의 계급의 수를 각각 L1, L2, L3 개로 양자화하는 공정이다.The histogram quantization step S542 is a step of quantizing the number of ranks of the histogram into L1, L2, and L3 for each of three dimensions.

상기 히스토그램 정규화공정(S543)은 도 25에 도시된 바와 같이, 상기 히스토그램의 도수값이 0 내지 255의 값을 갖도록 정규화시키는 공정이다.The histogram normalization step S543 is a step of normalizing the frequency value of the histogram to have a value of 0 to 255, as shown in FIG.

상기 식별자 생성공정(S544)은 정규화된 상기 히스토그램의 도수값을 1바이트 공간에 저장하여 식별자를 생성하는 공정이다.The identifier generating step S544 is a step of generating an identifier by storing the normalized frequency value of the histogram in a 1-byte space.

상술한 바와 같이, 컬러 히스토그램을 이용한 식별자를 생성하기 위한 알고리즘은 도 23에 도시된 바와 같다.As described above, the algorithm for generating the identifier using the color histogram is as shown in FIG.

한편, 상기 유사 영상 검색단계(S500)에서는 선택된 위치 정보에 해당하는 데이터베이스를 검색할 수 있다.Meanwhile, in the similar image searching step S500, a database corresponding to the selected location information may be searched.

구체적으로, 영상 자체의 메타데이터를 이용하여 사용자가 선택한 초기 위치와 사용자가 설정한 검색 반경 내의 위도/경도값을 갖는 영상 데이터를 선별할 수 있고, 만일 사용자가 특별히 반경을 선택하지 않았다면 전체 화면 영역에서 위도/경도값을 갖는 영상 데이터를 선별할 수 있다.Specifically, image data having the initial position selected by the user and latitude / longitude values within the search radius set by the user may be selected using metadata of the image itself, and if the user does not specifically select a radius, the full screen area Image data having latitude / longitude values can be selected from.

또한, 상기 유사 영상 검색단계(S500)에서는 영상 식별자를 이용하여 유사도가 높은 영상을 선별할 수 있다.In the similar image retrieval step S500, an image having a high similarity may be selected using an image identifier.

구체적으로, 위치 정보를 이용하여 선별된 데이터들 중에서 영상 식별자와 비트스트림의 유사도가 높은 영상을 높은 우선순위를 갖는 결과로서 정렬할 수 있다. 이는 메타데이터를 이용한 검색속도에 비해 영상 식별자를 이용한 영상 정합속도가 상대적으로 느리기 때문이다.In detail, the image having high similarity between the image identifier and the bitstream may be sorted as a result having a high priority among the data selected using the location information. This is because image matching speed using image identifier is relatively slow compared to search speed using metadata.

도 29는 검색 결과 표시를 나타내는 도이다.29 is a diagram illustrating a search result display.

더불어, 상기 유사 영상 검색단계(S500)에서는 도 29에 도시된 바와 같이, 검색 결과를 지도 화면 상에 표시할 수 있으며, 이때, 사용자의 요구에 맞게 결과를 정렬하여 표시할 수 있다.In addition, in the similar image search step S500, as shown in FIG. 29, the search results may be displayed on a map screen. In this case, the results may be sorted and displayed according to a user's request.

상기 지도 화면 상의 빨간색 아이콘은 검색 결과의 위치 정보에 대한 마커이 며, 파란색 아이콘은 사용자가 검색을 위해 설정한 초기 위치를 표시하는 마커이다.The red icon on the map screen is a marker for location information of a search result, and the blue icon is a marker indicating an initial location set by the user for searching.

한편, 상기 유사 영상 검색단계(S500)에서는 도 5에 도시된 바와 같이, 검색어, 즉, 질의어가 텍스트 질의어인 경우, 텍스트 질의어에 대한 프로세스를 수행할 수 있다.On the other hand, in the similar image search step (S500), as shown in FIG. 5, when the search word, that is, the query is a text query, a process for the text query may be performed.

구체적으로, 상기 검색어의 타입이 텍스트인 경우, 상기 영상 데이터베이스와 비교한 후 내용이 유사한 영상 리스트를 획득하여 사용자에게 디스플레이할 수 있다.In detail, when the type of the search word is text, an image list having similar contents may be obtained and displayed to the user after comparing with the image database.

한편, 본 발명의 일 실시예에 따른 위치 정보를 포함하는 영상을 대상으로 한 내용기반 검색 서비스 방법은 도 2에 도시된 바와 같이, 지도 화면 표시단계(S100)와, 초기 위치 선택단계(S200)와, 검색어 입력단계(S300)와, 검색어 타입 검사단계(S400)와, 유사 영상 검색단계(S500) 및 유사 영상 재검색단계(S600)를 포함한다.Meanwhile, in the content-based search service method for an image including location information according to an embodiment of the present invention, as shown in FIG. And a search word input step S300, a search word type check step S400, a similar image search step S500, and a similar image rescan step S600.

상기 지도 화면 표시단계(S100)와, 초기 위치 선택단계(S200)와, 검색어 입력단계(S300)와, 검색어 타입 검사단계(S400) 및 유사 영상 검색단계(S500)는 전술한 내용과 동일하다.The map screen display step (S100), the initial position selection step (S200), the search word input step (S300), the search word type checking step (S400), and the similar image search step (S500) are the same as described above.

도 30은 검색 결과를 이용한 재검색을 나타내는 도이다.30 is a diagram illustrating re-search using search results.

상기 유사 영상 재검색단계(S600)는 검색된 유사 영상을 검색 대화상자에 재입력하여 상기 유사 영상 검색단계(S500)를 재수행하는 단계이다.The similar image rescanning step (S600) is a step of re-entering the similar image searching step (S500) by re-inputting the found similar image into a search dialog box.

사용자는 상기 유사 영상 재검색단(S600)계에서, 검색 결과로 얻은 영상을 다시 질의어 자체로 사용할 수 있는데, 도 30에 도시된 바와 같이, 하이라이트가 있는 썸네일(thumbnail) 영상이 사용자가 리스트에서 재검색을 위해 선택한 영상일 수 있다.The user may use the image obtained as a result of the search again as a query word in the similar image re-search step S600, and as shown in FIG. It may be an image selected for.

또한, 본 발명의 일 실시예에 따른 위치 정보를 포함하는 영상을 대상으로 한 내용기반 검색 서비스 방법은 도 3에 도시된 바와 같이, 지도 화면 표시단계(S100)와, 초기 위치 선택단계(S200)와, 검색어 입력단계(S300)와, 검색어 타입 검사단계(S400)와, 유사 영상 검색단계(S500) 및 영상 등록 단계를 포함할 수 있다.In addition, the content-based search service method for the image including the location information according to an embodiment of the present invention, as shown in Figure 3, the map screen display step (S100) and the initial location selection step (S200) And a search word input step S300, a search word type checking step S400, a similar image search step S500, and an image registration step.

상기 지도 화면 표시단계(S100)와, 초기 위치 선택단계(S200)와, 검색어 입력단계(S300)와, 검색어 타입 검사단계(S400) 및 유사 영상 검색단계(S500)는 전술한 내용과 동일하다.The map screen display step (S100), the initial position selection step (S200), the search word input step (S300), the search word type checking step (S400), and the similar image search step (S500) are the same as described above.

상기 영상 등록 단계(S700)는 사용자가 상기 지도 화면 상에서 특정 위치를 선택하고 위치 정보를 포함하는 영상을 업로드하는 단계이다.The image registration step (S700) is a step in which a user selects a specific location on the map screen and uploads an image including the location information.

사용자가 상기 영상 등록 단계(S700)에서 영상의 위치 정보를 업로드함으로써 지도 화면 상의 실제 위도/경도 값을 모르더라도 쉽게 위치 정보를 등록할 수 있다.By uploading the location information of the image in the image registration step (S700), the user can easily register the location information without knowing the actual latitude / longitude value on the map screen.

도 26은 본 발명의 일 실시예에 따른 위치 정보를 포함하는 영상을 대상으로 한 내용기반 검색 서비스 방법 중 영상 등록 단계의 블록도이고, 도 27은 도 26의 알고리즘을 나타내는 도이다.FIG. 26 is a block diagram of an image registration step of a content-based search service method for an image including location information according to an embodiment of the present invention, and FIG. 27 is a diagram illustrating an algorithm of FIG.

상기 영상 등록 단계(S700)는 도 26에 도시된 바와 같이, 특정 위치 선택공정(S710)과, 위도/경도 추출공정(S720)과, 영상 업로드공정(S730) 및 위치값 등록공정(S740)을 포함한다.As illustrated in FIG. 26, the image registration step S700 includes a specific position selection process S710, a latitude / longitude extraction process S720, an image upload process S730, and a position value registration process S740. Include.

상기 특정 위치 선택공정(S710)은 사용자가 상기 지도 화면 상에서 특정 위치를 선택하는 공정이다.The specific location selection process (S710) is a process in which a user selects a specific location on the map screen.

상기 위도/경도 추출공정(S720)은 상기 특정 위치의 위도/경도 값을 추출하는 공정이다.The latitude / longitude extraction process S720 is a process of extracting the latitude / longitude value of the specific position.

상기 영상 업로드공정(S730)은 사용자가 위치 정보를 포함하는 영상을 업로 드하는 공정이다.The image upload process (S730) is a process in which a user uploads an image including location information.

상기 위치값 등록공정(S740)은 업로드된 영상의 메타데이터로부터 위치값을 등록하는 공정이다.The position value registration step S740 is a process of registering a position value from metadata of the uploaded image.

상술한 바와 같이, 사용자에 의한 영상 등록을 위한 알고리즘은 도 23에 도시된 바와 같다.As described above, the algorithm for image registration by the user is as shown in FIG.

더불어, 본 발명의 일 실시예에 따른 위치 정보를 포함하는 영상을 대상으로 한 내용기반 검색 서비스 방법은 도 4에 도시된 바와 같이, 지도 화면 표시단계(S100)와, 초기 위치 선택단계(S200)와, 검색어 입력단계(S300)와, 검색어 타입 검사단계(S400)와, 유사 영상 검색단계(S500)와, 유사 영상 재검색단계(S600) 및 영상 등록 단계(S700)를 포함한다.In addition, the content-based search service method for an image including location information according to an embodiment of the present invention, as shown in Figure 4, the map screen display step (S100) and the initial location selection step (S200) And a search word input step S300, a search word type checking step S400, a similar image search step S500, a similar image rescanning step S600, and an image registration step S700.

상기 지도 화면 표시단계(S100)와, 초기 위치 선택단계(S200)와, 검색어 입력단계(S300)와, 검색어 타입 검사단계(S400)와, 유사 영상 검색단계(S500)와, 유사 영상 재검색단계(S600) 및 영상 등록 단계(S700)는 전술한 내용과 동일하다.The map screen display step (S100), the initial position selection step (S200), the search word input step (S300), the search word type checking step (S400), the similar image search step (S500), the similar image re-search step ( S600) and the image registration step (S700) is the same as described above.

도 31은 영상 질의어에 대한 프로세스를 나타내는 도이고, 도 32는 텍스트 질의어에 대한 프로세스를 나타내는 도이다.31 is a diagram illustrating a process for an image query, and FIG. 32 is a diagram illustrating a process for a text query.

본 발명의 일 실시예에 따른 위치 정보를 포함하는 영상을 대상으로 한 내용기반 검색 서비스 방법에서, 영상 질의어에 대한 프로세스 알고리즘은 도 31에 도시된 바와 같으며, 텍스트 질의어에 대한 프로세스 알고리즘은 도 32에 도시된 바와 같다.In the content-based search service method for an image including location information according to an embodiment of the present invention, the process algorithm for the image query is illustrated in FIG. 31, and the process algorithm for the text query is illustrated in FIG. 32. As shown in.

상술한 바와 같이, 본 발명은 기존 1차원의 키워드 중심의 영상 검색 방법에서 나아가 자동적이며 효과적으로 검색 조건을 설정할 수 있고, 검색 결과로 얻어낸 영상이 의미 있는 정보라는 점에서 사용자와 콘텐츠 간의 링크 방법에 대한 새로운 방향을 제시할 수 있다.As described above, the present invention goes beyond the existing one-dimensional keyword-centered image retrieval method and can automatically and effectively set the search conditions, and the link method between the user and the content in that the image obtained from the search result is meaningful information. New directions can be given.

따라서, 본 발명은 위치 정보를 기반으로 한 영상 검색 서비스 및 위치 정보 제공 서비스와, 영상 내용 정보를 기반으로 한 영상 검색 서비스와, 개인 데스트 탑의 사진 앨범 관리 분야 및 소셜네트워크와 관련하여 위치정보 기반의 영상 앨범 및 공유 서비스 분야에 적용될 수 있다.Accordingly, the present invention relates to a video retrieval service and a location information providing service based on location information, a video retrieval service based on image content information, a photo album management field of a personal desktop and a social network based on location information. It can be applied to the field of video album and sharing service.

이상과 같이 본 발명에 따른 위치 정보를 포함하는 영상을 대상으로 한 내용기반 검색 서비스 방법을 예시한 도면을 참조로 하여 설명하였으나, 본 명세서에 개시된 실시예와 도면에 의해 본 발명이 한정되는 것은 아니며, 본 발명의 기술사상 범위내에서 당업자에 의해 다양한 변형이 이루어질 수 있음은 물론이다.As described above with reference to the drawings illustrating a content-based search service method for an image including location information according to the present invention, the present invention is not limited to the embodiments and drawings disclosed herein. Of course, various modifications may be made by those skilled in the art within the technical scope of the present invention.

도 1 내지 도 4는 본 발명의 일 실시예에 따른 위치 정보를 포함하는 영상을 대상으로 한 내용기반 검색 서비스 방법의 블록도.1 to 4 are block diagrams of a content-based search service method for an image including location information according to an embodiment of the present invention.

도 5는 본 발명의 일 실시예에 따른 위치 정보를 포함하는 영상을 대상으로 한 내용기반 검색 서비스 방법의 전체 알고리즘을 나타내는 도.5 is a diagram illustrating an overall algorithm of a content-based search service method for an image including location information according to an embodiment of the present invention.

도 6은 지도 화면 상에 초기 위치를 설정하는 모습을 나타내는 도이고, 도 7은 검색 반경을 설정하는 모습을 나타내는 도.6 is a diagram illustrating a state of setting an initial position on a map screen, and FIG. 7 is a diagram illustrating a state of setting a search radius.

도 8은 본 발명의 일 실시예에 따른 위치 정보를 포함하는 영상을 대상으로 한 내용기반 검색 서비스 방법 중 유사 영상 검색단계의 제 1블록도.8 is a first block diagram of a similar image search step of a content-based search service method for an image including location information according to an embodiment of the present invention.

도 9는 도 8의 알고리즘을 나타내는 도, 도 10은 썸네일 영상 생성을 나타내는 도, 도 11은 썸네일 영상을 이용한 특징을 저장하는 모습을 나타내는 도.9 is a diagram illustrating an algorithm of FIG. 8, FIG. 10 is a diagram illustrating thumbnail image generation, and FIG. 11 is a diagram showing a state of storing a feature using a thumbnail image.

도 12는 본 발명의 일 실시예에 따른 위치 정보를 포함하는 영상을 대상으로 한 내용기반 검색 서비스 방법 중 유사 영상 검색단계의 제 2블록도.12 is a second block diagram of a similar image search step of a content-based search service method for an image including location information according to an embodiment of the present invention.

도 13은 도 12의 알고리즘을 나타내는 도, 도 14는 동심원 구획 지도화 과정을 통한 구역 설정을 나타내는 도, 도 15는 화소값 변이 분포를 나타내는 도, 도 16은 회전형 변이 분포를 나타내는 도, 도 17은 4가지 특징 분포에 대한 비트열을 나타내는 도, 도 18은 비트열 생성을 나타내는 도.FIG. 13 is a diagram illustrating an algorithm of FIG. 12, FIG. 14 is a diagram illustrating zoning through a concentric partition mapping process, FIG. 15 is a diagram illustrating a pixel value variation distribution, and FIG. 16 is a diagram showing a rotational variation distribution. 17 shows a bit string for four feature distributions, and FIG. 18 shows bit string generation.

도 19는 본 발명의 일 실시예에 따른 위치 정보를 포함하는 영상을 대상으로 한 내용기반 검색 서비스 방법 중 유사 영상 검색단계의 제 3블록도.19 is a third block diagram of a similar image search step of a content-based search service method for an image including location information according to an embodiment of the present invention.

도 20은 도 19의 알고리즘을 나타내는 도, 도 21은 에지 기반 식별자 생성을 나타내는 도.20 illustrates the algorithm of FIG. 19, and FIG. 21 illustrates edge-based identifier generation.

도 22는 본 발명의 일 실시예에 따른 위치 정보를 포함하는 영상을 대상으로 한 내용기반 검색 서비스 방법 중 유사 영상 검색단계의 제 4블록도.FIG. 22 is a fourth block diagram of a similar image search step of a content-based search service method for an image including location information according to an embodiment of the present invention. FIG.

도 23은 도 22의 알고리즘을 나타내는 도, 도 24는 히스토그램 추출 및 양자화를 나타내는 도, 도 25는 히스토그램 정규화 및 저장을 나타내는 도.FIG. 23 illustrates the algorithm of FIG. 22, FIG. 24 illustrates histogram extraction and quantization, and FIG. 25 illustrates histogram normalization and storage.

도 26은 본 발명의 일 실시예에 따른 위치 정보를 포함하는 영상을 대상으로 한 내용기반 검색 서비스 방법 중 영상 등록 단계의 블록도.FIG. 26 is a block diagram of an image registration step of a content-based search service method for an image including location information according to an embodiment of the present invention. FIG.

도 27은 도 26의 알고리즘을 나타내는 도, 도 28은 초기 위치 설정 및 검색어 입력을 나타내는 도, 도 29는 검색 결과 표시를 나타내는 도, 도 30은 검색 결과를 이용한 재검색을 나타내는 도.FIG. 27 is a diagram illustrating the algorithm of FIG. 26, FIG. 28 is a diagram illustrating initial position setting and a search word input, FIG. 29 is a diagram showing a search result display, and FIG. 30 is a diagram showing re-search using search results.

도 31은 영상 검색어에 대한 프로세스를 나타내는 도.31 illustrates a process for an image search term.

도 32는 텍스트 검색어에 대한 프로세스를 나타내는 도.32 illustrates a process for text search terms.

도 33은 종래의 검색 결과로서 지도상에 표시된 영상을 나타내는 도, 도 34는 종래의 검색 결과로서 리스트로 표현된 영상을 나타내는 도.FIG. 33 is a diagram showing an image displayed on a map as a conventional search result, and FIG. 34 is a diagram showing an image represented as a list as a conventional search result.

< 도면의 주요 부분에 대한 부호의 설명 ><Description of Symbols for Main Parts of Drawings>

S100:지도 화면 표시단계 S200:초기 위치 선택단계S100: Map screen display step S200: Initial location selection step

S300:검색어 입력단계 S400:검색어 타입 검사단계S300: search word input step S400: search word type checking step

S500:유사 영상 검색단계 S511,S521:사이즈 정규화공정S500: Similar image search step S511, S521: Size normalization process

S512:부분 블록 분할공정 S513:화소값 설정공정S512: Partial block dividing step S513: Pixel value setting step

S514,S528,S533,S544:식별자 생성공정S514, S528, S533, S544: Identifier generation process

S522:동심원 구획 지도화공정 S523:평균 화소 분포계산공정S522: Concentric segment mapping process S523: Average pixel distribution calculation process

S524:평균 화소 1차 변이 분포계산공정S524: Calculation of average pixel primary variation distribution

S525:평균 화소 2차 변이 분포계산공정S525: average pixel secondary variation distribution calculation process

S526:회전형 변이 분포계산공정S526: Rotating Dispersion Distribution Calculation Process

S527:특징 분포 해시화공정 S531:입력 영상 분할공정S527: Characteristic distribution hashing process S531: Input image segmentation process

S532:8방향 에지 특징값 추출공정S532: Eight-way edge feature value extraction process

S541:히스토그램 생성공정 S542:히스토그램 양자화공정S541: Histogram Generation Process S542: Histogram Quantization Process

S543:히스토그램 정규화공정 S600:유사 영상 재검색단계S543: Histogram normalization process S600: Similar image rescanning step

S700:영상 등록 단계 S710:특정 위치 선택공정;S700: Image registration step S710: Specific position selection process;

S720:위도/경도 추출공정 S730:영상 업로드공정S720: Latitude / Longitude Extraction Process S730: Image Upload Process

S740:위치값 등록공정S740: Position value registration process

Claims (15)

초기 화면으로 지도 화면을 디스플레이하는 지도 화면 표시단계;A map screen display step of displaying a map screen as an initial screen; 사용자가 상기 지도 화면에 초기 위치를 설정하면 해당 위치에 마커를 디스플레이하는 초기 위치 선택단계;An initial location selection step of displaying a marker at a corresponding location when a user sets an initial location on the map screen; 사용자가 상기 지도 화면 상에 제시되는 검색 대화상자에 영상 또는 텍스트 검색어를 입력하는 검색어 입력단계;A search word input step of a user inputting an image or text search word in a search dialog box displayed on the map screen; 상기 검색 대화상자에 입력된 검색어의 타입을 검사하는 검색어 타입 검사단계; 및A search word type checking step of checking a type of a search word input in the search dialog box; And 상기 검색어의 타입에 따른 프로세스를 처리하여 영상 데이터베이스에서 유사 영상을 검색한 후 사용자에게 디스플레이하는 유사 영상 검색단계를 포함하는 것을 특징으로 하는 위치 정보를 포함하는 영상을 대상으로 한 내용기반 검색 서비스 방법.And a similar image searching step of processing a process according to the type of the search term to search for a similar image in an image database and displaying the same to a user. 제 1항에 있어서,The method of claim 1, 상기 초기 위치 선택단계는,The initial position selection step, 사용자가 상기 지도 화면에서 키워드를 입력하여 초기 위치를 설정하는 것을 특징으로 하는 위치 정보를 포함하는 영상을 대상으로 한 내용기반 검색 서비스 방법.A content-based search service method for an image including location information, wherein a user sets an initial location by inputting a keyword on the map screen. 제 1항에 있어서,The method of claim 1, 상기 초기 위치 선택단계는,The initial position selection step, 사용자가 상기 지도 화면에서 줌인, 줌아웃, 이동기능을 수행하여 초기 위치를 설정하는 것을 특징으로 하는 위치 정보를 포함하는 영상을 대상으로 한 내용기반 검색 서비스 방법.A content-based search service method for an image including location information, wherein the user sets an initial location by performing a zoom in, zoom out, and movement function on the map screen. 제 1항에 있어서,The method of claim 1, 상기 초기 위치 선택단계는,The initial position selection step, 사용자가 설정한 상기 초기 위치를 중심으로 검색 반경을 설정하는 것을 특징으로 하는 위치 정보를 포함하는 영상을 대상으로 한 내용기반 검색 서비스 방법.A content-based search service method for an image including location information, wherein a search radius is set based on the initial location set by a user. 제 1항에 있어서,The method of claim 1, 상기 검색어 입력단계에서,In the search word input step, 상기 검색 대화상자는 영상을 이용한 검색 또는 텍스트를 이용한 검색을 구분하는 라디오 버튼을 포함하는 것을 특징으로 하는 위치 정보를 포함하는 영상을 대상으로 한 내용기반 검색 서비스 방법.The search dialog box is a content-based search service method for an image including the location information, characterized in that it comprises a radio button for distinguishing the search using the image or the search using the text. 제 5항에 있어서,The method of claim 5, 상기 검색어 입력단계에서,In the search word input step, 상기 검색 대화상자에 영상을 입력하여 검색하는 경우, 상기 영상의 파일 포맷은 jpg, bmp, png 등의 범용 포맷이며, 상기 영상은 위치 정보를 포함하는 것을 특징으로 하는 위치 정보를 포함하는 영상을 대상으로 한 내용기반 검색 서비스 방법.When searching by inputting an image into the search dialog box, the file format of the image is a general format such as jpg, bmp, or png, and the image includes position information. Content-based retrieval service method. 제 1항에 있어서,The method of claim 1, 상기 유사 영상 표시단계에서,In the similar image display step, 상기 검색어의 타입이 영상인 경우, 해당 영상에 대한 특징을 추출하고 식별자를 생성하여 상기 영상 데이터베이스의 식별자 리스트와 비교한 후 내용이 유사한 영상 리스트를 획득하여 사용자에게 디스플레이하는 것을 특징으로 하는 위치 정보를 포함하는 영상을 대상으로 한 내용기반 검색 서비스 방법.When the type of the search word is an image, location information of the feature is extracted, the identifier is generated and compared with the identifier list of the image database, and the image list having similar contents is obtained and displayed to the user. Content-based retrieval service method targeting images. 제 7항에 있어서,The method of claim 7, wherein 상기 유사 영상 표시단계는,The similar image display step, 입력 영상에 대한 썸네일(thumbnail) 영상을 형성하기 위해 상기 입력 영상을 W(width)×H(height) 크기로 변환하는 사이즈 정규화공정;A size normalization process of converting the input image into a W (width) × H (height) size to form a thumbnail image of the input image; 상기 입력 영상을 W×H 개의 부분 블록으로 분할하는 부분 블록 분할공정;A partial block dividing step of dividing the input image into W × H partial blocks; 상기 부분 블록에 대한 평균 화소값을 상기 썸네일(thumbnail) 영상의 화소값으로 설정하는 화소값 설정공정; 및A pixel value setting step of setting an average pixel value for the partial block to a pixel value of the thumbnail image; And 상기 썸네일(thumbnail) 영상에 대해 영상 특징을 추출하여 썸네일 식별자를 생성하는 식별자 생성공정을 포함하는 것을 특징으로 하는 위치 정보를 포함하는 영상을 대상으로 한 내용기반 검색 서비스 방법.And an identifier generating step of generating a thumbnail identifier by extracting an image feature of the thumbnail image and generating a thumbnail identifier of the thumbnail image. 제 7항에 있어서,The method of claim 7, wherein 상기 유사 영상 표시단계는,The similar image display step, 입력 영상의 크기를 일정하게 변환하는 사이즈 정규화공정;A size normalization process of constantly converting the size of the input image; 정규화된 입력 영상을 반지름 단위로 구획하고 이를 다시 각도 단위로 구획하여 일정한 구역으로 나누는 동심원 구획 지도화공정;A concentric circle mapping process for dividing the normalized input image into radius units and dividing the normalized input image into angle units and dividing the normalized input image into regular regions; 상기 동심원 내에 구획된 고리 내의 모든 영역의 평균 화소 분포를 계산하는 평균 화소 분포계산공정;An average pixel distribution calculation step of calculating an average pixel distribution of all regions in the ring partitioned within the concentric circles; 상기 평균 화소 분포계산공정에서 구한 평균 화소값과 이웃 고리의 평균 화소값의 차이값의 절대값 분포를 계산하는 평균 화소 1차 변이 분포계산공정;An average pixel primary variation distribution calculation step of calculating an absolute value distribution of a difference value between an average pixel value obtained in the average pixel distribution calculation step and an average pixel value of a neighboring ring; 상기 평균 화소 1차 변이 분포계산공정에서 구한 1차 변이값과 이웃 고리의 1차 변이값과의 차이값의 절대값 분포를 계산하는 평균 화소 2차 변이 분포계산공정;An average pixel secondary variation distribution calculation step of calculating an absolute value distribution of a difference value between the primary variation value obtained in the average pixel primary variation distribution calculation process and the primary variation value of a neighboring ring; 상기 고리 내의 한 영역과, 고리 내의 이웃한 영역 및 고리 내에서 반대편에 위치한 영역에 대한 평균 화소 분포의 차이를 계산하는 회전형 변이 분포계산공정;A rotational disparity calculation step of calculating a difference between an average pixel distribution for one region in the ring, an adjacent region in the ring, and a region located opposite the ring; 상기 평균 화소 분포와, 1차 변이 분포와, 2차 변이 분포 및 회전형 변이 분포의 특징 분포를 해시 함수를 이용하여 비트열로 변환하는 특징 분포 해시화공정; 및A feature distribution hashing step of converting the feature distribution of the average pixel distribution, the primary variation distribution, the secondary variation distribution, and the rotational variation distribution into a bit string using a hash function; And 상기 비트열로부터 정지영상 서술자를 생성하는 식별자 생성공정을 포함하는 것을 특징으로 하는 위치 정보를 포함하는 영상을 대상으로 한 내용기반 검색 서비스 방법.And an identifier generation step of generating a still image descriptor from the bit string. 제 7항에 있어서,The method of claim 7, wherein 상기 유사 영상 표시단계는,The similar image display step, 입력 영상을 N×M 개의 부분 블록으로 분할하는 입력 영상 분할공정;An input image segmentation process of dividing the input image into N × M partial blocks; 상기 부분 블록에 대해 특징값으로 0°, 45°, 90°, 135°, 180°, 225°, 270°, 315°의 8개 방향 에지(edge)성분에 대한 특징을 추출하는 8방향 에지 특징값 추출공정; 및An eight-way edge feature that extracts features for eight direction edge components of 0 °, 45 °, 90 °, 135 °, 180 °, 225 °, 270 °, and 315 ° as feature values for the partial block. Value extraction process; And 상기 부분 블록의 대표 에지(edge) 성분 값을 정하고 그 값을 식별자로 저장 하는 식별자 생성공정을 포함하는 것을 특징으로 하는 위치 정보를 포함하는 영상을 대상으로 한 내용기반 검색 서비스 방법.And an identifier generating step of determining a representative edge component value of the partial block and storing the value as an identifier. 제 7항에 있어서,The method of claim 7, wherein 상기 유사 영상 표시단계는,The similar image display step, 입력 영상의 3차원 컬러 공간에 대한 히스토그램을 추출하는 히스토그램 생성공정;A histogram generating step of extracting a histogram of a three-dimensional color space of an input image; 상기 히스토그램의 계급의 수를 L1, L2, L3 개로 양자화하는 히스토그램 양자화공정;A histogram quantization step of quantizing the number of ranks of the histogram into L1, L2, and L3; 상기 히스토그램의 도수값이 0 내지 255의 값을 갖도록 정규화시키는 히스토그램 정규화공정; 및A histogram normalization step of normalizing the frequency value of the histogram to have a value of 0 to 255; And 정규화된 상기 히스토그램의 도수값을 1바이트 공간에 저장하여 식별자를 생성하는 식별자 생성공정을 포함하는 것을 특징으로 하는 위치 정보를 포함하는 영상을 대상으로 한 내용기반 검색 서비스 방법.And an identifier generating step of generating an identifier by storing the normalized frequency value of the histogram in a one-byte space. 제 1항에 있어서,The method of claim 1, 상기 유사 영상 검색단계 후,After the similar image search step, 검색된 상기 유사 영상을 상기 검색 대화상자에 재입력하여 상기 유사 영상 검색단계를 재수행하는 유사 영상 재검색단계를 더 포함하는 것을 특징으로 하는 위치 정보를 포함하는 영상을 대상으로 한 내용기반 검색 서비스 방법.And re-entering the similar image retrieval step by re-entering the retrieved similar image in the search dialog box. 제 1항에 있어서,The method of claim 1, 사용자가 상기 지도 화면 상에서 특정 위치를 선택하고 위치 정보를 포함하는 영상을 업로드하는 영상 등록 단계를 더 포함하는 것을 특징으로 하는 위치 정보를 포함하는 영상을 대상으로 한 내용기반 검색 서비스 방법.And a video registration step in which a user selects a specific location on the map screen and uploads an image including the location information. 제 13항에 있어서,The method of claim 13, 상기 영상 등록 단계는,The image registration step, 사용자가 상기 지도 화면 상에서 특정 위치를 선택하는 특정 위치 선택공정;A specific location selection process of the user selecting a specific location on the map screen; 상기 특정 위치의 위도/경도 값을 추출하는 위도/경도 추출공정;A latitude / longitude extraction process of extracting a latitude / longitude value of the specific position; 사용자가 위치 정보를 포함하는 영상을 업로드하는 영상 업로드공정; 및An image upload process of uploading an image including location information by a user; And 업로드된 영상의 메타데이터로부터 위치값을 등록하는 위치값 등록공정을 포함하는 것을 특징으로 하는 위치 정보를 포함하는 영상을 대상으로 한 내용기반 검색 서비스 방법.And a location value registration process of registering a location value from metadata of the uploaded image. 제 1항에 있어서,The method of claim 1, 상기 유사 영상 표시단계는,The similar video display step, 상기 검색어의 타입이 텍스트인 경우, 상기 영상 데이터베이스와 비교한 후 내용이 유사한 영상 리스트를 획득하여 사용자에게 디스플레이하는 것을 특징으로 하는 위치 정보를 포함하는 영상을 대상으로 한 내용기반 검색 서비스 방법.If the type of the search word is a text, the content-based search service method for an image including the location information, characterized in that the image list is obtained and displayed to the user after comparing with the image database.
KR1020090125611A 2009-12-16 2009-12-16 Content based retrieval service method for images with location information KR101078767B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090125611A KR101078767B1 (en) 2009-12-16 2009-12-16 Content based retrieval service method for images with location information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090125611A KR101078767B1 (en) 2009-12-16 2009-12-16 Content based retrieval service method for images with location information

Publications (2)

Publication Number Publication Date
KR20110068587A true KR20110068587A (en) 2011-06-22
KR101078767B1 KR101078767B1 (en) 2011-11-01

Family

ID=44400806

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090125611A KR101078767B1 (en) 2009-12-16 2009-12-16 Content based retrieval service method for images with location information

Country Status (1)

Country Link
KR (1) KR101078767B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014010812A1 (en) * 2012-07-11 2014-01-16 포항공과대학교 산학협력단 Method for generating blocks for video searching and method for processing queries based on blocks generated thereby
KR101867594B1 (en) * 2017-01-18 2018-06-15 (주)글루버 Time-lapse image production apparatus and method using multiple moving pictures
US11481433B2 (en) 2011-06-09 2022-10-25 MemoryWeb, LLC Method and apparatus for managing digital files

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101647691B1 (en) 2016-02-12 2016-08-16 데이터킹주식회사 Method for hybrid-based video clustering and server implementing the same
KR102100339B1 (en) 2018-05-21 2020-04-22 김지훈 System and method for used item commercial transations
KR102100338B1 (en) 2018-05-21 2020-04-23 김지훈 System and method for photo commercial transations
KR20200058006A (en) 2018-11-19 2020-05-27 김지훈 Method for providing an image search using user terminal

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11481433B2 (en) 2011-06-09 2022-10-25 MemoryWeb, LLC Method and apparatus for managing digital files
US11599573B1 (en) 2011-06-09 2023-03-07 MemoryWeb, LLC Method and apparatus for managing digital files
US11636150B2 (en) 2011-06-09 2023-04-25 MemoryWeb, LLC Method and apparatus for managing digital files
US11636149B1 (en) 2011-06-09 2023-04-25 MemoryWeb, LLC Method and apparatus for managing digital files
US11768882B2 (en) 2011-06-09 2023-09-26 MemoryWeb, LLC Method and apparatus for managing digital files
US11899726B2 (en) 2011-06-09 2024-02-13 MemoryWeb, LLC Method and apparatus for managing digital files
US12093327B2 (en) 2011-06-09 2024-09-17 MemoryWeb, LLC Method and apparatus for managing digital files
WO2014010812A1 (en) * 2012-07-11 2014-01-16 포항공과대학교 산학협력단 Method for generating blocks for video searching and method for processing queries based on blocks generated thereby
KR101867594B1 (en) * 2017-01-18 2018-06-15 (주)글루버 Time-lapse image production apparatus and method using multiple moving pictures

Also Published As

Publication number Publication date
KR101078767B1 (en) 2011-11-01

Similar Documents

Publication Publication Date Title
KR101078767B1 (en) Content based retrieval service method for images with location information
JP4340367B2 (en) Image classification apparatus and computer-readable recording medium storing a program for causing a computer to function as the apparatus
US8891902B2 (en) Band weighted colour histograms for image retrieval
KR101289085B1 (en) Images searching system based on object and method thereof
JP4139615B2 (en) Event clustering of images using foreground / background segmentation
JP5170961B2 (en) Image processing system, image processing apparatus and method, program, and recording medium
CN102073748B (en) Visual keyword based remote sensing image semantic searching method
Sajjad et al. Integrating salient colors with rotational invariant texture features for image representation in retrieval systems
KR100471927B1 (en) System for searching image data being based on web and method thereof
JP2007206920A (en) Image processor and image processing method, retrieving device and method, program and recording medium
WO2008129383A1 (en) Method, apparatus and computer program product for determining relevance and/or ambiguity in a search system
US20110202543A1 (en) Optimising content based image retrieval
JP5180922B2 (en) Image search system and image search method
US20110218984A1 (en) Method and system for searching for information pertaining target objects
Lee et al. Efficient photo image retrieval system based on combination of smart sensing and visual descriptor
US20110055253A1 (en) Apparatus and methods for integrated management of spatial/geographic contents
JP2000082075A (en) Device and method for retrieving image by straight line and program recording medium thereof
JP2014211895A (en) Image processing apparatus and method, information processing apparatus and method, and program
Chevallet et al. Object identification and retrieval from efficient image matching. Snap2Tell with the STOIC dataset
Zhang et al. Interactive mobile visual search for social activities completion using query image contextual model
Alnabriss et al. Improved image retrieval with color and angle representation
JP5349004B2 (en) Content search system and content search program
Sangeetha et al. An Enhanced Triadic Color Scheme for Content‐Based Image Retrieval
Khokher et al. Evaluation of a content-based image retrieval system using features based on colour means
Greenwell et al. GeoFaceExplorer: Exploring the geo-dependence of facial attributes

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140818

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151001

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160912

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee