KR20140079262A - 이미지 검색 방법, 실시간 그리기 프롬프팅 방법 및 그 장치 - Google Patents

이미지 검색 방법, 실시간 그리기 프롬프팅 방법 및 그 장치 Download PDF

Info

Publication number
KR20140079262A
KR20140079262A KR1020130070780A KR20130070780A KR20140079262A KR 20140079262 A KR20140079262 A KR 20140079262A KR 1020130070780 A KR1020130070780 A KR 1020130070780A KR 20130070780 A KR20130070780 A KR 20130070780A KR 20140079262 A KR20140079262 A KR 20140079262A
Authority
KR
South Korea
Prior art keywords
image
sketch
input
long edge
user
Prior art date
Application number
KR1020130070780A
Other languages
English (en)
Other versions
KR102061288B1 (ko
Inventor
왕 린
슝 쥰쥰
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20140079262A publication Critical patent/KR20140079262A/ko
Application granted granted Critical
Publication of KR102061288B1 publication Critical patent/KR102061288B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/30—Polynomial surface description
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Human Computer Interaction (AREA)

Abstract

본 발명은 이미지 검색 방법, 실시간 그리기 프롬프팅 방법 및 그 장치에 관한 것으로, 이미지 검색 방법은 이미지의 윤곽을 검출하고, 상기 이미지의 윤곽 특징을 획득하는 단계, 윤곽 특징에 따라 이미지 데이터베이스에서 인덱스 목록을 생성하는 단계, 및 입력에 대응하는 스케치를 획득하고, 인덱스 목록으로부터 스케치를 포함하는 적어도 하나의 이미지를 검색하는 단계를 포함한다. 본 발명에 따른 기술적인 솔루션은 콘텐츠에 기반해 이미지 정보를 빠르고 정확하게 검색할 수 있고, 사용자는 다소 대략적인 스케치를 입력하여 원하는 적어도 하나의 이미지를 빠르게 검색할 수 있다. 또한 본 발명에 의한 실시간 그리기 프롬프팅 방법 및 장치는 스케치 맵 검색에 기반해 실시간 가이던스(guidance)를 구비한 림너(limner)를 제공할 수 있다.

Description

이미지 검색 방법, 실시간 그리기 프롬프팅 방법 및 그 장치{IMAGE RETRIEVAL METHOD, REAL-TIME DRAWING PROMPTING METHOD AND DEVICES THEREOF}
본 발명은 이미지 검색 기술분야에 관한 것으로, 특히 이미지 검색 방법, 실시간 그리기 프롬프팅(drawing prompting) 방법 및 그 장치에 관한 것이다.
현재 모바일(mobile) 인터넷의 발달과 멀티미디어 기술이 대중화되면서, 멀티미디어 정보 검색이 점점 더 인기를 끌고 있다. 모바일 인터넷의 멀티미디어 데이터베이스 또는 로컬 멀티미디어 데이터베이스로부터 필요한 검색 관련 정보에 대한 접근이 많은 사용자 사이에서 더욱 인기를 얻고 있다. 이러한 접근은 가정용 컴퓨터, 휴대폰, 태블릿 컴퓨터 등과 같은 모든 현재의 정보 기기를 포괄한다.
그러나 이미지 데이터의 양은 점점 더 커지고, 기존 검색 솔루션은 이미지 검색에서 사용자에게 많은 시간을 소비하게 한다. 또한 일부 애플리케이션 시나리오에서, 사용자들은 대략적인 스케치를 입력하여 필요한 이미지를 빨리 검색하기를 원한다.
또한 사용자는 단말기 장치에서 그림을 그릴 때, 필요한 이미지를 더 잘 얻기 위해 프롬프트(prompt)나 가이던스 이미지(guidance image)를 얻기를 원한다. 그러한 애플리케이션 시나리오에서, 사용자가 그린 그림은 이미지 검색 애플리케이션으로 볼 수 있다.
상술한 문제들을 해결할 관련 애플리케이션을 더 개발할 필요가 있다. 그러므로 사용자에 의해 입력된 스케치 정보에 따라 유사하거나 동일한 콘텐츠를 갖는 적어도 하나의 이미지를 빠르고 정확하게 검색하는 방법이 필요하다.
본 발명의 목적은 상술한 문제를 해결하고, 유사하거나 동일한 콘텐츠를 갖는 적어도 하나의 이미지를 빠르고 정확하게 검색하는 데 있다.
본 발명의 다른 목적은 이미지 검색 방법, 실시간 그리기 프롬프팅 방법 및 그 장치를 제공함에 있다.
본 발명의 이미지 검색 방법은, 이미지의 윤곽을 검출하여 이미지의 윤곽 특징을 얻는 단계, 상기 윤곽 특징에 따라 이미지 데이터베이스에서 인덱스 목록을 생성하는 단계; 및 사용자에 의해 입력된 스케치를 획득하여 상기 인덱스 목록으로부터 상기 스케치를 포함하는 적어도 하나의 이미지를 검색하는 단계를 포함한다.
본 발명의 이미지 검색 장치는, 이미지의 윤곽을 검출하고 상기 이미지의 윤곽 특징을 얻는 이미지 윤곽 검출 모듈, 상기 윤곽 특징에 따라 상기 이미지 데이터베이스에서 생성된 인덱스 목록을 포함하는 윤곽 특징 관리 모듈, 및 사용자에 의해 입력된 스케치를 획득하여 상기 인덱스 목록으로부터 상기 스케치를 포함하는 이미지를 검색하는 검색 모듈을 포함한다.
본 발명의 실시간 그리기 프롬프팅 방법은, 사용자에 의해 입력된 스케치를 검출하고 그리기 영역에 디스플레이하여 사용자에 의해 입력된 스케치를 획득하는 단계, 상기 스케치를 포함하는 적어도 하나의 이미지를 검색하는 단계; 및 사용자에 의해 입력된 스케치의 기저가 되는 상기 검색된 적어도 하나의 이미지를 적어도 하나의 가중치와 중첩된 방식으로 배경 이미지로 디스플레이하는 단계를 포함한다.
본 발명의 실시간 그리기 프롬프팅 장치는, 사용자에 의해 입력된 스케치를 검출하고 그리기 영역에 디스플레이하여, 사용자에 의해 입력된 스케치를 획득하는 스케치 검출 모듈, 상기 스케치를 포함하는 적어도 하나의 이미지를 검색하는 이미지 검색 모듈, 및 사용자에 의해 입력된 스케치의 기저가 되는 상기 검색된 적어도 하나의 이미지를 적어도 하나의 가중치와 중첩된 방식으로 배경 이미지로 디스플레이하는 디스플레이 모듈을 포함한다.
상술한 관련 목적을 달성하기 위해, 하나 이상의 실시 예들은 이하에서 충분히 기술되고 청구범위에서 특별히 지적된 특징들을 포함한다. 예시적인 양태로 제시된 다음의 설명과 첨부된 도면들은 본 실시 예들의 원리가 적용된 다양한 방식들 중 일부를 나타낸다. 다른 장점들과 새로운 특징들은 도면과 함께 고려될 때 다음의 상세한 설명으로부터 명백해질 것이며, 개시된 실시 예들은 그러한 모든 양태들과 균등물을 포함하도록 의도된다.
본 발명에 의한 이미지 검색 방법 및 장치는 콘텐츠를 기반으로 하여 이미지 정보를 빠르고 정확하게 검색할 수 있다. 또한 본 발명에 의한 이미지 검색 방법 및 장치는 사용자가 다소 대략적인 스케치를 입력하여 원하는 적어도 하나의 이미지를 빠르게 검색할 수 있게 한다. 또한 본 발명에 의한 실시간 그리기 프롬프팅 방법 및 장치는 원하는 적어도 하나의 이미지를 더 잘 그릴 수 있게 실시간 가이던스를 구비한 림너(limer)를 제공할 수 있다.
본 발명의 상술한 및/또는 추가적인 태양과 장점은 첨부된 도면과 함께 실시예에 대한 다음의 설명으로부터 명확하고 쉽게 이해될 것이다.
도 1은 본 발명의 실시 예에 따른 이미지 검색 방법에 대한 흐름도이다.
도 2A는 본 발명의 실시 예에 따른 45°방향의 가버(Garbor) 필터에 대한 개략도이다.
도 2B는 본 발명의 실시 예에 따른 135°방향의 가버 필터에 대한 개략도이다.
도 3은 본 발명의 실시 예에 의해 채용된 반전 인덱싱 방법에 따라 긴 가장자리의 가장자리 위치와 방향을 특징 정보로 사용하여 인덱스 목록을 생성하는 개략도이다.
도 4는 본 발명의 실시 예에 따른 이진(binary) 이미지 거리 변환의 계산 결과에 대한 개략도이다.
도 5는 본 발명의 실시 예에 따른 정확한 유사도 계산 과정에 대한 개략도이다.
도 6은 본 발명의 실시 예에 따른 배경 이미지를 자동으로 생성하는 개략적인 그리기를 도시한 것이다.
도 7은 본 발명의 실시 예에 따른 이미지 검색 장치에 대한 블록도이다.
도 8A는 본 발명의 실시 예에 따른 실시간 그리기 프롬프팅 방법에 대한 개략도이다.
도 8B는 본 발명의 실시 예에 따른 실시간 그리기 프롬프팅 방법에서 사용자에 의해 입력된 스케치를 디스플레이하는 방법에 대한 개략도이다.
도 8C는 본 발명의 실시 예에 따른 실시간 그리기 프롬프팅 방법에 대한 다른 디스플레이 방법에 대한 개략도이다.
도 9는 본 발명의 실시 예에 따른 실시간 그리기 프롬프팅 방법에 대한 다른 디스플레이 방법에 대한 개략도이다.
도 10은 본 발명의 실시 예에 따른 스케치 검색을 기반으로 하는 실시간 그리기 프롬프팅 장치에 대한 개략도이다.
본 발명의 예시적인 실시 예들은 첨부된 도면을 참조하여 상세하게 설명된다. 그러나 본 발명은 많은 다른 방법으로 구현될 수 있고, 여기서 설명된 특정 실시 예들에 한정되는 것으로 고려되어서는 안 될 것이다. 반대로 이 실시 예들은 본 발명을 철저하고 완전하게 개시하고 당업자에게 본 발명의 사상, 생각, 목적, 개념, 참조 해법 및 보호범위를 완전하게 전달하려는 것이다. 도면에서 동일한 참조번호는 동일한 구성요소들을 나타낸다.
도 1은 본 발명의 실시 예에 따른 이미지 검색 방법에 대한 흐름도이다. 본 발명에 의한 이미지 검색 방법은, 이미지의 윤곽을 검출하여 이미지의 윤곽 특징을 획득하는 S11단계, 윤곽 특징에 따른 이미지 데이터베이스에서 인덱스 목록을 생성하는 S12단계, 사용자에 의해 입력된 스케치를 획득하고 인덱스 목록으로부터 스케치를 포함하는 적어도 하나의 이미지를 검색하는 S13단계를 포함한다. 본 발명에 의해 제공되는 콘텐츠 기반 정보 검색(Content-Based Information Retrieval: CBIR) 방법은 검색 효율을 개선하고 매우 정학한 검색 성능을 달성할 수 있다. 검색 전에 일부 사전정보가 인간 상호작용 방법을 사용하여 추가될 수 있어 단말기 장치는 매우 정확한 방식으로 사용자가 필요로 하는 이미지 정보를 검색할 수 있다.
또한 적어도 하나의 이미지의 가장자리 정보(edge information)를 얻기 전에 적어도 하나의 이미지의 가장자리 정보의 데이터 크기를 감소시키고 데이터 양을 통일하기 위해, 본 발명의 이미지 검색 방법은 적어도 하나의 이미지를 정규화하는 단계를 포함할 수 있다. 예를 들어, 단말기 장치는 먼저 획득된 적어도 하나의 이미지의 가장자리 정보에 대한 정규화의 사전처리(pretreatment)를 수행하여 연속되는 가장자리 검출, 가장자리 특징 추출, 및 특징 인덱스 설정 단계들에서 처리될 데이터 양을 감소시킬 수 있다. 예를 들어, 단말기 장치는 획득된 적어도 하나의 이미지의 가장자리 정보의 크기를 일정한 픽셀 크기로 정규화할 수 있다. 예를 들어, 단말기 장치는 원래의 이미지 데이터의 차원에 대해 이미지 형상 변환 방법을 이용해 스케일링 변환을 수행하고, 이미지 데이터베이스의 적어도 하나의 이미지를 일정한 픽셀 크기 (예를 들어, 300x300 픽셀)로 정규화할 수 있다. 예를 들어, 차원변환 방법은 다음을 포함하지만 그에 한정되지 않는다. 적어도 하나의 이미지의 길이와 폭에 대해 스케일링 변환을 직접 수행하고 픽셀들의 그레이 스케일 값(grayscale value)을 직접 해당 위치들로 매핑한다. 차원에 대한 스케일링 변경에 의해 이미지 스케일링을 수행하는 것은 원래 적어도 하나의 이미지의 일정하지 않은 픽셀 크기를 일정한 픽셀 크기로 변환할 수 있다. 예를 들어 이미지 스케일링 방법은, 최근린 보간법(nearest neighbor interpolation method), 선형 보간법(linear interpolation method), 쌍선형 보간법(bilinear interpolation method) 등을 포함할 수 있다. 예를 들어, 최근린 보간법이 우선적으로 수행될 수 있다. 여기서, 300x300 픽셀을 예로 들어, 먼저 이미지의 긴 가장자리가 300 픽셀로 크기가 조정되고(scale), 다음으로 짧은 가장자리가 긴 가장자리의 스케일링 비율에 따라 크기가 조정될 수 있다. 스케일링 후 짧은 가장자리가 300 픽셀보다 작으면, 단말기 장치는 그 이미지의 대칭적인 상부 및 하부 위치들을 검은 색 영역으로 채울 수 있다.
또한, 이미지의 윤곽 검출과 그 이미지의 윤곽 특징 획득 단계는, 이미지에서 긴 가장자리(long edge)를 검출하고 긴 가장자리의 특징 정보를 얻는 단계를 포함하고, 본 발명에서 긴 가장자리의 추출은 이미지의 긴 가장자리를 추출로 대체될 수 있다. 긴 가장자리는 사용자가 "스케치"하기에 기장 쉬운 가장자리이다. 실제 원래의 컬러 이미지에서, 예를 들어, 동물의 털과 같이 상세한 이미지들이 많다. 그러나 동물을 그릴 때, 사용자들이 하는 가장 직관적인 생각은 다른 상세한 것들보다 동물의 기본 윤곽을 그리는 것이다. 그러므로, 본 발명에서 원래 컬러 적어도 하나의 이미지의 가장자리가 추출되면, 적어도 하나의 이미지의 윤곽을 나타내는 긴 가장자리들, 즉 적어도 하나의 이미지의 주요 윤곽들이 추출될 수 있다. 단말기 장치가 사용자에 의해 그림을 그리는데 적용될 때, 사용자에 의해 그려진 스케치맵(sketch map)과 매칭되는 이미지 프로파일에서 긴 가장자리를 추출함으로써 더 나은 결과가 달성될 수 있다. 예를 들어, 긴 가장자리 검출 모듈은 이미지 데이터베이스에서 정규화된 적어도 하나의 이미지의 가장자리를 추출하는데 사용될 수 있다. 본 발명에서 개시된 인덱스 목록은 기존 이미지 데이터베이스를 기반으로 생성된 긴 가장자리 정보 리스트를 참조한다.
즉, 본 발명에서 설명된 긴 가장자리는 사용자에 의해 가장 쉽게 그려지는 가장자리를 말하고, 사용자가 그리기 동작을 수행할 때 사용자에 의해 스케치하기 쉬운 가장자리로 이해될 수 있다. 이미지에서 각 가장자리의 강도가 달라, 일부 강도는 강하고 일부 강도는 약하더라도, 가장자리가 사용자에 의해 그려지기가 쉽다면 그것은 본 발명에서 필요한 긴 가장자리이다. 상술한 바에서 알 수 있는 것과 같이, 일부 가장자리 픽셀들은 원래의 이미지에서 상대적으로 약했기 때문에, 스티어러블 필터링(steerable filtering)에 의해 추출된 가장자리 위에서 가장자리가 추출된 후 매우 약해 가장자리가 아닌 픽셀로 결정될 수 있어 추출된 가장자리들은 불연속인 결과를 가져온다.
이 문제를 해결하기 위해, 이미지에서 검출된 긴 가장자리를 획득하는 단계는, 이미지에 스티어러블 필터를 구현하고 이미지에서 각 가장자리의 특징정보를 획득하되, 가장자리의 특징정보는, 가장자리 위치, 가장자리 방향, 및 가장자리 강도를 포함하는 단계 가장자리의 강도를 정규화하여 가장자리의 강도를 일정하게 하는 단계 및 정규화된 가장자리 강도를 가장자리 방향에 따라 연결하여 긴 가장자리를 획득하는 단계들을 포함할 수 있다. 따라서 본 발명에서 필요한 긴 가장자리는 가장자리들의 정규화된 강도에 따라 각 가장자리들을 연결하여 이뤄져 불연속 가장자리들을 연결하는 효과를 실현하는 한편, 긴 가장자리에 대한 픽셀들의 가장자리 강도를 향상시킬 수 있다. 긴 가장자리의 특징 정보는, 가장자리들을 연결한 후 새 가장자리 강도, 스티어러블 필터링에 의해 획득된 가장자리 위치와 가장자리 방향을 포함한다. 또한 불연속 가장자리들의 연결은 가장자리 연결 알고리즘을 적용하여 긴 가장자리에 속하는 픽셀들을 연결할 수 있어, 즉, 동일한 픽셀에 속하는 강도 변화를 향상시킬 수 있다.
예를 들어, 본 발명에서 8개 방향을 갖는 가버 필터(Garbor filter)를 예로 들어, 가장자리 이미지를 필터링하여 이미지의 가장자리 방향 특징을 추출하는 과정을 설명한다. 본 발명에 사용된 필터는 0°, 22.5°, 45°, 67.5°, 90°, 112.5°, 135° 및 157.5°의 8개 방향을 포함할 수 있다. 각 방향에 대한 필터는 7x7 픽셀 모델이고, 45°방향에 대한 가버 필터와 135°방향에 대한 가버 필터가 도 2A 및 2B에 각각 도시되어 있다. 각 모델은 두 방향에서 2차원 가우스(Gauss) 함수의 분산을 제어하여 생성된다. 각 모델과 이미지의 컨벌루션(convolution)이 수행되고, 가장 큰 컨볼루션 응답을 갖는 모델의 방향이 이미지 내의 포인트의 픽셀 방향이다. 특징 추출 효율을 고려하면, 이미지에서 가장자리 정보를 얻는 상술한 방법은 해당 가장자리 픽셀들의 가장자리 방향들만을 가장자리 특징으로 추출한다. 따라서 이 가장자리 특징에 의해 생성된 이미지 데이터베이스는 상대적으로 작아 검색 효율 및 저장 효율이 개선될 수 있다.
사용자에 의해 그려진 스케치맵에 따라 이미지 데이터베이스에서 높은 이미지 검색 효율을 실현하기 위해 이미지 데이터베이스에서 적어도 하나의 이미지로부터 추출된 특징들에 대한 인덱스 목록이생성되어 빠른 검색 기능이 실현될 수 있다. 실시 예로서, 스케치맵을 검색하는 동안 이미지 데이터베이스에서 매칭된 적어도 하나의 이미지를 빨리 검색하기 위해 가장자리 특징 데이터를 생성하는 단계는, 이미지에서 긴 가장자리에 대한 픽셀들의 위치 정보(x,y)에 따라 반전된 인덱스들(즉, 인덱스 목록의 상세 실시 예)을 생성하고, 가장자리 위의 픽셀들의 수량화된 방향 정보 θ를 생성하는 단계를 포함할 수 있다. 그러므로, 윤곽 특징에 따른 이미지 데이터베이스에서 인덱스 목록을 생성하는 단계는 긴 가장자리들의 특징정보에 대해 반전된 순서로 인덱스 목록을 생성하는 단계를 포함할 수 있다.
도 3은 본 발명의 실시 예에 의해 적용된 반전된 인덱싱 방법에 따라 긴 가장자리의 가장자리 위치 및 가장자리 방향을 특징 정보로 사용하여 인덱스 목록을 생성하는 개략도이다. 예를 들어, 반전된 인덱싱 방법의 채용은 이미지의 가장자리 특징들(x, y, θ)에 따른 이미지 특징 인덱스 목록을 생성하는 단계를 포함하지만 그에 한정되지는 않는다. 예를 들어, 반전된 인덱싱 방법의 적용은 또한 상술한 특징 정보를 3차원 벡터로 선택하고, 세 가지 특징 각각에 대해 별도로 반전 인덱싱을 수행하여 이미지 라이브러리의 용량을 감소시키는 단계를 포함할 수 있다. 예를 들어, 가장자리 방향각 θ에 따라, 방향 특징은, -15-15, 15-45, 45-75, 75-105, 105-135, 및 135-165과 같이 6개 레벨로 수량화될 수 있다. 그런 다음, 방향 특징은 가장자리 위치(x,y)와 통합되어 이미지 데이터베이스에서 하나씩 코드워드(x, y, θ)를 형성할 수 있다. 그런 다음 코드워드는 반전 인덱싱 방식으로 채용되어 반전 인덱스 목록을 생성할 수 있다.
상세하게는, 도 3에 도시된 바와 같이, 반전된 인덱싱 리스트 생성단계는 다음 단계들을 포함할 수 있다.
1단계: 코드워드 (x, y, θ) 값의 수량화된 결과 (즉, 긴 가장자리의 획득된 특징 정보)에 따라 도 3에서 인덱스 엔트리(index entry), 즉, 가장자리 사전(첨부된 도면들의 부호로서 빠른 검색을 실현하는 검색 인터페이스를 말한다)을 생성하고, 예를 들어, x 및 y의 변화범위는 각각 이미지의 폭과 길이이다. 예를 들어, 인덱스 목록이 8개의 방향을 포함한다면, 긴 가장자리의 수량화된 방향 값은 숫자 1-8 가운데 임의의 정수이다. 수량화된 결과는 3가지 정보, 즉, x, y, 및 θ를 포함한다. 가장자리 이미지는 8개의 방향을 갖는 가버 필터에 의해 필터링되어 수량화될 수 있다.
2단계: 한 이미지에 대한 가장자리 방향을 추출한 후, 각 이미지의 각 픽셀(좌표는 (xi, yi))에 대해 그래디언트(gradient) 방향 θi에 대한 통계를 만들고, 이미지의 인덱스 번호를 생성된 인덱스 엔트리(xi, yi, θi)에 저장한다. 각 이미지의 가장자리 포인트들의 위치가 다르기 때문에, 각 픽셀의 정보 통계를 만들 필요가 있다. 하지만 반전된 인덱스 목록에 최종 저장된 이미지는 이 픽셀에 가장자리를 갖는 이미지이고 그 방향은 검색 엔트리에 따른다. 가장자리 방향의 정규화는 원래의 이미지에서 긴 가장자리를 추출하는데 사용되고, 가장자리 방향은 0°와 180°사이에서 연속이다. 여기서, 그래디언트 방향은 8개 방향을 갖는 가버 필터를 사용하여 추출된 긴 가장자리 이미지를 필터링하여 얻은 수량화된 방향이고, 그 값은 1-8 사이의 정수이다. 각 픽셀의 그래디언트 방향은 픽셀이 위치한 국부적인 긴 가장자리의 방향이다. 예를 들어, 이미지 데이터베이스에서 이미지들의 인덱스 번호들은 1, 2, ..., N으로 가정되고, 여기서, N은 이미지 데이터베이스에서 이미지들의 전체 개수이다. 도 3에 도시된 바와 같이, 반전된 리스트에서 제1열의 데이터는: DOC ID1, DOC ID3, ..., DOC IDN으로, 가장자리 사전(대응 관계들은 붉은 색 화살표로 표시됨)에 저장된 해당 엔트리 (xi, yi, θi)에서, 즉, 인덱스 번호 1,3,...,N을 갖는 이미지들에서, 이미지들의 인덱스 번호들을 나타내고, (xi, yi)에 위치한 픽셀들의 그래디언트 방향들은 모두 θi이다. 그래디언트 방향은 조정가능한 필터링 단계에서 구해질 수 있고, 가장자리 방향은 가장자리에서 각 픽셀의 그래디언트 방향이다. 예를 들어, 그래디언트 방향은 8개 방향을 갖는 가버 필터를 사용하여 추출된 긴 가장자리 이미지를 필터링하여 얻어진 수량화된 방향이며, 그 값은 1-8 사이의 정수이다. 따라서 이미지의 인덱스 번호는 생성된 인덱스 엔트리 (xi, yi, θi)에 저장될 수 있다.
3단계: 각 이미지에서 각 픽셀에 대해 통계를 낸 후, 최종 데이터 테이블은 반전된 인덱스 목록, 즉, (x, y, θ)를 엔트리로서 수량화한 것과 이미지 인덱스 번호를 스토리지 정보로서 엔트리를 따르게 하는 것이다.
상술한 바에서 알 수 있는 것과 같이, 본 발명에 따른 이미지 특징은: 이미지에서 객체의 위치 정보를 스케치와 검색된 이미지에서의 객체 위치들이 일치하도록 구성하는 단계를 포함할 수 있다. 본 발명의 이미지 특징은 또한 스케치와 검색된 이미지에서 객체의 형상 및 윤곽의 일치를 보장하는 픽셀 그래디언트 정보를 포함할 수 있다. 한편, 스케치와 검색된 이미지의 두 특징에 존재하는 변동을 고려하면, 본 발명의 상술한 방식은 작은 차이가 존재하는 형상들을 갖는 적어도 하나의 이미지가 검색되도록 그래디언트 방향을 수량화하고 유사성을 계산하는 동안 허용반경이 추가될 수 있다. 반전된 인덱싱 구조를 갖는 인덱스 목록을 생성하여 이미지 검색 효율이 매우 개선되고 검색 정확도가 개선될 수 있다. 따라서 반전된 순서로 긴 가장자리의 특징 정보에 대한 인덱스 목록 생성은, 획득된 긴 가장자리의 특징 정보에 따라 인덱스 엔트리(x, y, θ)를 생성하는 단계, 순차적으로 각 이미지에서 각 픽셀의 그래디언트 방향에 대한 통계를 내고 해당 인덱스 엔트리(x, y, θ)에서 각 이미지의 인덱스 번호를 저장하는 단계, 반전된 순서로 인덱스 엔트리 (x, y, θ)를 통해 인덱스 목록을 생성하는 단계를 포함할 수 있다.
또한 사용자에 의해 입력된 스케치를 얻는 단계와 그 스케치에 따라 인덱스 목록으로부터 그 스케치를 포함하는 적어도 하나의 이미지를 검색하는 단계는, 사용자에 의해 입력된 스케치의 윤곽 특징을 검출하는 단계, 인덱스 목록이 누적된 히트(hits)에 따라 스케치의 윤곽과 유사한 긴 가장자리를 포함하는지를 판단하는 단계 및 누적된 히트에 기초해 긴 가장자리를 포함하는 적어도 하나의 이미지를 얻는 단계를 포함할 수 있다.
또한 누적된 히트에 따라 인덱스 목록이스케치의 윤곽과 유사한 긴 가장자리를 갖는지를 판단하는 단계는 스케치 윤곽에서 각 픽셀의 특징 정보를 검출하고, 픽셀의 특징 정보는 위치 특징 및 방향 특징을 포함하는 단계 및 인덱스 목록이 스케치의 윤곽에서의 그 픽셀과 유사한 긴 가장자리에서의 픽셀을 포함하는지를 판단하는 단계를 포함할 수 있다.
상세하게, 누적된 히트 속도(hit rates)로 적어도 하나의 이미지를 검색하는 단계는 다음의 단계들을 포함할 수 있다.
단계 1: 입력된 스케치의 윤곽을 검출하고, 검출된 윤곽을 심볼 p로 나타내며, 스케치 윤곽에서의 각 픽셀 좌표 (x,y) 및 그 픽셀의 가장자리 방향 θ를 획득하는 단계. 스케치 윤곽에 대한 모든 정보는 특징 집합
Figure pat00001
으로 나타내진다. 여기서, n은 스케치에서 윤곽에 대한 전체 픽셀 수이고, i번째 특징은
Figure pat00002
로 나타내지고, 포인트 좌표는 벡터
Figure pat00003
를 구성한다고 가정한다.
단계 2: Q를 이미지 데이터베이스로 사용하는 단계, 여기서 q번째 이미지는 q (q의 범위는 1, 2, ..., N)로 나타내고, 이미지의 j번째 윤곽 포인트는
Figure pat00004
로 나타내며, 포인트 좌표는 벡터
Figure pat00005
를 구성한다고 가정한다. 스케치맵의 pi에 대해, 본 발명에서 제공되는 알고리즘은 이미지 데이터베이스에서 포인트 pi와 유사도 조건을 갖는 포인트를 갖는 이미지 q를 검색하고, 여기서 유사도 조건을 갖는 포인트가 위치한 이미지는 <수학식 1>로 정의될 수 있다.
Figure pat00006
단계 3:
Figure pat00007
를 차원 수가 N인 히스토그램으로 정의하는 단계, 각 차원은 이미지 데이터베이스에서 이미지를 나타내고, pi와 유사도를 만족하는 이미지 q가 상기 <수학식 1>을 통해 Q에서 발견되면, q번째 차원에서
Figure pat00008
+1으로 표현되는 이 이미지에 표가 주어지며, 하기 <수학식 2>와 같이 나타낼 수 있다.
Figure pat00009
여기서, r은 편차 반경이다.
단계 4: 스케치 위에 모든 가장자리 포인트들과 이미지 데이터베이스에서 적어도 하나의 이미지 간 유사도의 매칭 상황에 대한 통계를 만들고, 각 이미지와 그려진 스케치맵간의 유사도 히스토그램을 얻도록 각 이미지의 투표 결과를 최종 합산하고 정규화하는 단계. 각 이미지와 스케치맵간 유사도는 하기 <수학식 3>과 같이 표현될 수 있다.
Figure pat00010
여기서, D는 이미지의 유사도를 계산하는 모든 가장자리 픽셀 집합이고, |D|는 이미지의 가장자리 픽셀들의 수를 나타낸다. <수학식 3>은 사용자의 스케치와 매칭되는 이미지 데이터베이스에서의 이미지 q의 픽셀들의 수를 이미지 q에서 가장자리 픽셀들의 수로 나눈 것이다. 이는 이미지 유사도에 대한 이미지 픽셀들의 수의 영향을 나타내는데 사용된다. 예를 들어, 이미지 데이터베이스에 사용자의 스케치와 매칭되는 동일한 픽셀 수(예를 들어, 100)를 갖는 두 이미지가 있고, 어떤 이미지 A의 픽셀들의 수가 200이고 다른 이미지 B의 픽셀 수가 500이라면, 이미지 A와 스케치 맵의 유사도는 100/200=0.5인 반면, 이미지 B와 스케치 맵의 유사도는 100/500=2이다. 따라서 이미지 A가 스케치 맵에 더 유사하다고 판단될 수 있다.
단계 5: 이미지 데이터베이스에서 각 이미지의 유사도에 기초해, 이미지데이터베이스의 적어도 하나의 이미지를 내림차순으로 사용자에게 디스플레이하는 단계. 예를 들어, 미리 설정된 후보 적어도 하나의 이미지의 수에 따라 누적 계산 결과로부터 설정된 후보 이미지를 검색하여 디스플레이할 수 있다.
단계 6: 후보 이미지 집합에서 이미지를 선택하는 단계.
그러므로, 상술한 방법을 사용하여 계산된 유사도는 사전 랭킹 N을 갖는 후보 이미지 집합이 얻어지도록 이미지 시퀀스에 따라 정렬(sort)되고, 그 집합에서 이미지들의 수는 원래 이미지 데이터베이스에서 이미지들의 수보다 훨씬 적다. 따라서 정확한 랭킹 계산과 정확한 배경 이미지(그림자) 생성이 그 집합을 기초로 수행될 수 있다. 배경 이미지는 그림자(shadow)일 수 있다. 이로부터 본 발명은 대략적인 검색에 의해 후보 이미지 집합을 얻고, 여기서 후보 이미지 집합은 이미지 데이터베이스의 일부로 이해될 수 있으며, 그런 다음, 후보 이미지 집합에서 정확한 랭킹을 갖는 적어도 하나의 이미지를 사용자에게 제공하고, 사용자는 선택을 하여 필요한 이미지를 얻고 그리기를 종료하는 것임을 알 수 있다. 또한 후보 이미지 집합에서 적어도 하나의 이미지는 적어도 하나의 가중치 추가되어 자동으로 배경 적어도 하나의 이미지를 생성함으로써 사용자들에게 그림 그리기를 가이드할 수 있다.
도 4는 본 발명의 실시 예에 따른 이진 이미지 거리 변환의 계산결과에 대한 개략도이다. 유사도 계산은, 원래의 이미지에서 가장자리들을 추출하여 임계치를 설정함으로써 이진 적어도 하나의 이미지로 수량화하는 단계 및 이진 이미지에서 각 픽셀의 거리 변환 값을 계산하고 거리 변환 분포 맵을 생성하는 단계를 포함할 수 있다. 이미지에 대한 거리 변환은, 추출된 가장자리에 가까운 픽셀에게는 상대적으로 큰 가중치를 주는 단계 및 추출된 가장자리로부터 먼 픽셀에 대해 상대적으로 작은 가중치를 적용하는 단계를 포함할 수 있다. 그리고 하기 <수학식 4>에 따라 입력된 스케치에 대응하는 거리 변환 분포 맵상의 포인트들에 거리 변환 값들의 합의 평균에 대한 통계를 낼 수 있다.
Figure pat00011
여기서, ValueQ(pi)는 스케치 맵 p에서 가장자리 포인트 pi에 대응하는 데이터베이스 Q에서의 적어도 하나의 이미지 위치들의 거리 변환 값들을 나타내고, 수학식 4는 스케치와 이미지 데이터베이스에서 적어도 하나의 이미지의 평균 거리 변환값의 계산을 나타내며, 이 거리 변환 값은 정확하게 유사도를 매칭하기 위한 기반으로 사용된다. 즉,
Figure pat00012
가 클수록 유사도를 작아진다. 반면
Figure pat00013
가 작을수록 유사도는 커질 수 있다.
도 5는 본 발명의 실시 예에 따른 정확한 유사도 계산 과정에 대한 개략도이고, 밝은 색은 사용자 스케치에서 이미지 가장자리이고, 어두운 색은 이미지 데이터베이스에서 이미지 가장자리이다. 예를 들어, 사용자에 의해 그려진 스케치는 가버 필터로 필터링되어 그 가장자리 특징을 추출할 수 있다. 이미지 데이터베이스에서 스케치를 포함하는 이미지는 그 총 히트 수를 누적하여 검색될 수 있다. 사전 랭킹 N을 갖는 적어도 하나의 후보 이미지로 구성된 후보 이미지 집합은 전체 히트 수의 정렬 결과에 기초해 얻어질 수 있다. 후보 이미지 집합에서 각 이미지의 가장자리 이미지는 이진 이미지이다. 상기 이진 가장자리 적어도 하나의 이미지에 대해 거리 변환 값들을 계산하고, 상기 <수학식 4>에 따라 사용자에 의해 그려진 스케치에 해당하는 거리 변환 분포 맵 상의 포인트들의 거리 변환 값들의 합에 대한 평균값을 계산한다. 상기 <수학식 4>에 따라 얻어진 거리 변환 값이 작을수록, 해당 이미지와 사용자에 의해 그려진 스케치의 유사도가 더 정확해질 수 있다. 후보 이미지 집합에서 N개의 적어도 하나의 이미지가 거리 변환 값 시퀀스에 따라 정렬될 수 있다. 상술한 동작은 작은 양의 이미지들을 갖는 후보 집합에 대해서만 수행되기 때문에 정확한 랭킹 결과가 고효율로 얻어질 수 있다.
도 6은 본 발명의 실시 예에 따른 배경 이미지를 자동으로 생성하는 개략적인 도면이다. 이미지들을 중첩시키는 단계는 스케치 윤곽과는 다른 이미지 부분을 배경 이미지로 제시하는 단계를 포함할 수 있다. 예를 들어, 이미지들을 중첩시키는 단계는, 미리 설정된 조건을 만족하는 유사도를 갖는 이미지를 배경 이미지로 택하여 입력된 스케치 윤곽의 기저가 되는 이미지 계층에 중첩하고, 여기서 배경 이미지 생성 과정은 하기 <수학식 5> 및 <수학식 6>에 따라 계산될 수 있다.
Figure pat00014
여기서, S는 최종으로 얻어진 그림자 이미지, Wi는 그림자 가중치, E'i는 이미지 데이터베이스에서 i번째 이미지의 가장자리 픽셀이다.
Figure pat00015
여기서, Wi는 <수학식 4>에 의해 계산된 평균 거리 변환 값으로 얻어진 각 이미지에 대해 생성된 그림자 가중치를 나타내고, E'i는 이미지 데이터베이스에서 i번째 이미지의 이미지 가장자리 픽셀이다. <수학식 5> 및 <수학식 6>를 이용하여, 검색된 결과들은 중첩된 적어도 하나의 이미지로 결합될 수 있다. 이미지가 사용자 스케치보다 작은 평균 거리 변환 값을 갖는다면, 이미지는 큰 가중치를 얻고 통합된 이미지에서 상대적으로 짙은 색으로 디스플레이될 수 있다. 이미지가 사용자의 스케치보다 큰 평균 거리 변환 값을 갖는다면, 이미지는 작은 가중치를 얻고 통합된 이미지에서 상대적으로 옅은 색으로 디스플레이될 수 있다. 그러므로 본 발명에 의해 제공되는 방법 및 장치는 콘텐츠를 기반으로 하여 빠르고 정확하게 이미지 정보를 검색할 수 있다.
또 누적 히트들에 기초하여 긴 가장자리를 포함하는 적어도 하나의 이미지를 얻는 단계는, 인덱스 목록으로부터 사전 검색을 수행하고 긴 가장자리를 포함하는 적어도 하나의 이미지에 대한 후보 이미지 집합을 생성하는 단계 및 새 스케치가 검출되면 검색을 다시 수행하고 후보 이미지 집합을 갱신하는 단계를 포함할 수 있다. 이러한 방식으로, 다시 생성된 스케치의 윤곽 특징 데이터에 따라 후보 이미지 집합으로부터 이미지 검색을 반복하는 단계는 후보 이미지 집합에서 후보 이미지의 양을 더 줄일 수 있어, 유사도가 높은 이미지를 얻을 수 있고 정확하게 적어도 하나의 이미지를 검색하는 기술적인 효과를 달성할 수 있다.
또한 긴 가장자리를 포함하는 적어도 하나의 이미지에 대한 후보 이미지 집합을 생성하는 단계는, 스케치의 윤곽과 유사한 긴 가장자리를 포함하는 인덱스 목록을 결정한 후, 그 유사도 랭킹에 따라 후보 이미지 집합에서 적어도 하나의 이미지를 소팅하는 단계를 포함할 수 있다.
또한 사용자에 의해 입력된 스케치를 획득하고 인덱스 목록로부터 그 스케치를 포함하는 적어도 하나의 이미지를 검색하는 단계는, 사용자에 의해 입력된 스케치의 기저가 되는 후보 이미지 집합에서 적어도 하나의 이미지를 그 유사도의 랭킹에 따라 중첩하는 방식으로 디스플레이하는 단계를 포함할 수 있다.
또한 중첩하는 방식은, 스케치의 윤곽과 중첩하지 않는 이미지의 긴 가장자리들의 일부를 배경 이미지로 제시하는 단계를 포함할 수 있다.
도 7에 도시된 바와 같이, 본 발명은 또한 이미지 검색 장치(10)를 제공하고, 이미지 검색 장치(10)는 이미지의 윤곽을 검출하고 이미지의 윤곽 특징을 획득하는 이미지 윤곽 검출 모듈(101), 윤곽 특징에 따라 이미지 데이터베이스에서 생성된 인덱스 목록을 포함하는 윤곽 특징 관리 모듈(102) 및 사용자에 의해 입력된 스케치를 획득하고, 인덱스 목록으로부터 스케치를 포함하는 적어도 하나의 이미지를 검색하는 검색 모듈(103)을 포함한다.
또한 이미지 윤곽 검출 모듈(101)은 이미지의 긴 가장자리를 검출하고 긴 가장자리의 특징 정보를 획득한다.
또한 이미지 윤곽 검출 모듈(101)은 이미지에 스티어러블 필터링을 실현하고 이미지에서 각 가장자리의 특징 정보를 획득하며, 가장자리의 특징 정보는 가장자리 위치, 가장자리 방향 및 가장자리 강도를 포함하는 스티어러블 필터링부; 가장자리의 강도들을 정규화하고 가장자리의 강도들을 일정하게 하는 정규화부; 및 가장자리 방향에 따라 가장자리들의 정규화된 강도들을 연결하여 긴 가장자리를 획득하는 긴 가장자리 획득부를 포함한다.
또한 윤곽 특징 관리 모듈(102)은 긴 가장자리의 특징 정보에 대한 인덱스 목록을 반전된 순서로 생성한다.
또한 인덱스 목록는, 긴 가장자리의 획득된 특징 정보에 따라 생성된 인덱스 엔트리(x, y, θ), 각 이미지에서 각 픽셀의 그래디언트 방향 및 해당 인덱스 엔트리(x, y, θ)에 저장된 각 이미지의 인덱스 번호 및 인덱스 엔트리(x, y, θ)를 통해 반전된 순서로 인덱스 목록을 생성하는 반전 정렬부를 포함한다.
또한 검색 모듈(103)은, 사용자에 의해 입력된 스케치의 윤곽특징을 검출하는 윤곽 특징 추출부, 인덱스 목록이 스케치의 윤곽과 유사한 긴 가장자리를 포함하는지를 판단하는 판단부 및 긴 가장자리를 포함하는 적어도 하나의 이미지를 검색하는 이미지 검색부를 포함할 수 있다.
또한 윤곽 특징 획득부는, 스케치의 윤곽에서 각 픽셀의 특징 정보를 검출하고, 픽셀의 각 특징정보는 위치 특징 및 방향 특징을 포함하며 인덱스 목록는 스케치 윤곽에서 그 픽셀과 유사한 긴 가장자리에서의 픽셀을 포함하는지를 판단한다.
또한 이미지 검색부는, 인덱스 목록으로부터 사전 검색을 수행하여 긴 가장자리를 포함하는 적어도 하나의 이미지에 대한 후보 이미지 집합을 생성하고, 새로 입력된 스케치가 검출되면 다시 검색을 수행하여 후보 이미지 집합을 갱신한다.
또한, 이미지 검색부는 인덱스 목록이스케치 윤곽과 유사한 긴 가장자리를 포함한다고 판단한 후, 유사도 랭킹에 따라 후보 이미지 집합에서 적어도 하나의 이미지를 정렬한다.
또한 이미지 검색 장치(10)는, 사용자에 의해 입력된 스케치의 기저가 되는 후보 이미지 집합의 적어도 하나의 이미지를 유사도 랭킹에 따라 중첩되는 방식으로 디스플레이하는 디스플레이 모듈을 더 포함할 수 있다.
또한 중첩되는 방식은: 스케치의 윤곽과 중첩되지 않는 이미지의 긴 가장자리의 일부를 배경 이미지로 제시하는 단계를 포함할 수 있다.
상술한 바에서, 본 발명이 제공하는 이미지 검색 방법 및 장치는 콘텐츠를 기반으로 하여 빠르고 정확하게 이미지 정보를 검색할 수 있다. 또한 이미지 검색 방법 및 장치는 사용자가 다소 대략적인 스케치를 입력하여 필요한 다른 적어도 하나의 이미지를 빠르게 검색할 수 있게 한다.
도 9는 본 발명의 실시 예에 따른 실시간 그리기 프롬프팅 방법에 대한 플로우차트이다. 본 발명에 의해 제안된 실시간 그리기 프롬프트는, 사용자에 의해 입력된 스케치를 검출하고 그리기 영역에 디스플레이하여 사용자에 의해 입력된 스케치를 획득하는 S21 단계, 스케치를 포함하는 적어도 하나의 이미지를 검색하는 S22 단계, 사용자에 의해 입력된 스케치의 기저가 되는 검색된 적어도 하나의 이미지를 적어도 하나의 가중치와 중첩된 방식으로 배경 이미지로 디스플레이하는 S23 단계를 포함할 수 있다. 예를 들어, 긴 가장자리는 사용자에 의해 입력된 스케치 윤곽으로부터 수집될 수 있다. 그런 동일한 긴 가장자리를 갖는 이미지가 이미지 데이터베이스로부터 검색된다. 그리고 최종적으로 매칭된 이미지가 출력되어 디스플레이될 수 있다. 예를 들어, 출력된 이미지는 유사도 랭킹에 따라 가중치가 중첩되고, 그런 다음 배경 이미지가 자동으로 생성되어 사용자가 그림을 그리도록 가이드할 수 있다.
도 8A는 본 발명의 실시 예에 따른 실시간 그리기 프롬프팅 방법에 대한 개략도를 보인다. 도 8B는 본 발명의 실시 예에 따른 실시간 그리기 프롬프팅 방법에서 사용자에 의해 입력된 스케치를 그리는 방법에 대한 개략도를 보인다. 예를 들어, 사용자에 의해 그려진 도 8A에 도시된 관련 스케치에 따르면, 도 8B에 도시된 바와 같이 "스케치"와 유사한 이미지들이 이미지 데이터베이스에서 검색되고, 이미지들의 가장자리는 그 유사도 랭킹에 따른 가중치와 중첩되고, 그런 다음 배경 이미지가 자동으로 생성되어 사용자가 그림을 그리도록 가이드한다. 본 발명에 의해 제공된 실시간 그리기 프롬프팅 방법은 사용자의 그리기, 스케치 검색, 실시간으로 생성된 배경 이미지와 같은 주제를 수행하므로 사용자의 경험을 개선할 수 있다.
또한, 실시간 그리기 프롬프팅 방법은, 사용자에 의해 입력된 스케치가 변경되면, 그 스케치를 포함하는 적어도 하나의 이미지가 다시 검색되고 갱신된 배경 적어도 하나의 이미지를 실시간으로 디스플레이하는 단계를 더 포함할 수 있다.
또한 사용자에 의해 입력된 스케치의 변화는 다음의 경우들 중 하나를 포함할 수 있다. 사용자에 의해 순차적으로 입력된 새로운 스케치가 검출되거나, 사용자가 배경 이미지를 본떠서 그린 스케치가 검출되거나 또는 기존 스케치를 지운 후 사용자에 의해 입력된 새 스케치가 검출될 수 있다. 예를 들어, 디스플레이된 배경 이미지가 필요하지 않다면, 사용자는 새 스케치를 계속 입력할 수 있고, 단말기 장치는 이미지 데이터베이스의 모든 스케치들을 포함하는 이미지들을 계속 검출하여 사용자에게 프롬프트할 수 있다. 예를 들어, 디스플레이된 배경 이미지가 필요하다면 사용자는 배경 이미지를 따라 그릴 수 있다. 예를 들어, 디스플레이된 배경 이미지에서 콘텐츠의 일부가 필요하지 않다면, 사용자는 그 필요하지 않은 일부를 지우기 애플리케이션을 이용하여 지우고 새로운 스케치를 입력할 수 있고, 그런 다음 단말기 장치는 지워지지 않은 스케치와 새로 입력된 스케치를 결합하여 이미지 데이터베이스에서 모든 스케치들을 포함하는 이미지들을 검색할 수 있고 실시간으로 사용자에게 프롬프트할 수 있다.
또한 사용자에 의해 입력된 스케치의 기저가 되는 검색된 적어도 하나의 이미지를 가중치와 중첩하는 방식으로 배경 이미지로 디스플레이하는 단계는, 스케치를 포함하는 검색된 적어도 하나의 이미지를 유사도 랭킹에 따라 다르게 디스플레이하는 단계를 포함할 수 있다. 예를 들어, 배경 이미지와 스케치 사이의 유사도가 높을 수록 단말기 장치는 더 짙은 색으로 배경 이미지를 디스플레이한다; 배경 이미지와 스케치 사이의 유사도가 낮을수록 단말기 장치는 옅은 색으로 배경 이미지를 디스플레이한다. 다른 실시 예에 따르면, 예를 들어, 배경 이미지와 스케치 사이의 유사도가 높을수록 단말기 장치는 배경 이미지를 더 밝은 휘도로 디스플레이하고, 배경 이미지와 스케치 사이의 유사도가 낮을수록 단말기 장치는 배경 이미지를 더 어두운 휘도로 디스플레이할 수 있다. 이런 방식으로, 그리기 기능이 적용되면, 사용자는 원하는 배경 이미지를 더 쉽게 얻을 수 있고, 따라서 배경 이미지의 프롬프트를 따라감으로써 그림을 그릴 수 있으며, 더 좋은 그리기 경험을 할 수 있다.
또한 본 발명에 의해 제안된 실시간 그리기 프롬프팅 방법은, 스케치를 포함하는 적어도 하나의 이미지가 검색되면 후보 이미지 상자를 생성하고 그 후보 이미지 상자에 사용자가 선택하도록 유사도가 소정 값에 도달한 적어도 하나의 이미지를 디스플레이하는 단계를 더 포함할 수 있다. 도 8C는 본 발명의 실시 예에 따른 실시간 그리기 프롬프팅 방법의 다른 종류의 디스플레이에 대한 개략도를 보인다. 후보 이미지 상자는 도 8C에 도시된 바와 같이 설계되어 단말기 장치가 유사도가 소정 값에 도달해 사용자가 선택하기 용이하게 하는 적어도 하나의 후보 이미지를 디스플레이할 수 있다. 예를 들어, 사용자에 의해 그려진, 도 8A에 도시된 관련 스케치에 따르면, 도 8B에 도시된 바와 같은 "스케치"와 유사한 이미지들이 이미지 데이터베이스에서 검색되어 도 8C에 도시된 바와 같이 유사도에 따라 정렬되고, 이미지들의 가장자리는 그 유사도 랭킹에 따라 가중치와 중첩된다. 그런 다음 배경 이미지가 자동으로 생성되어 사용자의 그림 그리기를 가이드할 수 있다. 본 발명의 그리기 프롬프팅 방법은 도 8B에 도시된 배경 이미지에 의해서만 달성될 수 있고, 도 8C에 도시된 그리기 프롬프팅 단계는 필요하지 않다는 것이 이해될 수 있다.
또한 이미지 상자에서 유사도가 소정 값에 도달한 후보 적어도 하나의 이미지를 디스플레이하는 단계는, 사용자에 의해 입력된 스케치를 포함하는 적어도 하나의 이미지를 그 유사도 랭킹에 따라 정렬하는 단계를 포함할 수 있다.
또한 이미지 상자에서 유사도가 소정 값에 도달한 후보 적어도 하나의 이미지를 디스플레이하여 사용자가 선택하게 하는 단계는, 사용자에 의해 선택되어 후보 이미지 상자에 디스플레이된 이미지가 검출되면, 그리기 영역에 이미지를 디스플레이하는 단계를 포함하고, 이는 후보 이미지 상자에서 선택된 이미지에 해당하고 배경 이미지로서 가중치에 중첩된다. 예를 들어, 사용자가 도 8C의 상단 좌측에 보이는 팬더 이미지를 선택하면, 단말기 장치는 배경 이미지에 위치한 팬더 이미지를 하이라이트로 디스플레이한다. 따라서 사용자는 그 팬더 이미지를 본떠서 그리도록 프롬프트될 수 있다. 예를 들어, 사용자가 도 8C에서 상단 좌측의 팬더 이미지를 선택하면, 단말기 장치는 배경 이미지에 위치한 팬더 이미지를 사용자에 의해 입력된 스케치와 명백한 콘트라스트(contrast)를 갖는 색깔이 적용된 색과 같이 더 짙은 색으로 디스플레이한다. 따라서 사용자는 그 판다 이미지를 본떠서 그리도록 프롬프트될 수 있다.
또한 스케치를 포함하는 적어도 하나의 이미지를 검색하는 단계는: 도 1 내지 6에서 제공된 검색 방법 중 어느 하나에 따라 사용자에 의해 입력된 스케치를 포함하는 적어도 하나의 이미지를 검색하는 단계를 포함할 수 있다.
도 10에 도시된 바와 같이, 본 발명은 또한 실시간 그리기 프롬프팅 장치(20)를 제공한다. 그리기 프롬프팅 장치(20)는 사용자에 의해 입력된 스케치를 검출하여 그리기 영역에 디스플레이하고 사용자에 의해 입력된 스케치를 획득하는 스케치 검출 모듈(201), 스케치를 포함하는 적어도 하나의 이미지를 검색하는 이미지 검색 모듈(202) 및 적어도 하나의 가중치와 중첩하는 방식으로 사용자에 의해 입력된 스케치의 기저가 되는 검색된 적어도 하나의 이미지를 배경 이미지로 디스플레이하는 디스플레이 모듈(203)을 포함한다.
또한 이미지 검색 모듈(202)은 사용자에 의해 입력된 스케치가 변경되면, 스케치를 포함한 적어도 하나의 이미지를 다시 검색하고 검색된 적어도 하나의 이미지를 디스플레이 모듈(203)로 전송하는 기능을 더 포함하고, 이때 디스플레이 모듈(203)은 갱신된 배경 이미지를 실시간으로 디스플레이한다.
또한 스케치 검출 모듈(201)은: 사용자에 의해 순차적으로 입력된 새로운 스케치를 검출하고; 사용자가 배경 이미지를 본떠서 그린 스케치를 검출하며 그리고 기존 스케치를 지운 후에 사용자에 의해 입력된 새로운 스케치를 검출하는 기능을 더 포함한다.
또한 디스플레이 모듈(203)은 스케치를 포함하는 검색된 적어도 하나의 이미지를 유사도 랭킹에 따라 다르게 디스플레이하는 기능을 더 포함한다.
또한 디스플레이 모듈(203)은 스케치 검출 모듈(201)이 이미지가 스케치와 높은 유사도를 갖는 것으로 검출하면, 그 이미지를 더 짙은 색으로 디스플레이하고 또는 스케치 검출 모듈(201)이 이미지가 스케치와 높은 유사도를 갖는 것으로 검출하면, 그 이미지를 밝은 휘도로 디스플레이하는 기능을 더 포함한다.
실시간 그리기 프롬프팅 장치(20)는 또한 이미지 검색 모듈(202)이 스케치를 포함하는 적어도 하나의 이미지를 검색할 때, 유사도가 사용자가 선택하도록 소정 값에 도달하는 적어도 하나의 이미지를 디스플레이하는 후보 이미지 상자를 더 포함한다.
또한 이미지 후보 상자는 사용자에 의해 입력된 스케치를 포함하는 적어도 하나의 이미지를 유사도 랭킹에 따라 소팅하는 기능을 더 포함할 수 있다.
또한, 사용자에 의해 선택된 후보 이미지 상자에 디스플레이된 이미지가 검출되면, 디스플레이 모듈(203)은 후보 이미지 상자에서 선택된 이미지에 해당하고 배경 이미지로 가중치에 중첩되는 이미지를 그리기 영역에 하이라이트로 또는 짙은 색으로 디스플레이하는 기능을 더 포함할 수 있다.
또한 이미지 검색 모듈(202)은 도 1 내지 6의 검색 방법 중 어느 하나에 따라 사용자에 의해 입력된 스케치를 포함하는 적어도 하나의 이미지를 검색하거나; 또는 위에서 그리고 도 7에서 제공된 검색 장치에서 각 구성 모듈들을 포함할 수 있다.
상술한 바에서 알 수 있듯이, 본 발명에 의해 제공된 실시간 그리기 프롬프팅 방법 및 장치는 원하는 적어도 하나의 이미지를 더 잘 그리도록 림너에게 실시간 명령을 제공할 수 있다.
본 발명은 구조도 및/또는 블록들 및/또는 방법의 플로우차트, 시스템, 및 본 발명이 구현된 컴퓨터 프로그래밍 제품을 참조하여 설명될 수 있음이 당업자에게 이해될 수 있다. 구조도 및/또는 블록들 및/또는 흐름도에서의 각 블록, 이 구조도들 및/또는 블록들 및/또는 흐름도에서의 블록들의 결합, 또는 블록들은 컴퓨터 프로그래밍 명령을 사용해 구현될 수 있다. 이 컴퓨터 프로그래밍 명령은 범용 컴퓨터, 특화된 컴퓨터 또는 이 기계를 만들기 위한 프로그래버믈 데이터 처리 방법의 다른 프로세서들에 제공될 수 있고, 따라서 방법을 만들기 위해 컴퓨터 또는 다른 프로그래머블(programmable) 데이터 처리 방법의 프로세서들에 의해 실행되는 명령들이 구조도 및/또는 블록도 및/또는 플로우차트에서 상자들로 나타내진다.
상술한 실시 예에 포함된 단계들 및 방법의 일부 또는 모두가 프로그램이 지시하는 관련 하드웨어로 구현될 수 있음과 프로그램이 실행될 때 방법 실시 예의 단계들 중 하나 또는 그 결합이 포함됨이 당업자에게 이해될 수 있다. 또한, 본 발명의 각 실시 예에서 각 기능 유닛들은 프로세싱 모듈로 통합되거나, 각 유닛별로 물리적으로 존재하거나, 둘 이상의 유닛들로 통합될 수 있다. 상술한 통합 모듈은 하드웨어로 또는 소프트웨어 기능 모듈로 실현될 수 있다. 통합 모듈이 소프트웨어 기능 모듈로 실현되거나 독립된 제품으로 판매 또는 사용될 때, 컴퓨터로 읽을 수 있는 스토리지 매체에 저장될 수 있다. 상술한 스토리지 매체는 롬(ROM), 자기 디스크, 또는 광디스크일 수 있다.
논의된 다양한 동작들, 방법들, 및 흐름도에서 단계들, 방법들, 방식들은 변형, 변경, 결합 및 삭제될 수 있음이 당업자에게 이해될 수 있다. 더욱이 논의된 다양한 동작들, 방법들 및 플로우차트를 갖는 다른 단계, 방법, 방식 또한 변형, 변경, 재배열, 분해, 결합 또는 삭제될 수 있다. 더욱이 종래 기술 또는 본 발명에서의 단계들, 방법들 및 방식들은 변형, 변경, 재배열, 분해, 결합 또는 삭제될 수 있다.
이상 도면과 명세서에서 예시적인 실시 예들이 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것으로 한정적으로 해석되어서는 안된다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 본 발명의 원리를 벗어나지 않고 다양한 변형 및 개선이 가능하며 그러한 변형과 개선이 본 발명의 범위 내에 있는 것으로 간주된다는 점이 지적되어야 한다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (40)

  1. 이미지 검색 방법에 있어서,
    이미지의 윤곽을 검출하여 상기 이미지의 윤곽 특징을 획득하는 단계;
    상기 윤곽 특징에 따라 이미지 데이터베이스에서 인덱스 목록을 생성하는 단계; 및
    입력에 대응하는 스케치를 획득하는 단계;
    상기 인덱스 목록으로부터 상기 스케치에 대응하는 적어도 하나의 이미지를 검색하는 단계를 포함하는 이미지 검색 방법.
  2. 제1항에 있어서,
    이미지의 윤곽을 검출하여 상기 이미지의 윤곽 특징을 획득하는 단계는,
    상기 이미지에서 긴 가장자리(long edge)를 검출하여, 상기 긴 가장자리의 특징 정보를 획득하는 단계를 포함하는 이미지 검색 방법.
  3. 제2항에 있어서,
    상기 이미지에서 긴 가장자리(long edge)를 검출하여, 상기 긴 가장자리의 특징 정보를 획득하는 단계는,
    상기 이미지를 스티어러블 필터링(Steerable Filtering)하여, 상기 이미지에서 각 가장자리들의 특징 정보를 획득하는 단계;
    상기 가장자리들의 강도들을 정규화하여 상기 가장자리들의 강도들을 일정하게 하는 단계; 및
    상기 가장자리 방향에 따라 가장자리들의 정규화된 강도들의 연결하여 상기 긴 가장자리를 획득하는 단계를 포함하되,
    상기 가장자리들의 특징 정보는 가장자리 위치, 가장자리 방향 및 가장자리 강도를 포함하는 이미지 검색 방법.
  4. 제3항에 있어서,
    상기 윤곽 특징에 따라 상기 이미지 데이터베이스에서 상기 인덱스 목록을 생성하는 단계는,
    상기 긴 가장자리의 특징 정보에 대한 상기 인덱스 목록을 반전된 순서로 생성하는 단계를 포함하는 이미지 검색 방법.
  5. 제4항에 있어서,
    상기 긴 가장자리의 특징 정보에 대한 상기 인덱스 목록을 반전된 순서로 생성하는 단계는,
    상기 획득된 긴 가장자리의 특징 정보에 따라 인덱스 엔트리(x, y, θ)를 생성하는 단계;
    각 이미지에서 각 픽셀의 그래디언트 방향(gradient orientation)의 통계를 순차적으로 만들고 해당 인덱스 엔트리(x, y, θ)에서 각 이미지의 인덱스 번호를 저장하는 단계; 및
    상기 인덱스 엔트리(x, y, θ)에 대한 상기 인덱스 목록을 반전된 순서로 생성하는 단계를 포함하는 이미지 검색 방법.
  6. 제1항에 있어서,
    상기 입력에 대응하는 스케치를 획득하여, 상기 인덱스 목록으로부터 상기 스케치에 대응하는 적어도 하나의 이미지를 검색하는 단계는,
    상기 입력에 대응하는 스케치의 상기 윤곽 특징을 검출하는 단계;
    상기 인덱스 목록이 누적 히트들(hits)에 따른 상기 스케치의 윤곽과 유사한 긴 가장자리를 포함하는지를 판단하는 단계; 및
    상기 누적 히트들을 기초로 상기 긴 가장자리를 포함하는 적어도 하나의 이미지를 획득하는 단계를 포함하는 이미지 검색 방법.
  7. 제6항에 있어서,
    상기 인덱스 목록이 누적 히트들에 따른 상기 스케치의 윤곽과 유사한 긴 가장자리를 포함하는지를 판단하는 단계는,
    상기 스케치의 윤곽에서 각 픽셀의 특징 정보를 검출하는 단계; 및
    상기 인덱스 목록이상기 스케치의 윤곽 내 픽셀과 유사한, 상기 긴 가장자리 내 픽셀들을 포함하는지를 판단하는 단계를 포함하되,
    상기 픽셀의 특징 정보는 위치 특징 및 방향 특징을 포함하는 이미지 검색 방법.
  8. 제6항에 있어서,
    상기 누적 히트들을 기초로 상기 긴 가장자리들을 포함하는 적어도 하나의 이미지를 획득하는 단계는,
    상기 인덱스 목록으로부터 예비 검색을 수행하고 상기 긴 가장자리를 포함하는 적어도 하나의 이미지의 후보 이미지 집합을 생성하는 단계; 및
    새로운 스케치가 검출될 때, 상기 검색을 다시 수행하고 상기 후보 이미지 집합을 갱신하는 단계를 포함하는 이미지 검색 방법.
  9. 제8항에 있어서,
    상기 긴 가장자리를 포함하는 적어도 하나의 이미지의 후보 이미지 집합을 생성하는 단계는,
    상기 인덱스 목록이 상기 스케치의 윤곽과 유사한 긴 가장자리를 포함하는지를 판단한 후, 그 유사도의 랭킹에 따라 상기 후보 이미지 집합의 적어도 하나의 이미지를 정렬하는 단계를 포함하는 이미지 검색 방법.
  10. 제1항에 있어서,
    상기 입력에 대응하는 스케치를 획득하여, 상기 인덱스 목록으로부터 상기 스케치에 대응하는 적어도 하나의 이미지를 검색하는 단계는,
    상기 입력에 대응하는 스케치의 기저가 되는(underlying) 상기 후보 이미지 집합에서 적어도 하나의 이미지를 상기 유사도의 랭킹에 따라 상기 중첩되는 방식으로 디스플레이하는 단계를 더 포함하는 이미지 검색 방법.
  11. 제10항에 있어서,
    상기 중첩되는 방식은 상기 스케치의 윤곽과 중첩되지 않은 상기 이미지의 긴 가장자리들의 일부를 배경 이미지로 제시하는(presenting) 단계를 포함하는 이미지 검색 방법.
  12. 이미지 검색 장치에 있어서,
    이미지의 윤곽을 검출하고 상기 이미지의 윤곽 특징을 획득하는 이미지 윤곽 검출 모듈;
    상기 윤곽 특징에 따라 상기 이미지 데이터베이스에서 생성된 인덱스 목록을 포함하는 윤곽 특징 관리 모듈; 및
    입력에 대응하는 스케치를 획득하고 상기 인덱스 목록으로부터 상기 스케치를 포함하는 적어도 하나의 이미지를 검색하는 검색 모듈을 포함하는 이미지 검색 장치.
  13. 제12항에 있어서,
    상기 이미지 윤곽 검출 모듈은 상기 이미지의 긴 가장자리(long edge)를 검출하여, 상기 긴 가장자리의 특징 정보를 획득하는 것을 포함하는 이미지 검색 장치.
  14. 제13항에 있어서,
    상기 이미지 윤곽 검출 모듈은,
    상기 이미지를 스티어러블 필터링(Steerable Filtering)하여, 상기 이미지에서 각 가장자리의 특징 정보를 획득하고, 상기 가장자리의 특징 정보는 가장자리 위치, 가장자리 방향 및 가장자리 강도를 포함하는, 스티어러블 필터링부;
    상기 가장자리의 강도들을 정규화하고 상기 가장자리의 강도들을 일정하게 하는 정규화부; 및
    상기 가장자리 방향에 따라 상기 가장자리들의 정규화된 강도들을 연결하여 상기 긴 가장자리를 획득하는 긴 가장자리 획득부를 포함하는 이미지 검색 장치.
  15. 제14항에 있어서,
    상기 윤곽 특징 관리 모듈은 상기 긴 가장자리의 특징 정보에 대한 상기 인덱스 목록을 반전된 순서로 생성하는 것을 포함하는 이미지 검색 장치.
  16. 제15항에 있어서,
    상기 인덱스 목록은,
    상기 획득된 긴 가장자리의 특징 정보에 따라 생성된 인덱스 엔트리(x, y, θ);
    각 이미지에서 각 픽셀의 그래디언트 방향(gradient orientation) 및 해당 인덱스 엔트리(x, y, θ)에 저장된 각 이미지의 인덱스 번호; 및
    상기 인덱스 엔트리(x, y, θ)에 대한 인덱스 목록을 반전된 순서로 생성하는 정렬부를 포함하는 이미지 검색 장치.
  17. 제16항에 있어서,
    상기 검색 모듈은,
    상기 입력에 대응하는 스케치의 상기 윤곽 특징을 검출하는 윤곽 특징 추출부;
    상기 인덱스 목록이상기 스케치의 윤곽과 유사한 긴 가장자리를 포함하는지를 판단하는 판단부; 및
    상기 긴 가장자리를 포함하는 적어도 하나의 이미지를 검색하는 이미지 검색부를 포함하는 이미지 검색 장치.
  18. 제17항에 있어서,
    상기 윤곽 특징 획득부는,
    상기 스케치의 윤곽에서 각 픽셀의 특징 정보를 검출하고, 상기 픽셀의 특징 정보는 위치 특징 및 방향 특징으로 포함하며; 및
    상기 인덱스 목록이상기 스케치의 윤곽 내 픽셀과 유사한 상기 긴 가장자리 내 픽셀을 포함하는지를 판단하는 것을 포함하는 이미지 검색 장치.
  19. 제17항에 있어서,
    상기 이미지 검색부는,
    상기 인덱스 목록로부터 사전 검색을 수행하고 상기 긴 가장자리를 포함하는 적어도 하나의 이미지에 대한 후보 이미지 집합을 생성하고; 및
    새로 입력된 스케치가 검출될 때, 상기 검색을 다시 수행하고 상기 후보 이미지 집합을 갱신하는 것을 포함하는 이미지 검색 장치.
  20. 제19항에 있어서,
    상기 이미지 검색부는,
    상기 인덱스 목록이상기 스케치의 윤곽과 유사한 긴 가장자리를 포함하는지를 판단한 후, 그 유사도 랭킹에 따라 상기 후보 이미지 집합의 적어도 하나의 이미지를 정렬하는 것을 포함하는 이미지 검색 장치.
  21. 제20항에 있어서,
    사용자에 의해 입력된 스케치의 기저가 되는 상기 후보 이미지 집합 내 적어도 하나의 이미지를 상기 유사도 랭킹에 따라 중첩된 방식으로 디스플레이하는 디스플레이 모듈을 더 포함하는 이미지 검색 장치.
  22. 제21항에 있어서,
    상기 중첩된 방식은 상기 스케치의 윤곽과 중첩되지 않는 이미지의 긴 가장자리의 일부를 배경 이미지로 제시하는 것임을 특징으로 하는 이미지 검색 장치.
  23. 실시간 그리기 프롬프팅 방법에 있어서,
    입력에 대응하는 스케치를 검출하고 그리기 영역에 디스플레이하여 입력에 대응하는 상기 스케치를 획득하는 단계;
    상기 스케치를 포함하는 적어도 하나의 이미지를 검색하는 단계; 및
    상기 입력에 대응하는 스케치의 기저가 되는 상기 검색된 적어도 하나의 이미지를 적어도 하나의 가중치와 중첩된 방식으로 배경 이미지로 디스플레이하는 단계를 포함하는 실시간 그리기 프롬프팅 방법.
  24. 제23항에 있어서,
    상기 입력에 대응하는 상기 스케치가 변경될 때, 상기 스케치를 포함하는 적어도 하나의 이미지를 다시 검색하고 갱신된 배경 적어도 하나의 이미지를 실시간으로 디스플레이하는 단계를 포함하는 실시간 그리기 프롬프팅 방법.
  25. 제24항에 있어서,
    상기 입력에 대응하는 상기 스케치의 변화는,
    사용자에 의해 순차적으로 입력된 새로운 스케치가 검출되는 경우;
    사용자가 상기 배경 이미지를 본떠 그린 스케치가 검출되는 경우; 및
    기존 스케치를 지운 후 사용자에 의해 입력된 새로운 스케치가 검출되는 경우 중 어느 하나를 포함하는 실시간 그리기 프롬프팅 방법.
  26. 제23항에 있어서,
    상기 입력에 대응하는 스케치의 기저가 되는 상기 검색된 적어도 하나의 이미지를 적어도 하나의 가중치와 중첩된 방식으로 배경 이미지로 디스플레이하는 단계는,
    상기 스케치를 포함하는 검색된 적어도 하나의 이미지를 유사도 랭킹에 따라 다르게 디스플레이하는 단계를 포함하는 실시간 그리기 프롬프팅 방법.
  27. 제26항에 있어서,
    상기 검색된 적어도 하나의 이미지를 다르게 디스플레이하는 단계는,
    상기 검색된 적어도 하나의 이미지 및 스케치 사이의 상기 유사도가 높을수록 더 짙은 색으로 디스플레이하는 방식; 및
    상기 검색된 적어도 하나의 이미지 및 스케치 사이의 상기 유사도가 높을수록 더 밝은 휘도로 디스플레이하는 방식 중 어느 하나를 포함하는 실시간 그리기 프롬프팅 방법.
  28. 제23항에 있어서,
    상기 스케치를 포함하는 적어도 하나의 이미지가 검색되면, 후보 이미지 상자를 생성하고 사용자가 선택하도록 유사도가 소정 값까지 도달한 적어도 하나의 이미지를 상기 후보 이미지 상자에 디스플레이하는 단계를 더 포함하는 실시간 그리기 프롬프팅 방법.
  29. 제28항에 있어서,
    상기 유사도가 소정 값까지 도달한 적어도 하나의 이미지를 상기 후보 이미지 상자에 디스플레이하는 단계는,
    상기 입력에 대응하는 상기 스케치를 포함하는 적어도 하나의 이미지를 상기 유사도 랭킹에 따라 정렬하는 단계를 포함하는 실시간 그리기 프롬프팅 방법.
  30. 제28항에 있어서,
    사용자가 선택하도록 유사도가 소정 값까지 도달한 적어도 하나의 이미지를 상기 후보 이미지 상자에 디스플레이하는 단계는,
    상기 후보 이미지 상자에 디스플레이되고 사용자가 선택한 이미지가 검출되면, 가중치와 중첩된 이미지를 상기 선택된 이미지에 해당하는 하이라이트로 또는 짙은 색으로 디스플레이하는 단계를 포함하는 실시간 그리기 프롬프팅 방법.
  31. 제23항에 있어서,
    상기 스케치를 포함하는 적어도 하나의 이미지를 검색하는 단계는,
    상기 제1항 내지 제11항에 따른 검색 방법 중 어느 하나로 검색하는 단계를 포함하는 실시간 그리기 프롬프팅 방법.
  32. 실시간 그리기 프롬프팅 장치에 있어서,
    입력에 대응하는 스케치를 검출하고 그리기 영역에 디스플레이하여 사용자에 의해 입력된 스케치를 획득하는 스케치 검출 모듈;
    상기 스케치를 포함하는 적어도 하나의 이미지를 검색하는 이미지 검색 모듈; 및
    상기 입력에 대응하는 상기 스케치의 기저가 되는 상기 검색된 적어도 하나의 이미지를 적어도 하나의 가중치와 중첩되는 방식으로 배경 이미지로 디스플레이하는 디스플레이 모듈을 포함하는 실시간 그리기 프롬프트 장치.
  33. 제32항에 있어서,
    상기 이미지 검색 모듈은 사용자에 의해 입력된 상기 스케치가 변경됐을 때 상기 스케치를 포함하는 적어도 하나의 이미지를 다시 검색하고 상기 검색된 적어도 하나의 이미지를 상기 디스플레이 모듈로 전송하여 상기 디스플레이 모듈이 갱신된 배경 이미지를 실시간으로 디스플레이하도록 하는 기능을 더 포함하는 실시간 그리기 프롬프트 장치.
  34. 제32항에 있어서,
    상기 스케치 검출 모듈은,
    사용자에 의해 순차적으로 입력된 새로운 스케치를 검출;
    사용자가 상기 배경 이미지를 본떠 그린 스케치를 검출; 및
    기존 스케치를 지운 후 사용자에 의해 입력된 새로운 스케치를 검출하는 기능을 더 포함하는 실시간 그리기 프롬프트 장치.
  35. 제32항에 있어서,
    상기 디스플레이 모듈은 상기 스케치를 포함하는 상기 검색된 적어도 하나의 이미지를 유사도 랭킹에 따라 다르게 디스플레이하는 기능을 더 포함하는 실시간 그리기 프롬프트 장치.
  36. 제35항에 있어서,
    상기 디스플레이 모듈은,
    상기 스케치와 높은 유사도를 가질 때 짙은 색으로 검색 이미지를 디스플레이; 또는
    상기 스케치와 높은 유사도를 가질 때 밝은 휘도로 검색 이미지를 디스플레이하는 기능을 더 포함하는 실시간 그리기 프롬프트 장치.
  37. 제32항에 있어서,
    상기 이미지 검색 모듈이 상기 스케치를 포함하는 적어도 하나의 이미지를 검색할 때 사용자가 선택하도록 상기 유사도가 소정 값에 도달한 적어도 하나의 이미지를 내부에 디스플레이하는 후보 이미지 상자를 더 포함하는 실시간 그리기 프롬프트 장치.
  38. 제37항에 있어서,
    상기 후보 이미지 상자는 사용자에 의해 입력된 상기 스케치를 포함하는 적어도 하나의 이미지를 상기 유사도 랭킹에 따라 정렬하는 기능을 더 포함하는 실시간 그리기 프롬프트 장치.
  39. 제37항에 있어서,
    상기 디스플레이 모듈은, 상기 후보 이미지 상자에 디스플레이되고 사용자가 선택한 이미지가 검출되면, 상기 가중치와 중첩된 이미지를 배경 이미지로 상기 선택된 이미지에 대응하는 하이라이트 또는 짙은 색으로 디스플레이하는 것을 특징으로 하는 실시간 그리기 프롬프트 장치.
  40. 제32항에 있어서,
    상기 이미지 검색 모듈은,
    사용자에 의해 입력된 스케치를 포함하는 적어도 하나의 이미지를 상기 제1항 내지 제11항에 따른 검색 방법들 중 어느 하나로 검색하거나; 또는
    상기 12항 내지 22항 중 어느 한 항에 따른 검색 장치들 중 어느 하나에서 제공되는 각 구성 모듈들을 포함하는 실시간 그리기 프롬프트 장치.
KR1020130070780A 2012-12-18 2013-06-20 이미지 검색 방법, 실시간 그리기 프롬프팅 방법 및 그 장치 KR102061288B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201210552957.8A CN103870516B (zh) 2012-12-18 2012-12-18 检索图像的方法、实时绘画提示方法及其装置
CN201210552957.8 2012-12-18

Publications (2)

Publication Number Publication Date
KR20140079262A true KR20140079262A (ko) 2014-06-26
KR102061288B1 KR102061288B1 (ko) 2019-12-31

Family

ID=50909057

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130070780A KR102061288B1 (ko) 2012-12-18 2013-06-20 이미지 검색 방법, 실시간 그리기 프롬프팅 방법 및 그 장치

Country Status (3)

Country Link
US (1) US9183228B2 (ko)
KR (1) KR102061288B1 (ko)
CN (1) CN103870516B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200021115A (ko) * 2018-08-20 2020-02-28 한양대학교 산학협력단 자동화된 디자인 생성 방법 및 시스템
US12153622B2 (en) 2018-05-29 2024-11-26 Samsung Electronics Co., Ltd. Electronic device for searching content and control method therefor

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014186372A (ja) * 2013-03-21 2014-10-02 Toshiba Corp 図絵描画支援装置、方法、及びプログラム
CN104679847B (zh) * 2015-02-13 2019-03-15 高第网络技术(北京)有限公司 一种构建在线实时更新海量音频指纹库的方法和设备
CN104778242B (zh) * 2015-04-09 2018-07-13 复旦大学 基于图像动态分割的手绘草图图像检索方法及系统
EP3099081B1 (en) * 2015-05-28 2020-04-29 Samsung Electronics Co., Ltd. Display apparatus and control method thereof
WO2017020140A1 (es) * 2015-08-03 2017-02-09 Orand S.A. Sistema de búsqueda de imágenes por sketches usando histogramas de orientaciones de celdas y extracción de contornos basado en características de nivel medio
CN105468716A (zh) * 2015-11-19 2016-04-06 努比亚技术有限公司 图片查找装置、方法及终端
CN105701782A (zh) * 2016-01-13 2016-06-22 无锡北邮感知技术产业研究院有限公司 纹理效果显著的人脸简约图生成方法
CN105786258A (zh) * 2016-03-31 2016-07-20 李建民 一种文字描红系统及装置
CN106355973B (zh) * 2016-10-28 2019-03-15 厦门优莱柏网络科技有限公司 一种绘画辅导方法及装置
CN106682577A (zh) * 2016-11-23 2017-05-17 北海高创电子信息孵化器有限公司 一种自动绘画练习方法
CN106778666B (zh) * 2016-12-29 2020-06-05 北京奇虎科技有限公司 图像处理方法及装置
KR102444148B1 (ko) * 2017-04-17 2022-09-19 삼성전자주식회사 전자 장치 및 그 동작 방법
CN108229303B (zh) * 2017-11-14 2021-05-04 北京市商汤科技开发有限公司 检测识别和检测识别网络的训练方法及装置、设备、介质
CN107895028B (zh) * 2017-11-17 2019-11-29 天津大学 采用深度学习的草图检索方法
US10902053B2 (en) 2017-12-21 2021-01-26 Adobe Inc. Shape-based graphics search
CN108009286A (zh) * 2017-12-25 2018-05-08 合肥阿巴赛信息科技有限公司 一种基于深度学习的草图检索方法
CN108876711B (zh) * 2018-06-20 2023-01-31 山东师范大学 一种基于图像特征点的草图生成方法、服务器及系统
US10248664B1 (en) 2018-07-02 2019-04-02 Inception Institute Of Artificial Intelligence Zero-shot sketch-based image retrieval techniques using neural networks for sketch-image recognition and retrieval
CN110069653A (zh) * 2019-03-13 2019-07-30 平安科技（深圳）有限公司 基于草绘轮廓图搜索图片的方法、装置、介质及电子设备
US11157811B2 (en) * 2019-10-28 2021-10-26 International Business Machines Corporation Stub image generation for neural network training
CN111857499B (zh) * 2020-06-30 2022-04-01 维沃移动通信有限公司 信息提示方法和装置
CN112132783B (zh) * 2020-08-21 2022-09-20 成都飞机工业（集团）有限责任公司 一种基于数字图像处理技术的零件识别方法
CN113934877B (zh) * 2021-10-26 2024-12-13 广州引力波信息科技有限公司 一种轮毂模型检索方法、存储介质和设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1025764C (zh) * 1992-05-12 1994-08-24 浙江大学 字符识别方法
US5983237A (en) * 1996-03-29 1999-11-09 Virage, Inc. Visual dictionary
US6253201B1 (en) * 1998-06-23 2001-06-26 Philips Electronics North America Corporation Scalable solution for image retrieval
JP3660943B2 (ja) 1998-08-27 2005-06-15 カシオ計算機株式会社 画像検索装置および画像検索方法
GB2393012B (en) 1999-07-05 2004-05-05 Mitsubishi Electric Inf Tech Representing and searching for an object in an image
JP4752628B2 (ja) 2006-06-06 2011-08-17 日本電気株式会社 描画検索システム、描画検索方法及び描画検索端末
CN100388283C (zh) * 2006-09-14 2008-05-14 浙江大学 毛笔书法字检索方法
CN101577061A (zh) * 2009-03-10 2009-11-11 李晓坤 多层拼合逐笔提示临摹帖
JP5486403B2 (ja) * 2010-05-21 2014-05-07 株式会社キーエンス 画像処理装置、画像処理方法及びコンピュータプログラム
CN102810160A (zh) * 2012-06-06 2012-12-05 北京京东世纪贸易有限公司 一种搜索图像的方法与装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12153622B2 (en) 2018-05-29 2024-11-26 Samsung Electronics Co., Ltd. Electronic device for searching content and control method therefor
KR20200021115A (ko) * 2018-08-20 2020-02-28 한양대학교 산학협력단 자동화된 디자인 생성 방법 및 시스템

Also Published As

Publication number Publication date
CN103870516A (zh) 2014-06-18
KR102061288B1 (ko) 2019-12-31
US9183228B2 (en) 2015-11-10
US20140169683A1 (en) 2014-06-19
CN103870516B (zh) 2019-10-25

Similar Documents

Publication Publication Date Title
KR20140079262A (ko) 이미지 검색 방법, 실시간 그리기 프롬프팅 방법 및 그 장치
CN104200240B (zh) 一种基于内容自适应哈希编码的草图检索方法
Li et al. A2-RL: Aesthetics aware reinforcement learning for image cropping
CN109960742B (zh) 局部信息的搜索方法及装置
Feng et al. Attention-driven salient edge (s) and region (s) extraction with application to CBIR
US11392659B2 (en) Utilizing machine learning models to generate experience driven search results based on digital canvas gesture inputs
CN105493078B (zh) 彩色草图图像搜索
Bozas et al. Large scale sketch based image retrieval using patch hashing
US20120054177A1 (en) Sketch-based image search
Shi et al. Region diversity maximization for salient object detection
Rashmi et al. Video shot boundary detection using block based cumulative approach
CN113688261B (zh) 图像数据清理方法、装置、电子设备及可读存储介质
EP2950239A1 (en) Annotation display assistance device and method of assisting annotation display
Ding et al. Dynamic perception framework for fine-grained recognition
AU2018202767A1 (en) Data structure and algorithm for tag less search and svg retrieval
CN111507285A (zh) 人脸属性识别方法、装置、计算机设备和存储介质
CN110750673A (zh) 图像处理方法、装置、设备及存储介质
Zhao et al. Learning best views of 3D shapes from sketch contour
CN112052350B (zh) 一种图片检索方法、装置、设备和计算机可读存储介质
CN111492407A (zh) 用于绘图美化的系统和方法
CN109697240A (zh) 一种基于特征的图像检索方法及装置
Li et al. Location and model reconstruction algorithm for overlapped and sheltered spherical fruits based on geometry
He et al. Variable scale learning for visual object tracking
CN111428612A (zh) 行人重识别方法、终端、装置及存储介质
CN116630749A (zh) 工业设备故障检测方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20130620

PG1501 Laying open of application
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20180615

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20130620

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20190628

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20190927

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20191224

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20191226

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20240115

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20241202

Start annual number: 6

End annual number: 6