KR20150108565A - 템플릿 기반 이미지 검색 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체 - Google Patents

템플릿 기반 이미지 검색 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체 Download PDF

Info

Publication number
KR20150108565A
KR20150108565A KR1020140031504A KR20140031504A KR20150108565A KR 20150108565 A KR20150108565 A KR 20150108565A KR 1020140031504 A KR1020140031504 A KR 1020140031504A KR 20140031504 A KR20140031504 A KR 20140031504A KR 20150108565 A KR20150108565 A KR 20150108565A
Authority
KR
South Korea
Prior art keywords
image
template
unit
specific keyword
display
Prior art date
Application number
KR1020140031504A
Other languages
English (en)
Inventor
신형철
전혁준
장언동
전병기
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Priority to KR1020140031504A priority Critical patent/KR20150108565A/ko
Publication of KR20150108565A publication Critical patent/KR20150108565A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 템플릿 기반 이미지 검색 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체를 개시한다. 즉, 본 발명은 이미지에서 검출된 객체의 종류에 대응하는 객체 ROI 지정 템플릿을 선별하고, 선별된 객체 ROI 지정 템플릿을 해당 이미지 내의 객체의 크기와 위치에 맞추어 표시하고, 사용자 선택에 따른 해당 객체에 대응한 제품을 검색하고, 검색된 제품을 표시함으로써 용이하게 객체를 검출하고, 객체 검출을 위한 시간을 단축하며, 사용자의 편의성을 향상시킬 수 있다.

Description

템플릿 기반 이미지 검색 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체{Apparatus for searching image based on template, method thereof and computer readable medium having computer program recorded therefor}
본 발명은 템플릿 기반 이미지 검색 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체에 관한 것으로, 특히 이미지에서 검출된 객체의 종류에 대응하는 객체 ROI 지정 템플릿을 선별하고, 선별된 객체 ROI 지정 템플릿을 해당 이미지 내의 객체의 크기와 위치에 맞추어 표시하고, 사용자 선택에 따른 해당 객체에 대응한 제품을 검색하고, 검색된 제품을 표시하는 템플릿 기반 이미지 검색 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체에 관한 것이다.
이미지 검색 장치는 스토리지에 저장된 복수의 이미지 중에서 사용자가 검색하고자 하는 이미지 또는 객체와 유사한 특징을 갖는 이미지를 검색하고, 해당 유사도에 따른 검색 결과를 제공하는 장치이다.
이러한 이미지 검색 장치는 이미지 내에서 검색하고자 하는 객체에 대해서 해당 객체를 선택하기 위한 과정이 복잡하고, 해당 객체를 선택하기 위해서 해당 이미지 전체에 대해서 객체 검색 과정을 수행함에 따라 객체 검색 시간이 늘어나고 대기 시간이 늘어나 사용상 불편함이 증가한다.
한국공개특허 제10-2004-0049893호 [명칭: 영상에서 자동으로 벡터 이미지 형태의 얼굴 아바타 생성 기법]
본 발명의 목적은 미리 설정된 복수의 키워드 중에서 선택된 특정 키워드를 근거로 이미지 내에서 객체를 검출하고, 해당 이미지에서 검출된 객체의 종류에 대응하는 객체 ROI 지정 템플릿을 선별하고, 선별된 객체 ROI 지정 템플릿을 해당 이미지 내의 객체의 크기와 위치에 맞추어 표시하는 템플릿 기반 이미지 검색 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체를 제공하는 데 있다.
본 발명의 다른 목적은 사용자 선택에 따른 선별된 객체 ROI 지정 템플릿에 대응한 제품을 검색하고, 검색된 제품을 표시하는 템플릿 기반 이미지 검색 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체를 제공하는 데 있다.
본 발명의 실시예에 따른 템플릿 기반 이미지 검색 장치는 일부 영역에 이미지를 표시하고, 다른 일부 영역에 복수의 미리 설정된 키워드를 표시하는 표시부; 복수의 키워드 중에서 특정 키워드가 선택될 때, 선택된 특정 키워드를 근거로 이미지 내에서 선택된 특정 키워드에 대응하는 객체를 식별하는 객체 식별부; 이미지에서 식별된 객체의 위치 정보를 확인하고, 확인된 객체의 위치 정보를 근거로 이미지에서의 객체 위치에 식별된 객체에 대응하여 미리 저장된 템플릿을 표시부에 표시하도록 제어하는 템플릿 제공부; 및 템플릿에 대한 미세 조정 수행이 완료된 후, 미리 설정된 버튼이 선택될 때, 서비스 제공 장치 또는 데이터베이스와 연동하여 템플릿 내에 존재하는 객체와 미리 설정된 값 이상의 유사도를 갖는 하나 이상의 유사 이미지를 검색하고, 검색 결과를 표시부에 표시하도록 제어하는 이미지 검색부를 포함할 수 있다.
본 발명과 관련된 일 예로서 객체 식별부는 선택된 특정 키워드에 대응하는 객체에 대한 특징 정보를 이미지에서 산출하고, 산출된 이미지에 대한 특징 정보 정보와 미리 학습된 특정 키워드에 대응한 특징 정보 간의 유사도를 확인하고, 확인된 유사도가 미리 설정된 기준값 이상인지 여부를 판단하고, 판단 결과 확인된 유사도가 기준값 이상일 때 이미지 내에 특정 키워드에 대응하는 목적으로 한 객체가 존재하는 것으로 분류하고, 이미지 내에서 객체를 식별할 수 있다.
본 발명과 관련된 일 예로서 템플릿 제공부는 사용자의 제어에 의해 객체에 대응하는 템플릿의 크기, 위치 및 형상 중 적어도 하나를 변경할 수 있다.
본 발명과 관련된 일 예로서 이미지 검색부는 식별된 객체에 대한 이미지, 검색 결과에 포함된 유사 이미지에 대한 링크 정보, 검색 결과에 포함된 유사 이미지에 대한 상품 링크 정보를 표시부에 표시하도록 제어할 수 있다.
본 발명의 실시예에 따른 템플릿 기반 이미지 검색 방법은 표시부를 통해 일부 영역에 이미지를 표시하고, 다른 일부 영역에 복수의 미리 설정된 키워드를 표시하는 단계; 객체 식별부를 통해, 복수의 키워드 중에서 특정 키워드가 선택될 때, 선택된 특정 키워드를 근거로 이미지 내에서 선택된 특정 키워드에 대응하는 객체를 식별하는 단계; 템플릿 제공부를 통해 이미지에서 식별된 객체의 위치 정보를 확인하는 단계; 템플릿 제공부를 통해 확인된 객체의 위치 정보를 근거로 이미지에서의 객체 위치에 식별된 객체에 대응하여 미리 저장된 템플릿을 표시부에 표시하도록 제어하는 단계; 이미지 검색부를 통해, 템플릿에 대한 미세 조정 수행이 완료된 후, 미리 설정된 버튼이 선택될 때, 서비스 제공 장치 또는 데이터베이스와 연동하여 템플릿 내에 존재하는 객체와 미리 설정된 값 이상의 유사도를 갖는 하나 이상의 유사 이미지를 검색하는 단계; 및 이미지 검색부를 통해 검색 결과를 표시부에 표시하도록 제어하는 단계를 포함할 수 있다.
본 발명과 관련된 일 예로서 이미지 내에서 선택된 특정 키워드에 대응하는 객체를 식별하는 단계는, 객체 식별부를 통해 선택된 특정 키워드에 대응하는 객체에 대한 특징 정보를 이미지에서 산출하는 과정; 산출된 이미지에 대한 특징 정보 정보와 미리 학습된 특정 키워드에 대응한 특징 정보 간의 유사도를 확인하는 과정; 확인된 유사도가 미리 설정된 기준값 이상인지 여부를 판단하는 과정; 판단 결과 확인된 유사도가 기준값 이상일 때, 이미지 내에 특정 키워드에 대응하는 목적으로 한 객체가 존재하는 것으로 분류하는 과정; 및 이미지 내에서 객체를 식별하는 과정을 포함할 수 있다.
본 발명과 관련된 일 예로서 식별된 객체에 대응하여 미리 저장된 템플릿을 표시부에 표시하도록 제어하는 단계는, 템플릿 제공부를 통해 이미지에서의 객체 위치에 템플릿을 표시하는 과정; 및 사용자 제어에 대응하여 템플릿의 크기, 위치 및 형상 중 적어도 하나를 변경하는 과정을 포함할 수 있다.
본 발명과 관련된 일 예로서 검색 결과를 표시부에 표시하도록 제어하는 단계는, 이미지 검색부를 통해 표시부의 일부 영역에 식별된 객체에 대한 이미지를 표시하도록 제어하는 과정; 및 표시부의 다른 일부 영역에 검색 결과에 포함된 유사 이미지에 대한 링크 정보 또는 검색 결과에 포함된 유사 이미지에 대한 상품 링크 정보를 표시하도록 제어하는 과정;을 포함할 수 있다.
본 발명의 실시예에 따른 컴퓨터 프로그램이 기록된 기록매체에는 상술한 실시예에 따른 방법을 수행하는 컴퓨터 프로그램이 저장될 수 있다.
본 발명은 미리 설정된 복수의 키워드 중에서 선택된 특정 키워드를 근거로 이미지 내에서 객체를 검출하고, 해당 이미지에서 검출된 객체의 종류에 대응하는 객체 ROI 지정 템플릿을 선별하고, 선별된 객체 ROI 지정 템플릿을 해당 이미지 내의 객체의 크기와 위치에 맞추어 표시함으로써, 용이하게 객체를 검출하고, 객체 검출을 위한 시간을 단축하는 효과가 있다.
또한, 본 발명은 사용자 선택에 따른 선별된 객체 ROI 지정 템플릿에 대응한 제품을 검색하고, 검색된 제품을 표시함으로써, 정확한 검색 결과 제공으로 인해 사용자의 편의성을 향상시키는 효과가 있다.
도 1은 본 발명의 실시예에 따른 템플릿 기반 이미지 검색 장치의 구성을 나타낸 블록도이다.
도 2는 본 발명의 실시예에 따른 템플릿 기반 이미지 검색 방법을 나타낸 흐름도이다.
도 3 내지 도 5는 본 발명의 실시예에 따른 템플릿 기반 이미지 검색 화면을 나타낸 도이다.
본 발명에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서 "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
도 1은 본 발명의 실시예에 따른 템플릿 기반 이미지 검색 장치(10)의 구성을 나타낸 블록도이다.
도 1에 도시된 바와 같이, 템플릿 기반 이미지 검색 장치(10)는 저장부(100), 객체 식별부(200), 템플릿 제공부(300), 이미지 검색부(400) 및 표시부(500)로 구성된다. 도 1에 도시된 템플릿 기반 이미지 검색 장치(10)의 구성 요소 모두가 필수 구성 요소인 것은 아니며, 도 1에 도시된 구성 요소보다 많은 구성 요소에 의해 템플릿 기반 이미지 검색 장치(10)가 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 템플릿 기반 이미지 검색 장치(10)가 구현될 수도 있다.
객체 식별부(200)는 이미지와 함께 표시되는 미리 설정된 복수의 키워드 중에서 선택되는 특정 키워드를 근거로 해당 이미지 내에서 특정 키워드에 대응하는 객체를 식별한다. 이후, 템플릿 제공부(300)는 식별된 객체에 대한 이미지 상에서의 위치 정보를 확인하고, 해당 위치에 해당 객체에 대응하는 템플릿을 표시한다. 이후, 해당 템플릿에 대한 미세 조정 후, 미리 설정된 특정 버튼이 선택되면, 이미지 검색부(400)는 서비스 제공 장치 또는 데이터베이스(미도시)와의 연동을 통해 해당 템플릿 내의 영역에 존재하는 객체와 유사한 유사 이미지를 검색하고, 검색 결과를 표시한다.
저장부(100)는 사용자 인터페이스(UI), 그래픽 사용자 인터페이스(GUI) 등을 저장한다.
또한, 저장부(100)는 템플릿 기반 이미지 검색 장치(10)가 동작하는데 필요한 데이터와 프로그램 등을 저장한다.
또한, 저장부(100)는 템플릿 기반 이미지 검색 장치(10)에 포함된 입력부(미도시)(또는 카메라(미도시))를 통해 촬영되는 영상(또는 이미지), 템플릿 기반 이미지 검색 장치(10)에 포함된 통신부(미도시)를 통해 수신되는 영상 등을 저장한다.
또한, 저장부(100)는 복수의 특징 패턴을 저장한다. 여기서, 특징 패턴은 서로 다른 크기의 복수의 원본 이미지에 대해서 각각의 특징 정보를 산출할 수 있도록 설계자의 설계에 따라 다양한 크기로 설정할 수 있다.
또한, 저장부(100)는 객체 식별부(200)의 제어에 의해 확인되는 해당 이미지에 대한 특징 정보, 객체 식별부(200)의 제어에 의해 확인되는 이미지와 선택된 특정 키워드에 대응한 특징 정보 간의 유사도, 객체 식별부(200)의 제어에 의해 식별되는(또는 인식되는) 객체에 대한 정보 등을 저장한다.
또한, 저장부(100)는 템플릿 제공부(300)에 제공되는 복수의 객체에 각각 대응하는 복수의 템플릿(또는 객체 ROI 지정 템플릿)을 저장한다.
또한, 저장부(100)는 이미지 검색부(400)의 제어에 의해 특정 키워드에 대한 검색 결과를 저장한다.
객체 식별부(200)는 이미지(또는 영상)에 포함된 객체를 식별(또는 확인)한다. 여기서, 해당 이미지는 저장부(100)에 미리 저장된 이미지(또는 영상) 또는 통신부(미도시)나 입력부(미도시)를 통해 수신되는 이미지일 수 있다.
또한, 표시부(500)에 이미지(또는 영상)와 함께 표시되는 미리 설정된 복수의 키워드(또는 메뉴) 중에서 특정 키워드가 선택되는 경우, 객체 식별부(200)는 선택된 특정 키워드를 근거로 이미지 내에서 선택된 특정 키워드에 대응하는 객체를 식별(또는 확인/검출)한다. 여기서, 표시부(500)에 표시되는 이미지 및 복수의 키워드는 표시부(500)의 일부 영역에 해당 이미지가 표시되고, 표시부(500)의 다른 일부 영역(또는 해당 이미지 위에/해당 이미지에 오버랩되어)에 해당 복수의 키워드가 표시될 수 있다.
즉, 표시부(500)에 이미지(또는 영상)와 함께 표시되는 미리 설정된 복수의 키워드(또는 메뉴) 중에서 특정 키워드가 선택될 때, 객체 식별부(200)는 선택된 특정 키워드에 대응하는 객체에 대한 특징 정보를 해당 이미지에서 산출(또는 추출/확인)한다.
또한, 객체 식별부(200)는 산출된 해당 이미지에 대한 특징 정보 정보와 저장부(100)에 미리 저장된(또는 학습된/등록된) 선택된 특정 키워드에 대응한 하나 이상의(또는 복수의) 특징 정보 간의 유사도를 확인한다.
또한, 객체 식별부(200)는 확인된 유사도가 미리 설정된 기준값 이상인지 여부를 판단(또는 확인)한다.
판단 결과, 확인된 유사도가 미리 설정된 기준값 이상인 경우, 객체 식별부(200)는 해당 이미지 내에 해당 특정 키워드에 대응한 목적으로 하는 객체가 존재하는 것으로 분류(또는 판단/확인)하고, 해당 이미지 내에서 해당 객체를 식별(또는 인식)하고, 식별된 객체를 저장부(100)에 저장한다.
또한, 판단 결과, 확인된 유사도가 미리 설정된 기준값보다 작은 경우, 객체 식별부(200)는 해당 이미지 내에 해당 특정 키워드에 대응한 목적으로 하는 객체가 존재하지 않는 것으로 분류한다.
또한, 객체 식별부(200)는 식별된 객체에 대한 정보를 템플릿 제공부(300), 이미지 검색부(400) 등에 제공한다.
템플릿 제공부(300)는 해당 이미지에서 객체 식별부(200)로부터 식별된 객체에 대한 위치 정보(또는 이미지에서의 객체의 위치 정보)를 확인한다.
또한, 템플릿 제공부(300)는 확인된 객체에 대한 위치 정보를 근거로 해당 위치(또는 확인된 객체에 대한 위치)에 식별된 객체(또는 선택된 특정 키워드)에 대응하여 저장부(100)에 미리 저장된 템플릿을 표시부(500)에 표시한다. 여기서, 표시부(500)에 표시되는 템플릿은 사용자 조작(또는 사용자 제어/사용자 선택)에 의해 크기, 위치, 형상 등에 대한 수정(또는 변경/정정)이 수행될 수도 있다.
사용자 조작(또는 사용자 제어/선택)에 의해 해당 템플릿에 대한 미세 조정이 수행 완료된 후, 미리 설정된 버튼(예를 들어 검색 버튼)이 선택되면, 이미지 검색부(400)는 서비스 제공 장치(미도시) 또는 데이터베이스(미도시)와 연동하여 이미지 내에서의 해당 템플릿의 크기, 위치, 형상에 대응하는 영역 내에 존재하는 객체(또는 식별된 객체)와 유사한 유사 이미지를 검색한다. 여기서, 서비스 제공 장치는 포털 사이트, 쇼핑몰 사이트, 홈쇼핑 사이트, 백화점 사이트 등일 수 있다.
즉, 미리 설정된 버튼이 선택되면, 이미지 검색부(400)는 서비스 제공 장치 또는 데이터베이스와 연동하여 해당 템플릿 내에 존재하는 객체(또는 식별된 객체)와 미리 설정된 값 이상의 유사도를 갖는 하나 이상의 유사 이미지를 검색한다.
또한, 이미지 검색부(400)는 검색 결과를 표시부(500)에 표시한다. 여기서, 표시부(500)에 표시되는 검색 결과는 해당 이미지 내에서 식별된 객체에 대한 이미지, 검색된 유사 이미지에 대한 링크 정보, 검색된 유사 이미지에 대한 상품 링크 정보 등을 포함한다.
표시부(500)는 객체 식별부(200), 템플릿 제공부(300), 이미지 검색부(400) 등의 제어에 의해 저장부(112)에 저장된 사용자 인터페이스, 그래픽 사용자 인터페이스를 이용하여 메뉴 화면 등과 같은 콘텐츠를 표시할 수 있다. 여기서, 표시부(500)에 표시되는 콘텐츠는 텍스트 또는 이미지 데이터(각종 정보 데이터 포함)와 아이콘, 리스트 메뉴, 콤보 박스 등의 데이터를 포함하는 메뉴 화면 등을 포함한다. 또한, 부(500)는 터치 스크린 일 수 있다.
이와 같이, 미리 설정된 복수의 키워드 중에서 선택된 특정 키워드를 근거로 이미지 내에서 객체를 검출하고, 해당 이미지에서 검출된 객체의 종류에 대응하는 객체 ROI 지정 템플릿을 선별하고, 선별된 객체 ROI 지정 템플릿을 해당 이미지 내의 객체의 크기와 위치에 맞추어 표시할 수 있다.
또한, 이와 같이, 사용자 선택에 따른 선별된 객체 ROI 지정 템플릿에 대응한 제품을 검색하고, 검색된 제품을 표시할 수 있다.
이하에서는, 본 발명에 따른 템플릿 기반 이미지 검색 방법을 도 1 내지 도 5를 참조하여 상세히 설명한다.
도 2는 본 발명의 실시예에 따른 템플릿 기반 이미지 검색 방법을 나타낸 흐름도이다.
먼저, 표시부(500)에 이미지(또는 영상)와 함께 표시되는 미리 설정된 복수의 키워드(또는 메뉴) 중에서 특정 키워드가 선택(또는 터치)되는 경우, 객체 식별부(200)는 선택된 특정 키워드를 근거로 이미지 내에서 선택된 특정 키워드에 대응하는 객체를 식별(또는 확인/검출)한다. 여기서, 해당 이미지는 저장부(100)에 미리 저장된 이미지(또는 영상) 또는 통신부(미도시)나 입력부(미도시)를 통해 수신되는 이미지일 수 있다.
즉, 객체 식별부(200)는 선택된 특정 키워드에 대응하는 객체에 대한 특징 정보를 해당 이미지에서 산출(또는 추출/확인)한다. 이후, 객체 식별부(200)는 산출된 해당 이미지에 대한 특징 정보 정보와 저장부(100)에 미리 저장된(또는 학습된/등록된) 선택된 특정 키워드에 대응한 특징 정보 간의 유사도를 확인한다. 이후, 객체 식별부(200)는 확인된 유사도가 미리 설정된 기준값 이상인지 여부를 판단(또는 확인)한다. 판단 결과, 확인된 유사도가 미리 설정된 기준값 이상인 경우, 객체 식별부(200)는 해당 이미지 내에 해당 특정 키워드에 대응한 목적으로 하는 객체가 존재하는 것으로 분류(또는 판단/확인)하고, 해당 이미지 내에서 해당 객체를 식별(또는 인식)하고, 식별된 객체를 저장부(100)에 저장한다. 또한, 판단 결과, 확인된 유사도가 미리 설정된 기준값보다 작은 경우, 객체 식별부(200)는 해당 이미지 내에 해당 특정 키워드에 대응한 목적으로 하는 객체가 존재하지 않는 것으로 분류한다.
일 예로, 도 3에 도시된 바와 같이, 표시부(500)에 이미지(310) 및 미리 설정된 복수의 키워드(또는 메뉴)(320)가 표시되고 있는 상태에서, 신발 항목(또는 신발 키워드)(321)이 선택될 때, 객체 식별부(200)는 선택된 신발 항목(321)을 근거로 해당 이미지(310)에 포함된 해당 신발 항목(321)에 대응하는 객체(예를 들어 신발)를 식별한다. 여기서, 복수의 키워드는 가방, 목걸이, 신발, 의류, 기타 등을 포함한다. 이때, 기타 항목이 선택되는 경우, 객체 식별부(200)는 사용자 조작(또는 사용자 선택/입력)에 의해 입력되는 특정 키워드를 수신하고, 수신된 특정 키워드를 근거로 해당 이미지(310)에 포함된 해당 특정 키워드에 대응하는 객체를 식별할 수도 있다(S210).
이후, 템플릿 제공부(300)는 객체 식별부(200)로부터 식별된 객체에 대한 해당 이미지 상에서의 위치 정보(또는 이미지에서의 객체의 위치 정보)를 확인한다.
또한, 템플릿 제공부(300)는 확인된 객체에 대한 위치 정보를 근거로 해당 위치(또는 확인된 객체에 대한 위치)에 해당 객체(또는 선택된 특정 키워드)에 대응하여 저장부(100)에 미리 저장된 템플릿을 표시부(500)에 표시한다. 여기서, 템플릿은 크기, 위치, 형상 등을 수정(또는 변경/정정)할 수 있도록 제공된다.
일 예로, 도 4에 도시된 바와 같이, 템플릿 제공부(300)는 이미지(310) 내에서 객체 식별부(200)로부터 식별된 신발(410)이 위치한 영역에 해당 신발에 대응하여 저장부(100)에 미리 저장된 신발 템플릿(420)을 표시부(500)에 표시한다(S220).
이후, 사용자 조작(또는 사용자 제어/선택)에 의해 해당 템플릿에 대한 미세 조정이 수행된 후, 미리 설정된 버튼(예를 들어 검색 버튼)이 선택되면, 이미지 검색부(400)는 서비스 제공 장치(미도시)(또는 데이터베이스)와 연동하여 이미지 내에서의 해당 템플릿의 크기, 위치, 형상에 대응하는 영역 내에 존재하는 객체(또는 식별된 객체)와 유사한 유사 이미지를 검색한다. 여기서, 서비스 제공 장치는 포털 사이트, 쇼핑몰 사이트, 홈쇼핑 사이트, 백화점 사이트 등일 수 있다.
일 예로, 도 4에 도시된 미리 설정된 검색 버튼(430)이 선택될 때, 이미지 검색부(400)는 복수의 쇼핑몰 사이트와 연동하여 해당 신발 템플릿(420) 내에 존재하는 신발과 유사한 이미지를 검색한다(S230).
이후, 이미지 검색부(400)는 검색 결과를 표시부(500)에 표시한다. 여기서, 표시부(500)에 표시되는 검색 결과는 해당 이미지 내에서 식별된 객체에 대한 이미지, 해당 검색 결과에 포함된 검색된 유사 이미지에 대한 링크 정보, 해당 검색 결과에 포함된 검색된 유사 이미지에 대한 상품 링크 정보 등을 포함한다. 이때, 이미지 검색부(400)에 의해 검색되는 유사 이미지는 해당 객체에 대해서 미리 설정된 값 이상의 유사도를 갖는 이미지일 수 있다.
일 예로, 도 5에 도시된 바와 같이, 이미지 검색부(400)는 표시부(500)의 일부 영역에 객체 식별부(200)로부터 식별된 신발 객체(510)를 표시하고, 표시부(500)의 다른 일부 영역에 이미지 검색부(400)로부터 검색된 해당 신발 객체와 유사한 이미지에 대한 검색 결과(예를 들어 링크 정보 등 포함)(520)를 표시한다(S240).
본 발명의 실시예에 따른 템플릿 기반 이미지 검색 장치 및 그 방법은 컴퓨터 프로그램으로 작성 가능하며, 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 해당 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터나 본 발명의 실시예에 따른 템플릿 기반 이미지 검색 장치, 사용자 장치(또는 단말), 서비스 제공 장치 등에 의하여 읽혀지고 실행됨으로써 템플릿 기반 이미지 검색 장치 및 그 방법을 구현할 수 있다.
정보저장매체는 자기 기록매체, 광 기록매체 및 캐리어 웨이브 매체를 포함한다. 본 발명의 실시예에 따른 템플릿 기반 이미지 검색 및 그 방법을 구현하는 컴퓨터 프로그램은 템플릿 기반 이미지 검색 장치, 사용자 장치, 서비스 제공 장치 등의 내장 메모리에 저장 및 설치될 수 있다. 또는, 본 발명의 실시예에 따른 템플릿 기반 이미지 검색 장치 및 그 방법을 구현하는 컴퓨터 프로그램을 저장 및 설치한 스마트 카드 등의 외장 메모리가 인터페이스를 통해 템플릿 기반 이미지 검색 장치, 사용자 장치, 서비스 제공 장치 등에 장착될 수도 있다.
본 발명의 실시예는 앞서 설명된 바와 같이, 미리 설정된 복수의 키워드 중에서 선택된 특정 키워드를 근거로 이미지 내에서 객체를 검출하고, 해당 이미지에서 검출된 객체의 종류에 대응하는 객체 ROI 지정 템플릿을 선별하고, 선별된 객체 ROI 지정 템플릿을 해당 이미지 내의 객체의 크기와 위치에 맞추어 표시하여, 용이하게 객체를 검출하고, 객체 검출을 위한 시간을 단축할 수 있다.
또한, 본 발명의 실시예는 앞서 설명된 바와 같이, 사용자 선택에 따른 선별된 객체 ROI 지정 템플릿에 대응한 제품을 검색하고, 검색된 제품을 표시하여, 정확한 검색 결과 제공으로 인해 사용자의 편의성을 향상시킬 수 있다.
전술된 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명은 이미지에서 검출된 객체의 종류에 대응하는 객체 ROI 지정 템플릿을 선별하고, 선별된 객체 ROI 지정 템플릿을 해당 이미지 내의 객체의 크기와 위치에 맞추어 표시하고, 사용자 선택에 따른 해당 객체에 대응한 제품을 검색하고, 검색된 제품을 표시함으로써 용이하게 객체를 검출하고, 객체 검출을 위한 시간을 단축하며, 사용자의 편의성을 향상시킬 수 있는 것으로, 객체 검색 분야, 영상 처리 분야, 객체 식별/인식 분야 등에서 광범위하게 이용될 수 있다.
10: 템플릿 기반 이미지 검색 장치
100: 저장부 200: 객체 식별부
300: 템플릿 제공부 400: 이미지 검색부
500: 표시부

Claims (9)

  1. 일부 영역에 이미지를 표시하고, 다른 일부 영역에 복수의 미리 설정된 키워드를 표시하는 표시부;
    상기 복수의 키워드 중에서 특정 키워드가 선택될 때, 상기 선택된 특정 키워드를 근거로 상기 이미지 내에서 상기 선택된 특정 키워드에 대응하는 객체를 식별하는 객체 식별부;
    상기 이미지에서 상기 식별된 객체의 위치 정보를 확인하고, 상기 확인된 객체의 위치 정보를 근거로 상기 이미지에서의 객체 위치에 상기 식별된 객체에 대응하여 미리 저장된 템플릿을 상기 표시부에 표시하도록 제어하는 템플릿 제공부; 및
    상기 템플릿에 대한 미세 조정 수행이 완료된 후, 미리 설정된 버튼이 선택될 때, 서비스 제공 장치 또는 데이터베이스와 연동하여 상기 템플릿 내에 존재하는 객체와 미리 설정된 값 이상의 유사도를 갖는 하나 이상의 유사 이미지를 검색하고, 상기 검색 결과를 상기 표시부에 표시하도록 제어하는 이미지 검색부를 포함하는 템플릿 기반 이미지 검색 장치.
  2. 제1항에 있어서,
    상기 객체 식별부는 상기 선택된 특정 키워드에 대응하는 객체에 대한 특징 정보를 상기 이미지에서 산출하고, 상기 산출된 이미지에 대한 특징 정보 정보와 미리 학습된 상기 특정 키워드에 대응한 특징 정보 간의 유사도를 확인하고, 상기 확인된 유사도가 미리 설정된 기준값 이상인지 여부를 판단하고, 상기 판단 결과 상기 확인된 유사도가 기준값 이상일 때 상기 이미지 내에 상기 특정 키워드에 대응하는 목적으로 한 객체가 존재하는 것으로 분류하고, 상기 이미지 내에서 상기 객체를 식별하는 것을 특징으로 하는 템플릿 기반 이미지 검색 장치.
  3. 제1항에 있어서,
    상기 템플릿 제공부는 사용자의 제어에 의해 상기 객체에 대응하는 템플릿의 크기, 위치 및 형상 중 적어도 하나를 변경하는 것을 특징으로 하는 템플릿 기반 이미지 검색 장치.
  4. 제1항에 있어서,
    상기 이미지 검색부는 상기 식별된 객체에 대한 이미지, 상기 검색 결과에 포함된 유사 이미지에 대한 링크 정보, 상기 검색 결과에 포함된 유사 이미지에 대한 상품 링크 정보를 상기 표시부에 표시하도록 제어하는 것을 특징으로 하는 템플릿 기반 이미지 검색 장치.
  5. 표시부를 통해 일부 영역에 이미지를 표시하고, 다른 일부 영역에 복수의 미리 설정된 키워드를 표시하는 단계;
    객체 식별부를 통해, 상기 복수의 키워드 중에서 특정 키워드가 선택될 때, 상기 선택된 특정 키워드를 근거로 상기 이미지 내에서 상기 선택된 특정 키워드에 대응하는 객체를 식별하는 단계;
    템플릿 제공부를 통해 상기 이미지에서 상기 식별된 객체의 위치 정보를 확인하는 단계;
    상기 템플릿 제공부를 통해 상기 확인된 객체의 위치 정보를 근거로 상기 이미지에서의 객체 위치에 상기 식별된 객체에 대응하여 미리 저장된 템플릿을 상기 표시부에 표시하도록 제어하는 단계;
    이미지 검색부를 통해, 상기 템플릿에 대한 미세 조정 수행이 완료된 후, 미리 설정된 버튼이 선택될 때, 서비스 제공 장치 또는 데이터베이스와 연동하여 상기 템플릿 내에 존재하는 객체와 미리 설정된 값 이상의 유사도를 갖는 하나 이상의 유사 이미지를 검색하는 단계; 및
    상기 이미지 검색부를 통해 상기 검색 결과를 상기 표시부에 표시하도록 제어하는 단계를 포함하는 템플릿 기반 이미지 검색 방법.
  6. 제5항에 있어서,
    상기 이미지 내에서 상기 선택된 특정 키워드에 대응하는 객체를 식별하는 단계는,
    상기 객체 식별부를 통해 상기 선택된 특정 키워드에 대응하는 객체에 대한 특징 정보를 상기 이미지에서 산출하는 과정;
    상기 산출된 이미지에 대한 특징 정보 정보와 미리 학습된 상기 특정 키워드에 대응한 특징 정보 간의 유사도를 확인하는 과정;
    상기 확인된 유사도가 미리 설정된 기준값 이상인지 여부를 판단하는 과정;
    상기 판단 결과 상기 확인된 유사도가 기준값 이상일 때, 상기 이미지 내에 상기 특정 키워드에 대응하는 목적으로 한 객체가 존재하는 것으로 분류하는 과정; 및
    상기 이미지 내에서 상기 객체를 식별하는 과정을 포함하는 것을 특징으로 하는 템플릿 기반 이미지 검색 방법.
  7. 제5항에 있어서,
    상기 식별된 객체에 대응하여 미리 저장된 템플릿을 상기 표시부에 표시하도록 제어하는 단계는,
    상기 템플릿 제공부를 통해 상기 이미지에서의 객체 위치에 상기 템플릿을 표시하는 과정; 및
    사용자 제어에 대응하여 상기 템플릿의 크기, 위치 및 형상 중 적어도 하나를 변경하는 과정을 포함하는 것을 특징으로 하는 템플릿 기반 이미지 검색 방법.
  8. 제5항에 있어서,
    상기 검색 결과를 상기 표시부에 표시하도록 제어하는 단계는,
    상기 이미지 검색부를 통해 상기 표시부의 일부 영역에 상기 식별된 객체에 대한 이미지를 표시하도록 제어하는 과정; 및
    상기 표시부의 다른 일부 영역에 상기 검색 결과에 포함된 유사 이미지에 대한 링크 정보 또는 상기 검색 결과에 포함된 유사 이미지에 대한 상품 링크 정보를 표시하도록 제어하는 과정;을 포함하는 것을 특징으로 하는 템플릿 기반 이미지 검색 방법.
  9. 제5항 내지 제8항 중 어느 한 항에 따른 방법을 수행하는 컴퓨터 프로그램이 기록된 기록매체.
KR1020140031504A 2014-03-18 2014-03-18 템플릿 기반 이미지 검색 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체 KR20150108565A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140031504A KR20150108565A (ko) 2014-03-18 2014-03-18 템플릿 기반 이미지 검색 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140031504A KR20150108565A (ko) 2014-03-18 2014-03-18 템플릿 기반 이미지 검색 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체

Publications (1)

Publication Number Publication Date
KR20150108565A true KR20150108565A (ko) 2015-09-30

Family

ID=54246496

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140031504A KR20150108565A (ko) 2014-03-18 2014-03-18 템플릿 기반 이미지 검색 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체

Country Status (1)

Country Link
KR (1) KR20150108565A (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330750A (zh) * 2017-05-26 2017-11-07 北京三快在线科技有限公司 一种推荐产品配图方法及装置，电子设备
KR20180051448A (ko) * 2018-03-16 2018-05-16 오드컨셉 주식회사 쇼핑 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램
KR20180051449A (ko) * 2018-03-16 2018-05-16 오드컨셉 주식회사 쇼핑 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램
KR101896177B1 (ko) * 2017-03-08 2018-09-06 김동훈 다중 결과 제공 기능을 구비한 이미지 검색 시스템
KR20200058343A (ko) * 2018-03-16 2020-05-27 오드컨셉 주식회사 쇼핑 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램
KR102616940B1 (ko) * 2023-02-21 2023-12-28 주식회사 비저너리 의류 제조 공정 처리 자동화 서비스 시스템 및 방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101896177B1 (ko) * 2017-03-08 2018-09-06 김동훈 다중 결과 제공 기능을 구비한 이미지 검색 시스템
CN107330750A (zh) * 2017-05-26 2017-11-07 北京三快在线科技有限公司 一种推荐产品配图方法及装置，电子设备
KR20180051448A (ko) * 2018-03-16 2018-05-16 오드컨셉 주식회사 쇼핑 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램
KR20180051449A (ko) * 2018-03-16 2018-05-16 오드컨셉 주식회사 쇼핑 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램
KR20200058343A (ko) * 2018-03-16 2020-05-27 오드컨셉 주식회사 쇼핑 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램
KR102616940B1 (ko) * 2023-02-21 2023-12-28 주식회사 비저너리 의류 제조 공정 처리 자동화 서비스 시스템 및 방법

Similar Documents

Publication Publication Date Title
US11321044B2 (en) Augmented reality quick-start and user guide
KR20150108565A (ko) 템플릿 기반 이미지 검색 장치, 그 방법 및 컴퓨터 프로그램이 기록된 기록매체
US9158432B2 (en) Region recommendation device, region recommendation method and recording medium
US9898090B2 (en) Apparatus, method and recording medium for controlling user interface using input image
WO2017037493A1 (en) Product auditing in point-of-sale images
CN103488283A (zh) 信息处理设备及其控制方法和背景确定方法
CN103492981A (zh) 触摸屏选择
KR20180024200A (ko) 영상 검색 정보 제공 방법, 장치 및 컴퓨터 프로그램
CN105653171A (zh) 基于指纹识别的终端控制方法、终端控制装置及终端
US9881191B2 (en) Method of controlling operation of cataloged smart devices
KR102224936B1 (ko) 식별을 위해 확장된 영역에 대한 특징을 수집하는 학습 장치 및 방법 및 컴퓨터 프로그램이 기록된 기록매체
KR20180048536A (ko) 영상 검색 정보 제공 방법, 장치 및 컴퓨터 프로그램
US20170200046A1 (en) System and method for authenticating user
CN114638980A (zh) 菜品种类识别处理方法及装置
CN104615348B (zh) 信息处理方法及电子设备
US20150278207A1 (en) Electronic device and method for acquiring image data
US20160349981A1 (en) Control system for virtual mouse and control method thereof
CN111292153A (zh) 信息推荐方法、装置、系统和存储介质
US9355395B2 (en) POS terminal apparatus and commodity specification method
US20170277722A1 (en) Search service providing apparatus, system, method, and computer program
JPWO2019181441A1 (ja) 情報処理装置、及び制御方法
CN110059645A (zh) 一种人脸识别方法、系统及电子设备和存储介质
KR20150101843A (ko) 드로잉 상황에 반응하는 가이드가 구비된 스케치 검색 시스템, 사용자 장치, 서비스 제공 장치, 그 서비스 방법 및 컴퓨터 프로그램이 기록된 기록매체
KR20150097250A (ko) 태그 정보를 이용한 스케치 검색 시스템, 사용자 장치, 서비스 제공 장치, 그 서비스 방법 및 컴퓨터 프로그램이 기록된 기록매체
KR101635054B1 (ko) 복수의 단말을 일괄적으로 제어하는 단말 제어 방법

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X601 Decision of rejection after re-examination