KR20200024618A - 이미지 검색 방법 및 이를 위한 장치 - Google Patents

Abstract

본 발명은 단순히 질의된 이미지와 유사한 이미지를 검색하는 것이 아니라, 질의된 이미지와 어울리는 다른 이미지를 검색하여 두 이미지 합성하여 제공하는 이미지 검색 방법 및 이를 위한 장치에 관한 것으로서, 본 발명에 따른 검색 서버는, 사용자 장치로부터 검색 요청과 함께 이미지 데이터를 수신하면, 상기 수신한 이미지 데이터를 분석하여, 상기 수신한 이미지 데이터와 연관된 시간, 장소, 상황 중 어느 하나에 대한 정보를 추출하고, 상기 추출한 시간, 장소, 상황 중 어느 하나에 대한 정보에 기반하여 상기 수신한 이미지 데이터와 결합할 수 있는 상대 이미지 데이터를 검색한 후, 상기 수신한 이미지 데이터와 상기 상대 이미지 데이터를 합성하여 합성된 이미지를 검색 결과로 제공한다.

Description

이미지 검색 방법 및 이를 위한 장치{A method for image searching and an apparatus therefor}

본 발명은 이미지 검색 기술에 관한 것으로, 더욱 상세하게는 질의된 이미지와 어울리는 다른 이미지를 검색하여 제공하는 이미지 검색 방법 및 이를 위한 장치에 관한 것이다.

이미지 검색은 이미지를 찾는 방법과 목적에 따라 크게 두 가지로 구분할 수 있다. 첫 번째는 텍스트 검색어를 이용해 관련 이미지를 찾는 것이다. 예를 들어 텍스트 '꽃'이라는 키워드를 입력하면 다양한 종류의 꽃 사진을 볼 수 있다. 이 유형은 인터넷 초창기부터 있었던 전통적인 검색방식이다. 두 번째는 이미지 파일인 이미지 검색어를 입력하면, 이미지 파일을 분석해서 동일 또는 유사한 이미지를 찾아내는 것이다. 컴퓨터 분석 기술과 인터넷 기술이 발달하면서 등장한 방식이다. 키워드 방식에 비해 사용자가 이미지를 직관적으로 검색할 수 있다는 이점이 있다.

최근에는 인공 지능(AI: Artificial Intelligence) 기술이 발달하면서, 이미지 데이터로 질의하여 검색결과를 제공받는 두 번째 이미지 검색 방식에 대한 관심이 높아지고 있다.

이러한 이미지 검색 기술은, 사용자가 원하는 상품을 직관적으로 검색할 수 있기 때문에, 네트워크를 통해서 상품을 거래하는 온라인 쇼핑몰 등에서 이용될 수 있다.

그런데, 기존의 이미지 검색은 대부분 질의된 이미지와 유사한 이미지를 검색하여 제공하는 것으로 제한되어 있다.

한국공개특허 제2014-0093957호, 2014년 07월 29일 공개 (명칭: 상호작용 멀티-모달 이미지 검색 기법)

이에 본 발명은, 단순히 질의된 이미지와 유사한 이미지를 검색하는 것이 아니라, 질의된 이미지와 어울리는 다른 이미지를 검색하여 두 이미지 합성하여 제공하는 이미지 검색 방법 및 이를 위한 장치를 제공하고자 한다.

본 발명은 상술한 과제의 해결 수단으로서, 검색 서버가, 사용자 장치로부터 검색 요청과 함께 이미지 데이터를 수신하는 단계; 상기 수신한 이미지 데이터를 분석하여, 상기 수신한 이미지 데이터와 연관된 시간, 장소, 상황 중 어느 하나에 대한 정보를 추출하는 단계; 상기 추출한 시간, 장소, 상황 중 어느 하나에 대한 정보에 기반하여 상기 수신한 이미지 데이터와 결합할 수 있는 상대 이미지 데이터를 검색하는 단계; 상기 수신한 이미지 데이터와 상기 상대 이미지 데이터를 합성하는 단계; 및 합성된 이미지를 상기 사용자 장치로 제공하는 단계를 포함하는 이미지 검색 방법을 제공한다.

본 발명에 따른 이미지 검색 방법에 있어서, 상기 검색하는 단계는, 상기 수신한 이미지 데이터가 검색 가능한 아이템을 포함하는 아이템 이미지 데이터인 경우, 상기 아이템과 어울리는 배경 이미지를 검색하고, 상기 수신한 이미지 데이터가 검색 가능한 아이템을 포함하지 않는 배경 이미지 데이터인 경우, 해당 배경에 어울리는 아이템을 포함하는 아이템 이미지 데이터를 검색한다.

이를 위하여, 상기 이미지 검색 방법은, 상기 검색하는 단계 이전에, 상기 수신한 이미지 데이터가 검색 가능한 아이템을 포함하는 아이템 이미지 데이터, 검색 가능한 아이템을 포함하지 않는 배경 이미지 데이터 중 어디에 해당하는 지를 확인하는 단계를 더 포함할 수 있다.

더하여, 본 발명에 따른 이미지 검색 방법은, 상기 수신한 이미지 데이터가 배경 이미지 데이터인 경우, 상기 수신하는 단계에서 이미지 데이터와 함께 검색하고자 하는 아이템을 특정하기 위한 정보를 더 수신하고, 상기 검색하는 단계에서, 상기 수신한 정보를 기반으로 검색 범위를 특정하여 검색을 수행할 수 있다.

더하여, 상기 이미지 검색 방법에 있어서, 상기 합성하는 단계는, 상기 아이템 이미지 데이터로부터 아이템의 윤곽선을 따라서 아이템 이미지를 추출한 후, 추출한 아이템 이미지를 배경 이미지와 오버레이하되, 상기 배경 이미지와 오버레이된 아이템 이미지의 부분별로 배경 이미지의 원근감에 따라서 투명도를 달리할 수 있다.

또한, 본 발명은 상술한 과제의 다른 해결 수단으로서, 네트워크를 통해서 사용자 장치와 연결하여 데이터를 송수신하는 통신 모듈; 검색이 이용될 다수의 이미지 데이터를 저장하는 저장 모듈; 상기 통신 모듈을 통해 상기 사용자 장치로부터 검색 요청과 함께 이미지 데이터를 수신하면, 상기 수신한 이미지 데이터를 분석하여, 상기 수신한 이미지 데이터와 연관된 시간, 장소, 상황 중 어느 하나에 대한 정보를 추출하여, 상기 추출한 시간, 장소, 상황 중 어느 하나에 대한 정보에 기반하여 상기 수신한 이미지 데이터와 결합할 수 있는 상대 이미지 데이터를 검색하는 이미지 검색 모듈; 및 상기 수신한 이미지 데이터와 상기 검색된 상대 이미지 데이터를 합성하여, 합성된 이미지를 상기 사용자 장치로 제공하는 이미지 합성 모듈을 포함하는 검색 서버를 제공한다.

본 발명에 따른 검색 서버에 있어서, 상기 이미지 검색 모듈은 상기 수신한 이미지 데이터가 검색 가능한 아이템을 포함하는 아이템 이미지 데이터인 경우, 상기 아이템과 어울리는 배경 이미지를 검색하고, 상기 수신한 이미지 데이터가 검색 가능한 아이템을 포함하지 않는 배경 이미지 데이터인 경우, 해당 배경에 어울리는 아이템을 포함하는 아이템 이미지 데이터를 검색한다.

이를 위하여, 본 발명에 따른 검색 서버는, 상기 수신한 이미지 데이터가 검색 가능한 아이템을 포함하는 아이템 이미지 데이터, 검색 가능한 아이템을 포함하지 않는 배경 이미지 데이터 중 어디에 해당하는 지를 확인하는 이미지 처리 모듈을 더 포함할 수 있다.

본 발명은 사용자 장치로부터 이미지 검색이 요청되면, 질의된 이미지와 유사한 이미지를 검색하는 것이 아니라, 질의된 이미지와 어울리는 이미지를 검색하여 제공하는 것으로서, 구체적으로, 질의된 이미지가 상품 이미지인 경우, 상기 아이템과 어울리는 배경 이미지를 검색하여 제공할 수 있으며, 질의된 이미지가 배경 이미지인 경우 반대로 상기 배경 이미지에 어울리는 상품 이미지를 검색하여 제공함으로써, 전자상거래를 통해 물품을 구매하는 사용자뿐만 아니라 판매자의 편의를 향상시킬 수 있다.

특히, 본 발명은 질의된 이미지와 검색된 이미지를 합성하여 제공함으로써, 사용자 혹은 판매자가 이를 스타일링이나 마케팅 등에 적절히 활용할 수 있도록 지원할 수 있다.

도 1은 본 발명의 실시 예에 따른 이미지 검색 시스템을 설명하기 위한 도면이다.
도 2는 본 발명에 따른 검색 서버의 구성을 나타낸 블록도이다.
도 3은 본 발명에 따른 사용자 장치의 구성을 나타낸 블록도이다.
도 4는 일반적인 이미지 검색 과정을 나타낸 흐름도이다.
도 5는 본 발명의 일 실시 예에 따른 이미지 검색 시스템에서의 이미지 검색 과정을 도시한 흐름도이다.
도 6은 본 발명의 다른 실시 예에 따른 이미지 검색 시스템에서의 이미지 검색 과정을 도시한 흐름도이다.
도 7은 본 발명에 따른 이미지 검색 방법을 나타낸 순서도이다.
도 8 및 도 9은 본 발명의 실시 예에 따른 이미지 검색 과정의 일 예를 나타낸 예시도이다.

본 발명의 과제 해결 수단의 특징 및 이점을 보다 명확히 하기 위하여, 첨부된 도면에 도시된 본 발명의 특정 실시 예를 참조하여 본 발명을 더 상세하게 설명한다.

다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.

이하의 설명 및 도면에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.

또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하기 위해 사용하는 것으로, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 뿐, 상기 구성요소들을 한정하기 위해 사용되지 않는다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다.

더하여, 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급할 경우, 이는 논리적 또는 물리적으로 연결되거나, 접속될 수 있음을 의미한다. 다시 말해, 구성요소가 다른 구성요소에 직접적으로 연결되거나 접속되어 있을 수 있지만, 중간에 다른 구성요소가 존재할 수도 있으며, 간접적으로 연결되거나 접속될 수도 있다고 이해되어야 할 것이다.

또한, 본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 명세서에서 기술되는 "포함 한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

또한, 명세서에 기재된 "~부", "~기", "~모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

또한, "일(a 또는 an)", "하나(one)", "그(the)" 및 유사어는 본 발명을 기술하는 문맥에 있어서(특히, 이하의 청구항의 문맥에서) 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.

아울러, 본 발명의 범위 내의 실시 예들은 컴퓨터 실행가능 명령어 또는 컴퓨터 판독가능 매체에 저장된 데이터 구조를 가지거나 전달하는 컴퓨터 판독가능 매체를 포함한다. 이러한 컴퓨터 판독가능 매체는, 범용 또는 특수 목적의 컴퓨터 시스템에 의해 액세스 가능한 임의의 이용 가능한 매체일 수 있다. 예로서, 이러한 컴퓨터 판독가능 매체는 RAM, ROM, EPROM, CD-ROM 또는 기타 광 디스크 저장장치, 자기 디스크 저장장치 또는 기타 자기 저장장치, 또는 컴퓨터 실행가능 명령어, 컴퓨터 판독가능 명령어 또는 데이터 구조의 형태로 된 소정의 프로그램 코디 수단을 저장하거나 전달하는 데에 이용될 수 있고, 범용 또는 특수 목적 컴퓨터 시스템에 의해 액세스 될 수 있는 임의의 기타 매체와 같은 물리적 저장 매체를 포함할 수 있지만, 이에 한정되지 않는다.

이하의 설명 및 특허 청구 범위에서, "네트워크"는 컴퓨터 시스템들 및/또는 모듈들 간의 전자 데이터를 전송할 수 있게 하는 하나 이상의 데이터 링크로서 정의된다. 정보가 네트워크 또는 다른 (유선, 무선, 또는 유선 또는 무선의 조합인) 통신 접속을 통하여 컴퓨터 시스템에 전송되거나 제공될 때, 이 접속은 컴퓨터-판독가능매체로서 이해될 수 있다. 컴퓨터 판독가능 명령어는, 예를 들면, 범용 컴퓨터 시스템 또는 특수 목적 컴퓨터 시스템이 특정 기능 또는 기능의 그룹을 수행하도록 하는 명령어 및 데이터를 포함한다. 컴퓨터 실행가능 명령어는, 예를 들면, 어셈블리어, 또는 심지어는 소스 코드와 같은 이진, 중간 포맷 명령어일 수 있다.

아울러, 본 발명은 퍼스널 컴퓨터, 랩탑 컴퓨터, 핸드헬드 장치, 멀티프로세서 시스템, 마이크로프로세서-기반 또는 프로그램 가능한 가전제품(programmable consumer electronics), 네트워크 PC, 미니컴퓨터, 메인프레임 컴퓨터, 모바일 전화, PDA, 페이저(pager) 등을 포함하는 다양한 유형의 컴퓨터 시스템 구성을 가지는 네트워크 컴퓨팅 환경에서, 상기 컴퓨터 시스템들을 대상으로 이미지 검색 서비스를 제공하는데 적용될 수 있다. 본 발명은 또한 네트워크를 통해 유선 데이터 링크, 무선 데이터 링크, 또는 유선 및 무선 데이터 링크의 조합으로 링크된 로컬 및 원격 컴퓨터 시스템 모두가 태스크를 수행하는 분산형 시스템 환경에서 실행될 수 있다. 분산형 시스템 환경에서, 프로그램 모듈은 로컬 및 원격 메모리 저장 장치에 위치될 수 있다.

먼저, 본 발명의 실시 예에 따른 이미지 검색 시스템에 대해서 설명하기로 한다.

도 1은 본 발명의 실시 예에 따른 이미지 검색 시스템을 나타낸 도면이다. 도 1을 참조하면, 본 발명에 따른 이미지 검색 시스템은 네트워크(NW)를 통해 연결된 검색 서버(100) 및 사용자 장치(200)를 포함한다.

검색 서버(100) 및 사용자 장치(200)는 네트워크(NW)을 통해 상호간에 데이터를 송수신할 수 있다. 예를 들면, 통신망(NW)은 WLAN(Wireless LAN), 와이파이(Wi-Fi), 와이브로(Wibro), 와이맥스(Wimax), HSDPA(High Speed Downlink Packet Access) 등의 무선 통신망을 포함할 수 있으며, 시스템 구현 방식에 따라 이더넷(Ethernet), xDSL(ADSL, VDSL), HFC(Hybrid Fiber Coaxial Cable), FTTC(Fiber to The Curb), FTTH(Fiber To The Home) 등의 유선 통신망을 포함할 수도 있다.

아울러, 본 발명에 이용되는 네트워크(NW)은 예컨대, 다수의 접속망(미도시) 및 이들을 연결하는 코어망(미도시)으로 이루어진 이동통신망을 포함할 수 있다. 여기서, 접속망은 단말과 직접 접속하여 무선 통신을 수행하는 망으로서, 예를 들어, BS(Base Station), BTS(Base Transceiver Station), NodeB, eNodeB 등과 같은 다수의 기지국과, BSC(Base Station Controller), RNC(Radio Network Controller)와 같은 기지국 제어기로 구현될 수 있다. 또한, 전술한 바와 같이, 기지국에 일체로 구현되어 있던 디지털 신호 처리부와 무선 신호 처리부를 각각 디지털 유니트(Digital Unit, 이하 DU라 함과 무선 유니트(Radio Unit, 이하 RU라 함)으로 구분하여, 다수의 영역에 각각 다수의 RU(미도시)를 설치하고, 다수의 RU를 집중화된 DU와 연결하여 구성할 수도 있다. 또한, 접속망과 함께 모바일 망을 구성하는 코어망(미도시)은 접속망과 외부 망, 예컨대, 인터넷망과 같은 다른 통신망을 연결하는 역할을 수행한다.

이러한 코어망은 앞서 설명한 바와 같이, 접속망 간의 이동성 제어 및 스위칭 등의 이동통신 서비스를 위한 주요 기능을 수행하는 네트워크 시스템으로서, 서킷 교환(circuit switching) 또는 패킷 교환(packet switching)을 수행하며, 모바일 망 내에서의 패킷 흐름을 관리 및 제어한다. 또한, 코어망은 주파수간 이동성을 관리하고, 접속망 및 코어망 내의 트래픽 및 다른 네트워크, 예컨대 인터넷망과의 연동을 위한 역할을 수행할 수도 있다. 이러한 코어망은 SGW(Serving GateWay), PGW(PDN GateWay), MSC(Mobile Switching Center), HLR(Home Location Register), MME(Mobile Mobility Entity)와 HSS(Home Subscriber Server) 등을 더 포함하여 구성될 수도 있다.

또한, 본 발명에 따른 네트워크(NW)는 인터넷 망을 포함할 수 있다. 인터넷망은 TCP/IP 프로토콜에 따라서 정보가 교환되는 통상의 공개된 통신망, 즉 공용망을 의미한다. 이러한 네트워크(NW)를 통해서 검색 서버(100) 및 사용자 장치(200)가 상호 연동하여 본 발명에 따른 이미지 검색 시스템을 구성한다.

사용자 장치(200)는 사용자 요청에 따라서, 이미지 파일 형태의 이미지 검색어를 검색 서버(100)로 전송하여 이미지 검색을 요청한다. 이때, 질의된 이미지는 검색 가능한 하나 이상의 아이템을 포함하는 아이템 이미지와, 검색 가능한 아이템을 포함하지 않는 배경 이미지 중 어느 하나가 될 수 있다.

여기서 아이템은, 검색 서버(100)에서 검색 가능한 객체로서, 온라인 쇼핑몰에서 판매하는 상품일 수 있으며, 동물, 식물 등의 자연 혹은 사람이 될 수 도 있다.

그리고, 검색 서버(100)는 이미지 검색 서비스를 수행하는 구성으로서, 이미지 검색을 위한 다수의 이미지 소스를 수집하여 이미지 데이터베이스를 마련한다. 여기서, 이미지 데이터베이스에 저장되는 이미지들은, 배경 없이 아이템만 존재하는 아이템 이미지, 아이템을 포함하지 않은 배경 이미지, 아이템과 배경이 함께 존재하는 이미지들이 될 수 있다.

그리고, 상기 검색 서버(100)는 사용자 장치(200)의 이미지 데이터를 포함하는 이미지 검색 요청을 수신하면, 상기 마련된 이미지 데이터베이스의 이미지들과 검색 요청된 이미지를 비교하여 이미지를 검색한다. 이때, 상기 검색 서버(100)는 검색 요청된 이미지가 아이템 이미지인지 배경 이미지인지를 확인하고, 아이템 이미지인 경우 해당 아이템과 어울리는 배경 이미지를 검색하고, 반대로, 배경 이미지인 경우 해당 배경과 어울리는 아이템 이미지를 검색한다.

참고로, 질의된 이미지 데이터가 아이템 이미지이면서, 둘 이상의 검색 가능한 아이템을 포함하는 경우, 상기 검색 서버(100)는, 이미지 데이터에 포함된 복수의 아이템 중 사용자가 원하는 검색 대상 아이템을 추출할 수 있다. 상기 아이템의 추출은, 사용자 컨텍스트와 카테고리의 상관관계에 의한 예측을 통해서 이루어질 수 있다.

이 경우, 검색 서버(100)는 검색 대상 아이템을 기준으로 상기 기 저장한 이미지 데이터베이스로부터 검색이 요청된 이미지와 어울리는 이미지를 검색한다.

그리고, 상기 검색 서버(100)는 검색 결과를 사용자 장치(200)에 제공하는데, 이때, 질의된 이미지와 검색된 이미지를 합성하여 제공할 수 있다.

이러한, 검색 서버(100)는 네트워크 상에 존재하는 하나의 엔티티(Entity)로, 웹 서버(web server), 데이터베이스 서버(database server) 및 애플리케이션 서버(application server)의 역할을 수행한다. 바람직한 일 실시 예에 따르면, 검색 서버(100)는 검색 엔진을 포함하는 포탈사이트를 지원하는 서버가 될 수 있으며, 또한 다양한 상품을 판매하는 온라인 쇼핑몰 사이트를 지원하는 서버일 수 있다.

또한, 사용자 장치(200)는 이동통신단말기를 대표적인 예로서 설명하지만 단말기는 이동통신단말기에 한정된 것이 아니고, 모든 정보통신기기, 멀티미디어 단말기, 유선 단말기, 고정형 단말기 및 IP(Internet Protocol) 단말기 등의 다양한 단말기에 적용될 수 있다. 일례로, 단말기는 휴대폰, PMP(Portable Multi-media Player), MID(Mobile Internet Device), 스마트폰(Smart Phone), 태블릿 PC, 패블릿 PC 및 정보통신 기기 등과 같은 다양한 이동통신 사양을 갖는 모바일(Mobile) 단말기일 때 유리하게 활용될 수 있다. 다른 예로, 단말기는 노트북, 퍼스널컴퓨터 등이 될 수도 있다.

그러면, 보다 상세히 본 발명에 따른 이미지 검색 서비스를 제공하기 위한 검색 서버(100) 및 사용자 장치(200)의 구성에 대해서 살펴보기로 한다. 먼저, 본 발명의 실시 예에 따른 검색 서버(100)의 구성에 대해서 설명하기로 한다.

도 2는 본 발명의 실시 예에 따른 검색 서버의 구성을 설명하기 위한 블록도이다. 도 2를 참조하면, 검색 서버(100)는 통신모듈(110), 저장모듈(120) 및 제어모듈(130)을 포함한다.

통신모듈(110)은 네트워크(NW) 인터페이스 수단으로서, 네트워크에 접속 후 상기 네트워크를 통한 다른 장치, 특히, 이미지 검색을 요청하는 사용자 장치(200)와의 연결을 위한 것이다. 통신모듈(110)은 네트워크(NW)에 접속하고, 사용자 장치(200)가 상기 네트워크(NW)를 통해서 검색 서버(100)에 접속하면 사용자 장치(200)와 필요한 정보를 포함하는 데이터를 교환하기 위한 통신을 수행한다. 통신 모듈(110)은 제어 모듈(130)로부터 사용자 장치(200)로 전송하기 위한 데이터, 예컨대, 이미지 검색 결과를 전달받으면, 전달받은 데이터를 패킷으로 구성하여 전송한다. 또한, 통신 모듈(110)은 사용자 장치(200)로부터 수신되는 패킷으로부터 데이터, 즉, 이미지 검색 요청을 추출하여 제어모듈(130)로 전달한다. 상기 이미지 검색 요청은 이미지 데이터를 포함한다.

저장 모듈(120)은 검색 서버(100)의 동작에 필요한 프로그램 및 데이터를 저장하는 역할을 수행하며, 프로그램 영역과 데이터 영역으로 구분될 수 있다. 프로그램 영역은 검색 서버(100)의 전반적인 동작을 제어하는 프로그램 및 검색 서버(100)를 부팅시키는 운영체제(OS, Operating System), 이미지 검색을 위한 애플리케이션을 등을 저장할 수 있다. 데이터 영역은 검색 서버(100)의 운영에 따라 발생하는 데이터 및 검색 서버(100)의 운영에 필요한 데이터가 저장되는 영역이다. 예컨대, 저장모듈(120)은 복수의 아이템에 대한 이미지를 저장할 수 있다. 저장모듈(120)에 저장되는 각 종 데이터는 사용자의 조작에 따라, 삭제, 변경, 추가될 수 있다. 특히, 본 발명에 있어서, 상기 저장모듈(120)는 이미지 검색에 이용될 복수의 이미지 소스를 저장한다. 상기 이미지 소스들은, 배경 없이 특정 상품이나 물체 혹은 인물 등과 같은 아이템만 존재하는 아이템 이미지, 아이템 없이 특정 장소, 시간, 상황에 대한 경치, 풍경, 환경에 대한 영상으로 이루어진 배경 이미지, 아이템과 그 배경 이미지가 결합되어 있는 이미지를 포함할 수 있다.

제어 모듈(130)은 검색 서버(100)의 전반적인 동작 및 검색 서버(100)의 내부 블록들 간 신호 흐름을 제어하고, 데이터를 처리하는 데이터 처리 기능을 수행할 수 있다. 이러한 제어모듈(130)은 마이크로프로세서 또는 중앙 처리 장치(Central Processing Unit: CPU)인 것이 바람직하다. 제어 모듈(130)은 이미지 처리 모듈(131), 이미지 검색 모듈(133), 및 이미지 합성 모듈(135)을 포함한다.

상기 이미지 처리 모듈(131)은 이미지 검색을 위한 전처리를 수행한다. 구체적으로, 상기 이미지 처리 모듈(131)은, 상기 통신 모듈(110)을 통해 이미지 검색 요청이 수신되면, 상기 이미지 검색 요청에 포함된 이미지 데이터에 대한 전처리를 수행한다. 이때, 전처리는 노이즈 제거, 윤곽 추출 등과 같은 통상의 영상 전처리 기술을 포함한다. 아울러, 상기 이미지 처리 모듈(131)은 검색 요청에 포함된, 즉, 질의된 이미지 데이터가 아이템 이미지인지 배경 이미지인지를 확인한다. 이는 상기 전처리된 이미지 데이터에 검색 가능한 아이템을 포함하는 지를 확인함에 의해 이루어질 수 있다. 더 구체적으로, 윤곽선 추출을 통해서 독립된 복수의 객체를 추출하고, 추출한 복수의 객체가 검색 가능한 아이템에 해당하는 지를 확인함에 의해 이루어질 수 있다. 예를 들어, 이미지 처리 모듈(131)은 이미지 내에 포함된 객체 중, 온라인 쇼핑몰 사이트에서 판매되는 카테고리의 객체를 검색 가능한 아이템으로 추출할 수 있다.

아울러, 본 발명에 따른 이미지 처리 모듈(131)은, 이미지 데이터 내에 검색 가능한 아이템이 복수 개 존재하는 경우, 이 중에서 하나를 기준이 되는 검색 대상 아이템으로 선택할 수 있다. 구체적으로, 이미지 처리 모듈(131)은 검색 가능한 아이템에 대한 정보를 사용자 장치(200)로 전송 후 사용자로부터 선택 받거나, 사용자의 구매 이력, 검색 결과에 대한 사용자 선택과 같은 사용자 컨텍스트에 기반하여 복수의 아이템 중 하나를 검색 대상 아이템으로 선택할 수 있다.

이와 다르게, 본 발명에 따른 이미지 처리 모듈(131)은 검색 가능한 아이템이 복수 개 존재할 경우, 검색 가능한 복수의 아이템을 묶어 하나의 검색 대상 아이템으로 선택할 수 도 있다.

그리고, 상기 선정된 검색 대상 아이템에 대한 이미지 검색은 이미지 검색 모듈(133)에 의해 이루어진다.

구체적으로, 이미지 검색 모듈(133)은 질의된 이미지 데이터와 저장모듈(120)에 저장된 다수의 이미지를 비교하여 이미지 데이터검색을 수행하고, 검색 결과를 사용자 장치(200)로 제공한다. 구체적으로, 이미지 검색 모듈(133)은 질의된 이미지 데이터와 어울리는 다른 이미지를 검색하는 것으로서, 예를 들어, 상기 질의된 이미지 데이터가 아이템 이미지인 경우, 상기 아이템에 어울리는 배경 이미지를 검색하고, 상기 질의된 이미지 데이터가 배경 이미지인 경우, 그 배경에 어울리는 아이템 이미지를 검색한다. 이를 위하여, 상기 이미지 검색 모듈(133)은 아이템 이미지 별로 어울리는 배경 이미지 및 어울리는 않는 배경 이미지를 수집하고, 또한, 배경 이미지 별로 어울리는 다수의 아이템 이미지 혹은 어울리지 않는 아이템 이미지를 수집하여 학습 데이터를 마련하고, 마련된 학습 데이터를 기반으로 딥러닝과 같은 알고리즘에 대한 학습을 수행하여, 아이템 이미지와 배경 이미지 간의 연관성 점수를 산출할 수 있도록 구축한 후, 이를 통해 질의된 이미지 데이터와 저장 모듈(120)에 저장된 다수의 이미지 소스들간의 연관성 점수를 산출하여, 연관성 점수가 높은 이미지들을 검색하도록 할 수 있다. 검색 서버(100)는 상기 이미지 검색 모듈(133)에서 검색된 배경 이미지 또는 아이템 이미지들을 그대로 사용자 장치(200)에 제공하거나, 이들을 가공하여 제공할 수 있다.

이미지 합성 모듈(135)은 검색 결과의 가공을 위한 구성으로서, 상기 이미지 검색 모듈(133)에서 검색된 이미지와 질의된 이미지를 합성한다. 이를 위하여, 이미지 합성 모듈(134)은 두 이미지 중, 아이템 이미지로부터 검색 대상 아이템의 윤곽선을 검출하여, 해당 아이템을 추출하고, 추출한 아이템을 배경 이미지의 소정 위치에 배치하여 합성한다.

이러한 이미지 처리 모듈(131), 이미지 검색 모듈(133), 및 이미지 합성 모듈(135)을 포함하는 제어모듈(130)의 동작은 아래에서 더 상세하게 설명될 것이다.

다음으로, 본 발명의 실시 예에 따른 사용자 장치(200)에 대해서 설명한다. 도 3은 본 발명의 실시 예에 따른 사용자 장치의 구성을 설명하기 위한 블록도이다. 도 3을 참조하면, 본 발명의 실시 예에 따른 사용자 장치(200)는 통신부(210), 입력부(220), 표시부(230), 저장부(240), 제어부(250) 및 카메라부(260)를 포함한다.

통신부(210)는 검색 서버(100)를 비롯한 다른 장치와 통신을 위한 것으로, 다양한 통신 연결 방식을 통해 통신을 수행한다. 이러한 통신부(210)는 다양한 통신 연결 방식의 통신 기능 중 어느 하나를 선택하여 통신할 수 있다. 이러한 통신부(210)는 하나의 모듈 혹은 복수의 모듈로 구현될 수도 있다. 예컨대, 통신부(210)는 WCDMA, LTE, LTE-A 등의 표준에 따라 기지국을 통해 네트워크에 접속하는 광대역이동통신 방식, Wi-Fi(wireless fidelity)를 이용하는 WLAN(Wireless Local Area Network) 방식에 따라 접속포인트(AP: Access Point)를 통해 네트워크에 접속하여 통신을 수행하는 무선근거리통신 방식 등을 이용할 수 있다. 통신부(210)는 송신되는 신호의 주파수를 상승 변환 및 증폭하는 RF송신기와, 수신되는 신호를 저 잡음 증폭하고 주파수를 하강 변환하는 RF수신기 등으로 구성될 수 있다. 제어부(250)로부터 전달 받은 데이터, 예컨대, 이미지 데이터를 포함하는 이미지 검색 요청을 무선 신호로 변환하여 무선 채널을 통해 전송할 수 있다. 또한, 통신부(210)는 무선 채널을 통해 데이터, 예컨대, 이미지 검색 결과를 포함하는 무선 신호를 수신하여 제어부(250)로 전달할 수 있다.

입력부(220)는 사용자 장치(200)를 제어하기 위한 사용자의 키 조작을 입력 받고 입력 신호를 생성하여 제어부(250)로 전달한다. 입력부(220)는 전원 on/off를 위한 전원 키, 숫자 키, 방향키 중 어느 하나를 포함할 수 있으며, 사용자 장치(200)의 일면에 소정의 기능키로 형성될 수 있다. 표시부(230)가 터치스크린으로 이루어진 경우, 입력부(220)의 각 종 키들의 기능이 표시부(230)에서 이루어질 수 있으며, 터치스크린만으로 모든 기능을 수행할 수 있는 경우, 입력부(220)는 생략될 수도 있다.

표시부(230)는 사용자 장치(200)의 메뉴, 입력된 데이터, 기능 설정 정보 및 기타 다양한 정보를 사용자에게 시각적으로 제공한다. 표시부(230)는 사용자 장치(200)의 부팅 화면, 대기 화면, 메뉴 화면 등의 각종 UI(User Interface) 화면을 출력하는 기능을 수행한다. 이러한 표시부(230)는 액정표시장치(LCD, Liquid Crystal Display), 유기 발광 다이오드(OLED, Organic Light Emitting Diodes), 능동형 유기 발광 다이오드(AMOLED, Active Matrix Organic Light Emitting Diodes) 등으로 형성될 수 있다. 한편, 표시부(230)는 터치스크린으로 구현될 수 있다. 이러한 경우, 표시부(230)는 터치센서를 포함하며, 제어부(250)는 터치센서를 통해 사용자의 터치 입력을 감지할 수 있다. 터치센서는 정전용량 방식(capacitive overlay), 압력식, 저항막 방식(resistive overlay), 적외선 감지 방식(infrared beam) 등의 터치 감지 센서로 구성되거나, 압력 감지 센서(pressure sensor)로 구성될 수도 있다. 상기 센서들 이외에도 물체의 접촉 또는 압력을 감지할 수 있는 모든 종류의 센서 기기가 본 발명의 터치센서로 이용될 수 있다. 터치센서는 사용자의 터치 입력을 감지하고, 감지 신호를 발생시켜 제어부(250)로 전송한다. 이러한 감지 신호에는 사용자가 터치를 입력한 좌표 데이터가 포함될 수 있다. 사용자가 터치 위치 이동 동작을 입력한 경우에 터치센서는 터치 위치 이동 경로의 좌표 데이터를 포함한 감지 신호를 발생시켜 제어부(250)로 전송할 수 있다.

저장부(240)는 사용자 장치(200)의 동작에 필요한 프로그램 및 데이터를 저장하는 역할을 수행하며, 프로그램 영역과 데이터 영역으로 구분될 수 있다. 프로그램 영역은 사용자 장치(200)의 전반적인 동작을 제어하는 프로그램 및 사용자 장치(200)를 부팅시키는 운영체제(OS, Operating System), 응용 프로그램 등을 저장할 수 있다. 데이터 영역은 사용자 장치(200)의 사용에 따라 발생하는 데이터가 저장되는 영역이다. 또한, 저장부(240)는 사용자 장치(200)의 동작에 따라 발생되는 각 종 데이터 등을 저장할 수 있다. 제어부(250)는 사용자 장치(200)의 전반적인 동작 및 사용자 장치(200)의 내부 블록들 간 신호 흐름을 제어하고, 데이터를 처리하는 데이터 처리 기능을 수행할 수 있다. 이러한 제어부(250)는 중앙 처리 장치(Central Processing Unit: CPU), 애플리케이션 프로세서(Application Processor), 그래픽 프로세서(GPU: graphic processing unit) 등이 될 수 있다. 제어부(250)는 이미지 검색어, 예컨대, 이미지 데이터가 입력되면, 입력된 이미지 데이터를 통신부(210)를 통해 검색 서버(100)로 전송하며, 검색 서버(100)로부터 검색 결과가 수신되면, 수신된 검색 결과를 표시부(130)를 통해 표시할 수 있다.

아울러, 상기 카메라부(260)는 영상을 촬영하는 수단으로서, 이를 통해서 상기 질의를 위한 이미지 데이터가 획득될 수가 있다. 예를 들어, 사용자가 카메라부(260)를 통해 사용자 영상을 촬영하고, 촬영한 사용자 영상에 대한 이미지 검색을 요청할 수 있다. 이 경우, 검색 서버(100)는 사용자가 착용한 의류를 검색 대상 아이템으로 선정하여, 상기 의류와 어울리는 장소, 시간, 상황과 관련된 배경 이미지를 검색하여 제공할 수 있다.

도 4는 본 발명의 일 실시 예에 따른 이미지 검색 시스템에서 이루어지는 이미지 검색 과정을 개략적으로 나타낸 흐름도이다.

도 4를 참조하면, 사용자가 사용자 장치(200)의 입력부(220)를 통해서 이미지 검색에 사용할 질의할 이미지 데이터를 선택하고 이미지 검색을 요청하면(S105), 사용자 장치(200)는 상기 질의 이미지에 해당하는 이미지 데이터를 포함하는 이미지 검색 요청을 통신부(210)를 통해 검색 서버(100)로 전송한다(S110). 더 구체적으로, 사용자 장치(200)는 사용자 요청에 따라서, 아이템 이미지에 대응하는 배경 이미지 검색을 요청하거나, 배경 이미지에 대응하는 아이템 이미지의 검색을 요청할 수 있다. 이를 위하여, 검색 서버(100)는 아이템 이미지에 대응하는 배경 이미지 검색을 요청하거나, 배경 이미지에 대응하는 아이템 이미지의 검색을 요청하기 위한 UI 화면을 사용자 장치(200)로 제공하고, 사용자 장치(200)는 상기 UI를 통한 사용자의 요청에 따라서 아이템 이미지에 대응하는 배경 이미지 검색 요청 또는 배경 이미지에 대응하는 아이템 이미지 검색 요청을 전송한다.

검색 서버(100)의 제어모듈(130)은 통신모듈(110)을 통해 임의의 사용자 장치(200)로부터 상술한 이미지 검색 요청을 수신하면, 상기 이미지 데이터와 저장모듈(120)에 저장된 다수의 이미지들을 비교하여 이미지 검색을 수행한다(S115). 특히, 검색 서버(100)는 검색 요청된 이미지가 아이템 이미지인지 혹은 배경 이미지인지를 확인하고, 아이템 이미지인 경우 해당 아이템과 어울리는 배경 이미지를 검색하고, 배경 이미지인 경우 해당 배경에 어울리는 아이템 이미지를 검색한다. 여기서, 이미지 검색은, 딥러닝과 같은 학습알고리즘을 통해서 이루어질 수 있는 것으로, 검색된 이미지는 질의된 이미지와 시간(Time), 장소(Place), 상황(Occasion) 중 어느 하나에 매칭되는 이미지이다.

이때, 질의된 아이템 이미지가 둘 이상의 검색 가능한 아이템을 포함하는 경우, 그 중에서 하나의 검색 대상 아이템을 선택하거나, 둘 이상의 검색 가능한 아이템을 묶어 하나의 검색 대상 아이템을 선정한 후, 검색 대상 아이템을 기준으로 이미지 검색을 수행할 수 있다.

상기 검색 대상 아이템은 이미지에 포함된 복수의 객체 중 검색 가능한 아이템을 추출될 수 있다. 상기 검색 서버(100)는 복수의 아이템 중 하나를 검색 대상 아이템으로 선택할 수 있다. 상기 선택은 사용자 입력에 따라서 이루어질 수 도 있고, 사용자 컨텍스트에 따라 사용자가 검색을 의도하는 카테고리를 예측하고, 상기 예측된 카테고리에 기반하여 이루어질 수 도 있다.

검색 서버(100)는 사용자의 검색 이력과 같은 사용자 컨텍스트를 추출한 후, 검색된 이미지의 카테고리 및 추출된 사용자 컨텍스트를 1세트의 훈련 데이터로 하여 저장모듈(120)에 누적하여 저장하고, 사용자가 관심을 가졌던 아이템의 카테고리와 검색 수행 시점에 사용자가 의도한 아이템의 카테고리의 관계에 대해서 분석하고, 상기 상관관계를 기반으로 검색 대상 아이템을 선택할 수 있다.

또한, 검색 서버(100)는 이미지 검색 요청에 대응하는 검색된 하나 이상의 이미지를 포함하는 검색 결과를 사용자 장치(200)로 제공하며(S120), 검색 결과를 수신한 사용자 장치(200)의 제어부(250)는 표시부(230)를 통해 검색 결과를 표시한다(S125). 이때, 검색 결과로 제공되는 이미지는, 질의된 이미지와 검색된 이미지가 합성된 합성 이미지일수 있다.

도 5 및 도 6은 본 발명에 따른 이미지 검색 과정을 실시 예 별로 더 구체적으로 나타낸 흐름도이다.

도 5를 참조하면, 본 발명의 일 실시 예에서, 사용자 장치(200)는 검색 가능한 아이템을 포함하지 않고, 특정 시간, 장소 및 상황 중 어느 하나에 해당하는 경치, 풍경, 또는 환경이 도시된 배경 아미지 데이터를 검색 서버(100)로 전송하여 검색을 요청할 수 있다. 이때, 검색 요청은, 상기 배경 이미지의 시간, 장소 및 상황 중 어느 하나에 매칭될 수 있는 아이템 이미지의 검색 요청이 된다.

이 경우, 본 발명의 일 실시 예에 따른 검색 서버(100)는, 사용자 장치(200)로부터 배경 이미지 데이터가 수신되면(S205), 상기 배경 이미지 데이터를 분석하여, 배경 이미지와 관련된 시간, 장소, 및 상황 중 어느 하나에 대한 정보(TPO(Time, Place, Occasion) 정보)를 추출한다(S210). 예를 들어, 산책로와 다수의 나무가 있고 산책로에 사람들이 지나다니는 배경 이미지에 대해서, 검색 서버(100)는 야외 공원이라는 장소 정보를 추출할 수 있으며, 큰 회의용 책상과 다수의 의자들이 이루어진 공간에 대해서 검색 서버(100)는 회의실이라는 장소 정보를 추출할 수 있다. 이러한 TPO 정보의 추출에 딥러닝과 같은 학습 알고리즘을 이용할 수 있다. 이를 위해서, 해당 학습 알고리즘은 장소, 시간, 상황 정보 별로 각각에 해당하는 다수의 배경 이미지를 수집하고, 수집한 이미지를 입력이미지로 그에 맞는 장소, 시간, 상황 정보를 출력 값으로 하여 학습을 수행할 수 있으며, 이렇게 학습된 알고리즘을 통해서 사용자 장치(200)가 전송한 배경 이미지 데이터에 대한 TPO 정보를 추출할 수 있다.

그리고, 상기 검색 서버(100)는 상기 추출한 TPO 정보에 맞는 아이템 이미지를 검색한다(S215). 이를 위하여, 상기 검색 서버(100)는 앞서와 마찬가지로, 시간, 장소 및 상황 별 적절한 아이템 이미지를 수집하고, 상기 시간, 장소, 상황 정보를 입력 데이터로 수집한 각각의 아이템 이미지를 출력 데이터로 하여 학습을 수행하고, 학습된 알고리즘에, 상기 S210 단계에서 추출한 TPO 정보(시간, 장소, 상황 정보)를 입력하여 해당 시간, 장소 및 상황에 적합한 아이템을 추출할 수 있다. 예를 들어, 회의 중이라는 상황과 관련하여, 의류 중 정장 관련 이미지를 검색할 수 있다.

이때, 단순히 정장 이미지로 검색할 경우, 검색 결과가 너무 많아질 수 있다. 이에, 본 발명은, 상기 배경 이미지 데이터를 전송 시, 검색할 아이템을 특정할 수 있는 정보, 예를 들어, 치마나 바지 등과 같이 아이템의 종류, 아이템의 색깔, 여성용인지 남성용인지 여부 등에 대한 정보를 더 수신하고, 이를 통해 검색 범위를 한정할 수 있다.

상기를 통해서 수신한 배경 이미지 데이터의 시간, 장소, 상황에 적합한 아이템이 검색되면, 검색 서버(100)는 검색된 아이템 이미지와 배경 이미지를 합성한다(S220). 여기서, 합성은, 아이템 이미지에서, 해당 아이템의 윤곽선을 따라서 아이템 영역만을 추출한 후, 추출한 아이템 영역을 배경 이미지의 소정 부분에 오버레이하는 형태로 이루어질 수 있다. 이때, 해당 배경 이미지에 맞추어 상기 아이템 이미지는 가공될 수 있으며, 또한, 배경 이미지의 원근감에 맞추어 아이템 영역의 투명도를 부위별로 달리함으로써, 배경 이미지와 아이템 이미지를 보다 자연스럽게 합성할 수 있다.

그리고 상기 검색 서버(100)는 검색 요청에 대한 응답으로, 상기 합성 이미지를 사용자 장치(200)로 전송한다(S225).

이러한 본 발명의 일 실시 예는, 사용자가 온라인 쇼핑몰 서버에서 특정 상품을 검색하여 구매하고자 할 때, 특정 장소, 상황, 시간에 어울리는 상품을 검색하는데 이용될 수 있다.

반면, 도 5를 참조하면, 본 발명의 다른 실시 예에서, 사용자 장치(200)는 하나 이상의 검색 가능한 아이템을 포함하는 아이템 이미지 데이터를 검색 서버(100)로 전송하여, 검색을 요청할 수 있다(S305).

이 경우, 본 발명의 다른 실시 예에 따른 검색 서버(100)는, 사용자 장치(200)로부터 검색 요청과 함께 아이템 이미지 데이터가 수신되면, 상기 아이템 이미지 데이터를 분석하여, 아이템 이미지와 관련된 특징 정보, 더 구체적으로는, 매칭되는 시간, 장소, 및 상황 중 어느 하나에 대한 정보(TPO 정보)를 추출한다(S310).

예를 들어, 아이템 이미지가, 의류에 대한 아이템인 경우, 해당 의류의 특징 정보를 분석하고, 상기 특징 정보를 해당 아이템이 특정 장소, 시간, 상황 별 드레스 코드와 비교함으로써, 상기 아이템 이미지와 연관된 시간, 장소, 상황에 대한 정보(TPO 정보)를 추출할 수 있다. 또 다른 예로서, 해당 아이템이 전자기기인 경우, 해당 전자기기의 기능에 기반하여 해당 전자기기가 사용되는 장소, 주 사용자의 연령대, 주 사용자들의 주 활동 장소나 상황에 대한 정보를 추출할 수 있다. 참고로, 스마트폰과 같은 아이템의 경우 거의 모든 연령대의 사용자들이 사용하며, 항상 소지하는 것으로서 모든 시간대나 모든 상황에서 사용 가능한 아이템이다. 이 경우, 해당 아이템의 가격, 기능, 디자인, 마케팅 정보 등을 더 고려하여, 주 사용자 그룹을 특정하고, 주 사용자 그룹의 보편적 활동을 기반으로 장소 및 상황 중 어느 하나에 대한 정보를 특정할 수 있다. 예를 들어, 가격이 높고 기능이 많은 스마트폰의 경우, 주 사용자는 경제력이 있는 젊은 층으로서 대략 30~40의 청장년층이 되며, 이들의 주 활동은 비즈니스 업무가 될 수 있다. 이 경우, 검색 서버(100)는 해당 아이템에 대한 TPO 정보로서, 비즈니스와 관련된 상황(예를 들어, 회의, 출장, 업무 중)이나 장소(회의실, 사무실, 공항) 정보를 추출할 수 있다. 반면에, 특정 디자인의 경우, 젊은 여성층이 주 사용자가 될 수 있으며, 이 경우, TPO 정보로서, 젊은 여성층들이 많이 모이는 까페, 영화관, 대학교 캠퍼스 등이 추출될 수 있고, 저렴하고 기능이 단순한 스마트폰의 경우 주 사용자는 은퇴한 노인층이 되며, 그에 대응하는 TPO 정보로서, 집안, 노인회관, 체육공원 등이 TPO 정보로 추출될 수 있다. 아이템의 경우, 동일 품목의 아이템이라도, 제조사, 기능, 가격, 디자인 등 여러 요소에 따라서 연관된 TPO 정보가 달라질 수 있다. 이에, 본 발명에 따른 검색 서버(100)는 검색 대상 아이템을, 제조사, 기능, 가격, 디자인에 따른 주 사용자층으로 분류한 후, 주 사용자층의 성향이나 활동 정보에 기반하여 TPO 정보를 설정한 테이블을 구축하고, 이를 기반으로 상기 TPO 정보를 추출할 수 있다. 또 다른 방안으로, 상기 TPO 정보의 추출에 딥러닝과 같은 학습 알고리즘을 사용할 수 도 있다. 즉, 장소, 시간, 상황 정보 별로 각각에 해당하는 다수의 아이템 이미지를 수집하여 분류하고, 수집한 아이템 이미지를 입력이미지로 그에 맞는 장소, 시간, 상황 정보를 출력 값으로 하여 학습을 수행할 수 있으며, 이렇게 학습된 알고리즘을 통해서 사용자 장치(200)가 전송한 아이템 이미지 데이터에 대한 TPO 정보를 추출할 수 있다.

이어서, 상기 검색 서버(100)는 상기 추출한 TPO 정보에 맞는 배경 이미지를 검색한다(S315). 이를 위하여, 상기 검색 서버(100)는 앞서와 마찬가지로, 시간, 장소 및 상황에 대응하는 배경 이미지를 수집하고, 상기 시간, 장소, 상황 정보를 입력 데이터로 수집한 각각의 배경 이미지를 출력 데이터로 하여 학습을 수행하고, 학습된 알고리즘에, 상기 S310 단계에서 추출한 TPO 정보(시간, 장소, 상황 정보)를 입력하여 해당 시간, 장소 및 상황에 대응하는 배경 이미지를 검색할 수 있다.

상기를 통해서 수신한 아이템 이미지 데이터에 적합한 시간, 장소, 상황에 대응하는 배경 이미지가 검색되면, 검색 서버(100)는 검색된 배경 이미지와 질의된 아이템 이미지를 합성한다(S320). 여기서, 합성은, 아이템 이미지에서, 해당 아이템의 윤곽선을 따라서 아이템 영역만을 추출한 후, 추출한 아이템 영역을 배경 이미지의 소정 부분에 오버레이하는 형태로 이루어질 수 있다. 이때, 해당 배경 이미지에 맞추어 상기 아이템 이미지는 가공될 수 있다.

그리고 상기 검색 서버(100)는 검색 요청에 대한 응답으로, 상기 합성 이미지를 사용자 장치(200)로 전송한다(S325).

이러한 본 발명의 다른 실시 예는, 판매자가 온라인 쇼핑몰 서버에서 특정 상품을 등록하여 판매하고자 할 때, 해당 상품 이미지에 가장 적합한 배경 이미지를 결합하여, 해당 상품을 설명할 수 있는 최적의 대표 이미지를 생성하는데 이용될 수 있다. 이렇게 생성된 합성 이미지는, 온라인 쇼핑몰의 상품 페이지 혹은 상품 리스트 페이지에 등록되어 해당 상품을 시각적으로 표현하는데 이용될 수 있다.

도 7은 본 발명에 따른 이미지 검색 방법을 도시한 순서도이다.

도 7을 참조하여, 검색 서버(100)에 의해 수행되는 도 5 및 도 6의 실시 예를 모두 포함하는 이미지 검색 방법을 설명한다.

도 7을 참조하면, 본 발명에 따른 검색 서버(100)는, 사용자 장치(200)로부터 검색 요청과 함께 아이템 이미지 데이터 혹은 배경 이미지 데이터를 수신한다(S405).

이렇게 검색 요청과 함께 아이템 또는 배경에 대응하는 이미지 데이터가 수신되면, 검색 서버(100)는 수신한 이미지 데이터를 분석하여, 수신한 이미지 데이터를 분석하여 해당 이미지 데이터와 연관된 시간, 장소, 상황에 대한 정보(TPO 정보)를 추출한다(S410).

이어서, 상기 검색 서버(100)는 상기 추출한 TPO 정보에 적절한 이미지 데이터를 검색한다(S415). 여기서, 수신된 이미지 데이터가 아이템 이미지 데이터이면, 배경 이미지 데이터를 검색하고, 반대로 수신된 이미지 데이터가 배경 이미지 데이터이면 아이템 이미지 데이터를 검색한다. 이때, 구체적인 검색 방법은 앞서 도 5 및 도 6의 실시 예에 설명한 바와 같다.

상기를 통해서 수신한 이미지 데이터에 적합한 시간, 장소, 상황에 대응하는 상대 이미지 데이터(배경 이미지 또는 아이템 이미지)가 검색되면, 검색 서버(100)는 검색된 이미지와 질의된 이미지를 합성한다(S420).

여기서, 합성은, 아이템 이미지에서, 해당 아이템의 윤곽선을 따라서 아이템 영역만을 추출한 후, 추출한 아이템 영역을 배경 이미지의 소정 부분에 오버레이하는 형태로 이루어질 수 있다. 이때, 해당 배경 이미지에 맞추어 상기 아이템 이미지는 가공될 수 있다.

그리고 상기 검색 서버(100)는 검색 요청에 대한 응답으로, 상기 합성 이미지를 사용자 장치(200)로 전송한다(S425).

도 8 및 도 9은 본 발명의 실시 예에 따른 이미지 검색 예를 나타낸 예시도이다.

도 8은 검색 요청과 함께, 검색 가능한 아이템이 없는 배경 이미지 데이터가 수신된 경우로서, 배경 이미지 데이터로서, 회의실 이미지가 수신되고, 아울러, 남성 의류라는 추가 정보가 함께 전송된 것으로서 가정한다. 이 경우, 상기 회의실에 어울리는 남성 의류로서, 남성 정장의 이미지가 검색될 수 있다.

본 발명은, 상기 수신된 배경 이미지와 상기 검색된 남성 정장 이미지를 합성하여, 도 8의 우측과 같이, 정장을 입은 남성이 회의실에 있는 이미지를 생성한다. 온라인 쇼핑몰을 이용하는 구매자(사용자)는 자신이 검색하고자 하는 남성 의류와 관련된 배경 이미지를 포함하여 검색을 요청함으로써, 비즈니스 업무, 회의나 발표에 어울리는 남성 의류 상품을 검색할 수 있으며, 더하여 검색한 남성 의류를 배경 이미지와 결합한 합성 이미지를 제공받음으로써, 해당 상품이 자신이 지정한 상황이나 장소에 어느 정도 어울리는 지를 직관적으로 확인할 수 있다.

반대로, 사용자가 도 8에 도시된 남성 정장 이미지를 전송하여 검색을 요청한 경우, 검색 서버(100)는 상기 남성 정장에 어울리는 배경 이미지로서 우측의 회의실 이미지를 검색하여, 정장을 입은 남성이 회의실에 있는 이미지를 제공받을 수 있다. 이를 통해, 온라인 쇼핑몰의 판매 사용자는 자신이 판매하는 아이템에 어울리는 배경을 갖는 대표 이미지를 생성할 수 있게 된다.

반면, 도 9를 참조하면, 사용자가 맨 좌측과 같은 공원 이미지를 전송하여 검색을 요청할 경우, 검색 서버(100)는 중간에 도시된 트레이닝 복을 입은 사람의 이미지를 검색하고, 상기 공원 이미지와 검색된 트레이닝 복을 입은 사람의 이미지를 합성하여, 공원에서 운동하는 사람을 나타내는 이미지를 생성할 수 있다.

반면, 사용자가 중간에 도시된 트레이닝 복을 입은 사람의 이미지를 전송하여 검색을 요청할 경우, 검색 서버(100)는 이에 적절한 배경 이미지로서 맨 좌측의 공원 이미지를 검색한 후, 상기 공원 이미지와 트레이닝 복을 입은 사람의 이미지를 합성하여, 공원에서 운동하는 사람을 나타내는 이미지를 생성할 수 있다. 이때, 상기 검색 결과에는 상기 공원 이미지 이외에 운동장 이미지 혹은 실내 체육관 이미지 등이 더 검색될 수 있다. 이렇게 복수의 이미지가 검색된 경우, 각각의 이미지와 상기 트레이닝 복을 입은 사람이 검색된 합성 이미지가 생성되어, 사용자가 이들 합성 이미지를 비교해볼 수 있다.

이상에서 설명한 바와 같이, 본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.

마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징될 수 있다는 점을 이해하여야 한다.

본 명세서에서 설명한 주제의 특정한 실시형태를 설명하였다. 기타의 실시형태들은 이하의 청구항의 범위 내에 속한다. 예컨대, 청구항에서 인용된 동작들은 상이한 순서로 수행되면서도 여전히 바람직한 결과를 성취할 수 있다. 일 예로서, 첨부도면에 도시한 프로세스는 바람직한 결과를 얻기 위하여 반드시 그 특정한 도시된 순서나 순차적인 순서를 요구하지 않는다. 특정한 구현예에서, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다.

본 기술한 설명은 본 발명의 최상의 모드를 제시하고 있으며, 본 발명을 설명하기 위하여, 그리고 당업자가 본 발명을 제작 및 이용할 수 있도록 하기 위한 예를 제공하고 있다. 이렇게 작성된 명세서는 그 제시된 구체적인 용어에 본 발명을 제한하는 것이 아니다. 따라서, 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 당업자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다.

따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위에 의해 정하여져야 한다.

본 발명은 사용자 장치로부터 이미지 검색이 요청되면, 질의된 이미지와 유사한 이미지를 검색하는 것이 아니라, 질의된 이미지와 어울리는 이미지를 검색하여 제공하는 것으로서, 구체적으로, 질의된 이미지가 상품 이미지인 경우, 상기 아이템과 어울리는 배경 이미지를 검색하여 제공할 수 있으며, 질의된 이미지가 배경 이미지인 경우 반대로 상기 배경 이미지에 어울리는 상품 이미지를 검색하여 제공함으로써, 전자상거래를 통해 물품을 구매하는 사용자뿐만 아니라 판매자의 편의를 향상시킬 수 있다.

특히, 본 발명은 질의된 이미지와 검색된 이미지를 합성하여 제공함으로써, 사용자 혹은 판매자가 이를 스타일링이나 마케팅 등에 적절히 활용할 수 있도록 지원할 수 있다.

100: 검색 서버 110: 통신모듈
120: 저장모듈 130: 제어모듈
131: 이미지 처리 모듈 133: 이미지 검색 모듈
135: 이미지 합성 모듈 200: 사용자 장치
210: 통신부 220: 입력부
230: 표시부 240: 저장부
250: 제어부 260: 카메라부

Claims (10)

1. 검색 서버가,
   사용자 장치로부터 검색 요청과 함께 이미지 데이터를 수신하는 단계;
   상기 수신한 이미지 데이터를 분석하여, 상기 수신한 이미지 데이터와 연관된 시간, 장소, 상황 중 어느 하나에 대한 정보를 추출하는 단계;
   상기 추출한 시간, 장소, 상황 중 어느 하나에 대한 정보에 기반하여 상기 수신한 이미지 데이터와 결합할 수 있는 상대 이미지 데이터를 검색하는 단계;
   상기 수신한 이미지 데이터와 상기 상대 이미지 데이터를 합성하는 단계; 및
   합성된 이미지를 상기 사용자 장치로 제공하는 단계를 포함하는 이미지 검색 방법.
2. 제1항에 있어서, 상기 검색하는 단계는,
   상기 수신한 이미지 데이터가 검색 가능한 아이템을 포함하는 아이템 이미지 데이터인 경우, 상기 아이템과 어울리는 배경 이미지를 검색하고,
   상기 수신한 이미지 데이터가 검색 가능한 아이템을 포함하지 않는 배경 이미지 데이터인 경우, 해당 배경에 어울리는 아이템을 포함하는 아이템 이미지 데이터를 검색하는 것을 특징으로 하는 이미지 검색 방법.
3. 제2항에 있어서,
   상기 검색하는 단계 이전에, 상기 수신한 이미지 데이터가 검색 가능한 아이템을 포함하는 아이템 이미지 데이터, 검색 가능한 아이템을 포함하지 않는 배경 이미지 데이터 중 어디에 해당하는 지를 확인하는 단계를 더 포함하는 것을 특징으로 하는 이미지 검색 방법.
4. 제1항에 있어서,
   상기 수신한 이미지 데이터가 배경 이미지 데이터인 경우,
   상기 수신하는 단계에서 이미지 데이터와 함께 검색하고자 하는 아이템을 특정하기 위한 정보를 더 수신하고,
   상기 검색하는 단계에서, 상기 수신한 정보를 기반으로 검색 범위를 특정하여 검색을 수행하는 것을 특징으로 하는 이미지 검색 방법.
5. 제2항에 있어서, 상기 합성하는 단계는
   상기 아이템 이미지 데이터로부터 아이템의 윤곽선을 따라서 아이템 이미지를 추출한 후, 추출한 아이템 이미지를 배경 이미지와 오버레이하는 것을 특징으로 하는 이미지 검색 방법.
6. 제5항에 있어서, 상기 합성하는 단계는
   상기 배경 이미지와 오버레이된 아이템 이미지의 부분별로 배경 이미지의 원근감에 따라서 투명도를 달리하는 것을 특징으로 하는 이미지 검색 방법.
7. 네트워크를 통해서 사용자 장치와 연결하여 데이터를 송수신하는 통신 모듈;
   검색이 이용될 다수의 이미지 데이터를 저장하는 저장 모듈;
   상기 통신 모듈을 통해 상기 사용자 장치로부터 검색 요청과 함께 이미지 데이터를 수신하면, 상기 수신한 이미지 데이터를 분석하여, 상기 수신한 이미지 데이터와 연관된 시간, 장소, 상황 중 어느 하나에 대한 정보를 추출하여, 상기 추출한 시간, 장소, 상황 중 어느 하나에 대한 정보에 기반하여 상기 수신한 이미지 데이터와 결합할 수 있는 상대 이미지 데이터를 검색하는 이미지 검색 모듈; 및
   상기 수신한 이미지 데이터와 상기 검색된 상대 이미지 데이터를 합성하여, 합성된 이미지를 상기 사용자 장치로 제공하는 이미지 합성 모듈을 포함하는 검색 서버.
8. 제7항에 있어서, 상기 이미지 검색 모듈은,
   상기 수신한 이미지 데이터가 검색 가능한 아이템을 포함하는 아이템 이미지 데이터인 경우, 상기 아이템과 어울리는 배경 이미지를 검색하고,
   상기 수신한 이미지 데이터가 검색 가능한 아이템을 포함하지 않는 배경 이미지 데이터인 경우, 해당 배경에 어울리는 아이템을 포함하는 아이템 이미지 데이터를 검색하는 것을 특징으로 하는 검색 서버.
9. 제8항에 있어서,
   상기 수신한 이미지 데이터가 검색 가능한 아이템을 포함하는 아이템 이미지 데이터, 검색 가능한 아이템을 포함하지 않는 배경 이미지 데이터 중 어디에 해당하는 지를 확인하는 이미지 처리 모듈을 더 포함하는 것을 특징으로 하는 검색 서버.
10. 제9항에 있어서, 상기 이미지 검색 모듈은
    상기 수신한 이미지 데이터가 배경 이미지 데이터인 경우,
    상기 수신한 이미지 데이터와 함께 검색하고자 하는 아이템을 특정하기 위한 정보를 더 수신하고, 상기 수신한 정보를 기반으로 검색 범위를 특정하여 검색을 수행하는 것을 특징으로 하는 검색 서버.

Images