KR102531009B1 - 가이드라인 기반 촬영 이미지를 이용한 이미지 검색 방법 및 이를 위한 장치 - Google Patents

가이드라인 기반 촬영 이미지를 이용한 이미지 검색 방법 및 이를 위한 장치 Download PDF

Info

Publication number
KR102531009B1
KR102531009B1 KR1020180078256A KR20180078256A KR102531009B1 KR 102531009 B1 KR102531009 B1 KR 102531009B1 KR 1020180078256 A KR1020180078256 A KR 1020180078256A KR 20180078256 A KR20180078256 A KR 20180078256A KR 102531009 B1 KR102531009 B1 KR 102531009B1
Authority
KR
South Korea
Prior art keywords
image
unit
distance
search
product
Prior art date
Application number
KR1020180078256A
Other languages
English (en)
Other versions
KR20200005060A (ko
Inventor
김기현
김하윤
Original Assignee
십일번가 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 십일번가 주식회사 filed Critical 십일번가 주식회사
Priority to KR1020180078256A priority Critical patent/KR102531009B1/ko
Publication of KR20200005060A publication Critical patent/KR20200005060A/ko
Application granted granted Critical
Publication of KR102531009B1 publication Critical patent/KR102531009B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0623—Item investigation
    • G06Q30/0625—Directed, with specific intent or strategy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/725—Cordless telephones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Abstract

본 발명은 가이드라인 기반 촬영 이미지를 이용한 이미지 검색 방법 및 이를 위한 장치에 관한 것이다. 이러한 본 발명은 촬영부가 사용자가 검색하고자 하는 상품에 대한 촬영 구도를 안내하는 촬영구도정보를 획득하는 단계와, 상기 촬영부가 상기 촬영구도정보에 따라 가이드라인을 화면으로 표시하는 단계와, 상기 촬영부가 상기 가이드라인에 맞춰 상품을 촬영하는 단계와, 검색부가 상기 촬영된 상품의 이미지를 이미지 검색어로 생성하는 단계와, 상기 검색부가 상기 이미지 검색어를 포함하는 이미지 검색 요청을 검색서버로 전송하는 단계를 포함하는 것을 특징으로 하는 사용자장치의 이미지 검색을 위한 방법과, 이에 따른 사용자장치를 제공한다.

Description

가이드라인 기반 촬영 이미지를 이용한 이미지 검색 방법 및 이를 위한 장치{A method for image searching using an captured image based on guidelines and an apparatus therefor}
본 발명은 이미지 검색 기술에 관한 것으로, 더욱 상세하게는, 사용자가 촬영한 이미지를 이용하여 데이터베이스에 저장된 이미지 검색을 수행할 때, 데이터베이스에 저장된 이미지의 구도와 동일한 구도를 안내하는 가이드라인에 따라 촬영된 이미지를 이용한 이미지 검색 방법 및 장치에 관한 것이다.
이미지 검색은 이미지를 찾는 방법과 목적에 따라 크게 두 가지로 구분할 수 있다. 첫 번째는　텍스트 검색어를 이용해 관련 이미지를 찾는 것이다. 예를 들어 텍스트 '꽃'이라는 키워드를 입력하면 다양한 종류의 꽃 사진을 볼 수 있다. 이 유형은 인터넷 초창기부터 있었던 전통적인 검색방식이다. 두 번째는 이미지 파일인 이미지 검색어를 입력하면, 이미지 파일을 분석해서 동일 또는 유사한 이미지를 찾아내는 것이다. 컴퓨터 분석 기술과 인터넷 기술이 발달하면서 등장한 방식이다. 키워드 방식에 비해 사용자가 이미지를 직관적으로 검색할 수 있다는 이점이 있다.
한국공개특허 제2012-0001847호, 2012년 01월 05일 공개 (명칭: 이미지 검색시스템 및 이미지 검색방법)
본 발명의 목적은 검색 대상 이미지와 동일한 구도에 따라 이미지를 촬영하도록 유도하고, 유도된 바에 따라 촬영된 이미지를 통해 이미지 검색을 수행하도록 하는 가이드라인 기반 촬영 이미지를 이용한 이미지 검색 방법 및 이를 위한 장치를 제공함에 있다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 사용자장치의 이미지 검색 방법은 촬영부가 사용자가 검색하고자 하는 상품에 대한 촬영 구도를 안내하는 촬영구도정보를 획득하는 단계와, 상기 촬영부가 상기 촬영구도정보에 따라 가이드라인을 화면으로 표시하는 단계와, 상기 촬영부가 상기 가이드라인에 맞춰 상품을 촬영하는 단계와, 검색부가 상기 촬영된 상품의 이미지를 이미지 검색어로 생성하는 단계와, 상기 검색부가 상기 이미지 검색어를 포함하는 이미지 검색 요청을 검색서버로 전송하는 단계를 포함한다.
상기 촬영구도정보는 기준 이미지를 촬영한 카메라의 기준점으로부터 상품까지의 최단 거리인 기준 거리 및 상기 기준점에서 측정된 요, 롤 및 피치를 포함하는 기준 오일러각 및 상기 기준 이미지의 외곽선을 나타내는 가이드라인을 포함하는 것을 특징으로 한다.
상기 가이드라인을 화면으로 표시하는 단계는 상기 사용자장치의 카메라부의 초점에서 상품까지의 거리를 측정하는 단계와, 상기 기준 거리와 상기 측정된 거리의 거리 차이를 산출하는 단계와, 상기 산출된 거리 차이에 따라 상기 가이드라인의 크기를 조절하여 표시하는 단계를 포함한다.
상기 크기를 조절하여 표시하는 단계 후, 상기 산출된 거리 차이에 따라 상기 사용자장치와 상기 상품과의 거리를 조절하도록 안내하는 거리 조절 안내 메시지를 출력하는 단계를 더 포함한다.
상기 가이드라인을 화면으로 표시하는 단계는 상기 초점에서의 오일러각을 측정하는 단계와, 상기 기준 오일러각과 상기 측정된 오일러각의 각도 차이를 산출하는 단계와, 상기 산출된 각도 차이에 따라 x축, y축 및 z축 중 적어도 하나의 축을 기준으로 상기 가이드라인을 축회전시켜 표시하는 단계를 포함한다.
상기 방법은 상기 축 회전시켜 표시하는 단계 후, 상기 산출된 각도 차이에 따라 상기 사용자장치를 x축, y축 및 z축 중 적어도 하나의 축을 기준으로 축회전시키도록 안내하는 각도 조절 안내 메시지를 출력하는 단계를 더 포함한다.
상기 촬영부가 상기 가이드라인에 맞춰 상품을 촬영하는 단계는 사용자의 촬영 입력을 감지하는 단계와, 상기 사용자장치의 카메라부의 초점에서 상품까지의 측정된 거리와 상기 기준 거리와의 거리 차이가 소정 거리 미만인 동시에 상기 초점에서 측정된 오일러각과 상기 기준 오일러각의 각도 차이가 소정 각도 미만인 촬영 조건을 만족하는지 여부를 판단하는 단계와, 상기 판단 결과, 상기 촬영 조건을 만족하면, 촬영을 수행하고, 상기 판단 결과, 상기 조건을 만족하지 않으면, 상기 촬영 조건을 만족하지 않음을 나타내는 안내 메시지를 출력하는 단계를 포함한다.
일 측면에 따르면, 상기 촬영구도정보를 획득하는 단계는 상기 구도와 무관하게 상기 상품을 촬영한 사전 이미지를 상기 검색서버로 전송하는 단계와, 상기 검색서버로부터 상기 사전 이미지의 상품의 종류에 대응하는 상기 촬영구도정보를 수신하는 단계를 포함한다.
다른 측면에 따르면, 상기 촬영구도정보를 획득하는 단계는 상기 상품의 종류를 상기 검색서버로 전송하는 단계와, 상기 검색서버로부터 상기 상품의 종류에 대응하는 상기 촬영구도정보를 수신하는 단계를 포함한다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 이미지 검색을 위한 사용자장치는 검색서버와의 통신을 위한 통신부와, 이미지를 촬영하며, 상기 이미지와 거리를 측정하는 거리 센서를 포함하는 카메라부와, 화면을 표시하기 위한 표시부와, 사용자가 검색하고자 하는 상품에 대한 촬영 구도를 안내하는 촬영구도정보를 획득하면, 상기 촬영구도정보에 따라 가이드라인을 상기 표시부를 통해 상기 화면으로 표시하고, 상기 카메라부를 통해 상기 가이드라인에 맞춰 상품을 촬영하는 촬영부와, 상기 촬영된 상품의 이미지를 이미지 검색어로 생성하고, 상기 이미지 검색어를 포함하는 이미지 검색 요청을 상기 통신부를 통해 상기 검색서버로 전송하는 검색부를 포함한다.
상기 촬영구도정보는 기준 이미지를 촬영한 카메라의 기준점으로부터 상품까지의 최단 거리인 기준 거리 및 상기 기준점에서 측정된 요, 롤 및 피치를 포함하는 기준 오일러각 및 상기 기준 이미지의 외곽선을 나타내는 가이드라인을 포함하는 것을 특징으로 한다.
상기 카메라부는 상기 카메라부의 초점에서 상품까지의 거리를 측정하는 거리센서를 포함한다. 이에 따라, 상기 촬영부는 상기 거리센서가 측정한 거리와 상기 기준 거리와의 거리 차이를 산출하고, 상기 산출된 거리 차이에 따라 상기 가이드라인의 크기를 조절하여 상기 표시부를 통해 표시하는 것을 특징으로 한다.
또한, 상기 촬영부는 상기 가이드라인의 크기를 조절하여 표시한 후, 상기 산출된 거리 차이에 따라 상기 사용자장치와 상기 상품과의 거리를 조절하도록 안내하는 거리 조절 안내 메시지를 출력하는 것을 특징으로 한다.
상기 사용자장치는 상기 초점에서의 오일러각을 측정하는 센서부를 더 포함한다. 이에 따라, 상기 촬영부는 상기 기준 오일러각과 상기 측정된 오일러각의 각도 차이를 산출하고, 상기 산출된 각도 차이에 따라 x축, y축 및 z축 중 적어도 하나의 축을 기준으로 가이드라인을 축회전시켜 상기 표시부를 통해 표시하는 것을 특징으로 한다.
또한, 상기 촬영부는 가이드라인을 축회전시켜 표시한 후, 상기 산출된 각도 차이에 따라 상기 사용자장치를 x축, y축 및 z축 중 적어도 하나의 축을 기준으로 축회전시키도록 안내하는 각도 조절 안내 메시지를 출력하는 것을 특징으로 한다.
상기 촬영부는 촬영을 요청하는 입력을 감지하면, 상기 카메라부의 초점에서 상품까지의 측정된 거리와 상기 기준 거리와의 거리 차이가 소정 거리 미만인 동시에 상기 초점에서 측정된 오일러각과 상기 기준 오일러각의 각도 차이가 소정 각도 미만인 촬영 조건을 만족하는지 여부를 판단한다.
그런 다음, 상기 촬영부는 상기 판단 결과, 상기 촬영 조건을 만족하면, 상기 상품을 촬영하고, 상기 판단 결과, 상기 촬영 조건을 만족하지 않으면, 상기 촬영 조건을 만족하지 않음을 나타내는 안내 메시지를 출력하는 것을 특징으로 한다.
본 발명에 따르면, 검색 대상인 데이터베이스에 저장된 상품 이미지의 구도에 맞춰 촬영된 이미지를 검색어로 이용하여 이미지 검색을 수행함으로써, 이미지 검색의 정확도를 향상시킬 수 있다.
도 1은 본 발명의 실시예에 따른 가이드라인 기반 촬영 이미지를 이용한 이미지 검색 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 검색서버의 구성을 설명하기 위한 블록도이다.
도 3은 본 발명의 실시예에 따른 사용자장치의 구성을 설명하기 위한 블록도이다.
도 4는 본 발명의 실시예에 따른 가이드라인 기반 촬영 이미지를 이용한 이미지 검색을 위한 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 실시예에 따른 가이드라인 기반 촬영 이미지를 이용한 이미지 검색을 위한 방법을 설명하기 위한 화면 예이다.
도 6은 본 발명의 실시예에 따른 가이드라인을 표시하는 방법을 설명하기 위한 흐름도이다.
도 7 내지 도 10은 본 발명의 실시예에 따른 가이드라인을 표시하는 방법을 설명하기 위한 도면이다.
도 11은 본 발명의 실시예에 따른 가이드라인을 기반으로 이미지를 촬영하는 방법을 설명하기 위한 흐름도이다.
도 12는 본 발명의 실시예에 따른 가이드라인을 기반으로 이미지를 촬영하는 방법을 설명하기 위한 도면이다.
본 발명의 과제 해결 수단의 특징 및 이점을 보다 명확히 하기 위하여, 첨부된 도면에 도시된 본 발명의 특정 실시 예를 참조하여 본 발명을 더 상세하게 설명한다.
다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.
이하의 설명 및 도면에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하기 위해 사용하는 것으로, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 뿐, 상기 구성요소들을 한정하기 위해 사용되지 않는다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다.
더하여, 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급할 경우, 이는 논리적 또는 물리적으로 연결되거나, 접속될 수 있음을 의미한다. 다시 말해, 구성요소가 다른 구성요소에 직접적으로 연결되거나 접속되어 있을 수 있지만, 중간에 다른 구성요소가 존재할 수도 있으며, 간접적으로 연결되거나 접속될 수도 있다고 이해되어야 할 것이다.
또한, 본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 명세서에서 기술되는 "포함 한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 명세서에 기재된 "??부", "??기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을
처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
또한, "일(a 또는 an)", "하나(one)", "그(the)" 및 유사어는 본 발명을 기술하는 문맥에 있어서(특히, 이하의 청구항의 문맥에서) 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.
아울러, 본 발명의 범위 내의 실시 예들은 컴퓨터 실행가능 명령어 또는 컴퓨터 판독가능 매체에 저장된 데이터 구조를 가지거나 전달하는 컴퓨터 판독가능 매체를 포함한다. 이러한 컴퓨터 판독가능 매체는, 범용 또는 특수 목적의 컴퓨터 시스템에 의해 액세스 가능한 임의의 이용 가능한 매체일 수 있다. 예로서, 이러한 컴퓨터 판독가능 매체는 RAM, ROM, EPROM, CD-ROM 또는 기타 광 디스크 저장장치, 자기 디스크 저장장치 또는 기타 자기 저장장치, 또는 컴퓨터 실행가능 명령어, 컴퓨터 판독가능 명령어 또는 데이터 구조의 형태로 된 소정의 프로그램 코드 수단을 저장하거나 전달하는 데에 이용될 수 있고, 범용 또는 특수 목적 컴퓨터 시스템에 의해 액세스 될 수 있는 임의의 기타 매체와 같은 물리적 저장 매체를 포함할 수 있지만, 이에 한정되지 않는다.
이하의 설명 및 특허 청구 범위에서, "네트워크"는 컴퓨터 시스템들 및/또는 모듈들 간의 전자 데이터를 전송할 수 있게 하는 하나 이상의 데이터 링크로서 정의된다. 정보가 네트워크 또는 다른 (유선, 무선, 또는 유선 또는 무선의 조합인) 통신 접속을 통하여 컴퓨터 시스템에 전송되거나 제공될 때, 이 접속은 컴퓨터-판독가능매체로서 이해될 수 있다. 컴퓨터 판독가능 명령어는, 예를 들면, 범용 컴퓨터 시스템 또는 특수 목적 컴퓨터 시스템이 특정 기능 또는 기능의 그룹을 수행하도록 하는 명령어 및 데이터를 포함한다. 컴퓨터 실행가능 명령어는, 예를 들면, 어셈블리어, 또는 심지어는 소스코드와 같은 이진, 중간 포맷 명령어일 수 있다.
아울러, 본 발명은 퍼스널 컴퓨터, 랩탑 컴퓨터, 핸드헬드 장치, 멀티프로세서 시스템, 마이크로프로세서-기반 또는 프로그램 가능한 가전제품(programmable consumer electronics), 네트워크 PC, 미니컴퓨터, 메인프레임 컴퓨터, 모바일 전화, PDA, 페이저(pager) 등을 포함하는 다양한 유형의 컴퓨터 시스템 구성을 가지는 네트워크 컴퓨팅 환경에서, 상기 컴퓨터 시스템들을 대상으로 광고를 제공하는데 적용될 수 있다. 본 발명은 또한 네트워크를 통해 유선 데이터 링크, 무선 데이터 링크, 또는 유선 및 무선 데이터 링크의 조합으로 링크된 로컬 및 원격 컴퓨터 시스템 모두가 태스크를 수행하는 분산형 시스템 환경에서 실행될 수 있다. 분산형 시스템 환경에서, 프로그램 모듈은 로컬 및 원격 메모리 저장 장치에 위치될 수 있다.
먼저, 본 발명의 실시예에 따른 가이드라인 기반 촬영 이미지를 이용한 이미지 검색 시스템에 대해서 설명하기로 한다. 도 1은 본 발명의 실시예에 따른 가이드라인 기반 촬영 이미지를 이용한 이미지 검색 시스템을 설명하기 위한 도면이다. 도 1을 참조하면, 이미지 검색 시스템은 검색서버(100) 및 사용자장치(200)를 포함한다.
검색서버(100) 및 사용자장치(200)는 통신망(NW)을 통해 상호간에 데이터를 송수신할 수 있다. 예를 들면, 통신망(NW)은 WLAN(Wireless LAN), 와이파이(Wi-Fi), 와이브로(Wibro), 와이맥스(Wimax), HSDPA(High Speed Downlink Packet Access) 등의 무선 통신망을 포함할 수 있으며, 시스템 구현 방식에 따라 이더넷(Ethernet), xDSL(ADSL, VDSL), HFC(Hybrid Fiber Coaxial Cable), FTTC(Fiber to The Curb), FTTH(Fiber To The Home) 등의 유선 통신망을 포함할 수도 있다.
아울러, 본 발명의 통신망(NW)은 예컨대, 다수의 접속망(미도시) 및 이들을 연결하는 코어망(미도시)으로 이루어진 이동통신망을 포함할 수 있다. 여기서, 접속망은 단말과 직접 접속하여 무선 통신을 수행하는 망으로서, 예를 들어, BS(Base Station), BTS(Base Transceiver Station), NodeB, eNodeB 등과 같은 다수의 기지국과, BSC(Base Station Controller), RNC(Radio Network Controller)와 같은 기지국 제어기로 구현될 수 있다. 또한, 전술한 바와 같이, 기지국에 일체로 구현되어 있던 디지털 신호 처리부와 무선 신호 처리부를 각각 디지털 유니트(Digital Unit, 이하 DU라 함과 무선 유니트(Radio Unit, 이하 RU라 함)으로 구분하여, 다수의 영역에 각각 다수의 RU(미도시)를 설치하고, 다수의 RU를 집중화된 DU와 연결하여 구성할 수도 있다. 또한, 접속망과 함께 모바일 망을 구성하는 코어망(미도시)은 접속망과 외부 망, 예컨대, 인터넷망과 같은 다른 통신망을 연결하는 역할을 수행한다.
이러한 코어망은 앞서 설명한 바와 같이, 접속망 간의 이동성 제어 및 스위칭 등의 이동통신 서비스를 위한 주요 기능을 수행하는 네트워크 시스템으로서, 서킷 교환(circuit switching) 또는 패킷 교환(packet switching)을 수행하며, 모바일 망 내에서의 패킷 흐름을 관리 및 제어한다. 또한, 코어망은 주파수간 이동성을 관리하고, 접속망 및 코어망 내의 트래픽 및 다른 네트워크, 예컨대 인터넷망과의 연동을 위한 역할을 수행할 수도 있다. 이러한 코어망은 SGW(Serving GateWay), PGW(PDN GateWay), MSC(Mobile Switching Center), HLR(Home Location Register), MME(Mobile Mobility Entity)와 HSS(Home Subscriber Server) 등을 더 포함하여 구성될 수도 있다.
또한, 본 발명에 따른 통신망(NW)은 인터넷망을 포함할 수 있다. 인터넷망은 TCP/IP 프로토콜에 따라서 정보가 교환되는 통상의 공개된 통신망, 즉 공용망을 의미한다. 이러한 통신망(NW)을 통해서 검색서버(100) 및 사용자장치(200)가 상호 연동하여 본 발명에 따른 이미지 검색 시스템을 구성한다.
여기서, 검색서버(100)는 네트워크 상에 존재하는 하나의 엔티티로, 웹 서버(web server), 데이터베이스 서버(database server) 및 애플리케이션 서버(application server)의 역할을 수행한다. 바람직한 일 실시예에 따르면, 검색서버(100)는 쇼핑 몰 웹 사이트를 제공하는 웹 서버와, 이러한 웹 사이트에서 판매되는 아이템의 이미지를 저장하는 데이터베이스 서버 및 이미지 검색어와 동일 또는 유사한 이미지를 검색하여 제공하는 애플리케이션 서버의 역할을 수행할 수 있다. 이하의 실시예에서 검색서버(100)는 다양한 제품을 판매하는 인터넷 쇼핑 몰 서비스를 제공하는 서버라고 가정한다. 이에 따라, 검색서버(100)는 데이터베이스에 저장된 복수의 이미지에서 이미지를 검색할 수 있다. 인터넷 쇼핑 몰에서 판매하는 이러한 이미지는 상품 이미지가 될 수 있다. 한편, 다른 실시예에 따르면, 검색서버(100)는 네트워크를 통해 다른 서버, 즉, 웹 서버에 접속하여 복수의 웹 페이지로부터 이미지를 검색할 수 있다.
또한, 사용자장치(200)는 이동통신단말기를 대표적인 예로서 설명하지만 단말기는 이동통신단말기에 한정된 것이 아니고, 모든 정보통신기기, 멀티미디어 단말기, 유선 단말기, 고정형 단말기 및 IP(Internet Protocol) 단말기 등의 다양한 단말기에 적용될 수 있다. 일례로, 단말기는 휴대폰, PMP(Portable MultimediaPlayer), MID(Mobile Internet Device), 스마트폰(Smart Phone), 태블릿 PC, 패블릿 PC 및 정보통신 기기 등과 같은 다양한 이동통신 사양을 갖는 모바일(Mobile) 단말기일 때 유리하게 활용될 수 있다. 다른 예로, 단말기는 노트북, 퍼스널컴퓨터 등이 될 수도 있다.
본 발명의 실시예에 따르면, 검색서버(100)는 사용자가 검색하고자 하는 상품의 종류에 상응하는 촬영구도정보를 사용자장치(200)에 제공한다. 촬영구도정보는 상품의 종류에 따라 사용자가 검색하고자 하는 상품에 대한 촬영 구도를 안내한다. 특히, 촬영구도정보는 검색서버(100)에 저장된 상품 이미지 동일한 구도로 안내한다.
사용자장치(200)는 촬영구도정보를 기초로 가이드라인을 표시할 수 있다. 그리고 사용자장치(200)는 표시된 가이드라인에 따라 이미지를 촬영하고, 촬영된 이미지를 검색어로 하여 검색서버(100)로 전송하여 이미지 검색을 요청할 수 있다. 이에 따라, 검색서버(100)는 저장된 상품 이미지와 동일한 구도로 촬영된 이미지를 수신하고, 수신된 이미지를 통해 저장된 상품 이미지에 대해 이미지 검색을 수행한다. 따라서 동일한 구도로 촬영된 이미지를 이미지 검색어로 이미지 검색을 수행하기 때문에 이미지 검색의 정확도가 향상될 수 있다.
그러면, 보다 상세히 본 발명의 실시예에 따른 검색서버(100) 및 사용자장치(200)의 구성에 대해서 살펴보기로 한다. 먼저, 본 발명의 실시예에 따른 검색서버(100)의 구성에 대해서 설명하기로 한다. 도 2는 본 발명의 실시예에 따른 검색서버의 구성을 설명하기 위한 블록도이다. 도 2를 참조하면, 검색서버(100)는 통신모듈(110), 저장모듈(120) 및 제어모듈(130)을 포함한다.
통신모듈(110)은 사용자장치(200)와의 통신을 위한 것이다. 통신모듈(110)은 사용자장치(200)가 검색서버(100)에 접속하면 사용자장치(200)와 필요한 정보를 포함하는 데이터를 교환하기 위한 통신을 수행한다. 통신모듈(110)은 제어모듈(130)로부터 사용자장치(200)로 전송하기 위한 데이터, 예컨대, 복수의 이미지를 포함하는 검색 결과를 전달받으면, 전달받은 데이터를 패킷으로 구성하여 전송한다. 또한, 통신모듈(110)은 사용자장치(200)로부터 수신되는 패킷으로부터 데이터, 즉, 이미지를 추출하여, 추출된 데이터를 제어모듈(130)로 전달한다.
저장모듈(120)은 검색서버(100)의 동작에 필요한 프로그램 및 데이터를 저장하는 역할을 수행하며, 프로그램 영역과 데이터 영역으로 구분될 수 있다. 프로그램 영역은 검색서버(100)의 전반적인 동작을 제어하는 프로그램 및 검색서버(100)를 부팅시키는 운영체제(OS, Operating System), 이미지 검색을 위한 애플리케이션을 등을 저장할 수 있다. 데이터 영역은 검색서버(100)의 운영에 따라 발생하는 데이터 및 검색서버(100)의 운영에 필요한 데이터가 저장되는 영역이다. 저장모듈(120)에 저장되는 데이터는 상품의 종류별로 복수의 상품 이미지와 상품의 종류 각각에 대한 촬영구도정보를 포함한다. 여기서, 촬영구도정보는 이미지 검색어를 생성하기 위한 촬영 시, 그 상품을 촬영하는 구도를 가이드하기 위한 가이드라인을 표시하기 위한 파라미터를 포함한다. 저장모듈(120)에 저장되는 각 종 데이터는 사용자의 조작에 따라, 삭제, 변경, 추가될 수 있다.
제어모듈(130)은 검색서버(100)의 전반적인 동작 및 검색서버(100)의 내부 블록들 간 신호 흐름을 제어하고, 데이터를 처리하는 데이터 처리 기능을 수행할 수 있다. 이러한 제어모듈(130)은 중앙 처리 장치(Central Processing Unit: CPU)인 것이 바람직하다. 제어모듈(130)은 정보제공모듈(131) 및 이미지검색모듈(133)을 포함한다.
정보제공모듈(131)은 사용자장치(200)가 요청하는 촬영구도정보를 제공하는 역할을 수행한다. 정보제공모듈(131)은 통신모듈(110)을 통해 사용자장치(200)로부터 이미지 혹은 상품 종류를 수신할 수 있다. 이미지를 수신한 경우, 이미지의 상품 종류를 식별한 후, 해당 상품 종류에 상응하는 촬영구도정보를 저장모듈(120)로부터 추출하여 통신모듈(110)을 통해 사용자장치(200)로 전송할 수 있다. 마찬가지로, 상품 종류를 수신한 경우, 해당 상품 종류에 상응하는 촬영구도정보를 저장모듈(120)로부터 추출하여 통신모듈(110)을 통해 사용자장치(200)로 전송할 수 있다. 이미지검색모듈(133)은 이미지 검색어를 수신하면, 수신된 이미지 검색어를 통해 저장모듈(120)에 저장된 이미지를 검색한다. 이러한 정보제공모듈(131) 및 이미지검색모듈(133)을 포함하는 제어모듈(130)의 동작은 아래에서 더 상세하게 설명될 것이다.
다음으로, 본 발명의 실시예에 따른 사용자장치(200)에 대해서 설명하기로 한다. 도 3은 본 발명의 실시예에 따른 사용자장치의 구성을 설명하기 위한 블록도이다. 도 3을 참조하면, 본 발명의 실시예에 따른 사용자장치(200)는 통신부(210), 입력부(220), 표시부(250), 저장부(260) 및 제어부(270)를 포함한다.
통신부(210)는 검색서버(100)를 비롯한 다른 장치와 통신을 위한 것으로, 다양한 통신 연결 방식을 통해 통신을 수행한다. 이러한 통신부(210)는 다양한 통신 연결 방식의 통신 기능 중 어느 하나를 선택하여 통신할 수 있다. 이러한 통신부(210)는 하나의 모듈 혹은 복수의 모듈로 구현될 수도 있다. 예컨대, 통신부(210)는 WCDMA, LTE, LTE-A 등의 표준에 따라 기지국을 통해 네트워크에 접속하는 광대역이동통신 방식, Wi-Fi(wireless fidelity)를 이용하는 WLAN(Wireless Local Area Network) 방식에 따라 접속포인트(AP: Access Point)를 통해 네트워크에 접속하여 통신을 수행하는 무선근거리통신 방식 등을 이용할 수 있다. 통신부(210)는 송신되는 신호의 주파수를 상승 변환 및 증폭하는 RF송신기와, 수신되는 신호를 저 잡음 증폭하고 주파수를 하강 변환하는 RF수신기 등으로 구성될 수 있다. 제어부(270)로부터 전달 받은 데이터, 예컨대, 이미지 검색어를 무선 신호로 변환하여 무선 채널을 통해 전송할 수 있다. 또한, 통신부(210)는 무선 채널을 통해 데이터, 예컨대, 이미지 검색 결과를 포함하는 무선 신호를 수신하여 제어부(270)로 전달할 수 있다.
카메라부(220)는 영상 혹은 이미지를 촬영하거나 또는 촬상하기 위한 것이다. 이를 위하여 카메라부(220)는 적어도 이미지 센서를 포함한다. 본 발명의 실시예에서 '촬영'은 카메라부(220)의 이미지 센서를 통해 생성된 이미지를 특정 이미지 파일 포맷(예컨대, JPG, PNG 등)에 따라 디지털 파일로 생성하는 것을 의미하며, '촬상'은 단순히 이미지 센서를 통해 생성된 이미지를 표시부(250)를 통해 표시하는 동작을 의미한다.
이미지 센서는 피사체에서 반사되는 빛을 입력 받아 전기신호로 변환하며, CCD(Charged Coupled Device), CMOS(Complementary Metal-Oxide Semiconductor) 등을 기반으로 구현될 수 있다. 카메라부(220)는 아날로그-디지털 변환기(Analog to Digital Converter)를 더 포함할 수 있으며, 이미지 센서에서 출력되는 아날로그 신호를 디지털 신호로 변환하여 제어부(270)로 출력할 수 있다. 특히, 카메라부(220)는 거리센서(221)를 포함한다. 거리센서(221)는 기준점, 예컨대, 카메라부(200)의 초점, 즉, 즉, 이미지센서의 초점을 3차원 좌표의 원점으로 하여 촬영된 영상의 각 픽셀의 3차원 좌표(x, y, z)를 출력하여 제어부(270)로 전달한다. 이에 따라, 제어부(270)는 초점으로부터 촬영된 객체까지의 최단거리를 획득할 수 있다. 거리센서(221)는 레이저, 적외선, 가시광 등을 이용하는 다양한 방식의 센서를 이용할 수 있다. 이러한 거리센서(221)는 TOP(Time of Flight), 위상변위(Phase-shift) 및 Online Waveform Analysis 중 어느 하나를 이용하는 레이저 방식 3차원 스캐너, 광 삼각법을 이용하는 레이저 방식 3차원 스캐너, 백색광 혹은 변조광을 이용하는 광학방식 3차원 스캐너, Handheld Real Time 방식의 PHOTO, 광학방식 3차원 스캐너, Pattern Projection 혹은 Line Scanning을 이용하는 광학방식, 레이저 방식 전신 스캐너, 사진 측량(Photogrammetry)을 이용하는 사진방식 스캐너, 키네틱(Kinect Fusion)을 이용하는 실시간(Real Time) 스캐너 등을 예시할 수 있다.
센서부(230)는 복수의 관성 센서를 포함한다. 여기서, 관성 센서는 가속도 센서, 자이로 센서 등을 예시할 수 있다. 이에 따라, 센서부(230)는 복수의 관성 센서를 통해 사용자장치(200)의 오일러각을 측정할 수 있다. 이러한 오일러각은 요(YAW), 롤(ROLL) 및 (PITCH)를 포함한다. 센서부(230)는 지속적으로 사용자장치(200)의 오일러각을 측정하고, 측정된 오일러각을 제어부(270)로 전달한다.
입력부(240)는 사용자장치(200)를 제어하기 위한 사용자의 키 조작을 입력 받고 입력 신호를 생성하여 제어부(270)로 전달한다. 입력부(220)는 전원 on/off를 위한 전원 키, 숫자 키, 방향키 중 어느 하나를 포함할 수 있으며, 사용자장치(200)의 일면에 소정의 기능키로 형성될 수 있다. 표시부(250)가 터치스크린으로 이루어진 경우, 입력부(220)의 각 종 키들의 기능이 표시부(250)에서 이루어질 수 있으며, 터치스크린만으로 모든 기능을 수행할 수 있는 경우, 입력부(220)는 생략될 수도 있다.
표시부(250)는 사용자장치(200)의 메뉴, 입력된 데이터, 기능 설정 정보 및 기타 다양한 정보를 사용자에게 시각적으로 제공한다. 특히, 표시부(250)는 제어부(270)에 의해 카메라부(220)를 통해 촬상되는 이미지를 지속적으로 표시할 수 있다. 표시부(250)는 사용자장치(200)의 부팅 화면, 대기 화면, 메뉴 화면 등의 각종 화면을 출력하는 기능을 수행한다. 이러한 표시부(250)는 액정표시장치(LCD, Liquid Crystal Display), 유기 발광 다이오드(OLED, Organic Light Emitting Diodes), 능동형 유기 발광 다이오드(AMOLED, Active Matrix Organic Light Emitting Diodes) 등으로 형성될 수 있다. 한편, 표시부(250)는 터치스크린으로 구현될 수 있다. 이러한 경우, 표시부(250)는 터치센서를 포함하며, 제어부(270)는 터치센서를 통해 사용자의 터치 입력을 감지할 수 있다. 터치센서는 정전용량 방식(capacitive overlay), 압력식, 저항막 방식(resistive overlay), 적외선 감지 방식(infrared beam) 등의 터치 감지 센서로 구성되거나, 압력 감지 센서(pressure sensor)로 구성될 수도 있다. 상기 센서들 이외에도 물체의 접촉 또는 압력을 감지할 수 있는 모든 종류의 센서 기기가 본 발명의 터치센서로 이용될 수 있다. 터치센서는 사용자의 터치 입력을 감지하고, 감지 신호를 발생시켜 제어부(270)로 전송한다. 이러한 감지 신호에는 사용자가 터치를 입력한 좌표 데이터가 포함될 수 있다. 사용자가 터치 위치 이동 동작을 입력한 경우에 터치센서는 터치 위치 이동 경로의 좌표 데이터를 포함한 감지 신호를 발생시켜 제어부(270)로 전송할 수 있다.
저장부(260)는 사용자장치(200)의 동작에 필요한 프로그램 및 데이터를 저장하는 역할을 수행하며, 프로그램 영역과 데이터 영역으로 구분될 수 있다. 프로그램 영역은 사용자장치(200)의 전반적인 동작을 제어하는 프로그램 및 사용자장치(200)를 부팅시키는 운영체제(OS, Operating System), 응용 프로그램 등을 저장할 수 있다. 데이터 영역은 사용자장치(200)의 사용에 따라 발생하는 데이터가 저장되는 영역이다. 또한, 저장부(260)는 사용자장치(200)의 동작에 따라 발생되는 각 종 데이터 등을 저장할 수 있다.
제어부(270)는 사용자장치(200)의 전반적인 동작 및 사용자장치(200)의 내부 블록들 간 신호 흐름을 제어하고, 데이터를 처리하는 데이터 처리 기능을 수행할 수 있다. 이러한 제어부(270)는 중앙 처리 장치(Central Processing Unit: CPU), 애플리케이션 프로세서(Application Processor), 그래픽 프로세서(GPU: graphic processing unit) 등이 될 수 있다. 이러한 제어부(270)는 촬영부(271) 및 검색부(273)를 포함한다.
촬영부(271)는 검색서버(100)에 요청하여 사용자가 검색하고자 하는 상품에 대한 촬영 구도를 안내하는 촬영구도정보를 획득한다. 그러면, 촬영부(271)는 촬영구도정보에 따라 가이드라인을 표시부(250)를 통해 표시한 후, 카메라부(220)를 통해 가이드라인에 맞춰 상품을 촬영한다. 검색부(273)는 촬영부(271)가 촬영한 상품의 이미지를 이미지 검색어로 생성한다. 그런 다음, 검색부(270)는 이미지 검색어를 포함하는 이미지 검색 요청을 통신부(210)를 통해 검색서버(100)로 전송하여 이미지 검색을 요청한다. 촬영부(271) 및 검색부(273)를 포함하는 제어부(270)의 동작은 아래에서 더 상세하게 설명될 것이다.
다음으로, 본 발명의 실시예에 따른 가이드라인 기반 촬영 이미지를 이용한 이미지 검색을 위한 방법에 대해서 설명하기로 한다. 도 4는 본 발명의 실시예에 따른 가이드라인 기반 촬영 이미지를 이용한 이미지 검색을 위한 방법을 설명하기 위한 흐름도이다. 도 5는 본 발명의 실시예에 따른 가이드라인 기반 촬영 이미지를 이용한 이미지 검색을 위한 방법을 설명하기 위한 화면 예이다.
도 4를 참조하면, 사용자장치(200)의 제어부(270)는 S110 단계에서 통신부(210)를 통해 구도정보요청 메시지를 검색서버(100)로 전송한다. 구도정보요청 메시지는 사용자가 검색하고자 하는 상품에 대한 촬영구도정보를 요청하는 것이다. 구도정보요청 메시지는 카메라부(220)를 통해 사용자가 검색하고자 하는 상품을 촬영구도정보와 무관하게 촬영한 사전 이미지 혹은 사용자가 검색하고자 하는 상품의 종류를 포함한다.
검색서버(100)의 정보제공모듈(131)은 통신모듈(110)을 통해 구도정보요청 메시지를 수신하면, S120 단계에서 수신된 구도정보요청 메시지에 따라 상품 종류를 식별하고, 저장모듈(120)에서 식별된 상품 종류에 해당하는 촬영구도정보를 추출한다. 예컨대, 정보제공모듈(131)은 구도정보요청 메시지에 사전 이미지가 포함되어 있으면, 사전 이미지로부터 상품의 종류를 식별하고, 식별된 상품의 종류에 상응하는 촬영구도정보를 추출한다. 또한, 정보제공모듈(131)은 구도정보요청 메시지에 상품의 종류가 포함되어 있으면, 그 상품의 종류에 대응하는 촬영구도정보를 추출한다. 그런 다음, 정보제공모듈(131)은 S130 단계에서 통신모듈(110)을 통해 촬영구도정보를 사용자장치(200)로 전송한다.
촬영구도정보는 도 5에 도시된 바와 같이, 상품의 종류에 따라 기준 이미지를 촬영한 카메라의 기준점(S), 즉, 초점으로부터 상품(C)까지의 최단 거리인 기준 거리(Ds) 및 기준점(S)에서 측정된 요(YAW), 롤(ROLL) 및 피치(PITCH)를 포함하는 기준 오일러각(Ys, Rs, Ps) 및 상기 기준 이미지의 외곽선을 나타내는 가이드라인(L)을 포함한다. 오일러각은 요(YAW)는 Z축을 기준으로 축회전한 각도를 의미하며, 롤(ROLL)은 X축을 기준으로 축회전한 각도를 의미하고, 피치(PITCH)는 Y축을 기준으로 축회전한 각도를 의미한다.
사용자장치(200)의 촬영부(271)는 통신부(110)를 통해 촬영구도정보를 수신하면, S140 단계에서 촬영구도정보를 기초로 가이드라인(L)을 표시부(250)를 통해 화면으로 표시한다. 이러한 가이드라인은 기준 거리(Ds) 및 오일러각(Ys, Rs, Ps)에 따라 표시된다. 이러한 S140 단계는 아래에서 더 상세하게 설명될 것이다.
다음으로, 촬영부(271)는 S150 단계에서 사용자의 입력에 따라 표시부(250)에 표시된 가이드라인(L)에 맞춰 촬영 구도를 조절하여 상품을 촬영한다. 이러한 S150 단계 또한 아래에서 더 상세하게 설명될 것이다.
이어서, 검색부(273)는 S160 단계에서 가이드라인(L)에 맞춰 촬영된 이미지를 이미지 검색어로 생성하고, S170 단계에서 이미지 검색어를 검색서버(100)로 전송하여 이미지 검색을 요청한다.
검색서버(100)의 이미지검색모듈(133)은 통신모듈(110)을 통해 이미지 검색어를 수신하고, S170 단계에서 이미지 검색어를 기초로 저장모듈(120)에 저장된 복수의 상품 이미지 중 이미지 검색어의 이미지와 동일 혹은 유사한 이미지를 검색한다. 그런 다음, S180 단계에서 이미지 검색 결과를 통신모듈(110)을 통해 사용자장치(200)로 전송한다. 그러면, 검색부(273)는 통신부(210)를 통해 검색 결과를 수신하고, 표시부(250)를 통해 검색 결과를 표시한다.
이와 같이, 본 발명의 실시예에 따르면, 저장모듈(120)에 저장된 상품의 종류와 동일한 구도로 이미지를 촬영하고, 이러한 이미지를 이미지 검색어로 이용하여 이미지 검색을 수행함으로써, 이미지 검색의 정확도가 향상될 수 있다.
다음으로, 전술한 S140 단계에서 대해 보다 상세하게 설명하기로 한다. 도 6은 본 발명의 실시예에 따른 가이드라인을 표시하는 방법을 설명하기 위한 흐름도이다. 도 7 내지 도 10은 본 발명의 실시예에 따른 가이드라인을 표시하는 방법을 설명하기 위한 도면이다.
사용자장치(200)의 촬영부(271)는 S210 단계에서 통신부(210)를 통해 검색서버(100)로부터 촬영구도정보를 수신한 상태라고 가정한다. 앞서 설명된 바와 같이, 촬영구도정보는 기준 거리(Ds), 기준 오일러각(Ys, Rs, Ps) 및 가이드라인(L)을 포함한다. 사용자는 상품을 촬영하기 위해 카메라부(220)의 렌즈를 통해 상품을 포커싱한 상태라고 가정한다.
이때, 도 7에 도시된 바와 같이, 촬영부(271)는 S220 단계에서 카메라부(220)의 거리센서(221)를 통해 카메라부(220)의 초점(S)에서 대상 상품(G)까지의 거리(Dr)를 측정한다. 그런 다음, 촬영부(271)는 S230 단계에서 기준 거리(Ds)와 측정된 거리(Dr)의 거리 차이(Dd)를 산출한다.
이어서, 촬영부(271)는 S240 단계에서 도 8에 도시된 바와 같이, 카메라부(250)를 통해 촬상되는 상품과 함께 산출된 거리 차이(Dd)에 따라 가이드라인(L)의 크기를 조절하여 표시부(250)를 통해 화면으로 표시한다.
또한, 촬영부(271)는 S250 단계에서 앞서 산출된 거리 차이(Dd)에 따라 사용자장치(200)와 상품(G)과의 거리를 조절하도록 안내하는 거리 조절 안내 메시지(10a, 10b, 10c)를 출력한다. 이러한 거리 조절 안내 메시지는 아이콘 이미지(10a), 텍스트(10b) 및 음성(10c) 중 적어도 하나가 될 수 있다.
한편, 도 9에 도시된 바와 같이, 촬영부(271)는 S260 단계에서 센서부(230)를 통해 카메라부(220)의 초점에서의 오일러각(Yr, Rr, Pr)을 측정한다. 그런 다음, 촬영부(271)는 S270 단계에서 기준 오일러각(Ys, Rs, Ps)과 측정된 오일러각(Yr, Rr, Pr)의 각도 차이(Yd, Rd, Pd)를 산출한다.
그런 다음, 촬영부(271)는 S280 단계에서 도 10에 도시된 바와 같이, 카메라부(250)를 통해 촬상되는 상품과 함께 산출된 각도 차이(Yd, Rd, Pd)에 따라 x축, y축 및 z축 중 적어도 하나의 축을 기준으로 가이드라인(L)을 축회전시켜 표시부(250)를 통해 화면으로 표시한다. 예컨대, 기준 오일러각(Ys, Rs, Ps)은 (-0.05, 0.05, -0.25) rad이고, 측정된 오일러각(Yr, Rr, Pr)은 (-0.05, -0.10, -0.25)이라고 가정한다. 이에 따라, 산출된 각도 차이(Yd, Rd, Pd)는 (0, -0.15, 0) rad이다. 즉, 요(YAW) 및 피치(PITCH)의 경우 차이가 없고, 롤(ROLL)만 0.15rad 차이가 발생한다고 가정한다. 그러면, 촬영부(271)는 가이드라인(L)을 X축을 기준으로 0.15rad 만큼 축 회전하여 표시한다.
또한, 촬영부(271)는 S250 단계에서 앞서 산출된 거리 차이(Yd, Rd, Pd)에 따라 사용자장치(200)의 x축, y축 및 z축 중 적어도 하나의 축을 기준으로 축회전시키도록 안내하는 각도 조절 안내 메시지(20a, 20b, 20c)를 출력한다. 이러한 거리 조절 안내 메시지는 아이콘 이미지(20a), 텍스트(20b) 및 음성(20c) 중 적어도 하나가 될 수 있다.
다음으로, 전술한 S150 단계에서 대해 보다 상세하게 설명하기로 한다. 도 11은 본 발명의 실시예에 따른 가이드라인을 기반으로 이미지를 촬영하는 방법을 설명하기 위한 흐름도이다. 도 12는 본 발명의 실시예에 따른 가이드라인을 기반으로 이미지를 촬영하는 방법을 설명하기 위한 도면이다.
도 11을 참조하면, 촬영부(271)는 S310 단계에서 전술한 도 6 내지 도 10을 참조로 설명된 바와 같이, 지속적으로 기준 거리(Ds) 및 기준 오일러각(Ys, Rs, Ps)과 측정 거리(Dr) 및 측정 오일러각(Yr, Rr, Pr)을 비교하여 그 거리 차이 및 각도 차이에 따라 가이드라인(L)을 표시한다. 사용자는 표시부(250)에 표시된 상품(G)을 가이드라인(L)에 맞추기 위해 사용자장치(200)를 움직일 것이다.
또한, 사용자는 입력부(240) 혹은 표시부(250)를 통해 상품(G)을 촬영을 요청하는 입력을 할 수 있다.
이에 따라, 촬영부(271)가 S320 단계에서 입력부(240) 혹은 표시부(250)를 통해 촬영 요청을 감지하면, S330 단계에서 촬영 조건을 만족하는지 여부를 판단한다. 여기서, 촬영 조건은 카메라부의 초점에서 대상 상품까지의 측정된 거리(Dr)와 기준 거리(Ds)와의 거리 차이(Dd)가 소정 거리 미만인 동시에 초점에서 측정된 오일러각(Yr, Rr, Pr)과 상기 기준 오일러각(Ys, Rs, Ps)의 각도 차이(Yd, Rd, Pd)가 소정 각도 미만인 경우를 의미한다. 이는 다른 말로 카메라부(220)가 촬상한 상품(G)이 표시부(250) 상에서 표시될 때, 가이드라인(L)과 일정 영역 이상 겹쳐져 표시된다는 것을 의미한다.
이러한 S330 단계의 판단 결과, 도 12의 (가)와 같이, 촬영 조건을 만족하지 않으면, 촬영부(271)는 S340 단계에서 촬영 조건을 만족하지 않음을 나타내는 안내 메시지(30a, 30b, 30c, 30d)를 출력한다. 예컨대, 이러한 안내 메시지(30a, 30b, 30c, 30d)는 도 12의 (가)와 같이, 가이드라인(L)에 맞춰 표시하도록 유도하는 아이콘 이미지(30a), 배경화면의 색(30b), 텍스트(30c) 및 음성(30d) 중 적어도 하나가 될 수 있다.
또한, S330 단계의 판단 결과, 도 12의 (나)와 같이, 촬영 조건을 만족하면, 촬영부(271)는 S350 단계에서 해당 상품(G)을 촬영한다. 이에 따라, 본 발명의 실시예에 따르면, 검색서버(100)의 저장모듈(120)에 저장된 해당 상품의 종류의 이미지에 상응하는 구도로 상품(G) 이미지를 촬영할 수 있다.
이상에서 설명한 바와 같이, 본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.
마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징될 수 있다는 점을 이해하여야 한다.
본 명세서에서 설명한 주제의 특정한 실시형태를 설명하였다. 기타의 실시형태들은 이하의 청구항의 범위 내에 속한다. 예컨대, 청구항에서 인용된 동작들은 상이한 순서로 수행되면서도 여전히 바람직한 결과를 성취할 수 있다. 일 예로서, 첨부도면에 도시한 프로세스는 바람직한 결과를 얻기 위하여 반드시 그 특정한 도시된 순서나 순차적인 순서를 요구하지 않는다. 특정한 구현예에서, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다.
본 기술한 설명은 본 발명의 최상의 모드를 제시하고 있으며, 본 발명을 설명하기 위하여, 그리고 당업자가 본 발명을 제작 및 이용할 수 있도록 하기 위한 예를 제공하고 있다. 이렇게 작성된 명세서는 그 제시된 구체적인 용어에 본 발명을 제한하는 것이 아니다. 따라서, 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 당업자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다.
따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위에 의해 정하여져야 한다.
본 발명은 가이드라인 기반 촬영 이미지를 이용한 이미지 검색을 위한 방법 및 이를 위한 장치에 관한 것으로서, 본 발명에 따르면, 검색서버에 저장된 상품 이미지와 동일한 구도로 촬영을 유도하고, 이러한 유도에 따라 촬영된 이미지 검색어를 이용하여 이미지 검색을 수행함으로써, 이미지 검색의 정확도 및 신뢰도가 향상될 수 있다. 따라서 본 발명은 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있다.
100: 검색서버 110: 통신모듈
120: 저장모듈 130: 제어모듈
131: 정보제공모듈 133: 이미지검색모듈
200: 사용자장치 210: 통신부
220: 카메라부 221: 거리센서
230: 센서부 240: 입력부
250: 표시부 260: 저장부
270: 제어부 271: 촬영부
273: 검색부

Claims (12)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 검색서버와의 통신을 위한 통신부;
    이미지를 촬영하며, 상기 이미지와 거리를 측정하는 거리 센서를 포함하는 카메라부;
    화면을 표시하기 위한 표시부;
    사용자가 검색하고자 하는 상품에 대한 촬영 구도를 안내하는 촬영구도정보를 획득하면, 상기 촬영구도정보에 따라 가이드라인을 상기 표시부를 통해 상기 화면으로 표시하고, 상기 카메라부를 통해 상기 가이드라인에 맞춰 상품을 촬영하는 촬영부; 및
    상기 촬영된 상품의 이미지를 이미지 검색어로 생성하고, 상기 이미지 검색어를 포함하는 이미지 검색 요청을 상기 통신부를 통해 상기 검색서버로 전송하는 검색부;를 포함하며,
    상기 촬영구도정보는,
    기준 이미지를 촬영한 카메라의 기준점으로부터 상품까지의 최단 거리인 기준 거리 및 상기 기준점에서 측정된 요, 롤 및 피치를 포함하는 기준 오일러각 및 상기 기준 이미지의 외곽선을 나타내는 가이드라인을 포함하고,
    상기 촬영부는,
    촬영을 요청하는 입력을 감지하면,
    상기 카메라부의 초점에서 상품까지의 측정된 거리와 상기 기준 거리와의 거리 차이가 소정 거리 미만인 동시에 상기 초점에서 측정된 오일러각과 상기 기준 오일러각의 각도 차이가 소정 각도 미만인 촬영 조건을 만족하는지 여부를 판단하고,
    상기 판단 결과, 상기 촬영 조건을 만족하면, 상기 상품을 촬영하고,
    상기 판단 결과, 상기 촬영 조건을 만족하지 않으면, 상기 촬영 조건을 만족하지 않음을 나타내는 안내 메시지를 출력하는 것을 특징으로 하는 이미지 검색을 위한 사용자장치.
  9. 삭제
  10. ◈청구항 10은(는) 설정등록료 납부시 포기되었습니다.◈
    제8항에 있어서,
    상기 카메라부는
    상기 카메라부의 초점에서 상품까지의 거리를 측정하는 거리센서를 포함하며,
    상기 촬영부는
    상기 거리센서가 측정한 거리와 상기 기준 거리와의 거리 차이를 산출하고,
    상기 산출된 거리 차이에 따라 상기 가이드라인의 크기를 조절하여 상기 표시부를 통해 표시하는 것을 특징으로 하는 이미지 검색을 위한 사용자장치.
  11. ◈청구항 11은(는) 설정등록료 납부시 포기되었습니다.◈
    제8항에 있어서,
    상기 사용자장치는
    상기 카메라부의 초점에서의 오일러각을 측정하는 센서부;를 더 포함하며,
    상기 촬영부는 상기 기준 오일러각과 상기 측정된 오일러각의 각도 차이를 산출하고, 상기 산출된 각도 차이에 따라 x축, y축 및 z축 중 적어도 하나의 축을 기준으로 가이드라인을 축회전시켜 상기 표시부를 통해 표시하는 것을 특징으로 하는 이미지 검색을 위한 사용자장치.
  12. 삭제
KR1020180078256A 2018-07-05 2018-07-05 가이드라인 기반 촬영 이미지를 이용한 이미지 검색 방법 및 이를 위한 장치 KR102531009B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180078256A KR102531009B1 (ko) 2018-07-05 2018-07-05 가이드라인 기반 촬영 이미지를 이용한 이미지 검색 방법 및 이를 위한 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180078256A KR102531009B1 (ko) 2018-07-05 2018-07-05 가이드라인 기반 촬영 이미지를 이용한 이미지 검색 방법 및 이를 위한 장치

Publications (2)

Publication Number Publication Date
KR20200005060A KR20200005060A (ko) 2020-01-15
KR102531009B1 true KR102531009B1 (ko) 2023-05-16

Family

ID=69157049

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180078256A KR102531009B1 (ko) 2018-07-05 2018-07-05 가이드라인 기반 촬영 이미지를 이용한 이미지 검색 방법 및 이를 위한 장치

Country Status (1)

Country Link
KR (1) KR102531009B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102420455B1 (ko) * 2020-04-06 2022-07-13 연봉근 증강현실 기반 가슴 정보 제공 방법 및 프로그램
KR20220127967A (ko) * 2021-03-12 2022-09-20 삼성전자주식회사 사용자 인터페이스를 제공하기 위한 방법, 장치 및 저장 매체
WO2023277548A1 (ko) 2021-06-30 2023-01-05 주식회사 타이로스코프 안구의 돌출도 분석을 위한 측면 이미지를 획득하는 방법, 이를 수행하는 촬영 장치 및 기록 매체
WO2023277589A1 (ko) 2021-06-30 2023-01-05 주식회사 타이로스코프 활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 시스템
WO2023277622A1 (ko) 2021-06-30 2023-01-05 주식회사 타이로스코프 활동성 갑상선 눈병증 진료를 위한 내원 안내 방법 및 이를 수행하는 시스템
KR102598969B1 (ko) * 2021-09-29 2023-11-07 단국대학교 천안캠퍼스 산학협력단 알약 검색 시스템

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120001847A (ko) 2010-06-30 2012-01-05 김종배 이미지 검색시스템 및 이미지 검색방법
KR101349347B1 (ko) * 2012-05-22 2014-01-20 에이알비전 (주) 증강현실을 위한 스마트폰 자이로센서 기반의 정면객체 생성시스템 및 방법
KR20150055330A (ko) * 2013-11-13 2015-05-21 엘지전자 주식회사 카메라를 이용한 스캔 서비스를 위한 단말기
KR102222073B1 (ko) * 2014-08-29 2021-03-04 삼성전자주식회사 촬영 방법 및 전자 장치
KR20170013369A (ko) * 2017-01-23 2017-02-06 오드컨셉 주식회사 검색 정보를 표시하는 방법, 장치 및 컴퓨터 프로그램

Also Published As

Publication number Publication date
KR20200005060A (ko) 2020-01-15

Similar Documents

Publication Publication Date Title
KR102531009B1 (ko) 가이드라인 기반 촬영 이미지를 이용한 이미지 검색 방법 및 이를 위한 장치
US10460522B2 (en) Explorable augmented reality displays
US11108953B2 (en) Panoramic photo shooting method and apparatus
JP6186508B2 (ja) ネットワーク接続方法及び端末
US9654942B2 (en) System for and method of transmitting communication information
KR101759319B1 (ko) 향상된 rtt(round trip time) 교환을 위한 방법들 및 시스템들
KR101373007B1 (ko) 주변 기기 식별 방법 및 장치
US10178150B2 (en) Eye contact-based information transfer
WO2015183490A1 (en) Methods and apparatus for position estimation
EP3355596A1 (en) Positioning information processing method and apparatus
CN108156374B (zh) 一种图像处理方法、终端及可读存储介质
JP4767453B2 (ja) データ送信方法、送信先決定装置及び撮影端末
WO2022110776A1 (zh) 定位方法及装置、电子设备、存储介质、计算机程序产品、计算机程序
JP6301779B2 (ja) センサ制御装置、センサ制御方法およびセンサ制御プログラム
WO2020029723A1 (zh) 定位方法、相关设备以及计算机可读存储介质
EP4300125A1 (en) Ranging method and apparatus, and user equipment and storage medium
WO2022056847A1 (zh) 终端的定位方法、装置、通信设备及存储介质
KR101931141B1 (ko) 콘텐츠를 전송하기 위한 방법 및 그 전자 장치
KR20200026373A (ko) 검색 히스토리를 이용한 이미지 검색 방법 및 이를 위한 장치
US9596404B2 (en) Method and apparatus for generating a media capture request using camera pose information
KR101980629B1 (ko) 동영상 자동 실행을 위한 장치, 이를 위한 방법, 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
JP2012064071A (ja) 情報システム、端末装置、広告出力方法、およびプログラム
JP5682170B2 (ja) 表示制御装置、画像配信サーバ、表示端末、画像配信システム、及び、プログラム
KR20200023091A (ko) 유사도에 대한 정보를 제공하는 이미지 검색 방법 및 이를 위한 장치
WO2018079043A1 (ja) 情報処理装置、撮像装置、情報処理システム、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right