KR20170013369A - 검색 정보를 표시하는 방법, 장치 및 컴퓨터 프로그램 - Google Patents

Abstract

본 발명은 전자 장치가 쇼핑 정보를 표시하는 방법에 대한 것으로, 알림 리스트에 쇼핑 정보 검색 메뉴를 고정하여 표시하는 단계; 상기 쇼핑 정보 검색 메뉴 중 카메라 검색에 대한 사용자 요청을 수신하면, 카메라 기능을 실행하고 카메라 프리뷰 영상을 표시하는 단계; 상기 프리뷰 영상에서 검색 가능한 이미지를 추출하여 쿼리를 전송하는 단계; 및 상기 이미지와 매칭되는 쇼핑 정보를 수신하면, 화면을 전환하거나 상기 쇼핑 정보의 링크를 상기 프리뷰 영상에 오버레이하여 표시하는 단계를 포함하는 것을 특징으로 한다.

Description

검색 정보를 표시하는 방법, 장치 및 컴퓨터 프로그램 {METHOD, APPARATUS AND COMPUTER PROGRAM FOR DISPLAYING SERCH INFORMATION}

본 발명은 전자 장치에서 검색 정보를 제공하는 방법 및 장치에 대한 것이다.

보다 구체적으로 본 발명은 휴대 단말에서 사용자의 직관적인 조작만으로 쇼핑 정보 검색을 위한 쿼리를 획득하고, 관련된 상품, 서비스, 광고 등 쇼핑 정보를 표시하는 방법 및 장치에 대한 것이다.

최근 증가된 유무선 인터넷 환경을 배경으로 온라인을 이용한 홍보, 매매 등의 상거래가 활성화되고 있다. 이와 관련하여 구매자들은 인터넷과 연결된 데스크탑이나 모바일 단말에서 잡지, 블로그 또는 YouTube의 동영상 등을 검색하다가 마음에 드는 상품을 발견하면, 상품명 등을 검색하여 구매로 이르게 된다. 유명 여배우가 공항에서 들었던 가방 이름, 예능 프로그램에 나온 육아 용품 이름이 포탈 사이트의 실시간 검색어 순위 상위에 올라가는 경우가 그 예라고 할 수 있다. 그러나 이때, 사용자는 검색을 위한 웹 페이지를 별도로 열어서 상품명과 판매처 등을 검색해야 하고, 이름을 알지 못하면 쉽게 검색할 수 없는 불편도 발생한다.

한편 판매자들은 제품 홍보를 위해서 상업 광고 이외에도 미디어 협찬, 온라인 사용기 모집 등에 많은 비용을 지출한다. 최근에는 온라인 상의 입소문이 제품 판매에 중요한 변수로 작용하기 때문이다. 그러나 홍보 비용 지출에도 불구하고, 상품명과 판매처 등의 쇼핑 정보를 공개할 수 없는 경우도 빈번하다. 상품명 노출에 대한 매체 시청자들의 사전 승인을 개별적으로 받을 수 없어 간접광고 이슈가 발생할 수 있기 때문이다.

이와 같이 사용자와 판매자 모두 온라인상의 상품 이미지에 대해 보다 직관적인 UI(User Interface) 환경에서 쇼핑 정보를 제공하기를 원하는 니즈가 존재한다.

본 발명은 상기와 같은 문제점을 해결하기 위한 것이다. 특히 본 발명은 전자 장치에서 쇼핑 정보 검색을 위한 직관적인 사용자 인터페이스를 제공하고, 관련된 가격 정보, 온라인 판매 사이트, 광고, 쿠폰, 프로모션 정보 등의 쇼핑 정보를 효율적으로 제공할 수 있는 방법 및 장치를 제공하는 것을 목적으로 한다.

본 발명의 실시예를 따르는 전자 장치가 쇼핑 정보를 표시하는 방법은, 알림 리스트에 쇼핑 정보 검색 메뉴를 고정하여 표시하는 단계; 상기 쇼핑 정보 검색 메뉴 중 카메라 검색에 대한 사용자 요청을 수신하면, 카메라 기능을 실행하고 카메라 프리뷰 영상을 표시하는 단계; 상기 프리뷰 영상에서 검색 가능한 이미지를 추출하여 쿼리를 전송하는 단계; 및 상기 이미지와 매칭되는 쇼핑 정보를 수신하면, 상기 쇼핑 정보의 링크를 상기 프리뷰 영상에 오버레이하여 표시하는 단계를 포함하는 것을 특징으로 한다.

나아가 본 발명의 다른 실시예를 따르는 전자 장치가 쇼핑 정보를 표시하는 방법은, 알림 리스트에 적어도 하나 이상의 검색 옵션을 포함하는 쇼핑 정보 검색 메뉴를 고정하여 표시하는 단계; 상기 쇼핑 정보 검색 메뉴 중 텍스트 검색에 대한 사용자 요청을 수신하면, 텍스트 입력 기능을 실행하고, 수신한 텍스트에 대한 쇼핑 정보 검색 요청 쿼리를 전송하는 단계; 상기 쇼핑 정보 검색 메뉴 중 음성 검색에 대한 사용자 요청을 수신하면, 음성 입력 기능을 실행하고, 수신한 음성을 텍스트로 변환하여, 변환한 텍스트에 대한 쇼핑 정보 검색 요청 쿼리를 전송하는 단계; 및 매칭 쇼핑 정보를 표시하는 단계를 포함하는 것을 특징으로 한다.

한편 본 발명의 또 다른 실시예를 따르는 전자 장치가 쇼핑 정보를 표시하는 방법은, 스크린 샷이 생성되면, 상기 스크린샷을 쇼핑 정보 검색 요청 쿼리로 전송하는 단계; 상기 스크린 샷에 대한 쇼핑 정보를 수신하면, 상기 쇼핑 정보의 링크를 상기 스크린 샷에 오버레이하여 표시하거나, 상기 스크린 샷에서 상기 매칭 쇼핑 정보 표시 화면으로 전환하여 표시하는 단계를 포함하는 것을 특징으로 한다.

나아가 본 발명의 실시예를 따르는 전자 장치에서 쇼핑 정보를 표시하는 처리를 수행하는 매체에 저장된 어플리케이션은, 상기 어플리케이션이 실행되면, 알림 리스트에 쇼핑 정보 검색 메뉴를 고정하여 표시하는 기능; 상기 쇼핑 정보 검색 메뉴 중 카메라 검색에 대한 사용자 요청을 수신하면, 카메라 기능을 실행하고 카메라 프리뷰 영상을 표시하는 기능; 상기 프리뷰 영상에서 검색 가능한 이미지를 추출하여 쿼리를 전송하는 기능; 및 상기 이미지와 매칭되는 쇼핑 정보를 수신하면, 상기 쇼핑 정보의 링크를 상기 프리뷰 영상에 오버레이하여 표시하는 기능을 수행하는 것을 특징으로 한다.

한편 본 발명의 실시예를 따르는 쇼핑 정보를 표시하는 전자 장치는, 사용자 인터페이스를 표시하는 표시부; 및 알림 리스트에 쇼핑 정보 검색 메뉴를 고정하여 표시하고, 상기 쇼핑 정보 검색 메뉴 중 카메라 검색에 대한 사용자 요청을 수신하면, 카메라 기능을 실행하고 카메라 프리뷰 영상을 표시하고, 상기 프리뷰 영상에서 검색 가능한 이미지를 추출하여 쿼리를 전송하고, 상기 이미지와 매칭되는 쇼핑 정보를 수신하면, 상기 쇼핑 정보의 링크를 상기 프리뷰 영상에 오버레이하여 표시하도록 제어하는 제어부를 포함하는 것을 특징으로 한다.

나아가 본 발명의 실시예를 따르는, 서버가 클라이언트에게 쇼핑 정보를 제공하는 방법은, 복수의 상품에 대한 데이터베이스를 생성하고, 상기 데이터베이스에 포함되는 이미지의 특징 정보를 추출하는 단계; 상기 클라이언트로부터 쿼리를 수신하는 단계; 상기 쿼리에서 문자 또는 숫자 형상의 객체를 구별하여 텍스트로 변환하는 단계; 상기 텍스트를 이용하여 상기 쿼리와 매칭되는 상품 또는 서비스를 판단하는 단계; 및 상기 매칭 상품 또는 서비스에 대한 검색 정보를 상기 클라이언트에게 제공하는 단계를 포함하는 것을 특징으로 한다.

본 발명에 따르면, 전자 장치의 알림 리스트에 쇼핑 정보 검색 메뉴를 고정시켜 표시할 수 있으며, 전자 장치의 어떤 기능이 사용되는 경우라도, 사용자는 상기 검색 메뉴를 통하여 관련 관련 쇼핑 정보를 제공받을 수 있다. 따라서 구매자는 쇼핑의 편의성이 증가되고, 판매자는 광고 효과가 높아지는 효과가 있다.

도 1은 본 발명의 실시예에 따르는 전자 장치에서 검색 정보를 표시하는 예시를 설명하기 위한 순서도
도 2는 본 발명의 실시예에 따르는 검색 방법을 설명하기 위한 도면
도 3은 본 발명의 실시예에 따라 검색 아이콘을 표시하는 사용자 인터페이스의 예시를 설명하기 위한 도면
도 4는 본 발명의 다른 실시예에 따르는 검색 방법을 설명하기 위한 도면
도 5는 본 발명의 다른 실시예에 따라 검색 아이콘을 표시하는 사용자 인터페이스의 예시를 설명하기 위한 도면
도 6은 본 발명의 다른 실시예에 따르는 검색 방법을 설명하기 위한 도면
도 7은 본 발명의 실시예에 따르는 서비스 서버에서 검색 정보를 제공하는 예시를 설명하기 위한 도면
도 8은 본 발명의 또 다른 실시예에 따르는 검색 방법을 설명하기 위한 도면
도 9는 본 발명의 다른 실시예에 따라 검색 메뉴를 표시하는 사용자 인터페이스의 예시를 설명하기 위한 도면

본 발명은 이하에 기재되는 실시예들의 설명 내용에 한정되는 것은 아니며, 본 발명의 기술적 요지를 벗어나지 않는 범위 내에서 다양한 변형이 가해질 수 있음은 자명하다. 그리고 실시예를 설명함에 있어서 본 발명이 속하는 기술 분야에 널리 알려져 있고 본 발명의 기술적 요지와 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다.

한편, 첨부된 도면에서 동일한 구성요소는 동일한 부호로 표현된다. 그리고 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 개략적으로 도시될 수도 있다. 이는 본 발명의 요지와 관련이 없는 불필요한 설명을 생략함으로써 본 발명의 요지를 명확히 설명하기 위함이다. 이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예들을 상세히 설명한다.

도 1은 본 발명의 실시예에 따르는 전자 장치에서 검색 정보를 표시하는 예시를 설명하기 위한 순서도이다.

이하에서는 상기 전자 장치가 모바일 디바이스인 것으로 전제하고 설명하지만 본 발명은 이에 한정되지 않는다. 즉, 본 발명에서 전자 장치는 데스크탑, 스마트폰, 테블릿 PC 등 상품 검색을 요청하고 검색 정보를 표시할 수 있는 모든 형태의 전자 장치를 포함하는 개념으로 이해되어야 한다.

한편 IT 업계에서 백그라운드라는 용어는 다양한 의미로 사용될 수 있으나, 본 명세서에서는 백그라운드의 의미는 실행 화면을 표시하지 않고 어플리케이션을 구동하는 상태를 포함하는 것으로 해석될 수 있다. 나아가 포어그라운드(foreground)라는 용어는 실행 화면이 표시되면서 어플리케이션이 구동되는 상태를 포함하는 개념으로 이해될 수 있다.

나아가 본 명세서에서 전자 장치에 표시된 페이지 (displayed page in an electronic device)라는 용어는, 사용자의 스크롤에 따라 화면에 즉시 표시될 수 있도록 전자장치에 로딩된 화면 및/또는 상기 화면 내부의 컨텐츠 등을 포함하는 개념으로 이해될 수 있다.

예를 들어 모바일 디바이스의 디스플레이에서, 수평 또는 수직 방향으로 길게 연장되어 사용자의 스크롤에 따라 표시되는 어플리케이션의 실행 화면 전체가 상기 페이지의 개념에 포함될 수 있으며, 카메라 롤 중인 화면 역시 상기 페이지의 개념에 포함될 수 있다. 나아가 웹브라우저에 표시된 화면 또는 어플리케이션 화면도 페이지에 표시될 수 있다.

다른 관점에서 모바일 디바이스에서 웹 검색, 전자책, 문자 대화 서비스, 메일 리스트 검색 등 해당 동작과 관련된 항목들을 다수 행의 텍스트, 바, 박스 도는 아이콘 형태 및 이들의 조합을 통해 순차적으로 디스플레이하는 리스트 뷰 역시 상기 페이지의 개념에 포함될 수 있다.

도 1의 단계 110에서 전자 장치는 본 발명의 실시예를 따르는 정보 검색 프로그램을 실행할 수 있다. 상기검색 프로그램은 모바일 디바이스에 설치되는 어플리케이션 또는 플러그인, 엑티브엑스, 광고 SDK (모듈, API) 등의 형식일 수 있고 데스크탑에 설치되는 소프트웨어 또는 웹 브라우징 툴에 설치되는 익스텐션 프로그램일 수 있다.

상기 프로그램은 전자 장치가 본원발명의 실시예를 따르는 서비스 서버 및/ 또는 어플리케이션 오픈 마켓을 통하여 내려받기하고 설치할 수 있다. 나아가 상기 프로그램은 다른 어플리케이션 내에 탑재된 광고 SDK(API, 모듈) 형식으로 실행될 수 있다.

한편 단계 110에서 전자 장치는 어플리케이션 설치와 함께 사용자 인증 및 보안을 위한 처리를 진행할 수 있으며, 서비스 서버 또는 별도의 웹사이트 서버에게 정보를 제공하는 것에 대한 사용자 동의를 제공하는 절차도 진행할 수 있다.

단계 120에서 전자 장치는 어플리케이션 실행 화면의 설정 메뉴를 통하여 적어도 하나 이상의 검색 옵션을 제공할 수 있다. 검색 옵션은 검색 방식을 설정하기 위한 것이다.

본 발명의 실시예에 따르면 검색 옵션으로 임의의 컨텐츠가 전자 장치에 표시되면, 별도의 사용자 검색 요청이 있지 않아도 자동으로 관련 상품 및/또는 서비스에 대한 검색을 진행하는 방식, 표시된 컨텐츠에 대한 검색이 가능한 경우에만 검색 아이콘을 통해 사용자 검색 요청을 수신하는 방식, 및/또는 명시적인 사용자의 검색 요청이 있는 경우에 한해 상품 검색을 진행하는 방식 등을 고려할 수 있다.

특히 본 발명의 실시예를 따르는 정보 검색은, 검색을 위한 어플리케이션을 별도로 실행시키거나, 검색을 위한 페이지를 별도로 열거나 또는 추가적인 검색어 입력을 수신하지 않고 진행될 수 있다. 즉, 본 발명을 따르면 검색을 위한 별도의 액션 없이 특정 컨텐츠가 표시된 상태에서 검색을 진행할 수 있다. 본 발명의 실시예를 따르는 다양한 검색 방식은 첨부된 도면과 함께 후술된다.

단계 130에서 임의의 검색 옵션이 선택되면, 본 발명의 실시예를 따르는 정보 검색 어플리케이션은 검색을 수행하기 위해 백그라운드에서 구동된다. 예를 들어 사용자의 어플리케이션 종료 명령이 수신된다고 하더라도 (단계 135) 본 발명의 실시예를 따르는 어플리케이션은 완전히 종료되지 않고 백그라운드에서 실행될 수 있다. (단계 140) 이는 검색 어플리케이션 실행, 또는 검색 페이지 표시 등 검색을 위한 별도 액션 없이 검색을 진행하기 위한 것이다.

반면 단계 130에서 어떠한 검색 옵션도 선택되지 않으면, 이는 사용자가 상기 어플리케이션을 이용한 정보 검색을 원하지 않는 것으로 해석되어 (단계 132) 종료 명령에 따라 어플리케이션의 실행은 종료된다. (단계 133)

한편 단계 150에서 전자 장치는 백그라운드에서 검색 어플리케이션을 실행하면서, 동시에 포어그라운드에서 다양한 다른 어플리케이션을 실행할 수 있다. 이 경우 포어그라운드 어플리케이션의 실행 화면이 단일 또는 멀티 레이어로 표시될 수 있다.

단계 155에서 전자 장치는 임의의 컨텐츠를 표시한 상태에서 관련된 상품 및/또는 서비스에 대한 정보 검색을 진행할 수 있다. 전자 장치의 리소스가 충분한 경우 직접 매칭 상품 및/또는 서비스를 판단할 수 있지만, 그렇지 않은 경우 전자 장치는 정보 검색을 수행하는 서비스 서버에게 쿼리를 전송하는 방식으로 검색을 수행할 수 있다.

예를 들어 웹페이지에 대한 검색 요청이 있는 경우, (즉, 웹브라우저가 실행되고 있는 상황에서 검색 요청이 수신되는 경우) 전자 장치는 표시된 웹 페이지의 URL 정보를 검색 요청 쿼리로 전송하거나, 또는 URL에서 텍스트, 이미지, 동영상 데이터를 추출하고, 추출한 데이터를 쿼리로 전송할 수 있다. 이때 URL 정보를 획득할 수 없거나, URL에서 텍스트, 이미지, 동영상 데이터를 추출할 수 없으면 웹페이지의 스크린샷을 획득하여 쿼리로 전송할 수 있다.

본 발명의 다른 실시예를 따르면, 웹브라우저 외의 다른 어플리케이션이 실행되고 있는 상태에서 검색 요청이 수신되면, 전자 장치는 스크린샷 및/또는 해당 페이지에서 업로드 가능한 데이터를 획득하여 검색 요청 쿼리로 서비스 서버에게 전송할 수 있다. 예를 들어 사진 뷰어 어플리케이션이 실행되고 있는 경우, 전자 장치는 쿼리로 사진 파일을 전송할 수 있다. 또 다른 예로 동영상 재생 어플리케이션이 실행되고 있는 경우, 전자 장치는 쿼리로 특정 시점의 스크린샷을 전송할 수도 있다.

이후 단계 160에서 전자 장치는 서비스 서버로부터 매칭 검색 정보를 수신할 있다. 예를 들어 서비스 서버는 쿼리에 포함된 이미지, 동영상 또는 텍스트를 추출하여 매칭 상품을 데이터베이스에서 검색할 수 있으며, 관련 쇼핑 정보를 제공할 수 있다. 서비스 서버가 상품의 매칭 여부를 판단하는 구체적인 예시는 첨부된 도면과 함께 후술된다.

한편 전자 장치는 매칭 쇼핑 정보를 수신하면 포어그라운드로 전환하여 이를 표시할 수 있다. (단계 165) 쇼핑 정보에는 관련 광고 정보, 매칭 상품/서비스의 가격 정보, 최저가 정보, 최저가 온라인 판매처, 유사 상품, 쿠폰, 및/또는 프로모션 정보를 포함할 수 있다. 나아가 상기 사용자의 검색 기록 로그를 이용하여 추천할 수 있는 다른 상품/서비스에 대한 정보도 포함될 수 있다.

예를 들어, 사용자가 꽃 이미지가 포함된 웹페이지를 열람하고 있는 경우, 본 발명의 실시예를 따르면 쇼핑 정보로 꽃배달 광고 리스트, 꽃꽃이 레슨 프로모션 정보, 및/또는 장미 축제 할인 쿠폰 정보가 표시될 수 있다.

또 다른 예로 사용자가 구두 이미지가 포함된 SNS를 열람하고 있는 경우, 본 발명의 실시예를 따르면 쇼핑 정보로 해당 구두와 동일한 브랜드의 다른 구두, 동일 또는 유사한 색상, 형태 및/또는 같은 계절에 착용하는 구두에 대한 추천 쇼핑 정보가 표시될 수 있다.

또 다른 예로 사용자가 장난감 이미지가 포함된 사진을 열람하고 있는 경우, 본 발명의 실시예를 따르면 쇼핑 정보로 장난감 이름, 제조사, 제조연도, 최저가 정보, 가격 변동 정보, 온라인 판매처, 구매후기, 사용 연령 및/또는 사용 방법 등에 대한 정보가 표시될 수 있다.

나아가 상기 정보는 텍스트, 이미지 및/또는 액션 스크립트 형태로 표시될 수 있으며, 이들 각각은 온라인 판매처와 연결되어 있을 수 있다. 나아가 상기 정보는 별도의 페이지로 표시되거나 또는 사용자가 열람하던 페이지에 해당 상품 근처에 쇼핑 정보 링크를 포함하는 아이콘으로 표시될 수도 있다. 나아가, 상기 정보는 열람하던 페이지에 오버레이하여 표시될 수도 있다.

도 2는 본 발명의 실시예에 따르는 검색 방법을 설명하기 위한 도면이다. 도 2를 설명함에 있어 앞서 설명한 도 1과 중복되는 부분은 생략하거나 간단하게 설명한다.

도 2의 실시예를 따르면, 사용자의 검색 요청이 있는 경우에 검색을 요청하는 쿼리가 전송된다. 상기 실시예는 검색 어플리케이션이 백그라운드에서 실행되면 알림 리스트 및/또는 공유 메뉴 리스트에 검색 아이콘이 표시되고, 사용자는 특정 페이지를 열람하다가, 알림 리스트 및/또는 공유 메뉴 리스트의 검색 아이콘을 선택하여 해당 페이지에 포함된 상품의 쇼핑 정보 검색을 요청하는 방식으로 구현될 수 있다.

보다 구체적으로 단계 210에서, 검색 옵션으로 상기 방식이 설정된 경우, 어플리케이션은 백그라운드로 전환되면서 (단계 220) 알림 리스트 및/또는 공유 메뉴 리스트에 쇼핑 정보 검색 메뉴가 생성될 수 있다.

특히 알림 리스트에 포함되는 경우, 본 기술의 취지상 상기 쇼핑 정보 검색 메뉴는 알림 리스트에 고정되는 것이 바람직하다. 즉, 사용자의 알림 해제 요청에도 불구하고 쇼핑 정보 검색 메뉴는 상기 어플리케이션이 백그라운드에서 실행되는 중에는 삭제되지 않을 수 있다. (단계 230)

사용자는 단계 240에서 전자 장치의 어플리케이션을 실행하면서 복수의 페이지, 컨텐츠, 및/또는 어플리케이션을 열람할 수 있다.

사용자가 특정 페이지를 열람하면서 관련된 쇼핑 정보 검색을 원하는 경우, 단계 250에서 사용자는 알림창을 호출하여 알림 리스트에 포함된 검색 아이콘을 선택하거나 또는 공유 메뉴를 호출하여 공유 리스트에 포함된 검색 아이콘을 선택할 수도 있다. 본 발명의 실시예를 따르면 검색 아이콘을 포함하는 알림창 또는 공유 메뉴는 종래 기술에 따라 호출될 수 있다. 예를 들어 알림창은 사용자가 열람하고 있는 페이지에 겹쳐서 표시되도록 상부 레이어 형태로 표시될 수 있으며, 검색 아이콘을 포함하여 어플리케이션이 제공하는 메뉴들을 포함할 수 있다. 나아가 상기 검색 아이콘은 열람하고 있는 페이지에 대한 검색을 요청하기 위한 메뉴이기만 하면 족하다. 이는 사용자에게 친숙한 UI를 이용하여 상품 검색의 직관성을 높이기 위한 것이다. 검색 아이콘이 표시되는 구체적인 사용자 인터페이스에 대한 설명은 첨부된 도면과 함께 후술된다.

전자 장치는 포어그라운드에서 실행하는 어플리케이션이 웹 브라우저인 경우, (단계 260) 웹 브라우저의 기록 로그를 포함하는 쿼리를 서비스 서버에게 전송할 수 있다. (단계 270) 상기 기록 로그에는 웹 브라우저의 브라우징 실행 히스토리가 포함될 수 있으며, 특히 가장 최근에 실행한 웹 페이지의 URL 정보, 즉 사용자가 검색 아이콘을 선택하기 직전에 열람한 웹 페이지의 URL정보를 쿼리로 전송할 수도 있다.

한편, 단계 270에서 전자 장치는 웹페이지의 URL에 포함된 이미지, 동영상, 텍스트 데이터를 추출하고, 추출한 데이터를 쿼리로 전송할 수도 있다. 나아가 URL, 텍스트, 이미지 또는 동영상 데이터를 추출할 수 없는 경우 스크린샷을 추출하여 쿼리로 전송할 수도 있다.

한편 본 발명의 다른 실시예를 따르면 전자 장치는 포어 그라운드에서 스크린 샷이 생성된 경우 (단계 261) 또는 포어그라운드에서 실행하는 어플리케이션이 사진 뷰어인 경우 (단계 262), 쿼리를 전송할 수도 있다. 특히 스크린 샷의 경우, 본 발명의 실시예를 따르면 스크린샷 자체를 쿼리로 전송할 수도 있지만 웹브라우저가 포어그라운드에서 실행되고 있는 경우라면, 스크린 샷이 아니라 기록로그를 추출하여 쿼리로 전송할 수도 있다.

예를 들어 동영상을 열람하던 사용자가 화면에 자주 등장하는 자동차 모델명이 궁금한 경우, 사용자는 자동차가 표시되는 시점에서 스크린샷을 생성하고, 알림창을 호출하여 상품 검색 아이콘을 생성할 수 있다. 상기 스크린 샷은 해당 기능에 매칭된 하드웨어 키 입력, 아이콘 터치 등의 사용자 제스쳐 또는 화면을 문지르거나 전자 장치를 흔드는 사용자 액션으로 생성될 수 있다.

또 다른 예로 대형 마트에서 쇼핑 중인 사용자가 진열되어 있는 전화기의 온라인 최저가가 궁금한 경우, 사용자는 전자 장치의 카메라 어플리케이션을 이용하여 전화기의 사진을 촬영하고, 사진을 표시한 상태에서 알림창을 호출하여 상품 검색 아이콘을 선택하는 방식으로 상품 검색을 요청할 수 있다. 또는 사용자는 상기 전화기의 사진을 촬영하지 않고 카메라 프리뷰 화면이 표시된 상태에서 공유 버튼, 촬영 버튼, 스크린샷 생성 제스쳐를 입력하여 상품 검색을 요청할 수도 있다.

전자 장치는 스크린 샷 또는 사진 등의 이미지, 이미지의 출처 URL 등을 쿼리로 전송할 수 있지만, (단계 275) 본 발명의 다른 실시예를 따르면 전자 장치는 이미지의 포함된 문자 및/또는 숫자 형상의 객체를 OCR (Optical Character Reading) 처리하여 (단계 272) 텍스트로 변환하여 텍스트 쿼리를 전송할 수도 있다. (단계 273)

한편 본 발명의 또 다른 실시예를 따르면, 전자 장치는 대상 스크린 샷 또는 사진이 이미지 검색 가능한지 여부를 먼저 판단하고(단계 274), 검색 가능한 경우에만 이미지 쿼리를 전송할 수도 있다. (단계 275)

예를 들어 전자 장치는 해당 이미지에서 특징 정보를 추출할 수 있는 수준이 미리 설정된 범위 이상인 경우 이미지 검색이 가능한 것으로 판단할 수 있다. 보다 구체적으로, 전자 장치는 해당 이미지에서 이미지들 사이의 동일 유사 여부를 판단하는데 사용할 수 있는 특징적인 영역 및/또는 이미지의 특징들을 벡터값으로 표현한 특징 기술자를 추출하고, 추출한 특징 정보가 미리 설정된 범위 내인 경우 이미지 검색이 가능한 것으로 판단할 수 있다.

도 2에서 단계 272 내지 275는 서버가 쿼리를 검색하는데 따르는 부하를 줄이기 위한 것이며, 임의적인 단계로서 생략될 수 있다. 이 경우 전자 장치는 사용자가 별도로 스크린 샷을 생성하는지와 무관하게, 포어그라운드 어플리케이션의 스크린 샷을 추출하여 이를 쿼리로 전송할 수도 있다. (단계 268)

이후 쿼리에 대한 응답으로 매칭 객체에 대한 쇼핑 정보를 서비스 서버로부터 수신한 경우, 단계 280에서 전자 장치는 쇼핑 정보 검색 어플리케이션을 포어 그라운드로 전환하고, 단계 290에서 쇼핑 정보를 표시할 수 있다.

도 3은 본 발명의 실시예에 따라 검색 아이콘을 표시하는 사용자 인터페이스의 예시를 설명하기 위한 도면이다.

도 3a는 알림창의 알림 리스트에 본원발명의 실시예를 따르는 검색 아이콘(310)이 표시되는 예시이다.

예를 들어 사용자는 임의의 페이지를 열람하고 있는 상태에서, 디스플레이의 상단 엣지부터 시작하는 드래그를 입력하여 도 3a에 도시된 것과 같은 알림 창을 호출할 수 있으며, 알림 리스트에 표시된 검색 아이콘 310을 선택하는 방식으로 열람하고 있는 페이지에 대한 검색을 요청할 수 있다.

본 발명의 다른 실시예를 따르면, 사용자는 알림창을 호출하기 위한 별도의 제스처 없이 검색 메뉴가 포함된 알림창을 열람할 수도 있다. 예를 들어 사용자 디바이스에 임의의 페이지가 표시되고 있는 상태에서, 알림창은 상기 페이지의 상부 레이어로 임의의 영역에 고정된 형태로 표시될 수 있다. 이때 상기 알림창은 사용자가 열람 중인 페이지 상단, 하단, 또는 미리 특정된 임의의 영역에 고정되어 표시될 수 있으며, 열람 중인 페이지의 스크롤과 무관하게 고정되어 표시될 수 있다.

사용자는 상기 알림창에 포함된 검색 메뉴를 선택하는 방식으로 열람 중인 페이지에 포함된 상품에 대한 검색을 요청할 수 있다.

특히 알림 리스트에 검색 아이콘을 포함시키는 경우, 본 기술의 취지상 상기 쇼핑 정보 검색 메뉴는 알림 리스트에 고정되는 것이 바람직하다. 즉, 사용자의 알림 해제 요청에도 불구하고 쇼핑 정보 검색 메뉴는 상기 어플리케이션이 백그라운드에서 실행되는 중에는 삭제되지 않을 수 있다.

도 3b는 공유 리스트에 본원 발명의 실시예를 따르는 검색 아이콘(320)이 표시되는 예시이다.

예를 들어 사용자는 임의의 페이지를 열람하고 있는 상태에서 공유 메뉴를 선택하여 도 3b에 도시된 것과 같은 공유 리스트를 호출할 수 있으며, 공유 리스트에 표시된 검색 아이콘을 선택하는 방식으로 열람하고 있는 페이지의 검색을 요청할 수 있다.

상기 공유 메뉴는 디바이스에 설치된 어플리케이션을 사용자가 실행시킬 수 있는 메뉴를 의미하며, 공유 메뉴, 공유 리스트, 공유 창 등 그 명칭에 한정하여 해석될 수 없다. 즉, 본 발명의 실시예를 따르는 사용자 디바이스는 웹브라우저, 이미지 뷰어 등 임의의 어플리케이션이 실행되고 있는 상태에서 다른 어플리케이션을 실행할 수 있는 메뉴를 통해 상품 검색 요청을 수신할 수 있다.

도 4는 본 발명의 다른 실시예에 따르는 검색 방법을 설명하기 위한 도면이다. 도 4를 설명함에 있어 앞서 설명한 도 2와 중복되는 부분은 생략하거나 간단하게 설명한다.

도 4의 예에서 전자 장치는 특정 페이지에 대한 검색이 가능한지 여부를 먼저 판단하고, 검색 가능한 경우에만 검색 아이콘을 표시할 수 있다. 상기 실시예를 따르면 상품 검색이 가능한 경우 이 사실을 사용자에게 검색 아이콘 등을 이용해 알리고 사용자가 아이콘을 선택할 시에만 쿼리를 전송하기 때문에 서버에서 쿼리를 전송하고 처리하는데 소요되는 리소스가 경감되는 효과가 있다.

검색 옵션으로 상기 방식이 설정된 경우 (단계 405), 검색 어플리케이션은 백그라운드로 전환될 수 있으며 (단계 410), 사용자는 단계 420에서 다른 어플리케이션을 실행하면서 여러 페이지를 열람할 수 있다.

본 발명의 실시예를 따르면 페이지에 대한 검색이 가능한 경우에만 검색 아이콘이 표시될 수 있다. (단계 440, 450)

예를 들어 전자 장치는 표시한 페이지에 포함된 이미지의 개수, 상기 이미지 각각의 크기, 상기 이미지 각각의 형태, 상기 페이지의 텍스트, 이미지 추출 가능 여부 및/또는 URL의 형태, 주소 등을 이용하여 상기 페이지에 포함된 컨텐츠에 대한 검색이 가능한지 여부를 판단하고 가능한 경우에만 검색 아이콘을 해당 페이지에 표시할 수 있다.

예를 들어 전자 장치는 해당 이미지에서 특징 정보를 추출할 수 있는 개수가 미리 설정된 범위 내인 경우 이미지 검색이 가능한 것으로 판단하여 검색 아이콘을 표시할 수 있다. 보다 구체적으로, 전자 장치는 해당 이미지에서 이미지들 사이의 동일 유사 여부를 판단하는데 사용할 수 있는 특징적인 영역 및/또는 이미지의 특징들을 벡터값으로 표현한 특징 기술자를 추출하고, 추출한 특징 정보가 미리 설정된 범위 내인 경우 이미지 검색이 가능한 것으로 판단할 것이다.

또 다른 예로 전자 장치는 포어그라운드에서 실행되고 있는 어플리케이션이 웹브라우저인 경우 기록로그를 확인하여, 열람 중인 웹페이지의 메인 URL, 하위 URL, 하위 URL의 파라미터 중 하나 이상이 미리 설정한 타켓에 포함되면 검색 가능한 것으로 판단할 수 있다. 예를 들어 전자 장치는 웹브라우저가 미리 설정된 타겟 페이지에 접속한 경우 검색이 가능한 것으로 판단하고 검색 아이콘을 표시할 수 있다. 상기 타겟 페이지로는 온라인 쇼핑 사이트의 상품 정보 상세 페이지 등을 예시할 수 있다.

검색 아이콘을 표시하는 구체적인 사용자 인터페이스에 대한 설명은 첨부된 도면과 함께 후술된다.

사용자가 표시된 검색 아이콘을 선택하면, 해당 페이지에 대한 쿼리가 전송될 수 있다. (단계 460, 470) 나아가 쿼리에 대한 응답으로 매칭 쇼핑 정보를 수신하면 상품 검색 어플리케이션은 포어그라운드로 전환되고 수신한 매칭 쇼핑 정보를 표시할 수 있다. (단계 480, 490) 단계 470내지 단계 490은 앞서 설명한 도 2의 단계 260 내지 290과 실질적으로 동일하기 때문에 간략하게 설명한다.

한편 상기 실시예에서는 페이지에 포함된 상품에 대한 검색이 가능한지 여부를 확인하는 절차가 필수적이다. 상기 절차에 소요되는 리소스를 절감하기 위하여, 전자 장치는 웹브라우저의 실행 여부를 주기적으로 확인하고, 웹브라우저가 실행되고 있는 경우 웹브라우저의 기록로그를 주기적으로 확인하여, 웹 브라우저가 갱신되는 경우에만 검색 가능 여부를 확인할 수 있다. (단계 425)

보다 구체적으로, 본 발명의 실시예를 따르는 검색 어플리케이션은 백그라운드에서 웹브라우저의 실행 여부를 주기적으로 확인하고, 웹 브라우저가 실행 중인 경우, 웹 브라우저의 기록로그를 주기적으로 확인할 수 있다. 이와 같은 방식으로 모든 웹 페이지에 대해 검색 가능 여부를 확인하지 않고, 웹 브라우저가 갱신되는 경우에만 검색 가능 여부를 확인할 수 있다.

도 5은 도 4에서 설명한 검색 방식에 따라 검색 아이콘을 표시하는 사용자 인터페이스의 예시를 설명하기 위한 도면이다.

도 5a에 도시된 바와 같이, 본 발명의 실시예를 따르면 임의의 페이지에 많은 상품들이 표시되고 있더라도, 해당 페이지의 형식이 상품 검색이 적합하지 않으면 검색 아이콘은 표시되지 않는다.

그러나 도 5a에서 사용자가 특정 객체를 선택하여 도 5b와 같은 해당 상품 상세 설명 페이지가 표시되면, 해당 페이지의 형식이 검색에 적합한 경우 검색 아이콘(510)이 표시될 수 있다.

도 5는 검색 아이콘 (510)이 사용자가 열람 중인 상품 상세 설명 페이지에 겹쳐서 표시된 것으로 도시하고 있지만 이는 예시에 불과하다. 본 발명의 실시예를 따르는 검색 아이콘 (510)은 사용자 열람 중인 페이지의 하단, 상단 또는 임의의 영역에 표시될 수 있는 것은 물론이고, 사용자 열람 중인 페이지의 상부 레이어로 제공되는 알림 창, 공유 창에 포함되는 형태로 표시될 수도 있다.

이와 같은 방식을 따르면, 사용자 입장에서는 열람 중이던 페이지에서 검색 아이콘이 표시되면, 해당 상품에 대한 검색이 가능한 것으로 인식할 수 있으며 또한 검색 아이콘만 선택하면 즉시 쇼핑 정보가 표시되기 때문에 상기 아이콘은 쇼핑 정보 페이지 호출을 위한 링크로 인식될 수도 있다.

도 6는 본 발명의 다른 실시예에 따르는 검색 방법을 설명하기 위한 도면이다. 도 6를 설명함에 있어 앞서 설명한 도 2 내지 도 4와 중복되는 부분은 생략하거나 간단하게 설명한다.

도 6의 검색 방법에 따르면 검색을 요청하는 어떠한 형태의 사용자 입력 없이, 표시된 페이지에 대한 쇼핑 정보 검색을 위한 쿼리가 자동으로 전송될 수 있다.

검색 옵션으로 상기 방식이 설정된 경우 (단계 610), 검색 어플리케이션은 백그라운드로 전환될 수 있으며 (단계 620), 사용자는 단계 630에서 다른 어플리케이션을 실행하면서 여러 페이지를 열람할 수 있다.

예를 들어 포어그라운드에서 실행되는 어플리케이션이 웹 브라우저인 경우, 웹 페이지에 대한 URL이 쿼리로 전송되고 (단계 650), 서비스 서버는 해당 URL에서 제공하는 데이터를 이용하여 매칭 상품 및/또는 서비스를 판단할 수 있다.

이때 서비스 서버가 쇼핑 정보를 제공하는 경우, 단계 660에서 검색 어플리케이션은 포어그라운드로 전환되며 단계 670에서 쇼핑 정보가 표시될 수 있다. 나아가 본 발명의 실시예를 따르면 상기 쇼핑 정보는 화면 전환 없이, 쿼리를 전송한 페이지에 오버레이하여 표시될 수도 있다.

이때 서비스 서버로부터 쇼핑 정보를 수신한 경우라도 사용자가 쇼핑 정보 표시를 원하는 경우에만 이를 표시하도록 설정할 수 있다. 단계 650내지 단계 670은 앞서 설명한 도 2의 단계 260 내지 290과 실질적으로 동일하기 때문에 간략하게 설명한다.

한편 상기 실시예에서는 자동으로 쿼리가 전송되기 때문에, 웹 브라우저가 갱신되는 경우에만 쿼리를 전송하도록 설정할 수 있다.

보다 구체적으로, 본 발명의 실시예를 따르는 검색 어플리케이션은 백그라운드에서 웹브라우저의 실행 여부를 주기적으로 확인하고, 웹 브라우저가 실행 중인 경우, 웹 브라우저의 기록로그를 주기적으로 확인할 수 있다. (단계 640)

이와 같은 방식으로 모든 웹 페이지에 대해 검색 가능 여부를 확인하지 않고, 웹 브라우저가 갱신되는 경우에만 쿼리를 전송할 수 있다. (단계 650) 나아가 쿼리에 대한 응답으로 매칭 쇼핑 정보를 수신하고 이를 표시하는 경우, (단계 670) 브라우저 기록로그가 변경되거나 쿼리를 전송한 웹 페이지에서 이전 페이지로 이동되면, 매칭 쇼핑 정보 표시는 중단될 수 있다.

도 7은 본 발명의 실시예를 따르는 서비스 서버에서 검색 정보를 제공하는 예시를 설명하기 위한 도면이다.

단계 710에서 쇼핑 정보 제공 서버는 쇼핑 정보 데이터베이스를 구축할 수 있다. 상기 쇼핑 정보에는 상품명, 다양한 각도와 사이즈의 상품 이미지, 사용 방법, 구매 후기, 제조사, 판매처, 가격 정보, 광고 정보, 쿠폰 정보 및/또는 프로모션 정보 등이 포함될 수 있으며, 유사 상품과 사용자의 기록 로그를 이용한 추천 상품과의 연결 역시 포함될 수 있다. 이러한 쇼핑 정보를 다양한 경로로 수집하고 데이터베이스를 설계 및 저장하는 방식은 종래 기술을 따를 수 있다.

나아가 서비스 서버는 데이터베이스에 저장된 상품 이미지들의 특징 정보를 생성하여 데이터베이스로 구축할 수 있다. 예를 들어 서비스 서버는 상품 이미지의 특징 영역을 추출하고, 특징 기술자를 계산하며, 검색의 효율성을 위하여 이미지들의 특징 정보를 적어도 하나 이상의 범주에 대해 인덱싱indexing)할 수 있다.

단계 720에서 서비스 서버는 전자 장치로부터 쿼리를 수신하고, 단계 730에서 쿼리에 포함된 데이터를 변환할 수 있다.

예를 들어 쿼리에 URL 정보가 포함되어 있는 경우, 서비스 서버는 상기 URL에서 제공하는 이미지, 동영상 및/또는 텍스트 데이터를 추출하고 상품에 대한 것만 선별할 수 있다.

또는 쿼리에 이미지 데이터가 포함되어 있는 경우, 서비스 서버는 쿼리 이미지에서 이미지의 고유값 (해쉬정보, 헤더정보 등)을 추출하거나 및/또는 이미지의 특징 정보를 추출하고 이미지 검색에 적합한 형태로 가공할 수 있다. 예를 들어 서비스 서버는 데이터베이스 이미지의 특징 기술자를 인덱싱한 것과 동일한 기준으로, 쿼리 이미지의 특징 기술자를 변환할 수 있다. 이는 이후의 검색 처리를 빠르고 효율적으로 수행하기 위한 것이다.

이후 단계 740에서 서비스 서버는 쿼리 데이터와 데이터베이스에 포함된 상품 및/또는 서비스와 매칭 여부를 판단할 수 있다.

예를 들어 서비스 서버는 데이터베이스 이미지의 특징 기술자들의 집합을 검색하여, 데이터베이스 이미지의 특징 기술자 벡터 값과 쿼리 이미지의 특징 기술자 벡터 값 사이의 거리가 미리 설정된 임계값 이내인지 여부를 판단할 수 있다. 나아가 이미지의 특징 영역 또는 특징 기술자의 위치 정보, 스케일, 회전 정도 및 분포 정보 등 특징 정보의 속성을 이용하여 쿼리 이미지와 데이터 베이스 이미지의 일치 정도를 판단하고 (Geometric Consistency), 일치 정도가 미리 설정된 임계값을 상회하는지 여부를 판단하여 매칭 상품 및/서비스를 검색할 수도 있다.

도 7에 별도로 표시된 것은 아니지만, 서비스 서버는 도 7의 일련의 과정에 딥러닝 또는 머신러닝을 적용할 수도 있다.

예를 들어 서비스 서버는 임의의 이미지들로부터 추출된 특징 정보를 학습하여 상기 범주를 생성하고, 쿼리 이미지의 특징이 생성된 특정 범주에 해당되는 것으로 판단되면, 해당 범주에 속하는 정보와 매칭되는 것으로 판단할 수도 있다.

이후 단계 750에서 서비스 서버는 매칭 상품 및/또는 서비스에 대한 쇼핑 정보를 제공할 수 있다.

도 8은 본 발명의 또 다른 실시예에 따르는 검색 방법을 설명하기 위한 도면이다. 도 8의 실시예를 따르면, 전자 장치는 쇼핑 정보 검색을 위한 사용자 인터페이스에 텍스트 검색, 음성 검색, 카메라 검색 등 보다 다양한 옵션을 제공할 수 있다.

앞서 설명한 도 1 내지 7에 대한 실시예는 전자 장치가 컨텐츠를 표시하고 있는 상태에서 표시된 컨텐츠에 대한 검색을 요청하는 방식으로 구현된다면, 도 8은 사용자가 검색을 요청한 후 검색 대상 컨텐츠를 불러오는 방식으로 구현되는 예시에 대한 것이라고 할 수 있다.

단계 810에서 전자 장치는 본 발명의 실시예를 따르는 쇼핑 정보 검색 어플리케이션을 실행할 수 있으며, 사용자의 실행 종료 명령에도 불구하고 백그라운드에서 실행될 수 있다.

단계 820에서 전자 장치는 알림 리스트 및/또는 공유 메뉴 리스트에 쇼핑 정보 검색 메뉴가 생성할 수 있다. 특히 알림 리스트에 포함시키는 경우, 본 기술의 취지상 상기 쇼핑 정보 검색 메뉴는 알림 리스트에 고정되는 것이 바람직하다. 즉, 사용자의 알림 해제 요청에도 불구하고 쇼핑 정보 검색 메뉴는 상기 어플리케이션이 백그라운드에서 실행되는 중에는 삭제되지 않을 수 있다.

상기 쇼핑 정보 검색 메뉴는 텍스트 검색, 음성 검색 및/또는 카메라 검색 옵션을 포함할 수 있다. 본 발명의 실시예에 따르는 검색 메뉴에 대한 사용자 인터페이스의 구체적인 예시는 첨부된 도면과 함께 후술된다.

단계 830에서 사용자가 텍스트 검색을 선택한 경우, 전자 장치는 텍스트 입력 기능을 실행하여 텍스트를 수신하고 이를 쿼리로 전송할 수 있다. (단계 847)

예를 들어, 사용자가 알림 리스트에 고정되어 있는 쇼핑 정보 검색 메뉴 중, 텍스트 검색창에 직접 텍스트를 입력하면, 쇼핑 정보 검색 어플리케이션은 백그라운드에서 입력받은 텍스트를 쿼리로 전송할 수 있다.

또 다른 예로 사용자가 상기 쇼핑 정보 검색 메뉴 중, 텍스트 검색창을 선택하면, 본 발명의 실시예를 따르는 쇼핑 정보 어플리케이션이 백그라운드에서 포어그라운드 실행으로 전환되고, 어플리케이션의 텍스트 입력 창이 표시될 수도 있다. 이후 사용자가 어플리케이션의 텍스트 입력 창에 텍스트를 입력하면, 어플리케이션은 입력받은 텍스트를 쿼리로 전송할 수 있다.

한편 단계 840에서 사용자가 음성 검색을 선택한 경우, 전자 장치는 음성 입력 기능을 실행하여 음성을 수신하고, 이를 텍스트로 변환하여 (단계 845) 텍스트 쿼리를 전송할 수 있다. (단계 847)

예를 들어, 사용자가 알림 리스트에 고정되어 있는 쇼핑 정보 검색 메뉴 중, 음성 검색창을 선택하면, 마이크 기능이 활성화되고, 사용자는 마이크를 음성을 입력할 수 있다. 백그라운드에서 실행되고 있는 쇼핑 정보 검색 어플리케이션은 입력 받은 음성을 텍스트로 변환하고 변환한 텍스트를 쿼리로 전송할 수 있다.

또 다른 예로 사용자가 상기 쇼핑 정보 검색 메뉴 중, 음성 검색창을 선택하면, 본 발명의 실시예를 따르는 쇼핑 정보 어플리케이션이 백그라운드에서 포어그라운드 실행으로 전환되고, 마이크 기능이 활성화될 수도 있다. 이후 포어그라운드에서 실행되고 있는 쇼핑 정보 검색 어플리케이션은 입력 받은 음성을 텍스트로 변환하고 변환한 텍스트를 쿼리로 전송할 수 있다.

한편, 단계 850에서 사용자가 카메라 검색을 선택한 경우, 전자 장치는 카메라 기능을 실행하여 프리뷰를 표시할 수 있다. (단계 853)

이때 전자 장치는 프리뷰 영상 중 이미지 검색이 가능한지 여부를 판단하여 (단계 856) 검색 대상을 특정할 수 있다. (단계 858) 특히 본 발명의 실시예에 따르면 전자 장치는 프리뷰 화면에 대한 캡처 이미지를 생성했는지와 무관하게 검색 대상을 특정할 수 있다.

도 8은 단계 856 이후에 단계 858이 수행되는 것으로 예시되어 있지만 본 발명은 이에 국한되지 않는다. 즉, 단계 856 및 단계 588은 각각 진행되거나 순서가 바뀌어서 진행되어도 무방하다.

예를 들어 전자 장치는 가속도 센서, 조도 센서 등의 센서 값을 참고하여 안정된 촬영 환경을 예상할 수 있는 경우에 이미지 검색이 가능한 것으로 하고, 프리뷰 이미지를 별도로 생성하지 않고, 해당 시점의 프리뷰 이미지에 대한 쿼리를 전송할 수도 있다.

또 다른 예로 전자 장치는 촬영 버튼이 입력되거나 또는 미리 설정된 주기로 해당 시점의 프리뷰 화면을 캡처하고, 캡처한 화면의 이미지 검색 가능성을 판단하여 가능한 경우에만 이미지 쿼리를 전송할 수도 있다.

예를 들어 전자 장치는 프리뷰 화면에서 특징 정보를 추출할 수 있는 개수가 미리 설정된 범위 내인 경우 이미지 검색이 가능한 것으로 판단할 수 있다. 보다 구체적으로 전자 장치는 특정 시점의 프리뷰 화면 또는 캡처한 프리뷰 화면에서 이미지들 사이의 동일 유사 여부를 판단하는데 사용할 수 있는 특징적인 영역 및/또는 이미지의 특징들을 벡터값으로 표현한 특징 기술자를 추출하고, 추출한 특징 정보가 미리 설정된 범위 내인 경우 이미지 검색이 가능한 것으로 판단할 수 있다.

한편, 전자 장치는 캡처한 이미지에 포함된 문자 및/또는 숫자 형상의 객체를 영상 처리하여 텍스트로 변환하여 텍스트 쿼리를 전송할 수도 있다. (단계 860, 866, 868) 텍스트 쿼리와 함께 이미지 쿼리도 함께 전송할 수도 있다.

도 8의 단계 856내지 866은 서버가 쿼리를 검색하는데 따르는 부하를 줄이기 위한 것이며, 임의적인 단계로서 생략될 수 있다.

이후 쿼리에 대한 응답으로 매칭 객체에 대한 쇼핑 정보를 서비스 서버로부터 수신한 경우, 단계870 에서 전자 장치는 프리뷰 화면에 상기 쇼핑 정보와 링크하는 아이콘을 오버레이하여 표시할 수 있다. 상기 링크 아이콘은 이미지 및/또는 매칭 상품, 서비스 또는 광고에 대한 키워드 형태를 포함하는 개념이다.

이때 사용자가 링크 아이콘을 선택하는 경우, 어플리케이션은 포어그라운드로 전환하여 매칭 쇼핑 정보를 표시할 수 있다. (단계 880, 890) 쇼핑 정보에는 관련 광고 정보, 매칭 상품/서비스의 가격 정보, 최저가 정보, 최저가 온라인 판매처, 유사 상품, 쿠폰, 및/또는 프로모션 정보를 포함할 수 있다. 나아가 상기 사용자의 검색 기록 로그를 이용하여 추천할 수 있는 다른 상품/서비스에 대한 정보도 포함될 수 있다.

도 9는 앞서 설명한 도 8의 실시예에 따라 알림 리스트에 검색 메뉴를 표시하고, 링크 아이콘을 프리뷰 화면에 오버레이하여 표시하는 사용자 인터페이스의 예시를 설명하기 위한 도면이다.

예를 들어 사용자는 디스플레이의 상단 엣지부터 시작하는 드래그를 입력하여 도 9A에 도시된 것과 같은 알림 창을 호출할 수 있으며, 알림 리스트에 표시된 검색 메뉴 (905)를 선택하는 방식으로 검색 방식을 선택할 수 있다. 상기 쇼핑 정보 검색 메뉴는 텍스트 검색(910), 음성 검색(920) 및/또는 카메라 검색(930) 옵션을 포함할 수 있다.

예를 들어 사용자가 카메라 옵션을 선택하는 경우, 전자 장치는 카메라 기능을 호출하고 도 9B에 도시된 것과 같은 프리뷰 영상을 표시할 수 있다. 도 9B는 패션 잡지책의 특정 페이지를 카메라가 촬영하고 있는 예시이다. 이때 가속도 센서, 조도 센서 등의 센서 값을 참고하여 안정된 촬영 환경을 예상할 수 있는 경우에, 전자 장치는 해당 프리뷰 화면에 대한 쿼리를 전송할 수 있다.

도 9B의 예에서 프리뷰 이미지는 936 및 932 부분으로 구분하여 식별될 수 있다. 특히 932 부분이 문자 및/또는 숫자 형상의 객체인 경우, 본 발명의 실시예를 따르면 전자 장치는 932 부분을 OCR 처리하여 텍스트를 추출할 수 있다. 이 경우 전자 장치는 936 부분에 대한 이미지 쿼리와 932 부분에 대한 텍스트 쿼리를 함께 또는 각각 전송할 수 있다.

이후 쿼리에 대한 응답으로 매칭 객체에 대한 쇼핑 정보를 서비스 서버로부터 수신한 경우, 도 9C에 도시된 바와 같이 해당 프리뷰 화면에 매칭 쇼핑 정보와 링크하는 아이콘을 오버레이하여 표시할 수 있다. 도 9C의 예에서 링크 아이콘은 940과 같은 매칭 상품의 별칭, 960과 같은 유행 정보, 970과 같은 할인 정보, 980과 같은 유사 상품 정보, 950과 같은 관련 광고 정보에 대한 키워드로 표시되고 있다.

이후 사용자가 링크 아이콘을 선택하는 경우, 어플리케이션은 포어그라운드로 전환하여 보다 구체적인 매칭 쇼핑 정보를 표시할 것이다.

.

본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

Claims (5)

1. 전자 장치에서 쇼핑 정보를 표시하는 방법에 있어서,
   상기 전자 장치가, 알림 리스트에 쇼핑 정보 검색 메뉴를 고정하여 표시하는 단계;
   상기 전자 장치가, 상기 쇼핑 정보 검색 메뉴 중 이미지 검색에 대한 사용자 요청을 수신하면, 카메라 기능을 실행하고 카메라 프리뷰 영상에 대한 캡처 이미지를 추출하거나 또는 해당 시점에 표시된 화면에 대한 스크린 샷을 생성하는 단계;
   상기 캡처 이미지 또는 상기 스크린 샷에 포함된 문자 또는 숫자 형상의 객체를 구별하여 텍스트로 변환하고, 상기 변환한 텍스트, 상기 캡처 이미지, 또는 상기 스크린 샷 중 적어도 하나 이상을 쿼리로 전송하는 단계; 및
   상기 전자 장치가, 상기 쿼리에 대한 쇼핑 정보를 수신하면, 화면을 전환하여 매칭 쇼핑 정보를 표시하거나 상기 쇼핑 정보의 링크를 해당 시점에 표시된 화면에오버레이하여 표시하는 단계를 포함하는 것을 특징으로 하는 쇼핑 정보 표시 방법.
2. 제 1항에 있어서,
   상기 쇼핑 정보 검색 메뉴를 표시하는 단계는,
   상기 전자 장치가, 상기 알림 리스트에 적어도 하나 이상의 검색 옵션을 포함하는 쇼핑 정보 검색 메뉴를 고정하여 표시하는 단계이며,
   상기 전자 장치가, 상기 쇼핑 정보 검색 메뉴 중 텍스트 검색에 대한 사용자 요청을 수신하면, 텍스트 입력 기능을 실행하고, 수신한 텍스트에 대한 쇼핑 정보 검색 요청 쿼리를 전송하는 단계; 및
   상기 전자 장치가, 상기 쇼핑 정보 검색 메뉴 중 음성 검색에 대한 사용자 요청을 수신하면, 음성 입력 기능을 실행하고, 수신한 음성을 텍스트로 변환하여, 변환한 텍스트에 대한 쇼핑 정보 검색 요청 쿼리를 전송하는 단계를 더 포함하는 것을 특징으로 하는 쇼핑 정보 표시 방법.
3. 전자 장치에서, 쇼핑 정보를 표시하는 처리를 수행하기 위하여 컴퓨터 판독가능한 저장 매체에 기록된 컴퓨터 프로그램에 있어서,
   알림 리스트에 쇼핑 정보 검색 메뉴를 고정하여 표시하는 기능;
   상기 쇼핑 정보 검색 메뉴 중 카메라 검색에 대한 사용자 요청을 수신하면, 카메라 기능을 실행하고 카메라 프리뷰 영상을 표시하는 기능;
   해당 시점의 프리뷰 영상에 대한 캡처 이미지를 추출하는 기능;
   상기 캡처 이미지에 포함된 문자 또는 숫자 형상의 객체를 구별하여 텍스트로 변환하고, 상기 변환한 텍스트, 상기 캡처 이미지 중 적어도 하나 이상을 쿼리로 전송하는 기능; 및
   상기 쿼리에 대한 쇼핑 정보를 수신하면, 화면을 전환하거나 상기 쇼핑 정보의 링크를 상기 프리뷰 영상에 오버레이하여 표시하는 기능을 수행하는 것을 특징으로 하는 컴퓨터 프로그램.
4. 쇼핑 정보를 표시하는 전자 장치에 있어서, 사용자 인터페이스를 표시하는 표시부; 및
   알림 리스트에 쇼핑 정보 검색 메뉴를 고정하여 표시하고, 상기 쇼핑 정보 검색 메뉴 중 카메라 검색에 대한 사용자 요청을 수신하면, 카메라 기능을 실행하고 카메라 프리뷰 영상을 표시하도록 제어하고, 해당 시점의 프리뷰 영상에 대한 캡처 이미지를 추출하며, 상기 캡처 이미지에 포함된 문자 또는 숫자 형상의 객체를 구별하여 텍스트로 변환하고, 상기 변환한 텍스트, 상기 캡처 이미지 중 적어도 하나 이상을 쿼리로 전송하고, 상기 쿼리에 대한 쇼핑 정보를 수신하면, 화면을 전환하거나 상기 쇼핑 정보의 링크를 상기 프리뷰 영상에 오버레이하여 표시하도록 제어하는 제어부를 포함하는 것을 특징으로 하는 전자 장치.
5. 서버가 클라이언트에 쇼핑 정보를 제공하는 방법에 있어서,
   상기 서버가, 복수의 상품에 대한 데이터베이스를 생성하는 단계;
   상기 서버가, 상기 클라이언트로부터 쿼리 이미지 및 상기 쿼리 이미지에 포함된 문자 또는 숫자 형상의 객체를 구별하여 변환한 텍스트를 수신하면, 상기 텍스트를 키워드로 이용하고, 상기 쿼리 이미지와 유사도를 기준으로 상기 쿼리와 매칭되는 상품 또는 서비스를 판단하는 단계; 및
   상기 서버가, 상기 매칭 상품 또는 서비스에 대한 검색 정보를 상기 클라이언트에게 제공하는 단계를 포함하는 것을 특징으로 하는 쇼핑 정보 제공 방법.

Images