KR20200023094A - 간편 이미지 검색 방법 및 이를 지원하는 서비스 장치 - Google Patents

간편 이미지 검색 방법 및 이를 지원하는 서비스 장치 Download PDF

Info

Publication number
KR20200023094A
KR20200023094A KR1020180099480A KR20180099480A KR20200023094A KR 20200023094 A KR20200023094 A KR 20200023094A KR 1020180099480 A KR1020180099480 A KR 1020180099480A KR 20180099480 A KR20180099480 A KR 20180099480A KR 20200023094 A KR20200023094 A KR 20200023094A
Authority
KR
South Korea
Prior art keywords
image
search
image content
server
user terminal
Prior art date
Application number
KR1020180099480A
Other languages
English (en)
Inventor
김기현
김하윤
Original Assignee
십일번가 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 십일번가 주식회사 filed Critical 십일번가 주식회사
Priority to KR1020180099480A priority Critical patent/KR20200023094A/ko
Publication of KR20200023094A publication Critical patent/KR20200023094A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0623—Item investigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces

Abstract

본 발명은 간편 이미지 검색 방법 및 이를 지원하는 서비스 장치를 개시한다. 상기 서비스 장치는 서버 통신 회로 및 상기 서버 통신 회로와 기능적으로 연결되는 서버 프로세서를 포함할 수 있다. 상기 서버 프로세서는 상기 서버 통신 회로를 기반으로 사용자 단말과 통신 채널을 형성하고, 상기 사용자 단말로부터 특정 영상 컨텐츠를 지시하는 링크를 수신하고, 상기 링크와 관련된 영상 컨텐츠 서버에 연결하고, 상기 영상 컨텐츠 서버로부터 상기 링크에 대응하는 영상 컨텐츠의 적어도 일부를 수신하고, 상기 영상 컨텐츠의 적어도 일부로부터 적어도 하나의 검색용 객체를 추출하고, 상기 추출된 검색용 객체를 기반으로 이미지 검색을 수행하고, 상기 이미지 검색 결과를 상기 사용자 단말에 제공하도록 설정될 수 있다.

Description

간편 이미지 검색 방법 및 이를 지원하는 서비스 장치{Method of simple image searching and service device thereof}
본 발명은 이미지 검색에 있어서, 사용자가 검색하고자 하는 이미지 획득을 보다 간편하고 용이하게 할 수 있는 간편 이미지 검색 운용 방법 및 이를 지원하는 서비스 장치에 관한 것이다.
인터넷 사용이 보편화되면서 사용자들은 인터넷 검색을 통하여 다양한 정보를 획득할 수 있게 되었다. 즉, 사용자들은 인터넷에의 접속이 가능한 개인용 컴퓨터 등의 단말 장치를 통해 인터넷 검색 사이트에 접속한 후, 뉴스, 지식, 게임, 커뮤니티 등과 관련된 각종 컨텐츠를 검색할 수 있게 되었다.
한편, 통신 기술의 발달 및 저장 장치의 대용량화에 따라, 인터넷 상에는 텍스트 형식의 문서뿐만 아니라, 사진, 동영상 등과 같은 이미지 데이터를 포함하는 문서들의 비율이 급격히 증가하게 되었는데, 근래에 급격히 확산되고 있는 개인 블로그 문화의 영향으로 이미지 데이터의 증가 속도가 더욱 심화되고 있다. 이에 따라, 인터넷 상에 다양한 형태로 저장된 이미지 데이터에 대한 검색 수요가 급증하고 있다.
그러나, 종래 이미지 데이터 검색 방식은 단순히, 사용자가 카메라를 이용하여 획득한 이미지 등을 제공할 경우, 해당 이미지를 기반으로 검색 결과를 제공할 수 있도록 구성되어 있었기 때문에, 다양한 이미지 검색 기능을 운용하는데 한계가 있었다.
미국 등록 특허 7982738호 (명칭: Interactive montages of sprites for indexing and summarizing video)
본 발명은 이미지 검색 과정에서 획득한 영상 컨텐츠의 링크 정보를 기반으로 이미지 검색을 수행하고 그에 따른 검색 결과를 제공할 수 있는 간편 이미지 검색 운용 방법 및 이를 지원하는 서비스 장치를 제공하고자 한다.
본 발명의 실시 예에 따른 서비스 장치는 서버 통신 회로 및 상기 서버 통신 회로와 기능적으로 연결되는 서버 프로세서를 포함한다. 상기 서버 프로세서는 상기 서버 통신 회로를 기반으로 사용자 단말과 통신 채널을 형성하고, 상기 사용자 단말로부터 특정 영상 컨텐츠를 지시하는 링크를 수신하고, 상기 링크와 관련된 영상 컨텐츠 서버에 연결하고, 상기 영상 컨텐츠 서버로부터 상기 링크에 대응하는 영상 컨텐츠의 적어도 일부를 수신하고, 상기 영상 컨텐츠의 적어도 일부로부터 적어도 하나의 검색용 객체를 추출하고, 상기 추출된 검색용 객체를 기반으로 이미지 검색을 수행하고, 상기 이미지 검색 결과를 상기 사용자 단말에 제공하도록 설정될 수 있다.
여기서, 상기 서버 프로세서는 상기 영상 컨텐츠의 적어도 일부에서 적어도 하나의 프레임을 수집하고, 상기 적어도 하나의 프레임에 포함된 객체를 상기 검색용 객체로 추출하도록 설정될 수 있다.
또는, 상기 서버 프로세서는 상기 영상 컨텐츠의 적어도 일부에서 복수개의 프레임을 수집하고, 상기 복수개의 프레임들에서 지정된 횟수 이상 등장하는 객체 또는 지정된 시간 이상 동안 등장하는 객체를 상기 검색용 객체로 추출하도록 설정될 수 있다.
또는, 상기 서버 프로세서는 상기 영상 컨텐츠에 등장하는 객체 중 가장 자주 등장하는 객체 또는 가장 오랜 시간 동안 등장하는 객체를 상기 검색용 객체로 추출하도록 설정될 수 있다.
한편, 상기 서버 프로세서는 상기 영상 컨텐츠에 포함된 오디오 정보, 자막 정보, 텍스트 중 적어도 하나를 기반으로 상기 영상 컨텐츠의 핵심 키워드를 선정하고, 상기 핵심 키워드에 대응하는 객체를 상기 영상 컨텐츠의 상기 검색용 객체로 추출하도록 설정될 수 있다.
다른 예로서, 상기 서버 프로세서는 상기 링크와 함께 키워드를 수신하고, 상기 키워드에 대응하는 객체를 상기 영상 컨텐츠에서 검색용 객체로 추출하도록 설정될 수 있다.
상기 서버 프로세서는 상기 링크에 대응하는 영상 컨텐츠의 적어도 일부와 상기 검색 결과를 하나의 화면으로 구성하여 상기 사용자 단말에 제공하도록 설정될 수 있다.
또한, 상기 서버 프로세서는 상기 링크가 획득된 시점에 대응하는 영상 컨텐츠 재생 이미지를 획득하고, 상기 영상 컨텐츠 재생 이미지에서 상기 검색용 객체를 추출하도록 설정될 수 있다.
상기 서버 프로세서는 상기 영상 컨텐츠 서버로부터 수신된 영상 컨텐츠에서 적어도 하나의 객체를 추출하고, 상기 추출된 객체를 상품 관련 이미지 DB의 상품 객체로 등록하도록 설정될 수 있다.
한편, 상기 서버 프로세서는 상기 검색 결과에 상기 영상 컨텐츠 태그 정보를 부가하여 제공하도록 설정될 수 있다.
본 발명의 실시 예에 따른 간편 이미지 검색 방법은 서비스 장치가, 서버 통신 회로를 기반으로 사용자 단말과 통신 채널을 형성하는 단계, 상기 사용자 단말로부터 특정 영상 컨텐츠를 지시하는 링크를 수신하는 단계, 상기 링크와 관련된 영상 컨텐츠 서버에 연결하는 단계, 상기 영상 컨텐츠 서버로부터 상기 링크에 대응하는 영상 컨텐츠의 적어도 일부를 수신하는 단계, 상기 영상 컨텐츠의 적어도 일부로부터 적어도 하나의 검색용 객체를 추출하는 단계, 상기 추출된 검색용 객체를 기반으로 이미지 검색을 수행하는 단계, 상기 이미지 검색 결과를 상기 사용자 단말에 제공하는 단계를 포함할 수 있다.
여기서, 상기 적어도 하나의 검색용 객체를 추출하는 단계는 상기 영상 컨텐츠에 포함된 오디오 정보, 자막 정보, 텍스트 중 적어도 하나를 기반으로 상기 영상 컨텐츠의 핵심 키워드를 선정하는 단계 및 상기 핵심 키워드에 대응하는 객체를 상기 영상 컨텐츠의 상기 검색용 객체로 추출하는 단계를 포함할 수 있다.
본 발명은 이미지 검색에 있어서, 이미지 검색을 위한 쿼리 이미지를 대체할 수 있는 다양한 정보를 운용할 수 있도록 함으로써, 사용자의 이미지 검색 접근을 보다 용이하게 할 수 있도록 지원한다.
기타, 본 발명의 다른 효과들은 후술하는 다양한 실시 예들에 의해 제공될 수 있다.
도 1은 본 발명의 실시 예에 따른 간편 이미지 검색을 지원하는 서비스 시스템의 일 예를 나타낸 도면이다.
도 2는 본 발명의 실시 예에 따른 사용자 단말 구성의 일 예를 나타낸 도면이다.
도 3은 본 발명의 실시 예에 따른 서비스 장치 구성의 일 예를 나타낸 도면이다.
도 4는 본 발명의 실시 예에 따른 서비스 장치의 서버 프로세서 구성의 일 예를 나타낸 도면이다.
도 5는 본 발명의 실시 예에 따른 서비스 시스템의 각 구성 간 신호 흐름의 일 예를 나타낸 도면이다.
도 6은 본 발명의 실시 예에 따른 사용자 단말 운용 방법의 일 예를 나타낸 도면이다.
도 7은 본 발명의 실시 예에 따른 서비스 장치의 운용 방법의 일 예를 나타낸 도면이다.
도 8은 본 발명의 실시 예에 따른 서비스 장치의 운용 방법의 다른 예를 나타낸 도면이다.
이하, 본 발명의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
도 1은 본 발명의 실시 예에 따른 간편 이미지 검색을 지원하는 서비스 시스템의 일 예를 나타낸 도면이다.
도 1을 참조하면, 본 발명의 실시 예에 따른 서비스 시스템(10)은 사용자 단말(100), 서비스 장치(200), 영상 컨텐츠 서버(300) 및 네트워크(50)를 포함할 수 있다.
상기 본 발명이 적용되는 네트워크(50)는, 인터넷 망과 같은 IP 기반의 유선 통신망뿐만 아니라, LTE(Long term evolution) 망, WCDMA 망과 같은 이동통신망, Wi-Fi망과 같은 다양한 종류의 무선망, 및 이들의 조합으로 이루어질 수 있다. 즉, 본 발명에 따른 이미지 검색 기능 제공 시스템은, 유무선 통신망에 구별 없이 모두 적용될 수 있다. 구체적으로 상기 네트워크(50)는 서비스 장치(200)와 사용자 단말(100) 간의 통신 채널을 형성할 수 있다. 또는, 상기 네트워크(50)는 서비스 장치(200)와 영상 컨텐츠 서버(300) 간의 통신 채널을 형성할 수 있다. 또는, 네트워크(50)는 상기 사용자 단말(100)과 영상 컨텐츠 서버(300) 간의 통신 채널을 형성할 수 있다. 예를 들어, 상기 네트워크(50)는 서비스 장치(200), 영상 컨텐츠 서버(300) 또는 사용자 단말(100)이 운용할 수 있는 3G, 4G, 5G 무선 이동 통신 방식 중 적어도 하나의 방식을 지원할 수 있다. 또는, 상기 네트워크(50)는 유선 기반으로 상기 사용자 단말(100)과 영상 컨텐츠 서버(300) 간의 통신 채널, 사용자 단말(100)과 상기 서비스 장치(200) 간의 통신 채널, 또는 서비스 장치(200)와 영상 컨텐츠 서버(300) 간의 통신 채널을 형성할 수 있다. 이러한 네트워크(50)는 현재 개발되어 상용화되었거나 향후 개발되어 상용화될 각종 유선망, 무선망 및 이들의 결합망을 포함하는 개념으로 해석되어야 한다.
상기 영상 컨텐츠 서버(300)는 적어도 하나의 영상 컨텐츠를 저장하고, 사용자 단말(100) 접속 시, 적어도 하나의 영상 컨텐츠를 검색 및 선택할 수 있는 가상 페이지를 사용자 단말(100)에 제공할 수 있다. 상기 영상 컨텐츠 서버(300)는 사용자 단말(100)에 의해 선택된 영상 컨텐츠를 스트리밍 방식 또는 다운로드 방식으로 사용자 단말(100)에 제공할 수 있다. 상기 영상 컨텐츠 서버(300)는 사용자 단말(100)의 요청에 대응하여 영상 컨텐츠 서버(300)의 메모리에 저장된 특정 영상 컨텐츠 주소 정보 또는 링크 정보를 검출하고, 검출된 링크 정보를 사용자 단말(100)에 제공할 수 있다. 상기 영상 컨텐츠 서버(300)는 서비스 장치(200) 요청에 대응하여 서비스 장치(200)와 통신 채널을 형성하고, 서비스 장치(200)로부터 링크 정보를 수신할 수 있다. 상기 영상 컨텐츠 서버(300)는 수신된 링크 정보에 대응하는 영상 컨텐츠의 적어도 일부를 획득하고, 획득된 영상 컨텐츠의 적어도 일부를 서비스 장치(200)에 제공할 수 있다.
상기 사용자 단말(100)은 네트워크(50)를 통하여 영상 컨텐츠 서버(300) 또는 서비스 장치(200)와 통신 채널을 형성할 수 있다. 상기 사용자 단말(100)은 영상 컨텐츠를 시청하기 위하여 영상 컨텐츠 서버(300)와 통신 채널을 형성할 수 있다. 그리고, 사용자 단말(100)은 사용자 입력에 대응하여 영상 컨텐츠의 링크 정보를 획득하고, 이를 이미지 검색을 위한 쿼리 정보로서 서비스 장치(200)에 전송할 수 있다. 이와 관련하여, 상기 사용자 단말(100)은 영상 컨텐츠 서버(300) 접속을 위한 웹 브라우저 등을 활성화하고, 영상 컨텐츠 서버(300)가 제공하는 컨텐츠 선택 화면 또는 영상 컨텐츠 재생 화면을 수신하여 출력할 수 있다. 상기 사용자 단말(100)은 영상 컨텐츠 서버(300)로부터 이미지 검색을 위한 쿼리 정보로서 특정 영상 컨텐츠의 링크 정보(예: 영상 컨텐츠 서버(300)에서의 영상 컨텐츠 주소 정보)를 획득할 수 있다.
상기 사용자 단말(100)은 사용자 입력에 따라 이미지 검색 기능과 관련한 어플리케이션 또는 이미지 검색 기능을 제공할 수 있는 웹 브라우저를 이용하여 이미지 검색 기능을 제공하는 서비스 장치(200)에 접속할 수 있다. 상기 사용자 단말(100)은 서비스 장치(200)로부터 이미지 검색 기능과 관련한 데이터 예컨대, 이미지 검색 관련 가상 페이지 또는 웹 페이지를 수신하고, 출력할 수 있다. 또는, 사용자 단말(100)은 이미지 검색 기능과 관련한 어플리케이션 실행 화면을 출력할 수 있다. 사용자 단말(100)은 이미지 검색과 관련한 쿼리 정보(예: 상기 영상 컨텐츠 서버(300)로부터 획득한 영상 컨텐츠의 링크 정보)를 서비스 장치(200)에 전송하고, 서비스 장치(200)로부터 검색 결과를 수신하여 저장 및 표시할 수 있다. 추가적으로, 또는 대체적으로 사용자 단말(100)은 사용자 입력에 따른 키워드 정보를 상기 링크 정보와 함께 쿼리 정보에 포함시켜 서비스 장치(200)에 전송하고, 서비스 장치(200)로부터 상기 링크 정보 및 키워드 정보를 기반으로 검색된 이미지 검색 결과(또는 상품 검색 결과)를 수신하여 출력할 수 있다. 이러한 상기 사용자 단말(100)은 이미지 검색이 가능한 전자 장치로서, 스마트폰이나 태블릿 PC, 데스크탑 PC, 통신 회로가 장착된 카메라 등 다양한 장치들이 될 수 있다.
상기 서비스 장치(200)는 상기 네트워크(50)를 통하여 사용자 단말(100)과 통신 채널을 형성하고, 사용자 단말(100)의 이미지 검색 기능을 지원할 수 있다. 예를 들어, 서비스 장치(200)는 연결된 사용자 단말(100)에 이미지 검색 관련 가상 페이지를 제공하고, 사용자 단말(100)로부터 적어도 하나의 영상 컨텐츠와 관련한 쿼리 정보를 수신할 수 있다. 또는, 서비스 장치(200)는 사용자 단말(100)로부터 적어도 하나의 영상 컨텐츠와 관련한 링크 정보 및 키워드 정보를 포함하는 쿼리 정보를 수신할 수 있다. 상기 서비스 장치(200)는 수신된 링크 정보 및 키워드 중 적어도 하나를 기반으로 이미지 검색 또는 상품 검색을 수행하고, 검색 결과를 사용자 단말(100)에 제공할 수 있다. 이 동작에서, 상기 서비스 장치(200)는 상기 쿼리 정보에 포함된 링크 정보를 추출하고, 추출된 링크 정보를 기반으로 영상 컨텐츠 서버(300)에 접속한 후, 링크 정보에 대응하는 영상 컨텐츠를 수집할 수 있다. 상기 서비스 장치(200)는 수집된 영상 컨텐츠에 포함된 적어도 하나의 객체를 기반으로 이미지 검색을 수행할 수 있다.
이하, 상술한 사용자 단말(100) 및 서비스 장치(200)의 세부 구성과 운용에 대하여 다양한 예를 설명하기로 한다.
도 2는 본 발명의 실시 예에 따른 사용자 단말 구성의 일 예를 나타낸 도면이다.
도 2를 참조하면, 본 발명의 사용자 단말(100)은 통신 회로(110), 입력 장치(120), 메모리(130), 디스플레이(140) 및 프로세서(150)를 포함할 수 있다.
상기 통신 회로(110)는 네트워크(50)와 통신 채널을 형성하고, 네트워크(50)를 기반으로 영상 컨텐츠 서버(300)와 컨텐츠 시청과 관련한 데이터 송수신 및 서비스 장치(200)와 상품 검색 기능과 관련한 데이터 송수신을 수행할 수 있다. 예컨대, 통신 회로(110)는 사용자 입력에 대응하여 영상 컨텐츠 서버(300)와 통신 채널을 형성하고, 영상 컨텐츠 서버(300)로부터 컨텐츠 검색 페이지, 영상 컨텐츠, 영상 컨텐츠의 주소 정보에 해당하는 링크 정보를 수신할 수 있다. 또한, 상기 통신 회로(110)는 사용자 입력에 대응하여 서비스 장치(200)와 통신 채널을 형성하고, 상기 통신 채널을 기반으로 이미지 검색 기능과 관련한 가상 페이지 수신, 상기 링크 정보를 포함하는 쿼리 정보의 전송, 이미지 검색 결과 수신을 처리할 수 있다. 예컨대, 상기 통신 회로(110)는 3G, 4G, 5G 등의 원거리 무선 통신 네트워크 기반의 통신 채널을 형성하거나, 와이파이 등의 근거리 통신 네트워크 기반의 통신 채널을 형성할 수 있다.
상기 입력 장치(120)는 사용자 단말(100) 조작과 관련한 사용자 입력을 수신할 수 있다. 예를 들어, 상기 입력 장치(120)는 영상 컨텐츠 서버(300) 접속을 위한 주소 정보 입력, 또는 어플리케이션 실행 입력 등을 지원할 수 있다. 상기 입력 장치(120)는 영상 컨텐츠 서버(300)가 제공한 컨텐츠 선택 화면에서 특정 영상 컨텐츠를 선택하는 입력, 특정 영상 컨텐츠와 관련한 링크 정보 수신을 요청하는 입력 등의 생성을 지원할 수 있다. 상기 입력 장치(120)는 서비스 장치(200) 접속을 위해 필요한 텍스트 입력(예: 주소 정보) 또는 어플리케이션 실행 아이콘 등을 선택할 수 있는 버튼 키 또는 가상 버튼 키, 음성 입력 기능 등을 지원할 수 있다. 상기 입력 장치(120)는 상기 링크 정보를 포함하는 쿼리 정보를 기반으로 이미지 검색을 요청하는 입력 신호, 이미지 검색에 적용할 추가적인 키워드 정보 입력을 위한 신호 등을 사용자 조작에 따라 생성하고, 생성된 입력 신호를 프로세서(150)에 전달할 수 있다.
상기 메모리(130)는 사용자 단말(100) 운용과 관련한 데이터 또는 응용 프로그램 등을 저장할 수 있다. 예를 들면, 상기 메모리(130)는 영상 컨텐츠 시청과 관련한 어플리케이션 또는 웹 브라우저를 저장할 수 있다. 또한, 상기 메모리(130)는 이미지 검색 프로그램(또는 상품 검색 어플리케이션)을 저장하거나, 검색 기능을 지원하는 웹 브라우저를 저장할 수 있다. 메모리(130)는 영상 컨텐츠 서버(300)로부터 수신한 특정 영상 컨텐츠에 대응하는 링크 정보를 저장할 수 있다. 또는, 메모리(130)는 서비스 장치(200)가 제공하는 검색 결과를 임시 또는 반 영구적으로 저장할 수 있다.
상기 디스플레이(140)는 사용자 단말(100) 운용과 관련한 적어도 하나의 화면을 출력할 수 있다. 예를 들어, 상기 디스플레이(140)는 영상 컨텐츠 서버(300) 접속 화면, 영상 컨텐츠 선택 화면, 영상 컨텐츠에 대응하는 링크 정보 수신 화면 등을 출력할 수 있다. 또한, 상기 디스플레이(140)는 이미지 검색 기능 실행에 따른 실행 화면, 서비스 장치(200) 접속 화면(예: 가상 페이지 표시 화면), 링크 정보를 포함하는 쿼리 정보 선택 화면, 쿼리 정보 전송 화면, 링크 정보 및 키워드 정보를 포함하는 쿼리 정보 전송 화면, 검색 결과 수신 화면 등을 출력할 수 있다.
상기 프로세서(150)는 사용자 단말(100) 운용과 관련한 데이터의 처리 또는 전달을 수행할 수 있다. 예를 들어, 프로세서(150)는 입력 장치(120)를 통해 입력되는 사용자 입력에 대응하여 영상 컨텐츠 서버(300)에 접속할 수 있다. 상기 프로세서(150)는 영상 컨텐츠 서버(300)가 제공하는 컨텐츠 검색 화면을 수신하여 디스플레이(140)에 출력하고, 사용자 입력에 대응하여 특정 영상 컨텐츠의 링크 정보를 영상 컨텐츠 서버(300)에 요청할 수 있다. 상기 프로세서(150)는 영상 컨텐츠 서버(300)로부터 수신한 링크 정보를 메모리(130)에 임시 저장할 수 있다.
상기 프로세서(150)는 입력 장치(120)를 통해 입력되는 사용자 입력에 대응하여 이미지 검색 프로그램(예: 이미지 검색 어플리케이션 또는 웹 브라우저)을 실행할 수 있다. 이 동작에서, 프로세서(150)는 상기 통신 회로(110)를 이용하여 서비스 장치(200)와 통신 채널을 형성하고, 상기 서비스 장치(200)로부터 이미지 검색 관련 가상 페이지를 수신할 수 있다. 상기 프로세서(150)는 서비스 장치(200) 요청에 대응하여 사용자 정보 확인(예: 로그인 정보 및 패스워드 입력) 과정을 처리할 수 있다.
상기 프로세서(150)는 사용자 입력에 대응하여 메모리(130)에 저장된 링크 정보를 이미지 검색을 위한 쿼리 정보로서 획득하고, 획득된 쿼리 정보를 서비스 장치(200)에 전송할 수 있다. 상기 프로세서(150)는 전송한 쿼리 정보에 대응하는 이미지 검색 결과(또는 상품 검색 결과)를 수신하면, 수신된 검색 결과를 디스플레이(140)에 출력할 수 있다. 추가로, 상기 프로세서(150)는 입력 장치(120) 또는 마이크를 통하여 추가 키워드를 입력 받고, 입력 받은 키워드를 상기 링크 정보와 함께 서비스 장치(200)에 전송할 수 있다. 이 경우, 상기 프로세서(150)는 상기 링크 정보와 상기 키워드 정보를 기반으로 검색된 이미지 검색 결과(또는 상품 검색 결과)를 수신할 수 있다.
상기 프로세서(150)는 서비스 장치(200)로부터 수신된 검색 결과를 디스플레이(140)에 출력할 수 있다. 이 동작에서, 상기 프로세서(150)는 상기 쿼리 정보에 해당하는 객체 정보 또는 영상 컨텐츠의 적어도 일부와 상기 검색 결과를 하나의 화면에 출력할 수 있다. 이와 관련하여, 상기 프로세서(150)는 화면을 분할하고, 분할된 제1 영역에 쿼리 정보에 대응하는 영상 컨텐츠의 적어도 일부를 출력하고, 분할된 제2 영역에 상기 검색 결과를 출력할 수 있다. 또는, 상기 프로세서(150)는 상기 검색 결과를 디스플레이(140) 전체 화면에 출력할 수 있다. 상기 프로세서(150)는 상기 검색 결과가 복수개인 경우, 복수개의 검색 결과 중 일부 검색 결과를 서비스 장치(200)로부터 수신하고, 일부 검색 결과를 디스플레이(140)에 출력할 수 있다. 이후, 프로세서(150)는 사용자 입력에 따라, 나머지 검색 결과를 서비스 장치(200)에 요청하고, 수신된 나머지 검색 결과를 디스플레이(140)에 새롭게 출력할 수 있다. 상기 프로세서(150)는 검색에 이용된 영상 컨텐츠가 동영상인 경우, 제1 영역에 동영상 컨텐츠를 출력할 수 있다. 또는, 상기 프로세서(150)는 검색에 이용된 영상 컨텐츠가 스틸 이미지인 경우, 제1 영역에 스틸 이미지를 출력할 수 있다. 또는, 상기 프로세서(150)는 검색에 이용된 영상 컨텐츠가 복수의 스틸 이미지인 경우, 제1 영역에 슬라이드 방식으로 복수의 스틸 이미지를 출력할 수 있다.
다른 예시로서, 상기 프로세서(150)는 웹 브라우저를 기반으로 영상 컨텐츠 서버(300)로부터 수신된 컨텐츠 선택 화면을 출력하고, 사용자 입력에 따라 링크 정보가 획득되는 경우, 컨텐츠 선택 화면 상에 이미지 검색을 위한 적어도 하나의 메뉴를 출력할 수 있다. 상기 프로세서(150)는 이미지 검색을 위한 메뉴에서 이미지 검색 요청 항목이 선택되면, 획득된 링크 정보를 쿼리 정보로서 서비스 장치(200)에 전송할 수 있다. 이 경우, 상기 프로세서(150)는 쿼리 정보 전송에 따라, 서비스 장치(200)로부터 이미지 검색용 가상 페이지를 수신하고, 수신된 가상 페이지를 상기 컨텐츠 선택 화면을 대체하여 디스플레이(140)에 출력할 수 있다. 이에 따라, 이미지 검색용 가상 페이지가 디스플레이(140)의 최상위 레이어에 출력될 수 있다. 상기 프로세서(150)는 이미지 검색이 종료되면, 상기 이미지 검색용 가상 페이지를 제거하고, 상기 컨텐츠 선택 화면을 디스플레이(140)의 최상위 레이어에 출력할 수 있다. 추가적으로, 다른 영상 컨텐츠에 대한 링크 정보 획득 및 이미지 검색 요청이 발생하면, 프로세서(150)는 서비스 장치(200) 재접속을 수행하고, 새로 획득된 링크 정보를 포함하는 쿼리 정보를 서비스 장치(200)에 전송하여 새 링크 정보에 대응하는 이미지 검색 결과를 획득할 수 있다. 상술한 바와 같이, 상기 프로세서(150)는 영상 컨텐츠 서버(300) 접속 화면을 기반으로 이미지 검색 기능을 손쉽게 이용할 수 있도록 지원한다.
도 3은 본 발명의 실시 예에 따른 서비스 장치 구성의 일 예를 나타낸 도면이다.
상술한 바와 같이, 본 발명의 사용자 단말(100)은 사용자가 검색하는 다양한 검색 정보들 중 영상 컨텐츠와 관련한 검색 정보의 링크를 서비스 장치(200)에 제공하여, 관련 이미지 검색을 수행할 수 있도록 지원한다.
도 3을 참조하면, 본 발명의 실시 예에 따른 서비스 장치(200)(또는 서버 장치)는 서버 통신 회로(210), 서버 메모리(230) 및 서버 프로세서(250)를 포함할 수 있다. 상기 서버 메모리(230)는 상기 서비스 장치(200)와 독립된 구성(예: 독립된 별도의 DB서버)으로 마련될 수 있다. 이 경우, 서버 프로세서(250)는 별도로 구성된 서버 메모리(230) 장치 또는 서버와 통신 채널을 형성하고, 검색 동작을 수행하도록 제어할 수도 있다.
상기 서버 통신 회로(210)는 서비스 장치(200)의 통신 기능을 담당할 수 있다. 즉, 서버 통신 회로(210)는 네트워크(50)를 통해 적어도 하나의 사용자 단말(100)과 통신 채널을 형성할 수 있다. 예를 들어, 서버 통신 회로(210)는 서버 프로세서(250) 제어에 대응하여 사용자 단말(100)로부터 링크 정보를 포함한 쿼리 정보를 수신하거나, 상기 링크 정보를 기반으로 영상 컨텐츠 서버(300)와 통신 채널을 형성하거나, 영상 컨텐츠 서버(300)로부터 상기 링크 정보에 대응하는 영상 컨텐츠의 적어도 일부를 수신하거나, 또는 상기 수신된 영상 컨텐츠의 적어도 일부를 기반으로 이미지 검색된 검색 결과를 사용자 단말(100)에 전송할 수 있다. 또는, 서버 통신 회로(210)는 사용자 단말(100)로부터 링크 정보 및 키워드를 포함하는 쿼리 정보를 수신하고, 이를 서버 프로세서(250)에 전달할 수 있다.
상기 서버 메모리(230)는 서비스 장치(200) 운용과 관련한 데이터 또는 프로그램을 저장할 수 있다. 예컨대, 상기 서버 메모리(230)는 이미지 검색 기능 운용과 관련하여, 상품 관련 이미지 DB(231) 및 컨텐츠 DB(233)를 저장할 수 있다.
상기 상품 관련 이미지 DB(231)는 적어도 하나의 상품 관련 이미지를 저장할 수 있다. 상기 적어도 하나의 상품 관련 이미지는 사용자 단말(100)이 제공한 쿼리 정보를 기반으로 검색될 수 있는 이미지들을 포함할 수 있다. 예를 들어, 상기 적어도 하나의 상품 관련 이미지는 영상 컨텐츠의 적어도 일부로부터 추출된 객체들과의 특징점 비교를 통해 검색되는 이미지들을 포함할 수 있다. 상기 영상 컨텐츠는 쿼리 정보에 포함된 링크 정보를 기반으로 영상 컨텐츠 서버(300)로부터 획득될 수 있다. 예를 들어, 상품 관련 이미지들은 구두, 신발, 가방, 옷, 모자, 전자 기기, 액세서리 등 다양한 상품들의 이미지들을 포함할 수 있다. 상기 서버 메모리(230)는 상품 관련 이미지들에 포함된 상품 객체들의 특징점들을 저장 관리할 수 있다. 이에 따라, 영상 컨텐츠로부터 추출된 적어도 하나의 객체가 획득되면, 상기 서버 메모리(230)에 저장된 다양한 상품 관련 이미지들 중 상기 획득된 객체의 특징점에 대응되는 상품 객체를 포함한 상품 관련 이미지가 추출되고, 서버 프로세서(250) 제어에 따라 추출된 상품 관련 이미지가 이미지 검색 결과로서 사용자 단말(100)에 제공될 수 있다.
상기 컨텐츠 DB(233)는 상기 사용자 단말(100)로부터 수신된 쿼리 정보에서 추출한 링크 정보, 상기 링크 정보를 토대로 영상 컨텐츠 서버(300)로부터 획득한 영상 컨텐츠를 저장할 수 있다. 또한, 상기 컨텐츠 DB(233)는 영상 컨텐츠 분석 정보, 수집된 영상 컨텐츠의 주요 객체들, 주요 객체들에 대응하는 상품 관련 이미지 등을 저장할 수 있다. 상기 컨텐츠 DB(233)에 저장된 영상 컨텐츠의 주요 객체들은 필요에 따라, 상품 관련 이미지 DB(231)에 새 상품 객체로 등록될 수 있다.
상기 서버 프로세서(250)는 상기 서버 통신 회로(210)를 통하여 사용자 단말(100)과의 통신 채널 형성을 제어할 수 있다. 상기 서버 프로세서(250)는 사용자 단말(100)의 요청에 따라 쿼리 정보를 수신하고, 쿼리 정보에 포함된 링크 정보를 기반으로 영상 컨텐츠 서버(300)로부터 영상 컨텐츠를 수집할 수 있다. 서버 프로세서(250)는 수집된 영상 컨텐츠를 분석하여 적어도 하나의 검색용 객체를 추출하고, 추출된 검색용 객체에 대응하는 이미지 검색 결과를 수집할 수 있다. 상기 서버 프로세서(250)는 수집된 이미지의 검색 결과를 사용자 단말(100)에 제공할 수 있다. 이와 관련하여, 상기 서버 프로세서(250)는 도 4에 도시된 바와 같은 구성을 포함할 수 있다.
도 4는 본 발명의 실시 예에 따른 서비스 장치의 서버 프로세서 구성의 일 예를 나타낸 도면이다.
도 4를 참조하면, 본 발명의 실시 예에 따른 서버 프로세서(250)는 컨텐츠 수집부(251), 객체 추출부(253), 검색 지원부(255), 및 DB 갱신부(257)를 포함할 수 있다. 상기 컨텐츠 수집부(251), 객체 추출부(253), 검색 지원부(255), 및 DB 갱신부(257) 중 적어도 하나는 적어도 하나의 프로세서에 의해 구현되거나, 하나의 프로세서가 각 기능을 지원하도록 마련될 수 있다.
상기 컨텐츠 수집부(251)는 이미지 검색 기능을 실행한 사용자 단말(100)로부터 링크를 수신하면, 수신된 링크에 대응하는 영상 컨텐츠를 수집할 수 있다. 이를 위하여, 컨텐츠 수집부(251)는 수신된 링크에서 영상 컨텐츠 서버(300)의 주소 정보를 획득하고, 획득된 주소 정보를 기반으로 영상 컨텐츠 서버(300)와 통신 채널을 형상할 수 있다. 컨텐츠 수집부(251)는 영상 컨텐츠 서버(300)에 링크에 해당하는 영상 컨텐츠를 요청할 수 있다. 컨텐츠 수집부(251)는 영상 컨텐츠 서버(300)가 제공한 영상 컨텐츠를 컨텐츠 DB(233)에 임시 또는 반영구적으로 저장할 수 있다.
상기 객체 추출부(253)는 상기 컨텐츠 수집부(251)가 수집한 영상 컨텐츠에서 적어도 하나의 검색용 객체를 추출할 수 있다. 이와 관련하여, 객체 추출부(253)는 영상 컨텐츠에서 적어도 하나의 프레임을 선택하고, 선택된 프레임 내에 포함된 적어도 하나를 객체를 추출할 수 있다. 프레임 선택과 관련하여, 객체 추출부(253)는 영상 컨텐츠가 동영상 컨텐츠인 경우, 일정 인터벌로 샘플링을 수행하여 동영상 컨텐츠에서 적어도 하나의 프레임들을 수집할 수 있다. 상기 객체 추출부(253)는 복수개의 프레임들이 수집되는 경우, 각 프레임들에서 객체 검출을 수행하고, 일정 횟수 이상 반복적으로 등장하는 일부 객체를 추출할 수 있다. 또는, 상기 객체 추출부(253)는 동영상 컨텐츠에서 일정 시간 이상 등장하는 객체를 추출할 수 있다. 또는, 상기 객체 추출부(253)는 영상 컨텐츠를 분석하여 등장 횟수 또는 등장 시간이 가장 많거나 긴 객체를 추출할 수 있다. 또는, 객체 추출부(253)는 일정 순위 이내의 등장 횟수 또는 등장 시간을 가지는 객체를 영상 컨텐츠에서 추출할 수 있다. 또는, 객체 추출부(253)는 한 프레임에 복수의 객체들이 있는 경우, 지정된 조건에 부합하는 적어도 하나의 객체를 검색용 객체로 선택할 수 있다. 예를 들어, 객체 추출부(253)는 영상 컨텐츠의 이미지 내에 포함된 객체들 중 ROI(region of interest) 객체를 선택할 수 있다. 상기 ROI 객체는 예컨대, 쿼리 이미지의 중심부에 위치한 객체를 포함할 수 있다. 또는, 상기 ROI 객체는 쿼리 이미지에 포함된 복수의 객체들 중 일정 이상의 크기를 가지는 객체를 포함할 수 있다. 또는, ROI 객체는 가장 큰 크기를 가지는 객체를 포함할 수 있다. 또는, ROI 객체는 촬영 이미지에서 포커싱된 객체를 포함할 수 있다. 또는, ROI 객체는 검출된 복수의 객체들 중 사용자 입력에 의해 선택된 적어도 하나의 객체를 포함할 수 있다.
상기 객체 추출부(253)는 링크와 함께 키워드가 포함된 쿼리 정보를 수신하는 경우, 상기 키워드에 대응하는 객체를 링크의 영상 컨텐츠에서 검출할 수 있다. 이와 관련하여, 상기 객체 추출부(253)는 상기 키워드에 대응하는 텍스처를 사전 저장하고, 키워드 수신에 대응하여 대응되는 기준 객체를 서버 메모리(230)에서 읽어올 수 있다. 그리고, 상기 객체 추출부(253)는 영상 컨텐츠 내에 포함된 적어도 하나의 객체를 검출하되, 상기 키워드에 대응되는 기준 객체와의 유사도 비교를 통하여 영상 컨텐츠 내에 포함된 키워드 관련 검색용 객체를 추출할 수 있다. 상기 객체 추출부(253)는 키워드가 복수개인 경우, 복수개의 키워드에 대응되는 객체를 영상 컨텐츠 내에서 추출할 수 있다.
다른 예시로서, 상기 객체 추출부(253)는 상기 영상 컨텐츠 내에서 주요 키워드를 자동으로 추출할 수 있다. 이와 관련하여, 상기 객체 추출부(253)는 영상 컨텐츠에 포함된 오디오 정보를 획득하고, 오디오 정보에서 일정 횟수 이상 반복하여 등장하는 또는 가장 많이 등장하는 단어를 핵심 키워드로 선정할 수 있다. 또는, 객체 추출부(253)는 영상 컨텐츠에 포함된 자막을 통해 제시되는 키워드들 중에 가장 많이 등장하는 키워드를 핵심 키워드로 선정할 수 있다. 또는, 객체 추출부(253)는 영상 컨텐츠에 이미지로 등장하는 텍스트를 문자 인식기를 이용하여 문자 인식하고, 인식된 문자 중 적어도 하나를 핵심 키워드로 선정할 수 있다.
상기 검색 지원부(255)는 사용자 단말(100)의 서비스 장치(200) 접속을 지원할 수 있다. 예컨대, 상기 검색 지원부(251)는 사용자 단말(100)이 서비스 장치(200)에 접속하면, 사용자 단말(100)에 이미지 검색 기능과 관련한 가상 페이지를 제공할 수 있다. 상기 검색 지원부(251)는 사용자 단말(100)로부터 쿼리 정보를 수신할 수 있다. 상기 검색 지원부(251)는 쿼리 정보에 포함된 링크를 컨텐츠 수집부(251)에 전달할 수 있다. 또는, 상기 검색 지원부(255)는 영상 컨텐츠가 저장된 영상 컨텐츠 서버의 주소 정보에 해당하는 링크 및 사용자가 추가한 키워드를 수신한 경우, 상기 링크 및 키워드를 컨텐츠 수집부(251)에 전달할 수 있다.
상기 검색 지원부(255)는 상기 객체 추출부(253)에 의해 적어도 하나의 검색용 객체가 추출되면, 추출된 적어도 하나의 검색용 객체를 이용하여 상품 검색(또는 이미지 검색)을 수행할 수 있다. 상기 검색 지원부(251)는 추출된 적어도 하나의 검색용 객체에 대응하는 상품 객체를 상품 관련 이미지 DB(231)에서 검색하고, 검색 결과를 사용자 단말(100)에 제공할 수 있다. 검색 결과를 사용자 단말(100)에 제공하는 과정에서, 검색 지원부(255)는 검색에 이용된 링크, 원본 영상 컨텐츠의 적어도 일부, 키워드, 영상 컨텐츠 관련 태그 정보(예: 영상 컨텐츠 제작 시점 정보, 영상 컨텐츠 내용, 영상 컨텐츠의 설명 정보, 영상 컨텐츠의 제목 정보 등)를 검색 결과에 포함시켜 사용자 단말(100)에 제공할 수 있다.
상기 검색 지원부(255)는 쿼리 정보를 기반으로 추출한 검색용 객체가 복수개가 검출되는 경우, 각각의 검색용 객체에 대응하는 상품 객체를 상품 관련 이미지 DB(231)에서 검색하고, 복수의 객체에 대한 검색 결과를 사용자 단말(100)에 제공할 수 있다. 또는, 검색 지원부(255)는 복수의 객체 중 지정된 조건을 만족하는 특정 객체(예: 일정 크기 이상의 객체, 또는 쿼리 이미지의 중심부에 배치된 객체 등) 또는 사용자 단말(100)이 지정한 객체에 대한 검색 결과만을 획득하고, 획득된 일부 객체에 대한 검색 결과를 사용자 단말(100)에 제공할 수 있다. 이 동작에서. 상기 검색 지원부(255)는 추출된 검색용 객체의 특징점들을 추출하고, 추출된 특징점들과 동일 또는 일정 비율 이상 유사한 특징점들을 가지고 있는 상품 객체를 상품 관련 이미지 DB(231)에서 검색할 수 있다. 상기 검색 지원부(255)는 검색이 실패한 경우(예: 쿼리 이미지에 포함된 객체와 일정 유사도 이상의 상품 객체를 검색하지 못한 경우), 검색 실패를 안내하는 안내 메시지를 사용자 단말(100)에 제공할 수 있다.
예를 들어, 상기 검색 지원부(255)는 사용자 단말(100)로부터 특정 영상 컨텐츠를 링크한 링크와 키워드(예: 목도리)를 수신하면, 키워드인 목도리에 해당하는 객체를 영상 컨텐츠에서 검출할 수 있다. 상기 검색 지원부(255)는 검출된 검색용 객체를 기반으로 상품 객체를 검색할 수 있다. 이때, 검색 지원부(255)는 검색용 객체와 일정 유사도 이상 유사한 적어도 하나의 상품 객체를 검색하여, 사용자 단말(100)에 제공할 수 있다. 다른 예로서, 상기 검색 지원부(255)는 사용자 단말(100)로부터 화장품 사용법과 관련한 링크를 수신하면, 해당 링크에 대응하는 영상 컨텐츠(예: 화장품 사용법)에서 적어도 하나의 화장품 객체를 검색용 객체로 추출할 수 있다. 상기 검색 지원부(255)는 추출된 화장품과 일정 유사도 이상 유사한 화장품 객체를 상품 관련 이미지 DB(231)에서 검색하고, 검색 결과를 사용자 단말(100)에 제공할 수 있다.
상기 DB 갱신부(257)는 컨텐츠 DB(233)에 적어도 하나의 영상 컨텐츠가 저장되면, 저장된 영상 컨텐츠로부터 적어도 하나의 객체를 추출할 수 있다. 예컨대, 상기 DB 갱신부(257)는 영상 컨텐츠에서 가장 많이 등장하는 또는 가장 오랫동안 등장하는 객체를 추출할 수 있다. 상기 DB 갱신부(257)는 추출된 객체를 상품 관련 이미지 DB(231)에 추가 등록할 수 있다. 등록 과정에서, 상기 DB 갱신부(257)는 등록한 상품 객체가 어떠한 컨텐츠로부터 온 것인지 확인할 수 있도록 영상 컨텐츠 식별 정보 또는 제목 정보를 해당 상품 객체의 부가 정보로 기입할 수 있다. 상기 DB 갱신부(257)는 컨텐츠 DB(233)에 지정된 개수 이상의 영상 컨텐츠가 저장된 상품 관련 이미지 DB(231) 갱신 작업을 수행할 수 있다. 또는, 상기 DB 갱신부(257)는 지정된 시간이 도래한 상태에서, 컨텐츠 DB(233)에 상품 관련 이미지 DB(231)에 갱신하지 못한 영상 컨텐츠가 존재하는 경우, 해당 영상 컨텐츠에 포함된 객체의 갱신을 처리할 수 있다. 다른 예시로서, DB 갱신부(257)는 획득된 영상 컨텐츠 중 지정된 인기도를 가진 영상 컨텐츠(예: 검색 빈도수가 일정 횟수 이상인 비디오 클립 또는 시청률이 일정 값 이상인 영상 컨텐츠)에 대해서, 객체를 추출하고, 추출된 객체에 대한 상품 객체 등록을 수행할 수도 있다.
도 5는 본 발명의 실시 예에 따른 서비스 시스템의 각 구성 간 신호 흐름의 일 예를 나타낸 도면이다.
도 5를 참조하면, 본 발명의 서비스 시스템(10) 간 신호 흐름과 관련하여, 501 단계에서 사용자 단말(100)은 영상 컨텐츠 서버(300)와 통신 채널을 형성할 수 있다. 이와 관련하여, 사용자 단말(100)은 웹 브라우저가 표시된 상태에서 사용자 입력에 의해 영상 컨텐츠 서버의 주소 정보가 입력되면, 해당 영상 컨텐츠 서버(300)에 접속을 수행할 수 있다. 상기 사용자 단말(100)은 영상 컨텐츠 서버(300)로부터 서버 접속에 따른 웹 페이지(또는 가상 페이지)를 수신하고, 이를 디스플레이(140)에 출력할 수 있다. 상기 웹 페이지는 상기 영상 컨텐츠 서버(300)가 제공하는 적어도 하나의 컨텐츠를 선택 또는 시청할 수 있는 기능을 포함할 수 있다.
503 단계에서, 영상 컨텐츠 서버(300)는 사용자 단말(100) 요청에 대응하여 영상 컨텐츠를 사용자 단말(100)에 제공할 수 있다. 이와 관련하여, 사용자 단말(100)은 웹 페이지를 통해 제시된 적어도 하나의 영상 컨텐츠 항목을 사용자 입력에 의해 선택할 수 있다. 특정 영상 컨텐츠 항목이 선택되면, 사용자 단말(100)은 선택된 영상 컨텐츠를 영상 컨텐츠 서버(300)에 요청할 수 있다. 영상 컨텐츠 서버(300)는 스트리밍 방식 또는 다운로드 방식에 따라 영상 컨텐츠를 사용자 단말(100)에 제공할 수 있다.
505 단계에서 사용자 단말(100)은 영상 컨텐츠와 관련된 링크를 획득할 수 있다. 예컨대, 사용자 단말(100)은 시청 중인 영상 컨텐츠의 링크 정보 획득을 위한 사용자 입력에 대응하여, 링크를 획득할 수 있다. 또는, 사용자 단말(100)는 영상 컨텐츠의 요청 및 수신 없이, 특정 영상 컨텐츠에 대한 링크를 획득할 수 있다. 예를 들어, 컨텐츠 선택 화면에 해당하는 웹 페이지가, 사용자 입력에 따라 링크를 제공하도록 설계된 경우, 사용자 단말(100)은 사용자 입력에 대응하여 특정 웹 페이지에 표시된 적어도 하나의 영상 컨텐츠에 대한 링크를 획득할 수 있다. 영상 컨텐츠를 시청하는 상태에서, 링크 정보가 획득되는 경우, 사용자 단말(100)은 링크 정보가 획득된 영상 컨텐츠의 재생 시점 정보를 수집할 수 있다. 사용자 단말(100)은 링크를 서비스 장치(200)에 전송할 때, 해당 영상 컨텐츠의 재생 시점 정보도 함께 전송할 수 있다.
507 단계에서, 사용자 단말(100)은 이미지 검색과 관련한 쿼리 정보로서 링크를 서비스 장치(200)에 전송할 수 있다. 예컨대, 사용자 입력에 대응하여 이미지 검색용 어플리케이션이 실행되거나, 이미지 검색을 지원하는 서비스 장치 접속이 요청되면, 사용자 단말(100)은 서비스 장치(200) 접속을 수행하고, 서비스 장치(200)로부터 이미지 검색과 관련한 가상 페이지를 수신하여 디스플레이(140)에 출력할 수 있다. 사용자 단말(100)는 이미지 검색용 가상 페이지에서, 쿼리 정보 입력 란에 상기 링크를 입력하고, 검색 요청을 선택할 수 있다. 이에 대응하여, 사용자 단말(100)은 링크를 서비스 장치(200)에 전송할 수 있다. 다양한 예시로서, 사용자 단말(100)은 영상 컨텐츠 서버(300)로부터 수신된 컨텐츠 선택 화면이 출력된 상태에서, 링크 획득과 함께, 이미지 검색 기능을 선택할 수 있는 메뉴를 제공할 수 있다. 사용자 단말(100)은 컨텐츠 선택 화면에서 이미지 검색 기능이 선택되면, 선택된 이미지 검색 기능 실행을 통해 서비스 장치(200)에 접속하면서, 획득된 링크를 자동으로 서비스 장치(200)에 전송하면서, 이미지 검색을 요청할 수 있다.
509 단계에서, 서비스 장치(200)는 사용자 단말(100)이 제공한 링크를 이용하여 영상 컨텐츠 서버(300)에 접속하고, 영상 컨텐츠 서버(300)에 영상 컨텐츠를 요청할 수 있다. 이와 관련하여, 서비스 장치(200)는 링크에 포함된 영상 컨텐츠 서버(300)의 주소 정보를 추출하고, 추출된 주소 정보를 이용하여 영상 컨텐츠 서버(300)의 접속 및 해당 링크에 대응되는 영상 컨텐츠 요청을 수행할 수 있다. 511 단계에서, 영상 컨텐츠 서버(300)는 서비스 장치(200) 요청에 대응하여 영상 컨텐츠를 서비스 장치(200)에 전달할 수 있다.
513 단계에서, 서비스 장치(200)는 수신된 영상 컨텐츠를 분석하고, 분석 결과로부터 추출된 검색용 객체를 기반으로 검색을 수행할 수 있다. 예컨대, 서비스 장치(200)는 수신된 영상 컨텐츠에서 적어도 하나의 프레임 또는 이미지를 추출하고, 추출된 적어도 하나의 프레임 또는 이미지에서 적어도 하나의 검색용 객체를 추출할 수 있다. 여기서, 상기 서비스 장치(200)는 복수의 프레임 또는 이미지를 추출하고, 지정된 조건에 따라 적어도 하나의 객체를 추출할 수 있다. 상기 지정된 조건은 예컨대, 복수의 프레임에서 공통적으로 추출되는 객체 또는 일정 횟수 이상 등장하는 객체, 일정 시간 이상 등장하는 객체, 가장 많이 등장하는 객체, 가장 오랜 시간 등장하는 객체 등을 추출하는 조건을 포함할 수 있다. 상기 서비스 장치(200)는 링크 정보 외에 추가적으로 링크 정보를 획득한 영상 컨텐츠 재생 시점 정보가 함께 수신되는 경우, 수신된 영상 컨텐츠에서, 해당 영상 컨텐츠 재생 시점에 해당하는 이미지를 획득할 수 있다. 그리고, 서비스 장치(200)는 재생 시점 이미지에서 적어도 하나의 검색용 객체를 추출할 수 있다. 상기 서비스 장치(200)는 검색용 객체가 추출되면, 상품 관련 이미지 DB(231)에 포함된 적어도 하나의 상품 객체와 비교하여, 일정 값 이상의 유사도를 가지는 적어도 하나의 상품 객체를 검색 결과로서 획득할 수 있다.
515 단계에서, 서비스 장치(200)는 검색 결과를 사용자 단말(100)에 제공할 수 있다. 이 동작에서, 서비스 장치(200)는 검색 결과를 포함하는 가상 페이지를 구성하고, 이를 사용자 단말(100)에 제공할 수 있다. 예를 들어, 상기 가상 페이지는 링크에 대응하는 영상 컨텐츠의 적어도 일부 컨텐츠 및 검색 결과의 적어도 일부를 포함할 수 있다. 또는, 상기 가상 페이지는 링크 획득 시기의 영상 컨텐츠 재생 시점의 이미지 및 검색 결과의 적어도 일부를 포함할 수 있다.
517 단계에서, 사용자 단말(100)은 수신된 검색 결과를 출력할 수 있다. 출력 과정에서, 사용자 단말(100)은 가상 페이지 구성에 따라, 화면 영역들을 분할하고, 분할된 영역들에 링크, 링크에 대응하는 영상 컨텐츠의 적어도 일부, 영상 컨텐츠에서 검출된 적어도 하나의 검색용 객체, 검색 결과의 적어도 일부 등을 표시할 수 있다.
도 6은 본 발명의 실시 예에 따른 사용자 단말 운용 방법의 일 예를 나타낸 도면이다.
도 6을 참조하면, 사용자 단말 운용과 관련하여, 601 단계에서, 사용자 단말(100)의 프로세서(150)는 영상 컨텐츠 시청을 지원할 수 있다. 이와 관련하여, 사용자 단말(100)은 사용자 입력에 대응하여 영상 컨텐츠 서버(300)에 접속을 수행하고, 영상 컨텐츠 서버(300)에 특정 영상 컨텐츠를 요청하는 메시지를 전송할 수 있다. 상기 사용자 단말(100)은 영상 컨텐츠를 영상 컨텐츠 서버(300)로부터 스트리밍 방식으로 수신하면, 디스플레이(140)에 실시간 출력할 수 있다. 또는, 사용자 단말(100)은 영상 컨텐츠 서버(300)로부터 다운로드 방식으로 영상 컨텐츠를 수신하고, 수신 완료 후, 사용자 입력에 따라 또는 자동으로 다운로드된 영상 컨텐츠를 재생할 수 있다.
603 단계에서, 사용자 단말(100)의 프로세서(150)는 링크가 획득되는지 확인할 수 있다. 이와 관련하여, 사용자는 사용자 입력을 통하여 영상 컨텐츠의 링크 획득을 위한 동작을 수행할 수 있다. 예를 들어, 사용자는 키버튼 또는 마우스 등을 이용하여 현재 시청 중인 영상 컨텐츠의 링크를 획득하기 위한 단말 조작을 수행할 수 있다. 추가적으로, 이 동작에서, 프로세서(150)는 영상 컨텐츠 시청 중 링크 획득을 위한 사용자 입력이 발생하면, 링크 획득 시, 영상 컨텐츠 재생 시점 정보도 함께 획득할 수 있다. 상술한 설명에서는 시청 중인 영상 컨텐츠의 링크 획득을 위하여 601 단계에서 영상 컨텐츠 시청을 언급하였으나, 본 발명이 이에 한정되는 것은 아니다. 즉, 다른 예시로, 사용자는 영상 컨텐츠 서버(300)가 제공한 다른 영상 컨텐츠의 링크를 획득하기 위한 조작을 수행할 수 있다. 이 경우, 상기 601 단계는 영상 컨텐츠 서버(300)에서 제공하는 영상 컨텐츠 선택 화면 또는 컨텐츠 검색 화면 표시 단계가 될 수 있다.
링크가 획득되는 경우, 프로세서(150)는 605 단계에서 링크 기반 상품 검색을 요청하는 입력이 발생하는지 확인할 수 있다. 이와 관련하여, 사용자 단말(100)은 상품 검색을 요청할 수 있는 가상 키버튼 또는 메뉴 항목을 디스플레이(140)에 출력할 수 있다. 예를 들어, 프로세서(150)는 링크가 획득되면 그에 대응하여 상품 검색 요청을 지시할 수 있는 메뉴 항목이나 팝업창을 디스플레이에 출력할 수 있다.
링크 기반 상품 검색을 요청하는 입력이 발생하면, 프로세서(150)는 607 단계에서, 링크를 서비스 장치(200)에 전송할 수 있다. 상기 프로세서(150)는 상기 링크를 쿼리 정보로서 서비스 장치(200)에 전송할 수 있다. 이 동작에서, 서비스 장치(200)로부터 이미지 검색과 관련한 가상 페이지를 수신하면, 프로세서(150)는 이미지 검색용 가상 페이지를 디스플레이에 출력할 수 있다. 상기 이미지 검색용 가상 페이지는 상기 링크를 포함하는 쿼리 정보를 기입하는 화면을 포함할 수 있다. 상기 프로세서(150)는 링크 외에 링크 획득 시 함께 획득된 영상 컨텐츠 재생 시점 정보도 서비스 장치(200)에 링크와 함께 전송할 수 있다.
다음으로, 프로세서(150)는 서비스 장치(200)로부터 검색 결과를 수신하고, 수신된 검색 결과를 출력할 수 있다. 예컨대, 프로세서(150)는 전송한 링크에 대응되는 상품 검색 결과를 수신할 수 이다. 상기 프로세서(150)는 검색 결과 출력 시, 서비스 장치(200)에 전송한 링크에 대응하는 영상 컨텐츠의 적어도 일부 또는 영상 컨텐츠의 대표 이미지 또는, 링크가 획득된 시기의 영상 컨텐츠의 재생 이미지를 검색 결과와 함께 표시할 수 있다.
611 단계에서, 프로세서(150)는 종료 이벤트 발생 여부를 확인할 수 있다. 예컨대, 프로세서(150)는 이미지 검색 관련 가상 페이지를 종료시키는 입력 이벤트, 이미지 검색 기능 종료를 위한 입력 이벤트, 별도의 유의미한 사용자 입력이 없는 상태에서 지정된 시간이 경과한 이벤트 등의 발생 여부를 확인할 수 있다. 종료 이벤트 발생이 없는 경우, 프로세서(150)는 직전 수행된 동작에 따라 예컨대, 601 단계 이전으로 분기하여 이하 동작을 재수행할 수 있다. 또는, 프로세서(150)는 609 단계 이전으로 분기하여 이하 동작을 재수행할 수 있다.
도 7은 본 발명의 실시 예에 따른 서비스 장치의 운용 방법의 일 예를 나타낸 도면이다.
도 7을 참조하면, 본 발명의 실시 예에 따른 서비스 장치의 운용 방법과 관련하여, 701 단계에서, 서비스 장치(200)의 서버 프로세서(250)는 상품 검색용 링크가 수신되는지 확인할 수 있다. 이와 관련하여, 서버 프로세서(250)는 사용자 단말(100)의 요청에 따라, 사용자 단말(100)과 통신 채널을 형성할 수 있다. 상기 서버 프로세서(250)는 사용자 단말(100)이 접속하면, 이미지 검색과 관련한 가상 페이지를 사용자 단말(100)에 제공할 수 있다. 이후, 서버 프로세서(250)는 링크 수신 여부를 확인하는 대기 상태를 가질 수 있다.
상품 검색용 링크 수신이 없는 경우, 서버 프로세서(250)는 703 단계로 분기하여 지정된 기능을 수행할 수 있다. 예를 들어, 서버 프로세서(250)는 사용자 단말(100)로부터 쿼리 이미지 및 검색 요청을 수신하면, 수신된 쿼리 이미지에 포함된 적어도 하나의 객체를 추출하고, 이를 기반으로 상품 검색을 수행하고, 검색 결과를 사용자 단말(100)에 제공할 수 있다. 또는, 서버 프로세서(250)는 지정된 스케줄링 이벤트 도래 또는 지정된 개수 이상의 컨텐츠 저장에 따라, 컨텐츠 DB(233)에 저장된 영상 컨텐츠를 기반으로 상품 관련 이미지 DB(231)의 상품 객체 갱신을 수행할 수도 있다.
상품 검색용 링크가 수신되는 경우, 서버 프로세서(250)는 705 단계에서 영상 컨텐츠를 수집할 수 있다. 이를 위해, 서버 프로세서(250)는 상품 검색용 링크에서, 영상 컨텐츠 서버(300)의 주소 정보를 추출하고, 영상 컨텐츠 서버(300)와 통신 채널을 형성할 수 있다. 상기 서버 프로세서(250)는 링크에 대응하는 영상 컨텐츠를 영상 컨텐츠 서버(300)에 요청하여 수신할 수 있다.
영상 컨텐츠가 수신되면, 707 단계에서, 서버 프로세서(250)는 영상 컨텐츠 분석 및 객체 추출을 수행할 수 있다. 예컨대, 서버 프로세서(250)는 영상 컨텐츠에서 적어도 하나의 검색용 객체를 추출할 수 있다. 이와 관련하여, 서버 프로세서(250)는 영상 컨텐츠의 오디오 정보, 자막 정보, 텍스트 정보 등을 분석하여 적어도 하나의 핵심 키워드를 선정하고, 선정된 핵심 키워드에 대응하는 객체를 검색용 객체로 추출할 수 있다. 또는, 서버 프로세서(250)는 영상 컨텐츠에서 일정 시간 이상 등장하는 객체 또는 일정 횟수 이상 등장하는 객체를 검색용 객체로 추출할 수 있다. 또는, 서버 프로세서(250)는 영상 컨텐츠의 얼굴 인식을 수행하여, 주로 등장하는 배우를 인식하고, 해당 배우가 사용하는 적어도 하나의 객체를 검색용 객체로 추출할 수 있다.
709 단계에서, 서버 프로세서(250)는 상품 검색(또는 이미지 검색)을 수행할 수 있다. 상기 서버 프로세서(250)는 적어도 하나의 검색용 객체가 추출되면, 대응되는 상품 객체를 상품 관련 이미지 DB(231)에서 수집할 수 있다. 복수개의 검색용 객체가 추출된 경우, 서버 프로세서(250)는 복수개의 검색용 객체에 대응하는 상품 객체들을 각각 수집할 수 있다. 여기서, 상기 서버 프로세서(250)는 복수개의 검색용 객체들에 대하여 우선 순위를 정할 수도 있다. 예컨대, 서버 프로세서(250)는 상대적으로 많은 시간 또는 횟수 등장하는 객체의 우선 순위를 더 높게 설정할 수 있다. 또는, 서버 프로세서(250)는 주연 배우와 관련한 검색용 객체의 우선 순위를 조연 배우와 관련한 검색용 객체의 우선 순위보다 높게 설정할 수 있다.
711 단계에서, 서버 프로세서(250)는 검색 결과 제공을 수행할 수 있다. 예컨대, 서버 프로세서(250)는 수집된 검색 결과를 사용자 단말(100)에 적어도 일부 제공할 수 있다. 여기서, 상기 검색 결과가 가상 페이지의 한 페이지 분량을 넘어가는 경우, 서버 프로세서(250)는 일부 검색 결과를 사용자 단말(100)에 제공하고, 사용자 단말(100)의 추가 정보 요청(예: 스크롤 이벤트 등)에 대응하여 나머지 검색 결과를 사용자 단말(100)에 제공할 수도 있다. 검색 결과 제공에서, 서버 프로세서(250)는 우선 순위가 상대적으로 높은 검색용 객체와 관련한 검색 결과를 우선적으로 사용자 단말(100)에 제공할 수 있다. 서버 프로세서(250)는 추가 검색 결과 요청이 사용자 단말(100)로부터 발생하는 경우, 차순위 검색용 객체와 관련한 검색 결과를 사용자 단말(100)에 제공할 수 있다. 또는, 서버 프로세서(250)는 검색용 객체들의 우선 순위를 리스트를 사용자 단말(100)에 제공하고, 사용자 단말(100) 선택에 따라 지정된 순위의 검색용 객체와 관련한 검색 결과를 사용자 단말(100)에 제공할 수도 있다.
713 단계에서, 서버 프로세서(250)는 상품 검색 관련 기능을 종료시키기 위한 이벤트가 발생하는지 확인할 수 있다. 예컨대, 서버 프로세서(250)는 사용자 단말(100)로부터 상품 검색 기능 종료를 요청하는 이벤트를 수신하는지 확인할 수 있다. 기능 종료 이벤트가 발생하면, 서버 프로세서(250)는 사용자 단말(100)과의 통신 채널을 해제하고, 적어도 하나의 사용자 단말의 접속을 위한 대기 상태를 유지할 수 있다. 기능 종료 이벤트 발생이 없으면, 서버 프로세서(250)는 701 단계 이전으로 분기하여 이하 동작을 재수행할 수 있다.
도 8은 본 발명의 실시 예에 따른 서비스 장치의 운용 방법의 다른 예를 나타낸 도면이다.
도 8을 참조하면, 서비스 장치의 운용 방법과 관련하여, 801 단계에서, 서비스 장치(200)의 서버 프로세서(250)는 링크 및 키워드를 포함하는 쿼리 정보의 수신이 있는지 확인할 수 있다. 이와 관련하여, 서비스 장치(200)는 사용자 단말(100)과 통신 채널을 형성할 수 있다. 또한, 서비스 장치(200)는 사용자 단말(100)에게 이미지 검색과 관련한 가상 페이지를 제공할 수 있다. 사용자 단말(100)은 상기 가상 페이지를 통하여 링크 및 키워드를 입력하고, 이를 서비스 장치(200)에 전송할 수 있다. 또는, 사용자 단말(100)은 영상 컨텐츠 서버(300)가 제공하는 컨텐츠 선택 화면 또는 컨텐츠 재생 화면 상에서, 해당 컨텐츠 또는 사용자 입력에 따라 선택된 컨텐츠의 링크를 획득하고, 추가로 사용자 입력에 따라 키워드 입력창을 출력할 수 있다. 상기 사용자 단말(100)은 키워드 입력이 완료되면, 획득된 링크 및 키워드를 서비스 장치(200)에 전송하면서 이미지 검색(또는 상품 검색)을 요청할 수 있다.
링크 및 키워드 수신이 없는 경우, 서버 프로세서(250)는 803 단계에서 지정된 기능 수행을 처리할 수 있다. 예컨대, 서버 프로세서(250)는 링크 만 수신한 경우, 수신된 링크에 따른 영상 컨텐츠 수집, 검색용 객체 추출, 검색 결과 수집 및 제공의 기능을 수행할 수 있다.
링크 및 키워드를 수신하는 경우, 805 단계에서, 서버 프로세서(250)는 영상 컨텐츠 수집을 처리할 수 있다. 예컨대, 서버 프로세서(250)는 링크를 기반으로 영상 컨텐츠 서버(300)에 접속하고, 영상 컨텐츠 서버(300)로부터 링크에 대응하는 영상 컨텐츠의 적어도 일부를 수신할 수 있다.
807 단계에서, 서버 프로세서(250)는 수신된 영상 컨텐츠에서 키워드 관련 객체를 추출할 수 있다. 이와 관련하여, 서버 프로세서(250)는 키워드에 대응하는 기준 객체를 획득하고, 상기 기준 객체와 일정 유사도를 가지는 객체를 영상 컨텐츠에서 검출할 수 있다. 상기 서버 프로세서(250)는 영상 컨텐츠에서 검출된 객체를 검색용 객체로 이용할 수 있다.
809 단계에서, 서버 프로세서(250)는 추출된 객체를 기반으로 상품 검색(또는 이미지 검색)을 수행할 수 있다. 예컨대, 서버 프로세서(250)는 추출된 검색용 객체와 일정 값 이상의 유사도를 보이는 적어도 하나의 상품 객체를 수집할 수 있다.
811 단계에서, 서버 프로세서(250)는 검색 결과를 사용자 단말(100)에 제공할 수 있다. 검색 과정에서, 서버 프로세서(250)는 링크에 대응하는 영상 컨텐츠의 적어도 일부, 검색용 객체, 상품 객체들을 포함하는 가상 페이지를 사용자 단말(100)에 제공할 수 있다.
813 단계에서, 서버 프로세서(250)는 기능 종료와 관련한 이벤트 발생이 있는지 확인할 수 있다. 기능 종료와 관련한 이벤트가 발생하는 경우, 예컨대, 서버 프로세서(250)는 사용자 단말(100)로부터 이미지 검색 기능 종료를 요청하는 메시지를 수신하였는지 또는 기능 종료와 관련한 기 설정된 타이머가 만료되었는지 등을 확인할 수 있다. 기능 종료 관련 이벤트가 발생하면, 서버 프로세서(250)는 사용자 단말(100)과의 통신 채널을 해제할 수 있다. 기능 종료와 관련한 이벤트 발생이 없는 경우, 서버 프로세서(250)는 801 단계 이전으로 분기하여 이하 동작을 재수행할 수 있다.
본 발명은 이미지 검색 분야에 적용되는 것으로서, 특히, 이미지 검색을 보다 간편할 수 있는 방법 및 장치의 제공과 관련된다.
본 발명은 사용자가 시청하는 영상 컨텐츠 또는 시청할 수 있는 영상 컨텐츠의 링크를 이용하여 이미지 검색을 할 수 있도록 함으로써, 이미지 검색을 위한 다양한 쿼리 이미지를 손쉽게 획득할 수 있도록 지원한다. 또한, 복수의 프레임을 포함하는 영상 컨텐츠를 통하여 사용자의 의도를 복합적으로 인지하고, 그에 대응하는 이미지 검색 결과를 제공할 수 있다.
10: 서비스 시스템
50: 네트워크
100: 사용자 단말
110: 통신 회로
120: 입력 장치
130: 메모리
140: 디스플레이
150: 프로세서
200: 서비스 장치
210: 서버 통신 회로
230: 서버 메모리
250: 서버 프로세서
251: 컨텐츠 수집부
253: 객체 추출부
255: 검색 지원부
257: DB 갱신부

Claims (12)

  1. 서버 통신 회로;
    상기 서버 통신 회로와 기능적으로 연결되는 서버 프로세서;를 포함하고,
    상기 서버 프로세서는
    상기 서버 통신 회로를 기반으로 사용자 단말과 통신 채널을 형성하고,
    상기 사용자 단말로부터 특정 영상 컨텐츠를 지시하는 링크를 수신하고,
    상기 링크와 관련된 영상 컨텐츠 서버에 연결하고,
    상기 영상 컨텐츠 서버로부터 상기 링크에 대응하는 영상 컨텐츠의 적어도 일부를 수신하고,
    상기 영상 컨텐츠의 적어도 일부로부터 적어도 하나의 검색용 객체를 추출하고,
    상기 추출된 검색용 객체를 기반으로 이미지 검색을 수행하고,
    상기 이미지 검색 결과를 상기 사용자 단말에 제공하도록 설정된 것을 특징으로 하는 서비스 장치.
  2. 제1항에 있어서,
    상기 서버 프로세서는
    상기 영상 컨텐츠의 적어도 일부에서 적어도 하나의 프레임을 수집하고, 상기 적어도 하나의 프레임에 포함된 객체를 상기 검색용 객체로 추출하도록 설정된 것을 특징으로 하는 서비스 장치.
  3. 제1항에 있어서,
    상기 서버 프로세서는
    상기 영상 컨텐츠의 적어도 일부에서 복수개의 프레임을 수집하고, 상기 복수개의 프레임들에서 지정된 횟수 이상 등장하는 객체 또는 지정된 시간 이상 동안 등장하는 객체를 상기 검색용 객체로 추출하도록 설정된 것을 특징으로 하는 서비스 장치.
  4. 제1항에 있어서,
    상기 서버 프로세서는
    상기 영상 컨텐츠에 등장하는 객체 중 가장 자주 등장하는 객체 또는 가장 오랜 시간 동안 등장하는 객체를 상기 검색용 객체로 추출하도록 설정된 것을 특징으로 하는 서비스 장치.
  5. 제1항에 있어서,
    상기 서버 프로세서는
    상기 영상 컨텐츠에 포함된 오디오 정보, 자막 정보, 텍스트 중 적어도 하나를 기반으로 상기 영상 컨텐츠의 핵심 키워드를 선정하고,
    상기 핵심 키워드에 대응하는 객체를 상기 영상 컨텐츠의 상기 검색용 객체로 추출하도록 설정된 것을 특징으로 하는 서비스 장치.
  6. 제1항에 있어서,
    상기 서버 프로세서는
    상기 링크와 함께 키워드를 수신하고,
    상기 키워드에 대응하는 객체를 상기 영상 컨텐츠에서 검색용 객체로 추출하도록 설정된 것을 특징으로 하는 서비스 장치.
  7. 제1항에 있어서,
    상기 서버 프로세서는
    상기 링크에 대응하는 영상 컨텐츠의 적어도 일부와 상기 검색 결과를 하나의 화면으로 구성하여 상기 사용자 단말에 제공하도록 설정된 것을 특징으로 하는 서비스 장치.
  8. 제1항에 있어서,
    상기 서버 프로세서는
    상기 링크가 획득된 시점에 대응하는 영상 컨텐츠 재생 이미지를 획득하고, 상기 영상 컨텐츠 재생 이미지에서 상기 검색용 객체를 추출하도록 설정된 것을 특징으로 하는 서비스 장치.
  9. 제1항에 있어서,
    상기 서버 프로세서는
    상기 영상 컨텐츠 서버로부터 수신된 영상 컨텐츠에서 적어도 하나의 객체를 추출하고, 상기 추출된 객체를 상품 관련 이미지 DB의 상품 객체로 등록하도록 설정된 것을 특징으로 하는 서비스 장치.
  10. 제1항에 있어서,
    상기 서버 프로세서는
    상기 검색 결과에 상기 영상 컨텐츠 태그 정보를 부가하여 제공하도록 설정된 것을 특징으로 하는 서비스 장치.
  11. 서비스 장치가,
    서버 통신 회로를 기반으로 사용자 단말과 통신 채널을 형성하는 단계;
    상기 사용자 단말로부터 특정 영상 컨텐츠를 지시하는 링크를 수신하는 단계;
    상기 링크와 관련된 영상 컨텐츠 서버에 연결하는 단계;
    상기 영상 컨텐츠 서버로부터 상기 링크에 대응하는 영상 컨텐츠의 적어도 일부를 수신하는 단계;
    상기 영상 컨텐츠의 적어도 일부로부터 적어도 하나의 검색용 객체를 추출하는 단계;
    상기 추출된 검색용 객체를 기반으로 이미지 검색을 수행하는 단계;
    상기 이미지 검색 결과를 상기 사용자 단말에 제공하는 단계;를 포함하는 것을 특징으로 하는 간편 이미지 검색 방법.
  12. 제11항에 있어서,
    상기 적어도 하나의 검색용 객체를 추출하는 단계는
    상기 영상 컨텐츠에 포함된 오디오 정보, 자막 정보, 텍스트 중 적어도 하나를 기반으로 상기 영상 컨텐츠의 핵심 키워드를 선정하는 단계; 및
    상기 핵심 키워드에 대응하는 객체를 상기 영상 컨텐츠의 상기 검색용 객체로 추출하는 단계;를 포함하는 것을 특징으로 하는 간편 이미지 검색 방법.
KR1020180099480A 2018-08-24 2018-08-24 간편 이미지 검색 방법 및 이를 지원하는 서비스 장치 KR20200023094A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180099480A KR20200023094A (ko) 2018-08-24 2018-08-24 간편 이미지 검색 방법 및 이를 지원하는 서비스 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180099480A KR20200023094A (ko) 2018-08-24 2018-08-24 간편 이미지 검색 방법 및 이를 지원하는 서비스 장치

Publications (1)

Publication Number Publication Date
KR20200023094A true KR20200023094A (ko) 2020-03-04

Family

ID=69783406

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180099480A KR20200023094A (ko) 2018-08-24 2018-08-24 간편 이미지 검색 방법 및 이를 지원하는 서비스 장치

Country Status (1)

Country Link
KR (1) KR20200023094A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230111105A (ko) 2022-01-17 2023-07-25 강소영 이미지와 키워드를 이용한 검색 시스템 및 그 동작방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
미국 등록 특허 7982738호 (명칭: Interactive montages of sprites for indexing and summarizing video)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230111105A (ko) 2022-01-17 2023-07-25 강소영 이미지와 키워드를 이용한 검색 시스템 및 그 동작방법

Similar Documents

Publication Publication Date Title
US11917242B2 (en) Identification and presentation of content associated with currently playing television programs
CN105122242A (zh) 用于呈现与媒体内容相对应的方法、系统以及介质
KR101846756B1 (ko) Ｔｖ 프로그램 식별 방법, 장치, 단말기, 서버, 및 시스템
CN109688475B (zh) 视频播放跳转方法、系统及计算机可读存储介质
US20210314635A1 (en) System and method for providing image-based video service
KR20160104661A (ko) 온-디맨드 미디어 컨텐츠에 대응하는 보충적인 정보를 제시하기 위한 방법들, 시스템들 및 매체들
US20160364373A1 (en) Method and apparatus for extracting webpage information
CN103004228A (zh) 获取关键词用于搜索
KR102208822B1 (ko) 음성 인식 장치, 방법 그리고 이를 위한 사용자 인터페이스 표시 방법
US20110213773A1 (en) Information processing apparatus, keyword registration method, and program
KR20200024541A (ko) 동영상 컨텐츠 검색 지원 방법 및 이를 지원하는 서비스 장치
CN111274449B (zh) 视频播放方法、装置、电子设备和存储介质
US20220083494A1 (en) Method for providing shared data on basis of device attribute and electronic device for same
CN106713973A (zh) 搜索节目的方法及装置
CN112333508A (zh) 视频预览方法、系统、设备及存储介质
KR20200023094A (ko) 간편 이미지 검색 방법 및 이를 지원하는 서비스 장치
KR20200024538A (ko) 이미지 검색과 관련한 정보 추천 방법 및 이를 지원하는 서비스 장치
CN116049490A (zh) 素材搜索方法、装置和电子设备
KR102536057B1 (ko) 이미지 검색을 위한 요약 정보 제공 방법 및 이를 지원하는 서비스 장치
JP2022181319A (ja) 動画検索装置、動画検索システム及びプログラム
CN112417279A (zh) 一种信息推荐方法、装置及计算机可读存储介质
US20120011220A1 (en) Information search system, information processing apparatus, and terminal apparatus
JP2019036837A (ja) オブジェクト特定装置、オブジェクト特定システム、オブジェクト特定方法及びプログラム
KR20200023096A (ko) 이미지 검색 정보 처리 방법 및 이를 지원하는 서비스 장치
KR20200021833A (ko) 이미지 연계 검색 방법 및 이를 지원하는 서비스 장치

Legal Events

Date Code Title Description
N231 Notification of change of applicant