KR20180048536A - 영상 검색 정보 제공 방법, 장치 및 컴퓨터 프로그램 - Google Patents

Abstract

본 발명은 영상 검색 정보 제공 방법, 장치 및 컴퓨터 프로그램에 관한 것이다. 본 발명은 영상 검색 정보를 제공하는 방법에 있어서, 이러한 목적을 달성하기 위한 본 발명은 임의의 영상 재생 중 기 설정된 쿼리 생성 이벤트가 발생하면, 클라이언트는 상기 쿼리 생성 이벤트가 발생했을 때의 화면을 쿼리로 생성하여 서버로 전송하는 단계, 상기 서버는 상기 쿼리에서 특정 상품으로 기 학습된 이미지 특징 정보를 포함하는 일 영역을 검색대상 오브젝트로 추출하는 단계, 상기 서버는 복수의 카테고리별 상품 이미지를 이용하여 학습된 모델을 이용하여 상기 검색대상 오브젝트의 분류 정보를 식별하고, 상기 분류 정보에 대응하는 하나 이상의 상품 관련 정보를 상품 데이터베이스에서 검색하는 단계, 상기 서버는 상기 검색 결과를 상기 클라이언트에 전송하는 단계, 상기 클라이언트는 상기 화면에 검색 결과를 표시하는 단계를 포함하는 것을 일 특징으로 한다. 본 발명에 의하면, 별도의 검색어 입력 없이도 영상에 노출되는 상품과 유사한 상품을 검색할 수 있다.

Description

영상 검색 정보 제공 방법, 장치 및 컴퓨터 프로그램{METHOD, APPARATUS AND COMPUTER PROGRAM FOR PROVIDING SEARCH INFORMATION FROM VIDEO}

본 발명은 영상 재생장치에서 영상 검색 정보를 제공하는 방법, 장치 및 컴퓨터프로그램에 관한 것으로, 보다 구체적으로 별도의 검색어 입력 없이 영상에서 오브젝트를 인식하여 이와 유사한 상품 정보를 제공하는 방법, 장치 및 컴퓨터 프로그램에 관한 것이다.

최근 증가된 유무선 인터넷 환경을 배경으로 온라인을 이용한 홍보, 매매 등의 상거래가 활성화되고 있다. 이와 관련하여 구매자들은 인터넷과 연결된 데스크탑이나 모바일 단말에서 잡지, 블로그 또는 YouTube의 동영상 등을 검색하다가 마음에 드는 상품을 발견하면, 상품명 등을 검색하여 구매로 이르게 된다. 유명 여배우가 공항에서 들었던 가방 이름, 예능 프로그램에 나온 육아 용품 이름이 포탈 사이트의 실시간 검색어 순위 상위에 올라가는 경우가 그 예라고 할 수 있다. 그러나 이 때, 사용자는 검색을 위한 웹 페이지를 별도로 열어서 상품명과 판매처 등을 검색해야 하고, 이름을 알지 못하면 쉽게 검색할 수 없는 불편도 발생한다.

한편 판매자들 역시 제품 홍보를 위해 드라마, 영화와 같은 동영상 콘텐츠에 제품을 협찬하는 경우가 많은데, 홍보 비용 지출에도 불구하고 간접광고 이슈로 인해 상품명을 직접 노출하지 못하는 경우가 대부분이다.

따라서 최근 판매자들은 사용자가 영상을 재생할 때 영상에 나오는 상품 정보를 확인할 수 있도록 영상 프레임에 홍보용 상품 정보를 태깅한 동영상 컨텐츠를 제작하기도 하는 등 다양한 홍보 방법을 모색하고 있다. 그러나 이러한 방식에 의하면 사용자는 판매자가 제공하는 한정된 정보(판매자가 콘텐츠에 태깅한 상품 정보)만을 확인할 수 있으므로, 영상에 나오는 상품 중에 마음에 드는 상품이 협찬 상품이 아니라면 여전히 그 상품에 대한 정보를 검색하는데 어려움을 겪는다. 또한, 영상에 노출되는 상품이 구매 가능한 가격대가 아닌 경우 소비자들은 좀 더 저렴한 가격의 유사 상품을 검색하고자 할 수 있는데, 영상으로 상품을 확인한 경우에는 상품명을 특정하기가 쉽지 않아 유사 상품 검색에 어려움이 있다.

본 발명은 전술한 문제점을 해결하기 위한 것으로서, 별도의 검색어 입력 없이도 영상에 노출되는 상품과 유사한 상품을 검색할 수 있는 영상 검색 정보 제공 방법, 장치 및 프로그램을 제공하는 것을 일 목적으로 한다.

또한, 본 발명은 상품 정보가 태깅된 별도의 콘텐츠를 제작하지 않고도 원 영상 재생 시 상품 정보가 노출될 수 있도록 함으로써 상품 홍보에 소요되는 비용을 절감하고 보다 효과적으로 상품을 홍보할 수 있는 영상 검색 정보 제공 방법 및 장치를 제공하는 것을 다른 목적으로 한다.

이러한 목적을 달성하기 위한 본 발명은 임의의 영상 재생 중 기 설정된 쿼리 생성 이벤트가 발생하면, 클라이언트는 상기 쿼리 생성 이벤트가 발생했을 때의 화면을 쿼리로 생성하여 서버로 전송하는 단계, 상기 서버는 상기 쿼리에서 특정 상품으로 기 학습된 이미지 특징 정보를 포함하는 일 영역을 검색대상 오브젝트로 추출하는 단계, 상기 서버는 복수의 카테고리별 상품 이미지를 이용하여 학습된 모델을 이용하여 상기 검색대상 오브젝트의 분류 정보를 식별하고, 상기 분류 정보에 대응하는 하나 이상의 상품 관련 정보를 상품 데이터베이스에서 검색하는 단계, 상기 서버는 상기 검색 결과를 상기 클라이언트에 전송하는 단계, 상기 클라이언트는 상기 화면에 검색 결과를 표시하는 단계를 포함하는 것을 일 특징으로 한다.

전술한 바와 같은 본 발명에 의하면, 별도의 검색어 입력 없이도 영상에 노출되는 상품과 유사한 상품 및 상품 관련 정보를 확인할 수 있다.

또한, 본 발명에 의하면 상품 정보가 태깅된 별도의 콘텐츠를 제작하지 않고도, 영상 재생 시 상품 정보가 노출될 수 있도록 함으로써 상품 홍보에 소요되는 비용을 절감하고 보다 효과적으로 상품을 홍보할 수 있다.

도 1은 본 발명에 의한 영상 검색 정보를 제공하는 전자 장치의 일 실시 예를 설명하기 위한 개념도,
도 2는 본 발명에 의한 클라이언트에 영상 검색 정보를 제공하는 서버의 일 실시 예를 설명하기 위한 개념도,
도 3은 본 발명에 의한 전자 장치의 영상 검색 정보 제공 방법의 일 실시 예를 설명하기 위한 순서도,
도 4는 본 발명에 의한 쿼리 생성 방법의 일 실시 예를 설명하기 위한 순서도,
도 5는 본 발명에 의한 오브젝트 추출 방법의 일 실시 예를 설명하기 위한 순서도,
도 6은 본 발명에 의한 오브젝트 추출 방법의 일 실시 예를 설명하기 위한 순서도,
도 7은 본 발명에 의한 서버의 영상 검색 정보 제공 방법의 일 실시 예를 설명하기 위한 순서도,
도 8은 본 발명에 의한 전자 장치의 영상 검색 정보 제공의 일 실시 예를 설명하기 위한 도면이다.

전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용되며, 명세서 및 특허청구의 범위에 기재된 모든 조합은 임의의 방식으로 조합될 수 있다. 그리고 다른 식으로 규정하지 않는 한, 단수에 대한 언급은 하나 이상을 포함할 수 있고, 단수 표현에 대한 언급은 또한 복수 표현을 포함할 수 있음이 이해되어야 한다.

본 명세서에서 '오브젝트'는 상품으로 인식할 수 있는 물건, 또는 물건의 이미지를 의미하는 것으로 이해될 수 있으며, 오브젝트 추출 조건에 따라 노이즈를 포함하는 불특정 사물의 이미지일 수도 있고, 미리 정의된 레이블에 대응되는 특정 사물의 이미지일 수도 있다. '오브젝트'는 추출 조건, 학습된 레이블의 분류 깊이에 따라 포괄적인 범주의 상품에 대응될 수도 있지만, 상품의 색상, 패턴, 상품명과 같은 세부적인 상품의 특징에 대응될 수 있는 개념으로 이해되어야 한다.

본 명세서에 기재된 '레이블'은 상술한 바와 같이 상품(또는 오브젝트)의 특징을 정의하는 정보로, 예를 들어 여성의류, 남성의류, 가구, 생활용품, 주방용품과 같은 대분류 정보, 하의, 상의, 원피스와 같은 중분류 정보, 색상, 무늬, 브랜드, 가격과 같은 소분류 정보를 포함할 수 있다. 이는 일 예시에 불과하며, 레이블은 사용자 설정에 따라 다양하게 분류 또는 정의될 수 있다. 본 발명의 일 실시 예에 따른 레이블은 기계 학습(machine learning)을 통하여 학습된 것일 수 있으며, 서버 또는 클라이언트(전자 장치)에는 이미지 특징 정보에 대응되는 레이블이 미리 저장될 수 있다. 본 명세서에서 레이블, 분류 정보, 카테고리 정보는 동일한 의미를 갖는 것으로 이해될 수 있다.

본 명세서에서 ‘전자 장치’는 데스크탑, 스마트폰, 태블릿 PC 등 영상을 재생할 수 있고, 검색 정보를 표시할 수 있는 모든 형태의 전자 장치를 포함하며, 본 명세서에서 클라이언트, 영상 검색 정보 제공 장치와 동일한 의미를 갖는 것으로 이해될 수 있다.

도 1은 본 발명에 의한 영상 검색 정보를 제공하는 전자 장치의 일 실시 예를 설명하기 위한 개념도이다. 도 1을 참조하면 본 발명에 의한 전자 장치(100)는 제어부(130), 통신부(150), 표시부(170)를 포함할 수 있으며, 입력부(190, 미도시)를 더 표시할 수 있다.

제어부(130)는 영상 재생 중 기 설정한 쿼리 생성 이벤트가 발생하면 영상을 이용하여 쿼리를 생성한다.

제어부(130)는 영상 재생 중 일시 정지 이벤트가 발생한 후에, 기 설정된 시간이 경과하거나 검색 이벤트가 발생하면 쿼리 생성 이벤트가 발생한 것으로 판단할 수 있다. 예를 들어, 사용자가 재생되는 영상을 일시 정지하고 일정 시간(2초)가 경과된 후에도 계속 일시 정지 상태라면, 전자 장치(100)는 쿼리 생성 이벤트가 발생한 것으로 판단하여 일시 정지된 영상 프레임을 기초로 쿼리를 생성할 수 있다. 일시 정지 이벤트는 영상 재생 중 영상을 일시 정지시키는 이벤트로, 예를 들어 사용자가 키보드의 스페이스 바를 누르거나, 마우스로 일시 정지 아이콘을 클릭하거나, 일시 정지에 대응되는 것으로 기 설정된 명령어 등을 마이크를 통해 입력하여 발생될 수 있다. 제어부(130)는 설정에 따라 일시 정지 이벤트가 발생하면 이를 쿼리 생성 이벤트로 판단할 수도 있다.

검색 이벤트는 전자 장치(100)가 상품을 검색하는 것을 인식할 수 있는 이벤트를 의미하는데, 예를 들어, 사용자가 일시 정지 후에 표시되는 검색 버튼을 클릭하거나 터치하는 동작, 영상 프레임의 일 영역을 지정하는 동작, 영상 프레임에서 오브젝트로 인식되는 일 영역 또는 버튼을 클릭 또는 터치하는 동작을 포함할 수 있다.

또한, 제어부(130)는 영상 재생 중 일시 정지 이벤트가 발생하면, 상기 화면에 상기 쿼리의 생성까지 남은 시간을 표시하고, 남은 시간이 0에 도달할 때까지 사용자 입력이 없으면, 쿼리 생성 이벤트가 발생한 것으로 판단할 수 있다.

쿼리 생성 이벤트 발생 시에 제어부(130)가 생성하는 쿼리는 일시 정지된 영상 프레임, 영상 프레임에 포함된 일 영역의 이미지, 일시 정지된 화면을 기준으로 기 설정된 조건을 만족하는 복수의 영상 프레임, 또는 영상에 포함된 일 영상 프레임에서 추출한 오브젝트 정보 중 적어도 하나를 포함할 수 있다. 그리고 오브젝트 정보는 영상에서 추출한 이미지 특징 정보, 임의의오브젝트 영역으로부터 추출된 이미지 특징 정보, 특정 오브젝트에 대응되는 것으로 학습된 이미지 특징 정보 또는 레이블 정보 중 적어도 하나를 포함할 수 있다.

여기서, 이미지 특징 정보는 영상, 영상 프레임 또는 영상에 포함된 일 영역의 이미지로부터 지역적(로컬) 또는 전역적(글로벌)으로 추출한 정보를 의미한다. 이미지 특징 정보들은 레이블 생성을 위한 기계 학습에 사용될 수 있다. 또한, 미리 학습된 레이블이 존재하는 경우, 임의의 이미지 특징 정보는 특정 레이블 또는 특정 오브젝트에 대응될 수 있다. 이미지 특징 정보는 이미지 전체 또는 오브젝트 영역 또는 이미지 내 특징점 주변에 위치하는 기 설정된 범위의 이미지(이미지 조각 또는 패치)의 벡터 정보(디스크립터)를 포함할 수 있으며, 벡터 정보는 밝기 변화, 색상, 패턴(주파수, 세로 엣지, 가로 엣지의 분포), 이미지 조각의 기울기, 기 설정된 임계치 이상의 밝기 변화 등에 대한 정보를 포함할 수 있다. 또한, 이미지 특징 정보는 오브젝트 별로 고유한 범위의 값을 가질 뿐 아니라, 학습 모델에 따라서 레이블 별로 고유한 범위의 값을 가질 수 있다.

영상 프레임에 포함된 일 영역의 이미지는 도 8에 도시된 바와 같은 다각형으로 지정된 것(B)일 수 있다. 제어부(130)는 일시 정지 이벤트가 발생하면, 사용자 편의를 위해 오브젝트로 인식되는 A를 포함하는 일 영역을 가이드로 제공할 수 있는데, 이 때 사용자는 가이드로 제공되는 다각형의 크기 또는 형태를 조절함으로써, 최종적으로 쿼리에 포함되는 영역을 선택할 수 있다.

또한, 제어부(130)는 일시 정지된 영상 프레임이 흐리거나(blurred frame), 오브젝트 검출이 어려운 경우, 또는 서버에서의 오브젝트 추출 정확도를 높이기 위한 경우에 일시 정지된 영상 프레임을 기준으로 기 설정된 조건을 만족하는 하나 이상의 영상 프레임을 쿼리에 포함시킬 수 있다.

쿼리에 포함되는 하나 이상의 영상 프레임을 선정하기 위해 미리 설정되는 조건은 시간, 프레임 개수, 자막 여부 및/또는 선명도를 이용하여 설정된 것일 수 있다. 예를 들어, 제어부(130)는 기 설정된 조건에 따라 일시 정지된 영상 프레임을 기준으로 전/후 1 초 이내의 영상 프레임들을 하나의 쿼리로 생성할 수 있다. 또한, 제어부(130)는 일시 정지된 영상 프레임을 기준으로 전/후 영상 프레임을 하나씩 추가하여 3개의 영상 프레임을 하나의 쿼리로 생성할 수 있다. 다른 실시 예로, 일시 정지된 영상 프레임의 선명도가 떨어지는 경우, 제어부(130)는 전/후 영상 프레임 중에서 선명도가 높은 영상 프레임을 검색하여 쿼리에 포함시킬 수 있다. 또 다른 예로, 일시 정지된 영상에 자막이 포함된 경우, 제어부(130)는 자막이 제거된 영상 프레임만을 쿼리에 포함시킬 수 있다.

또한, 제어부(130)는 영상 프레임에서 오브젝트를 추출하는 오브젝트 추출부(135), 오브젝트를 포함하는 쿼리를 생성하는 쿼리 생성부(137)를 포함할 수 있다.

오브젝트 추출부(135)는 기 저장된 학습 모델을 이용하여 특정 오브젝트에 대응되는 것으로 학습된 이미지 특징 정보를 포함하는 일 영역을 오브젝트로 추출하고, 해당 오브젝트에 상기 이미지 특징 정보에 대응되는 레이블을 부착할 수 있다. 본 실시 예에서의 오브젝트는 특정 사물로 정의할 수 있는 오브젝트를 의미하며, 그 레이블 또는 범주에 따라 다양하게 정의될 수 있다.

기 저장된 학습 모델을 이용하여 특정 오브젝트에 대응되는 것으로 학습된 이미지 특징 정보는 그 설정에 따라 글로벌 디스크립터 또는 로컬 디스크립터일 수 있다. 즉, 오브젝트 추출부(135)는 영상 프레임에서 자동차에 대응되는 것으로 학습된 이미지 특징 정보를 포함하는 오브젝트를 추출할 수도 있고, 의류에 대응되는 것으로 학습된 이미지 특징 정보를 포함하는 오브젝트를 추출할 수도 있으며 해당 오브젝트가 어떤 사물인지 뿐 아니라, 사물의 특징(상품 종류, 상품 브랜드, 색상, 재질, 형태, 패턴, 일부 디자인의 차이 및 사람에 의해 정의 가능한 느낌 - 큐트, 시크, 빈티지 등 -)까지도 분류할 수도 있다. 따라서 목적에 맞게 글로벌 및 로컬 디스크립터를 이용하면 보다 구체적인 상품명, 상품의 특징을 레이블링 하는 것이 가능하다.

다른 실시 예로, 오브젝트 추출부(135)는 영상 프레임에서 이미지 특징 정보를 추출하고, 추출된 특징 정보를 이용해 기 설정된 조건에 따라 영상 프레임 내 일 영역을 구획하고, 구획된 일 영역을 검색대상 오브젝트로 설정할 수 있다. 여기서, 본 발명에 따른 전자 장치가 추출하는 오브젝트는 그 오브젝트의 종류와는 상관없이 임의의 ‘객체’로 판단되는 것일 수 있으며, 따라서 노이즈가 포함될 수 있으나 빠른 속도로 추출 가능하다. 영역의 구획은 밝기 변화 지점, 전반적인 색상 분포, 엣지 정보, 선명도 정보 등의 영상 프레임 내의 이미지 특징 정보를 이용하여 이루어질 수 있으며, 오브젝트의 설정은 영상 프레임 상의 좌표 정보를 이용하여 이루어질 수 있다. 즉, 오브젝트 추출부(135)는 쿼리 생성 이벤트가 발생했을 때의 화면에서 밝기 변화, 색상 분포, 엣지 정보 또는 선명도 정보의 변화가 기 설정된 기준치 이상인 일 영역을 구획하고, 구획된 일 영역을 검색대상 오브젝트로 설정하여 쿼리로 생성할 수 있다. 영상 프레임 내에는 복수개의 오브젝트가 포함될 수 있으며, 이 경우 복수의 오브젝트가 추출될 것이다.

제어부(130)는 표시부(170)가 검색 결과를 표시할 때, 사용자의 검색 로그를 이용하여 사용자가 기 검색한 오브젝트와 동일 또는 유사한 레이블을 포함하는 오브젝트에 대한 검색 결과를 우선적으로 화면에 표시하도록 제어할 수 있다. 이는 사용자의 관심 분야에 속하는 검색 결과를 우선적으로 화면에 노출시킴으로써 영상 검색이 상품 구매로 이어질 확률을 높이고, 사용자 만족도를 높이기 위함이다. 또한, 제어부(130)는 표시부(170)가 쿼리에 포함된 오브젝트의 이미지 특징 정보와 유사도가 높은 순서에 따라 검색 결과를 화면에 표시하도록 제어함으로써, 검색의 정확도를 높일 수 있다.

통신부(150)는 쿼리를 서버(200)로 전송하고, 서버(200)로부터 쿼리에 대응되는 검색 결과를 수신한다. 통신부(150)는 서버(200)와의 통신을 위한 유무선 통신 모듈, 예를 들어, GSM, CDMA, WCDMA, HSDPA, LTE 방식을 지원하는 이동 통신 모듈을 포함할 수 있다. 또한 통신부(190)는 WLAN, WiFi Direct, DLNA, Wibro, Wimax와 같은 무선 통신 모듈을 포함할 수 있으며, 근거리 통신(Short range communication)을 위한 통신 모듈, 예를 들면 블루투스, RFID, 적외선 통신, UWB, ZigBee, NFC, Wi-Fi, Wi-Fi Direct 등을 지원하는 통신 모듈을 포함할 수 있다. 참고로 본 발명의 통신부(150)는 서버(200)와의 데이터 송수신을 지원하는 통신 모듈이라면 그 방식에 의해 제한되지 않는다.

표시부(170)는 수신한 검색 결과를 화면에 표시하는데, 여기서 검색 결과는 영상에 포함된 임의의 오브젝트에 대한 검색 결과를 의미한다. 표시부는 전자 장치(100)에서 처리되는 정보를 표시(출력)하며, 전자 장치(100)에서 구동되는 응용 프로그램의 실행화면 정보, 또는 이러한 실행화면 정보에 따른 UI(User Interface), GUI(Graphic User Interface) 정보를 표시할 수 있다.

표시부(170)는 디스플레이 모듈을 포함할 수 있으며, 디스플레이 모듈은 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성되는 터치 스크린을 포함할 수 있다. 이러한 터치 스크린은 전자 장치(100)와 사용자 사이의 입력 인터페이스를 제공하는 입력부(190, 미도시)로 기능함과 동시에, 전자 장치(100)와 사용자 사이에 정보를 표시하는 인터페이스를 제공할 수 있다. 또한, 디스플레이 모듈은 입체영상을 표시하는 입체 디스플레이 모듈일 수 있다. 이러한 입체 디스플레이로는 스테레오스코픽 방식(안경 방식), 오토 스테레오스코픽 방식(무안경 방식), 프로젝션 방식(홀로그래픽 방식) 등의 3차원 디스플레이 방식이 적용될 수 있다. 본 발명의 표시부(170)는 디스플레이 모듈의 종류에 의해 제한되지 않으며, 영상을 재생할 수 있는 모든 종류의 영상 재생 프로그램에 의한 동화상의 표시가 가능하고 쿼리에 대한 검색 결과를 표시할 수 있는 디스플레이 모듈을 모두 포함한다.

입력부(190, 미도시)는 쿼리 생성 이벤트를 발생시키기 위한 사용자 명령을 입력받는 구성으로, 상술한 터치 스크린이나, 키보드, 마우스, 마이크일 수 있다.

도 2는 본 발명에 의한 클라이언트에 영상 검색 정보를 제공하는 서버의 일 실시 예를 설명하기 위한 개념도이다.

도 2를 참조하면, 본 발명의 일 실시 예에 따른 서버(200)는 제어부(230), 통신부(250), 데이터베이스부(270)를 포함할 수 있다.

제어부(230)는 클라이언트(100)로부터 수신한 쿼리를 분석하고, 쿼리에 포함된 오브젝트의 레이블 또는 상기 오브젝트의 이미지 특징 정보에 대응되는 상품 정보를 데이터베이스부(270)에서 검색하여 검색 결과로 제공한다. 상품 정보 또는 상품 관련 정보는 상품과 관련된 정보로써, 상품명, 상품의 제조사, 가격, 인기도, 카테고리(레이블), 구입처 정보(웹사이트, 연락처, 위치 정보), 관련 리뷰, 광고 등을 포함한다.

제어부(230)는 쿼리에 노이즈로 분류된 이미지 특징 정보 또는 노이즈로 학습된 레이블 정보가 포함되어 있으면 해당 쿼리 또는 오브젝트를 검색 대상에서 제외할 수 있다.

또한, 제어부(230)는 쿼리 분석 결과, 영상 프레임, 영상 프레임에 포함된 일 영역의 이미지 또는 레이블이 부착되지 않은 제 1 오브젝트가 포함되어 있으면, 영상 프레임, 이미지 또는 제 1 오브젝트에서 이미지 특징 정보를 추출할 수 있다. 여기서 제 1 오브젝트는 레이블이 부착되지 않은 오브젝트로, 상품의 종류와 상관없이 전자 장치가 물건으로 인식한 오브젝트일 수 있으며, 이미지는 전자 장치에서 캡쳐 또는 크롭된 일 영역의 이미지일 수 있다.

제어부(230)는 이미지 특징 정보의 탐색 결과, 영상 프레임, 이미지 또는 제 1 오브젝트에 특정 오브젝트로 기 학습된 이미지 특징 정보가 존재하면, 영상 프레임, 이미지 또는 상기 제 1 오브젝트에서 상기 이미지 특징 정보를 포함하는 일 영역을 검색대상 오브젝트로 설정하고, 이미지 특징 정보에 대응되는 레이블을 검색대상 오브젝트에 부착할 수 있다.

제어부(230)는 검색대상 오브젝트의 레이블 또는 이미지 특징 정보를 이용하여 데이터베이스부(270)에서 동일/유사 레이블 또는 동일/유사 이미지 특징 정보를 갖는 상품을 검색한다.

제어부(230)의 쿼리 분석 결과, 쿼리에 레이블이 부착된 검색대상 오브젝트가 포함되어 있으면, 제어부(230)는 검색대상 오브젝트에 부착된 레이블 또는 검색대상 오브젝트의 이미지 특징 정보에 대응되는 상품 정보를 데이터베이스부(270)에서 검색한다. 그리고 통신부(250)가 검색 결과를 클라이언트에 전송하도록 제어한다.

통신부(250)가 클라이언트로부터 사용자의 식별 정보 및 상기 사용자의 검색 로그를 수신한 경우, 제어부(230)는 클라이언트로부터 수신한 식별 정보 및 검색 로그를 이용하여 검색 로그에 포함된 레이블에 대응되는 상품 정보를 통신부(250)를 통하여 사용자에게 제공할 수 있다. 보다 구체적으로, 제어부(230)는 상기 검색 로그에 포함된 레이블에 대응되는 상품 정보가 클라이언트에서 더 우선적으로 노출되도록 더 높은 중요도를 부여할 수 있다.

통신부(250)는 클라이언트로부터 영상을 이용하여 생성된 쿼리를 수신하고, 상기 쿼리에 대한 검색 결과를 클라이언트(100)에 전송한다. 또한 통신부(250)는 클라이언트로부터 사용자의 식별 정보 및 사용자의 검색 로그를 함께 수신할 수 있다. 통신부(250)가 포함하는 통신 모듈의 예시는 상술한 통신부(150)에 포함되는 통신 모듈과 동일하므로 생략한다.

데이터베이스부(170)는 임의의 상품에 대하여 상품의 이미지 특징 정보, 상기 상품 이미지의 특징 정보에 대응되는 레이블을 포함하는 상품 데이터베이스를 생성 및 저장한다.

이하에서는 도 3 내지 도 6을 참조하여, 본 발명에 의한 영상 검색 정보 제공 방법의 일 실시 예를 설명한다.

먼저 도 3을 참조하면, 본 발명에 의한 영상 검색 정보 제공 방법에 의하면, 전자 장치는 영상 재생 중 기 설정된 쿼리 생성 이벤트가 발생하면(S100), 영상을 이용하여 쿼리를 생성하고(S200), 쿼리를 서버로 전송한다(S300). 단계 S200에서 생성되는 쿼리는 일시 정지된 영상 프레임, 영상 프레임에 포함된 일 영역 이미지, 일시 정지된 화면을 기준으로 기 설정된 조건을 만족하는 복수의 영상 프레임, 또는 영상에 포함된 일 영상 프레임에서 추출한 오브젝트 정보 중 적어도 하나를 포함할 수 있다. 그리고 오브젝트 정보는 영상에서 추출한 이미지 특징 정보, 임의의 오브젝트 영역으로부터 추출된 이미지 특징 정보, 특정 오브젝트에 대응되는 것으로 학습된 이미지 특징 정보 또는 레이블 정보 중 적어도 하나를 포함할 수 있다.

다음으로, 전자 장치는 쿼리에 대응되는 검색 결과를 서버로부터 수신하고(S400), 수신한 검색 결과를 화면에 표시(S500)함으로써 영상 검색 정보를 제공한다. 수신한 검색 결과를 화면에 표시하는 단계(S500)에서 전자 장치는 사용자의 검색 로그를 이용하여 사용자가 기 검색한 오브젝트와 동일 또는 유사한 레이블을 포함하는 오브젝트에 대한 검색 결과를 우선적으로 화면에 표시할 수 있다. 이는 전자 장치가 사용자의 관심 분야에 속하는 검색 결과를 우선적으로 화면에 노출시킴으로써 영상 검색이 상품 구매로 이어질 확률을 높이고, 사용자 만족도를 높이기 위함이다. 또한, 전자 장치는 단계 S500에서, 쿼리에 포함된 오브젝트의 이미지 특징 정보와 유사도가 높은 순서에 따라 검색 결과를 화면에 표시하여, 검색의 정확도를 높일 수 있다.

전술한 영상을 이용한 쿼리 생성 단계(S200)는 도 4에 도시된 바와 같이 영상 프레임에서 오브젝트를 추출하고(S230), 오브젝트를 포함하는 쿼리를 생성(S250)하는 과정을 통해 실행될 수 있다.

또한 쿼리 생성 단계(S200)에서 본 발명의 전자 장치는 영상 재생 중 일시 정지 이벤트가 발생한 후에, 기 설정된 시간이 경과하거나 검색 이벤트가 발생하면 쿼리 생성 이벤트가 발생한 것으로 판단할 수 있다.

또한 쿼리 생성 단계(S200)에서 본 발명의 전자 장치는 영상 재생 중 일시 정지 이벤트가 발생하면, 상기 화면에 상기 쿼리의 생성까지 남은 시간을 표시하고, 남은 시간이 0에 도달할 때까지 사용자 입력이 없으면, 쿼리 생성 이벤트가 발생한 것으로 판단할 수 있다.

도 5를 참조하면, 오브젝트 추출 단계(S230)에서 전자 장치는 영상 프레임에서 이미지 특징 정보를 추출하고(S232), 추출된 이미지 특징 정보를 이용해 기 설정된 조건에 따라 영상 프레임 내 일 영역을 구획하고(S234), 구획된 일 영역을 검색대상 오브젝트로 설정(S236)할 수 있다.

단계 S234에서의 영역의 구획은 밝기 변화 지점, 전반적인 색상 분포, 엣지 정보, 선명도 정보 등의 영상 프레임 내의 특징 정보를 이용하여 이루어질 수 있으며, 단계 S236에서의 검색대상 오브젝트의 설정은 영상 프레임 상의 좌표 정보를 이용하여 이루어질 수 있다. 영상 프레임 내에는 복수개의 오브젝트가 포함될 수 있으며, 이 경우 복수의 오브젝트가 추출될 것이다.

오브젝트 추출(S230)의 다른 실시 예로, 오브젝트 추출(S230)은 도 6에 도시된 바와 같이 기 저장된 학습 모델을 이용하여 특정 오브젝트에 대응되는 것으로 학습된 이미지 특징 정보를 포함하는 일 영역을 검색대상 오브젝트로 추출하고(S233), 검색대상 오브젝트에 상기 이미지 특징 정보에 대응되는 레이블을 부착(S237)하여 실행될 수 있다.

도 7은 본 발명에 의한 서버의 영상 검색 정보 제공 방법의 일 실시 예를 설명하기 위한 순서도이다. 도 7을 참조하면, 본 발명의 서버는 임의의 상품에 대하여 상품의 이미지 특징 정보, 상기 상품 이미지의 특징 정보에 대응되는 레이블(분류 정보), 상품 관련 정보를 포함하는 상품 데이터베이스를 생성한다.

서버는 클라이언트로부터 영상을 이용하여 생성된 쿼리를 수신하면(S1000), 쿼리를 분석하고(S2000), 쿼리에 노이즈로 학습된 이미지 특징 정보가 포함되어 있는지 판단하여(S2500), 포함되어 있으면 해당 쿼리를 검색 대상에서 제외할 수 있다.

쿼리 분석(S2000) 결과, 쿼리에 영상 프레임(Case1), 영상 프레임에 포함된 일 영역의 이미지(미도시) 또는 레이블이 부착되지 않은 제 1 오브젝트(Case2)가 포함되어 있으면, 서버는 영상 프레임, 이미지 또는 제 1 오브젝트에서 특정 오브젝트로 기 학습된 이미지 특징 정보를 탐색 한다(S3000). 단계 S3000의 탐색 결과, 영상 프레임, 이미지 또는 제 1 오브젝트에서 상기 이미지 특징 정보를 포함하는 일 영역을 검색대상 오브젝트로 추출한다(S3500).

다음으로, 서버는 이미지 특징 정보에 대응되는 레이블을 검색대상 오브젝트에 부착한다(S3700). 즉, 서버는 검색대상 오브젝트의 레이블(분류 정보)를 식별하는 데, 전술한 바와 같이 레이블은 기계 학습을 통해 상품의 특징을 학습하여 생성된 것이므로, 서버는 복수의 분류 정보 별 상품 이미지를 이용하여 학습된 모델을 이용하여 검색대상 오브젝트가 어떤 분류 정보를 갖는지 식별하는 것으로 이해될 수 있다. 그리고 서버는 검색대상 오브젝트의 레이블(분류 정보) 또는 이미지 특징 정보를 이용하여 상품 데이터베이스에서 동일/유사 레이블(분류 정보) 또는 동일/유사 이미지 특징 정보를 갖는 상품 관련 정보를 검색한다(S4000).

쿼리 분석(S2000) 결과, 쿼리에 레이블이 부착된 검색대상 오브젝트가 포함되어 있으면(Case 3), 서버는 검색대상 오브젝트에 부착된 레이블 또는 검색대상 오브젝트의 이미지 특징 정보에 대응되는 상품 정보를 상품 데이터베이스에서 검색한다(S4000). 그리고 검색 결과를 클라이언트에 전송한다(S5000).

도면에 도시되지는 않았으나, 서버는 클라이언트로부터 사용자의 식별 정보 및 상기 사용자의 검색 로그를 수신할 수 있다. 이 경우, 검색 결과 전송 단계(S5000)에서 서버는 클라이언트로부터 수신한 식별 정보 및 검색 로그를 이용하여 검색 로그에 포함된 레이블에 대응되는 상품 정보를 사용자에게 제공할 수 있다. 서버는 상기 상품 정보가 클라이언트에서 더 우선적으로 노출되도록 더 높은 중요도를 부여하여 클라이언트에 전송할 수 있다.

도 8은 본 발명에 의한 전자 장치의 영상 검색 정보 제공 방법의 일 실시 예를 설명하기 위한 도면이다. 도 8에서 사용자는 전자 장치(100)를 이용하여 영상을 재생하고 있다. 영상에서 여성은 티셔츠(A)를 입고 있는데, 만약 사용자가 이 티셔츠(A)에 대한 상품 정보를 검색하고자 하여 영상을 일시 정지한 경우의 실시 예이다. 일시 정지 이벤트가 발생하고, 2초 간 사용자 입력이 없는 경우, 미리 설정된 알고리즘에 의해 쿼리 생성 이벤트가 발생한다.

전자 장치(100)는 쿼리 생성 이벤트의 발생에 따라, 일시 정지된 영상 프레임을 이용하여 쿼리를 생성한다. 전자 장치(100)는 영상 프레임 자체를 서버에 전송할 수도 있고, 영상 프레임에 포함된 일 영역의 이미지를 서버에 전송할 수도 있다. 또한, 영상에 포함된 일 영상 프레임에서 오브젝트를 추출하여, 추출한 오브젝트 정보를 서버에 전송할 수도 있다.

일시 정지 이벤트가 발생하면 사용자가 영역을 지정할 수 있도록 사각형의 가이드(B)가 나타나도록 설정된 경우를 가정하자. 사용자는 가이드(B)의 크기와 형태를 조정하여 티셔츠(A)를 선택할 수도 있고, 가이드(B)의 위치를 이동시켜 전자 장치(100)가 오브젝트로 인식하지는 못했지만, 사용자가 관심 있는 테이블(C)을 오브젝트로 지정할 수도 있다.

전자 장치(100)가 사용자의 가이드 영역(B) 클릭 또는 터치 동작을 쿼리 생성 이벤트로 인식하는 실시 예에서, 서버(200, 미도시)는 가이드 영역 이미지(B)를 이용하여 검색을 실시한다. 서버(200)는 전자 장치(100)로부터 별도의 레이블이 부착되지 않은 이미지를 포함하는 쿼리를 수신한 바, 이미지에 특정 오브젝트로 기 학습된 이미지 특징 정보가 포함되어 있는지 여부를 탐색한다. 만약 이미지에 노이즈로 학습된 이미지 특징 정보가 있다면, 서버(200)는 해당 이미지에 대한 검색을 중단할 것이나, 이미지에는 티셔츠(A)가 포함되어 있으므로, 티셔츠로 학습된 이미지 특징 정보도 포함한다.

서버(200)는 티셔츠로 학습된 이미지 특징 정보(티셔츠에 대응되는 디스크립터)를 발견하면, 해당 이미지 특징 정보를 포함하는 일 영역을 검색대상 오브젝트로 설정한다. 이렇게 설정된 검색대상 오브젝트는 티셔츠(A)와 가장 근접한 형태를 가지며, 처음에 수신한 이미지(B)에서 상품과 관계없는 영역(배경)이 제외된 일 영역일 수 있다.

다음으로, 서버(200)는 검색대상 오브젝트에 여자 의류(대분류), 상의(중분류), 파란색, 티셔츠(소분류)와 같은 레이블을 부착할 수 있다. 그리고 상품 데이터베이스에서 여자 상의 중 파란색 티셔츠에 해당하는 상품을 검색할 수 있으며, 추출한 이미지 특징 정보를 이용하여 상품 데이터베이스에서 유사한 이미지 특징 정보를 포함하는 상품을 검색(이미지 검색)할 수도 있다. 이렇게 검색한 결과, 동일 및/또는 유사 상품(20A, 10A, 10B, 10C, 10D)가 검색되면, 서버(200)는 검색된 동일 및/또는 유사 상품 정보를 전자 장치(100)로 전송한다.

전자 장치(100)는 서버(200)로부터 검색 결과를 수신하여 이를 화면에 표시하는데, 이를 화면에 표시할 때, 화면의 일 영역(10)에 상품 정보를 표시할 수도 있고, 영상 프레임에서 사용자가 지정했던 영역(B) 또는 오브젝트(A) 근처(20)에 상품 정보를 표시할 수도 있다. 상품 정보는 일 영역(10)에 유사도 또는 사용자의 검색 로그에 따른 관심도, 가격, 인기도 등에 따라 내림차순 또는 오름차순으로 표시될 수 있다. 예를 들어 가장 유사한 순으로 유사도가 가장 높은 10A를 맨 위에 표시하고 다음으로 유사도가 높은 10B, 10C 순으로 표시할 수 있다.

또한 전자 장치는 상품명(20B), 상품의 제조사, 가격(20C), 인기도, 카테고리(레이블), 구입처 정보(웹사이트, 연락처, 위치 정보), 관련 리뷰 등을 상품 이미지(20A)와 함께 표시할 수 있으며, 해당 정보를 클릭 또는 터치하면 다른 응용 프로그램을 실행하도록 설정할 수도 있다.

전술한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시 예 및 첨부된 도면에 의해 한정되는 것이 아니다.

100: 전자 장치, 클라이언트
200: 서버

Claims (7)

1. 임의의 영상 재생 중 기 설정된 쿼리 생성 이벤트가 발생하면, 클라이언트는 상기 쿼리 생성 이벤트가 발생했을 때의 영상 프레임을 쿼리로 생성하여 서버로 전송하는 단계;
   상기 서버는 상기 쿼리에서 특정 상품으로 기 학습된 이미지 특징 정보를 포함하는 일 영역을 검색대상 오브젝트로 추출하는 단계;
   상기 서버는 복수의 분류 정보 별 상품 이미지를 이용하여 학습된 모델을 이용하여 상기 검색대상 오브젝트의 분류 정보를 식별하고, 상기 분류 정보에 대응하는 하나 이상의 상품 관련 정보를 상품 데이터베이스에서 검색하는 단계;
   상기 서버는 상기 검색 결과를 상기 클라이언트에 전송하는 단계;
   상기 클라이언트는 화면에 검색 결과를 표시하는 단계를 포함하는 영상 검색 정보 제공 방법.
   
2. 제1항에 있어서,
   상기 클라이언트가 상기 영상 프레임을 쿼리로 생성하여 서버로 전송하는 단계는
   상기 영상 프레임에서 하나 이상의 상품 이미지를 추출하는 단계;
   상기 상품 이미지를 쿼리로 생성하여 상기 서버에 전송하는 단계를 포함하는 영상 검색 정보 제공 방법.
   
3. 제1항에 있어서,
   상기 클라이언트가 상기 영상 프레임을 쿼리로 생성하여 서버로 전송하는 단계는
   상기 영상 프레임에서 밝기 변화, 색상 분포, 엣지 정보 또는 선명도 정보의 변화가 기 설정된 기준치 이상인 일 영역을 구획하는 단계;
   상기 일 영역을 쿼리로 생성하여 상기 서버에 전송하는 단계를 포함하는 영상 검색 정보 제공 방법.
   
4. 제1항에 있어서,
   상기 클라이언트가 상기 영상 프레임을 쿼리로 생성하여 서버로 전송하는 단계는
   상기 영상 프레임을 기준으로 전후 기 설정된 시간의 영상 프레임 또는 전후 기 설정된 개수의 영상 프레임을 하나의 쿼리로 생성하여 상기 서버에 전송하는 단계를 포함하는 영상 검색 정보 제공 방법.
   
5. 제1항에 있어서,
   상기 클라이언트가 상기 영상 프레임을 쿼리로 생성하여 서버로 전송하는 단계는
   상기 영상 재생 중 일시 정지 이벤트가 발생하고 기 설정된 시간이 경과하거나 검색 이벤트가 발생하면 상기 클라이언트는 쿼리 생성 이벤트가 발생한 것으로 판단하는 단계를 포함하는 영상 검색 정보 제공 방법.
   
6. 제1항에 있어서,
   상기 클라이언트가 상기 화면에 검색 결과를 표시하는 단계는
   사용자의 검색 로그를 이용하여 상기 사용자가 기 검색한 상품과 동일 또는 유사한 분류 정보를 갖는 상품에 대한 검색 결과를 우선적으로 상기 화면에 표시하는 단계를 포함하는 영상 검색 정보 제공 방법.
   
7. 제1항 내지 제6항의 방법 중 어느 하나의 방법을 실행시키기 위하여 컴퓨터 판독 가능 매체에 저장된 영상 검색 정보 제공 프로그램.
   

Images