KR100956159B1 - 라이프로그 장치 및 정보 자동 태그 입력 방법 - Google Patents

라이프로그 장치 및 정보 자동 태그 입력 방법 Download PDF

Info

Publication number
KR100956159B1
KR100956159B1 KR1020080038184A KR20080038184A KR100956159B1 KR 100956159 B1 KR100956159 B1 KR 100956159B1 KR 1020080038184 A KR1020080038184 A KR 1020080038184A KR 20080038184 A KR20080038184 A KR 20080038184A KR 100956159 B1 KR100956159 B1 KR 100956159B1
Authority
KR
South Korea
Prior art keywords
image
stored
visual feature
tag information
feature vector
Prior art date
Application number
KR1020080038184A
Other languages
English (en)
Other versions
KR20090112349A (ko
Inventor
김익재
김형곤
안상철
황재인
Original Assignee
한국과학기술연구원
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원, 한국전자통신연구원 filed Critical 한국과학기술연구원
Priority to KR1020080038184A priority Critical patent/KR100956159B1/ko
Publication of KR20090112349A publication Critical patent/KR20090112349A/ko
Application granted granted Critical
Publication of KR100956159B1 publication Critical patent/KR100956159B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

사용자의 움직임을 지각하여 영상의 저장 여부 판단의 기준데이터를 측정하는 센서부; 센서부로부터 데이터를 전송받고, 상기 데이터로부터 추출된 측정값의 변화가 기설정된 문턱값보다 작은지 여부를 판단하여, 데이터로부터 영상의 저장 여부를 결정하는 연산부; 연산부가 저장하는 것으로 판단한 저장 영상 및 기 저장된 비교 영상의 각각의 시각적 특징 벡터의 유사 여부를 판단하는 제어부; 저장 영상의 시각적 특징 벡터 및 비교 영상의 시각적 특징 벡터가 유사한 것으로 판단된 경우에, 비교 영상의 태그정보를 저장 영상의 태그 정보로써 불러오는 정보호출부;및 태그 정보를 저장 영상의 태그정보로 저장하는 저장부를 포함하는 것을 특징으로 하는 라이프로그 장치가 개시된다.
사용자의 움직임을 지각하여 영상의 저장 여부 판단의 기준데이터를 측정하는 단계; 하나 이상의 센서에서 측정된 측정값의 변화가 기설정된 문턱값보다 작은지 여부를 판단하여 영상의 저장 여부를 결정하는 단계; 저장하는 것으로 판단된 저장 영상 및 기 저장된 비교 영상의 각각의 시각적 특징 벡터의 유사 여부를 판단하는 단계; 두 개의 시각적 특징 벡터가 유사한 것으로 판단된 경우에, 비교 영상의 태그정보를 저장 영상의 태그 정보로써 불러오는 단계;및 태그 정보를 저장 영상의 태그정보로 저장하는 단계를 포함하는 것을 특징으로 하는 정보 자동 태그 입력 방법이 개시된다.
본 발명에 따른 라이프로그 장치 및 정보 자동 태그 입력 방법에 의하면, 사용자가 직접 태그 정보를 입력할 필요 없이 저장장치에 등록, 저장된 태그 정보를 자동으로 불러와서 사용자가 저장하려는 영상 등에 입력, 저장시킬 수 있다.
태그 정보

Description

라이프로그 장치 및 정보 자동 태그 입력 방법{Apparatus and auto tagging method for life-log}
본 발명은 개인의 일상 생활에서 보고 듣고 느낀 경험을 자동으로 디지털화하여 기록하고 이를 검색하고자 하는 라이프로그 장치 및 시스템과, 라이프로그 시스템과 같은 시스템에서 하나 이상의 센서들로부터 획득된 정보를 기반으로 자동으로 태그(tag)를 입력, 처리를 하는 방법에 관한 것으로, 종래의 태그 입력 방법처럼 사용자가 직접 태그 정보를 입력할 필요가 없는 정보 태그 입력 방법 및 사용자의 관심대상을 스스로 판단하여 일상 생활을 기록하는 라이프로그 장치에 관한 것이다.
획득된 동영상 및 영상에 대한 태그는 저장된 후, 검색을 하는 경우에 매우 중요한 정보로 활용된다. 따라서 태그를 어떻게 하느냐에 따라서 저장된 미디어는 쓸모있는 경우와 그렇지 못한 경우가 많다. 최근 들어, 플리커나 블로그 등에서 사진 앨범 등록시 태그를 직접 입력토록 하는 방법이 바로 그 이유에서다. 소수의 사진을 업로드 하는 경우에는 수동 태그 입력이 어느 정도 가능하지만, 동영상에서 어떤 특정한 프레임에 대한 정보 태그 입력이라든지, 혹은 다수의 사진을 획득하고 직접 태그를 입력하기 위해서는 상당한 노력과 시간을 필요로 하게 된다. 현재까지 상용 카메라로부터 획득되는 사진에 포함되는 정보는 시간, 사용된 카메라, 해상도 등의 정보만을 담고 있어서 정작 필요한 사진에 포함된 내용에 대한 정보는 포함되어 있지 않다.
내용 기반 검색 기법이 사진 혹은 동영상에서 포함된 내용을 기반으로 검색하고자 하는 접근 방법이긴 하지만, 검색시 많은 시간을 소요할 뿐만 아니라, 현재까지의 정확도로는 상용으로 사용하기엔 어려움이 따르고 있다. 따라서 현재까지 검색하는데 있어서 가장 빠른 성능을 내고 있는 텍스트 기반 검색을 활용하면서 동시에 미디어에 포함된 내용을 검색할 수 있는 방법이 제안되어야 할 것이다.
일상 생활 속에서 획득된 방대한 비디오 데이터들로부터 정확히 원하는 데이터를 찾기란 쉽지 않은 일이다. 이를 위해서 블로그 혹은 미니 홈피 등에 멀티미디어 자료를 업로드 할 때마다, 태그를 수동으로 입력하도록 하고 있다. 하지만, 라이프로그 시스템과 같이 사용자의 거의 모든 일상 생활을 디지털 기기로 획득하는 경우는 수동으로 태그 정보를 처리하기란 거의 불가능한 일에 가깝다. 또한 모든 획득되는 대상에 대해서 태그 정보 처리를 하는 것 또한 불필요한 데이터 증가를 초래하여 효율성이 떨어질 수 있다.
본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위하여 제안된 것으로써 라이프로그 장치 및 라이프로그 시스템에서 필요한 정보 자동 태그 입력 방법에서, 사용자가 저장하고 싶어하는 관심 대상 영상을 판단하며, 사용자가 직접 태그 정보를 입력할 필요 없이 저장장치에 등록, 저장된 태그 정보를 자동으로 불러와서 사용자가 저장하려는 영상 등에 입력, 저장시키는 라이프로그 장치 및 정보 자동 태그 입력 방법을 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 라이프로그 장치는, 사용자의 움직임을 지각하여 영상의 저장 여부 판단의 기준데이터를 측정하는 센서부; 센서부로부터 데이터를 전송받고, 상기 데이터로부터 추출된 측정값의 변화가 기설정된 문턱값보다 작은지 여부를 판단하여, 상기 영상의 저장 여부를 결정하는 연산부; 연산부가 저장하는 것으로 판단한 저장 영상 및 기 저장된 비교 영상의 각각의 시각적 특징 벡터의 유사 여부를 판단하는 제어부; 두 개의 시각적 특징 벡터가 유사한 것으로 판단된 경우에, 비교 영상의 태그정보를 저장 영상의 태그 정보로써 불러오는 정보호출부;및 태그 정보를 저장 영상의 태그정보로 저장하는 저장부를 포함하여 구성될 수 있다.
본 발명의 다른 실시예에 따른 라이프로그 장치는, 영상을 촬영하는 카메라;
사용자의 움직임을 지각하는 모션 센서; 영상을 촬영한 위치의 GPS 정보를 측정하는 GPS 장치; 카메라 및 모션 센서 및 GPS 장치로부터 데이터를 전송받고, 상기 데이터로부터 추출된 측정값의 변화가 기설정된 문턱값보다 작은지 여부를 판단하여, 영상의 저장 여부를 판단하는 연산부;및 연산부에서 저장하기로 판단한 영상을 저장하는 저장부를 포함하여 구성될 수 있다.
본 발명의 다른 실시예에 따른 정보 자동 태그 입력 방법은, 사용자의 움직임을 지각하여 영상의 저장 여부 판단의 기준데이터를 측정하는 단계; 하나 이상의 센서에서 측정된 측정값의 변화가 기설정된 문턱값보다 작은지 여부를 판단하여, 영상의 저장 여부를 결정하는 단계; 저장하는 것으로 판단된 저장 영상 및 기 저장된 비교 영상의 각각의 시각적 특징 벡터의 유사 여부를 판단하는 단계; 두 개의 시각적 특징 벡터가 유사한 것으로 판단된 경우에, 비교 영상의 태그 정보를 저장 영상의 태그 정보로써 불러오는 단계;및 태그 정보를 저장 영상의 태그 정보로 저장하는 단계를 포함하여 구성될 수 있다. 이때에 비교 분석하는 단계에서는 시각적 특징 벡터 또는 GPS(Global Positioning System) 정보의 유사도를 매칭하는 것을 특징으로 한다.
본 발명에서는, 카메라 및 카메라와 정합된 형태의 3축 가속도 센서, 그리고 GPS 장치가 내장되어 있는 라이프로그 장치를 활용하여, 라이프로그와 같이 개인의 일상 생활을 동영상으로 계속해서 획득하여 저장한 후, 추후에 사용자가 원할 때 효율적으로 검색할 수 있도록 텍스트 기반의 태그 정보를 자동으로 추출할 수 있는 방법을 제공한다.
본 발명에 의하면, 사용자가 방대한 동영상의 모든 프레임을 일일이 확인하면서 태그를 부여할 필요가 없으며, 모션 센서와 GPS 장치 등의 센서로부터 사용자의 의도를 파악하여 의미 있고 사용자가 관심있게 바라본 대상에 대해서만 처리를 하도록 하여 불필요한 연산을 감소할 뿐만 아니라, 저장 공간의 효율화를 꾀하였다.
추출된 관심 대상 프레임내에서 시각적 특징 벡터를 추출할 수 있다. 또는 추출된 관심 대상 프레임내에서 사용자가 관심을 두는 두드러지는 객체(Salient Object)을 추출함으로써, 해당 객체에 보다 많은 가중치를 두어 시각적 특징 벡터를 추출할 수 있다. 이를 기반으로 저장장치에 저장된 시각적 특징 벡터와 비교 검색하도록 하여 보다 정확한 사용자의 의도를 반영한 검색이 되도록 하였다. 태그 정보의 추출 역시, 사용자가 미리 해 둘 필요 없이 웹 서비스를 통해서 수많은 사람들이 미리 태그 해 둔 정보 또는 사용자 자신의 개인 컴퓨터 등에 저장된 정보를 활용함으로써 정보 공유의 장점을 최대한 활용할 수 있도록 한다.
이하 첨부 도면들을 참조하여 본 발명의 실시예를 상세히 설명한다. 본 발명을 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명은 본 발명의 요지를 명확하게 하기 위하여 생략한다.
본 발명을 설명함에 있어서 몇 가지 용어를 정리하도록 한다. 본 발명에 있어 라이프로그란 사용자의 삶의 경험이나 사물의 정보를 자동으로 저장하거나 얻는 것을 말한다. 아직까지는 일상생활이나 경험을 캠코더나 카메라 등으로 사용자가 직접 촬영하여 기록하지만, 라이프로그 시스템에서는 자동적으로 정보를 저장할 수 있게 된다.
본 발명에 있어, 태그(tag)는 어떤 정보에 메타데이터로 부여된 키워드 또는 분류를 의미한다. 일반적인 분류 체계와는 다른 어느 하나의 정보에는 여러 개의 태그가 붙어 그 정보를 다양한 면에서 연관성을 보여 줄 수 있으며 이렇게 제공된 정보나 자료는 접근이 쉽게 해주어 손쉽게 그 정보를 검색하고 노출시키고 분류하거나 다른 자료와 엮어 네트워크로 만드는 일을 쉽게 해 준다. 예를 들면, 최근에 인터넷 사이트에서는 개인이 업로드한 동영상에 태그 정보를 입력해놓고 다른 사용자의 접근을 용이하게 해주고 있다.
본 발명에 있어, 메타데이터(Metadata)란 데이터(Data)를 설명해주기 위한 데이터이다. 어떤 데이터 즉 구조화된 정보를 분석, 분류하고 부가적 정보를 추가하기 위해 그 데이터 뒤에 함께 따라가는 정보를 말한다. 예를들면, 디지털카메라에서는 사진을 찍어 기록할 때마다 카메라 자체의 정보와 촬영 당시의 시간, 노출, 플래시 사용 여부, 해상도, 사진 크기 등의 사진 정보를 화상 데이터와 같이 저장하게 되어 있다. 이러한 데이터를 분석하여 이용하면 그 뒤에 사진을 적절하게 정리하거나 다시 가공할 때에 아주 유용하게 쓸 수 있는 정보가 된다.
본 발명에 있어 시각적 특징 벡터(visual descriptor)는 사진과 같은 영상에서 영상에 기록된 사물 등의 특징부로서, 다른 사물 등과 구별할 수 있는 고유의 시각적 표시를 의미한다. 이는 텍스트(text) 기반 검색에서의 검색어와 같은 개념으로 볼 수 있다.
도 1은 본 발명의 일 실시예에 따른 라이프로그 장치 및 정보 자동 태그 입력 방법을 설명하기 위한 도면이다. 도 1은 사용자의 라이프로그 시스템이 전체적으로 나타난 도면이다. 라이프로그 시스템은 라이프로그 처리 저장장치, 라이프로그 저장장치, 이미지 저장장치로 구성되는 저장장치 영역과 사용자가 신체에 부착한 장치 영역으로 이루어진다.
사용자의 라이프로그 장치(100)에서는 카메라의 센서, 모션 센서, GPS 장치를 포함하는 센서부로부터 대상물이 사용자가 관심을 가지고 있는지 여부를 판단하게 된다. 여기서 관심이 있다는 것은, 사용자가 저장매체에 기록을 남기고 싶어하는 것을 말한다. 예를 들어, 디지털 카메라나 캠코더를 통하여 저장매체에 기록을 남기고 싶어하는 희망 또는 결정을 의미한다. 센서의 값을 통해서 대상물이 사용자가 저장하려고 판단이 되면, 카메라로 찍힌 영상을 저장한다. 이는 사용자의 관심이 없는, 즉 예를 들어 사람이 길을 걸으면서 지나쳐가는 일상적인 모습들, 영상을 저장하지 않음으로써 불필요한 데이터의 증가를 막고 라이프로그 시스템의 효율적인 관리를 위함이다. 여기서 사용되는 기본적인 판단 방법은, 사용자가 관심이 있어 매체에 저장하고 싶어하는 대상(이하 저장 영상이라고 한다)을 보는 경우에는 사용자의 움직임의 변화 또는 대상물의 변화 내지는 지리적 위치의 변화가 거의 없다는 것에 착안하여 이루어진다. 저장 영상을 저장한 후에, 정지 영상에서 시각적 특징 벡터를 추출하거나 동영상의 한 프레임에서 특정 객체를 추출해내고 추출된 특정 객체에서 시각적 특징 벡터를 추출한다. 도 6에서는 영상에서 특정 객체를 추출하는 예시를 보여주고 있다. 추출된 시각적 특징 벡터는 저장장치에서 처리되는 과정에서 이미지 저장장치, 예를 들면 인터넷 사진 공유사이트와 같은 곳 또는 사용자의 개인 저장장치에 저장된 영상과 비교하는데 중요한 기준이 된다. 또한 이 경우에 GPS 장치로부터 얻은 GPS 정보도 비교하는데 중요한 기준이 될 수 있다.
저장장치 영역에서의 과정은 라이프로그 처리 저장장치(110), 이미지 저장장치(120) 및 라이프로그 저장장치(130) 내에서 이루어진다. 저장장치에서는 사용자 의 라이프로그 장치에서 저장된 영상과 비교되는 영상(이하 비교 영상이라고 한다)을 얻는 과정이 포함된다. 라이프로그 처리 저장장치는 플리커와 같이 수많은 동영상, 사진 등이 저장되어 있는 인터넷 사이트 또는 개인용 컴퓨터와 같은 사용자의 개인 저장장치 인 이미지 저장장치에서 비교 영상을 불러온다. 불러온 비교 영상에서 시각적 특징 벡터를 추출하거나, 비교 영상에서 특정 객체를 추출한 뒤 추출된 특정 객체에서 시각적 특징 벡터를 추출해낸다. 그 다음에 추출된 시각적 특징 벡터와 이미지 저장장치에 저장된 영상의 저장 경로 정보를 함께 저장한다. 저장 경로 정보는 예를 들면 인터넷 주소가 될 수 있다.
라이프로그 처리 저장장치의 저장 공간을 효율적으로 관리하기 위해서, 영상보다 용량이 작은 시각적 특징 벡터와 저장 경로 정보 등을 저장하는 것이다. 이렇게 시각적 특징 벡터를 저장하여 데이터베이스를 구축해 놓으면, 사용자의 라이프로그 장치로부터 전송되어 오는 저장 영상의 시각적 특징 벡터를 데이터베이스화된 비교 영상의 그것과 비교 분석하게 된다.
이 경우에 시각적 특징 벡터 외에 GPS 정보를 함께 사용하는 방법이 있을 수 있다. GPS 장치로부터 받은 영상 등을 촬영한 GPS 정보를 저장하고 그 GPS 정보와, 기 저정된 이미지 저장장치에 저장되어 있는 영상의 GPS 정보를 비교하여 일정범위 내의 지역임이 인증된 경우에만 비교 영상의 후보군으로 추려낼 수 있다. GPS 정보를 이용하면, 비교 영상의 수가 줄어들고 유사도 매칭의 결과의 정확도를 높일 수 있다. 또는 그 반대의 경우로써, 유사한 시각적 특징 벡터를 가진 후보군에서 GPS 정보를 이용하여 유사도 매칭의 결과의 정확도를 높일 수 있다.
시각적 특징 벡터를 비교 분석한 결과, 두 영상의 시각적 특징 벡터가 일치하게 되면 위에서 언급한 비교 영상의 저장 경로 정보 등을 통하여 영상의 태그 정보를 불러와서 메타데이터 형식으로 라이프로그 저장장치에 저장하게 된다. 라이프로그 저장장치는 블로그나 미니 홈피 같은 영상을 업로드 해놓는 저장장치 또는 사용자의 개인 컴퓨터와 같은 개인 저장장치를 의미한다. 이렇게 자동으로 태그를 입력하여 저장을 해놓으면, 사용자는 추후에 자신이 저장한 영상의 정보를 간편하게 검색할 수 있다.
이하 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.
도 2는 본 발명의 다른 실시예에 따른 라이프로그 장치(200)의 구성도를 나타낸다. 라이프로그 장치는 영상의 저장 여부 판단의 기준데이터를 측정하는 센서부; 센서부로부터 데이터를 전송받고, 데이터로부터 영상의 저장 여부를 판단하는 연산부; 연산부가 저장하는 것으로 판단한 저장 영상 및 기 저장된 비교 영상의 각각의 시각적 특징 벡터의 유사 여부를 판단하는 제어부; 두 개의 시각적 특징 벡터가 유사한 것으로 판단된 경우에, 비교 영상의 태그 정보를 저장 영상의 태그 정보로써 불러오는 정보호출부;및 태그 정보를 저장 영상의 태그 정보로 저장하는 저장부를 포함할 수 있다. 센서부(20)는 GPS 장치(21), 카메라(22), 모션 센서(23) 중에 하나 이상을 포함할 수 있다.
사용자의 시점과 최대한 동일한 위치에 카메라(22)를 장착하고, 3축 가속도 센서를 부착한 후, 사용자의 움직임과 시선이 일치되도록 영상을 획득하고, 사용의 움직임 정보를 모션 센서(23)로부터 획득한다. 획득된 비디오 영상과 움직임 정보는 실시간으로 연산부(30)로 전송된다. 또한 라이프로그 장치에는 GPS 장치(21)가 장착되어 있다.
일반적으로 사람이 특정한 대상에 관심을 보일 때는 걸음을 멈추고, 해당 대상을 기준으로 시점을 고정하게 되는 경향이 있다. 이러한 경향을 사용된 센서로부터 파악하기 위해서는 각각의 부분으로부터 아래와 같은 조건을 만족시키면 확인할 수 있다. 카메라, 모션센서 및 GPS 장치는 연산부로 아래와 같은 데이터를 측정하여 전송하고, 연산부는 전송받은 데이터로부터 영상의 저장 여부, 즉 관심 유무를 판단하게 된다.
연산부(30)는 모션 센서(23)가 포함하는 가속도 센서가 측정하는 값의 변화가 기 설정된 문턱값보다 작은 경우, 즉 아래의 수학식 1을 만족하는 경우에 영상을 저장하는 것으로 판단한다.
Figure 112008029373848-pat00001
이때, Accx는 가속도 센서의 x축의 값(XN)이고, Accx Prev 는 이전에 측정한 x축 가속도 센서값(XN -1)이며, 나머지는 Accy, Accy Prev 및 Accz, Accz Prev 는 각각 y축과 z축에 대한 값들이다. 위 수학식은 현재의 값(XN)과 이전의 값(XN -1)의 차이를 구하는 것이고, 센서가 주기 T를 가지고 측정하였을 경우에 현재를 t = N * T 라고 하 면 이전이라 함은 바로 전 주기 (t = (N-1) * T) 를 의미한다. 그리고, THmotion 은 문턱값으로써, 작은 값을 사용자의 정의에 따라 결정될 수 있다. 위 식은 결국 장착된 모션 센서의 움직임이 거의 없거나, 있다 하더라도 최소의 움직임을 나타내는 경우에만 만족한다는 것을 의미한다.
연산부(30)는 GPS 장치(21)가 측정하는 값의 변화가 기 설정된 문턱값보다 작은 경우, 즉 아래의 수학식 2를 만족하는 경우에 영상을 저장하는 것으로 판단한다.
Figure 112008029373848-pat00002
이때, Lat는 GPS 장치로부터 획득한 위도 좌표값(AN)이고, LatPrev 는 이전에 측정한 위도 좌표값(AN -1)이며 , Lon 은 GPS 장치로부터 획득한 경도 좌표값(ON)이고, LonPrev 는 이전에 측정한 경도 좌표값(ON -1)이다. 그리고, THGPS 는 문턱값으로써, 작은 값을 사용자의 정의에 따라 결정될 수 있다. 따라서 이전 위도, 경도로부터 현재의 위도, 경도 좌표의 차이가 거의 없는 문턱값(THGPS)을 사용함으로써, 사용자가 거의 이동을 하지 않는 경우를 검출하기 위한 것이다.
연산부(30)는 카메라(22)가 측정하는 값의 변화가 기 설정된 문턱값보다 작은 경우, 즉 아래의 수학식 3을 만족하는 경우에 영상을 저장하는 것으로 판단한 다.
Figure 112008029373848-pat00003
이때, Ri는 입력되는 프레임의 각 픽셀의 레드(Red) 픽셀의 값(RN)이고, Ri Prev 는 이전에 측정한 프레임의 각 픽셀의 레드 픽셀의 값(RN -1)이고, Gi는 입력되는 프레임의 각 픽셀의 그린(Green) 픽셀의 값(GN)이고, Gi Prev 는 이전에 측정한 프레임의 각 픽셀의 그린 픽셀의 값(GN -1)이고, Bi는 입력되는 프레임의 각 픽셀의 블루(Blue) 픽셀의 값(BN)이고, Bi Prev 는 이전에 측정한 프레임의 각 픽셀의 블루 픽셀의 값(BN)이며, THRGB 는 사용자가 지정한 문턱값이다. 즉, 현재 입력되는 프레임에서의 각 픽셀당 이전 프레임과의 차이를 RGB 각 채널별로 합한 것이 미리 정의한 문턱값(THRGB) 보다 작은 값일 경우를 찾는다. 이는 프레임의 변화, 즉 영상의 변화가 거의 없는 상태를 의미한다.
이상의 세 가지 경우를 동시에 만족하거나 세 가지 중에 두 가지 경우하거나 하나의 경우를 만족하면 관심이 있는 것으로 판단한다. 위 세 가지 중 몇 개의 조건을 만족할 지는, 연산부에서 판단할 때 선택할 수 있는 것으로 상황에 따라 변동될 수 있다.
연산부(30)에서 관심이 있는 것으로 판단 후, 정지 영상 또는 동영상에서 추출된 해당 프레임에서 시각적 특징 벡터를 추출한다. 또는 정지 영상 또는 동영상에서 추출된 해당 프레임에서 관심이 되는 특정 객체를 추출함으로써, 해당 객체에 가중치를 두어 검색을 하면 보다 정확히 원하는 대상에 대한 검색 결과, 즉 시각적 특징 벡터를 얻을 수 있다. 따라서 영상내에서 두드러진 객체(Salient Object, 이하 SO라 한다)를 추출하는 방법을 적용한다. 영상내에서 색상, 밝기, 에지의 방향성 등의 조합으로부터 영상에서 두드러지는 객체를 추출할 수 있다.
시각적 특징 벡터는 사용자가 신체에 지니고 다니는 라이프로그 장치에 있는 추출부에서 추출되거나, 오프라인 처리가 되는 라이프로그 처리 장치에서 추출될 수 있다.
제어부(40)에서는 저장 영상 및 비교 영상 각각의 시각적 특징 벡터의 유사 여부를 판단한다. 제어부에서 시각적 특징 벡터가 유사한 것으로 판단되면, 정보호출부(50)에서 기 저장되어 있는 비교 영상의 태그 정보를 저장 영상의 태그 정보로써 불러온다. 이렇게 사용자의 입력없이 자동으로 태그 정보를 불러오고, 저장부에서 태그 정보를 메타데이터로서 저장을 하게 되면 간편하게 라이프로그가 가능해진다.
도 3은 본 발명의 다른 실시예에 따른 라이프로그 장치를 나타낸 것이다. 이 라이프로그 장치(300)는 영상을 촬영하는 카메라; 사용자의 움직임을 지각하는 모션 센서; 영상을 촬영한 위치의 GPS 정보를 측정하는 GPS 장치; 카메라 및 모션 센서 및 GPS 장치로부터 데이터를 전송받고, 데이터로부터 영상의 저장 여부를 판단 하는 연산부;및 연산부에서 저장하기로 판단한 영상을 저장하는 저장부를 포함할 수 있다. 이는 라이프로그 시스템에서 사용자가 저장하고자 하는 영상만을 저장하게 하는 장치이다. 저장하려고 하는 영상을 판단하는 방법은 위에서 설명한 것과 같이 카메라, 모션센서 및 GPS 장치에서 측정한 값을 연산부에서 계산하여 판단한다.
도 4 및 도 5는 본 발명의 실시예에 따른 정보 자동 태그 입력 방법의 순서도이다.
저장 영상을 특정하는 단계는 사용자의 대상에 대한 관심 유무를 인식하는 단계(S511), 인식하는 단계에서 관심이 있는 것으로 인식된 영상에서 시각적 특징 벡터를 추출하는 단계(S513)를 포함하며, 인식하는 단계에서는 하나 이상의 센서를 이용하여 상기 센서에서 측정한 값 및 이전에 측정한 값의 차이가 문턱값보다 작은 경우에 관심있는 것으로 인식하게 된다. 또한 시각적 특징 벡터를 추출하는 단계는 영상에서 특정 객체를 추출(S512)하고, 그 특정 객체에서 시각적 특징 벡터를 추출(S513)할 수도 있다. 예를 들면, 카메라가 사용자가 응시하고 있는 대상이 사용자가 관심을 가지고 있는 대상인지 아니면 그냥 관심없이 지나치는 영상인지를 판단하는 근거가 되는 데이터를 측정한다. 카메라는 반복해서 카메라가 촬영하는 영상의 빨강, 초록, 파랑 픽셀의 값을 측정한다. 연산부는 현재의 픽셀의 값과 그 이전에 측정한 픽셀의 값의 차이가 일정한 값보다 작으면 사용자의 관심이 있는 것으로 판단한다. 이는 각 픽셀의 값의 변화가 없다면 영상의 변화가 없고, 영상의 변화가 없다면 사용자의 시선이 고정되어 있는 것이고, 사용자의 시선이 고정되어 있 다면 사용자가 관심있게 대상을 보고있다는 것을 의미한다.
하나의 센서만으로 관심 유무를 판단하는 데이터를 측정할 수 있다. 또한 두 개의 센서로 데이터를 측정하는 것이 가능하다. 게다가 판단의 정확도를 높이기 위해 3 개의 센서를 사용하여 모든 센서의 판단이 대상물을 관심 대상인 것으로 판단했을 경우에 관심 대상으로 판단할 수 있다.
비교 영상을 특정하는 단계는 이미지 저장장치에 저장된 영상에서 시각적 특징 벡터를 추출하는 단계(S502)를 포함할 수 있다. 또한 저장 영상에서와 마찬가지로 시각적 특징 벡터를 추출하는 단계는 영상에서 특정 객체를 추출(S501)하고, 그 특정 객체에서 시각적 특징 벡터를 추출(S502)할 수도 있다.
저장 영상과 비교 영상을 특정하고 나면, 자동 태그 입력 방법은
하나 이상의 센서의 측정값으로부터 영상의 저장 여부를 판단하는 단계(S401); 저장되는 저장 영상 및 기 저장된 비교 영상의 각각의 시각적 특징 벡터의 유사 여부를 판단하는 단계(S402); 두 개의 시각적 특징 벡터가 유사한 것으로 판단된 경우에, 비교 영상의 태그정보를 저장 영상의 태그 정보로써 불러오는 단계(S403);및 태그 정보를 저장 영상의 태그정보로 저장하는 단계(S404)를 포함한다.
유사 여부를 판단하는 단계는, 저장 영상 및 상기 비교 영상의 GPS 정보의 유사 여부를 판단하는 단계를 더 포함할 수 있다. 시각적 특징 벡터의 유사 여부를 판단하게 되면, 상대적으로 데이터 용량이 적은 자료를 이용하여 판단할 수 있다. 다만 시각적 특징 벡터만으로는 판단의 정확성에 문제가 있을 수 있기 때문에 GPS 정보를 이용하여 판단의 정확성을 높일 수 있다. 여기서 GPS 정보를 이용하여 저장 영상의 위치정보와 유사한 비교 영상을 후보군으로 압축한 뒤에, 시각적 특징 벡터를 유사 여부를 판단할 수 있다. 또한 반대의 순서로도 가능하다.
또한 저장하는 단계는, 동영상의 특정 프레임 또는 정지 영상에 태그 정보를 메타데이터로 저장할 수 있다. 이와 같이 사용자가 태그 정보를 직접 입력하지 않고 자동으로 입력, 저장이 된다면 대용량의 동영상이나 사진 등에 있어서 태그 입력을 간편하게 할 수 있다.
도 7은 각 영상에서 시각적 특징 벡터를 추출하는 예를 보여준다. 시각적 특징 벡터(visual descriptor)는 영상의 시각적 특징을 묘사하는 것이다. 예를 들어 모양, 색깔, 질감과 같은 기초적인 특징을 묘사한다. 새로운 통신 기술과 인터넷의 대용량화로 인하여, 영상 정보의 용량은 증가하고 있다. 따라서 이런 대용량의 영상 정보에서 필요한 영상을 찾고, 분류하기 위하여 시각적 특징 벡터가 사용된다. 본 발명에서도 영상의 효율적인 검색과 분류를 위하여 시각적 특징 벡터를 추출하고, 그것을 비교하여 태그 정보를 불러온다.
시각적 특징 벡터를 추출하는 실시예로는, 획득된 영상으로부터 그리고, 추출된 SO에 보다 가중치를 둔 시각적 특징 벡터를 추출하는 단계에서는 크기, 회전, 어파인 변형 등에도 강건한 성능을 보이는 SIFT 알고리듬을 활용하는 방식이 있다. 도 7의 (b)에서는 시각적 특징 벡터(Visual Descriptor)를 추출하는 실시예를 보여주고 있다.
이러한 시각적 특징 벡터의 추출 단계는 두 군데서 발생한다. 아래 도 1에서 보인 것과 같이, 전체 시스템 구조를 보면, 왼편의 라이프로그 처리 저장장치에서 오프라인 처리가 되는 것으로, 플리커와 같은 전세계 사람들이 사진 공유를 하기 위해서 가장 많이 사용되는 웹사이트 또는 사용자 개인 컴퓨터와 같은 개인 저장장치인 이미지 저장장치를 매쉬업(mashup) 기술을 활용하여, 그 저장장치에 저장되어 있는 영상을 가져와서, 가져온 영상에 대해서 시각적 특징 벡터를 추출하거나 미리 SO에 가중치를 둔 시각적 특징 벡터를 추출하여 구축한 라이프로그 처리 저장장치에 플리커와 같은 이미지 저장장치의 이미지 데이터 링크와 함께 저장해 둔다. 두 번째는 도 1에서 오른편의 사용자의 라이프로그 장치에서 처리되는 과정으로써, 사용자가 라이프로그 장치에서 촬영한 영상에서 시각적 특징 벡터를 추출하는데 사용한다.
여기서 매쉬업이라 함은 웹 상으로 제공되고 있는 정보나 서비스를 융합하여 새로운 소프트웨어나 서비스, 데이터베이스 등을 만드는 것을 의미한다. 예를 들면, 기존에 저장되어 있는 영상 또는 태그 정보를 이용하여 새로운 영상 또는 태그 정보를 생성하는 것이다.
시각적 특징 벡터와 GPS 정보는 구축된 라이프로그 처리 저장장치로 전송되고, 우선 GPS 정보를 통해 매쉬업을 활용하여, 사용자 개인 컴퓨터 또는 사진 공유 사이트와 같은 이미지 저장장치에서 해당 위치에서 촬영된 이미지 리스트를 불러오고, 여기서 구축된 라이프로그 처리 저장장치에서 이미지 리스트의 시각적 특징 벡터들과 사용자에 의해 획득된 영상에서 추출된 시각적 특징 벡터와의 비교 분석이 이뤄진다.
추출된 시각적 특징 벡터와 가장 일치하는 시각적 특징 벡터의 이미지 정보를 매쉬업 기술로 해당 이미지 저장장치에서 읽어온다. 이미 이미지 저장장치에서는 공유해 둔 사진에 대해서 많은 사용자들이 텍스트 기반의 태그 입력을 해 둔 상태이므로, 해당 사진에 대한 태그 정보를 읽어와서, 사용자가 획득한 동영상에서 해당 프레임에 추출한 태그 정보를 메타데이터 형태로 저장한다. 따라서 추후에 사용자가 원하는 동영상 및 해당 프레임을 찾고 싶을 때, 간단히 텍스트 기반 서치를 통해서 원하는 정확한 프레임을 검색할 수 있다.
또한 다른 실시예로는, 태그 정보를 저장하기에 앞서서 사용자에게 태그 정보의 내용을 확인할 수 있다. 라이프로그 장치에서 시각적 특징 벡터를 추출하여 라이프로그 처리 장치로 전송하면, 처리 장치에서는 시각적 특징 벡터를 비교 분석하여 태그 정보를 이미지 저장장치로부터 가져온 다음에, 다시 라이프로그 장치로 태그 정보를 보내어 사용자의 확인을 얻게 하는 것이다. 사용자의 확인은 라이프로그 장치의 표시장치에 태그 정보를 표시하여 사용자의 확인을 입력 받는 방법을 생각해 볼 수 있다. 이런 과정으로 태그 정보의 정확성을 높일 수 있을 것이다.
이상에서 설명한 본 발명은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 변경 및 변형이 가능하므로 전술한 실시예 및 첨부된 도면에 한정되는 것은 아니다.
도 1은 본 발명의 실시예에 따른 정보 자동 태그 입력 방법의 순서도를 라이프로그 처리 저장장치와 사용자에서의 과정을 포함하여 나태낸 것이다.
도 2는 본 발명의 일 실시예에 따른 라이프로그 장치를 나타낸 도면이다.
도 3는 본 발명의 다른 실시예에 따른 라이프로그 장치를 나타낸 도면이다.
도 4는 본 발명의 다른 실시예에 따른 정보 자동 태그 입력 방법의 순서도이다.
도 5은 도 4에 나타난 정보 자동 태그 입력 방법에 더 포함되는 저장 영상 특정 및 비교 영상 특정의 순서도를 나타낸 것이다.
도 6는 획득한 영상에서 두드러지는 특정 객체를 자동 검출하는 예시를 나타낸 도면이다.
도 7은 특정 객체에서 시각적 특징 벡터를 추출하는 예시를 나타낸 도면이다.

Claims (17)

  1. 사용자의 움직임을 지각하여 영상의 저장 여부 판단의 기준데이터를 측정하는 센서부;
    상기 센서부로부터 데이터를 전송받고, 상기 데이터로부터 추출된 측정값의 변화가 기설정된 문턱값보다 작은지 여부를 판단하여, 상기 데이터로부터 상기 영상의 저장 여부를 결정하는 연산부;
    상기 연산부가 저장하는 것으로 판단한 저장 영상 및 기 저장된 비교 영상의 각각의 시각적 특징 벡터의 유사 여부를 판단하는 제어부;
    상기 저장 영상의 시각적 특징 벡터 및 상기 비교 영상의 시각적 특징 벡터가 유사한 것으로 판단된 경우에, 비교 영상의 태그정보를 저장 영상의 태그 정보로써 불러오는 정보호출부;및
    상기 태그 정보를 저장 영상의 태그정보로 저장하는 저장부를 포함하는 것을 특징으로 하는 라이프로그 장치.
  2. 제1항에 있어서,
    상기 센서부는, 영상을 촬영하는 카메라, 사용자의 움직임을 지각하는 모션 센서 또는 상기 영상을 촬영한 위치의 GPS 정보를 측정하는 GPS 장치 중에 하나 이상을 포함하는 것을 특징으로 하는 라이프로그 장치.
  3. 제1항 또는 제2항에 있어서,
    상기 제어부는 상기 저장 영상에서 시각적 특징 벡터를 추출하여 유사 여부 를 판단하는 것을 특징으로 하는 라이프로그 장치.
  4. 제3항에 있어서,
    상기 제어부는 상기 저장 영상에서 특정 객체를 추출하고, 상기 특정 객체에서 시각적 특징 벡터를 추출하여 유사 여부를 판단하는 것을 특징으로 하는 라이프로그 장치.
  5. 제2항에 있어서,
    상기 연산부는 상기 카메라가 반복적으로 측정한 픽셀의 값을 수신받고,
    측정한 각 픽셀의 값 및 이전에 측정한 영상의 각 픽셀의 값의 차이가 기 설정된 문턱값보다 작은 경우에, 상기 영상을 저장하는 것으로 판단하는 것을 특징으로 하는 라이프로그 장치.
  6. 제2항에 있어서,
    상기 모션 센서는 움직임을 3개의 축으로 나누어 측정하는 3축 가속도 센서를 포함하는 것을 특징으로 하는 라이프로그 장치.
  7. 제6항에 있어서,
    상기 연산부는 상기 가속도 센서가 반복적으로 측정한 값을 수신받고, 측정한 가속도 센서의 각 축의 값 및 이전에 측정한 가속도 센서의 각 축의 값의 차이가 기 설정된 문턱값보다 작은 경우에 상기 영상을 저장하는 것으로 판단하는 것을 특징으로 하는 라이프로그 장치.
  8. 제2항에 있어서,
    상기 연산부는 상기 GPS 장치가 반복적으로 측정한 위도 및 경도 좌표값을 수신받고, 측정한 위도, 경도 좌표값 및 이전에 측정한 위도, 경도 좌표값의 차이가 기 설정된 문턱값보다 작은 경우에 상기 영상을 저장하는 것으로 판단하는 것을 특징으로 하는 라이프로그 장치.
  9. 영상을 촬영하는 카메라;
    사용자의 움직임을 지각하는 모션 센서;
    상기 영상을 촬영한 위치의 GPS 정보를 측정하는 GPS 장치;
    상기 카메라, 상기 모션 센서 및 GPS 장치로부터 데이터를 전송받고, 상기 데이터로부터 추출된 측정값의 변화가 기설정된 문턱값보다 작은지 여부를 판단하여, 상기 데이터로부터 상기 영상의 저장 여부를 결정하는 연산부;및
    상기 연산부에서 저장하기로 판단한 영상을 저장하는 저장부를 포함하는 것을 특징으로 하는 라이프로그 장치.
  10. 사용자의 움직임을 지각하여 영상의 저장 여부 판단의 기준데이터를 측정하는 단계;
    하나 이상의 센서에서 측정된 측정값의 변화가 기설정된 문턱값보다 작은지 여부를 판단하여, 영상의 저장 여부를 결정하는 단계;
    저장하는 것으로 판단된 저장 영상 및 기 저장된 비교 영상의 각각의 시각적 특징 벡터의 유사 여부를 판단하는 단계;
    상기 저장 영상 및 상기 비교 영상의 시각적 특징 벡터가 유사한 것으로 판단된 경우에, 비교 영상의 태그 정보를 저장 영상의 태그 정보로써 불러오는 단계;및
    상기 태그 정보를 저장 영상의 태그 정보로 저장하는 단계를 포함하는 것을 특징으로 하는 정보 자동 태그 입력 방법.
  11. 제10항에 있어서,
    상기 저장 영상 및 상기 비교 영상의 GPS 정보의 유사 여부를 판단하는 단계를 더 포함하는 것을 특징으로 하는 정보 자동 태그 입력 방법.
  12. 제10항 또는 제11항에 있어서,
    상기 저장하는 단계는,
    상기 태그 정보를 동영상의 특정 프레임 또는 정지영상에 메타데이터로 저장하는 것을 특징으로 하는 정보 자동 태그 입력 방법.
  13. 제10항에 있어서,
    상기 저장 영상을 특정하는 단계;및
    상기 비교 영상을 특정하는 단계를 더 포함하는 것을 특징으로 하는 정보 자동 태그 입력 방법.
  14. 제13항에 있어서,
    상기 저장 영상을 특정하는 단계는,
    사용자의 대상에 대한 관심 유무를 인식하는 단계;
    상기 인식하는 단계에서 관심이 있는 것으로 인식된 영상에서 시각적 특징 벡터를 추출하는 단계를 포함하며,
    상기 인식하는 단계는 하나 이상의 센서의 측정값 및 이전 측정값의 차이가 문턱값보다 작은 경우에 관심이 있는 것으로 인식하는 것을 특징으로 하는 정보 자동 태그 입력 방법.
  15. 제14항에 있어서,
    상기 시각적 특징 벡터를 추출하는 단계는,
    상기 관심이 있는 것으로 인식된 영상에서 특정 객체를 추출하고, 상기 특정 객체에서 시각적 특징 벡터를 추출하는 것을 특징으로 하는 정보 자동 태그 입력 방법.
  16. 제13항 내지 제15항 중 어느 한 항에 있어서,
    상기 비교 영상을 특정하는 단계는,
    이미지 저장장치에 저장된 영상에서 시각적 특징 벡터를 추출하는 단계를 포함하는 것을 특징으로 하는 정보 자동 태그 입력 방법.
  17. 제16항에 있어서,
    상기 시각적 특징 벡터를 추출하는 단계는,
    상기 저장된 영상에서 특정 객체를 추출하고, 상기 특정객체에서 시각적 특징 벡터를 추출하는 것을 특징으로 하는 정보 자동 태그 입력 방법.
KR1020080038184A 2008-04-24 2008-04-24 라이프로그 장치 및 정보 자동 태그 입력 방법 KR100956159B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080038184A KR100956159B1 (ko) 2008-04-24 2008-04-24 라이프로그 장치 및 정보 자동 태그 입력 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080038184A KR100956159B1 (ko) 2008-04-24 2008-04-24 라이프로그 장치 및 정보 자동 태그 입력 방법

Publications (2)

Publication Number Publication Date
KR20090112349A KR20090112349A (ko) 2009-10-28
KR100956159B1 true KR100956159B1 (ko) 2010-05-06

Family

ID=41553543

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080038184A KR100956159B1 (ko) 2008-04-24 2008-04-24 라이프로그 장치 및 정보 자동 태그 입력 방법

Country Status (1)

Country Link
KR (1) KR100956159B1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101744739B1 (ko) 2011-07-29 2017-06-08 현대자동차주식회사 데이터 정합 방법 및 이를 위한 시스템
KR101329111B1 (ko) 2012-05-02 2013-11-14 한국과학기술연구원 실내 네비게이션 시스템 및 방법
KR101962131B1 (ko) * 2012-08-13 2019-03-26 엘지전자 주식회사 이동단말기 및 그 제어방법
KR101988311B1 (ko) 2012-11-07 2019-06-12 엘지전자 주식회사 디지털 디바이스 및 그 제어 방법
US10043551B2 (en) 2015-06-25 2018-08-07 Intel Corporation Techniques to save or delete a video clip
US10678398B2 (en) 2016-03-31 2020-06-09 Intel Corporation Prioritization for presentation of media based on sensor data collected by wearable sensor devices
KR101886221B1 (ko) 2016-08-19 2018-08-08 아주대학교 산학협력단 라이프로그 데이터의 유사도 산출 방법 및 장치
US10776365B2 (en) 2016-08-19 2020-09-15 Ajou University Industry-Academic Cooperation Foundation Method and apparatus for calculating similarity of life log data
KR102025909B1 (ko) * 2017-10-01 2019-09-27 (주)씨어스테크놀로지 라이프로그를 제공하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
US11140308B2 (en) 2018-07-25 2021-10-05 International Business Machines Corporation Life-logging system with third-person perspective
KR102295030B1 (ko) * 2019-09-06 2021-08-31 (주)바이브컴퍼니 라이프 태그 생성 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040105582A (ko) * 2003-06-06 2004-12-16 마이크로소프트 코포레이션 자동 태스크 생성 방법 및 시스템
KR100510280B1 (ko) 2001-01-29 2005-10-26 주식회사 하이켐텍 감시카메라의 내용 감시 방법 및 장치
KR20060104329A (ko) * 2005-03-30 2006-10-09 전자부품연구원 센서 네트워크 및 메타데이터를 이용한 미디어 서비스 제공시스템
KR20070099149A (ko) * 2006-04-03 2007-10-09 (주)위세아이텍 메타데이터 저장소에의 메타데이터 자동적재 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100510280B1 (ko) 2001-01-29 2005-10-26 주식회사 하이켐텍 감시카메라의 내용 감시 방법 및 장치
KR20040105582A (ko) * 2003-06-06 2004-12-16 마이크로소프트 코포레이션 자동 태스크 생성 방법 및 시스템
KR20060104329A (ko) * 2005-03-30 2006-10-09 전자부품연구원 센서 네트워크 및 메타데이터를 이용한 미디어 서비스 제공시스템
KR20070099149A (ko) * 2006-04-03 2007-10-09 (주)위세아이텍 메타데이터 저장소에의 메타데이터 자동적재 방법

Also Published As

Publication number Publication date
KR20090112349A (ko) 2009-10-28

Similar Documents

Publication Publication Date Title
KR100956159B1 (ko) 라이프로그 장치 및 정보 자동 태그 입력 방법
KR101810578B1 (ko) 셔터 클릭을 통한 자동 미디어 공유
US9208384B2 (en) Methods and systems for content processing
KR101417548B1 (ko) 사진 콜렉션에서 이벤트들을 생성하고 라벨링하는 방법 및 시스템
KR101346730B1 (ko) 화상 처리 시스템, 화상 처리 장치 및 방법, 프로그램, 및기록 매체
US20160019418A1 (en) Saving device for image sharing, image sharing system, and image sharing method
US9076069B2 (en) Registering metadata apparatus
US10459968B2 (en) Image processing system and image processing method
US20120114307A1 (en) Aligning and annotating different photo streams
KR101832680B1 (ko) 참석자들에 의한 이벤트 검색
WO2021196551A1 (zh) 图像检索方法、装置、计算机设备和存储介质
Seo et al. Sensor-rich video exploration on a map interface
KR20150096552A (ko) 사진 앨범 또는 사진 액자를 이용한 온라인 사진 서비스 시스템 및 방법
Abdollahian et al. User generated video annotation using geo-tagged image databases
KR20120072033A (ko) 영상 컨텐츠의 자동 태깅 방법 및 장치
Dang et al. Building 3D event logs for video investigation
KR20140075903A (ko) 소셜 네트워크 서비스 아카이브의 분류방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130410

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160401

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170403

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180409

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20190429

Year of fee payment: 10