KR20120097396A - 이미지 처리 방법, 장치 또는 시스템 - Google Patents

이미지 처리 방법, 장치 또는 시스템 Download PDF

Info

Publication number
KR20120097396A
KR20120097396A KR1020127017854A KR20127017854A KR20120097396A KR 20120097396 A KR20120097396 A KR 20120097396A KR 1020127017854 A KR1020127017854 A KR 1020127017854A KR 20127017854 A KR20127017854 A KR 20127017854A KR 20120097396 A KR20120097396 A KR 20120097396A
Authority
KR
South Korea
Prior art keywords
information
image
sources
computer program
annotation information
Prior art date
Application number
KR1020127017854A
Other languages
English (en)
Other versions
KR101384931B1 (ko
Inventor
지안 마
예 티안
시아오강 양
웬동 왕
Original Assignee
노키아 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노키아 코포레이션 filed Critical 노키아 코포레이션
Publication of KR20120097396A publication Critical patent/KR20120097396A/ko
Application granted granted Critical
Publication of KR101384931B1 publication Critical patent/KR101384931B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/322—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is digitally coded
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32128—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title attached to the image data, e.g. file header, transmitted message header, information on the same page or in the same computer file as the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3212—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image
    • H04N2201/3214—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image of a date
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3212—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image
    • H04N2201/3215—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image of a time or duration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3226—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of identification information or the like, e.g. ID code, index, title, part of an image, reduced-size image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3249—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document data relating to a linked page or object, e.g. hyperlink
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3253—Position information, e.g. geographical position at time of capture, GPS data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

이미지 처리 방법, 장치, 시스템이 제공되어 영상에 대한 객체 노트를 생성한다. 방법, 장치 또는 시스템은 다음을 포함한다: 적어도 부분적으로 자동으로 형성되는 영상 설명 정보를 하나의 영상 소스로부터 자동으로 획득하고, 상기 영상 소스와 다른 적어도 두 개의 객체 소스로부터 주석 정보를 획득하고, 두 개의 객체 소스로부터 주석 정보를 자동으로 융합하여 융합된 주석 정보를 형성하고, 융합된 주석 정보를 영상에 부착하여 영상에 대한 객체 노트를 생성한다.

Description

이미지 처리 방법, 장치 또는 시스템{METHOD, APPARATUS OR SYSTEM FOR IMAGE PROCESSING}
디지털 카메라의 이용도의 증가, 특히 카메라 폰(camera phone)에서의 그러한 것은, 한 사람이 구비하여 다룰 필요가 있는 영상(pictures)과 비디오 샷(video shots)의 개수를 증가시켰다. 카메라로 녹화한 후에 영상과 비디오 샷이 컴퓨터 상에 혹은 웹 서비스(web service)로 저장될 수 있거나, 카메라나 카메라 폰이 대용량 메모리를 구비하여 사용자가 디지털 콘텐츠를 장치상에 저장하도록 한다. 저장 장소에 관계없이, 수천 개의 영상을 다룰 수 있으며 최선의 샷(shots)을 놓치지 않도록 하는 것은 해볼 만한 일이다.
그러므로, 카메라를 적극적으로 사용하는 이용자에게는 영상과 비디오를 다루고 그러한 영상과 비디오에 관련된 데이터 검색을 더욱 용이하게 해주는 해결책이 필요하다.
이제, 개선된 방법과 그 방법을 구현하는 기술적인 장치가 발명되어서, 이것에 의해 상기의 문제점이 완화된다. 본 발명의 여러 특징은 방법, 장치, 서버(server), 클라이언트, 및 내장된 컴퓨터 프로그램을 구비한 컴퓨터 판독 가능한 매체를 포함하고, 이것은 특허 청구범위의 독립항에서 기술되는 것에 의해 특징지어진다. 본 발명의 여러 실시예들이 종속항에 개시된다.
본 발명은 교차-객체(cross-object) 정보 복원 및 요약을 위한 방법, 장치 및 시스템에 관한 것으로; 특히, 관련된 객체로부터 적어도 부분적으로 객체 요약(object summarization)의 자동적인 생성과 다중-차원의 객체 콘텍스트(context)의 분석에 근거한 사진 이미지 또는 비디오 같은 특정 객체의 관련된 객체들을 찾기 위한 것이다. 첫째로, 다중-차원의 객체 콘텍스트(object context) 유사성 계산에 의한 관련 객체들 중에 하나의 객체를 찾는 것이 실행되고, 그 결과가 역시 하이퍼 객체 링크(hyper-object-link)로 불린다. 둘째로, 관련 객체들로부터의 객체 요약이 생성되어, 이러한 객체 요약의 융합은 영상이나 비디오 같은 특정 객체에 대한 멋진 주석을 생성하고, 이것은 역시 하이퍼-객체-노트(hyper-object-note)로 불린다. 환언하면, 하이퍼 객체 링크에 의해 사진같은 등록 객체를 통해 관련 객체들을 찾는 접근법이 제공된다. 관련된 관계를 기반으로, 활동상의 간략한 설명을 제공하는 하이퍼-객체-노트가 적어도 부분적으로 자동으로 생성된다. 객체 노트는 이미지, 사진, 오디오, 비디오, 음악, 서적, 논문 및 다른 어떤 유용한 객체 같은 여러 미디어 객체를 포함하는 상이한 종류의 데이터 객체들에 관련된다.
본 발명의 제 1 특징에 따라, 적어도 부분적으로 자동으로 형성되는 영상 설명 정보를 영상 소스로부터 자동으로 획득하고, 영상 소스와 다른 적어도 두 개의 객체 소스로부터 주석 정보를 획득하고, 융합된 주석 정보를 형성하도록 적어도 두 개의 객체 소스로부터 주석 정보를 자동으로 융합하고, 영상에 대한 객체 노트를 생성하도록 영상에 융합된 주석 정보를 부착하는 단계를 포함하는 방법이 제공된다.
본 발명의 실시예에 따라서, 방법은 영상과 적어도 하나의 객체 소스 사이에 하이퍼 객체 링크를 형성하고, 하이퍼 객체 링크는 객체 소스 내의 객체로의 링크를 포함하며, 영상에 대한 객체 노트를 생성하도록 영상에 객체로의 링크를 부착하는 단계를 더 포함한다. 실시예에 따라서, 방법은 영상 소스로부터의 정보에 대하여 두 개의 소스로부터의 정보를 자동으로 분석함으로써 관련 정보를 형성하고, 관련 정보에 기초하여 적어도 두 개의 소스로부터 주석 정보를 획득하는 단계를 더 포함한다. 실시예에 따라서, 방법은 시간 정보, 위치 정보, 이벤트 정보 및 사람 정보의 그룹 중 적어도 하나를 사용하여 영상과 적어도 두 개의 소스 사이의 유사성을 결정함으로써, 영상과 적어도 두 개의 소스 사이의 상관관계를 결정하여서 관련 정보를 형성하고, 시간 정보, 위치 정보, 이벤트 정보 및 사람 정보의 그룹 중 적어도 하나를 사용함으로써 가중 유사성 지표를 형성하는 단계를 더 포함한다. 실시예에 따라서, 적어도 두 개의 소스는 이메일 메시지, 단문 메시지, 멀티미디어 메시지, 인스턴트 메시지, 달력 엔트리, 접촉 카드, 블로그 엔트리, 위키 엔트리 및 소셜 네트워크 서비스 엔트리의 그룹 중 적어도 두 개이다. 실시예에 따라서, 방법은 적어도 두 개의 소스로부터의 주석 정보에 기초하여 영상들을 클러스터링하는 단계를 더 포함한다. 실시예에 따라서, 방법은 적어도 두 개의 소스로부터의 데이터를 제한하도록 사용자로부터의 필터 정보나 소스 선택 정보를 수신하는 단계를 더 포함한다. 실시예에 따라서, 융합된 주석 정보를 형성하는 단계는 소스 콘텐츠로부터 주석에 대한 콘텐츠를 선택하고, 무관한 리던던트 정보를 감소시키도록 선택된 콘텐츠를 필터링하고, 콘텐츠의 응집성과 일관성을 개선하는 단계를 포함한다. 실시예에 따라서, 융합된 주석 정보를 형성하는 단계는 자연 언어 처리를 통해 상기 콘텐츠의 요약을 생성하는 단계를 포함한다.
본 발명의 제 2 특징에 따라서, 적어도 하나의 프로세서와, 컴퓨터 프로그램 코드를 포함하는 메모리를 포함하는 장치로서, 메모리와 컴퓨터 프로그램 코드는, 적어도 하나의 프로세서를 사용하여, 장치로 하여금 적어도 부분적으로 자동으로 형성된 영상 설명 정보를 영상 소스로부터 획득하고, 영상 소스와 다른 적어도 두 개의 객체 소스로부터 주석 정보를 획득하고, 융합된 주석 정보를 형성하도록 적어도 두 개의 객체 소스로부터 주석 정보를 자동으로 융합하고, 영상에 대한 객체 노트를 생성하도록 영상에 융합된 주석 정보가 부착하게 하도록 구성된다.
실시예에 따라서, 장치는, 적어도 하나의 프로세서를 사용하여 장치로 하여금, 객체 소스에서의 객체로의 링크를 포함하는 하이퍼 객체 링크를, 영상과 적어도 하나의 객체 소스 사이에 형성하고, 영상에 대한 객체 노트를 생성하도록 영상에 객체로의 링크를 부착하게 하도록 구성되는 컴퓨터 프로그램 코드를 더 포함한다. 실시예에 따라서, 장치는, 적어도 하나의 프로세서를 사용하여 장치로 하여금, 영상 소스로부터의 정보에 대하여 두 개의 소스로부터의 정보를 자동으로 분석하여 관련 정보를 형성하고, 관련 정보에 기초하여 적어도 두 개의 소스로부터 주석 정보를 획득하게 하도록 구성되는 컴퓨터 프로그램 코드를 더 포함한다. 실시예에 따라서, 장치는, 적어도 하나의 프로세서를 사용하여 장치로 하여금, 시간 정보, 위치 정보, 이벤트 정보 및 사람 정보의 그룹 중 적어도 하나를 사용하여 영상과 적어도 두 개의 소스의 유사성을 결정함으로써, 영상과 적어도 두 개의 소스 사이의 상관관계를 결정하여서 관련 정보를 형성하고, 시간 정보, 위치 정보, 이벤트 정보 및 사람 정보의 그룹 중 적어도 하나를 사용함으로써 가중 유사성 지표를 형성하게 하도록 구성되는 컴퓨터 프로그램 코드를 더 포함한다. 실시예에 따라서, 적어도 두 개의 소스는 이메일 메시지, 단문 메시지, 멀티미디어 메시지, 인스턴트 메시지, 달력 엔트리, 접촉 카드, 블로그 엔트리, 위키 엔트리 및 소셜 네트워크 서비스 엔트리의 그룹 중 적어도 두 개를 포함한다. 실시예에 따라서, 장치는, 적어도 하나의 프로세서를 사용하여 장치로 하여금, 적어도 두 개의 소스로부터의 주석 정보에 기초하여 영상들을 클러스터링하게 하도록 구성되는 컴퓨터 프로그램 코드를 더 포함한다. 실시예에 따라서, 장치는, 적어도 하나의 프로세서를 사용하여 장치로 하여금, 적어도 두 개의 소스로부터의 데이터를 제한하도록 사용자로부터의 필터 정보나 소스 선택 정보를 수신하게 하도록 구성되는 컴퓨터 프로그램 코드를 더 포함한다. 실시예에 따라서, 장치는, 적어도 하나의 프로세서를 사용하여 장치로 하여금, 소스 콘텐츠로부터 주석에 대한 콘텐츠를 선택하고, 무관한 리던던트 정보를 감소시키도록 선택된 콘텐츠를 필터링하고, 콘텐츠의 응집성과 일관성을 개선하게 하도록 구성되는 컴퓨터 프로그램 코드를 더 포함한다. 실시예에 따라서, 장치는, 적어도 하나의 프로세서를 사용하여 장치로 하여금, 자연 언어 처리를 통해 콘텐츠의 요약을 생성하게 하도록 구성되는 컴퓨터 프로그램 코드를 더 포함한다.
본 발명의 제 3 특징에 따라서, 데이터 처리 장치에서 실행 가능하고 컴퓨터 판독 가능한 매체 상에 저장된 컴퓨터 프로그램 제품이 제공되고, 컴퓨터 프로그램 제품은 적어도 부분적으로 자동으로 형성된 영상 설명 정보를 영상 소스로부터 획득하는 컴퓨터 프로그램 코드 섹션과, 영상 소스와 다른 적어도 두 개의 객체 소스로부터 주석 정보를 획득하는 컴퓨터 프로그램 코드 섹션과, 융합된 주석 정보를 형성하도록 적어도 두 개의 객체 소스로부터 주석 정보를 자동으로 융합하는 컴퓨터 프로그램 코드 섹션, 및 영상에 대한 객체 노트를 생성하도록 영상에 융합된 주석 정보를 부착하는 컴퓨터 프로그램 코드 섹션을 포함한다.
본 발명의 제 4 특징에 따라서, 컴퓨터 판독 가능한 매체 상에 저장된 컴퓨터 프로그램 제품이 제공되고, 컴퓨터 프로그램 제품은 제 1 특징의 실시예에 따른 방법을 구현하는 컴퓨터 프로그램 코드 섹션을 포함한다.
본 발명의 제 5 특징에 따라서, 적어도 부분적으로 자동으로 형성된 영상 설명 정보를 영상 소스로부터 획득하는 수단과, 영상 소스와 다른 적어도 두 개의 객체 소스로부터 주석 정보를 획득하는 수단과, 융합된 주석 정보를 형성하도록 적어도 두 개의 객체 소스로부터 주석 정보를 자동으로 융합하는 수단과, 영상에 대한 객체 노트를 생성하도록 영상에 융합된 주석 정보를 부착하는 수단을 포함하는 장치가 제공된다.
본 발명의 제 6 특징에 따라서, 영상 소스로부터의 영상 설명 정보 -영상 설명 정보는 적어도 부분적으로 자동으로 형성됨- 와, 영상 소스와 다른 적어도 두 개의 객체 소스로부터의 주석 정보와, 적어도 두 개의 객체 소스로부터 주석 정보를 자동으로 융합하여 형성된 융합된 주석 정보, 및 융합된 주석 정보를 상기 영상에 부착함으로써 생성된 영상에 대한 객체 노트를 사용자에게 제공하는 네트워크 서비스가 제공된다.
본 발명의 제 7 특징에 따라서, 캐리어 매체 상에 구현된 영상 신호가 제공되고, 영상 신호는 영상 소스로부터의 영상 설명 정보 -영상 설명 정보는 적어도 부분적으로 자동으로 형성됨- 와, 영상 소스와 다른 적어도 두 개의 객체 소스로부터의 주석 정보와, 적어도 두 개의 객체 소스로부터 주석 정보를 자동으로 융합함으로써 형성된 융합된 주석 정보, 및 융합된 주석 정보를 영상에 부착함으로써 생성된 영상에 대한 객체 노트를 포함한다.
이하, 본 발명의 다양한 예시적인 실시예가 첨부 도면을 참조하여 보다 상세히 설명될 것이다.
도 1은 일 예의 실시예에 따른 영상에 주석을 다는 방법을 도시하고;
도 2(a) 및 2(b)는 일 예의 실시예에 따른 영상에 주석을 다는 시스템과 장치를 도시하고;
도 3은 영상에 주석을 다는 대표적인 장치의 개관을 도시하고;
도 4는 일 예의 실시예에 따라 관련된 객체로부터 영상으로 정보를 연결하는 방법을 예시하고;
도 5는 일 예의 실시예에 따라 관련된 객체를 이용하여 하나의 영상에 주석을 형성하는 방법을 예시하고;
도 6은 일 예의 실시예에 따른 영상에 주석을 다는 방법을 도시하고;
도 7은 일 예의 실시예에 따라 영상에 주석을 다는 구조를 예시하고;
도 8은 일 예의 실시예에 따른 콘텍스트(context) 수집용 구조를 도시하고;
도 9는 일 예의 실시예에 따른 콘텍스트 데이터 베이스에서의 영상 콘텍스트의 저장 구조를 예시하고;
도 10은 일 예의 실시예에 따라 사람과 이벤트(event) 상의 정보에 대한 클러스터링(clustering) 테이블을 예시하고;
도 11(a) 및 11(b)는 일 예의 실시예에 따라 이벤트 콘텍스트와 사람 콘텍스트 수집의 흐름도를 도시하고;
도 12는 일 예의 실시예에 따라 하나의 영상에 객체의 기본적인 연결을 조정하는 과정을 도시하고;
도 13은 일 예의 실시예에 따라 하나의 영상에 대한 주석 형성의 구현을 도시한다.
이하, 본 발명의 여러 실시예들이 장치상이나 네트워크에서 이미지(사진) 관리 시스템의 콘텍스트(context)에서 기술될 것이다. 그렇지만, 본 발명은 단일 장치상의 이미지 관리나 혹은 단일의 서비스에서의 것에 국한되지 않고 디지털 사진 또는 비디오 같은 이미지들에조차도 국한되지 않는다. 실제로, 상이한 양상의 사용자-중심의 데이터 관리가 필요한 어느 환경에서는 광범위하게 애플리케이션(application)을 다른 실시예들이 구비한다.
오늘날에는, 더욱더 많은 사람들이 카메라나 카메라 폰을 이용하여 그들의 생활을 녹화한다. 사람들이 어떤 특정 활동에 임할 때 많은 디지털 객체(object)이 생성되거나 이용된다. 카메라, 달력 엔트리, 단문 메시지(SMS) 또는 멀티미디어 메시지(MMS), 인스턴트 메시징(IM) 및 채팅, 트위터(Twitter) 및 페이스북(Facebook) 같은 소셜 네트워크 서비스, 이메일(emails), 접촉(contact) 카드, 블로그(blog) 엔트리, 오디오 녹음, 음악, 서적, 논문 및 그 이상으로 취해진 영상들과 비디오들을 이러한 디지털 객체는 포함한다. 여기서, 그러한 데이터 항목(items)들이 독립적이지는 않지만, 대신에 그것들의 조합이 보통 공통의 주제를 수반한다는 것을 알아야 한다. 사진을 대강 훑어볼 때 관련 객체 검색은 기존의 사진 브라우징(browsing) 응용에서 가용하지 않다. 또한, 나중에 사진이나 비디오를 훑어볼 때 사진이나 비디오가 녹화되는 동작의 전체 개요를 사용자가 획득한다는 것은 자명하다.
일 예의 실시예에서, 이미지나 비디오 같은 객체과 관련된 콘텍스트를 갖는 관련된 객체 사이의 연결을 자동으로 구축하는 메커니즘과 시스템이 나와 있고, 더 상세하게는, 연결된 객체으로부터 추출된 콘텍스트 정보 조각들을 모아서 요약함으로써 객체 발췌를 생성하는 메커니즘과 시스템이 현존한다. 먼저, 다중-차원의 객체 콘텍스트 유사성 측정법으로 계산하여 관련된 객체 중에 특정 객체를 찾는다. 다음에, 관련된 객체에서 객체 합산치를 발췌하여 하이퍼 객체 노트(hyper obeject note)가 생성된다. 이러한 접근법은 이점을 제공하여,예를 들어, 객체에 관한 최대한 관련된 콘텐츠가 사용자의 간섭이 없이 콘텍스트의 연관 분석을 통해 자동으로 나타나고, 가장 중요한 콘텍스트 정보가 발췌되어 합산되고 객체 발췌를 총합하여서 객체의 최초 목격시에 사용자에게 가장 의미가 있는 정보를 제공한다.
교차-객체(cross-object) 상관관계 계산에 의해 특정 객체에 대한 관련된 객체들이 나타나고 등급이 매겨진다. 발견된 관련 객체에서 객체 합산치가 발췌되어 하이퍼-객체-노트가 된다. 하이퍼-객체-노트의 생성은 다음의 메커니즘을 통해 구현된다. 예를 들어, 주석에서 위키 페이지(Wiki page), 블로그 엔트리, 접촉 카드, 달력 엔트리, SMS 혹은 다른 메시지, 이메일 같은 탑(top)-1 관련 객체를 이용하여, 최대한 관련되고 최대로 대표적인 객체들이 객체 노트로 직접 이용된다. 자연 언어 처리(NLP)가 이용되어 관련된 객체들에서 텍스트 노트를 발췌한다.
도 1은 일 예의 실시예에 따른 이미지에 주석을 다는 방법을 도시한다. 먼저, 단계 110에서, 이미지 혹은 사진 묘사 정보가 메모리 혹은 사진 앨범의 이미지 수집물, 카메라 같은 이미지 혹은 사진 출처로부터 이미지에 대해 얻어진다. 이미지 혹은 사진 묘사 정보가 적어도 부분적으로 자동으로 예를 들어, 시간, 장소(위성 위치확인 시스템 혹은 GPS 좌표) 및 사용자 정보를 이미지에 추가함으로써 형성된다. 단계 120에서, 예를 들어, 이메일, SMS와 멀티-미디어 메시지와 달력 및 접촉 정보를 복구하여서 상이한 출처로부터의 주석 정보가 획득된다. 이런 것들은 이미지 출처와는 다르고, 그것들은 적어도 부분적으로는 상이한 내부 표시 정보를 구비한다.상이한 출처의 정보 이용은 상기 하이퍼-객체-노트를 더욱 풍부하고 자연스럽게 만든다. 단계 130에서, 다른 소스(source)로부터 획득된 인스턴트 정보가 상기 하이퍼-객체-노트로부터 융합된다. 상기 하이퍼-객체-노트는 텍스트(text), 이미지, 음향, 및 다른 객체를 포함하고, 그것은 소스 객체으로의 연결 혹은 소스에 관련된 객체들을 포함한다. 단계 140에서, 상기 하이퍼-객체-노트는 이미지 또는 사진에 부착되어 하이퍼-객체-노트를 갖는 이미지를 획득한다. 이러한 부착은 여러 가지 방법, 예를 들어, 이미지 파일 속으로 상기 정보를 심어서, 상기 이미지 파일과 상기 하이퍼-객체-노트가 있는 새로운 파일을 구축함으로써 상기 이미지와 상기 하이퍼-객체-노트 정보를 잇는 메타데이터(metadata)를 형성함으로써, 파일 작명 등에 의해 상기 이미지와 상기 하이퍼-객체-노트를 연결함으로써 구현된다. 영상 또는 사진들에 부가하여, 하이퍼-객체-노트는 오디오, 비디오, 음악, 서적, 논문 및 어느 다른 유용한 객체 같은 여러 가지 미디어 객체(media object)을 포함하는 다른 종류의 데이터 객체에 관한 것임을 여기서 알아 둘 필요가 있다.
도 2(a)는 하나 이상의 장치 상에 들어 있는 이미지들에 주석을 다는 소자들을 포함하는 장치들, 서버들, 및 네트워크들의 설치를 나타낸다. 다른 장치들은 인터넷 또는 근거리 통신망(local area network) 같은 고정된 네트워크(210), 혹은 이동통신용 위성 위치 시스템(GSM) 네트워크 같은 이동통신 네트워크(220), 3세대(3G) 네트워크, 3.5세대(3.5G) 네트워크, 4세대(4G) 네트워크, 무선 근거리 통신망(WLAN), 블루투스, 혹은 다른 현대 및 미래 네트워크를 통해 연결된다. 상기 다른 네트워크들은 통신 인터페이스(280)에 의해 서로 연결된다. 다른 장치들이 상기 네트워크에 액세스할 수 있도록, 상기 네트워크들은 데이터(미 도시)를 취급하는 라우터(routers)와 스위치(switch) 같은 네트워크 소자들과, 기지국(230, 231) 같은 통신 인터페이스를 포함하고, 상기 기지국 자체는 고정된 연결 단자(276)나 무선 접속 단자(277)를 통해 이동통신 네트워크로 연결된다.
상기 네트워크로 연결된 다수의 서버들이 있는데, 여기서는 도시된 서버(240)가 고정된 네트워크(210)에 연결되어 이미지 또는 사진을 위한 하이퍼-객체-노트를 생성하고, 서버(241)가 고정된 네트워크(210) 또는 이동통신 네트워크(220)에 연결되어 이미지 또는 사진을 위한 하이퍼-객체-노트를 생성한다. 예를 들어, 웹 서버 인터페이스 또는 데이터 저장 인터페이스 등등을 통해 데이터를 저장하고 그 데이터에 액세스하도록, 위치하는 상기 네트워크(210 및/또는 220)에 연결된 다수의 컴퓨터 장치(290)가 역시 도시되어 있다. 이러한 장치들은 예를 들어, 210에 있는 통신 소자를 구비한 인터넷을 형성하는 컴퓨터(290)이다.
또한, 이동 전화 및 스마트 폰(smart phone: 251) 같은 다수의 최종-사용자 장치, 인터넷 액세스 장치(인터넷 테블릿: 250) 및 여러 크기와 형식의 개인용 컴퓨터(260)가 있다. 이러한 장치들(250, 251, 260)은 역시 여러 부분으로 형성된다. 여러 가지 장치들이 인터넷으로의 고정된 연결(270, 271, 272, 280), 인터넷으로의 무선 연결(273), 이동 통신 네트워크로의 고정된 연결(275), 및 이동 통신 네트워크로의 무선 연결(278, 279, 282) 같은, 통신 연결 단자를 통해 네트워크(210, 220)에 연결된다. 상기 연결(271, 282)은 통신 연결 단자의 끝단에서 통신 인터페이스에 의해 구현된다.
도 2(b)에 도시되듯이, 상기 서버(240)가 메모리(245), 하나 이상의 프로세서(246, 247), 및 주석을 다는 기능의 구현을 위해 메모리(245)에 내장된 컴퓨터 프로그램 코드(248)를 포함한다. 상기 다른 서버(241, 242, 290)가 적어도 이러한 동일 소자를 포함하여 각각의 서버에 관련된 기능을 채택한다. 유사하게, 최종 사용자 장치(251)가 메모리(252), 적어도 하나의 프로세서(253, 256) 및 주석 기능의 구현을 위한 메모리(252)에 내장된 컴퓨터 프로그램 코드(254)를 포함한다. 상기 최종-사용자 장치가 역시 사진 촬영용의 적어도 하나의 카메라(255)를 구비한다. 상기 최종-사용자 장치가 또한 음향 수신용으로 하나 이상의 마이크로폰(257, 258)을 포함한다. 상기 다른 최종-사용자 장치(250, 260)가 적어도 이러한 동일한 소자를 구비하여 각각의 장치에 관련된 기능을 채용한다. 동일한 최종-사용자 장치들이 디지털 카메라를 장착하여 디지털 영상 촬영을 가능하게 하고, 영상이나 사진 촬영 동안에, 전에, 혹은 후에 하나 이상의 마이크로폰이 오디오 녹음을 가능하게 한다. 위에서 보듯이, 상기 서버들과 최종 사용자 장치들이 메모리 수단, 버스 또는 다른 내부 데이터 연결 수단, 혹은 외부 소스로부터의 정보를 획득하는 유선 및/또는 무선 네트워크 연결 단자 같은 여러 소스로부터의 정보를 얻는 수단을 포함한다. 상기 장치들과 서버들이 메모리, 회로 및 프로세서 같은 정보를 처리하는 수단을 역시 포함한다. 이러한 수단들은 전기적이거나 광학적 혹은 다른 적당한 수단일 수 있다.
다른 실시예들은 다른 부분들이 다른 소자들로 구현되도록 한다는 것을 이해할 필요가 있다. 예를 들어, 이미지 또는 사진을 위한 상기 하이퍼-객체-노트의 생성은 전적으로 250, 251 또는 260 같은 하나의 사용자 장치에서 구현되거나, 상기 이미지에 주석을 다는 것은 전적으로 하나의 서버장치(240, 241, 242, 또는 290)에서 구현되거나, 이미지나 사진을 위한 하이퍼-객체-노트의 생성이 여러 사용자 장치(250, 251, 260)에 걸쳐, 혹은 여러 네트워크 장치(240, 241, 242, 290)에 걸쳐서 구현된다. 하나의 이미지 또는 사진을 위한 상기 하이퍼-객체-노트의 생성이 위에서 언급하였듯이 하나의 장치 또는 여러 장치에 내장된 소프트웨어 요소로서 구현될 수 있다. 하나의 이미지 또는 사진을 위한 상기 하이퍼-객체-노트의 생성이 역시 사용자가, 예를 들어, 브라우저를 이용하여 인터페이스를 통해 서비스에 액세스하는 것이다.
도 3은 영상을 위한 스마트 노트(smart note: 하이퍼-객체-노트)를 생성하는 예를 든 하나의 장치의 개관을 도시한다. 상기 장치에서, 하나의 사진 또는 영상이 하나의 영상(312)과 연관된 하이퍼-객체-노트(314)를 포함하는 풍부한 콘텍스트(context)가 포함된 객체(310)이다. 하나의 영상(312)의 콘텍스트가 시간 정보, 위치 정보, 사건 정보, 사람의 감정, 콘텐츠 정보(메타데이터), 온도와 습도 같은 주위 환경, 장비 변수 등과 같은 다른 속성(attributes)들을 묘사한다. 이러한 콘텍스트는 사진(321) 안에 존재할 뿐만 아니라 단문 메시지 또는 멀티미디어 메시지(MMS) 또는 인스턴트 메시지(322) 같은 다른 메시지, 달력 엔트리(323), 소셜 네트워크 시스템(324), 접촉 카드(325), 이메일 메시지(326), 블로그 엔트리(327) 및 다른 것, 예를 들어 탐색 엔진, 디지털 서적 및 논문, 음악, 오디오 녹음 등과 같은 다른 인터넷 서비스(328) 같은 다른 객체에 존재한다. 그러므로 다른 객체들 사이의 연관 링크(association link: 340)는 하이퍼-객체-노트를 생성하도록 공통 콘텍스트를 기반으로 상기 영상과 다른 객체 사이에 설정된다. 상기 콘텍스트를 기반으로, 영상들이 다른 앨범들(350) 속으로 클러스터링하여 장소에 의해 배치된 장소 앨범(351), 소셜 콘텍스트 기반의 SNS 앨범(352), 시간에 의해 배열된 시간 앨범(353), 주제별로 나뉜 주제 앨범(354), 및 검출된 감정 기반의 감정 앨범(355) 같은 사용자 사진을 다룬다. 그러한 앨범이 다중 차원의 사진 앨범(350)으로 불린다. 이러한 앨범으로부터의 영상들을 주석이 달리는 영상(310)으로 연관시키도록, 역시 외부 소스(360), 예를 들어 다른 사람의 사진 앨범으로부터의 영상 질의(query)의 실행이 가능하다.
사진(312, 321)과 다른 객체 사이에 하이퍼-객체-노트(340)의 설정 과정이 다음과 같이 동작한다. 사진과 다른 객체가 공통의 콘텍스트를 공유하기에, 그들 사이에 자연스러운 관계가 있다. 먼저, 사진의 콘텍스트가 여러 소스들로부터 수집된다. 예를 들어, 영상이 찍히는 시간, 카메라 모델, 사진 변수 및 그러한 다른 정보가 이미지 파일에 붙은 EXIF 정보(Exchangable Image File information)로부터 추출되고; GPS 좌표가 응용 프로그래밍 인터페이스(API)를 통해 내부의 소스로부터 수집되고; 습도, 온도 및 소음 등급이 장치 내부 또는 외부의 센서의 데이터로부터 수집된다. 상기 수집된 콘텍스트가 기초 데이터를 구성한다. 콘텍스트 모델링과 데이터 추출이 이렇게 수집된 기초 데이터에 숨겨진 다른 객체과 사진 사이의 관계가 표출되도록 한다. 이러한 동작의 결과로, 사진과 관련된 객체 사이의 연관은 하이퍼-객체-노트를 생성하는 데 사용자의 도움이 없이, 필수적으로 자동으로 설정된다. 상기 관련된 객체가 기술된 사진-중심의 모드로 콘텍스트 관계를 통해 상호 연결한다. 비디오, 음향, 및 다른 것 같은 다른 미디어가 사진 또는 영상에 부가하여 적소에 이용된다는 것을 이해할 필요가 있다.
링크의 형성과 객체 노트(하이퍼-객체-노트)의 생성이 단일의 장치 상에, 또는 복수의 장치들 상에 일어난다. 상기 형성이 서비스 제공자에 의해 제공된 네트워크 서비스로서 적어도 하나의 네트워크 주소를 발생한다. 사용자는, 예를 들어 영상을 검색, 조직, 대강 훑어보기 위해 네트워크 서비스에 액세스한다. 다음에, 일찍 혹은 나중에 기술되듯이, 상기 영상에 다른 객체를 연결하는 수단을 상기 서비스가 제공한다. 그러면 상기 서비스는 하이퍼-객체-노트의 생성을 허용한다. 상기 서비스의 이러한 기능들은 사용자에게 컴퓨터 판독 매체 상에서 구현될 수 있는 영상 신호를 제공하고, 이러한 영상 신호는 다른 객체으로의 연결 및/또는 다른 객체의 요약을 포함한다. 상기 영상 신호에 부착된 이러한 데이터는 여러 객체으로부터의 정보를 융합하고 하이퍼-객체-노트를 생성함으로써 구현된다.
도 4는 하이퍼-객체-노트를 생성하도록 일 예의 실시예에 따라 하나의 영상에 관련된 객체으로부터의 정보를 연결하는 방법을 예시한다. 사용자는 이동전화에 저장된 사진을 선택하여(410), 그것을 질의 엔트리(query entry)로 간주하여 시스템에 제기한다. 내부 API로부터 추출되거나, 이미지 파일에 내장된 콘텍스트 데이터(420), 혹은 외부 센서 데이터를 수집한 후에, 시스템은 이러한 기초 데이터를 정형화하여 사진과 다른 객체(430) 사이에 잠재적인 관계를 찾도록 데이터를 수집하고, 여기서 상기 객체는 달력 노트(432), SMS 메시지 또는 멀티미디어 메시지 또는 인스턴트 메시지(434), 이메일 메시지(436) 같은 다른 메시지, 블로그(438) 및 소셜 미디어 서비스 및 전화번호부(접촉카드: 439)이다. 그런 후에, 상관관계 (correlation) 계산(440)에 의해 연결 그래프가 그려진다. 두 개의 연결 모드는 이러한 연결 그래프를 기반으로 제공된다. 간단한 모드(mode)로, 배경 프로그램이 관련된 객체의 관계 계수(점수)를 계산하여, 역시 자동적으로 그것들을 점수로 등급을 매긴다. 이것은 top-N이 되고, 예를 들어, top-3으로 가장 높은 점수의 객체 내용이 결과 가로장(bar:456)으로 배열되고, 사용자는 관련된 객체를 선택하여 상세한 정보를 획득한다. 이러한 접근법은 합계를 생성하도록 하는 데 그렇지 않으면 영상(452)에 관련된 객체의 내용(454)을 도시하여 하이퍼-객체-노트(450)를 형성한다. 단일 모드와 비교하여, 상호작용 모드로 사용자는 그 자신의 제약조건을 부가하여 연결 범위를 제한하거나 연관의 정도를 상승시킬 수 있다. 예를 통해 도 4에 도시되듯이, 사용자가 시스템으로 사진을 선택하고; 사진은 거의 릴레이 경주이다. 계산 이후에, 시스템이 최대로 관련된 4개의 객체를 이 사진으로 찾는다(이메일, SMS, 달력, 블로그). 사용자가 그 자신의 요구에 따라 관련된 객체를 찾기를 원한다면, 그가 제약 조건을 추가할 수 있다. 여기서, 예를 들어 사용자가 시스템에 “릴레이 경주, 챔피언, 축하”의 제약조건을 추가한다면, 4개의 최대로 관련된 객체 이하가 출현한다. 이메일의 아이콘을 클릭하여, 사용자가 이메일 프로그램에 들어가서 릴레이 경주 챔피언을 축하하는 메일의 상세 내용을 볼 수도 있다.
도 5는 일 예의 실시예에 따라 관련된 객체를 이용하여 영상이나 사진에 대한 하이퍼-객체-노트를 형성하는 방법을 예시한다. 다음에 실질적인 보기를 통해 예가 나타난다. 린(Lin)은 베이징 대학의 학생으로 그는 운동 경기를 매우 좋아한다. 스포츠 시합이 그의 대학에서 2009년 7월 23일에 있을 예정이다. 린과 그의 급우 리(Lee), 장(Zhang)과 톰(Tom)이 400m 릴레이 경주에 참가할 것이고; 친구 잭(Jack)은 물론, 리, 장과 톰이 전화 번호부(560)에 등록되었다. 린이 경쟁을 기대하여 그는 그의 이동전화(510)에 이벤트(event: 550)를 추가하여 이것을 기록하여 그 시합에 대해 많은 훈련을 하도록 자기에게 상기시키도록 한다. 시합 날, 오전 10시에 린과 그의 동료들이 출발선 상에 섰다. 린이 릴레이 경주에 첫 주자로 나서서 그는 매우 빨리 달렸다. 앤디가 2번 주자로 뛰고, 장이 3번 주자로 뛰고, 리가 최종 주자로 뛰었다. 그들은 이미 압도적인 상대 팀에 대해 크게 이기고 있었다. 마지막 라인에서, 린이 리를 사진(520)으로 찍었고, 그는 그의 카메라 폰으로 격정적인 순간을 기록하고 싶었다. 마침내, 그들은 경주를 이겼다. 그들 모두는 행복감을 만끽했고; 10:23분에 린이 축하 메시지(540)를 그의 친구 잭으로부터 받았고, 그것은 “스포츠 시합서 너의 승리를 축하한다”는 것이었다. 시합 이후에, 린이 이 사진을 그의 이동 전화에서 서버로 올렸다; 그는 그의 기쁨을 그의 친구와 급우들과 공유하길 원했다. 그날 오후 같은 시간에, 린이 “우리가 학교 체육대회 400m 릴레이 경주에서 우승했다”고 기록함으로써 그의 블로그(555)를 갱신하였다. 린이 그의 동료 리로부터 이메일(545)을 받았고, 그것은 저녁때 축하 파티가 있다는 것이었다.
상기 이야기에서, 우리는 시합에 대한 정보가 달력, 사진, 이메일, 단문 메시지(SMS), 멀티미디어 메시지(MMS), 블로그 같은 여러 가지 유형의 객체으로 기록될 수 있다는 것을 알 수 있고, 릴레이 경주에 대한 상세한 소개가 또한 위키피디아(Wikipedia: 미국 온라인 백과사전)나 다른 위키(wiki) 상에서 볼 수 있다. 이러한 객체는 시합에 대한 기록을 포함하고, 이렇게 외관상으로는 관련이 없는 객체의 요약을 하면서, 사용자는 교차-객체의 전경의 활동상을 제공받고, 사용자는 더 쉽게 시합에 대한 상세한 정보를 제공할 수 있다. EXIF 정보를 분석하여, 소요 시간이 먼저 추출되고; 이것을 통해 사진이 달력에 연결되고, 주제와 시간 간격, 참가자 및 장소 등을 알 수 있다. 주제와 시간 간격을 통해, 관련된 주제나 시간과 더불어 SMS와 이메일이 사진에 링크된다.
여기에 두 가지 스타일의 영상에 주석 달기가 제공되는데, 그것은 해석(comprehension) 기반의 하이퍼-객체-노트(530)와 추출(extraction) 기반의 하이퍼-객체-노트(535)이다. 상기 해석 기반의 하이퍼-객체-노트는 단문 에세이 같고, 추출 기반의 하이퍼-객체-노트는 키(key) 내용을 열거하여 그것들을 연결시킨 카타로그와 같다. 하이퍼-객체-노트로, 이렇게 사용자가 활성화하여 실제 객체에 도달할 수 있는 객체으로의 연결 및/또는 객체의 텍스트 및 아이콘(icons)이 있다. 상기 두 개 하이퍼-객체-노트 스타일은 역시 혼합되어 조합되고 다른 스타일이 추가되기도 한다. 나중에, 이 사진을 브라우징하여, 사용자는 단문 요약을 처음 보아서 최단 시간에 가능한 충분한 정보를 획득할 수 있다.
도 6은 일 예의 실시예에 따라 영상에 주석을 다는 방법을 도시한다. 예를 들어, 여기에는 전체적으로 4단계가 있다. 첫째로, “사진 반입 및 예비-과정”(610)에서, 로컬 파일 시스템(local file system)으로부터의 사진 및/또는 외부 컴퓨터 등, 사진 서비스 같은 외부 소스가 반입되고, 사진 및 위치 정보, 예를 들어 위성 위치 정보 시스템(GPS) 좌표가 EXIF 데이터로부터 결정된다. 또한, 영상 또는 사진을 시간과 GPS 좌표의 밀도 분포(density distribution)에 근거하여 모은다. 둘째로, “콘텍스트 수집”(context collection: 620)에서, 사진이 찍힐 때의 시간, GPS, 지명 등과 같은 분명한 콘텍스트가 주석을 달기 위해 자동으로 수집되고, 반면에 포함된 사람과 이벤트 주제가 추천과 사용자 상호 작용을 통해 주석을 달도록 꼬리표가 붙는다. 셋째로, “객체 연결”(630)에서, 사진과 비-사진 객체들이 다중 콘텍스트의 상관관계에 기초하여 연결된다. 상관 관계의 계산이 시간, 위치, 사람과 이벤트 등의 콘텍스트의 유사성에 기초한다. 셋째로,“요약(640)”에서, 요약 정보가 연결된 객체으로부터의 주석에 대해 생성된다.
도 7은 하이퍼-객체-노트를 생성하도록 일 예의 실시예에 따라 영상에 주석을 다는 구조를 예시한다. 밑에서 꼭대기까지, 제 1층은 “사진 반입 및 예비 과정 층(710)”으로 불리고, 여기서 업무가 파일 시스템으로부터 사진(712)을 불러오고, EXIF 분석(714)으로부터 취해진 이벤트와 위치(GPS) 데이터를 추출, 위치 변환을 GPS로 가능하게(720) 하는 것이다. 다음에, 시간과 GPS 좌표에 근거하여 사진이 작은 클러스터로 모인다(718). 유사한 타임 스탬프(time stamp)와 GPS 좌표를 갖는 사진이 동일 사건과 참석자와 대부분 관련되어, 이전의-모음(clustering) 이후에 다른 사진들에 주석 달기를 추천하도록 모인 것의 주석 저장소로 되돌아가는 것이 가능하다. 제 1층의 결과가 콘텍스트 데이터 베이스(716)로 저장된다.
제 2층이 “콘텍스트 수집 층(layer)”(730)으로 불린다. 시간과 장소 콘텍스트는 교차-객체 링크를 제공하는 데 충분치 못하고, 더 많은 의미의 콘텍스트가 이러한 층 위에 수집된다. 이러한 층에서, 달력 같은 다른 관련된 소스(이전에 설명됨)로부터의 정보(732)가 사용된다. 상기 정보가 734에서 추출되고 736에서 사진과 연관되고, 사용자 식별이 역시 이러한 목적으로 738에서 결정된다. 상기 층이 영상에 대해 소위 반-주석(semi-annotation)을 생성한다.
제 3층이 “상관 관계 연결 층”(Correlation Linking layer: 750)으로 불린다. 사진(752)에 부가하여, 이메일(754), 달력 엔트리(756) 및 접촉 정보(758) 같은 상이한 소스로부터의 정보가 사용된다. 이메일(754), 달력 엔트리(756) 및 접촉 정보(758)가 각각 755, 757 및 759에서 색인(index)되고, 검색(760)에 입력으로 제공된다. 764에서 다중 콘텍스트 유사성 계산을 통해, 참가 객체과 다른 잠재적인 객체들 사이의 상관관계가 정량화된다. 상관관계 점수를 등급으로 매겨, 최대한 관련된 객체들이 선택된다. 그 결과는 결과 데이터 베이스(768)에 저장된다.
제 4층이 “요약 층”(770)으로 불린다. 이 층 위에, 이미 발견된 관련 객체으로부터의 요약이 자동으로 생성된다. 관련 서류가 774에서 복구될 때, 사진(772: 이것은 752와 동일 사진이다)과 상관관계 연결(768)의 결과가 소스로서 이용된다. 접촉 정보(780)뿐만 아니라 다른 정보(782)가 적어도 부분적으로 784에서 선택된다. 786에서 콘텐츠 필터링과 788에서의 요약을 통해, 사진에 대한 하이퍼-객체-노트가 생성된다. 다른 층의 구현 내용이 다음에 기술된다.
도 8은 일 예의 실시예에 따른 도 7의 제 2층에서의 콘텍스트 수집 과정을 예시한다. 콘텍스트를 수집할 적어도 세 개의 방법이 있다. 제 1방법이 자동적인 콘텍스트 주석 달기(810)이다. 이러한 정보를 814에서 추출하도록 분석될 수 있는 EXIF 데이터 구조로, 현재 많은 카메라 장치가 시간과 GPS 정보를 사진(812)속으로 기록할 수 있다. GPS는 역시 위치-장소 이름 매핑(mapping)을 통해, 예를 들어 816에서 소프트웨어에 의해, 텍스트 장소로 변환될 수 있다. 시간과 장소 콘텍스트는 818과 820에서 모아져서 다른 콘텍스트 클러스터(825)를 도출한다. 다음에, 추출되고 처리된 정보가 콘텍스트 데이터 저장소(830)로 저장될 수 있다. 상기 저장소(830)는 시간, 위치, 사람과 고속 검색을 위한 이벤트 색인(860)을 갖도록 850에서 색인이 달린다.
상기 콘텍스트 주석은 역시 반-자동으로 생성된다(840). 예를 들어, 사용자가 그의 달력(844)에 이벤트 정보를 추가한다. 이벤트가 시간상의 접근성 때문에 사진(842)에 긍정적으로 관련된다. 다음에 상기 이벤트가 846에서 추출되어 사용자에게 추천되고, 사용자는 그것이 그 사진에 연관되는지를 판정한다. 사용자가 그 이벤트를 확신하면, 그 이벤트는 하이퍼-객체-노트로서 그 사진에 추가된다.
상기 콘텍스트 주석이 역시 수동으로 생성될 수 있다. 예를 들어, 사용자가 사람의 이름을 기재함으로써 사진 속의 사람에 주석을 달수 있다. 그 사진의 환경이 손에 의해 주석이 달리고, 예를 들어 스마일 또는 다른 아이콘 또는 현재의 감정에 대한 텍스트 설명으로 감정이 태깅될 수 있다. 위치(GPS) 및 시간 콘텍스트를 획득한 후에, GPS 좌표와 시간 콘텍스트에 의해 사진들을 클러스터링하고, 일정한 클러스터의 주석이 사용자에게 추천되어서 동일 클러스터에 속하는 다른 사진에 주석이 달릴 수 있다.
도 9는 일 예의 실시예에 따른 콘텍스트 데이터 베이스에서의 영상 콘텍스트의 저장 구조를 예시한다. 사진이 찍힐 때의 날짜(922)와 시간(924)을 식별하는 사진-id(920)와, GPS 위치(926), 상기 위치로부터 발생된 장소(928), 사진에 관련된 사람들(930), 이벤트 정보(932), 및 사진이 속하는 하나 이상의 클러스터 id(934)를 사진 콘텍스트 기록이 포함한다. 다른 콘텍스트 기록(910, 912, 914, 916)이 완전히 다른 필드 값을 갖거나, 상기 필드 값의 일부가 동일하고 참고로 구현된다.
도 10은 일 예의 실시예에 따른 이벤트와 사람들의 정보에 대한 클러스터(cluster) 테이블을 예시한다. 이벤트 클러스터 테이블은 예를 들어, 레코드 1010, 1012, 1014에 대한 다음 필드(field)를 구비: 클러스터 id 1020은 클러스터를 식별, 1022는 이벤트 묘사하고 1024는 이벤트 카운트이다. 클러스터에서의 사진에 주석을 다는데 이벤트 id가 몇 번 사용되었는지를 이벤트 카운트 1024가 나타내고, 즉, 그것은 얼마나 많은 사진들이 이러한 이벤트 클러스터에 속하는 지를 결정할 수 있다. 사람 클러스터 테이블이 레코드 1030, 1032 및 1034에 대한 다음 필드를 포함한다: 클러스터 id 1040, 사람 이름(1042) 및 사람 계수(1044). 사람 이름 필드(1042)는 하나 이상의 이름 또는 사람을 묘사하는 다른 꼬리표(tag)를 포함하고, 사람 계수는 클러스터에서 사진의 개수를 나타낸다.
도 11(a)와 11(b)는 일 예의 실시예에 따라 이벤트 콘텍스트와 사람 콘텍스트 수집의 흐름도를 도시한다. 도 11(a)에서, 이벤트 콘텍스트 수집이 도시된다. 단계(1110)에서, 사진이 과정에 입력된다. 다음에, 사진이 속하는 클러스터가 어느 것인지와 사진이 할당되는 클러스터 id가 단계 1112에서 판정된다. 클러스터는 GPS와 시간 콘텍스트에 의해 이전에 무리를 지었다. 단계 1114에서, 이벤트 꼬리표가 이미 클러스터에 있는 지가 결정된다. 꼬리표가 존재하면, 이벤트 꼬리표는 단계 1116에서 사용자에게 추천된다. 이벤트 꼬리표가 사진에 관련되어 사용자가 이벤트 꼬리표를 수용한다면(단계 1125), 이벤트 카운트는 도 10에 도시된 데로 증가한다(단계 1135). 이벤트 꼬리표가 클러스터에서 보이지 않으면, 사용자가 새로운 이벤트 꼬리표를 수동으로 생성하거나 단계 1118에서 그것이 자동으로 생성된다. 클러스터에 이벤트 꼬리표가 없다면, 적당한 시간 범위의 달력 이벤트가 1118에서 검색된다. 시간 간격에 부합하는 달력에 이벤트가 있다면(1120), 상기 이벤트는 달력에서 추출되어(1122) 사용자에게 추천되고, 사용자는 추천을 수용한다(1125). 달력에서 적당한 범위로 이벤트가 없다면, 새로운 이벤트가 수동으로 사용자에 의해 생성된다(1130). 마지막으로, 그 결과가 클러스터 테이블에 추가된다(1140).
도 11(b)에서, 사람 콘텍스트 수집이 도시된다. 먼저, 사진이 1150에서 입력된다. 다음에, 클러스터 id가 사진에 대해 할당된다(1152). 다음에, 클러스터 레코드에 어느 사람의 꼬리표가 있는지가 1154에서 결정된다. 클러스터 레코드에 사람 꼬리표가 있다면, 사람 꼬리표가 사용자에게 추천된다(1156). 사람 꼬리표가 사진에 관한 것이어서 사용자가 사람 꼬리표를 1158에서 수용한다면, 사람 카운트가 증가하고(1162), 데이터베이스에 기록된다(1164). 사람 꼬리표가 사진에 관한 것이 아니면, 사용자는 수동으로 사람 꼬리표를 생성할 수 있고(1160), 사람 카운트가 증가한다.
도 12는 일 예의 실시예에 따라 하나의 영상에 객체의 기본적인 연결을 조정하는 과정을 도시한다. 먼저, 엔트리 객체(영상/사진: 1212)이 시스템에 제출된다. 다음에, 질의(query)가 1214에서 발생하여 콘텍스트 데이터 베이스로부터의 기본적인 질의 용어로서 객체의 메타데이터를 선택한다(1210). 클러스터 id를 기반으로, 전개 질의 용어(expansion query term)가 역시 1216에서 사진이 속하는 클러스터로부터 선택된다. 반면에, 다른 유형의 객체들이 1230 및 1235에서 개별적으로 표시된다. 이러한 객체들은 SMS(1220), 이메일(1222), 접촉(1224), 달력 엔트리(1226) 및 MMS, 인스턴트 메시지, 소셜 네트워크 포스트, 블로그 엔트리 등 같은 다른 것(1228)을 포함한다. 질의 제약 조건으로서 기본적인 전개 질의 용어로, 지원 결과(1250)가 잠재적인 관련 객체에서 검색된다(1240). 다음에, 상관관계 계산 모듈(1260)이 계산되어 다중-콘텍스트 유사성 계산을 통해 엔트리 객체와 후보 객체 사이의 상관관계 등급이 매겨진다. 마침내, 탑(top) N 최대로 관련된 객체가 선택되어 데이터 베이스에 저장된다.
객체들 사이의 하이퍼 객체 링크(hyper-object-link)를 생성하는 부분은 다중-차원의 콘텍스트 상관관계 계산이다. 다른 객체들 사이의 상관관계 정도를 측정하기 위해, 활동 주제의 개념이 정의된다. 활동 주제의 주요 개념은 사진 기록이 4 키(key) 차원으로 추출될 수 있다: 시간/위치/사람/이벤트. 4차원의 유사성(similarity)의 가중(weighed) 합을 이용하여, 사진과 비-사진 객체 사이의 상관관계가 다음으로 계산된다.
Figure pct00001
질의 상태를 보충하도록 현재의 연결 사진을 구비한 같은 클러스터에 속하는 다른 사진들에 포함된 콘텍스트 꼬리표를 이용하여, 사진이 클러스터로 모여 있다.
다음에, 사진과 이메일 사이의 상관관계 계산이 소개된다.
시간 상관관계는 다음과 같이 결정된다. 이메일과 사진 사이의 시간 차원의 유사성이 두 개의 요소로 계산된다: 시간 간격 및 본문의 공존.
Figure pct00002
위에서, 상기 함수
Figure pct00003
는 이메일의 송/수신 시간과 사진의 캡쳐(capture) 시간 간격을 측정한다. 대부분의 환경에서, 사진이 찍힌 시간과 이메일의 송/수신 시차가 5일을 넘지 않는다면 메일의 제목이 사진에 기록된 활동과 관련이 있다:
Figure pct00004
여기에 함수
Figure pct00005
는 본문의 공존에서 사진과 이메일 사이의 유사성을 잰다. 시간 정보가 이메일의 주제 부분이나 본문 부분에 분명히 기록되고, 사진이 기록하는 활동의 개시시간과 종료시간 사이에 시간이 존재하면, 이메일이 그 사진과 깊은 관련이 있다고 추론할 수 있다.
Figure pct00006
Figure pct00007
의 목적은 시간의 형식을 메일과 양립할 수 있는 해당 형식으로 변화하는 것이다.
사람의 상관관계는 다음과 같이 결정된다. 이메일과 사진이 동일 인물로 언급된다면, 그것들은 관계가 있다. 규칙적으로, 사람의 정보는 이메일의 송/수신 분야에서 나타난다; 몇몇의 경우에는 사람의 이름 역시 메일의 본문 부분에서 나타난다. 그래서, 우리는 그러한 접근법으로 상관관계를 계산한다.
Figure pct00008
Figure pct00009
는 최신의 사진에 대한 꼬리표로서 주석이 달린 사람의 이름으로 되고,
Figure pct00010
는 최신의 사진으로 동일 무리에 속하는 사진에 대한 꼬리표로서 주석이 달리는 사람의 이름으로 언급된다. 함수
Figure pct00011
와
Figure pct00012
가 사람의 이름을 이메일 주소로 변환한다.
사람 이름의 꼬리표가 송신자나 수신자의 필드에 나타난다면, 그것은 그 메일이 그 사진과 깊은 관련이 있다고 추론할 수 있다; 또한, 다른 사진에 주석이 달린 사람의 이름이 최신의 사진이 포함된 클러스터에 속한다면, 이메일 역시 그 주제와 어떤 연관을 갖는다:
Figure pct00013
몇몇 상세한 내용을 알릴 필요가 있을 때 이메일 본문에 사람의 이름들을 사람이 기재한다는 사실은, 다음 상관관계를 계산하는 다른 접근법을 제공한다:
Figure pct00014
위치 상관관계가 다음과 같이 결정된다. 위치 이름이 이메일 본문에 나타난다면, 상관관계가 존재한다:
Figure pct00015
Figure pct00016
의 정의가 사람 상관관계 계산의 접근에 있어 선행하는 것과 같다.
이벤트 상관관계가 다음과 같이 결정된다. 벡터 공간 모델(VSM)이 소위 TF-IDF(term 주파수-역의 document 주파수)모델을 이용하여 이벤트 꼬리표와 이메일 사이의 상관관계를 계산한다.
전화에 ｜D｜ 메일이 있다고 가정하고, 우리는 벡터
Figure pct00017
를 이용하여 메일에 나타나는 각각의 용어의 무게를 기록하고, 벡터
Figure pct00018
를 이용하여 주석 달린 이벤트 꼬리표와 연장된 이벤트 꼬리표의 무게를 기록한다.
Figure pct00019
여기에,
Figure pct00020
는
Figure pct00021
메일에서의
Figure pct00022
용어의 무게로 언급되고,
Figure pct00023
는 현재의 사진 자체의 이벤트 꼬리표의 무게로 언급되고,
Figure pct00024
는 현재 선택된 사진과 동일 클러스터에 속하는 사진의
Figure pct00025
이벤트 꼬리표의 무게로 언급된다.
Figure pct00026
Figure pct00027
는 용어 주파수로 언급된다.
Figure pct00028
는
Figure pct00029
메일에서 용어가 발생하는 횟수의 개수를 나타낸다.
Figure pct00030
의 값이 높을수록, 용어가 더 중요하다.
공식
Figure pct00031
가 역의 문서 주파수를 나타낸다. ｜D｜는 메일의 전체 개수를 나타내는 반면에,
Figure pct00032
는
Figure pct00033
를 포함하는 메일의 개수를 나타낸다.
Figure pct00034
다음에, 사진과 SMS 메시지 사이의 상관관계 계산이 기술된다.
SMS의 문자가 얼마간 이메일과 유사하기 때문에, 이메일과 동일한 상관관계 계산 알고리즘이 사용된다.
Figure pct00035
Figure pct00036
의 정의가 이메일의 것과 동일하다.
다음에, 사진과 달력 엔트리 사이의 상관관계 계산이 기술된다.
시간 상관관계가 다음과 같이 결정된다. 시간 정보가 시간 필드에 분명히 기록된다. 시간 정보가 추출되고 사진의 시간 꼬리표와 달력으로부터 추출된 시간 사이의 시간 간격이 계산된다. 그 유사 함수가 다음으로 정의된다:
Figure pct00037
위치 상관관계가 다음과 같이 결정된다. 많은 경우에, 위치 이름이 달력에서 해당 필드에 분명히 기록된다. 위치 필드가 점검되고, 위치 이름이 현재의 사진의 위치 꼬리표에 부합되면, 사진과 달력 이벤트가 동일 상관관계를 갖는다고 추론될 수 있다.
Figure pct00038
사람 상관관계가 다음과 같이 결정된다. 활동에 참가하는 사람의 이름들을 기록하도록 달력 엔트리에 참석자 필드가 있다. 상관관계를 계산하는 데 비교가 이루어지고; 사진의 주석을 단 사람 이름이 참석자 필드에 존재한다면, 높은 점수가 주어지고, 현재의 사진과 더불어 동일 클러스터에 속하는 다른 사진들의 사람 꼬리표가 참석자 필드에 존재한다면, 더 낮은 점수가 주어지고; 사진 클러스터중 사람 꼬리표가 필드에 없으면, 0 점수가 주어진다.
Figure pct00039
이벤트 상관관계가 다음과 같이 결정된다. 달력에서의 주제 필드가 이벤트의 요약 정보를 기록한다. 상관관계를 계산하도록 비교가 이루어진다: 사진의 주석을 단 이벤트 꼬리표가 이런 필드에 존재한다면, 높은 점수가 주어지고; 현재의 사진과 더불어 동일 클러스터에 속하는 다른 사진들의 주석을 단 이벤트 꼬리표가 주제 필드에 존재한다면, 더 낮은 점수가 주어지고; 클러스터의 이벤트 꼬리표가 필드에 없다면, 0점수가 주어진다.
Figure pct00040
다음에, 사진과 접촉 사이의 상관관계 계산이 기술된다.
사람을 찍은 영상이 사람의 콘텐츠를 갖고, 이것은 사진과 접촉 카드 사이의 상관관계의 측정법으로 사용될 수 있다. 꼬리표 “사람 이름”이 접촉에 존재하는 레코드와 같다면 상기 두 요소는 관련이 있다.
Figure pct00041
도 13은 일예의 실시예에 따른 영상에 대한 하이퍼-객체-노트를 형성하는 것에 대한 구현을 도시한다. 주석은 소스로서 사용되는 콘텐츠의 해석에 근거한다. 꼭대기에서 바닥까지, 하이퍼-객체-노트의 생성은 세 개의 층을 포함한다. 제 1층은 “콘텐츠 선택”(1330)으로 불린다. 상기 층에서, SMS 또는 MMS 메시지 또는 인스턴트 메시지(1310), 이메일(1312), 접촉 카드(1314), 달력 엔트리(1316), 블로그 엔트리(1318) 및 다른 소스(1320) 같은 관련된 객체들이 분석기(1332)에 의해 먼저 텍스트 형식으로 분석된다. 다음에, 각각의 텍스트 파일의 용어 주파수가 1334에서 계산된다. 여기서, TF-IDF 모델이 채택된다. 각각의 텍스트 파일이 TF-IDF 벡터(여기서, TF-IDF의 정의와 계산 과정이 본문에서 더 빨리 정의된다)로서 표현된다. 보통, 용어가 문서로의 중요성은 용어가 문서에 나타나는 횟수에 비례하여 증가하고, 말뭉치(corpus)에서 문서 주파수에 의해 오프셋(offset) 된다. 그래서 우리는 TF(term 주파수)와 IDF(역 document 주파수)의 산술적인 곱을 이용하여 각각의 용어에 대해 가중 계수를 생성하여 top N 용어를 선택하고, 이것은 관련된 객체의 주제 콘텐츠를 기술하는데 있어 가장 의미가 있는 단어로서 간주한다. 우리는 이러한 선택된 용어를 관련된 객체 수집의 중심 용어로 부른다. 중심 용어를 기반으로, 공통의 주제를 가장 잘 실행할 수 있는 문장이 다음 단계를 통해 1336에서 추출된다. 먼저, 각각의 문장의 중심 값이 계산되고, 중요한 개념은 문장에 포함된 각각의 중심 용어의 가중 산술적인 합을 계산하는 것이다. 문장이 초기 혹은 종단 위치에 있다면, 부가적인 점수가 주어진다. 그것은 사람이 보통 가장 의미가 있는 문장들을 두 개 위치에 놓기 때문이다. 셋째로, top-N 등급의 문장들이 소스 소재로서 선택되어 주석을 다는 것과 하이퍼-객체-노트에 대한 요약을 발생한다. 제 2층이 “콘텐츠 필터링”(1340)으로 불린다. 선택된 문장들이 겹치거나 어휘 항목(lexeme)에서 서로 유사하기에, 그것들을 먼저 필터링하는 것이 좋다. “오명(stigma) 단어 필터링”(1342)이 거의 의미가 없는 리던던트 단어들을 제거한다. 문장들이 접속사 “그러나", "비록~일지라도", "~하므로" 등 또는 동사 "말하다" 및 그 파생어, 또는 “그", "그녀", 및 ”그들" 같은 대명사로 시작하기에, 이러한 “오명 단어"를 갖는 문장들은 요약의 불연속을 초래하며, 그리하여 그것들이 요약에 포함되는 것을 피하도록 이러한 문장의 점수가 줄어든다. “중복 제거”모듈(1344)이 반복적인 정보로 문장들의 제거를 목표로 한다. 두 개 문장이 동일한 주제로 언급된다면 중복이 발생한다. 중복된 문장을 제거하기 위해, 중복의 비율을 검출하도록 MMR(Maximum Marginal Relevancy) 알고리즘이 채택된다. MMR은 요약에 이미 있는 문장과의 관련성과 중복의 조합으로서 고려되는 문장들을 점수로 매기는 모델이다. 기존의 문장들과의 중복 비율이 어느 정도보다 더 크다면, 한 문장이 버려지고, 다른 문장들이 유지될 것이다.
제 3층이 “응집성 및 일관성 개선"(350)으로 불린다. 부드러운 노트를 생성하기 위해, 후보 문장들이 예를 들어 연대순으로 정렬된다. 다른 선택적인 기술은, 문장들을 논제와 연관된 테마를 갖는 문장들을 배열하여 1352에서 매끄럽지 못한 것을 줄이는 것이다. 다른 자연 언어(natural language) 처리 기술이 포함되어 1354에서 응집성과 일관성을 개선한다. 그 실질적인 방법은 각각의 선택된 문장에 대해 소개 문장을 추가하는 것으로, 예를 들어 소개 문장으로서 선택된 문장 이전의 문장을 취하는 것이다. 제 3층 이후에, 결과로서 생긴 주석이 출력되어 1360에서 사진으로 저장된다.
주석을 구현하는 다른 방법은, 각각의 유형의 객체에 대해 최대한 관련된 객체를 열거하고 “시간/위치/사람/이벤트”의 초록 정보를 모으는 것이다. 그 사진을 보충할 가장 대표적인 객체를 찾는 것이 목적이다.
이메일, SMS, MMS, 주석 메시지, 달력, 접촉, 블로그 및 위키(wiki)등 같은 여러 소스로부터 자동으로 발생하는 요약뿐만 아니라 조직하고, 관리, 색인 및 복원하는 객체에 대한 사진-중심의 교차-객체(cross-object) 소프트웨어 시스템으로서 상기 실시예들의 여러 특징들이 구현된다. 모든 개념, 방법, 작업 흐름, 상관관계 계산방법들과 시스템 구조들이 음악, 비디오 등과 같은 다른 객체들로 연장될 수 있다.
본 발명의 여러 실시예들이 메모리에 내장된 컴퓨터 프로그램 코드의 도움으로 구현될 수 있어서, 관련 장치들이 본 발명을 구현할 수도 있다. 예를 들어, 터미널 장치가 데이터를 처리, 수신 및 송신하는 회로와 전자기기, 메모리 내의 컴퓨터 프로그램 코드 및 프로세서를 포함하여, 상기 컴퓨터 프로그램 코드를 구동할 때 상기 터미널 장치가 일 실시예의 특징을 구현하도록 한다. 아직도, 네트워크 장치가 데이터를 처리, 수신 및 송신하는 회로와 전자기기, 메모리 내의 컴퓨터 프로그램 코드 및 프로세서를 포함하여, 상기 컴퓨터 프로그램 코드를 구동할 때 상기 네트워크 장치가 일 실시예의 특징을 구현하도록 한다.
본 발명이 상기 실시예들에만 국한되지 않고 첨부된 특허 청구 범위의 범위 내에서 변경될 수 있다.
110: 이미지 정보 획득 120: 주석 정보 획득
130: 주석 정보 융합 140: 융합된 주석 정보를 이미지에 부착
220: 이동통신 네트워크 240, 241, 242: 서버
260: 퍼스널 컴퓨터 230, 231: 기지국
246, 247: 프로세서 510: 이동전화
550: 이벤트 520: 사진

Claims (23)

  1. 적어도 부분적으로 자동으로 형성되는 영상 설명 정보(picture description information)를 영상 소스(picture source)로부터 자동으로 획득하는 단계와,
    상기 영상 소스와 다른 적어도 두 개의 객체 소스(object source)로부터 주석(annotation) 정보를 획득하는 단계와,
    융합된(fused) 주석 정보를 형성하도록 상기 적어도 두 개의 객체 소스로부터 상기 주석 정보를 자동으로 융합하는 단계와,
    상기 영상에 대한 객체 노트(object note)를 생성하도록 상기 영상에 상기 융합된 주석 정보를 부착하는 단계를 포함하는
    방법.
  2. 제 1 항에 있어서,
    상기 영상과 적어도 하나의 객체 소스 사이에 하이퍼 객체 링크(hyper-object-link)를 형성하는 단계 -상기 하이퍼 객체 링크는 상기 객체 소스 내의 객체로의 링크를 포함함- 와,
    영상에 대한 객체 노트를 생성하도록 상기 영상에 상기 객체로의 상기 링크를 부착하는 단계를 더 포함하는
    방법.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 영상 소스로부터의 정보에 대하여 상기 두 개의 소스로부터의 정보를 자동으로 분석함으로써 관련 정보(relevance information)를 형성하는 단계와,
    상기 관련 정보에 기초하여 상기 적어도 두 개의 소스로부터 상기 주석 정보를 획득하는 단계를 더 포함하는
    방법.
  4. 제 3 항에 있어서,
    시간 정보, 위치 정보, 이벤트(event) 정보 및 사람 정보의 그룹 중 적어도 하나를 사용하여 상기 영상과 상기 적어도 두 개의 소스의 유사성(similarity)을 결정함으로써, 상기 영상과 상기 적어도 두 개의 소스 사이의 상관관계를 결정하여서 상기 관련 정보를 형성하는 단계와,
    시간 정보, 위치 정보, 이벤트 정보 및 사람 정보의 그룹 중 적어도 하나를 사용함으로써 가중 유사성 지표(weighted similarity indicator)를 형성하는 단계를 더 포함하는
    방법.

  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 적어도 두 개의 소스는 이메일 메시지, 단문 메시지, 멀티미디어 메시지, 인스턴트 메시지, 달력 엔트리, 접촉(contact) 카드, 블로그 엔트리, 위키(wiki) 엔트리 및 소셜 네트워크 서비스(social network service) 엔트리의 그룹 중 적어도 두 개를 포함하는
    방법.
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 적어도 두 개의 소스로부터의 상기 주석 정보에 기초하여 영상들을 클러스터링하는 단계를 더 포함하는
    방법.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 적어도 두 개의 소스로부터의 데이터를 제한하도록 사용자로부터 필터 정보 또는 소스 선택 정보를 수신하는 단계를 더 포함하는
    방법.
  8. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
    융합된 주석 정보를 형성하는 단계는,
    소스 콘텐츠로부터 주석을 위한 콘텐츠를 선택하는 단계와,
    무관한 리던던트 정보를 감소시키도록 상기 선택된 콘텐츠를 필터링하는 단계와,
    상기 콘텐츠의 응집성(cohesion)과 일관성을 개선하는 단계를 포함하는
    방법.
  9. 제 8 항에 있어서,
    상기 융합된 주석 정보를 형성하는 단계는,
    자연 언어(natural language) 처리를 통해 상기 콘텐츠의 요약을 생성하는 단계를 포함하는
    방법.
  10. 적어도 하나의 프로세서와, 컴퓨터 프로그램 코드를 포함하는 메모리를 포함하는 장치로서,
    상기 메모리와 상기 컴퓨터 프로그램 코드는, 상기 적어도 하나의 프로세서를 사용하여, 상기 장치로 하여금 적어도,
    적어도 부분적으로 자동으로 형성된 영상 설명 정보를 영상 소스로부터 획득하고,
    상기 영상 소스와 다른 적어도 두 개의 객체 소스로부터 주석 정보를 획득하며,
    융합된 주석 정보를 형성하도록 상기 적어도 두 개의 객체 소스로부터 상기 주석 정보를 자동으로 융합하고,
    상기 영상에 대한 객체 노트를 생성하도록 상기 영상에 상기 융합된 주석 정보를 부착하게 하도록 구성되는
    장치.
  11. 제 10 항에 있어서,
    상기 적어도 하나의 프로세서를 사용하여, 상기 장치로 하여금 적어도,
    상기 객체 소스 내의 객체로의 링크를 포함하는 하이퍼 객체 링크를 상기 영상과 적어도 하나의 객체 소스 사이에 형성하고,
    영상에 대한 객체 노트를 생성하도록 상기 영상에 상기 객체로의 상기 링크를 부착하게 하도록 구성되는
    컴퓨터 프로그램 코드를 더 포함하는
    장치.
  12. 제 10 항 또는 제 11 항에 있어서,
    상기 적어도 하나의 프로세서를 사용하여, 상기 장치로 하여금 적어도,
    상기 영상 소스로부터의 정보에 대하여 상기 두 개의 소스로부터의 정보를 자동으로 분석함으로써 관련 정보를 형성하고,
    상기 관련 정보에 기초하여 상기 적어도 두 개의 소스로부터 상기 주석 정보를 획득하게 하도록 구성되는
    컴퓨터 프로그램 코드를 더 포함하는
    장치.
  13. 제 12 항에 있어서,
    상기 적어도 하나의 프로세서를 사용하여, 상기 장치로 하여금 적어도,
    시간 정보, 위치 정보, 이벤트 정보 및 사람 정보의 그룹 중 적어도 하나를 사용하여 상기 영상과 상기 적어도 두 개의 소스의 유사성을 결정함으로써, 상기 영상과 상기 적어도 두 개의 소스 사이의 상관관계를 결정하여서 상기 관련 정보를 형성하고,
    시간 정보, 위치 정보, 이벤트 정보 및 사람 정보의 그룹 중 적어도 하나를 사용함으로써 가중 유사성 지표를 형성하게 하도록 구성되는
    컴퓨터 프로그램 코드를 더 포함하는
    장치.
  14. 제 10 항 내지 제 13 항 중 어느 한 항에 있어서,
    상기 적어도 두 개의 소스는 이메일 메시지, 단문 메시지, 멀티미디어 메시지, 인스턴트 메시지, 달력 엔트리, 접촉 카드, 블로그 엔트리, 위키 엔트리 및 소셜 네트워크 서비스 엔트리의 그룹 중 적어도 두 개를 포함하는
    장치.
  15. 제 10 항 내지 제 14 항 중 어느 한 항에 있어서,
    상기 적어도 하나의 프로세서를 사용하여, 상기 장치로 하여금 적어도,
    상기 적어도 두 개의 소스로부터의 상기 주석 정보에 기초하여 영상들을 클러스터링하게 하도록 구성되는
    컴퓨터 프로그램 코드를 더 포함하는
    장치.
  16. 제 10 항 내지 제 15 항 중 어느 한 항에 있어서,
    상기 적어도 하나의 프로세서를 사용하여, 상기 장치로 하여금 적어도,
    상기 적어도 두 개의 소스로부터의 데이터를 제한하도록 사용자로부터 필터 정보 또는 소스 선택 정보를 수신하게 하도록 구성되는
    컴퓨터 프로그램 코드를 더 포함하는
    장치.
  17. 제 10 항 내지 제 16 항 중 어느 한 항에 있어서,
    상기 적어도 하나의 프로세서를 사용하여, 상기 융합된 주석 정보를 형성하기 위해 상기 장치로 하여금 적어도,
    소스 콘텐츠로부터 주석을 위한 콘텐츠를 선택하고,
    무관한 리던던트 정보를 감소시키도록 상기 선택된 콘텐츠를 필터링하며,
    상기 콘텐츠의 응집성과 일관성을 개선하게 하도록 구성되는
    컴퓨터 프로그램 코드를 더 포함하는
    장치.
  18. 제 17 항에 있어서,
    상기 적어도 하나의 프로세서를 사용하여, 상기 융합된 주석 정보를 형성하기 위해 상기 장치로 하여금 적어도,
    자연 언어 처리를 통해 상기 콘텐츠의 요약을 생성하게 하도록 구성되는
    컴퓨터 프로그램 코드를 더 포함하는
    장치.
  19. 데이터 처리 장치에서 실행 가능하고 컴퓨터 판독 가능한 매체 상에 저장된 컴퓨터 프로그램 제품으로서,
    상기 컴퓨터 프로그램 제품은,
    적어도 부분적으로 자동으로 형성된 영상 설명 정보를 영상 소스로부터 획득하는 컴퓨터 프로그램 코드 섹션과,
    상기 영상 소스와 다른 적어도 두 개의 객체 소스로부터 주석 정보를 획득하는 컴퓨터 프로그램 코드 섹션과,
    융합된 주석 정보를 형성하도록 상기 적어도 두 개의 객체 소스로부터 상기 주석 정보를 자동으로 융합하는 컴퓨터 프로그램 코드 섹션과,
    상기 영상에 대한 객체 노트를 생성하도록 상기 영상에 상기 융합된 주석 정보를 부착하는 컴퓨터 프로그램 코드 섹션을 포함하는
    컴퓨터 프로그램 제품.
  20. 데이터 처리 장치에서 실행 가능하고 컴퓨터 판독 가능한 매체 상에 저장된 컴퓨터 프로그램 제품에 있어서,
    상기 컴퓨터 프로그램 제품은 제 1 항 내지 제 9 항 중 어느 한 항에 따른 방법을 구현하는 컴퓨터 프로그램 코드 섹션을 포함하는
    컴퓨터 프로그램 제품.
  21. 적어도 부분적으로 자동으로 형성된 영상 설명 정보를 영상 소스로부터 획득하는 수단과,
    상기 영상 소스와 다른 적어도 두 개의 객체 소스로부터 주석 정보를 획득하는 수단과,
    융합된 주석 정보를 형성하도록 상기 적어도 두 개의 객체 소스로부터 상기 주석 정보를 자동으로 융합하는 수단과,
    상기 영상에 대한 객체 노트를 생성하도록 상기 영상에 상기 융합된 주석 정보를 부착하는 수단을 포함하는
    장치.
  22. 사용자에게 적어도,
    영상 소스로부터의 영상 설명 정보 -상기 영상 설명 정보는 적어도 부분적으로 자동으로 형성됨- 와,
    상기 영상 소스와 다른 적어도 두 개의 객체 소스로부터의 주석 정보와,
    상기 적어도 두 개의 객체 소스로부터 상기 주석 정보를 자동으로 융합함으로써 형성된 융합된 주석 정보와,
    상기 융합된 주석 정보를 상기 영상에 부착함으로써 생성된 상기 영상에 대한 객체 노트를 제공하는
    네트워크 서비스.
  23. 캐리어 매체(carrier media) 상에 구현된 영상 신호로서,
    상기 영상 신호는,
    영상 소스로부터의 영상 설명 정보 -상기 영상 설명 정보는 적어도 부분적으로 자동으로 형성됨- 와,
    상기 영상 소스와 다른 적어도 두 개의 객체 소스로부터의 주석 정보와,
    상기 적어도 두 개의 객체 소스로부터 상기 주석 정보를 자동으로 융합함으로써 형성된 융합된 주석 정보와,
    상기 융합된 주석 정보를 상기 영상에 부착함으로써 생성된 상기 영상에 대한 객체 노트를 포함하는
    영상 신호.
KR1020127017854A 2009-12-10 2009-12-10 이미지 처리 방법, 장치 또는 시스템 KR101384931B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2009/075454 WO2011069291A1 (en) 2009-12-10 2009-12-10 Method, apparatus or system for image processing

Publications (2)

Publication Number Publication Date
KR20120097396A true KR20120097396A (ko) 2012-09-03
KR101384931B1 KR101384931B1 (ko) 2014-04-11

Family

ID=44145088

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127017854A KR101384931B1 (ko) 2009-12-10 2009-12-10 이미지 처리 방법, 장치 또는 시스템

Country Status (5)

Country Link
US (1) US10567726B2 (ko)
EP (1) EP2510460A4 (ko)
KR (1) KR101384931B1 (ko)
CN (1) CN102741835B (ko)
WO (1) WO2011069291A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160081530A (ko) 2014-12-31 2016-07-08 명지대학교 산학협력단 복수의 카메라가 촬영한 영상을 관리하는 영상 처리 장치 및 방법
KR20160128264A (ko) * 2016-10-25 2016-11-07 에스케이플래닛 주식회사 사용자 장치, 이의 제어 방법 및 컴퓨터 프로그램이 기록된 기록 매체
US10089380B2 (en) 2014-01-07 2018-10-02 Samsung Electronics Co., Ltd. Method and apparatus for operating electronic device
WO2019245198A1 (ko) * 2018-06-19 2019-12-26 삼성전자 주식회사 전자 장치 및 그 결제 정보 출력 방법

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8463053B1 (en) 2008-08-08 2013-06-11 The Research Foundation Of State University Of New York Enhanced max margin learning on multimodal data mining in a multimedia database
US8477994B1 (en) * 2009-02-26 2013-07-02 Google Inc. Creating a narrative description of media content and applications thereof
EP2715581B1 (en) * 2011-05-25 2022-07-06 Centric Software, Inc. Mobile app for design management framework
JP5708278B2 (ja) * 2011-06-08 2015-04-30 ソニー株式会社 情報処理装置および情報処理方法
US9147202B1 (en) * 2011-09-01 2015-09-29 LocalResponse, Inc. System and method of direct marketing based on explicit or implied association with location derived from social media content
US9443007B2 (en) 2011-11-02 2016-09-13 Salesforce.Com, Inc. Tools and techniques for extracting knowledge from unstructured data retrieved from personal data sources
US9471666B2 (en) 2011-11-02 2016-10-18 Salesforce.Com, Inc. System and method for supporting natural language queries and requests against a user's personal data cloud
JP5315424B2 (ja) * 2012-01-23 2013-10-16 キヤノン株式会社 画像表示制御装置及びその制御方法
US20150039632A1 (en) * 2012-02-27 2015-02-05 Nokia Corporation Media Tagging
US8929709B2 (en) * 2012-06-11 2015-01-06 Alpinereplay, Inc. Automatic digital curation and tagging of action videos
US20140035949A1 (en) * 2012-08-03 2014-02-06 Tempo Ai, Inc. Method and apparatus for enhancing a calendar view on a device
US10008237B2 (en) 2012-09-12 2018-06-26 Alpinereplay, Inc Systems and methods for creating and enhancing videos
US20140093174A1 (en) * 2012-09-28 2014-04-03 Canon Kabushiki Kaisha Systems and methods for image management
US9317531B2 (en) * 2012-10-18 2016-04-19 Microsoft Technology Licensing, Llc Autocaptioning of images
US20140181744A1 (en) * 2012-12-26 2014-06-26 Derrick Rivers, JR. Method and Software for Bringing the Conscience of a Person to a Physical State
KR101988279B1 (ko) * 2013-01-07 2019-06-12 삼성전자 주식회사 얼굴 인식 기반 사용자 기능 운용 방법 및 이를 지원하는 단말기
US20150106741A1 (en) 2013-10-15 2015-04-16 Microsoft Corporation Managing conversations
US9893905B2 (en) 2013-11-13 2018-02-13 Salesforce.Com, Inc. Collaborative platform for teams with messaging and learning across groups
US10367649B2 (en) 2013-11-13 2019-07-30 Salesforce.Com, Inc. Smart scheduling and reporting for teams
US20150172246A1 (en) * 2013-12-13 2015-06-18 Piragash Velummylum Stickers for electronic messaging cards
US9497144B2 (en) 2014-03-27 2016-11-15 International Business Machines Corporation Context-based storage of a conversation of one or more instant messages as a record
CN104022943A (zh) * 2014-06-26 2014-09-03 北京奇虎科技有限公司 交互式消息的处理方法、装置及系统
US11463541B2 (en) 2014-08-02 2022-10-04 Google Llc Providing content based on event related information
US9779144B1 (en) 2014-08-02 2017-10-03 Google Inc. Identifying a level of relevancy of a keyword cluster related to an event category for a given time period relative to the event
US10229164B1 (en) 2014-08-02 2019-03-12 Google Llc Adjusting a relevancy score of a keyword cluster—time period—event category combination based on event related information
US9843649B1 (en) 2014-08-02 2017-12-12 Google Llc Providing content based on event related information
KR102155093B1 (ko) * 2014-08-05 2020-09-11 엘지전자 주식회사 이동단말기 및 그 제어방법
US20160171733A1 (en) * 2014-12-15 2016-06-16 Oliver Klemenz Clipboard for enabling mass operations on entities
US10210182B2 (en) 2014-12-16 2019-02-19 International Business Machines Corporation Image search with historical user activity metadata
US10212325B2 (en) 2015-02-17 2019-02-19 Alpinereplay, Inc. Systems and methods to control camera operations
US20220138031A1 (en) * 2015-04-24 2022-05-05 Senslytics Corporation Auto-hypotheses iteration to converge into situation-specific scientific causation using intuition technology framework
US11226856B2 (en) * 2015-04-24 2022-01-18 Senslytics Corporation Methods and systems correlating hypotheses outcomes using relevance scoring for intuition based forewarning
KR102647735B1 (ko) * 2015-06-11 2024-03-15 가시오게산키 가부시키가이샤 촬영 장치, 정보 취득 장치, 정보 취득 시스템, 송신 제어 방법, 정보 취득 방법 및 기록 매체에 저장된 컴퓨터 프로그램
CN106293686B (zh) * 2015-06-25 2019-08-02 阿里巴巴集团控股有限公司 代码文本中展示图片注释的方法及装置
US10321208B2 (en) 2015-10-26 2019-06-11 Alpinereplay, Inc. System and method for enhanced video image recognition using motion sensors
US11003627B2 (en) 2016-04-21 2021-05-11 Microsoft Technology Licensing, Llc Prioritizing thumbnail previews based on message content
US10382372B1 (en) 2017-04-27 2019-08-13 Snap Inc. Processing media content based on original context
JP7111632B2 (ja) * 2019-01-18 2022-08-02 富士フイルム株式会社 画像候補決定装置，画像候補決定方法，ならびに画像候補決定装置を制御するプログラムおよびそのプログラムを格納した記録媒体
US11157549B2 (en) * 2019-03-06 2021-10-26 International Business Machines Corporation Emotional experience metadata on recorded images
CN110287962B (zh) * 2019-05-20 2023-10-27 平安科技（深圳）有限公司 基于超对象信息的遥感图像目标提取方法、装置及介质
CN110457463A (zh) * 2019-08-19 2019-11-15 广东小天才科技有限公司 一种基于智能台灯的笔记记录方法、笔记整理方法及装置
US11816147B2 (en) * 2019-11-14 2023-11-14 Adobe Inc. Enhanced image-search using contextual tags

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5708825A (en) * 1995-05-26 1998-01-13 Iconovex Corporation Automatic summary page creation and hyperlink generation
US7478125B2 (en) * 2001-09-13 2009-01-13 Intel Corporation Automatic annotation of audio and/or visual data
WO2004008348A1 (en) * 2002-07-16 2004-01-22 Horn Bruce L Computer system for automatic organization, indexing and viewing of information from multiple sources
KR100565289B1 (ko) 2003-08-30 2006-03-30 엘지전자 주식회사 이동 통신 단말기의 하이퍼링크를 이용한 정보 관리 방법
US7213206B2 (en) 2003-09-09 2007-05-01 Fogg Brian J Relationship user interface
JP2005328293A (ja) 2004-05-13 2005-11-24 Toshiba Matsushita Display Technology Co Ltd 通信端末、情報提供システムおよび制御プログラム
JP4547990B2 (ja) * 2004-05-25 2010-09-22 富士ゼロックス株式会社 情報処理装置、及び情報処理プログラム
JP2007115180A (ja) * 2005-10-24 2007-05-10 Sony Corp 情報処理装置、情報表示方法および情報表示プログラム
US8706730B2 (en) * 2005-12-29 2014-04-22 International Business Machines Corporation System and method for extraction of factoids from textual repositories
CN101395607B (zh) 2006-03-03 2011-10-05 皇家飞利浦电子股份有限公司 用于自动生成多个图像的概要的方法和设备
KR100895293B1 (ko) 2006-09-29 2009-04-29 한국전자통신연구원 영상 콘텐츠 내 디지털 객체의 정보 연동을 위한 사이버태그, 콘텐츠 재생 장치, 방법 및 시스템
EP2177010B1 (en) * 2006-12-13 2015-10-28 Quickplay Media Inc. Mobile media platform
JP5073394B2 (ja) 2007-07-18 2012-11-14 ダンロップスポーツ株式会社 ゴルフボール
WO2009070841A1 (en) 2007-12-05 2009-06-11 It Au0801806Rsity Of Technology Social multimedia management
JP4643673B2 (ja) 2008-03-14 2011-03-02 キヤノンＩｔソリューションズ株式会社 情報処理装置、文書管理システム、情報処理装置の処理方法及びプログラム
JP4866384B2 (ja) 2008-03-28 2012-02-01 株式会社デンソーアイティーラボラトリ ドライブ映像要約装置
JP5084606B2 (ja) 2008-05-21 2012-11-28 キヤノン株式会社 画像処理装置及びその制御方法、プログラム
US8271502B2 (en) * 2009-06-26 2012-09-18 Microsoft Corporation Presenting multiple document summarization with search results
US9020936B2 (en) * 2009-08-14 2015-04-28 Microsoft Technology Licensing, Llc Using categorical metadata to rank search results
JP5631125B2 (ja) * 2010-09-01 2014-11-26 キヤノン株式会社 画像処理装置、その制御方法及びプログラム
US8381120B2 (en) * 2011-04-11 2013-02-19 Credibility Corp. Visualization tools for reviewing credibility and stateful hierarchical access to credibility
US9147202B1 (en) * 2011-09-01 2015-09-29 LocalResponse, Inc. System and method of direct marketing based on explicit or implied association with location derived from social media content
US9081858B2 (en) * 2012-04-24 2015-07-14 Xerox Corporation Method and system for processing search queries
US8495489B1 (en) * 2012-05-16 2013-07-23 Luminate, Inc. System and method for creating and displaying image annotations
US9317531B2 (en) * 2012-10-18 2016-04-19 Microsoft Technology Licensing, Llc Autocaptioning of images

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10089380B2 (en) 2014-01-07 2018-10-02 Samsung Electronics Co., Ltd. Method and apparatus for operating electronic device
KR20160081530A (ko) 2014-12-31 2016-07-08 명지대학교 산학협력단 복수의 카메라가 촬영한 영상을 관리하는 영상 처리 장치 및 방법
KR20160128264A (ko) * 2016-10-25 2016-11-07 에스케이플래닛 주식회사 사용자 장치, 이의 제어 방법 및 컴퓨터 프로그램이 기록된 기록 매체
WO2019245198A1 (ko) * 2018-06-19 2019-12-26 삼성전자 주식회사 전자 장치 및 그 결제 정보 출력 방법

Also Published As

Publication number Publication date
US20120233531A1 (en) 2012-09-13
CN102741835B (zh) 2015-03-18
EP2510460A4 (en) 2013-05-08
US10567726B2 (en) 2020-02-18
CN102741835A (zh) 2012-10-17
EP2510460A1 (en) 2012-10-17
WO2011069291A1 (en) 2011-06-16
KR101384931B1 (ko) 2014-04-11

Similar Documents

Publication Publication Date Title
KR101384931B1 (ko) 이미지 처리 방법, 장치 또는 시스템
CN108781175B (zh) 用于消息交换题绪的自动建议的方法、介质及系统
US9183291B2 (en) Mobile content capture and discovery system based on augmented user identity
US9858348B1 (en) System and method for presentation of media related to a context
KR101770857B1 (ko) 부가 설명된 정보의 생성 및 전파
US8386506B2 (en) System and method for context enhanced messaging
JP6217228B2 (ja) 情報提供装置、プログラム及び情報提供システム
US20140181089A1 (en) Method and apparatus for managing digital files
US20080189336A1 (en) Creating and managing digital media content using contacts and relational information
US20190361857A1 (en) Method and system for associating data from different sources to generate a person-centric space
CN103180798A (zh) 社交网络的好友和家庭树
US10503777B2 (en) Method and device relating to information management
JP2007512586A (ja) サービスプロバイダによる所望電子メールアドレスへのデジタル画像の通知
WO2007113462A1 (en) Content processing
CN112352233A (zh) 自动数字资产共享建议
Fuller et al. Applying contextual memory cues for retrieval from personal information archives
JP2013003630A (ja) 情報処理装置、情報処理方法、プログラム、及び情報処理システム
US20170097959A1 (en) Method and system for searching in a person-centric space
JP2020071861A (ja) 情報発信システム及び情報発信プログラム
US20210390140A1 (en) Information processing system, information processing method, and information processing apparatus
Mathur et al. LifeView: a lifelog visualization tool for supporting sentimental recall and sharing
Merrill Ideas and considerations for digital photograph sharing
Blamey Lifelogging with SAESNEG: a system for the automated extraction of social network event groups
Alyamani CatchIt: Capturing Cues of Bookmarked Moment to Feed Digital Parrot
JP2011118915A (ja) 情報検索表示方法およびコンピュータ読み取り可能な記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170317

Year of fee payment: 4