KR20150011651A - 스토리텔링 컨텐츠를 제작하는 장치 및 방법 - Google Patents

스토리텔링 컨텐츠를 제작하는 장치 및 방법 Download PDF

Info

Publication number
KR20150011651A
KR20150011651A KR1020130086868A KR20130086868A KR20150011651A KR 20150011651 A KR20150011651 A KR 20150011651A KR 1020130086868 A KR1020130086868 A KR 1020130086868A KR 20130086868 A KR20130086868 A KR 20130086868A KR 20150011651 A KR20150011651 A KR 20150011651A
Authority
KR
South Korea
Prior art keywords
story
data
image
area
image data
Prior art date
Application number
KR1020130086868A
Other languages
English (en)
Inventor
신종호
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020130086868A priority Critical patent/KR20150011651A/ko
Priority to US14/337,449 priority patent/US10175863B2/en
Publication of KR20150011651A publication Critical patent/KR20150011651A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8541—Content authoring involving branching, e.g. to different story endings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

디바이스는 디바이스의 디스플레이에 표시된 영상 내의 소정 영역을 선택하는 영역 선택부, 사용자 인터페이스를 통한 입력에 대응하여 영역에 대응하는 스토리 데이터를 생성하는 스토리 데이터 생성부, 영역에 대응하는 영상 데이터에 스토리 데이터를 부가함으로써, 스토리 부가 영상 데이터를 생성하는 스토리 부가 영상 데이터 생성부, 스토리 데이터에 기초하여 스토리 부가 영상 데이터를 분류하는 스토리 부가 영상 데이터 분류부를 포함한다.

Description

스토리텔링 컨텐츠를 제작하는 장치 및 방법{APPARATUS AND METHOD FOR CREATING STORY TELLING CONTENTS}
스토리텔링 컨텐츠를 제작하는 장치 및 방법에 관한 것이다.
일반적으로 스토리텔링이란 이야기를 들려주는 것 또는 구전되는 것을 의미하며, 컴퓨터와 같은 장치가 보급되고, 블로그, SNS 등의 서비스가 일반화되면서 스토리텔링은 새로운 컨텐츠로서 문화를 형성하게 되었다. 스토리텔링은 디지털화되는 내용들을 템플릿에 기반하여 구현하는 방향으로 발전하고 있으며, 최근에는 컴퓨터와 같은 고정된 장치뿐만 아니라 스마트폰 등의 모바일 디바이스를 이용해서도 실시간으로 소정 템플릿에 따라 사용자 소유의 멀티미디어들을 분류하고, 편집할 수 있게 되었다. 사용자 소유의 멀티미디어들을 관리하는 방법과 관련하여, 한국공개특허 제2010-0035043호에는 사용자의 동작에 따라 디지털 기기에 포함된 컨텐츠들을 분류 및 정렬하는 구성이 개시되어 있다.
한편, 동적으로 변하는 모바일 환경에서의 스토리텔링은 기존의 정적인 템플릿 기반 스토리텔링 방법을 적용하기에는 한계점이 있다. 단순하고 짧은 내용, 빠르게 변하고 갱신되는 컨텐츠들은 모바일 환경에서 요구하는 SNS, 블로그, 개인 저작 앱들과 같은 서비스와의 연결이 필수적이며, 이를 위해, 스토리텔링에 필요한 컨텐츠들도 경량화, 컴포넌트화가 필요해졌다. 이에 따라, 모바일 환경에서 스토리텔링에 필요한 컨텐츠들을 컴포넌트화 하는 기술이 요구된다.
모바일 환경에서 사용자의 음성 및 제스처를 이용하여 멀티미디어 스토리텔링 컨텐츠를 제작 및 공유하고자 한다. 스토리텔링 컨텐츠를 컴포넌트화하여 모바일 환경에서 최적화된 매체에서 동적으로 동작시키고자 한다. 스토리텔링 컨텐츠에 대한 메타 데이터를 이용하여 카테고리를 인식 및 분류하고자 한다. 제작된 스토리텔링 컨텐츠를 마켓에서 판매 또는, SNS를 통해 공유하고자 한다. 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 더 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 수단으로서, 본 발명의 일 실시예는, 디바이스의 디스플레이에 표시된 영상 내의 소정 영역을 선택하는 영역 선택부, 사용자 인터페이스를 통한 입력에 대응하여 영역에 대응하는 스토리 데이터를 생성하는 스토리 데이터 생성부, 영역에 대응하는 영상 데이터에 스토리 데이터를 부가함으로써, 스토리 부가 영상 데이터를 생성하는 스토리 부가 영상 데이터 생성부, 스토리 데이터에 기초하여 스토리 부가 영상 데이터를 분류하는 스토리 부가 영상 데이터 분류부를 포함하는 디바이스를 제공할 수 있다.
또한, 본 발명의 다른 실시예에 있어서, 디바이스의 디스플레이에 영상을 표시하는 단계, 표시된 영상 내의 소정 영역을 선택하는 단계, 사용자 인터페이스를 통한 입력에 대응하여 영역에 대응하는 스토리 데이터를 생성하는 단계, 영역에 대응하는 영상 데이터에 스토리 데이터를 부가함으로써, 스토리 부가 영상 데이터를 생성하는 단계, 스토리 데이터에 기초하여 스토리 부가 영상 데이터를 분류하는 단계를 포함하는 스토리 부가 영상 데이터 생성 방법을 제공할 수 있다.
상술한 과제 해결 수단 중 어느 하나에 의하면, 모바일 환경에서 사용자의 음성 및 제스처를 이용하여 직관적으로 멀티미디어 스토리텔링 컨텐츠를 제작 및 공유할 수 있다. 스토리텔링 컨텐츠를 컴포넌트화하여 모바일 환경에서 최적화하여 동적으로 동작시킬 수 있다. 스토리텔링 컨텐츠에 대한 메타 데이터를 이용하여 카테고리를 인식 및 분류할 수 있다. 제작된 스트리텔링 컨텐츠를 마켓을 통해 판매할 수 있고, 이메일, SNS, 오픈 컨텐츠 마켓을 통해 공유할 수 있다.
도 1은 본 발명의 일 실시예에 따른 스토리텔링 컨텐츠 제작 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 디바이스의 구성도이다.
도 3은 본 발명의 일 실시예에 다른 스토리 부가 영상 데이터를 분류 및 공유하는 것을 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 서비스 화면을 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 스토리 부가 영상 데이터를 생성하는 방법을 나타내는 동작 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 발명의 일 실시예에 따른 스토리텔링 컨텐츠 제작 시스템의 구성도이다. 도 1을 참조하면, 스토리텔링 컨텐츠 제작 시스템은 디바이스(10) 및 외부 장치(20)를 포함한다. 다만, 도 1의 스토리텔링 컨텐츠 제작 시스템은 본 발명의 일 실시예에 불과하므로 도 1을 통해 본 발명이 한정되어 해석되는 것은 아니다.
도 1에 도시된 디바이스(10) 및 외부 장치(20)는 일반적으로 네트워크를 통해 연결될 수 있다. 네트워크는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크(network)의 일 예에는 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
외부 장치(20)는 스토리 부가 영상 데이터를 판매하는 스토리 마켓 서버일 수 있으나, 이에 한정되는 것은 아니며, 블로그, SNS, 오픈 마켓 서비스를 제공하는 서버, 사용자의 개인 클라우드 저장소 등의 저장 공간이 될 수도 있다. 외부 장치(20)는 앞서 설명된 장치들로 한정되는 것은 아니며, 디바이스(10)와 연결되어 디바이스(10)에 소정 서비스를 제공하는 서버 장치들을 포함할 수 있다.
디바이스(10)는 네트워크를 통해 원격지의 서버에 접속할 수 있는 휴대용 단말기로 구현될 수 있다. 여기서 휴대용 단말기는 휴대성과 이동성이 보장되는 이동 통신 장치로서, 예를 들면, PCS(Personal Communication System), GSM(Global System for Mobile communication), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트패드(SmartPad), 태블릿 PC등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.
또한, 디바이스(10)는 TV, 스마트TV, IPTV, PC와 연결된 모니터 및 TV와 연결된 셋탑박스와 같은 방송 영상을 표시할 수 있는 장치를 포함할 수 있다. 이 경우, 이러한 셋탑박스와 같은 장치는 TV 장치의 내부에 포함될 수 있으며, 외부 장치로서 TV 장치에 연결될 수 있다.
다만 도 1에 개시된 디바이스(10)의 형태는 설명의 편의를 위해 예시된 것에 불과하므로, 본원에서 이야기하는 디바이스(10)의 종류 및 형태가 도 1에 도시된 것으로 한정 해석되는 것은 아니다. 그리고, 디바이스(10)는 소정 어플리케이션을 통해 동작될 수도 있다.
디바이스(10)는 디바이스(10)의 디스플레이에 표시된 영상 내의 소정 영역을 선택하고, 사용자 인터페이스를 통한 입력에 대응하여 선택된 영역에 대응하는 스토리 데이터를 생성할 수 있다. 이 때, 선택되는 영역은 영상의 전 영역 또는 영상에 포함된 객체의 영역일 수 있다. 예를 들면, 디바이스(10)는 사용자 인터페이스를 통해 입력된 사용자의 음성 또는 제스처에 의해 선택된 영상 내의 인물에 대한 스토리 데이터를 생성할 수 있다. 스토리 데이터는 제스처, 오디오, 음성 및 텍스트 등을 포함할 수 있다.
디바이스(10)는 선택된 영역에 대응하는 영상 데이터에 생성된 스토리 데이터를 부가하여 스토리 부가 영상 데이터를 생성하고, 분류할 수 있다. 일 예로 영상 내에서 선택된 객체에 제스처, 음성 등이 포함된 스토리 부가 영상 데이터는 컨셉(Concept) 또는 엔티티(Entity)에 따라 자동으로 분류될 수 있다.
이와 같은 디바이스(10)의 동작에 대해서는 아래 도 2에서 다시 한번 자세히 설명된다.
도 2는 본 발명의 일 실시예에 따른 디바이스의 구성도이다. 도 2를 참조하면, 디바이스(10)는 영역 선택부(101), 스토리 데이터 생성부(102), 스토리 부가 영상 데이터 생성부(103), 스토리 부가 영상 데이터 분류부(104), 메타 데이터 생성부(105), 저장부(106) 및 전송부(107)를 포함한다. 다만, 디바이스(10)의 구성이 도 2에 도시된 것들로 한정되는 것은 아니다.
영역 선택부(101)는 디바이스(10)의 디스플레이에 표시된 영상 내의 소정 영역을 선택한다. 영역 선택부(101)는 사용자의 음성 입력 및 제스처 입력 중 적어도 하나에 기초하여 소정 영역을 선택할 수 있다. 소정 영역은 제 1 영역 및 제 2 영역을 포함할 수 있다. 소정 영역의 예를 들면, 제 1 영역은 영상에 포함된 제 1 객체의 영역이고, 제 2 영역은 영상에 포함된 제 2 객체의 영역일 수 있으며, 다른 예에서, 제 1 영역은 영상의 전 영역이고, 제 2 영역은 객체의 영역일 수도 있다.
예를 들면, 영역 선택부(101)는 디바이스(10)를 통해 재생 중인 영상 또는 표시되는 이미지 내의 인물, 배경 등에 대응하는 영역을 선택할 수 있다. 영역을 선택하는 방법과 관련하여, 터치 인터페이스, 음성 입력 또는 제스처 입력 등이 이용될 수 있으나 이에 한정되는 것은 아니다.
스토리 데이터 생성부(102)는 사용자 인터페이스를 통한 입력에 대응하여 선택된 영역에 대응하는 스토리 데이터를 생성한다. 스토리 데이터는 음성 입력 및 제스처 입력 중 하나 이상을 포함할 수 있으며, 영상에 관한 시간 정보, 장소 정보 중 하나 이상을 더 포함할 수 있다. 또한, 스토리 데이터는 영역에 대응하는 제스처, 오디오 및 텍스트 정보 중 하나 이상을 포함할 수 있다. 스토리 데이터 생성부(101)는 제 1 영역에 대응하는 제 1 스토리 데이터 및 제 2 영역에 대응하는 제 2 스토리 데이터를 생성할 수 있다.
일 예로, 스토리 데이터 생성부(102)는 디바이스(10)에서 표시 중인 이미지에서, 미리 설정된 음성 커맨드인 '메타시작' 에 기초하여 음성 데이터인 스토리 데이터를 생성할 수 있다. '메타 끝'이라는 음성 커맨드에 기초하여 음성 데이터의 입력을 종료할 수 있다.
스토리 부가 영상 데이터 생성부(103)는 영역에 대응하는 영상 데이터에 스토리 데이터를 부가함으로써, 스토리 부가 영상 데이터를 생성한다. 스토리 부가 영상 데이터 생성부(103)는 제 1 영역에 대응하는 제 1 영상 데이터에 생성된 제 1 스토리 데이터를 부가함으로써, 제 1 스토리 부가 영상 데이터를 생성할 수 있으며. 제 2 영역에 대응하는 제 2 영상 데이터에 생성된 제 2 스토리 데이터를 부가함으로써, 제 2 스토리 부가 영상 데이터를 생성할 수도 있다.
스토리 부가 영상 데이터 생성부(103)를 통해 생성되는 스토리 부가 영상 데이터는 스토리텔링 컨텐츠의 컴포넌트 중 하나가 될 수 있다. 스토리텔링 컴포넌트는 큰 의미의 컨셉(Concept)과 작은 의미의 엔티티(Entity)로 구성될 수 있다. 컨셉과 엔티티는 사용자 인터페이스를 통해 기 입력될 수 있으며. 사용자에 의해 입력된 컨셉과 엔티티는 디지털화된 논리적 구성인 디렉토리 등으로 표시될 수 있다. 컨셉의 일 예는 축제, 졸업, 4월 등이 될 수 있으며, 엔티티의 일 예는 야구, 집 등이 될 수 있으나 이에 한정되는 것은 아니다.
스토리 부가 영상 데이터 분류부(104)는 스토리 데이터에 기초하여 스토리 부가 영상 데이터를 분류한다. 예를 들면, 스토리 부가 영상 데이터 분류부(104)는 생성된 제 1 영역에 대한 제 1 스토리 부가 영상 데이터를 텍스트, 오디오, 이미지 프레임, 제 1 영역에 설정된 커맨드, 제스처 집합 및 컨텐츠 내용 등에 기초하여 자동 분류 메커니즘에 의해 분류할 수 있다. 자동 분류 메커니즘에 사용되는 기술은 앞서 설명된 데이터를 활용하여 클러스터링(Clustering), 분류(Classification), 상관 관계(Correlation), 문맥 인식(Context Recognition) 등이 포함될 수 있다.
한편, 스토리 부가 영상 데이터 생성부(103)는 스토리 부가 영상 데이터를 생성하는데 있어, 해당 스토리 부가 영상 데이터를 강조하는 내용을 미리 정해진 커맨드를 통해 저장할 수 있으며, 강조하는 내용이 포함된 스토리 부가 영상 데이터는 스토리 부사 영상 데이터 분류부(104)에 다른 스토리 부가 영상 데이터와 구분하여 분류될 수 있다.
메타 데이터 생성부(105)는 사용자 인터페이스를 통한 입력에 대응하여 영역에 대응하는 메타 데이터를 생성할 수 있다. 메타 데이터는 선택된 소정 영역에 대응하는 태그, 라벨, 커맨드 등을 포함할 수 있으며, 메타 데이터는 시간, 장소와 같은 상황 정보 등을 더 포함할 수 있다. 메타 데이터는 사용자 인터페이스를 통한 입력에 대응하여 생성될 수 있으나, 디바이스(10)에 의해 자동으로 생성될 수도 있다.
이 때, 스토리 부가 영상 데이터 생성부(103)는 영상 데이터에 스토리 데이터 및 메타 데이터를 부가하여 스토리 부가 영상 데이터를 생성할 수 있으며, 스토리 부가 영상 데이터 분류부(104)는 메타 데이터 및 스토리 데이터에 기초하여 기 생성된 스토리 부가 영상 데이터를 분류할 수 있다.
저장부(106)는 분류 결과에 따라 스토리 부가 영상 데이터를 데이터베이스의 소정 디렉토리(Directory)에 저장할 수 있다. 이 밖에도 저장부(106)는 생성된 스토리 데이터, 기 설정된 커맨드, 메타 데이터 등 스토리 부가 영상 데이터를 생성하는 데 필요한 데이터를 저장할 수도 있다.
전송부(107)는 분류 결과에 따라 스토리 부가 영상 데이터를 외부 장치(20)로 전송할 수 있다. 예를 들면, 생성된 스토리 부가 영상 데이터는 공유 또는 제공될 수 있다. 스토리 부가 영상 데이터는 SNS, E-MAIL, MESSAGE 등 공유되는 매체의 구조적 특성에 맞게 저장되어, 사용자의 히스토리에 따라 전송될 수 있다.
한편, 전송부(107)는 스토리 부가 영상 데이터를 마켓 또는 스토어 등에 전송할 수 있으며, 스토리 부가 영상 데이터는 마켓 또는 스토어를 통해 다른 사용자에게 판매될 수 있다. 스토리 부가 영상 데이터의 판매에는 디바이스(10)의 특성과 네트워크의 구조에 근거하여 자동 분류 및 판매될 수 있다.
이와 같은 디바이스(10)는 디바이스(10)를 통해 표시되는 비디오의 스틸컷 또는 이미지 상의 소정 객체를 선택하고, 제스처 또는 음성 등에 기초하여 객체의 의미를 부여할 수 있다. 다시 말하면, 디바이스(10)는 소정 객체를 선택하는데 있어, 미리 제스처 또는 음성 커맨드를 설정할 수 있다.
디바이스(10)는 음성 입력을 통한 입력을 통해 소정 객체를 선택하고, 선택된 객체에 음성 또는 텍스트를 함께 저장함으로써, 스토리 부가 영상 데이터를 생성할 수 있으며, 자동 분류 메커니즘에 기초하여 분류할 수 있다.
디바이스(10)는 제스처 입력과 음성 입력을 통해 멀티미디어 스토리텔링 컴포넌트를 동적인 환경에서 구축할 수 있다. 스토리텔링 컴포넌트의 구축에는 비디오의 스틸컷 또는 이미지가 사용될 수 있다. 스토리텔링 컴포넌트는 컨셉과 엔티티로 구성되며, 디지털화된 논리적 구성인 디렉토리와 같은 것으로 표현될 수 있다. 또한, 디바이스(10)는 이미지, 스틸컷 상의 오브젝트를 선택한 후 스토리를 저장할 수 있다. 오브젝트의 선택에는 제스처 또는 음성 명령이 이용될 수 있다.
디바이스(10)는 선택된 영역, 객체에 음성 또는 텍스트 등의 스토리 데이터를 함께 저장하여 스토리 부가 영상 데이터를 생성할 수 있으며, 자동 분류 메커니즘에 따라 컨텐츠의 의미, 온톨로지, 메타 데이터 등의 매칭 및 근사값 등에 기초하여 분류될 수 있다.
도 3은 본 발명의 일 실시예에 다른 스토리 부가 영상 데이터를 분류 및 공유하는 것을 나타내는 도면이다. 도 3을 참조하면, 디바이스(10)는 생성된 스토리 부가 영상 데이터를 분류 또는 공유할 수 있다.
먼저, 디바이스(10)는 사용자 인터페이스를 통해 입력된 음성, 체스처 등에 기초하여 스토리텔링 컴포넌트를 구성할 수 있으며, 미리 설정된 컨셉 및 엔티티 등에 기초하여 자동으로 분류될 수 있다. 디바이스(10)는 텍스트, 오디오, 이미지 프레임의 커맨드 제스처 집합, 메타 데이터 및 컨텐츠 내용에 근거하여, 컨텐츠의 의미, 온톨로지, 메타 데이터 등의 매칭 및 근사값을 도메인에 따라 적용하여 자동으로 분류할 수 있다. 디바이스(10)는 자동 분류 메커니즘을 적용하는데 있어 디바이스(10)의 사용 히스토리를 활용하여 사용자가 구성하고자 하는 스토리텔링 컴포넌트의 분류를 개인화화여 공유 및 타게팅에 적용할 수 있다. 또한, 디바이스(10)는 자동 분류 메커니즘을 적용하는데 있어, 시간, 장소와 같은 상황 정보를 스토리텔링의 한 축으로 활용하여 메타 데이터로 저장할 수도 있다.
한편, 디바이스(10)는 구성된 컴포넌트를 마켓 또는 이메일, SNS 등에 공개하여 공유할 수 있다. 디바이스(10)는 생성된 스토리텔링 컴포넌트를 즉각적으로 이메일, SNS 또는 소정 메시지의 형태로 다른 사용자와 공유할 수 있으며, 마켓을 통해 다른 사용자에게 판매할 수도 있다.
도 4는 본 발명의 일 실시예에 따른 서비스 화면을 나타내는 도면이다. 도 4를 참조하면, 디바이스(10)에 표시되는 소정 이미지 상의 한 부분을 터치하는 입력을 통해 전체 이미지 영역을 선택하고, "압구정 한강 부근" 이라는 음성을 입력함으로써, 스토리텔링 컴포넌트를 생성할 수 있다. 한편, 소정 이미지 상의 흰 블라우스를 터치하는 입력을 통해 블라우스 객체에 대한 영역을 선택하고, "메타시작 흰색, 예쁨 메타끝" 이라는 음성 명령을 입력함으로써, 흰색 블라우스 객체에 "흰색, 예쁨" 이라는 음성을 입력할 수 있다. 또한, 이미지 상의 소녀를 터치하는 입력을 통해 소녀에 대한 영역을 선택하고, "사진 잘 안나올까 걱정" 이라는 사진 직을 당시의 생각을 음성으로 입력할 수 있다. 그리고, 디바이스(10)는 미리 설정된 제스처를 입력하여 가족 구성원을 자동으로 저장할 수도 있다
다만, 도 4에서 설명되는 실시예는 본 발명의 다양한 실시예 중 하나에 불과하므로 이에 한정되는 것은 아니다.
도 5는 본 발명의 일 실시예에 따른 스토리 부가 영상 데이터를 생성하는 방법을 나타내는 동작 흐름도이다. 도 5에 도시된 스토리 부가 영상 데이터를 생성하는 방법은 도 1 내지 도 2에서 설명되는 디바이스(10)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도, 도 1 내지 도 2를 통해 디바이스(10)를 통해 설명된 내용은 도 5에도 적용된다.
도 5를 참조하면, 디바이스(10)는 디바이스(10)의 디스플레이에 영상을 표시(S501)하고, 표시된 영상 내의 소정 영역을 선택(S502)할 수 있다. 디바이스(10)는 사용자 인터페이스를 통해 입력된 제스처 또는 음성 명령을 통해 소정 영역을 선택할 수 있으며, 소정 영역은 영상의 전체 영역 또는 영상 내 소정 객체의 영역일 수 있다.
디바이스(10)는 인터페이스를 통한 입력에 대응하여 영역에 대응하는 스토리 데이터를 생성(S503)하고, 영역에 대응하는 영상 데이터에 스토리 데이터를 부가함으로써, 스토리 부가 영상 데이터를 생성(S504)할 수 있다. 스토리 부가 영상 데이터는 스토리텔링 컨텐츠의 컴포넌트 중 하나일 수 있다. 디바이스(10)는 스토리 데이터에 기초하여 생성된 스토리 부가 영상 데이터를 분류(S505)할 수 있다.
그리고, 디바이스(10)는 사용자 인터페이스를 통한 입력에 기초하여 선택된 영역에 대응하는 메타 데이터를 생성할 수 있고, 디바이스(10)는 생성된 메타 데이터 및 스토리 데이터에 기초하여 스토리 부가 영상 데이터를 생성하고, 분류할 수도 있다.
도 5를 통해 설명되는 스토리 부가 영상 데이터를 생성하는 방법은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
10: 디바이스
20: 외부 장치

Claims (18)

  1. 디바이스에 있어서,
    상기 디바이스의 디스플레이에 표시된 영상 및 사진 내의 소정 영역을 선택하는 영역 선택부;
    사용자 인터페이스를 통한 입력에 대응하여 상기 영역에 대응하는 스토리 데이터를 생성하는 스토리 데이터 생성부;
    상기 영역에 대응하는 영상 및 사진 데이터에 상기 스토리 데이터를 부가함으로써, 스토리 부가 영상 데이터를 생성하는 스토리 부가 영상 및 사진 데이터 생성부; 및
    상기 스토리 데이터에 기초하여 상기 스토리 부가 영상 및 사진 데이터를 분류하는 스토리 부가 영상 및 사진 데이터 분류부를 포함하는 디바이스.
  2. 제 1 항에 있어서,
    사용자 인터페이스를 통한 입력에 대응하여 상기 영역에 대응하는 메타 데이터를 생성하는 메타 데이터 생성부를 더 포함하되,
    상기 스토리 부가 영상 데이터 생성부는 상기 영상 및 사진 데이터에 상기 메타 데이터 및 상기 스토리 데이터를 부가함으로써, 상기 스토리 부가 영상 데이터를 생성하되,
    상기 스토리 부가 영상 데이터 분류부는 상기 메타 데이터 및 상기 스토리 데이터에 기초하여 상기 스토리 부가 영상 데이터를 분류하는 것인, 디바이스.
  3. 제 1 항에 있어서,
    상기 영역은 상기 영상 및 사진의 전 영역 또는 상기 영상에 포함된 객체의 영역인 것인, 디바이스.
  4. 제 1 항에 있어서,
    상기 영역은 제 1 영역 및 제 2 영역을 포함하고,
    상기 스토리 데이터 생성부는 상기 제 1 영역에 대응하는 제 1 스토리 데이터 및 상기 제 2 영역에 대응하는 제 2 스토리 데이터를 생성하되,
    상기 스토리 부가 영상 데이터 생성부는 상기 제 1 영역에 대응하는 제 1 영상 데이터에 상기 제 1 스토리 데이터를 부가함으로써 제 1 스토리 부가 영상 데이터를 생성하고, 상기 제 2 영역에 대응하는 제 2 영상 데이터에 상기 제 2 스토리 데이터를 부가함으로써 제 2 스토리 부가 영상 데이터를 생성하되,
    상기 제 1 영상 데이터 및 상기 제 2 영상 데이터는 상기 영상의 원본 영상 데이터에 포함되는 것인, 디바이스.
  5. 제 4 항에 있어서,
    상기 제 1 영역은 상기 영상 및 사진에 포함된 제 1 객체의 영역이고, 상기 제 2 영역은 상기 영상 및 사진에 포함된 제 2 객체의 영역인 것인, 디바이스.
  6. 제 4 항에 있어서,
    상기 제 1 영역은 상기 영상 및 사진의 전 영역이고, 상기 제 2 영역은 상기 영상 및 사진에 포함된 제 2 객체의 영역인 것인, 디바이스.
  7. 제 1 항에 있어서,
    상기 분류 결과에 따라 상기 스토리 부가 영상 데이터를 데이터베이스의 소정 디렉토리에 저장하는 저장부를 더 포함하는 디바이스.
  8. 제 1 항에 있어서,
    상기 분류 결과에 따라 상기 스토리 부가 영상 데이터를 외부 장치로 전송하는 전송부를 더 포함하는 디바이스.
  9. 제 8 항에 있어서,
    상기 외부 장치는 스토리 부가 영상 데이터를 판매하는 스토리 마켓 서버인 것인, 디바이스.
  10. 제 1 항에 있어서,
    상기 스토리 부가 영상 데이터는 스토리텔링 컨텐츠의 구성 컴포넌트 중 하나인 것인, 디바이스.
  11. 제 2 항에 있어서,
    상기 메타 데이터는 상기 영역에 대응하는 태그(Tag), 라벨(Label) 및 명령어(Command) 중 적어도 하나 이상인 것인, 디바이스.
  12. 제 1 항에 있어서,
    상기 스토리 데이터는 상기 영역에 대응하는 제스처(Gesture), 오디오 및 텍스트 중 적어도 하나 이상인 것인, 디바이스.
  13. 제 1 항에 있어서,
    상기 스토리 부가 영상 데이터 분류부는 컨셉(Concept) 및 엔티티(Entity) 중 하나 이상에 기초하여 상기 스토리 부가 영상 데이터를 분류하는 것인, 디바이스.
  14. 제 13 항에 있어서,
    상기 컨셉(Concept) 및 엔티티(Entity) 중 하나 이상은 상기 사용자 인터페이스를 통해 기 입력된 것인, 디바이스.
  15. 제 1 항에 있어서,
    상기 스토리 데이터는 상기 영상 및 사진에 관한 시간 정보 및 장소 정보 중 하나 이상을 포함하는 것인, 디바이스.
  16. 제 1 항에 있어서,
    상기 영역 선택부는 사용자의 음성 입력 및 제스처 입력 중 적어도 하나 이상에 기초하여 상기 영역을 선택하는 것이되,
    상기 스토리 데이터는 음성 입력 및 제스처 입력 중 적어도 하나 이상을 포함하는 것인, 디바이스.
  17. 스토리 부가 영상 데이터를 생성하는 방법에 있어서,
    디바이스의 디스플레이에 영상 및 사진을 표시하는 단계;
    상기 표시된 영상 내의 소정 영역을 선택하는 단계;
    사용자 인터페이스를 통한 입력에 대응하여 상기 영상 및 사진에 대응하는 스토리 데이터를 생성하는 단계;
    상기 영역에 대응하는 영상 및 사진 데이터에 상기 스토리 데이터를 부가함으로써, 스토리 부가 영상 데이터를 생성하는 단계; 및
    상기 스토리 데이터에 기초하여 상기 스토리 부가 영상 데이터를 분류하는 단계를 포함하는 스토리 부가 영상 데이터 생성 방법.
  18. 제 17 항에 있어서,
    사용자 인터페이스를 통한 입력에 대응하여 상기 영역에 대응하는 메타 데이터를 생성하는 단계를 더 포함하되,
    스토리 부가 영상 데이터를 생성하는 단계는, 상기 영상 및 사진 데이터에 상기 메타 데이터 및 상기 스토리 데이터를 부가함으로써, 상기 스토리 부가 영상 데이터를 생성하되,
    상기 스토리 부가 영상 데이터를 분류하는 단계는 상기 메타 데이터 및 상기 스토리 데이터에 기초하여 상기 스토리 부가 영상 데이터를 분류하는 것인, 스토리 부가 영상 데이터 생성 방법.
KR1020130086868A 2013-07-23 2013-07-23 스토리텔링 컨텐츠를 제작하는 장치 및 방법 KR20150011651A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130086868A KR20150011651A (ko) 2013-07-23 2013-07-23 스토리텔링 컨텐츠를 제작하는 장치 및 방법
US14/337,449 US10175863B2 (en) 2013-07-23 2014-07-22 Video content providing scheme

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130086868A KR20150011651A (ko) 2013-07-23 2013-07-23 스토리텔링 컨텐츠를 제작하는 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20150011651A true KR20150011651A (ko) 2015-02-02

Family

ID=52391569

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130086868A KR20150011651A (ko) 2013-07-23 2013-07-23 스토리텔링 컨텐츠를 제작하는 장치 및 방법

Country Status (2)

Country Link
US (1) US10175863B2 (ko)
KR (1) KR20150011651A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017171975A1 (en) * 2016-04-01 2017-10-05 Intel Corporation Video with selectable tag overlay auxiliary pictures
WO2018174314A1 (ko) * 2017-03-23 2018-09-27 스노우 주식회사 스토리영상 제작 방법 및 시스템
KR20200114832A (ko) 2019-03-29 2020-10-07 엠에스캠핑 주식회사 지역 역사 문화 컨텐츠 제공 시스템
KR20210096749A (ko) 2020-01-29 2021-08-06 고민규 스토리텔링 네비게이터를 이용하여 컨텐츠 제작 서비스를 제공하는 장치 및 방법

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160239491A1 (en) * 2014-01-27 2016-08-18 Empire Technology Development Llc Data exchange between multiple sourcing devices
KR101683181B1 (ko) 2015-11-16 2016-12-08 주식회사 투엠아이 열적 안전성을 고려한 배터리의 급속 충전 시스템 및 방법
KR20180066292A (ko) 2016-12-07 2018-06-19 주식회사 투엠아이 이차전지의 수명 단축 및 폭발 방지를 위한 배터리의 급속 충전 시스템 및 방법
US11237635B2 (en) 2017-04-26 2022-02-01 Cognixion Nonverbal multi-input and feedback devices for user intended computer control and communication of text, graphics and audio
US11402909B2 (en) 2017-04-26 2022-08-02 Cognixion Brain computer interface for augmented reality
US11328009B2 (en) 2019-08-28 2022-05-10 Rovi Guides, Inc. Automated content generation and delivery

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060041632A1 (en) * 2004-08-23 2006-02-23 Microsoft Corporation System and method to associate content types in a portable communication device
US8145034B2 (en) * 2005-03-02 2012-03-27 Sony Corporation Contents replay apparatus and contents replay method
AU2006332488A1 (en) * 2005-12-30 2007-07-12 Apple Inc. Portable electronic device with multi-touch input
JP5049908B2 (ja) * 2008-07-30 2012-10-17 富士フイルム株式会社 コンテンツ文書再生データ作成装置、方法およびプログラム
KR20100035043A (ko) 2008-09-25 2010-04-02 삼성전자주식회사 컨텐츠 관리 방법 및 장치
US8645283B2 (en) * 2008-11-24 2014-02-04 Nokia Corporation Determination of event of interest
US20110066431A1 (en) * 2009-09-15 2011-03-17 Mediatek Inc. Hand-held input apparatus and input method for inputting data to a remote receiving device
US8400548B2 (en) * 2010-01-05 2013-03-19 Apple Inc. Synchronized, interactive augmented reality displays for multifunction devices
EP2724260A1 (en) * 2011-06-21 2014-04-30 Telefonaktiebolaget LM Ericsson (PUBL) Electronic device and method for handling tags
CN102890604B (zh) * 2011-07-21 2015-12-16 腾讯科技（深圳）有限公司 人机交互中在机器侧标识目标对象的方法及装置
US20130129142A1 (en) * 2011-11-17 2013-05-23 Microsoft Corporation Automatic tag generation based on image content
US9141335B2 (en) * 2012-09-18 2015-09-22 Adobe Systems Incorporated Natural language image tags
US8990194B2 (en) * 2012-11-02 2015-03-24 Google Inc. Adjusting content delivery based on user submissions of photographs
KR102059913B1 (ko) * 2012-11-20 2019-12-30 삼성전자주식회사 태그 정보 저장 방법 및 장치와 태그 정보를 이용한 이미지 검색 방법 및 장치
KR20140075997A (ko) * 2012-12-12 2014-06-20 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
US10216996B2 (en) * 2014-09-29 2019-02-26 Sony Interactive Entertainment Inc. Schemes for retrieving and associating content items with real-world objects using augmented reality and object recognition
US20160105388A1 (en) * 2014-10-09 2016-04-14 Footspot, Inc. System and method for digital media capture and related social networking

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017171975A1 (en) * 2016-04-01 2017-10-05 Intel Corporation Video with selectable tag overlay auxiliary pictures
US10629166B2 (en) 2016-04-01 2020-04-21 Intel Corporation Video with selectable tag overlay auxiliary pictures
WO2018174314A1 (ko) * 2017-03-23 2018-09-27 스노우 주식회사 스토리영상 제작 방법 및 시스템
US11704355B2 (en) 2017-03-23 2023-07-18 Snow Corporation Method and system for producing story video
US11954142B2 (en) 2017-03-23 2024-04-09 Snow Corporation Method and system for producing story video
KR20200114832A (ko) 2019-03-29 2020-10-07 엠에스캠핑 주식회사 지역 역사 문화 컨텐츠 제공 시스템
KR20210096749A (ko) 2020-01-29 2021-08-06 고민규 스토리텔링 네비게이터를 이용하여 컨텐츠 제작 서비스를 제공하는 장치 및 방법

Also Published As

Publication number Publication date
US10175863B2 (en) 2019-01-08
US20150033126A1 (en) 2015-01-29

Similar Documents

Publication Publication Date Title
KR20150011651A (ko) 스토리텔링 컨텐츠를 제작하는 장치 및 방법
US10511711B2 (en) Methods and systems for management of media content associated with message context on mobile computing devices
US20230412677A1 (en) Direct input from a nearby device
US11159671B2 (en) User interface for surfacing contextual actions in a mobile computing device
US20230222152A1 (en) Systems and methods for a scalable, collaborative, real-time, graphical life-management interface
US11321640B2 (en) Distributing a user interface for accessing files
US10873553B2 (en) System and method for triaging in a message system on send flow
CN108781311B (zh) 用于媒体分发和管理平台的视频播放器框架
US8904274B2 (en) In-situ mobile application suggestions and multi-application updates through context specific analytics
JP6368857B2 (ja) チャットメッセージをタギングする方法及びデバイス
US20180081500A1 (en) Systems and methods for content engagement
US20150100647A1 (en) Rich media messaging systems and methods
KR102047600B1 (ko) 인스턴트 메시지 서비스와 소셜 네트워크 서비스 간의 연동을 위한 어플리케이션 및 서버의 동작 방법
KR20160075457A (ko) 채팅 메시지를 그룹화하기 위한 방법, 디바이스 및 서버
KR102127336B1 (ko) Vip의 메시지를 관리하는 기능을 제공하는 방법 및 단말
KR101613905B1 (ko) 컨텐츠에 포함된 요소의 클립보드 데이터를 생성하는 방법 및 디바이스
CN111381819B (zh) 列表的创建方法、装置、电子设备及计算机可读存储介质
US10452719B2 (en) Terminal apparatus and method for search contents
KR20150138513A (ko) 채팅 메시지를 그룹화하기 위한 방법, 디바이스 및 서버
US20160041722A1 (en) Systems and methods for processing orders of content items
EP2742402B1 (en) Method and user interface controlling communications and content from sources
Steinke et al. Mobile applications and journalistic work
US20180181268A1 (en) Systems and methods for providing content
JP2019508828A (ja) データをダウンロードしながらメールを送信する方法及び装置
KR20190064970A (ko) 공유 컨텐츠를 전자적 촬상물에 적용시키는 방법 및 어플리케이션

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid