KR102625045B1 - 영상 편집 장치, 영상 편집 방법 및 컴퓨터 프로그램 - Google Patents

영상 편집 장치, 영상 편집 방법 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR102625045B1
KR102625045B1 KR1020237011287A KR20237011287A KR102625045B1 KR 102625045 B1 KR102625045 B1 KR 102625045B1 KR 1020237011287 A KR1020237011287 A KR 1020237011287A KR 20237011287 A KR20237011287 A KR 20237011287A KR 102625045 B1 KR102625045 B1 KR 102625045B1
Authority
KR
South Korea
Prior art keywords
video
editing
user
edited
raw
Prior art date
Application number
KR1020237011287A
Other languages
English (en)
Other versions
KR20230051308A (ko
Inventor
다카시 다도코로
Original Assignee
다카시 다도코로
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 다카시 다도코로 filed Critical 다카시 다도코로
Priority to KR1020247000994A priority Critical patent/KR20240010578A/ko
Publication of KR20230051308A publication Critical patent/KR20230051308A/ko
Application granted granted Critical
Publication of KR102625045B1 publication Critical patent/KR102625045B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
    • H04N5/9202—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal the additional signal being a sound signal

Abstract

영상 편집 장치는, 하나의 이벤트를 복수의 촬영 장치로 촬영해서 얻을 수 있고, 이벤트에 관한 영상 작품의 제작에 사용된 미편집의 복수의 소재 영상을 저장하는 영상 저장부와, 복수의 소재 영상을 사용해서 유저의 요구에 따른 이벤트에 관한 편집 영상을 제작하는 영상 편집부를 구비한다. 영상 편집부, 영상 저장부에 저장되어 있는 복수의 소재 영상의 각각에 대하여, 신마다, 비치고 있는 내용을 알 수 있도록 메타데이터를 부가하고, 외부로부터 편집 기준이 입력되었을 때 당해 편집 기준과 복수의 소재 영상의 합치도를 메타데이터에 기초하여 산출함과 함께, 합치도에 응답하여 추출한 몇몇 소재 영상을 사용해서 편집 영상을 제작한다.

Description

영상 편집 장치, 영상 편집 방법 및 컴퓨터 프로그램
본 발명은 상용의 영상 작품의 제작에 사용된 복수의 영상을 편집해서 다른 영상을 제작하기 위한 영상 편집 장치에 관한 것이다.
콘서트와 같은 이벤트를 영상 작품으로서 상품화하는 경우, 복수대, 예를 들어 30대 정도의 비디오 카메라에 의해 여러 가지 앵글로부터 촬영된 영상을 편집해서 1개의 영상 작품으로 하는 경우가 많다. 편집 전의 영상을 「소재 영상」이라고 칭한다. 영상 작품은 기록 매체에 기록되어 판매 혹은 배신된다. 상용의 영상 작품은, 복수의 비디오 카메라로부터 얻어지는 복수의 소재 영상이, 특정의 편집 기준, 예를 들어 특정 목적에 적합한 프로페셔널한 기준에 기초하여 하나의 영상에 선별·편집되어 제작되는 것이 통상이다. 또한, 촬영 전에 소정의 시나리오를 제작하고, 이 시나리오에 기초하여 자동적으로 소재 영상을 편집하는 장치도 있다. 특허문헌 1에는, 시나리오에 기초하여 촬영 소재를 편집함으로써 영상 작품을 제작하는 기술이 개시되어 있다.
일본특허공개 제2002-016871호 공보
복수의 비디오 카메라로부터 얻어진 복수의 소재 영상은, 영상 작품이 되는 영상 이외의 부분이 사용되지 않는다. 영상 작품에 사용되지 않는 소재 영상은 빛을 보지 못하고, 통상은 그대로 사장된다. 그러나, 유저의 입장에서는 소재 영상의 영상 작품에 포함되지 않는 부분에 자신이 원하는 영상이 포함되는 경우가 있다. 소재 영상의 영상 작품에 포함되지 않는 부분을 유저에게 개방하는 서비스는, 현 상황에서는 제공되고 있지 않았다.
본 발명은 상술의 문제를 감안하여, 소재 영상을 유저가 편집해서 독자적인 영상 작품을 제작하는 것이 가능한 영상 편집 장치를 제공하는 것을 목적으로 한다.
본 발명의 영상 편집 장치는, 하나의 이벤트를 복수의 촬영 장치로 촬영해서 얻을 수 있고, 상기 하나의 이벤트의 영상 작품의 제작에 사용된 미편집의 복수의 소재 영상을 저장하는 영상 저장 수단과, 상기 복수의 소재 영상을 사용해서 유저의 요구에 따른 상기 하나의 이벤트의 편집 영상을 제작하는 편집 수단을 구비하고, 상기 편집 수단은, 상기 영상 저장 수단에 저장되어 있는 상기 복수의 소재 영상의 각각에 대하여, 신마다, 비치고 있는 내용을 알 수 있도록 메타데이터를 부가하고, 외부로부터 편집 기준이 입력되었을 때 당해 편집 기준과 상기 복수의 소재 영상의 합치도를 상기 메타데이터에 기초하여 산출함과 함께, 상기 합치도에 응답하여 추출한 몇몇 소재 영상을 사용해서 상기 편집 영상을 제작하는 것을 특징으로 한다.
본 발명에 따르면, 제한 편집 기준 하에서는 사용되지 않은 소재 영상을 유저가 제2 편집 기준 하에서 편집해서 독자적인 영상 작품을 제작하는 것이 가능하게 된다.
도 1은 영상 편집 시스템의 구성 설명도이다.
도 2는 영상 편집 장치의 기능 블록도이다.
도 3은 영상 데이터 취득의 설명도이다.
도 4의 (a) 내지 (d)는 데이터 구성의 예시도이다.
도 5는 유저 단말기의 기능 블록도이다.
도 6은 선택 화면의 예시도이다.
도 7은 조작 화면의 예시도이다.
도 8은 태그 부여의 설명도이다.
도 9의 (a), (b)는 신 추출의 설명도이다.
도 10은 편집 영상의 설명도이다.
도 11은 영상 편집 시퀀스의 시퀀스도이다.
도 12는 홈 화면의 예시도이다.
도 13은 표시 화면의 예시도이다.
도 14의 (a), (b)는 변형예의 영상 편집 장치의 구성 설명도이다.
이하에, 본 발명의 실시 형태에 대해서 도면을 사용해서 설명한다.
(전체 구성)
도 1은 본 발명을 적용한, 영상 편집 장치를 포함하는 영상 편집 시스템의 구성 설명도이다. 이 영상 편집 시스템(1)은, 영상 편집 장치(10)와 유저 단말기(20)가 네트워크(N)를 통해 통신 가능하게 구성된다. 영상 편집 장치(10)는 복수의 영상 데이터를 저장한 서버이다. 유저 단말기(20)는 퍼스널 컴퓨터, 스마트폰, 태블릿 단말기 등, 유저가 자기의 관리 하에서 조작 가능한 정보 처리 단말기이다. 유저 단말기(20)는 도 1에서는 2대 도시되어 있지만, 대수는 임의이며, 1대여도 되고, 혹은 3대 이상이어도 된다.
영상 편집 장치(10)는 CPU(Central Processing Unit)(101), ROM(Read Only Memory)(102), RAM(Random Access Memory)(103), 스토리지(104)를 포함하는 컴퓨터 부품과, 통신 인터페이스(I/F)(105)를 구비한다. 컴퓨터 부품과 통신 I/F(105)는, 버스(106)를 통해 통신 가능하게 접속된다. CPU(101)는 ROM(102)에 저장된 컴퓨터 프로그램을 실행함으로써 영상 편집 장치(10)의 동작을 제어한다. RAM(103)은 CPU(101)가 처리를 실행할 때의 작업 영역을 제공한다.
스토리지(104)는 HDD(Hard Disk Drive), SSD(Solid State Drive) 등의 대용량 기억 장치이다. 스토리지(104)에는, 콘서트, 연극 등의 이벤트의 출연자(아티스트)를 촬영한 소재 영상을 포함하는 복수의 영상 데이터가 저장된다. 스토리지(104)에는, 또한 복수의 영상 데이터가 얻어진 이벤트로 집음된 음성을 포함하는 음성 데이터도 저장된다. 통신 인터페이스(105)는 네트워크(N)의 통신 프로토콜에 따른 통신을 유저 단말기(20)와의 사이에서 행한다.
유저 단말기(20)는 CPU(201), ROM(202), RAM(203), 통신 인터페이스(I/F)(204), 조작부(205), 디스플레이(206) 및 스피커(207)를 구비한다. 각 부는, 버스(208)를 통해 통신 가능하게 접속된다. CPU(201)는 ROM(202)에 저장된 컴퓨터 프로그램을 실행함으로써, 유저 단말기(20)의 동작을 제어한다. RAM(203)은 CPU(201)가 처리를 실행할 때의 작업 영역을 제공한다.
조작부(205)는 입력 인터페이스이며, 후술하는 유저로부터의 다양한 조작 입력을 접수한다. 접수하는 조작 입력은, 예를 들어 영상 편집 장치(10)에 저장되는 복수의 영상 데이터를 편집하기 위한 지시, 그 외의 정보 처리의 지시이다. 조작부(205)를 통해서 입력된 지시는 CPU(201)로 송신된다. CPU(201)는 조작부(205)로부터 취득한 지시에 따른 정보 처리를 행한다. 디스플레이(206)는 CPU(201)의 제어에 의해, 유저에 의한 지시의 입력을 행할 때의 입력 화면이나, 영상 편집 장치(10)로부터 취득한 영상을 표시한다. 스피커(207)는 CPU(201)의 제어에 의해, 영상 편집 장치(10)로부터 취득한 음성을 출력한다. 통신 인터페이스(204)는 네트워크(N)의 통신 프로토콜에 따른 통신을 영상 편집 장치(10)와의 사이에서 행한다.
이와 같은 구성의 영상 편집 시스템(1)에서는, 유저 단말기(20)가 조작부(205)로부터 입력된 지시의 내용에 따라, 유저의 기호에 기초한 편집 기준을 포함하는 편집 지시를 생성한다. 유저 단말기(20)는 생성한 편집 지시를, 통신 인터페이스(204)에 의해 네트워크(N)를 통해 영상 편집 장치(10)로 송신한다.
영상 편집 장치(10)는 통신 인터페이스(105)에 의해 유저 단말기(20)로부터 송신된 편집 지시를 취득한다. 영상 편집 장치(10)는 취득한 편집 지시에 기초하여 스토리지(104) 내의 복수의 영상 데이터를 편집해서 하나의 편집 영상을 나타내는 편집 영상 데이터를 생성한다. 영상 편집 장치(10)는 편집 영상 데이터 및 해당 편집 영상 데이터에 동기한 음성 데이터를, 통신 인터페이스(105)에 의해 네트워크(N)를 통해 유저 단말기(20)로 송신한다.
유저 단말기(20)는 통신 인터페이스(204)에 의해 영상 편집 장치(10)로부터 송신된 편집 영상 데이터 및 음성 데이터를 취득한다. 유저 단말기(20)는 취득한 편집 영상 데이터를 처리해서 얻어진 편집 영상을 디스플레이(206)에 표시하고, 또한 취득한 음성 데이터를 처리해서 얻어진 음성을 스피커(207)로부터 출력한다. 이와 같이 해서 유저 단말기(20)의 유저는, 자신의 기호에 맞는 영상 및 음성을 시청할 수 있다.
이어서, 영상 편집 장치(10) 및 유저 단말기(20)에 대해서 상세하게 설명한다.
(영상 편집 장치)
도 2는 영상 편집 장치(10)의 기능 블록도이다. 각 기능 블록은, CPU(101)가 컴퓨터 프로그램을 실행함으로써 실현되는 것 외에, 적어도 일부가 하드웨어에 의해 실현되어도 된다. 영상 편집 장치(10)는 영상 저장부(110), 음성 저장부(111), 등록 정보 저장부(112), 편집 영상 저장부(113), 영상 편집부(114), 유저 관리부(115), 기호 학습부(116), 입력부(117) 및 출력부(118)로서 기능한다. 즉, 컴퓨터 부품을 이러한 기능 블록으로서 동작시킨다.
영상 저장부(110), 음성 저장부(111), 등록 정보 저장부(112) 및 편집 영상 저장부(113)는 CPU(101) 및 스토리지(104)에 의해 실현된다. 영상 편집부(114), 유저 관리부(115) 및 기호 학습부(116)는 CPU(101)에 의해 실현된다. 입력부(117) 및 출력부(118)는 CPU(101) 및 통신 인터페이스(105)에 의해 실현된다.
영상 저장부(110)는 복수의 영상 데이터를 저장한다. 복수의 영상 데이터는, 하나의 이벤트 회장에 설치된 복수의 비디오 카메라에 의해 촬영된 소재 영상을 포함한다. 이들 소재 영상은, 이벤트에 관한 상용의 영상 작품을 제작(편집)할 때 사용된 소재 영상이며, 크리에이터에 의한 프로페셔널한 편집 기준에 기초하여 편집된 편집 영상(제한 편집 영상)에 사용된 미편집 상태의 소재 영상이다. 이러한 미편집의 소재 영상은, 종래는 영상 작품의 제작 후에 폐기되는 것이 일반적이었다.
도 3은 영상 데이터 취득의 설명도이다. 도 3은 콘서트 회장에서 사용되는 복수의 촬영 장치(비디오 카메라 C1 내지 C25)의 배치예를 나타낸다. 각 비디오 카메라 C1 내지 C25는, 스테이지(300) 위를 다양한 앵글로부터 촬영하도록 배치되어 있다. 본 예의 경우, 비디오 카메라 C1 내지 C16은, 객석에서 스테이지(300)를 촬영한다. 비디오 카메라 C17 내지 C19는 스테이지(300) 위에서 사용된다. 비디오 카메라 C20 내지 C22는, 크레인 등의 특별 기재에 설치되어 스테이지(300)를 촬영한다. 비디오 카메라 C23은 스테이지(300)를 중앙에서 촬영하고, 비디오 카메라 C24는 스테이지(300)를 우측에서 촬영하고, 비디오 카메라 C25는 스테이지(300)를 좌측에서 촬영한다.
각 비디오 카메라 C1 내지 C25에는, 각각 역할이 부여되어 있다. 본 예에서는 비디오 카메라 C1, C3, C5, C7, C9는, 각각 특정 출연자의 얼굴의 업을 촬영한다. 비디오 카메라 C2, C4, C6, C8, C10은, 각각 특정 출연자의 전신을 촬영한다. 비디오 카메라 C11 내지 C13은, 전체 출연자를 촬영한다. 비디오 카메라 C14 내지 C16은, 메인에서 노래를 부르고 있는 출연자를 촬영한다. 비디오 카메라 C17, C18은, 스테이지(300)에서 근거리로부터 다른 출연자(멤버)를 촬영한다. 비디오 카메라 C19는, 연주자를 촬영한다. 또한, 비디오 카메라 C1 내지 C25 외에, 분장실에서 멤버를 촬영하기 위한 비디오 카메라가 사용되어도 된다.
각 비디오 카메라 C1 내지 C25로 촬영된 영상은, 소재 영상으로서 크리에이터에 의해 영상 작품의 제작에 사용된 후에, 스토리지(104)의 영상 저장부(110)에 저장된다. 또한, 비디오 카메라 C1 내지 C25의 촬영과 동시에, 콘서트 회장(이벤트 회장)에서는, 집음 장치에 의해 음성이 녹음된다. 녹음된 음성을 포함하는 음성 데이터는, 음성 저장부(111)에 저장된다.
등록 정보 저장부(112)는, 유저 단말기(20)에 의해 영상 저장부(110)에 저장된 소재 영상의 편집 지시를 행하는 유저의 등록 정보를 포함하는 등록 데이터를 저장한다. 편집 영상 저장부(113)는, 유저의 지시에 의해 편집 제작된 편집 영상을 포함하는 편집 영상 데이터를 저장한다.
도 4는 영상 저장부(110), 음성 저장부(111), 등록 정보 저장부(112) 및 편집 영상 저장부(113)에 저장되는 각 데이터의 데이터 구성의 예시도이다. 도 4의 (a)는 영상 저장부(110)에 저장되는 영상 데이터의 구성 예시도이다. 도 4의 (b)는 음성 저장부(111)에 저장되는 음성 데이터의 구성 예시도이다. 도 4의 (c)는 등록 정보 저장부(112)에 저장되는 등록 데이터의 구성 예시도이다. 도 4의 (d)는 편집 영상 저장부(113)에 저장되는 편집 영상 데이터의 구성 예시도이다.
도 4의 (a)의 영상 데이터는, 소재 영상에, 그 소재 영상이 촬영된 이벤트를 식별하는 이벤트 ID 및 해당 소재 영상을 촬영한 비디오 카메라를 식별하는 카메라 ID가 부여된 구조의 것이다. 소재 영상은 이벤트 ID 및 카메라 ID에 의해, 어느 이벤트의 어느 비디오 카메라로 촬영된 영상인지를 특정할 수 있다.
콘서트를 촬영한 소재 영상의 대부분은, 재생 시간이 2시간 정도이다. 소재 영상에 비추는 출연자는, 신에 따라서 변화한다. 그 때문에 소재 영상에는, 신마다 비치고 있는 출연자 및 그 표정을 알 수 있도록 태그 부여된다. 그 때, 한 화면에 비추는 출연자가 복수이면, 가능한 한 중앙에 위치하고 또한 크게 비추는 출연자를 알 수 있는 태그 부여나, 모든 출연자를 알 수 있는 태그 부여가 행해진다. 소재 영상에는, 이러한 태그나 재생 시간이 메타데이터로서 부가되어 있다.
도 4의 (b)의 음성 데이터는, 음성에, 그 음성이 녹음된 이벤트를 식별하는 이벤트 ID가 부여된 구조의 것이다. 영상 데이터와 음성 데이터는 이벤트 ID에 의해 결부된다. 재생 시에는, 영상과 음성이 동기해서 재생된다. 그를 위한 동기 신호가 영상 데이터와 음성 데이터에 포함된다.
도 4의 (c)의 등록 데이터는, 유저의 개인 정보(등록 정보)에, 유저를 식별하는 유저 ID 및 그 유저가 제작한 편집 영상을 식별하는 편집 영상 ID가 부여된 구조의 것이다. 등록 데이터에는, 그 유저의 기호를 나타내는 후술하는 기호 데이터가 부가된다. 유저의 개인 정보는, 유저가 유저 단말기(20)의 조작부(205)로부터 입력한다.
영상 편집 장치(10)는 유저 관리부(115)에 의해 등록 정보 저장부(112)를 관리한다. 유저 관리부(115)는 유저 단말기(20)로부터 취득한 유저의 개인 정보에 유저 ID를 부여해서 등록 데이터를 제작하여, 등록 정보 저장부(112)에 저장한다. 개인 정보는 유저의 이름이나 연락처, 로그인 시의 패스워드 등이다. 편집 영상 ID는 해당 유저가 소재 영상을 독자적으로 편집해서 편집 영상을 제작했을 때에, 해당 편집 영상을 식별하기 위해서 부여된다. 편집 영상 ID는 유저가 편집 영상을 제작할 때마다 등록 데이터에 추가된다.
도 4의 (d)의 편집 영상 데이터는, 유저가 제작한 편집 영상에 편집 영상 ID가 부여된 구조의 것이다. 영상 편집부(114)는 편집 영상에 편집 영상 ID를 부여해서 제작한 편집 영상 데이터를 편집 영상 저장부(113)에 저장한다. 유저 관리부(115)는 편집 영상에 편집 영상 ID가 부여되면, 해당 편집 영상을 제작한 유저의 등록 데이터에 해당 편집 영상 ID를 추가한다. 편집 영상 ID에 의해, 등록 데이터와 편집 영상이 결부된다. 편집 영상은 영상이 재생 가능하면 되고, 영상 그 자체 외에, 예를 들어 편집 영상에 사용된 소재 영상의 신을 지시하는 정보를 조합해서 구성되어 있어도 된다. 예를 들어, 편집 영상은 재생 시간이 0초 내지 5초는 제1 소재 영상의 신을 지시하고, 재생 시간이 5초 내지 8초는 제2 소재 영상의 신을 지시하고, …와 같은 방식으로, 재생 시간과 사용하는 소재 영상의 신이 명확해지는 정보의 조합이어도 된다.
영상 편집부(114)는 영상 저장부(110)에 저장된 복수의 소재 영상을 유저 단말기(20)로부터 취득하는 편집 지시에 포함되는 편집 기준(제2 편집 기준)에 기초하여 편집하고, 유저의 기호에 맞는 편집 영상을 제작한다. 영상 편집부(114)는 편집 영상의 제작 전에 소재 영상을 해석하고, 예를 들어 얼굴 인증 기술에 의해, 신마다의 영상 내의 출연자를 특정한다. 영상 편집부(114)는 특정한 출연자를 알 수 있도록, 상기한 바와 같이 소재 영상에 태그 부여를 행한다.
영상 편집부(114)는 편집 기준과 각 소재 영상에 부가된 태그에 의해, 편집 기준에 합치하는 영상을 판정해서 복수의 소재 영상으로부터 추출한다. 영상 편집부(114)는 추출한 영상을 조합함으로써, 하나의 편집 영상을 제작한다. 영상 편집부(114)는, 예를 들어 편집 기준과의 합치도를 각 소재 영상의 신마다 산출한다. 영상 편집부(114)는, 신마다 합치도가 가장 높은 소재 영상을 추출해서 편집 영상을 제작한다. 그 때, 영상 편집부(114)는, 해당 유저의 기호 데이터가 있으면, 기호 데이터와 편집 기준을 사용해서 합치도를 산출해도 된다. 기호 데이터를 가미함으로써, 보다 유저의 기호에 합치한 편집 영상이 자동적으로 얻어진다.
편집 영상은 유저 단말기(20)로 송신됨과 함께, 편집 영상 ID가 부여되어 편집 영상 저장부(113)에 저장된다.
기호 학습부(116)는 편집 기준 및 편집 영상을 교사 데이터로 해서 유저의 기호를 학습한다. 기호 학습부(116)는 유저 단말기(20)로부터 취득한 편집 기준과, 해당 편집 기준 기초하여 제작된 편집 영상을 취득한다. 기호 학습부(116)는 취득한 편집 기준과 편집 영상에 의해 기계 학습을 행하고, 해당 유저의 기호 데이터를 제작한다. 기호 데이터는 유저 관리부(115)에 의해 당해 유저의 등록 데이터에 부가된다. 기호 학습부(116)는 유저가 편집 영상의 제작을 지시할 때마다 기계 학습을 행하여, 기호 데이터를 갱신한다. 그 때문에, 유저가 편집 영상을 다수 제작함으로써, 보다 유저의 기호에 맞는 편집 영상이 제작된다.
입력부(117)는 유저 단말기(20)로부터 송신되는 편집 지시 등의 지시를 취득한다. 출력부(118)는 편집 영상을 나타내는 편집 영상 데이터와 해당 편집 영상에 대응하는 음성 데이터를 유저 단말기(20)로 송신한다.
(유저 단말기)
이어서, 유저 단말기(20)의 구성예를 설명한다. 도 5는 유저 단말기(20)의 기능 블록도이다. 각 기능은, CPU(201)가 컴퓨터 프로그램을 실행함으로써 실현되는 것 외에, 적어도 일부가 하드웨어에 의해 실현되어도 된다. 본 실시 형태에서는, 유저 단말기(20)에 영상 편집 장치(10)를 사용해서 편집 영상을 제작하기 위한 어플리케이션 소프트웨어를 인스톨해서 실행함으로써, 각 기능이 실현되는 예를 설명한다.
유저 단말기(20)는 입력부(210), 출력부(211), 출력 제어부(212), 송신 데이터 생성부(213) 및 통신 제어부(214)로서 기능한다. 즉, 이러한 기능 블록으로서 동작한다. 입력부(210)는 CPU(201) 및 조작부(205)에 의해 실현된다. 출력부(211)는 CPU(201), 디스플레이(206) 및 스피커(207)에 의해 실현된다. 출력 제어부(212) 및 송신 데이터 생성부(213)는 CPU(201)에 의해 실현된다. 통신 제어부(214)는 CPU(201) 및 통신 인터페이스(204)에 의해 실현된다.
입력부(210)는 조작부(205)에 의해 유저가 입력한 지시 등을 접수한다. 출력부(211)는 출력 제어부(212)의 제어에 의해, 디스플레이(206)에 화면을 표시하고, 스피커(207)로부터 소리를 출력한다. 송신 데이터 생성부(213)는 입력부(210)에서 접수한 지시 등에 기초하여, 영상 편집 장치(10)로 송신하는 송신 데이터를 생성한다.
영상 편집 장치(10)로의 송신 데이터로서 편집 지시를 생성하는 처리에 대해서 설명한다. 이 경우, 출력 제어부(212)는 영상 편집 장치(10)를 사용해서 편집 영상을 제작하기 위한 조작 화면을 디스플레이(206)에 표시시킨다. 영상 편집 장치(10)를 사용해서 편집 영상을 제작하기 위한 어플리케이션 소프트웨어가 실행되면, 디스플레이(206)에는, 먼저 어느 이벤트의 소재 영상을 편집할지를 선택하는 선택 화면이 표시된다. 도 6은 선택 화면의 예시도이다. 선택 화면에는, 이벤트명과 이벤트의 개최일이 표시된다. 유저는 조작부(205)에 의해, 선택 화면으로부터 편집할 이벤트를 선택한다.
이벤트가 선택되면, 디스플레이(206)에는 편집 기준을 설정하기 위한 조작 화면이 표시된다. 도 7은 이 경우의 조작 화면의 예시도이다. 조작 화면은 메인 뷰어(701), 멤버 선택 버튼(702), 파라미터 조정 바(703), 물품 판매 필드(704), 공유 버튼(705) 및 보존 버튼(706)을 포함한다. 메인 뷰어(701)에는 편집 영상이 표시된다. 멤버 선택 버튼(702) 및 파라미터 조정 바(703)는 유저가 원하는 편집 기준을 입력하기 위해서 사용된다. 물품 판매 필드(704)는 선택 화면에서 선택된 이벤트의 관련 상품을 소개하는 필드이며, 관련 상품의 판매 사이트에 링크되어 있다.
유저는 멤버 선택 버튼(702)에 의해 희망의 멤버를 선택한다. 멤버 선택 버튼(702)에 의해 선택되는 멤버는 당해 이벤트의 출연자이다. 유저는 파라미터 조정 바(703)에 의해 희망 멤버의 비침 상태(줌 아웃/줌 인), 다른 멤버의 비침 상태, 추천의 영상 등을 설정할 수 있다. 송신 데이터 생성부(213)는 이들의 설정을 편집 기준으로 해서 편집 지시를 제작한다.
통신 제어부(214)는 영상 편집 장치(10)와의 사이에서 통신을 행한다. 예를 들어 통신 제어부(214)는 영상 편집 장치(10)에 편집 지시를 송신한다. 통신 제어부(214)는 편집 지시에 기초하여 편집된 편집 영상 데이터 및 음성 데이터를 영상 편집 장치(10)로부터 취득해서 출력 제어부(212)로 송신한다. 출력 제어부(212)는 취득한 편집 영상 데이터에 기초한 편집 영상을 메인 뷰어(701)에 표시하고, 취득한 음성 데이터에 기초한 음성을 스피커(207)로부터 출력한다. 이에 의해 유저는, 자신의 기호에 맞는 편집 영상을 시청할 수 있다.
(영상 편집)
이상과 같은 영상 편집 시스템(1)에 의한 영상 편집의 일례에 대해서 설명한다. 상기한 바와 같이 영상 편집은 영상 편집부(114)에 의해 행해진다. 여기에서는, 편집 기준으로서 「멤버 A」의 줌 인 화상이 설정된 경우에 대해서 설명한다.
영상 편집부(114)는 미리 각 멤버의 얼굴 화상을 학습하고, 각 소재 영상으로부터 얼굴 인증 기술에 의해 멤버를 추출한다. 예를 들어, 영상 편집부(114)는 소재 영상의 신마다 멤버를 추출한다. 영상 편집부(114)는, 예를 들어 영상에 포함되는 멤버가 변화할 때마다 신이 전환되었다고 판단한다. 영상 편집부(114)는 추출한 멤버를 소재 영상의 해당 신에 태그 부여한다. 도 8은 소재 영상에 멤버의 태그 부여를 행한 경우의 설명도이다.
도 8의 소재 영상은, 주로 멤버 A를 촬영하는 비디오 카메라로 촬영된 영상이다. 도 8에서는, 제1 신(재생 시간 t0 내지 t1)에, 「멤버 A, C, D」가 태그 부여된다. 제2 신(재생 시간 t1 내지 t2)에, 「멤버 A, B」가 태그 부여된다. 제3 신(재생 시간 t2 내지 t3)에, 「멤버 전원」이 태그 부여된다. 제4 신(재생 시간 t3 내지 t4)에, 「멤버 A」가 태그 부여된다. 제5 신(재생 시간 t5 내지)에, 「멤버 A, F」가 태그 부여된다.
모든 소재 영상에 태그 부여한 영상 편집부(114)는 편집 기준에 기초하여 편집 영상을 편집한다. 편집 기준으로서 멤버 A가 지정되어 있는 경우에는, 각 소재 영상으로부터 멤버 A가 포함되는 영상(신)이 추출되어 편집 영상이 제작된다. 도 9는 신 추출의 설명도이다. 도 9의 (a), 도 9의 (b)는 동일한 타이밍에 다른 비디오 카메라에 의해 촬영된 영상이다. 어느 영상에도 멤버 A, B, C의 3명이 포함된다.
이 경우, 도 9의 (a)의 영상에서는 멤버 A가 가장 크게 비추어지고, 도 9의 (b)의 영상에서는 멤버 A가 두번째로 크게 비추어진다. 영상 편집부(114)는, 각각의 영상에 대하여 편집 기준과의 합치도를 산출한다. 편집 기준이 「멤버 A」의 줌 인 화상이기 때문에, 도 9의 (a)의 합치도가 도 9의 (b)의 합치도보다 높은 값이 된다. 그 때문에 영상 편집부(114)는, 도 9의 (a)의 영상을 포함하는 신을 추출하게 된다. 이때, 영상 편집부(114)는, 유저의 기호 데이터를 합치도의 기준에 부가해도 된다. 예를 들어 유저가 영상의 중심에 멤버 A가 비추어지는 것을 원하는 경우, 영상 중의 멤버 A의 크기 외에, 멤버 A의 위치도 합치도에 포함되게 된다.
영상 편집부(114)는, 이와 같이 각 소재 영상으로부터 추출한 신을 조합해서 편집 영상을 제작한다. 도 10은 신을 조합한 편집 영상의 설명도이다. 도 10에서는, 복수의 비디오 카메라로부터 얻어진 복수의 소재 영상에 대하여 비치고 있는 멤버의 태그 부여가 신마다 행해지고 있고, 영상 편집부(114)는 태그에 의해 편집 기준에 합치한 편집 영상을 자동적으로 제작한다.
영상 편집부(114)는 편집 기준이 「멤버 A」인 경우에, 각 소재 영상으로부터 「멤버 A」의 태그가 부가된 신을 도입해서 조합하고, 편집 영상을 제작한다. 복수의 소재 영상에서 동일한 타이밍에 멤버 A가 태그 부여되어 있는 경우, 영상 편집부(114)는, 도 9에서 설명한 바와 같은 합치도에 응답하여 도입할 신을 선택한다. 도 10의 편집 영상은, 각 소재 영상으로부터 해칭으로 나타나는 신이 선택되어 구성된다. 종래의 프로페셔널한 편집 기준으로는 각 멤버에게 골고루 신이 선택되어 영상 작품이 완성된다. 이에 반해 본 실시 형태와 같이 유저의 기호에 기초한 편집 기준으로는, 멤버에게 편향된 편집 영상이 제작된다.
(영상 편집 시퀀스)
이상과 같은 구성의 영상 편집 시스템(1)에 의한 영상 편집 시퀀스에 대해서 설명한다. 도 11은 영상 편집 시퀀스의 시퀀스도이다. 전제로서, 유저는 유저 등록되어 있고, 복수의 소재 영상은 영상 저장부(110)에 저장되어 있다.
유저는 유저 단말기(20)에 의해, 영상 편집 장치(10)를 사용해서 편집 영상을 제작하기 위한 어플리케이션 소프트웨어를 기동한다(S101). 어플리케이션 소프트웨어의 기동에 의해, 유저 단말기(20)의 디스플레이(206)에는, 홈 화면이 표시된다(S102). 도 12는 홈 화면의 예시도이다. 홈 화면은 「로그인 ID」 필드(1201), 「패스워드」 필드(1202), 「영상 편집」 버튼(1203) 및 「시청」 버튼(1204)을 포함한다. 유저는 조작부(205)에 의해 「로그인 ID」 필드(1201)에 로그인 ID를 입력하고, 「패스워드」 필드(1202)에 패스워드를 입력한다. 그 후, 유저는 조작부(205)에 의해 「영상 편집」 버튼(1203)과 「시청」 버튼(1204)의 어느 것을 선택한다. 영상 편집을 행하는 경우, 유저는 「영상 편집」 버튼(1203)을 선택한다.
유저가 조작부(205)에 의해 홈 화면으로부터 「영상 편집」 버튼(1203)을 선택함으로써, 디스플레이(206)에 도 6의 선택 화면이 표시된다(S103). 이때, 유저 단말기(20)는 영상 편집 장치(10)로부터 영상 저장부(110)에 저장된 소재 영상의 이벤트명 및 개최일의 일람을 요구한다. 영상 편집 장치(10)는 이 요구에 따라서 이벤트명 및 개최일 일람을 유저 단말기(20)로 송신한다(S201). 이에 의해 유저 단말기(20)는 이벤트명 및 개최일 일람을 취득한다. 유저는 조작부(205)에 의해 선택 화면으로부터 편집을 행하는 이벤트를 선택한다. 유저가 조작부(205)에 의해 선택 화면으로부터 편집 대상의 이벤트를 선택함으로써, 디스플레이(206)에 도 7의 조작 화면이 표시된다(S104).
유저는 조작부(205)에 의해 조작 화면으로부터 원하는 편집 조건을 선택한다. 도 7의 예에서는, 유저는 멤버 선택 버튼(702) 및 파라미터 조정 바(703)에 의해, 희망의 멤버 및 희망 멤버의 비침 상태 등을 설정한다. 송신 데이터 생성부(213)는, 이들의 설정을 편집 기준으로서 편집 지시를 제작한다. 송신 데이터 생성부(213)는, 선택된 조건에 기초한 편집 기준을 포함한 편집 지시를 생성한다(S105). 편집 지시에는, 홈 화면에서 입력된 유저의 유저 ID 및 패스워드도 포함된다. 유저 단말기(20)는 송신 데이터 생성부(213)에서 생성한 편집 지시를, 통신 제어부(214)에 의해 네트워크(N)를 통해 영상 편집 장치(10)로 송신한다(S106).
영상 편집 장치(10)는 입력부(117)에 의해 유저 단말기(20)로부터 송신된 편집 지시를 취득한다(S202). 영상 편집 장치(10)는 유저 관리부(115)에 의해 등록 데이터를 참조하여, 편집 지시에 포함되는 유저 ID 및 패스워드에 의한 유저 인증을 행한다(S203). 이하의 처리는, 유저 인증이 성공한 경우에 실행된다. 유저 인증이 실패한 경우, 영상 편집 장치(10)는 유저 ID 및 패스워드의 재차 입력을 재촉하는 통지를 유저 단말기(20)로 송신하고, 유저 인증을 다시 행한다.
영상 편집 장치(10)는 영상 편집부(114)에 의해 편집 지시에 포함되는 편집 기준에 기초하여 상기와 같은 소재 영상의 편집을 행하여, 편집 영상을 제작한다(S204). 영상 편집 장치(10)는 편집 영상을 나타내는 편집 영상 데이터 및 해당하는 음성의 음성 데이터를, 출력부(118)에 의해 네트워크(N)를 통해 유저 단말기(20)로 송신한다(S205).
또한, 영상 편집부(114)는 제작한 편집 영상에 유저 ID를 부가해서 편집 영상 저장부(113)에 저장한다(S206). 영상 편집 장치(10)는 기호 학습부(116)에 의해, 금회의 처리에서 취득한 편집 기준과 제작한 편집 영상을 학습해서 기호 데이터를 생성하여, 등록 정보 저장부(112)의 해당하는 등록 데이터에 부가한다. 이미 등록 데이터에 기호 데이터가 부가되어 있는 경우에는, 기호 데이터를 갱신한다(S207).
유저 단말기(20)는 통신 제어부(214)에 의해 영상 편집 장치(10)로부터 송신된 편집 영상 데이터 및 음성 데이터를 취득한다(S107). 유저 단말기(20)의 출력 제어부(212)는 편집 영상 데이터 및 음성 데이터를 출력 가능한 형식으로 변환하여 출력부(211)에 의해 출력한다(S108). 출력부(211)은, 디스플레이(206)에 의해 편집 영상을 표시하고, 스피커(207)에 의해 음성을 출력한다.
편집 영상은, 도 7의 조작 화면의 메인 뷰어(701)에 표시되어도 되지만, 다른 표시 화면에 표시되어도 된다. 도 13은 편집 영상을 표시하는 표시 화면의 예시도이다. 이 표시 화면은, S106의 처리에서 편집 지시가 유저 단말기(20)로부터 영상 편집 장치(10)로 송신된 후에, 도 7의 조작 화면으로부터 전환되어 표시된다. 표시 화면은 메인 뷰어(701), 코멘트란(1301), 공유 버튼(1302) 및 보존 버튼(1303)을 포함한다. 편집 영상은 메인 뷰어(701)에 표시된다.
유저는 공유 버튼(1302)을 누르는 것으로, 표시 중인 편집 영상을 다른 유저와 공유하는 것이 가능하게 된다. 공유된 경우, 코멘트란(1301)에는 자신과 다른 유저의 코멘트가 표시 가능하게 된다. 유저는 보존 버튼(1303)을 누르는 것으로, 표시 중인 편집 영상을 유저 단말기(20) 내에 보존할 수 있다. 또한, 영상 편집 장치(10)가 S206의 처리에서 편집 영상을 저장하는지의 여부는, 보존 버튼(1303)의 누르기에 의해 결정되어도 된다.
도 13의 표시 화면은, 도 12의 「시청」 버튼(1204)이 선택된 경우에도 표시된다. 이 경우, 유저는 자신이 제작한 편집 영상 외에, 다른 유저가 제작해서 공유로 설정된 편집 영상을 시청할 수 있다.
도 14는 변형예의 영상 편집 장치의 구성 설명도이다. 도 14의 (a)는 영상 편집 장치(30)의 하드웨어 구성을 나타내고, 도 14의 (b)는, 영상 편집 장치(30)의 기능 블록을 나타낸다. 영상 편집 장치(30)는, 도 1의 영상 편집 장치(10)와 유저 단말기(20)를 일체로 한 구성이다.
영상 편집 장치(30)는, 도 1의 영상 편집 장치(10)에 조작부(107), 디스플레이(108) 및 스피커(109)를 추가한 구성이다. 조작부(107)는, 도 1의 유저 단말기(20)의 조작부(205)와 마찬가지 기능을 갖는 입력 인터페이스이다. 디스플레이(108)는 도 1의 유저 단말기(20)의 디스플레이(206)와 마찬가지 기능이지만, 화면 사이즈, 화질 등이 향상된 표시 장치이다. 스피커(109)는, 도 1의 유저 단말기(20)의 스피커(207)와 마찬가지 기능이지만, 보다 음질이 좋다.
영상 편집 장치(30)는, 도 2의 영상 편집 장치(10)의 기능 블록과 마찬가지 구성이지만, 입력부(119) 및 출력부(120)의 기능이 다르다. 즉, 입력부(119)는 네트워크(N)를 통하지 않고, 조작부(107)로부터 직접, 편집 지시 등의 지시를 접수하게 된다. 출력부(120)는 네트워크(N)를 통해 편집 영상 데이터 및 음성 데이터를 송신하지 않고, 디스플레이(108) 및 스피커(109)로부터 직접, 편집 영상 및 음성을 출력하게 된다.
또한, 영상 편집 장치(30)는 기록 매체에 편집 영상을 기록해서 유저에게 제공 가능하게 해도 된다. 이 경우, 영상 편집 장치(30)는 USB 메모리, DVD, Blu-ray(등록상표) 등의 기록 매체로의 기입 장치를 구비한다. 유저는 영상 편집 장치(30)에 의해 편집 영상을 제작한 후에, 해당 편집 영상의 기록 매체로의 기입을 지시한다. 영상 편집 장치(30)는, 이 지시에 따라서 편집 영상을 기록 매체에 기입한다. 이와 같이 제작된 기록 매체는 유저에게 제공되고, 유저에 의해 사용된다.
이러한 영상 편집 장치(30)는, 예를 들어 최신의 디스플레이(108)나 스피커(109)를 구비한 전용 시설에 설치된다. 유저 단말기(20)는 고성능의 퍼스널 컴퓨터를 사용하는 경우에도, 임장감에는 한계가 있다. 그에 대해서 예를 들어 전용 시설에 영상 편집 장치(30)를 설치하는 경우에는, 유저는 고화질, 고음질의 고임장감으로 편집 영상을 즐길 수 있게 된다.
이상과 같은 영상 편집 시스템(1)에 의해, 종래, 폐기 혹은 사장될 수 밖에 없었던 미편집 상태의 소재 영상의 유효 활용이 가능해진다. 유저는, 예를 들어 프로페셔널한 편집 기준과는 다른 독자적인 편집 기준으로 소재 영상을 편집할 수 있기 때문에, 콘서트 등의 이벤트를, 자신 기호의 독자적인 영상 작품으로서 커스터마이즈해서 즐길 수 있다. 그 때문에, 유저는 동일한 이벤트여도, 다른 견해로 계속적으로 즐길 수 있다. 또한, 자신이 편집한 영상 작품과 다른 유저가 편집한 영상 작품을 서로 비교하거나, 서로 평가할 수도 있게 된다.

Claims (9)

  1. 하나의 이벤트를 복수의 촬영 장치로 촬영해서 얻을 수 있고, 상기 하나의 이벤트의 영상 작품의 제작에 사용된 미편집의 복수의 소재 영상을 저장하는 영상 저장 수단과,
    상기 소재 영상과 동기하여 녹음된 녹음 데이터를 저장하는 녹음 데이터 저장 수단과,
    유저 단말기로부터 유저 고유의 편집 기준을 접수하는 입력 수단과,
    상기 편집 기준에 기초하여, 상기 복수의 소재 영상을 사용해서 유저의 요구에 따른 상기 하나의 이벤트의 편집 영상을 제작하는 편집 수단과,
    상기 편집 영상과 당해 편집 영상의 작성에 사용된, 상기 하나의 이벤트의 출연자의 선택, 및 상기 선택된 출연자 또는 다른 출연자의 비침 상태의 선택을 포함하는 편집 기준에 기초하여, 해당 편집 기준을 입력한 유저의 기호 데이터를 학습하는 학습 수단과,
    상기 편집 영상을 당해 편집 영상에 사용되고 있는 소재 영상에 동기하여 녹음된 상기 녹음 데이터와 함께 상기 유저 단말기로 출력하는 출력 수단을 구비하고,
    상기 편집 수단은, 상기 영상 저장 수단에 저장되어 있는 상기 복수의 소재 영상의 각각에 대하여, 신마다, 비침 상태를 알 수 있도록 메타데이터를 부가하고, 외부로부터 편집 기준이 입력되었을 때 당해 편집 기준과 상기 복수의 소재 영상의 합치도를 상기 메타데이터에 기초하여 산출함과 함께, - 상기 합치도는 당해 편집 기준을 입력한 유저의 기호 데이터가 있을 경우 상기 기호 데이터와 당해 편집 기준을 함께 사용해서 산출됨 - , 상기 합치도에 응답하여 추출한 몇몇 소재 영상을 시계열로 연결하여 상기 편집 영상을 제작하는 것을 특징으로 하는,
    영상 편집 장치.
  2. 제1항에 있어서,
    상기 편집 수단은, 상기 복수의 소재 영상의 각각에 대해서 신마다 상기 편집 기준에 대한 합치도를 산출하고, 신마다 합치도가 가장 높은 소재 영상을 추출하고, 추출한 소재 영상을 사용해서 상기 편집 영상을 제작하는 것을 특징으로 하는, 영상 편집 장치.
  3. 제1항에 있어서,
    상기 편집 수단은, 미리 소재 영상에 비치고 있는 인물의 얼굴 화상을 학습하고, 각 소재 영상으로부터 얼굴 인증 기술에 의해 신마다의 인물을 추출하고, 추출한 인물을 해당 신에 태그 부여해 두고, 상기 편집 기준에 대한 합치도를 신마다의 태그에 기초하여 산출하는 것을 특징으로 하는, 영상 편집 장치.
  4. 제1항에 있어서,
    상기 편집 기준을 입력하는 유저 단말기를 조작하는 유저의 등록 정보를 저장하는 등록 정보 저장 수단과,
    상기 편집 영상을, 해당 편집 영상을 제작하기 위한 상기 편집 기준을 입력한 유저의 등록 정보에 결부시켜서 저장하는 편집 영상 저장 수단과,
    상기 편집 영상을 다른 유저의 유저 단말기에 출력 가능하게 하는 영상 출력 수단을 더 구비하는 것을 특징으로 하는, 영상 편집 장치.
  5. 제4항에 있어서,
    상기 등록 정보 저장 수단은, 상기 등록 정보에 해당 유저의 기호를 나타내는 기호 데이터를 부가해서 저장하고 있는 것을 특징으로 하는, 영상 편집 장치.
  6. 삭제
  7. 삭제
  8. 하나의 이벤트를 복수의 촬영 장치로 촬영해서 얻을 수 있고, 상기 하나의 이벤트의 영상 작품의 제작에 사용된 미편집의 복수의 소재 영상을 저장하는 영상 저장 수단과, 상기 소재 영상과 동기하여 녹음된 녹음 데이터를 저장하는 녹음 데이터 저장 수단을 구비한 장치에 의해 실행되는 방법이며,
    상기 영상 저장 수단에 저장되어 있는 상기 복수의 소재 영상의 각각에 대하여, 신마다, 비침 상태를 알 수 있도록 메타데이터를 부가하는 스텝과,
    유저 단말기로부터 유저 고유의 편집 기준을 접수하는 스텝과,
    상기 편집 기준과 상기 소재 영상의 합치도를 상기 메타데이터에 기초하여 산출하는 스텝과,
    산출된 상기 합치도에 따른 몇몇 소재 영상을 상기 영상 저장 수단으로부터 추출하는 스텝과,
    추출한 소재 영상을 시계열로 연결하여 유저의 요구에 따른 상기 하나의 이벤트의 편집 영상을 제작하는 스텝과,
    상기 편집 영상을 당해 편집 영상에 사용되고 있는 소재 영상에 동기하여 녹음된 상기 녹음 데이터와 함께 상기 유저 단말기로 출력하는 스텝과,
    상기 편집 영상과 당해 편집 영상의 작성에 사용된, 상기 하나의 이벤트의 출연자의 선택, 및 상기 선택된 출연자 또는 다른 출연자의 비침 상태의 선택을 포함하는 편집 기준에 기초하여, 해당 편집 기준을 입력한 유저의 기호 데이터를 학습하는 스텝을 포함하고,
    상기 합치도를 산출하는 스텝은, 당해 편집 기준을 입력한 유저의 기호 데이터가 있을 경우 상기 기호 데이터와 당해 편집 기준을 함께 사용하여 합치도를 산출하는 것을 포함하는,
    영상 편집 방법.
  9. 컴퓨터를 제1항의 영상 편집 장치로서 동작시키기 위한 컴퓨터 판독가능 기록 매체에 기록된 컴퓨터 프로그램.
KR1020237011287A 2021-02-19 2022-02-03 영상 편집 장치, 영상 편집 방법 및 컴퓨터 프로그램 KR102625045B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020247000994A KR20240010578A (ko) 2021-02-19 2022-02-03 영상 편집 장치 및 컴퓨터 프로그램

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021025637A JP7118379B1 (ja) 2021-02-19 2021-02-19 映像編集装置、映像編集方法、及びコンピュータプログラム
JPJP-P-2021-025637 2021-02-19
PCT/JP2022/004267 WO2022176633A1 (ja) 2021-02-19 2022-02-03 映像編集装置、映像編集方法、及びコンピュータプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020247000994A Division KR20240010578A (ko) 2021-02-19 2022-02-03 영상 편집 장치 및 컴퓨터 프로그램

Publications (2)

Publication Number Publication Date
KR20230051308A KR20230051308A (ko) 2023-04-17
KR102625045B1 true KR102625045B1 (ko) 2024-01-16

Family

ID=82849854

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020247000994A KR20240010578A (ko) 2021-02-19 2022-02-03 영상 편집 장치 및 컴퓨터 프로그램
KR1020237011287A KR102625045B1 (ko) 2021-02-19 2022-02-03 영상 편집 장치, 영상 편집 방법 및 컴퓨터 프로그램

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020247000994A KR20240010578A (ko) 2021-02-19 2022-02-03 영상 편집 장치 및 컴퓨터 프로그램

Country Status (6)

Country Link
US (1) US11942115B2 (ko)
EP (1) EP4203460A1 (ko)
JP (2) JP7118379B1 (ko)
KR (2) KR20240010578A (ko)
CN (1) CN115699723A (ko)
WO (1) WO2022176633A1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190076741A1 (en) * 2013-05-22 2019-03-14 David S. Thompson Interaction Interleaver

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3826686B2 (ja) 2000-06-30 2006-09-27 セイコーエプソン株式会社 映像編集方法および映像編集装置、並びに映像編集を行なうためのコンピュータプログラムを記録した記録媒体
JP2003134446A (ja) 2001-10-19 2003-05-09 Sharp Corp 映像編集配信システム及びその課金方法
WO2006129496A1 (ja) * 2005-06-01 2006-12-07 Pioneer Corporation 映像配信装置、映像配信方法、映像配信プログラム、および記録媒体
US9196304B2 (en) 2006-01-26 2015-11-24 Sony Corporation Method and system for providing dailies and edited video to users
JP2008131617A (ja) 2006-11-27 2008-06-05 Hitachi Ltd 映像処理装置
JP4600521B2 (ja) * 2008-06-03 2010-12-15 ソニー株式会社 情報処理装置、情報処理方法、プログラム
JP2010232814A (ja) 2009-03-26 2010-10-14 Nikon Corp 映像編集プログラムおよび映像編集装置
JP5532645B2 (ja) * 2009-03-26 2014-06-25 株式会社ニコン 映像編集プログラムおよび映像編集装置
JP5709359B2 (ja) * 2009-04-07 2015-04-30 ソニー株式会社 通信装置、通信方法、及び通信システム
JP5664374B2 (ja) * 2011-03-17 2015-02-04 富士通株式会社 ダイジェスト映像生成装置およびプログラム
JP6267961B2 (ja) * 2012-08-10 2018-01-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 映像提供方法および送信装置
JPWO2015125815A1 (ja) * 2014-02-20 2017-03-30 シャープ株式会社 映像編集装置
JP6241802B1 (ja) 2017-01-20 2017-12-06 パナソニックＩｐマネジメント株式会社 映像配信システム、ユーザ端末装置および映像配信方法
JP7028687B2 (ja) * 2018-03-23 2022-03-02 株式会社日立国際電気 放送システム
US11710392B2 (en) * 2020-09-11 2023-07-25 IDEMIA National Security Solutions LLC Targeted video surveillance processing

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190076741A1 (en) * 2013-05-22 2019-03-14 David S. Thompson Interaction Interleaver

Also Published As

Publication number Publication date
JP7118379B1 (ja) 2022-08-16
WO2022176633A1 (ja) 2022-08-25
EP4203460A1 (en) 2023-06-28
CN115699723A (zh) 2023-02-03
KR20240010578A (ko) 2024-01-23
JP2022127633A (ja) 2022-08-31
US11942115B2 (en) 2024-03-26
KR20230051308A (ko) 2023-04-17
JP2022127469A (ja) 2022-08-31
US20230215468A1 (en) 2023-07-06

Similar Documents

Publication Publication Date Title
JP5903187B1 (ja) 映像コンテンツ自動生成システム
KR101007508B1 (ko) 비디오 신호 처리 장치, 비디오 신호 기록 장치, 비디오신호 재생 장치, 비디오 신호 처리 장치의 처리 방법,비디오 신호 기록 장치의 처리 방법, 비디오 신호 재생장치의 처리 방법, 기록 매체
US8396351B2 (en) Information processing apparatus, information processing method, information processing program and imaging apparatus
JP2008293219A (ja) コンテンツ管理システム、コンテンツ管理システムにおける情報処理装置、情報処理装置におけるリンク情報生成方法、情報処理装置におけるリンク情報生成プログラム、及びリンク情報生成プログラムを記録した記録媒体
JP2006041886A (ja) 情報処理装置および方法、記録媒体、並びにプログラム
JP2002109099A (ja) 資料と映像・音声の記録システム、装置及びコンピュータ読み取り可能な記録媒体
JP2012195852A (ja) シナリオ編集装置およびシナリオ編集方法、撮像装置およびその制御方法、シナリオ編集システム、記憶媒体、ならびにプログラム
KR102625045B1 (ko) 영상 편집 장치, 영상 편집 방법 및 컴퓨터 프로그램
KR102138835B1 (ko) 정보 노출 방지 영상 제공 장치 및 방법
JPH11266422A (ja) 放送番組管理装置、放送番組管理方法、及び放送番組管理処理プログラムを記録した記録媒体
WO2013187796A1 (ru) Способ автоматического монтажа цифровых видеофайлов
JP5310682B2 (ja) カラオケ装置
JP6110731B2 (ja) ジェスチャーによるコマンド入力識別システム
US20230262200A1 (en) Display system, display method, and non-transitory recording medium
JP4171316B2 (ja) 情報編集装置、情報編集方法、および情報編集プログラム
JP6715907B2 (ja) 画像編集装置、画像編集方法、及びプログラム
JP2019103059A (ja) 動画編集システム及び動画編集方法並びに動画編集のための携帯端末、キャプチャ機器、情報処理システム、情報処理方法、情報生成方法及び情報処理プログラム
WO2022209648A1 (ja) 情報処理装置、情報処理方法および非一時的なコンピュータ可読記憶媒体
JP2013182073A (ja) コラボレーション歌唱の録画システム
JP6643081B2 (ja) アルバム動画生成装置、アルバム動画生成方法及びプログラム
JP4330905B2 (ja) 情報編集装置、情報編集方法、および情報編集プログラム
JP2023120142A (ja) 記録情報表示システム、プログラム、記録情報表示方法
JP2003274353A (ja) 映像情報とイベント情報の同期装置
JP2022176567A (ja) 再生情報生成装置、動画編集装置および動画編集プログラム
JP2015033060A (ja) コンテンツ再生方法、装置及びプログラム

Legal Events

Date Code Title Description
A302 Request for accelerated examination
AMND Amendment
E902 Notification of reason for refusal
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant