JP6569687B2 - 情報処理方法、映像処理装置及びプログラム - Google Patents
情報処理方法、映像処理装置及びプログラム Download PDFInfo
- Publication number
- JP6569687B2 JP6569687B2 JP2016564717A JP2016564717A JP6569687B2 JP 6569687 B2 JP6569687 B2 JP 6569687B2 JP 2016564717 A JP2016564717 A JP 2016564717A JP 2016564717 A JP2016564717 A JP 2016564717A JP 6569687 B2 JP6569687 B2 JP 6569687B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- video
- music
- beat
- editing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
- G06V20/47—Detecting features for summarising video content
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/36—Accompaniment arrangements
- G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
- G10H1/368—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems displaying animated or moving pictures synchronized with the music or audio part
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/36—Accompaniment arrangements
- G10H1/38—Chord
- G10H1/383—Chord detection and/or recognition, e.g. for correction, or automatic bass generation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/36—Accompaniment arrangements
- G10H1/40—Rhythm
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/021—Background music, e.g. for video sequences, elevator music
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/061—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of musical phrases, isolation of musically relevant segments, e.g. musical thumbnail generation, or for temporal structure analysis of a musical piece, e.g. determination of the movement sequence of a musical work
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/071—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for rhythm pattern analysis or rhythm style recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/076—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of timing, tempo; Beat detection
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/155—User input interfaces for electrophonic musical instruments
- G10H2220/351—Environmental parameters, e.g. temperature, ambient light, atmospheric pressure, humidity, used as input for musical purposes
- G10H2220/355—Geolocation input, i.e. control of musical parameters based on location or geographic position, e.g. provided by GPS, WiFi network location databases or mobile phone base station position databases
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/155—User input interfaces for electrophonic musical instruments
- G10H2220/391—Angle sensing for musical purposes, using data from a gyroscope, gyrometer or other angular velocity or angular movement sensing device
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/155—User input interfaces for electrophonic musical instruments
- G10H2220/395—Acceleration sensing or accelerometer use, e.g. 3D movement computation by integration of accelerometer data, angle sensing with respect to the vertical, i.e. gravity sensing.
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/155—User input interfaces for electrophonic musical instruments
- G10H2220/441—Image sensing, i.e. capturing images or optical patterns for musical purposes or musical control purposes
- G10H2220/455—Camera input, e.g. analyzing pictures from a video camera and using the analysis results as control data
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/075—Musical metadata derived from musical analysis or for use in electrophonic musical instruments
- G10H2240/085—Mood, i.e. generation, detection or selection of a particular emotional content or atmosphere in a musical piece
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Television Signal Processing For Recording (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
- Image Processing (AREA)
Description
1.概要
2.基本構成
3.機能詳細
3.1.単位映像の抽出処理
3.2.切り替えタイミングの設定処理
3.3.動作モードの決定処理
3.4.単位映像の選択処理
3.5.採用区間の設定処理
4.動作処理
5.ハードウェア構成例
6.まとめ
まず、図1〜図3を参照して、本実施形態に係る映像処理装置の概要を説明する。
図4は、本実施形態に係る映像処理装置100の論理的な構成の一例を示すブロック図である。図4に示すように、映像処理装置100は、入力部110、記憶部120、出力部130及び制御部140を含む。
入力部110は、外部からの各種情報の入力を受け付ける機能を有する。図4に示すように、入力部110は、センサ部111、操作部112、映像取得部113及び音楽取得部114を含む。
センサ部111は、被写体の動作を検出する機能を有する。例えば、センサ部111は、ジャイロセンサ、加速度センサ及び重力センサを含み得る。被写体とは、撮影対象であり、撮影者(ユーザ)も含むものとする。センサ部111は、GPS(Global Positioning System)、赤外線センサ、近接センサ、タッチセンサ等の任意のセンサを含んでいてもよい。センサ部111は、センシング結果を示すセンサ情報を制御部140へ出力する。なお、センサ部111は、映像処理装置100と一体的に形成されていなくてもよい。例えば、センサ部111は、被写体に装着されたセンサから有線又は無線通信を介してセンサ情報を取得してもよい。
操作部112は、ユーザ操作を受け付ける機能を有する。例えば、操作部112は、ボタン及びタッチパッド等により実現される。操作部112は、撮影中のズーム操作や撮影モードの設定操作などの操作を受け付け得る。撮影モードとしては、例えば動画を撮影する通常モード、及び動画及び静止画を同時に撮影する同時撮影モードなどが考えられる。他にも、操作部112は、撮影中又は撮影後に、要約映像に含めるべき区間を指定する編集指示を受け付け得る。操作部112は、ユーザ操作の内容を示す操作情報を制御部140へ出力する。
映像取得部113は、映像を取得する機能を有する。例えば、映像取得部113は、撮像装置として実現され、デジタル信号とされた撮影画像(動画像/静止画像)のデータを出力する。映像取得部113は、周囲の音を収音し、アンプ及びADC(Analog Digital Converter)を介してデジタル信号に変換した音データを取得するマイクをさらに含んでいてもよい。その場合、映像取得部113は、周囲の音が付随する映像データを出力する。
音楽取得部114は、要約映像のBGMとなる音楽データを取得する機能を有する。例えば、音楽取得部114は、有線又は無線のインタフェースとして実現され、PC又はサーバ等の他の装置から音楽データを取得する。有線のインタフェースとしては、例えばUSB(Universal Serial Bus)等の規格に準拠したコネクタが挙げられる。無線のインタフェースとしては、例えばBluetooth(登録商標)又はWi−Fi(登録商標)等の通信規格に準拠した通信装置が挙げられる。音楽取得部114は、取得した音楽データを制御部140へ出力する。
記憶部120は、各種情報を記憶する機能を有する。例えば、記憶部120は、入力部110から出力された情報、及び制御部140により生成される情報を記憶する。
出力部130は、各種情報を出力する機能を有する。例えば、出力部130は、後述する要約映像生成部146により生成された要約映像を再生する機能を有していてもよい。その場合、出力部130は、表示部及びスピーカを含み得る。他にも、出力部130は、後述する編集部144により生成された編集情報を出力する機能を有していてもよい。その場合、出力部130は、有線又は無線のインタフェースを含み得る。
制御部140は、演算処理装置および制御装置として機能し、各種プログラムに従って映像処理装置100内の動作全般を制御する。図4に示すように、制御部140は、音楽解析部141、映像解析部142、抽出部143、編集部144、動作モード制御部145及び要約映像生成部146を含む。
音楽解析部141は、入力された音楽の内容を解析する機能を有する。詳しくは、音楽解析部141は、音楽取得部114により取得された音楽データを対象として、音楽理論に基づく解析を行う。
映像解析部142は、入力された映像の内容を解析する機能を有する。詳しくは、映像解析部142は、映像取得部113により取得された映像データを対象として、内容の解析を行う。そして、映像解析部142は、映像の内容の解析結果を示す映像解析結果情報を抽出部143へ出力する。
例えば、映像解析部142は、入力部110により入力された情報に基づいてハイライトを検出し、検出したハイライトを示す情報を映像解析結果情報に含めて出力する。一例として、映像解析部142が、被写体動作、ユーザ操作、並びに顔及び笑顔に関するハイライトを検出する例を説明する。
例えば、映像解析部142は、入力部110により入力された情報に基づいてシーンセグメントのための情報を検出し、検出したシーンセグメントのための情報を映像解析結果情報に含めて出力する。一例として、映像解析部142が、色、カメラワーク、日時及び場所に関するシーンセグメントのための情報を検出する例を説明する。
抽出部143は、入力された映像から複数の単位映像を抽出する機能を有する。詳しくは、抽出部143は、映像解析部142による解析結果に基づいて、映像取得部113により取得された映像データから複数の単位映像を抽出する。詳しくは、抽出部143は、解析結果情報が示す映像の属性が同一である一続きの映像を、単位映像として抽出する。
編集部144は、抽出部143により抽出された単位映像を、入力された音楽に応じて切り替えるための編集情報を生成する機能を有する。例えば、編集部144は、入力されたどの音楽のどの区間をBGMとするかを設定する。そして、編集部144は、BGMにする音楽を音楽解析部141による音楽解析結果により区切り、各区間に抽出部143により抽出された単位映像を割り当てる。これにより、要約映像において、音楽が区切られたタイミングで単位映像が切り替わることとなる。単位映像の割り当ての際、編集部144は、抽出部143により抽出された単位映像から全部又は一部を要約映像に採用する単位映像として決定し、採用した単位映像を各区間に割り当て得る。なお、編集部144は、原則撮影時刻の順に単位映像を割り当てるものとする。もちろん、編集部144は、撮影時刻に依存せずに単位映像を割り当ててもよい。このように、編集部144は、入力されたどの音楽のどの区間をBGMとして、どの単位映像をどのタイミングで切り替えるかを設定することで、編集情報を生成する。編集部144による処理の詳細については、後に詳しく説明する。
動作モード制御部145は、抽出部143及び編集部144における動作モードを制御する機能を有する。動作モード制御部145は、抽出部143による単位映像の抽出結果、及び編集部144による切り替えタイミングの設定結果に応じて、動作モードを制御する。動作モード制御部145による処理の詳細については、後に詳しく説明する。
要約映像生成部146は、音楽と編集情報に基づいて切り替わる単位映像とから成る要約映像を生成する機能を有する。例えば、要約映像生成部146は、編集情報により指定された音楽をBGMとして、編集情報により指定された単位映像を指定されたタイミングで切り替えて連結することで、要約映像を生成する。
以上、本実施形態に係る映像処理装置100の基本構成を説明した。続いて、映像処理装置100が有する機能を詳細に説明する。
抽出部143は、映像解析部142による解析結果に基づいて、映像取得部113により取得された映像データから複数の単位映像を抽出する。具体的には、抽出部143は、映像解析部142により解析された映像の属性に応じて単位映像を抽出する。例えば、抽出部143は、シーンセグメントのための情報及びハイライトを示す情報に基づいて、映像データからハイライトショット及びサブショットを抽出する。以下、図5を参照して、映像解析結果に基づく単位映像の抽出処理を具体的に説明する。
編集部144は、音楽解析部141から出力された音楽解析結果情報に基づいて、入力された音楽に応じて単位映像の切り替えタイミングを設定する。例えば、編集部144は、抽出部143により抽出された単位映像を、音楽解析部141により解析された構成要素に応じて、小節に応じて、又は拍に応じて切り替えるための編集情報を生成してもよい。具体的には、編集部144は、入力された音楽を、構成要素が切り替わるタイミング、小節が切り替わるタイミング、又は拍に応じたタイミングで区切り、その区切った位置に単位映像の切り替えタイミングを設定する。
上述した、切り替えタイミングの設定処理と単位映像の抽出処理との順番は任意である。
(概要)
編集部144は、抽出部143により抽出された単位映像の中から、要約映像に採用する単位映像を選択する。例えば、編集部144は、ハイライトを優先して、採用数分の単位映像を選択する。以下、図8及び図9を参照して、単位映像の選択処理を説明する。
以下では、サブショットの選択のために用いられる評価関数の一例を説明する。例えば、編集部144は、下記の数式1に示す評価関数を用いて、サブショットを選択し得る。
以下では、ハイライトショットの選択のために用いられる評価関数の一例を説明する。例えば、編集部144は、下記の数式2に示す評価関数を用いて、ハイライトショットを選択し得る。
ハイライトスコアHs−減衰係数×選択回数≧閾値 …(数式3)
編集部144は、抽出部143により抽出された単位映像に当該単位映像の内容に応じた採用区間を設定し、複数の単位映像の各々について設定した採用区間を採用するための編集情報を生成する。例えば、編集部144は、単位映像の内容に応じて、要約映像に採用すべき採用区間を設定し、設定した採用区間を連結するための編集情報を生成する。なお、採用区間の位置とは、単位映像のうち、要約映像に採用される区間である。採用区間は単位映像の全部であってもよいし、一部であってもよい。
図13は、本実施形態に係る映像処理装置100において実行される要約映像の生成処理の流れの一例を示すフローチャートである。
最後に、図14を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図14は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図14に示す情報処理装置900は、例えば、図4に示した映像処理装置100を実現し得る。本実施形態に係る映像処理装置100による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
以上、図1〜図14を参照して、本開示の一実施形態について詳細に説明した。上記説明したように、本実施形態に係る映像処理装置100は、音楽に合わせた適切なタイミングで適切な単位映像が切り替わることで、鑑賞者の感情を盛り上げることが可能な要約映像を生成することが可能である。
(1)
入力された音楽のビートを解析することと、
入力された映像から複数の単位映像を抽出することと、
抽出された前記単位映像を解析されたビートに応じて切り替えるための編集情報をプロセッサにより生成することと、
を含む情報処理方法。
(2)
前記情報処理方法は、前記音楽の小節を解析することをさらに含み、
前記編集情報を生成することにおいて、解析された前記音楽の小節の単位で、拍に応じた前記単位映像の切り替えの実施有無を選択する、前記(1)に記載の情報処理方法。
(3)
ひとつの小節内で拍に応じて切り替わる前記単位映像は、互いに類似する、前記(2)に記載の情報処理方法。
(4)
ひとつの小節内で拍に応じて切り替わる前記単位映像は、被写体の動作、撮影時間情報、撮影位置情報、色情報又はカメラワークの少なくともいずれかが近い、前記(3)に記載の情報処理方法。
(5)
ひとつの小節内で拍に応じて切り替わる前記単位映像は、特定の被写体が含まれる、前記(3)に記載の情報処理方法。
(6)
ひとつの小節内で拍に応じて切り替わる前記単位映像の少なくともひとつは、ひとつの小節内で2回以上採用される、前記(2)〜(5)のいずれか一項に記載の情報処理方法。
(7)
ひとつの小節内で拍に応じて切り替わる前記単位映像は、それぞれ異なる、前記(2)〜(6)のいずれか一項に記載の情報処理方法。
(8)
前記編集情報を生成することにおいて、拍に応じた前記単位映像の切り替えを実施する小節同士を離間させる、前記(2)〜(7)のいずれか一項に記載の情報処理方法。
(9)
前記情報処理方法は、前記音楽の構造を解析することをさらに含み、
前記編集情報を生成することにおいて、解析された前記音楽の構造の種類ごとに、拍に応じた前記単位映像の切り替えの実施回数を設定する、前記(1)〜(8)のいずれか一項に記載の情報処理方法。
(10)
前記情報処理方法は、前記音楽のうち所定の条件を満たす部分を特定することをさらに含み、
前記編集情報を生成することは、特定された前記所定の条件を満たす部分で、拍に応じた前記単位映像の切り替えを実施する、前記(1)〜(9)のいずれか一項に記載の情報処理方法。
(11)
前記音楽のうち前記所定の条件を満たす部分を特定することにおいて、音楽理論に基づいて前記音楽のコーラス部分を特定する、前記(10)に記載の情報処理方法。
(12)
前記編集情報を生成することにおいて、前記単位映像を1拍ごとに切り替えるための前記編集情報を生成する、前記(1)〜(11)のいずれか一項に記載の情報処理方法。
(13)
前記編集情報を生成することにおいて、前記音楽の拍の速さが閾値を超える場合に、前記単位映像を複数拍ごとに切り替えるための前記編集情報を生成する、前記(1)〜(11)のいずれか一項に記載の情報処理方法。
(14)
前記情報処理方法は、前記音楽と前記編集情報に基づいて切り替わる前記単位映像とから成る要約映像を生成することをさらに含む、前記(1)〜(13)のいずれか一項に記載の情報処理方法。
(15)
前記情報処理方法は、生成された前記要約映像を再生することをさらに含む、前記(14)に記載の情報処理方法。
(16)
入力された音楽の拍を解析する音楽解析部と、
入力された映像から複数の単位映像を抽出する抽出部と、
前記抽出部により抽出された前記単位映像を前記音楽解析部により解析された拍に応じて切り替えるための編集情報を生成する編集部と、
を備える映像処理装置。
(17)
前記音楽解析部は、前記音楽の小節を解析し、
前記編集部は、前記音楽解析部により解析された前記音楽の小節の単位で、拍に応じた前記単位映像の切り替えの実施有無を選択する、前記(16)に記載の映像処理装置。
(18)
ひとつの小節内で拍に応じて切り替わる前記単位映像は、互いに類似する、前記(17)に記載の映像処理装置。
(19)
ひとつの小節内で拍に応じて切り替わる前記単位映像は、被写体の動作、撮影時間情報、撮影位置情報、色情報又はカメラワークの少なくともいずれかが近い、前記(18)に記載の映像処理装置。
(20)
コンピュータを、
入力された音楽の拍を解析する音楽解析部と、
入力された映像から複数の単位映像を抽出する抽出部と、
前記抽出部により抽出された前記単位映像を前記音楽解析部により解析された拍に応じて切り替えるための編集情報を生成する編集部と、
として機能させるためのプログラム。
20 映像解析結果情報
30 音楽
40 編集情報
50 要約映像
100 映像処理装置
110 入力部
111 センサ部
112 操作部
113 映像取得部
114 音楽取得部
120 記憶部
130 出力部
140 制御部
141 音楽解析部
142 映像解析部
143 抽出部
144 編集部
145 動作モード制御部
146 要約映像生成部
Claims (15)
- 入力された音楽のビートを解析することと、
入力された映像から複数の単位映像を抽出することと、
抽出された前記単位映像を解析されたビートに応じて切り替えるための編集情報をプロセッサにより生成することと、
前記音楽の小節を解析することとを含み、
前記編集情報を生成することにおいて、解析された前記音楽の小節の単位で、拍に応じた前記単位映像の切り替えの実施有無を選択し、
ひとつの小節内で拍に応じて切り替わる前記単位映像は、互いに類似する、情報処理方法。 - ひとつの小節内で拍に応じて切り替わる前記単位映像は、被写体の動作、撮影時間情報、撮影位置情報、色情報又はカメラワークの少なくともいずれかが近い、請求項1に記載の情報処理方法。
- ひとつの小節内で拍に応じて切り替わる前記単位映像は、特定の被写体が含まれる、請求項1に記載の情報処理方法。
- 入力された音楽のビートを解析することと、
入力された映像から複数の単位映像を抽出することと、
抽出された前記単位映像を解析されたビートに応じて切り替えるための編集情報をプロセッサにより生成することと、
前記音楽の小節を解析することとを含み、
前記編集情報を生成することにおいて、解析された前記音楽の小節の単位で、拍に応じた前記単位映像の切り替えの実施有無を選択し、
ひとつの小節内で拍に応じて切り替わる前記単位映像の少なくともひとつは、ひとつの小節内で2回以上採用される、情報処理方法。 - 入力された音楽のビートを解析することと、
入力された映像から複数の単位映像を抽出することと、
抽出された前記単位映像を解析されたビートに応じて切り替えるための編集情報をプロセッサにより生成することと、
前記音楽の小節を解析することとを含み、
前記編集情報を生成することにおいて、解析された前記音楽の小節の単位で、拍に応じた前記単位映像の切り替えの実施有無を選択し、
前記編集情報を生成することにおいて、拍に応じた前記単位映像の切り替えを実施する小節同士を離間させる、情報処理方法。 - 入力された音楽のビートを解析することと、
入力された映像から複数の単位映像を抽出することと、
抽出された前記単位映像を解析されたビートに応じて切り替えるための編集情報をプロセッサにより生成することとを含み、
前記編集情報を生成することにおいて、前記音楽の拍の速さが閾値を超える場合に、前記単位映像を複数拍ごとに切り替えるための前記編集情報を生成する、情報処理方法。 - 入力された音楽の拍を解析する音楽解析部と、
入力された映像から複数の単位映像を抽出する抽出部と、
前記抽出部により抽出された前記単位映像を前記音楽解析部により解析された拍に応じて切り替えるための編集情報を生成する編集部とを備え、
前記音楽解析部は、前記音楽の小節を解析し、
前記編集部は、前記音楽解析部により解析された前記音楽の小節の単位で、拍に応じた前記単位映像の切り替えの実施有無を選択し、
ひとつの小節内で拍に応じて切り替わる前記単位映像は、互いに類似する、映像処理装置。 - ひとつの小節内で拍に応じて切り替わる前記単位映像は、被写体の動作、撮影時間情報、撮影位置情報、色情報又はカメラワークの少なくともいずれかが近い、請求項7に記載の映像処理装置。
- 入力された音楽の拍を解析する音楽解析部と、
入力された映像から複数の単位映像を抽出する抽出部と、
前記抽出部により抽出された前記単位映像を前記音楽解析部により解析された拍に応じて切り替えるための編集情報を生成する編集部とを備え、
前記音楽解析部は、前記音楽の小節を解析し、
前記編集部は、前記音楽解析部により解析された前記音楽の小節の単位で、拍に応じた前記単位映像の切り替えの実施有無を選択し、
ひとつの小節内で拍に応じて切り替わる前記単位映像の少なくともひとつは、ひとつの小節内で2回以上採用される、映像処理装置。 - 入力された音楽の拍を解析する音楽解析部と、
入力された映像から複数の単位映像を抽出する抽出部と、
前記抽出部により抽出された前記単位映像を前記音楽解析部により解析された拍に応じて切り替えるための編集情報を生成する編集部とを備え、
前記音楽解析部は、前記音楽の小節を解析し、
前記編集部は、前記音楽解析部により解析された前記音楽の小節の単位で、拍に応じた前記単位映像の切り替えの実施有無を選択し、
前記編集情報を生成することにおいて、拍に応じた前記単位映像の切り替えを実施する小節同士を離間させる、映像処理装置。 - 入力された音楽の拍を解析する音楽解析部と、
入力された映像から複数の単位映像を抽出する抽出部と、
前記抽出部により抽出された前記単位映像を前記音楽解析部により解析された拍に応じて切り替えるための編集情報を生成する編集部とを備え、
前記編集情報を生成することにおいて、前記音楽の拍の速さが閾値を超える場合に、前記単位映像を複数拍ごとに切り替えるための前記編集情報を生成する、映像処理装置。 - コンピュータを、
入力された音楽の拍を解析する音楽解析部と、
入力された映像から複数の単位映像を抽出する抽出部と、
前記抽出部により抽出された前記単位映像を前記音楽解析部により解析された拍に応じて切り替えるための編集情報を生成する編集部と、
として機能させるためのプログラムであり、
前記音楽解析部は、前記音楽の小節を解析し、
前記編集部は、前記音楽解析部により解析された前記音楽の小節の単位で、拍に応じた前記単位映像の切り替えの実施有無を選択し、
ひとつの小節内で拍に応じて切り替わる前記単位映像は、互いに類似する、プログラム。 - コンピュータを、
入力された音楽の拍を解析する音楽解析部と、
入力された映像から複数の単位映像を抽出する抽出部と、
前記抽出部により抽出された前記単位映像を前記音楽解析部により解析された拍に応じて切り替えるための編集情報を生成する編集部と、
として機能させるためのプログラムであり、
前記音楽解析部は、前記音楽の小節を解析し、
前記編集部は、前記音楽解析部により解析された前記音楽の小節の単位で、拍に応じた前記単位映像の切り替えの実施有無を選択し、
ひとつの小節内で拍に応じて切り替わる前記単位映像の少なくともひとつは、ひとつの小節内で2回以上採用される、プログラム。 - コンピュータを、
入力された音楽の拍を解析する音楽解析部と、
入力された映像から複数の単位映像を抽出する抽出部と、
前記抽出部により抽出された前記単位映像を前記音楽解析部により解析された拍に応じて切り替えるための編集情報を生成する編集部と、
として機能させるためのプログラムであり、
前記音楽解析部は、前記音楽の小節を解析し、
前記編集部は、前記音楽解析部により解析された前記音楽の小節の単位で、拍に応じた前記単位映像の切り替えの実施有無を選択し、
前記編集情報を生成することにおいて、拍に応じた前記単位映像の切り替えを実施する小節同士を離間させる、プログラム。 - コンピュータを、
入力された音楽の拍を解析する音楽解析部と、
入力された映像から複数の単位映像を抽出する抽出部と、
前記抽出部により抽出された前記単位映像を前記音楽解析部により解析された拍に応じて切り替えるための編集情報を生成する編集部と、
として機能させるためのプログラムであり、
前記編集情報を生成することにおいて、前記音楽の拍の速さが閾値を超える場合に、前記単位映像を複数拍ごとに切り替えるための前記編集情報を生成する、プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014253214 | 2014-12-15 | ||
JP2014253214 | 2014-12-15 | ||
PCT/JP2015/078845 WO2016098430A1 (ja) | 2014-12-15 | 2015-10-09 | 情報処理方法、映像処理装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2016098430A1 JPWO2016098430A1 (ja) | 2017-09-28 |
JP6569687B2 true JP6569687B2 (ja) | 2019-09-04 |
Family
ID=56126332
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016564717A Active JP6569687B2 (ja) | 2014-12-15 | 2015-10-09 | 情報処理方法、映像処理装置及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (2) | US10325627B2 (ja) |
EP (1) | EP3217655A4 (ja) |
JP (1) | JP6569687B2 (ja) |
CN (1) | CN107409193A (ja) |
WO (1) | WO2016098430A1 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB201601143D0 (en) | 2016-01-21 | 2016-03-09 | Oxehealth Ltd | Method and apparatus for health and safety monitoring of a subject in a room |
GB201601142D0 (en) | 2016-01-21 | 2016-03-09 | Oxehealth Ltd | Method and apparatus for estimating breathing rate |
GB201601140D0 (en) | 2016-01-21 | 2016-03-09 | Oxehealth Ltd | Method and apparatus for estimating heart rate |
GB201601217D0 (en) | 2016-01-22 | 2016-03-09 | Oxehealth Ltd | Signal processing method and apparatus |
GB201615899D0 (en) | 2016-09-19 | 2016-11-02 | Oxehealth Ltd | Method and apparatus for image processing |
WO2018087528A1 (en) | 2016-11-08 | 2018-05-17 | Oxehealth Limited | Method and apparatus for image processing |
US10902829B2 (en) | 2017-03-16 | 2021-01-26 | Sony Corporation | Method and system for automatically creating a soundtrack to a user-generated video |
GB201706449D0 (en) | 2017-04-24 | 2017-06-07 | Oxehealth Ltd | Improvements in or realting to in vehicle monitoring |
JP2019004927A (ja) * | 2017-06-20 | 2019-01-17 | カシオ計算機株式会社 | 電子機器、リズム情報報知方法及びプログラム |
GB201803508D0 (en) * | 2018-03-05 | 2018-04-18 | Oxehealth Ltd | Method and apparatus for monitoring of a human or animal subject |
US11508393B2 (en) * | 2018-06-12 | 2022-11-22 | Oscilloscape, LLC | Controller for real-time visual display of music |
GB201900034D0 (en) | 2019-01-02 | 2019-02-13 | Oxehealth Ltd | Method and apparatus for monitoring of a human or animal subject |
GB201900033D0 (en) | 2019-01-02 | 2019-02-13 | Oxehealth Ltd | Mrthod and apparatus for monitoring of a human or animal subject |
GB201900032D0 (en) | 2019-01-02 | 2019-02-13 | Oxehealth Ltd | Method and apparatus for monitoring of a human or animal subject |
CN110099300B (zh) * | 2019-03-21 | 2021-09-03 | 北京奇艺世纪科技有限公司 | 视频处理方法、装置、终端及计算机可读存储介质 |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63253774A (ja) * | 1987-04-10 | 1988-10-20 | Ekuserutoronikusu Kk | ビデオ画像制御装置 |
JP3325809B2 (ja) | 1997-08-15 | 2002-09-17 | 日本電信電話株式会社 | 映像制作方法及び装置及びこの方法を記録した記録媒体 |
GB2380599B (en) * | 2000-12-22 | 2003-10-29 | Kent Ridge Digital Labs | System and method for media production |
AU2003249663A1 (en) * | 2002-05-28 | 2003-12-12 | Yesvideo, Inc. | Summarization of a visual recording |
JP2004096617A (ja) * | 2002-09-03 | 2004-03-25 | Sharp Corp | ビデオ編集方法、ビデオ編集装置、ビデオ編集プログラム、及び、プログラム記録媒体 |
US7127120B2 (en) * | 2002-11-01 | 2006-10-24 | Microsoft Corporation | Systems and methods for automatically editing a video |
JP4196816B2 (ja) | 2003-12-08 | 2008-12-17 | ソニー株式会社 | データ編集装置およびデータ編集方法 |
JP2005269605A (ja) * | 2004-02-20 | 2005-09-29 | Fuji Photo Film Co Ltd | デジタル図鑑システム、図鑑検索方法、図鑑検索プログラム |
WO2005096180A1 (ja) * | 2004-03-31 | 2005-10-13 | Pioneer Corporation | 画像検索方法、装置及びプログラムを記録した記録媒体 |
JP2006127574A (ja) | 2004-10-26 | 2006-05-18 | Sony Corp | コンテンツ利用装置、コンテンツ利用方法、配信サーバー装置、情報配信方法および記録媒体 |
JP4622479B2 (ja) * | 2004-11-25 | 2011-02-02 | ソニー株式会社 | 再生装置および再生方法 |
US20060159370A1 (en) * | 2004-12-10 | 2006-07-20 | Matsushita Electric Industrial Co., Ltd. | Video retrieval system and video retrieval method |
JP4940588B2 (ja) * | 2005-07-27 | 2012-05-30 | ソニー株式会社 | ビート抽出装置および方法、音楽同期画像表示装置および方法、テンポ値検出装置および方法、リズムトラッキング装置および方法、音楽同期表示装置および方法 |
US7558809B2 (en) * | 2006-01-06 | 2009-07-07 | Mitsubishi Electric Research Laboratories, Inc. | Task specific audio classification for identifying video highlights |
US7945142B2 (en) * | 2006-06-15 | 2011-05-17 | Microsoft Corporation | Audio/visual editing tool |
US8370747B2 (en) * | 2006-07-31 | 2013-02-05 | Sony Mobile Communications Ab | Method and system for adapting a visual user interface of a mobile radio terminal in coordination with music |
JP2008048054A (ja) * | 2006-08-11 | 2008-02-28 | Fujifilm Corp | 動画生成方法、プログラムおよび装置 |
JP4660861B2 (ja) * | 2006-09-06 | 2011-03-30 | 富士フイルム株式会社 | 楽曲画像シンクロ動画シナリオ生成方法、プログラムおよび装置 |
JP2008217254A (ja) * | 2007-03-01 | 2008-09-18 | Fujifilm Corp | プレイリスト作成装置、およびプレイリスト作成方法 |
US7904798B2 (en) * | 2007-08-13 | 2011-03-08 | Cyberlink Corp. | Method of generating a presentation with background music and related system |
JP5104709B2 (ja) * | 2008-10-10 | 2012-12-19 | ソニー株式会社 | 情報処理装置、プログラム、および情報処理方法 |
CA2785187C (en) * | 2009-12-25 | 2013-08-06 | Rakuten, Inc. | Image generation device, image generation method, image generation program, and recording medium |
CN102117638A (zh) * | 2009-12-30 | 2011-07-06 | 北京华旗随身数码股份有限公司 | 音乐节奏控制的视频输出的方法及播放装置 |
KR101708726B1 (ko) * | 2010-04-28 | 2017-02-21 | 기븐 이미징 리미티드 | 생체내 영상들 일부 표시 시스템 및 방법 |
JP4890637B1 (ja) * | 2010-10-07 | 2012-03-07 | 株式会社MoSo | コンテンツ編集装置および方法、並びにプログラム |
JP5655713B2 (ja) | 2011-06-03 | 2015-01-21 | カシオ計算機株式会社 | 動画再生装置、動画再生方法及びプログラム |
JP2013200750A (ja) * | 2012-03-26 | 2013-10-03 | Sony Corp | 画像処理装置、画像処理方法およびコンピュータプログラム |
US20130330062A1 (en) * | 2012-06-08 | 2013-12-12 | Mymusaic Inc. | Automatic creation of movie with images synchronized to music |
KR101477486B1 (ko) * | 2013-07-24 | 2014-12-30 | (주) 프람트 | 동영상 재생 및 편집을 위한 사용자 인터페이스 장치 및 그 방법 |
-
2015
- 2015-10-09 US US15/531,732 patent/US10325627B2/en active Active
- 2015-10-09 CN CN201580066673.XA patent/CN107409193A/zh active Pending
- 2015-10-09 JP JP2016564717A patent/JP6569687B2/ja active Active
- 2015-10-09 WO PCT/JP2015/078845 patent/WO2016098430A1/ja active Application Filing
- 2015-10-09 EP EP15869638.5A patent/EP3217655A4/en not_active Withdrawn
-
2019
- 2019-05-13 US US16/410,079 patent/US10847185B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20170323665A1 (en) | 2017-11-09 |
EP3217655A4 (en) | 2018-07-18 |
US10325627B2 (en) | 2019-06-18 |
US10847185B2 (en) | 2020-11-24 |
WO2016098430A1 (ja) | 2016-06-23 |
CN107409193A (zh) | 2017-11-28 |
EP3217655A1 (en) | 2017-09-13 |
US20190267040A1 (en) | 2019-08-29 |
JPWO2016098430A1 (ja) | 2017-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6569687B2 (ja) | 情報処理方法、映像処理装置及びプログラム | |
EP2710594B1 (en) | Video summary including a feature of interest | |
US8643746B2 (en) | Video summary including a particular person | |
US20100094441A1 (en) | Image selection apparatus, image selection method and program | |
US10170157B2 (en) | Method and apparatus for finding and using video portions that are relevant to adjacent still images | |
JP6583285B2 (ja) | 情報処理方法、映像処理装置及びプログラム | |
CN105874780A (zh) | 对一组图像生成文本色彩的方法和装置 | |
US8897603B2 (en) | Image processing apparatus that selects a plurality of video frames and creates an image based on a plurality of images extracted and selected from the frames | |
JP2010191934A (ja) | 情報処理装置、情報処理方法およびプログラム | |
CN104618446A (zh) | 一种实现多媒体推送的方法和装置 | |
US11782572B2 (en) | Prioritization for presentation of media based on sensor data collected by wearable sensor devices | |
JP2012004745A (ja) | 電子機器及び画像処理方法 | |
US20200251146A1 (en) | Method and System for Generating Audio-Visual Content from Video Game Footage | |
WO2011059029A1 (ja) | 映像処理装置、映像処理方法、および映像処理プログラム | |
WO2012160771A1 (ja) | 情報処理装置、情報処理方法、プログラム、記憶媒体及び集積回路 | |
CN105556947A (zh) | 用于色彩检测以生成文本色彩的方法和装置 | |
US20230290382A1 (en) | Method and apparatus for matching music with video, computer device, and storage medium | |
EP3506191A1 (en) | Display control device, display control method, and program | |
JP2016116073A (ja) | 映像処理方法、映像処理装置及びプログラム | |
JP5550447B2 (ja) | 電子機器及び方法 | |
JP2012137560A (ja) | カラオケ装置、カラオケ装置の制御方法及び制御プログラム | |
KR20170121747A (ko) | 비디오 컨텐츠 자동 편집 시스템 및 자동 편집 방법 | |
JP2016131329A (ja) | 画像音声記録装置、画像音声記録方法、画像音声記録プログラム | |
JP2017017387A (ja) | 映像処理装置および映像処理方法 | |
KR20220034754A (ko) | 영상 출력 방법, 사용자 디바이스 및 컴퓨터 프로그램 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181002 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190208 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190214 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190222 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190515 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190522 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190611 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190624 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190709 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190722 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6569687 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |