JPWO2016098430A1 - 情報処理方法、映像処理装置及びプログラム - Google Patents
情報処理方法、映像処理装置及びプログラム Download PDFInfo
- Publication number
- JPWO2016098430A1 JPWO2016098430A1 JP2016564717A JP2016564717A JPWO2016098430A1 JP WO2016098430 A1 JPWO2016098430 A1 JP WO2016098430A1 JP 2016564717 A JP2016564717 A JP 2016564717A JP 2016564717 A JP2016564717 A JP 2016564717A JP WO2016098430 A1 JPWO2016098430 A1 JP WO2016098430A1
- Authority
- JP
- Japan
- Prior art keywords
- unit
- video
- music
- information
- editing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 160
- 238000003672 processing method Methods 0.000 title claims abstract description 40
- 230000010365 information processing Effects 0.000 title claims description 64
- 238000004458 analytical method Methods 0.000 claims description 120
- 238000000605 extraction Methods 0.000 claims description 114
- 230000033001 locomotion Effects 0.000 claims description 24
- HAORKNGNJCEJBX-UHFFFAOYSA-N cyprodinil Chemical compound N=1C(C)=CC(C2CC2)=NC=1NC1=CC=CC=C1 HAORKNGNJCEJBX-UHFFFAOYSA-N 0.000 claims description 14
- 241001342895 Chorus Species 0.000 claims description 8
- 230000008451 emotion Effects 0.000 abstract description 11
- 238000000034 method Methods 0.000 description 65
- 230000008569 process Effects 0.000 description 59
- 230000006870 function Effects 0.000 description 41
- 239000000284 extract Substances 0.000 description 36
- 238000003860 storage Methods 0.000 description 25
- 230000008859 change Effects 0.000 description 23
- 238000011156 evaluation Methods 0.000 description 18
- 238000004891 communication Methods 0.000 description 17
- 238000001514 detection method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 14
- 238000003384 imaging method Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000004904 shortening Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000001755 vocal effect Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 230000033764 rhythmic process Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000009835 boiling Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011112 process operation Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
- G06V20/47—Detecting features for summarising video content
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/36—Accompaniment arrangements
- G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
- G10H1/368—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems displaying animated or moving pictures synchronized with the music or audio part
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/36—Accompaniment arrangements
- G10H1/38—Chord
- G10H1/383—Chord detection and/or recognition, e.g. for correction, or automatic bass generation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/36—Accompaniment arrangements
- G10H1/40—Rhythm
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
- G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/021—Background music, e.g. for video sequences or elevator music
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/061—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of musical phrases, isolation of musically relevant segments, e.g. musical thumbnail generation, or for temporal structure analysis of a musical piece, e.g. determination of the movement sequence of a musical work
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/071—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for rhythm pattern analysis or rhythm style recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/076—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of timing, tempo; Beat detection
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/155—User input interfaces for electrophonic musical instruments
- G10H2220/351—Environmental parameters, e.g. temperature, ambient light, atmospheric pressure, humidity, used as input for musical purposes
- G10H2220/355—Geolocation input, i.e. control of musical parameters based on location or geographic position, e.g. provided by GPS, WiFi network location databases or mobile phone base station position databases
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/155—User input interfaces for electrophonic musical instruments
- G10H2220/391—Angle sensing for musical purposes, using data from a gyroscope, gyrometer or other angular velocity or angular movement sensing device
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/155—User input interfaces for electrophonic musical instruments
- G10H2220/395—Acceleration sensing or accelerometer use, e.g. 3D movement computation by integration of accelerometer data, angle sensing with respect to the vertical, i.e. gravity sensing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/155—User input interfaces for electrophonic musical instruments
- G10H2220/441—Image sensing, i.e. capturing images or optical patterns for musical purposes or musical control purposes
- G10H2220/455—Camera input, e.g. analyzing pictures from a video camera and using the analysis results as control data
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/075—Musical metadata derived from musical analysis or for use in electrophonic musical instruments
- G10H2240/085—Mood, i.e. generation, detection or selection of a particular emotional content or atmosphere in a musical piece
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Television Signal Processing For Recording (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Image Processing (AREA)
Abstract
Description
1.概要
2.基本構成
3.機能詳細
3.1.単位映像の抽出処理
3.2.切り替えタイミングの設定処理
3.3.動作モードの決定処理
3.4.単位映像の選択処理
3.5.採用区間の設定処理
4.動作処理
5.ハードウェア構成例
6.まとめ
まず、図1〜図3を参照して、本実施形態に係る映像処理装置の概要を説明する。
図4は、本実施形態に係る映像処理装置100の論理的な構成の一例を示すブロック図である。図4に示すように、映像処理装置100は、入力部110、記憶部120、出力部130及び制御部140を含む。
入力部110は、外部からの各種情報の入力を受け付ける機能を有する。図4に示すように、入力部110は、センサ部111、操作部112、映像取得部113及び音楽取得部114を含む。
センサ部111は、被写体の動作を検出する機能を有する。例えば、センサ部111は、ジャイロセンサ、加速度センサ及び重力センサを含み得る。被写体とは、撮影対象であり、撮影者(ユーザ)も含むものとする。センサ部111は、GPS(Global Positioning System)、赤外線センサ、近接センサ、タッチセンサ等の任意のセンサを含んでいてもよい。センサ部111は、センシング結果を示すセンサ情報を制御部140へ出力する。なお、センサ部111は、映像処理装置100と一体的に形成されていなくてもよい。例えば、センサ部111は、被写体に装着されたセンサから有線又は無線通信を介してセンサ情報を取得してもよい。
操作部112は、ユーザ操作を受け付ける機能を有する。例えば、操作部112は、ボタン及びタッチパッド等により実現される。操作部112は、撮影中のズーム操作や撮影モードの設定操作などの操作を受け付け得る。撮影モードとしては、例えば動画を撮影する通常モード、及び動画及び静止画を同時に撮影する同時撮影モードなどが考えられる。他にも、操作部112は、撮影中又は撮影後に、要約映像に含めるべき区間を指定する編集指示を受け付け得る。操作部112は、ユーザ操作の内容を示す操作情報を制御部140へ出力する。
映像取得部113は、映像を取得する機能を有する。例えば、映像取得部113は、撮像装置として実現され、デジタル信号とされた撮影画像(動画像/静止画像)のデータを出力する。映像取得部113は、周囲の音を収音し、アンプ及びADC(Analog Digital Converter)を介してデジタル信号に変換した音データを取得するマイクをさらに含んでいてもよい。その場合、映像取得部113は、周囲の音が付随する映像データを出力する。
音楽取得部114は、要約映像のBGMとなる音楽データを取得する機能を有する。例えば、音楽取得部114は、有線又は無線のインタフェースとして実現され、PC又はサーバ等の他の装置から音楽データを取得する。有線のインタフェースとしては、例えばUSB(Universal Serial Bus)等の規格に準拠したコネクタが挙げられる。無線のインタフェースとしては、例えばBluetooth(登録商標)又はWi−Fi(登録商標)等の通信規格に準拠した通信装置が挙げられる。音楽取得部114は、取得した音楽データを制御部140へ出力する。
記憶部120は、各種情報を記憶する機能を有する。例えば、記憶部120は、入力部110から出力された情報、及び制御部140により生成される情報を記憶する。
出力部130は、各種情報を出力する機能を有する。例えば、出力部130は、後述する要約映像生成部146により生成された要約映像を再生する機能を有していてもよい。その場合、出力部130は、表示部及びスピーカを含み得る。他にも、出力部130は、後述する編集部144により生成された編集情報を出力する機能を有していてもよい。その場合、出力部130は、有線又は無線のインタフェースを含み得る。
制御部140は、演算処理装置および制御装置として機能し、各種プログラムに従って映像処理装置100内の動作全般を制御する。図4に示すように、制御部140は、音楽解析部141、映像解析部142、抽出部143、編集部144、動作モード制御部145及び要約映像生成部146を含む。
音楽解析部141は、入力された音楽の内容を解析する機能を有する。詳しくは、音楽解析部141は、音楽取得部114により取得された音楽データを対象として、音楽理論に基づく解析を行う。
映像解析部142は、入力された映像の内容を解析する機能を有する。詳しくは、映像解析部142は、映像取得部113により取得された映像データを対象として、内容の解析を行う。そして、映像解析部142は、映像の内容の解析結果を示す映像解析結果情報を抽出部143へ出力する。
例えば、映像解析部142は、入力部110により入力された情報に基づいてハイライトを検出し、検出したハイライトを示す情報を映像解析結果情報に含めて出力する。一例として、映像解析部142が、被写体動作、ユーザ操作、並びに顔及び笑顔に関するハイライトを検出する例を説明する。
例えば、映像解析部142は、入力部110により入力された情報に基づいてシーンセグメントのための情報を検出し、検出したシーンセグメントのための情報を映像解析結果情報に含めて出力する。一例として、映像解析部142が、色、カメラワーク、日時及び場所に関するシーンセグメントのための情報を検出する例を説明する。
抽出部143は、入力された映像から複数の単位映像を抽出する機能を有する。詳しくは、抽出部143は、映像解析部142による解析結果に基づいて、映像取得部113により取得された映像データから複数の単位映像を抽出する。詳しくは、抽出部143は、解析結果情報が示す映像の属性が同一である一続きの映像を、単位映像として抽出する。
編集部144は、抽出部143により抽出された単位映像を、入力された音楽に応じて切り替えるための編集情報を生成する機能を有する。例えば、編集部144は、入力されたどの音楽のどの区間をBGMとするかを設定する。そして、編集部144は、BGMにする音楽を音楽解析部141による音楽解析結果により区切り、各区間に抽出部143により抽出された単位映像を割り当てる。これにより、要約映像において、音楽が区切られたタイミングで単位映像が切り替わることとなる。単位映像の割り当ての際、編集部144は、抽出部143により抽出された単位映像から全部又は一部を要約映像に採用する単位映像として決定し、採用した単位映像を各区間に割り当て得る。なお、編集部144は、原則撮影時刻の順に単位映像を割り当てるものとする。もちろん、編集部144は、撮影時刻に依存せずに単位映像を割り当ててもよい。このように、編集部144は、入力されたどの音楽のどの区間をBGMとして、どの単位映像をどのタイミングで切り替えるかを設定することで、編集情報を生成する。編集部144による処理の詳細については、後に詳しく説明する。
動作モード制御部145は、抽出部143及び編集部144における動作モードを制御する機能を有する。動作モード制御部145は、抽出部143による単位映像の抽出結果、及び編集部144による切り替えタイミングの設定結果に応じて、動作モードを制御する。動作モード制御部145による処理の詳細については、後に詳しく説明する。
要約映像生成部146は、音楽と編集情報に基づいて切り替わる単位映像とから成る要約映像を生成する機能を有する。例えば、要約映像生成部146は、編集情報により指定された音楽をBGMとして、編集情報により指定された単位映像を指定されたタイミングで切り替えて連結することで、要約映像を生成する。
以上、本実施形態に係る映像処理装置100の基本構成を説明した。続いて、映像処理装置100が有する機能を詳細に説明する。
抽出部143は、映像解析部142による解析結果に基づいて、映像取得部113により取得された映像データから複数の単位映像を抽出する。具体的には、抽出部143は、映像解析部142により解析された映像の属性に応じて単位映像を抽出する。例えば、抽出部143は、シーンセグメントのための情報及びハイライトを示す情報に基づいて、映像データからハイライトショット及びサブショットを抽出する。以下、図5を参照して、映像解析結果に基づく単位映像の抽出処理を具体的に説明する。
編集部144は、音楽解析部141から出力された音楽解析結果情報に基づいて、入力された音楽に応じて単位映像の切り替えタイミングを設定する。例えば、編集部144は、抽出部143により抽出された単位映像を、音楽解析部141により解析された構成要素に応じて、小節に応じて、又は拍に応じて切り替えるための編集情報を生成してもよい。具体的には、編集部144は、入力された音楽を、構成要素が切り替わるタイミング、小節が切り替わるタイミング、又は拍に応じたタイミングで区切り、その区切った位置に単位映像の切り替えタイミングを設定する。
上述した、切り替えタイミングの設定処理と単位映像の抽出処理との順番は任意である。
(概要)
編集部144は、抽出部143により抽出された単位映像の中から、要約映像に採用する単位映像を選択する。例えば、編集部144は、ハイライトを優先して、採用数分の単位映像を選択する。以下、図8及び図9を参照して、単位映像の選択処理を説明する。
以下では、サブショットの選択のために用いられる評価関数の一例を説明する。例えば、編集部144は、下記の数式1に示す評価関数を用いて、サブショットを選択し得る。
以下では、ハイライトショットの選択のために用いられる評価関数の一例を説明する。例えば、編集部144は、下記の数式2に示す評価関数を用いて、ハイライトショットを選択し得る。
ハイライトスコアHs−減衰係数×選択回数≧閾値 …(数式3)
編集部144は、抽出部143により抽出された単位映像に当該単位映像の内容に応じた採用区間を設定し、複数の単位映像の各々について設定した採用区間を採用するための編集情報を生成する。例えば、編集部144は、単位映像の内容に応じて、要約映像に採用すべき採用区間を設定し、設定した採用区間を連結するための編集情報を生成する。なお、採用区間の位置とは、単位映像のうち、要約映像に採用される区間である。採用区間は単位映像の全部であってもよいし、一部であってもよい。
図13は、本実施形態に係る映像処理装置100において実行される要約映像の生成処理の流れの一例を示すフローチャートである。
最後に、図14を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図14は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図14に示す情報処理装置900は、例えば、図4に示した映像処理装置100を実現し得る。本実施形態に係る映像処理装置100による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
以上、図1〜図14を参照して、本開示の一実施形態について詳細に説明した。上記説明したように、本実施形態に係る映像処理装置100は、音楽に合わせた適切なタイミングで適切な単位映像が切り替わることで、鑑賞者の感情を盛り上げることが可能な要約映像を生成することが可能である。
(1)
入力された音楽のビートを解析することと、
入力された映像から複数の単位映像を抽出することと、
抽出された前記単位映像を解析されたビートに応じて切り替えるための編集情報をプロセッサにより生成することと、
を含む情報処理方法。
(2)
前記情報処理方法は、前記音楽の小節を解析することをさらに含み、
前記編集情報を生成することにおいて、解析された前記音楽の小節の単位で、拍に応じた前記単位映像の切り替えの実施有無を選択する、前記(1)に記載の情報処理方法。
(3)
ひとつの小節内で拍に応じて切り替わる前記単位映像は、互いに類似する、前記(2)に記載の情報処理方法。
(4)
ひとつの小節内で拍に応じて切り替わる前記単位映像は、被写体の動作、撮影時間情報、撮影位置情報、色情報又はカメラワークの少なくともいずれかが近い、前記(3)に記載の情報処理方法。
(5)
ひとつの小節内で拍に応じて切り替わる前記単位映像は、特定の被写体が含まれる、前記(3)に記載の情報処理方法。
(6)
ひとつの小節内で拍に応じて切り替わる前記単位映像の少なくともひとつは、ひとつの小節内で2回以上採用される、前記(2)〜(5)のいずれか一項に記載の情報処理方法。
(7)
ひとつの小節内で拍に応じて切り替わる前記単位映像は、それぞれ異なる、前記(2)〜(6)のいずれか一項に記載の情報処理方法。
(8)
前記編集情報を生成することにおいて、拍に応じた前記単位映像の切り替えを実施する小節同士を離間させる、前記(2)〜(7)のいずれか一項に記載の情報処理方法。
(9)
前記情報処理方法は、前記音楽の構造を解析することをさらに含み、
前記編集情報を生成することにおいて、解析された前記音楽の構造の種類ごとに、拍に応じた前記単位映像の切り替えの実施回数を設定する、前記(1)〜(8)のいずれか一項に記載の情報処理方法。
(10)
前記情報処理方法は、前記音楽のうち所定の条件を満たす部分を特定することをさらに含み、
前記編集情報を生成することは、特定された前記所定の条件を満たす部分で、拍に応じた前記単位映像の切り替えを実施する、前記(1)〜(9)のいずれか一項に記載の情報処理方法。
(11)
前記音楽のうち前記所定の条件を満たす部分を特定することにおいて、音楽理論に基づいて前記音楽のコーラス部分を特定する、前記(10)に記載の情報処理方法。
(12)
前記編集情報を生成することにおいて、前記単位映像を1拍ごとに切り替えるための前記編集情報を生成する、前記(1)〜(11)のいずれか一項に記載の情報処理方法。
(13)
前記編集情報を生成することにおいて、前記音楽の拍の速さが閾値を超える場合に、前記単位映像を複数拍ごとに切り替えるための前記編集情報を生成する、前記(1)〜(11)のいずれか一項に記載の情報処理方法。
(14)
前記情報処理方法は、前記音楽と前記編集情報に基づいて切り替わる前記単位映像とから成る要約映像を生成することをさらに含む、前記(1)〜(13)のいずれか一項に記載の情報処理方法。
(15)
前記情報処理方法は、生成された前記要約映像を再生することをさらに含む、前記(14)に記載の情報処理方法。
(16)
入力された音楽の拍を解析する音楽解析部と、
入力された映像から複数の単位映像を抽出する抽出部と、
前記抽出部により抽出された前記単位映像を前記音楽解析部により解析された拍に応じて切り替えるための編集情報を生成する編集部と、
を備える映像処理装置。
(17)
前記音楽解析部は、前記音楽の小節を解析し、
前記編集部は、前記音楽解析部により解析された前記音楽の小節の単位で、拍に応じた前記単位映像の切り替えの実施有無を選択する、前記(16)に記載の映像処理装置。
(18)
ひとつの小節内で拍に応じて切り替わる前記単位映像は、互いに類似する、前記(17)に記載の映像処理装置。
(19)
ひとつの小節内で拍に応じて切り替わる前記単位映像は、被写体の動作、撮影時間情報、撮影位置情報、色情報又はカメラワークの少なくともいずれかが近い、前記(18)に記載の映像処理装置。
(20)
コンピュータを、
入力された音楽の拍を解析する音楽解析部と、
入力された映像から複数の単位映像を抽出する抽出部と、
前記抽出部により抽出された前記単位映像を前記音楽解析部により解析された拍に応じて切り替えるための編集情報を生成する編集部と、
として機能させるためのプログラム。
20 映像解析結果情報
30 音楽
40 編集情報
50 要約映像
100 映像処理装置
110 入力部
111 センサ部
112 操作部
113 映像取得部
114 音楽取得部
120 記憶部
130 出力部
140 制御部
141 音楽解析部
142 映像解析部
143 抽出部
144 編集部
145 動作モード制御部
146 要約映像生成部
Claims (20)
- 入力された音楽のビートを解析することと、
入力された映像から複数の単位映像を抽出することと、
抽出された前記単位映像を解析されたビートに応じて切り替えるための編集情報をプロセッサにより生成することと、
を含む情報処理方法。 - 前記情報処理方法は、前記音楽の小節を解析することをさらに含み、
前記編集情報を生成することにおいて、解析された前記音楽の小節の単位で、拍に応じた前記単位映像の切り替えの実施有無を選択する、請求項1に記載の情報処理方法。 - ひとつの小節内で拍に応じて切り替わる前記単位映像は、互いに類似する、請求項2に記載の情報処理方法。
- ひとつの小節内で拍に応じて切り替わる前記単位映像は、被写体の動作、撮影時間情報、撮影位置情報、色情報又はカメラワークの少なくともいずれかが近い、請求項3に記載の情報処理方法。
- ひとつの小節内で拍に応じて切り替わる前記単位映像は、特定の被写体が含まれる、請求項3に記載の情報処理方法。
- ひとつの小節内で拍に応じて切り替わる前記単位映像の少なくともひとつは、ひとつの小節内で2回以上採用される、請求項2に記載の情報処理方法。
- ひとつの小節内で拍に応じて切り替わる前記単位映像は、それぞれ異なる、請求項2に記載の情報処理方法。
- 前記編集情報を生成することにおいて、拍に応じた前記単位映像の切り替えを実施する小節同士を離間させる、請求項2に記載の情報処理方法。
- 前記情報処理方法は、前記音楽の構造を解析することをさらに含み、
前記編集情報を生成することにおいて、解析された前記音楽の構造の種類ごとに、拍に応じた前記単位映像の切り替えの実施回数を設定する、請求項1に記載の情報処理方法。 - 前記情報処理方法は、前記音楽のうち所定の条件を満たす部分を特定することをさらに含み、
前記編集情報を生成することは、特定された前記所定の条件を満たす部分で、拍に応じた前記単位映像の切り替えを実施する、請求項1に記載の情報処理方法。 - 前記音楽のうち前記所定の条件を満たす部分を特定することにおいて、音楽理論に基づいて前記音楽のコーラス部分を特定する、請求項10に記載の情報処理方法。
- 前記編集情報を生成することにおいて、前記単位映像を1拍ごとに切り替えるための前記編集情報を生成する、請求項1に記載の情報処理方法。
- 前記編集情報を生成することにおいて、前記音楽の拍の速さが閾値を超える場合に、前記単位映像を複数拍ごとに切り替えるための前記編集情報を生成する、請求項1に記載の情報処理方法。
- 前記情報処理方法は、前記音楽と前記編集情報に基づいて切り替わる前記単位映像とから成る要約映像を生成することをさらに含む、請求項1に記載の情報処理方法。
- 前記情報処理方法は、生成された前記要約映像を再生することをさらに含む、請求項14に記載の情報処理方法。
- 入力された音楽の拍を解析する音楽解析部と、
入力された映像から複数の単位映像を抽出する抽出部と、
前記抽出部により抽出された前記単位映像を前記音楽解析部により解析された拍に応じて切り替えるための編集情報を生成する編集部と、
を備える映像処理装置。 - 前記音楽解析部は、前記音楽の小節を解析し、
前記編集部は、前記音楽解析部により解析された前記音楽の小節の単位で、拍に応じた前記単位映像の切り替えの実施有無を選択する、請求項16に記載の映像処理装置。 - ひとつの小節内で拍に応じて切り替わる前記単位映像は、互いに類似する、請求項17に記載の映像処理装置。
- ひとつの小節内で拍に応じて切り替わる前記単位映像は、被写体の動作、撮影時間情報、撮影位置情報、色情報又はカメラワークの少なくともいずれかが近い、請求項18に記載の映像処理装置。
- コンピュータを、
入力された音楽の拍を解析する音楽解析部と、
入力された映像から複数の単位映像を抽出する抽出部と、
前記抽出部により抽出された前記単位映像を前記音楽解析部により解析された拍に応じて切り替えるための編集情報を生成する編集部と、
として機能させるためのプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014253214 | 2014-12-15 | ||
JP2014253214 | 2014-12-15 | ||
PCT/JP2015/078845 WO2016098430A1 (ja) | 2014-12-15 | 2015-10-09 | 情報処理方法、映像処理装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2016098430A1 true JPWO2016098430A1 (ja) | 2017-09-28 |
JP6569687B2 JP6569687B2 (ja) | 2019-09-04 |
Family
ID=56126332
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016564717A Active JP6569687B2 (ja) | 2014-12-15 | 2015-10-09 | 情報処理方法、映像処理装置及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (2) | US10325627B2 (ja) |
EP (1) | EP3217655A4 (ja) |
JP (1) | JP6569687B2 (ja) |
CN (1) | CN107409193A (ja) |
WO (1) | WO2016098430A1 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB201601143D0 (en) | 2016-01-21 | 2016-03-09 | Oxehealth Ltd | Method and apparatus for health and safety monitoring of a subject in a room |
GB201601140D0 (en) | 2016-01-21 | 2016-03-09 | Oxehealth Ltd | Method and apparatus for estimating heart rate |
GB201601142D0 (en) | 2016-01-21 | 2016-03-09 | Oxehealth Ltd | Method and apparatus for estimating breathing rate |
GB201601217D0 (en) | 2016-01-22 | 2016-03-09 | Oxehealth Ltd | Signal processing method and apparatus |
GB201615899D0 (en) | 2016-09-19 | 2016-11-02 | Oxehealth Ltd | Method and apparatus for image processing |
US10885349B2 (en) | 2016-11-08 | 2021-01-05 | Oxehealth Limited | Method and apparatus for image processing |
US10902829B2 (en) | 2017-03-16 | 2021-01-26 | Sony Corporation | Method and system for automatically creating a soundtrack to a user-generated video |
GB201706449D0 (en) | 2017-04-24 | 2017-06-07 | Oxehealth Ltd | Improvements in or realting to in vehicle monitoring |
JP2019004927A (ja) * | 2017-06-20 | 2019-01-17 | カシオ計算機株式会社 | 電子機器、リズム情報報知方法及びプログラム |
GB201803508D0 (en) * | 2018-03-05 | 2018-04-18 | Oxehealth Ltd | Method and apparatus for monitoring of a human or animal subject |
US11508393B2 (en) * | 2018-06-12 | 2022-11-22 | Oscilloscape, LLC | Controller for real-time visual display of music |
GB201900033D0 (en) | 2019-01-02 | 2019-02-13 | Oxehealth Ltd | Mrthod and apparatus for monitoring of a human or animal subject |
GB201900034D0 (en) | 2019-01-02 | 2019-02-13 | Oxehealth Ltd | Method and apparatus for monitoring of a human or animal subject |
GB201900032D0 (en) | 2019-01-02 | 2019-02-13 | Oxehealth Ltd | Method and apparatus for monitoring of a human or animal subject |
CN110099300B (zh) * | 2019-03-21 | 2021-09-03 | 北京奇艺世纪科技有限公司 | 视频处理方法、装置、终端及计算机可读存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004096617A (ja) * | 2002-09-03 | 2004-03-25 | Sharp Corp | ビデオ編集方法、ビデオ編集装置、ビデオ編集プログラム、及び、プログラム記録媒体 |
JP2004159331A (ja) * | 2002-11-01 | 2004-06-03 | Microsoft Corp | ビデオを自動的に編集するためのシステムおよび方法 |
JP2006127574A (ja) * | 2004-10-26 | 2006-05-18 | Sony Corp | コンテンツ利用装置、コンテンツ利用方法、配信サーバー装置、情報配信方法および記録媒体 |
JP2008048054A (ja) * | 2006-08-11 | 2008-02-28 | Fujifilm Corp | 動画生成方法、プログラムおよび装置 |
JP2010093741A (ja) * | 2008-10-10 | 2010-04-22 | Sony Corp | 情報処理装置、プログラム、および情報処理方法 |
JP2012084957A (ja) * | 2010-10-07 | 2012-04-26 | Moso Inc | コンテンツ編集装置および方法、並びにプログラム |
JP2012253619A (ja) * | 2011-06-03 | 2012-12-20 | Casio Comput Co Ltd | 動画再生装置、動画再生方法及びプログラム |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63253774A (ja) * | 1987-04-10 | 1988-10-20 | Ekuserutoronikusu Kk | ビデオ画像制御装置 |
JP3325809B2 (ja) | 1997-08-15 | 2002-09-17 | 日本電信電話株式会社 | 映像制作方法及び装置及びこの方法を記録した記録媒体 |
EP1354318A1 (en) * | 2000-12-22 | 2003-10-22 | Muvee Technologies Pte Ltd | System and method for media production |
US20040052505A1 (en) * | 2002-05-28 | 2004-03-18 | Yesvideo, Inc. | Summarization of a visual recording |
JP4196816B2 (ja) | 2003-12-08 | 2008-12-17 | ソニー株式会社 | データ編集装置およびデータ編集方法 |
JP2005269605A (ja) * | 2004-02-20 | 2005-09-29 | Fuji Photo Film Co Ltd | デジタル図鑑システム、図鑑検索方法、図鑑検索プログラム |
JP4465534B2 (ja) * | 2004-03-31 | 2010-05-19 | パイオニア株式会社 | 画像検索方法、装置及びプログラムを記録した記録媒体 |
JP4622479B2 (ja) * | 2004-11-25 | 2011-02-02 | ソニー株式会社 | 再生装置および再生方法 |
US20060159370A1 (en) * | 2004-12-10 | 2006-07-20 | Matsushita Electric Industrial Co., Ltd. | Video retrieval system and video retrieval method |
JP4940588B2 (ja) * | 2005-07-27 | 2012-05-30 | ソニー株式会社 | ビート抽出装置および方法、音楽同期画像表示装置および方法、テンポ値検出装置および方法、リズムトラッキング装置および方法、音楽同期表示装置および方法 |
US7558809B2 (en) * | 2006-01-06 | 2009-07-07 | Mitsubishi Electric Research Laboratories, Inc. | Task specific audio classification for identifying video highlights |
US7945142B2 (en) * | 2006-06-15 | 2011-05-17 | Microsoft Corporation | Audio/visual editing tool |
US8370747B2 (en) * | 2006-07-31 | 2013-02-05 | Sony Mobile Communications Ab | Method and system for adapting a visual user interface of a mobile radio terminal in coordination with music |
JP4660861B2 (ja) * | 2006-09-06 | 2011-03-30 | 富士フイルム株式会社 | 楽曲画像シンクロ動画シナリオ生成方法、プログラムおよび装置 |
JP2008217254A (ja) * | 2007-03-01 | 2008-09-18 | Fujifilm Corp | プレイリスト作成装置、およびプレイリスト作成方法 |
US7904798B2 (en) * | 2007-08-13 | 2011-03-08 | Cyberlink Corp. | Method of generating a presentation with background music and related system |
CA2785187C (en) * | 2009-12-25 | 2013-08-06 | Rakuten, Inc. | Image generation device, image generation method, image generation program, and recording medium |
CN102117638A (zh) * | 2009-12-30 | 2011-07-06 | 北京华旗随身数码股份有限公司 | 音乐节奏控制的视频输出的方法及播放装置 |
WO2011135573A1 (en) * | 2010-04-28 | 2011-11-03 | Given Imaging Ltd. | System and method for displaying portions of in-vivo images |
JP2013200750A (ja) * | 2012-03-26 | 2013-10-03 | Sony Corp | 画像処理装置、画像処理方法およびコンピュータプログラム |
US20130330062A1 (en) * | 2012-06-08 | 2013-12-12 | Mymusaic Inc. | Automatic creation of movie with images synchronized to music |
KR101477486B1 (ko) * | 2013-07-24 | 2014-12-30 | (주) 프람트 | 동영상 재생 및 편집을 위한 사용자 인터페이스 장치 및 그 방법 |
-
2015
- 2015-10-09 JP JP2016564717A patent/JP6569687B2/ja active Active
- 2015-10-09 US US15/531,732 patent/US10325627B2/en active Active
- 2015-10-09 WO PCT/JP2015/078845 patent/WO2016098430A1/ja active Application Filing
- 2015-10-09 CN CN201580066673.XA patent/CN107409193A/zh active Pending
- 2015-10-09 EP EP15869638.5A patent/EP3217655A4/en not_active Withdrawn
-
2019
- 2019-05-13 US US16/410,079 patent/US10847185B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004096617A (ja) * | 2002-09-03 | 2004-03-25 | Sharp Corp | ビデオ編集方法、ビデオ編集装置、ビデオ編集プログラム、及び、プログラム記録媒体 |
JP2004159331A (ja) * | 2002-11-01 | 2004-06-03 | Microsoft Corp | ビデオを自動的に編集するためのシステムおよび方法 |
JP2006127574A (ja) * | 2004-10-26 | 2006-05-18 | Sony Corp | コンテンツ利用装置、コンテンツ利用方法、配信サーバー装置、情報配信方法および記録媒体 |
JP2008048054A (ja) * | 2006-08-11 | 2008-02-28 | Fujifilm Corp | 動画生成方法、プログラムおよび装置 |
JP2010093741A (ja) * | 2008-10-10 | 2010-04-22 | Sony Corp | 情報処理装置、プログラム、および情報処理方法 |
JP2012084957A (ja) * | 2010-10-07 | 2012-04-26 | Moso Inc | コンテンツ編集装置および方法、並びにプログラム |
JP2012253619A (ja) * | 2011-06-03 | 2012-12-20 | Casio Comput Co Ltd | 動画再生装置、動画再生方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US10847185B2 (en) | 2020-11-24 |
JP6569687B2 (ja) | 2019-09-04 |
WO2016098430A1 (ja) | 2016-06-23 |
EP3217655A4 (en) | 2018-07-18 |
CN107409193A (zh) | 2017-11-28 |
US10325627B2 (en) | 2019-06-18 |
US20170323665A1 (en) | 2017-11-09 |
US20190267040A1 (en) | 2019-08-29 |
EP3217655A1 (en) | 2017-09-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6569687B2 (ja) | 情報処理方法、映像処理装置及びプログラム | |
US9672411B2 (en) | Information processing apparatus and method, and program | |
US20100094441A1 (en) | Image selection apparatus, image selection method and program | |
EP2710594B1 (en) | Video summary including a feature of interest | |
JP6583285B2 (ja) | 情報処理方法、映像処理装置及びプログラム | |
US11710318B2 (en) | Systems and methods for creating video summaries | |
JP4988011B2 (ja) | 電子機器及び画像処理方法 | |
CN105874780A (zh) | 对一组图像生成文本色彩的方法和装置 | |
US8897603B2 (en) | Image processing apparatus that selects a plurality of video frames and creates an image based on a plurality of images extracted and selected from the frames | |
KR102045575B1 (ko) | 스마트 미러 디스플레이 장치 | |
US11782572B2 (en) | Prioritization for presentation of media based on sensor data collected by wearable sensor devices | |
EP3690882A1 (en) | Method and system for generating audio-visual content from video game footage | |
WO2012160771A1 (ja) | 情報処理装置、情報処理方法、プログラム、記憶媒体及び集積回路 | |
JP2011124979A (ja) | 映像処理装置、映像処理方法、および映像処理プログラム | |
CN105556947A (zh) | 用于色彩检测以生成文本色彩的方法和装置 | |
US20230290382A1 (en) | Method and apparatus for matching music with video, computer device, and storage medium | |
EP3506191A1 (en) | Display control device, display control method, and program | |
JP2016116073A (ja) | 映像処理方法、映像処理装置及びプログラム | |
JP2012004747A (ja) | 電子機器および画像表示方法 | |
JP5550447B2 (ja) | 電子機器及び方法 | |
JP2012137560A (ja) | カラオケ装置、カラオケ装置の制御方法及び制御プログラム | |
KR20170121747A (ko) | 비디오 컨텐츠 자동 편집 시스템 및 자동 편집 방법 | |
JP2016131329A (ja) | 画像音声記録装置、画像音声記録方法、画像音声記録プログラム | |
JP2017017387A (ja) | 映像処理装置および映像処理方法 | |
CN117768595A (zh) | 视频处理方法、装置、设备、存储介质和程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181002 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190208 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190214 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190222 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190515 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190522 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190611 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190624 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190709 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190722 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6569687 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |