JP7385289B2 - プログラム及び情報処理装置 - Google Patents
プログラム及び情報処理装置 Download PDFInfo
- Publication number
- JP7385289B2 JP7385289B2 JP2021127660A JP2021127660A JP7385289B2 JP 7385289 B2 JP7385289 B2 JP 7385289B2 JP 2021127660 A JP2021127660 A JP 2021127660A JP 2021127660 A JP2021127660 A JP 2021127660A JP 7385289 B2 JP7385289 B2 JP 7385289B2
- Authority
- JP
- Japan
- Prior art keywords
- video data
- effect
- telop
- data
- emotion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 14
- 230000000694 effects Effects 0.000 claims description 303
- 230000008451 emotion Effects 0.000 claims description 164
- 238000000034 method Methods 0.000 claims description 84
- 238000012545 processing Methods 0.000 claims description 71
- 230000008569 process Effects 0.000 claims description 57
- 238000005034 decoration Methods 0.000 claims description 13
- 238000003860 storage Methods 0.000 description 37
- 239000000284 extract Substances 0.000 description 29
- 238000010586 diagram Methods 0.000 description 24
- 230000000875 corresponding effect Effects 0.000 description 20
- 238000012549 training Methods 0.000 description 20
- 230000008859 change Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 238000001228 spectrum Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 210000002569 neuron Anatomy 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000002996 emotional effect Effects 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 230000008909 emotion recognition Effects 0.000 description 2
- 238000007477 logistic regression Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 241000102542 Kara Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Images
Description
実施形態1は、映像データに追加すべきエフェクトを出力する形態に関する。エフェクトは、映像データに合成可能なフィルタ、スタンプ、絵文字、フラッシュ、アニメーション等のイメージオブジェクトで構成されたコンテンツ、または、映像データに合成可能なサウンドコンテンツ等である。
映像データDB172は、映像ID列及び映像データ列を含む。映像ID列は、各映像データを識別するために、一意に特定される映像データのIDを記憶している。映像データ列は、映像データを記憶している。
訓練データDB174は、入力データ列及び出力データ列を含む。入力データ列は、映像データを記憶している。出力データ列は、感情の種類を記憶している。
上述した処理では、特定された感情に応じてエフェクトのデータを取得したが、これに限るものではない。本変形例では、音声データの特徴量に基づいてエフェクトのデータを直接取得する処理を説明する。
実施形態2は、映像データに含まれる音声データに基づいてテロップを取得し、取得したテロップを当該映像データに重畳して表示する形態に関する。なお、実施形態1と重複する内容については説明を省略する。
図15は、テロップ特定モデル176を用いるテロップ特定処理の概要を説明する説明図である。テロップ特定モデル176は、人工知能ソフトウェアの一部であるプログラムモジュールとして利用される。テロップ特定モデル176は、映像データに含まれる音声データが入力された場合に、該映像データに重畳するテロップを特定(推定)した特定結果を出力する学習モデルである。
実施形態3は、映像データに対してエフェクトまたはテロップの設定処理を行う形態に関する。なお、実施形態1~2と重複する内容については説明を省略する。
実施形態4は、映像データから無音部分のデータを検出し、検出した無音部分のデータ以外の映像データを連結して出力する形態に関する。なお、実施形態1~3と重複する内容については説明を省略する。
11 制御部
12 記憶部
13 通信部
14 入力部
15 表示部
16 読取部
17 大容量記憶部
171 感情特定モデル(第1学習モデル)
172 映像データDB
173 エフェクトDB
174 訓練データDB
175 エフェクト設定結果DB
176 テロップ特定モデル(第2学習モデル)
1a 可搬型記憶媒体
1b 半導体メモリ
1P 制御プログラム
Claims (11)
- 被写体を含む映像データを取得し、
取得した映像データを第1表示欄及び第2表示欄に同時に表示し、
前記映像データに基づいて前記被写体の感情を特定し、
特定した感情に応じて、画像のエフェクト及び音声のエフェクトを複数取得し、
取得した各画像のエフェクト及び各音声のエフェクトの選択を受け付けるための第1選択用オブジェクトを複数表示し、
表示した第1選択用オブジェクトを通じて、前記映像データに追加すべき画像のエフェクト及び音声のエフェクトの選択を受け付け、
前記第2表示欄に、受け付けた画像のエフェクトを前記映像データに重畳して表示し、
前記映像データに含まれている音声データに基づき、前記映像データに重畳するテロップを取得し、
前記第1表示欄及び前記第2表示欄に、取得したテロップを前記映像データに重畳して表示し、
特定した感情に基づき、前記テロップを装飾するための装飾のエフェクトを複数取得し、
取得した各装飾のエフェクトの選択を受け付けるための第2選択用オブジェクトを複数表示し、
表示した第2選択用オブジェクトを通じて、前記テロップを装飾すべき装飾のエフェクトの選択を受け付け、
前記第2表示欄に、受け付けた装飾のエフェクトで装飾された前記テロップを、前記映像データに重畳して表示する
処理をコンピュータに実行させるプログラム。 - 前記映像データを入力した場合に、前記映像データに含まれる被写体の感情を特定するよう学習済みの第1学習モデルに、取得した映像データを入力して、前記被写体の感情を特定した特定結果を出力する
処理を実行させる請求項1に記載のプログラム。 - 前記映像データに含まれる音声データから、前記被写体の発話におけるピッチ、話速または抑揚に基づく特徴量を抽出し、
抽出した前記特徴量に基づいて、前記被写体の感情を特定する
処理を実行させる請求項1に記載のプログラム。 - 感情の種類に基づいて設けられたエフェクトデータベースから、前記感情を表すエフェクトを取得する
処理を実行させる請求項1に記載のプログラム。 - 前記エフェクトを前記映像データに重畳して表示する
処理を実行させる請求項1から4のいずれか一つに記載のプログラム。 - 前記映像データに含まれている音声データをテキスト化し、
テキスト化したテキストデータの一部を、前記映像データに重畳するテロップとして取得し、
取得したテロップを前記映像データに重畳して表示する
処理を実行させる請求項1から5のいずれか一つに記載のプログラム。 - 前記映像データに含まれている音声データの特徴量に基づき、前記映像データに重畳するテロップを取得し、
取得したテロップを前記映像データに重畳して表示する
処理を実行させる請求項1から5のいずれか一つに記載のプログラム。 - 前記映像データに含まれている音声データを入力した場合に、前記映像データに重畳するテロップを特定するよう学習済みの第2学習モデルに、取得した前記音声データを入力して、前記テロップを特定した特定結果を出力し、
出力した特定結果に含まれるテロップを前記映像データに重畳して表示する
処理を実行させる請求項1から5のいずれか一つに記載のプログラム。 - 特定した感情に基づき、前記テロップを装飾したエフェクトを決定し、
決定したエフェクトで装飾されたテロップを前記映像データに重畳して表示する
処理を実行させる請求項6から8のいずれか一つに記載のプログラム。 - 前記映像データから無音部分のデータを検出し、
検出した無音部分のデータ以外の映像データを連結して出力する
処理を実行させる請求項1から9のいずれか一つに記載のプログラム。 - 制御部を備える情報処理装置であって、
前記制御部は、
被写体を含む映像データを取得し、
取得した映像データを第1表示欄及び第2表示欄に同時に表示し、
前記映像データに基づいて前記被写体の感情を特定し、
特定した感情に応じて、画像のエフェクト及び音声のエフェクトを複数取得し、
取得した各画像のエフェクト及び各音声のエフェクトの選択を受け付けるための第1選択用オブジェクトを複数表示し、
表示した第1選択用オブジェクトを通じて、前記映像データに追加すべき画像のエフェクト及び音声のエフェクトの選択を受け付け、
前記第2表示欄に、受け付けた画像のエフェクトを前記映像データに重畳して表示し、
前記映像データに含まれている音声データに基づき、前記映像データに重畳するテロップを取得し、
前記第1表示欄及び前記第2表示欄に、取得したテロップを前記映像データに重畳して表示し、
特定した感情に基づき、前記テロップを装飾するための装飾のエフェクトを複数取得し、
取得した各装飾のエフェクトの選択を受け付けるための第2選択用オブジェクトを複数表示し、
表示した第2選択用オブジェクトを通じて、前記テロップを装飾すべき装飾のエフェクトの選択を受け付け、
前記第2表示欄に、受け付けた装飾のエフェクトで装飾された前記テロップを、前記映像データに重畳して表示する
情報処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021127660A JP7385289B2 (ja) | 2021-08-03 | 2021-08-03 | プログラム及び情報処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021127660A JP7385289B2 (ja) | 2021-08-03 | 2021-08-03 | プログラム及び情報処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023022665A JP2023022665A (ja) | 2023-02-15 |
JP7385289B2 true JP7385289B2 (ja) | 2023-11-22 |
Family
ID=85201719
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021127660A Active JP7385289B2 (ja) | 2021-08-03 | 2021-08-03 | プログラム及び情報処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7385289B2 (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005142818A (ja) | 2003-11-06 | 2005-06-02 | Nippon Telegr & Teleph Corp <Ntt> | ビデオメール通信方法/プログラム/端末装置 |
JP2007193824A (ja) | 2000-04-13 | 2007-08-02 | Fujifilm Corp | 画像処理方法 |
US20070268312A1 (en) | 2006-05-07 | 2007-11-22 | Sony Computer Entertainment Inc. | Methods and systems for processing an interchange of real time effects during video communication |
JP2010011409A (ja) | 2008-06-30 | 2010-01-14 | Nippon Telegr & Teleph Corp <Ntt> | 映像ダイジェスト装置及び映像編集プログラム |
JP2019075124A (ja) | 2017-10-18 | 2019-05-16 | ネイバー コーポレーションNAVER Corporation | カメラエフェクトを提供する方法およびシステム |
WO2019230225A1 (ja) | 2018-05-29 | 2019-12-05 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
JP2020181022A (ja) | 2019-04-23 | 2020-11-05 | コニカミノルタ株式会社 | 会議支援装置、会議支援システム、および会議支援プログラム |
-
2021
- 2021-08-03 JP JP2021127660A patent/JP7385289B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007193824A (ja) | 2000-04-13 | 2007-08-02 | Fujifilm Corp | 画像処理方法 |
JP2005142818A (ja) | 2003-11-06 | 2005-06-02 | Nippon Telegr & Teleph Corp <Ntt> | ビデオメール通信方法/プログラム/端末装置 |
US20070268312A1 (en) | 2006-05-07 | 2007-11-22 | Sony Computer Entertainment Inc. | Methods and systems for processing an interchange of real time effects during video communication |
JP2010011409A (ja) | 2008-06-30 | 2010-01-14 | Nippon Telegr & Teleph Corp <Ntt> | 映像ダイジェスト装置及び映像編集プログラム |
JP2019075124A (ja) | 2017-10-18 | 2019-05-16 | ネイバー コーポレーションNAVER Corporation | カメラエフェクトを提供する方法およびシステム |
WO2019230225A1 (ja) | 2018-05-29 | 2019-12-05 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
JP2020181022A (ja) | 2019-04-23 | 2020-11-05 | コニカミノルタ株式会社 | 会議支援装置、会議支援システム、および会議支援プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2023022665A (ja) | 2023-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3803846B1 (en) | Autonomous generation of melody | |
KR102222451B1 (ko) | 텍스트 기반 사용자심리상태예측 및 콘텐츠추천 장치 및 그 방법 | |
Weninger et al. | On the acoustics of emotion in audio: what speech, music, and sound have in common | |
KR100446627B1 (ko) | 음성대화 인터페이스를 이용한 정보제공장치 및 그 방법 | |
WO2007043679A1 (ja) | 情報処理装置およびプログラム | |
US11881209B2 (en) | Electronic device and control method | |
KR102529262B1 (ko) | 전자 장치 및 제어 방법 | |
US11842721B2 (en) | Systems and methods for generating synthesized speech responses to voice inputs by training a neural network model based on the voice input prosodic metrics and training voice inputs | |
CN112799630A (zh) | 使用网络可寻址设备创建电影化的讲故事体验 | |
WO2022242706A1 (zh) | 基于多模态的反应式响应生成 | |
JP7385289B2 (ja) | プログラム及び情報処理装置 | |
CN115618298A (zh) | 基于多模态模型5g有害消息分析方法、装置和存储介质 | |
WO2020121638A1 (ja) | 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム | |
Rönnberg | Classification of heavy metal subgenres with machine learning | |
KR102585031B1 (ko) | 실시간 외국어 발음 평가시스템 및 방법 | |
EP3846164B1 (en) | Method and apparatus for processing voice, electronic device, storage medium, and computer program product | |
Kher | Music Composer Recognition from MIDI Representation using Deep Learning and N-gram Based Methods | |
US11966663B1 (en) | Speech processing and multi-modal widgets | |
JP2019021285A (ja) | 情報処理システム、情報処理方法及びプログラム | |
Gurrala et al. | Multilayer tag extraction for music recommendation systems | |
Rajan et al. | Distance Metric Learnt Kernel-Based Music Classification Using Timbral Descriptors | |
Taj et al. | Urdu Speech Emotion Recognition: A Systematic Literature Review | |
Jansson | Musical source separation with deep learning and large-scale datasets | |
Gowriprasad et al. | Structural Segmentation and Labelling of Tabla Solo Performances | |
Kokate et al. | An Algorithmic Approach to Audio Processing and Emotion Mapping |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220823 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230623 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230627 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230804 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231017 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231102 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7385289 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |