JP7635779B2 - 学習システム及びデータ収集装置 - Google Patents

学習システム及びデータ収集装置 Download PDF

Info

Publication number
JP7635779B2
JP7635779B2 JP2022512040A JP2022512040A JP7635779B2 JP 7635779 B2 JP7635779 B2 JP 7635779B2 JP 2022512040 A JP2022512040 A JP 2022512040A JP 2022512040 A JP2022512040 A JP 2022512040A JP 7635779 B2 JP7635779 B2 JP 7635779B2
Authority
JP
Japan
Prior art keywords
learning
data
unit
emotion
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022512040A
Other languages
English (en)
Other versions
JPWO2021200503A1 (ja
Inventor
アンドリュー シン
由幸 小林
健二 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2021200503A1 publication Critical patent/JPWO2021200503A1/ja
Application granted granted Critical
Publication of JP7635779B2 publication Critical patent/JP7635779B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/091—Active learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/092—Reinforcement learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/098—Distributed learning, e.g. federated learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/10—Speech classification or search using distance or distortion measures between unknown speech and reference templates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Medical Informatics (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Dermatology (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Description

本明細書で開示する技術（以下、「本開示」とする）は、機械学習モデルの学習を行う学習システム、機械学習モデルを学習するための学習データの収集処理を行うデータ収集装置、並びにデータの分析処理を行う情報処理装置に関する。
現在、デジタルカメラは広範に普及している。例えば、各家庭では、日常生活や、子供の入学式や卒業式、結婚式といったさまざまな行事を記録するために、デジタルビデオカメラやデジタルスチルカメラが利用される。より感動的なシーンを撮影することが望ましいが、一般ユーザがファインダ越しに観察しているシーンが感動を与えるシーンかどうかを判別することは難しい。もちろん、プロのカメラマンにとっても、撮影しているシーンが感動的かどうかを判別することは難しい。
例えば、学習済みニューラルネットワークモデルを搭載した人工知能技術を用いて、感動を与えるコンテンツを扱う方法が考えられる。特に、複数の畳み込みニューラルネットワークの層を備えたディープラーニングのニューラルネットワークモデル（以下、「ＤＮＮ」とも呼ぶ）は、訓練すなわちディープラーニングを通じて開発者には想像できない特徴を多くのデータから抽出して、開発者がアルゴリズムを想定し得ないような複雑な問題解決を行うことのできる人工知能機能を開発することができる。
人工知能技術を利用するには、人工知能を学習するための学習データが必要である。例えば、指定された能力の機械学習のための学習データを収集する学習データ収集部と、収集した学習データを用いて指定された能力を獲得させるように学習器の機械学習を行う学習処理部を備えた学習装置について提案がなされている（特許文献１を参照のこと）。人工知能技術を用いて感動を与えるコンテンツを扱うには、まず人間に感動を与えるコンテンツを生成し又は感動するコンテンツを撮影するためのカメラ操作を推定する機械学習モデルの学習に用いられる大量の学習データが必要である。
ところが、感動の主観的な性質上、学習データの収集は大変に困難である。ＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋ Ｓｅｒｖｉｃｅ）などで現れる好みの情報を活用することによって、主観性を反映するデータ収集方法が考えられるが、プライバシーを脅かすおそれがあるため実行が容易でない。また、コンテンツ中の個々のシーンの画像や背景音楽だけでなく前後のシーンのコンテキストも感動を生み出す要素と考えられるが、画像のみに依存してデータ収集を行う方法ではコンテキストを反映したデータを収集することは難しい。
特開２０１８－１４９６６９号公報
Ｕｓｉｎｇ Ｂｒａｉｎ Ｄａｔａ ｆｏｒ Ｓｅｎｔｉｍｅｎｔ Ａｎａｌｙｓｉｓ．Ｇｕ ｅｔ ａｌ．ＪＬＣＬ ２０１４． Ｍｕｓｉｃ Ｅｍｏｔｉｏｎ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ： Ａ Ｆｕｚｚｙ Ａｐｐｒｏａｃｈ．Ｙａｎｇ ｅｔ ａｌ．ＡＣＭ ＭＭ ２００６． Ｖｉｓｕａｌ Ｓｏｃｉａｌ Ｒｅｌａｔｉｏｎｓｈｉｐ Ｒｅｃｏｇｎｉｔｉｏｎ．Ｌｉ ｅｔ ａｌ．ａｒｘｉｖ ２０１８． Ｕｎｄｅｒｓｔａｎｄｉｎｇ Ｂｌａｃｋ－ｂｏｘ Ｐｒｅｄｉｃｔｉｏｎｓ ｖｉａ Ｉｎｆｌｕｅｎｃｅ Ｆｕｎｃｔｉｏｎｓ，Ｐａｎｇ Ｗｅｉ Ｋｈｏ ａｎｄ Ｐｅｒｃｙ Ｌｉａｎｇ ＜ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１７０３．０４７３０＞ Ａｌｅｘ Ｋｅｎｄａｌｌ，Ｙａｒｉｎ Ｇａｌ，"Ｗｈａｔ Ｕｎｃｅｒｔａｉｎｔｉｅｓ Ｄｏ Ｗｅ Ｎｅｅｄ ｉｎ Ｂａｙｅｓｉａｎ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ ｆｏｒ Ｃｏｍｐｕｔｅｒ Ｖｉｓｏｎ"，ＮＩＰＳ ２０１７
本開示の目的は、感動するコンテンツを生成し又は感動するコンテンツを撮影するためのカメラ操作を推定する機械学習モデルの学習を行う学習システム、感動するコンテンツを生成し又は感動するコンテンツを撮影するためのカメラ操作を推定する機械学習モデルの学習データの収集処理を行うデータ収集装置、並びに収集したデータが与える感動を分析する情報処理装置を提供することにある。
本開示は、上記課題を参酌してなされたものであり、その第１の側面は、
データを収集するデータ収集装置と、前記データ収集装置が収集したデータを用いて機械学習モデルの学習を行う学習装置を備え、
前記学習装置は、前記機械学習モデルの学習に影響を与える学習データを分析した結果に基づいて収集した、前記機械学習モデルの学習に所定以上の影響を及ぼす学習データ、不足している学習データ、又はこれらに類似するデータを用いて、前記機械学習モデルの再学習を行う、
学習システムである。
但し、ここで言う「システム」とは、複数の装置（又は特定の機能を実現する機能モジュール）が論理的に集合した物のことを言い、各装置や機能モジュールが単一の筐体内にあるか否かは特に問わない。
前記学習装置は、感動するコンテンツを生成し又は感動するコンテンツを撮影するためのカメラ操作を推定する機械学習モデルの学習を行う。また、前記分析は、ＸＡＩ、信頼度スコア計算、影響関数、又はベイジアンＤＮＮにより行うことができる。
前記学習装置は、前記機械学習モデルの学習に影響を与える学習データを分析し、その分析結果に基づいて、前記機械学習モデルの学習に所定以上の影響を及ぼす学習データ、不足している学習データ、又はこれらに類似するデータの送信を要求する要求信号を前記データ収集装置に送信する。そして、前記データ収集装置は、受信した前記要求信号に基づいて収集したデータを前記学習装置に送信することで、前記学習装置は、前記要求信号に応じて前記データ収集装置から送信されたデータに基づいて前記機械学習モデルの再学習を行うことができる。
あるいは、前記データ収集装置は、前記学習装置から前記要求信号を受信すると、収集したデータが前記機械学習モデルの学習に与える影響を分析した結果に基づいて、前記収集したデータのうち前記機械学習モデルの学習に所定以上の影響を及ぼす学習データ、不足している学習データ、又はこれらに類似するデータを前記学習装置に送信する。そして、前記学習装置は、前記要求信号に応じて前記データ収集装置から送信されたデータに基づいて前記機械学習モデルの再学習を行うことができる。前記学習装置は、前記要求信号の送信時に、前記分析に必要な情報を前記データ収集装置に送信するようにしてもよい。
また、本開示の第２の側面は、
機械学習モデルの学習を行う学習装置から、前記機械学習モデルの学習データの送信を要求する要求信号を受信する受信部と、
前記要求信号を受信したことに応じて、前記機械学習モデルの学習に所定以上の影響を及ぼす学習データ、不足している学習データ、又はこれらに類似するデータを収集するデータ収集部と、
前記データ収集部が収集したデータを前記学習装置に送信する送信部と、
を具備するデータ収集装置である。
前記受信部は、前記機械学習モデルの学習に所定以上の影響を及ぼす学習データ、不足している学習データ、又はこれらに類似するデータを要求する前記要求信号を前記学習装置から受信する。そして、前記データ収集部は、受信した前記要求信号に基づいてデータを収集し、前記送信部は、前記データ収集部が収集したデータを前記学習装置に送信する。
あるいは、第２の側面に係るデータ収集装置は、前記データ収集部が収集したデータが前記機械学習モデルの学習に与える影響を分析する分析部をさらに備えている。そして、前記送信部は、前記分析部による分析結果に基づいて、前記データ収集部が収集したデータのうち前記機械学習モデルの学習に所定以上の影響を及ぼす学習データ、不足している学習データ、又はこれらに類似するデータを前記学習装置に送信する。
また、本開示の第３の側面は、
コンテンツのコンテンツ評価情報とコンテンツを視聴する人間の生体情報に基づいて、コンテンツからセグメントを抽出するセグメント抽出部と、
セグメントに写っている人物の顔を検出して顔の表情を識別する表情識別部と、
セグメントに写っている人物間の関係性を推定する関係性推定部と、
セグメントに写っている人物の顔の表情と、人物間の関係性に基づいてセグメントの感動ラベルを識別する感動識別部と、
を具備する情報処理装置である。
前記セグメント抽出部は、コンテンツのうち高視聴率とポジティブな感情を持つ生体情報が一致しているセグメントを抽出する。また、前記セグメント抽出部は、高視聴率とポジティブな感情を持つ生体情報が一致しないセグメントをさらに抽出する。
前記関係性推定部は、前記コンテキストとして、過去のセグメントに写っている人物の顔検出及び検出顔の表情識別結果を用いて、現在のセグメントに写っている人物間の関係性を推定する。
第３の側面に係る情報処理装置は、前記セグメントに含まれる音声を認識して得られたテキスト情報に基づいて感情を分析する第１の感情分析部と、前記セグメントに含まれる音楽を検出して、その音楽が与える感情を分析する第２の感情分析部をさらに備える。そして、前記感動識別部は、前記第１の感情分析部がテキスト情報から識別した感情と、前記第２の感情分析部が音楽から識別した感情をさらに考慮して、セグメントの感動ラベルを識別する。
前記データ収集装置は、信頼度スコア計算により前記分析を行う。この場合、前記学習装置は、前記分析に必要な情報として、現時刻までに学習済みの前記ニューラルネットワークモデルの情報を前記データ収集装置に送信する。
本開示によれば、感動するコンテンツを生成し又は感動するコンテンツを撮影するためのカメラ操作を推定する機械学習モデルの学習を行う学習システム、感動するコンテンツを生成し又は感動するコンテンツを撮影するためのカメラ操作を推定する機械学習モデルの学習データの収集処理を行うデータ収集装置、並びにコンテンツが与える感動を識別する情報処理装置を提供することができる。
なお、本明細書に記載された効果は、あくまでも例示であり、本開示によりもたらされる効果はこれに限定されるものではない。また、本開示が、上記の効果以外に、さらに付加的な効果を奏する場合もある。
本開示のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
図１は、データ収集システム１００の機能的構成を示した図である。 図２は、データ収集システム１００の動作を示したフローチャートである。 図３は、セグメントのコンテキストと顔検出及び表情識別結果に基づいて人物間の関係性を推定する仕組みを示した図である。 図４は、収集した学習データを利用した感動識別機の学習プロセスの全体の流れを示した図である。 図５は、デジタルカメラ５００の構成例を示した図である。 図６は、デジタルカメラ５００で撮影したコンテンツの感動識別ラベリングを行うための機能的構成を示した図である。 図７は、撮影したコンテンツの感動識別結果に基づいてカメラワークを自動制御するためのデジタルカメラ５００の機能的構成を示した図である。 図８は、撮影したコンテンツの感動識別結果に基づいてキャプションを自動生成するためのデジタルカメラ５００の機能的構成を示した図である。 図９は、撮影したコンテンツの感動識別結果に基づいて背景音楽を自動付与するためのデジタルカメラ５００の機能的構成を示した図である。 図１０は、カメラの自動操作のためのニューラルネットワークモデルを効率的に学習するための学習システム１０００の構成を示した図である。 図１１は、観測予測モデル１１００の構成を示した図である。 図１２は、操作モデル１２００の構成を示した図である。 図１３は、操作推定モデル１３００の構成を示した図である。 図１４は、感動スコア推定モデル１４００を示した図である。 図１５は、制御対象と平均感動スコアの関係を示した図である。 図１６は、出力の誤差を推定するように学習されたニューラルネットワークモデルを示した図である。 図１７は、データ収集装置１０１０の内部構成例を示した図である。 図１８は、データ収集装置１０１０の他の内部構成例を示した図である。 図１９は、学習装置１０３０の内部構成例を示した図である。 図２０は、学習装置１０３０の他の内部構成例を示した図である。 図２１は、学習装置１０３０のさらに他の内部構成例を示した図である。 図２２は、モデル利用装置１０２０の内部構成例を示した図である。 図２３は、エッジＡＩとしてのモデル利用装置１０２０の内部構成例を示した図である。
以下、図面を参照しながら本開示の実施形態について、以下の順に従って詳細に説明する。
Ａ．感動を与えるコンテンツを生成する機械学習モデルに関するデータの収集処理を行うシステムの構成
Ｂ．感動を与えるコンテンツを生成する機械学習モデルに関するデータの収集処理を行うシステムの動作
Ｃ．コンテンツに含まれる人物間などの関係性の推定
Ｄ．感動識別
Ｅ．収集したデータを用いた学習プロセス
Ｆ．推論
Ｇ．アプリケーション
Ｈ．機械学習モデルの効率的学習
Ａ．感動を与えるコンテンツを生成する学習モデルに関するデータの収集処理を行うシステムの構成
図１には、本開示に係るデータ収集処理を行うデータ収集システム１００の機能的構成を模式的に示している。
図示のデータ収集システム１００は、膨大な映像コンテンツ１０１の中から人間に感動を与えるコンテンツを生成し又は感動するコンテンツを撮影するためのカメラ操作を推定する機械学習モデルの学習に用いられるデータの収集処理を行う。データ収集システム１００で収集したデータは、基本的には、人間に感動を与えるコンテンツを扱うための（例えば、人間に感動を与えるシーンやコンテンツであるかどうかを推論するための）機械学習モデル（例えば、ニューラルネットワーク）を学習させるための学習データに用いられるが、もちろんそれ以外の用途に利用してもよい。
本実施形態では、データ収集システム１００は、映像コンテンツ１０１として、テレビやインターネット放送局などで放送され、視聴率情報などのコンテンツ評価情報が付与されたコンテンツを扱うものとし、コンテンツは、主に映像データとオーディオデータなどで構成される。また、映像コンテンツ１０１として、例えば「いいね！（好き、楽しい、支持できる）」など視聴率情報に類似する（又は、視聴率情報に置き換えることが可能な）、コンテンツを評価するコンテンツ評価情報が付与されていれば、動画共有サイトなどさまざまなコンテンツを含んでいてもよい。また、データ収集システム１００は、固定長又は可変長のセグメント単位で、映像コンテンツ１０１から取り出したコンテンツの処理を行うものとする。
データ収集システム１００は、コンテンツ評価情報取得部１０２と、生体情報取得部１０３と、比較部１０４と、セグメント抽出部１０５と、コンテキスト抽出部１０６と、音声認識部１０７と、音楽検出部１０８と、顔検出部１０９と、第１の感情分析部１１０と、第２の感情分析部１１１と、表情識別部１１２と、関係性推定部１１３と、感動識別部１１４を備えている。データ収集システム１００は、例えばクラウド、すなわちインターネットなどの広域的なコンピュータネットワーク上でコンピュータ資源が提供されるサービスとして構成されることを想定している。データ収集システム１００の各構成要素は、１台のコンピュータ内に集約される場合と複数のコンピュータに分散して配置される場合がある。以下、各部について説明する。
コンテンツ評価情報取得部１０２は、映像コンテンツ１０１から取り出されたコンテンツに付与されている視聴率などのコンテンツ評価情報を取得する。コンテンツ評価情報取得部１０２は、対象とするコンテンツの視聴率情報を、視聴率調査会社から取得するようにしてもよい。本実施形態では、データ収集システム１００は、コンテンツの各シーンが人間に感動を与えるかどうかを判別するために、視聴率情報を利用する。視聴率情報を利用するメリットとして、プライバシー問題に抵触しないことや、既に多人数の反応が反映される情報であることなどが挙げられる。また、視聴率情報は、コンテンツのストーリー上の起承転結などのコンテキストも反映されているので、視聴率が高いシーンの前後のコンテキスト情報も有効に使うことができる。さらに、視聴率情報が付与されているコンテンツの場合、高い頻度でそのシーンに付随する追加情報（例えば、セリフや背景音楽など）などが付いている。後述するように、感動的なシーンのセリフと背景の音楽は、人間に感動を与えることに関して大きな役割を持つとともに、アプリケーションの余地を広げるために、活用するべきである。なお、コンテンツ評価情報取得部１０２は、視聴率情報に加えて（又は、視聴率情報の代わりに）、ＳＮＳなどで付けられる「いいね！（好き、楽しい、支持できる）」などのコンテンツ評価情報を取得するようにしてもよい。
生体情報取得部１０３は、映像コンテンツ１０１から取り出されたコンテンツを視聴する人間の生体情報を取得する。例えば、家庭内に脳波や発汗、視線、筋電位などの生体情報を検出する生体情報センサーを設置しておき、テレビやインターネット放送などのコンテンツを視聴する際に検出された生体情報を、生体情報取得部１０３が収集するようにしてもよい。生体情報取得部１０３は、多数の家庭から膨大量の生体情報を収集した場合には、平均化などの統計処理を行った後に利用するようにしてもよい。
再生コンテンツを視聴する人間は、緊張感や悲しみ、怒りなどの感動を覚えたシーンでは、脳波や発汗、視線、筋電位などの生体情報に反応が現れる。他方、視聴率情報はコンテンツがどれくらいの世帯や人々に見られているのかを示す指標であるが、必ずしも人間が感動したシーンが視聴率情報に反映されるとは限らない。そこで、データ収集システム１００では、視聴率などのコンテンツ評価情報のみではコンテンツの各シーンが人間に感動を与えるかどうかを正確に判別できないというリスクを考慮して、コンテンツ評価情報を補間するために、生体情報取得部１０３が取得する脳波情報などの生体情報を利用する。脳波情報から感情を識別する研究は、既に行われている（例えば、非特許文献１を参照のこと）。したがって、コンテンツの各シーンを視聴する人間の脳波情報に基づいて、高視聴率がどのような感情に起因しているのかを推定することができる。なお、脳波は、脳から生じる電気活動を頭皮から計測した電位のことである。脳波計は、一般に、頭皮上に設置した電極から脳電位を計測するように構成される。電極の配置位置として国際１０－２０法が知られているが、本開示は特にこれに限定されない。
比較部１０４は、コンテンツ評価情報取得部１０２が取得する視聴率などのコンテンツ評価情報と、生体情報取得部１０３が取得する人間の生体情報を比較する。そして、セグメント抽出部１０５は、映像コンテンツ１０１から取り出したコンテンツのうち、高視聴率とポジティブな感情（「感動した」など）を持つ生体情報が一致しているセグメントを、感動識別の学習に用いるデータとして抽出する。また、セグメント抽出部１０５は、高視聴率とポジティブな感情を持つ生体情報が一致しないセグメントも、ネガティブ（「感動しない」など）なサンプルとして抽出する。
コンテキスト抽出部１０６は、映像コンテンツ１０１から取り出したコンテンツのコンテキストを抽出する。より具体的には、コンテキスト抽出部１０６は、視聴率が高いシーンの前後のコンテキストや、セグメント抽出部１０５が抽出するセグメントの前後のコンテキストを抽出する。コンテキスト抽出部１０６は、映像及びオーディオデータからなるコンテンツからコンテキストを推定するように学習された学習済みニューラルネットワークモデルを用いて、コンテキストを抽出するようにしてもよい。
音声認識部１０７は、セグメント抽出部１０５が抽出したセグメントに含まれるオーディオデータのうち音声の成分に対して音声認識処理（ＡＳＲ：Ａｕｔｏｍａｔｉｃ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ）を適用して、セリフなどの音声を認識してテキストに変換（ｓｐｅｅｃｈ ｔｒａｎｓｃｒｉｐｔｉｏｎ）する。
第１の感情分析部１１０は、音声認識部１０７から出力されるセリフなどのテキスト情報に対して感情分析を行う自然言語処理を適用して、そのセグメント（シーン）がどのような感情で構成されているのかを分析する。第１の感情分析部１１０は、前後のセグメント（シーン）のセリフを参考にして、より広いコンテキストの中で感情分析を行うようにしてもよい。セリフの感情分析結果に基づいて、セグメント（シーン）の感情をより正確に把握することができる。
音声認識部１０７や第１の感情分析部１１０はそれぞれ、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｗｒａｌ Ｎｅｔｗｏｒｋ：ＣＮＮ）などの学習済み機械学習モデルを用いて構成することができる。また、音声認識部１０７と第１の感情分析部１１０を併せて「音声識別機」として、１つのＣＮＮなどの機械学習モデルで構成することもできる。
音楽検出部１０８は、セグメント抽出部１０５が抽出したセグメントに含まれるオーディオデータに対して音楽検出処理を適用して、映像に付与された背景音楽を検出する。
第２の感情分析部１１１は、音楽検出部１０８が検出した背景音楽が持つムードや感動的であるかどうかを識別する。音楽が与える感情を識別する技術はいくつか提案されている（例えば、非特許文献２を参照のこと）。背景音楽の感情分析結果に基づいて、セグメント（シーン）の感情をより正確に把握することができる。
音楽検出部１０８や第２の感情分析部１１１は、それぞれＣＮＮなどの学習済み機械学習モデルを用いて構成することができる。また、音楽検出部１０８と第２の感情分析部１１１を併せて「音楽識別機」として、１つのＣＮＮなどの機械学習モデルで構成することもできる。
顔検出部１０９は、セグメント抽出部１０５が抽出したセグメントに含まれる映像データに写っている人物の顔検出処理（ｆａｃｅ ｄｅｔｅｃｔｉｏｎ）を実行する。
表情識別部１１２は、顔検出部１０９が検出した顔の表情を識別する。表情識別部１１２は、例えば、検出顔から顔画像のパターンを解析し、その顔画像のパターンがどの感情に対応するかを推定する。顔画像のパターンと人間の感情との相関関係を事前学習した人工知能を用いて、人間の感情を推定することができる。なお、顔画像のパターンは、眉毛、目、鼻、口、頬といった顔パーツの組み合わせで構成することもできるが、顔パーツに分けず顔画像全体のイメージで構成することもできる。
顔検出部１０９や表情識別部１１２は、それぞれＣＮＮなどの学習済み機械学習モデルを用いて構成することができる。また、顔検出部１０９と表情識別部１１２を併せて「表情識別機」として、１つのＣＮＮなどの機械学習モデルで構成することもできる。
関係性推定部１１３は、セグメントに写っている人物が二人以上の場合において、表情識別部１１２が識別した個々の人物の表情と、コンテキスト抽出部１０６が抽出した前後のセグメントとのコンテキストに基づいて、人物間の関係性や親密度を推定する。何故ならば、ある人物が同じ表情をしていても、一緒に写っている他の人物との関係性や親密度（例えば、家族や親しい友人と一緒に写っているか）に応じて、それを見た人間の感動に繋がり易さに違いがあり、後段の感動識別処理に影響を与えるからである。
感動識別部１１４は、音声認識部１０７及び第１の感情分析部１１０によるセグメント内の音声（セリフなど）の感情識別結果と、音楽検出１０８及び第２の感情分析部１１１によるセグメント内の背景音楽の感情やムードの識別結果と、顔検出部１０９及び表情識別部１１２によるセグメントに写っている人物の表情の識別結果と、関係性推定部１１３によるセグメントに写っている人物間の関係性や親密度の推定結果に基づいて、セグメントの感動を識別する。
感動識別部１１４は、例えば学習済みニューラルネットワークモデルを用いて、上記の入力データからセグメントの感動を推定処理して、セグメントの感動のレベルを示す感動識別ラベルを出力する。感動識別ラベルは、ポジティブ（「感動した」など）とネガティブ（「感動しない」など）の２種類の簡単なバイナリラベルでもよいが、「怒り」、「嫌悪」、「恐れ」、「幸福」、「悲しみ」、「驚き」、…などさまざまな種類に分化した感動を表すラベルであってもよい。感動識別部１１４は、例えばＷｕｎｄｔモデルやＰｌｕｔｃｈｉｋモデルなどの感情モデルに基づいて定義された感動識別ラベルを出力するようにしてもよい。
Ｂ．感動を与えるコンテンツを生成する機械学習モデルに関するデータの収集処理を行うシステムの動作
図２には、データ収集システム１００の動作をフローチャートの形式で示している。
まず、テレビやインターネット放送局などで放送され、視聴率などのコンテンツ評価情報が付与されたコンテンツがデータ収集システム１００に取り込まれる（ステップＳＳ２０１）。コンテンツ評価情報取得部１０２は、このコンテンツに付与されているコンテンツ評価情報を取得する。コンテンツは複数のセグメントで構成され、セグメント毎にコンテンツ評価情報が付与されているものとする。
生体情報取得部１０３は、ステップＳ２０１で取り込んだコンテンツを視聴中の人間の反応を表す脳波などの生体情報を取得する（ステップＳ２０２）。コンテンツがテレビ放送の場合、その番組を視聴する多数の家庭から、少なくとも脳波を含む生体情報を収集することを想定している。
比較部１０４は、セグメント毎に、コンテンツ評価情報取得部１０２が取得したコンテンツ評価情報と、生体情報取得部１０３が取得する人間の生体情報を比較して、高視聴率とポジティブな感情を持つ生体情報が一致するかどうかをチェックする（ステップＳ２０３）。
ここで、セグメント抽出部１０５は、映像コンテンツ１０１から取り出したコンテンツのうち、高視聴率とポジティブな感情を持つ生体情報が一致しているセグメントを（ステップＳ２０３のＹｅｓ）、感動識別の学習に用いるデータとして抽出する（ステップＳ２０４）。また、セグメント抽出部１０５は、高視聴率とポジティブな感情を持つ生体情報が一致しないセグメントを（ステップＳ２０３のＮｏ）、ネガティブなサンプルとして抽出する（ステップＳ２１５）。
ステップＳ２０４で抽出したセグメントが音声データを含む場合には（ステップＳ２０５のＹｅｓ）、音声認識部１０７が音声認識してテキストに変換し、第１の感情分析部１１０がそのテキスト情報から感情を識別する（ステップＳ２０６）。
また、ステップＳ２０４で抽出したセグメントが音楽データを含む場合には（ステップＳ２０７のＹｅｓ）、音楽検出部１０８がその音楽を検出し、第２の感情分析部１１１がその音楽が与える感情を識別する（ステップＳ２０８）。
また、ステップＳ２０４で抽出したセグメントに人物が写っている場合には（ステップＳ２０９のＹｅｓ）、顔検出部１０９が人物の顔を検出し、表情識別部１１２が検出顔の表情を識別する（ステップＳ２１０）。
また、ステップＳ２０４で抽出したセグメントに二人以上の人物が写っている場合には（ステップＳ２１１のＹｅｓ）、関係性推定部１１３は、表情識別部１１２が識別した個々の人物の表情と、コンテキスト抽出部１０６が抽出した前後のセグメントとのコンテキストに基づいて、人物間の関係性を推定する（ステップＳ２１２）。
感動識別部１１４は、音声認識部１０７及び第１の感情分析部１１０によるセグメント内の音声（セリフなど）の感情識別結果と、音楽検出１０８及び第２の感情分析部１１１によるセグメント内の背景音楽の感情やムードの識別結果と、顔検出部１０９及び表情識別部１１２によるセグメントに写っている人物の表情の識別結果と、関係性推定部１１３によるセグメントに写っている人物間の関係性の推定結果に基づいて、セグメントの感動を識別する（ステップＳ２１３）。
感動識別部１１４は、セグメントの感動を推定処理して、セグメントの感動のレベルを示す感動識別ラベルを出力する。感動識別ラベルは、ポジティブとネガティブの２種類の簡単なバイナリラベルでもよいが、「怒り」、「嫌悪」、「恐れ」、「幸福」、「悲しみ」、「驚き」、…などさまざまな種類の感動を表すラベルであってもよい。この結果、ポジティブ、又は、「怒り」、「嫌悪」、「恐れ」、「幸福」、「悲しみ」、「驚き」、…などさまざまな種類の感動を表すラベルを持つサンプルを獲得することができる（ステップＳ２１４）。また、人間にポジティブな感情を与えないネガティブなサンプルも獲得する（ステップＳ２１５）。
データ収集システム１００は、図２に示した処理手順に従って、テレビやインターネット放送などのコンテンツから、人間に感動を与えるようなセグメント（シーン）を抽出し、さらにセグメントに含まれる音声や背景音楽の感情分析結果、セグメントに写っている人物の表情識別結果、さらにセグメントに二人以上の人物が映っている場合の人物間の関係性の推定結果に基づいて、各セグメントの感動ラベルを識別することができる。そして、データ収集システム１００によって収集された感情ラベル付きのセグメントは、人工知能（ニューラルネットワークモデル）を用いた感動識別機を訓練するための学習データに使用することができる。
Ｃ．コンテンツに含まれる人物間などの関係性の推定
この項では、関係性推定部１１３で実施される、映像中の人物間の関係性を推定する処理について、詳細に説明する。
映像に写っている人物が一人の場合、その人物の検出顔の表情から感情を識別することができる。これに対し、映像に二人の人物が写っている場合には、人物間の関係性が生じるので、人物から感動を識別する際に人物間の関係性も考慮する必要がある。
例えば、同じ人物Ａが写っている映像であっても、人物Ａと一緒に写っている人物Ｂが家族や友人など深い関係性があり親密度が高いと、その映像は感動に繋がり易い。一方、人物Ａと人物Ｂの親密度が低いと、どの感動も与えられない場合もある。このように、被写体間の関係性を把握することは、映像が感動を与えるかを推定する上で非常に重要である。
ＳＮＳなどに投稿された情報に基づいて被写体の情報を機械学習する技術は既に知られている。しかしながら、被写体間の関係性などの人間関係をＳＮＳの投稿情報から把握しようとすると、被写体のプライバシーを脅かすおそれがあるため実行が容易でない。これに対し、本開示では、関係性推定部１１３は、表情識別部１１２が識別した個々の人物の表情と、コンテキスト抽出部１０６が抽出した前後のセグメントとのコンテキストに基づいて、人物間の関係性を推定するので、プライバシーの問題を生じない。
各人物の表情識別に基づいて人物間の関係性を推定する技術は既に知られているが、この種の技術の多くは、単純にポジティブな表情をポジティブな感情に繋ぐという１次元的なレベルにとどまる。しかしながら、表情から表面的に識別された感情ラベルが必ずしもその人物の感情と一致するとは限らない。例えば、友達と撮った写真で、わざと怒っているような表情を作る場合がある。また、重たい雰囲気の公式イベントで撮った写真では、笑顔を作っていても、明らかに親密な関係ではないことが分かる場合もある。すなわち、人物の表情を識別して単純に人物間の関係性を推定することはできない。写っている人物の顔の表情から単純に感動を与えるかどうかを識別することだけではなく、写っている２人以上の人物間の親密度を把握する必要がある。親密度が高い人物が写っている映像であれば、それが感動を与える可能性は必然的に高くなる。
視覚データに基づいて人物間の関係性を認識する研究は既に活発に行われている（例えば、非特許文献３を参照のこと）。本開示では、関係性推定部１１３は、セグメント抽出部１０５が抽出した当該セグメントの情報（例えば、セグメント内の映像から識別される人物の表情）だけでなく、その前後のセグメントとのコンテキストを利用して人物間の関係性を推定するので、推定の正確性が向上することを期待できる。さらに、インターネットなどの情報源から簡単に得られるコンテンツ自体のメタ情報（例えば、放送番組の情報）を、人物間の関係性の推定に利用することも考えられる。
図３には、関係性推定部１１３がセグメントのコンテキストと顔検出及び表情識別結果に基づいて人物間の関係性を推定する仕組みを図解している。図３に示す例では、関係性推定部１１３は、セグメント抽出部１０５が抽出した現在のセグメントに写っている人物の顔検出及び検出顔の表情識別結果とともに、過去のセグメントに写っている人物の顔検出及び検出顔の表情識別結果をコンテキストとして利用する。
まず、過去のセグメント３０１が、顔検出部１０９と表情識別部１１２を構成するＣＮＮ３１１に入力され、このＣＮＮ３１１が過去のセグメント３０１に写っている各人物の顔検出及び検出顔の表情識別を行う。そして、関係性推定部１１３は、過去のセグメント３０１から顔検出された人物とその表情識別結果３０３を人物登録部３１３に登録しておく。
次いで、セグメント抽出部１０５が抽出した現在のセグメント３０２が、顔検出部１０９と表情識別部１１２を構成するＣＮＮ３１２に入力され、このＣＮＮが現在のセグメント３０２に写っている各人物の顔検出及び検出顔の表情識別を行い、顔検出及び検出顔の表情識別結果３０４を出力する。そして、関係性推定部１１３は、現在のセグメント３０２から検出された人物が、人物登録部３１３に問い合わせて、過去のセグメント３０１から事前登録されている人物であるかどうかをチェックする。
ここで、現在のセグメント３０２から検出された人物が、過去のセグメント３０１から事前に登録されている人物である場合には、関係性推定部１１３は、同じ人物についての、現在のセグメント３０２から推定された表情の識別結果に加えて、過去のセグメント３０１から推定された表情識別の結果を用いて、人物間の関係性を推定する。関係性推定部１１３からセグメントのコンテキストを利用して人物間の関係性をより正確に推定すると、後段の感動識別部１１４は、現在のセグメントの感動ラベルをより正確に識別することができるようになる。
また、現在のセグメント３０２から検出された人物が、過去のセグメント３０１から事前に登録されている人物でない場合には、関係性推定部１１３は、現在のセグメント３０２から推定された表情の識別結果のみに基づいて、人物間の関係性を推定する。あるいは、後段の感動識別部１１３は、人物間の関係性を利用しないで、現在のセグメントから推定された表情の識別結果に基づいて、現在のセグメントの感動ラベルを識別する。
Ｄ．感動識別
この項では、感動識別部１１４で実施される、セグメントが与える感動を識別する処理について、詳細に説明する。
感動識別部１１４は、以下の多元的な情報をまとめて、現在のセグメントの感動ラベルを識別する。
（１）音声認識部１０７及び第１の感情分析部１１０によるセグメント内の音声（セリフなど）の感情識別結果
（２）音楽検出１０８及び第２の感情分析部１１１によるセグメント内の背景音楽の感情やムードの識別結果
（３）顔検出部１０９及び表情識別部１１２によるセグメントに写っている人物の表情の識別結果
（４）関係性推定部１１３によるセグメントに写っている人物間の関係性や親密度の推定結果
上記の（１）～（４）がすべてポジティブな感情を示す場合には、感動識別部１１４は、現在のセグメントに感動的な場面としてラベルを付ける。
また、上記の（１）～（４）のうち一部の情報が抜けている場合には（例えば、現在のセグメントに背景音楽が不在である場合や、人物が写っておらず、表情識別結果が不在である場合）、存在しているすべての情報がポジティブであれば、感動識別部１１４は、現在のセグメントに感動的な場面としてラベルを付けるようにしてもよい。一部の情報が抜けていると、感動識別の信頼性が低下する可能性はあるが、セグメント自体が既にセグメント抽出部１０５においてコンテンツ評価情報と脳波情報の一致というフィルターを通過しているので、信頼性が急激に低下することはないと思料される。
また、上記（１）～（４）のいずれの情報からも現在のセグメントに対して感動的なラベルを付けられない場合には、感動識別部１１４は、そのセグメントにネガティブのラベルを付けるようにしてもよい。ネガティブのラベルが付けられたセグメントは、ネガティブサンプルとして感動識別機を訓練するための学習データに使用することができる。
上述したように、セグメントに含まれる音声、音楽、人物の顔の表情を識別する各識別機は、それぞれＣＮＮなどの学習済み機械学習モデルで構成される。各識別機がどのように事前学習したかによって、感動識別部１１４は、ポジティブとネガティブの２種類の簡単なバイナリラベルでなく、「怒り」、「嫌悪」、「恐れ」、「幸福」、「悲しみ」、「驚き」、…などさまざまな種類に分化した感動を表すラベルを付けることもできる。すなわち、データ収集システム１００は、さまざまな感動識別ラベルを持つ学習データを収集することができ、さまざまな種類の感動を識別する感動識別機の訓練に使用することができる。
Ｅ．収集したデータを用いた学習プロセス
この項では、本開示に係るデータ収集システム１００を用いて収集した学習データを利用して、感動識別機を訓練する学習プロセスについて、詳細に説明する。感動識別機は、コンテンツがどのような感動を与えるかを識別する装置である。ここで言う装置は、専用のハードウェアで構成される装置と、ソフトウェアを実行して所定の機能を実現する装置の両方を意味する。
図４には、収集した学習データを利用した感動識別機の学習プロセスの全体の流れを模式的に示している。
データ収集システム１００を用いて収集した学習データは、データ蓄積部４１０に格納されている。個々の学習データは、上記Ａ～Ｄ項で「セグメント」と呼ばれるものに相当する。学習データとしてのセグメントは、テレビやインターネット放送などのコンテンツの要素であり、フレームシーケンスからなる映像データと、映像に同期したオーディオデータで構成される。また、学習データとしてのセグメントにはデータ収集システム１００における処理過程で最終的に感動識別ラベルが教師データとして付与されている。感動識別ラベルは、さまざまな種類に分化される場合もあるが、この項では説明の簡素化のため、ポジティブとネガティブの２種類の簡単なバイナリラベルが付与されているものとする。
感動識別機４２０は、学習データとしての映像とオーディオデータを入力する複数のネットワークモデルからなるネットワーク部４２１と、ネットワーク部４２１で獲得した特徴量に基づいてコンテンツの感動ラベルを識別する識別部４２２で構成される。ネットワーク部４２１内の各ネットワークは、パラメータ（ノード間の結合重み係数など）を持つ。
映像の場合は、フレーム毎にネットワーク部４２１内の学習済みのニューラルネットワークモデル（ＣＮＮ）を通して各々の特徴量を獲得して、それらをまとめることによって映像全体の特徴量（Ｖｉｄｅｏ Ｆｅａｔｕｒｅ）が得られる。フレームの特徴量のまとめ方としてはさまざまな方法があるが、単純なｃｏｎｃａｔｅｎａｔｅ、又はＬＳＴＭ（Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）などの時系列ネットワークに順番に入れる方法などが挙げられる。本実施形態では、フレームに写っている人物が二人以上の場合において、連続する複数のフレームのコンテキストに基づいて推定される人物間の関係性を映像特徴量として獲得する。
一方、オーディオデータの場合は、メル周波数ケプストラム係数（Ｍｅｌ－Ｆｒｅｑｕｅｎｃｙ Ｃｅｐｓｔｒｕｍ Ｃｏｅｆｆｉｃｉｅｎｔｓ：ＭＦＣＣ）やメルスペクトログラム（ｍｅｌ－ｓｐｅｃｔｒｏｇｒａｍ）などの特徴量に変換し、それをネットワーク部４２１内のＬＳＴＭなどの時系列ネットワークに入れることによってオーディオ特徴量（Ａｕｄｉｏ Ｆａｅｔｕｒｅ）を獲得することができる。また、音声の特徴量をテキストに書き換えて（ｔｒａｎｓｃｒｉｐｔｉｏｎ）、同じくネットワーク部４２１内のＬＳＴＭなどの時系列ネットワークに入れることによってテキスト特徴量（Ｔｅｘｔ Ｆｅａｔｕｒｅ）を獲得することができる。
識別部４２２は、上記のようにして得られた映像全体の特徴量（Ｖｉｄｅｏ Ｆｅａｔｕｒｅ）、オーディオ特徴量（Ａｕｄｉｏ Ｆａｅｔｕｒｅ）、及びテキスト特徴量（Ｔｅｘｔ Ｆｅａｔｕｒｅ）を共通空間に射影して、感動識別機４２０に入力された学習データに対して感動識別ラベルを付与する。ここでは、識別部４２２は、ポジティブ又はネガティブのいずれかのバイナリラベルを付与するものとする。
評価部４２３は、識別部４２２が学習データに付与した感動識別ラベルと、データ収集システム１００によって学習データに付与された教師データとしての感動識別ラベルとの誤差に基づくソフトマックスなどの損失関数Ｌｏｓｓを計算する。あるいは、損失関数Ｌｏｓｓは、映像の特徴量に基づく感動識別ラベルと、音声の特徴量に基づく感動識別ラベルと、オーディオの特徴量に基づく感動識別ラベルを個別に識別して、各々の誤差Ｌvideo、Ｌtext、ＬAudioの合計に基づいて損失関数Ｌｏｓｓを求めるようにしてもよい。そして、誤差に基づいて求めた損失関数Ｌｏｓｓは、ネットワーク部４２１内のパラメータを持つ各ネットワークに逆伝播（Ｂａｃｋｐｒｏｐａｇａｔｅ）され、損失関数Ｌｏｓｓが最小となるようにネットワーク部４２１内の各ネットワーク（ＣＮＮ、ＬＳＴＭ）のパラメータが更新される。これによって、感動識別機４２０は、入力された学習データに対して教師データと等しくなるような感動識別ラベルを出力するように、学習が進む。
Ｆ．推論
上記Ａ項では、データ収集システム１００が、テレビやインターネット放送などのコンテンツからコンテンツ評価情報と脳波などの生体情報を利用してデータを収集する方法について説明した。また、上記Ｅ項では、データ収集システム１００によって収集されたデータを用いて、感動識別機４２０の学習を行うプロセスについて説明した。
学習プロセスを経て学習された感動識別機４２０は、感動を与えるコンテンツ、あるいはコンテンツがどのような感動を与えるかを識別することができる。ここで言うコンテンツは、テレビやインターネット放送などのコンテンツを始め、動画共有サイトで共有される動画コンテンツ、ユーザがデジタルカメラで撮影した動画及び静止画のコンテンツなど、さまざまなコンテンツを含み、コンテンツ評価情報や脳波などの生体情報が付与されている必要はない。
Ｇ．アプリケーション
これまで説明してきたように、本開示に係るデータ収集システムが収集した学習データを使って、コンテンツが人間に与える感情を識別する感情識別機用の機械学習モデルを訓練することができる。また、このようにして開発した感情識別機にはさまざまなアプリケーションが期待される。
Ｇ－１．デジタルカメラの構成
本開示に基づいて開発された感情識別機は、例えばデジタルカメラを始めとする、コンテンツの記録、再生、編集などコンテンツに対して処理を行うさまざまなコンテンツ処理装置に搭載することができる。
図５には、デジタルカメラ５００の構成例を示している。図示のデジタルカメラ５００は、光学系５０１と、撮像部５０２と、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ：アナログ前処理）部５０３と、カメラ信号処理部５０４と、コーデック５０５と、メイン処理部５０６と、マイク５１４と、Ａ／Ｄ変換部５１５と、表示部５１６と、音再生部５１７と、記録部５１８を備えている。このデジタルカメラ５００には、本開示に基づいて開発された感情識別機が搭載されることを想定している。
光学系５０１は、被写体からの光を撮像部５０２の撮像面に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行なうための駆動機構、開閉操作により被写体からの光を所定時間だけ撮像面に入射させるシャッター機構、被写体からの光線束の方向並びに範囲を限定するアイリス（絞り）機構（いずれも図示しない）を含んでいる。ドライバ（図示しない）は、後述するメイン処理部５０６からの制御信号に基づいて、光学系５０１内の各機構の駆動（例えば、被写体のフォーカス合わせやアイリス、パン及びチルト、シャッター又はセルフ・タイマー設定のタイミング）などのカメラワークを制御する。
撮像部５０２は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｒｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｙｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子からなり、光電変換効果を持つ各画素が２次元に配列された撮像面を有し、被写体からの入射光を電気信号に変換する。受光側には、例えばＧ市松ＲＢ色コーディング単板が配設されている。各色フィルターを通した入射光量に対応する信号電荷が各画素に蓄積され、各画素から読み出される３色の各信号電荷量からその画素位置における入射光の色を再現することができる。なお、撮像部５０２から出力されるアナログ画像信号は、ＲＧＢ各色の原色信号であるが、補色系の色信号であってもよい。
ＡＦＥ部５０３は、撮像信号の低雑音を高精度に抑圧した後（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ（相関二重サンプリング）：ＣＤＳ）、サンプル・ホールドを行ない、さらにＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ：自動利得制御回路）により適正なゲイン・コントロールをかけて、ＡＤ変換を施してデジタル画像信号を出力する。また、ＡＦＥ部５０３は、撮像素子を駆動するためのタイミングパルス信号と、このタイミングパルス信号に従って撮像素子の各画素の電荷を垂直方向にライン単位で出力するための駆動信号を撮像部５０２に出力する。
カメラ信号処理部５０４は、ＡＦＥ部５０３から送られてくる画像信号に対して、欠陥画素補正やデジタルクランプ、デジタルゲイン制御などの前処理を施した後、ＡＷＢによりホワイトバランスゲインを掛けるとともに、シャープネス・再度コントラスト調整などの画質補正処理を施して適正な色状態を再現し、さらにデモザイク処理によりＲＧＢ画面信号を作成する。また、カメラ信号処理部５０４は、撮影画像を表示部５１６にスルー画像として表示出力するか又は記録部５１８に保存するかに応じて解像度変換を行ったり、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などのコーデック処理を行ったりする。
メイン処理部５０６は、プロセッサとＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）及びＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）で構成され、デジタルカメラ５００全体の動作を統括的に制御する。プロセッサは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やマルチコアを持つＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などである。メイン処理部５０６は、記録時には、撮影部５０２で撮像した映像データとマイク５１４で収音したオーディオデータを記録部５１８に保存する。また、メイン処理部５０６は、再生時には、記録部５１８から映像及びオーディオデータを読み出して、表示部５１６及び音再生部５１７で出力する。また、本実施形態では、メイン処理部５０６は、本開示に基づいて開発された感情識別機が搭載されることを想定している。
表示部５１６は、デジタルカメラ５００に搭載された液晶表示パネル、外部のテレビやプロジェクタなど、撮影中の映像又は記録した映像を表示する装置である。
音再生部５１７は、デジタルカメラ５１００に搭載されたスピーカ、外部のスピーカなど、記録した音声を再生する装置である。
記録部５１８は、ＨＤＤ（ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの大容量の記録装置である。記録部５１８には、撮像部５０２で撮影した映像及び映像と同期してマイク５１４で収音したオーディオデータからなるコンテンツが記録される。また、感情識別機用の機械学習モデルのパラメータ（例えば、ニューラルネットワークモデルにおけるニューロン間の結合重み係数）が記録部５１８に記録されている。
Ｇ－２．撮影したコンテンツのラベリング
続いて、本開示に基づいて開発された感情識別機をデジタルカメラ５００に搭載して実現される機能について説明する。
デジタルカメラ５００で撮影したコンテンツを感動識別機にかけることによって、コンテンツの感動識別ラベルを付与したり、コンテンツ中で感動を与えるシーン（セグメント）を抽出したりすることができる。
図６には、デジタルカメラ５００で撮影したコンテンツの感動識別ラベリングを行うための機能的構成を示している。同図中、感動識別機４２０の構成は図４に示したものと同じとする。感動識別機４２０は、デジタルカメラ５００内のメイン処理部５０６で動作することを想定している。
デジタルカメラ５００で撮影したコンテンツの映像は、フレーム毎にネットワーク部４２１内の学習済みのニューラルネットワークモデル（ＣＮＮ）を通して各々の特徴量を獲得して、それらをまとめることによって映像全体の特徴量が得られる。また、映像と同期して記録されたオーディオデータは、ＭＦＣＣなどの特徴量に変換し、ネットワーク部４２１内のＬＳＴＭなどの時系列ネットワークに入れることによって、オーディオ特徴量が得られる。また、音声の特徴量をテキストに書き換えて、同じくネットワーク部４２１内のＬＳＴＭなどの時系列ネットワークに入れることによってテキスト特徴量が得られる。
識別部４２２は、上記のようにして得られた映像全体の特徴量、オーディオ特徴量、及びテキスト特徴量を共通空間に射影して、感動識別機４２０に入力された学習データに対して感動識別ラベルを付与する。識別部４２２は、ポジティブ又はネガティブのいずれかのバイナリラベルを付与する。あるいは、識別部４２２は、さまざまな種類に分化した感動を表すラベルを付与してもよい。
いずれにせよ、識別部４２２は、撮影したコンテンツに対して、シーン（又はセグメント）毎に感動識別ラベルを付与する。付与された感動識別ラベルは、例えばコンテンツのメタ情報として記録される。録画したコンテンツを再生するときには、感動識別ラベルを検索キーに用いて、感動的なシーンを選択して視聴することができる。また、録画したコンテンツを編集するときには、感動識別ラベルを検索キーにして、「うれしい」シーンや「悲しい」シーンなど、特定の感情を抱くシーンだけを取捨選択することができる。
このように、本開示に係るデータ収集システム１００は、入力された各コンテンツ又はコンテンツ中のセグメント毎に、人間に与えることができる感動の種類を識別する感動識別ラベルを付与することができる。したがって、データ収集システム１００を用いて、膨大な映像コンテンツ１０１の中から、特定の感動識別ラベル（例えば、「うれしい」、「悲しい」など）が付与されたコンテンツ又はセグメントを収集して、その特定の感動を与えるコンテンツを生成し又は感動するコンテンツを撮影するためのカメラ操作を推定する機械学習モデルの学習に用いることができる。
Ｇ－３．カメラワークの支援又は制御
デジタルカメラ５００で撮影したコンテンツを感動識別機にかけて得られた結果に基づいて、カメラワークの支援や自動制御を行うことができる。例えば、感動の度合いが増すように、あるいは特定の種類の感動識別ラベルを獲得できるように、被写体を撮影する視線方向やズームを自動制御したり、又は撮影画像の輝度、色彩、画角、構図、フォーカスなどを自動制御したり、表示部５１６のガイダンス表示や音再生部５１７からの音声ガイダンスを使っておすすめのアングルを教えたりするようにしてもよい。
図７には、撮影したコンテンツの感動識別結果に基づいてカメラワークを自動制御するためのデジタルカメラ５００の機能的構成を示している。同図中、感動識別機４２０の構成は図４に示したものと同じとする。感動識別機４２０は、デジタルカメラ５００内のメイン処理部５０６で動作することを想定している。
デジタルカメラ５００で撮影したコンテンツの映像は、フレーム毎にネットワーク部４２１内の学習済みのニューラルネットワークモデル（ＣＮＮ）を通して各々の特徴量を獲得して、それらをまとめることによって映像全体の特徴量が得られる。また、映像と同期して記録されたオーディオデータは、ＭＦＣＣなどの特徴量に変換し、ネットワーク部４２１内のＬＳＴＭなどの時系列ネットワークに入れることによって、オーディオ特徴量が得られる。また、音声の特徴量をテキストに書き換えて、同じくネットワーク部４２１内のＬＳＴＭなどの時系列ネットワークに入れることによってテキスト特徴量が得られる。
識別部４２２は、上記のようにして得られた映像全体の特徴量、オーディオ特徴量、及びテキスト特徴量を共通空間に射影して、感動識別機４２０に入力された学習データに対して感動識別ラベルを付与する。そして、評価部４２３は、感動の度合いが増すように、あるいは特定の種類の感動識別ラベルを獲得できるように、光学系５０１に対してカメラワークの制御信号を出力する。
Ｇ－４．キャプションの追加
デジタルカメラ５００で撮影したコンテンツを感動識別機にかけて得られた結果に基づいて、映像のシーンに対して適切で、且つ感動の度合いが増すようなキャプションを自動付与することができる。
図８には、撮影したコンテンツの感動識別結果に基づいてキャプションを自動生成するためのデジタルカメラ５００の機能的構成を示している。同図中、感動識別機４２０の構成は図４に示したものと同じとする。感動識別機４２０は、デジタルカメラ５００内のメイン処理部５０６で動作することを想定している。
デジタルカメラ５００で撮影したコンテンツの映像は、フレーム毎にネットワーク部４２１内の学習済みのニューラルネットワークモデル（ＣＮＮ）を通して各々の特徴量を獲得して、それらをまとめることによって映像全体の特徴量が得られる。また、映像と同期して記録されたオーディオデータは、ＭＦＣＣなどの特徴量に変換し、ネットワーク部４２１内のＬＳＴＭなどの時系列ネットワークに入れることによって、オーディオ特徴量が得られる。また、音声の特徴量をテキストに書き換えて、同じくネットワーク部４２１内のＬＳＴＭなどの時系列ネットワークに入れることによってテキスト特徴量が得られる。また、キャプション生成部８０１は、例えば学習済みの機械学習済みモデルを用いて、シーン毎のキャプションを生成する。キャプション生成部８０１が生成したキャプションのテキスト情報は、コンテンツの音声認識から得られたテキスト情報に重畳されて、ネットワーク部４２１内のＬＳＴＭなどの時系列ネットワークに入れられる。
識別部４２２は、上記のようにして得られた映像全体の特徴量、オーディオ特徴量、及びテキスト特徴量を共通空間に射影して、感動識別機４２０に入力された学習データに対して感動識別ラベルを付与する。評価部４２３は、識別部４２２から出力される感動識別ラベルについての損失関数を計算する。そして、キャプション生成部８０１は、感動の度合いが増すように、あるいは特定の種類の感動識別ラベルを獲得できるように再学習する。キャプション生成部８０１が生成したキャプションは、コンテンツの音声データに重畳して記録される。
Ｇ－５．背景音楽の付与
デジタルカメラ５００で撮影したコンテンツを感動識別機にかけて得られた結果に基づいて、映像のシーンに対して適切で、且つ感動の度合いが増すような背景音楽を自動付与することができる。
図９には、撮影したコンテンツの感動識別結果に基づいて背景音楽を自動付与するためのデジタルカメラ５００の機能的構成を示している。同図中、感動識別機４２０の構成は図４に示したものと同じとする。感動識別機４２０は、デジタルカメラ５００内のメイン処理部５０６で動作することを想定している。
デジタルカメラ５００で撮影したコンテンツの映像は、フレーム毎にネットワーク部４２１内の学習済みのニューラルネットワークモデル（ＣＮＮ）を通して各々の特徴量を獲得して、それらをまとめることによって映像全体の特徴量が得られる。また、映像と同期して記録されたオーディオデータは、ＭＦＣＣなどの特徴量に変換し、ネットワーク部４２１内のＬＳＴＭなどの時系列ネットワークに入れることによって、オーディオ特徴量が得られる。また、音声の特徴量をテキストに書き換えて、同じくネットワーク部４２１内のＬＳＴＭなどの時系列ネットワークに入れることによってテキスト特徴量が得られる。また、音楽検索部９０１は、例えば学習済みの機械学習済みモデルを用いて、シーンの背景音楽となる楽曲を検索する。音楽検索部９０１は、例えば膨大量の音楽データを蓄積している音楽データベース（図示しない）上で、シーンの背景音楽となる楽曲を検索するようにしてもよい。音楽検索部９０１が見つけ出した楽曲の音楽データは、コンテンツのオーディオデータに重畳されて、ネットワーク部４２１内のＬＳＴＭなどの時系列ネットワークに入れられる。
識別部４２２は、上記のようにして得られた映像全体の特徴量、オーディオ特徴量、及びテキスト特徴量を共通空間に射影して、感動識別機４２０に入力された学習データに対して感動識別ラベルを付与する。評価部４２３は、識別部４２２から出力される感動識別ラベルについての損失関数を計算する。そして、音楽検索部９０１は、感動の度合いが増す、あるいは特定の種類の感動識別ラベルを獲得できる背景音楽を見つけ出すように再学習する。音楽検索部９０１が見つけた楽曲の音楽データは、コンテンツのオーディオデータに重畳して記録される。
Ｈ．モデルの効率的学習
上記Ｇ項で説明したように、本開示によれば、デジタルカメラ５００にニューラルネットワークモデルを搭載することにより、コンテンツ（又は、コンテンツを構成するセグメント毎）に感動のレベルを表す感動識別ラベルを付与したり、高レベルの感動が得られるコンテンツを撮影するためのカメラワークの支援又は制御（カメラの自動操作）を提供したり、コンテンツの感動スコアを向上させるためのキャプションや背景音楽を付与したりすることができる。このＨ項では、デジタルカメラ５００に搭載されたニューラルネットワークモデルを効率的に学習するための方法について説明する。
なお、便宜上、カメラの自動操作のためのニューラルネットワークモデルの学習方法に限定して説明するが、キャプションの追加や背景音楽の付与を行うニューラルネットワークモデルに関しても同様の方法により効率的に学習を行うことができることを理解されたい。
Ｈ－１．学習システムの構成
図１０には、カメラの操作支援や自動操作のためのニューラルネットワークモデルを効率的に学習するための学習システム１０００の構成を模式的に示している。本実施形態では、学習の対象とするニューラルネットワークモデルとして、主に、感動するコンテンツを生成し又は感動するコンテンツを撮影するためのカメラ操作を推定するニューラルネットワークモデルを想定している。もちろん、学習システム１０００を使って、その他のタイプのニューラルネットワークモデルの学習にも活用することができる。
図１０に示す学習システム１０００は、学習データを収集するデータ収集装置１０１０と、データ収集装置１０１０が収集した学習データに基づいてニューラルネットワークモデルの学習を行う学習装置１０３０と、学習データに関する分析を行うデータ分析装置１０４０と、学習装置１０３０によって学習されたニューラルネットワークモデル１０５０を使用するモデル利用装置１０２０で構成される。
データ収集装置１０１０は、例えばカメラで撮影した画像データと、カメラ撮影時の操作情報などからなるデータを収集する。データ収集装置１０１０は、スチルカメラやビデオカメラ、カメラで使用されるイメージセンサー、スマートフォンなどの多機能情報端末、ＴＶ、ヘッドホン又はイヤホン、ゲーム機、冷蔵庫や洗濯機などのＩｏＴデバイス、ドローンやロボットなどの移動体装置など、多種類の膨大な装置を含み、これら膨大数のデータ収集装置１０１０から膨大量のデータを収集することができる。例えば、データ収集装置１０１０が、プロのカメラマンなどのエキスパートが使用するカメラであれば、感動を与える撮影画像と、そのような画像を撮影するためのカメラ操作情報を収集することができる。また、データ収集装置１０１０は、上記で例示したようなリアルタイムでデータを収集する装置だけでなく、コンテンツデータベースのように既に大量のデータを蓄積している装置を含んでいてもよい。
学習装置１０３０は、各データ収集装置１０１０に対して収集したデータの送信を要求する要求信号を送信する。もちろん、データ収集装置１０１０は、要求信号に応じてではなく、自発的にデータを送信するようにしてもよい。そして、学習装置１０３０は、多数のデータ収集装置１０１０によって収集された膨大なデータを使って、「観測予測モデル」、「操作モデル」、「操作推定モデル」、「感動スコア推定モデル」などのさまざまなニューラルネットワークモデルの学習及び再学習を行う。学習システム１０００において利用されるニューラルネットワークモデルの詳細については、後述に譲る。
膨大量のデータを使用することでニューラルネットワークモデルの学習精度は向上するが、学習にあまり寄与しないデータを使って学習や再学習を行うのは非効率的である。そこで、本開示に係る学習システム１０００では、データ分析装置１０４０は、学習の対象とするニューラルネットワークモデルの学習に影響を与える学習データの分析を行い、その分析結果に基づいて、ニューラルネットワークモデルの学習に所定以上の影響を及ぼす学習データや不足している学習データ、これらに類似するデータなど、有意義な学習データを抽出し、学習装置１０３０は、データ分析部１０４０によって抽出された有意義な学習データを使って、ニューラルネットワークモデルの学習及び再学習を効率的に行うようにしている。
データ分析装置１０４０は、例えば、ＸＡＩ（ｅＸｐｌａｉｎａｂｌｅ ＡＩ）、学習データの信頼度（Ｃｏｎｆｉｄｅｎｃｅ）スコア計算、影響関数（Ｉｎｆｌｕｅｎｃｅ Ｆｕｎｃｔｉｏｎ）計算、ベイジアンＤＮＮ（Ｄｅｅｐ Ｎｅｗｒａｌ Ｎｅｔｗｏｒｋ）によるデータ不足推定などの手法に基づいて、データ収集装置１０１０が収集したデータの分析を行うことができる。
モデル利用装置１０２０は、学習装置１０３０によって学習されたニューラルネットワークモデル１０５０を使用して、感動するコンテンツの撮影を行う装置である。モデル利用装置１０２０は、例えば、カメラ操作に慣れていない一般のユーザなどが使用するカメラである。モデル利用装置１０２０は、学習装置１０３０による学習済みのニューラルネットワークモデルを使用して、プロのカメラマンなど撮影のエキスパートに匹敵するカメラの自動操作を行ったり、感動スコアの高い映像の自動撮影を行ったりすることができる。
ここで、学習システム１０００の変形例について説明しておく。
学習装置１０３０は、さまざまなニューラルネットワークモデルの学習を行うために膨大な計算リソースが必要である。したがって、図１０では、学習装置１０３０は、例えばクラウド上に構築されること（すなわち、クラウドＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ））を想定している。また、学習装置１０３０は、複数の計算ノードを用いて分散学習を行うようにしてもよい。但し、学習装置１０３０は、学習済みニューラルネットワークモデルを利用するモデル利用装置と一体で構成されること（すなわち、エッジＡＩ）も想定される。あるいは、学習装置１０３０は、学習データを提供するデータ収集装置１０１０と一体で構成されていてもよい。
また、データ分析装置１０４０は、クラウド又はエッジのいずれに構築されていてもよい。例えばデータ分析装置１０４０は、学習装置１０３０と一体の装置として構成されていてもよい。この場合、学習装置１０３０は、内部でニューラルネットワークモデルの学習に影響を与える学習データを分析して、ニューラルネットワークモデルの学習に所定以上の影響を及ぼす学習データ、不足している学習データ、又はこれらに類似するデータの送信を、データ収集装置１０１０に対して要求するようにしてもよい。
あるいは、データ分析装置１０４０は、データ収集装置１０１０と一体の装置として構成されていてもよい。この場合、学習装置１０３０は、学習データの送信要求時などに、データ分析に必要な情報（例えば、その時点で学習済みのニューラルネットワークモデルの情報）を、データ収集装置１０１０に提供する。そして、データ収集装置１０１０は、収集したデータがニューラルネットワークモデルに与える影響を分析して、収集したデータのうちニューラルネットワークモデルの学習に所定以上の影響を及ぼす学習データ、不足している学習データ、又はこれらに類似するデータを学習装置１０３０に送信するようにしてもよい。
また、図１０では、学習データを収集するデータ収集装置１０１０と、ニューラルネットワークモデルを利用するモデル利用装置１０２０を別々の装置として描いているが、１つの装置がデータ収集装置１０１０及びモデル利用装置１０２０の双方として動作することも想定される。例えば１台のカメラが、マニュアル操作モードではデータ収集装置１０１０として動作して、撮影データとカメラ操作情報などのデータを収集して学習装置１０３０に送信する一方、自動操作モードに切り替えるとモデル利用装置１０２０として動作して、学習装置１０３０で学習済みのニューラルネットワークモデルを用いて自動撮影を行うようにしてもよい。
Ｈ－２．ニューラルネットワークモデルの構成
図１０に示した学習システム１０００において利用されるニューラルネットワークモデルについて説明しておく。学習システム１０００では、学習装置１０３０は、データ収集装置１０４０によって収集されたデータを使って、「観測予測モデル」、「操作モデル」、「操作推定モデル」、「感動スコア推定モデル」などのニューラルネットワークの学習及び再学習を行う。また、モデル利用装置１０２０は、学習装置１０３０によって学習が行われたこれらのニューラルネットワークモデルのうち少なくとも一部を利用する。
観測予測モデル：
図１１には、観測予測モデル１１００の構成を模式的に示している。観測予測モデル１１００は、カメラで撮影した現時刻までの映像情報１１０１と、カメラに対する現時刻までの操作情報１１０２から、次の時刻にカメラで撮影される画像（すなわち、「次の時刻の画像」）１１１１を予測するニューラルネットワークモデルである。
ここで言う操作情報１１０２は、例えば、フレームレートや絞り、露出値、倍率、焦点などの撮像条件を決めるためにカメラに対して行われた操作に関する情報である（以下、同様）。また、ロボットやドローンなどの移動体装置にカメラを搭載して行う場合には、移動体装置に対して行われたリモコン操作（ロール、ピッチ、ヨーで示されるカメラワークなど）も操作情報に含んでもよい（以下、同様）。
また、観測予測モデル１１００は、予測した次の時刻の画像１１１１に対する信頼度スコア１１１２も併せて出力する。信頼度スコア１１１２は、次の時刻の画像１１１１がどの程度正しく予測できているかを示す値である。本開示では、学習に不足しているデータ、又は学習への影響度の高いデータを特定するために、信頼度スコアが用いられる。あるいは、データ分析装置１０４０が、ＸＡＩによる観測予測モデル１１００の予測の根拠の説明、信頼度スコア計算、影響関数計算、ベイジアンＤＮＮによるデータ不足推定などの手法に基づいて、観測予測モデル１１００の学習に所定以上の影響を及ぼす学習データや不足している学習データ、これらに類似するデータなど、有意義な学習データを抽出する。観測予測モデル１１００による信頼度スコア１１１２の計算機能は、データ分析装置１０４０の一部として実装されていてもよい。
、
学習システム１０００では、学習装置１０３０が、データ収集装置１０１０から送信された映像情報と操作情報からなるデータセットに基づいて、観測予測モデル１１００の学習を行うことができる。学習装置１０３０は、強化学習により、より感動を与えることができる画像を予測できるように観測予測モデル１１００の学習を行うことができる。また、データ分析装置１０４０は、データ収集装置１０１０から送信されたデータセットの中から有意義な学習データを抽出し、学習装置１０３０はこの有意義な学習データを用いて観測予測モデル１１００の再学習を効率的に行うことができる。
操作モデル：
図１２には、操作モデル１２００の構成を模式的に示している。操作モデル１２００は、カメラで撮影した現時刻までの映像情報１２０１と、カメラに対する現時刻までの操作情報１２０２から、次の時刻にカメラに対して行われる操作１２１１を予測するニューラルネットワークモデルである。また、操作モデル１２００は、予測した次の時刻の操作１２１１に対する信頼度スコア１２１２も併せて出力する。信頼度スコア１２１２は、次の時刻の画像１１１１がどの程度正しく予測できているかを示す値である。あるいは、データ分析装置１０４０が、ＸＡＩによる操作モデル１２００の予測の根拠の説明、信頼度スコア計算、影響関数計算、ベイジアンＤＮＮによるデータ不足推定などの手法に基づいて、操作モデル１２００の学習に所定以上の影響を及ぼす学習データや不足している学習データ、これらに類似するデータなど、有意義な学習データを抽出する。操作モデル１２００による信頼度スコア１２１２の計算機能は、データ分析装置１０４０の一部として実装されていてもよい。
学習システム１０００では、学習装置１０３０が、データ収集装置１０１０から送信された映像情報と操作情報からなるデータセットに基づいて、操作モデル１２００の学習を行うことができる。学習装置１０３０は、強化学習により、より感動を与えることができる画像を撮影できるカメラ操作情報を予測できるように操作モデル１２００の学習を行うことができる。また、データ分析装置１０４０は、データ収集装置１０１０から送信されたデータセットの中から有意義な学習データを抽出し、学習装置１０３０はこの有意義な学習データを用いて操作モデル１２００の再学習を効率的に行うことができる。
操作推定モデル：
図１３には、操作推定モデル１３００の構成を模式的に示している。操作推定モデル１３００は、現時刻までの映像時系列情報１３０１をカメラで撮影するための時系列操作情報１３１１を推定するニューラルネットワークモデルである。例えば、操作推定モデル１３００を使って、プロのカメラマンなどカメラ操作に精通したエキスパートが撮影した高品質な映像時系列情報から、エキスパートが行うカメラの時系列操作情報を推定することができる。
操作推定モデル１３００は、推定した時系列操作情報１３１１に対する信頼度スコアも併せて出力するようにしてもよい。あるいは、データ分析装置１０４０が、ＸＡＩによる操作推定モデル１３００の予測の根拠の説明、信頼度スコア計算、影響関数計算、ベイジアンＤＮＮによるデータ不足推定などの手法に基づいて、操作推定モデル１３００の学習に所定以上の影響を及ぼす学習データや不足している学習データ、これらに類似するデータなど、有意義な学習データを抽出する。操作推定モデル１３００による信頼度スコアの計算機能は、データ分析装置１０４０の一部として実装されていてもよい。
学習システム１０００では、学習装置１０３０が、データ収集装置１０１０から送信された映像情報と操作情報からなるデータセットに基づいて、操作推定モデル１３００の学習を行うことができる。学習装置１０３０は、強化学習により、より感動を与えることができる画像を撮影できる時系列操作情報を予測できるように操作推定モデル１３００の学習を行うことができる。また、データ分析装置１０４０は、データ収集装置１０１０から送信されたデータセットの中から有意義な学習データを抽出し、学習装置１０３０はこの有意義な学習データを用いて操作推定モデル１３００の再学習を効率的に行うことができる。
感動スコア推定モデル：
図１４には、感動スコア推定モデル１４００の構成を模式的に示している。感動スコア推定モデル１４００は、映像情報１４０１の感動スコア１４１１を推定するニューラルネットワークモデルであり、上記の感情識別機に相当する。例えば図４に示した学習プロセスに従って、感動スコア推定モデル１４００の学習を行うことができる。
図１５には、制御対象（フレームレート、解像度など）と平均感動スコアの関係を示している。但し、ニューラルネットワークモデルから出力される予測値を実線で示し、分散を点で示している。図１５は、あるフレームレートで取得した映像データに基づいて感動スコアが高くなるように操作モデルを強化学習により学習し、学習した操作モデルを用いてカメラを操作したときに得られた平均感動スコアを示している。同図中、黒丸で示すデータ点は、既にデータのある点である。データのある点は分散が小さくなる。データのない点は分散が大きい。分散が大きく、且つ高いスコアが期待できる点ほど観測する価値が大きい。例えば楽観的に分散を考慮した上で最も高いスコアが期待できる点のデータを取得するという実装が考えられる。
感動スコア推定モデル１４００は、推定した感動スコア１４１１に対する信頼度スコアも併せて出力するようにしてもよい。あるいは、データ分析装置１０４０が、ＸＡＩによる感動スコア推定モデル１４００の予測の根拠の説明、信頼度スコア計算、影響関数計算、ベイジアンＤＮＮによるデータ不足推定などの手法に基づいて、感動スコア推定モデル１４００の学習に所定以上の影響を及ぼす学習データや不足している学習データ、これらに類似するデータなど、有意義な学習データを抽出する。感動スコア推定モデル１４００による信頼度スコアの計算機能は、データ分析装置１０４０の一部として実装されていてもよい。
学習システム１０００では、学習装置１０３０が、データ収集装置１０１０から送信された映像情報と操作情報からなるデータセットに基づいて、感動スコア推定モデル１４００の学習を行うことができる。学習装置１０３０は、強化学習により、感動を与えることができる映像情報に対してより高い感動スコアを推定できるように感動スコア推定モデル１４００の学習を行うことができる。また、データ分析装置１０４０は、データ収集装置１０１０から送信されたデータセットの中から有意義な学習データを抽出し、学習装置１０３０はこの有意義な学習データを用いて感動スコア推定モデル１４００の再学習を効率的に行うことができる。
Ｈ－３．学習データの分析について
学習システム１０００では、データ分析装置１０４０が、学習対象となるニューラルネットワークモデルの学習データを分析して、学習に所定以上の影響を及ぼす学習データや不足している学習データ、これらに類似するデータなど、有意義な学習データを特定して、学習装置１０２０はそのような有意義な学習データを用いてニューラルネットワークモデルの効率的な学習や再学習を行う。
データ分析装置１０４０は、クラウド又はエッジのいずれに構築されていてもよい。例えばデータ分析装置１０４０は、学習装置１０３０と一体の装置として構成されていてもよい。この場合、学習装置１０３０は、内部でニューラルネットワークモデルの学習に影響を与える学習データを分析して、ニューラルネットワークモデルの学習に所定以上の影響を及ぼす学習データ、不足している学習データ、又はこれらに類似するデータの送信を、データ収集装置１０１０に対して要求する。
あるいは、データ分析装置１０４０は、データ収集装置１０１０と一体の装置として構成されていてもよい。この場合、学習装置１０３０は、学習データの送信要求時などに、データ分析に必要な情報（例えば、その時点で学習済みのニューラルネットワークモデルの情報）を、データ収集装置１０１０に提供する。そして、データ収集装置１０１０は、収集したデータがニューラルネットワークモデルに与える影響を分析して、収集したデータのうちニューラルネットワークモデルの学習に所定以上の影響を及ぼす学習データ、不足している学習データ、又はこれらに類似するデータを学習装置１０３０に送信する。
データ分析装置１０４０がデータを分析する方法として、ＸＡＩ、学習データの信頼度スコア計算、影響関数計算、ベイジアンＤＮＮによるデータ不足推定などが挙げられる。
信頼度スコアは、ニューラルネットワークモデルによる予測値の正しさの程度を数値化したものである。上記で説明したニューラルネットワークモデルのうち、観測予測モデル１１００及び操作モデル１２００は、予測値とともに信頼度スコアを出力するように構成されている。
学習システム１０００では、データ収集装置１０１０が、信頼度スコアを用いて学習装置１０３０に送信する学習データのフィルタリングを行うが、この点の詳細については後述に譲る。
ニューラルネットワークモデルの出力値の信頼度スコアを計算する方法はいくつかあり、本開示では特定の計算方法に限定されない。ここでは、３種類の信頼度スコアの計算方法（１）～（３）について説明しておく。
（１）出力の誤差を推定するように学習されたニューラルネットワークモデル
図１６に示すように、ニューラルネットワークモデル１５００において、本来の出力とともに、その出力の誤差を信頼度スコアとして出力するように学習する。
（２）ベイズ推定を用いる方法
Ｉｍａｇｅ Ａｕｇｍｅｎｔａｔｉｏｎ（画像拡張）及びＤｒｏｐｏｕｔなど乱数を用い、入力データや中間ニューロンの構成に摂動を加え、摂動の下でも正しい予測が得られるような学習を行う。推論時は摂動を加えながら何度も推定を行う。結果の分散が大きいほど、信頼度スコアが低いことを表す。
（３）予測確率を用いる方法（分類問題の場合）
０．０～１．０の確率で予測が得られる分類問題の場合、０．０、１．０などの結果が得られた場合は信頼度スコアが高い、２値分類の場合は０．５（５０％に近い）、他クラス分類の場合は最も確率の高いクラスの確率が低い場合は信頼度スコアが低いと判断できる。
また、影響関数は、個々の学習データの有無や摂動がニューラルネットワークモデルの予測結果に与える影響を定式化したものである（例えば、非特許文献４を参照のこと）。また、ベイジアンＤＮＮは、ベイズ推定とディープラーニングを結び付けて構成されるが、ベイズ推定を使うことにより、ニューラルネットワークモデルが予測結果を出力する際のデータ不足による不確実性を評価することができる。
Ｈ－４．データ収集装置の構成
データ収集装置１０１０は、スチルカメラやビデオカメラ、カメラで使用されるイメージセンサー、スマートフォンなどの多機能情報端末、ＴＶ、ヘッドホン又はイヤホン、ゲーム機、冷蔵庫や洗濯機などのＩｏＴデバイス、ドローンやロボットなどの移動体装置など、多種類の装置である。
図１７には、データ収集装置１０１０の内部構成例を示している。図１７に示すデータ収集装置１０１０は、センサー部１０１１と、操作入力部１０１２と、制御部１０１３と、ログ送信部１０１４と、データ分析部１０１５を備えている。但し、図１７は、多種類のデータ収集装置１０１０のうち、本開示の実現に関わる代表的な機能的構成を抽象化して描いたものであり、個々のデータ収集装置１０１０は図示しないさまざまな構成要素を備えていることが想定される。
センサー部１０１１は、ＣＭＯＳなどで構成されるイメージセンサーや、データ収集装置１０１０に装備されるその他のセンサーからなり、画像や映像の撮影を始めとする観測を行う。また、データ収集装置１０１０がロボットやドローンなどの移動体装置に搭載されている場合には、ＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）などの移動体装置に装備される各種センサーもセンサー部１０１１に含まれるものとする。
操作入力部１０１２は、データ収集装置１０１０における撮影条件などの操作情報を調整するための入力操作を行う機能モジュールである。操作入力部１０１２は、ボタンやつまみなどの操作子やタッチパネル画面などからなる。また、データ収集装置１０１０がロボットやドローンなどの移動体装置に搭載されている場合には、移動体装置を遠隔操作する際に使用するリモコンも操作入力部１０１２に含まれる。
制御部１０１３は、データ収集装置１０１０全体の動作を統括的に制御する。また、制御部１０１３は、操作入力部１０１２を介して入力された操作情報に基づいて、センサー部１０１１における画像や映像の撮影とする観測の制御を行う。
ログ送信部１０１４は、センサー部１０１１で観測された観測ログ及び操作入力部１０１２に入力された操作ログからなるデータセットを、学習装置１０３０に送信する。基本的には、ログ送信部１０１４は、学習装置１０３０からデータの送信を要求する要求信号を受信したことに応じて学習装置１０３にデータセットを送信する。データ収集装置１０１０は、学習装置１０３０から要求信号を受信したことに応じて新たにデータを収集して学習装置１０３０に送信するが、既に収集したデータから要求信号に基づいて抽出したデータを学習装置１０３０に送信するようにしてもよい。もちろん、データ収集装置１０１０は、要求信号に応じてではなく自発的にデータを送信するようにしてもよい。
データ分析部１０１５は、センサー部１０１１で観測された観測ログ及び操作入力部１０１２に入力された操作ログからなるデータセットが、学習対象となる各ニューラルネットワークモデルの学習に与える影響を分析して、学習に所定以上の影響を及ぼす学習データ、不足している学習データ、又はこれらに類似するデータなどの、学習に有意義なデータであるかどうかを特定する。
学習装置１０３０から、学習に有意義なデータを指定して要求信号が送信される場合と、収集したデータの分析を指示して要求信号が送信される場合がある。前者の場合、データ分析部１０１５は、センサー部１０１１で観測された観測ログ及び操作入力部１０１２に入力された操作ログからなるデータセットが要求信号で指定されたデータに該当するかどうかをチェックして、ログ送信部１０１４は、要求に適合するデータのみを学習装置１０３０に送信する。
また、後者の場合、データ分析部１０１５は、図１０中のデータ分析装置１０４０に相当する。この場合のデータ分析部１０１５は、学習装置１０３０において学習対象とするニューラルネットワークモデルの学習に影響を与える学習データを分析して、センサー部１０１１で観測された観測ログ及び操作入力部１０１２に入力された操作ログからなるデータセットが、ニューラルネットワークモデルの学習に所定以上の影響を及ぼす学習データや不足している学習データ、これらに類似するデータなど、有意義な学習データに該当するかどうかをチェックする。そして、ログ送信部１０１４は、有意義な学習データとなるデータセットのみを学習装置１０３０に送信する。データ分析部１０１５は、例えばＸＡＩ、信頼度スコア、影響関数、ベイジアンＤＮＮのうち少なくとも１つ、又は２以上の組み合わせを用いて、ニューラルネットワークモデルの分析を行う。例えば、データ分析部１０１５が信頼度スコアを用いてデータの分析を行う場合には、学習装置１０３０から現時刻までに学習済みのニューラルネットワークモデルの情報を受け取り、データセットを入力したときのニューラルネットワークモデルによる推論の信頼度スコアを計算する。信頼度スコアを計算する方法については、上記Ｈ－３項を参照されたい。そして、信頼度スコアが高い観測ログ及び操作ログは不足していない学習データであり価値は低いが、信頼度スコアが低い観測ログ及び操作ログは不足している学習データであり価値が高いということができる。信頼度スコアが低く不足している学習データを収集して学習装置１０３０に提供することにより、学習装置１０３側ではニューラルネットワークモデルの学習や再学習を効率的に行うことができるようになる。
また、データ分析部１０１５は、分析結果をセンサー部１０１１及び操作入力部１０１２にフィードバックするようにしてもよい。そして、センサー部１０１１及び操作入力部１０１２は、学習対象のニューラルネットワークモデルの学習への影響度に基づいて、解像度、フレームレート、輝度、色彩、画角、視点位置又は視線方向を変化させて撮影を行うようにしてもよい。
図１８には、データ収集装置１０１０の他の内部構成例を示している。図１８に示すデータ収集装置１０１０は、センサー部１０１１と、操作入力部１０１２と、制御部１０１３と、ログ送信部１０１４を備えている。図１７に示した構成例との主な相違は、データ分析部１０１５を備えていない点である。図１８に示すデータ収集装置１０１０は、収集したデータの分析を行わず、言い換えれば、収集したデータがニューラルネットワークモデルの学習や再学習に有意義な学習データであるかどうかに関わらず、すべて学習装置１０３０に送信する。
Ｈ－５．学習装置の構成
図１９には、学習装置１０３０の内部構成例を示している。図１９に示す学習装置１０３０は、モデル学習部１０３１と、観測・操作ログ蓄積部１０３２と、観測予測モデル・操作モデル蓄積部１０３３と、操作推定モデル蓄積部１０３４と、操作推定部１０３５と、データ分析部１０３６を備えている。
モデル学習部１０３１は、学習データを使って各種のニューラルネットワークモデルの学習を行う。具体的には、モデル学習部１０３１は、観測予測モデル（図１１を参照のこと）、操作モデル（図１２を参照のこと）、操作推定モデル（図１３を参照のこと）、感動スコア推定モデル（図１４を参照のこと）などの学習を行う。学習装置１０３０がクラウド上に設置されるクラウドＡＩの場合、例えば複数の計算ノードを用いてモデル学習部１０３１を構成して、ニューラルネットワークモデルの分散学習を行うようにしてもよい。
観測・操作ログ蓄積部１０３２は、データ収集装置１０１０から送信された観測ログと操作ログを蓄積する。データ収集装置１０１０からは、有意義な学習データとなる観測ログ及び操作ログが送られてくるものとする。
モデル学習部１０３１は、観測・操作ログ蓄積部１０３２に蓄積されている観測ログと操作ログからなるデータセットに基づいて、観測予測モデルの学習を行う。そして、学習済みの観測予測モデルは観測予測モデル・操作モデル蓄積部１０３３に蓄積される。
また、モデル学習部１０３１は、観測・操作ログ蓄積部１０３２に蓄積されている観測ログと操作ログからなるデータセットに基づいて、操作モデルの学習を行う。そして、学習済みの操作モデルは観測予測モデル・操作モデル蓄積部１０３３に蓄積される。
また、モデル学習部１０３１は、観測・操作ログ蓄積部１０３２に蓄積されている観測ログと操作ログからなるデータセットに基づいて、操作推定モデルの学習を行う。そして、学習済みの操作推定モデルは操作推定モデル蓄積部１０３４に蓄積される。
データ分析部１０３６は、図１０中のデータ分析装置１０４０に相当する。データ分析部１０３６は、観測予測モデル・操作モデル蓄積部１０３３及び操作推定モデル蓄積部１０３４に蓄積されている学習済みの各ニューラルネットワークの学習に影響を与える学習データを分析する。そして、この分析結果に基づいて、所定以上の影響を及ぼす学習データ、不足している学習データ、又はこれらに類似するデータの送信を要求する要求信号が、学習装置１０３０からデータ収集装置１０１０へ送信される。したがって、データ収集装置１０１０からは、有意義な学習データとなる観測ログ及び操作ログが送られてくる。データ分析部１０３６は、例えば、ＸＡＩ、信頼度スコア計算、影響関数、又はベイジアンＤＮＮなどの手法に基づいて、学習データの分析を行う。
操作推定部１０３５は、学習済みの操作推定モデルを用いて、プロのカメラマンなどのカメラ操作に精通したエキスパートが撮影した映像（以下、「プロの映像」とも呼ぶ）から、その映像を撮影するための時系列操作情報を推定する。そして、操作推定部１０３５に入力されたプロの映像（観測ログ）と、操作推定部１０３５で推定された操作情報（推定された操作ログ）からなるデータセットが、プロ並みの操作モデルを学習するための高品質な学習データとして、観測・操作ログ蓄積部１０３２に蓄積される。したがって、モデル学習部１０３１は、観測・操作ログ蓄積部１０３２に蓄積されている高品質な学習データを用いて、プロ並みのカメラ操作を予測することが可能な操作モデルを学習することができる。
なお、プロの映像コンテンツは任意であり、ネットワーク経由でクラウドに提供されることを想定している。プロの映像コンテンツを使って大量の高品質な学習データを収集していくことで、プロ並みのカメラ自動操作を実現するための操作モデルの学習を行うことが可能になる。
図２０には、学習装置１０３０の他の内部構成例を示している。図２０に示す学習装置１０３０は、モデル学習部１０３１と、観測・操作ログ蓄積部１０３２と、観測予測モデル・操作モデル蓄積部１０３３と、操作推定モデル蓄積部１０３４と、操作推定部１０３５を備えている。図１９に示した構成例との主な相違点は、データ分析部１０３６を備えていない点である。
図２０に示す学習装置１０３０は、自らは学習データの分析を行わず、その代わりに学習対象となるニューラルネットワークモデルの情報をデータ収集装置１０１０に送信する。この場合、データ収集装置１０１０側では、データ分析部１０１５が、学習装置１０３０において学習対象とするニューラルネットワークモデルの学習に影響を与える学習データを分析して、センサー部１０１１で観測された観測ログ及び操作入力部１０１２に入力された操作ログからなるデータセットが、ニューラルネットワークモデルの学習に所定以上の影響を及ぼす学習データや不足している学習データ、これらに類似するデータなど、有意義な学習データに該当するかどうかをチェックする（前述）。そして、データ収集装置１０１０から学習装置１０３０へ、有意義な学習データとなるデータセットのみが送信される。
図２１には、学習装置１０３０のさらに他の内部構成例を示している。図２１に示す学習装置１０３０は、モデル学習部１０３１と、観測・操作ログ蓄積部１０３２と、観測予測モデル・操作モデル蓄積部１０３３と、操作推定モデル蓄積部１０３４と、操作推定部１０３５と、データ分析部１０３７を備えている。図１９及び図２０に示した構成例との主な相違点は、学習装置１０３０は、図１８に示した構成例からなるデータ収集装置１０１０から、すべての収集データを受信して、データ分析部１０３７において各受信データが有意義な学習データかどうかをチェックする点である。
データ分析部１０３７は、図１０中のデータ分析装置１０４０に相当する。データ分析部１０３７は、観測・操作ログ蓄積部１０３２に蓄積されている各受信データが、観測予測モデル・操作モデル蓄積部１０３３及び操作推定モデル蓄積部１０３４に蓄積されている学習済みの各ニューラルネットワークの学習に与える影響を分析する。そして、データ分析部１０３７は、各ニューラルネットワークモデルの学習に所定以上の影響を及ぼす学習データや不足している学習データ、これらに類似するデータなど、有意義な学習データのみを、観測・操作ログ蓄積部１０３２から抽出して、モデル学習部１０３１に出力する。したがって、モデル学習部１０３１は、有意義な学習データを使って各種のニューラルネットワークモデルの学習や再学習を効率的に行うことができる。
Ｈ－６．モデル利用装置の構成
図２２には、モデル利用装置１０２０の内部構成例を示している。モデル利用装置１０２０は、センサー部１０２１と、自動操作部１０２２と、制御部１０２３と、提示部１０２４を備えている。
センサー部１０２１は、ＣＭＯＳなどで構成されるイメージセンサーや、モデル利用装置１０２０に装備されるその他のセンサーからなり、画像や映像の撮影を始めとする観測を行う。また、モデル利用装置１０２０がロボットやドローンなどの移動体装置に搭載されている場合には、ＩＭＵなどの移動体装置に装備される各種センサーもセンサー部１０２１に含まれるものとする。
自動操作部１０２２は、学習装置１０３０から提供された操作モデルを用いて、センサー部１０２１の観測情報（現時刻までの映像情報及び現時刻までの操作情報）から次の時刻の操作情報を予測するとともに、予測した操作情報の信頼度スコアなどのデータ分析結果を出力する。
制御部１０２３は、自動操作部１０２２によって予測された次の時刻の操作情報に基づいて、センサー部１０１１における画像や映像の撮影とする観測の制御を行う。
学習装置１０３０において十分な学習が行われた操作モデルが提供される場合、モデル利用装置１０２０のユーザ自身はカメラ操作に精通していなくても、自動操作部１０２２によって予測された操作情報に基づいて、プロのカメラマンなどカメラ操作に精通したエキスパートと同等の撮影を行うことができる。
提示部１０２４は、自動操作部１０２２において予測した操作情報の信頼度スコアなどのデータ分析結果を提示する。モデル利用装置１０２０のユーザは、提示された信頼度スコアから、自動操作によりプロ並みの腕前で映像の撮影が行われるかどうかを判断することができる。
Ｈ－７．エッジＡＩの構成
学習済みのニューラルネットワークモデルを利用するモデル利用装置１０２０が、ニューラルネットワークモデルの学習を行う学習装置の機能と一体となって構成されること（すなわち、エッジＡＩ）も想定される。図２３には、エッジＡＩとしてのモデル利用装置１０２０の内部構成例を示している。図示のモデル利用装置１０２０は、センサー部１０２１と、自動操作部１０２２と、制御部１０２３と、提示部１０２４に加えて、モデル学習部１０３１と、観測・操作ログ蓄積部１０３２と、観測予測モデル・操作モデル蓄積部１０３３と、操作推定モデル蓄積部１０３４と、操作推定部１０３５を備えている。
観測・操作ログ蓄積部１０３２は、データ収集装置１０１０から送信された観測ログと操作ログを蓄積する。モデル学習部１０３１は、観測・操作ログ蓄積部１０３２に蓄積されている観測ログと操作ログからなるデータセットに基づいて、観測予測モデルの学習を行う。また、モデル学習部１０３１は、観測・操作ログ蓄積部１０３２に蓄積されている観測ログと操作ログからなるデータセットに基づいて、操作モデルの学習を行う。そして、学習済みの観測予測モデル及び操作モデルは観測予測モデル・操作モデル蓄積部１０３３に蓄積される。
また、モデル学習部１０３１は、観測・操作ログ蓄積部１０３２に蓄積されている観測ログと操作ログからなるデータセットに基づいて、操作推定モデルの学習を行う。そして、学習済みの操作推定モデルは操作推定モデル蓄積部１０３４に蓄積される。操作推定部１０３５は、学習済みの操作推定モデルを用いて、プロのカメラマンなどのカメラ操作に精通したエキスパートが撮影した映像から、その映像を撮影するための時系列操作情報を推定して、プロ並みの操作モデルを学習するための高品質な学習データとして、観測・操作ログ蓄積部１０３２に蓄積される。したがって、モデル学習部１０３１は、観測・操作ログ蓄積部１０３２に蓄積されている高品質な学習データを用いて、プロ並みのカメラ操作を予測することが可能な操作モデルを学習することができる。
センサー部１０２１は、ＣＭＯＳなどで構成されるイメージセンサーや、モデル利用装置１０２０に装備されるその他のセンサーからなり、画像や映像の撮影を始めとする観測を行う。
自動操作部１０２２は、観測予測モデル・操作モデル蓄積部１０３３から読み出した操作モデルを用いて、センサー部１０２１の観測情報（現時刻までの映像情報及び現時刻までの操作情報）から次の時刻の操作情報を予測するとともに、予測した操作情報の信頼度スコアなどのデータ分析結果を出力する。
制御部１０２３は、自動操作部１０２２によって予測された次の時刻の操作情報に基づいて、センサー部１０１１における画像や映像の撮影とする観測の制御を行う。学習装置１０３０において十分な学習が行われた操作モデルが提供される場合、モデル利用装置１０２０のユーザ自身はカメラ操作に精通していなくても、自動操作部１０２２によって予測された操作情報に基づいて、プロのカメラマンなどカメラ操作に精通したエキスパートと同等の撮影を行うことができる。
提示部１０２４は、自動操作部１０２２において予測した操作情報の信頼度スコアなどのデータ分析結果を提示する。モデル利用装置１０２０は、提示された信頼度スコアから、自動操作によりプロ並みの腕前で映像の撮影が行われるかどうかを判断することができる。
以上、特定の実施形態を参照しながら、本開示について詳細に説明してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
本開示は、人間に感動を与えるコンテンツを生成する機械学習モデルの学習に用いられるデータの収集処理に適用することができる。本開示に基づいて収集したデータは、人間に感動を与えるコンテンツを扱うための（具体的には、感動するコンテンツを生成し又は感動するコンテンツを撮影するためのカメラ操作を推定するための）機械学習モデル（例えば、ニューラルネットワークモデル）を学習させるための学習データに用いられるが、もちろんそれ以外の用途の機械学習モデルの学習に利用することも可能である。
また、本開示に基づいて収集したデータを使って、コンテンツが人間に与える感情を識別する機械学習モデルを訓練することができ、このようにして開発した機械学習モデルを備えた感情識別機を、デジタルカメラを始めとするコンテンツ処理装置に搭載することができる。
要するに、例示という形態により本開示について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本開示の要旨を判断するためには、特許請求の範囲を参酌すべきである。
なお、本開示は、以下のような構成をとることも可能である。
（１）データを収集するデータ収集装置と、前記データ収集装置が収集したデータを用いて機械学習モデルの学習を行う学習装置を備え、
前記学習装置は、前記機械学習モデルの学習に影響を与える学習データを分析した結果に基づいて収集した、前記機械学習モデルの学習に所定以上の影響を及ぼす学習データ、不足している学習データ、又はこれらに類似するデータを用いて、前記機械学習モデルの再学習を行う、
学習システム。
（２）前記学習装置は、感動するコンテンツを生成し又は感動するコンテンツを撮影するためのカメラ操作を推定する機械学習モデルの学習を行う、
上記（１）に記載の学習システム。
（３）ＸＡＩ、信頼度スコア計算、影響関数、又はベイジアンＤＮＮによる前記分析を行う、
上記（１）又は（２）のいずれかに記載の学習システム。
（４）前記学習装置は、前記機械学習モデルの学習に影響を与える学習データを分析し、その分析結果に基づいて、前記機械学習モデルの学習に所定以上の影響を及ぼす学習データ、不足している学習データ、又はこれらに類似するデータの送信を要求する要求信号を前記データ収集装置に送信し、
前記データ収集装置は、受信した前記要求信号に基づいて収集したデータを前記学習装置に送信し、
前記学習装置は、前記要求信号に応じて前記データ収集装置から送信されたデータに基づいて前記機械学習モデルの再学習を行う、
上記（１）乃至（３）のいずれかに記載の学習システム。
（５）前記データ収集装置は、画像を撮影するカメラ又はイメージャであり、前記機械学習モデルの学習への影響度に基づいて、解像度、フレームレート、輝度、色彩、画角、視点位置、又は視線方向を変化させて撮影した画像データを前記学習装置に送信する、
上記（１）乃至（４）のいずれかに記載の学習システム。
（６）前記学習装置は、前記機械学習モデルの学習データの送信を要求する要求信号を前記データ収集装置に送信し、
前記データ収集装置は、収集したデータが前記機械学習モデルの学習に与える影響を分析した結果に基づいて、前記収集したデータのうち前記機械学習モデルの学習に所定以上の影響を及ぼす学習データ、不足している学習データ、又はこれらに類似するデータを前記学習装置に送信し、
前記学習装置は、前記要求信号に応じて前記データ収集装置から送信されたデータに基づいて前記機械学習モデルの再学習を行う、
上記（１）乃至（３）のいずれかに記載の学習システム。
（７）前記学習装置は、前記要求信号の送信時に、前記分析に必要な情報を前記データ収集装置に送信する、
上記（６）に記載の学習システム。
（８）機械学習モデルの学習を行う学習装置から、前記機械学習モデルの学習データの送信を要求する要求信号を受信する受信部と、
前記要求信号を受信したことに応じて、前記機械学習モデルの学習に所定以上の影響を及ぼす学習データ、不足している学習データ、又はこれらに類似するデータを収集するデータ収集部と、
前記データ収集部が収集したデータを前記学習装置に送信する送信部と、
を具備するデータ収集装置。
（９）前記受信部は、前記機械学習モデルの学習に所定以上の影響を及ぼす学習データ、不足している学習データ、又はこれらに類似するデータを要求する前記要求信号を前記学習装置から受信し、
前記データ収集部は、受信した前記要求信号に基づいてデータを収集し、
前記送信部は、前記データ収集部が収集したデータを前記学習装置に送信する、
上記（８）に記載のデータ収集装置。
（１０）前記データ収集部は受信した前記要求信号に基づいて新たにデータを収集し、又は、前記送信部は前記データ収集部が既に収集したデータから前記要求信号に基づいて抽出したデータを送信する、
上記（９）に記載のデータ収集装置。
（１１）前記データ収集部が収集したデータが前記機械学習モデルの学習に与える影響を分析する分析部をさらに備え、
前記送信部は、前記分析部による分析結果に基づいて、前記データ収集部が収集したデータのうち前記機械学習モデルの学習に所定以上の影響を及ぼす学習データ、不足している学習データ、又はこれらに類似するデータを前記学習装置に送信する、
上記（８）に記載のデータ収集装置。
（１２）前記データ収集部は、前記機械学習モデルの学習への影響度に基づいて、画像を撮影するカメラ又はイメージャの解像度、フレームレート、輝度、色彩、画角、視点位置、又は視線方向を変化させて撮影した画像データを収集する、
上記（８）乃至（１１）のいずれかに記載のデータ収集装置。
（１３）コンテンツのコンテンツ評価情報とコンテンツを視聴する人間の生体情報に基づいて、コンテンツからセグメントを抽出するセグメント抽出部と、
セグメントに写っている人物の顔を検出して顔の表情を識別する表情識別部と、
セグメントに写っている人物間の関係性を推定する関係性推定部と、
セグメントに写っている人物の顔の表情と、人物間の関係性に基づいてセグメントの感動ラベルを識別する感動識別部と、
を具備する情報処理装置。
（１４）前記生体情報は少なくとも脳波情報を含む、
上記（１３）に記載の情報処理装置。
（１５）前記セグメント抽出部は、コンテンツのうち高評価とポジティブな感情を持つ生体情報が一致しているセグメントを抽出する、
上記（１３）又は（１４）のいずれかに記載の情報処理装置。
（１６）前記セグメント抽出部は、高評価とポジティブな感情を持つ生体情報が一致しないセグメントをさらに抽出する、
上記（１５）に記載の情報処理装置。
（１７）前記関係性推定部は、前後のセグメントとのコンテキストと、人物の顔の表情に基づいて、セグメントに写っている人物間の関係性を推定する、
上記（１３）乃至（１６）のいずれかに記載の情報処理装置。
（１８）前記関係性推定部は、前記コンテキストとして、過去のセグメントに写っている人物の顔検出及び検出顔の表情識別結果を用いて、現在のセグメントに写っている人物間の関係性を推定する、
上記（１７）に記載の情報処理装置。
（１９）前記セグメントに含まれる音声を認識して得られたテキスト情報に基づいて感情を分析する第１の感情分析部をさらに備え、
前記感動識別部は、前記第１の感情分析部がテキスト情報から識別した感情をさらに考慮して、セグメントの感動ラベルを識別する、
上記（１３）乃至（１８）のいずれかに記載の情報処理装置。
（２０）前記セグメントに含まれる音楽を検出して、その音楽が与える感情を分析する第２の感情分析部をさらに備え、
前記感動識別部は、前記第２の感情分析部が音楽から識別した感情をさらに考慮して、セグメントの感動ラベルを識別する、
上記（１３）乃至（１９）のいずれかに記載の情報処理装置。
（２１）コンテンツのコンテンツ評価情報とコンテンツを視聴する人間の生体情報に基づいて、コンテンツからセグメントを抽出するセグメント抽出ステップと、
セグメントに写っている人物の顔を検出して顔の表情を識別する表情識別ステップと、
セグメントに写っている人物間の関係性を推定する関係性推定ステップと、
セグメントに写っている人物の顔の表情と、人物間の関係性に基づいてセグメントの感動ラベルを識別する感動識別ステップと、
を有する情報処理方法。
（２２）コンテンツのコンテンツ評価情報とコンテンツを視聴する人間の生体情報に基づいて、コンテンツからセグメントを抽出するセグメント抽出部、
セグメントに写っている人物の顔を検出して顔の表情を識別する表情識別部、
セグメントに写っている人物間の関係性を推定する関係性推定部、
セグメントに写っている人物の顔の表情と、人物間の関係性に基づいてセグメントの感動ラベルを識別する感動識別部、
としてコンピュータを機能させるようにコンピュータ可読形式で記述されたコンピュータプログラム。
（２３）コンテンツが与える感動を識別する学習済み機械学習モデルを生成する生成方法であって、
機械学習モデルにコンテンツを入力するステップと、
前記機械学習モデルが前記コンテンツから推定した映像特徴量を獲得するステップと、
前記機械学習モデルが前記コンテンツから推定したオーディオ特徴量を獲得するステップと、
前記機械学習モデルが前記コンテンツから推定した音声のテキスト特徴量を獲得するステップと、
前記機械学習モデルが推定した映像特徴量、オーディオ特徴量、及びテキスト特徴量に基づいてコンテンツの感動ラベルを識別するステップと、
前記識別した感動ラベルと前記コンテンツに付けられた感動ラベルとの誤差に基づく損失関数を計算するステップと、
前記損失関数に基づいて前記機械学習モデルのパラメータを更新するステップと、
を有する学習済み機械学習モデルの生成方法。
（２４）前記映像特徴量は、映像のフレームに写っている人物が２人以上の場合において、連続する複数のフレームのコンテキストに基づいて推定される人物間の関係性を含む、
上記（２３）に記載の学習済み機械学習モデルの生成方法。
１００…データ収集システム、１０１…映像コンテンツ
１０２…コンテンツ評価情報取得部、１０３…生体情報取得部
１０４…比較部、１０５…セグメント抽出部
１０６…コンテキスト抽出部、１０７…音声認識部
１０８…音楽検出部、１０９…顔検出部
１１０…第１の感情分析部、１１１…第２の感情分析部
１１２…表情識別部、１１３…関係性推定部
１１４…感動識別部
４１０…データ蓄積部、４２０…感動識別機
４２１…ネットワーク部、４２２…識別部、４２３…評価部
５００…デジタルカメラ、５０１…光学系、５０２…撮像部
５０３…ＡＦＥ部、５０４…カメラ信号処理部、５０６…メイン処理部
５１４…マイク、５１５…Ａ／Ｄ変換部、５１６…表示部
５１７…音再生部、５１８…記録部
１０００…学習システム、１０１０…データ収集装置
１０１１…センサー部、１０１２…操作入力部、１０１３…制御部
１０１４…ログ送信部、１０１５…データ分析部
１０２０…モデル利用装置、１０２１…センサー部
１０２２…自動操作部、１０２３…制御部、１０２４…提示部
１０３０…学習装置、１０３１…モデル学習部
１０３２…観測・操作ログ蓄積部
１０３３…観測予測モデル・操作モデル蓄積部
１０３４…操作推定モデル蓄積部、１０３５…操作推定部
１０３６…データ分析部、１０３７…データ分析部
１０４０…データ分析装置
１１００…観測予測モデル、１２００…操作モデル
１３００…操作推定モデル、１４００…感動スコア推定モデル

Claims (19)

  1. 感動するコンテンツを生成し又は感動するコンテンツを撮影するためのカメラ操作を推定する機械学習モデルの学習を行うための学習システムであって、
    データを収集するデータ収集装置と、前記データ収集装置が収集したデータを用いて機械学習モデルの学習を行う学習装置を備え、
    前記データ収集装置は、カメラで撮影した画像データ及び前記カメラの撮影時の操作情報を含む学習データを収集し、
    前記学習装置は、前記機械学習モデルの学習に影響を与える学習データを分析した結果に基づいて収集した、前記機械学習モデルの学習に所定以上の影響を及ぼす学習データ、不足している学習データ、又はこれらに類似するデータを用いて、前記機械学習モデルの再学習を行う、
    学習システム。
  2. ＸＡＩ（Ｅｘｐｌａｉｎａｂｌｅ ＡＩ）、信頼度スコア計算、影響関数、又はベイジアンＤＮＮによる前記分析を行う、
    請求項１に記載の学習システム。
  3. 前記学習装置は、前記機械学習モデルの学習に影響を与える学習データを分析し、その分析結果に基づいて、前記機械学習モデルの学習に所定以上の影響を及ぼす学習データ、不足している学習データ、又はこれらに類似するデータの送信を要求する要求信号を前記データ収集装置に送信し、
    前記データ収集装置は、受信した前記要求信号に基づいて収集したデータを前記学習装置に送信し、
    前記学習装置は、前記要求信号に応じて前記データ収集装置から送信されたデータに基づいて前記機械学習モデルの再学習を行う、
    請求項１に記載の学習システム。
  4. 前記データ収集装置は、画像を撮影するカメラ又はイメージャであり、前記機械学習モデルの学習への影響度に基づいて、解像度、フレームレート、輝度、色彩、画角、視点位置、又は視線方向を変化させて撮影した画像データを前記学習装置に送信する、
    請求項１に記載の学習システム。
  5. 前記学習装置は、前記機械学習モデルの学習データの送信を要求する要求信号を前記データ収集装置に送信し、
    前記データ収集装置は、収集したデータが前記機械学習モデルの学習に与える影響を分析した結果に基づいて、前記収集したデータのうち前記機械学習モデルの学習に所定以上の影響を及ぼす学習データ、不足している学習データ、又はこれらに類似するデータを前記学習装置に送信し、
    前記学習装置は、前記要求信号に応じて前記データ収集装置から送信されたデータに基づいて前記機械学習モデルの再学習を行う、
    請求項１に記載の学習システム。
  6. 前記学習装置は、前記要求信号の送信時に、前記分析に必要な情報を前記データ収集装置に送信する、
    請求項５に記載の学習システム。
  7. 請求項１に記載の学習システムにおける前記学習装置から、前記機械学習モデルの学習データの送信を要求する要求信号を受信する受信部と、
    前記要求信号を受信したことに応じて、前記機械学習モデルの学習に所定以上の影響を及ぼす学習データ、不足している学習データ、又はこれらに類似するデータを収集するデータ収集部と、
    前記データ収集部が収集したデータを前記学習装置に送信する送信部と、
    を具備するデータ収集装置。
  8. 前記受信部は、前記機械学習モデルの学習に所定以上の影響を及ぼす学習データ、不足している学習データ、又はこれらに類似するデータを要求する前記要求信号を前記学習装置から受信し、
    前記データ収集部は、受信した前記要求信号に基づいてデータを収集し、
    前記送信部は、前記データ収集部が収集したデータを前記学習装置に送信する、
    請求項７に記載のデータ収集装置。
  9. 前記データ収集部は受信した前記要求信号に基づいて新たにデータを収集し、又は、前記送信部は前記データ収集部が既に収集したデータから前記要求信号に基づいて抽出したデータを送信する、
    請求項８に記載のデータ収集装置。
  10. 前記データ収集部が収集したデータが前記機械学習モデルの学習に与える影響を分析する分析部をさらに備え、
    前記送信部は、前記分析部による分析結果に基づいて、前記データ収集部が収集したデータのうち前記機械学習モデルの学習に所定以上の影響を及ぼす学習データ、不足している学習データ、又はこれらに類似するデータを前記学習装置に送信する、
    請求項７に記載のデータ収集装置。
  11. 前記データ収集部は、前記機械学習モデルの学習への影響度に基づいて、画像を撮影するカメラ又はイメージャの解像度、フレームレート、輝度、色彩、画角、視点位置、又は視線方向を変化させて撮影した画像データを収集する、
    請求項７に記載のデータ収集装置。
  12. コンテンツのコンテンツ評価情報とコンテンツを視聴する人間の生体情報に基づいて、コンテンツからセグメントを抽出するセグメント抽出部と、
    セグメントに写っている人物の顔を検出して顔の表情を識別する表情識別部と、
    セグメントに写っている人物間の関係性を推定する関係性推定部と、
    セグメントに写っている人物の顔の表情と、人物間の関係性に基づいてセグメントの感動ラベルを識別する感動識別部と、
    を具備し、
    前記感動識別部は、請求項１に記載の学習システムにおける前記学習装置が学習を行った感動スコア推定モデルを用いて感動ラベルを識別する、
    情報処理装置。
  13. 前記生体情報は少なくとも脳波情報を含む、
    請求項１２に記載の情報処理装置。
  14. 前記セグメント抽出部は、コンテンツのうち高評価とポジティブな感情を持つ生体情報が一致しているセグメントを抽出する、
    請求項１２に記載の情報処理装置。
  15. 前記セグメント抽出部は、高評価とポジティブな感情を持つ生体情報が一致しないセグメントをさらに抽出する、
    請求項１４に記載の情報処理装置。
  16. 前記関係性推定部は、前後のセグメントとのコンテキストと、人物の顔の表情に基づいて、セグメントに写っている人物間の関係性を推定する、
    請求項１２に記載の情報処理装置。
  17. 前記関係性推定部は、前記コンテキストとして、過去のセグメントに写っている人物の顔検出及び検出顔の表情識別結果を用いて、現在のセグメントに写っている人物間の関係性を推定する、
    請求項１６に記載の情報処理装置。
  18. 前記セグメントに含まれる音声を認識して得られたテキスト情報に基づいて感情を分析する第１の感情分析部をさらに備え、
    前記感動識別部は、前記第１の感情分析部がテキスト情報から識別した感情をさらに考慮して、セグメントの感動ラベルを識別する、
    請求項１２に記載の情報処理装置。
  19. 前記セグメントに含まれる音楽を検出して、その音楽が与える感情を分析する第２の感情分析部をさらに備え、
    前記感動識別部は、前記第２の感情分析部が音楽から識別した感情をさらに考慮して、セグメントの感動ラベルを識別する、
    請求項１２に記載の情報処理装置。
JP2022512040A 2020-03-31 2021-03-24 学習システム及びデータ収集装置 Active JP7635779B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2020065069 2020-03-31
JP2020065069 2020-03-31
JP2020120049 2020-07-13
JP2020120049 2020-07-13
PCT/JP2021/012368 WO2021200503A1 (ja) 2020-03-31 2021-03-24 学習システム及びデータ収集装置

Publications (2)

Publication Number Publication Date
JPWO2021200503A1 JPWO2021200503A1 (ja) 2021-10-07
JP7635779B2 true JP7635779B2 (ja) 2025-02-26

Family

ID=77928815

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022512040A Active JP7635779B2 (ja) 2020-03-31 2021-03-24 学習システム及びデータ収集装置

Country Status (3)

Country Link
US (1) US20230360437A1 (ja)
JP (1) JP7635779B2 (ja)
WO (1) WO2021200503A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6800453B1 (ja) * 2020-05-07 2020-12-16 株式会社 情報システムエンジニアリング 情報処理装置及び情報処理方法
CN117615709A (zh) * 2021-07-15 2024-02-27 索尼集团公司 信号处理设备和方法
EP4137801B1 (en) * 2021-08-17 2025-09-24 Hitachi High-Tech Analytical Science Finland Oy Monitoring reliability of analysis of elemental composition of a sample
KR20230089215A (ko) * 2021-12-13 2023-06-20 삼성전자주식회사 획득된 정보에 기반하여 화면을 구성하기 위한 전자 장치 및 방법
US20240232675A1 (en) * 2021-12-23 2024-07-11 Rakuten Group, Inc. Information processing system, information processing method and program
WO2023119578A1 (ja) * 2021-12-23 2023-06-29 楽天グループ株式会社 情報処理システム、情報処理方法及びプログラム
JP2023106888A (ja) * 2022-01-21 2023-08-02 オムロン株式会社 情報処理装置および情報処理方法
US12327430B2 (en) * 2022-06-24 2025-06-10 Microsoft Technology Licensing, Llc Simulated capacitance measurements for facial expression recognition training
US12450806B2 (en) * 2022-07-26 2025-10-21 Verizon Patent And Licensing Inc. System and method for generating emotionally-aware virtual facial expressions
US12347135B2 (en) * 2022-11-14 2025-07-01 Adobe Inc. Generating gesture reenactment video from video motion graphs using machine learning
US20240371397A1 (en) * 2023-05-03 2024-11-07 KAI Conversations Limited System for processing text, image and audio signals using artificial intelligence and method thereof

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008269065A (ja) 2007-04-17 2008-11-06 Nippon Telegr & Teleph Corp <Ntt> ユーザ支援方法、ユーザ支援装置およびユーザ支援プログラム
JP2009111938A (ja) 2007-11-01 2009-05-21 Nippon Telegr & Teleph Corp <Ntt> 情報編集装置、情報編集方法、情報編集プログラムおよびそのプログラムを記録した記録媒体
JP2010093584A (ja) 2008-10-08 2010-04-22 Nippon Telegr & Teleph Corp <Ntt> 視聴印象推定方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体
JP2012160082A (ja) 2011-02-01 2012-08-23 Bond:Kk 入力支援装置、入力支援方法及びプログラム
WO2018030206A1 (ja) 2016-08-10 2018-02-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ カメラワーク生成方法及び映像処理装置
WO2019215778A1 (ja) 2018-05-07 2019-11-14 日本電気株式会社 データ提供システムおよびデータ収集システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1185719A (ja) * 1997-09-03 1999-03-30 Matsushita Electric Ind Co Ltd パラメータ推定装置
US10726078B2 (en) * 2017-05-09 2020-07-28 Oath Inc. Method and system for dynamic score floor modeling and application thereof
US11210504B2 (en) * 2017-09-06 2021-12-28 Hitachi Vantara Llc Emotion detection enabled video redaction
CN113168439A (zh) * 2019-02-22 2021-07-23 居米奥公司 为算法决定提供结果解释
US11393144B2 (en) * 2019-04-11 2022-07-19 City University Of Hong Kong System and method for rendering an image

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008269065A (ja) 2007-04-17 2008-11-06 Nippon Telegr & Teleph Corp <Ntt> ユーザ支援方法、ユーザ支援装置およびユーザ支援プログラム
JP2009111938A (ja) 2007-11-01 2009-05-21 Nippon Telegr & Teleph Corp <Ntt> 情報編集装置、情報編集方法、情報編集プログラムおよびそのプログラムを記録した記録媒体
JP2010093584A (ja) 2008-10-08 2010-04-22 Nippon Telegr & Teleph Corp <Ntt> 視聴印象推定方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体
JP2012160082A (ja) 2011-02-01 2012-08-23 Bond:Kk 入力支援装置、入力支援方法及びプログラム
WO2018030206A1 (ja) 2016-08-10 2018-02-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ カメラワーク生成方法及び映像処理装置
WO2019215778A1 (ja) 2018-05-07 2019-11-14 日本電気株式会社 データ提供システムおよびデータ収集システム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
横井直明 ほか，"ＡＩの予測結果に対する納得度を高める予測根拠解釈支援技術の提案"，電子情報通信学会技術研究報告，一般社団法人電子情報通信学会，2019年03月10日，Vol. 118，No. 513，p. 61-66
猪貝光祥，"ディープラーニング技術を用いた高速な画像認識ソリューション"，月刊自動認識，2020年03月10日，Vol. 33，No .3，p. 33-38，ISSN: 0915-1060

Also Published As

Publication number Publication date
JPWO2021200503A1 (ja) 2021-10-07
WO2021200503A1 (ja) 2021-10-07
US20230360437A1 (en) 2023-11-09

Similar Documents

Publication Publication Date Title
JP7635779B2 (ja) 学習システム及びデータ収集装置
WO2019085585A1 (zh) 设备控制处理方法及装置
US20190332952A1 (en) Learning device, image pickup apparatus, image processing device, learning method, non-transient computer-readable recording medium for recording learning program, display control method and inference model manufacturing method
KR20100055946A (ko) 동영상 썸네일 생성 방법 및 장치
US20220335246A1 (en) System And Method For Video Processing
TWI857242B (zh) 光流資訊預測方法、裝置、電子設備和儲存媒體
CN116453022A (zh) 一种基于多模态融合和Transformer网络的视频情感内容分析方法
Vacher et al. The CIRDO corpus: comprehensive audio/video database of domestic falls of elderly people
US20150281586A1 (en) Method and apparatus for forming a video sequence
CN116016978B (zh) 在线课堂的画面导播方法、装置、电子设备及存储介质
US11509818B2 (en) Intelligent photography with machine learning
KR101839406B1 (ko) 디스플레이장치 및 그 제어방법
WO2023149135A1 (ja) 画像処理装置、画像処理方法及びプログラム
CN115035007A (zh) 基于像素级对齐生成对抗网络的人脸老化系统及建立方法
Chen et al. Hierarchical cross-modal talking face generationwith dynamic pixel-wise loss
CN120434504A (zh) 一种基于跨模态蒸馏的声视协同调焦方法、装置及设备
CN108810398A (zh) 图像处理装置、图像处理方法以及记录介质
CN104780341B (zh) 一种信息处理方法以及信息处理装置
US20240348885A1 (en) System and method for question answering
JP2017041857A (ja) 画像処理装置、その制御方法、プログラム及び撮像装置
US11523047B2 (en) Imaging device, imaging method, and program
Vrochidis et al. A Deep Learning Framework for Monitoring Audience Engagement in Online Video Events
CN115174845A (zh) 一种针对视频会议中特殊行为动作的特写拍摄方法及装置
CN114296589A (zh) 一种基于影片观看体验的虚拟现实交互方法及装置
US8203593B2 (en) Audio visual tracking with established environmental regions

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240827

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20241009

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250127

R150 Certificate of patent or registration of utility model

Ref document number: 7635779

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150