JPWO2019167848A1 - データ変換システム、データ変換方法及びプログラム - Google Patents

データ変換システム、データ変換方法及びプログラム Download PDF

Info

Publication number
JPWO2019167848A1
JPWO2019167848A1 JP2020503476A JP2020503476A JPWO2019167848A1 JP WO2019167848 A1 JPWO2019167848 A1 JP WO2019167848A1 JP 2020503476 A JP2020503476 A JP 2020503476A JP 2020503476 A JP2020503476 A JP 2020503476A JP WO2019167848 A1 JPWO2019167848 A1 JP WO2019167848A1
Authority
JP
Japan
Prior art keywords
data
conversion
unit
parameter
conversion system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2020503476A
Other languages
English (en)
Inventor
尚男 齊藤
尚男 齊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2019167848A1 publication Critical patent/JPWO2019167848A1/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • G06F40/58Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • G06F40/55Rule-based translation
    • G06F40/56Natural language generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution
    • G06F16/3344Query execution using natural language analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • G06F40/51Translation evaluation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0008Associated control or indicating means
    • G10H1/0025Automatic or semi-automatic music composition, e.g. producing random music, applying rules from music theory or modifying a musical piece
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101Music Composition or musical creation; Tools or processes therefor
    • G10H2210/131Morphing, i.e. transformation of a musical piece into a new different one, e.g. remix
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/571Chords; Chord sequences
    • G10H2210/576Chord progression
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/075Musical metadata derived from musical analysis or for use in electrophonic musical instruments
    • G10H2240/085Mood, i.e. generation, detection or selection of a particular emotional content or atmosphere in a musical piece
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Machine Translation (AREA)
  • Document Processing Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

データの変換による違和感又は不快感等が生じにくい可能なデータ変換システム、データ変換方法及びプログラムを提供する。データ変換システム(10)は、取得部(11)と、変換部(13)と、出力部(12)と、を備える。取得部(11)は、第1データ(D1)を取得する。変換部(13)は、対象者に関連する参照データから決定される変換パラメータに基づいて、第1データ(D1)を第2データ(D2)に変換する。出力部(12)は、第2データ(D2)を出力する。

Description

本開示は、一般にデータ変換システム、データ変換方法及びプログラムに関し、より詳細には、第1データから第2データへの変換を行うデータ変換システム、データ変換方法及びプログラムに関する。
特許文献1には、音声又は文字列で表される第1の言語の文章を、目的とする第2の言語の文章に変換する翻訳装置が記載されている。特許文献1に記載の翻訳装置は、第1の言語の1つの用例に対して、第2の言語で上記用例と同じ意味を表し、かつ感情表現の異なる複数の候補を感情レベルの順に提示する。そして、翻訳装置は、提示した複数の候補のうちから、ユーザによる1候補の選択を受け付ける。
特開2006−59017号公報
特許文献1に記載の構成では、感情表現の異なる複数の候補が感情レベルの順に提示されるだけであって、対象者(ユーザ)の属性に応じて変換(翻訳)が行われる訳ではない。そのため、特許文献1に記載の構成では、例えば、対象者が普段から使用している文体と、変換後の第2データ(第2の言語の文章)の文体とのギャップ等により、聞き手に対して違和感又は不快感等を与える可能性がある。
本開示の目的は、データの変換による違和感又は不快感等が生じにくい可能なデータ変換システム、データ変換方法及びプログラムを提供することにある。
本開示の一態様に係るデータ変換システムは、取得部と、変換部と、出力部と、を備える。前記取得部は、第1データを取得する。前記変換部は、対象者に関連する参照データから決定される変換パラメータに基づいて、前記第1データを第2データに変換する。前記出力部は、前記第2データを出力する。
本開示の一態様に係るデータ変換方法は、第1データを取得し、対象者に関連する参照データから決定される変換パラメータに基づいて、前記第1データを第2データに変換して出力する。
本開示の一態様に係るプログラムは、前記データ変換方法を、コンピュータシステムに実行させるためのプログラムである。
図1は、実施形態1に係るデータ変換システムの構成を示すブロック図である。 図2は、同上のデータ変換システムの動作を示す概念図である。 図3は、同上のデータ変換システムの動作例を示すフローチャートである。 図4Aは、同上のデータ変換システムにて表示される画面の一例を示す、操作中の説明図である。図4Bは、同上のデータ変換システムにて表示される画面の一例を示す、操作後の説明図である。 図5Aは、同上のデータ変換システムにて表示される画面の一例を示す、操作中の説明図である。図5Bは、同上のデータ変換システムにて表示される画面の一例を示す、操作後の説明図である。 図6は、同上のデータ変換システムで用いる感情の判定についての説明図であって、ラッセル円環モデルと呼ばれる、人の感情の二次元モデルの一例の説明図である。
(実施形態1)
(1)概要
本実施形態に係るデータ変換システム10は、図1に示すように、第1データD1を取得する取得部11と、第2データD2を出力する出力部12と、を備えている。また、データ変換システム10は、第1データD1を第2データD2に変換する変換部13を更に備えている。
すなわち、データ変換システム10は、取得部11にて取得した第1データD1を、変換部13にて第2データD2に変換し、変換後の第2データD2を出力部12にて出力する。本開示でいう「変換」は、第1データD1の概念及び意味等の本質的な内容の同一性を維持しつつ、表現の態様を変更した第2データD2を生成することを意味し、例えば、翻訳、翻案、編曲及び脚色等の各種のアレンジ(arrangement)を含む。例えば、第1データD1及び第2データD2がいずれも言語データであれば翻訳等が「変換」に含まれ、第1データD1及び第2データD2がいずれも音楽データであれば編曲等が「変換」に含まれる。
ここで、本実施形態におけるデータ変換システム10では、変換部13が、第1データD1を第2データD2に変換するに際して、変換パラメータに基づいて変換を実行する。変換パラメータは、対象者に関連する参照データから決定されるパラメータである。本実施形態においては、対象者は、第1データD1を創作した者、つまり第1データD1の創作者である。要するに、第1データD1は、例えば、センサの計測データ、何の意味もない単なるテキストデータ等ではなく、例えば、文章、音楽、絵画又は舞踊(振付)等の人の創作物に係るデータである。
本開示でいう「創作者」とは、第1データD1を実質的に創作した者を意味し、第1データD1の創作自体に関係しない者、例えば、第1データD1の創作者の単なる代理人、管理者、補助者及び後援者等は第1データD1の創作者ではない。具体例として、第1データD1が文章である場合には、この文章を創作した者が、第1データD1の創作者である。一方で、例えば、単に創作者の代理でキーボード等を操作して第1データD1を入力しただけの者、又は非一時的記録媒体から第1データD1を読み取るための操作をコンピュータシステムに対して行っただけの者等は、第1データD1の創作者ではない。
すなわち、本実施形態では、変換部13は、第1データD1の創作者である対象者に関連する参照データから決定される「変換パラメータ」に基づいて、第1データD1を第2データD2に変換する。そのため、変換後の第2データD2についても、第1データD1の創作者である対象者に固有の表現を反映可能となる。例えば、第1データD1が文章である場合には、変換後の第2データD2についても、第1データD1の創作者である対象者の文体を反映でき、対象者が普段から使用している文体と、変換後の第2データD2の文体とのギャップが小さく抑えられる。その結果、本実施形態に係るデータ変換システム10によれば、データの変換による違和感又は不快感等が生じにくい、という利点がある。
(2)詳細
以下、本実施形態に係るデータ変換システム10の詳細について説明する。ここでは、変換の対象となる第1データD1、及び変換後の第2データD2の少なくとも一方は、「言語」のデータ、つまり言語データであると仮定する。以下では一例として、第1データD1及び第2データD2は、いずれも言語データであると仮定する。
本開示でいう「言語」は、人間が音声又は文字を用いて事態(思想、感情及び意思等)を伝達するために用いる記号体系を意味する。さらに、「言語の種別」とは、ある特定の集団が用いる、音声又は文字による事態の伝達手段を意味し、例えば、個別言語のように、異なる言語同士では相互理解が得られないような言語の属性を意味する。例えば、日本語、英語、中国語及びドイツ語等の各国の「国語」、又は特定の地域で使用される「方言」等が、「言語の種別」に相当する。
(2.1)構成
まず、本実施形態に係るデータ変換システム10の構成について、図1を参照して詳細に説明する。
データ変換システム10は、上述したように、取得部11と、出力部12と、変換部13と、を備えている。データ変換システム10は、パラメータ出力部14、自動調節部15、操作部16、調節部17、選択部18、パラメータ格納部19、言語変換データベース20、参照データ入力部21、パラメータ決定部22及び感情推定部23を更に備えている。ただし、パラメータ出力部14、自動調節部15、操作部16、調節部17、選択部18、パラメータ格納部19、言語変換データベース20、参照データ入力部21、パラメータ決定部22及び感情推定部23の少なくとも一部は、適宜省略されていてもよい。
データ変換システム10は、プロセッサ及びメモリを含むコンピュータシステムを主構成としている。プロセッサが、メモリに記憶されているプログラムを実行することにより、コンピュータシステムをデータ変換システム10として機能させる。本開示でいう「コンピュータシステム」は、インターネット上に存在するサーバ装置、又はクラウド(クラウドコンピューティング)等を含む。
本実施形態では、データ変換システム10は、入力インタフェース2及び出力インタフェース3に接続されている。データ変換システム10での変換の対象となる第1データD1は、入力インタフェース2からデータ変換システム10に入力される。データ変換システム10での変換後の第2データD2は、データ変換システム10から出力インタフェース3に出力される。要するに、入力インタフェース2からデータ変換システム10に入力された第1データD1は、データ変換システム10で変換され、第2データD2としてデータ変換システム10から出力インタフェース3に出力される。
入力インタフェース2及び出力インタフェース3の各々と、データ変換システム10との間の接続は、例えば、無線通信又は有線通信により実現される。入力インタフェース2及び出力インタフェース3の各々は、一例として、スマートフォン、タブレット端末又はウェアラブル端末等の情報端末にて実現される。1台の情報端末が、入力インタフェース2及び出力インタフェース3の両方の機能を有していてもよい。
取得部11は、第1データD1を取得する。本実施形態では、取得部11は、入力インタフェース2と通信を行うことにより、入力インタフェース2から第1データD1を取得する。入力インタフェース2では、例えば、文字入力又は音声入力によって、対象者(第1データD1の創作者)が創作した第1データD1の入力が行われる。本開示でいう「文字入力」は、対象者がタッチパネルディスプレイ、キーボード及びポインティングデバイス等の入力機器を操作して、直接的に文字列のデータ(テキストデータ)を入力することを意味する。本開示でいう「音声入力」は、対象者が発した音声をマイクロフォンで電気信号に変換し、この電気信号(音声信号)について音声認識を行うことで、音声から文字列のデータ(テキストデータ)を抽出することを意味する。さらに、入力インタフェース2は、意味解析及び文脈解析等の自然言語処理の少なくとも一部を実行してもよい。
ただし、取得部11による第1データD1の取得の態様は、上述した例に限らず、例えば、取得部11は、コンピュータシステムで読取可能な非一時的記録媒体に記録された第1データD1を非一時的記録媒体から取得してもよい。また、データ変換システム10自体がユーザインタフェースを有する場合には、取得部11は、データ変換システム10のユーザインタフェースにて入力される第1データD1を取得してもよい。
出力部12は、第2データD2を出力する。第2データD2は、取得部11で取得された第1データD1を変換部13で変換して得られるデータである。本実施形態では、出力部12は、出力インタフェース3と通信を行うことにより、出力インタフェース3に対して第2データD2を出力する。出力インタフェース3では、例えば、表示出力又は音声出力によって、出力部12が出力した第2データD2の出力(提示)が行われる。本開示でいう「表示出力」は、文字、記号、数字若しくは画像、又はこれらの組み合わせによって、人が理解可能な態様でデータをディスプレイに表示することを意味する。また、本開示でいう「音声出力」は、電気信号(音声信号)をスピーカで音(音声)に変換し、人が理解可能な態様でデータをスピーカで再生することを意味する。
ただし、出力部12による第2データD2の出力の態様は、上述した例に限らず、例えば、出力部12は、コンピュータシステムで読取可能な非一時的記録媒体へ第2データD2を書き込むことにより、第2データD2を出力してもよい。また、出力部12は、出力インタフェース3以外の機器へ第2データD2を送信してもよく、例えば、送信先の機器が印刷機器であれば、印刷機器にて第2データD2が印刷により出力される。また、データ変換システム10自体がユーザインタフェースを有する場合には、出力部12は、データ変換システム10のユーザインタフェースにて、表示出力又は音声出力等により第2データD2を出力してもよい。
変換部13は、第1データD1を第2データD2に変換する。つまり取得部11で取得された第1データD1は、変換部13にて第2データD2に変換され、変換後の第2データD2は、出力部12にて出力される。ここで、変換部13は、変換パラメータに基づいて、第1データD1を第2データD2に変換する。
変換パラメータは、対象者(第1データD1の創作者)に関連する参照データから決定されるパラメータである。本開示でいう「参照データ」は、対象者に関連するデータであって、特に、対象者に固有の表現、つまり対象者による第1データD1の表現手法が反映されたデータであることが好ましい。例えば、第1データD1及び第2データD2がいずれも言語データである場合には、対象者に固有の文体、癖(口癖)、及び言い回し等、言語データを特徴付けるデータであることが好ましい。本開示でいう「文体」は、創作者の個性的特色が反映された文章のスタイルを意味する。参照データの一例としては、電子メール、SNS(Social Networking Service)の投稿、メモ及び文書ファイル等に含まれる対象者が創作した文章のテキストデータ、又は対象者の会話から抽出されるテキストデータ等のデータがある。
また、参照データは、例えば、対象者が創作した音楽(楽曲)データ、又は絵画(イメージ)データ等、第1データD1及び第2データD2とは異なる種類のデータであってもよい。さらに、参照データは、対象者の属性等のデータを含んでいてもよい。本開示でいう「属性」は、性別、年齢、職業、家柄、家族構成、経歴(学歴及び職歴を含む)、及び社会的地位等を含む。
すなわち、本実施形態では、変換部13は、言語データである第1データD1を、言語データである第2データD2に、変換パラメータに基づいて変換する。ここで、第1データD1と第2データD2とでは言語の種別は同一であってもよいし、第1データD1と第2データD2とでは言語の種別は異なっていてもよい。第1データD1と第2データD2とで言語の種別が同一である場合には、変換部13は、「翻訳」を行わずに、主として表現の変更を行うことになる。一方、第1データD1と第2データD2とで言語の種別が異なる場合には、変換部13は、少なくとも「翻訳」を実行する。
詳しくは、「(2.2.1)基本動作」の欄で説明するが、本実施形態では、第1データD1の種別及び第2データD2の種別を個別に指定可能である。そのため、例えば、第1データD1の種別が「日本語」、第2データD2の種別が「日本語」に指定された場合、第1データD1と第2データD2とでは言語の種別は同一となる。これに対して、例えば、第1データD1の種別が「英語」、第2データD2の種別が「日本語」に指定された場合、第1データD1と第2データD2とでは言語の種別は異なる。
本実施形態では、変換部13は、第1変換処理と、第2変換処理と、の少なくとも2段階の処理を実行する。第1変換処理は、第1データD1を標準化された標準データに変換する処理である。第2変換処理は、第1変換処理で変換された標準データを第2データD2に変換する処理である。つまり、変換部13は、第1データD1を第2データD2に一度に変換するのではなく、第1データD1を、一旦、中間データである標準データに変換し、その後、標準データから第2データD2を生成する。本開示でいう「標準データ」は、第1データD1が標準化されたデータであって、基本的には、第1データD1から、対象者(第1データD1の創作者)に固有の表現、及び言語の種別に固有の表現が削除されたデータである。そのため、第1データD1が同じ意味の文章であれば、第1データD1の創作者、及び第1データD1の種別にかかわらず、同様の標準データが生成されることになる。
より詳細には、変換部13は、第1変換処理を実行する第1処理部131と、第2変換処理を実行する第2処理部132と、を有している。第1処理部131は、言語変換データベース20を参照して第1データD1を標準データに変換し、変換後の標準データを第2処理部132へ出力する。第2処理部132は、パラメータ格納部19及び言語変換データベース20を参照して標準データを第2データD2に変換し、変換後の第2データD2を出力部12に出力する。ここで、変換パラメータが反映されるのは、例えば、標準データから第2データD2への変換時である。つまり、第2処理部132は、変換パラメータに基づいて、標準データを第2データD2に変換する。これにより、第2データD2においては、対象者に固有の表現を反映可能となる。
パラメータ出力部14は、変換パラメータを出力する。本実施形態では、パラメータ出力部14は、出力インタフェース3と通信を行うことにより、出力インタフェース3に対して変換パラメータを出力する。出力インタフェース3では、例えば、表示出力又は音声出力によって、パラメータ出力部14が出力した変換パラメータの出力(提示)が行われる。詳しくは「(2.2.2)手動調節処理」の欄で説明するが、パラメータ出力部14により出力される変換パラメータは、例えば、表示部31(図4A参照)にパラメータゲージ301(図4A参照)の態様で表示される。本開示でいう「パラメータゲージ」は、変換パラメータをカーソル302(図4A参照)の位置で表したグラフである。
自動調節部15は、変換パラメータを自動的に調節する。自動調節部15は、例えば、時間、場所、及び場合(TPO:time place occasion)等に応じて、変換パラメータを適切なパラメータに調節する。自動調節部15は、例えば、パラメータ格納部19に格納されている変換パラメータの値を調節する。ただし、この例に限らず、自動調節部15は、例えば、変換部13が使用する変換パラメータの値を調節してもよい。詳しくは「(2.2.3)自動調節処理」の欄で説明するが、自動調節部15は、第2データD2の受け手に合わせて、変換パラメータを調節することが好ましい。第2データD2が文章である場合には、第2データD2の読み手又は聞き手が、第2データD2の受け手となる。
操作部16は、人の操作に応じた操作信号を受け付ける。操作部16は、例えば、タッチパネルディスプレイ、キーボード又はマウス等のポインティングデバイス等のユーザインタフェースに接続される。そのため、ユーザインタフェースに対して人が操作を行うと、この操作に応じた電気信号(操作信号)を操作部16が受け付ける。操作部16に対して操作信号を与えるための(ユーザインタフェースの)操作を行う人は、例えば、第2データD2の受け手、又は第1データD1の創作者である。
調節部17は、操作信号に基づいて変換パラメータを調節する。つまり、人の操作に応じた操作信号を操作部16が受け付けると、この操作信号に基づいて、調節部17にて変換パラメータが調節される。言い換えれば、操作部16及び調節部17により、変換パラメータの手動調節が可能である。詳しくは「(2.2.2)手動調節処理」の欄で説明するが、例えば、第2データD2の受け手が、操作部16に対して操作信号を与えるための操作を行うことにより、第2データD2の受け手の気分又は好み等によって、変換パラメータを調節可能となる。
選択部18は、複数のパラメータ候補の中から、変換部13での変換に使用される変換パラメータを選択する。複数のパラメータ候補は、対象者の候補である複数の対象者候補に一対一に対応付けられている。本実施形態では、選択部18は、操作部16が受け付けた操作信号に基づいて、複数の対象者候補の中から対象者を選択する。つまり、本実施形態では、対象者候補が複数設定されており、選択部18にて、いずれかの対象者候補が対象者として択一的に選択されることにより、実質的に、対象者候補に対応する変換パラメータが択一的に選択される。
パラメータ格納部19は、対象者に関連する参照データから決定される変換パラメータを記憶する。パラメータ格納部19は、例えば、コンピュータシステムにて読み取り可能な非一時的記憶媒体にて実現される。変換パラメータは、対象者に対応付けてパラメータ格納部19に格納されている。本実施形態では、複数の変換パラメータからなるデータセットがパラメータ格納部19に格納されている。パラメータ格納部19に格納されている変換パラメータは、少なくとも標準データを第2データD2に変換する第2変換処理にて使用される。また、詳しくは「(2.2.1)基本動作」の欄で説明するが、変換パラメータは複数の項目を含んでいる。本開示でいう「複数の項目」は、変換パラメータを構成する複数の要素であって、各々が、第1データD1から第2データD2への変換に寄与する。
言語変換データベース20は、第1データD1から第2データD2への基本的な変換に必要な言語変換データを記憶する。本開示でいう「言語変換データ」は、例えば、言語の種別を変更(つまり翻訳)するのに必要となる、単語及び文法等、基本的な変換のルールを規定するデータである。言語変換データベース20は、例えば、コンピュータシステムにて読み取り可能な非一時的記憶媒体にて実現される。言語変換データは、言語の種別に対応付けて言語変換データベース20に格納されている。本実施形態では、複数の言語変換データからなるデータセットが言語変換データベース20に格納されている。言語変換データベース20に格納されている言語変換データは、第1データD1を標準データに変換する第1変換処理、及び標準データを第2データD2に変換する第2変換処理の両方で使用される。
参照データ入力部21は、参照データを取得する。参照データ入力部21は、対象者を識別するための識別情報と対応付けて参照データを取得する。これにより、参照データ入力部21で取得された参照データは、対象者(識別情報)ごとに区別可能である。参照データは、上述したように、電子メール、SNSの投稿、メモ及び文書ファイル等に含まれる対象者が創作した文章のテキストデータ、又は対象者の会話から抽出されるテキストデータ等のデータである。参照データ入力部21が取得した参照データは、例えば、コンピュータシステムにて読み取り可能な非一時的記憶媒体に記憶される。参照データ入力部21は、所定の蓄積期間(一例として、過去の数か月〜数年程度)にかけて参照データを取得する。
パラメータ決定部22は、参照データ入力部21が蓄積期間に取得した参照データから、変換パラメータを決定する。すなわち、パラメータ決定部22は、複数の参照データを基にして、変換パラメータを生成する。ここで、パラメータ決定部22は、生成した変換パラメータを、対象者に対応付けてパラメータ格納部19に格納する。
感情推定部23は、対象者(第1データD1の創作者)と第2データD2の受け手との少なくとも一方の感情情報を推定する。本開示でいう「感情情報」は、驚き、喜び、退屈、及び悲しみ等の、人の感情を表す情報である。感情情報は、一例として、人の覚醒の度合いを示す覚醒度と、人の快適さの度合いを示す快適度と、の2値で表される。感情推定部23の推定結果は、自動調節部15に出力され、自動調節部15での変換パラメータの調節に使用される。すなわち、自動調節部は人の感情を表す感情情報に応じて変換パラメータを調節する。感情推定部23は、一例として、カメラで撮像された対象者又は第2データD2の受け手の画像に対して顔認証処理等を施すことによって、感情情報を求める。感情推定部23での感情の判定アルゴリズムについて詳しくは、「(2.2.3)自動調節処理」の欄で説明する。
(2.2)動作
次に、本実施形態に係るデータ変換システム10の動作について、図2〜図6を参照して説明する。
(2.2.1)基本動作
本実施形態に係るデータ変換システム10は、図2に示すように、基本的な動作として、入力インタフェース2から入力された第1データD1を第2データD2に変換し、変換後の第2データD2を出力インタフェース3に出力する。図2では、一例として、対象者H1が入力インタフェース2にて日本語の言語データである第1データD1を入力し、第2データD2の受け手H2が、出力インタフェース3にて英語の言語データである第2データD2を受け取る場合を想定している。この場合において、対象者H1(第1データD1の創作者)及び第2データD2の受け手H2は、離れた場所に居ながらも電子メールを送受信するのと同様に、第1データD1の送信、第2データD2の受信を行うことができる。
図2の例において、データ変換システム10は、入力インタフェース2と出力インタフェース3との間で、言語データの中継装置として機能する。そして、データ変換システム10は、言語データを中継する際に、日本語の言語データである第1データD1から、英語の言語データである第2データD2への変換処理として、少なくとも「翻訳」を実行する。
さらに、データ変換システム10は、言語データを中継する際において、第1データD1の創作者である対象者H1に関連する参照データから決定される「変換パラメータ」に基づいて、第1データD1を第2データD2に変換する。そのため、出力インタフェース3にて出力される第2データD2についても、第1データD1の創作者である対象者H1に固有の表現を反映可能となる。例えば、第2データD2には、第1データD1の創作者である対象者H1の文体が反映され、対象者H1が普段から使用している文体と、変換後の第2データD2の文体とのギャップが小さく抑えられる。したがって、第2データD2の受け手H2においては、出力インタフェース3にて表示出力される第2データD2の文体から、対象者H1の雰囲気を感じ取ることができる。その結果、本実施形態に係るデータ変換システム10によれば、データの変換による違和感又は不快感等が生じにくい、という利点がある。
ただし、図2で例示する状況は一例に過ぎず、例えば、対象者H1が、目前に居る第2データD2の受け手H2に対して、何らかのメッセージを出す状況においても、データ変換システム10は適用可能である。
図3は、データ変換システム10の動作例を示すフローチャートである。
すなわち、データ変換システム10は、参照データ入力部21にて参照データを随時取得し(S1)、蓄積期間に取得した参照データから、パラメータ決定部22にて変換パラメータを生成する(S2)。パラメータ決定部22で生成された変換パラメータは、対象者H1に対応付けてパラメータ格納部19に格納される。そして、データ変換システム10は、第1データD1の入力の有無を監視し(S3)、第1データD1の入力が無ければ(S3:No)、処理S1〜S3を繰り返し実行する。これにより、パラメータ格納部19に格納されている変換パラメータは、対象者H1が日常的に創作している電子メール、SNSの投稿、メモ及び文書ファイル等に含まれる文章のテキストデータ等の参照データに基づいて、随時更新される。
一方、第1データD1の入力が有れば(S3:Yes)、データ変換システム10は、取得部11にて、入力インタフェース2から第1データD1を取得する(S4)。その後、データ変換システム10は、第1データD1の変換に関する基本設定処理(S5)に移行する。基本設定処理では、例えば、入力インタフェース2又は出力インタフェース3の操作に応じて、適宜の設定項目が指定される。設定項目は、少なくとも第1データD1の種別及び第2データD2の種別を含んでいる。本実施形態では、上述したように、第1データD1の種別及び第2データD2の種別を個別に指定可能である。ここでは一例として、対象者H1が入力インタフェース2を操作して、第1データD1の種別を「日本語」、第2データD2の種別を「英語」に指定する。また、この例に限らず、例えば、第1データD1の種別が、第1データD1の解析結果から推定可能な場合には、第1データD1の種別が自動的に決定されてもよい。
基本設定処理(S5)が完了すると、データ変換システム10は、選択部18にて、複数の対象者候補の中から対象者を選択する(S6)。これにより、実質的に、パラメータ格納部19に格納されている複数の変換パラメータの中から、対象者候補に対応する変換パラメータが択一的に選択されることになる。
次に、データ変換システム10は、動作モードがマニュアルモードであるか否かを判断する(S7)。データ変換システム10の動作モードは、例えば、入力インタフェース2又は出力インタフェース3の操作に応じて決定される。動作モードがマニュアルモードであれば(S7:Yes)、データ変換システム10は、変換パラメータの手動調節処理を実行する(S8)。動作モードがマニュアルモードであれば(S7:Yes)、データ変換システム10は、変換パラメータの手動調節処理を実行する(S8)。変換パラメータの手動調節処理について詳しくは「(2.2.2)手動調節処理」の欄で説明する。一方、動作モードがマニュアルモードでなければ(S7:No)、データ変換システム10は、変換パラメータの自動調節処理を実行する(S9)。変換パラメータの自動調節処理について詳しくは「(2.2.3)自動調節処理」の欄で説明する。
次に、データ変換システム10は、変換部13の第1処理部131にて、言語変換データベース20を参照して第1データD1を標準データに変換する第1変換処理を実行する(S10)。このとき、第1処理部131は、言語変換データベース20に格納されている言語変換データを用いて、第1データD1を標準データに変換する。
その後、データ変換システム10は、変換部13の第2処理部132にて、パラメータ格納部19及び言語変換データベース20を参照して標準データを第2データD2に変換する第2変換処理を実行する(S11)。このとき、第2処理部132は、パラメータ格納部19に格納されている複数の変換パラメータのうち処理S6で選択された変換パラメータ、及び言語変換データベース20に格納されている言語変換データを用いて、標準データを第2データD2に変換する。
その後、データ変換システム10は、出力部12にて第2データD2を出力インタフェース3に出力する(S12)。データ変換システム10は、上記処理S1〜S12を繰り返し実行する。ただし、図3のフローチャートは一例に過ぎず、処理の順序及び処理の内容は適宜変更可能である。
ところで、本実施形態では、上述したように変換パラメータは複数の項目を含んでいる。変換パラメータに含まれる項目の一例としては、性別(男性的又は女性的)、年齢(若さ)、親密度(堅苦しさ)、社会的地位、知力、語彙及びユーモア等がある。変換部13は、第1データD1から第2データD2への変換に際して、これら複数の項目を一括して用いる一括変換方式で変換を行ってもよいし、これら複数の項目の各々を順次用いる順次変換方式で変換を行ってもよい。厳密には、標準データから第2データD2へ変換する第2変換処理において、一括変換方式又は順次変換方式で変換が行われる。
すなわち、一括変換方式においては、変換部13は、変換パラメータの複数の項目の全てを一括して用いて、第1データD1から第2データD2への変換を行う。この場合、変換部13は、複数の項目を合成して得られる変換パラメータを用いて、第1データD1から第2データD2へ一度に変換を行う。複数の項目の合成は、一例として、「男性的」及び「20歳代」という2項目については「男性的」かつ「20歳代」というように、複数の項目間の論理積をとる形で行われる。複数の項目の合成において、項目ごとに重み付けが行われてもよい。一括変換方式においては、第2データD2が得られない、つまり第2データD2について「解無し」というエラーが生じにくい。
一方、順次変換方式においては、変換部13は、変換パラメータの複数の項目の各々を順次用いて、第1データD1から第2データD2への変換を行う。この場合、変換部13は、項目を1つずつ用いて、第1データD1から第2データD2に段階的に変換を行う。これにより、第2データD2の候補が順次絞り込まれることになり、最終的には第2データD2が一意に定まる。一例として、「男性的」及び「20歳代」という2項目については、1段階目の処理で第2データD2の候補が「男性的」な表現に絞り込まれ、2段階目の処理で第2データD2の候補が「20歳代」の表現に絞り込まれることになる。順次変換方式においては、第2データD2が段階的に絞り込まれるため、変換後の第2データD2に、対象者H1に固有の表現が比較的きめ細やかに反映される。
(2.2.2)手動調節処理
次に、変換パラメータの手動調節処理について、図4A〜図5Bを参照して説明する。変換パラメータの手動調節処理は、対象者H1による入力インタフェース2の操作、又は第2データD2の受け手H2による出力インタフェース3の操作に応じて行われる。本実施形態のように、変換パラメータが複数の項目を含む場合には、手動調節処理では項目ごとに変換パラメータを調節可能である。図4A〜図5Bの例では、第2データD2の受け手H2による出力インタフェース3の操作に応じて手動調節処理が行われる場合を例示する。
この場合において、パラメータ出力部14により出力された変換パラメータは、例えば、図4Aに示すように、パラメータゲージ301の態様で出力インタフェース3の表示部31に表示される。パラメータゲージ301は、表示部31の画面の横方向(左右方向)に延びる直線状のグラフである。このパラメータゲージ301上に表示されるカーソル302の位置により、変換パラメータの値が表示されている。パラメータゲージ301は、変換パラメータの項目ごとに表示される。図4Aの例では、表示部31の画面の縦方向(上下方向)において、性別(男性的又は女性的)のパラメータゲージ301A、年齢(若さ)のパラメータゲージ301B、親密度(堅苦しさ)のパラメータゲージ301Cが、この順で並んで表示されている。
ここで、表示部31は、タッチパネルディスプレイであって、出力インタフェース3のユーザ(第2データD2の受け手H2)のタッチ操作を受け付けるユーザインタフェースを兼ねている。そのため、表示部31に対するタッチ操作が行われると、データ変換システム10では、この操作に応じた電気信号(操作信号)を操作部16にて受け付ける。さらに、データ変換システム10は、操作部16が受け付けた操作信号に基づいて変換パラメータを調節部17にて調節するので、結果的に、表示部31に対するタッチ操作により、変換パラメータを手動で調節可能となる。例えば、第2データD2の受け手H2が、気分又は好み等によって、変換パラメータを調節することにより、第1データD1から第2データD2への変換時に、第2データD2の受け手H2に合わせた変換を実施させることができる。
より詳細には、操作部16は、表示部31に表示されている変換パラメータをカーソル302の位置で表したパラメータゲージ301上でカーソル302の位置を移動させる操作に応じて発生する操作信号を受け付ける。すなわち、図4Aに例示するように、出力インタフェース3のユーザ(第2データD2の受け手H2)が手指にて、パラメータゲージ301C上でカーソル302をスワイプすると、この操作(スワイプ)に応じて操作信号が発生する。調節部17は、このような操作に応じて発生した操作信号に基づいて、変換パラメータを調節する。図4Aの例では、親密度(堅苦しさ)のパラメータゲージ301C上のカーソル302が「Formal」から「Informal」側にスワイプされる。これにより、変換パラメータにおける親密度(堅苦しさ)の項目が、「Informal」寄りに調節される。その結果、パラメータ出力部14により出力された変換パラメータについても、例えば、図4Bに示すように、親密度(堅苦しさ)のパラメータゲージ301C上のカーソル302が「Informal」寄りに表示されることになる。図4Bには、スワイプ前のカーソル302の位置を想像線(2点鎖線)で示している。
上述したような操作で変換パラメータが調節できることにより、ユーザ(第2データD2の受け手H2)においては、直感的に変換パラメータを調節することができ、変換パラメータの調節が容易になる。
図5A及び図5Bは、パラメータ出力部14により出力された変換パラメータが、図4A及び図4Bとは異なるパラメータゲージ301の態様で出力インタフェース3の表示部31に表示される例を示している。図5Aの例では、パラメータゲージ301は、表示部31の画面の中央部から放射状に延びる複数本(ここでは6本)の直線状のグラフである。これら複数本のパラメータゲージ301上のカーソル302同士を結ぶことで、六角形状のレーダーチャートが形成される。図5Aの例では、親密度、社会的地位、知力、語彙、ユーモア、若さのパラメータゲージ301が、時計回りにこの順で並んで表示されている。
図5Aの例でも図4Aの例と同様に、出力インタフェース3のユーザ(第2データD2の受け手H2)が手指にて、パラメータゲージ301上でカーソル302をスワイプすると、この操作(スワイプ)に応じて操作信号が発生する。図5Aの例では、親密度のパラメータゲージ301上のカーソル302がレーダーチャートの中心から離れる向きにスワイプされる。これにより、変換パラメータにおける親密度の項目が、より大きな値に調節される。その結果、パラメータ出力部14により出力された変換パラメータについても、例えば、図5Bに示すように、親密度のパラメータゲージ301上のカーソル302がレーダーチャートの中心から離れて表示されることになる。図5Bには、スワイプ前のレーダーチャートを想像線(2点鎖線)で示している。
(2.2.3)自動調節処理
次に、変換パラメータの自動調節処理について、図6を参照して説明する。変換パラメータの自動調節処理は、データ変換システム10の自動調節部15にて、例えば、時間、場所、及び場合等に応じて行われる。本実施形態のように、変換パラメータが複数の項目を含む場合には、自動調節処理では項目ごとに変換パラメータを調節可能である。
本実施形態では一例として、自動調節部15が、少なくとも第2データD2の受け手H2に合わせるように、変換パラメータを調節する場合を想定する。すなわち、対象者H1(第1データD1の創作者)が同じ場合でも、第2データD2の受け手H2によっては、第2データD2の表現を変えることが望ましいことがある。一例として、第2データD2の受け手H2が「子供」である場合には、第2データD2は、例えば、簡単な単語を使用している等、「子供」向けの文章であることが好ましい。
また、自動調節部15は、第2データD2の受け手H2単独ではなく、対象者H1(第1データD1の創作者)と第2データD2の受け手H2との相対的な関係に合わせて、変換パラメータを調節してもよい。一例として、第2データD2の受け手H2が、対象者H1にとっての「上司」である場合には、第2データD2は、例えば、丁寧な表現を使用している等、「上司」向けの文章であることが好ましい。自動調節部15が、変換パラメータを適切なパラメータに調節することで、例えば、第2データD2の受け手H2に適した第2データD2の表現を実現することが可能である。
また、自動調節部15は、感情推定部23で推定される対象者H1(第1データD1の創作者)の現在の感情を表す感情情報に基づいて、変換パラメータを調節してもよい。一例として、対象者H1の感情情報が「悲しみ」の感情を表す場合には、第2データD2は、対象者H1の感情を反映するような「悲しみ」に寄せた文章であることが好ましい。
さらに、自動調節部15は、感情推定部23で推定される第2データD2の受け手H2の現在の感情を表す感情情報に基づいて、変換パラメータを調節してもよい。一例として、第2データD2の受け手H2の感情情報が「悲しみ」の感情を表す場合には、第2データD2は、例えば、受け手H2を慰めるような温か味のある文章であることが好ましい。
以下に、感情推定部23での感情の判定アルゴリズムについて、図6を参照して説明する。図6は、ラッセル円環モデルと呼ばれる、人の感情の二次元モデルの一例の説明図である。
一般的に、人は、喜び又は驚きというようなさまざまな感情を抱く。図6では、覚醒の度合いである覚醒感(Arousal Level)と、快適さの度合いである快適感(Valence Level)と、を2軸とする平面上に、人が抱く様々な感情が配置したものである。人の感情は、このような平面において円環状に配置され得ることが知られている。
感情推定部23は、例えば、入力インタフェース2で取得される対象者H1に関するデータに基づいて、まずは対象者H1の覚醒の度合いを示す覚醒感と、対象者H1の快適さの度合いを示す快適感とを算出する。
例えば、感情推定部23が対象者H1の顔の色に基づいて覚醒感を算出するときには、感情推定部23は、対象者H1の顔の画像の赤色の輝度値と、パラメータとして保有している顔の色の赤色の輝度値の基準値とを比較する。そして、対象者H1の顔の画像の赤色の輝度値が上記基準値と等しい場合に算出される覚醒感がゼロとなり、対象者H1の顔の画像の赤色の輝度値が大きいほど、算出される覚醒感が大きくなる。
例えば、感情推定部23が対象者H1の表情に基づいて快適感を算出するときには、感情推定部23は、対象者H1の画像における顔のパーツの特徴点から表情を特定し、表情と快適感との対応関係に基づいて快適感を算出する。表情と快適感との対応関係は、メモリに記憶されている。
感情推定部23は、算出した覚醒感及び快適感から対象者H1の感情を推定する。このとき、感情推定部23は、人の覚醒の度合い及び快適さの度合いと人の感情との対応関係に基づいて、対象者H1の感情を推定する。人の覚醒の度合い及び快適さの度合いと人の感情との対応関係は、例えば、図6に示すラッセル円環モデルに相当し、メモリに記憶されている。ラッセル円環モデルを用いる場合、感情推定部23は、覚醒感を縦軸とし、快適感を横軸とした平面上に、取得した覚醒感及び快適感に対応する点をプロットし、ラッセル円環モデルにおいてその点に割り当てられている感情を、対象者H1の感情として推定する。
例えば、図6におけるラッセル円環モデルの中心点P0には「平静」が割り当てられ、覚醒感及び快適感の2値によって、特定の感情が割り当てられる。図6の例では、点P1,P2,P3,P4,P5,P6,P7,P8,P9,P10に、それぞれ覚醒、驚き、喜び、気楽、眠気、退屈、悲しみ、イライラ、怒り、恐れの感情が割り当てられている。
ただし、例えば、人の顔の表情のみを用いてラッセル円環モデルに基づく感情の推定を行った場合、推定結果と実際の感情とが十分一致しないことがある。その理由として、顔の表情をはじめとする非生理学データは、ラッセル円環モデルにおける快適感との相関が大きい一方、覚醒感との相関は小さいことが考えられる。また、ラッセル円環モデルにおける覚醒感は、心拍数等の生理学データとの相関が大きいと考えられる。そこで、これら非生理学データと生理学データとを適切に用いることにより、より高い精度でラッセル円環モデルを用いた感情推定が可能になる。つまり、感情推定部23は、生理学データを用いて生理学データに相関が比較的大きい覚醒感を算出し、非生理学データを用いて非生理学データに相関が比較的大きい快適感を算出することが好ましい。
生理学データは、生体の機能に関するデータである。生理学データは、例えば、顔の色、心拍数、心拍数変動、心拍数変動のLF/HF(Low Frequency/High Frequency)、R−R間隔、脈波、脈拍変動、脳波、呼吸数、呼吸量、血流、血流変動、血圧、血圧変動、酸素飽和度の少なくとも1つを表すデータを含む。また、生理学データは、例えば、身体の部分の動き、身体の筋肉の動き、顔の筋肉の動き、体温、皮膚温、皮膚コンダクタンス、皮膚抵抗、皮膚のザラツキ、皮膚のテカリ、発汗量及び発汗レート等のデータであってもよい。ここで、身体の部分の動きとして、例えば瞬きの頻度、速度等が挙げられる。
非生理学データは、生体に関するデータのうち、生理学データでないデータである。例えば、非生理学データは、表情、感情、接触入力信号、音声、言語表現、文章及び身振り(ジェスチャ)の少なくとも1つを表すデータを含む。ここで、表情を表すデータは、顔の画像から読み取られる、口、目及び眉毛等の位置又は形等のデータである。非生理学データに含まれる感情を表すデータは、感情推定部23以外の手段により得られるデータであって、例えば、対象者H1が自身の感情として入力するデータである。
(3)変形例
実施形態1は、本開示の様々な実施形態の一つに過ぎない。実施形態1は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。また、データ変換システム10と同様の機能は、データ変換方法、コンピュータプログラム、又はコンピュータプログラムを記録した非一時的記録媒体等で具現化されてもよい。
一態様に係るデータ変換方法は、第1データD1を取得し、対象者H1に関連する参照データから決定される変換パラメータに基づいて、第1データD1を第2データD2に変換して出力する方法である。一態様に係るプログラムは、上記データ変換方法を、コンピュータシステムに実行させるためのプログラムである。
以下、実施形態1の変形例を列挙する。以下に説明する変形例は、適宜組み合わせて適用可能である。
本開示におけるデータ変換システム10は、例えば、コンピュータシステムを主構成とする。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示におけるデータ変換システム10としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されてもよく、電気通信回線を通じて提供されてもよく、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路(IC)又は大規模集積回路(LSI)を含む1ないし複数の電子回路で構成される。複数の電子回路は、1つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、1つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。
また、データ変換システム10における複数の機能が、1つの筐体内に集約されていることはデータ変換システム10に必須の構成ではなく、データ変換システム10の構成要素は、複数の筐体に分散して設けられていてもよい。例えば、パラメータ格納部19と言語変換データベース20とは、別の筐体に設けられていてもよい。さらに、データ変換システム10の少なくとも一部の機能は、例えば、サーバ装置及びクラウド(クラウドコンピューティング)等によって実現されてもよい。反対に、データ変換システム10の少なくとも一部の機能が、1つの筐体内に集約されていてもよい。
また、実施形態1では第1データD1と第2データD2とを一対一で変換する構成を例示したが、この例に限らず、データ変換システム10は、1つの第1データD1を2つ以上の第2データD2に変換(一体多変換)してもよい。この場合、データ変換システム10は、1つの第1データD1に対して、変換結果として2つ以上の第2データD2を出力するので、複数の変換候補が提示されることになる。さらに、データ変換システム10は、2つ以上の第1データD1を1つの第2データD2に変換(多対一変換)してもよいし、2つ以上の第1データD1を2つ以上の第2データD2に変換(多対多変換)してもよい。
また、実施形態1ではデータ変換システム10が、第1データD1を第2データD2に変換する単方向の変換機能を有する構成について例示したが、この例に限らない。例えば、データ変換システム10は、第1データD1と第2データD2との間で、双方向に変換可能であってもよい。つまり、データ変換システム10は、第1データD1を第2データD2に変換する順変換モードと、第2データD2を第1データD1に変換する逆変換モードと、の2つの動作モードを有していてもよい。この場合において、データ変換システム10は、これら2つの動作モードを切替可能に構成されることが好ましい。
また、実施形態1では、データ変換システム10は、動作モードがマニュアルモードであるか否かによって、変換パラメータの手動調節処理又は自動調節処理を択一的に実行する例を示したがこの例に限らない。例えば、データ変換システム10は、変換パラメータの手動調節処理及び自動調節処理の両方を実行してもよいし、変換パラメータの手動調節処理及び自動調節処理のいずれも実行しなくてもよい。
また、対象者は、第1データD1の創作者に限らず、例えば、第2データD2の受け手、又は第1データD1の創作者でも第2データD2の受け手でもない第三者等であってもよい。例えば、第2データD2が文章である場合には、第2データD2の読み手又は聞き手が、第2データD2の受け手となる。第2データD2の受け手が対象者である場合、変換部13は、第2データD2の受け手である対象者に関連する参照データから決定される「変換パラメータ」に基づいて、第1データD1を第2データD2に変換することになる。そのため、変換後の第2データD2についても、第2データD2の受け手である対象者の属性が反映されることになる。例えば、第2データD2が文章である場合には、対象者が普段から使用している文体と、変換後の第2データD2の文体とのギャップが小さく抑えられる。したがって、対象者が第2データD2の受け手であっても、データの変換による違和感又は不快感等が生じにくい、という利点がある。
また、第1データD1と第2データD2とは、同種のデータ(実施形態1ではいずれも言語データ)でなくてもよく、異種のデータであってもよい。例えば、第1データD1が絵画(イメージ)データである場合に、変換後の第2データD2が言語データであってもよい。反対に、第1データD1が言語データである場合に、変換後の第2データD2が絵画(イメージ)データであってもよい。
また、データ変換システム10の一部の処理、例えば、変換パラメータの生成、又は変換部13での変換処理について、機械学習等の技術が利用されてもよい。
また、対象者は、現存する人物に限らず、例えば、過去の著名な作家等であってもよい。この場合、例えば、作家Xの著書から抽出されるテキストデータを参照データとすることで、作家Xに対応する変換パラメータを生成可能である。この変換パラメータを用いて変換を行うことで、データ変換システム10では、第1データD1を、作家X風の文体の第2データD2に変換すること等が可能になる。
(実施形態2)
本実施形態に係るデータ変換システム10は、第1データD1及び第2データD2の少なくとも一方が音楽データである点で、実施形態1に係るデータ変換システム10と相違する。以下では一例として、第1データD1及び第2データD2は、いずれも音楽(楽曲)データであると仮定する。以下、実施形態1と同様の構成については、共通の符号を付して適宜説明を省略する。
本実施形態に係るデータ変換システム10は、実施形態1における言語変換データベース20(図1参照)に代えて、音楽変換データベースを備えている。本実施形態に係るデータ変換システム10では、音楽変換データベースに格納される音楽変換データを用いて、音楽データである第1データD1を、別の音楽データである第2データD2に変換する。具体的には、データ変換システム10は、例えば、主旋律のみからなる第1データD1を、様々な楽器の音が主旋律に付加された第2データD2に変換する「編曲」のような処理を実行する。
本実施形態においても、変換部13は、第1データD1の創作者(作曲者)である対象者に関連する参照データから決定される「変換パラメータ」に基づいて、第1データD1を第2データD2に変換する。そのため、変換後の第2データD2についても、第1データD1の創作者である対象者に固有の表現を反映可能となる。例えば、変換後の第2データD2についても、第1データD1の創作者である対象者の曲調を反映でき、対象者が普段から使用している曲調と、変換後の第2データD2の曲調とのギャップが小さく抑えられる。本開示でいう「曲調」には、「C major」又は「C minor」等の調(key)、コード進行、リズム、及び使用する楽器の種類等を含む。その結果、本実施形態に係るデータ変換システム10によれば、データの変換による違和感又は不快感等が生じにくい、という利点がある。
以下、編曲の例について、より詳細に説明する。
一例として、変換部13は、まず第1データD1の調(key)を判定する。例えば、第1データD1に含まれる主旋律が、ド、レ、ミ及びソを中心としたメロディである場合、変換部13では、第1データD1の調(key)がハ長調(C major)であると判定する。
その後、変換部13は、第1データD1のメロディを小節ごとに分解し、第1データD1の和音進行(コード進行)の推定を行う。一例として、第1小節のメロディがド、レ及びミを中心とするメロディであれば、変換部13は、第1小節に適合するコードが「C」(ド、ミ、ソ)の和音であると判断する。また、変換部13は、第2小節のメロディがレ、ミ及びファを中心とするメロディであれば、第2小節に適合するコードが「Dm」(レ、ファ、ラ)の和音であると判断する。さらに、変換部13は、第3小節がソ、シ、ラ及びレを中心とするメロディであれば、第3小節に適合するコードが「G7」(ソ、シ、レ、ファ)の和音であると判断する。さらに、変換部13は、第4小節がド、レ及びミを中心とするメロディであれば、第4小節に適合するコードが「C」(ド、ミ、ソ)の和音であると判断する。これにより、変換部13は、第1データD1の和音進行(コード進行)について「C-Dm-G7-C」というシーケンスであると推定する。これがオリジナル(第1データD1)のメロディに基づく最もシンプルな和音進行である。
次に、変換部13は、第1データD1の創作者(作曲者)である対象者に関連する参照データから決定される「変換パラメータ」に基づいて、第1データD1の和音進行を、第2データD2の和音進行に変換する。このとき、例えば、ロック及びポップス等の曲調においては、変換部13は、「C-Dm-G7-C」という和音進行を「C-F-G7-C」という和音進行に変換する。一方、ジャズ等の曲調においては、変換部13は、「C-Dm-G7-C」という和音進行を、「C-Dm7-G7-C」又は「Am-Dm-G7-C」等という和音進行に変換する。これにより、いわゆるリハーモナイゼーション(Re-harmonization)の工程を、データ変換システム10にて自動的に実現できる。
また、変換部13は、リハーモナイゼーションの工程が完了後に、変更した和音進行により整合するように、オリジナル(第1データD1)のメロディを変更してもよい。例えば、第1小節のコードが「C」(ド、ミ、ソ)の和音から、「Am」(ラ、ド、ミ)の和音に変更された場合を想定する。この場合、変換部13は、例えば、第1小節のメロディについて、「C」(ド、ミ、ソ)の和音上のド、レ及びミを中心としたメロディから、「Am」(ラ、ド、ミ)の和音上のラ、ド、レ及びミを中心としたメロディに変更することが可能である。
実施形態2で説明した構成は、実施形態1で説明した構成(変形例を含む)と適宜組み合わせて採用可能である。
(まとめ)
以上説明したように、第1の態様に係るデータ変換システム(10)は、取得部(11)と、変換部(13)と、出力部(12)と、を備える。取得部(11)は、第1データ(D1)を取得する。変換部(13)は、対象者に関連する参照データから決定される変換パラメータに基づいて、第1データ(D1)を第2データ(D2)に変換する。出力部(12)は、第2データ(D2)を出力する。
この態様によれば、変換部(13)は、対象者に関連する参照データから決定される変換パラメータに基づいて、第1データ(D1)を第2データ(D2)に変換する。そのため、変換後の第2データ(D2)についても、対象者に固有の表現を反映可能となる。例えば、対象者が第1データ(D1)の創作者であれば、変換後の第2データ(D2)についても、第1データ(D1)の創作者の表現を反映でき、対象者が普段から使用している表現と、変換後の第2データ(D2)の表現とのギャップが小さく抑えられる。その結果、データ変換システム(10)によれば、データの変換による違和感又は不快感等が生じにくい、という利点がある。
第2の態様に係るデータ変換システム(10)は、第1の態様において、変換パラメータを出力するパラメータ出力部(14)を更に備える。
この態様によれば、変換パラメータを可視化したり、他のシステムに流用したりすることが可能である。
第3の態様に係るデータ変換システム(10)では、第1又は2の態様において、第1データ(D1)及び第2データ(D2)の少なくとも一方が言語データである。
この態様によれば、変換後の第2データ(D2)についても、対象者の文体等を反映でき、対象者が普段から使用している文体等と、変換後の第2データ(D2)の文体等とのギャップが小さく抑えられる。
第4の態様に係るデータ変換システム(10)は、第3の態様において、第1データ(D1)と第2データ(D2)とでは、言語の種別が同一である。
この態様によれば、例えば、日本語から日本語のように、言語の種別を変えずに、変換後の第2データ(D2)に対象者の文体等を反映することが可能である。
第5の態様に係るデータ変換システム(10)は、第3の態様において、第1データ(D1)と第2データ(D2)とでは、言語の種別が異なる。
この態様によれば、例えば、日本語から英語のように、言語の種別を変えつつ、変換後の第2データ(D2)に対象者の文体等を反映することが可能である。
第6の態様に係るデータ変換システム(10)では、第1又は2の態様において、第1データ(D1)及び第2データ(D2)の少なくとも一方が音楽データである。
この態様によれば、変換後の第2データ(D2)についても、対象者の曲調等を反映でき、対象者が普段から使用している曲調等と、変換後の第2データ(D2)の曲調等とのギャップが小さく抑えられる。
第7の態様に係るデータ変換システム(10)は、第1〜6のいずれかの態様において、操作部(16)と、調節部(17)と、を更に備える。操作部(16)は、人の操作に応じた操作信号を受け付ける。調節部(17)は、操作信号に基づいて変換パラメータを調節する。
この態様によれば、変換パラメータを手動で調節することが可能であるため、例えば、第2データ(D2)の受け手の気分又は好み等によって、変換パラメータを調節可能となる。
第8の態様に係るデータ変換システム(10)では、第7の態様において、操作部(16)は、表示部(31)に表示されているパラメータゲージ(301)上でカーソル(302)の位置を移動させる操作に応じて発生する操作信号を受け付ける。パラメータゲージ(301)は、変換パラメータをカーソル(302)の位置で表している。
この態様によれば、ユーザにおいては、直感的に変換パラメータを調節することができ、変換パラメータの調節が容易になる。
第9の態様に係るデータ変換システム(10)は、第1〜8のいずれかの態様において、変換パラメータを自動的に調節する自動調節部(15)を更に備える。
この態様によれば、手動で調節する手間が軽減される分、ユーザの操作に掛かる負担が軽減される。
第10の態様に係るデータ変換システム(10)では、第9の態様において、自動調節部(15)は人の感情を表す感情情報に応じて変換パラメータを調節する。
この態様によれば、例えば、対象者の感情に合わせた適切な第2データ(D2)に変換可能である。
第11の態様に係るデータ変換システム(10)では、第1〜10のいずれかの態様において、変換パラメータは複数の項目を含む。
この態様によれば、変換パラメータが一項目のみからなる場合に比べて、変換パラメータを詳細に設定することができ、変換後の第2データ(D2)に、対象者に固有の表現が反映されやすくなる。
第12の態様に係るデータ変換システム(10)では、第11の態様において、変換部(13)は、変換パラメータの複数の項目の全てを一括して用いて、第1データ(D1)から第2データ(D2)への変換を行う。
この態様によれば、第2データ(D2)が得られない、つまり第2データ(D2)について「解無し」というエラーが生じにくい。
第13の態様に係るデータ変換システム(10)では、第11の態様において、変換部(13)は、変換パラメータの複数の項目の各々を順次用いて、第1データ(D1)から第2データ(D2)への変換を行う。
この態様によれば、第2データ(D2)が段階的に絞り込まれるため、変換後の第2データ(D2)に、対象者に固有の表現が比較的きめ細やかに反映される。
第14の態様に係るデータ変換システム(10)は、第1〜13のいずれかの態様において、選択部(18)を更に備える。選択部(18)は、対象者の候補である複数の対象者候補に一対一に対応付けられている複数のパラメータ候補の中から、変換部(13)での変換に使用される変換パラメータを選択する。
この態様によれば、変換後の第2データ(D2)について、複数の対象者に固有の表現をそれぞれ反映可能となる。
第15の態様に係るデータ変換システム(10)では、第1〜14のいずれかの態様において、変換部(13)は、第1変換処理と、第2変換処理と、を実行する。第1変換処理は、第1データ(D1)を標準化された標準データに変換する処理である。第2変換処理は、標準データを変換パラメータに基づいて第2データ(D2)に変換する処理である。
この態様によれば、第1データ(D1)が一度標準化されるので、第1データ(D1)によらずに変換パラメータを共通化できる。
第16の態様に係るデータ変換方法は、第1データ(D1)を取得し、対象者に関連する参照データから決定される変換パラメータに基づいて、第1データ(D1)を第2データ(D2)に変換して出力する。
この態様によれば、対象者に関連する参照データから決定される変換パラメータに基づいて、第1データ(D1)を第2データ(D2)に変換する。そのため、変換後の第2データ(D2)についても、対象者に固有の表現を反映可能となる。例えば、対象者が第1データ(D1)の創作者であれば、変換後の第2データ(D2)についても、第1データ(D1)の創作者の表現を反映でき、対象者が普段から使用している表現と、変換後の第2データ(D2)の表現とのギャップが小さく抑えられる。その結果、データ変換方法によれば、データの変換による違和感又は不快感等が生じにくい、という利点がある。
第17の態様に係るプログラムは、第16の態様に係るデータ変換方法を、コンピュータシステムに実行させるためのプログラムである。
この態様によれば、対象者に関連する参照データから決定される変換パラメータに基づいて、第1データ(D1)を第2データ(D2)に変換する。そのため、変換後の第2データ(D2)についても、対象者に固有の表現を反映可能となる。例えば、対象者が第1データ(D1)の創作者であれば、変換後の第2データ(D2)についても、第1データ(D1)の創作者の表現を反映でき、対象者が普段から使用している表現と、変換後の第2データ(D2)の表現とのギャップが小さく抑えられる。その結果、上記プログラムによれば、データの変換による違和感又は不快感等が生じにくい、という利点がある。
上記態様に限らず、実施形態1及び実施形態2に係るデータ変換システム(10)の種々の態様(変形例を含む)は、データ変換方法及びプログラムにて具現化可能である。
第2〜15の態様に係る構成については、データ変換システム(10)に必須の構成ではなく、適宜省略可能である。
10 データ変換システム
11 取得部
12 出力部
13 変換部
14 パラメータ出力部
15 自動調節部
16 操作部
17 調節部
18 選択部
31 表示部
301 パラメータゲージ
302 カーソル
D1 第1データ
D2 第2データ
H1 対象者

Claims (17)

  1. 第1データを取得する取得部と、
    対象者に関連する参照データから決定される変換パラメータに基づいて、前記第1データを第2データに変換する変換部と、
    前記第2データを出力する出力部と、を備える
    データ変換システム。
  2. 前記変換パラメータを出力するパラメータ出力部を更に備える
    請求項1に記載のデータ変換システム。
  3. 前記第1データ及び前記第2データの少なくとも一方が言語データである
    請求項1又は2に記載のデータ変換システム。
  4. 前記第1データと前記第2データとでは、言語の種別が同一である
    請求項3に記載のデータ変換システム。
  5. 前記第1データと前記第2データとでは、言語の種別が異なる
    請求項3に記載のデータ変換システム。
  6. 前記第1データ及び前記第2データの少なくとも一方が音楽データである
    請求項1又は2に記載のデータ変換システム。
  7. 人の操作に応じた操作信号を受け付ける操作部と、
    前記操作信号に基づいて前記変換パラメータを調節する調節部と、を更に備える
    請求項1〜6のいずれか1項に記載のデータ変換システム。
  8. 前記操作部は、表示部に表示されている前記変換パラメータをカーソルの位置で表したパラメータゲージ上で前記カーソルの位置を移動させる操作に応じて発生する前記操作信号を受け付ける
    請求項7に記載のデータ変換システム。
  9. 前記変換パラメータを自動的に調節する自動調節部を更に備える
    請求項1〜8のいずれか1項に記載のデータ変換システム。
  10. 前記自動調節部は人の感情を表す感情情報に応じて前記変換パラメータを調節する
    請求項9に記載のデータ変換システム。
  11. 前記変換パラメータは複数の項目を含む
    請求項1〜10のいずれか1項に記載のデータ変換システム。
  12. 前記変換部は、前記変換パラメータの前記複数の項目の全てを一括して用いて、前記第1データから前記第2データへの変換を行う
    請求項11に記載のデータ変換システム。
  13. 前記変換部は、前記変換パラメータの前記複数の項目の各々を順次用いて、前記第1データから前記第2データへの変換を行う
    請求項11に記載のデータ変換システム。
  14. 前記対象者の候補である複数の対象者候補に一対一に対応付けられている複数のパラメータ候補の中から、前記変換部での変換に使用される前記変換パラメータを選択する選択部を更に備える
    請求項1〜13のいずれか1項に記載のデータ変換システム。
  15. 前記変換部は、
    前記第1データを標準化された標準データに変換する第1変換処理と、
    前記標準データを前記変換パラメータに基づいて前記第2データに変換する第2変換処理と、を実行する
    請求項1〜14のいずれか1項に記載のデータ変換システム。
  16. 第1データを取得し、
    対象者に関連する参照データから決定される変換パラメータに基づいて、前記第1データを第2データに変換して出力する
    データ変換方法。
  17. 請求項16に記載のデータ変換方法を、コンピュータシステムに実行させるためのプログラム。
JP2020503476A 2018-02-27 2019-02-22 データ変換システム、データ変換方法及びプログラム Withdrawn JPWO2019167848A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018033934 2018-02-27
JP2018033934 2018-02-27
PCT/JP2019/006889 WO2019167848A1 (ja) 2018-02-27 2019-02-22 データ変換システム、データ変換方法及びプログラム

Publications (1)

Publication Number Publication Date
JPWO2019167848A1 true JPWO2019167848A1 (ja) 2021-02-25

Family

ID=67808857

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020503476A Withdrawn JPWO2019167848A1 (ja) 2018-02-27 2019-02-22 データ変換システム、データ変換方法及びプログラム

Country Status (4)

Country Link
US (1) US20200401769A1 (ja)
JP (1) JPWO2019167848A1 (ja)
CN (1) CN111819565A (ja)
WO (1) WO2019167848A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113656405B (zh) * 2021-08-10 2023-08-18 湖南天河国云科技有限公司 基于区块链的链上雷达图共建共享方法及装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000250907A (ja) * 1999-02-26 2000-09-14 Fuji Xerox Co Ltd 文書処理装置および記録媒体
JP2001318915A (ja) * 2000-05-11 2001-11-16 Matsushita Electric Ind Co Ltd フォント変換装置
JP2003122998A (ja) * 2001-10-17 2003-04-25 Ricoh Co Ltd 情報提供システム
US20060069728A1 (en) * 2004-08-31 2006-03-30 Motorola, Inc. System and process for transforming a style of a message
US8631347B2 (en) * 2004-11-15 2014-01-14 Microsoft Corporation Electronic document style matrix
KR101185251B1 (ko) * 2006-07-04 2012-09-21 엘지전자 주식회사 이동통신 단말기의 음악 편곡 장치 및 방법
JP2013080538A (ja) * 2011-10-04 2013-05-02 Sony Corp コンテンツ再生装置およびコンテンツ再生方法、並びにプログラム
TWI528186B (zh) * 2012-11-09 2016-04-01 財團法人資訊工業策進會 經由音訊發布訊息的系統及方法
US8959044B2 (en) * 2012-11-28 2015-02-17 Linkedin Corporation Recommender evaluation based on tokenized messages
CN106416278A (zh) * 2014-06-24 2017-02-15 索尼公司 信息处理装置、信息处理方法及程序
US9953028B2 (en) * 2015-01-09 2018-04-24 International Business Machines Corporation Cognitive contextualization of emergency management system communications
US9600803B2 (en) * 2015-03-26 2017-03-21 Wrap Media, LLC Mobile-first authoring tool for the authoring of wrap packages
CN106101541A (zh) * 2016-06-29 2016-11-09 捷开通讯(深圳)有限公司 一种终端、拍照设备及其基于人物情绪的拍摄方法
CN109923512A (zh) * 2016-09-09 2019-06-21 上海海知智能科技有限公司 人机交互的系统及方法
CN106598215B (zh) * 2016-11-02 2019-11-08 Tcl移动通信科技(宁波)有限公司 虚拟现实系统的实现方法及虚拟现实装置
US10817316B1 (en) * 2017-10-30 2020-10-27 Wells Fargo Bank, N.A. Virtual assistant mood tracking and adaptive responses

Also Published As

Publication number Publication date
US20200401769A1 (en) 2020-12-24
WO2019167848A1 (ja) 2019-09-06
CN111819565A (zh) 2020-10-23

Similar Documents

Publication Publication Date Title
US10977452B2 (en) Multi-lingual virtual personal assistant
CN112119454B (zh) 适应多个年龄组和/或词汇水平的自动助理
KR101143862B1 (ko) 정보처리단말 및 통신시스템
US9053096B2 (en) Language translation based on speaker-related information
US20170160813A1 (en) Vpa with integrated object recognition and facial expression recognition
JP7010000B2 (ja) 情報処理装置及びプログラム
JP2019008570A (ja) 情報処理装置、情報処理方法及びプログラム
JP6841239B2 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2003073417A2 (en) Intelligent personal assistants
JPWO2014073612A1 (ja) 会話文生成装置、会話文生成方法及び会話文生成プログラム
CN112765971A (zh) 文本语音的转换方法、装置、电子设备及存储介质
JP2015069231A (ja) キャラクタ生成装置およびプログラム
WO2019167848A1 (ja) データ変換システム、データ変換方法及びプログラム
JP2018013997A (ja) コミュニケーション支援装置、コミュニケーション支援方法およびコミュニケーション支援プログラム
JP2003345727A (ja) 感情伝達装置
JP2020076878A (ja) カラオケ装置、カラオケ装置の制御方法、およびプログラム
WO2019073668A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2022147506A (ja) 人とコミュニケーションを行うシステム及びそのためのプログラム
JP7350384B1 (ja) 対話システム、及び対話方法
JP6993034B1 (ja) コンテンツ再生方法、及びコンテンツ再生システム
JP7462995B1 (ja) 情報処理システム、情報処理方法及びプログラム
Larradet et al. Affective communication enhancement system for locked-in syndrome patients
Narain Interfaces and models for improved understanding of real-world communicative and affective nonverbal vocalizations by minimally speaking individuals
Amarakeerthi et al. Speech-based emotion characterization using postures and gestures in CVEs
WO2021161841A1 (ja) 情報処理装置及び情報処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210712

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20220708

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220729