JP6993774B2 - 音声出力制御装置 - Google Patents

音声出力制御装置 Download PDF

Info

Publication number
JP6993774B2
JP6993774B2 JP2016237679A JP2016237679A JP6993774B2 JP 6993774 B2 JP6993774 B2 JP 6993774B2 JP 2016237679 A JP2016237679 A JP 2016237679A JP 2016237679 A JP2016237679 A JP 2016237679A JP 6993774 B2 JP6993774 B2 JP 6993774B2
Authority
JP
Japan
Prior art keywords
speaker
audio
output control
voice
audio output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016237679A
Other languages
English (en)
Other versions
JP2018093447A (ja
Inventor
直樹 樋上
侑人 村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2016237679A priority Critical patent/JP6993774B2/ja
Publication of JP2018093447A publication Critical patent/JP2018093447A/ja
Application granted granted Critical
Publication of JP6993774B2 publication Critical patent/JP6993774B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Stereophonic System (AREA)

Description

本発明は、音声出力制御装置に関する。
録音時の音場を再現して音声を再生する技術が知られている。例えば、特許文献1は、頭上スピーカを有しない適応型オーディオシステムで反射音をレンダリングする適応型オーディオシステムのためのシステムおよび方法を開示している。
特許文献2は、アンプ装置から入力された増幅音信号を無指向性の出力特性で出力するスピーカ装置を備えることによって受聴位置を変更する可能性のある受聴者にとって最適な音場を提供することができる音響システムについて開示している。
特許文献3は、再生音場空間の室内音響特性(リスニングルームの大きさ・形・内装等)に合わせて、再生時の音響特性を好適に調整することができる音響再生装置について開示している。
特表2015-530824号公報(2015年10月15日公表) 特開2014-103616号公報(2014年 6月 5日公開) 特開2008-233920号公報(2008年10月 2日公開)
しかしながら、従来技術の様に録音時の音場を再現しようとしても、再生環境によっては音声に対する没入感が高まるとは限らない。より具体的に言えば、音声を再生するスピーカの位置によっては、かえって没入感が低減することがある。例えば、室内で雨音のような環境音を聞く場合に、雨が窓や屋根に当たるような音が窓や屋根以外の場所に配置されたスピーカから聞こえてくると、かえって没入感が低減してしまう。
本発明の一態様は、上記課題に鑑みてなされたものであり、受聴者の再生環境に応じて好適な没入感を提供することのできる音声出力制御装置を実現することを目的とする。
上記の課題を解決するために、本発明の一態様に係る音声出力制御装置は、音声を音声出力装置に出力させる音声出力制御装置であって、音声データを取得する音声データ取得部と、上記音声データとオブジェクトとの対応関係を示すメタデータを取得するメタデータ取得部と、上記音声データの示す音声を出力させる音声出力装置を、上記オブジェクトと音声出力装置との対応付けを示す対応付け情報、および、上記メタデータを参照して決定する決定部と、を備えている構成である。
本発明の一態様に係る音声出力制御装置によれば、受聴者の再生環境に応じて好適な没入感を提供することができるという効果を奏する。
本発明の実施形態1に係る音声出力制御装置の要部構成を示すブロック図である。 本発明の実施形態1に係る音声出力制御装置の動作の一例を説明するフローチャートである。 メタデータに含まれる「音声データ・オブジェクト対応情報」の一例を示す図である。 記憶部に記憶されている「スピーカ・オブジェクト対応情報」の一例を示す図である。 スピーカ決定部によって生成される「音声データ・スピーカ対応情報」の一例を示す図である。 本発明の実施形態1に係る音声出力制御装置による音声データの出力例を説明するための図である。 本発明の実施形態1に係る音声出力制御装置による音声データの出力例を説明するための図である。 本発明の実施形態1に係る音声出力制御装置による音声データの出力例を説明するための図である。 本発明の実施形態2に係る音声出力制御装置の要部構成を示すブロック図である。 本発明の実施形態2に係る音声出力制御装置の動作の一例を説明するフローチャートである。 本発明の実施形態2に係る音声出力制御装置のUI生成部が生成するUI画面の一例を示す図である。 本発明の実施形態2に係る音声出力制御装置のUI生成部が生成するUI画面の一例を示す図である。 本発明の実施形態2に係る音声出力制御装置のUI生成部が生成するUI画面の一例を示す図である。 本発明の実施形態2に係る音声出力制御装置のUI生成部が生成するUI画面の一例を示す図である。 本発明の実施形態2に係る音声出力制御装置のUI生成部が生成するUI画面の一例を示す図である。 本発明の実施形態2に係る音声出力制御装置のUI生成部が生成するUI画面の一例を示す図である。 本発明の実施形態2に係る音声出力制御装置のUI生成部が生成するUI画面の一例を示す図である。 本発明に係る音声出力制御装置を備えたテレビの外観を示す図である。
〔実施形態1〕
以下、本発明の実施形態1に係る音声出力制御装置1について、詳細に説明する。
(1.音声出力制御装置1の要部構成)
図1は、本実施形態に係る音声出力制御装置1の要部構成を示すブロック図である。図1に示すように、音声出力制御装置1は、複数のスピーカ(音声出力装置)2a、2bおよび2cへと音声を出力させる。音声出力制御装置1は、スピーカ2a、2bおよび2cと、無線接続または有線接続されている。なお、スピーカの個数が3個の場合を例示したが、これは本実施形態を限定するものではなく、任意の個数のスピーカを対象とすることができる。また、図示は省略したが、音声出力制御装置1およびスピーカ2a、2bおよび2cは、無線接続または有線接続を実現するための通信部または接続部を備えている。
また、「音声」とは、「人の声」に限定されるものではなく、空気の振動により伝搬される音全般のことを指す。「音声」には、音楽、環境音、人の声等が含まれる。
音声出力制御装置1は、制御部10および記憶部20を備えている。制御部10は、音声出力制御装置1を統括的に制御する。
制御部10は、音声データ取得部11、メタデータ取得部12、スピーカ決定部(決定部)13および出力スピーカ制御部14を備えている。
音声データ取得部11は、音声出力制御装置1の処理対象となるコンテンツデータを参照し、当該コンテンツデータから音声データを取得する。コンテンツデータには、音声データおよびメタデータが含まれている。コンテンツデータは、サーバから取得してもよく、記憶部20に予め記憶されていてもよい。また、コンテンツデータは、音声に関連したデータのみに限定されるものではなく、画像データ等の他のデータをさらに含むものであってもよい。
また、音声データ取得部11は、取得した音声データを出力スピーカ制御部14に供給する。なお、音声データ取得部11は、取得した音声データに対して適宜復号処理等のデータ処理を行ったうえで出力スピーカ制御部14に供給する構成とすることができる。
メタデータ取得部12は、上記コンテンツデータからメタデータを取得する。取得したメタデータは、スピーカ決定部13に供給される。詳細については後述するが、メタデータには、各音声データとオブジェクトとの対応関係を示す「音声データ・オブジェクト対応情報」が含まれている。
一方で、記憶部20には、オブジェクトとスピーカ2a、2bおよび2cとの対応付けを示す「スピーカ・オブジェクト対応情報」が記憶されている。
ここで、上記「オブジェクト」とは、任意の領域、任意の領域の一部、および任意の領域内に存在している物体の少なくともいずれかを指す。上記「任意の領域」とは、受聴者の再生環境を機能的または物理的に区分した一領域のことを指す。具体的には、例えば、受聴者の再生環境が家の中であれば、上記「任意の領域」は、例えば、キッチン、リビング、ベッドルーム等の、部屋であり得る。上記「任意の領域の一部」は、例えば、窓、天井等の、部屋を構成する部材であり得る。また、上記「任意の領域内に存在している物体」は、例えば、テレビジョン受像機(テレビ)、本棚等の、部屋の中に存在している物品であり得る。
スピーカ決定部13は、記憶部20に記憶されている上記「スピーカ・オブジェクト対応情報」と、上記メタデータに含まれる「音声データ・オブジェクト対応情報」とを参照して、上記音声データの示す音声と、当該音声を出力させるスピーカとの対応情報である「音声データ・スピーカ対応情報」を生成する。生成した「音声データ・スピーカ対応情報」は、出力スピーカ制御部14に提供される。
出力スピーカ制御部14は、「音声データ・スピーカ対応情報」に従って、音声データを、当該音声データに対応付けられたスピーカから出力させる。
(2.音声出力制御装置1の動作)
図2は、本実施形態に係る音声出力制御装置1の動作の一例を説明するフローチャートである。
(ステップS11)
まず、音声データ取得部11は、コンテンツデータから音声データを取得する。音声データ取得部11は、取得した音声データを、出力スピーカ制御部14に供給する。
(ステップS12)
次いで、メタデータ取得部12は、取得した音声データからメタデータを取得する。メタデータ取得部12は、取得したメタデータを、スピーカ決定部13に供給する。
(ステップS13)
次いで、スピーカ決定部13は、記憶部20に記憶されている「スピーカ・オブジェクト対応情報」と、上記メタデータに含まれる「音声データ・オブジェクト対応情報」とを参照して、音声データの示す音声を出力させるスピーカを決定し、当該決定結果を示す「音声データ・スピーカ対応情報」を生成する。
(ステップS14)
次いで、出力スピーカ制御部14は、「音声データ・スピーカ対応情報」に従って、音声データを、当該音声データに対応付けられたスピーカから出力させる。
(3.各対応情報の具体例)
以下では、参照する図面を替えて、上記の説明において登場した各種の対応情報についてより具体的に説明する。
(音声データ・オブジェクト対応情報)
図3は、メタデータに含まれる「音声データ・オブジェクト対応情報」の一例を示す図である。「音声データ・オブジェクト対応情報」は、コンテンツデータに含まれている音声データと、オブジェクトとの対応付けを示す情報である。
図3に示すように、例えば、コンテンツ名「Relax Music[ Rain ]」であるコンテンツデータは、音声チャンネル1~5の音声データを含んでいる。音声チャンネル1~3の音声データは、出力先のオブジェクトとして「Ceiling」に対応付けられている、音声チャンネル4~5の音声データは、出力先のオブジェクトとして「Window」に対応付けられている。コンテンツ名「Relax Music[ Rain ]」であるコンテンツデータにおいて、「Room」に関する指定はない。
一方、コンテンツ名「Relax Music[Cooking]」であるコンテンツデータに含まれている音声チャンネル1~2の音声データは、出力先のオブジェクトとして「Kitchen」が対応付けられているが、「Place」に関する指定はない。
(スピーカ・オブジェクト対応情報)
図4は、記憶部20に記憶されている「スピーカ・オブジェクト対応情報」の一例を示す図である。「スピーカ・オブジェクト対応情報」は、スピーカと、オブジェクトとの対応付けを示す情報である。
図4に示すように、例えば、IDが「SP-01」であるスピーカは、「Living Room」の「Display Side」に対応付けられている。IDが「SP-06」であるスピーカは、「Kitchen」の「Ceiling」に対応付けられている。各スピーカは、「スピーカ・オブジェクト対応情報」において対応付けられたオブジェクト(Room)内に存在しているオブジェクト(Place)と接するように、またはオブジェクト(Place)の付近に配置されていることが好ましい。
(音声データ・スピーカ対応情報)
図5は、スピーカ決定部13によって生成される「音声データ・スピーカ対応情報」の一例を示す図である。スピーカ決定部13は、「スピーカ・オブジェクト対応情報」(図4)と、メタデータに含まれる「音声データ・オブジェクト対応情報」(図3)とを参照して音声データの示す音声を出力させるスピーカを決定し、「音声データ・スピーカ対応情報」(図5)を生成する。
例えば、スピーカ決定部13は、コンテンツ名「Relax Music[ Rain ]」であるコンテンツデータのメタデータを受け付けた場合、図4に示す「スピーカ・オブジェクト対応情報」を参照して、「Ceiling」に対応付けられたIDが「SP-04」および「SP-06」であるスピーカを、音声チャンネル1~3の音声データの出力先として決定し、「Window」に対応付けられたIDが「SP-02」および「SP-03」であるスピーカを、音声チャンネル4~5の音声データの出力先として決定する。
また、例えば、スピーカ決定部13は、コンテンツ名「Relax Music[ Cafe]」であるコンテンツデータのメタデータを受け付けた場合、図4に示す「スピーカ・オブジェクト対応情報」を参照して、登録された全てのスピーカ(IDが「SP-01」、「SP-02」、…「SP-06」であるスピーカ)を、音声チャンネル1の音声データの出力先として決定する。
また、例えば、スピーカ決定部13は、コンテンツ名「RelaxMusic[Cooking]」であるコンテンツデータのメタデータを受け付けた場合、図4に示す「スピーカ・オブジェクト対応情報」を参照して、「Kitchen」に対応付けられたIDが「SP-06」であるスピーカを、音声チャンネル1~2の音声データの出力先として決定する。なお、コンテンツ名「Relax Music[Cooking]」であるコンテンツデータのように、出力先のオブジェクトとして「Room」のみが対応付けられており、「Place」の指定がない場合は、「Room」の情報が一致しているスピーカ全てを音声データの出力先として決定すればよい。
出力スピーカ制御部14は、図5に示した「音声データ・スピーカ対応情報」に従って、音声データを、当該音声データに対応付けられたスピーカから出力させる。図6~図8は、本発明の実施形態1に係る音声出力制御装置1による音声データの出力例を説明するための図である。
図6は、例えば、コンテンツ名「Relax Music[ Rain ]」であるコンテンツデータに含まれている音声データの出力例を示している。コンテンツ名「Relax Music[ Rain ]」であるコンテンツデータを再生する場合、出力スピーカ制御部14は、図5に示した「音声データ・スピーカ対応情報」に従って、音声チャンネル1~3の音声データを、窓201に対応付けられたスピーカ2bから出力させ、音声チャンネル4~5の音声データを、天井202に対応付けられたスピーカ2aから出力させる。一方、出力スピーカ制御部14は、テレビ200に対応付けられたスピーカ2cからは、音声データを出力させない。これにより、雨音の環境音が、窓や天井の方向から聞こえてくるため、受聴者203は、雨が窓や屋根に当たっているように感じることができる。その結果、受聴者203は、雨音の環境音に対して好適な没入感を得ることができる。さらには、本発明の実施形態1に係る音声出力制御装置1は、音声データをスピーカに出力させると同時に、テレビ200に雨の映像を表示させるように構成されていてもよい。これによって、受聴者203は、雨音の環境音に対するより高い没入感を得ることができる。
また、図7は、例えば、コンテンツ名「Relax Music[ Cafe ]」であるコンテンツデータに含まれている音声データの出力例を示している。コンテンツ名「Relax Music[ Cafe ]」であるコンテンツデータを再生する場合、出力スピーカ制御部14は、図5に示した「音声データ・スピーカ対応情報」に従って、音声チャンネル1の音声データを、再生環境内に存在している全てのスピーカ(すなわち、窓201に対応付けられたスピーカ2b、天井202に対応付けられたスピーカ2a、およびテレビ200に対応付けられたスピーカ2c)から出力させる。これにより、カフェの喧騒音の環境音が、再生環境内全体から聞こえてくるため、受聴者203は、カフェにいるように感じることができる。その結果、受聴者203は、カフェの喧騒音の環境音に対して好適な没入感を得ることができる。さらには、本発明の実施形態1に係る音声出力制御装置1は、音声データをスピーカに出力させると同時に、テレビ200にカフェの映像を表示させるように構成されていてもよい。これによって、受聴者203は、カフェの喧騒音の環境音に対するより高い没入感を得ることができる。
また、図8は、例えば、コンテンツ名「Relax Music[ Fire Place]」であるコンテンツデータに含まれている音声データの出力例を示している。コンテンツ名「Relax Music[Fire Place ]」であるコンテンツデータを再生する場合、出力スピーカ制御部14は、図5に示した「音声データ・スピーカ対応情報」に従って、音声チャンネル1~2の音声データを、テレビ200に対応付けられたスピーカ2cから出力させる。一方、出力スピーカ制御部14は、窓201に対応付けられたスピーカ2bおよび天井202に対応付けられたスピーカ2aからは、音声データを出力させない。これにより、暖炉のたき火の音の環境音が、窓201に対応付けられたスピーカ2bおよび天井202に対応付けられたスピーカ2aから聞こえないので、受聴者203の暖炉のたき火の音の環境音に対する没入感が損なわれることがない。さらには、本発明の実施形態1に係る音声出力制御装置1は、音声データをスピーカに出力させると同時に、テレビ200に暖炉のたき火の映像を表示させるように構成されていてもよい。これによって、受聴者203は、暖炉のたき火の音の環境音に対するより高い没入感を得ることができる。
(4.変形例)
一変形例において、図3におけるコンテンツ名「Relax Music[ Rain ]」であるコンテンツデータの様に、コンテンツデータにおいて「Room」の指定がないコンテンツの音声データを出力する場合に、本発明の実施形態1に係る音声出力制御装置1は、スピーカ決定部13が、受聴者が存在している再生環境内の領域情報を加味して、音声データの示す音声を出力させるスピーカを決定するように構成されていてもよい。従って、本発明の実施形態1に係る音声出力制御装置1は、受聴者が存在している再生環境内の領域の情報を取得するための、領域情報取得部(図1中には図示しない)をさらに備えていてもよい。例えば、図6~図8に示すように、受聴者203の再生環境が家の中であり、受聴者203がLiving Roomに存在している場合は、上記領域情報取得部は、受聴者が存在している再生環境内の領域の情報として、「Living Room」の領域情報を取得する。取得した領域情報は、スピーカ決定部13に供給される。スピーカ決定部13は、領域情報を加味して、音声データに対応付けられた全てのスピーカの内、Living Roomに対応づけられたスピーカのみを、音声データの出力先として決定する。受聴者が存在している再生環境内の領域の情報の取得方法としては、例えば、音声出力制御装置1が取得したメタデータに加えて、ユーザが所望の「Room」に対する指定を追加できるようにしてもよい。その結果、スピーカ決定部13は、「音声データ・オブジェクト対応情報」(図3)および「スピーカ・オブジェクト対応情報」(図4)に加え、ユーザによる指定を参照して音声データの示す音声を出力させるスピーカを決定し、「音声データ・スピーカ対応情報」(図示しない)を生成する。従って、本発明の実施形態1に係る音声出力制御装置1は、ユーザに対して「Room」を指定させるためのUI生成部および表示部と、ユーザからの操作を出力スピーカ決定に反映させるための操作受付部(図1中には図示しない)を更に備えていてもよい。
また、別の変形例において、音声出力制御装置1は、取得したメタデータに対応する中間テーブル(図示しない)を、キャッシュデータとして記憶部20に保持しておき、当該中間テーブルのキャッシュデータに対して、ユーザが所望する「Room」に対する指定を追加する構成としてもよい。この構成の場合、スピーカ決定部13は、ユーザによる指定が追加された上記中間テーブルのキャッシュデータおよび「スピーカ・オブジェクト対応情報」(図4)を参照して音声データの示す音声を出力させるスピーカを決定し、「音声データ・スピーカ対応情報」(図示しない)を生成してもよい。
また、別の変形例において、本発明の実施形態1に係る音声出力制御装置1は、ユーザの操作を受けて音声データの示す音声を出力するスピーカを決定する様に構成されていてもよい。例えば、「スピーカ・オブジェクト対応情報」(図4)に対して、ユーザが、音声を出力させたいスピーカに対する指定を追加できるようにしてもよい。その結果、スピーカ決定部13は、「音声データ・オブジェクト対応情報」(図3)および「スピーカ・オブジェクト対応情報」(図4)に加え、ユーザによる上記指定を参照して音声データの示す音声を出力させるスピーカを決定し、「音声データ・スピーカ対応情報」(図示しない)を生成する。従って、本発明の実施形態1に係る音声出力制御装置1は、ユーザに対して出力スピーカを選択させるためのUI生成部および表示部と、ユーザからの操作を出力スピーカ決定に反映させるための操作受付部(図1中には図示しない)を更に備えていてもよい。
〔実施形態2〕
以下、本発明の実施形態2に係る音声出力制御装置1aについて、詳細に説明する。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
(1.音声出力制御装置1aの要部構成)
図9は、本実施形態に係る音声出力制御装置1aの要部構成を示すブロック図である。図9に示すように、(i)音声出力制御装置1aが表示部30をさらに備えている点、および(ii)制御部10aが操作受付部15、情報更新部16およびUI生成部17をさらに備えている点が、実施形態1の音声出力制御装置1と異なっている。本実施形態に係る音声出力制御装置1aをかかる構成とすることによって、音声出力制御装置1aは、記憶部20に記憶されている「スピーカ・オブジェクト対応情報」を、ユーザ指示に基づいて更新することが可能となっている。操作受付部15、情報更新部16およびUI生成部17に関する処理の詳細については後述する。
表示部30は、音声出力制御装置1aと、無線接続または有線接続されている。図9に示すように、音声出力制御装置1aは、「スピーカ・オブジェクト対応情報」に関連するユーザインタフェース画面(UI画面)の画像を、表示部30に表示させる。尚、表示部30は、タッチパネルであってもよい。また、図示は省略したが、音声出力制御装置1aおよび表示部30は、無線接続または有線接続を実現するための通信部または接続部を備えている。
操作受付部15は、オブジェクトとスピーカ2a、2bおよび2cとの対応付けに関するユーザからの指示を受け付ける。操作受付部15は、例えば、ユーザが、マウス、タッチパネル等の入力装置(図示しない)を介して、ユーザからの指示を受け付ける。
情報更新部16は、操作受付部15が受け付けたユーザ指示に基づいて、記憶部20に記憶されている「スピーカ・オブジェクト対応情報」を更新する。
UI生成部17は、記憶部20に記憶されている「スピーカ・オブジェクト対応情報」を取得し、「スピーカ・オブジェクト対応情報」に関連するUI画面の画像を生成する。生成したUI画面の画像は、表示部30に表示される。
(2.音声出力制御装置1aの動作)
本実施形態に係る音声出力制御装置1aは、上述したとおり、ユーザ指示に基づいて、記憶部20に記憶されている「スピーカ・オブジェクト対応情報」を更新することが可能となっている点が、実施形態1の音声出力制御装置1とは異なる。そこで、かかる相違点の動作のみを以下に説明する。
図10は、本実施形態に係る音声出力制御装置1aの動作の一例を説明するフローチャートである。
(ステップS21)
まず、操作受付部15は、オブジェクトとスピーカ2a、2bおよび2cとの対応付けに関するユーザからの指示を受け付ける。操作受付部15は、受け付けたユーザ指示を、情報更新部(対応付け情報更新部)16に供給する。
(ステップS22)
次いで、情報更新部16は、受け付けたユーザ指示に基づいて、記憶部20に記憶されている「スピーカ・オブジェクト対応情報」を更新する。
(3.UI画面の具体例、及び、受け付けたユーザ操作に基づく音声出力制御装置1aの動作例)
以下では、図11~図17を参照しながら、UI生成部(UI画面生成装置)17が生成するUI画面(100a~100g)の具体例、及び、受け付けたユーザ操作に基づく音声出力制御装置1aの動作例について説明する。
(初期画面)
図11は、UI生成部17が生成するUI画面100aの一例を示す図であり、「スピーカ・オブジェクト対応情報」を登録するための初期画面を示している。
図11に示すように、UI画面100aは、スピーカ・オブジェクト対応情報表示領域102a、スライドバー104、および追加ボタン101aを含んでいる。
スピーカ・オブジェクト対応情報表示領域102aは、登録済みのスピーカ・オブジェクト対応情報の一部または全体を表示するための領域である。スライドバー104は、スピーカ・オブジェクト対応情報の内、未表示となっている部分を表示させるために、ユーザによって上下に移動可能に構成されている。
追加ボタン101aは、スピーカ・オブジェクト対応情報に、スピーカ・オブジェクト対応情報を追加するために用いられるボタンである。
スライドバー104の移動および追加ボタン101aの押下は、例えば、ユーザが操作するカーソルによる選択とリモコン等に備えられた物理的ボタンとの組合せによって行われる構成としてもよいし、表示部30(図9)をタッチパネルとし、ユーザが直接タッチすることによって操作が行われる構成としてもよい。
図11に示すように、UI画面100aには、スピーカ・オブジェクト対応情報として、(i)スピーカのIDの情報、(ii)当該IDに対応する「Room」(オブジェクトとしての「領域」の名称)の情報、および(iii)当該IDに対応する「Place」(オブジェクトとしての「領域の一部」の名称または「領域内に存在している物体」の名称)の情報が含まれている。
また、図11に示す例では、フォーカス対象となっているID、当該IDに対応する「Room」、および当該IDに対応する「Place」が強調表示されている。図11に示す例では、この強調表示は、ID、当該IDに対応する「Room」、及び当該IDに対応する「Place」を矩形の枠103で枠囲みすることによって行われる。フォーカス対象となっているID等に対するユーザの指示の具体例については後述する。
(Device name選択画面)
図12は、UI生成部17が生成するUI画面100bの一例を示す図であり、図12は、図11に示したUI画面100a内の追加ボタン101aをユーザが押下した後に表示部30に表示されるUI画面を示している。
図12に示すように、UI画面100bは、「Device name」表示領域102bおよびスライドバー104を含んでいる。
「Device name」表示領域102bは、音声出力制御装置1aによって検出可能なスピーカの情報の一部または全体を表示するための領域である。スライドバー104は、スピーカの情報の内、未表示となっている部分を表示させるために、ユーザによって上下に移動可能に構成されている。
図12に示すように、UI画面100bには、音声出力制御装置1aによって検出可能なスピーカの情報として、「Device name」の情報が含まれている。また、図12に示す例では、フォーカス対象となっている「Device name」が、矩形の枠103で枠囲みすることによって強調表示されている。ユーザは、フォーカス対象となっている「Device name」を、「スピーカ・オブジェクト対応情報」として新たに登録するスピーカとして選択することができる。
情報更新部16は、ユーザが選択したスピーカを、新たに登録すべきスピーカとして特定する。
(スピーカ登録画面)
図13は、UI生成部17が生成するUI画面100cの一例を示す図であり、図13は、図12に示したUI画面100bにおいて、新たに登録するスピーカがユーザによって選択された後に表示部30に表示されるUI画面を示している。
図13に示すように、UI画面100cは、「Device name」表示領域106、スピーカID表示領域107、「Room」表示領域108、「Place」表示領域109、および追加ボタン101bを含んでいる。
「Device name」表示領域106は、図12に示したUI画面100bにおいてユーザによって選択されたスピーカの名称を表示するための領域である。
スピーカID表示領域107は、スピーカIDを表示するための領域である。スピーカID表示領域107には、「Room」および「Place」との対応付けが未だされていないIDを昇順に自動的に割り当てて表示させてもよく、ユーザが任意で選択したIDを表示させてもよい。
「Room」表示領域108は、「Room」の情報を表示するための領域である。「Room」表示領域108は、「Room」候補リスト表示領域108a、スライドバー108b、追加ボタン108c、およびリスト表示ボタン108dを含んでいる。
リスト表示ボタン108dは、「Room」候補リスト表示領域108aの表示/非表示を切り替えるために用いられるボタンである。「Room」候補リスト表示領域108aが非表示状態の場合は、リスト表示ボタン108dをユーザが押下することによって「Room」候補リスト表示領域108aを表示させることができる。逆もまた可能である。
「Room」候補リスト表示領域108aは、登録済みの「Room」候補リストの一部または全体を表示するための領域である。スライドバー108bは、「Room」候補リストの内、未表示となっている部分を表示させるために、ユーザによって上下に移動可能に構成されている。追加ボタン108cは、「Room」候補リストに、新たな「Room」候補情報を追加するために用いられるボタンである。「Room」候補リストの中からユーザが指定した「Room」が、「Room」表示領域108に表示される。
「Place」表示領域109には、「Place」の情報を表示するための領域である。「Place」表示領域109は、図示しないが、「Room」表示領域108と同様に、「Place」候補リスト表示領域、およびスライドバーを含むように構成することができる。リスト表示ボタン109dを押下することによって、「Place」候補リスト表示領域108aの表示/非表示状態を切り替えることができる。「Place」表示領域109には、「Place」候補リストの中からユーザが指定した「Place」が表示される。
追加ボタン101bが押下された場合、操作受付部15は、(i)スピーカのIDの情報、(ii)当該IDに対応する「Room」の情報、および(iii)当該IDに対応する「Place」の情報についてのユーザからの指定を受け付ける。そして、操作受付部15は、受け付けたユーザ指示を、情報更新部16に供給する。情報更新部16は、受け付けたユーザ指示に基づいて、スピーカID表示領域107に表示されているスピーカIDと、「Room」表示領域108に表示されている「Room」の情報と、「Place」表示領域109に表示されている「Place」の情報とを互いに関連付けたうえで、記憶部20に記憶されている「スピーカ・オブジェクト対応情報」に付け加える。
(「Room」候補リスト更新画面)
図14は、UI生成部17が生成するUI画面100dの一例を示す図であり、図14は、図13に示したUI画面100cにおいて、ユーザによって追加ボタン108cが押下された後に表示部30に表示されるUI画面を示している。基本的には、メタデータが指定する「Room」の名称は、「Room」候補リストに表示される名称と対応しているが、メタデータ送信側のバージョンアップ等によって、メタデータが指定する「Room」の名称が変更され、「Room」候補リストを更新する必要性が生じる場合がある。図13に示したUI画面100cでは、このような場合であっても、ユーザは追加ボタン108cを押下して、「Room」候補リストを更新することができる。
図14に示すように、UI画面100dは、図13に示したUI画面100cに、「Room」候補リスト追加画面110が重畳表示されている。
「Room」候補リスト追加画面110は、「Room」情報入力領域111、および追加ボタン101cを含んでいる。
「Room」情報入力領域111は、新規の「Room」候補の名称を入力するための領域である。「Room」情報入力領域111への「Room」候補の名称の入力は、キーボード等の入力装置(図示しない)を介して、ユーザが入力することができる。図14では、新規の「Room」候補の名称として、ユーザが「Kids Room」と入力した例を示している。
追加ボタン101cは、「Room」候補リストに、「Room」候補を追加するために用いられるボタンである。
追加ボタン101cが押下された場合、操作受付部15は、新規の「Room」候補の名称についてのユーザからの指定を受け付ける。そして、操作受付部15は、受け付けたユーザ指示を、情報更新部16に供給する。情報更新部16は、受け付けたユーザ指示に基づいて、「Room」候補リスト表示領域108aに表示されている「Room」候補リストに、新規「Room」候補として「Kids Room」を付け加える。
(スピーカ・オブジェクト対応情報更新画面(1))
図15は、UI生成部17が生成するUI画面100eの一例を示す図であり、図15は、図11に示したUI画面100aにおいて、フォーカス対象となっているID、当該IDに対応する「Room」、および当該IDに対応する「Place」がユーザによって選択された後に表示部30に表示されるUI画面を示している。
図15に示すように、UI画面100eは、図11に示したUI画面100aに、選択済みスピーカ情報表示画面120が重畳表示されている。
選択済みスピーカ情報表示画面120は、スピーカ・オブジェクト対応情報表示領域123、編集ボタン121および削除ボタン122を含んでいる。
スピーカ・オブジェクト対応情報表示領域123は、選択されたスピーカについてのスピーカ・オブジェクト対応情報を表示するための領域である。編集ボタン121は、スピーカ・オブジェクト対応情報表示領域123に表示されたスピーカ・オブジェクト対応情報を編集するために用いられるボタンである。削除ボタン122は、スピーカ・オブジェクト対応情報表示領域123に表示されたスピーカ・オブジェクト対応情報を、スピーカ・オブジェクト対応情報表示領域102aから削除するために用いられるボタンである。
編集ボタン121が押下された場合、操作受付部15は、ユーザからの編集の指定を受け付ける。そして、UI生成部17は、図17に示すUI画面を生成する。図17に示すUI画面の詳細については後述する。
削除ボタン122が押下された場合、操作受付部15は、ユーザからの削除の指定を受け付ける。そして、UI生成部17は、図16に示すUI画面を生成する。図16に示すUI画面の詳細については後述する。
(スピーカ・オブジェクト対応情報更新画面(2))
図16は、UI生成部17が生成するUI画面100fの一例を示す図であり、図16は、図15に示したUI画面100e内の削除ボタン122をユーザが押下した後に表示部30に表示されるUI画面を示している。
図16に示すように、UI画面100fは、図11に示したUI画面100aに、意思確認画面130が重畳表示されている。
意思確認画面130は、Yesボタン131およびNoボタン132を含んでいる。Yesボタン131は、図15のスピーカ・オブジェクト対応情報表示領域123に表示されたスピーカ・オブジェクト対応情報を削除する場合に用いられるボタンである。Noボタン132は、図15のスピーカ・オブジェクト対応情報表示領域123に表示されたスピーカ・オブジェクト対応情報を削除しない場合に用いられるボタンである。
Yesボタン131が押下された場合、操作受付部15は、ユーザからのYesの指定を受け付ける。そして、操作受付部15は、受け付けたユーザ指示を、情報更新部16に供給する。情報更新部16は、受け付けたユーザ指示に基づいて、図15のスピーカ・オブジェクト対応情報表示領域123に表示されたスピーカ・オブジェクト対応情報を、記憶部20に記憶されている「スピーカ・オブジェクト対応情報」から削除する。UI生成部17は、更新された「スピーカ・オブジェクト対応情報」に基づいて、スピーカ・オブジェクト対応情報表示領域123に、新たなスピーカ・オブジェクト対応情報を表示させる(図示しない)。
Noボタン132が押下された場合、操作受付部15は、ユーザからのNoの指定を受け付ける。この場合、図15のスピーカ・オブジェクト対応情報表示領域123に表示されたスピーカ・オブジェクト対応情報は記憶部20に記憶されている「スピーカ・オブジェクト対応情報」から削除されない。
スピーカ・オブジェクト対応情報からスピーカ情報が削除された場合、削除されたスピーカIDよりも後の番号のスピーカIDは、番号を繰り上げて表示するようにしてもよい(つまり、例えば、スピーカID「SP-03」の情報が削除された場合、スピーカID「SP-04」、「SP-05」および「SP-06」が、それぞれ、「SP-03」、「SP-04」および「SP-05」に繰り上がる。)。
(スピーカ・オブジェクト対応情報更新画面(3))
図17は、UI生成部17が生成するUI画面100gの一例を示す図であり、図17は、図15に示したUI画面100e内の編集ボタン121をユーザが押下した後に表示部30に表示されるUI画面を示している。
図17に示したUI画面100gは、図13に示したUI画面100c内の追加ボタン101bが変更ボタン105に置き換わったものである。
変更ボタン105が押下された場合、操作受付部15は、「Room」の情報および「Place」の情報についてのユーザからの新たな指定を受け付ける。そして、操作受付部15は、受け付けたユーザ指示を、情報更新部16に供給する。そして、記憶部20に記憶されている「スピーカ・オブジェクト対応情報」のうち、スピーカID「SP-07」に関連付けられた「Room」の情報および「Place」の情報を、それぞれ、「Room」表示領域108および「Place」表示領域109に表示されている情報に更新する。
なお、本実施形態では、スピーカIDに対応するオブジェクトの情報(「Room」の情報および「Place」の情報)を変更する例を示したが、その逆に、オブジェクトの情報に対応するスピーカIDを変更することも可能である。
〔実施形態3〕
本発明に係る音声出力制御装置は、画像表示装置に備えられていてもよい。図18は、本発明に係る音声出力制御装置とチューナとを備えたテレビ200の外観を示す図である。
他の実施形態において、本発明に係る音声出力制御装置は、テレビ200に外付けされた、テレビ200とは別体の装置であってもよい。
また、実施形態2に係る音声出力制御装置1aを備える場合は、テレビ200が、表示部30(図9)を兼ねていてもよく、テレビ200とは別に表示部30が設けられていてもよい。
画像表示装置は、テレビに限定されず、パソコン用のモニタ等であってもよい。
〔ソフトウェアによる実現例〕
音声出力制御装置1、1aの制御ブロック(特に音声データ取得部11、メタデータ取得部12、スピーカ決定部13、および出力スピーカ制御部14)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。
後者の場合、音声出力制御装置1、1aは、各機能を実現するソフトウェアであるプログラムの命令を実行するCPU、上記プログラムおよび各種データがコンピュータ(またはCPU)で読み取り可能に記録されたROM(Read Only Memory)または記憶装置(これらを「記録媒体」と称する)、上記プログラムを展開するRAM(Random Access Memory)などを備えている。そして、コンピュータ(またはCPU)が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
〔まとめ〕
本発明の態様1に係る音声出力制御装置(1、1a)は、音声を音声出力装置(スピーカ2a、2b、2c)に出力させる音声出力制御装置(1、1a)であって、音声データを取得する音声データ取得部(11)と、上記音声データとオブジェクトとの対応関係を示すメタデータを取得するメタデータ取得部(12)と、上記音声データの示す音声を出力させる音声出力装置(スピーカ2a、2b、2c)を、上記オブジェクトと音声出力装置(スピーカ2a、2b、2c)との対応付けを示す対応付け情報、および、上記メタデータを参照して決定する決定部(スピーカ決定部13)と、を備えている構成である。
上記の構成によれば、受聴者の再生環境に応じて好適な没入感を提供することができる。
本発明の態様2に係る音声出力制御装置(1、1a)は、上記の態様1において、上記メタデータは、上記オブジェクトとしての領域、領域の一部、および領域内に存在している物体の少なくとも何れかと、上記音声データとの対応関係を示すものである構成としてもよい。
上記の構成によれば、受聴者の再生環境に応じて好適な没入感を提供することができる。
本発明の態様3に係る音声出力制御装置(1a)は、上記の態様1または2において、上記対応付け情報を表示する表示部(30)と、上記オブジェクトと音声出力装置(スピーカ2a、2b、2c)との対応付けに関するユーザからの指示を受け付ける操作受付部(15)と、上記操作受付部(15)が受け付けたユーザ指示に基づいて上記対応付け情報を更新する対応付け情報更新部(情報更新部16)と、を更に備えている構成としてもよい。
上記の構成によれば、オブジェクトと音声出力装置との対応付けを示す対応付け情報を、ユーザ指示に基づいて更新することが可能となる。
本発明の態様4に係るメタデータは、音声出力制御装置(1、1a)によって参照されるメタデータであって、音声データとオブジェクトとの対応関係を含み、上記音声出力制御装置(1、1a)は、上記音声データの示す音声を出力させる音声出力装置(スピーカ2a、2b、2c)を、上記オブジェクトと音声出力装置(スピーカ2a、2b、2c)との対応付けを示す対応付け情報、および、上記メタデータを参照して決定する構成である。
上記の構成によれば、音声出力制御装置は、受聴者の再生環境に応じて好適な没入感を提供することができる。
本発明の態様5に係るユーザインタフェース画面生成装置(UI生成部17)は、音声を音声出力装置に出力させる音声出力制御装置(1、1a)によって参照される対応付け情報を入力するためのユーザインタフェース画面を生成するユーザインタフェース画面生成装置(UI生成部17)であって、上記ユーザインタフェース画面は、オブジェクトと音声出力装置(スピーカ2a、2b、2c)との対応付けに関するユーザからの指示を受け付けるよう構成されている構成である。
上記の構成によれば、オブジェクトと音声出力装置との対応付けを示す対応付け情報を、ユーザ指示に基づいて更新することが可能となる。
本発明の態様6に係るテレビジョン受像機(テレビ200)は、上記の態様1~3のいずれかに記載の音声出力制御装置(1、1a)を備えている構成としてもよい。
上記の構成によれば、テレビジョン受像機は、受聴者の再生環境に応じて好適な没入感を提供することができる。
本発明の態様7に係る音声出力制御方法は、音声を音声出力装置に出力させる音声出力制御方法であって、音声データを取得する音声データ取得工程(ステップS11)と、上記音声データとオブジェクトとの対応関係を示すメタデータを取得するメタデータ取得工程(ステップS12)と、上記音声データの示す音声を出力させる音声出力装置(スピーカ2a、2b、2c)を、上記オブジェクトと音声出力装置(スピーカ2a、2b、2c)との対応付けを示す対応付け情報、および、上記メタデータを参照して決定する決定工程(ステップS13)と、を包含している方法である。
上記の構成によれば、態様1と同様の効果を奏する。
本発明の各態様に係る音声出力制御装置(1、1a)は、コンピュータによって実現してもよく、この場合には、コンピュータを上記音声出力制御装置(1、1a)が備える各部(ソフトウェア要素)として動作させることにより上記音声出力制御装置(1、1a)をコンピュータにて実現させる音声出力制御装置の音声出力制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
1、1a 音声出力制御装置
2a、2b、2c スピーカ(音声出力装置)
10、10a 制御部
11 音声データ取得部
12 メタデータ取得部
13 スピーカ決定部(決定部)
15 操作受付部
16 情報更新部
17 UI生成部(ユーザインタフェース画面生成装置)
30 表示部
200 テレビ(画像表示装置)

Claims (8)

  1. 音声を音声出力装置に出力させる音声出力制御装置であって、
    音声データを取得する音声データ取得部と、
    上記音声データとオブジェクトとの対応関係を示すメタデータを取得するメタデータ取得部と、
    上記音声データの示す音声を出力させる音声出力装置を、上記オブジェクトと音声出力装置との対応付けを示す対応付け情報、および、上記メタデータを参照して決定する決定部と、
    を備え、
    上記オブジェクトは、上記音声の再生環境を機能的または物理的に区分した一領域である任意の領域、上記任意の領域の一部、および上記任意の領域内に存在している物体の少なくともいずれかであることを特徴とする音声出力制御装置。
  2. 上記メタデータは、上記オブジェクトとしての領域、領域の一部、および領域内に存在している物体の少なくとも何れかと、上記音声データとの対応関係を示すものである
    ことを特徴とする、請求項1に記載の音声出力制御装置。
  3. 上記対応付け情報を表示する表示部と、
    上記オブジェクトと音声出力装置との対応付けに関するユーザからの指示を受け付ける操作受付部と、
    上記操作受付部が受け付けたユーザ指示に基づいて上記対応付け情報を更新する対応付け情報更新部と、
    を更に備えていることを特徴とする請求項1または2に記載の音声出力制御装置。
  4. 音声を音声出力装置に出力させる音声出力制御装置によって参照される対応付け情報を入力するためのユーザインタフェース画面を生成するユーザインタフェース画面生成装置であって、
    上記ユーザインタフェース画面は、オブジェクトと音声出力装置との対応付けに関するユーザからの指示を受け付けるよう構成され、
    上記オブジェクトは、上記音声の再生環境を機能的または物理的に区分した一領域である任意の領域、上記任意の領域の一部、および上記任意の領域内に存在している物体の少なくともいずれかであることを特徴とするユーザインタフェース画面生成装置。
  5. 請求項1~3のいずれか1項に記載の音声出力制御装置を備えていることを特徴とする、テレビジョン受像機。
  6. 音声を音声出力装置に出力させる音声出力制御方法であって、
    音声データを取得する音声データ取得工程と、
    上記音声データとオブジェクトとの対応関係を示すメタデータを取得するメタデータ取得工程と、
    上記音声データの示す音声を出力させる音声出力装置を、上記オブジェクトと音声出力装置との対応付けを示す対応付け情報、および、上記メタデータを参照して決定する決定工程と、
    を包含し、
    上記オブジェクトは、上記音声の再生環境を機能的または物理的に区分した一領域である任意の領域、上記任意の領域の一部、および上記任意の領域内に存在している物体の少なくともいずれかであることを特徴とする音声出力制御方法。
  7. 請求項1に記載の音声出力制御装置としてコンピュータを機能させるための音声出力制御プログラムであって、上記音声データ取得部、上記メタデータ取得部、および上記決定部としてコンピュータを機能させるための音声出力制御プログラム。
  8. 請求項に記載の音声出力制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2016237679A 2016-12-07 2016-12-07 音声出力制御装置 Active JP6993774B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016237679A JP6993774B2 (ja) 2016-12-07 2016-12-07 音声出力制御装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016237679A JP6993774B2 (ja) 2016-12-07 2016-12-07 音声出力制御装置

Publications (2)

Publication Number Publication Date
JP2018093447A JP2018093447A (ja) 2018-06-14
JP6993774B2 true JP6993774B2 (ja) 2022-01-14

Family

ID=62564732

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016237679A Active JP6993774B2 (ja) 2016-12-07 2016-12-07 音声出力制御装置

Country Status (1)

Country Link
JP (1) JP6993774B2 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010041579A (ja) 2008-08-07 2010-02-18 Sharp Corp コンテンツ再生装置、コンテンツ再生方法、プログラムおよび記録媒体
JP2016165117A (ja) 2011-07-01 2016-09-08 ドルビー ラボラトリーズ ライセンシング コーポレイション オーディオ信号処理システム及び方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010041579A (ja) 2008-08-07 2010-02-18 Sharp Corp コンテンツ再生装置、コンテンツ再生方法、プログラムおよび記録媒体
JP2016165117A (ja) 2011-07-01 2016-09-08 ドルビー ラボラトリーズ ライセンシング コーポレイション オーディオ信号処理システム及び方法

Also Published As

Publication number Publication date
JP2018093447A (ja) 2018-06-14

Similar Documents

Publication Publication Date Title
US11635935B2 (en) Adjusting volume levels
JP6668661B2 (ja) パラメータ制御装置およびパラメータ制御プログラム
US10582322B2 (en) Audio playback settings for voice interaction
KR102411287B1 (ko) 미디어 출력 제어 장치 및 방법
JP6680863B2 (ja) 較正状態変数
JP6215444B2 (ja) 複数のグラフィックインタフェースを有するメディア再生システムコントローラ
CN1976431B (zh) 控制设备及其与媒体源和娱乐系统交互的方法
CN106134214A (zh) 过滤准则的动态显示
CN106062695A (zh) 回放区域表示
JP4789848B2 (ja) 車載オーディオビジュアル装置
CN105556896A (zh) 智能放大器激活
JP2016523017A (ja) メディア再生システムの再生待ち列の転送
JP2005286903A (ja) 音響再生装置、音響再生システム、音響再生方法及び制御プログラム並びにこのプログラムを記録した情報記録媒体
JP2001359200A (ja) 無線オーディオ機器
US11758326B2 (en) Wearable audio device within a distributed audio playback system
US20220240039A1 (en) Manipulation of Playback Device Response Using Signal Processing
US20200183640A1 (en) Selection of Playback Devices
JP2005341618A (ja) 無線オーディオ機器
KR20080051460A (ko) 오디오 사용자 인터페이스 처리 방법 및 장치 및 그를적용한 오디오 기기
CN102314932A (zh) 便携式电子装置
KR20150093971A (ko) 코드를 기반으로 곡을 연주하는 방법 및 이를 구현하는 전자장치
JP6993774B2 (ja) 音声出力制御装置
US20040184617A1 (en) Information apparatus, system for controlling acoustic equipment and method of controlling acoustic equipment
US20200183545A1 (en) Selection of Playback Devices
JP6597248B2 (ja) システムおよび制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190920

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200608

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201110

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210615

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210708

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211210

R150 Certificate of patent or registration of utility model

Ref document number: 6993774

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150