JP5401614B1 - 音声入力装置および表示装置 - Google Patents

Abstract

入射する音波を導波する導波部（２００）と、導波部（２００）で導波された音波を電気の音信号に変換するマイク部（２０３）と、マイク部（２０３）で取得された音信号を、導波部（２００）が前記音信号に与える音響特性を利用して処理する信号処理部（２１０）と、を備え、導波部（２００）は、導波部（２００）の内側側面で反射することなくマイク部（２０３）に直接到達する直接音と、前記内側側面で反射してマイク部（２０３）に到達する間接音とが、異なる音響特性を有するように構成され、信号処理部（２１０）は、直接音と間接音との音響特性の違いに基づいて、直接音が入力されたか否かを検出する直接音検出処理を行う。

Description

本開示は、入力した音声に応じて所定の制御を行う音声入力装置、および、入力した音声に応じて表示状態を切り替える表示装置に関する。

特許文献１は、音声による制御を行う装置を開示する。この装置は、楽譜を表示する表示部と、装置内に内蔵されたマイクロホン（以降、マイクとする）とを備えている。当該装置は、マイクに入力された音声や楽器の発する音等の音程を識別して、表示部に表示された譜面上の演奏箇所を判定し、自動的に譜めくりを行うものである。当該装置を用いることにより、演奏者は、譜めくりを行うために楽器から手を離す必要がなくなる。

しかし、当該装置の場合、通常の演奏時には、演奏者が手で譜めくりを行う必要がなくなるが、練習時においては、更新スイッチにより手動で操作する必要がある。

これに対し、例えば、演奏者の発した音声により譜めくりを行うことが考えられる。この場合には、演奏者の任意のタイミングで譜めくりを行うことができる。

特開平１１−１５３９９１号公報

しかしながら、前述した従来の装置では、例えば、該装置をピアノの譜面台において、ピアノを弾きながら音声で譜めくりを行う場合、マイクには、ピアノ音が入力されている状態で、さらに音声がピアノ音に重畳して入力されることになる。前述した従来の装置では、音声とピアノ音とを判別することは非常に困難であるため、譜めくりの精度が十分ではないという問題がある。

本開示は、精度良く音声（直接音）の入力を検出可能な音声入力装置を提供することを目的とする。また、精度良く音声（直接音）の入力を検出し、精度良く譜めくりを行うことができる表示装置を提供することを目的とする。

本開示における音声入力装置は、入射する音波を導波する導波部と、前記導波部の内部を通過した音波を電気の音信号に変換するマイク部と、前記マイク部で変換された音信号を、前記導波部が前記音波に与える音響特性を利用して処理する信号処理部と、を備え、前記導波部は、前記導波部の内部を通過して前記マイク部に入る音波の内、前記導波部の内側側面で反射することなく前記マイク部に到達する直接音と、前記内側側面で反射して前記マイク部に到達する間接音とで、異なる前記音響特性を与える構造を有し、前記信号処理部は、前記直接音と前記間接音との前記音響特性の違いを利用して、前記直接音が入力されたか否かを検出する直接音検出処理を行う。

なお、本開示における装置は、装置として実現できるだけでなく、その装置を構成する処理手段をステップとする方法として実現したり、それらステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体として実現したり、そのプログラムを示す情報、データ又は信号として実現したりすることもできる。そして、それらプログラム、情報、データ及び信号は、インターネット等の通信ネットワークを介して配信してもよい。

本開示における音声入力装置は、精度良く音声（直接音）の入力を検出するのに有効である。

図１は、実施の形態１における音声入力装置を備えた楽譜表示装置の外観を示す外観図である。 図２は、図１に示す楽譜表示装置のＡ−Ａ’部分の断面を示す断面図である。 図３は、実施の形態１における信号処理部および表示制御部の構成を示すブロック図である。 図４Ａは、実施の形態１における音声入力装置の導波部の構成例を示す斜視図である。 図４Ｂは、音声入力装置の導波部の変形例を示す斜視図である。 図４Ｃは、音声入力装置の導波部の変形例を示す斜視図である。 図５Ａは、音声入力装置に入射する音信号のうち、間接音の例を示す図である。 図５Ｂは、音声入力装置に入射する音信号のうち、直接音の例を示す図である。 図６Ａは、実施の形態１の導波部に間接音が入力される場合における等価な音響特性回路を示す回路図である。 図６Ｂは、実施の形態１の導波部に直接音が入力される場合における等価な音響特性回路を示す回路図である。 図７は、図６Ａおよび図６Ｂに示した音響等価回路それぞれの伝達特性を示すグラフである。 図８は、本実施の形態１で例示する物理量の例を示した図である。 図９は、本実施の形態１の表示制御部の動作の一例を示すフローチャートである。 図１０Ａは、実施の形態１における楽譜表示装置の表示部における表示状態の一例を示す図である。 図１０Ｂは、実施の形態１における楽譜表示装置の表示部における表示状態の一例を示す図である。 図１０Ｃは、実施の形態１における楽譜表示装置の表示部における表示状態の一例を示す図である。 図１１Ａは、楽譜表示装置の表示部における表示状態の変形例を示す図である。 図１１Ｂは、楽譜表示装置の表示部における表示状態の変形例を示す図である。 図１１Ｃは、楽譜表示装置の表示部における表示状態の変形例を示す図である。 図１２は、音声入力装置の表示部における表示状態の一例を示す図である。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態１）
以下、図１〜図１０Ｃを用いて、実施の形態１の音声入力装置を備えた表示装置について説明する。

［１．装置構成］
先ず、表示装置の構成について、図１〜図３を基に説明する。

本実施の形態では、表示装置の一例として、楽譜を表示する楽譜表示装置である場合を例に説明する。図１は、本実施の形態における音声入力装置を組み込んだ楽譜表示装置１００の表示パネル１０１が設けられた面の外観図である。図２は、図１に示す楽譜表示装置１００のＡＡ’部分の断面図である。また、図３は、図１に示す楽譜表示装置１００の各処理部の構成を示すブロック図である。

楽譜表示装置１００は、演奏者の音声を検出したときに、表示されている楽譜のページを、次のページに切り替える「譜めくり」処理を行う装置である。さらに、本実施の形態では、楽譜表示装置１００は、ピアノの楽譜を表示する場合を例に説明する。楽譜表示装置は、本実施の形態では、ピアノの譜面台に置いて使用される。ここでは、長手方向（図１のＸ方向）が譜面台の横方向となるように、楽譜表示装置１００を譜面台に置く場合を例に説明する。

楽譜表示装置１００は、本実施の形態では、入力インターフェイスとしてタッチパネルを搭載したタブレット端末であり、図１〜図３に示すように、表示パネル１０１と、音声入力装置１０２と、表示制御部１０３と、楽譜ＤＢ１０４（記憶部）とを備えている。説明をわかりやすくするために、以下の記載では、図１の表示パネル１０１の長手方向をＸ軸、短手方向をＹ軸、表示パネル１０１の表示方向をＺ軸として説明する。

楽譜表示装置１００は、本実施の形態では、板状の装置である。楽譜表示装置１００の表面には、図１に示すように、表示パネル１０１と音が入力される開口部とが配置されている。楽譜表示装置１００の開口部は、本実施の形態では、後述する音声入力装置１０２の導波部２００の開口部と一体に形成されている。

表示パネル１０１は、演奏される楽曲の楽譜が表示される。表示パネル１０１は、一般的なパネルを用いて実現することが可能である。本実施の形態では、表示パネル１０１は、タブレット端末の表示パネルである。なお、楽譜表示装置１００が、スマートフォン等の他の機器の場合は、表示パネル１０１は、当該機器に備えられた表示パネルであることが好ましい。

音声入力装置１０２は、本実施の形態では、楽曲を演奏している演奏者の音声（直接音）と、演奏者の音声以外の音、例えば、楽器の音等の（間接音）とを受け付け可能であり、直接音が入力されたことを検出する装置である。音声入力装置１０２は、本実施の形態では、後述するように、演奏者が演奏する楽器等の音を含む音声以外の音である間接音と、演奏者が楽譜表示装置１００に対し「譜めくり」を指示する直接音とを識別する。

音声入力装置１０２は、図２および図３に示すように、導波部２００と、マイク部２０３と、信号処理部２１０とを有する。

導波部２００は、音が入力される開口部を有する中空の部材であり、中空部分に音を通過（導波）させる。図４Ａは、本実施の形態の導波部２００の形状（中空部分の形状）を示す斜視図である。導波部２００は、図４Ａに示すように、導波部上部２０１と、導波部下部２０２とを有する。なお、本実施の形態では、説明を簡単にするため、導波部上部２０１および導波部下部２０２は、中空部分の形状が、円柱状である場合を例に説明する。

導波部上部２０１は、図４Ａに示すように、導波部２００のうちの音の入力側に位置する部分である。導波部上部２０１は、上面が、音が入力される開口部となっており、底面が、後述する導波部下部２０２の上面に接している。導波部上部２０１は、中空部分の底面の直径（図４ＡのＸＹ平面と平行な面における中空部分の直径）が、数ｍｍ〜数ｃｍに設定されている。また、導波部上部２０１は、中空部分の高さ（円柱の高さ）が、数ｍｍ〜数ｃｍである。なお、導波部上部２０１の中空部分を含む形状は、導波部下部２０２の大きさや形状や、楽譜表示装置１００の大きさや形状等を考慮して設定する。

導波部下部２０２は、図４Ａに示すように、導波部２００のうちの音の出力側（マイク部２０３側）に位置する部分である。導波部下部２０２は、上面が、導波部上部２０１の底面に接し、底面にマイクが設置されている。導波部上部２０１と導波部下部２０２とで１つの空間が形成される。導波部下部２０２は、中空部分の底面の直径（図４ＡのＸＹ平面と平行な面における中空部分の直径）が、導波部上部２０１より大きく、数ｃｍに設定されている。また、導波部下部２０２は、中空部分の高さ（円柱の高さ）が、数ｍｍ〜数ｃｍである。

導波部２００の形状の特徴点は、導波部上部２０１の開口部の大きさ（開口面積）に対して、導波部下部２０２の開口部の大きさ（開口面積）の方が大きいものとする。これは、後述するように導波部２００で、ヘルツホルム共鳴を起こさせるためである。なお、導波部は、プラスチックや、金属、木材等その形成材料はいずれでもよい。

マイク部２０３は、導波部２００の底部（導波部２００のＺ軸方向の下端部）に配置されている。マイク部２０３は、導波部２００から入力される人の発声による音声（直接音）や、ピアノ等の楽器の音（間接音）等を含む音波（音信号）を電気信号に変換する。電気信号に変換された音信号は、信号処理部２１０に出力される。

信号処理部２１０は、信号処理部２１０から出力された電気信号を電気的に処理することにより、直接音の入力を検出する直接音検出処理を行い、検出結果を表示制御部１０３に出力する。具体的な処理内容等については、後述する。

表示制御部１０３は、信号処理部２１０からの出力に基づいて、表示パネル１０１に表示する楽譜の表示ページを更新する。

楽譜ＤＢ１０４は、表示パネルに表示する楽譜を記憶したＤＢであり、本実施の形態では、例えば、不揮発性メモリで構成される。

［２．直接音および間接音に対する導波部２００の特性］
次に、楽譜表示装置１００の信号処理部２１０で実行される直接音検出処理について、図５Ａ〜図８を基に説明する。

図５Ａは、導波部２００のＸＺ平面における断面と、間接音がマイク部２０３に到達するまでの経路の例とを示す図である。図５Ｂは、導波部２００のＸＺ平面における断面と、直接音がマイク部２０３に到達するまでの経路の例とを示す図である。なお、図５Ａおよび図５Ｂでは、説明のため、実際の導波部２００とは、直径および高さの寸法比が異なっている。図５Ａに示すように、導波部２００に入射した間接音は、導波部２００の側壁で反射してマイク部２０３に到達する。これに対し、図５Ｂに示すように、導波部２００に入射した直接音は、導波部２００の側面に反射することなくマイク部２０３まで直接到達している。なお、図５Ｂは、直接音１、２、３を示しているが、これらは、同時に生じることを示すものではなく、考えられる経路のパターンの種類を示している。

ここで、本実施の形態では、上述したように、楽譜表示装置１００をピアノの譜面台に置くため、演奏者が発生する音声は、直接音としてマイク部２０３に到達する。一方、ピアノ音は、間接音としてマイク部２０３に到達する。なお、ピアノ音は、部屋の壁に反射して到来する場合もあるが、ユーザが遮蔽物となるため、直接音としてマイク部２０３に到達しない、あるいは、直接音検出処理に影響しない程度に十分に減衰し状態でマイク部２０３に到達すると考えられる。

ここで、本出願の発明者は、導波部２００を通過した間接音の音圧Ｖ１とマイク部２０３の音圧Ｖｍｉｃとの間の関係と、導波部２００を通過した直接音の音圧Ｖ１とマイク部２０３の音圧Ｖｍｉｃとの間の関係は、異なることを見いだした。図６Ａは、間接音（ピアノ音の音圧Ｖ１）に対応する音響等価回路である。図６Ｂは、直接音（演奏者が発した音声の音圧Ｖ２）に対応する音響等価回路である。本出願の発明者は、導波部２００により、間接音に対しては図６Ａに示す音響等価回路が適切な表現であり、直接音に対しては図６Ｂに示す音響等価回路が適切な表現であることを見いだした。

より詳細には、間接音（ピアノ音）に対しては、導波部２００は、いわゆるヘルムホルツ共鳴のような作用をすることとなる。すなわち、導波部２００の導波部上部２０１は、音響イナータンスＬ（４０１）、および音響抵抗Ｒ（４００）を直列接続した電気回路として表現できる。一方の導波部下部２０２は、音響コンプライアンスＣ（４０２）を並列接続した電気回路として表現できる。その結果、導波部２００全体としては、間接音に対しては、図６Ａに示すように、一端が端子ａ１に他端が音響イナータンスＬの一端に接続された音響抵抗Ｒと、他端が端子ｂ１に接続された音響イナータンスＬと、一端が端子ｂ１に他端が端子ａ０および端子ｂ０に接続された音響コンプライアンスＣとを備える電気回路として表現できる。端子ａ０を基準としたときの端子ａ１の電圧Ｖ１が、ピアノ音の音圧として表される。端子ｂ０を基準としたときの端子ｂ１の電圧Ｖｍｉｃが、マイク部２０３で検出される電圧となる。この構成は、いわゆる共振回路と言われる回路構成である。

一方、直接音（演奏者の音声）に対しては、導波部２００は、間接音のようにヘルムホルツ共鳴のような作用をするが、所定数のパラメータを設定することで、直接音に対しては、図６Ｂに示す電気回路として表現できる。図６Ｂに示す音響等価回路は、図６Ａに示す音響等価回路の各構成に加え、音響抵抗Ｒおよび音響イナータンスＬを直列接続した回路と並行に、可変抵抗Ｒｘ（４０３）が接続された構成（端子ａ１と端子ｂ１との間にＲｘが接続された構成）となっている。この場合、可変抵抗Ｒｘは、低い周波数に対しては、略無限大の値を有し、高い周波数になればなるほど、値０に近づく可変抵抗として作用する。

図６Ｂに示す音響等価回路の特性から、導波部２００では、入力される直接音（演奏者の音声等）の波長が短い（周波数が高い）ほど、よりマイク部２０３に到来しやすいことが分かる。

図７は、図６Ａに示す間接音に対応する音響等価回路の伝達特性、および図６Ｂに示す直接音に対応する音響等価回路の伝達特性を示したグラフである。縦軸は、マイク部２０３が集音する音信号の音圧Ｖｍｉｃ（電気信号の電圧）であり、横軸は集音する電気音信号の周波数である。図７において、破線で示すグラフは、図６Ａに示す音響等価回路の振幅周波数特性を示している。また、図７において、実線で示すグラフは、図６Ｂに示す音響等価回路の振幅周波数特性を示している。

図６Ｂに示す音響等価回路は、入力される直接音のうち、低い周波数帯域では、可変抵抗Ｒｘが無限大に近づくので図６Ａに示す音響等価回路に近い特性を有する。一方、図６Ｂに示す音響等価回路は、高い周波数帯域においては、可変抵抗Ｒｘが０に近づくので、音響抵抗Ｒおよび音響イナータンスＬの直列回路よりも、可変抵抗Ｒｘ側に流れる体積流速度（電流相当）が大きくなる。そのため、直接音の高い周波数帯域では、間接音の場合と比較して、１オクターブ毎の減衰が小さくなる。図７に示すグラフの例では、実線で示す図６Ｂに示す直接音は、破線で示す図６Ａに示す間接音と比較して、高い周波数帯域で減衰が小さくなっているのがわかる。

図８は、上記に説明した導波部２００の特性を決定する具体的な数値例を示した図である。以下の説明では、図８に示すように、導波部上部２０１の半径ｒ＝０．５ｃｍ、開口面積Ｓ＝０．７９ｃｍ^２、高さｌ＝０．５ｃｍ、空気密度ρ＝０．００１１４ｇ・ｃｍ^３、音速ｃ＝３５０００ｃｍ／ｓ、導波部下部２０２の体積Ｖ＝２５．１３ｃｍ^３として説明する。

上述した等価回路のＬ、Ｒ、Ｃは、以下に示す式（１）〜（３）によって与えられることが知られている。

式（１）〜式（３）に、図８に示す数値を当てはめると、図８に示すように、音響イナータンスＬ＝７．２ｘ１０^−４ｇ・ｃｍ^４、音響抵抗Ｒ＝０．８ｃｍ^−１、音響コンプライアンスＣ＝１．８ｘ１０^−５ｓ^２・ｃｍ^４／ｇが算出される。

この場合、図７で示される特性における共振周波数ｆｑは、式（４）によって与えられる。

図８に示す具体的な値等を用いると、共振周波数ｆｑは、約１．４ｋＨｚとなる。そして、この共振周波数ｆｑより高域側において、図６Ａに示す間接音の等価回路（破線）は、１オクターブ毎に１２ｄＢの割合で、マイク部２０３で検出される音圧が減衰する。また、共振周波数ｆｑより高域側において、図６Ｂに示す直接音の等価回路（実線）は、１オクターブ毎に６ｄＢの割合で音圧が減衰する。本実施の発明では、この特性を利用して、直接音の入力を検出する。

図７において、この２つの音響等価回路の出力の減衰差が大きくなる領域、例えば周波数１２ｋＨｚ以上の帯域を判定周波数帯域（図７では、判別帯域と表記）として設定する。この場合、共振周波数ｆｑから判定周波数帯域の下限値ｆｍｉｎまでのオクターブ数Ｎｏｃｔは、以下の式５で表される。

図７および図８に示す例では、判定周波数帯域の下限値ｆｍｉｎを１２ｋＨｚとすると、式（５）から、Ｎｏｃｔ＝ＬＯＧ_２（１２／１．４）は、約３となり、共振周波数ｆｑに対して、約３オクターブ分、上の周波数となることが分かる。

また、共振周波数ｆｑ以上の周波数帯域における直接音（音声、図７の実線）の音圧Ｖ２は、減衰率Ａ２（絶対値）、初期値をＶ_２０（図７では、０ｄＢ）とすると、以下の式６で表される。

図７および図８に示す例では、判定周波数帯域の下限値である１２ｋＨｚにおける音声の音圧Ｖ２、すなわち図７の実線の音圧Ｖ２は、式（６）により、０ｄＢ−６ｄＢ×３＝−１８ｄＢとなる。

また、共振周波数ｆｑ以上の周波数帯域における間接音（ピアノ音、図７の破線）の音圧Ｖ１は、減衰率Ａ１（絶対値）、初期値をＶ_１０（図７では、０ｄＢ）とすると、以下の式７で表される。

図７および図８に示す例では、判定周波数帯域の下限値である１２ｋＨｚにおけるピアノ音の音圧Ｖ１、すなわち図７の破線の音圧Ｖ１は、式（７）により、０ｄＢ−１２ｄＢ×３＝−３６ｄＢとなる。

但し、発声すべき音声としては、ピアノ音が含んでいる１２ｋＨｚ以上の成分と略等しいレベルを含む音声である必要がある。そのためには、例えば立ち上がりが急峻な過渡的な音声であるか、高域成分を多量に含む子音であることが好ましい。

以上より、図７および図８に示す条件では、１２ｋＨｚにおける直接音の音圧Ｖ２が−１８ｄＢ、間接音の音圧Ｖ１が−３６ｄＢとなることから、この間で閾値を設定する。マイク部２０３に入力された音圧Ｖｍｉｃが閾値以上であれば、直接音が入力されたと判定できる。なお、図７および図８では、マイク部２０３に入力される直接音と間接音とが、低い周波数帯域で同じ音圧である場合（Ｖ_１０＝Ｖ_２０＝０ｄＢである場合）を例示しているが、ピアノ音（間接音）の音圧が高い場合（初期値が０ｄＢより大きい場合）には、破線のグラフが上側にずれたグラフとなる。この場合でも、直接音の音圧Ｖ２と間接音の音圧Ｖ１との差が十分にある周波数帯域に、判定周波数帯域を設定することで、直接音の入力を検出することが可能になる。

［３．直接音検出処理］
次に、信号処理部２１０における直接音検出処理の詳細について説明する。

信号処理部２１０は、図７で示されたような直接音と間接音との音響特性の違いを利用して、直接音の入力を検出する直接音検出処理を行う。信号処理部２１０は、直接音検出処理で直接音が検出されると、後段の表示制御部１０３に対して、制御信号、本実施の形態では、表示切り替えフラグＦｓｄを出力する。

信号処理部２１０は、図３に示すように、低域遮断フィルタ（ＨＰＦ）２１１と、レベル検出器２１２と、比較器２１３と、を有する。

ＨＰＦ２１１は、特定の領域、すなわち、判定周波数帯域以外の帯域の信号を除去または抑制する。ＨＰＦ２１１は、導波部２００の形状等から導き出される共振周波数ｆｑに応じて、除去または抑制する周波数を設定する。ＨＰＦ２１１は、例えば、図７および図８に示す例では、１２ｋＨｚ以上の領域が判定周波数帯域であるため、１２ｋＨｚ以下の信号を急峻にカットする高次の低域遮断フィルタであることが好ましい。

レベル検出器２１２は、ＨＰＦ２１１が出力した音信号を、レベル検出する。

比較器２１３は、レベル検出器２１２により検出されたレベル値と、予め設定した閾値とを比較する。比較の結果、レベル検出器２１２で検出されたレベル値の方が大きい場合、後段の表示制御部へ、表示内容の切り替えを指示する制御信号（表示切り替えフラグＦｓｄ）を出力する。所定の閾値としては、図７および図８に示す例では、１２ｋＨｚの周波数において、音声の音圧は−１８ｄＢとなり、ピアノ音の音圧は−３６ｄＢとなることから、例えば、−２５ｄＢを選択する。このように閾値を設定すれば、ピアノ音のみ入力される場合、レベル検出器２１２で検出されるレベル値−３６ｄｂは、閾値―２５ｄｂより小さいため、制御信号は出力されない。これに対し、直接音が入力された場合、レベル検出器２１２で検出されるレベル値−１８ｄｂは、閾値―２５ｄｂより大きいため、制御信号が出力される。従って、閾値を、上述した式（６）と式（７）との間の値に設定すれば、音声だけに応答して表示切り替えフラグを出力することが可能となる。

以上のことから、導波部２００と、導波部２００を通過した音を集音するマイク部２０３と、マイク部２０３からの信号を処理する信号処理部２１０とにより、直接音と間接音とが混在あるいは一方のみあるいは両方が入力される環境においても、直接音が入力されたことを精度良く検出することが可能となる。

より具体的には、導波部２００を通過し、マイク部２０３により集音される音が、直接音と間接音とで、その音響特性が異なるような導波部２００を用いることで、直接音と間接音との識別がより簡単になり、直接音のみを抽出することが可能となる。信号処理部は、この異なる音響特性を用いて、抽出する信号のみを選択することができる。なお、導波部２００は、音の入射側（導波部上部２０１）の断面積を、音の集音側（導波部下部２０２）の断面積よりも小さい形状とすれば、ヘルツホルム共鳴の原理による直接音と間接音との音響特性の違いが大きくなり、より直接音を検出し易くなる。ここで、断面積は、マイク部２０３に垂直に入射する音声の進路に垂直な平面における断面積である。断面積は、例えば、図４Ａの場合、Ｚ軸に垂直な平面における断面積である。

なお、本実施の形態では、音響特性とは、共振周波数より高い周波数帯域における減衰量である。直接音と間接音とでは、共振周波数より高い周波数帯域では、１オクターブ毎の減衰量が異なる。そのため、共振周波数より高い周波数帯域では、直接音の信号レベルの減衰量は、間接音の信号レベルの減衰量よりも少ないため、直接音の信号レベルが間接音の信号レベルよりも大きくなる。これにより、信号処理部２１０は、この共振周波数より高い周波数帯域における信号レベルで直接音と間接音とを区別することが可能になる。

［４．楽譜の表示切り替え］
次に、表示制御部１０３における表示切り替え処理の詳細について、図９〜図１０Ｃを基に説明する。図９は、表示切り替え処理の処理手順を示すフローチャートである。図１０Ａ〜図１０Ｃは、図９の各ステップにおける表示パネル１０１の表示状態を示す図である。

表示制御部１０３は、楽譜を表示するためのアプリケーションプログラムが起動され、表示する楽譜およびページが指定されると、楽譜ＤＢ１０４から当該楽譜の指定されたページの表示データを取得する（ステップＳ１１）。なお、楽譜全てのデータをＲＡＭ（Ｒａｎｄａｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成されるキャッシュメモリに読み出して、当該キャッシュメモリから、該当するページのみを取得するように構成しても良い。

表示制御部１０３は、取得した表示データを用いて、表示パネル１０１に楽譜を表示させる（ステップＳ１２）。なお、図１０Ａに示す例では、表示パネル１０１に、２ページ分の楽譜を表示する場合を例示しており、ページ１およびページ２が表示されている。

表示制御部１０３は、図１０Ａに示すように、信号処理部２１０から表示切り替えフラグＦｓｄが出力されると（ステップＳ１３でＹｅｓ）、現在表示されている楽譜のページが最終ページを含まない場合は（ステップＳ１４でＮｏ）、楽譜ＤＢから、現在表示されている楽譜のページの次のページを取得する（ステップＳ１５）。

表示制御部１０３は、取得した楽譜のページを表示パネル１０１に表示させる（ステップＳ１６）。ここで、本実施の形態では、表示制御部１０３は、楽譜のページをスクロール表示させる。図１０Ｂは、楽譜のページ切り替え中における表示パネル１０１の表示状態を示している。図１０Ｃは、楽譜のページ切り替え後の表示パネル１０１の表示状態を示している。なお、図１０Ｂおよび図１０Ｃでは、横方向にスクロールさせる場合を例に説明したが、これに限るものではない。表示制御部１０３は、縦方向にスクロールさせるように表示を切り替えてもよいし、スクロールではなく、瞬時に切り替えるように表示を切り替えてもよいし、他の方法で表示を切り替えても構わない。

表示制御部１０３は、ステップＳ１４において、現在表示されている楽譜のページが最終ページを含む場合は、ステップＳ１５およびステップＳ１６を実行せず、ステップＳ１３に移行する。

なお、図９では図示しないが、表示制御部１０３は、任意のタイミングで、表示終了信号が入力された場合は、表示パネル１０１における楽譜の表示を終了させる。また、本実施の形態では、一方向のみに表示を切り替える場合を例に説明したが、例えば、一定時間内に直接音が検出された回数に応じて、楽譜のページの切り替え方向を変更する等しても構わない。

［５．効果等］
以上のように、本実施の形態において、音声入力装置の信号処理部は、導波部の内側側面で反射することなく直接的にマイク部に到達する直接音と、導波部の内側側面（内壁）で反射して間接的にマイク部に到達する間接音との音響特性の違いを利用して信号処理する。ここで、直接音と間接音との音響特性の違いとは、上述したように、所定周波数以上の周波数帯域、例えば、共振周波数以上の周波数帯域では、直接音の音圧の減衰量よりも間接音の音圧の減衰量が大きくなることを示している。これにより、共振周波数以上の周波数帯域に設定された判定周波数帯域では、直接音の音圧と間接音の音圧との差が大きくなる。

本実施の形態の信号処理部は、上述したように、共振周波数より高い範囲の周波数帯域に設定された判定周波帯域において、直接音の減衰量の違いによる音圧と間接音の減衰量に違いによる音圧との差を利用するので、直接音の入力を精度良く検出することが可能になる。

より具体的には、例えば、直接音の音圧の下限値と間接音の音圧の上限値との間に閾値を設定し、マイク部で検出された音の音圧が閾値以上であるか否かを判定すれば、直接音の入力を精度良く検出できる。

本実施の形態の導波部は、直接音と間接音とで、音響特性の違いをより顕著に出すために、導波部を入り口部分と出口部分との２つに分けている。そして、導波部の入り口部分である導波部上部の断面積は、導波部の出口部分である導波部下部の断面積よりも小さくなっている。導波部がこのような形状を有することにより、ヘルツホルム共鳴の原理により、直接音と間接音とで音響特性の違いが大きくなる。

本実施の形態の表示装置は、上述した音声入力装置を用いて直接音の入力を検出することにより、利用者の発した音声を精度良く検出することが可能になる。これにより、利用者の音声に応じて、精度良く表示を切り替えることが可能になる。利用者が音声を発していないときに表示を切替える等の誤った動作を防止でき、消費電力を低減可能になる。

（実施の形態の変形例等）
（１）上記実施の形態では、楽譜表示装置１００は、装置内のメモリに楽譜ＤＢが構築されている場合を例に説明したが、これに限られるものではない。楽譜表示装置１００は、例えば、ネットワークを介して、ポケットサーバ等の他の装置から、楽譜を取得するように構成しても良い。

また、上記実施の形態では、楽譜表示装置１００が、ピアノの楽譜を表示する装置である場合を例に説明したが、これに限るものではない。楽譜表示装置１００は、オルガン等、楽器の音が間接音として入力され、演奏者の発する音声が直接音として入力される楽器の楽譜を表示する表示装置として有用である。さらに、楽譜表示装置１００は、複数種類の楽器の楽譜を表示するように構成しても構わない。

（２）上記実施の形態では、楽譜表示装置１００は、タブレット端末である場合を例に説明したが、これに限られるものではない。楽譜表示装置１００は、スマートフォン等を用いて実現しても良いし、専用の装置で実現しても良い。

また、楽譜表示装置１００は、表示パネル１０１と音声入力装置１０２とを、必ずしも同一の機器で実現する必要はない。例えば、タブレット端末やスマートフォン等を音声入力装置１０２として用い、他の機器の表示パネル、あるいは、専用の表示パネルを表示パネル１０１として構成してもよい。

（３）上記実施の形態では、表示パネル１０１を、長手方向（図１のＸ方向）が譜面台の横方向となるように設置し、２ページ分の楽譜を表示する場合について例示したが、これに限るものではない。短手方向（図１のＹ方向）が譜面台の横方向となるように設置し、１ページ分の楽譜を表示するようにしても構わない。図１１Ａ〜図１１Ｃは、１ページ分の楽譜を表示する場合の表示パネル１０１の表示状態を示している。この場合、図１１Ａ〜図１１Ｃに示すように、音声入力装置１０２の設置位置を、設置状態における表示パネル１０１の下側となるように配置してもよい。

なお、上記実施の形態では、表示パネル１０１に２ページ分の楽譜を表示する場合において、ページ１およびページ２が表示された状態から、ページ３およびページ４を表示する状態に切り替える場合を例に説明したが、これに限るものではない。例えば、ページ１およびページ２が表示された状態から、ページ２およびページ３を表示する状態に切り替えるようにしても構わない。

（４）上記実施の形態では、音声入力装置１０２は、楽譜を表示する楽譜表示装置１００に組み込まれる場合を例に説明したが、これに限るものではない。

音声入力装置１０２は、例えば、音楽再生機能付きのフォトフレーム等、直接音と間接音とが混在する環境下で使用される他の表示装置に組み込んでも良い。このような表示装置の場合、例えば、直接音が検出された場合に、表示を切り替える制御を行う。

なお、音声入力装置１０２を楽譜表示装置１００以外の装置で用いる場合、音声入力装置１０２による直接音の検出機能を用いて、表示制御だけではなく、他の動作制御を行うように構成してもかまわない。

例えば、自動車等のハンドルに組み込んで、運転者の音声（直接音）を検出する装置として利用可能である。この場合、車載機器に対し、運転者の音声を検出した場合に、音声検出信号を出力することにより、当該車載機器は、運転者の音声に応じた処理（例えば、カーナビや車載のＡＶ機器のオンオフ処理など）を実行可能になる。

図１２は、音声入力装置１０２を組み込んだ自動車のハンドル５００の一例を示す図である。図１２に示すように、ハンドル５００の中央部分に、音声入力装置１０２が組み込まれている。このように構成することにより、音声入力装置１０２には、運転者の音声は、直接音として入力され、同乗者の音声等の他の音は、間接音として入力されることになる。

（５）上記実施の形態では、音声入力装置１０２は、直接音の検出のみを行い、直接音がどのような音声であるかの解析までは実行していないが、音声解析を行うように構成してもかまわない。

（６）上記実施の形態では、導波部２００は、２つの円柱を組み合わせた形状としたが、これに限られるものではない。例えば、図４Ｂに示すように、断面積の異なる２つの四角柱を組み合わせた形状であっても良いし、図４Ｃに示すように、断面積が同じであっても構わない。なお、導波部上部２０１の寸法および導波部下部２０２の寸法は、楽譜表示装置１００内における音声入力装置１０２の設置スペースや、間接音の種類、例えば、楽器の種類の違いによる間接音の周波数特性の違いなどを考慮して、適切に設定する。

（７）上記実施の形態において、信号処理部２１０および表示制御部１０３は、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。また、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

また、信号処理部２１０および表示制御部１０３は、信号処理部２１０および表示制御部１０３で実行される処理をコンピュータに実行させるためのコンピュータプログラム（ソフトウェア）として実現しても良い。

この場合、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、半導体メモリなどに記録したもので実現としてもよい。また、これらの記録媒体に記録されている前記デジタル信号であると実現してもよい。

また、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

以上のように、本開示における音声入力装置および表示装置の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、音声により制御を行う装置に適用可能である。具体的には、タブレット等の表示装置を使った電子楽譜や、パソコン、車載装置に適用可能である。

１００ 楽譜表示装置
１０１ 表示パネル
１０２ 音声入力装置
１０３ 表示制御部
１０４ 楽譜ＤＢ
２００ 導波部
２０１ 導波部上部
２０２ 導波部下部
２０３ マイク部
２１０ 信号処理部
２１１ ＨＰＦ
２１２ レベル検出器
２１３ 比較器
４００、Ｒ 音響抵抗
４０１、Ｌ 音響イナータンス
４０２、Ｃ 音響コンプライアンス
４０３、Ｒｘ 可変抵抗
５００ ハンドル

Claims (6)

1. 入射する音波を導波する導波部と、
   前記導波部の内部を通過した音波を電気の音信号に変換するマイク部と、
   前記マイク部で変換された音信号を、前記導波部が前記音波に与える音響特性を利用して処理する信号処理部と、を備え、
   前記導波部は、前記導波部の内部を通過して前記マイク部に入る音波の内、前記導波部の内側側面で反射することなく前記マイク部に到達する直接音と、前記内側側面で反射して前記マイク部に到達する間接音とで、異なる前記音響特性を与える構造を有し、
   前記信号処理部は、前記直接音と前記間接音との前記音響特性の違いを利用して、前記直接音が入力されたか否かを検出する直接音検出処理を行う
   音声入力装置。
2. 前記信号処理部は、前記直接音検出処理において、前記直接音と前記間接音との共振周波数より高い範囲に設定された判定周波数帯域において、前記音信号の音圧が閾値以上であるか否かを判定し、前記音信号の音圧が前記閾値以上であると判定した場合に前記直接音の入力を検出する
   請求項１に記載の音声入力装置。
3. 前記信号処理部は、
   前記直接音と前記間接音との共振周波数より高い範囲に設定された判定周波数より低い周波数帯域の信号を除去または抑制する低域遮断フィルタと、
   前記低域遮断フィルタの出力信号のレベルと所定の閾値とを比較し、前記低域遮断フィルタの出力信号のレベルが前記閾値より大きい場合に、前記直接音が検出されたことを示す制御信号を出力する比較器と、を有する
   請求項１に記載の音声入力装置。
4. 前記導波部は、前記音波が入射する導波部上部と、前記マイク部が設けられた導波部下部とを有し、
   前記導波部上部の断面積は、前記導波部下部の断面積より小さい
   請求項１〜３の何れか１項に記載の音声入力装置。
5. 請求項１に記載の音声入力装置と、
   表示データを表示単位毎に表示する表示パネルと、
   前記表示データを記憶した記憶部と、
   前記音声入力装置の前記信号処理部において前記直接音が検出された場合に、前記表示パネルの表示を、現在表示されている前記表示単位から次の前記表示単位に切り替えさせる表示制御部とを備える
   表示装置。
6. 前記記憶部は、前記表示データとして、楽譜を表示するための楽譜データを記憶し、
   前記表示パネルは、前記楽譜データを、１または複数のページからなる前記表示単位毎に表示し、
   前記表示制御部は、前記直接音が検出された場合に、前記表示パネルの表示を、現在表示されている前記楽譜のページのうち、最後のページの次のページを含むように切り替える
   請求項５に記載の表示装置。

Images