JP5106889B2 - Audio output device - Google Patents

Audio output device Download PDF

Info

Publication number
JP5106889B2
JP5106889B2 JP2007061361A JP2007061361A JP5106889B2 JP 5106889 B2 JP5106889 B2 JP 5106889B2 JP 2007061361 A JP2007061361 A JP 2007061361A JP 2007061361 A JP2007061361 A JP 2007061361A JP 5106889 B2 JP5106889 B2 JP 5106889B2
Authority
JP
Japan
Prior art keywords
sound
output
audio
data
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007061361A
Other languages
Japanese (ja)
Other versions
JP2008003562A (en
Inventor
洋平 薮田
徹 丸本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpine Electronics Inc filed Critical Alpine Electronics Inc
Priority to JP2007061361A priority Critical patent/JP5106889B2/en
Publication of JP2008003562A publication Critical patent/JP2008003562A/en
Application granted granted Critical
Publication of JP5106889B2 publication Critical patent/JP5106889B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Circuit For Audible Band Transducer (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a voice output apparatus which adjusts gain of output voice according to surrounding noise, without depending on a hardware structure of a voice output stage. <P>SOLUTION: In an output control section 21 of a voice output application section 2, regarding each divided voice data in which voice data D are divided for each time length Ts, a voice data PD to which gain adjustment according to a current volume level of surrounding noise is sequentially performed on a divided voice data for each time interval of the time length Ts, by using a gain adjustment section, is generated, while HDR in which an address and a size of the PD are indicated, is informed, and thereby, processing for requesting outputting of voice which generated voice data express, to a sound driver (output) 11, is performed. The sound driver (output) 11 sequentially outputs voice expressed by each voice data indicated by informed HDR express, from a speaker 6 via a sound output device 5. <P>COPYRIGHT: (C)2008,JPO&amp;INPIT

Description

本発明は、周囲騒音の変化に応じて、出力する音声のゲインを、ユーザの音声に対する聴感が良好に維持されるように動的に変化させる音声出力装置に関するものである。   The present invention relates to an audio output device that dynamically changes an output audio gain according to a change in ambient noise so that a user's audio perception is well maintained.

周囲騒音の変化に応じて、出力する音声の周波数ゲイン特性を、ユーザの音声に対する聴感が良好に維持されるように動的に変化させる音声出力装置としては、周囲騒音に応じて、出力する音声のゲイン特性を調整する装置が知られている(たとえば、特許文献1)。
特開2004-23481号公報
As an audio output device that dynamically changes the frequency gain characteristics of the output audio in accordance with changes in the ambient noise so that the user's audio perception is well maintained, the audio output in accordance with the ambient noise A device that adjusts the gain characteristic of this is known (for example, Patent Document 1).
JP 2004-23481 A

前述したような音声出力装置における周囲騒音に応じた出力音声のゲイン特性の調整は、音声を出力しつつ、当該出力する音声に対して、リアルタイムに周囲騒音に応じたゲイン調整を行うことにより行われている。
ここで、このように音声を出力しつつリアルタイムなゲイン調整を行うためには、音声の出力段において、当該ゲイン調整をハードウエアまたはソフトウエアによって行う必要がある。しかしながら、周囲騒音に応じたゲイン調整を行う特段の素子や回路を備えていない装置では、当該ゲイン調整をハードウエアによって行うことはできない。一方で、ソフトウエアによって当該ゲイン調整を実現するためには、音声出力段のハードウエアの種類毎に、当該ハードウエアの構成に応じた処理によって周囲騒音に応じたゲイン調整を行うソフトウエアを用意する必要が生じる。
The adjustment of the gain characteristic of the output sound in accordance with the ambient noise in the sound output apparatus as described above is performed by performing gain adjustment in real time on the output sound while outputting the sound. It has been broken.
Here, in order to perform gain adjustment in real time while outputting sound in this way, it is necessary to perform the gain adjustment by hardware or software at the sound output stage. However, in a device that does not include a special element or circuit that performs gain adjustment according to ambient noise, the gain adjustment cannot be performed by hardware. On the other hand, in order to realize the gain adjustment by software, for each type of hardware in the audio output stage, prepare software that performs gain adjustment according to the ambient noise by processing according to the hardware configuration. Need to do.

そこで、本発明は、周囲騒音に応じた出力音声のゲイン調整を、音声出力段のハードウエア構成にかかわらず実現できる音声出力装置の構成を提供することを課題とする。   Therefore, an object of the present invention is to provide a configuration of an audio output device that can realize gain adjustment of an output audio according to ambient noise regardless of the hardware configuration of the audio output stage.

前記課題達成のために、本発明は、音声を出力する音声出力装置を、メモリと、発行された音声出力要求で出力音声データとして指定された、前記メモリに格納されている音声データを読み出して、読み出した音声データが表す音声を出力する音声出力部と、周囲騒音の音量レベルを検出する騒音レベル検出手段と、出力すべき音声を表す音声データである対象音声データを、所定時間長の時間区間毎の音声を表す音声データである分割音声データに分割し、各分割音声データを、前記所定時間毎に、順次、対象分割音声データとし、当該対象分割音声データが表す音声を、当該時点において前記騒音レベル検出手段が検出している周囲騒音の音量レベルに応じたゲインで増幅した音声を表すゲイン調整後音声データを生成し、生成したゲイン調整後音声データを前記メモリに格納すると共に、格納したゲイン調整後音声データを前記出力音声データとして指定した前記音声出力要求を前記音声出力部に発行する音声出力処理手段とを備えて構成したものである。   In order to achieve the above object, the present invention provides a voice output device that outputs voice by reading out voice data stored in the memory and designated as output voice data in an issued voice output request. A voice output unit that outputs a voice represented by the read voice data, a noise level detection unit that detects a volume level of ambient noise, and target voice data that is voice data that represents the voice to be output. Dividing into divided voice data that is voice data representing voice for each section, each divided voice data is sequentially set as target divided voice data every predetermined time, and the voice represented by the target divided voice data is Generating gain-adjusted audio data representing audio amplified with a gain corresponding to the volume level of ambient noise detected by the noise level detection means, Audio output processing means for storing the adjusted audio data in the memory and issuing the audio output request specifying the stored gain-adjusted audio data as the output audio data to the audio output unit It is.

このような音声出力装置によれば、音声出力処理手段によって、音声を出力する音声出力部に供給する音声データ自体を、周囲騒音に応じたゲイン調整が施されたものとしているので、音声出力部の構成に関わらずに、周囲騒音に応じた出力音声のゲイン調整を実現することができる。   According to such an audio output device, since the audio data itself supplied to the audio output unit that outputs the audio is subjected to gain adjustment according to the ambient noise by the audio output processing unit, the audio output unit Regardless of the configuration, it is possible to achieve gain adjustment of output sound in accordance with ambient noise.

ここで、このように、音声を出力する音声出力部に供給する音声データ自体を、周囲騒音に応じたゲイン調整を施したものとした場合、音声データにゲイン調整を施した時点と、当該音声データが表す音声が出力される時点との間に生じる時間差が問題となる。出力される音声に施されたゲイン調整において考慮された周囲騒音が、当該時間差分過去のものとなってしまうからである。   Here, when the audio data itself supplied to the audio output unit that outputs audio is subjected to gain adjustment according to ambient noise, the time when the gain adjustment is performed on the audio data, and the audio The time difference that occurs between the time when the voice represented by the data is output becomes a problem. This is because the ambient noise considered in the gain adjustment performed on the output sound becomes the time difference in the past.

しかしながら、本音声出力装置によれば、音声出力処理手段において、音声データのゲイン調整と音声データの音声出力部への供給を、出力すべき音声を表す音声データである対象音声データを分割した分割音声データを単位として行うことができるので、このような時間差を短縮化して、ほぼ現在の周囲騒音の状況に応じたゲイン調整が施された音声を出力することができるようになる。なお、近接する時間の周囲騒音は近似していると考えられるので、このように分割音声データ単位にゲイン調整を施した音声は、分割音声データが表す音声の時間長を充分に短くとることにより、実用上、現在の周囲騒音の状況に応じたゲイン調整が施された音声として用いることができる。   However, according to the present audio output device, in the audio output processing means, the gain adjustment of the audio data and the supply of the audio data to the audio output unit are divided by dividing the target audio data that is the audio data representing the audio to be output. Since audio data can be used as a unit, such a time difference can be shortened, and an audio with gain adjusted according to the current ambient noise condition can be output. In addition, since it is considered that the ambient noise in the adjacent time is approximated, the sound that has been gain-adjusted in this way in the divided sound data unit can be obtained by sufficiently shortening the time length of the sound represented by the divided sound data. Practically, it can be used as a sound that has been gain-adjusted according to the current ambient noise situation.

ここで、より具体的には、このような音声出力装置は、マイクロフォンと、前記マイクロフォンを用いてピックアップした周囲の音声を表す周囲音声データを出力するサウンド入力装置と、メモリと、音声を出力するサウンド出力装置と、発行された音声出力要求を受け入れ、受け入れた音声出力要求で出力音声データとして指定された、前記メモリに格納されている音声データを読み出して、読み出した音声データが表す音声を前記サウンド出力装置に出力させるサウンドドライバと、前記サウンド入力装置が出力する周囲音声データが表す周囲騒音の音量レベルを検出する騒音レベル検出手段と、出力すべき音声を表す音声データである対象音声データを、所定時間長の時間区間毎の音声を表す音声データである分割音声データに分割し、各分割音声データを、前記所定時間毎に、順次、対象分割音声データとし、当該対象分割音声データが表す音声を、当該時点において前記騒音レベル検出手段が検出している周囲騒音の音量レベルに応じたゲインで増幅した音声を表すゲイン調整後音声データを生成し、生成したゲイン調整後音声データを前記メモリに格納すると共に、格納したゲイン調整後音声データを前記出力音声データとして指定した前記音声出力要求を前記サウンドドライバに発行する音声出力処理手段とを備えた音声出力装置として構成するようにしてよい。   More specifically, such an audio output device outputs a microphone, a sound input device that outputs ambient audio data representing ambient audio picked up using the microphone, a memory, and audio. The sound output device accepts the issued voice output request, reads the voice data stored in the memory specified as the output voice data in the accepted voice output request, and reads the voice represented by the read voice data A sound driver to be output to the sound output device; noise level detection means for detecting a volume level of ambient noise represented by the ambient audio data output by the sound input device; and target audio data that is audio data representing the audio to be output. , Divided into divided audio data that is audio data representing audio for each time interval of a predetermined time length. Each divided voice data is sequentially set as target divided voice data at each predetermined time, and the voice represented by the target divided voice data is determined according to the volume level of ambient noise detected by the noise level detecting means at the time. Generating the sound data after gain adjustment representing the sound amplified by the gain, storing the generated sound data after gain adjustment in the memory, and specifying the stored sound data after gain adjustment as the output sound data You may make it comprise as an audio | voice output apparatus provided with the audio | voice output process means which issues a request | requirement to the said sound driver.

このように構成した場合には、サウンド出力装置やサウンドドライバによらずに、ほぼ現在の周囲騒音に応じた出力音声のゲイン調整を実現することができる。
ここで、以上の各音声出力装置は、前記騒音レベル検出手段を、少なくとも前記音声出力要求が発行されるまで、常時、直近過去の前記所定時間長分の周囲音声を表す周囲音声データを保持する周囲騒音保持手段と、前記音声出力要求が発行されたならば、当該時点で、前記周囲騒音保持手段に保持されている前記直近過去の前記所定時間長分の周囲音声データの音量レベルを、前記検出する周囲騒音の音量レベルとして算定すると共に、以降、前記所定時間長の時間区間の経過毎に、当該直近に経過した前記所定時間長の時間区間の周囲音声の音量レベルを、前記検出する周囲騒音の音量レベルとして算定する音量レベル算定手段とより構成し、前記音声出力処理手段において、前記音声出力要求が発行されたならば、前記音量レベル算定手段が、前記周囲騒音の音量レベルを算定する度に、各分割音声データを、順次、対象分割音声データとし、前記対象分割音声データが表す音声を、当該算定された周囲騒音の音量レベルに応じたゲインで増幅した音声を表すゲイン調整後音声データを生成するようにしてもよい。
When configured in this way, it is possible to realize gain adjustment of the output sound almost in accordance with the current ambient noise, regardless of the sound output device or the sound driver.
Here, each of the above audio output devices always holds the ambient audio data representing the ambient audio for the predetermined past length of time in the past until at least the audio output request is issued. If the ambient noise holding means and the voice output request are issued, at that time, the volume level of ambient voice data for the predetermined time length in the latest past held in the ambient noise holding means is Calculated as the volume level of the ambient noise to be detected, and thereafter, for each passage of the time period of the predetermined time length, the volume level of the ambient sound in the time period of the predetermined time length that has passed most recently A volume level calculating means for calculating the volume level of noise, and if the audio output request is issued in the audio output processing means, the volume level is calculated. Each time the stage calculates the volume level of the ambient noise, each divided voice data is sequentially set as target divided voice data, and the voice represented by the target divided voice data is set according to the calculated volume level of the ambient noise. It is also possible to generate gain-adjusted audio data representing the audio amplified by the gain.

このようにすることにより、音声出力要求が発行されしだい、即座に、騒音レベル検出手段において、常時保持するようにした直近過去の前記所定時間長分の周囲音声データを用いて、周囲騒音の音量レベルを検出することができる。したがって、音声出力要求の発生直後から、前記音声出力処理手段において、ゲイン調整後音声データの生成格納や音声出力要求の発行を行って、すみやかに音声を出力することができるようになる。   In this way, as soon as an audio output request is issued, the noise level detection means immediately uses the ambient audio data for the predetermined time length in the most recent past, which is always held in the noise level detection means. The level can be detected. Accordingly, immediately after the generation of the audio output request, the audio output processing means can generate and store the gain-adjusted audio data and issue the audio output request, and can immediately output the audio.

なお、以上の音声出力装置は、前記騒音レベル検出手段において、周波数帯域毎に、周囲騒音の音量レベルを検出し、前記音声出力処理手段において、前記対象分割音声データが表す音声を、周波数帯域毎に、当該時点において前記騒音レベル検出手段が検出している周囲騒音の各周波数帯域の音量レベルに応じたゲインで増幅した音声を表すゲイン調整後音声データを生成するように構成してもよい。   In the above sound output device, the noise level detection means detects the volume level of ambient noise for each frequency band, and the sound output processing means detects the sound represented by the target divided sound data for each frequency band. In addition, it may be configured to generate gain-adjusted sound data representing sound amplified by a gain corresponding to the volume level of each frequency band of ambient noise detected by the noise level detection means at the time.

また、以上の当該音声出力装置は、自動車に搭載されるものであってよい。   Moreover, the said audio | voice output apparatus mentioned above may be mounted in a motor vehicle.

以上のように、本発明によれば、周囲騒音に応じた出力音声のゲイン調整を、音声出力段のハードウエア構成にかかわらず実現できる。   As described above, according to the present invention, the gain adjustment of the output sound according to the ambient noise can be realized regardless of the hardware configuration of the sound output stage.

以下、本発明に係る音声出力装置の実施形態について、車載の音声出力装置への適用を例にとり説明する。
まず、第1の実施形態について説明する。
図1に、音声出力装置の構成を示す。
図示するように、本音声出力装置は、オペレーティングシステム1、音声出力アプリケーション2、サウンド入力装置3、マイクロフォン4、サウンド出力装置5、スピーカ6、音声データメモリ7、出力用バッファメモリ8とを備えている。
但し、以上のような音声出力装置は、ハードウエア構成としては、CPUやメモリや外部記憶装置などを備えた一般的な電子計算機の構成を有している。また、当該電子計算機の音声入出力用のハードウエアとして、以上のサウンド入力装置3やマイクロフォン4やサウンド出力装置5やスピーカ6を備えているものである。そして、前述したオペレーションシステムや音声出力アプリケーション2や音声データメモリ7や出力用バッファメモリ8は、CPUが予め用意されたプログラムを実行することにより、当該電子計算機上に、プロセスや記憶資源として具現化されるものである。
Hereinafter, embodiments of the audio output device according to the present invention will be described taking application to an in-vehicle audio output device as an example.
First, the first embodiment will be described.
FIG. 1 shows the configuration of the audio output device.
As shown in the figure, the audio output device includes an operating system 1, an audio output application 2, a sound input device 3, a microphone 4, a sound output device 5, a speaker 6, an audio data memory 7, and an output buffer memory 8. Yes.
However, the audio output apparatus as described above has a general electronic computer configuration including a CPU, a memory, an external storage device, and the like as a hardware configuration. Further, as the sound input / output hardware of the electronic computer, the sound input device 3, the microphone 4, the sound output device 5, and the speaker 6 are provided. The operation system, the audio output application 2, the audio data memory 7, and the output buffer memory 8 described above are realized as processes and storage resources on the electronic computer by executing a program prepared in advance by the CPU. It is what is done.

さて、このような音声出力装置の構成において、オペレーティングシステム1は、サウンドドライバ(入力)12を含んでいる。そして、サウンドドライバ(入力)12は、サウンド入力装置3を介して取り込んだ、マイクロフォン4がピックアップした周囲騒音を表す音声データを生成する。   In the configuration of such an audio output device, the operating system 1 includes a sound driver (input) 12. Then, the sound driver (input) 12 generates sound data representing ambient noise picked up by the microphone 4 and taken in via the sound input device 3.

また、オペレーティングシステム1は、サウンド出力装置5を制御して音声をスピーカ6に出力するサウンドドライバ(出力)11を含んでいる。ここで、サウンドドライバ(出力)11は、出力する音声の音声データのアドレスとサイズを表すHDRを格納するHDRキューを備えている。そして、サウンドドライバ(出力)11は、HDRキューに格納されたHDRを順次取り出し、取り出したHDRが示すアドレスから当該HDRが示すサイズ分の音声データを読み出し、音声データが表す音声をサウンド出力装置5を介してスピーカ6に出力する処理を行うものである。また、サウンドドライバ(出力)11は、以上のようにHDRが示す音声データが表す音声の出力を終了したならば、HDRキューに格納したHDRの発行元に再生終了通知を通知するものである。   In addition, the operating system 1 includes a sound driver (output) 11 that controls the sound output device 5 and outputs sound to the speaker 6. Here, the sound driver (output) 11 includes an HDR queue that stores an HDR representing an address and a size of audio data of audio to be output. Then, the sound driver (output) 11 sequentially extracts the HDR stored in the HDR queue, reads out the audio data for the size indicated by the HDR from the address indicated by the extracted HDR, and outputs the audio represented by the audio data to the sound output device 5. The process which outputs to the speaker 6 via this is performed. In addition, when the sound driver (output) 11 finishes outputting the audio represented by the audio data indicated by the HDR as described above, the sound driver (output) 11 notifies the reproduction end notification to the issuer of the HDR stored in the HDR queue.

そして、音声出力アプリケーション2は、出力制御部21と、ゲイン調整部22とを備えている。
以下、このような音声出力アプリケーション2の動作について説明する。
音声出力アプリケーション2の出力制御部21は、音声データメモリ7に格納されている、スピーカ6から出力すべき音声を表す音声データDが音声データメモリ7上に発生すると、当該音声データDを対象として音声出力処理を行う。ここで、音声データDは、予め音声データメモリ7に格納されている音声データであってもよいし、音声合成処理などにより新たに生成されたものであってもよい。また、音声データDは、たとえば、ユーザに対してガイダンスを行う音声を表すものであり、この場合、音声データDが表す音声の時間長は数秒から数十秒となる。
The audio output application 2 includes an output control unit 21 and a gain adjustment unit 22.
Hereinafter, the operation of the audio output application 2 will be described.
When the audio data D representing the audio to be output from the speaker 6 stored in the audio data memory 7 is generated on the audio data memory 7, the output control unit 21 of the audio output application 2 targets the audio data D. Perform audio output processing. Here, the voice data D may be voice data stored in the voice data memory 7 in advance, or may be newly generated by voice synthesis processing or the like. The voice data D represents, for example, voice for guidance to the user. In this case, the time length of the voice represented by the voice data D is several seconds to several tens of seconds.

図2に、音声出力アプリケーション2の出力制御部21が行う音声出力処理の手順を示す。
図示するように、この処理では、まず、サウンドドライバ(出力)11に対して、デバイス(サウンド出力装置5)の使用開始の宣言や、出力する音声データのフォーマットの宣言などの各種前処理を行う(ステップ202)。
そして、次に、音声データDを分割した音声データ分割数n分の各分割音声データD(j)について、jの小さいものより、順次、以下の処理を行う(ステップ204、220、228)。ここで、音声データDの分割は、tsを予め定めた時間長として、各分割音声データD(j)が表す音声が、音声データDが表す音声の内の、j×tsから(j+1)×tsまでの間の期間の音声を表すように行う。但し、音声データDが表す音声の時間長をLとし、音声データ分割数nはステップ204においてL≦n×tsを満たす最小の整数として求められ、jは、0≦j<n満たす整数である。
FIG. 2 shows a procedure of audio output processing performed by the output control unit 21 of the audio output application 2.
As shown in the figure, in this processing, first, various preprocessing such as declaration of start of use of the device (sound output device 5) and declaration of format of audio data to be output is performed on the sound driver (output) 11. (Step 202).
Next, the following processing is sequentially performed on the divided audio data D (j) corresponding to the number n of audio data divisions obtained by dividing the audio data D, starting from the smallest j (steps 204, 220, and 228). Here, the audio data D is divided from j × ts (j + 1) of the audio represented by the audio data D, with the audio represented by each divided audio data D (j) having ts as a predetermined time length. ) Xts so as to represent the voice in the period. However, the audio time length represented by the audio data D is L, the audio data division number n is determined as the smallest integer satisfying L ≦ n × ts in step 204, and j is an integer satisfying 0 ≦ j <n. .

次に、jの2を法数とする剰余をiとして求め(ステップ206)、jが2未満かどうかを調べ(ステップ208)、2未満であれば、ゲイン調整部22に、分割音声データD(j)に現時点における周囲騒音に応じたゲイン調整を施させ、分割音声データD(j)にゲイン調整を施した音声データを出力用バッファメモリ8にPD(i)として格納する(ステップ214)。ただし、jが1である場合には、前回ステップ214の実行を開始してから、前記した時間長ts経過後に、今回のステップ214の実行を開始することが好ましい。   Next, a remainder with j of 2 as a modulus is obtained as i (step 206), and it is checked whether j is less than 2 (step 208). If it is less than 2, the gain adjustment unit 22 sends the divided audio data D. (J) is subjected to gain adjustment according to the ambient noise at the present time, and the audio data obtained by adjusting the gain of the divided audio data D (j) is stored as PD (i) in the output buffer memory 8 (step 214). . However, when j is 1, it is preferable to start the execution of the current step 214 after the time length ts has elapsed since the execution of the previous step 214 was started.

そして、PD(i)のアドレスやサイズの属性をHDR(i)に設定し(ステップ216)、HDR(i)をHDRとしてサウンドドライバ(出力)11に発行し、HDRキューに格納する(ステップ218)。ここで、音声出力アプリケーション2のゲイン調整部22は、出力制御部21の要求に応じて、サウンドドライバ(入力)12から周囲騒音の音声データを取り込み、取り込んだ音声データが表す周囲騒音の音量レベルに応じたゲイン調整を分割音声データD(j)に施す。すなわち、分割音声データD(j)が表す音声を、周囲騒音の音量レベルに応じた増幅率で増幅した音声を表す音声データを、出力用バッファメモリ8にPD(i)として格納する、分割音声データD(j)にゲイン調整を施した音声データとして生成する。なお、このゲイン調整部22のゲイン調整は、周囲騒音の音声データが表す周囲騒音の音量レベルを周波数帯域毎に求めると共に、求めた周囲騒音の各周波数帯域の音量レベルに応じたゲイン調整を周波数帯域毎に分割音声データD(j)に施すことによって行うようにしてもよい。   Then, the address and size attributes of PD (i) are set to HDR (i) (step 216), HDR (i) is issued as HDR to the sound driver (output) 11 and stored in the HDR queue (step 218). ). Here, the gain adjustment unit 22 of the audio output application 2 acquires ambient noise audio data from the sound driver (input) 12 in response to a request from the output control unit 21, and the ambient noise volume level represented by the acquired audio data Is applied to the divided audio data D (j). That is, the divided audio data that stores the audio data representing the audio represented by the divided audio data D (j) with the amplification factor corresponding to the volume level of the ambient noise is stored as PD (i) in the output buffer memory 8. Data D (j) is generated as audio data with gain adjustment. The gain adjustment of the gain adjusting unit 22 is performed by obtaining the volume level of the ambient noise represented by the sound data of the ambient noise for each frequency band, and adjusting the gain adjustment according to the volume level of each obtained frequency band of the ambient noise. You may make it carry out by giving to division | segmentation audio | voice data D (j) for every zone | band.

次に、jが2未満でない場合には(ステップ208)、サウンドドライバ(出力)11からの再生終了通知を待って(ステップ210)、HDR(i)をクリア(ステップ212)した上で、分割音声データD(j)に現時点における周囲騒音に応じたゲイン調整を施させ、分割音声データD(j)にゲイン調整を施した音声データを出力用バッファメモリ8にPD(i)として格納する(ステップ214)。   Next, if j is not less than 2 (step 208), the process waits for a reproduction end notification from the sound driver (output) 11 (step 210), clears HDR (i) (step 212), and then divides. The audio data D (j) is subjected to gain adjustment according to the ambient noise at the present time, and the audio data obtained by adjusting the gain of the divided audio data D (j) is stored as PD (i) in the output buffer memory 8 ( Step 214).

そして、PD(i)のアドレスやサイズの属性をHDR(i)に設定し(ステップ216)、HDR(i)をHDRとしてサウンドドライバ(出力)11に発行し、HDRキューに格納する(ステップ218)。
そして、音声データDを分割した各分割音声データD(j)の全てについて以上の処理を終了したならば、サウンドドライバ(出力)11の再生終了を待って(ステップ222)、HDR(0)とHDR(1)をクリアし(ステップ224)、サウンドドライバ(出力)11に対して、デバイス(サウンド出力装置5)の使用終了の宣言などの後処理を行って(ステップ226)、音声出力処理を終了する。
Then, the address and size attributes of PD (i) are set to HDR (i) (step 216), HDR (i) is issued as HDR to the sound driver (output) 11 and stored in the HDR queue (step 218). ).
When the above processing is completed for all the divided audio data D (j) obtained by dividing the audio data D, the reproduction of the sound driver (output) 11 is awaited (step 222), and HDR (0) is set. HDR (1) is cleared (step 224), and post-processing such as declaration of the end of use of the device (sound output device 5) is performed on the sound driver (output) 11 (step 226), and audio output processing is performed. finish.

図3に、このような音声出力処理の処理例を示す。
いま、図3aに示すように、音声データDが6×tsの時間長分の音声を表すものであった場合、音声データDは、D(0)からD(5)の分割音声データに分割される。
そして、この場合には、図3bに示すように、時間長ts毎の時間区間t0からt6の最初の時間区間t0において、音声データDの最初の分割音声データD(0)を、その時点の周囲騒音Nの音量レベルに応じてゲイン調整した音声データGD(0)がPD(0)に設定され、PD(0)のアドレスとサイズがHDR(0)に設定されると共に、HDR(0)がHDRとしてサウンド出力装置5のHDRキューに追加される。
FIG. 3 shows an example of such audio output processing.
Now, as shown in FIG. 3a, when the audio data D represents the audio for a time length of 6 × ts, the audio data D is divided into divided audio data from D (0) to D (5). Is done.
In this case, as shown in FIG. 3b, in the first time interval t0 from the time interval t0 to t6 for each time length ts, the first divided audio data D (0) of the audio data D is The audio data GD (0) gain-adjusted according to the volume level of the ambient noise N is set in PD (0), the address and size of PD (0) are set in HDR (0), and HDR (0) Is added to the HDR queue of the sound output device 5 as HDR.

次に、時間区間t1では、音声データDの2番目の分割音声データD(1)を、その時点の周囲騒音Nの音量レベルに応じてゲイン調整した音声データGD(1)がPD(1)に設定され、PD(1)のアドレスとサイズがHDR(1)に設定されると共に、HDR(1)がHDRとしてサウンド出力装置5のHDRキューに追加される。また、Q{PD(0)}として示すように、サウンドドライバ(出力)11、サウンド出力装置5によって、PD(0)に設定されたGD(0)が表す音声が再生出力される。ただし、この例は、jが1である場合に、先に行った分割音声データD(0)についてのゲイン調整(ステップ214)の実行を開始してから、前記した時間長ts経過後に、今回の分割音声データD(1)のゲイン調整(ステップ214)の実行を開始するようにした場合についてのものである。   Next, in the time interval t1, the audio data GD (1) obtained by adjusting the gain of the second divided audio data D (1) of the audio data D according to the volume level of the ambient noise N at that time is PD (1). And the address and size of PD (1) are set to HDR (1), and HDR (1) is added to the HDR queue of the sound output device 5 as HDR. Further, as indicated by Q {PD (0)}, the sound represented by GD (0) set in PD (0) is reproduced and output by the sound driver (output) 11 and the sound output device 5. However, in this example, when j is 1, this time after the time length ts has elapsed since the execution of the gain adjustment (step 214) for the divided audio data D (0) performed previously is started. This is for the case where the execution of the gain adjustment (step 214) of the divided audio data D (1) is started.

そして、その次の、時間区間t2では、音声データDの3番目の分割音声データD(2)を、その時点の周囲騒音Nの音量レベルに応じてゲイン調整した音声データGD(2)がPD(0)に設定され、PD(0)のアドレスとサイズがHDR(0)に設定されると共に、HDR(0)がHDRとしてサウンド出力装置5のHDRキューに追加される。また、Q{PD(1)}として示すように、サウンドドライバ(出力)11、サウンド出力装置5によって、PD(1)に設定されたGD(1)が表す音声が、再生出力される。   Then, in the next time interval t2, the audio data GD (2) obtained by adjusting the gain of the third divided audio data D (2) of the audio data D according to the volume level of the ambient noise N at that time is PD. It is set to (0), the address and size of PD (0) are set to HDR (0), and HDR (0) is added to the HDR queue of the sound output device 5 as HDR. Further, as indicated by Q {PD (1)}, the sound represented by GD (1) set in PD (1) is reproduced and output by the sound driver (output) 11 and the sound output device 5.

また、次の、時間区間t3では、音声データDの4番目の分割音声データD(3)を、その時点の周囲騒音Nの音量レベルに応じてゲイン調整した音声データGD(3)がPD(1)に設定され、PD(1)のアドレスとサイズがHDR(1)に設定されると共に、HDR(1)がHDRとしてサウンド出力装置5のHDRキューに追加される。また、Q{PD(0)}として示すように、サウンドドライバ(出力)11、サウンド出力装置5によって、PD(0)に設定されたGD(2)が表す音声が、再生出力される。   In the next time interval t3, the audio data GD (3) obtained by adjusting the gain of the fourth divided audio data D (3) of the audio data D according to the volume level of the ambient noise N at that time is PD ( 1), the address and size of the PD (1) are set to HDR (1), and HDR (1) is added to the HDR queue of the sound output device 5 as HDR. Further, as indicated by Q {PD (0)}, the sound represented by GD (2) set to PD (0) is reproduced and output by the sound driver (output) 11 and the sound output device 5.

以降、同様にPD(0)及びHDR(1)と、HDR(0)及びPD(1)を交互に用いながら、時間区間tmでは、音声データDのm+1番目の分割音声データD(m)のゲイン調整と、ゲイン調整した音声データGD(m-1)が表す音声のサウンドドライバ(出力)11、サウンド出力装置5による出力が行われる。   Thereafter, similarly, PD (0) and HDR (1) and HDR (0) and PD (1) are alternately used, and in the time interval tm, m + 1th divided audio data D (m ) And the sound output by the sound driver (output) 11 and the sound output device 5 represented by the sound data GD (m-1) after gain adjustment are performed.

結果、Qとして示すように音声データDをゲイン調整した音声がサウンド出力装置5によってスピーカ6から出力されることになる。そして、出力される音声の各部分は、約ts時間前の周囲騒音の音量レベルに応じてゲイン調整されたものとなる。
以上、本発明の第1実施形態について説明した。
このように本台1実施形態によれば、音声出力アプリケーション2によって、サウンドドライバ(出力)11に供給する音声データ(PD)自体を、周囲騒音に応じたゲイン調整が施されたものとしているので、サウンドドライバ(出力)11に関わらずに、周囲騒音に応じた出力音声のゲイン調整を実現することができる。なお、一般的に、サウンドドライバ(出力)11及びサウンドドライバ(入力)12とアプリケーションとのインタフェースAPIは、サウンドドライバ(出力)11及びサウンドドライバ(入力)12によらず共通化されている。
As a result, as shown by Q, the sound obtained by adjusting the gain of the sound data D is output from the speaker 6 by the sound output device 5. Then, each part of the output voice is gain-adjusted according to the volume level of the ambient noise about ts time ago.
The first embodiment of the present invention has been described above.
As described above, according to the first embodiment, the audio data (PD) itself supplied to the sound driver (output) 11 by the audio output application 2 is subjected to gain adjustment according to the ambient noise. Regardless of the sound driver (output) 11, the gain adjustment of the output sound according to the ambient noise can be realized. In general, the interface API between the sound driver (output) 11 and the sound driver (input) 12 and the application is shared regardless of the sound driver (output) 11 and the sound driver (input) 12.

ここで、このように、サウンドドライバ(出力)11に供給する音声データ(PD)自体を、周囲騒音に応じたゲイン調整を施したものとした場合、音声データ(PD)にゲイン調整を施した時点と、当該音声データが表す音声が実際に出力される時点との間に生じる時間差が問題となる。出力される音声が、当該時間差分過去の周囲騒音に応じたゲイン調整が施されたものとなるからである。   Here, when the audio data (PD) itself supplied to the sound driver (output) 11 is subjected to gain adjustment according to ambient noise, the audio data (PD) is subjected to gain adjustment. A time difference between the time point and the time point when the sound represented by the sound data is actually output becomes a problem. This is because the output voice is gain-adjusted according to ambient noise in the past of the time difference.

しかしながら、本第1実施形態によれば、音声データ(PD)のゲイン調整と音声データ(PD)のサウンドドライバ(出力)11への供給を、出力すべき音声を表す音声データを分割した分割音声データを単位として行うことができるので、このような時間差を短縮化して、ほぼ現在の周囲騒音の状況に応じたゲイン調整が施された音声を出力することができるようになる。なお、近接する時間の周囲騒音は近似していると考えられるので、分割音声データが表す音声の時間長を充分に短くとることにより、このようにゲイン調整を施した音声は、実用上、現在の周囲騒音の状況に応じたゲイン調整が施された音声として用いることができる。   However, according to the first embodiment, the divided sound obtained by dividing the sound data representing the sound to be output by adjusting the gain of the sound data (PD) and supplying the sound data (PD) to the sound driver (output) 11. Since it can be performed in units of data, such a time difference can be shortened, and a sound that has been gain-adjusted according to the current ambient noise situation can be output. In addition, since it is considered that the ambient noise in the adjacent time is approximated, the sound subjected to gain adjustment in this way is practically presently used by sufficiently shortening the time length of the sound represented by the divided sound data. Can be used as a sound that has been gain-adjusted according to the ambient noise situation.

以下、本発明の第2の実施形態について説明する。
本第2実施形態は、前記第1実施形態の音声出力処理のステップ214における出力制御部21の指示に応じて、ゲイン調整部22が行うゲイン調整を、より速やかに実行できるようにしたものである。
図4に、本第2施形態に係る音声出力装置の構成を示す。
図示するように、本第2実施形態に係る音声素出力装置は、図1に示した音声出力装置に、騒音データバッファ9を追加すると共に、音声出力アプリケーションに騒音データ取得制御部23を設けたものである。
また、本第2実施形態では、図2に示した出力制御部21が行う出力制御処理のステップ204において、算出した音声データ分割数nと音声出力処理開始とを騒音データ取得制御部23とゲイン調整部に通知するようにする。
Hereinafter, a second embodiment of the present invention will be described.
In the second embodiment, the gain adjustment performed by the gain adjustment unit 22 can be executed more promptly in response to an instruction from the output control unit 21 in step 214 of the sound output processing of the first embodiment. is there.
FIG. 4 shows the configuration of the audio output device according to the second embodiment.
As illustrated, the speech element output device according to the second embodiment includes a noise data buffer 9 added to the speech output device illustrated in FIG. 1 and a noise data acquisition control unit 23 provided in the speech output application. Is.
In the second embodiment, in step 204 of the output control process performed by the output control unit 21 shown in FIG. 2, the calculated audio data division number n and the start of the audio output process are set to the noise data acquisition control unit 23 and the gain. Notify the adjustment unit.

そして、騒音データ取得制御部23において、図5aに示す騒音データ取得処理を行うと共に、ゲイン調整部22において図5bに示すゲイン調整処理によって、前記第1実施形態の音声出力処理のステップ214における出力制御部21の指示に応じた、ゲインの調整を行うようにしたものである。
以下、騒音データ取得制御部23が行う騒音データ取得処理について説明する。
図5aに示すように、この処理では、出力制御部21から音声出力処理開始の通知があるまで(ステップ504)、サウンドドライバ(入力)12から周囲騒音の音声データを取り込み続け、騒音データバッファ9のNDPRに、常に、直近過去ts時間分の周囲騒音の音声データが格納されるようにする(ステップ502)。NDPRにおける直近過去ts時間分の周囲騒音の音声データの常時格納は、たとえば、騒音データバッファ9のNDPRをts時間分の音声データを格納するFIFOとして構成し、順次、サウンドドライバ(入力)12から取り込んだ周囲騒音の音声データをNDPRに格納することなどにより実現できる。なお、tsは、第1実施形態で示した分割音声データD(j)の時間長である。
The noise data acquisition control unit 23 performs the noise data acquisition process shown in FIG. 5a, and the gain adjustment unit 22 performs the output in step 214 of the audio output process of the first embodiment by the gain adjustment process shown in FIG. 5b. The gain is adjusted in accordance with an instruction from the control unit 21.
Hereinafter, the noise data acquisition process performed by the noise data acquisition control unit 23 will be described.
As shown in FIG. 5a, in this process, the sound data of the ambient noise is continuously captured from the sound driver (input) 12 until the output control unit 21 notifies the start of the sound output process (step 504), and the noise data buffer 9 NDPR is always stored with sound data of ambient noise for the latest past ts time (step 502). For example, NDPR in the noise data buffer 9 is always stored as a FIFO for storing audio data for ts time, and the sound data from the sound driver (input) 12 is sequentially stored. This can be realized, for example, by storing the captured ambient noise voice data in the NDPR. Note that ts is the time length of the divided audio data D (j) shown in the first embodiment.

そして、出力制御部21から音声出力処理開始が通知されたならば(ステップ504)、以降、騒音データバッファ9のND(0)とND(1)に、交互に、ts時間分づつ、サウンドドライバ(入力)12から取り込んだ周囲騒音の音声データを、n1回格納する処理を行い(ステップ506-514)、n1回格納したならばステップ502からの処理に戻る。   If the start of the audio output process is notified from the output control unit 21 (step 504), the sound driver is alternately switched to ND (0) and ND (1) of the noise data buffer 9 every ts time. (Input) The process of storing the ambient noise voice data fetched from 12 is performed n1 times (steps 506-514), and if stored n1 times, the process returns to step 502.

次に、ゲイン調整部22が行うゲイン調整処理について説明する。
図5bに示すように、ゲイン調整処理では、出力制御部21から音声出力処理開始の通知を待ち(ステップ552)、通知があったならば、まず、分割音声データD(0)(ステップ554、556)に、騒音データバッファ9のNDPRから取り込んだ(ステップ558、572)周囲騒音の音声データの音量レベルに応じたゲイン調整を施し、ゲイン調整を施した音声データを出力用バッファメモリ8にPD(0)として格納する(ステップ554、566)。
Next, gain adjustment processing performed by the gain adjustment unit 22 will be described.
As shown in FIG. 5b, in the gain adjustment processing, the output control unit 21 waits for a notification of the start of the audio output processing (step 552). If there is a notification, first, the divided audio data D (0) (step 554, 556), the gain adjustment is performed according to the volume level of the sound data of the ambient noise taken from the NDPR of the noise data buffer 9 (steps 558 and 572), and the sound data subjected to the gain adjustment is stored in the output buffer memory 8 as a PD. Store as (0) (steps 554, 566).

そして、以降は、j=1からj=n-1までの各jについて順次(ステップ568、570)
分割音声データD(j)を取得し(ステップ556)、騒音データバッファ9のND(k)に時間長ts分の周囲騒音の音声データが格納されるのを待って(ステップ562)、ND(k)から周囲騒音の音声データを取り込み(ステップ564)、取り込んだ周囲騒音の音声データの音量レベルに応じたゲイン調整を取得した分割音声データD(j)に施し、ゲイン調整を施した音声データを出力用バッファメモリ8にPD(i)として格納する(ステップ566)。ただし、iは、jの2を法数とする剰余であり、kは、j-1の2を法数とする剰余である(ステップ560)
そして、j=n-1までの処理を終了したならば(ステップ568)、ステップ552からの処理に戻る。
Thereafter, each j from j = 1 to j = n−1 is sequentially performed (steps 568 and 570).
The divided voice data D (j) is acquired (step 556), and the voice data of ambient noise for the time length ts is stored in ND (k) of the noise data buffer 9 (step 562). k) audio data of ambient noise is fetched from step (564), and the gain adjustment is performed on the obtained divided audio data D (j) according to the volume level of the acquired ambient noise audio data, and the gain data is adjusted. Is stored as PD (i) in the output buffer memory 8 (step 566). However, i is a remainder whose modulus is 2 of j, and k is a remainder whose modulus is 2 of j−1 (step 560).
When the processing up to j = n−1 is completed (step 568), the processing returns to step 552.

次に、以上のようなゲイン調整処理の処理例を図6に示す。
いま、図6aに示すように、音声データDが6×tsの時間長分の音声を表すものであり、当該音声データDは、D(0)からD(5)の分割音声データに分割されるものとする。また、図6bに示すように、各々時間長tsの各時間区間t0からt6における周囲騒音Nを、N(t0)からN(t6)で示すものとする。但し、時間区間t0は、音声出力処理が開始された時点Sの直近過去の時間長tsの時間区間を表す。
Next, FIG. 6 shows an example of gain adjustment processing as described above.
Now, as shown in FIG. 6a, the audio data D represents audio for a time length of 6 × ts, and the audio data D is divided into divided audio data from D (0) to D (5). Shall be. Further, as shown in FIG. 6b, the ambient noise N in each time interval t0 to t6 of each time length ts is represented by N (t0) to N (t6). However, the time interval t0 represents a time interval of the last past time length ts of the time point S at which the audio output process is started.

この場合に、時点Sで音声出力処理が開始されると、当該時点において、騒音データバッファ9のNDPRには、騒音データ取得制御部23によって、既に、時間長tsを有する直近過去の時間区間t0の周囲騒音の音声データN(t0)が格納されている。そこで、ゲイン調整部22は、直ちに、音声データDの最初の分割音声データD(0)に、NDPRに格納されている周囲騒音N(t0)の音量レベルに応じたゲイン調整して音声データGD(0)を生成し、出力用音声バッファメモリ8のPD(0)に設定する。   In this case, when the audio output process is started at time S, at the time, the noise data acquisition control unit 23 stores the NDPR of the noise data buffer 9 in the most recent time interval t0 that already has the time length ts. Voice data N (t0) of ambient noise is stored. Therefore, the gain adjusting unit 22 immediately adjusts the gain according to the volume level of the ambient noise N (t0) stored in the NDPR to the first divided audio data D (0) of the audio data D, and the audio data GD. (0) is generated and set in PD (0) of the output audio buffer memory 8.

そして、次に、ゲイン調整部は、騒音データ取得制御部23によって、ND(0)に時間区間t1の周囲騒音の音声データN(t1)が格納されしだい、音声データDの2番目の分割音声データD(1)を、ND(0)に格納されている周囲騒音N(t1)の音量レベルに応じてゲイン調整して音声データGD(1)を生成し、出力用音声バッファメモリ8のPD(1)に設定する。   Then, as soon as the sound data N (t1) of the ambient noise in the time interval t1 is stored in ND (0) by the noise data acquisition control unit 23, the gain adjustment unit 23nd the second divided sound of the sound data D. The audio data GD (1) is generated by adjusting the gain of the data D (1) according to the volume level of the ambient noise N (t1) stored in ND (0), and the PD of the output audio buffer memory 8 Set to (1).

また、次に、ゲイン調整部は、騒音データ取得制御部23によって、ND(1)に時間区間t2の周囲騒音の音声データN(t2)が格納されしだい、音声データDの3番目の分割音声データD(2)を、ND(1)に格納されている周囲騒音N(t2)の音量レベルに応じてゲイン調整して音声データGD(2)を生成し、出力用音声バッファメモリ8のPD(0)に設定する。   Next, the gain adjustment unit, as soon as the noise data acquisition control unit 23 stores the sound data N (t2) of the ambient noise in the time interval t2 in ND (1), the third divided sound of the sound data D The data D (2) is gain-adjusted according to the volume level of the ambient noise N (t2) stored in ND (1) to generate audio data GD (2), and the output audio buffer memory 8 PD Set to (0).

次に、ゲイン調整部は、騒音データ取得制御部23によって、ND(0)に時間区間t3の周囲騒音の音声データN(t3)が格納されしだい、音声データDの4番目の分割音声データD(3)を、ND(0)に格納されている周囲騒音N(t3)の音量レベルに応じてゲイン調整して音声データGD(3)を生成し、出力用音声バッファメモリ8のPD(1)に設定する。   Next, as soon as the noise data acquisition control unit 23 stores the sound data N (t3) of the ambient noise in the time interval t3 in the ND (0), the gain adjustment unit 4th divided sound data D of the sound data D (3) is gain-adjusted according to the volume level of the ambient noise N (t3) stored in ND (0) to generate audio data GD (3), and PD (1) of the output audio buffer memory 8 ).

そして、以降、同様に、ND(1)とND(0)に格納された周囲騒音の音声データを交互に用いながら、分割音声データD(4)からD(5)にゲイン調整を施し、PD(0)とPD(1)に交互に設定していく。
このように、本第2実施形態によれば、音声出力の要求発生時に、常時保持するようにした直近過去の周囲騒音の音声データを用いて、速やかに音声データのゲイン調整を開始することができ、また、これにより速やかに音声出力を開始することができるようになる。
Thereafter, similarly, while using the sound data of ambient noise stored in ND (1) and ND (0) alternately, gain adjustment is performed on the divided sound data D (4) to D (5), and PD (0) and PD (1) are set alternately.
As described above, according to the second embodiment, when the voice output request is generated, the voice data gain adjustment can be started promptly using the voice data of the latest ambient noise that is always held. It is also possible to start voice output promptly.

本発明の第1実施形態に係る音声出力装置の構成を示すブロック図である。It is a block diagram which shows the structure of the audio | voice output apparatus which concerns on 1st Embodiment of this invention. 本発明の第1実施形態に係る音声出力処理を示すフローチャートである。It is a flowchart which shows the audio | voice output process which concerns on 1st Embodiment of this invention. 本発明の第1実施形態に係る音声出力処理の処理例を示す図である。It is a figure which shows the process example of the audio | voice output process which concerns on 1st Embodiment of this invention. 本発明の第2実施形態に係る音声出力装置の構成を示すブロック図である。It is a block diagram which shows the structure of the audio | voice output apparatus which concerns on 2nd Embodiment of this invention. 本発明の第2実施形態に係る騒音データ取得処理とゲイン調整処理を示すフローチャートである。It is a flowchart which shows the noise data acquisition process and gain adjustment process which concern on 2nd Embodiment of this invention. 本発明の第2実施形態に係る騒音データ取得処理とゲイン調整処理の処理例を示す図である。It is a figure which shows the process example of the noise data acquisition process and gain adjustment process which concern on 2nd Embodiment of this invention.

符号の説明Explanation of symbols

1…オペレーティングシステム、2…音声出力アプリケーション、3…サウンド入力装置、4…マイクロフォン、5…サウンド出力装置、6…スピーカ、7…音声データメモリ、8…出力用バッファメモリ、9…騒音データバッファ、11…サウンドドライバ(出力)、12…サウンドドライバ(入力)、21…出力制御部、22…ゲイン調整部、23…騒音データ取得制御部。   DESCRIPTION OF SYMBOLS 1 ... Operating system, 2 ... Sound output application, 3 ... Sound input device, 4 ... Microphone, 5 ... Sound output device, 6 ... Speaker, 7 ... Sound data memory, 8 ... Output buffer memory, 9 ... Noise data buffer, DESCRIPTION OF SYMBOLS 11 ... Sound driver (output), 12 ... Sound driver (input), 21 ... Output control part, 22 ... Gain adjustment part, 23 ... Noise data acquisition control part

Claims (6)

マイクロフォンと、
前記マイクロフォンを用いてピックアップした周囲の音声を表す周囲音声データを生成するサウンド入力装置と、
オリジナル音声データを格納したメモリと、
音声データを格納するバッファと、
スピーカへ音声を出力するサウンド出力装置と、
発行された音声出力要求を受け入れ、受け入れた音声出力要求で出力音声データとして指定された、前記バッファに格納されている音声データを読み出して、読み出した音声データが表す音声の前記スピーカへの出力を前記サウンド出力装置に行わせるサウンドドライバとを備えた音声出力システムに適用される出力音声ゲイン調整装置であって、
前記サウンド入力装置が生成した周囲音声データが表す周囲騒音の音量レベルを検出する騒音レベル検出手段と、
前記メモリに格納されているオリジナル音声データの出力を要求されたときに、当該メモリに格納されているオリジナル音声データを、所定時間長の時間区間毎の音声を表す音声データである分割音声データに分割し、各分割音声データを、前記所定時間毎に、順次、対象分割音声データとし、当該対象分割音声データが表す音声を、当該時点において前記騒音レベル検出手段が検出している周囲騒音の音量レベルに応じたゲインで増幅した音声を表す前記音声データを生成し、生成した前記音声データを前記バッファに格納すると共に、格納した前記音声データを前記出力音声データとして指定した前記音声出力要求を前記サウンドドライバに発行する音声出力処理を行う音声出力処理手段とを備えたことを特徴とする出力音声ゲイン調整装置。
A microphone,
A sound input device for generating ambient audio data representing ambient audio picked up using the microphone;
Memory storing original audio data,
A buffer for storing audio data;
A sound output device for outputting sound to a speaker ;
The issued voice output request is accepted, the voice data stored in the buffer specified as the output voice data in the accepted voice output request is read, and the voice represented by the read voice data is output to the speaker. An output audio gain adjustment device applied to an audio output system including a sound driver to be performed by the sound output device ,
Noise level detection means for detecting a volume level of ambient noise represented by ambient audio data generated by the sound input device;
When the output of the original sound data stored in the memory is requested, the original sound data stored in the memory is divided into divided sound data that is sound data representing sound for each predetermined time length. The divided sound data is divided into target divided sound data sequentially at the predetermined time intervals, and the sound represented by the target divided sound data is volume of ambient noise detected by the noise level detecting means at the time Generating the audio data representing the audio amplified by a gain according to a level, storing the generated audio data in the buffer, and outputting the audio output request specifying the stored audio data as the output audio data Output audio gain adjustment comprising audio output processing means for performing audio output processing issued to a sound driver Location.
請求項1記載のゲイン調整装置であって、
前記騒音レベル検出手段は、
少なくとも前記音声出力処理手段の前記音声出力処理の開始時まで、常時、前記サウンド入力装置が生成した、直近過去の前記所定時間長分の周囲音声データを保持する周囲騒音保持手段と、
前記音声出力処理手段の音声出力処理の開始時に、当該時点で、前記周囲騒音保持手段に保持されている前記直近過去の前記所定時間長分の周囲音声データの音量レベルを、前記検出する周囲騒音の音量レベルとして算定すると共に、以降、前記所定時間長の時間区間の経過毎に、当該直近に経過した前記所定時間長の時間区間に前記サウンド入力装置が生成した周囲音声データの音量レベルを、前記検出する周囲騒音の音量レベルとして算定する音量レベル算定手段とを有し、
前記音声出力処理手段は、前記音声出力処理において、前記音量レベル算定手段が、前記周囲騒音の音量レベルを算定する度に、前記各分割音声データを、順次、前記対象分割音声データとし、当該対象分割音声データが表す音声を、当該算定された周囲騒音の音量レベルに応じたゲインで増幅した音声を表す前記音声データを生成することを特徴とする音声出力装置。
The gain adjusting device according to claim 1,
The noise level detection means includes
Ambient noise holding means for holding the surrounding voice data for the predetermined time length in the past past, generated by the sound input device, at least until the start of the voice output processing of the voice output processing means,
At the start of the sound output processing of the sound output processing means, the ambient noise to be detected is detected at the time when the volume level of the surrounding sound data for the predetermined time length in the latest past held in the ambient noise holding means Thereafter, the volume level of the surrounding audio data generated by the sound input device during the most recently passed time interval for each elapse of the time interval of the predetermined time length, Volume level calculating means for calculating the volume level of the ambient noise to be detected;
The sound output processing means, in the sound output processing, each time the sound volume level calculating means calculates the sound volume level of the ambient noise, the divided sound data is sequentially set as the target divided sound data, and the target An audio output device that generates the audio data representing the audio obtained by amplifying the audio represented by the divided audio data with a gain corresponding to the calculated volume level of the ambient noise.
請求項1または2記載の出力音声ゲイン調整装置であって、
前記騒音レベル検出手段は、周波数帯域毎に、周囲騒音の音量レベルを検出し、
前記音声出力処理手段は、前記対象分割音声データが表す音声を、周波数帯域毎に、当該時点において前記騒音レベル検出手段が検出している周囲騒音の各周波数帯域の音量レベルに応じたゲインで増幅した音声を表す前記音声データを生成することを特徴とする出力音声ゲイン調整装置。
The output audio gain adjusting device according to claim 1 or 2 ,
The noise level detection means detects the volume level of ambient noise for each frequency band,
The sound output processing means amplifies the sound represented by the target divided sound data with a gain corresponding to the volume level of each frequency band of the ambient noise detected by the noise level detection means at each time point for each frequency band. An output audio gain adjustment apparatus, characterized in that the audio data representing the reproduced audio is generated.
請求項1、2または3記載の出力音声ゲイン調整装置であって、
当該音声出力装置は、自動車に搭載されるものであることを特徴とする出力音声ゲイン調整装置。
The output audio gain adjusting device according to claim 1, 2, or 3 ,
The audio output device is an audio output gain adjustment device mounted on an automobile.
マイクロフォンと、
前記マイクロフォンを用いてピックアップした周囲の音声を表す周囲音声データを生成するサウンド入力装置と、
オリジナル音声データを格納したメモリと、
音声データを格納するバッファと、
スピーカへ音声を出力するサウンド出力装置と、
発行された音声出力要求を受け入れ、受け入れた音声出力要求で出力音声データとして指定された、前記バッファに格納されている音声データを読み出して、読み出した音声データが表す音声の前記スピーカへの出力を前記サウンド出力装置に行われるサウンドドライバとを備えたコンピュータによって読み取られ実行されるコンピュータプログラムであって、
前記コンピュータを、
前記サウンド入力装置が生成した周囲音声データが表す周囲騒音の音量レベルを検出する騒音レベル検出手段と、
前記メモリに格納されているオリジナル音声データの出力を要求されたときに、当該メモリに格納されているオリジナル音声データを、所定時間長の時間区間毎の音声を表す音声データである分割音声データに分割し、各分割音声データを、前記所定時間毎に、順次、対象分割音声データとし、当該対象分割音声データが表す音声を、当該時点において前記騒音レベル検出手段が検出している周囲騒音の音量レベルに応じたゲインで増幅した音声を表す前記音声データを生成し、生成した前記音声データを前記バッファに格納すると共に、格納した前記音声データを前記出力音声データとして指定した前記音声出力要求を前記サウンドドライバに発行する音声出力処理を行う音声出力処理手段として機能させることを特徴とするコンピュータプログラム。
A microphone,
A sound input device for generating ambient audio data representing ambient audio picked up using the microphone;
Memory storing original audio data,
A buffer for storing audio data;
A sound output device for outputting sound to a speaker ;
The issued voice output request is accepted, the voice data stored in the buffer specified as the output voice data in the accepted voice output request is read, and the voice represented by the read voice data is output to the speaker. A computer program that is read and executed by a computer having a sound driver for the sound output device ,
The computer,
Noise level detection means for detecting a volume level of ambient noise represented by ambient audio data generated by the sound input device;
When the output of the original sound data stored in the memory is requested, the original sound data stored in the memory is divided into divided sound data that is sound data representing sound for each predetermined time length. The divided sound data is divided into target divided sound data sequentially at the predetermined time intervals, and the sound represented by the target divided sound data is volume of ambient noise detected by the noise level detecting means at the time Generating the audio data representing the audio amplified by a gain according to a level, storing the generated audio data in the buffer, and outputting the audio output request specifying the stored audio data as the output audio data A computer characterized by functioning as an audio output processing means for performing an audio output process issued to a sound driver Program.
請求項5記載のコンピュータプログラムであって、
前記騒音レベル検出手段は、
少なくとも前記音声出力処理手段の前記音声出力処理の開始時まで、常時、前記サウンド入力装置が生成した、直近過去の前記所定時間長分の周囲音声データを保持する周囲騒音保持手段と、
前記音声出力処理手段の音声出力処理の開始時に、当該時点で、前記周囲騒音保持手段に保持されている前記直近過去の前記所定時間長分の周囲音声データの音量レベルを、前記検出する周囲騒音の音量レベルとして算定すると共に、以降、前記所定時間長の時間区間の経過毎に、当該直近に経過した前記所定時間長の時間区間に前記サウンド入力装置が生成した周囲音声データの音量レベルを、前記検出する周囲騒音の音量レベルとして算定する音量レベル算定手段とを有し、
前記音声出力処理手段は、前記音声出力処理において、前記音量レベル算定手段が、前記周囲騒音の音量レベルを算定する度に、前記各分割音声データを、順次、前記対象分割音声データとし、当該対象分割音声データが表す音声を、当該算定された周囲騒音の音量レベルに応じたゲインで増幅した音声を表す前記音声データを生成することを特徴とするコンピュータプログラム
A computer program according to claim 5,
The noise level detection means includes
Ambient noise holding means for holding the surrounding voice data for the predetermined time length in the past past, generated by the sound input device, at least until the start of the voice output processing of the voice output processing means,
At the start of the sound output processing of the sound output processing means, the ambient noise to be detected is detected at the time when the volume level of the surrounding sound data for the predetermined time length in the latest past held in the ambient noise holding means Thereafter, the volume level of the surrounding audio data generated by the sound input device during the most recently passed time interval for each elapse of the time interval of the predetermined time length, Volume level calculating means for calculating the volume level of the ambient noise to be detected;
The sound output processing means, in the sound output processing, each time the sound volume level calculating means calculates the sound volume level of the ambient noise, the divided sound data is sequentially set as the target divided sound data, and the target A computer program for generating sound data representing sound obtained by amplifying sound represented by divided sound data with a gain corresponding to the volume level of the calculated ambient noise
JP2007061361A 2006-05-23 2007-03-12 Audio output device Expired - Fee Related JP5106889B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007061361A JP5106889B2 (en) 2006-05-23 2007-03-12 Audio output device

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006142464 2006-05-23
JP2006142464 2006-05-23
JP2007061361A JP5106889B2 (en) 2006-05-23 2007-03-12 Audio output device

Publications (2)

Publication Number Publication Date
JP2008003562A JP2008003562A (en) 2008-01-10
JP5106889B2 true JP5106889B2 (en) 2012-12-26

Family

ID=39007944

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007061361A Expired - Fee Related JP5106889B2 (en) 2006-05-23 2007-03-12 Audio output device

Country Status (1)

Country Link
JP (1) JP5106889B2 (en)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4375428B2 (en) 2007-04-09 2009-12-02 株式会社デンソー In-vehicle voice guidance device
KR101627219B1 (en) * 2008-04-29 2016-06-03 엘지전자 주식회사 Home appliance and home appliance system
US8532273B2 (en) 2008-04-29 2013-09-10 Lg Electronics Inc. Home appliance and home appliance system
US9054953B2 (en) 2008-06-16 2015-06-09 Lg Electronics Inc. Home appliance and home appliance system
KR101579481B1 (en) 2009-04-10 2015-12-22 엘지전자 주식회사 Diagnostic system and method for home appliance
US8565079B2 (en) 2009-04-10 2013-10-22 Lg Electronics Inc. Home appliance and home appliance system
KR101442115B1 (en) 2009-04-10 2014-09-18 엘지전자 주식회사 Home appliance and home appliance system
KR101421685B1 (en) 2009-04-10 2014-08-13 엘지전자 주식회사 Diagnostic system and method for home appliance
KR101555586B1 (en) 2009-04-10 2015-09-24 엘지전자 주식회사 Home appliance
CN102474420B (en) 2009-07-06 2014-12-17 Lg电子株式会社 Home appliance diagnosis system and method for operating same
KR101403000B1 (en) 2009-07-24 2014-06-17 엘지전자 주식회사 Home appliance and method for signal output of home appliance
KR20110010374A (en) 2009-07-24 2011-02-01 엘지전자 주식회사 Diagnostic system and method for home appliance
KR101472401B1 (en) 2009-07-31 2014-12-12 엘지전자 주식회사 Diagnostic system and method for home appliance
KR101482138B1 (en) 2009-07-31 2015-01-13 엘지전자 주식회사 Diagnostic system and method for home appliance
KR101607891B1 (en) 2009-07-31 2016-04-11 엘지전자 주식회사 Diagnostic system and method for home appliance
US8547200B2 (en) 2009-08-05 2013-10-01 Lg Electronics Inc. Home appliance and method for operating the same
KR101748605B1 (en) 2010-01-15 2017-06-20 엘지전자 주식회사 Refrigerator and diagnostic system for the refrigerator
WO2012005512A2 (en) 2010-07-06 2012-01-12 엘지전자 주식회사 Apparatus for diagnosing home appliances
KR101416937B1 (en) 2011-08-02 2014-08-06 엘지전자 주식회사 home appliance, home appliance diagnostic system, and method
KR101252167B1 (en) 2011-08-18 2013-04-05 엘지전자 주식회사 Diagnostic system and method for home appliance
KR101942781B1 (en) 2012-07-03 2019-01-28 엘지전자 주식회사 Home appliance and method of outputting audible signal for diagnosis
KR20140007178A (en) 2012-07-09 2014-01-17 엘지전자 주식회사 Diagnostic system for home appliance
JP5902225B2 (en) * 2014-04-10 2016-04-13 グリー株式会社 Output control program, output control device, and output control method
JP6193901B2 (en) * 2015-03-02 2017-09-06 グリー株式会社 Output control program, output control device, and output control method
JP7162698B2 (en) * 2019-11-07 2022-10-28 グリー株式会社 Output control program, information processing device, and output control method

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61163394A (en) * 1985-01-16 1986-07-24 カシオ計算機株式会社 Voice generator
JPH08317497A (en) * 1995-05-17 1996-11-29 Kiyoshi Kawachi Voice guidance device
JPH1155055A (en) * 1997-08-07 1999-02-26 Hitachi Ltd Volume control voice synthesizing device
JP4583781B2 (en) * 2003-06-12 2010-11-17 アルパイン株式会社 Audio correction device
JP2005148402A (en) * 2003-11-14 2005-06-09 Aisin Aw Co Ltd Information notification system and program for information notification method

Also Published As

Publication number Publication date
JP2008003562A (en) 2008-01-10

Similar Documents

Publication Publication Date Title
JP5106889B2 (en) Audio output device
KR102657519B1 (en) Electronic device for providing graphic data based on voice and operating method thereof
TWI471855B (en) Speech synthesis information editing apparatus, storage medium, and method
JPH10257596A (en) Speech speed conversion method and its device
JP2004101901A (en) Speech interaction system and speech interaction program
JP5103907B2 (en) Speech recognition system, speech recognition method, and speech recognition program
US20120271630A1 (en) Speech signal processing system, speech signal processing method and speech signal processing method program
CN113055738B (en) Video special effect processing method and device
JP2006215206A (en) Speech processor and control method therefor
WO2019181955A1 (en) Sound/vibration conversion apparatus
CN111801951A (en) Howling suppression device, method thereof, and program
JP5100532B2 (en) Information processing apparatus, control method thereof, and program
JP2008096487A (en) Engine sound modification device
JP5408133B2 (en) Speech synthesis system
JP2009260718A (en) Image reproduction system and image reproduction processing program
JP2008028532A (en) Voice processor and voice processing method
CN116964623A (en) Data generation device, data generation method, and program
JP6044490B2 (en) Information processing apparatus, speech speed data generation method, and program
JP2007258934A5 (en)
WO2020039753A1 (en) Information processing device for determining degree of security risk of macro
JP2021124780A (en) Information processing apparatus and information processing program
WO2024154230A1 (en) Information processing device, information processing method, and recording medium
JP7474548B2 (en) Controlling the playback of audio data
JP6217380B2 (en) Electronic device, sensitivity difference correction method, and program
JP5699418B2 (en) Musical sound generating device and musical sound generating program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110608

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110621

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110803

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120712

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20120723

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121002

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121003

R150 Certificate of patent or registration of utility model

Ref document number: 5106889

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151012

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees