WO2010100873A1 - カメラ付きスピーカ、信号処理装置、およびａｖシステム - Google Patents

カメラ付きスピーカ、信号処理装置、およびａｖシステム Download PDF

Info

Publication number
WO2010100873A1
WO2010100873A1 PCT/JP2010/001328 JP2010001328W WO2010100873A1 WO 2010100873 A1 WO2010100873 A1 WO 2010100873A1 JP 2010001328 W JP2010001328 W JP 2010001328W WO 2010100873 A1 WO2010100873 A1 WO 2010100873A1
Authority
WO
WIPO (PCT)
Prior art keywords
speaker
camera
listener
sound
signal processing
Prior art date
Application number
PCT/JP2010/001328
Other languages
English (en)
French (fr)
Inventor
阿部一任
宮阪修二
松本正治
秋吉伸一
藤田剛史
山田周平
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to CN2010800100777A priority Critical patent/CN102342131A/zh
Publication of WO2010100873A1 publication Critical patent/WO2010100873A1/ja
Priority to US13/224,632 priority patent/US20110316996A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/028—Casings; Cabinets ; Supports therefor; Mountings therein associated with devices performing functions other than acoustics, e.g. electric candles

Definitions

  • the present invention relates to a technique for performing sound reproduction preferable for a listener in an AV (audio / visual) system.
  • Sound propagation varies depending on the positional relationship between the sound source and the listener and the environment between the sound source and the listener. Therefore, the listener can detect the difference in sound propagation and perceive the impression of the position of the sound source and the environment. For example, when the sound source position is fixed in front of the listener, the left sound is relatively loud when the listener turns his face to the right, and the right sound is relatively loud when the listener is directed to the left. Reach the ear canal (level difference between both ears, time difference between both ears).
  • the auricle has a different influence on the frequency characteristics of incoming sound depending on the direction of arrival of the sound due to its shape. Therefore, the listener can perceive the presence of the sound source more clearly due to the characteristics (frequency characteristics) of the sound received by both ears and the change of the sound received by both ears.
  • the transfer characteristic between the ear canal entrance and the sound source is called the head related transfer function (HRTF, Head Related Transfer Function), which greatly affects the localization of human sound (perceiving where the sound is emitted).
  • HRTF Head Related Transfer Function
  • AV systems such as home theater devices that can reproduce more realistic sound using multi-channel speakers such as 5.1ch and 7.1ch by utilizing this person's sound localization ability, It has also become popular in the home.
  • Patent Document 1 discloses an audio reproduction device including a position detection unit that detects the positions of a plurality of speakers and viewers in real time, and a control unit that outputs audio signals to the plurality of speakers. Disclosure. The control unit calculates the positional relationship of each speaker with respect to the viewer based on the detection result from the position detection unit, and controls the playback sound by setting the audio signal output timing for each speaker from the calculation result. Yes.
  • Patent Document 2 the face direction and the number of listeners are detected by a camera, and the reproduction sound is controlled by switching filter coefficients for sound image control according to the listener's position obtained by the camera. A method is disclosed.
  • Patent Document 1 the relative positional relationship between the listener and the speaker is detected, and the output timing of the audio signal is controlled based on the relative positional relationship. That is, only the position of the speaker relative to the listener is taken into account for the control of sound reproduction. Also in Patent Document 2, the reproduction sound is merely controlled according to the position of the listener obtained by the camera.
  • the direction of the speaker relative to the listener needs to be reflected in the sound reproduction control.
  • An object of the present invention is to realize control of sound reproduction while dynamically reflecting the direction of a speaker relative to a listener in an AV system.
  • 1st invention is a speaker with a camera provided with the speaker main body and the camera which is installed integrally with the said speaker main body and image
  • an image in a direction in which the speaker body outputs sound can be acquired by a camera installed integrally with the speaker body.
  • the image processing technique the position of the listener can be recognized from this image, and the direction of the speaker body relative to the listener can be detected. Therefore, by using this camera-equipped speaker, it is possible to realize sound reproduction control while dynamically reflecting the direction of the speaker relative to the listener.
  • the second invention receives an image signal output from the camera, recognizes the position of the listener from the image indicated by the image signal, A recognition unit that detects the orientation of the speaker body with respect to the listener based on the recognized listener position, and a sound control that performs signal processing on the given sound signal and outputs the sound signal to the speaker body Part.
  • the position of the listener can be recognized by the recognition unit from the image taken by the camera of the camera-equipped speaker, and the orientation of the speaker body relative to the listener can be detected. Therefore, it is possible to realize control of sound reproduction while dynamically reflecting the direction of the speaker relative to the listener.
  • a third invention is an AV system that is installed integrally with a speaker main body, the speaker main body, and that captures a direction in which the speaker main body outputs sound, and receives an image signal output from the camera. And recognizing the position of the listener from the image indicated by the image signal, and detecting a direction of the speaker body relative to the listener based on the recognized listener position, and a given audio signal.
  • a sound control unit that performs signal processing and outputs the sound signal to the speaker body.
  • an image in a direction in which the speaker body outputs sound can be acquired by a camera installed integrally with the speaker body. From this image, the position of the listener can be recognized by the recognition unit, and the orientation of the speaker body relative to the listener can be detected. Therefore, it is possible to realize control of sound reproduction while dynamically reflecting the direction of the speaker relative to the listener.
  • the present invention by using a speaker with a camera, it is possible to control sound reproduction while dynamically reflecting the direction of the speaker with respect to the listener, so that sound reproduction more appropriate for the listener can be realized. Is realized.
  • Embodiment 1 is an example of a configuration of an AV system according to Embodiment 1. It is an example of the external appearance of a speaker with a camera. It is a figure for demonstrating the process which detects angle information among the processes in a recognition part. It is a figure for demonstrating the process which detects distance information among the processes in a recognition part. It is a graph which shows an example of the directional characteristic of a speaker. It is an example of the data table of the correction gain in an equalizer process. It is a figure for demonstrating the relationship between the distance from a sound source, and the attenuation amount of a sound. It is an example of the data table of the correction gain for attenuation correction. It is an example of the processing block in an audio
  • 3 is an example of a configuration of an AV system according to a second embodiment. It is an example of the data table of a filter correction coefficient. 10 is an example of a configuration of an AV system according to a third embodiment. 10 is an example of a configuration of an AV system according to a fourth embodiment.
  • FIG. 1 shows an example of the configuration of an AV system according to the first embodiment.
  • a speaker 100 with a camera including a speaker body 111 and a camera 112 installed integrally with the speaker body 111 is used.
  • the camera 112 captures the direction in which the speaker body 111 outputs sound.
  • the signal processing device 104 for the camera-equipped speaker 100 includes an audio control unit 102 and a recognition unit 103.
  • the image signal output from the camera 112 is given to the recognition unit 103 of the signal processing device 104.
  • the AV playback device 101 plays back AV content and outputs an audio signal and a video signal.
  • the audio signal is given to the audio control unit 102 of the signal processing device 104.
  • the video signal is sent to the display 106.
  • the recognition unit 103 recognizes the position of the listener P1 from the image indicated by the image signal output from the camera 112, and based on the recognized listener position, the speaker main body 111 with respect to the listener P1. Detect orientation. For example, the angle ⁇ h formed by the front direction of the speaker main body 111 (the chain line in FIG. 1) and the straight line (broken line in FIG. 1) connecting the speaker main body 111 and the listener P1 is obtained.
  • the sound control unit 102 performs signal processing on the given sound signal and outputs the sound signal to the speaker body 111 as an acoustic signal. In the signal processing, the output signal is corrected based on the directional characteristics of the speaker body 111 measured in advance according to the orientation of the speaker body 111 detected by the recognition unit 103. For example, the gain for each frequency is adjusted.
  • FIG. 1 only one camera-equipped speaker 100 is shown, but in the AV system, a plurality of speakers are usually arranged. Some or all of the plurality of speakers may be speakers with a camera. In addition, transmission of each signal may be performed by wire or wirelessly.
  • FIG. 2 is an example of the appearance of the camera-equipped speaker 100.
  • the camera 112 is installed on the speaker body 111 so as to face the same direction as the speaker body 111. Since the speaker is usually installed so as to face the listener, the configuration shown in FIG. 2 enables the camera 112 to photograph the listener.
  • the installation form of the camera in the camera-equipped speaker is not limited to the example in FIG. 2, and any other installation form may be used as long as the listener can be photographed.
  • the camera may be built in the front portion of the speaker or the like, and only the lens portion may be exposed to the outside.
  • a lens with a wide angle of view for example, a fish-eye lens
  • the shooting range is widened, so that the listener is more likely to enter the camera field of view and the options for the installation position of the camera can be expanded.
  • multiple cameras may be installed. As a result, the shooting range is widened, so that the listener is more likely to enter the camera field of view. In addition, the use of information photographed by a plurality of cameras can be expected to improve the detection accuracy of the listener's position.
  • the face image IP1 of the listener P1 is included in the camera image.
  • the horizontal angle of view of the camera 112 is 2 ⁇ .
  • the recognition unit 103 detects the face image IP1 from the camera image using an image recognition technique.
  • the face image IP1 can be detected by performing signal processing on the camera image signal and detecting a contour by edge detection or by detecting facial parts such as eyes and hair by color detection.
  • face recognition technology has already been applied to digital cameras and the like, and detailed description thereof is omitted here.
  • the position of the horizontal direction in the camera image of detected face image IP1 is calculated
  • the center position of the face image IP1 is at a position of length a to the left from the camera image center (0 ⁇ a ⁇ 1, and the horizontal width of the camera image is 2).
  • this angle ⁇ h is obtained by using the above a.
  • ⁇ h ⁇ * a It can be asked.
  • the angle ⁇ h represents the horizontal direction of the speaker main body 111 with respect to the listener P1 (the relationship between the direction of the speaker main body 111 and the direction of the camera 112 is known).
  • the angle ⁇ h can be similarly detected when the face image IP1 is included in the right half of the camera image. Further, the vertical angle ⁇ v can also be detected by the same method. By performing such processing, the recognition unit 103 can detect the orientation of the speaker body with respect to the listener P1.
  • FIG. 4A schematically shows how the size of a person's face changes according to the distance in the camera image.
  • the face widths are m0, m1, and m2, respectively.
  • FIG. 4B is a graph showing the relationship between the detected face width and the distance L. Creating a graph as shown in FIG. 4B by measuring the face width on the image at a distance L of several points in advance and drawing a straight line or curve that interpolates and extrapolates between the measurement points. Can do.
  • the recognizing unit 103 stores the relationship as shown in FIG. 4B using mathematical approximation or the like, and estimates the distance L using the face width detected from the image.
  • FIG. 4B a graph of three patterns with a head size of standard, large, and small is prepared in advance. Then, the size of the listener's head may be input by measurement or self-reporting, and a standard, large, or small graph may be selected according to the size.
  • the method of dividing the head size is not limited to three types. For example, the head size may be divided into groups at intervals of 1 cm, and a graph may be created for each group.
  • the recognition unit 103 can detect the position information (angles ⁇ h, ⁇ v and distance L) of the listener P1 using the image signal output from the camera 112.
  • the camera 112 is installed integrally with the speaker body 111, the position of the listener P1 relative to the speaker body 111 can be easily detected. For this reason, it is possible to perform more appropriate sound reproduction as compared with the conventional case.
  • the audio control unit 102 performs signal processing on the audio signal from the AV playback device 101 and outputs the signal to the speaker body 111 as an acoustic signal. Then, the position information (angles ⁇ h, ⁇ v and distance L) of the listener P1 detected by the recognition unit 103 is received, and signal processing corresponding to this is performed.
  • the output signal is corrected based on the directivity characteristics of the speaker main body 111 by using the direction information ⁇ h and ⁇ v for signal processing on the audio signal. That is, in the present embodiment, the output signal is corrected based on the directivity characteristics of the speaker body 111 according to the orientation of the speaker body 111 with respect to the listener P1.
  • FIG. 5 is a graph showing the directivity characteristics of a certain speaker.
  • the axis extending radially from the center of the circle indicates the sound intensity, and the sound intensity for each direction, that is, the directivity is drawn with a solid line.
  • the upper side of the graph is the front direction (front direction) of the speaker.
  • the directivity varies depending on the frequency of the sound to be reproduced.
  • directivity characteristics of 200 Hz, 500 Hz, and 1000 Hz are plotted
  • (b) directivity characteristics of 2 kHz, 5 kHz, and 10 kHz are plotted.
  • the sound is strongest in the front direction of the speaker, and roughly speaking, the sound becomes weaker as it goes backward (180 degrees opposite from the front).
  • the change differs depending on the frequency of the sound to be reproduced. The change is small at a low frequency, and the change is large as the frequency is increased.
  • the sound quality of the speaker is adjusted so that the sound balance is the best when listening in the front direction. If the position of the listener is deviated from the front direction of the speaker due to the directivity characteristics as shown in FIG. 5, the frequency characteristics of the sound to be heard may be greatly changed from the ideal state, and the sound balance may be deteriorated. I understand. Similar problems occur with respect to the phase characteristics of sound.
  • an equalizer that measures the directivity of the speaker and corrects the influence of the directivity is calculated in advance, and the equalizer processing is performed according to the detected direction information ⁇ h, ⁇ v, that is, the orientation of the speaker body relative to the listener. .
  • the equalizer processing is performed according to the detected direction information ⁇ h, ⁇ v, that is, the orientation of the speaker body relative to the listener.
  • FIG. 6 is an example of the sound pressure level (left number in the cell) and the equalizer correction gain (right number in the cell) for each angle and frequency from the front of the speaker. Each unit is dB.
  • the directivity characteristic graph at each frequency can be made substantially circular.
  • FIG. 6 is an example, and for example, the angle and frequency may be set more finely. If the detected angle is not included in the data, the correction gain may be calculated by interpolation or the like.
  • FIG. 6 is expanded and correction gains may be set for each of the angle ⁇ h in the horizontal direction and the angle ⁇ v in the vertical direction. Thereby, the correction of the directivity according to the direction of the speaker with respect to the listener can be performed three-dimensionally.
  • the voice control unit 102 only needs to include a digital filter such as an analog filter, an IIR filter, or an FIR filter.
  • a digital filter such as an analog filter, an IIR filter, or an FIR filter.
  • a Q value (a value representing the sharpness of the peak of the frequency characteristic) may be set together with the correction gain.
  • the gain of the sound emitted from the speaker is corrected in accordance with the detected distance information L. Therefore, even when the distance between the listener and the speaker is not optimal, it is possible to realize well-balanced reproduction.
  • the relationship between distance and attenuation described here is an ideal point sound source (a theoretical sound source having no size and omnidirectionality) and an ideal free sound field.
  • the sound source is not a point sound source but has a size and directivity.
  • the sound field is not a free sound field due to various reflections.
  • the correction gain for each distance as shown in FIG. 8 may be measured and held in advance for an actual speaker or reproduction environment. If the detected distance L is not in the data, an approximate value of the correction gain may be calculated by interpolation approximation or the like.
  • This correction gain may be set for each frequency. It is known that a high frequency component sound has a greater attenuation due to distance than a low frequency component sound. Therefore, by having a data table as shown in FIG. 8 for each frequency, more accurate sound pressure correction can be realized. Such sound pressure correction for each frequency can be realized by band division and gain setting using a QMF filter bank or the like, and IIR digital filters, FIR digital filters, and the like are generally used.
  • the volume of the speaker at the distance r1 is decreased and the distance is adjusted so as to match the volume of the speaker at the distance r2.
  • Increase the volume of the r3 speaker it is possible to adjust the volume that reaches the listener from each speaker.
  • the correction may be made based on the volume of another speaker, or may be based on a completely different volume. If the efficiency of each speaker is different, it is possible to adjust the volume in consideration of that.
  • the voice control unit 102 performs correction according to the angle information ⁇ h and ⁇ v and the distance information L, the direction of the speaker is deviated from the listener, or the distance from the speaker to the listener is not optimal. Even in this case, better sound reproduction can be realized.
  • FIG. 9 is an example of processing blocks in the voice control unit 102.
  • the voice control unit 102 includes three processing blocks 121, 122, and 123.
  • the processing block 121 performs the correction according to the angle information as described above.
  • the gain correction according to the distance as described above is performed.
  • the processing block 123 corrects the sound output timing according to the detected distance so that the timings of the sounds from the plurality of speakers match at the listener position.
  • the correction values for each angle and each distance are realized with the gain for the entire band or frequency, but each can be held as a correction FIR filter and used for correction.
  • the phase can be controlled, and correction with higher accuracy can be performed.
  • the camera 112 always shoots and continuously outputs the image signal to the recognition unit 103.
  • the recognizing unit 103 always detects the position of the listener from the image signal, and continues to output the position information of the listener to the voice control unit 102 in real time.
  • the voice control unit 102 receives position information output in real time, and continuously corrects the acoustic signal by switching correction processing in real time. Thereby, even if the position of the listener is dynamically changed, it is possible to realize voice control following the change.
  • the correction process is switched even by a minute movement of the listener, but there may be a change that cannot be detected in the sense of hearing. There will be no. Therefore, for example, the position information of the listener may be output to the sound control unit 102 only when the recognition unit 103 detects a movement (change in angle or distance) of the listener that is equal to or greater than a predetermined threshold.
  • image capturing by the camera 112 and detection processing by the recognition unit 103 may be performed at a predetermined time interval. Thereby, the processing load of the system can be suppressed.
  • the recognition unit 103 and the voice control unit 102 may execute processing. As a result, the processing load on the system can be further suppressed.
  • an initial value of the listener's position information is set in advance by, for example, execution of a measurement mode provided in the system, and dynamic correction associated with subsequent movement of the listener is taken as an image signal captured by the camera 112. You may make it perform using.
  • correction data table as shown in the present embodiment is recorded in, for example, a nonvolatile memory in the audio control unit 102.
  • an actual AV system includes a plurality of speakers
  • control according to the user position is performed for each sound reproduced from each speaker. It can be carried out.
  • FIG. 10 shows an example of the configuration of an AV system according to the second embodiment. 10, components common to those in FIG. 1 are denoted by the same reference numerals as those in FIG. 1, and description thereof is omitted here.
  • the speaker body of the camera-equipped speaker 200 is an array speaker 113 composed of a plurality of speaker units.
  • An array speaker can realize sharp directivity characteristics by increasing the number of speaker units and lengthening the length (for example, Nishikawa et al., “Directive Array Speaker Using Two-Dimensional Digital Filter”, Electronic Information Communication) (Refer to the academic journal A Vol.J78-A No.11 pp.1419-1428, November 1995). By using this technique for sound reproduction, it is expected that sound is prevented from diffusing in an unnecessary direction. For this purpose, it is necessary to direct the directivity peak of the array speaker 113 toward the listener.
  • the camera 112 is installed on the array speaker 113, and the recognition unit 103 detects the orientation of the array speaker 113 with respect to the listener in the signal processing device 204. This detection can be realized in the same manner as in the first embodiment. Then, the audio control unit 202 performs signal processing on the audio signal so that the directivity peak of the array speaker 113 is directed toward the listener, and outputs an acoustic signal to each speaker unit.
  • the direction of the directivity peak of the array speaker 113 can be easily controlled, for example, by setting the delay and gain added to the acoustic signal to each speaker unit. For example, if it is desired to shift the direction of the directivity peak to the right, it is only necessary to reduce the delay of the acoustic signal and increase the gain for the left speaker unit so that the sound is output more quickly.
  • FIG. 11A shows the angle ⁇ h and the FIR filter coefficient Hx_y for each speaker unit (where x is the angle ⁇ h and y is the speaker unit number).
  • a data table as shown in FIG. 11 is stored in a non-volatile memory in the voice control unit 202, and the voice control unit 202 uses the FIR filter from the data table according to the angle information ⁇ h detected by the recognition unit 103. Coefficients are read and voice control is realized.
  • the directivity control in the horizontal plane has been described here, the directivity control according to the angle information ⁇ v in the vertical direction can be similarly realized by using the speaker array in which the speaker units are arranged in the vertical direction.
  • the gain correction according to the distance may be performed on the acoustic signal to each speaker unit.
  • local reproduction refers to reproduction in which sound is reproduced only within a certain predetermined range, and the sound volume is suddenly lowered at a position away from it.
  • the voice control unit 202 switches the control parameter to include the position of the listener P1 in the local reproduction range. To control.
  • FIG. 12 shows an example of the configuration of the AV system according to the third embodiment.
  • the same components as those in FIG. 1 are denoted by the same reference numerals as those in FIG. 1, and description thereof is omitted here.
  • the camera-equipped speaker 300 includes a movable mechanism 114 for changing the direction of the speaker body 111.
  • the movable mechanism 114 is realized by, for example, an electric rotary table.
  • the signal processing device 304 includes a movable mechanism control unit 301 for controlling the movable mechanism 114.
  • the recognition unit 103 outputs the position information of the listener P1 detected from the image signal to the movable mechanism control unit 301 in addition to the sound control unit 102.
  • the movable mechanism control unit 301 receives the position information of the listener P1 and sends a control signal to the movable mechanism 114 so that the speaker body 111 faces the listener P1. By such an operation, the orientation of the speaker body 111 can be dynamically adjusted to the position of the listener P1.
  • the control for actually changing the direction of the speaker as described above may be performed in combination with the correction process for the directivity of the speaker described in the first embodiment. Specifically, for example, when the angle information ⁇ h, ⁇ v indicating the orientation of the speaker main body 111 with respect to the listener P1 is equal to or smaller than a predetermined threshold, the directivity correction process is performed, and when the predetermined threshold is exceeded, the movable mechanism Control such as changing the direction of the speaker by 114 may be performed.
  • the directivity correction process is performed
  • the movable mechanism Control such as changing the direction of the speaker by 114 may be performed.
  • this embodiment may be applied to the array speaker shown in the second embodiment. That is, directivity control and control for local reproduction can be realized by installing the array speaker in a movable mechanism and changing the direction of the array speaker by controlling the movable mechanism.
  • FIG. 13 shows an example of the configuration of an AV system according to the fourth embodiment.
  • the same reference numerals as those in FIG. 1 are given to components common to those in FIG. 1, and description thereof is omitted here.
  • the recognition unit 403 recognizes the position of each listener P ⁇ b> 1, P ⁇ b> 2, P ⁇ b> 3 from the image indicated by the image signal output from the camera 112 and detects the number of listeners. .
  • the position information is detected for each of the listeners P1, P2, and P3 as in the first embodiment.
  • the voice controller 402 uses the positional relationship between the listeners P1, P2, and P3 in addition to the orientation of the speaker body 111 to Process.
  • directivity control is performed on the centers of the plurality of listeners.
  • directivity control for other listeners is performed, or correction itself is not performed.
  • more appropriate reproduction is realized by performing signal processing according to the positional relationship between the listeners.
  • the plurality of listeners when detecting the number of listeners from the camera image, for example, when a plurality of listeners are overlapped when viewed from the speaker, the plurality of listeners may be recognized as one.
  • directivity control is performed for a listener recognized as one person, there is no particular problem in sound quality. That is, when a plurality of listeners appear to overlap each other, it is not necessary to detect the number of people strictly, and the processing is simplified accordingly.
  • correction of directivity characteristics has been mainly described.
  • the face direction of the listener as viewed from the speaker and the distance between the speaker and the listener are detected, and the head from the speaker is detected.
  • a configuration in which the transfer function is estimated and the voice control unit performs control is also possible.
  • the voice control unit holds control parameters corresponding to the face orientation and distance in advance, and plays back by switching the control parameters according to the detection result.
  • An example of simple correction is correction of the distance from the speaker to the listener. For example, when the distance from a certain speaker to the listener is closer than that of other speakers, the timing of sound generation is delayed. Thereby, the same effect as extending the speaker distance can be expected.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Television Receiver Circuits (AREA)
  • Studio Devices (AREA)
  • Details Of Audible-Bandwidth Transducers (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Abstract

　ＡＶシステムは、カメラ（１１２）を有するカメラ付きスピーカ（１００）を備えている。カメラ（１１２）はスピーカ本体（１１１）と一体に設置されており、スピーカ本体（１１１）が音を出力する方向を撮影する。認識部（１０３）はカメラ（１１２）の画像から受聴者（Ｐ１）の位置を認識し、受聴者（Ｐ１）に対するスピーカ本体（１１１）の向きを検出する。音声制御部（１０２）は与えられた音声信号に対して信号処理を行い、スピーカ本体（１１１）に音響信号として出力する。

Description

カメラ付きスピーカ、信号処理装置、およびＡＶシステム
　本発明は、ＡＶ（オーディオ・ビジュアル）システムにおいて、受聴者にとって好ましい音響再生を行うための技術に関する。
　音の伝播は、音源と受聴者との位置関係や、音源と受聴者との間の環境によって異なる。このため、受聴者は、音の伝播の違いを検知して、音源の位置や環境の印象を知覚することができる。例えば、音源位置が受聴者の正面に固定してある場合、受聴者が顔を右に向ければ左の音が、左に向ければ右の音が、相対的に大きく、また，時間的に早く、外耳道に到達する（両耳間レベル差，両耳間時間差）。また、耳介はその形状から、音の到来方向に応じて，到来する音の周波数特性に異なる影響を与える。したがって、両耳で受聴する音の特性（周波数特性）や、両耳で受聴する音の変化により、受聴者はより鮮明に音源の存在を知覚することができる。
　外耳道入り口と音源との間の伝達特性は、頭部伝達関数（ＨＲＴＦ，Head Related Transfer Function）と呼ばれ，人の音の定位（どこで音が発せられているか知覚すること）に大きな影響を与えることが分かっている。この人の音の定位能力を利用して、５．１ｃｈ，７．１ｃｈなどのマルチチャネルスピーカを用いて，より臨場感あふれる音声の再生を可能とするホームシアター機器等のＡＶシステムが、近年，一般家庭にも普及してきている。
　このようなＡＶシステムでは、一般に、スピーカは受聴者を中心とした円上の所定の位置に、受聴者に向けて配置することが推奨されている。しかしながら、設置スペース等の関係により、各スピーカは必ずしも推奨位置に配置できるとは限らない。この場合には、次のような問題が生じる。
　まず、コンテンツ製作者が意図したような音の再生が困難になるという問題がある。例えば、スピーカの配置位置が推奨位置と異なっている場合には、受聴者が知覚する音の到来方向が、本来想定していた方向と必ずしも一致しなくなる。このため、このスピーカから聞こえる音だけでなく、他のスピーカから発せられる音とのバランスにも影響を与えるため、受聴者が感じる音の印象は、コンテンツ制作者が意図していたものと大きく変わってしまう可能性がある。
　また、スピーカが推奨位置に配置されている場合でも、受聴者が本来の推奨位置で受聴しなかったり、あるいは、推奨位置から移動してしまった場合等には、上と同様の問題が生じる。
　このような問題に対して、特許文献１では、複数のスピーカと視聴者の位置をリアルタイムで検出する位置検出部と、複数のスピーカに音声信号を出力する制御部とを備えた音声再生装置を開示している。制御部は、位置検出部からの検出結果を元に、視聴者に対する各スピーカの位置関係を算出し、当該算出結果から各スピーカに対する音声信号出力タイミングを設定することによって、再生音を制御している。
　また、特許文献２では、受聴者の顔向きや人数をカメラで検出し、カメラで得られた受聴者の位置に応じて、音像制御のためのフィルタ係数を切り替えることによって、再生音を制御する方法について開示している。
特開平６－３１１２１１号公報 特開２００３－３２７７６号公報
　しかしながら、上述の従来技術では、次のような問題がある。
　まず特許文献１では、受聴者とスピーカとの相対的な位置関係を検出し、それに基づいて音声信号の出力タイミングを制御している。すなわち、音響再生の制御のために考慮しているのは、受聴者に対するスピーカの位置のみである。また、特許文献２でも、カメラで得られた受聴者の位置に応じて、再生音を制御しているに過ぎない。
　これに対して、音響再生に影響を与えるものは、受聴者とスピーカとの位置関係だけではない。例えば、受聴者に対するスピーカの向きも、音の聞こえ方に大きな影響を与える。これは、スピーカの指向特性が周波数毎に異なっていることに起因する。スピーカは本来、正面方向で聞こえる音において周波数特性のバランスがよくなるよう設計されている。ところが、スピーカの指向特性は周波数毎に異なるため、例えば、スピーカに対して横からあるいは後ろから音を聞くと、周波数特性のバランスが悪くなり、本来のスピーカの音響性能が得られなくなってしまう。
　したがって、最適な音響再生を実現するためには、受聴者に対するスピーカの向きに関しても、音響再生の制御に反映させる必要がある。しかも、受聴者が受聴中に移動することも考慮すれば、動的に制御可能なように、受聴者に対するスピーカの向きに関する情報をリアルタイムで取得可能にすることが好ましい。
　本発明は、ＡＶシステムにおいて、音響再生の制御を、受聴者に対するスピーカの向きを動的に反映させつつ、実現することを目的とする。
　第１の発明は、スピーカ本体と、前記スピーカ本体と一体に設置されており、当該スピーカ本体が音を出力する方向を撮影するカメラとを備えたカメラ付きスピーカである。
　この発明によると、スピーカ本体と一体に設置されたカメラによって、スピーカ本体が音を出力する方向の画像を取得することができる。画像処理技術によって、この画像から、受聴者の位置を認識し、受聴者に対するスピーカ本体の向きを検出できる。したがって、このカメラ付きスピーカを利用することによって、受聴者に対するスピーカの向きを動的に反映させつつ、音響再生の制御を実現することが可能になる。
　第２の発明は、前記第１の発明に係るカメラ付きスピーカ用の信号処理装置として、前記カメラから出力された画像信号を入力とし、前記画像信号が示す画像から受聴者の位置を認識し、認識した受聴者位置を基にして、前記受聴者に対する前記スピーカ本体の向きを検出する認識部と、与えられた音声信号に対して信号処理を行い、前記スピーカ本体に音響信号として出力する音声制御部とを備えたものである。
　この発明によると、カメラ付きスピーカのカメラによって撮影された画像から、認識部によって、受聴者の位置を認識し、受聴者に対するスピーカ本体の向きを検出することができる。したがって、受聴者に対するスピーカの向きを動的に反映させつつ、音響再生の制御を実現することが可能になる。
　第３の発明は、ＡＶシステムとして、スピーカ本体と、前記スピーカ本体と一体に設置されており、当該スピーカ本体が音を出力する方向を撮影するカメラと、前記カメラから出力された画像信号を入力とし、前記画像信号が示す画像から受聴者の位置を認識し、認識した受聴者位置を基にして、前記受聴者に対する前記スピーカ本体の向きを検出する認識部と、与えられた音声信号に対して信号処理を行い、前記スピーカ本体に音響信号として出力する音声制御部とを備えたものである。
　この発明によると、スピーカ本体と一体に設置されたカメラによって、スピーカ本体が音を出力する方向の画像を取得することができる。この画像から、認識部によって、受聴者の位置を認識し、受聴者に対するスピーカ本体の向きを検出できる。したがって、受聴者に対するスピーカの向きを動的に反映させつつ、音響再生の制御を実現することが可能になる。
　本発明によると、カメラ付きスピーカを利用することによって、受聴者に対するスピーカの向きを動的に反映させつつ、音響再生の制御を実現することが可能になるので、受聴者にとってより適切な音響再生が実現される。
実施の形態１に係るＡＶシステムの構成の一例である。 カメラ付きスピーカの外観の一例である。 認識部における処理のうち、角度情報を検出する処理を説明するための図である。 認識部における処理のうち、距離情報を検出する処理を説明するための図である。 スピーカの指向特性の一例を示すグラフである。 イコライザ処理における補正ゲインのデータテーブルの例である。 音源からの距離と音の減衰量との関係を説明するための図である。 減衰補正のための補正ゲインのデータテーブルの例である。 音声制御部内の処理ブロックの一例である。 実施の形態２に係るＡＶシステムの構成の一例である。 フィルタ補正係数のデータテーブルの例である。 実施の形態３に係るＡＶシステムの構成の一例である。 実施の形態４に係るＡＶシステムの構成の一例である。
　以下、本発明の実施の形態について、図面を参照して詳細に説明する。
　（実施の形態１）
　図１は実施の形態１に係るＡＶシステムの構成の一例を示す。図１のＡＶシステムでは、スピーカ本体１１１と、このスピーカ本体１１１と一体に設置されているカメラ１１２とを備えたカメラ付きスピーカ１００を用いている。カメラ１１２は、スピーカ本体１１１が音を出力する方向を撮影する。また、このカメラ付きスピーカ１００用の信号処理装置１０４は、音声制御部１０２と認識部１０３とを備えている。カメラ１１２から出力された画像信号は、信号処理装置１０４の認識部１０３に与えられる。ＡＶ再生装置１０１はＡＶコンテンツを再生し、音声信号と映像信号を出力する。音声信号は、信号処理装置１０４の音声制御部１０２に与えられる。映像信号はディスプレイ１０６に送られる。
　信号処理装置１０４において、認識部１０３は、カメラ１１２から出力された画像信号が示す画像から受聴者Ｐ１の位置を認識し、認識した受聴者位置を基にして、受聴者Ｐ１に対するスピーカ本体１１１の向きを検出する。例えば、スピーカ本体１１１の正面方向（図１の一点鎖線）と、スピーカ本体１１１と受聴者Ｐ１とを結ぶ直線（図１の破線）とのなす角度θｈを求める。音声制御部１０２は、与えられた音声信号に対して信号処理を行い、スピーカ本体１１１に音響信号として出力する。そして、その信号処理において、認識部１０３によって検出されたスピーカ本体１１１の向きに応じて、予め測定されているスピーカ本体１１１の指向特性に基づいた、出力信号の補正を行う。例えば、周波数毎のゲインを調整する。
　なお、図１では、１個のカメラ付きスピーカ１００しか図示していないが、ＡＶシステムでは、スピーカは通常、複数個、配置される。複数のスピーカのうち、一部または全部がカメラ付きスピーカであればよい。また、各信号の伝送は、有線で行ってもよいし、無線で行ってもよい。
　図２はカメラ付きスピーカ１００の外観の一例である。図２の例では、カメラ１１２は、スピーカ本体１１１の上に、スピーカ本体１１１と同じ向きを向くように設置されている。スピーカは通常、受聴者の方を向くように設置されることが多いため、図２のような構成によりカメラ１１２が受聴者を撮影可能となる。
　なお、カメラ付きスピーカにおけるカメラの設置形態は、図２の例に限られることはなく、受聴者の姿が撮影可能であれば、他の設置形態でもよい。例えば、スピーカ前面部分などにカメラを内蔵し、レンズ部分のみが外に露出している形態でもよい。また、画角の広いレンズ例えば魚眼レンズを用いれば、撮影範囲が広がるため、受聴者がカメラ視野に入る可能性が高くなるとともに、カメラの設置位置の選択肢を拡げることができる。例えば、スピーカ上部の角などにレンズが露出するような設置も可能である。
　また、複数のカメラを設置してもよい。これにより、撮影範囲が広がるため、受聴者がカメラ視野に入る可能性が高くなる。また，複数のカメラで撮影した情報を用いることによって、受聴者の位置の検出精度の向上も期待できる。
　図３を用いて、認識部１０３における処理について説明する。図３では、カメラ画像中に受聴者Ｐ１の顔画像ＩＰ１が含まれている。カメラ１１２の水平方向の画角は２γとする。認識部１０３は画像認識技術を用いて、カメラ画像から顔画像ＩＰ１を検出する。例えば、カメラ画像信号に信号処理を行い、エッジ検出によって輪郭を検出したり、色検出によって目や髪などの顔のパーツを検出したりすることによって、顔画像ＩＰ１を検出できる。このような顔認識技術は、近年ではディジタルカメラなどですでに応用されており、ここではその詳細な説明は省略する。
　そして、検出された顔画像ＩＰ１のカメラ画像における水平方向の位置を求める。ここでは、顔画像ＩＰ１の中心位置がカメラ画像中心から左に長さａの位置にある（０＜ａ＜１、カメラ画像の水平方向の幅を２とする）ものとする。カメラ１１２の正面方向（図３の一点鎖線）と、カメラ１１２と受聴者Ｐ１とを結ぶ直線（図３の破線）とのなす角度をθｈとすると、この角度θｈは、上のａを用いると、
　θh＝γ＊ａ
と求めることができる。この角度θｈは、見方を変えれば、受聴者Ｐ１に対するスピーカ本体１１１の水平方向における向きを表している（スピーカ本体１１１の向きとカメラ１１２の向きとの関係は既知である）。
　なお、顔画像ＩＰ１がカメラ画像の右半分に含まれている場合も、同様に角度θｈを検出することができる。また、同様の方法によって、上下方向の角度θｖも検出することができる。このような処理を行うことによって、認識部１０３は、受聴者Ｐ１に対するスピーカ本体の向きを検出することができる。
　次に、スピーカと受聴者Ｐ１との距離Ｌを推定する方法の一例について、図４を用いて説明する。図４（ａ）はカメラ画像において、人の顔のサイズが距離に応じてどのように変わるかを模式的に示す図である。距離ｌ０，ｌ１，ｌ２のとき、顔の幅がそれぞれｍ０，ｍ１，ｍ２になっている。図４（ｂ）は検出された顔の幅と距離Ｌとの関係を示すグラフである。予め、数点の距離Ｌで画像上の顔幅を測定しておき、測定点間を内挿・外挿する直線または曲線を引くことによって、図４（ｂ）のようなグラフを作成することができる。認識部１０３は図４（ｂ）のような関係を例えば数式近似等を用いて記憶しておき、画像から検出した顔幅を用いて距離Ｌを推定する。
　なお、実際のユーザは、標準的な頭の大きさを持つ人ばかりとは限らず、頭が標準より大きい人や小さい人もいる。そこで図４（ｂ）では、頭の大きさが標準、大、小の３パタンのグラフを予め準備している。そして、受聴者の頭の大きさを測定や自己申告などによって入力し、その大きさに応じて標準、大、小のいずれかのグラフを選択するようにすればよい。もちろん、頭の大きさの分け方は３種類に限られるものではなく、例えば頭のサイズを１ｃｍ間隔でグループに分け，そのグループごとにグラフを作成しておいてもかまわない。
　スピーカと受聴者Ｐ１との距離Ｌを推定する方法としては、ここで説明した方法以外にも、例えば、設置位置が既知の２台のカメラからの画像情報を基にして算出する方法や，カメラのオートフォーカスで受聴者を検出したピント位置から推定する方法等も、考えられる。
　以上のように、認識部１０３は、カメラ１１２から出力された画像信号を用いて、受聴者Ｐ１の位置情報（角度θｈ，θｖと距離Ｌ）を検出することができる。特に、カメラ１１２はスピーカ本体１１１と一体に設置されているため、スピーカ本体１１１に対する受聴者Ｐ１の位置が簡便に検出できる。このため、従来と比べて、より適切な音響再生が可能になる。
　次に、音声制御部１０２における処理について説明する。図１に示すように、音声制御部１０２は、ＡＶ再生装置１０１からの音声信号に対して信号処理を行い、スピーカ本体１１１に音響信号として出力する。そして、認識部１０３によって検出された受聴者Ｐ１の位置情報（角度θｈ，θｖと距離Ｌ）を受け、これに応じた信号処理を行う。
　まず方向情報θｈ，θｖの利用方法について説明する。ここでは、音声信号に対する信号処理にこの方向情報θｈ，θｖを用いることによって、スピーカ本体１１１の指向特性に基づいた、出力信号の補正を行うものとする。すなわち本実施形態では、受聴者Ｐ１に対するスピーカ本体１１１の向きに応じて、スピーカ本体１１１の指向特性に基づき、出力信号が補正される。
　図５はあるスピーカの指向特性を示すグラフである。図５の（ａ），（ｂ）それぞれにおいて、円の中心から放射線状に広がる軸は音の強さを示しており、方向毎の音の強さすなわち指向特性が実線で描かれている。グラフの上側がスピーカの正面方向（前方向）である。指向特性は再生する音の周波数によって異なる。（ａ）では２００Ｈｚ，５００Ｈｚ，１０００Ｈｚの、（ｂ）では２ｋＨｚ，５ｋＨｚ，１０ｋＨｚの指向特性がそれぞれプロットされている。
　図５から分かるように、スピーカの正面方向が最も音が強くなり、おおまかに言って、後方向（正面から１８０度反対方向）に向かうにつれて音が弱くなる。またその変化は、再生する音の周波数によって異なり、低い周波数では変化が少なく、周波数が高くなると変化が大きくなる。スピーカは一般に、正面方向で聴いたときに音のバランスが最も良くなるように音質調整されている。図５に示すような指向特性から、受聴者の位置がスピーカの正面方向からずれている場合、受聴する音の周波数特性が理想状態から大きく変わってしまい、音のバランスが悪くなってしまうことが分かる。同様の問題は、音の位相特性に関しても生じる。
　そこで、スピーカの指向特性を測定し、指向特性の影響を補正するようなイコライザを予め算出しておき、検出した方向情報θｈ，θｖ、すなわち受聴者に対するスピーカ本体の向きに応じてイコライザ処理を行う。これにより、受聴者に対するスピーカの向きに依らない，バランスのよい再生を実現することが可能となる。
　図６を用いて、具体的なイコライザ処理について説明する。図６はスピーカ正面からの角度毎および周波数毎の、音圧レベル（セル中の左の数字）とイコライザの補正ゲイン（セル中の右の数字）の例である。単位はそれぞれｄＢである。図６の例では、音圧レベルに対する補正ゲインを角度毎および周波毎に設定することによって、受聴者がどこにいてもスピーカの正面方向にいるのと同じ音を受聴可能にしている。言い換えると、図６の補正ゲインを用いることによって、各周波数における指向特性のグラフをほぼ真円にすることができる。なお、図６は一例であり、例えば、角度と周波数をより細かな設定としてもよい。また、検出された角度がデータ中にない場合は、内挿等によって補正ゲインを算出すればよい。
　またここでは、水平面上の指向特性について述べたが、スピーカの指向特性はスピーカを取り囲む球上に定義される。そこで、図６を拡張し、水平方向における角度θｈと垂直方向における角度θｖのそれぞれについて、補正ゲインを設定すればよい。これにより、受聴者に対するスピーカの向きに応じた指向特性の補正を３次元的に行うことができる。　　　
　イコライザ処理を行うために、音声制御部１０２は、アナログフィルタ、ＩＩＲフィルタやＦＩＲフィルタ等のディジタルフィルタを備えていればよい。また例えば、補正にパラメトリックイコライザを用いる場合には、補正ゲインと併せて、Ｑ値（周波数特性のピークの鋭さをあらわす値）を設定してもかまわない。
　次に、距離情報Ｌの利用方法について説明する。ある１点から音が発せられた場合、音は全方向に伝播し、広がった分だけ減衰していくが、この減衰量は距離の２乗に反比例する。例えば図７に示すように、音源からの距離がｒ１からｒ２（＝ｒ１×２）のように２倍になると、音圧は１／４（＝（１／２）２　）となり、ｒ３（＝ｒ１×４）のように４倍になると、音圧は１／１６（＝（１／４）２　）となる。すなわち、受聴者がスピーカから離れると、その分、受聴者に知覚される音の音圧は低くなる。この場合，他のスピーカからの音圧との関係から音量バランスが悪くなり、音の定位などが、コンテンツ製作者が意図したものとは異なる音が受聴されることになり、好ましくない。
　そこで、検出した距離情報Ｌに応じて、スピーカから発せられる音のゲイン補正を行う。これにより、受聴者とスピーカとの距離が最適でない場合でも、バランスのよい再生を実現することが可能となる。
　なお、ここで説明した距離と減衰との関係は、理想的な点音源（大きさがなく、無指向性の理論的な音源）で、かつ、理想的な自由音場で成り立つものである。実際には、音源は点音源でなく大きさをもち、指向性も有する。また、音場も様々な反射があるため自由音場ではない。このため、実際のスピーカや再生環境について、図８のような距離毎の補正ゲインを予め測定して保持しておけばよい。検出した距離Ｌがデータ中にない場合には、内挿近似等によって補正ゲインの近似値を算出すればよい。
　またこの補正ゲインは、周波数毎に設定するようにしてもよい。高い周波数成分の音は低い周波数成分の音に比べて、距離による減衰量が大きいことが知られている。したがって、図８のようなデータテーブルを周波数毎に持つことによって、より精度の高い音圧補正を実現することできる。このような周波数ごとの音圧補正は、ＱＭＦフィルタバンク等による帯域分割とゲイン設定によって実現することが可能であり、ＩＩＲディジタルフィルタやＦＩＲディジタルフィルタ等が一般に用いられる。
　また、複数のスピーカからの音圧レベルを合わせるように補正することも可能である。例えば、受聴者までの距離が図７に示すｒ１，ｒ２，ｒ３の位置にそれぞれスピーカが配置されている場合、距離ｒ２のスピーカの音量に合わせるように、距離ｒ１のスピーカの音量を下げるとともに距離ｒ３のスピーカの音量を上げる。この補正により、それぞれのスピーカから受聴者に到達する音量を合わせることができる。もちろん、他のスピーカの音量を基準に補正してもよいし、全く別の音量を基準にしてもよい。また、各スピーカの能率が違う場合には、それも考慮した音量調整を行うことも可能である。
　このように、角度情報θｈ，θｖと距離情報Ｌに応じて音声制御部１０２が補正を行うことによって、スピーカの向きが受聴者からずれている場合や、スピーカから受聴者までの距離が最適でない場合でも、より良い音の再生を実現することができる。
　図９は音声制御部１０２内の処理ブロックの一例である。図９では、音声制御部１０２は、３個の処理ブロック１２１，１２２，１２３を備えており、処理ブロック１２１は上述したような、角度情報に応じた補正を行うものであり、処理ブロック１２２は上述したような、距離に応じたゲイン補正を行うものである。また、処理ブロック１２３は、複数のスピーカからの音のタイミングが受聴者位置で一致するように、検出された距離に応じて、音の出力タイミングを補正するものである。
　なお、ここでは、角度毎および距離毎の補正値を全帯域または周波数毎のゲインで実現したが、それぞれを補正用ＦＩＲフィルタとして保持しておき、補正に用いることも可能である。ＦＩＲフィルタを用いることによって、位相の制御も可能となり、より精度の高い補正を行うことが可能となる。
　次に、カメラ１１２による画像撮影、認識部１０３による検出処理、および音声制御部１０２による補正について、その動作タイミングの一例について説明する。
　例えば、カメラ１１２は常に撮影を行い、画像信号を認識部１０３に出力し続ける。認識部１０３は常に画像信号から受聴者の位置を検出し、受聴者の位置情報を音声制御部１０２にリアルタイムで出力し続ける。音声制御部１０２はリアルタイムに出力される位置情報を受け、リアルタイムに補正処理を切り替えて音響信号を補正し続ける。これにより、受聴者の位置が動的に変化した場合であっても、それに追従した音声制御を実現することができる。
　ただしこのような制御では、受聴者の微小な移動によっても補正処理が切り替わることになるが、聴感上検知できない程度の変化しか生じない場合もあり、そのような補正処理の切り替えは聴感上，意味のないものとなる。そのため例えば認識部１０３が、受聴者について所定の閾値以上の移動（角度または距離の変化）を検出したときにのみ、音声制御部１０２に受聴者の位置情報を出力するようにしてもよい。
　または、カメラ１１２による画像撮影や認識部１０３による検出処理を、ある所定の時間間隔で行うようにしてもよい。これにより、システムの処理負荷を抑えることができる。あるいは、ユーザがリモコン等でトリガスイッチをＯＮしたときに、認識部１０３および音声制御部１０２が処理を実行するようにしてもよい。これにより、システムの処理負荷をさらに抑えることが可能になる。
　または、受聴者の位置情報の初期値を、例えばシステムが備えている測定モードの実行等によって予め設定しておき、その後の受聴者の移動に伴う動的補正を、カメラ１１２によって撮影した画像信号を用いて行うようにしてもよい。
　なお、本実施形態で示したような補正用データテーブルは、例えば、音声制御部１０２内の不揮発メモリ等に記録されている。
　また、実際のＡＶシステムは、複数のスピーカを備えているため、ここで説明した技術を各スピーカに適用することによって、各スピーカから再生されるそれぞれの音に対してユーザ位置に応じた制御を行うことができる。
　（実施の形態２）
　図１０は実施の形態２に係るＡＶシステムの構成の一例を示す。図１０において、図１と共通の構成要素には図１と同一の符号を付しており、ここではその説明を省略する。
　図１０の構成では、カメラ付きスピーカ２００のスピーカ本体が、複数のスピーカユニットからなるアレイスピーカ１１３となっている。アレイスピーカは、スピーカユニットの個数を多くし、その長さを長くすることによって、鋭い指向特性を実現できる（例えば、西川他、「２次元ディジタルフィルタを用いた指向性アレースピーカ」、電子情報通信学会論文誌 A Vol.J78-A No.11 pp.1419-1428、１９９５年１１月を参照）。この技術を音響再生に用いることによって、不要方向への音の拡散防止が期待されるが、そのためには、アレイスピーカ１１３の指向性のピークを受聴者の方向に向ける必要がある。
　本実施形態では，このアレイスピーカ１１３にカメラ１１２を設置し、信号処理装置２０４において、認識部１０３が受聴者に対するアレイスピーカ１１３の向きを検出する。この検出は、実施形態１と同様に実現することができる。そして音声制御部２０２が、アレイスピーカ１１３の指向性のピークが受聴者の方向に向くよう、音声信号に対して信号処理を行い、各スピーカユニットにそれぞれ音響信号を出力する。
　アレイスピーカ１１３の指向性のピークの向きは、例えば、各スピーカユニットへの音響信号に付加するディレイとゲインの設定によって、簡易に制御することができる。例えば、指向性のピークの向きを少し右にずらしたい場合は、左側のスピーカユニットについて、音響信号のディレイを小さくするとともにゲインを上げて、音をより早く大きく出力させればよい。
　また、アレイスピーカ１１３の指向性のピークをより精度良く受聴者Ｐ１の方に向けるために、図１１のような、各スピーカユニットの音声制御に用いるＦＩＲフィルタ係数を角度毎に保持するデータテーブルを用いてもよい。図１１（ａ）は角度θｈとスピーカユニット毎のＦＩＲフィルタ係数Ｈｘ＿ｙ（ｘは角度θｈ、ｙはスピーカユニット番号）を示している。また図１１（ｂ）は角度θｈ＝３０°のときの各スピーカユニットのＦＩＲフィルタ係数の一例である。例えば、図１１に示すようなデータテーブルを音声制御部２０２内の不揮発性メモリに記憶しておき、音声制御部２０２が、認識部１０３によって検出された角度情報θｈに応じてデータテーブルからＦＩＲフィルタ係数を読み出し、音声制御を実現する。
　なおここでは，水平面での指向性制御について説明したが、スピーカユニットを垂直方向に配置したスピーカアレイを用いることによって、垂直方向における角度情報θｖに応じた指向性制御も同様に実現可能である。
　また、スピーカユニットを平面状に配置することによって、水平、垂直それぞれの角度情報に応じた指向性制御も実現可能である。
　また、距離情報Ｌに応じた制御についても、実施形態１と同様に、距離に応じたゲイン補正を各スピーカユニットへの音響信号に実施すればよい。
　また、アレイスピーカを用いた場合には、いわゆる局所再生を行うことが可能であり、本実施形態をこの局所再生の制御に適用してもかまわない。局所再生とは、ある所定範囲内でのみ音が再生され、そこから離れた位置では急激に音量が下がるような再生のことである。例えば、カメラ１１２によって受聴者Ｐ１の位置を検出し、想定した範囲外に受聴者Ｐ１がいた場合、音声制御部２０２が制御パラメタを切り替えて、局所再生の範囲を受聴者Ｐ１の位置が含まれるように制御する。
　（実施の形態３）
　図１２は実施の形態３に係るＡＶシステムの構成の一例を示す。図１２において、図１と共通の構成要素には図１と同一の符号を付しており、ここではその説明を省略する。
　図１２の構成では、カメラ付きスピーカ３００が、スピーカ本体１１１の向きを変化させるための可動機構１１４を備えている。この可動機構１１４は、例えば電動式の回転テーブルによって実現される。そして信号処理装置３０４は、可動機構１１４を制御するための可動機構制御部３０１を備えている。認識部１０３は画像信号から検出した受聴者Ｐ１の位置情報を、音声制御部１０２に加えて可動機構制御部３０１に出力する。可動機構制御部３０１は受聴者Ｐ１の位置情報を受けて、スピーカ本体１１１が受聴者Ｐ１の方を向くように可動機構１１４に制御信号を送る。このような動作によって、スピーカ本体１１１の向きを受聴者Ｐ１の位置に動的に合わせることが可能になる。
　上のようなスピーカの向きを実際に変える制御は、実施形態１で説明したスピーカの指向特性の補正処理と組み合わせて行ってもよい。具体的には例えば、受聴者Ｐ１に対するスピーカ本体１１１の向きを表す角度情報θｈ，θｖが所定閾値以下である場合は、指向特性の補正処理で対応し、所定閾値を超えた場合は、可動機構１１４によってスピーカの向きを変える、といった制御を行ってもよい。スピーカの向きが受聴者から大きく外れた場合、指向特性の補正のためには大きな補正ゲインを与えなければならない。ところが補正ゲインを大きくすると、ディジタル信号ではオーバーフローの問題が生じ、また、スピーカ自体の再生上限ゲインによって音に歪みが生じる可能性がある。したがって、本実施形態における制御を指向特性補正と組み合わせることによって、このような問題を回避することができる。
　また、本実施形態を、実施の形態２で示したアレイスピーカに適用してもよい。すなわち、アレイスピーカを可動機構に設置し、可動機構を制御してアレイスピーカの向きを変えることによって、指向性制御や局所再生向け制御を実現することが可能である。
　（実施の形態４）
　図１３は実施の形態４に係るＡＶシステムの構成の一例を示す。図１３において、図１と共通の構成要素には図１と同一の符号を付しており、ここではその説明を省略する。
　図１３の構成では、信号処理装置４０４において、認識部４０３は、カメラ１１２から出力された画像信号が示す画像から各受聴者Ｐ１，Ｐ２，Ｐ３の位置を認識し、受聴者の人数を検出する。そして受聴者Ｐ１，Ｐ２，Ｐ３それぞれについて、実施形態１と同様に位置情報を検出する。音声制御部４０２は、認識部４０３によって複数の受聴者Ｐ１，Ｐ２，Ｐ３が検出されたとき、スピーカ本体１１１の向きに加えて、受聴者Ｐ１，Ｐ２，Ｐ３同士の位置関係も用いて、信号処理を行う。例えば、複数の受聴者がスピーカ本体１１１からみて所定の角度の範囲内に存在する場合は、複数の受聴者の中心に対して、指向特性制御を行う。また、一人の受聴者だけ離れた位置にいる場合は、それ以外の受聴者に対する指向特性制御を行う、あるいは、補正自体を行わないようにする。このように、複数の受聴者が存在する場合、受聴者同士の位置関係に応じた信号処理を行うことによって、より適切な再生が実現される。
　なお、カメラ画像から受聴者の人数を検出する場合、例えばスピーカからみて複数の受聴者が重なっている場合には、複数の受聴者を一人として認識してしまう可能性がある。しかしながら、このような場合でも、一人と認識した受聴者に向けて指向特性制御を行えば、音質上、特に問題は生じない。すなわち、複数の受聴者が重なって見える場合には、その人数を厳密に検出する必要はなく、その分処理が簡易になる。
　なお、上述の各実施形態では、主として指向特性の補正について説明したが、その他にも例えば、スピーカからみた受聴者の顔向きやスピーカと受聴者間の距離を検出し、そのスピーカからの頭部伝達関数を推定して、音声制御部が制御を行うといった構成も可能である。音声制御部は予め顔向きと距離に応じた制御パラメタを保持しており、検出結果に応じて制御パラメタを切り替えて再生する。簡便な補正の例としては、スピーカから受聴者までの距離の補正がある。例えば、あるスピーカから受聴者までの距離が他のスピーカより近い場合、音を発するタイミングを遅くする。これにより、スピーカ距離を拡げたのと同じ効果が期待できる。
　本発明では、ＡＶシステムにおいて、受聴者にとってより適切な音響再生が実現されるので、例えば、ホームシアター機器などの音響品質向上などに有用である。
１００，２００，３００　カメラ付きスピーカ
１０２，２０２，４０２　音声制御部
１０３，４０３　認識部
１０４，２０４，３０４，４０４　信号処理装置
１１１　スピーカ本体
１１２　カメラ
１１３　アレイスピーカ（スピーカ本体）
１１４　可動機構
３０１　可動機構制御部
Ｐ１，Ｐ２，Ｐ３　受聴者

Claims (9)

  1. 　スピーカ本体と、
    　前記スピーカ本体と一体に設置されており、当該スピーカ本体が音を出力する方向を撮影するカメラとを備えた
    ことを特徴とするカメラ付きスピーカ。
  2. 　請求項１記載のカメラ付きスピーカにおいて、
    　前記スピーカ本体は、複数のスピーカユニットからなるアレイスピーカである
    ことを特徴とするカメラ付きスピーカ。
  3. 　請求項１記載のカメラ付きスピーカにおいて、
    　前記スピーカ本体の向きを変化させるための可動機構を備えている
    ことを特徴とするカメラ付きスピーカ。
  4. 　請求項１記載のカメラ付きスピーカ用の信号処理装置であって、
    　前記カメラから出力された画像信号を入力とし、前記画像信号が示す画像から受聴者の位置を認識し、認識した受聴者位置を基にして、前記受聴者に対する前記スピーカ本体の向きを検出する認識部と、
    　与えられた音声信号に対して信号処理を行い、前記スピーカ本体に音響信号として出力する音声制御部とを備えた
    ことを特徴とする信号処理装置。
  5. 　請求項４記載の信号処理装置において、
    　前記音声制御部は、前記認識部によって検出された前記スピーカ本体の向きに応じて、前記スピーカ本体の指向特性に基づいた、出力信号の補正を行う
    ことを特徴とする信号処理装置。
  6. 　請求項４記載の信号処理装置において、
    　前記スピーカ本体は、複数のスピーカユニットからなるアレイスピーカであり、
    　前記音声制御部は、前記認識部によって検出された前記スピーカ本体の向きに応じて、前記スピーカ本体による局所再生の制御を行う
    ことを特徴とする信号処理装置。
  7. 　請求項４記載の信号処理装置において、
    　前記認識部は、受聴者の人数を検出可能であり、
    　前記音声制御部は、前記認識部によって複数の受聴者が検出されたとき、前記認識部によって検出された、前記スピーカ本体の向きと受聴者同士の位置関係とに応じて、信号処理を行う
    ことを特徴とする信号処理装置。
  8. 　請求項４記載の信号処理装置において、
    　前記カメラ付きスピーカは、前記スピーカ本体の向きを変化させるための可動機構を備え、
    　当該信号処理装置は、前記可動機構を制御するための可動機構制御部を備え，
    　前記可動機構制御部は、前記認識部によって検出された前記スピーカ本体の向きに応じて、前記可動機構を制御する
    ことを特徴とする信号処理装置。
  9. 　スピーカ本体と、
    　前記スピーカ本体と一体に設置されており、当該スピーカ本体が音を出力する方向を撮影するカメラと、
    　前記カメラから出力された画像信号を入力とし、前記画像信号が示す画像から受聴者の位置を認識し、認識した受聴者位置を基にして、前記受聴者に対する前記スピーカ本体の向きを検出する認識部と、
    　与えられた音声信号に対して信号処理を行い、前記スピーカ本体に音響信号として出力する音声制御部とを備えた
    ことを特徴とするＡＶシステム。
PCT/JP2010/001328 2009-03-03 2010-02-26 カメラ付きスピーカ、信号処理装置、およびａｖシステム WO2010100873A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN2010800100777A CN102342131A (zh) 2009-03-03 2010-02-26 带摄像机的扬声器、信号处理装置以及av系统
US13/224,632 US20110316996A1 (en) 2009-03-03 2011-09-02 Camera-equipped loudspeaker, signal processor, and av system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009048981A JP2010206451A (ja) 2009-03-03 2009-03-03 カメラ付きスピーカ、信号処理装置、およびａｖシステム
JP2009-048981 2009-03-03

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/224,632 Continuation US20110316996A1 (en) 2009-03-03 2011-09-02 Camera-equipped loudspeaker, signal processor, and av system

Publications (1)

Publication Number Publication Date
WO2010100873A1 true WO2010100873A1 (ja) 2010-09-10

Family

ID=42709442

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/001328 WO2010100873A1 (ja) 2009-03-03 2010-02-26 カメラ付きスピーカ、信号処理装置、およびａｖシステム

Country Status (4)

Country Link
US (1) US20110316996A1 (ja)
JP (1) JP2010206451A (ja)
CN (1) CN102342131A (ja)
WO (1) WO2010100873A1 (ja)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5885918B2 (ja) * 2010-10-29 2016-03-16 ソニー株式会社 表示装置、音声信号処理方法およびプログラム
JP5817182B2 (ja) * 2011-03-31 2015-11-18 日本電気株式会社 スピーカ装置及び電子機器
JP5121999B1 (ja) * 2011-12-26 2013-01-16 株式会社東芝 位置座標検出装置、位置座標検出方法および電子機器
JPWO2013105413A1 (ja) 2012-01-11 2015-05-11 ソニー株式会社 音場制御装置、音場制御方法、プログラム、音場制御システム及びサーバ
US9678713B2 (en) 2012-10-09 2017-06-13 At&T Intellectual Property I, L.P. Method and apparatus for processing commands directed to a media center
US9137314B2 (en) 2012-11-06 2015-09-15 At&T Intellectual Property I, L.P. Methods, systems, and products for personalized feedback
EP2955934B1 (en) * 2013-02-05 2017-09-20 Toa Corporation Amplification system
CN103491397B (zh) * 2013-09-25 2017-04-26 歌尔股份有限公司 一种实现自适应环绕声的方法和系统
CN104661159B (zh) * 2013-11-19 2017-12-15 中山市云创知识产权服务有限公司 扬声器
GB2528247A (en) * 2014-07-08 2016-01-20 Imagination Tech Ltd Soundbar
CN112929788A (zh) 2014-09-30 2021-06-08 苹果公司 确定扬声器位置变化的方法
US10362391B2 (en) * 2014-10-24 2019-07-23 Lenovo (Singapore) Pte. Ltd. Adjusting audio content based on audience
CN105827931B (zh) * 2015-06-19 2019-04-12 维沃移动通信有限公司 一种基于拍照的音频输出方法和装置
CN106331467B (zh) * 2015-06-30 2019-08-13 芋头科技（杭州）有限公司 全景照片自动拍摄系统及方法
TW201707471A (zh) * 2015-08-14 2017-02-16 Unity Opto Technology Co Ltd 自動控制指向性喇叭及其燈具
KR102423753B1 (ko) 2015-08-20 2022-07-21 삼성전자주식회사 스피커 위치 정보에 기초하여, 오디오 신호를 처리하는 방법 및 장치
US9736610B2 (en) 2015-08-21 2017-08-15 Sonos, Inc. Manipulation of playback device response using signal processing
WO2018143979A1 (en) 2017-02-01 2018-08-09 Hewlett-Packard Development Company, L.P. Adaptive speech intelligibility control for speech privacy
CN107277708A (zh) * 2017-06-06 2017-10-20 余姚德诚科技咨询有限公司 基于图像识别的电动式扬声器
CN108271098A (zh) * 2018-02-06 2018-07-10 深圳市歌美迪电子技术发展有限公司 音响机构以及音响系统
US11032508B2 (en) 2018-09-04 2021-06-08 Samsung Electronics Co., Ltd. Display apparatus and method for controlling audio and visual reproduction based on user's position
KR20200027394A (ko) * 2018-09-04 2020-03-12 삼성전자주식회사 디스플레이 장치 및 이의 제어 방법
JP7411422B2 (ja) 2019-03-27 2024-01-11 パナソニックホールディングス株式会社 音声入力方法、プログラム及び音声入力装置
US11968268B2 (en) 2019-07-30 2024-04-23 Dolby Laboratories Licensing Corporation Coordination of audio devices
JP6697174B1 (ja) * 2019-10-30 2020-05-20 富士通クライアントコンピューティング株式会社 情報処理装置、プログラムおよび情報処理システム
WO2021127286A1 (en) * 2019-12-18 2021-06-24 Dolby Laboratories Licensing Corporation Audio device auto-location
JP6795775B1 (ja) * 2020-02-13 2020-12-02 富士通クライアントコンピューティング株式会社 スピーカ装置、回転制御プログラム、および情報処理システム
CN113891216B (zh) * 2021-09-24 2023-08-29 深圳创维－Rgb电子有限公司 一种声音导向装置以及视听设备
GB2616073A (en) * 2022-02-28 2023-08-30 Audioscenic Ltd Loudspeaker control
CN115426589A (zh) * 2022-11-03 2022-12-02 荣耀终端有限公司 一种音频信号的调节方法及电子设备
CN115529527B (zh) * 2022-11-28 2023-04-07 东莞市云仕电子有限公司 一种挂耳式耳机

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001025084A (ja) * 1999-07-07 2001-01-26 Matsushita Electric Ind Co Ltd スピーカー装置
JP2008022495A (ja) * 2006-07-14 2008-01-31 Matsushita Electric Ind Co Ltd スピーカシステム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0541897A (ja) * 1991-08-07 1993-02-19 Pioneer Electron Corp スピーカ装置およびその指向性制御方法
US6914622B1 (en) * 1997-05-07 2005-07-05 Telbotics Inc. Teleconferencing robot with swiveling video monitor
US6535609B1 (en) * 1997-06-03 2003-03-18 Lear Automotive Dearborn, Inc. Cabin communication system
US6445287B1 (en) * 2000-02-28 2002-09-03 Donnelly Corporation Tire inflation assistance monitoring system
JP2000023281A (ja) * 1998-04-28 2000-01-21 Canon Inc 音声出力装置および方法
US6593956B1 (en) * 1998-05-15 2003-07-15 Polycom, Inc. Locating an audio source
US6741273B1 (en) * 1999-08-04 2004-05-25 Mitsubishi Electric Research Laboratories Inc Video camera controlled surround sound
US6494363B1 (en) * 2000-01-13 2002-12-17 Ncr Corporation Self-service terminal
JP2001339703A (ja) * 2000-05-26 2001-12-07 Nec Corp テレビ会議システム及びテレビ会議システムに於けるカメラの制御装置並びにカメラの制御方法
CN101674512A (zh) * 2001-03-27 2010-03-17 1...有限公司 产生声场的方法和装置
JP2004537233A (ja) * 2001-07-20 2004-12-09 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ エコー抑圧回路及びラウドスピーカ・ビームフォーマを有する音響補強システム
BR0304830A (pt) * 2002-05-14 2004-08-17 Koninkl Philips Electronics Nv Dispositivo, e, método de comunicação entre um usuário e um aparelho elétrico
JP2004120459A (ja) * 2002-09-27 2004-04-15 Mitsubishi Electric Corp 音声出力装置
WO2004095878A2 (en) * 2003-04-23 2004-11-04 Rh Lyon Corp Method and apparatus for sound transduction with minimal interference from background noise and minimal local acoustic radiation
WO2006057131A1 (ja) * 2004-11-26 2006-06-01 Pioneer Corporation 音響再生装置、音響再生システム
US20070253561A1 (en) * 2006-04-27 2007-11-01 Tsp Systems, Inc. Systems and methods for audio enhancement
JP4894353B2 (ja) * 2006-05-26 2012-03-14 ヤマハ株式会社 放収音装置
JP4488036B2 (ja) * 2007-07-23 2010-06-23 ヤマハ株式会社 スピーカアレイ装置
US8219409B2 (en) * 2008-03-31 2012-07-10 Ecole Polytechnique Federale De Lausanne Audio wave field encoding
US8620009B2 (en) * 2008-06-17 2013-12-31 Microsoft Corporation Virtual sound source positioning
US8385557B2 (en) * 2008-06-19 2013-02-26 Microsoft Corporation Multichannel acoustic echo reduction

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001025084A (ja) * 1999-07-07 2001-01-26 Matsushita Electric Ind Co Ltd スピーカー装置
JP2008022495A (ja) * 2006-07-14 2008-01-31 Matsushita Electric Ind Co Ltd スピーカシステム

Also Published As

Publication number Publication date
US20110316996A1 (en) 2011-12-29
JP2010206451A (ja) 2010-09-16
CN102342131A (zh) 2012-02-01

Similar Documents

Publication Publication Date Title
WO2010100873A1 (ja) カメラ付きスピーカ、信号処理装置、およびａｖシステム
JP2010206451A5 (ja)
US9936323B2 (en) System, apparatus and method for consistent acoustic scene reproduction based on informed spatial filtering
KR102319880B1 (ko) 포커스 거리에 가까운 사운드 소스들을 강조하는 공간 오디오 처리
US9560451B2 (en) Conversation assistance system
CN109391895B (zh) 调整固体电影屏幕上的音频图像的感知提升的系统和方法
JP4924119B2 (ja) アレイスピーカ装置
KR20170125660A (ko) 오디오 신호 처리 방법 및 장치
EP2589231A1 (en) Facilitating communications using a portable communication device and directed sound output
US20230096873A1 (en) Apparatus, methods and computer programs for enabling reproduction of spatial audio signals
US9110366B2 (en) Audiovisual apparatus
US10440495B2 (en) Virtual localization of sound
US11012774B2 (en) Spatially biased sound pickup for binaural video recording
US20120224700A1 (en) Sound image control device and sound image control method
WO2022064100A1 (en) Parametric spatial audio rendering with near-field effect

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080010077.7

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10748474

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10748474

Country of ref document: EP

Kind code of ref document: A1