WO2020213375A1 - 表示装置、制御方法、およびプログラム - Google Patents

表示装置、制御方法、およびプログラム Download PDF

Info

Publication number
WO2020213375A1
WO2020213375A1 PCT/JP2020/014399 JP2020014399W WO2020213375A1 WO 2020213375 A1 WO2020213375 A1 WO 2020213375A1 JP 2020014399 W JP2020014399 W JP 2020014399W WO 2020213375 A1 WO2020213375 A1 WO 2020213375A1
Authority
WO
WIPO (PCT)
Prior art keywords
speaker
unit
sound source
display device
source position
Prior art date
Application number
PCT/JP2020/014399
Other languages
English (en)
French (fr)
Inventor
山岡　大祐
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/602,503 priority Critical patent/US20220217469A1/en
Priority to CN202080027267.3A priority patent/CN113678469A/zh
Priority to EP20792151.1A priority patent/EP3958585A4/en
Priority to JP2021514854A priority patent/JPWO2020213375A1/ja
Priority to KR1020217030875A priority patent/KR20210151795A/ko
Publication of WO2020213375A1 publication Critical patent/WO2020213375A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems

Definitions

  • This disclosure relates to display devices, control methods, and programs.
  • display devices such as television receivers and personal computers are provided with a display having a display surface on which images are displayed, speakers and the like are arranged on the back side of the display, and the speakers and the like are covered from the back side by a rear cover.
  • a speaker is arranged on the back side of the lower end of the display, and a slit that functions as a passage hole for the sound output from the speaker is located on the lower side of the display, and the sound output from the speaker is located.
  • a slit that functions as a passage hole for the sound output from the speaker
  • the sound source position is specified from the image displayed on the display unit, and is synchronized with the image output to a plurality of sets of speaker units including at least one set of speaker units provided on the upper part of the display unit.
  • a display device including a control unit that performs different signal processing for an audio signal according to the sound source position.
  • the processor identifies a sound source position from an image displayed on the display unit, and outputs the image to a plurality of sets of speaker units including at least one set of speaker units provided on the upper part of the display unit.
  • a control method including a control unit that performs different signal processing according to the sound source position for the audio signal synchronized with.
  • a program for functioning as a control unit that performs different signal processing according to the sound source position for the audio signal synchronized with.
  • the direction in which the display surface of the display device (television receiver) faces is the front side (front side), and the front-back, up-down, left-right directions are shown.
  • FIG. 1 is a diagram illustrating a configuration example of a display device according to an embodiment of the present disclosure.
  • the display device 10 includes a control unit 110, a display unit 120, an audio output unit 130, a tuner 140, a communication unit 150, a remote control receiving unit 160, and a storage unit 170.
  • the display unit 120 displays a video of program content selected and received by the tuner 140, an EPG (Electronic Program Guide), data broadcasting content, and displays an OSD (On-Screen Display).
  • the display unit 120 is realized by, for example, a liquid crystal display (LCD), an organic EL ((Electro Luminescence)) display, or the like. Further, the display unit 120 may be realized by a flat panel speaker. Is to generate vibration on the flat panel by a plurality of exciters provided on the back surface of the flat panel to output sound, and to be integrated with a display device for displaying images and output sound from the display surface.
  • the panel portion is composed of, for example, a thin plate-shaped display cell (display cell as a vibrating plate) for displaying an image and an inner plate (supporting a vibrator) arranged to face the display cell via a gap. Substrate) and.
  • the audio output unit 130 is composed of an acoustic generator that reproduces an audio signal.
  • the audio output unit 130 may use the above-mentioned flat panel speaker (diaphragm (display unit) and exciter).
  • the audio output unit 130 is composed of a plurality of sets of speaker units including at least one set of speaker units provided on the upper end side on the back side of the display unit 120.
  • the speaker unit means a speaker housing including at least one sound generating element for reproducing an audio signal.
  • a set of speaker units provided on the upper end side of the back side of the display unit 120 (hereinafter referred to as an upper speaker 131) and a set of speakers provided on the lower end side of the back side of the display unit 120. It is configured to have a speaker unit (hereinafter, referred to as a lower speaker 132).
  • FIG. 2 shows an example of the arrangement of speakers in the display device 10 according to the present embodiment.
  • a plurality of sound generating elements for example, composed of a cone type speaker for emitting sound waves are provided on the back surface of the display unit 120-1.
  • the upper speaker (speaker unit) 131L is arranged on the left side of the upper end side (Top), and the upper speaker (speaker unit) is arranged on the right side.
  • 131R is arranged.
  • the lower speaker (speaker unit) 132L is arranged on the left side of the lower end side (Bottom), and the lower speaker (speaker unit) 132R is arranged on the right side.
  • a voice passage hole (not shown) is formed around the speaker unit, and the sound wave generated by the speaker unit is emitted to the outside of the display device 10 through the voice passage hole.
  • the sound wave emission direction in the display device 10 can be emitted vertically and horizontally depending on the position of the sound passage hole.
  • a sound passage hole is provided so as to emit sound waves in the forward direction.
  • FIG. 3 shows an example of an external configuration of a display device that emits sound waves in the forward direction according to the present embodiment.
  • the appearance configuration (sound wave emission direction and structure around the sound passage hole) shown in FIG. 3 is an example, and the present disclosure is not limited to this.
  • the upper speaker 131L is arranged on the upper left side of the back surface of the display unit 120-1, the upper speaker 131R is arranged on the upper right side of the back surface, and the lower side is arranged on the lower left side of the back surface.
  • the speaker 132L is arranged, and the upper speaker 131R is arranged on the lower right side of the back surface. It is desirable that a part of the upper speaker 131 is located above the display unit 120-1 (thus that the entire upper speaker 131 is not located above the display). Further, it is desirable that a part of the lower speaker 132 is located below the display unit 120-1 (thus that the entire lower speaker 132 is not located below the display unit 120-1).
  • a part of the speaker unit is provided so as to project from the display unit 120-1, and sound waves are emitted to the outside in the forward direction. Therefore, even if a high frequency sound is generated from the speaker, the display device does not deteriorate the sound quality. It can be output to the outside of 10. Further, since the entire speaker unit is not located above or below the display unit 120-1, the frame of the display device 10 can be further miniaturized.
  • a slit 180 that functions as a sound passage hole is provided in the upper frame of the display unit 120-1, and the sound emitted from the upper speaker 131 is discharged to the outside of the display device 10 through the slit 180.
  • a slit 182 that functions as a sound passage hole is provided in the lower frame of the display unit 120-1, and the sound emitted from the upper speaker 131 is discharged to the outside of the display device 10 through the slit 182.
  • the sound waves of each sound output from the upper speaker 131 and the lower speaker 132 reach the viewer who is viewing the display device 10 as a direct wave, and also as a reflected wave from the wall surface, ceiling, or floor surface.
  • audio signals output to each speaker unit are signal-processed, and the positional relationship between video and sound is determined.
  • Control unit 110 The control unit 110 functions as an arithmetic processing unit and a control device, and controls the overall operation of the display device 10 according to various programs.
  • the control unit 110 is realized by an electronic circuit such as a CPU (Central Processing Unit) or a microprocessor. Further, the control unit 110 may include a ROM (Read Only Memory) for storing programs to be used, calculation parameters, and the like, and a RAM (Random Access Memory) for temporarily storing parameters and the like that change as appropriate.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the control unit 110 also functions as a sound source position specifying unit 111 and a signal processing unit 112.
  • the sound source position specifying unit 111 analyzes the image displayed on the display unit 120 and specifies the sound source position. Specifically, the sound source position specifying unit 111 identifies each object included in the image (image recognition of a person, an object, etc.), the movement of each identified object (for example, the movement of the mouth), and the inside of the image of each object. The position (xy coordinates) and the like in the above are recognized, and the sound source position is specified. For example, when it is analyzed that the mouth of a person is moving by image recognition in a certain scene, the sound of the person who is reproduced in synchronization with the scene is the sound source position of the mouth (face position) of the person who recognized the image. It becomes. Depending on the result of image analysis, the sound source position may be the entire screen. Further, the sound source position may not be in the screen, but in that case, the outside of the screen may be specified as the sound source position.
  • the signal processing unit 112 has a function of processing an audio signal output to the audio output unit 130. Specifically, the signal processing unit 112 performs signal processing so that the sound image is localized at the sound source position specified by the sound source position specifying unit 111. More specifically, at least for each audio signal output to each speaker of a plurality of sets of speaker units including one set of speaker units provided on the upper end side of the back side of the display unit 120, at least the range, sound pressure, and delay. Pseudo sound source localization is realized by making either adjustment. Generally, when listening to the sound emitted from multiple speakers, the human ear perceives the direction of the sound source as the direction of the sound that arrives earlier in the louder, higher range, and one sound. Recognize that.
  • the signal processing unit 112 outputs the sound output from the speaker located closest to the sound source position in the image according to the positional relationship between the sound source position in the image and the installation position of each speaker to other speakers. Pseudo by processing to make the volume louder (higher sound pressure) and less delay (make the viewer's ear reach the viewer's ear faster than the sound from other speakers) in the high frequency range than the sound output from. Realize sound source localization.
  • the sound output from the two speakers is louder in the high frequency range than the sound output from the other speakers (sound pressure). To reduce the delay (to reach the viewer's ear faster than the sound from other speakers).
  • the left channel audio signal (L signal) is processed and output to the L speaker
  • the right channel audio signal (L signal) is processed.
  • the R signal) can be signal processed and output to the R speaker.
  • the audio signal (L signal) output to the Top L speaker (upper speaker 131L) and the audio signal (L signal) output to the Top R speaker (upper speaker 131R) are output.
  • each signal processing at least adjustment of the range by a filter (a correction curve may be used), delay processing, and volume adjustment (that is, sound pressure adjustment) according to the positional relationship between the specified sound source position and each speaker. Either is done.
  • a filter a correction curve may be used
  • delay processing delay processing
  • volume adjustment that is, sound pressure adjustment
  • the signal processing unit 112 may perform the above signal processing (particularly adjustment of the range) in consideration of the characteristics of each speaker.
  • the characteristics of each speaker are functional (specification) characteristics (including frequency characteristics) and environmental characteristics (arrangement), and these characteristics may differ from speaker to speaker. For example, as shown in FIG. 3, in the upper speaker 131 arranged on the upper side and the lower speaker 132 arranged on the lower side, the expected reflected sound (reflection on the ceiling, floor surface (reflection on the ceiling, floor surface) Environmental differences such as reflections on the TV stand) and whether the sound reaches the viewer from above or below can occur. Further, the structural environment around the speaker unit may differ in how much each speaker protrudes from the display unit 120-1 and the number of slits.
  • each speaker unit may differ.
  • the signal processing unit 112 prepares and applies a correction curve for pseudo-localizing the sound source to a predetermined sound source position for each audio signal to be output to each speaker.
  • the correction curve may be generated each time, or may be generated in advance.
  • the tuner 140 selects and receives broadcast signals of terrestrial broadcasting and satellite broadcasting.
  • the communication unit 150 is connected to an external network such as the Internet by using wired communication such as Ethernet (registered trademark) or wireless communication such as Wi-Fi (registered trademark).
  • the communication unit 150 may be interconnected with each CE device in the home via a home network in accordance with a standard such as DLNA (registered trademark) (Digital Living Network Alliance), or may be interconnected with an IoT device. It may further have the interface function of.
  • the remote control receiving unit 160 receives and processes a remote control command transmitted from a remote controller (not shown) using infrared communication, short-range wireless communication, or the like.
  • the storage unit 170 is realized by a ROM (Read Only Memory) that stores programs and arithmetic parameters used for processing of the control unit 110, and a RAM (Random Access Memory) that temporarily stores parameters that change as appropriate. Further, the storage unit 170 is composed of a large-capacity recording device such as an HDD (hard disk drive), and is mainly used for recording the content received by the tuner 140. A storage device externally connected to the display device 10 via an interface such as HDMI (registered trademark) (High-Definition Multimedia Interface) or USB (Universal Serial Bus) may be used.
  • HDMI registered trademark
  • HDMI High-Definition Multimedia Interface
  • USB Universal Serial Bus
  • the configuration of the display device 10 has been specifically described above.
  • the configuration of the display device 10 according to the present disclosure is not limited to the example shown in FIG.
  • at least a part of the functional configuration of the control unit 110 may be provided in an external device (for example, an information processing device that communicates with the display device 10, a server on a network, or the like).
  • the display unit 120, the audio output unit 130, and the control unit 110 may be separately configured to form a communication connection.
  • FIG. 6 is a diagram illustrating adjustment of the positional relationship between the image and the sound according to the first embodiment.
  • the image displayed on the display unit 120-1 is analyzed, the object 1 (person 1) and the object 2 (person 2) are recognized, and the movement of each object is used. Identify the sound source position.
  • the audio signals output to each speaker (upper speaker 131L, upper speaker 131R, lower speaker 132L, and upper speaker 131R) are processed so that the corresponding (synchronous) audio can be heard from the direction of the specified sound source position. (See Fig. 5).
  • the signal processing may be performed separately for each sound source.
  • the sound signal output to the speaker closer to the display position (sound source position) of the mouth (or face, etc.) of the object 1 The sound pressure is high, the high range is emphasized, and each audio signal is processed so as to reach the viewer's ear first. That is, the audio signal output to the upper speaker 131L is the ToP; L signal, the audio signal output to the upper speaker 131R is the ToP; R signal, the audio signal output to the lower speaker 132L is the Bottom; L signal, and the lower speaker.
  • the adjustment of each audio signal is as follows. The degree of difference between them can be determined based on the positional relationship with the sound source position, preset parameters, upper limit value, and lower limit value.
  • FIG. 7 is a flowchart showing an example of the flow of audio output processing according to the first embodiment.
  • the sound source position specifying unit 111 specifies the sound source position by image recognition (step S103).
  • the signal processing unit 112 pseudo-localizes the audio signal output to each speaker to the sound source position according to the relative positional relationship between the specified sound source position and each speaker. Perform different signal processing (step S106).
  • control unit 110 outputs the processed voice signal to each speaker to output the voice (step S109).
  • the second embodiment is a figure explaining the audio signal processing which outputs to each speaker when a flat speaker is used.
  • FIG. 8 is a diagram for explaining the adjustment of the positional relationship between the image and the sound according to the second embodiment.
  • the display unit 120-2 shown in FIG. 8 is realized by a flat panel speaker, and a plurality of vibrators 134, 135, 136 are provided on the back surface of the flat panel composed of display cells, and the vibrators 134, 135 are provided. By vibrating the flat panel by 136, sound waves are generated forward from the flat panel.
  • the flat panel speaker can generate sound waves forward from the flat panel surface by the vibration of the flat panel, a speaker (sound generating element) is provided so as to project a part from the lower end portion or the upper end portion as shown in FIG. Even without it, it is possible to stabilize the sound quality.
  • upper exciters 134L and R and lower exciters 135L and R are installed slightly above the center and slightly below the center, respectively, and the center.
  • a central exciter 136 may also be installed.
  • the signal processing unit 112 analyzes the image displayed on the display unit 120-2 as in the first embodiment, and the object 1 (person 1) and the object 2 (person 2). Is recognized, and the sound source position is specified from the movement of each object. Next, each exciter (upper exciter 134L, upper exciter 134R, lower exciter 135L, lower exciter 135R, and center) so that the corresponding sound can be heard from the direction of the specified sound source position. Each voice signal output to the exciter 136) is processed.
  • FIG. 9 is a diagram illustrating signal processing according to the second embodiment.
  • the signal processing unit 112 performs different signal processing according to the sound source position, and then outputs an audio signal to each vibrating device. Specifically, it is as follows.
  • the upper exciter 134L is Top
  • L the upper exciter 134R is Top
  • R the lower exciter 135L is Bottom
  • L the lower exciter 135R is Bottom
  • R and the central exciter.
  • the vessel 136 is called Center.
  • the display device 10 recognizes the positional relationship of the viewer with respect to the display device 10 (distance of the face with respect to the display device 10, height from the floor, etc.) with the camera, and performs signal processing so as to adjust to the optimum sound image localization position. You may go.
  • FIG. 10 is a diagram for explaining the positional relationship between the display device 10 and the viewer according to the third embodiment.
  • the signal processing unit 112 considers the height of the viewer's ear when performing the first embodiment and the second embodiment described above. The optimum sound image localization is realized by weighting the adjustment of signal processing.
  • each L / R can be appropriately selected depending on whether the user is located to the left of the display device 10 (close to the L speaker) or to the right (close to the R speaker).
  • the viewer sits on a chair (user B's position), and the distances from the upper speakers 131L, R (Top; L, R) and the lower speakers 132L, R (Bottom; L, R) are approximately the same. If so, the closeness of the sound source positions is the same, so it is not necessary to perform correction such as weighting. However, if the user is located to the left (close to the L speaker) or to the right (close to the R speaker) with respect to the display device 10, it is easy to feel the sound generated from the closer side, so it is appropriate. Weighting may be performed.
  • the height of the sound pressure and the height of the range are Top; L> Top; R, Bottom; L> Bottom; R, and the delay size is Top; R, Bottom; Weighting is performed so that R> Top; L, Bottom; L.
  • each L / R can be appropriately selected depending on whether the user is located to the left of the display device 10 (close to the L speaker) or to the right (close to the R speaker).
  • the audio signal is a sound source in the height direction that builds a three-dimensional acoustic space and enables reproduction of the movement of the sound source according to the image.
  • Hight signal may be added.
  • the display device 10 according to the present embodiment has a structure in which a pair of sound reproduction elements are also provided on the upper side. Therefore, when reproducing such a Hight signal, a dedicated speaker is used. By synthesizing and outputting from the upper acoustic reproduction element (upper speaker 131L, R, upper vibration exciter 134L, R) without separately providing it, it is possible to reproduce a realistic sound with a height component added. ..
  • the signal processing in this case is shown in FIG.
  • FIG. 11 is a diagram illustrating signal processing according to the fourth embodiment. As shown in FIG. 11, signal processing is appropriately performed on the Hight signal, and the High signal is added to the L signal and the R signal output to Top; L and R, respectively.
  • the display device 10 processes the audio signal output to each speaker according to the positional relationship between the sound source position obtained by analyzing the image and each speaker, and performs pseudo sound image localization. It can be realized.
  • signal processing may be performed so that the center of the screen or the outside of the screen is perceived as the sound source position according to the voice.
  • a sound such as BGM (Back Ground Music) may have the center of the screen as the sound source position, and the sound of an airplane flying from the upper left of the screen may have the upper left of the screen as the sound source position (for example, the position at the upper left).
  • Vibration processing may be performed so that the sound can be heard from the speaker.
  • one or more subwoofers in charge of bass reproduction may be provided (to supplement the bass range that is not sufficient by the plurality of sets of speaker units).
  • the subwoofer may be applied to the configuration shown in FIG. 2 or the configuration shown in FIG.
  • the audio signals output to each speaker are processed according to the positional relationship between the sound source position specified from the image and each speaker (including the subwoofer), and the sound source localization is performed in a pseudo manner. Is possible.
  • the present technology can also have the following configurations.
  • (1) For an audio signal synchronized with the image, the sound source position is specified from the image displayed on the display unit and output to a plurality of sets of speaker units including at least one set of speaker units provided on the upper part of the display unit.
  • a display device including a control unit that performs different signal processing according to the sound source position.
  • (2) The control unit The display device according to (1) above, which performs signal processing according to the relative positional relationship of each speaker unit with respect to the sound source position.
  • (3) The control unit The display device according to (2) above, wherein the signal processing is performed in consideration of at least the function or environment of each speaker unit.
  • the control unit The sound image localization process corresponding to the sound source position is performed by performing at least one of frequency band correction, sound pressure adjustment, and reproduction timing delay processing on the audio signal.
  • the display device according to any one of (3).
  • the control unit The display device according to any one of (1) to (5) above, wherein the speaker unit performs signal processing for increasing the sound pressure of an audio signal as it is closer to the sound source position.
  • the control unit The display device according to any one of (1) to (6) above, wherein the farther the speaker unit is from the sound source position, the more the delay amount of the reproduction timing of the audio signal is increased.
  • the display device is The display device according to any one of (1) to (7) above, wherein the plurality of sets of speakers include a plurality of sets of two speakers for reproducing audio signals of two left and right channels.
  • the plurality of sets of speakers include a plurality of top speakers provided at the upper end of the back surface of the display unit and a plurality of bottom speakers provided at the lower end of the back surface of the display unit. ..
  • the display unit is a plate-shaped display panel.
  • the speaker is a vibrating unit that vibrates the display panel to output audio.
  • the plurality of sets of speakers include a plurality of vibrating portions provided on the upper back surface of the display panel and a plurality of vibrating portions provided on the lower back surface of the display panel.
  • the processor For an audio signal synchronized with the image, the sound source position is specified from the image displayed on the display unit and output to a plurality of sets of speaker units including at least one set of speaker units provided on the upper part of the display unit.
  • a control method including a control unit that performs different signal processing according to the sound source position.
  • the sound source position is specified from the image displayed on the display unit and output to a plurality of sets of speaker units including at least one set of speaker units provided on the upper part of the display unit.
  • Display device 110 Control unit 111 Sound source position specifying unit 112 Signal processing unit 120
  • Display unit 130 Audio output unit 131 (131L, 131R) Upper speaker (speaker unit) 132 (132L, 132R) Lower speaker (speaker unit) 134 (134L, 134R) Upper exciter 135 (135L, 135R) Lower exciter 136
  • Central exciter 140 Tuner 150 Communication unit 160 Remote control receiver 170 Storage unit 180 Slit 182 Slit

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Stereophonic System (AREA)
  • Details Of Audible-Bandwidth Transducers (AREA)

Abstract

表示装置は、表示部に表示される画像から音源位置を特定し、前記表示部の上部に設けられた１組のスピーカユニットを少なくとも含む複数組のスピーカユニットに出力する前記画像に同期する音声信号に対して、前記音源位置に応じてそれぞれ異なる信号処理を行う制御部を備える。

Description

表示装置、制御方法、およびプログラム
　本開示は、表示装置、制御方法、およびプログラムに関する。
　近年、テレビジョン受像器やパーソナルコンピューター等の表示装置には、画像が表示される表示面を有するディスプレイが設けられ、ディスプレイの背面側にスピーカ等が配置され、スピーカ等がリアカバーによって背面側から覆われたものがある。このような表示装置では、ディスプレイ下端部の背面側にスピーカが配置され、また、ディスプレイの下側にはスピーカから出力される音声の通過孔として機能するスリットが位置し、スピーカから出力される音声がディスプレイの下側を通ってスリットから前方へ向かう構成を有する。
　また、近年、ディスプレイの薄型軽量化が急激に進み、下記特許文献１に示されるような、フラットパネルと、フラットパネルの裏面に配置され、フラットパネルを振動させる複数の加振器とを備えたフラットパネルスピーカも提案されている。フラットパネルスピーカは、加振器によりフラットパネルに振動を発生させることで、音声を出力する。
国際公開第２０１８／１２３３１０号
　しかしながら、いずれも従来のスピーカ搭載型の表示装置では、２つのスピーカ（ＬＲ）が、表示装置の背面下端部または両端部に設けられているのみであって、映像と音との位置関係を十分に対応させることが困難であった。
　本開示によれば、表示部に表示される画像から音源位置を特定し、前記表示部の上部に設けられた１組のスピーカユニットを少なくとも含む複数組のスピーカユニットに出力する前記画像に同期する音声信号に対して、前記音源位置に応じてそれぞれ異なる信号処理を行う制御部を備える、表示装置を提案する。
　本開示によれば、プロセッサが、表示部に表示される画像から音源位置を特定し、前記表示部の上部に設けられた１組のスピーカユニットを少なくとも含む複数組のスピーカユニットに出力する前記画像に同期する音声信号に対して、前記音源位置に応じてそれぞれ異なる信号処理を行う制御部を含む、制御方法を提案する。
　本開示によれば、コンピュータを、表示部に表示される画像から音源位置を特定し、前記表示部の上部に設けられた１組のスピーカユニットを少なくとも含む複数組のスピーカユニットに出力する前記画像に同期する音声信号に対して、前記音源位置に応じてそれぞれ異なる信号処理を行う制御部として機能させるための、プログラムを提案する。
本開示の一実施形態による表示装置の構成例について説明する図である。 本開示の一実施形態による表示装置におけるスピーカの配置について説明する図である。 本開示の一実施形態による前方向に音波を放出する表示装置の外観構成例について説明する図である。 比較例による信号処理について説明する図である。 本開示の一実施形態による各スピーカに出力する音声信号の各処理について説明する図である。 第１の実施例による画像と音との位置関係の調整について説明する図である。 第１の実施例による音声出力処理の流れの一例を示すフローチャートである。 第２の実施例による画像と音との位置関係の調整について説明する図である。 第２の実施例による信号処理について説明する図である。 第３の実施例による表示装置と視聴者との位置関係について説明する図である。 第４の実施例による信号処理について説明する図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、説明は以下の順序で行うものとする。
　１．表示装置の構成例
　２．実施例
　　２－１．第１の実施例
　　２－２．第２の実施例
　　２－３．第３の実施例
　　２－４．第４の実施例
　３．まとめ
　以下に、本開示による表示装置を実施するための形態を添付図面に従って説明する。以下では、本技術をディスプレイに画像を表示するテレビジョン受像器に適用したものについて説明するが、本技術の適用範囲はテレビジョン受像器に限られることはなく、パーソナルコンピューター等に用いられるモニター等の各種の表示装置に広く適用することができる。
　また、以下の説明にあっては、表示装置（テレビジョン受像器）の表示面が向く方向を前方側（正面側）として前後上下左右の方向を示す。
　＜＜１．表示装置の構成例＞＞
　図１は、本開示の一実施形態による表示装置の構成例について説明する図である。図１に示すように、表示装置１０は、制御部１１０、表示部１２０、音声出力部１３０、チューナ１４０、通信部１５０、リモコン受信部１６０、および記憶部１７０を備える。
　（表示部１２０）
　表示部１２０は、チューナ１４０で選局受信した番組コンテンツの映像や、ＥＰＧ（Electronic　Program　Guide）、データ放送コンテンツを表示したり、ＯＳＤ（On-Screen　Display）を表示したりする。表示部１２０は、例えば液晶ディスプレイ（ＬＣＤ：Liquid　Crystal　Display）、有機ＥＬ（（Electro　Luminescence）ディスプレイなどにより実現される。また、表示部１２０は、フラットパネルスピーカにより実現されてもよい。フラットパネルスピーカは、フラットパネルの裏面に設けられた複数の加振器によりフラットパネルに振動を発生させて音声を出力するものであり、映像を表示する表示装置と一体化し、表示面から音声を出力するよう構成されている。パネル部は、例えば、映像を表示する薄板状の表示セル（振動板としての表示セル）と、空隙を介して表示セルに対向配置されるインナープレート（加振器を支持する基板）とを有する。
　（音声出力部１３０）
　音声出力部１３０は、音声信号を再生する音響発生素子により構成される。音声出力部１３０は、コーン型スピーカの他、上述したフラットパネルスピーカ（振動板（表示部）および加振器）を用いてもよい。
　また、音声出力部１３０は、表示部１２０裏側の上端側に設けられる１組のスピーカユニットを少なくとも含む複数組のスピーカユニットから構成される。スピーカユニットとは、音声信号を再生する音響発生素子を少なくとも１つ含むスピーカ筐体を意味する。図１に示す構成例では、一例として、表示部１２０裏側の上端側に設けられる１組のスピーカユニット（以下、上側スピーカ１３１と称する）と、表示部１２０裏側の下端側に設けられる１組のスピーカユニット（以下、下側スピーカ１３２と称する）を有する構成とする。図２に、本実施形態による表示装置１０におけるスピーカの配置の一例を示す。図２に示す例は、表示部１２０－１の裏面に、音波を放出する音響発生素子（例えばコーン型スピーカにより構成される）が複数設けられている。
　具体的には、図２に示すように、表示部１２０－１を正面から見た時に、上端側（Ｔｏｐ）の左寄りに上側スピーカ（スピーカユニット）１３１Ｌが配置され、右寄りに上側スピーカ（スピーカユニット）１３１Ｒが配置されている。また、下端側（Ｂｏｔｔｏｍ）の左寄りに下側スピーカ（スピーカユニット）１３２Ｌが配置され、右寄りに下側スピーカ（スピーカユニット）１３２Ｒが配置されている。
　また、より詳細には、スピーカユニット周辺には、音声通過孔（不図示）が形成され、スピーカユニットで発生した音波は、音声通過孔を通って表示装置１０の外へ放出される。表示装置１０における音波の放出方向は、音声通過孔の位置に応じて、上下左右に放出され得る。本実施形態では一例として、前方向に音波を放出するよう、音声通過孔が設けられる。ここで、図３に、本実施形態による前方向に音波を放出する表示装置の外観構成例を示す。なお図３に示す外観構成（音波の放出方向や音声通過孔周辺の構造）は一例であって、本開示はこれに限定されない。
　図３に示すように、表示装置１０の内部には、表示部１２０－１の裏面上側左寄りに上側スピーカ１３１Ｌが配置され、裏面上側右寄りに上側スピーカ１３１Ｒが配置され、裏面下側左寄りに下側スピーカ１３２Ｌが配置され、裏面下側右寄りに上側スピーカ１３１Ｒが配置されている。上側スピーカ１３１の一部は、表示部１２０－１より上側に位置されることが望ましい（これにより上側スピーカ１３１の全体がディスプレイより上側には位置されない）。また、下側スピーカ１３２の一部は、表示部１２０－１より下側に位置されることが望ましい（これにより下側スピーカ１３２の全体が表示部１２０－１より下側には位置されない）。スピーカユニットの一部が表示部１２０－１から突出して設けられ、音波が前方向に外部に放出されるため、スピーカから周波数の高い音が発生された場合でも、音質を低下させることなく表示装置１０の外部に出力させることができる。また、スピーカユニットの全体が表示部１２０－１の上側または下側に位置しないことで、表示装置１０の枠をより小型化することができる。
　各上側スピーカ１３１からは音声が前方へ向けて出力される。表示部１２０－１の上枠には、音声通過孔として機能するスリット１８０が設けられ、上側スピーカ１３１から放出された音声が、スリット１８０を介して表示装置１０の外へ放出される。
　また、同様に、各下側スピーカ１３２からも音声が前方へ向けて出力される。表示部１２０－１の下枠には、音声通過孔として機能するスリット１８２が設けられ、上側スピーカ１３１から放出された音声が、スリット１８２を介して表示装置１０の外へ放出される。
　上側スピーカ１３１、下側スピーカ１３２から出力される各音声の音波は、表示装置１０を視聴している視聴者に直接波として届く他、壁面や天井、床面からの反射波としても届く。
　本実施形態では、少なくとも上端側に設けられる１組のスピーカユニットを含む複数組のスピーカユニットを有する構成により、各スピーカユニットに出力する音声信号をそれぞれ信号処理し、映像と音との位置関係を十分に対応させるようにすることで、映像と音との一体感を出し、良好な視聴状態を実現することができる。
　（制御部１１０）
　制御部１１０は、演算処理装置および制御装置として機能し、各種プログラムに従って表示装置１０の動作全般を制御する。制御部１１０は、例えばＣＰＵ（Central　Processing　Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部１１０は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read　Only　Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。
　また、制御部１１０は、音源位置特定部１１１および信号処理部１１２としても機能する。
　音源位置特定部１１１は、表示部１２０に表示する画像を解析し、音源位置を特定する。具体的には、音源位置特定部１１１は、画像に含まれる各オブジェクトの識別（人物、物体等の画像認識）、識別した各オブジェクトの動き（例えば口の動き）、および、各オブジェクトの画像内における位置（ｘｙ座標）等を認識し、音源位置を特定する。例えば、あるシーンにおいて画像認識により人物の口が動いていることを解析した際、当該シーンに同期して再生される人物の音声は、当該画像認識した人物の口元（顔位置）が、音源位置となる。画像解析の結果によっては、音源位置が画面全体の場合もあり得る。また、音源位置が画面内に無い場合もあるが、その場合は画面外を音源位置として特定してもよい。
　信号処理部１１２は、音声出力部１３０に出力する音声信号を処理する機能を有する。具体的には、信号処理部１１２は、音源位置特定部１１１により特定された音源位置にあたかも音像が定位しているようにする信号処理を行う。より詳細には、少なくとも表示部１２０裏側の上端側に設けられる１組のスピーカユニットを含む複数組のスピーカユニットの各スピーカに出力する各音声信号に対して、音域、音圧、およびディレイの少なくともいずれかの調整をそれぞれ行うことで、疑似的な音源定位を実現する。一般的に、複数のスピーカから放出される音を聞いた際、人間の耳は、より音が大きく、高域で、早く到達した方の音の方向を音源の方向を知覚し、１つの音と認識する。したがって、信号処理部１１２は、画像内の音源位置と各スピーカの設置位置との位置関係に応じて、画像内の音源位置に最も近く配置されているスピーカから出力される音声を、他のスピーカから出力される音声よりも高域で音量を大きく（音圧を高く）、ディレイを少なくする（視聴者の耳に他のスピーカからの音声よりも早く到達させる）よう処理することで、疑似的な音源定位を実現する。
　なお、画像内の音源位置が２つスピーカの間で同距離の場合は、当該２つのスピーカから出力される音声を、他のスピーカから出力される音声よりも高域で音量を大きく（音圧を高く）、ディレイを少なくする（視聴者の耳に他のスピーカからの音声よりも早く到達させる）よう処理する。
　左右に離隔して２つのスピーカが設けられる比較例では、図４に示すように、左チャンネルの音声信号（Ｌ信号）に信号処理が行われてＬスピーカに出力され、右チャンネルの音声信号（Ｒ信号）に信号処理が行われてＲスピーカに出力され得る。これに対し、本実施形態では、図５に示すように、Ｔｏｐ　Ｌのスピーカ（上側スピーカ１３１Ｌ）に出力される音声信号（Ｌ信号）と、Ｔｏｐ　Ｒのスピーカ（上側スピーカ１３１Ｒ）に出力される音声信号（Ｒ信号）と、Ｂｏｔｔｏｍ　Ｌのスピーカ（下側スピーカ１３２Ｌ）に出力される音声信号（Ｌ信号）と、Ｂｏｔｔｏｍ　Ｒのスピーカ（下側スピーカ１３２Ｒ）に出力される音声信号（Ｒ信号）と、に対し、それぞれ異なる信号処理が行われ得る。各信号処理では、特定された音源位置と各スピーカとの位置関係に応じて、フィルタによる音域の調整や（補正カーブを用いてもよい）、ディレイ処理、音量調整（すなわち音圧調整）の少なくともいずれかが行われる。
　さらに、信号処理部１１２は、各スピーカの特性を考慮して上記信号処理（特に音域の調整）を行うようにしてもよい。各スピーカの特性とは、機能（仕様）特性（周波数特性なども含む）、環境特性（配置）であって、これらの特性はスピーカ毎に異なる場合がある。例えば図３に示すように、上側に配置される上側スピーカ１３１と、下側に配置される下側スピーカ１３２とでは、放出される音の想定される反射音（天井での反射、床面（テレビ台）での反射）や、視聴者に対して上から届く音か、下から届く音かといった環境的な相違が生じ得る。また、スピーカユニット周辺の構造環境としても、各スピーカがどの程度表示部１２０－１から突出しているか、スリットの数はいくつか、といった相違が生じ得る。さらには、各スピーカユニットの仕様が異なる場合もある。信号処理部１１２は、これらの特性を考慮した上で、所定の音源位置に疑似的に音源を定位するための補正カーブを各スピーカに出力する音声信号毎に用意し、適用する。補正カーブの生成は、都度行ってもよいし、予め生成しておいてもよい。
　（チューナ１４０）
　チューナ１４０は、地上波放送並びに衛星放送の放送信号を選局受信する。
　（通信部１５０）
　通信部１５０は、イーサネット（登録商標）などの有線通信またはＷｉ－Ｆｉ（登録商標）などの無線通信を利用して、インターネットなどの外部ネットワークに接続している。例えば、通信部１５０は、ＤＬＮＡ（登録商標）（Digital　Living　Network　Alliance）などの規格に則して、ホームネットワークを介して家庭内の各ＣＥ機器と相互接続していてもよいし、ＩｏＴデバイスとのインターフェース機能をさらに備えていてもよい。
　（リモコン受信部１６０）
　リモコン受信部１６０は、リモートコントローラ（不図示）から赤外線通信や近距離無線通信などを利用して送信されるリモコンコマンドを受信処理する。
　（記憶部１７０）
　記憶部１７０は、制御部１１０の処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ（Read　Only　Memory）、および適宜変化するパラメータ等を一時記憶するＲＡＭ（Random　Access　Memory）により実現される。さらに、記憶部１７０は、ＨＤＤ（ハードディスクドライブ）などの大容量記録装置で構成され、主にチューナ１４０で受信したコンテンツの録画に使用される。なお、表示装置１０にＨＤＭＩ（登録商標）（High-Definition　Multimedia　Interface）やＵＳＢ（Universal　Serial　Bus）などのインターフェースを介して外付け接続される記憶装置が用いられてもよい。
　以上、表示装置１０の構成について具体的に説明した。なお、本開示による表示装置１０の構成は図１に示す例に限定されない。例えば、制御部１１０の機能構成の少なくとも一部が、外部装置（例えば表示装置１０と通信接続する情報処理装置、またはネットワーク上のサーバ等）に設けられていてもよい。また、表示部１２０および音声出力部１３０と、制御部１１０が別体で構成され、通信接続するシステム構成であってもよい。
　＜＜２．実施例＞＞
　続いて、本実施形態の各実施例について図面を用いて具体的に説明する。
　＜２－１．第１の実施例＞
　図６は、第１の実施例による画像と音との位置関係の調整について説明する図である。図６に示すように、本実施例では、表示部１２０－１に表示される映像を解析して、オブジェクト１（人物１）やオブジェクト２（人物２）を認識し、各オブジェクトの動き等から音源位置を特定する。次いで、特定した音源位置の方向から対応する（同期する）音声が聞こえるよう、各スピーカ（上側スピーカ１３１Ｌ、上側スピーカ１３１Ｒ、下側スピーカ１３２Ｌ、および、上側スピーカ１３１Ｒ）に出力する音声信号をそれぞれ処理する（図５参照）。なお、音声信号に複数の音源が含まれている場合（セリフ音声と効果音など）、音源毎に分離してそれぞれ信号処理を行うようにしてもよい。
　具体的には、図６に示すオブジェクト１（人物１）が音源位置となるセリフ音声の場合、オブジェクト１の口元（又は顔等）の表示位置（音源位置）に近いスピーカに出力する音声信号ほど、音圧が高く、高域が強調され、かつ、視聴者の耳に先に到達するよう、各音声信号の処理を行う。すなわち、上側スピーカ１３１Ｌに出力する音声信号をＴｏＰ；Ｌ信号、上側スピーカ１３１Ｒに出力する音声信号をＴｏＰ；Ｒ信号、下側スピーカ１３２Ｌに出力する音声信号をＢｏｔｔｏｍ；Ｌ信号、および、下側スピーカ１３２Ｒに出力する音声信号をＢｏｔｔｏｍ；Ｒ信号とした場合、各音声信号の調整は下記のようになる。それぞれにどの程度の差を設けるかは、音源位置との位置関係や、予め設定したパラメータや上限値、下限値に基づいて決定し得る。
・オブジェクト１の口元が音源位置の場合
音圧の高さおよび高域の強調
　　Top;L信号＞Top;R信号≧Bottom;L信号＞Bottom;R信号
　　（Top;R信号とBottom;L信号は、どちらが上であってもよいし、同じでもよい）
ディレイ（再生タイミングの遅延量）の大きさ
　　Bottom;R信号＞Bottom;L信号≧Top;R信号＞Top;L信号
　また、図６に示すオブジェクト２（人物２）が音源位置となるセリフ音声の場合は、同様に、下記の通りとなる。
・オブジェクト２の口元が音源位置の場合
音圧の高さおよび高域の強調
　　Bottom;R信号＞Top;R信号≧Bottom;L信号＞Top;L信号
ディレイの大きさ
　　Top;L信号＞Top;R信号≧Bottom;L信号＞Bottom;R信号
　図７は、第１の実施例による音声出力処理の流れの一例を示すフローチャートである。
　図７に示すように、まず、音源位置特定部１１１は、画像認識により音源位置を特定する（ステップＳ１０３）。
　次いで、信号処理部１１２は、特定された音源位置と、各スピーカとの相対的な位置関係に応じて、各スピーカに出力する音声信号に対して、音源位置に疑似的に定位するよう、それぞれ異なる信号処理を行う（ステップＳ１０６）。
　そして、制御部１１０は、処理した音声信号を、各スピーカに出力して音声出力を行う（ステップＳ１０９）。
　＜２－２．第２の実施例＞
　第２の実施例は、フラットスピーカを用いた場合の各スピーカに出力する音声信号処理について説明する図である。
　図８は、第２の実施例による画像と音との位置関係の調整について説明する図である。図８に示す表示部１２０－２は、フラットパネルスピーカにより実現され、表示セルにより構成されるフラットパネルの裏面に、複数の加振器１３４、１３５、１３６が設けられ、加振器１３４、１３５、１３６によりフラットパネルを振動させることで、フラットパネルから前方に音波を発生させる。
　フラットパネルスピーカは、フラットパネルの振動によりフラットパネル面から音波を前方に発生させることができるため、図３に示すようにスピーカ（音響発生素子）を下端部や上端部から一部を突出して設けなくとも、音質を安定させることが可能である。
　したがって、例えば図８に示すように、中央やや上寄りと、中央やや下寄りに、それぞれ上側加振器１３４Ｌ、Ｒと、下側加振器１３５Ｌ、Ｒを設置し、また、中央（Ｃｅｎｔｅｒ）にも、中央加振器１３６を設置し得る。
　フラットパネルスピーカの場合も、信号処理部１１２は、第１の実施例と同様に、表示部１２０－２に表示される映像を解析して、オブジェクト１（人物１）やオブジェクト２（人物２）を認識し、各オブジェクトの動き等から音源位置を特定する。次いで、特定した音源位置の方向から対応する音声が聞こえるよう、各加振器（上側加振器１３４Ｌ、上側加振器１３４Ｒ、下側加振器１３５Ｌ、下側加振器１３５Ｒ、および、中央加振器１３６）に出力する音声信号をそれぞれ処理する。
　図９は、第２の実施例による信号処理について説明する図である。図９に示すように、信号処理部１１２は、音源位置に応じて、それぞれ異なる信号処理を行った上で、各加振器に音声信号を出力する。具体的には、下記の通りである。ここでは、上側加振器１３４ＬをTop;L、上側加振器１３４ＲをTop;R、下側加振器１３５ＬをBottom;L、下側加振器１３５ＲをBottom;R、および、中央加振器１３６をCenterと称する。
・オブジェクト１の口元が音源位置の場合
　Top;Lのみ出力、または、
　Top;LとCenterの両方から出力する場合、音圧の大きさや音域の高さがTop;L＞Centerとなり、かつ、ディレイの大きさがCenter＞Top;Lとなるよう信号処理する。
・オブジェクト２の口元が音源位置の場合
　Bottom;Lのみ出力、または、
　Bottom;LとCenterの両方から出力する場合、音圧の大きさや音域の高さがBottom;L＞Centerとなり、かつ、ディレイの大きさがCenter＞Bottom;Lとなるよう信号処理する。
　＜２－３．第３の実施例＞
　さらに、表示装置１０は、表示装置１０に対する視聴者の位置関係（表示装置１０に対する顔の距離や床からの高さなど）をカメラで認識して、最適な音像定位位置に合わせるよう信号処理を行ってもよい。
　図１０は、第３の実施例による表示装置１０と視聴者との位置関係について説明する図である。図１０に示すように、視聴者が床に座って表示装置１０を視聴していたり、椅子に座って視聴していたり、立って視聴していたり等した場合、視聴者の耳の位置（高さ）が異なるため、上側スピーカ１３１Ｌ、Ｒや下側スピーカ１３２Ｌ、Ｒに対する距離が異なる。一般的に、音源に近いと音を近くで感じ易いため、信号処理部１１２は、上述した第１の実施例や第２の実施例を行う際に、視聴者の耳の高さを考慮して信号処理の調整に重み付けを行う等して、最適な音像定位を実現する。
　例えば、視聴者が床に座り（ユーザＡの位置）、上側スピーカ１３１Ｌ、Ｒ（Top;L,R）よりも下側スピーカ１３２Ｌ、Ｒ（Bottom;L,R）に近くなっている場合、下側スピーカ１３２Ｌ、Ｒからの音を近くに感じ易くなる。そこで、音圧の高さや音域の高さをTop;L,R＞Bottom;L,Rとしたり、ディレイの大きさをBottom;L,R＞Top;L,Rとする重み付けを行い、上記各信号処理を補正する。なお、各L/Rは、ユーザが表示装置１０に対して左寄りに位置するか（Lのスピーカに近いか）、右寄りに位置するか（Rのスピーカに近いか）によって適宜選択し得る。
　また、視聴者が椅子に座り（ユーザＢの位置）、上側スピーカ１３１Ｌ、Ｒ（Top;L,R）および下側スピーカ１３２Ｌ、Ｒ（Bottom;L,R）との距離がおおよそ同距離になっている場合、音源位置の近さは同等となるため、重み付け等の補正は行わなくともよい。ただし、ユーザが表示装置１０に対して左寄り（Lのスピーカに近い）、または右寄り（Rのスピーカに近い）に位置している場合、近い方から発生する音を近くに感じ易くなるため、適宜重み付けを行ってもよい。具体的には、視聴者が右寄りの場合は、音圧の高さや音域の高さをTop;L＞Top;R、Bottom;L＞Bottom;R、ディレイの大きさをTop;R,Bottom;R＞Top;L,Bottom;Lとする重み付けを行う。
　また、視聴者が立って（ユーザＣの位置）、下側スピーカ１３２Ｌ、Ｒ（Bottom;L,R）よりも上側スピーカ１３１Ｌ、Ｒ（Top;L,R）に近くなっている場合、上側スピーカ１３１Ｌ、Ｒからの音を近くに感じ易くなる。そこで、音圧の高さや音域の高さをBottom;L,R＞Top;L,Rとしたり、ディレイの大きさをTop;L,R＞Bottom;L,Rとする重み付けを行い、上記各信号処理を補正する。なお、各L/Rは、ユーザが表示装置１０に対して左寄りに位置するか（Lのスピーカに近いか）、右寄りに位置するか（Rのスピーカに近いか）によって適宜選択し得る。
　＜２－４．第４の実施例＞
　音声信号には、L,R信号（Lチャンネル信号、Rチャンネル信号）の他、立体的な音響空間を構築し、映像に合わせた音源の移動の再現も可能とする高さ方向の音源であるHight信号が付加される場合がある。本実施形態による表示装置１０は、図２および図３や図８に示すように、上側にも一対の音響再生素子を備える構造であるため、このようなHight信号を再生する際、専用スピーカを別途設けることなく、上側の音響再生素子（上側スピーカ１３１Ｌ、Ｒ、上側加振器１３４Ｌ、Ｒ）から、合成して出力することで、高さ成分を付加したリアルな音を再生することができる。この場合の信号処理について図１１に示す。
　図１１は、第４の実施例による信号処理について説明する図である。図１１に示すように、Hight信号に対して適宜信号処理を行い、Top;L,Rに出力するL信号、R信号にHight信号をそれぞれ付加する。
　＜＜３．まとめ＞＞
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、複数組のスピーカユニットを、下端部と上端部に設ける構造について主に説明したが、本開示はこれに限定されず、さらに両端部に一対のスピーカユニットを設けてもよいし、下端部や上端部のスピーカユニットの配置も図面に示す例に限定されない。どのような配置においても、表示装置１０は、画像から解析して得た音源位置と、各スピーカとの位置関係に応じて、各スピーカに出力する音声信号を処理し、疑似的な音像定位を実現し得る。
　また、音源位置が画面内に無い場合、音声に応じて、画面の中央または画面外部等を音源位置と知覚するような信号処理を行うようにしてもよい。例えば、ＢＧＭ（Ｂａｃｋ　Ｇｒｏｕｎｄ　Ｍｕｓｉｃ）のような音は、画面の中央を音源位置としてもよいし、画面外左上から飛んでくる飛行機の音は、画面左上を音源位置としてもよい（例えば左上に位置するスピーカから音が聞こえるよう振動処理してもよい）。
　また、各スピーカに出力する音声信号の処理を、音源位置の移動に応じて、シームレスに制御することも可能である。
　また、複数組のスピーカユニットに加えて、低音再生（WF（Woofer））を担当する（複数組のスピーカユニットでは十分でない低音域を補う）サブウーファーを１以上設けてもよい。例えば、図２に示す構成や、図８に示す構成に、サブウーファーを適用してもよい。この場合も同様に、画像から特定した音源位置と、各スピーカ（サブウーファーを含む）との位置関係に応じて、各スピーカに出力する音声信号をそれぞれ処理し、疑似的に音源定位を行うことが可能である。
　また、上述した表示装置１０に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、表示装置１０の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、本技術は以下のような構成も取ることができる。
（１）
　表示部に表示される画像から音源位置を特定し、前記表示部の上部に設けられた１組のスピーカユニットを少なくとも含む複数組のスピーカユニットに出力する前記画像に同期する音声信号に対して、前記音源位置に応じてそれぞれ異なる信号処理を行う制御部を備える、表示装置。
（２）
　前記制御部は、
　　各スピーカユニットの前記音源位置に対する相対的な位置関係に応じた信号処理を行う、前記（１）に記載の表示装置。
（３）
　前記制御部は、
　　少なくとも各スピーカユニットの機能または環境をさらに考慮して前記信号処理を行う、前記（２）に記載の表示装置。
（４）
　前記制御部は、
　　前記音声信号に対して、周波数帯域の補正、音圧の調整、または、再生タイミングの遅延処理の少なくともいずれかを行うことで、前記音源位置に対応する音像定位処理を行う、前記（１）～（３）のいずれか１項に記載の表示装置。
（５）
　前記制御部は、
　　前記スピーカユニットが前記音源位置に近いほど音声信号の高域成分を強調させる信号処理を行う、前記（１）～（４）のいずれか１項に記載の表示装置。
（６）
　前記制御部は、
　　前記スピーカユニットが前記音源位置に近いほど音声信号の音圧を高くする信号処理を行う、前記（１）～（５）のいずれか１項に記載の表示装置。
（７）
　前記制御部は、
　　前記スピーカユニットが前記音源位置に遠いほど音声信号の再生タイミングの遅延量を増加させる、前記（１）～（６）のいずれか１項に記載の表示装置。
（８）
　前記表示装置は、
　　前記複数組のスピーカとして、左右２チャンネルの音声信号を再生する２個のスピーカを複数組備える、前記（１）～（７）のいずれか１項に記載の表示装置。
（９）
　前記複数組のスピーカは、前記表示部の裏面上端に設けられた複数のトップスピーカと、前記表示部の裏面下端に設けられた複数のボトムスピーカとを含む、前記（８）に記載の表示装置。
（１０）
　前記表示部は板状の表示パネルであって、
　前記スピーカは、前記表示パネルを振動させて音声出力を行う加振部であって、
　前記複数組のスピーカは、前記表示パネルの裏面上部に設けられた複数の加振部と、前記表示パネルの裏面下部に設けられた複数の加振部とを含み、
　前記表示装置は、さらに、前記表示パネルの裏面中央に設けられた加振部を備える、前記（８）に記載の表示装置。
（１１）
　プロセッサが、
　表示部に表示される画像から音源位置を特定し、前記表示部の上部に設けられた１組のスピーカユニットを少なくとも含む複数組のスピーカユニットに出力する前記画像に同期する音声信号に対して、前記音源位置に応じてそれぞれ異なる信号処理を行う制御部を含む、制御方法。
（１２）
　コンピュータを、
　表示部に表示される画像から音源位置を特定し、前記表示部の上部に設けられた１組のスピーカユニットを少なくとも含む複数組のスピーカユニットに出力する前記画像に同期する音声信号に対して、前記音源位置に応じてそれぞれ異なる信号処理を行う制御部として機能させるための、プログラム。
１０　表示装置
１１０　制御部
１１１　音源位置特定部
１１２　信号処理部
１２０　表示部
１３０　音声出力部
１３１（１３１Ｌ、１３１Ｒ）　上側スピーカ（スピーカユニット）
１３２（１３２Ｌ、１３２Ｒ）　下側スピーカ（スピーカユニット）
１３４（１３４Ｌ、１３４Ｒ）　上側加振器
１３５（１３５Ｌ、１３５Ｒ）　下側加振器
１３６　中央加振器
１４０　チューナ
１５０　通信部
１６０　リモコン受信部
１７０　記憶部
１８０　スリット
１８２　スリット

Claims (12)

  1. 　表示部に表示される画像から音源位置を特定し、前記表示部の上部に設けられた１組のスピーカユニットを少なくとも含む複数組のスピーカユニットに出力する前記画像に同期する音声信号に対して、前記音源位置に応じてそれぞれ異なる信号処理を行う制御部を備える、表示装置。
  2. 　前記制御部は、
    　　各スピーカユニットの前記音源位置に対する相対的な位置関係に応じた信号処理を行う、請求項１に記載の表示装置。
  3. 　前記制御部は、
    　　少なくとも各スピーカユニットの機能または環境をさらに考慮して前記信号処理を行う、請求項２に記載の表示装置。
  4. 　前記制御部は、
    　　前記音声信号に対して、周波数帯域の補正、音圧の調整、または、再生タイミングの遅延処理の少なくともいずれかを行うことで、前記音源位置に対応する音像定位処理を行う、請求項１に記載の表示装置。
  5. 　前記制御部は、
    　　前記スピーカユニットが前記音源位置に近いほど音声信号の高域成分を強調させる信号処理を行う、請求項１に記載の表示装置。
  6. 　前記制御部は、
    　　前記スピーカユニットが前記音源位置に近いほど音声信号の音圧を高くする信号処理を行う、請求項１に記載の表示装置。
  7. 　前記制御部は、
    　　前記スピーカユニットが前記音源位置に遠いほど音声信号の再生タイミングの遅延量を増加させる、請求項１に記載の表示装置。
  8. 　前記表示装置は、
    　　前記複数組のスピーカとして、左右２チャンネルの音声信号を再生する２個のスピーカを複数組備える、請求項１に記載の表示装置。
  9. 　前記複数組のスピーカは、前記表示部の裏面上端に設けられた複数のトップスピーカと、前記表示部の裏面下端に設けられた複数のボトムスピーカとを含む、請求項８に記載の表示装置。
  10. 　前記表示部は板状の表示パネルであって、
    　前記スピーカは、前記表示パネルを振動させて音声出力を行う加振部であって、
    　前記複数組のスピーカは、前記表示パネルの裏面上部に設けられた複数の加振部と、前記表示パネルの裏面下部に設けられた複数の加振部とを含み、
    　前記表示装置は、さらに、前記表示パネルの裏面中央に設けられた加振部を備える、請求項８に記載の表示装置。
  11. 　プロセッサが、
    　表示部に表示される画像から音源位置を特定し、前記表示部の上部に設けられた１組のスピーカユニットを少なくとも含む複数組のスピーカユニットに出力する前記画像に同期する音声信号に対して、前記音源位置に応じてそれぞれ異なる信号処理を行う制御部を含む、制御方法。
  12. 　コンピュータを、
    　表示部に表示される画像から音源位置を特定し、前記表示部の上部に設けられた１組のスピーカユニットを少なくとも含む複数組のスピーカユニットに出力する前記画像に同期する音声信号に対して、前記音源位置に応じてそれぞれ異なる信号処理を行う制御部として機能させるための、プログラム。
PCT/JP2020/014399 2019-04-16 2020-03-27 表示装置、制御方法、およびプログラム WO2020213375A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US17/602,503 US20220217469A1 (en) 2019-04-16 2020-03-27 Display Device, Control Method, And Program
CN202080027267.3A CN113678469A (zh) 2019-04-16 2020-03-27 显示装置、控制方法和程序
EP20792151.1A EP3958585A4 (en) 2019-04-16 2020-03-27 DISPLAY DEVICE, CONTROL METHOD, AND PROGRAM
JP2021514854A JPWO2020213375A1 (ja) 2019-04-16 2020-03-27
KR1020217030875A KR20210151795A (ko) 2019-04-16 2020-03-27 표시 장치, 제어 방법 및 프로그램

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-077559 2019-04-16
JP2019077559 2019-04-16

Publications (1)

Publication Number Publication Date
WO2020213375A1 true WO2020213375A1 (ja) 2020-10-22

Family

ID=72836840

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/014399 WO2020213375A1 (ja) 2019-04-16 2020-03-27 表示装置、制御方法、およびプログラム

Country Status (6)

Country Link
US (1) US20220217469A1 (ja)
EP (1) EP3958585A4 (ja)
JP (1) JPWO2020213375A1 (ja)
KR (1) KR20210151795A (ja)
CN (1) CN113678469A (ja)
WO (1) WO2020213375A1 (ja)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004187288A (ja) * 2002-11-20 2004-07-02 Haruhiko Onozato 音源映像の表示領域からその音声を出力させる映像音声再生方法
JP2007274061A (ja) * 2006-03-30 2007-10-18 Yamaha Corp 音像定位装置およびａｖシステム
JP2008109209A (ja) * 2006-10-23 2008-05-08 Sony Corp 出力制御システムおよび方法、出力制御装置および方法、並びにプログラム
JP2010041579A (ja) * 2008-08-07 2010-02-18 Sharp Corp コンテンツ再生装置、コンテンツ再生方法、プログラムおよび記録媒体
JP2010206265A (ja) * 2009-02-27 2010-09-16 Toshiba Corp 音像制御装置、音像制御方法、ストリームのデータ構造、及びストリーム生成装置
WO2012029790A1 (ja) * 2010-09-02 2012-03-08 シャープ株式会社 映像提示装置、映像提示方法、映像提示プログラム、記憶媒体
JP2012235426A (ja) * 2011-05-09 2012-11-29 Nippon Hoso Kyokai <Nhk> 音響再生装置および音響再生プログラム
WO2013105413A1 (ja) * 2012-01-11 2013-07-18 ソニー株式会社 音場制御装置、音場制御方法、プログラム、音場制御システム及びサーバ
WO2018123310A1 (ja) 2016-12-27 2018-07-05 ソニー株式会社 フラットパネルスピーカおよび表示装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8924334D0 (en) * 1989-10-28 1989-12-13 Hewlett Packard Co Audio system for a computer display
US5930376A (en) * 1997-03-04 1999-07-27 Compaq Computer Corporation Multiple channel speaker system for a portable computer
US6829018B2 (en) * 2001-09-17 2004-12-07 Koninklijke Philips Electronics N.V. Three-dimensional sound creation assisted by visual information
JP2007006280A (ja) * 2005-06-24 2007-01-11 Sony Corp マルチチャンネル音響再生システム
JP5067595B2 (ja) * 2005-10-17 2012-11-07 ソニー株式会社 画像表示装置および方法、並びにプログラム
JP2007134939A (ja) * 2005-11-10 2007-05-31 Sony Corp スピーカ装置および映像表示装置
CN101330585A (zh) * 2007-06-20 2008-12-24 深圳Tcl新技术有限公司 一种声音定位的方法及系统
CN101459797B (zh) * 2007-12-14 2012-02-01 深圳Tcl新技术有限公司 一种声音定位的方法及系统
KR101517592B1 (ko) * 2008-11-11 2015-05-04 삼성전자 주식회사 고분해능을 가진 화면음원 위치장치 및 재생방법
JP5527878B2 (ja) * 2009-07-30 2014-06-25 トムソン ライセンシング 表示装置及び音声出力装置
JP5798247B2 (ja) * 2011-07-01 2015-10-21 ドルビー ラボラトリーズ ライセンシング コーポレイション 向上した３ｄオーディオ作成および表現のためのシステムおよびツール
KR101488936B1 (ko) * 2013-05-31 2015-02-02 한국산업은행 프론트 채널 사운드가 발생되는 미들 레이어 위치 조정 장치 및 그 방법
WO2015060678A1 (en) * 2013-10-24 2015-04-30 Samsung Electronics Co., Ltd. Method and apparatus for outputting sound through speaker
US9843881B1 (en) * 2015-11-30 2017-12-12 Amazon Technologies, Inc. Speaker array behind a display screen
KR102370839B1 (ko) * 2017-05-11 2022-03-04 엘지디스플레이 주식회사 표시장치
CN108462917B (zh) * 2018-03-30 2020-03-17 四川长虹电器股份有限公司 电磁激励能量转换器和激光投影光学音响屏幕及其同步显示方法
KR20200037003A (ko) * 2018-09-28 2020-04-08 삼성디스플레이 주식회사 표시 장치와 그의 구동 방법

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004187288A (ja) * 2002-11-20 2004-07-02 Haruhiko Onozato 音源映像の表示領域からその音声を出力させる映像音声再生方法
JP2007274061A (ja) * 2006-03-30 2007-10-18 Yamaha Corp 音像定位装置およびａｖシステム
JP2008109209A (ja) * 2006-10-23 2008-05-08 Sony Corp 出力制御システムおよび方法、出力制御装置および方法、並びにプログラム
JP2010041579A (ja) * 2008-08-07 2010-02-18 Sharp Corp コンテンツ再生装置、コンテンツ再生方法、プログラムおよび記録媒体
JP2010206265A (ja) * 2009-02-27 2010-09-16 Toshiba Corp 音像制御装置、音像制御方法、ストリームのデータ構造、及びストリーム生成装置
WO2012029790A1 (ja) * 2010-09-02 2012-03-08 シャープ株式会社 映像提示装置、映像提示方法、映像提示プログラム、記憶媒体
JP2012235426A (ja) * 2011-05-09 2012-11-29 Nippon Hoso Kyokai <Nhk> 音響再生装置および音響再生プログラム
WO2013105413A1 (ja) * 2012-01-11 2013-07-18 ソニー株式会社 音場制御装置、音場制御方法、プログラム、音場制御システム及びサーバ
WO2018123310A1 (ja) 2016-12-27 2018-07-05 ソニー株式会社 フラットパネルスピーカおよび表示装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3958585A4

Also Published As

Publication number Publication date
EP3958585A4 (en) 2022-06-08
US20220217469A1 (en) 2022-07-07
KR20210151795A (ko) 2021-12-14
CN113678469A (zh) 2021-11-19
EP3958585A1 (en) 2022-02-23
JPWO2020213375A1 (ja) 2020-10-22

Similar Documents

Publication Publication Date Title
US9258665B2 (en) Apparatus, systems and methods for controllable sound regions in a media room
CN101990075B (zh) 显示装置和音频输出装置
US8494189B2 (en) Virtual sound source localization apparatus
US20120033135A1 (en) Method and Apparatus For Listening to audio Corresponding to a PIP Display
JP5499469B2 (ja) 音声出力装置、映像音声再生装置及び音声出力方法
JP2000069391A (ja) 多画面受像装置
EP2247123A2 (en) Display apparatus and control method of the same
JP2010206265A (ja) 音像制御装置、音像制御方法、ストリームのデータ構造、及びストリーム生成装置
WO2020213375A1 (ja) 表示装置、制御方法、およびプログラム
EP0370619A2 (en) Multiple loudspeaker sound system for a video display device
JP2008301149A (ja) 音場制御方法、音場制御プログラム、音声再生装置
US20240089643A1 (en) Reproduction system, display apparatus, and reproduction apparatus
KR20140141370A (ko) 프론트 채널 사운드가 발생되는 미들 레이어 위치 조정 장치 및 그 방법
JP5865590B2 (ja) 映像表示装置，テレビジョン受像機
KR200490817Y1 (ko) 오디오 일체형 셋톱박스
JP5581160B2 (ja) 映像信号処理システム、映像信号処理システムに用いられる表示装置、及び映像信号処理方法
KR20190094852A (ko) 디스플레이 장치 및 이를 포함하는 오디오 시스템
JP2012060349A (ja) 立体映像表示装置
KR20060039363A (ko) 영상/음향 출력장치 및 영상/음향 출력방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20792151

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021514854

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020792151

Country of ref document: EP

Effective date: 20211116