JP3231908U - Display device with automatic noise reduction function - Google Patents

Display device with automatic noise reduction function Download PDF

Info

Publication number
JP3231908U
JP3231908U JP2021000608U JP2021000608U JP3231908U JP 3231908 U JP3231908 U JP 3231908U JP 2021000608 U JP2021000608 U JP 2021000608U JP 2021000608 U JP2021000608 U JP 2021000608U JP 3231908 U JP3231908 U JP 3231908U
Authority
JP
Japan
Prior art keywords
audio signal
audio
noise reduction
display device
microphone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2021000608U
Other languages
Japanese (ja)
Inventor
浩鎧 黄
浩鎧 黄
成龍 林
成龍 林
秋旗 楊
秋旗 楊
芝成 黄
芝成 黄
周漢 ▲ごん▼
周漢 ▲ごん▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Giga Byte Technology Co Ltd
Original Assignee
Giga Byte Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Giga Byte Technology Co Ltd filed Critical Giga Byte Technology Co Ltd
Application granted granted Critical
Publication of JP3231908U publication Critical patent/JP3231908U/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers
    • H04R3/005—Circuits for transducers for combining the signals of two or more microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02166—Microphone arrays; Beamforming

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Otolaryngology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

【課題】自動ノイズリダクション機能を有するディスプレイ装置を提供する。【解決手段】ディスプレイ装置は、ローカルユーザーから発された音声信号を捕捉して、それぞれ、第一オーディオ信号１１および第二オーディオ信号１２を生成する第一マイクロフォンおよび第二マイクロフォンと、第一オーディオ信号および第二オーディオ信号に対し、ビーム形成処理を実行して、第三オーディオ信号１３を生成する第一オーディオノイズリダクションチップ２８２と、第三オーディオ信号に対し、オーディオノイズリダクションプロセスを実行して、ノイズリダクション音声信号１４を生成する第二オーディオノイズリダクションチップ２８３と、ノイズリダクション音声信号に対し、音声エンコードプロセスを実行して、エンコードされたオーディオ信号１５を生成するとともに、ディスプレイ装置のＵＳＢハブにより、エンコードされたオーディオ信号をホストに送信するオーディオ処理チップ２８５とを有する。【選択図】図１PROBLEM TO BE SOLVED: To provide a display device having an automatic noise reduction function. SOLUTION: A display device captures an audio signal emitted from a local user and generates a first audio signal 11 and a second audio signal 12, respectively, a first microphone and a second microphone, and a first audio signal. And the first audio noise reduction chip 282 that performs beam formation processing on the second audio signal to generate the third audio signal 13, and the audio noise reduction process on the third audio signal to perform noise. The second audio noise reduction chip 283 that generates the reduction audio signal 14 and the noise reduction audio signal are subjected to an audio encoding process to generate the encoded audio signal 15, and are encoded by the USB hub of the display device. It has an audio processing chip 285 that transmits the audio signal to the host. [Selection diagram] Fig. 1

Description

本考案は、ディスプレイ装置に関するものであって、特に、自動ノイズリダクション機能(automatic noise-reduction function)を有するディスプレイ装置に関するものである。 The present invention relates to a display device, and more particularly to a display device having an automatic noise-reduction function.

コンピュータゲームのプレーヤーがイヤフォンとマイクロフォンを装着して、チームメイトとプレイするとき、プレーヤーとチームメイトは、常に、環境ノイズに悩まされ、且つ、プレーヤーは、時に、大音量にしないと、チームメイトとの対話ができないので、プレーヤーはイヤフォン音量を上げる必要があり、長期の使用で、耳の調子が悪くなり、聴力が損傷する恐れがある。現在、市販のディスプレイ装置の機能は多様化し、且つ、プレーヤーは、外部マイクロフォンを挿入できるが、従来のディスプレイ装置は、プレーヤーが発した音声信号を、直接、ホストに送信することができるだけであり、環境ノイズの改善には役に立たない。
よって、自動ノイズリダクション機能を有するディスプレイ装置を提供し、上述の問題を解決する必要がある。 When a computer game player wears earphones and a microphone and plays with his teammates, the player and teammates are always annoyed by environmental noise, and the player sometimes has to be loud with his teammates. Players need to turn up the earphone volume because they can't interact with the earphones, and long-term use can cause ear problems and hearing loss. Currently, the functions of commercially available display devices are diversified, and the player can insert an external microphone, but the conventional display device can only transmit the audio signal emitted by the player directly to the host. It is not useful for improving environmental noise.
Therefore, it is necessary to provide a display device having an automatic noise reduction function to solve the above-mentioned problems.

本考案は、自動ノイズリダクション機能を有するディスプレイ装置を提供することを目的とする。 An object of the present invention is to provide a display device having an automatic noise reduction function.

本考案は、自動ノイズリダクション機能を有するディスプレイ装置を提供し、ディスプレイ装置は、ホストに電気的に接続される。ディスプレイ装置は、ディスプレイパネルと、ディスプレイパネルの表示画面を制御するディスプレイコントローラーと、ディスプレイ装置のハウジングに設置されて、ローカルユーザーから発された音声信号を捕捉して、それぞれ、第一オーディオ信号、および、第二オーディオ信号を生成する第一マイクロフォン、および、第二マイクロフォンと、第一オーディオ信号、および、第二オーディオ信号に対して、ビーム形成処理を実行して、第三オーディオ信号を生成する第一オーディオノイズリダクションチップと、第三オーディオ信号に対して、オーディオノイズリダクションプロセスを実行して、ノイズリダクション音声信号を生成する第二オーディオノイズリダクションチップと、ノイズリダクション音声信号に対して、音声エンコードプロセスを実行して、エンコードされたオーディオ信号を生成するとともに、ディスプレイ装置のユニバーサルシリアルバス(ＵＳＢ)ハブにより、エンコードされたオーディオ信号をホストに送信するオーディオ処理チップと、を有する。 The present invention provides a display device having an automatic noise reduction function, and the display device is electrically connected to a host. The display device is installed in the display panel, the display controller that controls the display screen of the display panel, and the housing of the display device to capture the audio signal emitted from the local user, and captures the first audio signal and the first audio signal, respectively. , The first microphone that generates the second audio signal, and the second microphone, the first audio signal, and the second audio signal are subjected to beam forming processing to generate the third audio signal. (1) Audio noise reduction chip and a third audio signal are subjected to an audio noise reduction process to generate a noise reduction audio signal. A second audio noise reduction chip and a noise reduction audio signal are subjected to an audio encoding process. To generate an encoded audio signal, and to transmit the encoded audio signal to the host by the universal serial bus (USB) hub of the display device.

一実施形態において、第一マイクロフォン、および、第二マイクロフォンは、指向性マイクロフォン、あるいは、無指向性マイクロフォンである。 In one embodiment, the first microphone and the second microphone are directional microphones or omnidirectional microphones.

一実施形態において、第一オーディオノイズリダクションチップは、第一オーディオ信号、および、第二オーディオ信号にしたがって、ローカルユーザーから発された音声信号の発信元方位を計算するとともに、第一ＡＩモデルを使用して、発信元方位で、ビーム形成処理を実行し、且つ、第二オーディオノイズリダクションチップは、第二ＡＩモデルを使用して、第三オーディオ信号に対し、オーディオノイズリダクションプロセスを実行して、第三オーディオ信号中の雑音、および、環境ノイズをフィルタリングして、ノイズリダクション音声信号を生成する。 In one embodiment, the first audio noise reduction chip calculates the source orientation of the audio signal emitted by the local user according to the first audio signal and the second audio signal, and uses the first AI model. Then, the beam formation process is executed in the source direction, and the second audio noise reduction chip uses the second AI model to execute the audio noise reduction process on the third audio signal. The noise in the third audio signal and the environmental noise are filtered to generate a noise reduction audio signal.

一実施形態において、ディスプレイ装置は、さらに、オーディオ入力インターフェースを有して、外部マイクロフォンがオーディオ入力インターフェースに挿入されているか否かを検出して、挿入判断信号を生成する。オーディオ入力インターフェースが、外部マイクロフォンがオーディオ入力インターフェースに挿入されていることを検出していない場合に、挿入判断信号は高ロジック状態にある。 In one embodiment, the display device further has an audio input interface, detects whether or not an external microphone is inserted into the audio input interface, and generates an insertion determination signal. If the audio input interface does not detect that an external microphone is being inserted into the audio input interface, the insertion decision signal is in a high logic state.

一実施形態において、ホストは、ネットワークにより、エンコードされたオーディオ信号を、その他のホストに送信して、オーディオデコードを実行させて、ノイズリダクション音声信号を得て再生する。 In one embodiment, the host transmits an encoded audio signal over the network to another host to perform audio decoding to obtain and reproduce a noise reduction audio signal.

本考案は更に、自動ノイズリダクション機能を有するディスプレイ装置を提供し、ディスプレイ装置は、ホストに電気的に接続される。ディスプレイ装置は、ディスプレイパネルと、ディスプレイパネルの表示画面を制御するディスプレイコントローラーと、ディスプレイ装置のハウジングに設置されて、ディスプレイ装置の環境ノイズを捕捉して、それぞれ、第一オーディオ信号、および、第二オーディオ信号を生成する第一マイクロフォン、および、第二マイクロフォンと、ローカルユーザーから発された音声信号を捕捉して外部オーディオ信号を生成する外部マイクロフォンに電気的に接続されるオーディオ入力インターフェースと、第一オーディオ信号、および、第二オーディオ信号に対して、ビーム形成処理を実行して、第三オーディオ信号を生成する第一オーディオノイズリダクションチップと、外部オーディオ信号から第三オーディオ信号を除去して、第四オーディオ信号を得るとともに、第四オーディオ信号に対して、オーディオノイズリダクションプロセスを実行して、ノイズリダクション音声信号を生成する第二オーディオノイズリダクションチップと、ノイズリダクション音声信号に対して、音声エンコードプロセスを実行して、エンコードされたオーディオ信号を生成するとともに、ディスプレイ装置のユニバーサルシリアルバス(ＵＳＢ)ハブにより、エンコードされたオーディオ信号をホストに送信するオーディオ処理チップと、を有する。 The present invention further provides a display device having an automatic noise reduction function, in which the display device is electrically connected to a host. The display device is installed in the display panel, the display controller that controls the display screen of the display panel, and the housing of the display device, and captures the environmental noise of the display device, respectively, to capture the first audio signal and the second audio signal, respectively. The first and second microphones that generate the audio signal, and the audio input interface that is electrically connected to the external microphone that captures the audio signal emitted by the local user and generates the external audio signal, and the first A beam forming process is executed on the audio signal and the second audio signal to generate the third audio signal, and the third audio signal is removed from the first audio noise reduction chip and the external audio signal to generate the third audio signal. A second audio noise reduction chip that obtains an audio signal and executes an audio noise reduction process on the fourth audio signal to generate a noise reduction audio signal, and a voice encoding process on the noise reduction audio signal. To generate an encoded audio signal, and to transmit the encoded audio signal to the host by the universal serial bus (USB) hub of the display device.

本考案のディスプレイ装置は、外部マイクロフォンが挿入されている状況下でも、挿入されていない状況下でも、自動ノイズリダクション機能を提供することができる。このほか、ディスプレイ装置中のオーディオノイズリダクションチップは、ＡＩモデルを使用して、ビーム形成処理、および、オーディオノイズリダクションプロセスを実行することができるので、ディスプレイ装置の雑音、および、環境ノイズをさらに減少させるとともに、音声通話の品質を向上させて、ユーザーエクスペリエンスを増進することができる。 The display device of the present invention can provide an automatic noise reduction function in a situation where an external microphone is inserted or not. In addition, the audio noise reduction chip in the display device can use the AI model to perform the beam formation process and the audio noise reduction process, further reducing the noise of the display device and the environmental noise. At the same time, it can improve the quality of voice calls and enhance the user experience.

本考案の一実施形態中のディスプレイシステムの機能ブロック図である。It is a functional block diagram of the display system in one Embodiment of this invention. 本考案の一実施形態による第一状況におけるディスプレイ装置の配置を示す図である。It is a figure which shows the arrangement of the display apparatus in the 1st situation by one Embodiment of this invention. 本考案の一実施形態による第二状況中のディスプレイ装置の配置を示す図である。It is a figure which shows the arrangement of the display apparatus in the 2nd situation by one Embodiment of this invention.

以下の説明は、本考案を完成させる好ましい実施形態であり、その目的は、本考案の基本精神を描写することであり、実際の考案の内容は請求項範囲を参照しなければならない。
理解すべきことは、本明細書中で使用される「有する」、「含む」等の用語は、特定の技術特徴、数値、方法工程、作業処理、素子、および／または、部品を表示するのに用いられているが、さらに多くの技術特徴、数値、方法工程、作業処理、素子、および／または、部品、あるいは、それらの任意の組み合わせを加えることを排除しない。 The following description is a preferred embodiment of the present invention, the purpose of which is to depict the basic spirit of the present invention, and the content of the actual invention must refer to the claims.
It should be understood that terms such as "have" and "include" as used herein refer to specific technical features, numerical values, method steps, work processes, elements, and / or parts. However, it does not preclude the addition of more technical features, numerical values, method processes, work processes, elements and / or parts, or any combination thereof.

請求項中で使用される「第一」、「第二」、「第三」等の用語は、請求項中の素子を修飾するために用いられ、それらの間の優先順序、先行関係、一素子がもう一つの素子の前にあることや、工程実行時の前後順序を表示するものではなく、同じ名称の素子を区別するためだけに用いられる。 Terms such as "first," "second," and "third" used in the claims are used to modify the elements in the claim, and the priority order, prior relationship, one, etc. between them. It does not indicate that the element is in front of another element or the order before and after the process is executed, but is used only to distinguish elements with the same name.

図１は、本考案の一実施形態中のディスプレイシステムのブロック図である。 FIG. 1 is a block diagram of a display system in one embodiment of the present invention.

図１に示されるように、ディスプレイシステム１は、ホスト１００、および、ディスプレイ装置２００を有する。ホスト１００は、たとえば、パソコン、あるいは、サーバである。ホスト１００は、たとえば、処理ユニット１１０、グラフィック処理ユニット１２０、メモリユニット１３０、ストレージデバイス１４０、伝送インターフェース１５０、１５１、および、ネットワークインターフェース１７０を有する。処理ユニット１１０、グラフィック処理ユニット１２０、メモリユニット１３０、ストレージデバイス１４０、伝送インターフェース１５０、および、ネットワークインターフェース１７０は、システムバス１１１により、互いに結合される。処理ユニット１１０は、たとえば、中央処理装置(ＣＰＵ)、汎用プロセッサ(general-purpose processor)等であるが、本考案は、これに限定されない。グラフィック処理ユニット１２０は、たとえば、グラフィックスカード上のグラフィック処理ユニット、あるいは、処理ユニット１１０中に整合されるグラフィック処理ユニットである。 As shown in FIG. 1, the display system 1 includes a host 100 and a display device 200. The host 100 is, for example, a personal computer or a server. The host 100 has, for example, a processing unit 110, a graphic processing unit 120, a memory unit 130, a storage device 140, transmission interfaces 150 and 151, and a network interface 170. The processing unit 110, the graphic processing unit 120, the memory unit 130, the storage device 140, the transmission interface 150, and the network interface 170 are coupled to each other by the system bus 111. The processing unit 110 is, for example, a central processing unit (CPU), a general-purpose processor, or the like, but the present invention is not limited thereto. The graphic processing unit 120 is, for example, a graphic processing unit on a graphics card or a graphic processing unit aligned in the processing unit 110.

メモリユニット１３０は、ランダムアクセスメモリ、たとえば、ダイナミックＲＡＭ(ＤＲＡＭ)、あるいは、スタティックＲＡＭ(ＳＲＡＭ)であるが、本考案は、これに限定されない。ストレージデバイス１４０は、不揮発性メモリ(non-volatile memory)、たとえば、ハードディスクドライブ(hard disk drive)、ソリッドステートディスク(solid-state disk)、フラッシュメモリ(flash memory)、あるいは、リードオンリメモリ (read-only memory)であるが、本考案は、これに限定されない。 The memory unit 130 is a random access memory, for example, a dynamic RAM (DRAM) or a static RAM (SRAM), but the present invention is not limited thereto. The storage device 140 may be a non-volatile memory, such as a hard disk drive, a solid-state disk, a flash memory, or a read-only memory. (only memory), but the present invention is not limited to this.

たとえば、ストレージデバイス１４０は、アプリケーションプログラム１４１、オペレーティングシステム１４２(たとえば、Windows、Linux（登録商標）、MacOS等である)を保存し、且つ、処理ユニット１１０は、アプリケーションプログラム１４１、および、オペレーティングシステム１４２を、メモリユニット１３０に読み取らせて実行する。アプリケーションプログラム１４１は、たとえば、音声通信機能を有し、且つ、ネットワーク３０により、その他のホストの使用者と音声通信を実行することができる。 For example, the storage device 140 stores the application program 141 and the operating system 142 (eg, Windows, Linux®, MacOS, etc.), and the processing unit 110 is the application program 141 and the operating system 142. Is read by the memory unit 130 and executed. The application program 141 has, for example, a voice communication function, and can execute voice communication with a user of another host via the network 30.

グラフィック処理ユニット１２０は、たとえば、処理ユニット１１０により実行されるアプリケーションプログラムのグラフィック処理を実行して、一枚以上のイメージを有するイメージ信号を生成するとともに、伝送インターフェース１５１により、イメージ信号を、ディスプレイ装置２００の伝送インターフェース２５１に送信する。伝送インターフェース１５１、２５１の間のチャネルは、イメージ伝送チャネルと称することができる。伝送インターフェース１５１、２５１は、有線伝送インターフェース、および／または、無線伝送インターフェースであり、有線伝送インターフェースは、高解像度マルチメディアインターフェース(High Definition Multimedia Interface、ＨＤＭＩ（登録商標）)、ディスプレイポート(DisplayPort、ＤＰ)インターフェース、組込ディスプレイポート(embedded DisplayPort、ｅＤＰ)、低電圧差動信号伝送(low voltage differential signaling、ＬＶＤＳ)インターフェース、ユニバーサルシリアルバス(Universal Serial Bus、ＵＳＢ)インターフェース、ＵＳＢ Type-Cインターフェース、サンダーボルト(Thunderbolt)インターフェース、デジタルビデオインターフェース(ＤＶＩ)、ビデオグラフィックスアレイ(ＶＧＡ)インターフェース、汎用入出力(ＧＰＩＯ)インターフェース、非同期シリアル通信(ＵＡＲＴ)インターフェース、シリアルペリフェラルインタフェース(ＳＰＩ)インターフェース、アイスクエアドシー(Ｉ２Ｃ)インターフェース、あるいは、その組み合わせを有し、且つ、無線伝送インターフェースは、ブルートゥース(Bluetooth（登録商標）)、Wi-Fi、近距離無線通信(ＮＦＣ)インターフェース等を有するが、本考案は、これに限定されない。 The graphic processing unit 120, for example, executes graphic processing of an application program executed by the processing unit 110 to generate an image signal having one or more images, and displays the image signal by the transmission interface 151. It transmits to 200 transmission interfaces 251. The channel between the transmission interfaces 151 and 251 can be referred to as an image transmission channel. The transmission interfaces 151 and 251 are a wired transmission interface and / or a wireless transmission interface, and the wired transmission interface includes a high definition multimedia interface (High Definition Multimedia Interface, HDMI®) and a display port (DisplayPort, DP). ) Interface, embedded DisplayPort (eDP), low voltage differential signaling (LVDS) interface, Universal Serial Bus (USB) interface, USB Type-C interface, Thunderbolt (Thunderbolt) Interface, Digital Video Interface (DVI), Video Graphics Array (VGA) Interface, General Purpose Input / Output (GPIO) Interface, Asynchronous Serial Communication (UART) Interface, Serial Peripheral Interface (SPI) Interface, Eye Squared Sea (I2C) ) Interface, or a combination thereof, and the wireless transmission interface has Bluetooth (Bluetooth (registered trademark)), Wi-Fi, short-range wireless communication (NFC) interface, etc. Not limited.

このほか、処理ユニット１１０は、たとえば、伝送インターフェース１５０により、データを、ディスプレイ装置２００の伝送インターフェース２５０に伝送し、伝送インターフェース１５０、および、２５０は、たとえば、ＵＳＢインターフェースやＵＳＢ Type-Cインターフェースであり、且つ、ＵＳＢ ３．１、および／あるいは、ＵＳＢ ２．０プロトコルをサポートすることができる。伝送インターフェース１５０、および、２５０の間のチャネルは、データ伝送チャネルと称する。 In addition, the processing unit 110 transmits data to the transmission interface 250 of the display device 200 by, for example, the transmission interface 150, and the transmission interface 150 and 250 are, for example, a USB interface or a USB Type-C interface. And, USB 3.1 and / or the USB 2.0 interface can be supported. The channel between the transmission interfaces 150 and 250 is referred to as a data transmission channel.

ディスプレイ装置２００は、ホスト１００に電気的に接続される。ディスプレイ装置２００は、ディスプレイコントローラー２１０、ディスプレイモジュール２２０、ストレージユニット２３０、イメージバッファ２４０、伝送インターフェース２５０〜２５１、オーディオ入力インターフェース２５５、入力インターフェース２６０、ＵＳＢハブ２７０、マイクロフォン２８１Ｌおよび２８１Ｒ、オーディオノイズリダクションチップ２８２および２８３、並びに、オーディオ処理チップ２８５を有する。 The display device 200 is electrically connected to the host 100. The display device 200 includes a display controller 210, a display module 220, a storage unit 230, an image buffer 240, a transmission interface 250 to 251 and an audio input interface 255, an input interface 260, a USB hub 270, microphones 281L and 281R, and an audio noise reduction chip 282. And 283, as well as an audio processing chip 285.

ディスプレイコントローラー２１０は、たとえば、特定用途向け集積回路(application-specific integrated circuit)、システムオンチップ (System-on-chip)、プロセッサ、あるいは、マイクロコントローラー (microcontroller)であるが、本考案は、これに限定されない。 The display controller 210 is, for example, an application-specific integrated circuit, a system-on-chip, a processor, or a microcontroller. Not limited.

ディスプレイモジュール２２０は、たとえば、液晶(liquid crystal)パネル、発光ダイオード(light-emitting diode)パネル、有機発光ダイオード一 (organic light-emitting diode)パネル、陰極線管 (cathode ray tube)、Ｅインク(E-Ink)ディスプレイモジュール、エレクトロルミネセンス(electroluminescent)ディスプレイモジュール、プラズマ(Plasma)ディスプレイモジュール、プロジェクション(projection)ディスプレイモジュール、量子ドット(Quantum Dot)ディスプレイモジュールであるが、本考案は、これに限定されない。 The display module 220 may include, for example, a liquid crystal panel, a light-emitting diode panel, an organic light-emitting diode panel, a cathode ray tube, or an E-ink (E-). Ink display modules, electroluminescent display modules, plasma display modules, projection display modules, and Quantum Dot display modules, but the present invention is not limited thereto.

ストレージユニット２３０は、たとえば、不揮発性メモリ、たとえば、リードオンリメモリ (ＲＯＭ)、消去可能なＰＲＯＭ(ＥＰＲＯＭ)、書き換え可能な読み取り専用メモリ(ＥＥＰＲＯＭ)である。ストレージユニット２３０は、ディスプレイ装置２００に関連するファームウェア２３１を保存するのに用いられる。ストレージユニット２３０は、たとえば、ディスプレイコントローラー２１０の外部に位置するか、あるいは、ディスプレイコントローラー２１０中に整合される。 The storage unit 230 is, for example, a non-volatile memory, for example, a read-only memory (ROM), an erasable PROM (EPROM), or a rewritable read-only memory (EEPROM). The storage unit 230 is used to store the firmware 231 associated with the display device 200. The storage unit 230 is located, for example, outside the display controller 210 or is aligned within the display controller 210.

ファームウェア２３１は、たとえば、ディスプレイ装置２００のスクリーン上で表示されるインターフェースのディスプレイ設定、および、拡張ディスプレイ識別データ(Extended Display Identification Data、ＥＤＩＤ)、ディスプレイ設定、および、一つ以上のスクリーン上で表示されるインターフェース(on-screen-display(ＯＳＤ) interface)２３２を有する。拡張ディスプレイ識別データは、たとえば、ディスプレイ装置２００のメーカー、製品名、解像度、フレームレート等を有する。ディスプレイ設定は、たとえば、ディスプレイ装置２００の輝度、コントラスト、シャープネス、色温度等の設定を有する。このほか、ファームウェア２３１は、更に、ディスプレイ装置２００のＯＳＤインターフェース２３２を制御する。 The firmware 231 is displayed, for example, on the display settings of the interface displayed on the screen of the display device 200, the extended display identification data (EDID), the display settings, and on one or more screens. It has an on-screen-display (OSD) interface 232. The extended display identification data includes, for example, the manufacturer, product name, resolution, frame rate, and the like of the display device 200. The display settings include, for example, settings such as brightness, contrast, sharpness, and color temperature of the display device 200. In addition, the firmware 231 further controls the OSD interface 232 of the display device 200.

一実施形態において、ディスプレイコントローラー２１０は、バス(たとえば、Ｉ２Ｃバス)により、ストレージユニット２３０中に保存されたファームウェア２３１、および、ＯＳＤインターフェース２３２のプログラムコードを読み取るとともに、相関するディスプレイパラメータを設定する。このほか、ディスプレイコントローラー２１０は、伝送インターフェース２５０、あるいは、２５１(たとえば、それぞれ、イメージ伝送チャネル、あるいは、データ伝送チャネル)により、ディスプレイ装置２００の拡張ディスプレイ識別データを、ホスト１００に送信して、ホスト１００中の処理ユニット１１０、および、グラフィック処理ユニット１２０が、出力するイメージ信号の解像度、および、相関する同期信号を設定できるようにする。ＯＳＤインターフェース２３２は、たとえば、オンスクリーンディスプレイメニュー(OSD Menu)、および、オプション、情報ダッシュボード(information dashboard)、タイマー、カウンター、照準線(crosshair)、特定符号、特定色、特定文字、あるいは、その組み合わせを有するが、本考案は、これに限定されない。一実施形態において、オンスクリーンディスプレイメニューは、オーディオノイズリダクション機能リストを有する。 In one embodiment, the display controller 210 reads the firmware 231 stored in the storage unit 230 and the program code of the OSD interface 232 by the bus (for example, the I2C bus) and sets the correlated display parameters. In addition, the display controller 210 transmits the extended display identification data of the display device 200 to the host 100 by the transmission interface 250 or 251 (for example, an image transmission channel or a data transmission channel, respectively) to host the host. The processing unit 110 and the graphic processing unit 120 in 100 can set the resolution of the output image signal and the correlation synchronization signal. The OSD interface 232 includes, for example, an on-screen display menu (OSD Menu) and options, an information dashboard, a timer, a counter, a crosshair, a specific code, a specific color, a specific character, or a specific character thereof. It has a combination, but the present invention is not limited to this. In one embodiment, the on-screen display menu has an audio noise reduction feature list.

イメージバッファ２４０は、たとえば、揮発性メモリ(たとえば、ダイナミックＲＡＭ)、あるいは、不揮発性メモリ(たとえば、フラッシュメモリ)であり、ディスプレイモジュール２２０上で再生したい出力イメージを保存するのに用いられ、ホスト１００、あるいは、ディスプレイコントローラー２１０は、ホスト１００により生成されたスクリーン上で示されるイネーブル信号に基づいて、一つ以上のＯＳＤインターフェース２３２によって、イメージバッファ２４０中に保存されているイメージ信号の特定領域を被覆して、出力イメージを生成する。 The image buffer 240 is, for example, a volatile memory (eg, dynamic RAM) or a non-volatile memory (eg, flash memory) and is used to store an output image that is desired to be played on the display module 220, and is used by the host 100. Alternatively, the display controller 210 covers a specific area of the image signal stored in the image buffer 240 by one or more OSD interfaces 232 based on the on-screen enable signal generated by the host 100. And generate an output image.

入力インターフェース２６０は、ディスプレイ装置２００のオンスクリーンディスプレイメニューを制御するのに用いられる。入力インターフェース２６０は、たとえば、五方向制御棒２６２、あるいは、五個の物理的ボタン２６１により実現されて、上、下、左、右、および、確認等の指令を実現する。ホスト１００は、伝送インターフェース１５０、および、２５０(たとえば、ＵＳＢインターフェース)により、ＵＳＢハブ２７０を通じて、データをディスプレイコントローラー２１０に送信し、且つ、ディスプレイコントローラー２１０も同様に、伝送インターフェース１５０、および、２５０により、ＵＳＢハブ２７０を通じて、データをホスト１００に送信する。 The input interface 260 is used to control the on-screen display menu of the display device 200. The input interface 260 is realized by, for example, a five-direction control rod 262 or five physical buttons 261 to realize commands such as up, down, left, right, and confirmation. The host 100 transmits data to the display controller 210 through the USB hub 270 via the transmission interfaces 150 and 250 (eg, the USB interface), and the display controller 210 also uses the transmission interfaces 150 and 250. , The data is transmitted to the host 100 through the USB hub 270.

図２Ａは、本考案の一実施形態による第一状況におけるディスプレイ装置の配置を示す図である。 FIG. 2A is a diagram showing the arrangement of the display device in the first situation according to the embodiment of the present invention.

図１、および、図２Ａを同時に参照する。図２Ａに示されるように、たとえば、マイクロフォン２８１Ｌ、および、２８１Ｒが、ディスプレイ装置２００のハウジング上に設置され、且つ、両者は、所定距離(たとえば、４センチ、６センチ、あるいは、１０センチであるが、これらに限定されない)で隔てられている。マイクロフォン２８１Ｌ、および、２８１Ｒは、オーディオノイズリダクションチップ２８２に電気的に接続され、マイクロフォン２８１Ｌ、および、２８１Ｒは、どちらも、指向性(directional)マイクロフォンであり、且つ、範囲５０内に、良好な感度(sensitivity)を有する。一実施形態において、マイクロフォン２８１Ｌ、および、２８１Ｒは、どちらも、無指向性(omnidirectional)マイクロフォンであり、且つ、同一のマイクロフォンモジュールに整合される。 1 and 2A are referred to at the same time. As shown in FIG. 2A, for example, the microphones 281L and 281R are installed on the housing of the display device 200, and both are at a predetermined distance (eg, 4 cm, 6 cm, or 10 cm). However, it is not limited to these). The microphones 281L and 281R are electrically connected to the audio noise reduction chip 282, and the microphones 281L and 281R are both directional microphones and have good sensitivity within the range 50. Has (sensitivity). In one embodiment, the microphones 281L and 281R are both omnidirectional microphones and are matched to the same microphone module.

第一状況において、マイクロフォン２０は、ディスプレイ装置２００のオーディオ入力インターフェース２５５に接続されていない。オーディオ入力インターフェース２５５は、たとえば、３．５ｍｍの端子ホールで、且つ、検出回路２５６を有して、マイクロフォンがオーディオ入力インターフェース２５５に挿入されているか否かを検出する。検出回路２５６が、マイクロフォンがオーディオ入力インターフェース２５５に挿入されていることを検出していないとき、検出回路が出力する挿入判断信号１７は、たとえば、高ロジック状態(high logic state)にある。検出回路２５６が、マイクロフォンがオーディオ入力インターフェース２５５に挿入されていることを検出したとき、検出回路が出力する挿入判断信号１７は、たとえば、低ロジック状態(low logic state)にある。 In the first situation, the microphone 20 is not connected to the audio input interface 255 of the display device 200. The audio input interface 255 has, for example, a 3.5 mm terminal hole and has a detection circuit 256 to detect whether or not a microphone is inserted into the audio input interface 255. When the detection circuit 256 has not detected that the microphone has been inserted into the audio input interface 255, the insertion determination signal 17 output by the detection circuit is, for example, in a high logic state. When the detection circuit 256 detects that the microphone is inserted into the audio input interface 255, the insertion determination signal 17 output by the detection circuit is, for example, in a low logic state.

マイクロフォン２８１Ｌ、および、２８１Ｒは、それぞれ、ローカルユーザー６０から発されたオーディオ信号を受信して、第一オーディオ信号１１、および、第二オーディオ信号１２を生成するとともに、第一オーディオ信号１１、および、第二オーディオ信号１２を、オーディオノイズリダクションチップ２８２に送信する。第一状況において、挿入判断信号１７が高ロジック状態であるとき、オーディオノイズリダクションチップ２８２、および、２８３は、第一ノイズリダクションモードに進入し、且つ、オーディオノイズリダクションチップ２８２は、第一ＡＩモデル(AI model)を使用して、第一オーディオ信号１１、および、第二オーディオ信号１２に対して、ビーム形成(beamforming)処理を実行して、第三オーディオ信号１３を生成する。ビーム形成処理は、たとえば、第一パラメータ集合を使用する。 The microphones 281L and 281R receive the audio signal emitted from the local user 60 and generate the first audio signal 11 and the second audio signal 12, respectively, and the first audio signal 11 and the second audio signal 12 are generated. The second audio signal 12 is transmitted to the audio noise reduction chip 282. In the first situation, when the insertion determination signal 17 is in the high logic state, the audio noise reduction chips 282 and 283 enter the first noise reduction mode, and the audio noise reduction chip 282 is the first AI model. (AI model) is used to perform beam forming processing on the first audio signal 11 and the second audio signal 12 to generate the third audio signal 13. The beam forming process uses, for example, the first parameter set.

たとえば、ローカルユーザー６０が発した音声信号が、マイクロフォン２８１Ｌ、および、２８１Ｒに到達する時間は若干の差異があるので、オーディオノイズリダクションチップ２８２は、第一パラメータ集合を使用して、ローカルユーザー６０が発した音声信号の発信元方位(orientation)を計算するとともに、発信元方位で、ビーム形成処理を実行する。すなわち、上述の発信元方位以外のその他の方位のオーディオ信号(雑音や環境ノイズを含む)であれば、フィルタリングされるか、あるいは、ごくわずかな音声ゲインを有する。注意すべきことは、ビーム形成処理後に生成された第三オーディオ信号１３は依然として、上述の発信元方位の環境ノイズ、および、雑音を有することである。 For example, since there is a slight difference in the time it takes for the audio signal emitted by the local user 60 to reach the microphones 281L and 281R, the audio noise reduction chip 282 uses the first parameter set so that the local user 60 can use it. The source orientation (orientation) of the emitted audio signal is calculated, and the beam formation process is executed at the source orientation. That is, audio signals (including noise and environmental noise) in directions other than the above-mentioned source direction are filtered or have a very small audio gain. It should be noted that the third audio signal 13 generated after the beam forming process still has the above-mentioned environmental noise in the source direction and noise.

続いて、オーディオノイズリダクションチップ２８３は、第二ＡＩモデルを使用して、第三オーディオ信号１３に対して、オーディオノイズリダクション(audio noise reduction)処理を実行して、ノイズリダクション音声信号１４を生成する。上述の第一ＡＩモデル、および、第二ＡＩモデルは、たとえば、異なる完全接続(full connected)のディープニューラルネットワーク(deep neural network、ＤＮＮ)である。 Subsequently, the audio noise reduction chip 283 uses the second AI model to perform audio noise reduction processing on the third audio signal 13 to generate a noise reduction audio signal 14. .. The first AI model and the second AI model described above are, for example, different fully connected deep neural networks (DNNs).

マイクロフォン２８１Ｌ、および、２８１Ｒにより生成された第一オーディオ信号１１、および、第二オーディオ信号１２は、通常、ローカルユーザー６０の音声、および、環境ノイズ/雑音を有し、オーディオノイズリダクションチップ２８２、および、２８３は、機器学習を実行するために、極度に大量の音声データサンプルを有するので、ディープニューラルネットワークにより、各オーディオ信号に最適なモデルパラメータを快速に探し出すことができ、たとえば、自主的に、各種の雑音状況を識別することができ、オーディオ信号中の雑音、および、環境ノイズを消去して、音声信号を残して、最適なノイズリダクション效果を達成する(たとえば、信号対雑音比ＳＮＲを大幅に向上させる)ことができる。一実施形態において、オーディオノイズリダクションチップ２８２、および、２８３は、たとえば、同一のオーディオノイズリダクションチップ２８４に整合されているが、本考案は、これに限定されない。 The first audio signal 11 and the second audio signal 12 generated by the microphones 281L and 281R usually have the voice of the local user 60 and the environmental noise / noise, and the audio noise reduction chip 282, and , 283 have an extremely large amount of audio data samples to perform instrument learning, so a deep neural network can quickly find the optimal model parameters for each audio signal, eg, voluntarily. Various noise situations can be identified, noise in the audio signal and environmental noise are eliminated, leaving the audio signal to achieve the optimum noise reduction effect (eg, signal-to-noise ratio SNR is significantly increased). Can be improved). In one embodiment, the audio noise reduction chips 282 and 283 are matched, for example, to the same audio noise reduction chip 284, but the present invention is not limited thereto.

よって、第一状況において、ディスプレイ装置２００は、マイクロフォン２８１Ｌ、および、２８１Ｒにより生成された第一オーディオ信号１１、および、第二オーディオ信号１２を用いて、上述のビーム形成処理、および、オーディオノイズリダクションプロセスを実行することができる。オーディオノイズリダクションチップ２８３により生成されたノイズリダクション音声信号１４は、バス(たとえば、I２Ｓバス)により、オーディオ処理チップ２８５に送信されて、音声エンコードプロセス(audio encoding process)が実行されて、エンコードされたオーディオ信号１５が生成される。エンコードされたオーディオ信号１５は、ＵＳＢハブ２７０により、ホスト１００に送信される。ホスト１００は、そのネットワークインターフェース１７０により、エンコードされたオーディオ信号１５を、ネットワーク３０上のその他のホストに送信して、オーディオデコード処理を実行させる。よって、その他のホストの使用者は、ディスプレイ装置２００からのローカルユーザー６０の音声をはっきりと聞くことができる。 Therefore, in the first situation, the display device 200 uses the first audio signal 11 and the second audio signal 12 generated by the microphone 281L and 281R to perform the above-mentioned beam forming process and audio noise reduction. The process can be executed. The noise reduction audio signal 14 generated by the audio noise reduction chip 283 is transmitted to the audio processing chip 285 by a bus (for example, I2S bus), and an audio encoding process is executed to encode the noise reduction audio signal 14. The audio signal 15 is generated. The encoded audio signal 15 is transmitted to the host 100 by the USB hub 270. The host 100 transmits the encoded audio signal 15 to other hosts on the network 30 by the network interface 170 to execute the audio decoding process. Therefore, users of other hosts can clearly hear the voice of the local user 60 from the display device 200.

図２Ｂは、本考案の一実施形態による第二状況中のディスプレイ装置の配置を示す図である。 FIG. 2B is a diagram showing the arrangement of the display device in the second situation according to the embodiment of the present invention.

図１、および、図２Ｂを同時に参照する。図２Ｂは、図２Ａに類似し、その差異は、第二状況において、マイクロフォン２０が、ディスプレイ装置２００のオーディオ入力インターフェース２５５に接続されていることである。たとえば、マイクロフォン２０は、ディスプレイ装置２００の外部マイクロフォンと見なすこともでき、たとえば、ローカルユーザー６０が装着するイヤフォンマイクロフォン、あるいは、単独で設置されるマイクロフォンである。 1 and 2B are referred to at the same time. FIG. 2B is similar to FIG. 2A, the difference being that in the second situation, the microphone 20 is connected to the audio input interface 255 of the display device 200. For example, the microphone 20 can be regarded as an external microphone of the display device 200, for example, an earphone microphone worn by the local user 60, or a microphone installed independently.

第二状況において、ローカルユーザー６０は、おもに、マイクロフォン２０を使用して、音声信号を入力し、且つ、マイクロフォン２０が、ローカルユーザー６０から発された音声信号を捕捉した後、外部オーディオ信号１６を生成するとともに、オーディオ入力インターフェース２５５により、外部オーディオ信号１６を、オーディオノイズリダクションチップ２８３に送信する。このほか、マイクロフォン２８１Ｌ、および、２８１Ｒは、主に、ディスプレイ装置２００の環境ノイズを検出して、第一オーディオ信号１１、および、第二オーディオ信号１２を生成するとともに、第一オーディオ信号１１、および、第二オーディオ信号１２を、オーディオノイズリダクションチップ２８２に送信する。 In the second situation, the local user 60 mainly uses the microphone 20 to input an audio signal, and after the microphone 20 captures the audio signal emitted from the local user 60, the external audio signal 16 is input. At the same time, the external audio signal 16 is transmitted to the audio noise reduction chip 283 by the audio input interface 255. In addition, the microphones 281L and 281R mainly detect the environmental noise of the display device 200 to generate the first audio signal 11 and the second audio signal 12, and also generate the first audio signal 11 and the first audio signal 11. , The second audio signal 12 is transmitted to the audio noise reduction chip 282.

第二状況において、挿入判断信号１７が低ロジック状態にある場合に、オーディオノイズリダクションチップ２８２、および、２８３は、第二ノイズリダクションモードに進入し、且つ、オーディオノイズリダクションチップ２８２は、第一ＡＩモデル(AI model)を使用して、第一オーディオ信号１１、および、第二オーディオ信号１２に対し、ローカルユーザー６０の発信元方位で、ビーム形成(beamforming)処理を実行して、第三オーディオ信号１３を生成し、上述のビーム形成処理は、たとえば、第二パラメータ集合を使用し、且つ、第二パラメータ集合は、第一パラメータ集合と異なる。一実施形態において、第一パラメータ集合、および、第二パラメータ集合は、オーディオノイズリダクションチップ２８２、および、２８３中の不揮発性メモリ(たとえば、フラッシュメモリ)に保存され、且つ、オーディオノイズリダクションチップ２８２、および、２８３中の演算ユニット(図示しない)は、挿入判断信号のロジック状態に基づいて、不揮発性メモリから、第一パラメータ集合、あるいは、第二パラメータ集合を読み取る。 In the second situation, when the insertion determination signal 17 is in the low logic state, the audio noise reduction chips 282 and 283 enter the second noise reduction mode, and the audio noise reduction chip 282 is the first AI. Using the AI model, the first audio signal 11 and the second audio signal 12 are subjected to beam forming processing in the source direction of the local user 60, and the third audio signal is signaled. No. 13 is generated, and the above-mentioned beam forming process uses, for example, a second parameter set, and the second parameter set is different from the first parameter set. In one embodiment, the first parameter set and the second parameter set are stored in the audio noise reduction chip 282 and the non-volatile memory (for example, flash memory) in the audio noise reduction chip 282, and the audio noise reduction chip 282, Then, the arithmetic unit (not shown) in 283 reads the first parameter set or the second parameter set from the non-volatile memory based on the logic state of the insertion determination signal.

たとえば、オーディオノイズリダクションチップ２８２は、第二パラメータ集合を使用して、ローカルユーザー６０の方位(orientation)を計算するとともに、ビーム形成処理を実行する。すなわち、上述の発信元方位以外の方位の雑音、および、環境ノイズはどれも、フィルタリングされるか、あるいは、ごくわずかな音声ゲインを有する。 For example, the audio noise reduction chip 282 uses a second set of parameters to calculate the orientation of the local user 60 and perform a beam forming process. That is, any of the above-mentioned noises in directions other than the source direction and environmental noises are filtered or have a very small voice gain.

続いて、オーディオノイズリダクションチップ２８３は、まず、外部オーディオ信号１６から第三オーディオ信号１３を除去して、第四オーディオ信号を得る。第二状況中の第三オーディオ信号１３は、主に環境ノイズであるので、外部オーディオ信号１６から第三オーディオ信号１３を除去した後、得られた第四オーディオ信号には、主な音声成分が残っている。この時、オーディオノイズリダクションチップ２８３はさらに、第二ＡＩモデルを用いて、第四オーディオ信号に対して、オーディオノイズリダクション(audio noise reduction)処理を実行して、ノイズリダクション音声信号１４を生成し、且つ、さらに、ノイズリダクション音声信号１４中の雑音/環境ノイズ成分をフィルタリングする。 Subsequently, the audio noise reduction chip 283 first removes the third audio signal 13 from the external audio signal 16 to obtain a fourth audio signal. Since the third audio signal 13 in the second situation is mainly environmental noise, the fourth audio signal obtained after removing the third audio signal 13 from the external audio signal 16 contains a main audio component. Remaining. At this time, the audio noise reduction chip 283 further performs audio noise reduction processing on the fourth audio signal using the second AI model to generate the noise reduction audio signal 14. Moreover, the noise / environmental noise component in the noise reduction voice signal 14 is further filtered.

マイクロフォン２８１Ｌ、および、２８１Ｒにより生成された第一オーディオ信号１１、および、第二オーディオ信号１２は、通常、ローカルユーザー６０の音声、および、環境ノイズ/雑音を有し、オーディオノイズリダクションチップ２８２、および、２８３は、機器学習を実行するために、極度に大量の音声データサンプルを有するので、ディープニューラルネットワークにより、各段のオーディオ信号に最適なモデルパラメータを快速に探し出すことができ、たとえば、自主的に、各種雑音状況を識別することができ、オーディオ信号中の雑音、および、環境ノイズを消去して、音声信号を残して、最適なノイズリダクション效果を達成する(たとえば、信号対雑音比ＳＮＲを大幅に向上させる)ことができる。 The first audio signal 11 and the second audio signal 12 generated by the microphones 281L and 281R usually have the voice of the local user 60 and environmental noise / noise, and the audio noise reduction chip 282, and , 283 have an extremely large amount of audio data samples to perform instrument learning, so a deep neural network can quickly find the optimal model parameters for the audio signal at each stage, for example, voluntarily. In addition, various noise situations can be identified, noise in the audio signal and environmental noise are eliminated, and the audio signal is left to achieve the optimum noise reduction effect (for example, signal-to-noise ratio SNR). Can be greatly improved).

よって、第二状況において、ディスプレイ装置２００は、マイクロフォン２８１Ｌ、および、２８１Ｒにより生成された第一オーディオ信号１１、および、第二オーディオ信号１２を使用して、上述のビーム形成処理を実行することができる。オーディオノイズリダクションチップ２８３は、外部オーディオ信号１６から第三オーディオ信号１３を除去して、第四オーディオ信号を得た後、さらに、第四オーディオ信号に対して、オーディオノイズリダクションプロセスを実行して、ノイズリダクション音声信号１４を得る。オーディオノイズリダクションチップ２８３は、バス(たとえば、I２Ｓバス)により、ノイズリダクション音声信号１４を、オーディオ処理チップ２８５に送信して、音声エンコードプロセスを実行させて、エンコードされたオーディオ信号１５を生成するとともに、エンコードされたオーディオ信号１５を、ＵＳＢハブ２７０によりホスト１００に送信する。ホスト１００は、そのネットワークインターフェース１７０により、エンコードされたオーディオ信号１５を、ネットワーク３０上のその他のホストに送信して、オーディオデコード処理を実行させることができる。よって、その他のホストの使用者は、ディスプレイ装置２００からのローカルユーザー６０の音声をはっきりと聞くことができる。 Therefore, in the second situation, the display device 200 can perform the above-mentioned beam forming process using the microphone 281L, the first audio signal 11 generated by the 281R, and the second audio signal 12. it can. The audio noise reduction chip 283 removes the third audio signal 13 from the external audio signal 16 to obtain a fourth audio signal, and then further executes an audio noise reduction process on the fourth audio signal. A noise reduction audio signal 14 is obtained. The audio noise reduction chip 283 transmits a noise reduction audio signal 14 to the audio processing chip 285 by a bus (for example, an I2S bus) to execute an audio encoding process to generate an encoded audio signal 15. , The encoded audio signal 15 is transmitted to the host 100 by the USB hub 270. The host 100 can transmit the encoded audio signal 15 to other hosts on the network 30 to execute the audio decoding process by the network interface 170. Therefore, users of other hosts can clearly hear the voice of the local user 60 from the display device 200.

総合すると、第一状況でも、第二状況でも、本考案のディスプレイ装置２００は、オーディオノイズリダクションプロセスを実行して、品質のよい音声信号を得て、ローカルユーザー６０とネットワーク３０上のその他の使用者のオーディオ通信を便利にするとともに、ユーザーエクスペリエンスを増加させることができる。 Taken together, in both first and second situations, the display device 200 of the present invention performs an audio noise reduction process to obtain a good quality audio signal for local users 60 and other uses on the network 30. It can make the audio communication of the person convenient and increase the user experience.

図１を参照すると、一実施形態において、ストレージデバイス１４０はさらに、ノイズリダクション設定プログラム１４３を保存し、且つ、ローカルユーザー６０は、ホスト１００で、ノイズリダクション設定プログラム１４３を実行して、ユーザーインターフェースを表示させる。よって、ローカルユーザー６０は、上述のユーザーインターフェースで、相応のオプションを選択して、ディスプレイ装置２００のオーディオノイズリダクション強度を調整するとともに、マイクロフォン２０のマイクロフォン距離にしたがって、異なるノイズリダクション設定、あるいは、ディスプレイ装置２００のノイズリダクション功能のオン／オフを選択する。たとえば、ホスト１００は、ノイズリダクション設定プログラム１４３のユーザーインターフェース上で選択されたオプションに相応する制御信号を、データ伝送チャネル３１により、ディスプレイ装置２００に送信するので、オーディオノイズリダクションチップ２８２、および、２８３は、相関するノイズリダクション設定を調整することができる。一実施形態において、ローカルユーザー６０は、ディスプレイ装置２００のＯＳＤインターフェース２３２中のオーディオノイズリダクション機能リストにより、上述のノイズリダクション設定を調整することができる。 Referring to FIG. 1, in one embodiment, the storage device 140 further stores the noise reduction setting program 143, and the local user 60 executes the noise reduction setting program 143 on the host 100 to provide a user interface. Display it. Therefore, the local user 60 adjusts the audio noise reduction intensity of the display device 200 by selecting the appropriate option in the above-mentioned user interface, and sets different noise reduction settings or displays according to the microphone distance of the microphone 20. Select on / off of the noise reduction function of the device 200. For example, the host 100 transmits the control signal corresponding to the option selected on the user interface of the noise reduction setting program 143 to the display device 200 by the data transmission channel 31, so that the audio noise reduction chips 282 and 283 Can adjust the correlated noise reduction settings. In one embodiment, the local user 60 can adjust the above noise reduction settings from the audio noise reduction function list in the OSD interface 232 of the display device 200.

総合すると、本考案は、ディスプレイ装置を提供し、外部マイクロフォンを挿入した状況下でも、あるいは、挿入しない状況下でも、自動ノイズリダクション機能を提供することができる。このほか、ディスプレイ装置中のオーディオノイズリダクションチップは、ＡＩモデルを使用して、ビーム形成、および、オーディオノイズリダクションプロセスを実行することができるので、ディスプレイ装置の雑音、および、環境ノイズをさらに減少させるとともに、音声通話の品質を向上させて、ユーザーエクスペリエンスを増進することができる。 Taken together, the present invention can provide a display device and provide an automatic noise reduction function with or without an external microphone inserted. In addition, the audio noise reduction chip in the display device can use the AI model to perform beam forming and audio noise reduction processes, further reducing display device noise and environmental noise. At the same time, it can improve the quality of voice calls and enhance the user experience.

本考案では好ましい実施例を前述の通り開示したが、これらは決して本考案に限定するものではなく、当該技術を熟知する者なら誰でも、本考案の思想を脱しない範囲内で各種の変形を加えることができる。 In the present invention, preferable examples have been disclosed as described above, but these are by no means limited to the present invention, and any person who is familiar with the present technology can make various modifications within the range that does not deviate from the idea of the present invention. Can be added.

１…ディスプレイシステム
１１…第一オーディオ信号
１２…第二オーディオ信号
１３…第三オーディオ信号
１４…ノイズリダクション音声信号
１５…エンコードされたオーディオ信号
１６…外部オーディオ信号
１７…挿入判断信号
２０…マイクロフォン
３０…ネットワーク
３１、３２…データ伝送チャネル
５０…範囲
６０…ローカルユーザー
１００…ホスト
１１０…処理ユニット
１１１…システムバス
１２０…グラフィック処理ユニット
１３０…メモリユニット
１４０…ストレージデバイス
１４１…アプリケーションプログラム
１４２…オペレーティングシステム
１４３…ノイズリダクション設定プログラム
１５０、１５１…伝送インターフェース
１６０…周辺装置
１７０…ネットワークインターフェース
２００…ディスプレイ装置
２１０…ディスプレイコントローラー
２２０…ディスプレイモジュール
２３０…ストレージユニット
２３１…ファームウェア
２３２…ＯＳＤインターフェース
２４０…イメージバッファ
２５５…オーディオ入力インターフェース
２５６…検出回路
２６０…入力インターフェース
２６１…物理的ボタン
２６２…五方向制御棒
２７０…ＵＳＢハブ
２８１Ｌ、２８１Ｒ…マイクロフォン
２８２、２８３、２８４…オーディオノイズリダクションチップ
２８５…オーディオ処理チップ 1 ... Display system 11 ... First audio signal 12 ... Second audio signal 13 ... Third audio signal 14 ... Noise reduction audio signal 15 ... Encoded audio signal 16 ... External audio signal 17 ... Insertion judgment signal 20 ... Microphone 30 ... Network 31, 32 ... Data transmission channel 50 ... Range 60 ... Local user 100 ... Host 110 ... Processing unit 111 ... System bus 120 ... Graphic processing unit 130 ... Memory unit 140 ... Storage device 141 ... Application program 142 ... Operating system 143 ... Noise Reduction setting program 150, 151 ... Transmission interface 160 ... Peripheral device 170 ... Network interface 200 ... Display device 210 ... Display controller 220 ... Display module 230 ... Storage unit 231 ... Firmware 232 ... OSD interface 240 ... Image buffer 255 ... Audio input interface 256 ... Detection circuit 260 ... Input interface 261 ... Physical button 262 ... Five-way control rod 270 ... USB hub 281L, 281R ... Microphone 282, 283, 284 ... Audio noise reduction chip 285 ... Audio processing chip

Claims (10)

ホストに電気的に接続されるディスプレイ装置であって、
ディスプレイパネルと、
前記ディスプレイパネルの表示画面を制御するディスプレイコントローラーと、
前記ディスプレイ装置のハウジングに設置されて、ローカルユーザーから発された音声信号を捕捉して、それぞれ、第一オーディオ信号、および、第二オーディオ信号を生成する第一マイクロフォン、および、第二マイクロフォンと、
前記第一オーディオ信号、および、前記第二オーディオ信号に対して、ビーム形成処理を実行して、第三オーディオ信号を生成する第一オーディオノイズリダクションチップと、
前記第三オーディオ信号に対して、オーディオノイズリダクションプロセスを実行して、ノイズリダクション音声信号を生成する第二オーディオノイズリダクションチップと、
前記ノイズリダクション音声信号に対して、音声エンコードプロセスを実行して、エンコードされたオーディオ信号を生成するとともに、前記ディスプレイ装置のユニバーサルシリアルバス(ＵＳＢ)ハブにより、前記エンコードされたオーディオ信号を前記ホストに送信するオーディオ処理チップと、
を有することを特徴とする自動ノイズリダクション機能を有するディスプレイ装置。 A display device that is electrically connected to the host
With the display panel
A display controller that controls the display screen of the display panel,
A first microphone and a second microphone, which are installed in the housing of the display device and capture an audio signal emitted from a local user to generate a first audio signal and a second audio signal, respectively.
A first audio noise reduction chip that executes a beam forming process on the first audio signal and the second audio signal to generate a third audio signal.
A second audio noise reduction chip that executes an audio noise reduction process on the third audio signal to generate a noise reduction audio signal, and
The noise reduction audio signal is subjected to an audio encoding process to generate an encoded audio signal, and the universal serial bus (USB) hub of the display device sends the encoded audio signal to the host. The audio processing chip to send and
A display device having an automatic noise reduction function. 前記第一マイクロフォン、および、前記第二マイクロフォンは共に、指向性マイクロフォン、あるいは、無指向性マイクロフォンであることを特徴とする請求項１に記載の自動ノイズリダクション機能を有するディスプレイ装置。 The display device having an automatic noise reduction function according to claim 1, wherein both the first microphone and the second microphone are directional microphones or omnidirectional microphones. 前記第一オーディオノイズリダクションチップは、前記第一オーディオ信号、および、前記第二オーディオ信号にしたがって、前記ローカルユーザーから発された前記音声信号の発信元方位を計算するとともに、第一ＡＩモデルを使用して、前記発信元方位で、前記ビーム形成処理を実行し、
前記第二オーディオノイズリダクションチップは、第二ＡＩモデルを使用して、前記第三オーディオ信号に対して、前記オーディオノイズリダクションプロセスを実行して、前記第三オーディオ信号中の雑音、および、環境ノイズをフィルタリングして、前記ノイズリダクション音声信号を生成することを特徴とする請求項１に記載の自動ノイズリダクション機能を有するディスプレイ装置。 The first audio noise reduction chip calculates the source direction of the audio signal emitted from the local user according to the first audio signal and the second audio signal, and uses the first AI model. Then, the beam forming process is executed in the source direction, and the beam forming process is executed.
The second audio noise reduction chip uses the second AI model to perform the audio noise reduction process on the third audio signal to perform noise in the third audio signal and environmental noise. The display device having the automatic noise reduction function according to claim 1, wherein the noise reduction audio signal is generated by filtering the noise reduction. 更に、オーディオ入力インターフェースを有し、
前記オーディオ入力インターフェースは、外部マイクロフォンが前記オーディオ入力インターフェースに挿入されているか否かを検出して、挿入判断信号を生成し、
前記オーディオ入力インターフェースが、前記外部マイクロフォンが前記オーディオ入力インターフェースに挿入されていることを検出していない場合に、前記挿入判断信号は、高ロジック状態にあることを特徴とする請求項１に記載の自動ノイズリダクション機能を有するディスプレイ装置。 In addition, it has an audio input interface
The audio input interface detects whether or not an external microphone is inserted into the audio input interface and generates an insertion determination signal.
The first aspect of claim 1, wherein the insertion determination signal is in a high logic state when the audio input interface has not detected that the external microphone has been inserted into the audio input interface. A display device with an automatic noise reduction function. 前記ホストは、ネットワークにより、前記エンコードされたオーディオ信号を、その他のホストに送信して、オーディオデコードを実行させて、前記ノイズリダクション音声信号を得て再生することを特徴とする請求項１に記載の自動ノイズリダクション機能を有するディスプレイ装置。 The first aspect of claim 1, wherein the host transmits the encoded audio signal to another host via a network to execute audio decoding to obtain and reproduce the noise reduction audio signal. Display device with automatic noise reduction function. ホストに電気的に接続されるディスプレイ装置であって、
ディスプレイパネルと、
前記ディスプレイパネルの表示画面を制御するディスプレイコントローラーと、
前記ディスプレイ装置のハウジングに設置されて、前記ディスプレイ装置の環境ノイズを捕捉して、それぞれ、第一オーディオ信号、および、第二オーディオ信号を生成する第一マイクロフォン、および、第二マイクロフォンと、
ローカルユーザーから発された音声信号を捕捉して外部オーディオ信号を生成する外部マイクロフォンに電気的に接続されるオーディオ入力インターフェースと、
前記第一オーディオ信号、および、前記第二オーディオ信号に対して、ビーム形成処理を実行して、第三オーディオ信号を生成する第一オーディオノイズリダクションチップと、
前記外部オーディオ信号から、前記第三オーディオ信号を除去して、第四オーディオ信号を得るとともに、前記第四オーディオ信号に対して、オーディオノイズリダクションプロセスを実行して、ノイズリダクション音声信号を生成する第二オーディオノイズリダクションチップと、
前記ノイズリダクション音声信号に対して、音声エンコードプロセスを実行して、エンコードされたオーディオ信号を生成するとともに、前記ディスプレイ装置のユニバーサルシリアルバス(ＵＳＢ)ハブにより、前記エンコードされたオーディオ信号を前記ホストに送信するオーディオ処理チップと、
を有することを特徴とする自動ノイズリダクション機能を有するディスプレイ装置。 A display device that is electrically connected to the host
With the display panel
A display controller that controls the display screen of the display panel,
A first microphone and a second microphone, which are installed in the housing of the display device and capture the environmental noise of the display device to generate a first audio signal and a second audio signal, respectively.
An audio input interface that is electrically connected to an external microphone that captures audio signals from local users and generates external audio signals.
A first audio noise reduction chip that executes a beam forming process on the first audio signal and the second audio signal to generate a third audio signal.
The third audio signal is removed from the external audio signal to obtain a fourth audio signal, and an audio noise reduction process is executed on the fourth audio signal to generate a noise reduction audio signal. Two audio noise reduction chips and
The noise reduction audio signal is subjected to an audio encoding process to generate an encoded audio signal, and the universal serial bus (USB) hub of the display device sends the encoded audio signal to the host. The audio processing chip to send and
A display device having an automatic noise reduction function. 前記第一マイクロフォン、および、前記第二マイクロフォンはともに、指向性マイクロフォン、あるいは、無指向性マイクロフォンであることを特徴とする請求項６に記載の自動ノイズリダクション機能を有するディスプレイ装置。 The display device having an automatic noise reduction function according to claim 6, wherein both the first microphone and the second microphone are directional microphones or omnidirectional microphones. 前記第一オーディオノイズリダクションチップは、前記第一オーディオ信号、および、前記第二オーディオ信号にしたがって、前記ローカルユーザーから発された前記音声信号の発信元方位を計算するとともに、第一ＡＩモデルを使用して、前記発信元方位で、前記ビーム形成処理を実行し、
前記第二オーディオノイズリダクションチップは、第二ＡＩモデルを使用して、前記第三オーディオ信号に対して、前記オーディオノイズリダクションプロセスを実行して、前記第三オーディオ信号中の雑音、および、環境ノイズをフィルタリングして、前記ノイズリダクション音声信号を生成することを特徴とする請求項６に記載の自動ノイズリダクション機能を有するディスプレイ装置。 The first audio noise reduction chip calculates the source direction of the audio signal emitted from the local user according to the first audio signal and the second audio signal, and uses the first AI model. Then, the beam forming process is executed in the source direction, and the beam forming process is executed.
The second audio noise reduction chip uses the second AI model to perform the audio noise reduction process on the third audio signal to perform noise in the third audio signal and environmental noise. The display device having the automatic noise reduction function according to claim 6, wherein the noise reduction voice signal is generated by filtering the noise reduction. 前記オーディオ入力インターフェースが、前記外部マイクロフォンが前記オーディオ入力インターフェースに挿入されていることを検出した場合に、前記オーディオ入力インターフェースにより生成された挿入判断信号は、低ロジック状態にあることを特徴とする請求項６に記載の自動ノイズリダクション機能を有するディスプレイ装置。 When the audio input interface detects that the external microphone is inserted into the audio input interface, the insertion determination signal generated by the audio input interface is in a low logic state. Item 6. The display device having the automatic noise reduction function according to Item 6. 前記ホストは、ネットワークにより、前記エンコードされたオーディオ信号をその他のホストに送信して、オーディオデコードを実行させて、前記ノイズリダクション音声信号を得ることを特徴とする請求項６に記載の自動ノイズリダクション機能を有するディスプレイ装置。 The automatic noise reduction according to claim 6, wherein the host transmits the encoded audio signal to another host via a network to perform audio decoding to obtain the noise reduction audio signal. A functional display device.
JP2021000608U 2020-12-21 2021-02-24 Display device with automatic noise reduction function Expired - Fee Related JP3231908U (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW109216835U TWM612163U (en) 2020-12-21 2020-12-21 Display apparatus with automatic noise reduction function
TW109216835 2020-12-21

Publications (1)

Publication Number Publication Date
JP3231908U true JP3231908U (en) 2021-05-06

Family

ID=75709577

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021000608U Expired - Fee Related JP3231908U (en) 2020-12-21 2021-02-24 Display device with automatic noise reduction function

Country Status (3)

Country Link
JP (1) JP3231908U (en)
KR (1) KR200496852Y1 (en)
TW (1) TWM612163U (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113936698A (en) * 2021-09-26 2022-01-14 度小满科技(北京)有限公司 Audio data processing method and device and electronic equipment
CN114286217A (en) * 2021-12-21 2022-04-05 深圳飞音时代网络通讯技术有限公司 Audio processing circuit of telephone and telephone
WO2023024016A1 (en) * 2021-08-26 2023-03-02 深圳市显盈科技股份有限公司 Multifunctional sound pickup device
CN117539422A (en) * 2022-08-02 2024-02-09 苏州佳世达电通有限公司 Display device and sound intensity indication method

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI846439B (en) * 2023-04-21 2024-06-21 邁萪科技股份有限公司 Graphic card with noise reduction mechanism and heat dissipation device combined structure having the same

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100602719B1 (en) * 2002-09-26 2006-07-20 주식회사 팬택앤큐리텔 Ear Jack Auto Detect Circuit and Method
US20080163195A1 (en) * 2006-12-27 2008-07-03 Samsung Electronics Co., Ltd. Display apparatus and driving method of display apparatus
KR102454761B1 (en) * 2015-06-15 2022-10-13 엘지전자 주식회사 Method for operating an apparatus for displaying image
KR102600989B1 (en) * 2019-01-29 2023-11-13 삼성전자주식회사 Display panel and display apparatus having the same

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023024016A1 (en) * 2021-08-26 2023-03-02 深圳市显盈科技股份有限公司 Multifunctional sound pickup device
CN113936698A (en) * 2021-09-26 2022-01-14 度小满科技(北京)有限公司 Audio data processing method and device and electronic equipment
CN114286217A (en) * 2021-12-21 2022-04-05 深圳飞音时代网络通讯技术有限公司 Audio processing circuit of telephone and telephone
CN114286217B (en) * 2021-12-21 2025-08-26 深圳飞音时代网络通讯技术有限公司 Audio processing circuit of telephone and telephone
CN117539422A (en) * 2022-08-02 2024-02-09 苏州佳世达电通有限公司 Display device and sound intensity indication method

Also Published As

Publication number Publication date
TWM612163U (en) 2021-05-21
KR20220001537U (en) 2022-06-28
KR200496852Y1 (en) 2023-05-11

Similar Documents

Publication Publication Date Title
KR200496852Y1 (en) Display apparatus with automatic noise reduction function
KR102350498B1 (en) Electronic device and method for reproducing audio signal via the external device
CN112449229B (en) Sound and picture synchronous processing method and display equipment
JP5335309B2 (en) Communication device
KR20190028043A (en) Method for controlling audio outputs by applications respectively through earphone and electronic device for the same
WO2011125905A1 (en) Automatic operation-mode setting apparatus for television receiver, television receiver provided with automatic operation-mode setting apparatus, and automatic operation-mode setting method
TW201344597A (en) Control method and controller for display device and multimedia system
EP3147895A1 (en) Display apparatus and method for controlling display apparatus thereof
KR102760468B1 (en) Electronic device and control method thereof
US12067327B2 (en) Display apparatus and method for adjusting headphone volume
CN113422866A (en) Volume adjusting method and device, storage medium and electronic equipment
JP2006005418A (en) Information receiving / reproducing apparatus, information receiving / reproducing method, information receiving / reproducing program, and program recording medium
TW202301100A (en) Mode switching method and display apparatus
US11113850B2 (en) Electronic apparatus and control method thereof
JP2013015741A (en) Image output device, image output method and program
US20250203289A1 (en) Electronic device for processing sound differently according to mode, and control method thereof
CN112424744A (en) Electronic device and volume adjusting method of electronic device
CN111124353B (en) Control method and electronic equipment
US12474784B2 (en) Electronic apparatus and controlling method thereof
EP3846485A1 (en) Electronic device and display method of on-screen-display interface
KR20210155505A (en) Movable electronic apparatus and the method thereof
US11202028B2 (en) Display device configuring multi display system and control method thereof
CN113794919B (en) Display device and setting method of sounding device
EP3573282B1 (en) Communication device, generated data size control method, and program
KR20210105636A (en) Electronic apparatus and the method thereof

Legal Events

Date Code Title Description
R150 Certificate of patent or registration of utility model

Ref document number: 3231908

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees