JP5361962B2

JP5361962B2 - Graphics processing unit and information processing apparatus

Info

Publication number: JP5361962B2
Application number: JP2011183959A
Authority: JP
Inventors: 力岩城; 好司八矢
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2011-08-25
Filing date: 2011-08-25
Publication date: 2013-12-04
Anticipated expiration: 2030-06-30
Also published as: JP2012016043A

Abstract

PROBLEM TO BE SOLVED: To provide a graphics processing unit capable of causing audio data to perform processing in cooperation with video data. SOLUTION: According to an embodiment of this invention, a graphics processing unit detects a feature of video data by analyzing a frame group of the video data by using at least one of first processing core among a plurality of processing core, and applies processing to the audio data in a memory associated with the detected feature of the video data by using at least one of second processing core among the plurality of processing core. The graphics processing unit includes an audio signal output interface, and outputs an audio signal corresponding to the audio data applied processing to a sound device. COPYRIGHT: (C)2012,JPO&INPIT

Description

本発明の実施形態は、グラフィクスプロセッシングユニットおよび同グラフィクスプロセッシングユニットを用いた情報処理装置に関する。 Embodiments described herein relate generally to a graphics processing unit and an information processing apparatus using the graphics processing unit.

一般に、パーソナルコンピュータのような情報処理装置においては、その情報処理装置の描画性能を高めるためにグラフィクスプロセッシングユニット（ＧＰＵ）が用いられている。最近のＧＰＵの多くは、並列動作可能な複数のプロセッシングコアを含み、例えば２次元または３次元のグラフィクス演算等を高速に実行することができる。 In general, in an information processing apparatus such as a personal computer, a graphics processing unit (GPU) is used to improve the drawing performance of the information processing apparatus. Many recent GPUs include a plurality of processing cores that can operate in parallel, and can execute, for example, two-dimensional or three-dimensional graphics operations at high speed.

一方、情報処理装置におけるオーディオデータ（サウンドデータとも云う）の処理は、通常、サウンドコントローラと称されるデジタル信号プロセッサ（ＤＳＰ）によって実行される。しかし、一般に、ＤＳＰの演算処理能力は比較的低い。このため、ＤＳＰ単体でオーディオデータに高度な処理を施すことは困難である。 On the other hand, processing of audio data (also referred to as sound data) in the information processing apparatus is usually executed by a digital signal processor (DSP) called a sound controller. However, in general, the arithmetic processing capability of the DSP is relatively low. For this reason, it is difficult to perform advanced processing on audio data with a single DSP.

また、最近では、ビデオデータとオーディオデータの双方を扱うように設計されたメディア処理ＬＳＩも開発されている。 Recently, media processing LSIs designed to handle both video data and audio data have been developed.

再公表特許第２００５／０９６１６８号公報Republished Patent No. 2005/096168

しかし、通常のメディア処理ＬＳＩによって実現されるのは、せいぜい、ビデオデータをエンコードまたはデコードする機能と、オーディオデータをエンコードまたはデコードする機能程度である。また、通常のメディア処理ＬＳＩでは、ビデオデータに対する処理とオーディオデータに対する処理は互いに独立されている。 However, what is realized by a normal media processing LSI is at most a function of encoding or decoding video data and a function of encoding or decoding audio data. In a normal media processing LSI, processing for video data and processing for audio data are independent of each other.

ビデオデータとオーディオデータとを含むデジタルコンテンツ（例えば、ムービー、ＤＶＤビデオ、放送番組データ等）においては、それらビデオデータとオーディオデータとは互いに関連している。このため、デジタルコンテンツを再生する装置においては、ビデオデータに対する処理とオーディオデータに対する処理とを互いに連携させるための新たな機能の実現が必要である。 In digital contents including video data and audio data (for example, movies, DVD videos, broadcast program data, etc.), the video data and audio data are related to each other. For this reason, in an apparatus for playing back digital content, it is necessary to realize a new function for linking processing for video data and processing for audio data with each other.

本発明は上述の事情を考慮してなされたものであり、オーディオデータをビデオデータに連携させて処理することができるグラフィクスプロセッシングユニットおよび情報処理装置を提供することを目的とする。 The present invention has been made in consideration of the above-described circumstances, and an object thereof is to provide a graphics processing unit and an information processing apparatus that can process audio data in association with video data.

実施形態によれば、グラフィクスプロセッシングユニットは、ホストからビデオデータおよびオーディオデータを受信するホストインタフェースと、複数のプロセッシングコアと、前記複数のプロセッシングコア内の少なくとも一つの第１プロセッシングコア用いて前記ビデオデータを解析して前記ビデオデータ内の所定のシーンを検出すると共に、前記複数のプロセッシングコア内の少なくとも一つの第２プロセッシングコアを用いて前記所定のシーンに属する、前記オーディオデータ内のデータ部に所定の加工を施す手段と、前記処理されたビデオデータに対応する映像信号を出力する映像信号出力インタフェースと、前記処理されたオーディオデータに対応するオーディオ信号を出力するオーディオ信号出力インタフェースとを具備する。 According to the embodiment, the graphics processing unit uses the host interface that receives video data and audio data from a host, a plurality of processing cores, and at least one first processing core in the plurality of processing cores to use the video data. And a predetermined scene in the video data is detected , and at least one second processing core in the plurality of processing cores is used to detect a predetermined scene in the audio data belonging to the predetermined scene. be provided processing means for performing a, a video signal output interface for outputting a video signal corresponding to the processed video data, and an audio signal output interface for outputting the audio signal corresponding to the processed audio data .

実施形態に係る情報処理装置の構成を示す斜視図。The perspective view which shows the structure of the information processing apparatus which concerns on embodiment. 同実施形態の情報処理装置のシステム構成を示すブロック図。2 is an exemplary block diagram showing the system configuration of the information processing apparatus of the embodiment. FIG. 同実施形態の情報処理装置に設けられるグラフィクスプロセッシングユニットの構成を示すブロック図。2 is an exemplary block diagram illustrating a configuration of a graphics processing unit provided in the information processing apparatus of the embodiment. FIG. 図３のグラフィクスプロセッシングユニットによって実行される処理の流れを説明するための図。The figure for demonstrating the flow of the process performed by the graphics processing unit of FIG. 図３のグラフィクスプロセッシングユニットによって実行されるリバーブ処理の流れを説明するための図。The figure for demonstrating the flow of the reverberation process performed by the graphics processing unit of FIG. 図３のグラフィクスプロセッシングユニットによってビデオデータおよびオーディオデータに対して実行される処理の流れを説明するための図。The figure for demonstrating the flow of the process performed with respect to video data and audio data by the graphics processing unit of FIG. 図３のグラフィクスプロセッシングユニットがビデオデータの解析結果に基づいて実行するオーディオ処理の例を説明するための図。The figure for demonstrating the example of the audio processing which the graphics processing unit of FIG. 3 performs based on the analysis result of video data. 従来のグラフィクスプロセッシングユニットを用いたシステムにおけるビデオデータおよびオーディオデータの流れを説明するための図。The figure for demonstrating the flow of the video data in the system using the conventional graphics processing unit, and audio data. 図３のグラフィクスプロセッシングユニットを用いたシステムにおけるビデオデータおよびオーディオデータの流れを説明するための図。The figure for demonstrating the flow of the video data in the system using the graphics processing unit of FIG. 3, and audio data. 図３のグラフィクスプロセッシングユニットの機能構成を説明するための図。The figure for demonstrating the function structure of the graphics processing unit of FIG.

以下、図面を参照して、実施形態を説明する。
図１は、本発明の一実施形態に係る情報処理装置の外観を示す斜視図である。この情報処理装置は、例えばノートブックタイプのパーソナルコンピュータ１０として実現されている。図１に示すように、本コンピュータ１０は、コンピュータ本体１１と、ディスプレイユニット１２とから構成されている。ディスプレイユニット１２には、ＬＣＤ（liquid crystal display）１７が組み込まれている。ディスプレイユニット１２は、コンピュータ本体１１の上面が露出される開放位置とコンピュータ本体１１の上面を覆う閉塞位置との間を回動自在にコンピュータ本体１１に取り付けられている。 Hereinafter, embodiments will be described with reference to the drawings.
FIG. 1 is a perspective view showing an appearance of an information processing apparatus according to an embodiment of the present invention. This information processing apparatus is realized as, for example, a notebook type personal computer 10. As shown in FIG. 1, the computer 10 includes a computer main body 11 and a display unit 12. The display unit 12 includes an LCD (liquid crystal display) 17. The display unit 12 is attached to the computer main body 11 so as to be rotatable between an open position where the upper surface of the computer main body 11 is exposed and a closed position covering the upper surface of the computer main body 11.

コンピュータ本体１１は、薄い箱形の筐体を有しており、その上面には、キーボード１３、本コンピュータ１０を電源オン／電源オフするためのパワーボタン１４、入力操作パネル１５、タッチパッド１６、スピーカ１８Ａ，１８Ｂなどが配置されている。入力操作パネル１５上には、各種操作ボタンが設けられている。 The computer main body 11 has a thin box-shaped casing. On the upper surface of the computer main body 11, a keyboard 13, a power button 14 for powering on / off the computer 10, an input operation panel 15, a touch pad 16, Speakers 18A, 18B, etc. are arranged. Various operation buttons are provided on the input operation panel 15.

また、コンピュータ本体１１の右側面には、例えばＵＳＢ（universal serial bus）２．０規格のＵＳＢケーブルやＵＳＢデバイスを接続するためのＵＳＢコネクタ１９が設けられている。さらに、コンピュータ本体１１の背面には、例えばＨＤＭＩ(high-definition multimedia interface)規格に対応した外部ディスプレイ接続端子（図示せず）が設けられている。この外部ディスプレイ接続端子は、デジタル映像信号を外部ディスプレイに出力するために用いられる。 Further, on the right side surface of the computer main body 11, for example, a USB connector 19 for connecting a USB (universal serial bus) 2.0 standard USB cable or a USB device is provided. Furthermore, an external display connection terminal (not shown) corresponding to, for example, the HDMI (high-definition multimedia interface) standard is provided on the back surface of the computer main body 11. This external display connection terminal is used to output a digital video signal to an external display.

図２は、本コンピュータ１０のシステム構成を示す図である。
本コンピュータ１０は、図２に示されているように、ＣＰＵ１０１、ノースブリッジ１０２、主メモリ１０３、サウスブリッジ１０４、グラフィクスプロセッシングユニット（ＧＰＵ）１０５、メモリ１０５Ａ、ＢＩＯＳ−ＲＯＭ１０７、ＬＡＮコントローラ１０８、ハードディスクドライブ（ＨＤＤ）１０９、光ディスクドライブ（ＯＤＤ）１１０、ＵＳＢコントローラ１１１Ａ、カードコントローラ１１１Ｂ、無線ＬＡＮコントローラ１１２、エンベデッドコントローラ／キーボードコントローラ（ＥＣ／ＫＢＣ）１１３、ＥＥＰＲＯＭ１１４等を備える。 FIG. 2 is a diagram showing a system configuration of the computer 10.
2, the computer 10 includes a CPU 101, a north bridge 102, a main memory 103, a south bridge 104, a graphics processing unit (GPU) 105, a memory 105A, a BIOS-ROM 107, a LAN controller 108, a hard disk drive. (HDD) 109, optical disk drive (ODD) 110, USB controller 111A, card controller 111B, wireless LAN controller 112, embedded controller / keyboard controller (EC / KBC) 113, EEPROM 114, and the like.

ＣＰＵ１０１は、本コンピュータ１０内の各部の動作を制御するプロセッサである。ＣＰＵ１０１は、ＨＤＤ１０９から主メモリ１０３にロードされる、オペレーティングシステム（ＯＳ）、及び各種アプリケーションプログラムを実行する。アプリケーションプログラムには、各種デジタルコンテンツ（例えば、ムービー、ＤＶＤビデオ、放送番組データ等）を再生するための動画プレーヤが含まれている。この動画プレーヤは、デジタルコンテンツ内のビデオデータおよびオーディオデータをＧＰＵ１０５を用いて再生するように構成されている。また、ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０７に格納されたＢＩＯＳも実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。 The CPU 101 is a processor that controls the operation of each unit in the computer 10. The CPU 101 executes an operating system (OS) and various application programs loaded from the HDD 109 to the main memory 103. The application program includes a moving image player for reproducing various digital contents (for example, movies, DVD videos, broadcast program data, etc.). This video player is configured to play back video data and audio data in digital content using the GPU 105. The CPU 101 also executes the BIOS stored in the BIOS-ROM 107. The BIOS is a program for hardware control.

ノースブリッジ１０２は、ＣＰＵ１０１のローカルバスとサウスブリッジ１０４との間を接続するブリッジデバイスである。ノースブリッジ１０２には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１０２は、例えば、PCI Express規格のシリアルバスなどを介してＧＰＵ１０５との通信を実行する機能も有している。 The north bridge 102 is a bridge device that connects the local bus of the CPU 101 and the south bridge 104. The north bridge 102 also includes a memory controller that controls access to the main memory 103. The north bridge 102 also has a function of executing communication with the GPU 105 via, for example, a PCI Express standard serial bus.

ＧＰＵ１０５は、本コンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１７および外部ディスプレイを制御する。ＧＰＵ１０５によって生成される映像信号はＬＣＤ１７に送られる。また、ＧＰＵ１０５は、ＨＤＭＩ制御回路３およびＨＤＭＩ端子２を介して、外部ディスプレイ１にデジタル映像信号を送出することもできる。ＨＤＭＩ端子２は、前述の外部ディスプレイ接続端子である。ＨＤＭＩ端子２は、非圧縮のデジタル映像信号とデジタルオーディオ信号とを１本のケーブルでテレビのような外部ディスプレイ１に送出することができる。ＨＤＭＩ制御回路３は、ＨＤＭＩモニタと称される外部ディスプレイ１にデジタル映像信号をＨＤＭＩ端子２を介して送出するためのインタフェースである。 The GPU 105 controls the LCD 17 used as a display monitor of the computer 10 and an external display. The video signal generated by the GPU 105 is sent to the LCD 17. The GPU 105 can also send a digital video signal to the external display 1 via the HDMI control circuit 3 and the HDMI terminal 2. The HDMI terminal 2 is the aforementioned external display connection terminal. The HDMI terminal 2 can send an uncompressed digital video signal and a digital audio signal to the external display 1 such as a television with a single cable. The HDMI control circuit 3 is an interface for sending a digital video signal to an external display 1 called an HDMI monitor via the HDMI terminal 2.

ＧＰＵ１０５は、PCI Express規格のシリアルバス等を介してＣＰＵ１０１に結合されており、ＣＰＵ１０１からの要求に応じてグラフィクスデータ、ビデオデータおよびオーディオデータを処理するように構成されている。より詳しくは、ＧＰＵ１０５は、オーディオデータ（サウンドデータとも云う）をスピーカまたは他の外部サウンド機器に出力するためのオーディオ信号出力インタフェースと、オーディオデータを解析および処理する機能とを有している。したがって、本コンピュータ１０においては、グラフィクスデータのみならず、ビデオデータおよびオーディオデータもＧＰＵ１０５によって処理することができる。そしてＧＰＵ１０５によってそれぞれ生成される映像信号およびオーディオ信号（サウンド信号とも云う）は、ＧＰＵ１０５から直接的にディスプレイ機器（例えば、ＬＣＤ１７、外部ディスプレイ）およびサウンド機器（スピーカ１８Ａ，１８Ｂ、外部サウンド機器）にそれぞれ出力される。 The GPU 105 is coupled to the CPU 101 via a PCI Express standard serial bus or the like, and is configured to process graphics data, video data, and audio data in response to a request from the CPU 101. More specifically, the GPU 105 has an audio signal output interface for outputting audio data (also referred to as sound data) to a speaker or other external sound device, and a function of analyzing and processing the audio data. Therefore, in the computer 10, not only graphics data but also video data and audio data can be processed by the GPU 105. A video signal and an audio signal (also referred to as a sound signal) respectively generated by the GPU 105 are directly transmitted from the GPU 105 to a display device (for example, LCD 17, external display) and a sound device (speakers 18A and 18B, external sound device). Is output.

このように、本実施形態では、ＧＰＵ１０５はビデオデータおよびオーディオデータを同時に処理し、そしてビデオデータに対応する映像信号およびオーディオデータに対応するオーディオ信号を外部に直接的に出力することができる。 As described above, in this embodiment, the GPU 105 can simultaneously process video data and audio data, and can directly output the video signal corresponding to the video data and the audio signal corresponding to the audio data to the outside.

ＧＰＵ１０５は、複数のプロセッシングコア（ストリーミングプロセッサ）を内蔵している。ＧＰＵ１０５は、例えば、PCI EXPRESSバスを介してＣＰＵ１０１からオーディオデータを受信し、その受信したオーディオデータを複数のプロセッシングコア内の少なくとも一つを用いて処理する。プロセッシングコアによるオーディオデータの処理は、プロセッシングコアに対応する命令セットをファームウェアまたはソフトウェアによってコントロールする事によって実現してもよい。これによって、ＧＰＵ１０５によって実行されるオーディオデータの処理をプログラマブルにすることが可能となり、ＧＰＵ１０５によってオーディオデータに対する様々な処理（編集）を実行することができる。オーディオデータの編集とは、オーディオデータに加工を施すことを意味する。オーディオデータの編集には、例えば、各種サウンドエフェクト、各種フィルタ、２Ｄ−３Ｄサウンド変換、音量調節、等が含まれる。たとえば、ＧＰＵ１０５は、プロセッシングコア上にロードされたプログラムに従って、オーディオデータを解析し、その解析結果に従ってオーディオデータを適応的に処理（編集）することが出来る。 The GPU 105 includes a plurality of processing cores (streaming processors). For example, the GPU 105 receives audio data from the CPU 101 via the PCI EXPRESS bus, and processes the received audio data using at least one of the plurality of processing cores. The processing of audio data by the processing core may be realized by controlling an instruction set corresponding to the processing core by firmware or software. As a result, the processing of audio data executed by the GPU 105 can be made programmable, and various processing (editing) on the audio data can be executed by the GPU 105. Editing audio data means processing audio data. Audio data editing includes, for example, various sound effects, various filters, 2D-3D sound conversion, volume control, and the like. For example, the GPU 105 can analyze audio data according to a program loaded on the processing core, and can adaptively process (edit) the audio data according to the analysis result.

同様に、ＧＰＵ１０５は、例えば、PCI EXPRESSバスを介してＣＰＵ１０１からビデオデータを受信し、その受信したビデオデータを複数のプロセッシングコア内の少なくとも一つを用いて処理することもできる。プロセッシングコアによるビデオデータの処理も、プロセッシングコアに対応する命令セットをファームウェアまたはソフトウェアによってコントロールする事によって実現してもよい。これによって、ＧＰＵ１０５によって実行されるビデオデータの処理をプログラマブルにすることが可能となり、ＧＰＵ１０５によってビデオデータに対する様々な処理（編集）を実行することができる。ビデオデータの編集とは、ビデオデータに加工を施すことを意味する。ビデオデータの編集には、例えば、高解像度変換、２Ｄ−３Ｄ変換、リサイズ、回転、等が含まれる。ＧＰＵ１０５は、プロセッシングコア上にロードされたプログラムに従って、ビデオデータのフレームそれぞれを解析し、その解析結果に従ってビデオデータを適応的に処理することが出来る。 Similarly, the GPU 105 can receive video data from the CPU 101 via, for example, a PCI EXPRESS bus, and process the received video data using at least one of a plurality of processing cores. Processing of video data by the processing core may also be realized by controlling an instruction set corresponding to the processing core by firmware or software. As a result, the video data processing executed by the GPU 105 can be made programmable, and various processing (editing) on the video data can be executed by the GPU 105. Editing video data means processing the video data. The editing of video data includes, for example, high resolution conversion, 2D-3D conversion, resizing, rotation, and the like. The GPU 105 can analyze each frame of the video data according to a program loaded on the processing core, and can adaptively process the video data according to the analysis result.

さらに、ＧＰＵ１０５は、ビデオデータの内容に応じてオーディオデータを適応的に処理することもできる。この場合、ＧＰＵ１０５は、ビデオデータのフレーム群を解析してそのビデオデータの特徴を検出し、オーディオデータに、検出されたビデオデータの特徴に関連付けられた加工を施す。例えば、ＧＰＵ１０５は、ビデオデータの特徴に基づいてそのビデオデータ内の特定のシーン（例えば、会話シーン、画像の暗いシーン、画像が明るいシーン、動きの激しいシーン、動きの少ないシーン、等）を検出し、検出された特定のシーンに属するオーディオデータ内の各フレームに対して、その特定のシーンに関連付けられた所定の加工を施す。各ビデオフレームの解析においては、例えば、ＧＰＵ１０５は、ビデオデータの各フレームのヒストグラムを生成し、そのヒストグラムに基づいて各ビデオフレームの特徴を検出してもよい。 Further, the GPU 105 can adaptively process audio data according to the content of the video data. In this case, the GPU 105 analyzes the frame group of the video data to detect the feature of the video data, and performs processing related to the detected feature of the video data on the audio data. For example, the GPU 105 detects a specific scene in the video data based on the characteristics of the video data (for example, a conversation scene, a dark scene of an image, a scene with a bright image, a scene with high movement, a scene with little movement, etc.) Then, predetermined processing associated with the specific scene is performed on each frame in the audio data belonging to the specific scene detected. In the analysis of each video frame, for example, the GPU 105 may generate a histogram of each frame of the video data and detect the feature of each video frame based on the histogram.

逆に、ＧＰＵ１０５は、１以上のプロセッシングコアを用いてオーディオデータのフレーム群を解析してそのオーディオデータの特徴を検出し、別の１以上のプロセッシングコアを用いて、ビデオデータに、検出されたオーディオデータの特徴に関連付けられた加工を施すこともできる。 Conversely, the GPU 105 detects a frame group of the audio data by using one or more processing cores to detect the characteristics of the audio data, and is detected in the video data by using another one or more processing cores. Processing associated with the characteristics of the audio data can also be performed.

ビデオデータの処理結果およびオーディオデータの処理結果は映像信号およびオーディオ信号として直接的に外部に出力してもよいが、代わりに、ビデオデータの処理結果およびオーディオデータの処理結果をＣＰＵ１０１に転送してもよい。また、ビデオデータの処理およびオーディオデータの処理を再帰的に実行するために、ビデオデータの処理結果およびオーディオデータの処理結果をＧＰＵ１０５内の対応するプロセッシングコアにそれぞれフィードバックしてもよい。 The video data processing result and the audio data processing result may be directly output to the outside as a video signal and an audio signal. Instead, the video data processing result and the audio data processing result are transferred to the CPU 101. Also good. Further, in order to recursively execute the video data processing and the audio data processing, the video data processing result and the audio data processing result may be fed back to the corresponding processing core in the GPU 105, respectively.

さらに、ＧＰＵ１０５は、ビデオデータ内の各ビデオフレームおよびオーディオデータ内の各オーディオフレームにタイムスタンプ（タイムコード）を付与してもよい。このタイムスタンプにより、処理されたビデオデータと処理されたオーディオデータとを同期化することができ、処理されたビデオデータに対応する映像信号と処理されたオーディオデータに対応するオーディオ信号とを互いに同期した状態で外部に出力することが出来る。 Further, the GPU 105 may add a time stamp (time code) to each video frame in the video data and each audio frame in the audio data. This time stamp allows the processed video data and the processed audio data to be synchronized, and the video signal corresponding to the processed video data and the audio signal corresponding to the processed audio data are synchronized with each other. Can be output externally.

サウスブリッジ１０４は、ＰＣＩ（Peripheral Component Interconnect）バス上の各デバイス及びＬＰＣ（Low Pin Count）バス上の各デバイスを制御する。また、サウスブリッジ１０４は、ＨＤＤ１０９及びＯＤＤ１１０を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラを内蔵している。 The south bridge 104 controls each device on a peripheral component interconnect (PCI) bus and each device on a low pin count (LPC) bus. Further, the south bridge 104 includes an IDE (Integrated Drive Electronics) controller for controlling the HDD 109 and the ODD 110.

ＬＡＮコントローラ１０８は、例えばIEEE 802.3規格の有線通信を実行する有線通信デバイスであり、一方、無線ＬＡＮコントローラ１１２は、例えばIEEE 802.11g規格の無線通信を実行する無線通信デバイスである。ＵＳＢコントローラ１１１Ａは、（ＵＳＢコネクタ１９を介して接続される）例えばUSB 2.0規格に対応した外部機器との通信を実行する。カードコントローラ１１１Ｂは、コンピュータ本体１１に設けられたカードスロットに挿入される、ＳＤカードのようなメモリカードに対するデータの書き込み及び読み出しを実行する。 The LAN controller 108 is a wired communication device that executes IEEE 802.3 standard wired communication, for example, while the wireless LAN controller 112 is a wireless communication device that executes IEEE 802.11g standard wireless communication, for example. The USB controller 111A executes communication with an external device (connected via the USB connector 19) that supports, for example, the USB 2.0 standard. The card controller 111B executes data writing and reading with respect to a memory card such as an SD card inserted into a card slot provided in the computer main body 11.

ＥＣ／ＫＢＣ１１３は、電力管理のためのエンベデッドコントローラと、キーボード１３及びタッチパッド１６を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。ＥＣ／ＫＢＣ１１３は、ユーザによるパワーボタン１４の操作に応じて本コンピュータ１０を電源オン／電源オフする機能を有している。 The EC / KBC 113 is a one-chip microcomputer in which an embedded controller for power management and a keyboard controller for controlling the keyboard 13 and the touch pad 16 are integrated. The EC / KBC 113 has a function of turning on / off the computer 10 in accordance with the operation of the power button 14 by the user.

次いで、図３を参照して、ＧＰＵ１０５の構成を説明する。
ＧＰＵ１０５は、PCI Expressインタフェース２０１、ハブ２０２、グラフィクスエンジン２０３、複数のストリーミングプロセッサ（ＳＰ）２０４、メモリコントローラ２０５、メモリ１０５Ａ、映像信号出力インタフェース２０６、オーディオ信号入出力インタフェース２０７を備えている。 Next, the configuration of the GPU 105 will be described with reference to FIG.
The GPU 105 includes a PCI Express interface 201, a hub 202, a graphics engine 203, a plurality of streaming processors (SP) 204, a memory controller 205, a memory 105A, a video signal output interface 206, and an audio signal input / output interface 207.

PCI Expressインタフェース２０１は、ホスト（ＣＰＵ１０１、主メモリ１０３）と通信するためのホストインタフェースである。PCI Expressインタフェース２０１は、ホスト（ＣＰＵ１０１、主メモリ１０３）からグラフィスクデータ、ビデオデータおよびオーディオデータを受信する。また、PCI Expressインタフェース２０１は、ホストからグラフィスクデータ、ビデオデータおよびオーディオデータを処理するための要求（命令群）も受信する。PCI Expressインタフェース２０１によってＣＰＵ１０１から受信されたグラフィスクデータ、ビデオデータおよびオーディオデータは、メモリコントローラ２０５によってメモリ１０５Ａに格納される（バッファリング）。メモリ１０５Ａはフレームバッファまたはビデオメモリと称されるメモリである。メモリ１０５ＡはＧＰＵ１０５のローカルメモリとして使用される。メモリ１０５Ａは、例えば、ＧＰＵ１０５にメモリバスを介して接続される外部メモリまたはＧＰＵ１０５に内蔵される内部メモリのいずれか一方、または双方によって実現される。内部メモリはキャッシュメモリであってもよい。 The PCI Express interface 201 is a host interface for communicating with a host (CPU 101, main memory 103). The PCI Express interface 201 receives graphics data, video data, and audio data from a host (CPU 101, main memory 103). The PCI Express interface 201 also receives a request (instruction group) for processing graphics data, video data, and audio data from the host. Graphics data, video data, and audio data received from the CPU 101 by the PCI Express interface 201 are stored in the memory 105A by the memory controller 205 (buffering). The memory 105A is a memory called a frame buffer or a video memory. The memory 105 A is used as a local memory of the GPU 105. The memory 105A is realized by, for example, one or both of an external memory connected to the GPU 105 via a memory bus and an internal memory built in the GPU 105. The internal memory may be a cache memory.

グラフィクスエンジン２０３は、グラフィスクデータ、ビデオデータおよびオーディオデータそれぞれに対する処理を、複数のストリーミングプロセッサ（ＳＰ）２０４を用いて実行する。各ストリーミングプロセッサ（ＳＰ）２０４はグラフィクス演算および汎用演算を実行可能なプロセッシングコア（プログラマブルシェーダ）として機能する。各ストリーミングプロセッサ（ＳＰ）２０４によって実行される演算の内容は、グラフィクスエンジン２０３から各ストリーミングプロセッサ（ＳＰ）２０４にロードされる命令群によって決定することができる。各ストリーミングプロセッサ（ＳＰ）２０４は、メモリコントローラ２０５を介してメモリ１０５Ａ上のグラフィスクデータ、ビデオデータおよびオーディオデータそれぞれを参照することができる。さらに、各ストリーミングプロセッサ（ＳＰ）２０４は、グラフィスクデータ、ビデオデータまたはオーディオデータに対する処理結果を、メモリコントローラ２０５を介してメモリ１０５Ａにライトすることができる。 The graphics engine 203 executes processing for each of the graphics data, video data, and audio data using a plurality of streaming processors (SP) 204. Each streaming processor (SP) 204 functions as a processing core (programmable shader) capable of executing graphics operations and general-purpose operations. The content of the operation executed by each streaming processor (SP) 204 can be determined by a group of instructions loaded from the graphics engine 203 to each streaming processor (SP) 204. Each streaming processor (SP) 204 can refer to the graphics data, video data, and audio data on the memory 105 A via the memory controller 205. Further, each streaming processor (SP) 204 can write a processing result for graphics data, video data, or audio data to the memory 105 A via the memory controller 205.

複数のストリーミングプロセッサ（ＳＰ）２０４には、実行すべき処理がグラフィクスエンジン２０３によって割り当てられる。この意味で、グラフィクスエンジン２０３は、複数の処理を並列実行する為にそれら複数の処理を複数のストリーミングプロセッサ（ＳＰ）２０４に割り当てるディスパッチャ（スケジューラとも云う）である。 The graphics engine 203 assigns a process to be executed to a plurality of streaming processors (SP) 204. In this sense, the graphics engine 203 is a dispatcher (also referred to as a scheduler) that assigns a plurality of processes to a plurality of streaming processors (SP) 204 in order to execute a plurality of processes in parallel.

本実施形態では、ビデオデータの各フレームの解析結果に応じてオーディオデータの各フレームを適応的に処理できるようにするために、グラフィクスエンジン２０３は、演算制御部２０３Ａを含む。 In the present embodiment, the graphics engine 203 includes an arithmetic control unit 203A in order to adaptively process each frame of audio data according to the analysis result of each frame of video data.

演算制御部２０３Ａは、例えば、複数のストリーミングプロセッサ（ＳＰ）２０４内の少なくとも一つの第１ストリーミングプロセッサ（ＳＰ）２０４に、メモリ１０４Ａ上のビデオデータのフレーム群を解析してビデオデータの特徴を検出するための第１のタスクを割り当てる。タスクはスレッドとして実現しても良い。さらに、演算制御部２０３Ａは、複数のストリーミングプロセッサ（ＳＰ）２０４内の少なくとも一つの第２ストリーミングプロセッサ（ＳＰ）２０４に、メモリ１０４Ａ上のオーディオデータに対して、検出されたビデオデータの特徴に関連付けられた加工を施すための第２のタスクを割り当てる。第１のタスクと第２のタスクは並列に実行される。 For example, the arithmetic control unit 203A detects at least one first streaming processor (SP) 204 in the plurality of streaming processors (SP) 204 by analyzing a frame group of the video data on the memory 104A and detects a feature of the video data. A first task for assigning is assigned. A task may be realized as a thread. Further, the arithmetic control unit 203A associates the audio data on the memory 104A with the characteristics of the detected video data to at least one second streaming processor (SP) 204 in the plurality of streaming processors (SP) 204. Assign a second task to perform the specified processing. The first task and the second task are executed in parallel.

第１のタスクが割り当てられた各第１ストリーミングプロセッサ（ＳＰ）２０４は、演算制御部２０３Ａからその第１ストリーミングプロセッサ（ＳＰ）２０４にロードされる命令を実行する。そして、各第１ストリーミングプロセッサ（ＳＰ）２０４は、メモリ１０５Ａからビデオデータのフレームをフェッチし、そのフレームの画像を解析する。解析処理では、例えば、各ビデオフレームの画像特徴を検出する処理、ビデオフレームに出現する特定のオブジェクト（例えば人物）を検出する処理、特定のオブジェクトの動きを検出する処理、ビデオフレーム内の特定のオブジェクトの位置を検出する処理などを実行してもよい。各ビデオフレームの特徴を示す解析処理結果は、メモリ１０５Ａに格納される。 Each first streaming processor (SP) 204 to which the first task is assigned executes an instruction loaded from the arithmetic control unit 203A to the first streaming processor (SP) 204. Each first streaming processor (SP) 204 fetches a frame of video data from the memory 105A and analyzes the image of the frame. In the analysis process, for example, a process of detecting an image feature of each video frame, a process of detecting a specific object (for example, a person) appearing in the video frame, a process of detecting a motion of the specific object, a specific process in the video frame A process for detecting the position of the object may be executed. The analysis processing result indicating the characteristics of each video frame is stored in the memory 105A.

第２のタスクが割り当てられた各第２ストリーミングプロセッサ（ＳＰ）２０４は、演算制御部２０３Ａからロードされる命令を実行する。そして、各第２ストリーミングプロセッサ（ＳＰ）２０４は、例えば、メモリ１０５Ａに格納された各ビデオフレームの特徴を示す解析処理結果に基づいて、各オーディオフレームに対して、対応するビデオフレームの特徴に関連付けられた加工（編集）を施す。この場合、各第２ストリーミングプロセッサ（ＳＰ）２０４は、メモリ１０５Ａからオーディオデータのフレームをフェッチし、そのフェッチしたオーディオデータのフレームに対して、対応するビデオフレームの特徴に関連付けられた加工（編集）を施す。 Each second streaming processor (SP) 204 to which the second task is assigned executes an instruction loaded from the arithmetic control unit 203A. Then, each second streaming processor (SP) 204 associates each audio frame with the feature of the corresponding video frame based on the analysis processing result indicating the feature of each video frame stored in the memory 105A, for example. Apply the processing (editing). In this case, each second streaming processor (SP) 204 fetches a frame of audio data from the memory 105A and processes (edits) the fetched frame of audio data associated with the characteristics of the corresponding video frame. Apply.

このように、本実施形態では、複数のストリーミングプロセッサ（ＳＰ）２０４を用いて、メモリ１０５Ａ上のビデオデータを解析する処理と、ビデオデータの解析結果に応じてメモリ１０５Ａ上のオーディオデータを加工（編集）する処理とを並列に実行することができる。 As described above, in this embodiment, a plurality of streaming processors (SP) 204 are used to analyze the video data on the memory 105A and process the audio data on the memory 105A according to the analysis result of the video data ( Editing) can be executed in parallel.

映像信号出力インタフェース２０６は、ストリーミングプロセッサ（ＳＰ）２０４によって処理されたビデオデータに対応する映像信号を生成し、生成された映像信号をディスプレイ機器に出力する。この映像信号出力インタフェース２０６は、デジタル−アナログコンバータ（ＤＡＣ）３０１、ディスプレイアナログ出力インタフェース３０２、ディスプレイディジタル出力インタフェース３０３を含む。デジタル−アナログコンバータ（ＤＡＣ）３０１とデジタル−アナログコンバータ（ＤＡＣ）３０１は、処理されたビデオデータからアナログ映像信号（ＲＧＢ）を生成する。アナログ映像信号（ＲＧＢ）はＧＰＵ１０５に設けられたアナログ映像信号出力ピンを介して外部のＲＧＢモニタに出力される。ディスプレイディジタル出力インタフェース３０３は、処理されたビデオデータからデジタル映像信号を生成する。デジタル映像信号は、ＧＰＵ１０５に設けられたデジタル映像信号出力ピンを介して外部のデジタルモニタ（ＤＶＩモニタ、ＨＤＭＩモニタ、ＤＰモニタ等）に出力される。 The video signal output interface 206 generates a video signal corresponding to the video data processed by the streaming processor (SP) 204, and outputs the generated video signal to a display device. The video signal output interface 206 includes a digital-analog converter (DAC) 301, a display analog output interface 302, and a display digital output interface 303. The digital-analog converter (DAC) 301 and the digital-analog converter (DAC) 301 generate analog video signals (RGB) from the processed video data. The analog video signal (RGB) is output to an external RGB monitor via an analog video signal output pin provided in the GPU 105. The display digital output interface 303 generates a digital video signal from the processed video data. The digital video signal is output to an external digital monitor (DVI monitor, HDMI monitor, DP monitor, etc.) via a digital video signal output pin provided in the GPU 105.

オーディオ信号入出力インタフェース２０７は、オーディオ信号を外部機器から入力すると共に、オーディオ信号を外部機器へ出力する。オーディオ信号入出力インタフェース２０７は、デジタル−アナログコンバータ（ＤＡＣ）３１１、サウンドアナログ出力インタフェース３１２、アナログ−ディジタルコンバータ（ＡＤＣ）３１３、サウンドアナログ入力インタフェース３１４、サウンドデジタル出力インタフェース３１５、およびサウンドデジタル入力インタフェース３１６を含む。 The audio signal input / output interface 207 inputs an audio signal from an external device and outputs the audio signal to the external device. The audio signal input / output interface 207 includes a digital-analog converter (DAC) 311, a sound analog output interface 312, an analog-digital converter (ADC) 313, a sound analog input interface 314, a sound digital output interface 315, and a sound digital input interface 316. including.

デジタル−アナログコンバータ（ＤＡＣ）３１１とサウンドアナログ出力インタフェース３１２は、処理されたオーディオデータからアナログオーディオ信号（アナログサウンド信号とも云う）を生成する。アナログオーディオ信号はＧＰＵ１０５に設けられたアナログオーディオ信号出力ピンを介してスピーカまたは他の外部アナログサウンド機器に出力される。サウンドアナログ入力インタフェース３１４はマイクロフォンなどからアナログオーディオ信号を入力し、アナログ−ディジタルコンバータ（ＡＤＣ）３１３は入力されたアナログオーディオ信号をデジタルオーディオ信号に変換する。 A digital-analog converter (DAC) 311 and a sound analog output interface 312 generate an analog audio signal (also referred to as an analog sound signal) from the processed audio data. The analog audio signal is output to a speaker or other external analog sound device via an analog audio signal output pin provided in the GPU 105. The sound analog input interface 314 receives an analog audio signal from a microphone or the like, and the analog-digital converter (ADC) 313 converts the input analog audio signal into a digital audio signal.

サウンドデジタル出力インタフェース３１５は、処理されたオーディオデータからデジタルオーディオ信号（デジタルサウンド信号とも云う）を生成する。デジタルオーディオ信号は、ＧＰＵ１０５に設けられたデジタルオーディオ信号出力ピンを介して外部のデジタルサウンド機器に出力される。サウンドデジタル入力インタフェース３１６は外部からデジタルオーディオ信号を入力する。 The sound digital output interface 315 generates a digital audio signal (also referred to as a digital sound signal) from the processed audio data. The digital audio signal is output to an external digital sound device via a digital audio signal output pin provided in the GPU 105. The sound digital input interface 316 inputs a digital audio signal from the outside.

入力されたオーディオ信号もストリーミングプロセッサ（ＳＰ）２０４によって処理することが出来る。例えば、演算制御部２０３Ａは、１以上のストリーミングプロセッサ（ＳＰ）２０４を用いて、マイクから入力された音声信号を認識する音声認識処理を実行することもできる。音声認識の結果はPCI Expressインタフェース２０１を介してホストに送信することが出来る。 The input audio signal can also be processed by the streaming processor (SP) 204. For example, the arithmetic control unit 203A can execute voice recognition processing for recognizing a voice signal input from a microphone using one or more streaming processors (SP) 204. The result of speech recognition can be transmitted to the host via the PCI Express interface 201.

このように、本実施形態においては、ＧＰＵ１０５には、オーディオ信号の入出力の為に必要な外部インタフェースが追加されており、さらに、従来、ＤＳＰで行われていたオーディオ処理を拡張した高度なオーディオ処理がＧＰＵ１０５のメモリ１０５Ａとストリーミングプロセッサ２０４を用いて実行される。これによって、コンピュータ１０のシステムからオーディオ処理用のＤＳＰを排除する事が可能になり、システムのトータルコストを削減できる。 As described above, in the present embodiment, the GPU 105 is provided with an external interface necessary for input / output of an audio signal, and further, an advanced audio system in which audio processing conventionally performed by a DSP is extended. The processing is executed using the memory 105 A of the GPU 105 and the streaming processor 204. As a result, the DSP for audio processing can be eliminated from the system of the computer 10, and the total cost of the system can be reduced.

図４は、ストリーミングプロセッサ（ＳＰ）２０４によって実行される演算処理を示している。演算制御部２０３Ａからの１以上の命令はストリーミングプロセッサ２０４に入力される(Input Assembler)。ストリーミングプロセッサ（ＳＰ）２０４は、命令に従って、メモリ１０５Ａからデータをフェッチし、フェッチしたデータに各種演算を施す。実行される演算内容は、命令によって決定される。ストリーミングプロセッサ（ＳＰ）２０４は、演算結果を必要に応じてメモリ１０５Ａにライトするかストリーミングプロセッサ（ＳＰ）２０４自身にフィードバックしながら、データのフェッチおよび演算を順次実行する。 FIG. 4 shows arithmetic processing executed by the streaming processor (SP) 204. One or more instructions from the arithmetic control unit 203A are input to the streaming processor 204 (Input Assembler). The streaming processor (SP) 204 fetches data from the memory 105A according to the instruction and performs various operations on the fetched data. The operation content to be executed is determined by the instruction. The streaming processor (SP) 204 sequentially executes data fetching and calculation while writing the calculation result to the memory 105A as necessary or feeding back to the streaming processor (SP) 204 itself.

図５は、ストリーミングプロセッサ（ＳＰ）２０４によって実行されるリバーブ処理のための演算処理の例を示している。ストリーミングプロセッサ（ＳＰ）２０４には以下の命令が予めロードされる。 FIG. 5 shows an example of arithmetic processing for reverberation processing executed by the streaming processor (SP) 204. The following instructions are preloaded in the streaming processor (SP) 204.

data[n] = data[n]+data[n-1]×R
ここで、Rはリバーブ処理における残響の強さを示す係数である。 data [n] = data [n] + data [n-1] × R
Here, R is a coefficient indicating the strength of reverberation in the reverb process.

オーディオデータは時系列状に並んだ一連のデータ（Ａ，Ｂ，Ｃ，Ｄ，……）から構成される。オーディオデータは予めメモリ１０５Ａにバッファリングされる。ストリーミングプロセッサ（ＳＰ）２０４は、メモリ１０５Ａからオーディオデータを離散データとして取得していき、あらかじめ与えられた命令を実行する。これにより、最終的には、各離散データに残響効果が適用されたオーディオデータがストリーミングプロセッサ（ＳＰ）２０４によって生成される。図５の「Output」の部分で、ＧＰＵ１０５は、リバーブ処理されたオーディオデータに対応するオーディオ信号を外部に出力する。 The audio data is composed of a series of data (A, B, C, D,...) Arranged in time series. Audio data is buffered in advance in the memory 105A. The streaming processor (SP) 204 acquires audio data as discrete data from the memory 105A, and executes instructions given in advance. Thereby, finally, audio data in which the reverberation effect is applied to each discrete data is generated by the streaming processor (SP) 204. In the “Output” portion of FIG. 5, the GPU 105 outputs an audio signal corresponding to the reverberated audio data to the outside.

以上のようにして、ＤＳＰの代替処理をＧＰＵ１０５内のストリーミングプロセッサ（ＳＰ）２０４によって実行することができる。 As described above, the DSP alternative process can be executed by the streaming processor (SP) 204 in the GPU 105.

次に、図６を参照して、ＧＰＵ１０５によって実行されるビデオデータおよびオーディオデータに対する処理の流れを説明する。本実施形態では、以下の処理が全てＧＰＵ１０５によって完結可能である。 Next, with reference to FIG. 6, the flow of processing for video data and audio data executed by the GPU 105 will be described. In the present embodiment, all of the following processes can be completed by the GPU 105.

（１）ＧＰＵ１０５はビデオデータおよびオーディオデータをホストから受信し、受信したビデオデータおよびオーディオデータをメモリ１０５Ａに格納する。また、ＧＰＵ１０５はビデオデータとオーディオデータとがマルチプレクスされたストリーミングデータをホストから受信し、受信したストリーミングデータをメモリ１０５Ａに格納してもよい。 (1) The GPU 105 receives video data and audio data from the host, and stores the received video data and audio data in the memory 105A. The GPU 105 may receive streaming data in which video data and audio data are multiplexed from the host, and store the received streaming data in the memory 105A.

（２）ＧＰＵ１０５はビデオデータを解析し、その解析結果に応じてビデオデータを処理する。ビデオデータの解析および処理はＧＰＵ１０５内の１以上のストリーミングプロセッサ（ＳＰ）２０４によって実行される。ストリーミングプロセッサ（ＳＰ）２０４によるビデオデータの解析および処理はストリーミングプロセッサ（ＳＰ）２０４にロードされた命令に従って実行される。ビデオデータの解析および処理に並行して、ＧＰＵ１０５はオーディオデータを解析し、その解析結果に応じてオーディオデータを処理することができる。オーディオデータの解析および処理はＧＰＵ１０５内の別の１以上のストリーミングプロセッサ（ＳＰ）２０４によって実行される。ストリーミングプロセッサ（ＳＰ）２０４によるオーディオデータの解析および処理はストリーミングプロセッサ（ＳＰ）２０４にロードされた命令に従って実行される。 (2) The GPU 105 analyzes the video data and processes the video data according to the analysis result. The analysis and processing of video data is performed by one or more streaming processors (SP) 204 within GPU 105. The analysis and processing of the video data by the streaming processor (SP) 204 is executed according to instructions loaded in the streaming processor (SP) 204. In parallel with the analysis and processing of the video data, the GPU 105 can analyze the audio data and process the audio data according to the analysis result. The analysis and processing of the audio data is performed by one or more other streaming processors (SP) 204 within the GPU 105. The analysis and processing of the audio data by the streaming processor (SP) 204 is executed according to instructions loaded in the streaming processor (SP) 204.

（３）ビデオデータの処理では、１つ前のビデオフレームの演算結果を現在のビデオフレームの演算のためにフィードバックしてもよい。同様に、オーディオデータ処理でも、１つ前のオーディオフレームの演算結果を現在のオーディオフレームの演算のためにフィードバックしてもよい。さらに、ＧＰＵ１０５は、上述したように、ビデオフレームそれぞれの解析結果に基づいて対応するオーディオフレームを処理することもできる。 (3) In the processing of video data, the calculation result of the previous video frame may be fed back for the calculation of the current video frame. Similarly, in the audio data processing, the calculation result of the previous audio frame may be fed back for the calculation of the current audio frame. Further, as described above, the GPU 105 can process the corresponding audio frame based on the analysis result of each video frame.

（４）ＧＰＵ１０５は、処理されたビデオデータに対応する映像信号および処理されたオーディオデータに対応するオーディオ信号を外部に直接的に出力する。 (4) The GPU 105 directly outputs the video signal corresponding to the processed video data and the audio signal corresponding to the processed audio data to the outside.

これによって、一度データがＧＰＵ１０５のメモリ１０５Ａにロードされた後は、ＧＰＵ１０５はＣＰＵ１０１との通信を行う必要がなくなる為、ＣＰＵリソースを削減できる。 As a result, once the data is loaded into the memory 105A of the GPU 105, the GPU 105 does not need to communicate with the CPU 101, so that CPU resources can be reduced.

次に、図７を参照して、ビデオフレームの解析結果に基づいてオーディオフレームを処理する例について説明する。ここでは、人が喋っているシーンに属するオーディオデータ内のフレームそれぞれに対して、聞き取りやすいよう人の声を強調するという加工を施す場合を例示して説明する。 Next, an example of processing an audio frame based on a video frame analysis result will be described with reference to FIG. Here, a case will be described as an example in which processing is performed for emphasizing a human voice so that each frame in audio data belonging to a scene where a human is speaking is easily heard.

ストリーミングプロセッサ（ＳＰ）２０４には、以下の処理の実行を指示する命令群が予めロードされる。 The streaming processor (SP) 204 is preloaded with an instruction group for instructing execution of the following processing.

（１）ビデオデータの各フレームの画像を解析して、唇を探索し、唇の動きを認識する。 (1) Analyzing the image of each frame of the video data to search for lips and recognize the movement of the lips.

（２）唇の動きから「人が喋っているシーン」を検出（認識）する。 (2) Detect (recognize) “scenes of people” from the movement of lips.

（３）人が喋っているシーンに属するオーディオデータのフレームそれぞれに対して、人の声帯音域が強調されるように、音域のゲーティング、イコライジング等の加工を施す。 (3) For each frame of audio data belonging to a scene where a person is speaking, processing such as gating of the sound range and equalizing is performed so that the human vocal cord sound range is emphasized.

（４）加工されたオーディオデータの各フレームを、メモリ１０５Ａ上の対応するオーディオフレームにフィードバックする。 (4) Each frame of the processed audio data is fed back to the corresponding audio frame on the memory 105A.

この後、幾つかのストリーミングプロセッサ（ＳＰ）２０４は、ビデオデータとオーディオデータをメモリ１０５Ａからフェッチしていき、あらかじめ与えられた命令を実行する。これにより、最終的には、人が喋っているシーンでは、人の声帯音域が強調されたオーディオデータがストリーミングプロセッサ（ＳＰ）２０４によって生成される。そして、ビデオデータに対応する映像信号および処理されたオーディオデータに対応するオーディオ信号が外部に直接的に出力される。 Thereafter, some streaming processors (SP) 204 fetch video data and audio data from the memory 105A, and execute instructions given in advance. As a result, in the scene where people are singing, the streaming processor (SP) 204 generates audio data in which the human vocal cords are emphasized. The video signal corresponding to the video data and the audio signal corresponding to the processed audio data are directly output to the outside.

なお、ビデオフレームの解析結果に基づいてオーディオフレームを処理する例は上述の例に制限されない。例えば、ビデオデータ内のフレームそれぞれの輝度に応じてオーディオデータ内のフレームそれぞれの音量を調整してもよい。この場合、比較的暗いシーンに対応するオーディオデータの音量はダウンし、比較的明るいシーンに対応するオーディオデータの音量はアップしてもよい。また、特定のシーンに属する各オーディオフレームに対してリバーブ処理やサラウンド処理等を適用するようにしてもよい。 In addition, the example which processes an audio frame based on the analysis result of a video frame is not restrict | limited to the above-mentioned example. For example, the volume of each frame in the audio data may be adjusted according to the brightness of each frame in the video data. In this case, the volume of audio data corresponding to a relatively dark scene may be reduced, and the volume of audio data corresponding to a relatively bright scene may be increased. Further, reverb processing, surround processing, etc. may be applied to each audio frame belonging to a specific scene.

ところで、近年では、ＧＰＵを汎用演算に使用するといういわゆる「ＧＰＧＰＵ」環境も開発され始めている。「ＧＰＧＰＵ」環境は、科学技術演算のような汎用演算をＧＰＵに実行させるために使用される。「ＧＰＧＰＵ」環境では、ＣＰＵからＧＰＵに命令群およびデータが送られ、そしてＧＰＵによって得られた演算結果がＧＰＵからＣＰＵに戻される。したがって、たとえ図８のように、（１）ＣＰＵ５０１から従来のＧＰＵ５０３に対してオーディオデータをインプットしたとしても、（２）ＧＰＵ５０３からＣＰＵ５０１にオーディオデータの処理結果を戻すことが必要となり、さらには、（３）オーディオデータの処理結果をＣＰＵ５０１からＤＳＰ５０４に転送することが必要となる。よって、多くのバス帯域が消費されることになる。 By the way, in recent years, a so-called “GPGPU” environment in which a GPU is used for general-purpose computations has begun to be developed. The “GPGPU” environment is used to cause the GPU to perform general purpose operations such as scientific and technical operations. In the “GPGPU” environment, an instruction group and data are sent from the CPU to the GPU, and an operation result obtained by the GPU is returned from the GPU to the CPU. Therefore, as shown in FIG. 8, (1) even if audio data is input from the CPU 501 to the conventional GPU 503, (2) it is necessary to return the processing result of the audio data from the GPU 503 to the CPU 501. (3) It is necessary to transfer the processing result of the audio data from the CPU 501 to the DSP 504. Therefore, a lot of bus bandwidth is consumed.

本実施形態では、図９に示すように、ＧＰＵ１０５がビデオデータおよびオーディオデータの双方を複数のストリーミングプロセッサ（ＳＰ）２０４を用いて処理でき、且つＧＰＵ１０５が映像信号およびオーディオ信号を直接的に出力することができる。よって、（１）ＣＰＵ１０１からＧＰＵ１０５にビデオデータおよびオーディオデータを転送するだけで、（２）ＧＰＵ１０５が映像信号およびオーディオ信号を出力することが可能となる。よって、ＣＰＵリソースやバス帯域を消費しなくて済むようになる。 In the present embodiment, as shown in FIG. 9, the GPU 105 can process both video data and audio data using a plurality of streaming processors (SP) 204, and the GPU 105 directly outputs a video signal and an audio signal. be able to. Therefore, (1) only by transferring video data and audio data from the CPU 101 to the GPU 105, (2) the GPU 105 can output a video signal and an audio signal. Therefore, it is not necessary to consume CPU resources and bus bandwidth.

次に、図１０を参照して、ＧＰＵ１０５の機能構成について説明する。
ＧＰＵ１０５は、ビデオストリームバッファ６０１、ビデオデコーダ６０２、ビデオフレームバッファ６０３、オーディオストリームバッファ６０４、オーディオデコーダ６０５、ビデオフレームバッファ６０６、ビデオ＆オーディオ編集処理部６０７、およびビデオ＆オーディオ同期化処理部６０８を含む。ビデオストリームバッファ６０１、ビデオフレームバッファ６０３、オーディオストリームバッファ６０４、およびビデオフレームバッファ６０６は、それぞれメモリ１０５Ａ上の記憶領域である。 Next, the functional configuration of the GPU 105 will be described with reference to FIG.
The GPU 105 includes a video stream buffer 601, a video decoder 602, a video frame buffer 603, an audio stream buffer 604, an audio decoder 605, a video frame buffer 606, a video & audio editing processing unit 607, and a video & audio synchronization processing unit 608. . The video stream buffer 601, the video frame buffer 603, the audio stream buffer 604, and the video frame buffer 606 are storage areas on the memory 105A, respectively.

ビデオストリームバッファ６０１はホストから転送されるビデオデータのストリームを格納するためのバッファである。ビデオデータのストリームは符号化されていてもよい。オーディオストリームバッファ６０４はホストから転送されるオーディオデータのストリームを格納するためのバッファである。オーディオデータのストリームも符号化されていてもよい。 The video stream buffer 601 is a buffer for storing a stream of video data transferred from the host. The stream of video data may be encoded. The audio stream buffer 604 is a buffer for storing a stream of audio data transferred from the host. Audio data streams may also be encoded.

ビデオデコーダ６０２は、ビデオストリームバッファ６０１からビデオデータをフェッチし、フェッチしたビデオデータをデコードする。ビデオデータをデコードすることにより、フレーム単位のデータ、および、その各フレームに付随する各情報（例えばカラー情報等）、同期を行う為のタイムコードが取り出される。カラー情報は、対応するビデオフレームのカラーフォーマット（ＹＵＶ、ＲＧＢ等）を示す。デコードによってフレーム毎に得られるビデオフレーム（画像データ）、カラー情報およびタイムコードは、ビデオフレームバッファ６０３に格納される。ビデオデコーダ６０２は、例えば、１以上のストリーミングプロセッサ（ＳＰ）２０４にデコード処理を実行させることによって実現してもよい。換言すれば、ビデオデコーダ６０２は、演算制御部２０３Ａと、演算制御部２０３Ａによってビデオデコードのためのタスクが割り当てられる１以上のストリーミングプロセッサ（ＳＰ）２０４とによって実現してもよい。 The video decoder 602 fetches video data from the video stream buffer 601 and decodes the fetched video data. By decoding the video data, data in units of frames, information associated with each frame (for example, color information), and a time code for synchronization are extracted. The color information indicates the color format (YUV, RGB, etc.) of the corresponding video frame. A video frame (image data), color information, and time code obtained for each frame by decoding are stored in a video frame buffer 603. The video decoder 602 may be realized, for example, by causing one or more streaming processors (SP) 204 to perform a decoding process. In other words, the video decoder 602 may be realized by the arithmetic control unit 203A and one or more streaming processors (SP) 204 to which a task for video decoding is assigned by the arithmetic control unit 203A.

オーディオデコーダ６０５は、オーディオストリームバッファ６０４からオーディオデータをフェッチし、フェッチしたオーディオデータをデコードする。オーディオデータをデコードすることにより、フレーム単位のデータ、および、その各フレームに付随する各情報、同期を行う為のタイムコードが取り出される。デコードによってフレーム毎に得られるオーディオフレーム（データ）、タイムコードは、オーディオフレームバッファ６０６に格納される。 The audio decoder 605 fetches audio data from the audio stream buffer 604 and decodes the fetched audio data. By decoding the audio data, data in units of frames, information associated with the frames, and a time code for synchronization are extracted. The audio frame (data) and time code obtained for each frame by decoding are stored in the audio frame buffer 606.

ビデオ＆オーディオ編集処理部６０７は、ビデオフレームバッファ６０３上のビデオデータの解析および処理を実行すると共に、オーディオフレームバッファ６０６上のオーディオデータの解析および処理を実行する。さらに、このビデオ＆オーディオ編集処理部６０７は、ビデオフレームバッファ６０３上のビデオデータのフレームそれぞれの解析結果に基づいて、オーディオフレームバッファ６０６上のオーディオデータを処理することもできる。このビデオ＆オーディオ編集処理部６０７は、演算制御部２０３Ａと、演算制御部２０３Ａによってビデオ解析用のタスクが割り当てられる１以上のストリーミングプロセッサ（ＳＰ）２０４と、演算制御部２０３Ａによってオーディオ編集用のタスクが割り当てられる１以上のストリーミングプロセッサ（ＳＰ）２０４とによって実現してもよい。 The video & audio editing processing unit 607 performs analysis and processing of video data on the video frame buffer 603 and also performs analysis and processing of audio data on the audio frame buffer 606. Further, the video & audio editing processing unit 607 can process the audio data on the audio frame buffer 606 based on the analysis result of each frame of the video data on the video frame buffer 603. The video & audio editing processing unit 607 includes an arithmetic control unit 203A, one or more streaming processors (SP) 204 to which a video analysis task is assigned by the arithmetic control unit 203A, and an audio editing task by the arithmetic control unit 203A. May be realized by one or more streaming processors (SP) 204 to which is assigned.

なお、このビデオ＆オーディオ編集処理部６０７は、オーディオフレームバッファ６０６上のオーディオデータの各フレームの解析結果に基づいて、ビデオフレームバッファ６０３上のビデオデータの各フレームを処理することもできる。このビデオ＆オーディオ編集処理部６０７は、演算制御部２０３Ａと、演算制御部２０３Ａによってオーディオ解析用のタスクが割り当てられる１以上のストリーミングプロセッサ（ＳＰ）２０４と、演算制御部２０３Ａによってビデオ編集用のタスクが割り当てられる１以上のストリーミングプロセッサ（ＳＰ）２０４とによって実現してもよい。 The video & audio editing processing unit 607 can also process each frame of video data on the video frame buffer 603 based on the analysis result of each frame of audio data on the audio frame buffer 606. The video & audio editing processing unit 607 includes an arithmetic control unit 203A, one or more streaming processors (SP) 204 to which an audio analysis task is assigned by the arithmetic control unit 203A, and a video editing task by the arithmetic control unit 203A. May be realized by one or more streaming processors (SP) 204 to which is assigned.

ビデオ＆オーディオ同期化処理部６０８は、解析および処理された各ビデオフレームのタイムコードと解析および処理された各オーディオフレームのタイムコードとを用いて、ビデオデータとオーディオデータとを同期化する。そして、処理されたビデオデータに対応する映像信号は映像信号出力インタフェース２０６を介して外部に出力される。同時に、処理されたオーディオデータに対応するオーディオ信号はオーディオ信号入出力インタフェース２０７を介して外部に出力される。 The video & audio synchronization processing unit 608 synchronizes video data and audio data using the time code of each analyzed and processed video frame and the time code of each analyzed and processed audio frame. A video signal corresponding to the processed video data is output to the outside via the video signal output interface 206. At the same time, an audio signal corresponding to the processed audio data is output to the outside via the audio signal input / output interface 207.

なお、ここでは、ビデオデータとオーディオデータとを連携して処理する例を中心に説明したが、同様にして、グラフィクスデータの各フレームの解析結果に応じてオーディオデータの各フレームを処理することもできる。 Note that here, an example has been described in which video data and audio data are processed in a coordinated manner, but in the same manner, each frame of audio data may be processed according to the analysis result of each frame of graphics data. it can.

以上説明したように、本実施形態によれば、ＧＰＵ１０５はビデオデータの各シーンの特徴等に対応する様々な加工をオーディオデータに適応的に施すことができ、そしてビデオデータに対応する映像信号およびオーディオデータに対応するオーディオ信号を外部に直接的に出力することができる。よって、オーディオデータをビデオデータに連携させて処理することができる。 As described above, according to the present embodiment, the GPU 105 can adaptively perform various processes corresponding to the characteristics of each scene of the video data on the audio data, and the video signal corresponding to the video data and An audio signal corresponding to the audio data can be directly output to the outside. Therefore, audio data can be processed in cooperation with video data.

なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 In addition, although some embodiment of this invention was described, these embodiment is shown as an example and is not intending limiting the range of invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.

１０１…ＣＰＵ、１０３…主メモリ、１０５…ＧＰＵ、２０１…PCI Expressインタフェース、２０２…ハブ、２０３…グラフィクスエンジン、２０４…ストリーミングプロセッサ（ＳＰ）、２０５…メモリコントローラ、１０５Ａ…メモリ、２０６…映像信号出力インタフェース、２０７…オーディオ信号入出力インタフェース。 DESCRIPTION OF SYMBOLS 101 ... CPU, 103 ... Main memory, 105 ... GPU, 201 ... PCI Express interface, 202 ... Hub, 203 ... Graphics engine, 204 ... Streaming processor (SP), 205 ... Memory controller, 105A ... Memory, 206 ... Video signal output Interface, 207... Audio signal input / output interface.

Claims

A host interface for receiving video and audio data from the host;
Multiple processing cores,
Analyzing the video data using at least one first processing core in the plurality of processing cores to detect a predetermined scene in the video data , and at least one second processing core in the plurality of processing cores Means for performing predetermined processing on a data portion in the audio data belonging to the predetermined scene using
A video signal output interface for outputting a video signal corresponding to said bi Deodeta,
Graphics processing unit including an audio signal output interface for outputting the audio signal corresponding to your audio data predetermined processing is performed on the data portion.

The graphics processing unit according to claim 1, further comprising an audio signal input interface for inputting an audio signal from a sound device.

CPU,
A graphics controller coupled to the CPU and configured to process graphics data, video data and audio data in response to a request from the CPU;
The graphics controller
A host interface for receiving video data and audio data from the CPU;
A memory controller for storing the received video data and audio data in a memory;
A plurality of processing cores coupled to the memory;
Analyzing video data on the memory using at least one first processing core in the plurality of processing cores to detect a predetermined scene in the video data , and at least one first processing core in the plurality of processing cores. Arithmetic control means for performing predetermined processing on a data portion in audio data on the memory belonging to the predetermined scene using a two processing core;
Generates a video signal corresponding to the previous millet Deodeta, a video signal output interface for outputting the generated video signal to the display device,
An information processing apparatus comprising: an audio signal output interface that generates an audio signal corresponding to audio data obtained by performing predetermined processing on the data portion, and outputs the generated audio signal to a sound device.

The information processing apparatus according to claim 3, wherein the graphics controller further includes an audio signal input interface for inputting an audio signal from a sound device.