JP7473284B2 - 半導体装置 - Google Patents

Description

本発明は、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）に内蔵するメモリやＬＳＩ外部にあるメモリから音声データを読み出して再生する半導体装置において、Ｉ２Ｓ（Ｉｎｔｅｒ－ＩＣ Ｓｏｕｎｄ）など外部から入力されるシリアルオーディオ入力データとのミキシングに関する。

図１は、音声信号を出力する半導体装置１００の構成例を示す図である。半導体装置１００は、図１に示すように、タイミング生成部１１０と、再生処理（デコード）部１２０と、ミキシング部１３０と、メモリ１４０とにより構成されている。タイミング生成部１１０は、半導体装置１００内部の基本クロックを使ってカウンタを動作させてサンプリング周期を生成する。例えば、タイミング生成部１１０は、図２に示すように任意のカウンタ満了値ｎを設定して基本クロックをカウントし、ｎ回目の基本クロックの立ち上がりによってカウンタ一致信号を出力することで、その周期に同期した信号（ｆｓｓｙｎｃ信号）を生成する。半導体装置１００の動作としては、図３に示すように、タイミング生成部１１０がｆｓｓｙｎｃ信号を生成し（１）、再生処理（デコード）部１２０が、このｆｓｓｙｎｃ信号をトリガに再生チャネルを時分割してメモリ１４０から音声データを読出し（２）、読み出した音声データをデコードし（３）、ミキシング部１３０が、デコードされた音声データを最終的にミキシングして出力している（４）。

半導体装置１００が、Ｉ２Ｓ等のシリアルオーディオデータとのミキシングを行う場合は、図４のようにメモリ１４０からの読出し及び再生処理を４チャンネルから２チャンネルに減らし、メモリ読出しによる音声再生を２チャンネル、シリアルオーディオデータ（Ｌｃｈ／Ｒｃｈ）を２チャンネルの、合計４チャンネルでミキシング処理を行う。

また、特許文献１は、システムクロックに基づいて生成されたＢＣＬＫをＬＲＣＬＫの立ち上がり又は立ち下りエッジに同期するよう調整するクロック生成装置を開示している。

特開２００７－２３５５２６号公報

しかし、Ｉ２Ｓなどを使って入力されたシリアルオーディオデータと、メモリから読み出した音声データとのミキシング再生を行おうとした場合、シリアルオーディオ入力のサンプリング周期とＬＳＩ内部で生成するサンプリング周期とにずれが生じると、シリアルオーディオ入力の重複取り込みや取りこぼしによる再生音の音質低下が起こる問題があった。

本発明は、上記の点に鑑みてなされたものであり、メモリから読み出した音声データとシリアルオーディオデータとをミキシングする際に、シリアルオーディオデータの重複取り込みや取りこぼしを抑制し再生音の音質向上を可能とする半導体装置を提供することを目的とする。

本発明の第１態様に係る半導体装置は、外部から入力されるシリアルオーディオデータの入力タイミングに合わせて同期信号を生成するタイミング生成部と、前記同期信号に基づいてメモリから音声データを読出して音声再生処理を行い複数のチャネル情報を出力する再生処理部と、前記複数のチャネル情報を前記シリアルオーディオデータとミキシングして音声信号を生成するミキシング部と、を有する。

本発明の第２態様に係る半導体装置は、第１態様に係る半導体装置であって、前記タイミング生成部は、前記シリアルオーディオデータのチャネル切り替えクロックの立ち上がり又は立下りを検出し、検出に応じて前記同期信号を生成する。

本発明の第３態様に係る半導体装置は、第１態様に係る半導体装置であって、前記タイミング生成部は、前記シリアルオーディオデータのチャネル切り替えクロックの立ち上がり又は立下りを検出したタイミングにおいて、基本クロックで値が増加するカウンタの値をカウンタ満了値として保持し、前記カウンタの値が前記カウンタ満了値と一致したタイミングで前記同期信号を生成する。

本発明の第４態様に係る半導体装置は、第３態様に係る半導体装置であって、前記タイミング生成部は、所定の周期で前記カウンタ満了値を更新する。

本発明によれば、メモリから読み出した音声データとシリアルオーディオデータとをミキシングする際に、シリアルオーディオデータの入力タイミングに合わせて同期信号を生成することで、シリアルオーディオ入力の重複取り込みや取りこぼしを抑制し再生音の音質向上を可能とする半導体装置を提供することできる。

従来技術に係る半導体装置１００のブロック構成図である。 従来技術に係るｆｓｓｙｎｃ信号生成のタイムチャートである。 従来技術に係る半導体装置１００のタイムチャートである。 従来技術に係る半導体装置１００のタイムチャートである。 従来技術に係る半導体装置１００の課題を説明する図である。 従来技術に係る半導体装置１００の課題を説明する図である。 本発明の実施の形態に係る半導体装置２００のブロック構成図である。 本発明の実施の形態に係るｆｓｓｙｎｃ信号生成のタイムチャートである。 本発明の実施の形態に係る半導体装置２００のタイムチャートである。

以下、本発明の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一または等価な構成要素および部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

まず、Ｉ２Ｓなどを使って外部から入力されるシリアルオーディオデータと、内部のメモリから読み出した音声データとのミキシング再生を行おうとした場合に、シリアルオーディオ入力のサンプリング周期とＬＳＩ内部で生成するサンプリング周期のずれが生じる理由を説明する。

図５は、外部から入力されるシリアルオーディオデータと、内部のメモリから読み出した音声データとのミキシング再生を説明するタイミングチャートである。ＬＲＣＬＫは、シリアルオーディオデータのチャネルを切り替えるためのクロックである。図５に示したのは、シリアルオーディオデータの周期（ＬＲＣＬＫ周期）が、半導体装置の内部の基本クロックに基づいて生成したｆｓｓｙｎｃ信号の周期より長い場合の例である。

ＬＲＣＬＫ周期の方がｆｓｓｙｎｃ信号の周期より長いと、ＬＲＣＬＫ周期のパルスの立ち上がりのタイミングと、ｆｓｓｙｎｃ信号が立ち上がるタイミングとが段々ずれていき、ＬＲＣＬＫの１周期の中にｆｓｓｙｎｃ信号が２度立ち上がる場合がありうる。図５の例では、シリアルオーディオデータのｎ＋３サンプル目において、ＬＲＣＬＫの１周期の中にｆｓｓｙｎｃ信号が２度立ち上がっている。

このように、ＬＲＣＬＫの１周期の中にｆｓｓｙｎｃ信号が２度立ち上がると、シリアルオーディオデータのサンプルの重複取り込みが発生する。図５の例では、シリアルオーディオデータのｎ＋３サンプル目において、ＬＲＣＬＫの１周期の中にｆｓｓｙｎｃ信号が２度立ち上がっているため、半導体装置は、１つ前のシリアルオーディオデータのｎ＋２サンプル目を２回取り込んでしまう。これがサンプルの重複取り込みである。その為、ＬＲＣＬＫ周期の方がｆｓｓｙｎｃ信号の周期より長いと、音質の劣化が発生する。

図６は、シリアルオーディオデータと、メモリから読み出した音声データとのミキシング再生を説明するタイミングチャートである。図６に示したのは、シリアルオーディオデータの周期（ＬＲＣＬＫ周期）が、半導体装置の内部の基本クロックに基づいて生成したｆｓｓｙｎｃ信号の周期より短い場合の例である。

ＬＲＣＬＫ周期の方がｆｓｓｙｎｃ信号の周期より短いと、ＬＲＣＬＫ周期のパルスの立ち上がりのタイミングと、ｆｓｓｙｎｃ信号が立ち上がるタイミングとが段々ずれていき、ＬＲＣＬＫの１周期の中にｆｓｓｙｎｃ信号が立ち上がらない場合がありうる。図６の例では、シリアルオーディオデータのｎ＋３サンプル目において、ＬＲＣＬＫの１周期の中にｆｓｓｙｎｃ信号が立ち上がっていない。

このように、ＬＲＣＬＫの１周期の中にｆｓｓｙｎｃ信号が立ち上がらないと、シリアルオーディオデータのサンプルの取りこぼしが発生する。図６の例では、シリアルオーディオデータのｎ＋３サンプル目において、ＬＲＣＬＫの１周期の中にｆｓｓｙｎｃ信号が立ち上がっていないため、半導体装置は、１つ前のシリアルオーディオデータのｎ＋２サンプル目を取り込むことができない。すなわち、半導体装置は、１つ前のシリアルオーディオデータのｎ＋２サンプル目を取りこぼしてしまう。これがサンプルの取りこぼしである。その為、ＬＲＣＬＫ周期の方がｆｓｓｙｎｃ信号の周期より短いと、長い場合と同様に音質の劣化が発生する。

すなわち、Ｉ２Ｓなどを使って外部から入力されるシリアルオーディオデータと、内部のメモリから読み出した音声データとのミキシング再生を行おうとした場合に、ＬＲＣＬＫ周期とｆｓｓｙｎｃ信号の周期とにずれが生じると、シリアルオーディオデータの重複取り込み又は取りこぼしに起因する音質の劣化が発生する。

そこで本件発明者は、上述した点に鑑みて、ＬＲＣＬＫ周期とｆｓｓｙｎｃ信号の周期とにずれが生じた場合であっても、シリアルオーディオデータの重複取り込み又は取りこぼしを防止して、音質を向上させることができる技術について、鋭意検討を行った。その結果、本件発明者は、以下で説明するように、ＬＲＣＬＫ周期とｆｓｓｙｎｃ信号の周期とにずれが生じた場合であっても、シリアルオーディオデータの重複取り込み又は取りこぼしを防止して、音質を向上させることができる技術を考案するに至った。

図７は、本発明の実施の形態に係る半導体装置２００の構成例を示す図である。図７に示した半導体装置２００は、音声信号を出力する。半導体装置２００は、図７に示すように、タイミング生成部２１０と、再生処理（デコード）部１２０と、ミキシング部１３０と、メモリ１４０とにより構成されている。

本実施の形態に係る半導体装置２００では、Ｉ２Ｓなどを使って外部から入力されるシリアルオーディオデータとのミキシングを行う場合には、シリアルオーディオデータのＬＲＣＬＫのエッジに同期した信号をサンプリング周期に同期した信号として使用して、その信号をトリガにメモリ１４０に格納された音声データの再生を行い、シリアルオーディオデータとのミキシングを行うものである。

タイミング生成部２１０は、Ｉ２Ｓなどを使って外部から入力されるシリアルオーディオデータの入力タイミングに合わせて、基本クロックを使用してｆｓｓｙｎｃ信号を生成する。例えば、タイミング生成部２１０は、シリアルオーディオデータのＬＲＣＬＫのエッジ、すなわちＬＲＣＬＫの立ち上がり又は立ち下がりを検出し、検出したタイミングに応じて、再生処理（デコード）部１２０がメモリ１４０から音声データを読出すためのｆｓｓｙｎｃ信号を生成する。

再生処理（デコード）部１２０は、タイミング生成部２１０が生成したｆｓｓｙｎｃ信号の立ち上がりのタイミングで、メモリ１４０に格納された音声データを読出し、読み出した音声データをデコードしてミキシング部１３０に出力する。本実施形態では、再生処理（デコード）部１２０は、メモリ１４０から２チャンネル分の音声データを読出し、デコードする。

ミキシング部１３０は、再生処理（デコード）部１２０がデコードした音声データと、左右２チャンネル（Ｌｃｈ／Ｒｃｈ）のシリアルオーディオデータとのミキシングを行う。本実施形態では、ミキシング部１３０は、２チャンネルの音声データと２チャンネルのシリアルオーディオデータとをミキシングする。

図８は、本発明の実施の形態に係るｆｓｓｙｎｃ信号生成のタイムチャートである。本実施の形態に係る半導体装置２００は、ＬＲＣＬＫの立ち上がりを検出し、ＬＲＣＬＫの立ち上がりのタイミングで立ち上がるようなｆｓｓｙｎｃ信号を生成する。図８の例では、ＬＲＣＬＫの立ち上がりのタイミングで立ち上がるようなｆｓｓｙｎｃ信号が生成されているが、タイミング生成部２１０は、ＬＲＣＬＫの立ち下がりのタイミングで立ち上がるようなｆｓｓｙｎｃ信号を生成してもよい。

半導体装置２００は、ｆｓｓｙｎｃ信号の立ち上がりに応じてメモリ１４０から２チャンネル分の音声データを読出し、デコードする。そして半導体装置２００は、デコードした２チャンネルの音声データと、２チャンネルのシリアルオーディオデータとをミキシングする。

図９は、本発明の実施の形態に係る半導体装置２００のタイムチャートである。タイミング生成部２１０は、ＬＲＣＬＫの立ち上がりを検出すると、内部の基本クロックに同期してＬＲＣＬＫエッジ検出信号を“Ｈ”とする。タイミング生成部２１０は、ＬＲＣＬＫエッジ検出信号を“Ｈ”としたタイミングで、サンプリング周期用カウンタをクリアし、ｆｓｓｙｎｃ信号を“Ｈ”にする。内部回路は、すなわち再生処理（デコード）部１２０及びミキシング部１３０は、ｆｓｓｙｎｃ信号が“Ｈ”になったタイミングをトリガに、通常通りにメモリ１４０から音声データを読み出して、再生処理及びミキシング処理を行う。なお、図９に示したタイムチャートでは、カウンタ一致信号は“Ｌ”固定である。

以上のように、本実施の形態によれば、ＬＲＣＬＫの立ち上がりを検出し、ＬＲＣＬＫの立ち上がりのタイミングで立ち上がるようなｆｓｓｙｎｃ信号を生成することにより、シリアルオーディオデータの入力にＬＳＩを同期させることができる。すなわち、本実施の形態によれば、シリアルオーディオデータの入力にＬＳＩを同期させることができるため、シリアルオーディオデータの重複取り込み又は取りこぼしを防ぐことができる。

図８に示した半導体装置２００のタイムチャートでは、２チャンネルの音声データと２チャンネルのシリアルオーディオデータとをミキシングしていたが、本発明は係る例に限定されるものではない。ミキシングされるシリアルオーディオデータはＬｃｈ又はＲｃｈのいずれか一方であってもよい。ミキシングされるシリアルオーディオデータはＬｃｈ又はＲｃｈのいずれか一方である場合、半導体装置２００は、最大３チャンネルの音声データと１チャンネルのシリアルオーディオデータとをミキシングする。

また、図８に示した半導体装置２００のタイムチャートでは、メモリ１４０からチャネル１及びチャネル２の音声データが読み出されてシリアルオーディオデータとミキシングされていたが、メモリ１４０から読み出される音声データのチャネルは、チャンネル１及びチャンネル２に限定されるものではない。

また、図９に示した半導体装置２００のタイムチャートでは、ＬＲＣＬＫの立ち上がりをＬＲＣＬＫの毎周期で検出し、その立ち上がりのタイミングで立ち上がるようなｆｓｓｙｎｃ信号が生成されていたが、本発明は係る例に限定されるものではない。例えば、タイミング生成部２１０は、ＬＲＣＬＫの立ち上がり又は立ち下がりを検出したタイミングでのサンプリング周期用カウンタの値をカウンタ満了値として保持し、カウンタの値がカウンタ満了値と一致したタイミングで立ち上がるようなｆｓｓｙｎｃ信号を生成してもよい。すなわち、タイミング生成部２１０は、カウンタの値がカウンタ満了値と一致したタイミングでカウンタ一致信号を“Ｈ”にして、カウンタ一致信号が“Ｈ”になったタイミングで立ち上がるようなｆｓｓｙｎｃ信号を生成してもよい。サンプリング周期用カウンタの値がカウンタ満了値と一致したタイミングで立ち上がるようなｆｓｓｙｎｃ信号を生成することにより、半導体装置２００は、ＬＲＣＬＫの立ち上がりを毎周期検出する必要がなくなる。

なお、タイミング生成部２１０は、ＬＲＣＬＫの立ち上がり又は立ち下がりを検出したタイミングでのサンプリング周期用カウンタの値をカウンタ満了値として保持する場合、所定の周期でカウンタ満了値を更新してもよい。例えば、タイミング生成部２１０は、ＬＲＣＬＫ周期の１０周期に一度、ＬＲＣＬＫの立ち上がりを検出して、カウンタ満了値を更新してもよい。半導体装置２００は、周期的にＬＲＣＬＫの立ち上がりを検出してカウンタ満了値を更新することで、音声データとシリアルオーディオデータとを、より精度良くミキシングすることができる。

ＬＲＣＬＫのサンプリング周期が内部の基本クロックのサンプリング周期よりも短い場合は、半導体装置２００は、メモリの音声処理およびミキシング処理が完了するように、メモリ読出し、再生処理、ミキシング処理をＬＲＣＬＫのずれよりも充分早く完了する回路構成にすれば良い。具体的には、ＬＲＣＬＫのサンプリング周期が内部の基本クロックのサンプリング周期よりも速い場合は、次のｆｓｓｙｎｃ信号までのＷａｉｔ区間を充分空けることで処理が間に合うように、ＬＲＣＬＫの周期をＬＳＩとして規定すればよい。

ＬＲＣＬＫのサンプリング周期が内部の基本クロックのサンプリング周期よりも長い場合は、半導体装置２００は、内部の処理が完了したところでＷａｉｔ区間を開始し、次のシリアルオーディオの入力タイミングで次のサンプルの処理を開始するため、特に問題は生じない。

このように、本実施の形態に係る半導体装置２００は、ＬＲＣＬＫの立ち上がり毎に内部の処理を開始する構成とすることにより、ＬＲＣＬＫ周期とｆｓｓｙｎｃ信号の周期とにずれが生じた場合であっても、非同期のシリアルオーディオ入力との同期を取ることが可能となる。

なお、本発明は、音源やサウンドジェネレータなどサンプリング周期に同期して音声再生する機能を持つ装置とＩ２Ｓ等のシリアルオーディオデータの入力とのミキシングなどにおいても適用可能である。

１００、２００ 半導体装置
１１０、２１０ タイミング生成部
１２０ 再生処理（デコード）部
１３０ ミキシング部
１４０ メモリ

Claims (3)

1. 外部から入力されるシリアルオーディオデータの入力タイミングに合わせて同期信号を生成するタイミング生成部と、
   前記同期信号に基づいてメモリから音声データを読出して音声再生処理を行い複数のチャネル情報を出力する再生処理部と、
   前記複数のチャネル情報を前記シリアルオーディオデータとミキシングして音声信号を生成するミキシング部と、
   を有し、
   前記タイミング生成部は、前記シリアルオーディオデータのチャネル切り替えクロックの立ち上がり又は立下りを検出したタイミングにおいて、基本クロックで値が増加するカウンタの値をカウンタ満了値として保持し、前記カウンタの値が前記カウンタ満了値と一致したタイミングで前記同期信号を生成し、前記カウンタの値をリセットすることを特徴とする半導体装置。
2. 前記タイミング生成部は、前記シリアルオーディオデータのチャネル切り替えクロックの立ち上がり又は立下りを検出し、検出に応じて前記同期信号を生成する、請求項１に記載の半導体装置。
3. 前記タイミング生成部は、所定の周期で前記カウンタ満了値を更新する、請求項１に記載の半導体装置。