JP7326824B2 - 信号処理装置、及び信号処理方法 - Google Patents

信号処理装置、及び信号処理方法 Download PDF

Info

Publication number
JP7326824B2
JP7326824B2 JP2019072887A JP2019072887A JP7326824B2 JP 7326824 B2 JP7326824 B2 JP 7326824B2 JP 2019072887 A JP2019072887 A JP 2019072887A JP 2019072887 A JP2019072887 A JP 2019072887A JP 7326824 B2 JP7326824 B2 JP 7326824B2
Authority
JP
Japan
Prior art keywords
signal processing
processing unit
signal
channel
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019072887A
Other languages
English (en)
Other versions
JP2020170991A (ja
Inventor
良太郎 青木
明彦 須山
龍也 福山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2019072887A priority Critical patent/JP7326824B2/ja
Priority to CN202010216194.4A priority patent/CN111800730B/zh
Priority to US16/837,430 priority patent/US11182199B2/en
Priority to EP20167834.9A priority patent/EP3720150B1/en
Publication of JP2020170991A publication Critical patent/JP2020170991A/ja
Priority to US17/482,677 priority patent/US11609783B2/en
Application granted granted Critical
Publication of JP7326824B2 publication Critical patent/JP7326824B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
    • G06F9/3836—Instruction issuing, e.g. dynamic instruction scheduling or out of order instruction execution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Stereophonic System (AREA)

Description

この発明の一実施形態は、オーディオ信号の信号処理に関する。
従来、マルチチャンネルオーディオ信号を入力し、信号処理部によって各オーディオ信号に信号処理を行い、信号処理を行ったオーディオ信号を複数のスピーカから出力するオーディオ信号処理装置があった（例えば、特許文献１を参照）。
特開２０１７－２１２５７３号公報
チャンネル毎に信号処理を行う信号処理装置では、オーディオ信号を入力していないチャンネルが存在する場合がある。すなわち、入力されるオーディオ信号の数が、チャンネル数よりも少ない場合、使用しないチャンネルが存在する。この場合、使用しないチャンネルのリソースが無駄になってしまう。
そこで、この発明の一実施形態は、使用していないチャンネルのリソースを有効活用できることを目的とする。
本発明の一実施形態に係る信号処理装置は、第１チャンネルのオーディオ信号を入力する第１入力部と、第２チャンネルのオーディオ信号を入力する第２入力部と、前記第１入力部に入力された前記第１チャンネルのオーディオ信号に対し、信号処理を行う第１信号処理部と、前記第２入力部に入力された前記第２チャンネルのオーディオ信号に対し、信号処理を行う第２信号処理部と、前記第２信号処理部に前記第２チャンネルのオーディオ信号を入力しない場合、前記第２信号処理部に対し、前記第１信号処理部で信号処理が行われた前記第１チャンネルのオーディオ信号を処理させる制御部とを備えている。
本発明の一実施形態によれば、使用していないチャンネルのリソースを有効活用できる。
信号処理装置の主要部の構成を示すブロック構成図である。 入力ユニットと信号処理ユニットとの接続関係を示した図である。 入力ユニットと信号処理ユニットとの接続関係であって、図３とは別の例を示した図である。 信号処理装置の動作の一例を示すフローチャートである。 オブジェクト抽出処理の一例を示すフローチャートである。 信号処理の一例を示すフローチャートである。 比較例の信号処理部の一例を示す図である。 変形例１の入力ユニットと信号処理ユニットとの接続関係を示した図である。 変形例２、３の信号処理装置の主要部の構成を示すブロック構成図である。
図１は、信号処理装置１の主要部の構成を示すブロック構成図である。本実施形態の信号処理装置１について図を参照して説明する。
信号処理装置１は、例えばパーソナルコンピュータ、セットトップボックス、オーディオレシーバ、またはパワードスピーカ等である。信号処理装置１は、コンテンツデータをデコードしてオーディオ信号を抽出する。コンテンツデータは、例えば外部の再生装置、ネットワーク、または記憶媒体から取得する。信号処理装置１は、デジタルオーディオ信号またはアナログオーディオ信号を取得してもよい。
なお、本実施形態において、特に記載が無い限り、オーディオ信号は、デジタルオーディオ信号を意味する。
信号処理装置１は、図１に示すように、入力Ｉ／Ｆ（インタフェース）１１と、オブジェクト処理部１２と、入力ユニット１３と、信号処理ユニット１４と、定位処理部１５と、Ｄ／Ａコンバータ１６と、アンプ（ＡＭＰ）１７と、ＣＰＵ１８と、フラッシュメモリ（ＲＯＭ）２０と、ＲＡＭ１９と、バス３１とを備えている。この場合、
バス３１は、入力Ｉ／Ｆ１１、オブジェクト処理部１２、入力ユニット１３、信号処理ユニット１４、定位処理部１５、Ｄ／Ａコンバータ１６、アンプ（ＡＭＰ）１７と、ＣＰＵ１８、フラッシュメモリ２０及びＲＡＭ１９を互いに接続する。
ＣＰＵ１８は、信号処理装置１を統括的に制御する。ＣＰＵ１８は、記憶部であるフラッシュメモリ２０に記憶された所定のプログラムをＲＡＭ１９に読み出す。これにより、ＣＰＵ１８は、各種の動作を行なう。この例でいうＣＰＵ１８は、本発明の制御部に相当する。この例でいうＲＡＭ１９は、本発明の一時記憶部に相当する。
入力Ｉ／Ｆ１１は、ＨＤＭＩ（登録商標）などのインタフェースを有する。入力Ｉ／Ｆ１１は、コンテンツデータを入力し、オブジェクト処理部１２に出力する。また、入力Ｉ／Ｆ１１は、デジタルオーディオ信号またはアナログオーディオ信号を入力してもよい。
オブジェクト処理部１２は、例えば、ＤＳＰからなる。オブジェクト処理部１２は、入力したコンテンツデータがオブジェクトベース方式に対応するものである場合、入力Ｉ／Ｆ１１から受け取ったコンテンツデータをデコードし、オブジェクト（音源）毎のオーディオ信号及びオブジェクト毎の位置を示す位置データを抽出する。オブジェクトベース方式は、コンテンツに含まれる複数のオブジェクト（音源）を、それぞれ独立したオーディオ信号として格納している。
オブジェクト処理部１２は、オブジェクト毎の抽出したオーディオ信号を複数（図２では４つ）のチャンネルに割り当てる。オブジェクト処理部１２は、例えば、４つのオブジェクトのオーディオ信号を抽出した場合、抽出した４つのオーディオ信号を第１チャンネル１２１、第２チャンネル１２２、第３チャンネル１２３及び第４チャンネル１２４に割り当てる。
入力したコンテンツデータがチャンネルベース方式に対応するものである場合、オブジェクト処理部１２は、入力Ｉ／Ｆ１１から入力したオーディオ信号を解析して、オブジェクトの位置データを抽出する。オブジェクト処理部１２は、各チャンネルのオーディオ信号のレベル、およびチャンネル間の相互相関を算出する。オブジェクト処理部１２は、各チャンネルのオーディオ信号のレベル及びチャンネル間の相互相関に基づいて、音源の位置を推定する。例えば、ＬチャンネルとＳＬチャンネルの相関値が高く、ＬチャンネルのレベルおよびＳＬチャンネルのレベルが高い（所定の閾値を超える）場合、ＬチャンネルおよびＳＬチャンネルの間に音源が存在すると推定する。オブジェクト処理部１２は、ＬチャンネルのレベルおよびＳＬチャンネルのレベルに基づいて、音源の位置を推定する。オブジェクト処理部１２は、例えば、ＬチャンネルのレベルおよびＳＬチャンネルのレベルの比が１：１であれば、Ｌチャンネル及びＳＬチャンネルのちょうど中点に音源の位置を推定する。オブジェクト処理部１２は、チャンネルの数が多いほど、音源の位置を正確に推定することができる。オブジェクト処理部１２は、多数のチャンネル間の相関値を算出することで、音源の位置をほぼ一意に特定することができる。
また、オブジェクト処理部１２は、オブジェクトの位置データをＣＰＵ１８に入力する。
なお、以下の説明において、第１チャンネル１２１、第２チャンネル１２２、第３チャンネル１２３及び第４チャンネル１２４をまとめてチャンネル１２１～１２４と称する。
入力ユニット１３及び信号処理ユニット１４は、ＤＳＰ１０からなる。入力ユニット１３は、オブジェクト処理部１２によって各チャンネル１２１～１２４に割り当てられたオーディオ信号を入力する。信号処理ユニット１４は、入力ユニット１３が入力した各オーディオ信号にフレーム処理にてデジタル信号処理を行う。信号処理ユニット１４は、信号処理後の各オブジェクトのオーディオ信号を定位処理部１５に入力する。入力ユニット１３及び信号処理ユニット１４の詳細については後述する。
定位処理部１５は、例えば、ＤＳＰからなる。定位処理部１５は、ＣＰＵ１８の指示にしたがって、音像定位処理を行う。定位処理部１５は、ＣＰＵ１８から指定された各オブジェクトの位置データに対応する位置に音像が定位するように、オブジェクト処理部１２によって取得された各オブジェクトの位置データに基づいて、オブジェクト単位の音像定位を行う。定位処理部１５は、各オブジェクトの位置データに対応する位置に音像が定位するように、各オブジェクトのオーディオ信号を複数のスピーカに所定のゲインで分配する。定位処理部１５は、各スピーカに対するオーディオ信号を、Ｄ／Ａコンバータ１６に入力する。
なお、複数のスピーカは、例えば、室内（部屋）に配置されている。例えば、部屋の形状が直方体であれば、４つのスピーカのそれぞれが部屋の四隅の床に配置されている。また、例えば、別のスピーカは、部屋の正面に配置されている。また、例えば、別の２つのスピーカは、室内の天井に配置されている。
なお、部屋の形状は直方体に限定されない。複数のスピーカは、部屋の形状にあわせて配置されていればよい。
Ｄ／Ａコンバータ１６は、各オーディオ信号をアナログ信号に変換する。ＡＭＰ１７は、各アナログオーディオ信号を増幅して、各スピーカに入力する。
入力ユニット１３及び信号処理ユニット１４は、この例では、最大で４チャンネルのオブジェクト毎のオーディオ信号を入力し、それらのオーディオ信号に信号処理を行う。
入力ユニット１３及び信号処理ユニット１４の詳細について、図２を参照して説明する。図２は、入力ユニット１３と信号処理ユニット１４との接続関係を示した図である。
入力ユニット１３は、図２に示すように、第１入力部１３１と、第２入力部１３２と、第３入力部１３３と、第４入力部１３４とを備えている。なお、第１入力部１３１、第２入力部１３２、第３入力部１３３及び第４入力部１３４をまとめて入力部１３１～１３４と称する。
第１入力部１３１は、第１チャンネル１２１のオーディオ信号を入力する。また第２入力部１３２は、第２チャンネル１２２のオーディオ信号を入力する。さらに、第３入力部１３３は、第３チャンネル１２３のオーディオ信号を入力する。また第４入力部１３４は、第４チャンネル１２４のオーディオ信号を入力する。
信号処理ユニット１４は、第１信号処理部１４１と、第２信号処理部１４２と、第３信号処理部１４３と、第４信号処理部１４４とを備えている。なお、第１信号処理部１４１、第２信号処理部１４２、第３信号処理部１４３および第４信号処理部１４４をまとめて信号処理部１４１～１４４と称する。
第１信号処理部１４１は、第１入力部１３１に入力された第１チャンネル１２１のオーディオ信号に対し、信号処理を行う。第２信号処理部１４２は、第２入力部１３２に入力された第２チャンネル１２２のオーディオ信号に対し、信号処理を行う。第３信号処理部１４３は、第３入力部１３３に入力された第３チャンネル１２３のオーディオ信号に対し、信号処理を行う。第４信号処理部１４４は、第４入力部１３４に入力された第４チャンネル１２４のオーディオ信号に対し、信号処理を行う。
信号処理部１４１～１４４は、複数（４つの）チャンネル１２１～１２４に入力されたオーディオ信号の信号処理を１フレーム毎に処理する。ＣＰＵ１８は、この１フレームのリソースを、予めＲＡＭ１９に確保している。
この例では、信号処理部１４１～１４４のそれぞれは、オブジェクト毎のオーディオ信号に、３種のエフェクトである、Ｄｅｌａｙ、イコライザ（ＥＱ）及びＲｅｖｒｂの信号処理を行う。この例では、第１信号処理部１４１～１４４のそれぞれの信号処理のエフェクト種類及び数は、同じである。
信号処理部１４１～１４４のそれぞれは、４つのチャンネル１２１～１２４のそれぞれに入力されたオーディオ信号に信号処理を行って、定位処理部１５にこれらのオーディオ信号を出力する。
ここで、入力Ｉ／Ｆ１１が、２つのオブジェクトのオーディオ信号を含むコンテンツデータを入力した場合について、図３を参照して説明する。図３は、入力ユニット１３と信号処理ユニット１４との接続関係である。図３の例は、オブジェクト処理部１２が抽出したオーディオ信号の数が、チャンネル１２１～１２４の数よりも少ない場合を示す。
オブジェクト処理部１２は、コンテンツデータからオブジェクト毎のオーディオ信号を抽出する。オブジェクト処理部１２が抽出したオーディオ信号を、第１チャンネル１２１及び第３チャンネル１２３に割り当てる。オブジェクト処理部１２は、第２チャンネル１２２及び第４チャンネル１２４にオーディオ信号を入力しない。すなわち、この例では、第２チャンネル１２２及び第４チャンネル１２４を使用しない。オブジェクト処理部１２は、抽出したオーディオ信号のオブジェクトの位置データをさらに抽出する。
この場合、信号処理装置１は、使用していない第２チャンネル１２２に対応する第２信号処理部１４２に対し、第１チャンネル１２１に割り当てられたオーディオ信号を処理させる。また、信号処理装置１は、使用していない第４チャンネル１２４に対応する第４信号処理部１４４に対し、第３チャンネル１２３に割り当てられたオーディオ信号を処理させる。
より詳細には、ＣＰＵ１８は、図３に示すように、第１信号処理部１４１の出力側の出力端４１と第２信号処理部１４２の入力側の入力端４２とを接続する。さらに、ＣＰＵ１８は、第３信号処理部１４３の出力側の出力端４３と第４信号処理部１４４の入力側の入力端４４とを接続する。
これにより、第１チャンネル１２１及び第３チャンネル１２３のオーディオ信号は、２つのＤｅｌａｙと２つのＥＱと２つのＲｅｖｅｒｂの信号処理の効果を享受する。信号処理部１４１～１４４は１フレーム内の処理であるから、第１チャンネル１２１及び第３チャンネル１２３のオーディオ信号が、２つのＤｅｌａｙと２つのＥＱと２つのＲｅｖｅｒｂの信号処理を処理してもリソースを増やす必要はない。
例えば、第１チャンネル１２１のオーディオ信号は、第２信号処理部１４２のＲｅｖｅｒｂを使用することで、第２信号処理部１４２を使用しない場合と比較して、２倍の長さ（タップ長）を１フレーム内で実現することができる。したがって、信号処理装置１は、第１チャンネル１２１及び第３チャンネル１２３のオーディオ信号が２つのＤｅｌａｙと２つのＥＱと２つのＲｅｖｅｒｂの信号処理を組み合わせて使用することで、既に確保されたリソースで多様な表現を実施することができる。
信号処理ユニット１４は、信号処理を行った第１チャンネル１２１のオーディオ信号を、第２信号処理部１４２の出力側から定位処理部１５に出力する。また、信号処理ユニット１４は、信号処理を行った第３チャンネル１２３のオーディオ信号を、第４信号処理部１４４の出力側から定位処理部１５に出力する。
信号処理装置１の動作の一例について、図４、図５及び図６を参照して説明する。図４は、信号処理装置１の動作の一例を示すフローチャートである。図５は、オブジェクト処理部１２によるオブジェクト抽出処理の一例を示すフローチャートである。図６は、信号処理ユニット１４による信号処理の一例を示すフローチャートである。以下の説明において、コンテンツデータが、４つのオブジェクトのオーディオ信号を含む場合と、２つのオブジェクトのオーディオ信号を含む場合とで説明する。
入力Ｉ／Ｆ１１がコンテンツデータを入力すると（Ｓ１１：Ｙｅｓ）、オブジェクト処理部１２は、オブジェクト抽出処理を行う（Ｓ１２）。オブジェクト処理部１２がオブジェクト抽出処理を終了すれば、信号処理ユニット１４が信号処理を行う（Ｓ１３）。信号処理ユニット１４が信号処理を終了すれば、定位処理部１５による音像定位を行う（Ｓ１４）。
オブジェクト抽出処理について図５を参照して説明する。オブジェクト処理部１２は、コンテンツデータからオブジェクト毎のオーディオ信号を抽出する（Ｓ２１）。オブジェクト毎のオーディオ信号の数（４つ）がチャンネル数（４つ）と同じ場合（Ｓ２２：Ｙｅｓ）、オブジェクト処理部１２は、抽出した４つのオーディオ信号を、４つのチャンネル１２１～１２４に割り当てる（Ｓ２３）。オブジェクト処理部１２は、４つのチャンネル１２１～１２４のそれぞれに割り当てたオーディオ信号を、対応する入力部１３１～１３４に入力する（Ｓ２４）。オブジェクト処理部１２は、オブジェクト毎の位置データを抽出する（Ｓ２５）。
一方、オーディオ信号の数（２つ）がチャンネル数（４つ）と異なる（少ない）場合（Ｓ２２：Ｎｏ）、オブジェクト処理部１２は、抽出した２つのオーディオ信号を、第１チャンネル１２１及び第３チャンネル１２３のそれぞれに割り当てる（Ｓ２６）。オブジェクト処理部１２は、処理をＳ２４に移行する。この場合、第２入力部１３２及び第４入力部１３４は、オーディオ信号を入力しない。
なお、位置データ抽出（Ｓ２５）は、オブジェクト処理部１２がオーディオ信号を抽出した後であれば、どのタイミングでもよい。また、オブジェクト処理部１２は、自動で、抽出した２つのオーディオ信号を、第１チャンネル１２１及び第３チャンネル１２３のそれぞれに割り当てる構成でもよい。また、オブジェクト処理部１２は外部からの設定、例えばユーザによる設定、によって、抽出した２つのオーディオ信号を、第１チャンネル１２１及び第３チャンネル１２３のそれぞれに割り当ててもよい。
信号処理について図６を参照して説明する。第２入力部１３２及び第４入力部１３４は、オーディオ信号を入力した場合（Ｓ３１：Ｙｅｓ、Ｓ３２：Ｙｅｓ）、複数の信号処理部１４１～１４４は、複数の入力部１３１～１３４のそれぞれが入力したオーディオ信号に信号処理を行う（Ｓ３３）。信号処理部１４１～１４４のそれぞれは、信号処理を行ったオーディオ信号を定位処理部１５に出力する（Ｓ３４）。
一方、第２入力部１３２がオーディオ信号を入力していなければ（Ｓ３１：Ｎｏ）、ＣＰＵ１８は、第１信号処理部１４１と第２信号処理部１４２とを接続する（Ｓ３５）。また、第４入力部１３４がオーディオ信号を入力していなければ（Ｓ３２：Ｎｏ）、ＣＰＵ１８は、第３信号処理部１４３と第４信号処理部１４４とを接続する（Ｓ３６）。信号処理ユニット１４は、処理をＳ３３に移行する。この場合、信号処理ユニット１４は、第２信号処理部１４２及び第４信号処理部１４４から、信号処理を行ったオーディオ信号を定位処理部１５に出力する（Ｓ３４）。
なお、ＣＰＵ１８は、第１信号処理部１４１と第２信号処理部１４２とを自動的に接続する構成でもよい。また、ＣＰＵ１８は、外部からの設定、例えばユーザによる設定、によって第１信号処理部１４１と第２信号処理部１４２とを接続してもよい。
ところで、例えば、比較例の従来の信号処理装置は、図７で示されるように、所望のオーディオ信号の信号処理（例えばエフェクトの数）を増加させるために、新たに次フレームを追加していた。比較例の信号処理装置は、次フレームを追加することで、新たなリソースをＲＡＭに確保する必要がある。このように、比較例の従来の信号処理装置では、ＣＰＵが新たなリソースをＲＡＭに確保させることで、使用するＲＡＭの容量が増え、かつ信号処理に係る時間が長くなるため、出力遅延が発生する。
一方、本実施形態の信号処理装置１は、第１チャンネル１２１のオーディオ信号の信号処理（例えばエフェクトの数）を増加させたい場合、第２チャンネル１２２を使用していなければ、第１チャンネル１２１のオーディオ信号に第１信号処理部１４１及び第２信号処理部１４２の信号処理を、第１信号処理部１４１の信号処理、第２信号処理部１４２の信号処理の順で行う。また、信号処理装置１は、第３チャンネル１２３のオーディオ信号に信号処理（例えばエフェクトの数）を増加させたい場合、第４チャンネル１２４が使用されていなければ、第３チャンネル１２３のオーディオ信号に第３信号処理部１４３及び第４信号処理部１４４の信号処理を、第３信号処理部１４３の信号処理、第４信号処理部１４４の信号処理の順で行う。
本実施形態の信号処理装置１は、１フレームにおける信号処理は、第１信号処理部１４１、第２信号処理部１４２、第３信号処理部１４３、第４信号処理部１４４の順で行われる（図２参照）。すなわち、例えば、第２信号処理部１４２に出力側と第１信号処理部１４１の入力側とが接続されて、第２信号処理部１４２、第１信号処理部１４１の順で処理されれば、従来の信号処理装置（図７参照）と同じものになる。
これにより、本実施形態の信号処理装置１は、各チャンネル１２１～１２４のオーディオ信号に対して、１フレームで信号処理が行えるように予めリソースを確保しているので、使用していないチャンネルを有効活用することができる。
また、本実施形態の信号処理装置１は、１フレームで、当該オーディオ信号を処理する。これにより本実施形態の信号処理装置１は、比較例の信号処理装置と比較しても信号処理の増加による遅延を生じさせない。また、本実施形態の信号処理装置１、信号処理の増加による遅延を生じさせないことで、リアルタイム性が低下しない。
なお、本実施形態の信号処理装置１の定位処理部１５は、本発明において必須の構成ではない。
（変形例）
変形例１の信号処理装置１について図８を参照して説明する。変形例の信号処理装置１は、１つのオブジェクトのオーディオ信号を含むコンテンツデータを入力する例である。なお、上述の実施形態の信号処理装置１と同じ構成に関しては説明を省略する。
図８は、変形例１の入力ユニット１３と信号処理ユニット１４Ａとの接続関係を示した図である。
変形例１の入力ユニット１３の第１入力部１３１は、図８に示すように、第１チャンネル１２１のオーディオ信号を入力する。第２入力部１３２、第３入力部１３３及び第４入力部１３４は、オーディオ信号を入力しない。すなわち、この例では、第２チャンネル１２２、第３チャンネル１２３及び第４チャンネル１２４は使用しない。
ＣＰＵ１８は、第２信号処理部１４２、第３信号処理部１４３及び第４信号処理部１４４に対し、第１チャンネル１２１のオーディオ信号を処理させる。
より詳細には、ＣＰＵ１８は、第１信号処理部１４１の出力側の出力端４１と第２信号処理部１４２の入力側の入力端４２とを接続する。また、ＣＰＵ１８は、第２信号処理部１４２の出力側の出力端４５と第３信号処理部１４３の入力側の入力端４６とを接続する。さらに、ＣＰＵ１８は、第３信号処理部１４３の出力側の出力端４３と第４信号処理部１４４の入力側の入力端４４とを接続する。
第１信号処理部１４１は、第１入力部１３１から第１チャンネル１２１のオーディオ信号を入力する。信号処理部１４１～１４４は、第１チャンネル１２１のオーディオ信号の信号処理を行う。信号処理ユニット１４Ａは、第４信号処理部１４４から信号処理を行ったオーディオ信号を定位処理部１５に出力する。
このように、変形例１の信号処理装置１の信号処理ユニット１４Ａは、第１チャンネル１２１のオーディオ信号に、信号処理部１４１～１４４の信号処理を行うことができる。すなわち、オーディオ信号の数がチャンネル数よりも少なければ、使用していないチャンネルに対応する信号処理部を使用して、処理を増加させることができる。この場合も、変形例１の信号処理装置１は、１フレームで信号処理を行っているので、リソースを有効活用でき、かつ遅延を生じさせない。
したがって、変形例１の信号処理装置１は、第１チャンネル１２１のオーディオ信号に多数のエフェクトを使用することで、既に確保されたリソースでより多様な表現を実施することができる。
変形例２の信号処理装置１Ａについて図９を参照して説明する。図９は、変形例２の信号処理装置１Ａの主要部の構成を示すブロック構成図である。変形例２の信号処理装置１Ａは、図９に示すように、ユーザインタフェース（Ｉ／Ｆ）２１と、表示部２２とをさらに備えていることが、上述の実施形態及び変形例１の信号処理装置１と異なる。なお、上述の実施形態の信号処理装置１と同じ構成に関しては説明を省略する。
表示部２２は、表示器（図示しない）に使用していないチャンネルを表示させる表示器、例えば、パーソナルコンピュータのモニタである。
また、ユーザＩ／Ｆ２１は、複数のチャンネル１２１～１２４毎に信号入力指示ボタン（図示しない）等を備えている。例えば、第２チャンネル１２２が使用されていない場合、ユーザが第２チャンネル１２２に対応する信号入力指示ボタンを押下すると、ＣＰＵ１８は、使用していない第２チャンネル１２２に対応する第２信号処理部１４２に対し、第１チャンネル１２１のオーディオ信号を処理させる。
これにより、変形例２の信号処理装置１Ａは、表示部２２によって、ユーザが使用していないチャンネルを把握することができる。また、変形例２の信号処理装置１Ａは、ユーザの指示に応じて、使用していないチャンネルのリソースを有効活用することができる。さらに、変形例２の信号処理装置１Ａは、１フレームでオーディオ信号を処理しているので、ユーザＩ／Ｆ２１がユーザからの指示を受け付けた場合でも、リアルタイム性の低下を軽減できる。
なお、ユーザＩ／Ｆ２１は、無線又は有線で、ユーザが操作可能な外部機器と接続されていてもよい。
また、表示部２２は、例えば、タッチパネルを積層した表示器であり、ユーザの操作を受け付けるためのＧＵＩ（グラフィカルユーザインタフェース）画面を表示してもよい。この場合、表示部２２がＧＵＩ画面に信号入力指示ボタンを表示し、ユーザＩ／Ｆ２１は、ユーザの操作に応じて、指示を受け付ける。
また、変形例２の信号処理装置１Ａは、変形例１の信号処理装置１と組み合わせて使用してもよい。
変形例３の信号処理装置１Ａについて、図９を参照して説明する。なお、上述の実施形態の信号処理装置１と同じ構成に関しては説明を省略する。
変形例３の信号処理装置１Ａは、ユーザによってオブジェクトの音像位置を変更する。この場合、ユーザＩ／Ｆ２１は、ユーザがＧＵＩ（図示しない）画面を使用することで、変更指示を受け付ける。ＧＵＩには、例えば、部屋及び各スピーカの位置を示す模倣図が表示されている。すなわち、ユーザが音像位置を変更させたい場所を、ＧＵＩをタッチ又はスワイプすることで、ユーザＩ／Ｆ２１は、音像位置の変更指示及び変更位置を受け付ける。ＣＰＵ１８は、変更位置に応じて音像が定位するように、各オブジェクトのオーディオ信号を各スピーカに所定のゲインで分配する。
なお、変形例３の信号処理装置１Ａは、変形例１及び２の信号処理装置１、１Ａと組み合わせて使用してもよい。
これにより、変形例３の信号処理装置１Ａは、ユーザによって、音像位置を変更することができる。
なお、本実施形態及び変形例で実行されるプログラムは、自装置のフラッシュメモリ２０に記憶している必要はない。例えば、信号処理装置１、１Ａは、サーバ等の他装置から適宜プログラムをダウンロードして、ＲＡＭ１９に読み出してもよい。
また、本実施形態及び変形例の信号処理装置１、１Ａでは、４つのチャンネルを備える例で説明したが、これに限定されない。本発明の信号処理装置１、１Ａは、４チャンネルよりも少ないチャンネルを備えて、これらのチャンネルのオーディオ信号の信号処理を１フレームで処理するように構成されてもよい。また、本発明の信号処理装置１は、４チャンネルよりも多いチャンネルを備えて、これらのチャンネルのオーディオ信号の信号処理を１フレームで処理するように構成されていてもよい。
また、第１信号処理部１４１の信号処理の種類は、第２信号処理部１４２と異なっていてもよい。この場合、例えば、第１信号処理部１４１は、Ｄｅｌａｙ、ＥＱ、及びＲｅｖｅｒｂの他にコーラスなどのエフェクトを追加してもよい。
このようにすれば、本実施形態及び変形例の信号処理装置１、１Ａは、既に確保されたリソースで多種多様な表現を実施することができる。
本実施形態の説明は、すべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述の実施形態ではなく、特許請求の範囲によって示される。さらに、本発明の範囲には、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
１、１Ａ…信号処理装置
１２…オブジェクト抽出部
１５…定位処理部
１９…ＲＡＭ（一時記憶部）
２２…表示部
１９…ＣＰＵ（制御部）
２１…ユーザインタフェース
２２…表示部（表示器）
１２１…第１チャンネル
１２２…第２チャンネル
１３１…第１入力部
１３２…第２入力部
１４１…第１信号処理部
１４２…第２信号処理部

Claims (18)

  1. 第１チャンネルのオーディオ信号を入力する第１入力部と、
    第２チャンネルのオーディオ信号を入力する第２入力部と、
    前記第１入力部に入力された前記第１チャンネルのオーディオ信号に対し、信号処理を行う第１信号処理部と、
    前記第２入力部に入力された前記第２チャンネルのオーディオ信号に対し、信号処理を行う第２信号処理部と、
    前記第２信号処理部に前記第２チャンネルのオーディオ信号を入力しない場合、前記第２信号処理部に対し、前記第１信号処理部で信号処理が行われた前記第１チャンネルのオーディオ信号を処理させる制御部と、を備え、
    前記第１信号処理部および前記第２信号処理部は、それぞれ同じ所定フレーム以内に信号処理を行う様に構成され、
    前記第２信号処理部は、前記第１信号処理部で信号処理が行われた後の前記第１チャンネルのオーディオ信号を前記所定フレーム内で処理する、
    信号処理装置。
  2. コンテンツデータからオブジェクト毎にオーディオ信号を抽出し、抽出された前記オブジェクト毎のオーディオ信号を前記第１チャンネル又は前記第２チャンネルに割り当てるオブジェクト処理部をさらに備えた、
    請求項１に記載の信号処理装置。
  3. 前記オブジェクト処理部によって取得された前記オブジェクトの位置を示す位置データに基づいて、前記オブジェクトの音像定位を行う、定位処理部をさらに備えた、
    請求項２に記載の信号処理装置。
  4. 前記制御部は、外部から受け取った音像位置の変更指示に応じて、前記定位処理部の音像位置を制御する、
    請求項３に記載の信号処理装置。
  5. 前記第１信号処理部の信号処理の種類は、前記第２信号処理部の信号処理の種類と同じである。
    請求項１乃至４の何れかに記載の信号処理装置。
  6. 前記第１信号処理部の信号処理の種類は、前記第２信号処理部の信号処理の種類と異なる、
    請求項１乃至４の何れかに記載の信号処理装置。
  7. 一時的に情報を記憶する一時記憶部をさらに備え、
    前記制御部は、前記第１信号処理部のリソース及び前記第２信号処理部のリソースを前記一時記憶部に予め確保する、
    請求項１乃至６の何れかに記載の信号処理装置。
  8. 前記制御部は、前記第１信号処理部及び前記第２信号処理部に対し、複数種類の信号処理を行わせる、
    請求項１乃至７の何れかに記載の信号処理装置。
  9. ユーザによる信号入力指示を受け付けるユーザインタフェースをさらに備え、
    前記制御部は、前記ユーザインタフェースが信号入力指示を受け付ければ、前記第２信号処理部に前記第２チャンネルのオーディオ信号を入力せず、前記第２信号処理部に対して、前記第１チャンネルのオーディオ信号を処理させる、
    請求項１乃至８の何れかに記載の信号処理装置。
  10. 第１チャンネルのオーディオ信号を入力し、
    第２チャンネルのオーディオ信号を入力し、
    入力された前記第１チャンネルのオーディオ信号に対し、第１信号処理部によって信号処理を行い、
    入力された前記第２チャンネルのオーディオ信号に対し、第２信号処理部によって信号処理を行い、
    前記第２信号処理部に前記第２チャンネルのオーディオ信号を入力しない場合、前記第２信号処理部に対し、前記第１チャンネルのオーディオ信号を処理させ、
    前記第１信号処理部および前記第２信号処理部は、それぞれ同じ所定フレーム以内に信号処理を行う様に構成され、
    前記第２信号処理部は、前記第１信号処理部で信号処理が行われた後の前記第１チャンネルのオーディオ信号を前記所定フレーム内で処理する、
    信号処理方法。
  11. オブジェクト毎にオーディオ信号を抽出し、
    抽出された前記オブジェクト毎のオーディオ信号を前記第１チャンネル又は前記第２チャンネルに割り当てる、
    請求項１０に記載の信号処理方法。
  12. 取得された前記オブジェクトの位置を示す位置データに基づいて、前記オブジェクトの音像定位を行う、
    請求項１１に記載の信号処理方法。
  13. 外部から前記音像定位の位置の指示を受け取った場合、前記オブジェクトの前記音像定位の位置を制御する、
    請求項１２に記載の信号処理方法。
  14. 前記第１信号処理部の信号処理の種類は、前記第２信号処理部の信号処理の種類と同じである。
    請求項１０乃至１３の何れかに記載の信号処理方法。
  15. 前記第１信号処理部の信号処理の種類は、前記第２信号処理部の信号処理の種類と異なる、
    請求項１０乃至１３の何れかに記載の信号処理方法。
  16. 前記第１信号処理部のリソース及び前記第２信号処理部のリソースを一時的に情報を記憶する一時記憶部に予め確保する、
    請求項１０乃至１５の何れかに記載の信号処理方法。
  17. 前記第１信号処理部及び前記第２信号処理部は、複数種類の信号処理を行う、
    請求項１０乃至１６のいずれかに記載の信号処理方法。
  18. ユーザによる信号入力指示を受け付け、
    前記信号入力指示を受け付ければ、前記第２信号処理部に前記第２チャンネルのオーディオ信号を入力せず、前記第２信号処理部に対して、前記第１チャンネルのオーディオ信号を処理する、
    請求項１０乃至１７のいずれかに記載の信号処理方法。
JP2019072887A 2019-04-05 2019-04-05 信号処理装置、及び信号処理方法 Active JP7326824B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019072887A JP7326824B2 (ja) 2019-04-05 2019-04-05 信号処理装置、及び信号処理方法
CN202010216194.4A CN111800730B (zh) 2019-04-05 2020-03-25 信号处理装置及信号处理方法
US16/837,430 US11182199B2 (en) 2019-04-05 2020-04-01 Signal processor and signal processing method
EP20167834.9A EP3720150B1 (en) 2019-04-05 2020-04-02 Signal processor and signal processing method
US17/482,677 US11609783B2 (en) 2019-04-05 2021-09-23 Signal processor and signal processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019072887A JP7326824B2 (ja) 2019-04-05 2019-04-05 信号処理装置、及び信号処理方法

Publications (2)

Publication Number Publication Date
JP2020170991A JP2020170991A (ja) 2020-10-15
JP7326824B2 true JP7326824B2 (ja) 2023-08-16

Family

ID=70165894

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019072887A Active JP7326824B2 (ja) 2019-04-05 2019-04-05 信号処理装置、及び信号処理方法

Country Status (4)

Country Link
US (2) US11182199B2 (ja)
EP (1) EP3720150B1 (ja)
JP (1) JP7326824B2 (ja)
CN (1) CN111800730B (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001175623A (ja) 1999-12-22 2001-06-29 Matsushita Electric Ind Co Ltd 信号処理系統設定装置及び方法
JP2008242868A (ja) 2007-03-28 2008-10-09 Yamaha Corp 信号処理用集積回路
JP2016134767A (ja) 2015-01-20 2016-07-25 ヤマハ株式会社 オーディオ信号処理装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070263884A1 (en) * 2006-05-09 2007-11-15 Bellsouth Intellectual Property Corporation Audio Mixer Apparatus
RU2551797C2 (ru) 2006-09-29 2015-05-27 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способы и устройства кодирования и декодирования объектно-ориентированных аудиосигналов
EP2323289A3 (en) * 2007-03-28 2011-12-07 Yamaha Corporation Mixing signal processing apparatus and mixing signal processing integrated circuit
US9378752B2 (en) * 2012-09-05 2016-06-28 Honda Motor Co., Ltd. Sound processing device, sound processing method, and sound processing program
EP3048818B1 (en) * 2015-01-20 2018-10-10 Yamaha Corporation Audio signal processing apparatus
JP6540600B2 (ja) 2016-05-25 2019-07-10 ヤマハ株式会社 効果音生成装置、効果音生成方法およびプログラム
CN111741412B (zh) * 2020-06-29 2022-07-26 京东方科技集团股份有限公司 显示装置、发声控制方法及发声控制装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001175623A (ja) 1999-12-22 2001-06-29 Matsushita Electric Ind Co Ltd 信号処理系統設定装置及び方法
JP2008242868A (ja) 2007-03-28 2008-10-09 Yamaha Corp 信号処理用集積回路
JP2016134767A (ja) 2015-01-20 2016-07-25 ヤマハ株式会社 オーディオ信号処理装置

Also Published As

Publication number Publication date
CN111800730B (zh) 2022-03-22
EP3720150A1 (en) 2020-10-07
JP2020170991A (ja) 2020-10-15
CN111800730A (zh) 2020-10-20
US11182199B2 (en) 2021-11-23
US20200319916A1 (en) 2020-10-08
US20220012090A1 (en) 2022-01-13
US11609783B2 (en) 2023-03-21
EP3720150B1 (en) 2022-10-26

Similar Documents

Publication Publication Date Title
EP3175634B1 (en) Audio device
KR102081336B1 (ko) 오디오 시스템, 오디오 장치 및 오디오 장치의 채널 맵핑 방법
AU2014295217B2 (en) Audio processor for orientation-dependent processing
EP2937993A1 (en) Acoustic processing device
EP2672729A1 (en) Audio output apparatus and method for outputting audio
US10547927B1 (en) Systems and methods for processing an audio signal for replay on stereo and multi-channel audio devices
US20230292049A1 (en) Method for Reproducing Content
JP6064927B2 (ja) オーディオ機器、音声処理方法、音声処理プログラム、音声出力方法および音声出力プログラム
US10237653B2 (en) Speaker apparatus, electronic apparatus connected therewith, and controlling method thereof
JP7326824B2 (ja) 信号処理装置、及び信号処理方法
EP3599775B1 (en) Systems and methods for processing an audio signal for replay on stereo and multi-channel audio devices
JP6541933B2 (ja) 信号処理装置及び信号処理方法
JP5267808B2 (ja) 音響出力システム及び音響出力方法
JP6597248B2 (ja) システムおよび制御方法
US10209952B2 (en) Content reproduction device, content reproduction system, and control method for a content reproduction device
JP6311784B2 (ja) テレビジョン受像機、音声処理方法、音声処理プログラム、オーディオ機器、音声出力方法および音声出力プログラム
JP7412090B2 (ja) オーディオシステム
JP7412091B2 (ja) オーディオ装置およびオーディオシステム
WO2022176640A1 (ja) 音信号配信方法、音信号配信装置、および音信号配信システム
EP3537728B1 (en) Connection state determination system for speakers, acoustic device, and connection state determination method for speakers
KR101858572B1 (ko) 터치스크린이 가능한 dsp 컨트롤러 모듈을 포함하는 음향 장치 및 그 제어 방법
JP5610025B2 (ja) 音響処理装置
KR20150079514A (ko) 오디오 장치 및 이의 오디오 신호 전송 방법, 그리고 오디오 시스템
JP2019205084A (ja) 音声処理装置およびその制御方法
JP2014064136A (ja) 音声調整卓、音声調整システム及び音声調整方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230309

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230717

R151 Written notification of patent or utility model registration

Ref document number: 7326824

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151