JP7140119B2 - 信号処理装置、信号処理方法、および、プログラム - Google Patents

信号処理装置、信号処理方法、および、プログラム Download PDF

Info

Publication number
JP7140119B2
JP7140119B2 JP2019527624A JP2019527624A JP7140119B2 JP 7140119 B2 JP7140119 B2 JP 7140119B2 JP 2019527624 A JP2019527624 A JP 2019527624A JP 2019527624 A JP2019527624 A JP 2019527624A JP 7140119 B2 JP7140119 B2 JP 7140119B2
Authority
JP
Japan
Prior art keywords
signal
dsd
data
pcm
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019527624A
Other languages
English (en)
Other versions
JPWO2019009082A1 (ja
Inventor
隆郎 福井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2019009082A1 publication Critical patent/JPWO2019009082A1/ja
Application granted granted Critical
Publication of JP7140119B2 publication Critical patent/JP7140119B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3053Block-companding PCM systems
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3002Conversion to or from differential modulation
    • H03M7/3004Digital delta-sigma modulation
    • H03M7/3006Compensating for, or preventing of, undesired influence of physical parameters
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/12Formatting, e.g. arrangement of data block or words on the record carriers
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00Acoustics not otherwise provided for
    • G10K15/02Synthesis of acoustic waves
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16Vocoder architecture
    • G10L19/167Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10009Improvement or modification of read or write signals
    • G11B20/10481Improvement or modification of read or write signals optimisation methods
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M3/00Conversion of analogue values to or from differential modulation
    • H03M3/02Delta modulation, i.e. one-bit differential modulation
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3002Conversion to or from differential modulation
    • H03M7/3004Digital delta-sigma modulation
    • H03M7/3015Structural details of digital delta-sigma modulators
    • H03M7/302Structural details of digital delta-sigma modulators characterised by the number of quantisers and their type and resolution
    • H03M7/3024Structural details of digital delta-sigma modulators characterised by the number of quantisers and their type and resolution having one quantiser only
    • H03M7/3028Structural details of digital delta-sigma modulators characterised by the number of quantisers and their type and resolution having one quantiser only the quantiser being a single bit one
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3059Digital compression and data reduction techniques where the original information is represented by a subset or similar information, e.g. lossy compression
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00007Time or data compression or expansion
    • G11B2020/00014Time or data compression or expansion the compressed signal being an audio signal
    • G11B2020/00065Sigma-delta audio encoding
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3002Conversion to or from differential modulation
    • H03M7/3004Digital delta-sigma modulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Description

本技術は、信号処理装置、信号処理方法、および、プログラムに関し、特に、1つのDSD信号で、PCM信号の出力も対応できるようにした信号処理装置、信号処理方法、および、プログラムに関する。
近年、音楽用CD(CD-DA)を超える音質のオーディオデータであるハイレゾリューション音源による音楽配信が行われるようになってきている。
1bit信号でデルタシグマ変調されたデジタル信号(以下、DSD(Direct Stream Digital)信号ともいう。)を用いた音楽配信では、スーパーオーディオCD(SACD)で用いられているCDのサンプリング周波数44.1kHzの64倍のDSD信号(64DSD信号)だけでなく、128倍のDSD信号(128DSD信号)や、256倍のDSD信号(256DSD信号)の配信も実験的に行われている。
DSD信号は、サンプリング周波数がPCM(Pulse Code Modulation)信号よりも高いため、ストリーミング配信を行う場合の通信容量はPCM信号と比較して大きくなる。例えば、ステレオ(2チャンネル)の信号で1フレームを3秒としたときの64DSD信号のデータ容量は、2.8Mbit/フレーム程度になる。
そこで、本出願人は、特許文献1において、DSD信号を可逆圧縮して送信する圧縮方式を先に提案している。
一方で、通信路の状況に応じた対処方法としては、例えば、MPEG-DASH(Moving Picture Experts Group - Dynamic Adaptive Streaming over HTTP)のように、同一コンテンツを異なるビットレートで表現した複数の符号化データをコンテンツサーバに格納しておき、クライアント装置が、ネットワークの通信容量に応じて複数の符号化データのなかから、所望の符号化データをストリーミング受信する技術がある。
本出願人は、特許文献2において、DSD信号を用いた音楽配信において、MPEG-DASHのようなストリーミング方式を用いて、同一コンテンツで異なるビットレートの信号、例えば、64DSD信号、128DSD信号、256DSD信号のなかから、通信回線容量に合わせて、より良い品質のDSD信号を動的に選択視聴する方法を提案している。なお、DSD信号は、特許文献1の圧縮方式などを用いて圧縮しても、PCM信号と比べるとビットレートが大きくなるため、PCM信号でも配信できるように用意しておくことが好ましい。
国際公開第2016/140071号 国際公開第2016/199596号
しかしながら、配信側のリソースを有効活用するためには、配信側で用意するデータの種類は1種類とするのが望ましい。
本技術は、このような状況に鑑みてなされたものであり、1つのDSD信号で、PCM信号の出力も対応できるようにするものである。
本技術の第1側面の信号処理装置は、DSD信号から所定のサンプリング周波数のPCM信号を生成する場合に、前記所定のサンプリング周波数によって決定される所定の間隔のサンプルを中心に、所定数のサンプルを、前記DSD信号から抽出する抽出部と、抽出された前記所定数のサンプルをフィルタリングすることにより、前記所定のサンプリング周波数のPCM信号を生成するフィルタリング部と、前記DSD信号に対する前記PCM信号のディレイ値と、前記DSD信号または前記PCM信号の少なくとも一方を他の装置に送信する送信部とを備える。
本技術の第2側面の信号処理装置は、DSD信号から所定のサンプリング周波数のPCM信号を生成する場合に、前記所定のサンプリング周波数によって決定される所定の間隔のサンプルを中心に、所定数のサンプルを、前記DSD信号から抽出する抽出部と、抽出された前記所定数のサンプルをフィルタリングすることにより、前記所定のサンプリング周波数のPCM信号を生成するフィルタリング部と、同一コンテンツの前記DSD信号と前記PCM信号を切替えて他の装置に送信する送信部とを備える。
本技術の第3側面の信号処理装置は、DSD信号から所定のサンプリング周波数のPCM信号を生成する場合に、前記所定のサンプリング周波数によって決定される所定の間隔のサンプルを中心に、所定数のサンプルを、前記DSD信号から抽出する抽出部と、抽出された前記所定数のサンプルをフィルタリングすることにより、前記所定のサンプリング周波数のPCM信号を生成するフィルタリング部と、前記DSD信号と前記PCM信号の両方を他の装置に送信する送信部とを備える。
本技術の第1側面の信号処理方法は、DSD信号から所定のサンプリング周波数のPCM信号を生成する信号処理装置が、前記所定のサンプリング周波数によって決定される所定の間隔のサンプルを中心に、所定数のサンプルを、前記DSD信号から抽出し、抽出された前記所定数のサンプルをフィルタリングすることにより、前記所定のサンプリング周波数のPCM信号を生成し、前記DSD信号に対する前記PCM信号のディレイ値と、前記DSD信号または前記PCM信号の少なくとも一方を他の装置に送信するステップを含む。
本技術の第1側面のプログラムは、コンピュータに、DSD信号から所定のサンプリング周波数のPCM信号を生成する場合に、前記所定のサンプリング周波数によって決定される所定の間隔のサンプルを中心に、所定数のサンプルを、前記DSD信号から抽出し、抽出された前記所定数のサンプルをフィルタリングすることにより、前記所定のサンプリング周波数のPCM信号を生成し、前記DSD信号に対する前記PCM信号のディレイ値と、前記DSD信号または前記PCM信号の少なくとも一方を他の装置に送信するように制御する処理を実行させるためのものである。
本技術の第1側面においては、DSD信号から所定のサンプリング周波数のPCM信号を生成する場合に、前記所定のサンプリング周波数によって決定される所定の間隔のサンプルを中心に、所定数のサンプルが、前記DSD信号から抽出され、抽出された前記所定数のサンプルをフィルタリングすることにより、前記所定のサンプリング周波数のPCM信号が生成され、前記DSD信号に対する前記PCM信号のディレイ値と、前記DSD信号または前記PCM信号の少なくとも一方が他の装置に送信される。
る。
本技術の第2側面においては、DSD信号から所定のサンプリング周波数のPCM信号を生成する場合に、前記所定のサンプリング周波数によって決定される所定の間隔のサンプルを中心に、所定数のサンプルが、前記DSD信号から抽出され、抽出された前記所定数のサンプルをフィルタリングすることにより、前記所定のサンプリング周波数のPCM信号が生成され、同一コンテンツの前記DSD信号と前記PCM信号が切替えられて他の装置に送信される。
本技術の第3側面においては、DSD信号から所定のサンプリング周波数のPCM信号を生成する場合に、前記所定のサンプリング周波数によって決定される所定の間隔のサンプルを中心に、所定数のサンプルが、前記DSD信号から抽出され、抽出された前記所定数のサンプルをフィルタリングすることにより、前記所定のサンプリング周波数のPCM信号が生成され、前記DSD信号と前記PCM信号の両方が他の装置に送信される。
なお、本技術の第1ないし第3側面の信号処理装置は、コンピュータにプログラムを実行させることにより実現することができる。
プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
信号処理装置は、独立した装置であっても良いし、1つの装置を構成している内部ブロックであっても良い。
本技術の第1ないし第3側面によれば、1つのDSD信号で、PCM信号の出力も対応することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術を適用した再生システムの一実施の形態の構成例を示すブロック図である。 配信装置が送信するオーディオデータの送信形態を説明する図である。 PCM変換部の詳細構成例を示すブロック図である。 サンプリング抽出処理を説明する図である。 サンプリング抽出処理を説明する図である。 フィルタリング処理を説明する図である。 フィルタリング処理を説明する図である。 オーディオデータ送信処理を説明するフローチャートである。 再生装置の詳細構成例を示すブロック図である。 再生装置の構成例を示すブロック図である。 オーディオデータ再生処理を説明するフローチャートである。 本技術を適用したPCM信号変換装置の一実施の形態の構成例を示すブロック図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
以下、本技術を実施するための形態(以下、実施の形態という)について説明する。なお、説明は以下の順序で行う。
1.再生システムの構成例
2.再生オーディオデータの送信形態
3.PCM変換部の詳細構成例
4.PCM変換処理の説明
5.オーディオデータ送信処理
6.再生装置の詳細構成例
7.DSDデータとPCM_AACデータを同時に送信する形態
8.オーディオデータ再生処理
9.PCM信号変換装置
10.コンピュータ構成例
<1.再生システムの構成例>
図1は、本技術を適用した再生システムの一実施の形態の構成例を示すブロック図である。
図1の再生システム1は、配信装置11と再生装置12を少なくとも含み、再生装置12が配信装置11からオーディオデータを取得して再生するシステムである。
配信装置11には、複数のコンテンツそれぞれの音源をマイクロホン21で収音し、デルタシグマ変調して得られたオーディオデータが記憶される。
より具体的には、マイクロホン21によって収音された所定の音源(例えば、コンテンツA)のオーディオ信号が、増幅器(AMP)22によって増幅され、デルタシグマ(ΔΣ)変調器23に供給される。
デルタシグマ変調器23は、デルタシグマ変調により、入力されたアナログのオーディオ信号をデジタル信号に変換(AD変換)する。例えば、デルタシグマ変調器23は、入力されたアナログのオーディオ信号を、CD(Compact Disc)のサンプリング周波数44.1kHzの64倍のサンプリング周波数でデルタシグマ変調し、その結果得られるDSD信号を配信装置11に記憶させる。この44.1kHzの64倍のサンプリング周波数でデルタシグマ変調して得られたDSD信号は、2.8MMbpsのビットレートとなるので、以下では、2.8M DSDデータとも称する。
配信装置11は、以上のようにして生成された複数のコンテンツの2.8M DSDデータを記憶する。
再生装置12は、配信装置11に対して所定のコンテンツのオーディオデータを要求する際、自分自身が再生可能なフォーマットのオーディオデータである、2.8M DSDデータか、またはPCM_AACデータのいずれかを選択して、配信装置11に要求する。あるいはまた、再生装置12は、ネットワーク24の通信容量に合わせて、2.8M DSDデータか、またはPCM_AACデータのいずれかを選択して、配信装置11に要求してもよい。
ここで、PCM_AACデータは、サンプリング周波数192kHz(44.1kx4Hz)、量子化ビット16bitのPCM信号を、AAC(Advanced Audio Coding)の符号化方式で圧縮符号化した信号である。
配信装置11は、再生装置12からの要求に応じて、指定されたコンテンツの2.8M DSDデータまたはPCM_AACデータを、再生装置12に送信する。
配信装置11は、制御部31、記憶部32、PCM変換部33、符号化部34、および、送信部35を備える。
制御部31は、再生装置12からのコンテンツの送信要求を送信部35を介して取得し、要求されたコンテンツのオーディオデータを送信するように、配信装置11内の各部を制御する。
より具体的には、例えば、再生装置12から、コンテンツAのオーディオデータとして、2.8M DSDデータの要求があった場合、制御部31は、記憶部32に記憶されているコンテンツAの2.8M DSDデータを送信部35に供給させ、送信部35から再生装置12に送信させる。
また例えば、コンテンツAのオーディオデータとして、再生装置12からPCM_AACデータの要求があった場合、制御部31は、PCM変換部33および符号化部34を動作させて、記憶部32に記憶されているコンテンツAの2.8M DSDデータから、PCM_AACデータを生成させ、送信部35から再生装置12に送信させる。
記憶部32は、複数のコンテンツそれぞれの2.8M DSDデータを記憶する。
PCM変換部33は、記憶部32から供給される2.8M DSDデータをサンプリング周波数192kHz、量子化ビット16bitのPCM信号に変換することにより、PCM信号を生成し、符号化部34に供給する。なお、生成するPCM信号のサンプリング周波数および量子化ビット数は一例であり、これに限定されない。
符号化部34は、PCM変換部33から供給されるPCM信号を、AAC(Advanced Audio Coding)の符号化方式で圧縮符号化し、その結果得られるPCM_AACデータを、送信部35に供給する。
送信部35は、再生装置12からネットワーク24を介して送信されてくる、オーディオデータの送信要求を受信し、制御部31に供給する。
また、送信部35は、記憶部32または符号化部34から供給される所定のコンテンツのオーディオデータを、ネットワーク24を介して再生装置12に送信する。記憶部32からは、オーディオデータとして2.8M DSDデータが供給され、符号化部34からは、PCM_AACデータが供給される。
再生装置12は、配信装置11から送信されてきたデジタルのオーディオデータを受信し、アナログ信号に変換して、アナログLPF25に出力する。
アナログLPF(low pass filter)25は、高周波成分を除去するフィルタ処理を施し、フィルタ処理後の信号をパワーアンプ26に出力する。
パワーアンプ26は、アナログLPF25から出力されるアナログのオーディオ信号を増幅して、スピーカ27に出力する。スピーカ27は、パワーアンプ26から供給されるオーディオ信号を音として出力する。
アナログLPF25、パワーアンプ26、及び、スピーカ27からなるアナログ出力部は、再生装置12の一部として組み込まれてもよい。
<2.再生オーディオデータの送信形態>
図2は、配信装置11が再生装置12へ送信するオーディオデータの送信形態を示している。
配信装置11が再生装置12へ送信するオーディオデータの送信形態は、再生装置12の構成に応じて、いくつかの形態をとり得る。
例えば、再生装置12が再生可能なオーディオデータが、2.8M DSDデータ、または、PCM_AACデータのいずれかで固定されている場合、配信装置11は、図2のAに示されるように、再生装置12が再生可能な2.8M DSDデータまたはPCM_AACデータのいずれか一方を送信する。再生装置12が再生可能なオーディオデータのデータ形式が既知である場合、再生装置12から配信装置11へは再生するコンテンツのみが指定される。なお、図2では、簡単のため、2.8M DSDデータはDSDデータと記載され、PCM_AACデータは、PCMデータと記載されている。
また例えば、再生装置12が、1つのコンテンツの再生途中においても、同一コンテンツの2.8M DSDデータとPCM_AACデータを、必要に応じて切り替えて再生することが可能な装置である場合、配信装置11は、図2のBに示されるように、再生装置12の要求に応じて、同一コンテンツの2.8M DSDデータやPCM_AACデータをシームレスに切り替えて送信する。2.8M DSDデータは、高音質ではあるがデータ量が大きく、PCM_AACデータは、2.8M DSDデータと比較して音質は劣るがデータ量は少ない。したがって、例えば、再生装置12は、ネットワーク24の通信容量に応じて、2.8M DSDデータか、または、PCM_AACデータを適切に選択し、切り替えながら再生する。
なお、2.8M DSDデータとPCM_AACデータを切り替えながらシームレスに再生する場合、PCM_AACデータは、PCM変換部33によるPCMデータ変換処理と、符号化部34による圧縮符号化処理にかかる時間だけディレイが発生する。配信装置11は、このディレイ値をメタデータとして予め再生装置12に送信することができるので、再生装置12は、ディレイ値に基づいて2.8M DSDデータとPCM_AACデータをシームレスに切替えることができる。
クライアント装置が、格納された複数の符号化データのなかから、ネットワークの通信容量に応じて、所望の符号化データをストリーミング受信する方式の規格として、MPEG-DASH(Moving Picture Experts Group - Dynamic Adaptive Streaming over HTTP)がある。配信装置11は、このMPEG-DASHの規格に準拠した形式により、2.8M DSDデータとPCM_AACデータを必要に応じて切り替えて送信し、再生装置12が、これを受信して再生する。
配信装置11は、2.8M DSDデータとPCM_AACデータの両方を同時に送信することも可能である。例えば、図2のCに示されるように、フロント右側とフロント左側のオーディオデータについては、高音質の2.8M DSDデータで送信し、リア右側とリア左側のオーディオデータについては、データ量が少ないPCM_AACデータで送信することができる。
以上のように、配信装置11は、配信用のオーディオデータとして、2.8M DSDデータの1つのDSDデータを記憶しておくだけで、2.8M DSDデータとPCM_AACデータの両方の送信に対応することができる。
<3.PCM変換部の詳細構成例>
図3は、PCM変換部33の詳細構成例を示すブロック図である。
PCM変換部33は、抽出部41と、フィルタリング部42とを備え、2.8M DSDデータを、所定のサンプリング周波数のPCM信号に変換する。本実施の形態では、PCM変換部33は、サンプリング周波数192kHzのPCM信号に変換する。
抽出部41は、PCM信号のサンプリング周波数192kHzで決まる所定の間隔ごとに、所定数のサンプリングデータを、記憶部32から供給される2.8M DSDデータから抽出する。
フィルタリング部42は、抽出部41において所定の間隔ごとに抽出された所定数のサンプリングデータをフィルタリングすることにより、PCM信号を生成し、符号化部34に出力する。
<4.PCM変換処理の説明>
図4乃至図7を参照して、PCM変換部33によるPCM変換処理について説明する。
(抽出部41によるサンプリング抽出処理)
初めに、図4および図5を参照して、抽出部41によるサンプリング抽出処理について説明する。
いま、所定のコンテンツのPCM変換前の2.8M DSDデータの各サンプリングデータを、
D[0],D[1],D[2],D[3],・・・,D[n],・・・
とし、PCM変換後のPCMデータの各サンプリングデータを、
PCM[0],PCM[1],PCM[2],PCM[3],・・・,PCM[n],・・・
とする。
2.8M DSDデータの各サンプリングデータD[n]は、“1”または“0”の1bit信号で表されるが、信号処理上の演算では、“0”を“-1”で表現し、“1”または“-1”で演算される。なお、以下では、サンプリングデータを、単にサンプルとも称する。
2.8M DSDデータの1サンプルは、1/(44.1*64k)[sec]であり、サンプリング周波数192kHzのPCMデータの1サンプルは、1/192k[sec]であるので、PCM変換部33は、(44.1*64)/192=14.7サンプルごとに、データを出力する。
そこで、抽出部41は、2.8M DSDデータのサンプルを、14.7サンプル間隔で、所定数のサンプルを抽出する。本実施の形態では、抽出部41が抽出するサンプル数は、256サンプルとする。したがって、抽出部41は、2.8M DSDデータのサンプルを、14.7サンプルのm倍(mは非負の整数)の各サンプル位置が中心サンプルとなるようにその前後256サンプルを抽出して、フィルタリング部42に供給する。
図4は、抽出部41が抽出する2.8M DSDデータのサンプルと、PCM変換後のPCMデータPCM[n]との対応関係を示している。
14.7サンプルのm倍は、0,14.7,29.4,44.1,58.5,・・・,1470,1484.7,1499.4,1514.1,・・・となるので、各PCM[n]に対応する抽出サンプルの中心位置サンプルは、0,15,29,44,59,・・・,1470,1485,1499,1514,・・・となる。
そして、各中心位置サンプルを中心に256サンプルが抽出されるので、PCM[0]に対応する抽出サンプルは、D[0]を中心としたD[-127]乃至D[128]となり、PCM[1]に対応する抽出サンプルは、D[15]を中心としたD[-112]乃至D[143]となり、PCM[2]に対応する抽出サンプルは、D[29]を中心としたD[-98]乃至D[157]となる。ただし、nが負のD「n」は、コンテンツのデータが存在しないので、“-1”として処理される。
nが負のD「n」を含まない例として、例えば、図4に示されるように、PCM[100]に対応する抽出サンプルは、D[1470]を中心としたD[1343]乃至D[1598]となり、PCM[101]に対応する抽出サンプルは、D[1485]を中心としたD[1358]乃至D[1613]となり、PCM[102]に対応する抽出サンプルは、D[1499]を中心としたD[1372]乃至D[1627]となる。
図5は、PCM[100]乃至PCM[104]それぞれについての、2.8M DSDデータの中心位置サンプルと、抽出される256サンプルの関係を示している。
PCM信号のサンプリング周波数で決まる所定の間隔と、実際に抽出する中心位置サンプルとの最大誤差は、DSD信号のサンプリング周期の半分となるので、2.8M DSDデータの場合は、0.5/(44.1k*64)=0.18[μsec]となる。人間の聴覚の時間分解能は5[μsec]程度とも言われており、0.18[μsec]の周波数換算は5.6MHzであり、5[μsec]の周波数換算は200kHzであるので、0.18[μsec]の誤差は、音質に大きく影響するほどの誤差とはならない。
抽出部41は、以上のように、記憶部32から供給される2.8M DSDデータのサンプルを、PCM信号のサンプリング周波数192kHzで決まる所定の間隔(14.7サンプル)を中心に、所定数のサンプル(256サンプル)を抽出して、フィルタリング部42に出力する。
上述した例は、2.8M DSDデータを、サンプリング周波数192kHzのPCM信号に変換する例であるが、任意のサンプリング周波数のPCM信号に変換することができる。また、DSDデータについても、2.8M DSDデータに限らず、その倍のサンプリング周波数の5.6M DSDデータや、その4倍のサンプリング周波数の11.2M DSDデータなどを用いてもよい。DSDデータのビットレートや、PCM信号のサンプリング周波数が変わった場合、そのサンプリング比に応じて中心位置サンプルの間隔を変えるだけで対応可能である。
また、中心位置サンプルを中心としてどれだけのサンプル数を抽出するかは、変換するPCM信号の精度や処理負荷に応じて任意に決定することができる。
(フィルタリング部42によるフィルタリング処理)
次に、図6および図7を参照して、フィルタリング部42によるフィルタリング処理について説明する。
2.8M DSDデータは、上述したように、“1”または“0”(信号処理上の演算は“1”または“-1”)の2値の信号であるため、フィルタリング部42は、通常のPCM信号のフィルタリングのように積和演算ではなく、足し算だけで、フィルタリング処理を実行することができる。
いま、抽出部41から供給される所定の中心位置サンプルを中心として抽出される256サンプルを、DA[0]乃至DA[255]で表し、DA[0]乃至DA[255]に対してフィルタリング部42が施す256タップのフィルタ係数をK[0]乃至K[255]とすると、フィルタリング部42によるフィルタ演算は、ΣDA[n]*K[n](n=0乃至255)で表される。ここで、DA[n]は、“1”または“-1”であるので、フィルタ演算式は、掛け算は必要なく、足し算だけで演算できることが容易に分かる。
1ビットずつデータを検知して足し算を行ってもよいが、CPUの処理として冗長となるので、フィルタリング部42は、例えば、DA[0]乃至DA[255]の256ビットのデータを、8ビットごとに分割し、8ビット単位で予め用意した複数の部分和テーブルを用いて演算を行う。
例えば、図6に示されるように、PCM[100]に対応する抽出サンプルであるD[1343]乃至D[1598]を、フィルタ演算する例について説明する。
まず、PCM[100]に対応する抽出サンプルとして抽出部41から供給されたD[1343]乃至D[1598]が、フィルタ処理対象のデータであるDA[0]乃至DA[255]とされる。
このDA[0]乃至DA[255]が、DA[0]乃至DA[7]、DA[8]乃至DA[15]、DA[16]乃至DA[23]、・・・・、DA[240]乃至DA[247]、および、DA[248]乃至DA[255]の8ビットごとに分割される。
フィルタリング部42は、最初の8ビットであるDA[0]乃至DA[7]について、図7に示される部分和テーブルBT0を保持している。
図7の部分和テーブルBT0は、DA[0]乃至DA[7]が取り得る256パターンのビットパターンと、そのときのΣDA[n]*K[n](n=0乃至7)を予め演算した演算結果C0乃至C255とを対応付けて記憶している。
フィルタリング部42は、内部に記憶している図7の部分和テーブルBT0を参照し、DA[0]乃至DA[7]の実データに対応する演算結果を決定することにより、部分和T0を算出する。部分和T0は、C0乃至C255のいずれかとなる。
図6に戻り、フィルタリング部42は、8ビットごとに分割したその他のデータである、DA[8]乃至DA[15]、DA[16]乃至DA[23]、・・・・、DA[240]乃至DA[247]、DA[248]乃至DA[255]についても同様に、部分和テーブルBT1乃至BT31を参照することにより、部分和T1乃至T31を決定する。
即ち、フィルタリング部42は、部分和テーブルBT1を参照し、DA[8]乃至DA[15]の実データに対応する部分和T1を算出し、部分和テーブルBT2を参照し、DA[16]乃至DA[23]の実データに対応する部分和T2を算出し、同様に、部分和テーブルBT31を参照し、DA[248]乃至DA[255]の実データに対応する部分和T31を算出する。
最後に、フィルタリング部42は、32個の部分和テーブルBT0乃至BT31それぞれに対応する部分和T0乃至T31の和を演算し、PCM[100]を算出する。
従って、フィルタリング部42は、32回のテーブル参照と足し算だけで、抽出サンプルD[1343]乃至D[1598]に対応するPCMデータを算出することができる。
なお、PCMデータを送信する場合のDSDデータに対する送信データのディレイ値は、フィルタリング部42のタップ数が決定すれば、予め計算することができる。
上述した例では、説明を簡単にするため、抽出部41において各中心位置サンプルを中心に256サンプルを抽出し、フィルタリング部42のタップ数を256タップとする例について説明した。
実際には、2.8M DSDデータから、例えば、100[dB]程度の精度のサンプリング周波数192kHzのPCM信号を生成する場合には、フィルタリング部42のタップ数としては約4500タップが必要となる。この場合、12ビット単位の部分和テーブルを作成することにより、375回のテーブル参照と足し算だけで演算することができる。足し算を1クロックと想定すると、192k*375=72MIPSとなり、モバイル系のCPUでも処理可能なレベルであり、十分実現可能である。
<5.オーディオデータ送信処理>
次に、図8のフローチャートを参照して、再生装置12の要求に応じて、所定のコンテンツの2.8M DSDデータとPCM_AACデータをシームレスに切り替えて送信する配信装置11のオーディオデータ送信処理について説明する。
初めに、ステップS1において、配信装置11の制御部31は、PCM_AACデータのディレイ値を送信部35に供給し、送信部35にメタデータとして再生装置12に送信させる。
ステップS2において、制御部31は、再生装置12から送信されてきたコンテンツの送信要求を送信部35を介して受信し、要求されているコンテンツのオーディオデータがPCM_AACデータであるかを判定する。
ステップS2で、要求されているオーディオデータがPCM_AACデータであると判定された場合、処理はステップS3に進み、PCM変換部33の抽出部41は、要求されたコンテンツの2.8M DSDデータを記憶部32から取得し、取得した2.8M DSDデータから、PCM信号のサンプリング周波数で決まる所定の間隔ごとに所定数のサンプルを抽出する。本実施の形態では、サンプリング周波数192kHzのPCM信号を生成する場合、14.7サンプルのm倍に対応する各サンプルを中心位置サンプルとする256サンプルが、順次、抽出される。
ステップS4において、フィルタリング部42は、抽出部41において所定の間隔ごとに抽出された所定数のサンプルをフィルタリングすることにより、PCM信号を生成し、符号化部34に出力する。本実施の形態では、フィルタリング部42は、抽出部41から供給された256サンプルに対して、32個の部分和テーブルBT0乃至BT31を用いて、32回のテーブル参照と足し算を行うことにより、PCM信号の1サンプルを生成し、符号化部34に出力する。
ステップS5において、符号化部34は、フィルタリング部42から供給されたPCM信号を、AACの符号化方式で圧縮符号化し、その結果得られるPCM_AACデータを、送信部35に供給する。
ステップS6において、送信部35は、符号化部34で圧縮符号化して得られたPCM_AACデータを、再生装置12に送信する。
一方、ステップS2で、要求されているオーディオデータがPCM_AACデータではない、即ち、要求されているオーディオデータが2.8M DSDデータであると判定された場合、処理はステップS7に進み、送信部35は、要求されたコンテンツの2.8M DSDデータを記憶部32から取得し、再生装置12に送信する。
ステップS8において、送信部35は、オーディオデータの送信が終了したかを判定する。例えば、送信部35は、記憶部32および符号化部34のどちらからもオーディオデータが供給されなくなった場合、オーディオデータの送信が終了したと判定する。
ステップS8で、まだオーディオデータの送信が終了していないと判定された場合、処理はステップS2に戻り、上述したステップS2乃至S8の処理が繰り返される。
一方、ステップS8で、オーディオデータの送信が終了したと判定された場合、オーディオデータ送信処理が終了する。
以上のように、配信装置11は、再生装置12からコンテンツのオーディオデータとしてPCM_AACデータが要求された場合には、記憶部32に記憶されている2.8M DSDデータからPCM信号を生成して、再生装置12に送信することができる。すなわち、配信装置11は、1つのコンテンツのオーディオデータを、再生装置12の要求に応じて、DSDデータとPCM_AACデータとを切り替えて送信することができる。
また、配信装置11は、PCM信号へ変換する変換処理にかかる時間を、ディレイ値として予め再生装置12へ送信するので、DSDデータとPCM_AACデータの完全同期を実現することができ、再生装置12側では、DSDデータとPCM_AACデータをシームレスに切り替えて再生することができる。
例えば、MPEG-DASHのように、クライアント装置の要求に応じて、所定の符号化データを伝送する配信装置では、一般には、サンプリング周波数を同期させてDSD信号とPCM信号の両方の符号化データを予め生成し、記憶しておく必要がある。
本技術を用いた配信装置11によれば、コンテンツのオーディオデータとしてDSDデータのみを記憶部32に記憶しておけばよいので、1つのDSD信号のみで、PCM信号の伝送にも対応することができる。
なお、配信装置11の記憶部32に、CDのサンプリング周波数44.1kHzの256倍のサンプリング周波数でデルタシグマ変調して得られた11.2M DSDデータを記憶しておくようにして、配信装置11が、11.2M DSDデータからダウンサンプリングして5.6M DSDデータまたは2.8M DSDデータを生成して伝送したり、11.2M DSDデータから、44.1kHzや48kHz等の任意のサンプリング周波数のPCM信号を生成して伝送する構成も可能である。
なお、上述したオーディオデータ送信処理は、図2のBに示したオーディオデータの送信形態における場合の処理例である。図2のAに示したオーディオデータの送信形態では、PCM_AACデータを送信する場合は、ステップS3乃至S6の処理を実行し、2.8M DSDデータを送信する場合は、ステップS7の処理を実行すればよい。
<6.再生装置の詳細構成例>
図9は、図1の再生装置12の詳細構成例を示すブロック図である。
図9の再生装置12は、所定のコンテンツの2.8M DSDデータとPCM_AACデータをシームレスに切り替えて再生可能な装置である。
再生装置12は、制御部50、通信部51、復号部52、PCMアップサンプリング部53、デルタシグマ(ΔΣ)変調部54、切替え部55、クロック供給部56、及び、デルタシグマ復調部57を備える。
制御部50は、再生装置12全体の動作を制御する。例えば、制御部50は、不図示の操作部において、配信装置11に格納されている所定コンテンツの再生がユーザによって指示されたとき、再生指示されたコンテンツに対応する2つのオーディオデータ(DSDデータ及びPCM_AACデータ)のなかから、ネットワーク24の通信容量に合わせて、1つのオーディオデータを選択し、通信部51を介して、配信装置11に要求する。なお、図9では、制御部50から各部への制御信号の図示が省略されている。
制御部50は、コンテンツのストリーミングデータとして、オーディオデータをMPEG-DASHに従って取得する場合、MPDファイルを先に取得し、取得したMPDファイルに基づいて、配信装置11の所定アドレスに通信部51にアクセスさせることにより、通信部51に所望のオーディオデータを取得させる。MPDファイルには、例えば、PCM_AACデータのディレイ値に関する情報が含まれる。
通信部51は、制御部50の指示に基づき、再生指示されたコンテンツのオーディオデータ(DSDデータ及びAACデータ)を、配信装置11に要求する。DSDデータ及びAACデータを第1及び第2のオーディオデータとして、第1のオーディオデータから第2のオーディオデータに切替える場合、通信部51は、切替え前後では第1及び第2のオーディオデータの2つを同時に取得し、切替える必要がない場合には、いずれか一方のオーディオデータを取得する。
通信部51は、配信装置11から送信されてきたデジタルのオーディオデータを取得する。通信部51は、取得したオーディオデータが2.8M DSDデータである場合には、取得した2.8M DSDデータを、切替え部55に供給する。一方、取得したオーディオデータがPCM_AACデータである場合には、通信部51は、取得したPCM_AACデータを、復号部52に供給する。
復号部52は、通信部51から供給されるPCM_AACデータを、符号化方式に対応する復号方式で復号し、復号後して得られたPCM信号をPCMアップサンプリング部53に出力する。
PCMアップサンプリング部53は、復号部52から供給されるPCM信号を、2.8M DSDデータのサンプリング周波数と同じ周波数にアップサンプリングして、デルタシグマ変調部54に出力する。具体的には、PCMアップサンプリング部53は、2.8MHzのPCM信号にアップサンプリングして、デルタシグマ変調部54に出力する。
デルタシグマ変調部54は、アップサンプリングされたPCM信号を、デルタシグマ変調して、2.8M DSDデータを生成し、切替え部55に出力する。
切替え部55は、通信部51の出力である2.8M DSDデータか、または、デルタシグマ変調部54の出力である2.8M DSDデータのいずれか一方を選択し、選択した2.8M DSDデータを、後段のデルタシグマ復調部57に出力する。
切替え部55には、配信装置11から送信されてきたディレイ値が供給される。切替え部55が、通信部51の出力である2.8M DSDデータから、デルタシグマ変調部54の出力である2.8M DSDデータへ切替える場合、配信装置11から送信されてきたディレイ値と、復号部52乃至デルタシグマ変調部54の処理によるディレイ値を合わせた値だけディレイさせた後に、切替える。これにより、コンテンツの再生途中であっても、シームレスな切替えが可能となる。
クロック供給部56は、2.8M DSDデータに対応したクロック信号CLK2をデルタシグマ復調部57に供給する。本実施の形態では、クロック供給部56は、2.8MHzのクロック信号CLK2を生成し、デルタシグマ復調部57に供給する。
デルタシグマ復調部57は、切替え部55から供給される2.8M DSDデータを、クロック供給部56から供給されるクロック信号CLK2を用いて復調(デルタシグマ復調)し、復調結果を、後段のアナログLPF25(図1)に出力する。デルタシグマ復調部57は、例えば、FIR(finite impulse response)のデジタルフィルタで構成することができる。
再生装置12は、以上の構成により、所定のコンテンツの2.8M DSDデータとPCM_AACデータをシームレスに切り替えて再生することができる。
<7.DSDデータとPCM_AACデータを同時に送信する形態>
次に、2.8M DSDデータとPCM_AACデータの両方を同時に送信する形態について説明する。
例えば、図2のCに示したように、配信装置11は、フロント右側とフロント左側のオーディオデータについては、高音質の2.8M DSDデータを送信し、リア右側とリア左側のオーディオデータについては、データ量が少ないPCM_AACデータを送信する。
記憶部32には、リア右側とリア左側のオーディオデータについても、2.8M DSDデータで記憶されており、PCMデータとして送信する場合には、2.8M DSDデータがPCM変換部33によってPCMデータに変換されて、再生装置12に送信される。フロント右側とフロント左側の2.8M DSDデータも、リア右側とリア左側のPCMデータと並行して、再生装置12に送信される。配信装置11の構成は、図1を参照して説明した構成と同様である。
なお、勿論、再生装置12の能力やネットワーク24の通信容量等、所定の条件を満たした場合には、リア右側とリア左側のオーディオデータについても、フロント右側とフロント左側と同様に、2.8M DSDデータをそのまま送信してもよい。
図10は、フロント右側およびフロント左側の2.8M DSDデータと、リア右側およびリア左側のPCM_AACデータとを同時に受信して、フロント右側およびフロント左側の2つのスピーカから音を出力する再生装置12の構成例を示すブロック図である。
図10において、図9と対応する部分については同一の符号を付してあり、その説明は適宜省略する。
再生装置12は、通信部51、復号部52、デルタシグマ(ΔΣ)変調部54、クロック供給部56、デルタシグマ復調部57、遅延部71、サラウンド処理部72、及び、ミキサ73を備える。ミキサ73は、加算部81および82と、デルタシグマ変調部83とを備える。
通信部51は、配信装置11から送信されてきたフロント左側の2.8M DSDデータであるDSD_FLデータ、及び、フロント右側の2.8M DSDデータであるDSD_FRデータを受信し、遅延部71に供給する。
また、通信部51は、配信装置11から送信されてきたリア左側のPCM_AACデータであるAAC_RLデータ、及び、リア右側のPCM_AACデータであるAAC_RRデータを受信し、復号部52に供給する。
遅延部71は、通信部51から供給されるDSD_FLデータ及びDSD_FRデータを、配信装置11から送信されてきたディレイ値と、復号部52、サラウンド処理部72、およびデルタシグマ変調部54の処理によるディレイ値を合わせた値だけディレイさせて、ミキサ73に供給する。遅延部71から出力されるDSD_FLデータは、DSD_FL1データとしてミキサ73の加算部81に供給され、遅延部71から出力されるDSD_FRデータは、DSD_FR1データとしてミキサ73の加算部82に供給される。
復号部52は、リア左側のPCM_AACデータであるAAC_RLデータ、及び、リア右側のPCM_AACデータであるAAC_RRデータを復号し、それぞれ、PCM_RLデータ、及び、PCM_RRデータを得る。得られたPCM_RLデータ、及び、PCM_RRデータは、サラウンド処理部72に供給される。
サラウンド処理部72は、復号部52から供給される、リア左側のPCMデータであるPCM_RLデータ、及び、リア右側のPCMデータであるPCM_RRデータのそれぞれに対して、フロント側スピーカから出力した場合でも、リア側から聴こえてくるようなサラウンド変換処理を実行する。サラウンド変換処理により、リア左側のPCM_RLデータは、フロント左側のPCM_FLデータに変換され、リア右側のPCM_RRデータは、フロント右側のPCM_FRデータに変換されて、デルタシグマ変調部54に供給される。
デルタシグマ変調部54は、フロント左側のPCM信号であるPCM_FLデータ、及び、フロント右側のPCM信号であるPCM_FRデータを、それぞれデルタシグマ変調する。フロント左側のPCM_FLデータがデルタシグマ変調されて得られたDSD_FL2データは、ミキサ73の加算部81に供給される。フロント右側のPCM_FRデータがデルタシグマ変調されて得られたDSD_FR2データは、ミキサ73の加算部82に供給される。
ミキサ73の加算部81は、遅延部71からのDSD_FL1データと、デルタシグマ変調部54からのDSD_FL2データを加算して、加算結果であるDSD_FLaデータをデルタシグマ変調部83に供給する。
ミキサ73の加算部82は、遅延部71からのDSD_FR1データと、デルタシグマ変調部54からのDSD_FR2データを加算して、加算結果であるDSD_FRaデータをデルタシグマ変調部83に供給する。
デルタシグマ変調部83は、加算部81からのDSD_FLaデータをデルタシグマ変調し、変調後のDSDデータであるDSD_FLbデータをデルタシグマ復調部57に供給する。また、デルタシグマ変調部83は、加算部82からのDSD_FRaデータをデルタシグマ変調し、変調後のDSDデータであるDSD_FRbデータをデルタシグマ復調部57に供給する。
デルタシグマ復調部57は、デルタシグマ変調部83から供給されるDSD_FLbデータを、クロック供給部56から供給されるクロック信号CLK2を用いて復調(デルタシグマ復調)し、復調結果であるフロント左側のアナログ信号Front_Lを、アナログLPF25(図1)に出力する。
また、デルタシグマ復調部57は、デルタシグマ変調部83から供給されるDSD_FRbデータを、クロック供給部56から供給されるクロック信号CLK2を用いて復調(デルタシグマ復調)し、復調結果であるフロント右側のアナログ信号Front_Rを、アナログLPF25(図1)に出力する。
<8.オーディオデータ再生処理>
次に、図11のフローチャートを参照して、フロント用の2チャンネルの2.8M DSDデータとリア用の2チャンネルのPCM_AACデータの両方を同時に受信し、2個のフロントのスピーカのみから出力する、図10の再生装置12によるオーディオデータ再生処理について説明する。
初めに、ステップS10において、通信部51は、配信装置11からメタデータとして送信されてきたディレイ値を受信し、制御部50に供給する。
ステップS11において、通信部51は、フロント用の2チャンネルの2.8M DSDデータと、リア用の2チャンネルのPCM_AACデータを受信する。
より具体的には、通信部51は、配信装置11から送信されてきたフロント左側の2.8M DSDデータであるDSD_FLデータ、及び、フロント右側の2.8M DSDデータであるDSD_FRデータを受信し、遅延部71に供給する。また、通信部51は、配信装置11から送信されてきたリア左側のPCM_AACデータであるAAC_RLデータ、及び、リア右側のPCM_AACデータであるAAC_RRデータを受信し、復号部52に供給する。
ステップS12において、遅延部71は、通信部51から供給されたDSD_FLデータ及びDSD_FRデータを、所定時間だけディレイさせて、ミキサ73に供給する。ここでのディレイ時間は、配信装置11から送信されてきたディレイ値と、復号部52、サラウンド処理部72、およびデルタシグマ変調部54の処理によるディレイ値との合算値に相当する。
ステップS13において、復号部52は、通信部51から供給されたリア左側のAAC_RLデータ、及び、リア右側のAAC_RRデータを復号する。復号により得られたPCM_RLデータ、及び、PCM_RRデータは、サラウンド処理部72に供給される。
ステップS14において、サラウンド処理部72は、復号部52から供給された、リア左側のPCM_RLデータ、及び、リア右側のPCM_RRデータのそれぞれに対して、サラウンド変換処理を実行する。サラウンド変換処理により、リア左側のPCM_RLデータは、フロント左側のPCM_FLデータに変換され、リア右側のPCM_RRデータは、フロント右側のPCM_FRデータに変換されて、デルタシグマ変調部54に供給される。
ステップS15において、デルタシグマ変調部54は、フロント左側のPCM_FLデータ、及び、フロント右側のPCM_FRデータを、それぞれデルタシグマ変調する。デルタシグマ変調により得られたDSD_FL2データは、ミキサ73の加算部81に供給され、DSD_FR2データは、ミキサ73の加算部82に供給される。
ステップS12の処理と、ステップS13乃至S15の処理は、並行して実行される。ステップS12において、DSD_FLデータ及びDSD_FRデータが遅延部71からDSD_FL1データ及びDSD_FR1データとして出力される出力タイミングは、ステップS15において、DSD_FL2データ及びDSD_FR2データが、デルタシグマ変調部54から出力される出力タイミングと一致する。
ステップS16において、ミキサ73の加算部81および82それぞれは、遅延部71からの第1のDSDデータと、デルタシグマ変調部54からの第2のDSDデータを加算する。より具体的には、加算部81は、遅延部71からのDSD_FL1データと、デルタシグマ変調部54からのDSD_FL2データを加算して、加算結果であるDSD_FLaデータをデルタシグマ変調部83に供給する。加算部82は、遅延部71からのDSD_FR1データと、デルタシグマ変調部54からのDSD_FR2データを加算して、加算結果であるDSD_FRaデータをデルタシグマ変調部83に供給する。
ステップS17において、デルタシグマ変調部83は、加算結果をデルタシグマ変調する。すなわち、デルタシグマ変調部83は、加算部81からのDSD_FLaデータをデルタシグマ変調して、変調後のDSD_FLbデータをデルタシグマ復調部57に供給する。また、デルタシグマ変調部83は、加算部82からのDSD_FRaデータをデルタシグマ変調して、変調後のDSD_FRbデータをデルタシグマ復調部57に供給する。
ステップS18において、デルタシグマ復調部57は、デルタシグマ変調部83から供給されたデルタシグマ変調後のDSD_FLbデータ及びDSD_FRbデータを、クロック供給部56から供給されるクロック信号CLK2を用いてデルタシグマ復調し、復調結果であるフロント左側のアナログ信号Front_L及びフロント右側のアナログ信号Front_Rを、アナログLPF25に出力して、オーディオデータ再生処理を終了する。
以上のオーディオデータ再生処理により、再生装置12は、フロント用の2チャンネルの2.8M DSDデータとリア用の2チャンネルのPCM_AACデータの両方を同時に受信し、2個のフロントのスピーカの信号に変換して出力することができる。
なお、上述した例では、再生装置12側に、受信したDSDデータを所定時間ディレイさせる遅延部71を設けたが、配信側である配信装置11に遅延部71を設け、所定時間ディレイされたDSDデータが供給される構成としてもよい。
<9.PCM信号変換装置>
上述した実施の形態では、配信装置11をサーバ装置、再生装置12をクライアント装置として、オーディオデータとしてのDSDデータまたはPCM_AACデータを、ネットワーク24を介して配信するサーバクライアントシステムの構成について説明した。
しかしながら、本技術は、サーバクライアントシステムに限定されず、例えば、記憶部32に記憶されているDSDデータをPCMデータに変換して、BD(Blu-ray(登録商標) Disc)やDVD(Digital Versatile Disc)等の記録媒体に記録するPCM信号変換装置などにも適用することができる。
図12は、PCM信号変換装置の構成例を示すブロック図である。図12において、図1の配信装置11と対応する部分については同一の符号を付してあり、その説明は省略する。
図12のPCM信号変換装置90は、図1の配信装置11の送信部35に代えて、ドライブ91が設けられている。
ドライブ91は、BDやDVD等の記録媒体92を駆動し、コンテンツのオーディオデータとして、記憶部32から供給される2.8M DSDデータや、符号化部34から供給されるPCM_AACデータを、記録媒体92に記録する。
記憶部32には、コンテンツのオーディオデータが、音質を重要視して、DSDデータで記憶されている。例えば、映像と組み合わせるためのオーディオデータを、PCM信号で生成して、記録媒体92に記録する場面を考える。
DSD信号は、CDのサンプリング周波数44.1kHzの64倍、128倍、または256倍といったサンプリング周波数が用いられるが、映像用には48kHzのサンプリング周波数が一般に用いられている。
一般に、2.8M DSDデータから48kHzのPCM信号を生成する場合、単純には、まず2.8M DSDデータを44.1*8kHz程度のPCM信号にダウンコンバートし、その後、直線補間等でデータを生成するのが通例であるが、補間を伴うために音質が劣化する。また、音質を優先させる場合には、同じく2.8M DSDデータを44.1*8kHzのPCM信号にダウンコンバートし、ダウンコンバート後の信号を40倍にアップコンバートし、さらにそれを1/147にダウンコンバートする方法が考えられる。しかし、この方法は、96kHzのPCM信号に精度よく変換できるものの、処理が重く実用的ではない。
これに対して、PCM信号変換装置90によれば、DSDデータから精度よく簡単に48kHzのPCM信号を生成し、BDやDVD等の記録媒体92に記録することができる。
<10.コンピュータ構成例>
上述した配信装置11、再生装置12、および、PCM信号変換装置90等の信号処理装置が実行する一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているマイクロコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図13は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータにおいて、CPU(Central Processing Unit)101,ROM(Read Only Memory)102,RAM(Random Access Memory)103は、バス104により相互に接続されている。
バス104には、さらに、入出力インタフェース105が接続されている。入出力インタフェース105には、入力部106、出力部107、記憶部108、通信部109、及びドライブ110が接続されている。
入力部106は、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部107は、ディスプレイ、スピーカ、出力端子などよりなる。記憶部108は、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部109は、ネットワークインタフェースなどよりなる。ドライブ110は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体111を駆動する。
以上のように構成されるコンピュータでは、CPU101が、例えば、記憶部108に記憶されているプログラムを、入出力インタフェース105及びバス104を介して、RAM103にロードして実行することにより、上述したオーディオデータ送信処理やオーディオデータ再生処理等の一連の処理が行われる。RAM103にはまた、CPU101が各種の処理を実行する上において必要なデータなども適宜記憶される。
コンピュータでは、プログラムは、リムーバブル記録媒体111をドライブ110に装着することにより、入出力インタフェース105を介して、記憶部108にインストールすることができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して、通信部109で受信し、記憶部108にインストールすることができる。その他、プログラムは、ROM102や記憶部108に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
なお、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、上述した実施の形態の全てまたは一部を適宜組み合わせた形態を採用することができる。
例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
なお、本技術は以下のような構成も取ることができる。
(1)
DSD信号から所定のサンプリング周波数のPCM信号を生成する場合に、前記所定のサンプリング周波数によって決定される所定の間隔のサンプルを中心に、所定数のサンプルを、前記DSD信号から抽出する抽出部と、
抽出された前記所定数のサンプルをフィルタリングすることにより、前記所定のサンプリング周波数のPCM信号を生成するフィルタリング部と
を備える信号処理装置。
(2)
前記フィルタリング部は、抽出された前記所定数のサンプルがとり得るデータと、そのときの演算結果とを対応づけたテーブルを備え、前記テーブルを参照して、抽出された前記所定数のサンプルに対応する演算結果を求めることで、抽出された前記所定数のサンプルをフィルタリングする
前記(1)に記載の信号処理装置。
(3)
前記テーブルは、所定数のビット単位で分割された複数の部分和テーブルで構成され、
前記フィルタリング部は、各部分和テーブルを参照して、前記所定数のビット単位のサンプルに対応する部分和を求め、前記複数の部分和テーブルの部分和を足し算して、前記演算結果を求める
前記(2)に記載の信号処理装置。
(4)
前記DSD信号を記憶する記憶部と、
前記DSD信号または前記PCM信号の少なくとも一方を他の装置に送信する送信部と
をさらに備える
前記(1)乃至(3)のいずれかに記載の信号処理装置。
(5)
前記送信部は、前記DSD信号に対する前記PCM信号のディレイ値も、前記他の装置に送信する
前記(4)に記載の信号処理装置。
(6)
前記送信部は、同一コンテンツの前記DSD信号と前記PCM信号を切替えて前記他の装置に送信する
前記(4)に記載の信号処理装置。
(7)
前記送信部は、前記DSD信号と前記PCM信号の両方を前記他の装置に送信する
前記(4)に記載の信号処理装置。
(8)
前記送信部は、前記DSD信号を前記他の装置に送信する際、前記DSD信号に対する前記PCM信号のディレイ値だけ遅らせて送信する
前記(7)に記載の信号処理装置。
(9)
前記DSD信号は、フロント側のオーディオデータであり、
前記PCM信号は、リア側のオーディオデータである
前記(7)または(8)に記載の信号処理装置。
(10)
DSD信号から所定のサンプリング周波数のPCM信号を生成する信号処理装置が、
前記所定のサンプリング周波数によって決定される所定の間隔のサンプルを中心に、所定数のサンプルを、前記DSD信号から抽出し、
抽出された前記所定数のサンプルをフィルタリングすることにより、前記所定のサンプリング周波数のPCM信号を生成する
ステップを含む信号処理方法。
(11)
コンピュータに、
DSD信号から所定のサンプリング周波数のPCM信号を生成する場合に、前記所定のサンプリング周波数によって決定される所定の間隔のサンプルを中心に、所定数のサンプルを、前記DSD信号から抽出し、
抽出された前記所定数のサンプルをフィルタリングすることにより、前記所定のサンプリング周波数のPCM信号を生成する
処理を実行させるためのプログラム。
1 再生システム, 11 配信装置, 12 再生装置, 31 制御部, 32 記憶部, 33 PCM変換部, 34 符号化部, 35 送信部, 41 抽出部, 42 フィルタリング部, 50 制御部, 51 通信部, 52 復号部, 53 PCMアップサンプリング部, 54 デルタシグマ変調部, 55 切替え部, 57 デルタシグマ復調部, 71 遅延部, 72 サラウンド処理部, 73 ミキサ, 90 PCM信号変換装置, 91 ドライブ, 92 記録媒体, 101 CPU, 102 ROM, 103 RAM, 106 入力部, 107 出力部, 108 記憶部, 109 通信部, 110 ドライブ

Claims (10)

  1. DSD信号から所定のサンプリング周波数のPCM信号を生成する場合に、前記所定のサンプリング周波数によって決定される所定の間隔のサンプルを中心に、所定数のサンプルを、前記DSD信号から抽出する抽出部と、
    抽出された前記所定数のサンプルをフィルタリングすることにより、前記所定のサンプリング周波数のPCM信号を生成するフィルタリング部と
    前記DSD信号に対する前記PCM信号のディレイ値と、前記DSD信号または前記PCM信号の少なくとも一方を他の装置に送信する送信部と
    を備える信号処理装置。
  2. DSD信号から所定のサンプリング周波数のPCM信号を生成する場合に、前記所定のサンプリング周波数によって決定される所定の間隔のサンプルを中心に、所定数のサンプルを、前記DSD信号から抽出する抽出部と、
    抽出された前記所定数のサンプルをフィルタリングすることにより、前記所定のサンプリング周波数のPCM信号を生成するフィルタリング部と、
    同一コンテンツの前記DSD信号と前記PCM信号を切替えて他の装置に送信する送信部と
    を備える信号処理装置。
  3. DSD信号から所定のサンプリング周波数のPCM信号を生成する場合に、前記所定のサンプリング周波数によって決定される所定の間隔のサンプルを中心に、所定数のサンプルを、前記DSD信号から抽出する抽出部と、
    抽出された前記所定数のサンプルをフィルタリングすることにより、前記所定のサンプリング周波数のPCM信号を生成するフィルタリング部と、
    前記DSD信号と前記PCM信号の両方を他の装置に送信する送信部と
    を備える信号処理装置。
  4. 前記送信部は、前記DSD信号を前記他の装置に送信する際、前記DSD信号に対する前記PCM信号のディレイ値だけ遅らせて送信する
    請求項に記載の信号処理装置。
  5. 前記DSD信号は、フロント側のオーディオデータであり、
    前記PCM信号は、リア側のオーディオデータである
    請求項に記載の信号処理装置。
  6. 前記フィルタリング部は、抽出された前記所定数のサンプルがとり得るデータと、そのときの演算結果とを対応づけたテーブルを備え、前記テーブルを参照して、抽出された前記所定数のサンプルに対応する演算結果を決定することで、抽出された前記所定数のサンプルをフィルタリングする
    請求項1ないし5のいずれかに記載の信号処理装置。
  7. 前記テーブルは、所定数のビット単位で分割された複数の部分和テーブルで構成され、
    前記フィルタリング部は、各部分和テーブルを参照して、前記所定数のビット単位のサンプルに対応する部分和を求め、前記複数の部分和テーブルの部分和を足し算して、前記演算結果を求める
    請求項に記載の信号処理装置。
  8. 前記DSD信号を記憶する記憶部をさらに備える
    請求項1ないし7のいずれかに記載の信号処理装置。
  9. DSD信号から所定のサンプリング周波数のPCM信号を生成する信号処理装置が、
    前記所定のサンプリング周波数によって決定される所定の間隔のサンプルを中心に、所定数のサンプルを、前記DSD信号から抽出し、
    抽出された前記所定数のサンプルをフィルタリングすることにより、前記所定のサンプリング周波数のPCM信号を生成し、
    前記DSD信号に対する前記PCM信号のディレイ値と、前記DSD信号または前記PCM信号の少なくとも一方を他の装置に送信する
    ステップを含む信号処理方法。
  10. コンピュータに、
    DSD信号から所定のサンプリング周波数のPCM信号を生成する場合に、前記所定のサンプリング周波数によって決定される所定の間隔のサンプルを中心に、所定数のサンプルを、前記DSD信号から抽出し、
    抽出された前記所定数のサンプルをフィルタリングすることにより、前記所定のサンプリング周波数のPCM信号を生成し、
    前記DSD信号に対する前記PCM信号のディレイ値と、前記DSD信号または前記PCM信号の少なくとも一方を他の装置に送信するように制御する
    処理を実行させるためのプログラム。
JP2019527624A 2017-07-05 2018-06-21 信号処理装置、信号処理方法、および、プログラム Active JP7140119B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017131854 2017-07-05
JP2017131854 2017-07-05
PCT/JP2018/023554 WO2019009082A1 (ja) 2017-07-05 2018-06-21 信号処理装置、信号処理方法、および、プログラム

Publications (2)

Publication Number Publication Date
JPWO2019009082A1 JPWO2019009082A1 (ja) 2020-04-30
JP7140119B2 true JP7140119B2 (ja) 2022-09-21

Family

ID=64950934

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019527624A Active JP7140119B2 (ja) 2017-07-05 2018-06-21 信号処理装置、信号処理方法、および、プログラム

Country Status (7)

Country Link
US (1) US10917108B2 (ja)
EP (1) EP3651151A4 (ja)
JP (1) JP7140119B2 (ja)
KR (1) KR20200026815A (ja)
CN (1) CN110800043B (ja)
BR (1) BR112019027958A2 (ja)
WO (1) WO2019009082A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002328683A (ja) 2001-04-27 2002-11-15 Sony Corp データ送信装置、データ受信装置、データ送信方法、データ受信方法、伝送システム
JP2008141470A (ja) 2006-12-01 2008-06-19 Yamaha Corp 1ビットのビットストリームをマルチビットデジタル信号に変換する装置およびプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6438434B1 (en) * 1996-05-29 2002-08-20 Yamaha Corporation Mixing, coding and decoding devices and methods
JP2003208186A (ja) 2002-01-11 2003-07-25 Sony Corp 信号処理装置、信号処理方法
US6982662B2 (en) * 2003-03-06 2006-01-03 Texas Instruments Incorporated Method and apparatus for efficient conversion of signals using look-up table
JP2006079742A (ja) 2004-09-10 2006-03-23 Sony Corp 情報処理装置および方法、並びにプログラム
US20090287493A1 (en) * 2005-05-30 2009-11-19 Koninklijke Philips Electronics, N.V. Direct stream digital audio with minimal storage requirement
JP5092580B2 (ja) * 2007-06-26 2012-12-05 ソニー株式会社 デジタル信号処理装置、デジタル信号処理方法及びデジタル信号処理プログラム
JP5737357B2 (ja) 2013-10-18 2015-06-17 オンキヨー株式会社 音楽再生装置及び音楽再生プログラム
JP6652123B2 (ja) 2015-03-03 2020-02-19 ソニー株式会社 圧縮符号化装置、圧縮符号化方法、復号装置、復号方法、およびプログラム
EP3309781B1 (en) 2015-06-10 2023-10-04 Sony Group Corporation Signal processing device, signal processing method, and program
JP6528600B2 (ja) * 2015-08-24 2019-06-12 オンキヨー株式会社 音声処理装置
US9990173B2 (en) * 2016-04-14 2018-06-05 Cirrus Logic, Inc. Mixing of single-bit and multi-bit audio signals for simultaneous output
US10522155B2 (en) * 2017-02-21 2019-12-31 Cirrus Logic, Inc. Pulse code modulation (PCM) data-marking

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002328683A (ja) 2001-04-27 2002-11-15 Sony Corp データ送信装置、データ受信装置、データ送信方法、データ受信方法、伝送システム
JP2008141470A (ja) 2006-12-01 2008-06-19 Yamaha Corp 1ビットのビットストリームをマルチビットデジタル信号に変換する装置およびプログラム

Also Published As

Publication number Publication date
EP3651151A1 (en) 2020-05-13
US10917108B2 (en) 2021-02-09
BR112019027958A2 (pt) 2020-07-21
EP3651151A4 (en) 2020-07-15
CN110800043B (zh) 2023-10-20
CN110800043A (zh) 2020-02-14
JPWO2019009082A1 (ja) 2020-04-30
WO2019009082A1 (ja) 2019-01-10
KR20200026815A (ko) 2020-03-11
US20200212930A1 (en) 2020-07-02

Similar Documents

Publication Publication Date Title
JP3069051B2 (ja) ディスク駆動システムのオーディオ信号デコーディング装置
JP6264699B2 (ja) 二重の互換性を持つ損失のないオーディオ帯域幅拡張
JP6807031B2 (ja) 信号処理装置、信号処理方法、およびプログラム
US7941235B2 (en) Playback apparatus, playback method, playback system and recording medium
KR20180020295A (ko) 인코딩된 오디오 메타데이터-기반 등화
JP2015519615A5 (ja)
US20070297624A1 (en) Digital audio encoding
JP7140119B2 (ja) 信号処理装置、信号処理方法、および、プログラム
US6759585B2 (en) Musical-file-processing apparatus, musical-file-processing method and musical-file-processing method program
JP3304750B2 (ja) ロスレス符号装置とロスレス記録媒体とロスレス復号装置とロスレス符号復号装置
JP7099447B2 (ja) 信号処理装置、信号処理方法、およびプログラム
JP3304739B2 (ja) ロスレス符号装置とロスレス記録媒体とロスレス復号装置とロスレス符号復号装置
JP2005295394A (ja) 送信装置及び送信方法、受信装置及び受信方法、並びに送受信システム
JP2012155233A (ja) 情報伝送装置
JP2988894B2 (ja) Dvd−ビデオ標準に互換するディジタルオーディオ処理システム
JP2009122609A (ja) 音響信号符号化装置と音響信号復号化装置と、その方法とプログラムと記録媒体
JP2006079742A (ja) 情報処理装置および方法、並びにプログラム
JP3304727B2 (ja) ディジタルデータ受信装置、送信装置及び伝送方法
Proper et al. Surround+ immersive mastering
JP3821151B2 (ja) 1ビットオーディオ信号生成装置及び1ビットオーディオ信号生成方法
JP2002093055A (ja) 信号処理装置、信号処理方法、及び光ディスク再生装置
Stuart The Next Generation Audio CD
JPH05218771A (ja) サブバンド符号化信号再生装置
JP2004140569A (ja) ディジタル信号符号化方法、復号化方法、これらの符号器、復号器及びこれらのプログラム
KR20030080199A (ko) 데이터를 자동으로 변환하고 재생하기 위해 레드북 포맷의데이터와 옐로우북 포맷의 코드를 포함하는 cd

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210512

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220328

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220809

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220822

R151 Written notification of patent or utility model registration

Ref document number: 7140119

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151