JP7299675B2 - ソリッドな映画スクリーン上で音像を知覚する高さを調節すること - Google Patents

ソリッドな映画スクリーン上で音像を知覚する高さを調節すること Download PDF

Info

Publication number
JP7299675B2
JP7299675B2 JP2018098488A JP2018098488A JP7299675B2 JP 7299675 B2 JP7299675 B2 JP 7299675B2 JP 2018098488 A JP2018098488 A JP 2018098488A JP 2018098488 A JP2018098488 A JP 2018098488A JP 7299675 B2 JP7299675 B2 JP 7299675B2
Authority
JP
Japan
Prior art keywords
signal
speaker
display screen
audio
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018098488A
Other languages
English (en)
Other versions
JP2019033472A (ja
Inventor
ウェイン ピース ジュニア ポール
Original Assignee
ハーマン インターナショナル インダストリーズ インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ハーマン インターナショナル インダストリーズ インコーポレイテッド filed Critical ハーマン インターナショナル インダストリーズ インコーポレイテッド
Publication of JP2019033472A publication Critical patent/JP2019033472A/ja
Application granted granted Critical
Publication of JP7299675B2 publication Critical patent/JP7299675B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/305Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/34Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by using a single transducer with sound reflecting, diffracting, directing or guiding means
    • H04R1/345Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by using a single transducer with sound reflecting, diffracting, directing or guiding means for loudspeakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/30Picture reproducers using solid-state colour display devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/04Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/02Spatial or constructional arrangements of loudspeakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/04Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/403Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R27/00Public address systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2420/00Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

関連出願の相互参照
本出願は、2017年8月4日に出願された「ADJUSTING THE PERCEIVED ELEVATION OF AN AUDIO IMAGE ON A SOLID CINEMA SCREEN」という名称の米国仮特許出願第62/541,503号の利益を主張する。この関連出願の主題は、参照により本明細書に組み込まれる。
考えられる実施形態は、概してオーディオシステムに関し、より詳細には、ソリッドな映画スクリーン上で音像を知覚する高さを調整することに関する。
従来の映画スクリーンは、映画スクリーンの後ろに位置するスピーカから、映画スクリーンの前に位置する聴衆に音波を伝達可能な穿孔を含んでいる。没入型の体験を作るために、本明細書で音像と呼ばれる音声を知覚する位置は、音声を生成しているスクリーン上のオブジェクトの視覚的な位置を厳密にたどる必要がある。音声を生成しているオブジェクトは、本明細書では視覚的音源と呼ばれる。視覚的音源は、人物、動物、物体及びその他を含み得る。通常、スピーカは映画スクリーンの後ろの様々な位置に分散され、この効果を達成する。オブジェクト特有の音声を出力するスピーカの位置及び/またはレベルを、これらのオブジェクトが表示されるスクリーンの部分と一致させることによって、音像と視覚的音源との間の空間オフセットを低減することができる。
しかしながら、多数の劇場、スタジアム、コンベンションセンタ、ホームシアタ等は発光ダイオード(LED)スクリーンなどの新しい表示スクリーン技術への移行を開始しているため、スクリーン自体の後ろにスピーカを配置することは選択肢に含まれ得ない。特に、様々な種類のスクリーン(例えば、LED映画スクリーン)は、音波に対して不透明または半透明であり、ゆえに、音波がスクリーンを通過してスクリーンの前に位置する聴衆に伝わることを防止する。さらに、現代の他の種類のスクリーンは、音波を反射させる、歪ませる及び/または別様には音波が映画スクリーンを通して伝達することを妨害する材料を含み得る。ゆえに、このようなスクリーンの後ろに位置するスピーカは、スクリーンの前に位置する聴衆にスクリーンを通して音声を効果的に伝えることができない。
上の欠点に対して提案される1つの解決策は、スピーカをスクリーンから空間的に移動させ、これによって、音波を妨げることなく聴衆に伝達することが可能になる。例えば、スピーカはスクリーンの上、スクリーンの側面(複数可)及び/またはスクリーンの下に配置することができるだろう。しかしながら、スピーカをスクリーンから物理的に移動させることにより、音像と視覚的音源との間に空間的なオフセットが生じ得る。このようなオフセットは、映画の知覚された現実感を減少させる場合があり、ユーザの注意をそらす場合があり、さらにはユーザ体験全体の質を低下させる場合がある。さらに、このオフセットは、スクリーン近くに位置する聴衆には一層顕著になり得る。
前述の例示から、ソリッドな映画スクリーンと連動してオーディオシステムを実装する、より効果的な技法が有益となるだろう。
概要
本開示の様々な実施形態は、ソリッドな映画スクリーン上で知覚された音像の高さを調整するための方法を記載する。本方法は、表示スクリーンの一部と交差するように第1のスピーカの中心軸を配向することと、第1の音声を第1のスピーカから表示スクリーンに向けて出力することとを含む。第1の音声の表示スクリーンからの反射は表示スクリーンの視聴位置に向けられる。
本開示の様々な実施形態は、(i)第1のスピーカと第2のスピーカとの間の距離及び(ii)第1のスピーカと表示スクリーンとの間の距離のうちの少なくとも1つに関する値を記憶し、値に比例する少なくともある時間量だけ第1の信号を遅延させる方法をさらに記載する。
さらなる実施形態は、特に、上記の方法の態様を実装するシステム及びコンピュータ可読記憶媒体を提供する。
有利には、開示された技術は、LEDスクリーンなどの音波を遮断または歪ませるスクリーンを備える娯楽システムにおいて、本明細書では音像と呼ばれる音声の知覚位置と、本明細書では視覚的音源と呼ばれる音声を生成しているスクリーン上のオブジェクトの視覚的な位置との間の整列を改善する。開示された技術は、音像を調整するために実装された可能性のある頭部伝達関数フィルタなどの様々な信号処理技法に関連する音の歪みを低減または排除することによって、音質をさらに改善する。したがって、本明細書に開示された技術は、音像と視覚的音源との間のオフセットを低減しながら、音波に対してソリッド及び/または不透明なスクリーンで高品質のオーディオサウンドトラックを生成することを可能にする。
上に記載した1つ以上の実施形態の列挙した特徴が詳細に理解できる方法で、上に簡潔に要約した1つ以上の実施形態のより具体的な説明は、いくつかの特定の実施形態を参照して行うことができ、その一部を添付の図面に例示する。しかしながら、添付の図面は典型的な実施形態を例示するにすぎず、したがって、様々な実施形態の範囲には他の実施形態も包含されるため、その範囲を限定するものとみなすべきではないことに留意されたい。
例えば、本願は以下の項目を提供する。
(項目1)
表示スクリーンの一部と交差するように第1のスピーカの中心軸を配向することと、
第1の音声を上記第1のスピーカから上記表示スクリーンに向けて出力することであって、上記第1の音声の上記表示スクリーンからの反射は表示スクリーンの視聴位置に向けられる、上記出力することと
を備える、方法。
(項目2)
第2の音声を第2のスピーカから出力することをさらに備え、上記第1の音声及び上記第2の音声の上記反射は上記表示スクリーンの視聴位置で結合する、上記項目に記載の方法。
(項目3)
受信したオーディオ信号を基に、第1の信号を生成することと、
フィルタリングされた第1の信号を生成するために、上記第1の信号の少なくとも1つのスペクトル成分の振幅を調整して上記第1の信号をフィルタリングすることであって、上記スピーカは、上記フィルタリングされた第1の信号を基に、上記第1の音声を出力する、上記フィルタリングすることと
をさらに備える、上記項目のいずれか一項に記載の方法。
(項目4)
上記第1の信号は上記受信されたオーディオ信号の中央チャネルに基づく、上記項目のいずれか一項に記載の方法。
(項目5)
上記フィルタリングは、上記第1の信号をハイパスフィルタでフィルタリングすることを備える、上記項目のいずれか一項に記載の方法。
(項目6)
第2の信号を生成するために、上記オーディオ信号の少なくとも1つのスペクトル成分の振幅を調整する第1のフィルタを介して、受信されたオーディオ信号をフィルタリングすることと、
フィルタリングされた第2の信号を生成するために、ローパスフィルタを介して、上記第2の信号をフィルタリングすることであって、上記第2の音声は上記フィルタリングされた第2の信号に基づく、上記フィルタリングすることと
をさらに備える、上記項目のいずれか一項に記載の方法。
(項目7)
上記第1のフィルタは頭部伝達関数フィルタである、上記項目のいずれか一項に記載の方法。
(項目8)
第1の音声を出力するように構成される第1のスピーカであって、上記第1のスピーカの中心軸が表示スクリーンの一部と交差し、上記第1の音声の上記表示スクリーンからの反射は表示スクリーンの視聴位置に向けられる、上記第1のスピーカと、
第2の音声を出力するように構成される第2のスピーカであって、上記第2のスピーカの中心軸が上記表示スクリーンから離して向けられ、上記第1の音声及び上記第2の音声の上記反射は上記表示スクリーンの視聴位置で結合する、上記第2のスピーカと
を備える、システム。
(項目9)
受信されたオーディオ信号から第1の信号を生成するように構成されるオーディオモジュールと、
フィルタリングされた第1の信号を生成するために上記第1の信号をフィルタリングするように構成されるフィルタであって、上記第1の音声は上記フィルタリングされた第1の信号に基づく、上記フィルタと
をさらに備える、上記項目に記載のシステム。
(項目10)
上記第1の信号は上記受信されたオーディオ信号の中央チャネルに基づく、上記項目のいずれか一項に記載のシステム。
(項目11)
上記フィルタはハイパスフィルタである、上記項目のいずれか一項に記載のシステム。
(項目12)
第2の信号を生成するために、受信されたオーディオ信号の少なくとも1つのスペクトル成分の振幅を調整するように構成される第1のフィルタと、
上記第2の信号を基に、フィルタリングされた第2の信号を生成するように構成される第2のフィルタであって、上記第2の音声は上記フィルタリングされた第2の信号に基づく、上記第2のフィルタと
をさらに備える、上記項目のいずれか一項に記載のシステム。
(項目13)
上記第1のフィルタは頭部伝達関数フィルタである、上記項目のいずれか一項に記載のシステム。
(項目14)
上記第2のフィルタはローパスフィルタである、上記項目のいずれか一項に記載のシステム。
(項目15)
(i)第1のスピーカと第2のスピーカとの間の距離及び(ii)上記第1のスピーカと表示スクリーンとの間の距離のうちの少なくとも1つに関する値を記憶することと、
上記値に比例する少なくともある時間量だけ第1の信号を遅延させることと
を備える、方法。
(項目16)
上記第1の信号は映像信号である、上記項目に記載の方法。
(項目17)
上記第2のスピーカは上記第1の信号を基に音声を出力する、上記項目のいずれか一項に記載の方法。
(項目18)
調整された信号を生成するために、受信されたオーディオ信号に頭部伝達関数フィルタを適用することをさらに備え、上記頭部伝達関数フィルタは上記受信されたオーディオ信号の少なくとも1つのスペクトル成分の振幅を調整し、スピーカは上記調整された信号を基に音声を出力する、上記項目のいずれか一項に記載の方法。
(項目19)
上記第1の信号は上記調整された信号に基づく、上記項目のいずれか一項に記載の方法。
(項目20)
上記スピーカが上記調整された信号を基に上記音声を出力する前に、上記調整された信号にローパスフィルタを適用することをさらに備える、上記項目のいずれか一項に記載の方法。
(摘要)
音声に対してソリッド及び/または別様には不透明な表示スクリーンを有する視聴覚システムのための技法が開示される。スピーカから出力される音声は、表示スクリーンの一部と交差するように配向され、音声の表示スクリーンからの反射は視聴覚システムの視聴位置に向けられる。表示スクリーンに配向されたスピーカ及び他のスピーカによる出力用の音声を生成するために、さらなる信号処理技法が開示される。追加的には、視聴覚システムの音声及び映像出力に影響を与える他の信号処理及び制御技法が開示される。
様々な実施形態による、本開示に記載する視聴覚システムの1つ以上の態様を実装するように構成されるコンピューティングシステムの概念ブロック図を例示する。 様々な実施形態による、音像と視覚的音源の位置との間のオフセットを有する視聴覚システムを例示する。 様々な実施形態による、図2に例示したオフセットを低減し、音の音質を改善するために天井付近に配置される補助スピーカを備える視聴覚システムを例示する。 様々な実施形態による、視聴覚システムの側面付近に配置される補助スピーカを備える視聴覚システムの立面図を例示する。 様々な実施形態による、図4Aの視聴覚システムの平面図を例示する。 様々な実施形態による、視聴覚システムの側面及び天井付近に配置される補助スピーカを備える視聴覚システムの平面図を例示する。 様々な実施形態による、図3~図5の視聴覚システムに含まれる1つ以上の補助スピーカへの出力(複数可)を生成するために実装される可能性がある、信号処理回路のブロック図を例示する。 様々な実施形態による、中央チャネルのみに基づき、図3~図5の視聴覚システムに含まれる1つ以上の補助スピーカへの出力(複数可)を生成するために実装される可能性がある、別の信号処理回路のブロック図を例示する。 様々な実施形態による、図1のコンピューティングシステムにより使用され、1つ以上の主要スピーカ及び図3及び図4Aの視聴覚システムにある1つ以上の補助スピーカへの出力(複数可)を生成し得る、例示的なフィルタセットの周波数応答を例示する。 様々な実施形態による、視聴覚システムにある1つ以上の主要スピーカ及び1つ以上の補助スピーカへの出力(複数可)を生成するための方法ステップのフロー図である。
以下の説明では、本開示の実施形態のより完全な理解を提供するために、多数の特定の詳細が記載される。しかしながら、本開示の実施形態はこれらの1つ以上の特定の詳細を伴うことなく実施され得ることが当業者には明らかであるだろう。
システム概要
図1は、本開示に記載する視聴覚システムの1つ以上の態様を実装するように構成されるコンピューティングシステムの概念ブロック図を例示する。図示の通り、コンピューティングシステム100は、処理ユニット110、入出力デバイス120及びメモリデバイス130を含むが、これらに限定されない。メモリデバイス130は、データベース134と相互作用するように構成されるデジタル信号処理(DSP)アプリケーション132を含む。コンピューティングシステム100は、図3~図5に示すような視聴覚システムの一部であり得る。
処理ユニット110は、中央処理装置(CPU)、デジタル信号処理装置(DSP)、制御装置などを含み得る。様々な実施形態では、処理ユニット110は、アナログ信号、デジタル信号等などの入力信号を受信するように構成される。処理ユニット110は、入力信号(複数可)を処理し、(例えば、フィルタ、増幅器、遅延及び/または他の処理技法により)1つ以上の出力信号を生成する。処理ユニット110は、処置された信号を入出力デバイス120に出力し得る。
入出力デバイス120は、様々な種類の信号ソース及び信号シンクを含み得る。信号ソースは、光/アナログデータ(例えば、映画用)を読み出すデバイス、デジタルデータ(例えば、デジタルファイル用)を記憶する及び/または読み出すデバイス、補助入力チャネル、サウンドジェネレータ、映像もしくはグラフィックスジェネレータまたはコンピューティングシステム100によって使用され得る任意の他のデータソースを含み得るが、これらに限定されない。信号シンクの例は、アナログ及び/またはデジタル信号受信機、増幅器、スピーカ(例えば、サブウーファー、ホーン型スピーカ、静電スピーカ、平面磁気スピーカ及びその他)、映像表示デバイスまたはコンピューティングシステム100からデータを受信し得る任意の他のソースを含む。信号ソース及び信号シンクはコンピューティングシステム100に直接的または間接的に接続され得る。
メモリユニット130は、メモリモジュールまたはメモリモジュールの集合を含み得る。メモリユニット130は、デジタル信号処理(DSP)アプリケーション132及びデータベース134を含む。DSPアプリケーション132は、入出力デバイス120及びデータベース134の1つ以上の要素と通信してよく、及び/またはこれらを制御してよく、それによって、コンピューティングシステム100の一部またはすべての機能を実施する。データベース134は、デジタル信号処理アルゴリズム、HRTF、フィルタリング用の周波数リスト、スピーカプリセット及びその他を記憶し得る。
コンピューティングシステム100は、全体として、マイクロプロセッサ、特定用途向け集積回路(ASIC)、システムオンチップ(SoC)、モバイルコンピューティングデバイス(例えば、タブレットコンピュータまたは携帯電話)、プラグアンドプレイシステム及びその他であり得る。一般的に、コンピューティングシステム100は、入出力デバイス120にある1つ以上のスピーカの全体動作を調整するように構成され得る。他の実施形態では、コンピューティングシステム100は、入出力デバイス120の1つ以上のスピーカと連結してよいが、個別であってもよい。このような実施形態では、入出力デバイス120は、コンピューティングシステム100に入力信号を送信し、コンピューティングシステム100から処理された信号を受信するプロセッサを含み得る。本明細書に開示される様々な技法(例えば、信号処理、HRTFフィルタリング等)は、様々な実施形態において、DSPアプリケーション132を介して実行されるものとして記載されるが、これらの技法のいずれかは、専用デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、システムオンチップ(SoC)、マイクロプロセッサ等によって行われ得る。コンピューティングシステム100によって実行される信号処理技法のさらなる例を以下に提供する。
図2は、様々な実施形態による、音像と視覚的音源の位置との間のオフセットを有する視聴覚システムを例示する。視聴覚システム200は、スクリーン210、1つ以上のスピーカ220及び1つ以上のサラウンドスピーカ260を含む。
図示の通り、図2は、スクリーン210上の表示位置に表示される視覚的音源230を図示する。他の視覚的音源は、スクリーン210(図示せず)上の他の場所に表示され得る。視覚的音源が表示されると同時に、スピーカ220は、視覚的音源230によって生成された音声(複数可)に対応する音波を生成し得る。例えば、視覚的音源230は、人間の口が会話方式で動いている可能性があり、スピーカ220は、その動きに関連する口頭の対話を含む音波を生成する可能性がある。本明細書に開示された技術がない場合、音像は、スクリーン210上の適切な視覚的音源の位置に整列されるのではなく、ユーザ視点からスピーカ220に整列されてよい。
視聴覚システム200などの視聴覚システムは、一般的に、ユーザがスクリーン210上の映像及びスピーカ220またはサラウンドスピーカ260からのオーディオを同時に知覚し得る多数の場所を有する。これらの場所の一部は一般的に(例えば、劇場形態の座席環境に位置する座席のほぼ頭部の高さで)固定されることがあり、一方、他の場所は非常に変わりやすい(例えば、ホームシアターシステムと同じ部屋に直立しているユーザ)ことがある。これらの場所は、本明細書ではユーザ視点と呼ぶ。例えば、ユーザ視点240-1は、劇場座席を有する例示的な視聴覚システムの第2の列のいずれかに位置する。当然ながら、図2に示す視聴覚システムには、図示していない他の多数のユーザ視点が存在する。
ユーザ視点240-1、240-2及び240-3に位置するユーザは、視覚的音源230を見ることができ、スピーカ220から音波を聞くことができる。特定のユーザ視点の影響により、視覚的音源と音像との間で様々な視聴覚オフセットが生じ得る。例えば、ユーザ視点240-3では、視聴覚オフセット250-3は1度であり得る。ユーザ視点240-2では、視聴覚オフセット250-2は6度であり得る。ユーザ視点240-1では、視聴覚オフセット250-3は12度であり得る。視覚的音源と音像との間のこれらの不整合は、角度分離が約6度を超えるとユーザの注意をそらし得る。例えば、ユーザは、スクリーンの上に位置するスピーカから犬がほえる声を聞く場合があり、ユーザは音像によりスクリーンの上部を見る。同時に、犬、つまり視覚的音源は、スクリーンの下部に表示され得る。一般的に、視覚的音源と音像との間の視聴覚オフセット(すなわち、不整合)の度合は、スクリーン上の視覚的音源の位置に対するユーザ視点及び音像を生成している主要スピーカ(複数可)の位置(複数可)に応じて異なる。
視聴覚オフセットを低減する1つの技法は、頭部伝達関数(HRTF)の使用を伴う。HRTFは、ユーザが聞いたときに知覚する音源の位置を調整するために、音波のスペクトルコンテンツの強度及びタイミングを調整する。ユーザの身体の様々な解剖学的特徴は、スピーカ220のような音源の知覚位置に影響を与え得る。特に、ユーザの身体の額、顔、耳、顎、胸及び他の部分の形状ならびにサイズは、音源の知覚位置に影響を与える。例えば、音波は、ユーザの身体の様々な部分から反射し、ユーザの外耳道に入り、ユーザの鼓膜を振動させる。様々な身体部分の形状は、右の耳を通して聞こえる音声と、左の耳を通して聞こえる音声との間の強度差及びタイミング遅延に影響を与える。これらの強度差及びタイミング遅延は、音声のスペクトル成分に応じて変わり得る。これらの強度差及びタイミング遅延に基づき、ユーザは、スピーカ220が生成した音声を、特定の場所から発生しているものとして知覚する。
平均的なユーザの身体形状を決定することにより、音源の知覚位置を修正するための強度差及びタイミング遅延の調整が可能なHRTFが生成され得る。様々な実施形態では、DSPアプリケーション132は、1つ以上の頭部伝達関数(HRTF)に対応するフィルタなどの1つ以上のフィルタを入力信号に適用し得る。例えば、スピーカ220がスクリーン230の上に配置されている場合、DSPアプリケーション132は、例えば、入力信号をフィルタリングして、知覚された低い高さに関連する強度差及びタイミング遅延を増幅し、知覚された高い高さに関連する強度差及びタイミング遅延を抑制することにより、位置240-1、240-2及び240-3を含むユーザ視点で音声の知覚空間オフセット250を低減し、音源の知覚位置を下げるまたは低下させることができる。
様々な実施形態において、平均的なユーザに基づいてHRTFを利用して入力信号をフィルタリングすることは、特定のユーザに対して出力音声を歪ませ得る。例えば、7kHz領域の音声は、脳が音像をどの程度垂直に配置するかに大きく作用する。理想的なHRTFと特定のユーザのHRTFとの間のこの周波数範囲の誤差は、時間とともに変化することがあり、例えば、知覚された音像が不安定な場合には、注意をそらすか、または混乱するといった体験を引き起こす。さらに、フィルタリングされた入力信号の周波数応答は一定とはならない。ゆえに、一部の周波数は他の周波数に対して不均衡に増幅され得る。例えば、低い周波数は高い周波数に対して不均衡に増幅される可能性がある。
図3は、様々な実施形態による、図2に例示したオフセットを低減し、音声の音質を改善するために天井付近に配置される補助スピーカを備える視聴覚システムを例示する。図示の通り、視聴覚システム300は、主要スピーカ320、補助スピーカ350及びスクリーン310上の視覚的音源330を含む。ユーザ視点340は、視聴覚システム300に関連する第3の列のいずれかに位置する。
上記の通り、HRTFフィルタリングされた音声が主要スピーカ320により発せられると、主要スピーカ320と視覚的音源330との間の知覚空間オフセットが低減される。上に説明した通り、平均的な人物に基づいたHRTFと、特定の人物に関連付けられたHRTFとの間の差異は、音像に誤差を発生させることがあり、HRTFは他の音を歪ませ得る。これらの問題を補うために、1つ以上の補助スピーカ350が視聴覚システム300に含まれている。一実施形態では、補助スピーカ350は、音声を出力するために、視聴覚システム300の天井付近に配置される。さらに、補助スピーカ350は、指向性ビームフォーミングなどを介して視覚的音源330に伝達する音声を出力し得る。視覚的音源330の位置でスクリーン310から反射する音波は、ユーザ視点340のユーザによって、視覚的音源330と共に配置されているものとして知覚され得る。いくつかの実施形態では、補助スピーカ350は、最大の音声強度を視聴環境内の特定の場所に反射する位置で、視聴覚システム300の天井の近くに配置され、配向される。例えば、補助スピーカ350は、ユーザ視点340での視聴環境の第3の列の中心で最大音声強度を生成するために、スクリーン310から反射する音声を出力し得る。
HRTFフィルタリングプロセスは音の歪みをもたらすため、いくつかの実施形態では、主要スピーカ320を排除してよく、1つ以上のユーザ視点に音声を反射するために、補助スピーカ350はフルレンジオーディオをスクリーン310に向けて出力してよい。このような技法は、補助スピーカが聴衆に音声を直接的に発することなく、その音声エネルギーのすべてを反射面に出力することが必要となり得る。
様々な実施形態では、DSPアプリケーション132は、主要スピーカ320と関連して音声を出力するために、補助スピーカ350を構成する。特に、DSPアプリケーション132は、主要スピーカ320によって出力される音声を増大させるために、補助スピーカ350を構成する。例えば、補助スピーカ350は、7kHzの周波数範囲にある主要スピーカ320によって出力される音声が(例えば、HRTFフィルタリングにより)抑制されている場合、7kHzを中心とする帯域で音声を出力する可能性がある。さらに、補助スピーカ350によって生成される音波の振幅は、スクリーン310の反射率係数、補助スピーカとスクリーンとの間の距離及びスクリーンと聴衆との間の距離に基づいて調整され得る。例えば、反射率係数が閾値より低い場合には音波の振幅を増加させてよく、反射率係数が閾値よりも高い場合には振幅を減少させてよい。
様々な実施形態では、補助スピーカ350によって出力される音波は、主要スピーカ320によって出力されているHRTFフィルタリングを受けた音波によって生成される音像の安定性を改善する。例えば、補助スピーカ320は、ユーザによって、スクリーン320から反射された音波が視覚的音源330から発生しているように知覚されるよう、配置及び配向される可能性がある。このように、補助スピーカ350によって生成される音波は、主要スピーカ320によって出力されたHRTFフィルタリングを受けた音波によって生成される音像を改善し安定させる。追加的に、または代替的に、補助スピーカ350によって生成された音波は、スクリーン310から1人以上のユーザに向かって反射し、1つ以上のフィルタリング技法(例えば、HRTFフィルタリング)の副生成物である音の歪みを補正し得る。
図4Aは、様々な実施形態による、視聴覚システムの側面付近に配置される補助スピーカを備える視聴覚システムの立面図を例示する。図示の通り、視聴覚システム400は、主要スピーカ420、補助スピーカ450及びスクリーン410上の視覚的音源430を含む。ユーザ視点440は、視聴覚システム400に関連する第3の列のいずれかに位置する。
補助スピーカ450は、視聴覚システム400の側面に配置される。補助スピーカ450は、音波を視覚的音源430の水平面に向けるように構成されている。視覚的音源430と同じ水平面でスクリーン410から反射する音波は、ユーザ視点440のユーザによって、視覚的音源430と共に垂直に配置されているものとして知覚されてよく、これにより、知覚された空間オフセットが低減される。
図4Bは、様々な実施形態による、図4Aの視聴覚システムの平面図を例示する。補助スピーカ450-1は、視聴覚システム400のユーザの左耳に向けられた左の音波を生成する。補助スピーカ450-2は、視聴覚システム400のユーザの右耳に向けられた右の音波を生成する。上で説明した通り、知覚される最大の視聴覚オフセットは、いくつかの視聴覚システムの第1の列で(例えば、ユーザ視点441で)発生し得る。したがって、ユーザ視点441の第1の列またはその前で交差する左の反射音波及び右の反射音波の最大が、最大数のユーザ視点に対してHRTFフィルタリング処理の効果を緩和し得るよう、補助スピーカ450-1及び450-2の位置、指向性及び方向を変更してよい。特定の視聴覚システムでは、ユーザ視点441の第1の列に沿って補助スピーカ450-1及び450-2を配置することによって、補助スピーカから出力される音声エネルギーはユーザ視点441の第1の列の前で結合させられ得る。他の実施形態では、左の反射音波及び右の反射音波の最大が他の列(例えば、第3または第4の列)で交差するように、補助スピーカ450-1及び450-2を視聴覚システム400の側面に配置し、配向してよい。
一般的に、補助スピーカ(複数可)は、スクリーン上の正しい位置に音像を生成する一方、ユーザ視点の全域に均一な音声の範囲を割り当てるように設計され配置される。視聴覚システム400の側面に配置された補助スピーカ450-1及び450-2は、好適には、スクリーン410の高さの中間点と同じ垂直方向の高さにあり得る。補助スピーカ450-1から出力された音響エネルギーの中心軸は、次いで、スクリーン410の左3分の1と中央3分の1との間の中間点411に水平方向に向かい得る。同様に、補助スピーカ450-2から出力された音響エネルギーの中心軸は、次いで、スクリーン410の右3分の1と中央3分の1との間の中間点412に水平方向に向かい得る。
図5は、様々な実施形態による、視聴覚システムの側面及び天井付近に配置される補助スピーカを備える視聴覚システムの平面図を例示する。図示の通り、視聴覚システム500は、スクリーン510、主要スピーカ520、視聴覚システム500の側面に配置される補助スピーカ550-1及び550-2ならびに視聴覚システム500の天井付近に配置される補助スピーカ550-3を含む。
左の補助スピーカ550-1、右の補助スピーカ550-2及び中央の補助スピーカ550-3から出力される音声を結合し、さらに視聴覚オフセットを低減するか、もしくはHRTFフィルタリングの効果を緩和するか、補助スピーカ及び主要スピーカから結合された音声を受信する視聴覚システム500においてユーザ視点の数を増やすか、または補助スピーカから出力される音声エネルギーのより均一な範囲を提供し得る。
上記の実施形態のそれぞれにおいて、主要または補助スピーカは、1つ以上の種類のスピーカを含んでよい。さらに、主要または補助スピーカが示された各位置には、1つ以上のスピーカが含まれてよい。例えば、補助スピーカ450-1は、3つのホーン型スピーカを含んでよい。一般的に、スピーカ導波管の形状は、出力音声の出力角度及び指向性を調整し得る。本明細書で使用される場合、スピーカの中心軸は音響エネルギー出力のピーク方向と整列した軸を指す。例えば、ホーン型スピーカの中心軸は、スピーカホーンから離れて垂直に延長する軸上にあってよい。好適な実施形態では、補助スピーカの指向性は、好適には、視聴覚システムにおける様々なユーザ視点(例えば、低いビーム幅)に直接的に送信される音声エネルギーの量を最小化する範囲領域となる。例えば、ユーザ視点で補助スピーカから直接的に受信される音声エネルギーレベルは、有害なオーディオアーチファクト(例えば、エコー)を低減または排除するために、スクリーンから反射された音波から受信されるエネルギーと比較して、-6dB、-10dB、-15dBまたは-20dBとなり得る。追加的には、補助スピーカ450は、ユーザ視点に伝達する前に、スクリーンに伝達してスクリーンから反射する音波を生成するために、主要スピーカよりも長い到達距離を有し得る。
図6は、様々な実施形態による、図3~図5の視聴覚システムに含まれる1つ以上の補助スピーカへの出力(複数可)を生成するために実装される可能性がある、信号処理回路のブロック図を例示する。信号処理回路600は、処理ユニット110に存在し、視聴覚システム用の出力を生成するために使用され得る。図示の通り、信号処理回路600は、オーディオ入力601、等化器610、HRTFフィルタ620、ローパスフィルタ630、反射器ミキサ640、ハイパスフィルタ650及び遅延ブロック660を含み得る。好適には、処理ユニット110は、各コンポーネントの動作方法を調整するために使用され得る値を記憶する1つ以上のプログラム可能な記憶場所を含み、これは個々の視聴覚システムの視聴環境のオーディオ出力をチューニングするのに有益である。
オーディオ入力601は、視聴覚ソース(例えば、ドライブまたはディスクに記憶された映像ファイル)から発生する1つ以上のアナログまたはデジタル信号を含んでよい。オーディオ入力601は、中央チャネル601a、左チャネル601b及び右チャネル601cなどの1つ以上のチャネルを含んでよい。サイドチャネル、リアチャネルまたは低周波数チャネルなどのサラウンドスピーカ用の追加チャネルは図示されない。オーディオ入力601は、ソースと等化器610との間の他のオーディオ処理(例えば、チャネルの分離等)を受けることがある。
等化器610は、オーディオ入力601を受信し、オーディオ入力601に含まれる周波数成分のレベルを調整し得る。図示の通り、等化器610は、オーディオ信号Ceq、Leq及びReqをHRTFフィルタ620に出力し、オーディオ信号Ceq’、Leq’及びReq’を反射器ミキサ640に出力する。一実施形態では、等化器は、直列の有限インパルス応答(FIR)フィルタ及び無限インパルス応答(IIR)フィルタを含み得る。FIRフィルタの出力はIIRフィルタの入力に接続されている。一実施形態では、等化器610から反射器ミキサ640への出力は、FIRフィルタからであってよく、等化器610からHRTFフィルタへの出力は、IIRフィルタからであってよい。代替的には、等化器610からHRTFフィルタ620及び反射器ミキサ640への出力は同等であってよい。
HRTFフィルタ620は、等化されたオーディオ信号を等化器610から受信し、HRTFフィルタを適用する。これまでに説明した通り、HRTFは、音源の知覚位置を修正するために、ユーザの左耳及び右耳で最終的に受信される音波の強度及びタイミングを調整し得る。例えば、図3に示す通り、主要スピーカがスクリーンの上に位置する場合、HRTFフィルタ620は、知覚された音源の位置を下げ得る。HRTFフィルタ620は、CHRTF、LHRTF及びRHRTFを出力し、これらはローパスフィルタ630でフィルタリングされ、その結果として生成された低周波出力は遅延ブロック660に入力される。ローパスフィルタ630の機能は、図8に関連してさらなる詳細を以下に説明する。
図6に示す実施形態では、反射器ミキサ640は、等化されたオーディオ信号Ceq’、Leq’及びReq’を等化器610から受信する。反射器ミキサ640は、これらから発生する補助スピーカ用の出力CRE、RRE及びLREを合成する。各補助チャネル出力CRE、RRE及びLREに対する混合は、各チャネルCeq’、Leq’及びReq’の相対レベルに基づき得る。CRE、RRE及びLREはハイパスフィルタ650によってフィルタリングされ、結果として生じる高周波数出力は遅延ブロック660に入力され得る。いくつかの実施形態では、CRE、RREまたはLREが視聴覚システム内の他の信号の基準として機能し得るため、CRE、RREまたはLREのうちの1つ以上は遅延しない(例えば、遅延ブロック660を通してルーティングされないか、ゼロ遅延が適用される)。ハイパスフィルタ650の機能は、図8に関連してさらなる詳細を説明する。
遅延ブロック660は、CHRTF_LF、LHRTF_HF、RHRTF_HF、CRE_HF、LRE_HF、RRE_HF及び任意の低周波数またはサラウンドスピーカ(図示せず)の相対的なタイミングを調整する。上記の通り、遅延ブロック660は、CRE_HF、LRE_HF、RRE_HFを受信または遅延させることができない。図5を参照すると、CHRTF_LF、LHRTF_HF、RHRTF_HFは、主要スピーカ520-3、520-1及び520-2のそれぞれのオーディオ出力であり得、一方CRE_HF、LRE_HF及びRRE_HFは、補助スピーカ550-3、550-1及び550-2のそれぞれの出力であり得る。特にスクリーン及び主要スピーカ(複数可)に対する補助スピーカ(複数可)の位置及び指向性を含む、特定の視聴覚システムの形状に応じて、オーディオ出力信号CHRTF_LF、LHRTF_HF及びRHRTF_HF及びサラウンドスピーカまたは低周波数スピーカ(図示せず)などの非補助スピーカへの任意の他の出力信号は、補助スピーカから出力された音波が、関連する音波(例えば、映画内の同じソースからの音声)を出力する非補助スピーカに到達する飛行時間とほぼ同じくらい遅延する必要がある。図4Bを一例として参照すると、補助スピーカ450-1及び450-2が主要スピーカ420-3から30フィート離れている場合、CHRTF_LFは、343メートル/秒の秒速を基に、LRE_HF及びRRE_HFに対して少なくとも約26.6ミリ秒遅延し得る。代替的には、補助スピーカとスクリーンとの間の距離は、遅延を推定するために使用されてよい。飛行時間を基に追加のバイアスを任意の遅延に加え、補助チャネル上の追加の信号処理を考慮するか、または視聴覚システムをさらに調整してよい。補助スピーカ遅延に関連する遅延は「ハウス」遅延であり、任意の非補助スピーカチャネルだけでなくスクリーン410に表示される任意の映像にも適用されることに留意されたい。遅延ブロック660は、好適には、異なる視聴覚システム環境に適合するために、様々な遅延を異なるチャネル適用できるようにプログラム可能である。遅延ブロック660は、時間または距離に関連する値、または所定の遅延または距離増分に比例する値でプログラムされてよい。例えば、遅延ブロック660がCHRTF_LFに適用される遅延の16進値を受け入れる場合、0xFFの値は、距離で増分する場合(つまり、増分あたり2フィート)には510フィートに相当し、0x0Fの値は、時間で増分する場合(つまり、増分あたり0.2ミリ秒)には、3.0ミリ秒に相当し得る。
図7は、様々な実施形態による、中央チャネルのみに基づき、図3~図5の視聴覚システムに含まれる1つ以上の補助スピーカへの出力(複数可)を生成するために実装される可能性がある、信号処理回路の別のブロック図を例示する。信号処理回路700は、処理ユニット110に存在し、視聴覚システム用の出力を生成するために使用され得る。一般的に、信号処理回路700は、図6に関連して上に説明した信号処理回路600と同様の方式で動作するが、いくつかの態様が簡略化されている。特に、中央チャネルオーディオ入力701aは、反射器ミキサ740による反射器チャネルLRE及びRREの合成に使用される唯一のチャネルである。反射器ミキサ740は、等化された中央チャネルCeq’を等化器610から受信し、反射器の左右の反射器チャネルLRE及びRREを生成する。中央反射器チャネルは合成されない。一実施形態では、反射器ミキサは、Ceq’のレベルを-3dBほど調整してLRE及びRREを生成してよく、これにより、出力時にLRE及びRREは音響的に結合してCeq’の元のパワーレベルに近似する。追加的には、反射器チャネルの合成には中央チャネルのみが使用されるため、HRTFフィルタ720から出力された中央チャネルのみが、遅延ブロック760の前にローパスフィルタ730によってフィルタリングされる。上記の通り、信号処理の一部を分離することによって、調節可能なパラメータの全体数が減少し、これにより、知覚可能な音質にほとんどまたは全く影響を与えることなく、設置プロセスを簡略化し得る。
図8は、様々な実施形態による、図1のコンピューティングシステムにより使用され、1つ以上の主要スピーカ及び図3~図5の視聴覚システムにある1つ以上の補助スピーカへの出力(複数可)を生成し得る、例示的なフィルタセットの周波数応答を例示する。上に説明した通り、HRTFフィルタリングは、音の歪み及び/または音声の抑制をもたらし得る。周波数応答810は、HRTFフィルタの例示的な副生成物を図示する。この例では、HRTFフィルタは、約6.5kHzで約-3dBのピークを有する、約3kHzから10.3kHzの間の周波数を抑制する。この「ノッチ」は、HRTFフィルタリングされた各チャネルに影響を与え得る。
上に説明した通り、1つ以上の補助スピーカからの音声は、HRTFフィルタの負の効果を弱めるために、主要スピーカ(複数可)からの音声を増大させ得る。フィルタリングアーチファクトを最小限に抑えて音質を向上させるためには、主要スピーカ(複数可)によって出力される周波数と、補助スピーカ(複数可)によって出力される周波数との間の円滑な遷移が望まれ得る。約-8dB/オクターブのロールオフで約6.5kHzのニーをもつ周波数応答820を有するローパスフィルタが選択される。相補ハイパスフィルタの周波数応答830は、以下の
Figure 0007299675000001
のように数学的に導出してよく、ここで、
Figure 0007299675000002
はカスケードされたHRTFフィルタ及びローパスフィルタの結果である。好適な実施形態では、ハイパスフィルタ及びローパスフィルタの両方が、同じ位相応答及び遅延を有する線形FIRフィルタである。理想的には、主要スピーカ(複数可)及び補助スピーカ(複数可)からフィルタリングされる音声出力の合計は、理想的には、ユーザ視点の全域にシームレスなパワー応答曲線を生成する。
使用されるフィルタの順序及び/または種類を変更するフィルタ構成を含め、他のフィルタ構成を使用してよいことに留意されたい。例えば、図8に示す主要スピーカと補助スピーカとの間の周波数出力の段階的な遷移ではなく、シャープなカットオフを有するローパスフィルタを使用して主要スピーカ(複数可)への出力をフィルタリングしてよく、シャープなカットオフを有するハイパスフィルタを使用して、補助スピーカ(複数可)への出力をフィルタリングしてよい。代替的には、バンドストップフィルタは、HRTFフィルタによって影響を受けた周波数が主要スピーカ(複数可)によって出力されるのをフィルタリングしてよく、一方バンドパスフィルタを使用して補助スピーカ(複数可)から出力を生成してよい。
図9は、様々な実施形態による、視聴覚システムにある1つ以上の主要スピーカ及び1つ以上の補助スピーカへの出力(複数可)を生成するための方法ステップのフロー図である。方法ステップは図3~図8に関連して説明するが、当業者であれば、方法ステップを任意の順序で行うように構成される任意のシステムが、様々な実施形態の範囲内に該当することを理解するだろう。
図示の通り、方法900はステップ910で開始し、ステップ910では、DSPアプリケーション132は媒体ソースからオーディオ信号を受信する。オーディオ信号は、映像に付随するオーディオトラックを表す時系列データセットの値を備え得る。オーディオ信号は、1つ以上のオーディオチャネルを表す複数の時系列データセットを有し得る。ステップ920では、DSPアプリケーション132は、メモリ130またはデータベース134に記憶された特定のプリセットまたはパラメータに基づいて、受信されたオーディオ信号の周波数成分を等化し得る。次に、ステップ930では、DSPアプリケーション132は等化されたオーディオ信号にHRTFフィルタを適用し、次いで、ステップ950では、HRTFフィルタリングを受けた信号にローパスフィルタを適用し得る。各フィルタを適用する際に、DSPアプリケーションは、HRTFフィルタ及びローパスフィルタに関連する様々なフィルタパラメータのためにメモリ130またはデータベース134にアクセスし得る。
同時に、ステップ940では、DSPアプリケーション132は等化されたオーディオ信号成分を混合して反応器信号を生成し、次いで、ステップ960では、反応器信号にハイパスフィルタを適用し得る。再び、DSPアプリケーション132は、等化されたオーディオ信号の混合を調整するために使用される様々なパラメータまたはハイパスフィルタのパラメータのために、メモリ130またはデータベース134にアクセスし得る。最後に、ステップ970では、DSPアプリケーション132は、メモリ130またはデータベース134に記憶されたパラメータに基づいて、フィルタリングされた様々な信号のうちの1つ以上を遅延し得る。上記の通り、いくつかの実施形態では、補助スピーカ(複数可)の信号は遅延できない。上記のステップに関連する追加の詳細は、図6~図8に関連する議論で見出され得る。ステップ970で出力される信号は、音声出力のために最終的に1つ以上のスピーカにルーティングされる前に、さらなる処理を受けることがある。最終的に、ステップ980及び990では、ステップ970で出力された処理済みの信号に基づいて、主要スピーカ(複数可)及び補助スピーカ(複数可)から音声がそれぞれ出力される。補助スピーカ(複数可)から出力される音声は、スクリーンから反射して主要スピーカ(複数可)から出力される音声と結合し、音の歪みを低減または排除し、音像を視覚的音源の位置に整列させる。
要約すると、1つ以上の補助スピーカは、視聴覚システムのスクリーンの前に配置され、一般的にはスクリーンに向けられる。このような補助スピーカは、視聴覚システムの位置にある壁または天井に配置され得る。好適には、補助スピーカ(複数可)から出力される音声エネルギーの大部分は、ユーザ視点に直接的に伝達せず、スクリーンからユーザ視点に向かって反射する。いくつかの実施形態では、1つ以上の主要スピーカは、スクリーンの上、下または側面(複数可)に配置され、一般的にはユーザ視点に向けられる。主要スピーカ(複数可)から出力される音声エネルギーは、ユーザ視点に直接的に伝達し、補助スピーカ(複数可)から出力されスクリーンから反射された音声エネルギーと視聴位置で音響的に結合する。主要スピーカ及び/または補助スピーカ(複数可)による出力用の個別のオーディオ信号を生成するために、様々な信号処理技法を実施してよい。補助スピーカ(複数可)用のオーディオ信号は、ハイパスフィルタを通過してよく、主要スピーカ(複数可)用のオーディオ信号は、ローパスフィルタ及び/または低下フィルタを通過してよい。
本明細書に記載された技術の少なくとも1つの利点は、音波に対してソリッド及び/または別様には半透明なスクリーンを有する視聴覚システムにおいて音像と視覚的音源の位置との間のオフセットを低減または排除することであり、これによって、ユーザが注意をそらすこと及び/または方向感覚を失うことを低減する。追加的には、開示された技術により、このような音響的に半透明のスクリーンを有する視聴覚システムでの高品質のオーディオ生成が可能になり、これには、音像を調整するために頭部伝達関数フィルタなどの信号処理技法を実装した可能性のある視聴覚システムが含まれる。
1.いくつかの実施形態では、方法は、表示スクリーンの一部と交差するように第1のスピーカの中心軸を配向することと、第1の音声を前記第1のスピーカから前記表示スクリーンに向けて出力することであって、前記第1の音声の前記表示スクリーンからの反射は表示スクリーンの視聴位置に向けられる、前記出力することとを備える。
2.第2の音声を第2のスピーカから出力することをさらに備え、前記第1の音声及び前記第2の音声の前記反射は前記表示スクリーンの視聴位置で結合する、条項1に記載の方法。
3.受信したオーディオ信号を基に、第1の信号を生成することと、フィルタリングされた第1の信号を生成するために、前記第1の信号の少なくとも1つのスペクトル成分の振幅を調整して前記第1の信号をフィルタリングすることであって、前記スピーカは、前記フィルタリングされた第1の信号を基に、前記第1の音声を出力する、前記フィルタリングすることとをさらに備える、条項1または2に記載の方法。
4.前記第1の信号は前記受信されたオーディオ信号の中央チャネルに基づく、条項1~3に記載の方法。
5.前記フィルタリングは、前記第1の信号をハイパスフィルタでフィルタリングすることを備える、条項1~4のいずれかに記載の方法。
6.第2の信号を生成するために、前記オーディオ信号の少なくとも1つのスペクトル成分の振幅を調整する第1のフィルタを介して、受信されたオーディオ信号をフィルタリングすることと、フィルタリングされた第2の信号を生成するために、ローパスフィルタを介して、前記第2の信号をフィルタリングすることであって、前記第2の音声は前記フィルタリングされた第2の信号に基づく、前記フィルタリングすることとをさらに備える、条項1~5のいずれかに記載の方法。
7.前記第1のフィルタは頭部伝達関数フィルタである、条項1~6のいずれかに記載の方法。
8.いくつかの実施形態では、システムは、第1の音声を出力するように構成される第1のスピーカであって、前記第1のスピーカの中心軸が表示スクリーンの一部と交差し、前記第1の音声の前記表示スクリーンからの反射は表示スクリーンの視聴位置に向けられる、前記第1のスピーカと、第2の音声を出力するように構成される第2のスピーカであって、前記第2のスピーカの中心軸が前記表示スクリーンから離して向けられ、前記第1の音声及び前記第2の音声の前記反射は前記表示スクリーンの視聴位置で結合する、前記第2のスピーカとを備える。
9.受信されたオーディオ信号から第1の信号を生成するように構成されるオーディオモジュールと、フィルタリングされた第1の信号を生成するために前記第1の信号をフィルタリングするように構成されるフィルタであって、前記第1の音声は前記フィルタリングされた第1の信号に基づく、前記フィルタとをさらに備える、条項8に記載のシステム。
10.前記第1の信号は前記受信されたオーディオ信号の中央チャネルに基づく、条項8または9に記載のシステム。
11.前記フィルタはハイパスフィルタである、条項8~10のいずれかに記載のシステム。
12.第2の信号を生成するために、受信されたオーディオ信号の少なくとも1つのスペクトル成分の振幅を調整するように構成される第1のフィルタと、前記第2の信号を基に、フィルタリングされた第2の信号を生成するように構成される第2のフィルタであって、前記第2の音声は前記フィルタリングされた第2の信号に基づく、前記第2のフィルタとをさらに備える、条項8~11のいずれかに記載のシステム。
13.前記第1のフィルタは頭部伝達関数フィルタである、条項8~12のいずれかに記載のシステム。
14.前記第2のフィルタはローパスフィルタである、条項8~13のいずれかに記載のシステム。
15.いくつかの実施形態では、方法は、(i)第1のスピーカと第2のスピーカとの間の距離及び(ii)前記第1のスピーカと表示スクリーンとの間の距離のうちの少なくとも1つに関する値を記憶することと、前記値に比例する少なくともある時間量だけ第1の信号を遅延させることとを備える。
16.前記第1の信号は映像信号である、条項15に記載の方法。
17.前記第2のスピーカは前記第1の信号を基に音声を出力する、条項15または16に記載の方法。
18.調整された信号を生成するために、受信されたオーディオ信号に頭部伝達関数フィルタを適用することをさらに備え、前記頭部伝達関数フィルタは前記受信されたオーディオ信号の少なくとも1つのスペクトル成分の振幅を調整し、スピーカは前記調整された信号を基に音声を出力する、条項15~17のいずれかに記載の方法。
19.前記第1の信号は前記調整された信号に基づく、条項15~18のいずれかに記載の方法。
20.前記スピーカが前記調整された信号を基に前記音声を出力する前に、前記調整された信号にローパスフィルタを適用することをさらに備える、条項15~19のいずれかに記載の方法。
様々な実施形態の説明を例示の目的で提示してきたが、それらが網羅的であること、または開示された実施形態に限定されることを意図するものではない。当業者には、説明した実施形態の範囲及び趣旨から逸脱することなく、多数の修正形態及び変形形態が明らかであろう。
本実施形態の態様は、システム、方法またはコンピュータプログラム製品として具現化されてよい。したがって、本開示の態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態(ファームウェア、常駐ソフトウェア、マイクロコード等を含む)またはソフトウェア及びハードウェアの態様を組み合わせる実施形態の形態をとり得、これら全ては、本明細書において全体として「モジュール」または「システム」と呼ばれ得る。さらに、本開示の態様は、コンピュータ可読プログラムコードを内蔵した1つ以上のコンピュータ可読媒体(複数可)に具体化されたコンピュータプログラム製品の形態をとり得る。
1つ以上のコンピュータ可読媒体(複数可)の任意の組み合わせを利用してよい。コンピュータ可読媒体は、コンピュータ可読信号媒体またはコンピュータ可読記憶媒体であってよい。コンピュータ可読記憶媒体は、例えば、電子、磁気、光、電磁、赤外線、または半導体システム、装置もしくはデバイス、あるいは前述の任意の適切な組み合わせであり得るが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例(非網羅的なリスト)として、以下、すなわち、1つ以上の配線を有する電子接続、携帯型コンピュータディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、消去可能プログラマブル読み出し専用メモリ(EPROMもしくはフラッシュメモリ)、光ファイバ、携帯型コンパクトディスク読み出し専用メモリ(CD-ROM)、光学ストレージデバイス、磁気ストレージデバイスまたは前述の任意の適切な組み合わせが含まれる。本明細書の文脈において、コンピュータ可読記憶媒体は、命令実行システム、装置またはデバイスによって、あるいはこれらと連携して、使用プログラムを包含または記憶できる任意の有形媒体であってよい。
本開示の態様は、本開示の実施形態による方法、装置(システム)及びコンピュータプログラム製品のフローチャート図及び/またはブロック図を参照して上記に説明される。フローチャート図及び/またはブロック図の各ブロック、ならびにフローチャート図及び/またはブロック図のブロックの組み合わせは、コンピュータプログラム命令によって実施できることが理解されるだろう。コンピュータプログラム命令は、機械を製造するために、汎用コンピュータのプロセッサ、専用コンピュータのプロセッサまたは他のプログラム可能データ処理装置のプロセッサに提供され得、その結果、コンピュータのプロセッサまたは他のプログラム可能データ処理装置を介して実行する命令が、フローチャート及び/またはブロック図のブロックに特定された機能/行為を実装することができる。係るプロセッサは、汎用プロセッサ、専用プロセッサ、特定用途向けプロセッサまたはフィールドプログラマブルであり得るが、これらに限定されない。
図面内のフローチャート及びブロック図は、本開示の様々な実施形態によるシステム、方法及びコンピュータプログラム製品の可能な実装のアーキテクチャ、機能性及び操作を例示する。この点に関して、フローチャートまたはブロック図の各ブロックは、特定の論理的機能(複数可)を実装するための1つ以上の実行可能命令を備える、モジュール、セグメントまたはコードの一部を表し得る。また、いくつかの代替的な実装形態では、ブロックに記載された機能が、図面に記載された順序とは異なる順序で発生し得る点にも留意されたい。例えば、連続して示される2つのブロックは、実際には、実質的に同時に実行されてよく、ときには、含まれる機能によって、ブロックが逆の順序で実行されてよい。また、ブロック図及び/またはフローチャート図の各ブロック、ならびにブロック図及び/またはフローチャート図のブロックの組み合わせは、指定された機能または動作を実行する専用ハードウェアベースのシステム、あるいは専用ハードウェアとコンピュータ命令との組み合わせによって実装されることがある点にも留意されたい。
前述は本開示の実施形態に関するものであるが、本開示の他の実施形態及び追加の実施形態は、その基本的な範囲から逸脱することなく考案され得、その範囲は以下の特許請求の範囲によって決定される。

Claims (19)

  1. 表示スクリーンの一部と交差するように第1のスピーカの中心軸を配向することと、
    第1の音声を前記第1のスピーカから前記表示スクリーンに向けて出力することであって、前記第1の音声の前記表示スクリーンからの反射は表示スクリーン視聴位置に向けられることと
    前記表示スクリーンの反射率係数、前記第1のスピーカと前記表示スクリーンとの間の距離、及び前記表示スクリーンと前記表示スクリーン視聴位置との間の距離に基づいて、前記第1の音声の振幅を調整することと、
    第2の音声を第2のスピーカから出力することであって、前記第2の音声及び前記第1の音声の前記反射は前記表示スクリーン視聴位置で結合する、ことと
    を備える方法。
  2. 受信されたオーディオ信号を基に、第1の信号を生成することと、
    フィルタリングされた第1の信号を生成するために、前記第1の信号の少なくとも1つのスペクトル成分の振幅を調整して前記第1の信号をフィルタリングすることであって、前記第1のスピーカは、前記フィルタリングされた第1の信号を基に、前記第1の音声を出力することと
    をさらに備える、請求項1に記載の方法。
  3. 前記第1の信号は前記受信されたオーディオ信号の中央チャネルに基づく、請求項に記載の方法。
  4. 前記フィルタリングは、前記第1の信号をハイパスフィルタでフィルタリングすることを備える、請求項に記載の方法。
  5. 第2の信号を生成するために、受信されたオーディオ信号の少なくとも1つのスペクトル成分の振幅を調整する第1のフィルタを介して、前記受信されたオーディオ信号をフィルタリングすることと、
    フィルタリングされた第2の信号を生成するために、ローパスフィルタを介して、前記第2の信号をフィルタリングすることであって、前記第2の音声は前記フィルタリングされた第2の信号に基づくことと
    をさらに備える、請求項1に記載の方法。
  6. 前記第1のフィルタは頭部伝達関数フィルタである、請求項に記載の方法。
  7. 第1の音声を出力するように構成される第1のスピーカであって、前記第1のスピーカの中心軸が表示スクリーンの一部と交差し、前記第1の音声の前記表示スクリーンからの反射は表示スクリーン視聴位置に向けられる第1のスピーカと、
    第2の音声を出力するように構成される第2のスピーカであって、前記第2のスピーカの中心軸が前記表示スクリーンから離して向けられ、前記第2の音声及び前記第1の音声の前記反射は前記表示スクリーン視聴位置で結合する第2のスピーカと
    を備えるシステムであって、
    前記システムは、前記表示スクリーンの反射率係数、前記第1のスピーカと前記表示スクリーンとの間の距離、及び前記表示スクリーンと前記表示スクリーン視聴位置との間の距離に基づいて、前記第1の音声の振幅を調整するように構成される、システム
  8. 受信されたオーディオ信号から第1の信号を生成するように構成されるオーディオモジュールと、
    フィルタリングされた第1の信号を生成するために前記第1の信号をフィルタリングするように構成されるフィルタであって、前記第1の音声は前記フィルタリングされた第1の信号に基づくフィルタと
    をさらに備える、請求項に記載のシステム。
  9. 前記第1の信号は前記受信されたオーディオ信号の中央チャネルに基づく、請求項に記載のシステム。
  10. 前記フィルタはハイパスフィルタである、請求項に記載のシステム。
  11. 第2の信号を生成するために、受信されたオーディオ信号の少なくとも1つのスペクトル成分の振幅を調整するように構成される第1のフィルタと、
    前記第2の信号を基に、フィルタリングされた第2の信号を生成するように構成される第2のフィルタであって、前記第2の音声は前記フィルタリングされた第2の信号に基づく第2のフィルタと
    をさらに備える、請求項に記載のシステム。
  12. 前記第1のフィルタは頭部伝達関数フィルタである、請求項11に記載のシステム。
  13. 前記第2のフィルタはローパスフィルタである、請求項11に記載のシステム。
  14. (i)第1のスピーカと第2のスピーカとの間の距離及び(ii)前記第1のスピーカと表示スクリーンとの間の距離のうちの少なくとも1つに関する値を記憶することであって、前記第1のスピーカは、第1の音声を前記表示スクリーンに向けて出力し、前記第1の音声の前記表示スクリーンからの反射は表示スクリーン視聴位置に向けられる、ことと、
    前記値に比例する少なくともある時間量だけ第1の信号を遅延させることと
    前記表示スクリーンの反射率係数、前記第1のスピーカと前記表示スクリーンとの間の距離、及び前記表示スクリーンと前記表示スクリーン視聴位置との間の距離に基づいて、前記第1の音声の振幅を調整することと、
    第2の音声を前記第2のスピーカから出力することであって、前記第2の音声及び前記第1の音声の前記反射は前記表示スクリーン視聴位置で結合する、ことと
    を備える方法。
  15. 前記第1の信号は映像信号である、請求項14に記載の方法。
  16. 前記第2のスピーカは前記第1の信号を基に前記第2の音声を出力する、請求項14に記載の方法。
  17. 調整された信号を生成するために、受信されたオーディオ信号に頭部伝達関数フィルタを適用することをさらに備え、前記頭部伝達関数フィルタは前記受信されたオーディオ信号の少なくとも1つのスペクトル成分の振幅を調整し、スピーカは前記調整された信号を基に音声を出力する、請求項14に記載の方法。
  18. 前記第1の信号は前記調整された信号に基づく、請求項17に記載の方法。
  19. 前記スピーカが前記調整された信号を基に前記音声を出力する前に、前記調整された信号にローパスフィルタを適用することをさらに備える、請求項17に記載の方法。
JP2018098488A 2017-08-04 2018-05-23 ソリッドな映画スクリーン上で音像を知覚する高さを調節すること Active JP7299675B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762541503P 2017-08-04 2017-08-04
US62/541,503 2017-08-04
US15/874,818 2018-01-18
US15/874,818 US10516963B2 (en) 2017-08-04 2018-01-18 Adjusting the perceived elevation of an audio image on a solid cinema screen

Publications (2)

Publication Number Publication Date
JP2019033472A JP2019033472A (ja) 2019-02-28
JP7299675B2 true JP7299675B2 (ja) 2023-06-28

Family

ID=62951827

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018098488A Active JP7299675B2 (ja) 2017-08-04 2018-05-23 ソリッドな映画スクリーン上で音像を知覚する高さを調節すること

Country Status (5)

Country Link
US (1) US10516963B2 (ja)
EP (1) EP3439330B1 (ja)
JP (1) JP7299675B2 (ja)
KR (1) KR102502597B1 (ja)
CN (1) CN109391895B (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3523793A2 (en) * 2016-10-06 2019-08-14 IMAX Theatres International Limited Cinema light emitting screen and sound system
US10638218B2 (en) * 2018-08-23 2020-04-28 Dts, Inc. Reflecting sound from acoustically reflective video screen
FR3085247A1 (fr) * 2018-08-27 2020-02-28 Screen Excellence Ltd Dispositif de sonorisation d'un ecran video par reflexion
CA3139323A1 (en) * 2019-05-08 2020-11-12 Meyer Sound Laboratories, Incorporated System and method for delivering full-bandwidth sound to an audience in an audience space
EP4140151A1 (de) * 2020-04-20 2023-03-01 HOLOPLOT GmbH Virtuelle lautsprecher für akustisch intransparente bildschirme
CN112135226B (zh) * 2020-08-11 2022-06-10 广东声音科技有限公司 Y轴音频再生方法以及y轴音频再生系统
CN112153538B (zh) * 2020-09-24 2022-02-22 京东方科技集团股份有限公司 显示装置及其全景声实现方法、非易失性存储介质
US20230412979A1 (en) * 2020-10-06 2023-12-21 Sony Group Corporation Sound Reproducing Apparatus And Method
DE102021203639A1 (de) * 2021-04-13 2022-10-13 Kaetel Systems Gmbh Lautsprechersystem, Verfahren zum Herstellen des Lautsprechersystems, Beschallungsanlage für einen Vorführbereich und Vorführbereich
CN114286274A (zh) * 2021-12-21 2022-04-05 北京百度网讯科技有限公司 音频处理方法、装置、设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004056261A (ja) 2002-07-17 2004-02-19 Sony Corp 音響システム
JP2005051660A (ja) 2003-07-31 2005-02-24 Onkyo Corp 映像信号および音声信号の再生システム
JP2006019864A (ja) 2004-06-30 2006-01-19 Seiko Epson Corp プロジェクタシステム及びスクリーン構造
JP2008311718A (ja) 2007-06-12 2008-12-25 Victor Co Of Japan Ltd 音像定位制御装置及び音像定位制御プログラム
JP2010004204A (ja) 2008-06-19 2010-01-07 Yamaha Corp 放音システム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2714647B2 (ja) 1989-03-24 1998-02-16 日本電信電話株式会社 画像連動形音声再生方式
US5216209A (en) * 1991-12-10 1993-06-01 Holdaway Timothy A Loudspeaker system and method for disbursing sounds waves
JP2000023281A (ja) * 1998-04-28 2000-01-21 Canon Inc 音声出力装置および方法
US7561706B2 (en) 2004-05-04 2009-07-14 Bose Corporation Reproducing center channel information in a vehicle multichannel audio system
US8942395B2 (en) 2007-01-17 2015-01-27 Harman International Industries, Incorporated Pointing element enhanced speaker system
TWI635753B (zh) * 2013-01-07 2018-09-11 美商杜比實驗室特許公司 使用向上發聲驅動器之用於反射聲音呈現的虛擬高度濾波器
US9756446B2 (en) * 2013-03-14 2017-09-05 Apple Inc. Robust crosstalk cancellation using a speaker array
JP6170791B2 (ja) * 2013-09-20 2017-07-26 日本放送協会 残響付加装置
CN106303898A (zh) * 2015-06-29 2017-01-04 联想(北京)有限公司 一种信息处理方法及电子设备
CN105243978B (zh) * 2015-09-28 2018-07-06 北京沃富瑞德文化传播有限公司 沉浸式全视景微型影院系统
EP3174317A1 (en) * 2015-11-27 2017-05-31 Nokia Technologies Oy Intelligent audio rendering
CN106851469A (zh) * 2017-02-16 2017-06-13 深圳创维-Rgb电子有限公司 一种调整音箱输出音频的方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004056261A (ja) 2002-07-17 2004-02-19 Sony Corp 音響システム
JP2005051660A (ja) 2003-07-31 2005-02-24 Onkyo Corp 映像信号および音声信号の再生システム
JP2006019864A (ja) 2004-06-30 2006-01-19 Seiko Epson Corp プロジェクタシステム及びスクリーン構造
JP2008311718A (ja) 2007-06-12 2008-12-25 Victor Co Of Japan Ltd 音像定位制御装置及び音像定位制御プログラム
JP2010004204A (ja) 2008-06-19 2010-01-07 Yamaha Corp 放音システム

Also Published As

Publication number Publication date
CN109391895A (zh) 2019-02-26
US10516963B2 (en) 2019-12-24
JP2019033472A (ja) 2019-02-28
KR20190015086A (ko) 2019-02-13
EP3439330B1 (en) 2020-10-07
EP3439330A1 (en) 2019-02-06
CN109391895B (zh) 2021-08-17
KR102502597B1 (ko) 2023-02-22
US20190045320A1 (en) 2019-02-07

Similar Documents

Publication Publication Date Title
JP7299675B2 (ja) ソリッドな映画スクリーン上で音像を知覚する高さを調節すること
US9414152B2 (en) Audio and power signal distribution for loudspeakers
CN112788487B (zh) 分频电路、扬声器以及音频场景生成方法和设备
US9374640B2 (en) Method and system for optimizing center channel performance in a single enclosure multi-element loudspeaker line array
US9986338B2 (en) Reflected sound rendering using downward firing drivers
US10779083B2 (en) Soundbar having single interchangeable mounting surface and multi-directional audio output
RU2710524C2 (ru) Звуковая система
CN110073675B (zh) 具有用于反射声音投射的全频向上发声驱动器的音频扬声器
US20180350341A1 (en) Active reverberation augmentation
US20120155679A1 (en) Loudspeaker system for reproducing multi-channel sound with an improved sound image
US20240323607A1 (en) Loudspeaker system for arbitrary sound direction rendering
JP4418479B2 (ja) 音響再生装置
US20210409866A1 (en) Loudspeaker System with Overhead Sound Image Generating (e.g., ATMOS™) Elevation Module and Method and apparatus for Direct Signal Cancellation
US20240223944A1 (en) Loudspeaker System for Reflection-Based Imaging
EP3726858A1 (en) Lower layer reproduction
CN115802272A (zh) 用于实现串扰消除的扬声器驱动器布置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210420

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220516

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230615

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230616

R150 Certificate of patent or registration of utility model

Ref document number: 7299675

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150