WO2021229670A1 - 会話補助装置、会話補助方法、会話補助プログラム - Google Patents

会話補助装置、会話補助方法、会話補助プログラム Download PDF

Info

Publication number
WO2021229670A1
WO2021229670A1 PCT/JP2020/018909 JP2020018909W WO2021229670A1 WO 2021229670 A1 WO2021229670 A1 WO 2021229670A1 JP 2020018909 W JP2020018909 W JP 2020018909W WO 2021229670 A1 WO2021229670 A1 WO 2021229670A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound
space
conversation
conversation assisting
assisting device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/018909
Other languages
English (en)
French (fr)
Inventor
和則 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2022522127A priority Critical patent/JP7409496B2/ja
Priority to US17/915,447 priority patent/US12452588B2/en
Priority to PCT/JP2020/018909 priority patent/WO2021229670A1/ja
Publication of WO2021229670A1 publication Critical patent/WO2021229670A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/18—Methods or devices for transmitting, conducting or directing sound
    • G10K11/24—Methods or devices for transmitting, conducting or directing sound for conducting sound through solid bodies, e.g. wires
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K9/00—Devices in which sound is produced by vibrating a diaphragm or analogous element, e.g. fog horns, vehicle hooters or buzzers
    • G10K9/12—Devices in which sound is produced by vibrating a diaphragm or analogous element, e.g. fog horns, vehicle hooters or buzzers electrically operated
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers
    • H04R3/02—Circuits for transducers for preventing acoustic reaction, i.e. acoustic oscillatory feedback

Definitions

  • the present invention relates to a conversation assisting device, a conversation assisting method, and a conversation assisting program for transmitting information by sound between two spaces separated by an isolated object.
  • Non-Patent Document 1 there is a situation in which it is desired to transmit information between spaces in a state where they are separated into two spaces by an isolated object such as an automobile body.
  • information transmission such as telephones and transceivers placed in both spaces for conversation, visual information transmission by writing or displaying characters on a tablet terminal, and data communication using a tablet terminal, etc. It is possible to transmit information by transmitting information.
  • information is transmitted by a person inside the car opening the window glass and speaking into a person outside the car or a microphone.
  • the prior art requires some device (eg, telephone, tablet terminal) or tool (eg, pen and paper for writing) in the vehicle to convey information without opening the window of the vehicle.
  • some device eg, telephone, tablet terminal
  • tool eg, pen and paper for writing
  • the present invention has been made in view of such a situation, and it is not necessary to place a device or a tool in one of the separated spaces, and information is transmitted by sound while maintaining the separated state in the two spaces.
  • the purpose is to provide the technology to do.
  • the conversation assisting method of the present invention is executed in the first space in order to transmit an acoustic signal using the isolated space between the first space and the second space separated by the isolated object.
  • the sound transmitted to the second space is emitted from the first space side to the isolated object with a predetermined intensity.
  • the sound propagating in the isolated object is collected, and the sound other than the sound emitted from the collected sound is emphasized and output.
  • information can be transmitted by sound without arranging a device or a tool in one space while maintaining a state in which the space is separated into two by an isolated object.
  • FIG. 1 The figure which shows the functional structure example of the conversation assist device of Example 1.
  • FIG. 2 The figure which shows the processing flow example of the conversation assist method of Example 1.
  • FIG. 2 The figure which shows the functional structure example of the conversation assist device of Example 2.
  • FIG. 2 The figure which shows the processing flow example of the conversation assist method of Example 2.
  • FIG. Example 2 The figure which shows the processing flow example of the conversation assist method of Embodiment 1.
  • FIG. 2 Example 2
  • FIG. 3 The figure which shows the processing flow example of the conversation assist method of Example 3.
  • FIG. 1 The figure which shows the processing flow example of the conversation assist method of Example 1.
  • Example 3 The figure which shows the functional structure example of the conversation assist device of the modification 1.
  • Example 3 The figure which shows the processing flow example of the conversation assist method of the modification 1.
  • FIG. The figure which shows the processing flow example of the conversation assist method of Example 4.
  • FIG. The figure which shows the frequency characteristic of the 1st comb filter and the 2nd comb filter.
  • FIG. 1 shows an example of the functional configuration of the conversation assisting device of the first embodiment
  • FIG. 2 shows an example of the processing flow of the conversation assisting method of the first embodiment
  • the conversation assist device 100 is arranged in the first space 810 in order to transmit an acoustic signal by utilizing the isolation 800 between the first space 810 and the second space 820 separated by the isolation 800.
  • the conversation assisting method is performed in the first space to transmit an acoustic signal using the isolation 800 between the first space 810 and the second space 820 separated by the isolation 800.
  • the conversation assisting device 100 includes a sound emitting unit 110, a sound collecting unit 120, and an emphasizing unit 150.
  • the isolated object 800 is, for example, a vehicle, the first space 810 is a space outside the vehicle, and the second space 820 is a space inside the vehicle.
  • the conversation assisting device 100 may be pressed against the window glass or the vehicle body.
  • the sound transmitted to the second space is input to the conversation assist device 100.
  • the sound emitting unit 110 transmits the sound transmitted to the second space from the first space 810 side to the isolated object 800 with a predetermined intensity (S110).
  • the sound emitting unit 110 includes an amplifying means 111 that makes the sound transmitted to the second space 820 have a predetermined intensity, and a vibrating means 112 that vibrates the isolated object 800.
  • An actuator, an exciter, or a speaker may be used as the vibrating means 112.
  • the "sound transmitted to the second space" may include not only vibrations derived from voice but also sounds such as chimes and sounds of musical instruments.
  • the sound collecting unit 120 collects the sound propagating through the isolated object 800 (S120).
  • the sound collecting unit 120 has a pick-up means 121 that picks up the vibration of the isolated object 800 and an amplification means 122 that amplifies the picked-up sound.
  • a vibration pickup, a microphone, or an acceleration sensor may be used for the pickup means 121.
  • the emphasis unit 150 emphasizes and outputs sounds other than the sound transmitted by the sound emitting unit 110 (sound emitted) from the collected sound (S150).
  • the techniques shown in the second and subsequent embodiments may be used.
  • the doctor wears a headset with headphones and a microphone, and the medical staff possesses the conversation assist device 100.
  • the medical staff presses the conversation assisting device 100 against the window glass of the vehicle when the doctor and the patient have a conversation, the doctor outside the vehicle and the patient inside the vehicle can talk.
  • the outside of the vehicle is the first space and the inside of the vehicle is the second space.
  • the inside of the vehicle may be the first space and the outside of the vehicle may be the second space.
  • a predetermined question may be recorded, the recorded question may be sent from the first space, and the answer from the second space may be voice-recognized and recorded.
  • the sound emitting unit 110 and the sound collecting unit 120 into separate housings and changing the position of pressing against the isolated object 800, it is difficult to collect the sound transmitted by the sound emitting unit 110 (sound emitted). You may. For example, the sound emitting unit 110 may be pressed against the side window, and the sound collecting unit 120 may be pressed against the front window.
  • information is transmitted by sound without arranging a device or a tool in one space while maintaining a state in which the space is separated into two by the isolated object 800. can.
  • FIG. 3 shows an example of the functional configuration of the conversation assisting device of the second embodiment
  • FIG. 4 shows an example of the processing flow of the conversation assisting method of the second embodiment
  • the conversation assisting device 101 is different from the conversation assisting device 100 in that the switching assisting device 101 is provided with the switch 130 and the emphasizing unit 150 has the blocking means 151.
  • the emphasis unit 150 controls the intensity of the sound output from the emphasis unit 150 according to the state of the switch 130 (S130, S151). Specifically, when the switch 130 indicates a state in which sound is transmitted to the second space, the sound output from the emphasis unit 150 is blocked by the blocking means 151. Therefore, when the sound is transmitted from the first space 810 to the second space 820, the output from the emphasis section 150 is cut off.
  • the switch 130 does not indicate the state of transmitting the sound to the second space, the blocking means 151 is not operated, so that the sound of the second space can be output from the emphasis unit 150. Moreover, the same effect as in Example 1 can be obtained.
  • the state of the switch 130 may be switched by the operator in the first space.
  • FIG. 5 shows an example of the functional configuration of the conversation assisting device of the second embodiment
  • FIG. 6 shows an example of the processing flow of the conversation assisting method of the second embodiment
  • the conversation assisting device 102 also includes a sensor 131 that detects contact of the sound collecting unit 120 with the isolated object 800. Then, the intensity of the sound output from the emphasis section 150 is controlled by the presence or absence of contact with the isolated object 800 detected by the sensor 131. Further, the emphasis portion 150 has a blocking means 151.
  • the sensor 131 confirms the presence or absence of contact (S131).
  • the enhancing unit 150 blocks the sound output from the enhancing unit 150 by the blocking means 151, and when in contact, the enhancing unit 150 outputs the sound in the second space without operating the blocking means 151. (S151). Therefore, it is possible to prevent the emphasis section 150 from outputting the sound generated when the conversation assisting device 102 is pressed against the isolated object 800.
  • FIG. 5 shows an example of the functional configuration of the conversation assisting device of the second embodiment
  • FIG. 7 shows an example of the processing flow of the conversation assisting method of the second embodiment.
  • the conversation assisting device 102 also includes a sensor 131 for detecting contact of the sound collecting unit 120 with the isolated object 800. Then, the intensity of the sound output from the emphasis section 150 is controlled by the presence or absence of contact with the isolated object 800 detected by the sensor 131. However, the emphasis section 150 does not have the blocking means 151.
  • the conversation assisting device 102 does not process the sound emitting unit 110, the sound collecting unit 120, and the enhancing unit 150 until the sensor 131 confirms the contact (S132). Therefore, it is possible to prevent the emphasis section 150 from outputting the sound generated when the conversation assisting device 102 is pressed against the isolated object 800.
  • FIG. 8 shows an example of the functional configuration of the conversation assisting device of the third embodiment
  • FIG. 9 shows an example of the processing flow of the conversation assisting method of the third embodiment.
  • the conversation assisting device 103 is different from the conversation assisting device 100 in that the conversation assisting device 103 includes a switch 135 and a blocking unit 136, and the enhancing unit 150 has the blocking means 151.
  • the state of the switch 135 is switched by the operator in the first space.
  • the conversation assisting device 103 switches between stopping the sound from the sound emitting unit 110 and stopping the output from the emphasis unit 150 by switching the switch 135.
  • the conversation assisting device 103 confirms the state of the switch 135 (S135).
  • the emphasis section 150 blocks the sound output by the blocking means 151 (S152).
  • the sound emitting unit 110 emits a sound transmitted to the second space 820 (S110).
  • the cutoff unit 136 cuts off the sound transmitted to the second space 820 (S136).
  • the sound collecting unit 120 and the enhancing unit 150 operate. Therefore, when the conversation assisting device 103 transmits sound from the first space 810 to the second space 820, the output from the emphasis unit 150 is cut off. Further, when the state of the switch 135 indicates sound collection, the conversation assisting device 103 can output the sound in the second space from the emphasis unit 150.
  • the operation of the sound emitting section 110 or the sound collecting section 120 may be controlled according to the state of the switch 135. For example, when the state of the switch 135 indicates sound emission, the output of the emphasis section 150 is stopped. Specifically, the operation of the sound collecting unit 120 or the emphasis unit 150 may be stopped. Then, the sound emitting unit 110 emits a sound transmitted to the second space 820 (S110). When the state of the switch 135 indicates sound pickup, the sound emitting unit 110 is not operated. Then, the sound collecting unit 120 and the enhancing unit 150 operate. Also in this case, when the conversation assisting device 103 is transmitting sound from the first space 810 to the second space 820, the output from the emphasis unit 150 is stopped. Further, when the state of the switch 135 indicates sound collection, the conversation assisting device 103 can output the sound in the second space from the emphasis unit 150. Moreover, the same effect as in Example 1 can be obtained.
  • FIG. 10 shows an example of the functional configuration of the conversation assisting device of the third embodiment
  • FIG. 11 shows an example of the processing flow of the conversation assisting method of the third embodiment.
  • the conversation assisting device 104 is different from the conversation assisting device 100 in that the speech assisting device 104 includes the utterance detecting unit 140 and the blocking unit 136, and the emphasizing unit 150 has the blocking means 151.
  • the conversation assisting device 104 differs from the conversation assisting device 103 in that it includes an utterance detection unit 140 instead of the switch 135.
  • the state of the switch 135 was switched by the operator.
  • the utterance detection unit 140 automatically detects whether or not the sound transmitted to the second space 820 is input (S140).
  • the conversation assisting device 104 determines that there is a sound transmitted to the second space 820, the output from the emphasis unit 150 is stopped, and the sound transmitted to the second space 820 is transmitted to the second space 820 with a predetermined intensity on the first space side. Sound is emitted from the isolated object (S110).
  • the sound collection of the sound propagating through the isolation unit 800 may be stopped, or the operation of the emphasis section 150 may be stopped.
  • the conversation assisting device 104 determines that there is no sound transmitted to the second space 820, the conversation assisting device 104 stops the sound emission to the isolated object 800 and collects the sound propagating through the isolated object 800 (S120). Then, the emphasis unit 150 outputs the sound of the second space 820 (S150).
  • the conversation assisting device 104 may cut off the output from the emphasis section 150 by the blocking means 151 of the emphasis section 150 as a method of stopping the output from the emphasis section 150 (S152). Further, instead of stopping the sound emission, the conversation assisting device 104 may block the sound input by the blocking unit 136 (noise not determined to be the sound transmitted to the second space 820) (S136).
  • the conversation assist device 104 When the conversation assist device 104 is transmitting sound from the first space 810 to the second space 820, the output from the emphasis unit 150 can be stopped. Further, the conversation assisting device 104 can output the sound of the second space from the emphasis unit 150 when the sound is not transmitted from the first space 810 to the second space 820.
  • FIG. 12 shows an example of the functional configuration of the conversation assisting device of the fourth embodiment
  • FIG. 13 shows an example of the processing flow of the conversation assisting method of the fourth embodiment
  • the conversation assisting device 105 differs from the conversation assisting device 100 in that the first comb tooth filter 161 is provided and the emphasis portion 150 has the second comb tooth filter 162.
  • FIG. 14 shows the frequency characteristics of the first comb tooth filter and the second comb tooth filter. The horizontal axis is frequency and the vertical axis is gain. The solid line shows an example of the characteristics of the first comb tooth filter, and the dotted line shows an example of the characteristics of the second comb tooth filter.
  • the comb filter may be realized by an FIR filter (Finite Impulse Response filter) or an IIR filter (Infinite Impulse Response filter). Further, after performing a short-time Fourier transform, the frequency characteristics of the comb tooth filter may be multiplied, and then a short-time inverse Fourier transform may be performed. As shown in FIG. 14, the pass area of the second comb tooth filter is the blocking area of the first comb tooth filter.
  • the bandwidth of the pass band and the stop band may be 10 Hz to 200 Hz. For example, a pass band and a stop band may be formed alternately at intervals of 50 Hz.
  • the sound transmitted to the second space 820 input to the conversation assist device 105 passes through the first comb tooth filter 161 (S161), and the sound emitting unit 110 emits sound to the isolation 800 with a predetermined intensity (S110). ). Further, the emphasizing unit 150 passes the output from the sound collecting unit 120 through the second comb tooth filter 162 (S162).
  • the pass area of the second comb tooth filter is the blocking area of the first comb tooth filter. Since the emitted sound does not include the frequency component in the blocking region of the first comb tooth filter, only the emitted sound passes through the second comb tooth filter. That is, passing through the second comb tooth filter 162 emphasizes sounds other than the emitted sound.
  • the vibration is derived from voice, it contains various frequency components, so the content can be heard even if it is passed through a comb filter.
  • an artificial sound such as a chime is included in the sound transmitted to the second space 820, it may be devised to include various frequency components. Since the characteristics are set so as to be transmitted to either the first space 810 to the second space or the second space 820 to the first space 810 for each frequency band, the conversation assisting device 105 can be used for one-way communication. It is possible to transmit information by sound without arranging a device or a tool in one space while maintaining a state in which the space is separated into two by the isolated object 800.
  • FIG. 15 shows an example of the functional configuration of the conversation assisting device of the fifth embodiment
  • FIG. 16 shows an example of the processing flow of the conversation assisting method of the fifth embodiment.
  • the conversation assisting device 106 is different from the conversation assisting device 100 in that the emphasis unit 150 has the echo canceling means 155.
  • the echo canceling means 155 uses the sound transmitted to the second space 820 input to the conversation assisting device 106 to emphasize sounds other than the sound emitted from the collected sound (S155).
  • An adaptive filter, a Wiener filter, an echo sublesser, or the like may be used for echo cancellation.
  • the conversation assisting device 106 can transmit information by sound without arranging a device or a tool in one space while maintaining a state in which the space is separated into two by the isolated object 800 without making a one-way call.
  • the recording unit 2020 of the computer 2000 shown in FIG. 17 is read with a program for executing each step of the above method, and the control unit 2010, the input unit 2030, the output unit 2040, the display unit 2050, and the like operate. It can be carried out by letting it.
  • the output means 2040 includes the vibration means 112, and the input unit 2030 includes the pickup means 121.
  • the input unit 2030 may include a microphone and the output unit 2040 may include headphones or the like.
  • the program that describes this processing content can be recorded on a computer-readable recording medium.
  • the recording medium that can be read by a computer may be, for example, a magnetic recording device, an optical disk, a photomagnetic recording medium, a semiconductor memory, or the like.
  • the distribution of this program is carried out, for example, by selling, transferring, renting, etc. a portable recording medium such as a DVD or CD-ROM in which the program is recorded. Further, the program may be stored in the storage device of the server computer, and the program may be distributed by transferring the program from the server computer to another computer via the network.
  • a computer that executes such a program first, for example, first stores a program recorded on a portable recording medium or a program transferred from a server computer in its own storage device. Then, when the process is executed, the computer reads the program stored in its own recording medium and executes the process according to the read program. Further, as another execution form of this program, a computer may read the program directly from a portable recording medium and execute processing according to the program, and further, the program is transferred from the server computer to this computer. You may execute the process according to the received program one by one each time.
  • ASP Application Service Provider
  • the program in this embodiment includes information used for processing by a computer and equivalent to the program (data that is not a direct command to the computer but has a property that regulates the processing of the computer, etc.).
  • the present device is configured by executing a predetermined program on a computer, but at least a part of these processing contents may be realized in terms of hardware.
  • Conversation assist device 110 Sound emitting unit 111, 122 Amplifying means 112 Vibration means 120 Sound collecting unit 121 Picking up means 130, 135 Switch 131 Sensor 136 Blocking unit 140 Speech detection unit 150 Emphasis Part 151 Blocking means 155 Echo canceling means 161 First comb tooth filter 162 Second comb tooth filter 800 Isolation 810 First space 820 Second space

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

分離された一方の空間には装置または道具を配置する必要がなく、2つの空間に分離した状態を維持しながら音により情報伝達する技術を提供することを目的とする。本発明の会話補助方法は、隔離物によって分離された第1空間と第2空間の間で、隔離物を利用して音響信号を伝えるために第1空間で実行する。本発明の会話補助方法では、第2空間に伝える音を、あらかじめ定めた強度で第1空間側から隔離物に放音する。また、本発明の会話補助方法では、隔離物を伝搬する音を収音し、収音した音から放音した音以外の音を強調して出力する。

Description

会話補助装置、会話補助方法、会話補助プログラム
 本発明は、隔離物によって分離された2つの空間の間で音により情報伝達するための会話補助装置、会話補助方法、会話補助プログラムに関する。
 非特許文献1に示されているように、自動車の車体のような隔離物によって2つの空間に分離された状態で、空間間での情報伝達を行いたい状況がある。現状では、電話、トランシーバのような送受信機を両方の空間に配置して会話する情報伝達、筆談もしくはタブレット端末への文字表示などによる視覚での情報伝達、タブレット端末などを用いたデータ通信での情報伝達によって、情報伝達を行うことが可能である。また、一般的なドライブスルー方式の商品の販売では、車内の人が窓ガラスを開け、車外の人またはマイクに向かって発話することで情報伝達を行っている。
NHK NEWS WEB"ドライブスルー方式の診療始まる",[令和2年4月28日検索]、インターネット<https://www3.nhk.or.jp/lnews/nara/20200420/2050004243.html>.
 しかしながら、従来技術は、車両の窓を開けない状態で情報伝達する場合は、車両内に何らかの装置(例えば、電話機、タブレット端末)または道具(例えば、筆談用のペンと紙)が必要であり、車両の窓を開けたのでは隔離物によって2つの空間に分離した状態を維持できないという課題がある。
 本発明は、このような状況に鑑みてなされたものであり、分離された一方の空間には装置または道具を配置する必要がなく、2つの空間に分離した状態を維持しながら音により情報伝達する技術を提供することを目的とする。
 本発明の会話補助方法は、隔離物によって分離された第1空間と第2空間の間で、隔離物を利用して音響信号を伝えるために第1空間で実行する。本発明の会話補助方法では、第2空間に伝える音を、あらかじめ定めた強度で第1空間側から隔離物に放音する。また、本発明の会話補助方法では、隔離物を伝搬する音を収音し、収音した音から放音した音以外の音を強調して出力する。
 本発明の会話補助方法によれば、隔離物によって空間を2つに分離した状態を維持しながら、一方の空間には装置または道具を配置することなく、音により情報伝達できる。
実施例1の会話補助装置の機能構成例を示す図。 実施例1の会話補助方法の処理フロー例を示す図。 実施例2の会話補助装置の機能構成例を示す図。 実施例2の会話補助方法の処理フロー例を示す図。 実施例2変形例1および実施例2変形例2の会話補助装置の機能構成例を示す図。 実施例2変形例1の会話補助方法の処理フロー例を示す図。 実施例2変形例2の会話補助方法の処理フロー例を示す図。 実施例3の会話補助装置の機能構成例を示す図。 実施例3の会話補助方法の処理フロー例を示す図。 実施例3変形例1の会話補助装置の機能構成例を示す図。 実施例3変形例1の会話補助方法の処理フロー例を示す図。 実施例4の会話補助装置の機能構成例を示す図。 実施例4の会話補助方法の処理フロー例を示す図。 第1くし歯フィルタと第2くし歯フィルタの周波数特性を示す図。 実施例5の会話補助装置の機能構成例を示す図。 実施例5の会話補助方法の処理フロー例を示す図。 コンピュータの機能構成例を示す図。
 以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
 図1に実施例1の会話補助装置の機能構成例、図2に実施例1の会話補助方法の処理フロー例を示す。会話補助装置100は、隔離物800によって分離された第1空間810と第2空間820の間で、隔離物800を利用して音響信号を伝えるために第1空間810に配置される。会話補助方法は、隔離物800によって分離された第1空間810と第2空間820の間で、隔離物800を利用して音響信号を伝えるために第1空間で実行する。会話補助装置100は、放音部110、収音部120、強調部150を備える。隔離物800とは、例えば、車両などであり、第1空間810は車両の外の空間、第2空間820は車両の中の空間である。車両の場合、会話補助装置100は、窓ガラスに押し付けてもよいし、車体に押し付けてもよい。
 会話補助装置100には、第2空間に伝える音が入力される。放音部110は、第2空間に伝える音を、あらかじめ定めた強度で第1空間810側から隔離物800に伝える(S110)。放音部110は、第2空間820に伝える音をあらかじめ定めた強度にする増幅手段111と、隔離物800を振動させる振動手段112とを有する。振動手段112には、アクチュエータ、エキサイター、もしくはスピーカを用いればよい。本発明では会話を前提としているが、「第2空間に伝える音」は、音声に由来する振動だけでなく、チャイムなどの音、楽器などの音も含めてもよい。
 収音部120は、隔離物800を伝搬する音を収音する(S120)。収音部120は、隔離物800の振動をピックアップするピックアップ手段121と、ピックアップした音を増幅する増幅手段122を有する。ピックアップ手段121には、振動ピックアップもしくはマイクロホンもしくは加速度センサを用いればよい。
 強調部150は、収音した音から放音部110が伝えた音(放音した音)以外の音を強調して出力する(S150)。放音部110が伝えた音(放音した音)以外の音を強調する方法としては、実施例2以降に示している技術を利用すればよい。
 例えば、医師が車両の外、患者が車両の中にいる状態で、医師はヘッドホンとマイクを有するヘッドセットを装着し、医療スタッフが会話補助装置100を所持する。医師と患者が会話をするときに医療スタッフが会話補助装置100を車両の窓ガラスに押し付けることで、車外の医師と車内の患者が会話できる。このように使用する場合は、車外が第1空間であり、車内が第2空間である。一方、患者が車両の外、医師が車両の中にいる状態の場合は、車内を第1空間、車外を第2空間とすればよい。
 また、第1空間で第2空間の患者と情報伝達を行うのは、人でなくてもよい。あらかじめ定めた質問を録音しておき、第1空間から録音した質問を送り、第2空間からの回答を音声認識して記録してもよい。このような処理を行えば、医師は判断する処理に集中できる。
 また、放音部110と収音部120とを別々の筐体とし、隔離物800に押し付ける位置を変えることで、放音部110が伝えた音(放音した音)を収音しにくくしてもよい。例えば、放音部110をサイドウインドに押し当て、収音部120をフロントウインドに押し当ててもよい。
 実施例1の会話補助装置、会話補助方法によれば、隔離物800によって空間を2つに分離した状態を維持しながら、一方の空間には装置または道具を配置することなく、音により情報伝達できる。
 図3に実施例2の会話補助装置の機能構成例、図4に実施例2の会話補助方法の処理フロー例を示す。会話補助装置101は、スイッチ130を備え、強調部150が遮断手段151を有している点が会話補助装置100と異なる。強調部150は、スイッチ130の状態に応じて、強調部150から出力する音の強度を制御する(S130,S151)。具体的には、スイッチ130が第2空間に音を伝える状態を示しているときは、遮断手段151によって強調部150から出力する音を遮断する。したがって、第1空間810から第2空間820に音を伝えているときには、強調部150からの出力は遮断される。このように、放音した音が強調部150から出力されることを防ぐことも、「収音した音から放音部110が伝えた音(放音した音)以外の音を強調して出力する」ことに該当する。以下の実施例でも同様である。また、スイッチ130が第2空間に音を伝える状態を示していないときは、遮断手段151を動作させないので、強調部150から、第2空間の音を出力できる。また、実施例1と同等の効果が得られる。なお、スイッチ130の状態は、第1空間の操作者が切り替えればよい。
[変形例1]
 図5に実施例2変形例1の会話補助装置の機能構成例、図6に実施例2変形例1の会話補助方法の処理フロー例を示す。会話補助装置102は、収音部120の隔離物800への接触を検出するセンサ131も備えている。そして、センサ131が検出する隔離物800への接触の有無によって、強調部150から出力する音の強度を制御する。また、強調部150は、遮断手段151を有する。図6に示した会話補助方法の処理フローでは、センサ131が接触の有無を確認する(S131)。強調部150は、接触していないときは、遮断手段151によって強調部150から出力する音を遮断し、接触しているときは、遮断手段151を動作させないで、第2空間の音を出力する(S151)。したがって、会話補助装置102を隔離物800に押し当てるときに生じる音を、強調部150から出力しないようにできる。
[変形例2]
 図5に実施例2変形例2の会話補助装置の機能構成例、図7に実施例2変形例2の会話補助方法の処理フロー例を示す。変形例1と同様に、会話補助装置102は、収音部120の隔離物800への接触を検出するセンサ131も備えている。そして、センサ131が検出する隔離物800への接触の有無によって、強調部150から出力する音の強度を制御する。ただし、強調部150は、遮断手段151は有さない。会話補助装置102は、センサ131が接触を確認するまで、放音部110、収音部120、強調部150の処理を行わない(S132)。したがって、会話補助装置102を隔離物800に押し当てるときに生じる音を、強調部150から出力しないようにできる。
 図8に実施例3の会話補助装置の機能構成例、図9に実施例3の会話補助方法の処理フロー例を示す。会話補助装置103は、スイッチ135と遮断部136を備え、強調部150が遮断手段151を有している点が会話補助装置100と異なる。スイッチ135の状態は、第1空間の操作者が切り替える。会話補助装置103は、スイッチ135の切り替えによって、放音部110からの放音を止めるか、強調部150からの出力を止めるかを切り替える。
 より具体的には、会話補助装置103は、スイッチ135の状態を確認する(S135)。スイッチ135の状態が放音を示しているときは、強調部150が遮断手段151によって出力する音を遮断する(S152)。そして、放音部110は、第2空間820に伝える音を放音する(S110)。スイッチ135の状態が収音を示しているときは、遮断部136が、第2空間820に伝える音を遮断する(S136)。そして、収音部120と強調部150が動作する。したがって、会話補助装置103は、第1空間810から第2空間820に音を伝えているときには、強調部150からの出力は遮断される。また、会話補助装置103は、スイッチ135の状態が収音を示しているときは、強調部150から第2空間の音を出力できる。
 なお、遮断手段151、遮断部136を備える代わりに、スイッチ135の状態に応じて、放音部110または収音部120の動作を制御しても構わない。例えば、スイッチ135の状態が放音を示しているときは、強調部150の出力を止める。具体的には、収音部120または強調部150の動作を止めればよい。そして、放音部110は、第2空間820に伝える音を放音する(S110)。スイッチ135の状態が収音を示しているときは、放音部110は動作させない。そして、収音部120と強調部150が動作する。この場合も、会話補助装置103は、第1空間810から第2空間820に音を伝えているときには、強調部150からの出力は停止する。また、会話補助装置103は、スイッチ135の状態が収音を示しているときは、強調部150から第2空間の音を出力できる。また、実施例1と同等の効果も得られる。
[変形例1]
 図10に実施例3変形例1の会話補助装置の機能構成例、図11に実施例3変形例1の会話補助方法の処理フロー例を示す。会話補助装置104は、発話検出部140と遮断部136を備え、強調部150が遮断手段151を有している点が会話補助装置100と異なる。会話補助装置104は、スイッチ135の代わりに発話検出部140を備えている点が会話補助装置103と異なる。スイッチ135は操作者によって状態が切り替えられた。発話検出部140は、自動的に第2空間820に伝える音が入力されたかを検出する(S140)。そして、会話補助装置104は、第2空間820に伝える音があると判断したときは、強調部150からの出力を止め、第2空間820に伝える音を、あらかじめ定めた強度で第1空間側から隔離物に放音する(S110)。強調部150からの出力を止める方法としては、隔離物800を伝搬する音の収音を止めてもよいし、強調部150の動作を止めてもよい。また、会話補助装置104は、第2空間820に伝える音がないと判断したときは、隔離物800への放音を止め、隔離物800を伝搬する音を収音する(S120)。そして、強調部150が第2空間820の音を出力する(S150)。
 なお、会話補助装置104は、強調部150からの出力を止める方法として、強調部150の遮断手段151で強調部150からの出力を遮断してもよい(S152)。また、会話補助装置104は、放音を止める代わりに、遮断部136で入力された音(第2空間820に伝える音とは判断されなかった雑音)を遮断してもよい(S136)。
 会話補助装置104は、第1空間810から第2空間820に音を伝えているときには、強調部150からの出力は停止できる。また、会話補助装置104は、第1空間810から第2空間820に音を伝えていないときには、強調部150から第2空間の音を出力できる。
 図12に実施例4の会話補助装置の機能構成例、図13に実施例4の会話補助方法の処理フロー例を示す。会話補助装置105は、第1くし歯フィルタ161を備え、強調部150が第2くし歯フィルタ162を有する点で、会話補助装置100と異なる。図14に、第1くし歯フィルタと第2くし歯フィルタの周波数特性を示す。横軸は周波数であり、縦軸は利得である。実線は第1くし歯フィルタの特性の例を、点線は第2くし歯フィルタの特性の例を示している。くし歯フィルタは、FIRフィルタ(Finite Impulse Responseフィルタ)、IIRフィルタ(Infinite Impulse Responseフィルタ)で実現すればよい。また、短時間フーリエ変換をした後に、くし歯フィルタの周波数特性を乗じ、その後、短時間逆フーリエ変換してもよい。図14に示すように、第2くし歯フィルタの通過域は、第1くし歯フィルタの阻止域である。通過域と阻止域の帯域幅は、10Hz~200Hzとすればよい。例えば50Hzおきに、交互に通過域と阻止域を形成すればよい。
 会話補助装置105に入力された第2空間820に伝える音は、第1くし歯フィルタ161を通過し(S161)、放音部110が、あらかじめ定めた強度で隔離物800に放音する(S110)。また、強調部150は、収音部120からの出力を、第2くし歯フィルタ162を通過させる(S162)。上述のように、第2くし歯フィルタの通過域は、第1くし歯フィルタの阻止域である。放音した音には、第1くし歯フィルタの阻止域の周波数成分は含まれていないので、第2くし歯フィルタを通過するのは、放音した音以外である。つまり、第2くし歯フィルタ162を通過させることが、放音した音以外の音を強調することになる。
 音声に由来した振動であれば、様々な周波数成分を含んでいるので、くし歯フィルタを通過させても、内容を聞き取ることができる。チャイムのような人工的な音も第2空間820に伝える音に含める場合は、様々な周波数成分を含むように工夫すればよい。周波数帯域ごとに、第1空間810から第2空間、または、第2空間820から第1空間810のいずれか一方に伝わるように特性を設定しているので、会話補助装置105は、片通話になることなく、隔離物800によって空間を2つに分離した状態を維持しながら、一方の空間には装置または道具を配置することなく、音により情報伝達できる。
 図15に実施例5の会話補助装置の機能構成例、図16に実施例5の会話補助方法の処理フロー例を示す。会話補助装置106は、強調部150がエコーキャンセル手段155を有している点が会話補助装置100と異なる。エコーキャンセル手段155は、会話補助装置106に入力された第2空間820に伝える音を用いて、収音した音から放音した音以外の音を強調する(S155)。エコーキャンセルには、適応フィルタ、ウィナーフィルタ、エコーサブレッサなどを用いればよい。会話補助装置106は、片通話になることなく、隔離物800によって空間を2つに分離した状態を維持しながら、一方の空間には装置または道具を配置することなく、音により情報伝達できる。
[プログラム、記録媒体]
 上述の各種の処理は、図17に示すコンピュータ2000の記録部2020に、上記方法の各ステップを実行させるプログラムを読み込ませ、制御部2010、入力部2030、出力部2040、表示部2050などに動作させることで実施できる。なお、出力手段2040には振動手段112が含まれ、入力部2030にはピックアップ手段121が含まれる。また、医師がヘッドセットを用いて会話する場合は、入力部2030にはマイク、出力部2040にはヘッドホンなどを含めればよい。
 この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
 また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
 このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP(Application Service Provider)型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの(コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等)を含むものとする。
 また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
100,101,102,103,104,105,106 会話補助装置
110 放音部           111,122 増幅手段
112 振動手段          120 収音部
121 ピックアップ手段      130,135 スイッチ
131 センサ           136 遮断部
140 発話検出部         150 強調部
151 遮断手段          155 エコーキャンセル手段
161 第1くし歯フィルタ     162 第2くし歯フィルタ
800 隔離物           810 第1空間
820 第2空間
 
 

Claims (10)

  1.  隔離物によって分離された第1空間と第2空間の間で、前記隔離物を利用して音響信号を伝えるために前記第1空間に配置される会話補助装置であって、
     前記第2空間に伝える音を、あらかじめ定めた強度で前記第1空間側から前記隔離物に伝える放音部と、
     前記隔離物を伝搬する音を収音する収音部と、
     前記収音した音から前記放音部が伝えた音以外の音を強調して出力する強調部と
     を備える会話補助装置。
  2.  請求項1記載の会話補助装置であって、
     スイッチも備えており、
     前記スイッチの状態に応じて、前記強調部から出力する音の強度を制御する
     ことを特徴とする会話補助装置。
  3.  請求項1記載の会話補助装置であって、
     前記収音部の前記隔離物への接触を検出するセンサも備えており、
     前記センサが検出する前記隔離物への接触の有無によって、前記強調部から出力する音の強度を制御する
     ことを特徴とする会話補助装置。
  4.  請求項1記載の会話補助装置であって、
     スイッチも備えており、
     前記スイッチの切り替えによって、放音部からの放音を止めるか、強調部の出力を止めるかを切り替える
     ことを特徴とする会話補助装置。
  5.  隔離物によって分離された第1空間と第2空間の間で、前記隔離物を利用して音響信号を伝えるために前記第1空間で実行する会話補助方法であって、
     前記第2空間に伝える音を、あらかじめ定めた強度で前記第1空間側から前記隔離物に放音し、
     前記隔離物を伝搬する音を収音し、
     前記収音した音から前記放音した音以外の音を強調して出力する
     会話補助方法。
  6.  請求項5記載の会話補助方法であって、
     前記隔離物は車両であり、前記第1空間は車両の外の空間、前記第2空間は車両の中の空間である
     ことを特徴とする会話補助方法。
  7.  請求項5または6記載の会話補助方法であって、
     前記第2空間に伝える音の有無を検出し、
     前記第2空間に伝える音があると判断したときは、前記強調部からの出力を止め、前記第2空間に伝える音を、あらかじめ定めた強度で前記第1空間側から前記隔離物に放音し、
     前記第2空間に伝える音がないと判断したときは、前記隔離物への放音を止め、前記隔離物を伝搬する音を収音する
     ことを特徴とする会話補助方法。
  8.  請求項5または6記載の会話補助方法であって、
     前記隔離物に放音する音は、第1くし歯フィルタを通過した音であり、
     前記強調して出力される音は、第2くし歯フィルタを通過した音であり、
     前記第2くし歯フィルタの通過域は、前記第1くし歯フィルタの阻止域である
     ことを特徴とする会話補助方法。
  9.  請求項5または6記載の会話補助方法であって、
     前記収音した音から前記放音した音以外の音を強調する処理では、前記第2空間に伝える音を用いてエコーキャンセルを実行する
     ことを特徴とする会話補助方法。
  10.  請求項1から4のいずれかに記載の会話補助装置としてコンピュータを機能させるための会話補助プログラム、もしくは、請求項5から9のいずれかに記載の会話補助方法をコンピュータに実行させるための会話補助プログラム。
     
     
PCT/JP2020/018909 2020-05-12 2020-05-12 会話補助装置、会話補助方法、会話補助プログラム Ceased WO2021229670A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022522127A JP7409496B2 (ja) 2020-05-12 2020-05-12 会話補助装置、会話補助方法、会話補助プログラム
US17/915,447 US12452588B2 (en) 2020-05-12 2020-05-12 Conversation assisting apparatus, conversation assisting method, non-transitory computer-readable recording medium
PCT/JP2020/018909 WO2021229670A1 (ja) 2020-05-12 2020-05-12 会話補助装置、会話補助方法、会話補助プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/018909 WO2021229670A1 (ja) 2020-05-12 2020-05-12 会話補助装置、会話補助方法、会話補助プログラム

Publications (1)

Publication Number Publication Date
WO2021229670A1 true WO2021229670A1 (ja) 2021-11-18

Family

ID=78525984

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/018909 Ceased WO2021229670A1 (ja) 2020-05-12 2020-05-12 会話補助装置、会話補助方法、会話補助プログラム

Country Status (3)

Country Link
US (1) US12452588B2 (ja)
JP (1) JP7409496B2 (ja)
WO (1) WO2021229670A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006041743A (ja) * 2004-07-23 2006-02-09 Toshiba Corp 通話装置
JP2006138149A (ja) * 2004-11-15 2006-06-01 Inax Corp 音響機能付き仕切り部材
JP2008207622A (ja) * 2007-02-23 2008-09-11 National Univ Corp Shizuoka Univ 音声情報伝達装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02111987U (ja) 1989-02-20 1990-09-07
JP7347506B2 (ja) * 2019-06-06 2023-09-20 日本電信電話株式会社 集音装置、到来方向推定装置、振動情報収集装置
WO2022158542A1 (ja) * 2021-01-25 2022-07-28 Agc株式会社 遮音装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006041743A (ja) * 2004-07-23 2006-02-09 Toshiba Corp 通話装置
JP2006138149A (ja) * 2004-11-15 2006-06-01 Inax Corp 音響機能付き仕切り部材
JP2008207622A (ja) * 2007-02-23 2008-09-11 National Univ Corp Shizuoka Univ 音声情報伝達装置

Also Published As

Publication number Publication date
JPWO2021229670A1 (ja) 2021-11-18
US20230147802A1 (en) 2023-05-11
US12452588B2 (en) 2025-10-21
JP7409496B2 (ja) 2024-01-09

Similar Documents

Publication Publication Date Title
JP5034595B2 (ja) 音響再生装置および音響再生方法
JP6150988B2 (ja) 特に「ハンズフリー」電話システム用の、小数遅延フィルタリングにより音声信号のノイズ除去を行うための手段を含むオーディオ装置
CN103959813B (zh) 耳孔可佩戴式声音收集设备,信号处理设备和声音收集方法
US20170148466A1 (en) Method and system for reducing background sounds in a noisy environment
US20230353953A1 (en) Voice input/output apparatus, hearing aid, voice input/output method, and voice input/output program
EP2189974A2 (en) System for Active Noise Control with Audio Signal Compensation
EP2605239A2 (en) Method and arrangement for noise reduction
JP2001056693A (ja) 騒音低減装置
WO2009132270A1 (en) Headset with integrated stereo array microphone
CN104106112A (zh) 消声装置
AU5806400A (en) Feedback cancellation with low frequency input
CN108353229B (zh) 车辆中的音频信号处理
JP7563829B2 (ja) イヤホン、音声処理方法および音声処理プログラム
JP2008042754A (ja) 音声会議装置
US10798479B2 (en) Determination of effects of physical activity on electrical load devices
JP2025529163A (ja) ウェアラブルデバイス上の風雑音低減のための入力選択
JP7409496B2 (ja) 会話補助装置、会話補助方法、会話補助プログラム
AU2005223798B2 (en) Listening device with two or more microphones
JP2007180896A (ja) 音声信号処理装置および音声信号処理方法
US11081097B2 (en) Passive balancing of electroacoustic transducers for detection of external sound
US11894013B2 (en) Sound collection loudspeaker apparatus, method and program for the same
CN109474872B (zh) 卡拉ok装置及卡拉ok系统
JP2007143008A (ja) 収音切り替え装置及び収音切り替え方法
JP4365414B2 (ja) 窓口通話装置
JP2023036332A (ja) 音響システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20935786

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022522127

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20935786

Country of ref document: EP

Kind code of ref document: A1

WWG Wipo information: grant in national office

Ref document number: 17915447

Country of ref document: US