WO2021220665A1 - 仮想的空間接続装置 - Google Patents

仮想的空間接続装置 Download PDF

Info

Publication number
WO2021220665A1
WO2021220665A1 PCT/JP2021/011790 JP2021011790W WO2021220665A1 WO 2021220665 A1 WO2021220665 A1 WO 2021220665A1 JP 2021011790 W JP2021011790 W JP 2021011790W WO 2021220665 A1 WO2021220665 A1 WO 2021220665A1
Authority
WO
WIPO (PCT)
Prior art keywords
space
processing
signal
voice
unit
Prior art date
Application number
PCT/JP2021/011790
Other languages
English (en)
French (fr)
Inventor
良 川口
キャンベル タージ
ジェイコブ マックギンティ アレン
シュウィンド ブライアン
ロウ アンドレア
ファルコン アルバロ アレギ
アリスン 福垣
志郎 後尾
Original Assignee
ｔｏｎａｒｉ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ｔｏｎａｒｉ株式会社 filed Critical ｔｏｎａｒｉ株式会社
Priority to US17/997,305 priority Critical patent/US20230199380A1/en
Priority to EP21797043.3A priority patent/EP4145822A4/en
Priority to CN202180031125.9A priority patent/CN115462064A/zh
Publication of WO2021220665A1 publication Critical patent/WO2021220665A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N7/144—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display camera and display on the same optical axis, e.g. optically multiplexing the camera and display for eye to eye contact
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/568—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants

Definitions

  • This technology relates to the technology of a virtual space connection device that virtually connects spaces separated from each other.
  • Communication means such as a videophone in which a user in each space talks by outputting an image captured in one space and a sound picked up to the other space are known.
  • Patent Document 1 the captured image of the user captured by the imaging unit is transmitted to the communication device of another user who is the communication partner, and the image of the other user transmitted from the communication device of the other user is received.
  • the communication device to be displayed on the display unit is disclosed.
  • an object of the present invention is to realize smooth communication between users in each other's space by virtually connecting spaces separated from each other and adjusting the voice output according to the situation of each space. And.
  • the virtual space connection device transmits a first captured image signal imaged in the first space and a first audio signal picked up in the first space to a second space side separated from the first space.
  • the processing, the second captured image signal obtained by imaging the second space, and the second audio signal picked up in the second space are received, and the display based on the second captured image signal and the second audio signal are displayed.
  • a first arithmetic processing unit that executes an audio output based on the above, a process of transmitting the second captured image signal and the second audio signal to the first space side separated from the second space, and the first captured image signal.
  • control signal from the first arithmetic processing unit and the second arithmetic processing unit that receives the first audio signal and executes the display based on the first captured image signal and the audio output based on the first audio signal. From the first display unit that virtually connects the second space to the first space by executing the display based on the second captured image signal in the first space, and from the second arithmetic processing unit.
  • the first display unit is provided with a second display unit that virtually connects the first space to the second space by executing a display based on the first captured image signal in the second space by a control signal.
  • the parameters related to the voice processing of the first voice signal are controlled according to the situation of the space, and the parameters related to the voice processing of the second voice signal are controlled according to the situation of the second space.
  • the image of the other space is displayed in both the first space and the second space, and the sound is output, so that the first space and the second space are virtually connected.
  • the space conditions include the conditions of environmental sounds in the space such as noise and silence, the conditions of users in the space such as the presence / absence of users, the number of people, the position, gestures, and the orientation, and the brightness, temperature, and weather in the space. It includes various situations such as the situation of the above, the situation where the space such as indoor and outdoor is provided.
  • the parameters related to voice processing include, for example, parameters related to directivity control of a voice input unit, parameters related to noise reduction processing, parameters related to encoding processing, parameters related to amplification processing, parameters related to sound quality processing such as frequency characteristics and voice change, and the like. Is.
  • the parameter related to the directivity of the microphone that collects the first voice signal is controlled as the parameter related to the voice processing of the first voice signal, and the voice of the second voice signal is controlled.
  • a parameter related to processing it is conceivable to control a parameter related to the directivity of the microphone that picks up the second audio signal.
  • the first audio signal input to the first audio input unit whose directivity of the microphone is controlled according to the situation in the first space is transmitted to the second space side separated from the first space, and the second space It is output by the second audio output unit of.
  • the second audio signal input to the second audio input unit whose directivity of the microphone is controlled according to the situation of the second space is transmitted to the first space side separated from the second space, and the first of the first space. 1 Output by the audio output unit.
  • the parameters related to the noise reduction processing of the first voice signal are controlled as the parameters related to the voice processing of the first voice signal, and the parameters related to the voice processing of the second voice signal are used. It is conceivable to control the parameters related to the noise reduction processing of the second audio signal.
  • the first audio signal that has undergone noise reduction processing according to the situation in the first space is transmitted to the second space side that is separated from the first space, and is output by the second audio output unit in the second space. ..
  • the second audio signal subjected to noise reduction processing according to the situation in the second space is transmitted to the first space side separated from the second space, and is output by the first audio output unit in the first space.
  • the parameter related to the attenuation processing of the first voice signal is controlled as a parameter related to the voice processing of the first voice signal, and the parameter related to the voice processing of the second voice signal is described. Controls the parameters related to the attenuation processing of the second audio signal.
  • the first audio signal that has been attenuated according to the situation in the first space is transmitted to the second space side that is separated from the first space, and is output by the second audio output unit in the second space.
  • the second audio signal that has been attenuated according to the situation in the second space is transmitted to the first space side separated from the second space, and is output by the first audio output unit in the first space.
  • the parameter related to the amplification processing of the first voice signal is controlled as a parameter related to the voice processing of the first voice signal, and the parameter related to the voice processing of the second voice signal is described.
  • the parameters related to the amplification processing of the second voice signal are controlled.
  • the situation in the first space is determined based on the analysis processing result of the first captured image signal, and based on the analysis processing result of the second captured image signal. It is conceivable to determine the situation in the second space. As a result, for example, when a user is detected in one space, parameters related to voice processing of the voice signal picked up in one space are controlled so that the voice uttered by the user is transmitted to the other space side.
  • the brightness in the first space is determined as the situation in the first space
  • the brightness in the second space is determined as the situation in the second space. Can be considered. From this, for example, when the brightness in the space is low, it can be estimated that there is no user trying to communicate in the space.
  • users in spaces separated from each other can smoothly communicate with each other.
  • the captured image and sound of the other space are output to the own space, so that the first space SA
  • the virtual space connection device 100 that virtually connects the second space SB and the second space SB will be described.
  • the first space SA and the second space SB in the present embodiment are, for example, indoors, such as a home room and a relative's room, a hospital examination room and a home room, a company office and a home room, and a company's office. Various combinations such as offices of other companies can be considered.
  • the virtual space connection device 100 of the present embodiment can virtually connect various spaces.
  • the image signal captured on the first space SA side is imaged as the first captured image signal
  • the sound signal picked up on the first space SA side is imaged as the first voice signal and the second space SB side.
  • the generated image signal is referred to as a second captured image signal
  • the audio signal picked up on the second space SB side is referred to as a second audio signal.
  • Configuration of virtual space connection device> ⁇ 2. Overview of virtual space connection device> ⁇ 3. First Embodiment> ⁇ 4. Second Embodiment> ⁇ 5. Third Embodiment> ⁇ 6. Summary> ⁇ 7. Variant example>
  • FIG. 1 shows that the user U1 in the first space SA and the user U2 in the second space SB are connected to each other by virtually connecting the first space SA and the second space SB by the virtual space connection device 100. As shown in, the configuration for communicating while feeling like you are actually in the next room is shown.
  • the virtual space connection device 100 includes a first imaging unit 1A, a first audio input unit 2A, a first display unit 3A, a first audio output unit 4A, a first arithmetic processing unit 5A, and a second imaging unit 1B.
  • the first image pickup unit 1A is provided in the first space SA, and has an image pickup element configured as, for example, a CCD (Charge Coupled Device) type or a CMOS (Complementary Metal Oxide Semiconductor) type.
  • the first image pickup unit 1A photoelectrically converts the light received by the image pickup element and outputs it as a first image pickup image signal to the first arithmetic processing unit 5A.
  • the first voice input unit 2A is provided in the first space SA and has a plurality of, for example, three first microphones 21A (see FIG. 2).
  • the first voice input unit 2A outputs a first voice signal as an analog signal of the voice picked up by each of the first microphones 21A to the first arithmetic processing unit 5A.
  • the first display unit 3A is provided in the first space SA, and is composed of, for example, a first projector 31A and a first screen 32A.
  • the first projector 31A outputs an image based on the second captured image signal of the second space SB received from the second arithmetic processing unit 5B, in which projection output is performed on the first screen 32A.
  • the first audio output unit 4A is, for example, one or a plurality of first speakers 41A and is provided in the first space SA (see FIG. 2).
  • the first audio output unit 4A acquires the second audio signal picked up in the second space SB from the first arithmetic processing unit 5A that has received the second audio signal, and executes the audio output based on the received second audio signal.
  • the first arithmetic processing unit 5A is built in, for example, the first projector 31A of the first space SA, or is provided as a device separate from the first projector 31A.
  • the first arithmetic processing unit 5A includes a first image signal processing unit 51A, a first audio signal processing unit 52A, a first communication unit 53A, and a first control unit 54A.
  • the first image signal processing unit 51A is configured as an image processing processor by, for example, a DSP (Digital Signal Processor) or a VDP (Video Display Processor), and is controlled by the first control unit 54A to analog from the first imaging unit 1A.
  • Various signal processing such as A / D (Analog / Digital) conversion processing is executed on the first captured image signal as a signal.
  • the first image signal processing unit 51A performs various signal processing such as brightness signal processing, color processing, resolution conversion processing, and codec processing on the first captured image signal as a digital signal.
  • the first audio signal processing unit 52A is configured as an audio processing processor by, for example, a DSP, and is controlled by the first control unit 54A to A / D (A / D) the first audio signal as an analog signal from the first audio input unit 2A. Analog / Digital) Performs various signal processing such as conversion processing. Further, the first audio signal processing unit 52A performs various signal processing on the first audio signal as a digital signal. For example, the first audio signal processing unit 52A performs beamforming processing, noise reduction processing, amplification processing, attenuation processing, sound quality processing, codec processing, and the like on the first audio signal.
  • the beamforming process is a process of controlling the directivity in the sound collecting direction based on the fact that the sound wave propagation from the sound source to each of the first microphones 21A is different.
  • the first communication unit 53A executes data communication by wireless communication via the network NW and the second arithmetic processing unit 5B on the second space SB side under the control of the first control unit 54A.
  • the first communication unit 53A performs a second calculation on the second space SB side that separates the first captured image signal that images the first space SA and the first audio signal that is picked up by the first space SA from the first space SA. It is transmitted to the processing unit 5B. Further, the first communication unit 53A receives the second captured image signal obtained by imaging the second space SB and the second audio signal picked up by the second space SB from the second arithmetic processing unit 5B on the second space SB side. ..
  • the first control unit 54A is composed of a microcomputer equipped with, for example, a GPU (Graphics Processing Unit), a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like.
  • a GPU Graphics Processing Unit
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the first control unit 54A includes a first image pickup unit 1A, a first audio input unit 2A, a first display unit 3A, a first audio output unit 4A, a first image signal processing unit 51A, a first audio signal processing unit 52A, and a first. 1
  • the control of the communication unit 53A is executed.
  • the first control unit 54A executes an image analysis process on the first captured image signal received from the first imaging unit 1A and a voice analysis process on the first voice signal received from the first voice input unit 2A. Then, the state of the first space SA is determined based on the results of the image analysis process and the sound analysis process.
  • the space conditions include the conditions of environmental sounds in the space such as noise and silence, the conditions of users in the space such as the presence / absence of users, the number of people, the position, gestures, and the orientation, and the brightness, temperature, and weather in the space.
  • the situation such as the situation where spaces such as indoors and outdoors are provided.
  • the analysis results of both the image analysis process and the audio analysis process may be used, or only one of the analysis results may be used. When using one of the analysis results, the analysis process of the other may not be executed.
  • the first control unit 54A controls the parameters related to the voice processing of the first voice signal executed by the first voice signal processing unit 52A based on the determination result of the situation of the first space SA.
  • the parameters related to voice processing include, for example, parameters related to directional control of each first microphone 21A, parameters related to noise reduction processing, parameters related to amplification processing and attenuation processing, parameters related to sound quality processing such as frequency characteristics and voice change, and codec processing. It is a parameter and so on.
  • the first audio input unit 2A executes beamforming processing, noise reduction processing, amplification processing, attenuation processing, sound quality processing, codec processing, etc., based on parameters related to audio processing acquired from the first control unit 54A.
  • the configurations of the second imaging unit 1B, the second audio input unit 2B, the second display unit 3B, the second audio output unit 4B, and the second arithmetic processing unit 5B are described above for each configuration on the first space SA side.
  • 1st space SA and 2nd space SB 1st captured image signal and 2nd captured image signal, 1st audio signal and 2nd audio signal, 1st imaging unit 1A and 2nd imaging unit 1B, 1st audio input Unit 2A and 2nd audio input unit 2B, 1st display unit 3A and 2nd display unit 3B, 1st audio output unit 4A and 2nd audio output unit 4B, 1st arithmetic processing unit 5A and 2nd arithmetic processing unit 5B, 1st microphone 21A and 2nd microphone 21B, 1st projector 31A and 2nd projector 31B, 1st screen 32A and 2nd screen 32B, 1st speaker 41A and 2nd speaker 41B, 1st image signal processing unit 51A and 2nd The image signal processing
  • FIG. 2 shows an example of a state in which the second space SB is virtually connected when viewed from the first space SA side.
  • the first space SA and the second space SB are one room of a building different from each other will be described.
  • a first projector 31A incorporating a first imaging unit 1A, three first microphones 21A, and a first arithmetic processing unit 5A, a first screen 32A, and two first speakers 41A are arranged.
  • NS On the first space SA side, a first projector 31A incorporating a first imaging unit 1A, three first microphones 21A, and a first arithmetic processing unit 5A, a first screen 32A, and two first speakers 41A are arranged.
  • the first arithmetic processing unit 5A is connected to each of the first imaging unit 1A, the first microphone 21A, the first projector 31A, and the first speaker 41A by wire or wirelessly.
  • the first screen 32A is provided, for example, on the wall surface of the first space SA from the floor surface to the ceiling, and the first projector 31A is provided, for example, on the side of the first screen 32A.
  • the first projector 31A is provided on the right side of the first screen 32A when viewed from the user U1. Further, the first projector 31A is provided at a height near the center in the height direction of the first screen 32A.
  • the first projector 31A projects an image based on the second captured image signal on the second space SB side from the side of the first screen 32A toward the first screen 32A, so that the first screen 32A is second.
  • the captured image of the space SB is displayed, and the state of the user U2 and the second space SB in the second space SB is displayed on the first space SA side.
  • the user U1 in the first space can visually recognize the situation on the second space SB side in real time.
  • the first speaker 41A is arranged on each of the left and right sides of the first screen 32A.
  • the first speakers 41A are arranged on the left and right sides of the first screen 32A in front of the user U1.
  • the first speaker 41A outputs a voice based on the second voice signal on the second space SB side, and the voice of the user U2 in the second space SB, the environmental sound of the second space SB, etc. are sent to the first space SA side. It is output. As a result, the user U1 in the first space SA can audibly recognize the situation on the second space SB side in real time.
  • the first screen 32A and the first speaker 41A enable the user U1 in the first space SA to recognize the situation on the second space SB side in real time visually and audibly, so that the user U1 can recognize the situation on the second space SB side. You can get the feeling that the two-space SB exists as an adjacent room.
  • the first imaging unit 1A is arranged on the back side of the first screen 32A.
  • the first imaging unit 1A is, for example, a small digital camera having an imaging lens width of about 2 mm.
  • the first screen 32A has a height around the neck of the user U1 of the first space SA (for example, a height of about 145 cm from the floor surface), and has a very small hole in the central portion of the first screen 32A in the width direction. Is provided, and the small digital camera is arranged so that the imaging lens of the small digital camera fits in the hole.
  • the first imaging unit 1A By imaging the first space SA from the first screen 32A side by the first imaging unit 1A, it is possible to realize an image as if the first space SA was viewed from the second space SB side. Further, by providing the first imaging unit 1A at the height around the neck of the user U1, the user U1 on the first space SA side who is trying to talk with the user U2 on the second space SB side can be imaged from substantially the front. Can be done. As a result, it is possible to take an image in which the line of sight of the user U1 on the first space SA side faces the user U2 on the second space SB side.
  • the first captured image signal captured by the first imaging unit 1A is transmitted to the second arithmetic treatment unit 5B on the second space SB side after being subjected to predetermined processing by the first arithmetic processing unit 5A.
  • the second projector 31B (not shown) on the second space SB side performs image projection based on the first captured image signal on the first space SA side on the second screen 32B (not shown) to image the first space SA.
  • the image is displayed.
  • the image on the first space SA side is displayed in life size.
  • the user U2 on the second space SB side can visually recognize the situation on the first space SA side while staying in the second space SB.
  • first space SA three first microphones 21A are arranged, for example, on the ceiling of the first space SA so as to be separated from each other.
  • the first audio signal picked up by the first microphone 21A is subjected to predetermined processing by the first arithmetic processing unit 5A, and then transmitted to the second arithmetic treatment unit 5B on the second space SB side, and is transmitted to the second space SB.
  • a second speaker 41B (not shown) arranged on the side outputs sound based on the first sound signal on the first space SA side.
  • the user U2 on the second space SB side can also hear the situation on the first space SA side while staying in the second space SB.
  • the processing of outputting the captured image signal and the audio signal input in one space on the other space side is continuously executed.
  • the first space SA and the second space SB are virtually always connected.
  • the user U1 and the user U2 can feel as if the spaces of each other exist as adjacent rooms. Further, the user U1 on the first space SA side and the user U2 on the second space SB side can communicate with each other through conversations and actions without a sense of discomfort after recognizing each other's spaces.
  • the constant connection here means a state in which the captured image and the audio signal are constantly communicated with each other regardless of the presence or absence of the user, and the other party can make a voice or image call at any time by the user. It means that it is connected to.
  • First Embodiment> An example of processing executed by the first control unit 54A for realizing the first embodiment will be described with reference to FIG.
  • the first control unit 54A determines the status of the first space SA based on the presence or absence of the user U1, and controls the parameters related to the voice processing according to the determination result. Since the processing in each embodiment described below is also executed by the second control unit 54B on the second space SB side, the description of the processing of the second control unit 54B will be omitted.
  • step S101 the first control unit 54A acquires the first captured image signal received from the first imaging unit 1A and the first audio signal received from the first audio input unit 2A.
  • the first control unit 54A executes an image analysis process based on the first captured image signal from the first imaging unit 1A on a frame-by-frame basis.
  • the first control unit 54A detects the user U1 in the first space SA by image analysis processing based on the first captured image signal, and the position information of the user U1 (coordinate value on the screen, subject distance information, etc.) ), Size information (for example, width, height, number of pixels, etc. of user U1), attribute information (for example, gender, age, etc.) and the like are acquired.
  • the image analysis process the image of the user U1 may be extracted by a pattern matching method. For example, a moving body detection method based on a frame difference may be used to detect a moving body and detect the user U1 from the moving body. Be done.
  • the method for detecting the user U1 is not limited to the above, and various methods can be considered.
  • the first control unit 54A executes a voice analysis process based on the first voice signal received from the first voice input unit 2A.
  • the first control unit 54A acquires voice type information such as the voice of the user U1 and the environmental sound in the first space SA by performing the voice analysis process.
  • the first control unit 54A receives the position information of the user U1 (coordinate values of the sound source in the first space SA) based on the fact that the sound wave propagation from the sound source to each first microphone 21A in the first voice input unit 2A is different. , Distance information to the sound source, etc.) can be acquired.
  • step S104 the first control unit 54A determines the status of the first space SA based on various information acquired by the image analysis process and the voice analysis process.
  • the first control unit 54A may determine the status of the first space SA based on the information acquired by either the image analysis process or the voice analysis process. In this case, the first control unit 54A proceeds to step S104 without performing either process of step S102 or S103.
  • step S104 the first control unit 54A determines the current mode as the detection mode and proceeds to step S105.
  • step S105 the first control unit 54A determines the position of the user U1 based on the position information acquired by the image analysis process and the voice analysis process.
  • the first control unit 54A proceeds to step S106 and executes the directivity control process.
  • the first control unit 54A controls the parameters related to the directivity of the first audio signal to be picked up as the parameters related to the audio processing of the first audio signal as the directivity control process.
  • the first control unit 54A sets, for example, parameters for beamforming processing.
  • the first control unit 54A performs parameter control capable of collecting the first audio signal with directivity that matches the position of the sound collection with the position of the determined user U1, and transmits the control signal to the first audio signal processing unit 52A. do.
  • the first audio signal processing unit 52A can obtain an easy-to-hear audio signal that mainly picks up the voice emitted from the user U1 by the beamforming process.
  • the first control unit 54A executes audio signal processing control based on the detection mode for the first audio signal processing unit 52A.
  • the first control unit 54A executes various parameter controls such as parameters related to noise reduction processing and parameters related to amplification processing and attenuation processing of the first audio signal as audio signal processing control.
  • the first control unit 54A performs filter processing such as a low-pass filter, a high-pass filter, and a hand-pass filter that emphasizes the voice of the user U1 based on the frequency of the voice emitted by the user U1 as parameter control related to the noise reduction processing. Perform parameter control to execute.
  • filter processing such as a low-pass filter, a high-pass filter, and a hand-pass filter that emphasizes the voice of the user U1 based on the frequency of the voice emitted by the user U1 as parameter control related to the noise reduction processing.
  • the first control unit 54A emphasizes the frequency band of the voice assumed by the gender based on the gender information of the user U1 acquired by the image analysis process. It is also conceivable to perform parameter control for executing the filtered processing.
  • the first control unit 54A may acquire the voice type information of the environmental sound in the first space SA based on the voice analysis processing, and perform parameter control for executing the filter processing based on the voice type information. Conceivable. For example, the first control unit 54A performs parameter control for executing the filter processing for the frequency band determined to be noise in the environmental sound in the first space SA.
  • the first control unit 54A performs the first voice as parameter control related to the amplification processing and the attenuation processing of the first voice signal so that when the user U1 is in the first space SA, a sense of presence is transmitted when communicating. Parameter control is performed to execute the signal amplification process.
  • the first control unit 54A causes the first audio signal processing unit 52A to execute audio signal processing based on various parameters as described above. After that, when the first control unit 54A finishes the process of step S107, the process proceeds to step S110.
  • the first control unit 54A determines the current mode as the non-detection mode and proceeds to step S108.
  • the first control unit 54A executes the omnidirectional control process in step S108.
  • the first control unit 54A resets the parameters related to the directivity of the first audio signal, and outputs a control signal so that the directivity of the first audio signal becomes omnidirectional to the first audio signal processing unit 52A. Send to.
  • the first audio signal processing unit 52A can perform audio signal processing without considering the directivity in the sound collecting direction.
  • the first control unit 54A executes audio signal processing control based on the non-detection mode.
  • the first control unit 54A executes various parameter controls such as parameters related to noise reduction processing and parameters related to amplification processing and attenuation processing of the first audio signal as audio signal processing control.
  • the first control unit 54A performs parameter control for executing filter processing for all frequency bands as parameter control related to noise reduction processing.
  • the first voice signal processing unit 52A performs voice processing based on the parameter, so that when there is no user U1 in the first space SA, the environmental sound on the first space SA side on the second space SB side can be heard. It can be blocked.
  • the first control unit 54A performs parameter control for executing the attenuation processing of the first audio signal when the user U1 is not present in the first space SA as the parameter control related to the amplification processing and the attenuation processing of the first audio signal. I do. As a result, when there is no user U1 in the first space SA, the environmental sound on the first space SA side on the second space SB side can be reduced.
  • the first control unit 54A causes the first audio signal processing unit 52A to execute audio signal processing based on various parameters as described above. After that, when the first control unit 54A finishes the process of step S109, the process proceeds to step S110.
  • step S110 the first control unit 54A relates to the first audio signal processed by the first audio signal processing unit 52A and the first captured image signal signal processed by the first image signal processing unit 51A. Generate transmission data for transmission to the second arithmetic processing unit 5B on the second space SB side. Then, in step S111, the first control unit 54A transmits the generated transmission data to the second arithmetic processing unit 5B.
  • the second arithmetic processing unit 5B causes the second display unit 3B to display the captured image based on the first captured image signal based on the received transmission data, and the second audio output unit 4B displays the audio based on the first audio signal. Is output by. As a result, the image and sound on the SA side of the first space are output to the SB side of the second space.
  • step S111 When the first control unit 54A finishes the process of step S111, the process returns to step S101, and the same process is repeatedly executed thereafter. As a result, the image and sound on the first space SA side are always output to the second space SB side, and the first space SA is virtually connected to the second space SB. As described above, the processing of the first control unit 54A in the first embodiment is realized.
  • Second Embodiment> An example of processing executed by the first control unit 54A for realizing the second embodiment will be described with reference to FIG.
  • the first control unit 54A determines the status of the first space SA based on the orientation of the face of the user U1, and controls the parameters related to voice processing according to the determination result.
  • the first control unit 54A acquires the first captured image signal and the first audio signal in step S101, performs image analysis processing based on the first captured image signal in step S102, and performs audio analysis based on the first audio signal in step S103. Execute the process.
  • the first control unit 54A acquires information on the number of users U1 and information on the posture of the user U1 such as the orientation of the face, in addition to the position information, size information, attribute information, etc. of the user U1 by image analysis processing. ..
  • step S104 the first control unit 54A determines whether or not the user U1 is detected in the first space SA based on various information acquired by the image analysis process and the voice analysis process, and if so, the number of users. do.
  • the first control unit 54A determines that the current mode is the detection mode, and proceeds from step S104 to steps S112 and S105 in that order. Then, the first control unit 54A determines the position of the user U1 in step S105, and executes the directivity control process in step S106 with directivity that matches the position of the sound collection with the position of the user U1. Further, in step S107, the first control unit 54A executes audio signal processing control based on the detection mode.
  • the first control unit 54A determines that the current mode is the detection mode, and proceeds from step S104 to steps S112 and S113 in that order.
  • step S113 the first control unit 54A determines whether or not there is a user U1 whose face is facing the front (facing the first screen 32A) from the information regarding the posture of the user U1 acquired in the image analysis process. judge.
  • the first control unit 54A presumes that the user U1 whose face is facing the front is trying to talk with the user U2 on the second space SB side. ..
  • the first control unit 54A proceeds from step S113 to step S105 to determine the position of the user U1 whose face is facing the front, and in step S106, the sound is picked up at the position of the user U1 whose face is facing the front.
  • the directivity control that controls the parameters with the directivity that matches the position of is executed. Further, in step S107, the first control unit 54A executes audio signal processing control based on the detection mode. After that, the first control unit 54A proceeds from step S107 to step S110.
  • step S113 when it is determined in step S113 that there is no user U1 whose face is facing the front, the first control unit 54A determines that the user U1 who is currently trying to talk with the user U2 on the second space SB side in the first space SA Presumed not. Therefore, the first control unit 54A executes the omnidirectional control process in step S108, and executes the audio signal processing control based on the non-detection mode in step S109. After that, the first control unit 54A proceeds from step S109 to step S110.
  • the first control unit 54A determines that the current mode is the non-detection mode, executes the omnidirectional control process in step S108, and steps S109. Executes audio signal processing control based on the non-detection mode. After that, the first control unit 54A proceeds from step S109 to step S110.
  • the first control unit 54A After executing the above-mentioned processing, the first control unit 54A transmits the first audio signal and the first captured image signal to the second arithmetic processing unit 5B on the second space SB side in step S110. Generate data. Then, in step S111, the first control unit 54A transmits the generated transmission data to the second arithmetic processing unit 5B. When the first control unit 54A finishes the process of step S111, the process returns to step S101, and the same process is repeatedly executed thereafter. As described above, the processing of the first control unit 54A in the second embodiment is realized.
  • the first control unit 54A determines the state of the first space SA based on the brightness of the first space SA, and controls the parameters related to the voice processing according to the determination result.
  • the first control unit 54A acquires the first captured image signal and the first audio signal in step S101, performs image analysis processing based on the first captured image signal in step S102, and performs audio analysis based on the first audio signal in step S103. Execute the process.
  • the first control unit 54A acquires the luminance information of the first space SA in addition to the position information, the size information, the attribute information, and the like of the user U1 by the image analysis process.
  • the first control unit 54A determines whether or not the first space SA is in a dark room state. For example, the first control unit 54A determines whether or not the room is in a dark room state based on a comparison between the brightness value of the first space SA acquired by the image analysis process and a predetermined threshold value.
  • the first control unit 54A determines that the current mode is the dark room mode, and proceeds to step S115.
  • the first control unit 54A executes omnidirectional control processing in step S115, and executes audio signal processing based on the darkroom mode in step S116.
  • the first control unit 54A performs parameter control for executing filter processing for all frequency bands as parameter control related to noise reduction processing.
  • the first voice signal processing unit 52A performs voice processing based on the parameter, so that when the first space SA is in a dark room state, the environmental sound on the first space SA side on the second space SB side can be heard. It can be blocked.
  • the first control unit 54A performs parameter control for executing the attenuation processing of the first audio signal when the first space SA is in the dark room state as the parameter control related to the amplification processing and the attenuation processing of the first audio signal. I do. As a result, when the first space SA is in a dark room state, the environmental sound on the first space SA side on the second space SB side can be reduced.
  • step S110 the first control unit 54A relates to the first audio signal processed by the first audio signal processing unit 52A and the first captured image signal signal processed by the first image signal processing unit 51A. Generate transmission data for transmission to the second arithmetic processing unit 5B on the second space SB side. Then, in step S111, the first control unit 54A transmits the generated transmission data to the second arithmetic processing unit 5B.
  • the second arithmetic processing unit 5B causes the second display unit 3B to display the captured image based on the first captured image signal based on the received transmission data, and the second audio output unit 4B displays the audio based on the first audio signal. Is output by. As a result, the image and sound on the SA side of the first space are output to the SB side of the second space.
  • step S111 When the first control unit 54A finishes the process of step S111, the process returns to step S101, and the same process is repeatedly executed thereafter. Since the processing after step S104 by the first control unit 54A is the same as the processing described in the first embodiment, the description thereof will be omitted. As described above, the processing of the first control unit 54A in the third embodiment is realized.
  • the first captured image signal obtained by imaging the first space SA and the first audio signal picked up by the first space SA are separated from the first space SA by a second second.
  • the process of transmitting to the space SB side, the second captured image signal obtained by imaging the second space SB, and the second audio signal picked up by the second space SB are received, and the display based on the second captured image signal and the second
  • the first arithmetic processing unit 5A that executes the audio output based on the audio signal, the process of transmitting the second captured image signal and the second audio signal to the first space SA side separated from the second space SB, and the first imaging.
  • Control signals from the second arithmetic processing unit 5B and the first arithmetic processing unit 5A that receive the image signal and the first audio signal and execute the display based on the first captured image signal and the audio output based on the first audio signal.
  • a second display unit 3B that virtually connects the first space SA to the second space SB by executing a display based on the first captured image signal in the second space SB by a control signal is provided, and the first calculation is performed.
  • the processing unit 5A controls the parameters related to the voice processing of the first voice signal according to the situation of the first space SA, and the second arithmetic processing unit 5B controls the voice of the second voice signal according to the situation of the second space SB. Control the processing parameters (see FIGS. 1 and 3 etc.). As a result, the image of the other space is displayed in both the first space SA and the second space SB, and the sound is output, so that the first space SA and the second space SB are virtually connected.
  • the first audio output unit 4A outputs the audio reflecting the situation of the second space SB
  • the second audio output unit 4B outputs the audio reflecting the situation of the first space SA.
  • the first projector 31A outputs an image output based on the second captured image signal on the second space SB side received from the first arithmetic processing unit 5A on the side of the first screen 32A. This is performed from the side toward the first screen 32A (see FIGS. 1 and 2 and the like).
  • the display area of the second space SB can be installed in the first space SA more easily than when a liquid crystal panel or the like is used. can.
  • the shadow generated by the light from the first projector 31A hitting the user U1 or the like is cast on the first screen 32A. It is possible to prevent the realistic sensation of the image from being impaired. Further, by installing the first projector 31A on the side of the first screen 32A, it is possible to project from the floor to the ceiling. This also applies to the second space SB side.
  • the first arithmetic processing unit 5A controls a parameter related to the directivity of the first microphone 21A that picks up the first voice signal as a parameter related to the voice processing of the first voice signal.
  • the second arithmetic processing unit 5B controls a parameter related to the directivity of the second microphone 21B that collects the second voice signal as a parameter related to the voice processing of the second voice signal (see S106, S108, etc. in FIG. 3).
  • the second voice signal input to the second voice input unit 2B whose directivity of sound collection in the second space SB is controlled according to the situation of the second space SB is separated from the second space SB in the first space SA. It is transmitted to the side and output by the first audio output unit 4A of the first space SA. Therefore, by controlling the directivity of the sound collection direction according to the situation of the space, a specific voice such as a user's voice can be emphasized and output to another space side, or noise from another direction can be attenuated. Can be output to other spaces. Therefore, users in each other's space can communicate smoothly with each other.
  • the first arithmetic processing unit 5A controls the parameters related to the noise reduction processing of the first audio signal as the parameters related to the audio processing of the first audio signal
  • the second arithmetic processing unit 5B controls the parameters related to the noise reduction processing of the second voice signal as the parameters related to the voice processing of the second voice signal (see S107, S109, etc. in FIG. 3).
  • the first audio signal subjected to noise reduction processing according to the situation of the first space SA is transmitted to the second space SB side separated from the first space SA, and the second audio output unit of the second space SB. It is output by 4B.
  • the second audio signal subjected to noise reduction processing according to the situation of the second space SB is transmitted to the first space SA side separated from the second space SB, and is transmitted by the first audio output unit 4A of the first space SA. It is output. Therefore, it is possible to perform processing such as filtering for a specific frequency according to the spatial situation, and by filtering other than the frequency band of the user's voice, the user's voice is emphasized or the frequency band corresponding to noise is filtered. This makes the noise less noticeable. This also facilitates smooth communication between users.
  • the first arithmetic processing unit 5A determines the situation in the first space SA based on the analysis processing result of the first captured image signal
  • the second arithmetic processing unit 5B determines the situation in the first space SA.
  • the situation in the second space SB is determined based on the analysis processing result of the second captured image signal (see S102, S104, etc. in FIG. 3).
  • the voice processing of the first voice signal picked up in the first space SA so that the voice emitted by the user U1 is transmitted to the second space SB side. It is possible to control the parameters related to.
  • determining the situation in the space based on the analysis processing result of the captured image signal for example, a user or the like in the space can be recognized with high accuracy.
  • the first arithmetic processing unit 5A determines the brightness in the first space SA as the situation in the first space SA
  • the second arithmetic processing unit 5B determines the brightness in the first space SA.
  • the brightness in the second space SB is determined as the situation in the second space SB (see S114 to S116 in FIG. 5 and the like). From this, it can be estimated that there is no user who is trying to communicate in the space, for example, when the brightness in the space is low. In such a case, for example, when the brightness is low, the audio signal can be attenuated to reduce the audio on the first space SA side output to the second space SB side, so that the output audio can be adjusted.
  • the first space SA and the second space SB have been described as indoors as an example, but the first space SA and the second space SB may be in an environment in which each configuration of the virtual space connection device can be arranged.
  • it is not limited to indoors, but may be outdoors. That is, it is also possible to virtually connect the indoor and outdoor spaces and the outdoor and outdoor spaces.
  • one first imaging unit 1A is provided at a substantially central portion of the first screen 32A, but the first imaging unit 1A is composed of a plurality of imaging devices in order to grasp the surrounding spatial coordinates. It may have been done. This also applies to the second imaging unit 1B.
  • the first voice input unit 2A is composed of three microphones
  • the first voice input unit 2A may be composed of two or four or more microphones.
  • the degree of freedom in space is increased and sharp directivity can be obtained. This also applies to the second voice input unit 2B.
  • the first voice input unit 2A performs directivity control, noise reduction processing, file conversion processing, and amplification of each microphone by a control signal from the first arithmetic processing unit 5A according to the situation of the first space SA.
  • An example of executing processing such as processing and sound quality processing has been described, but noise reduction processing, file conversion processing, amplification processing, sound quality processing, and the like may be executed by the first arithmetic processing unit 5A.
  • the first arithmetic processing unit 5A performs noise reduction processing, file conversion processing, amplification processing, sound quality processing, etc. for the first audio signal received from the first audio input unit 2A according to the situation of the first space SA. Execute the process. This also applies to the second space SB side.
  • the first arithmetic processing unit 5A and the second arithmetic processing unit 5B execute data communication by wireless communication via the network NW (see FIG. 1), but the communication method is limited to wireless communication. Instead, data communication may be executed by wired communication.
  • the first image signal processing unit 51A of the first arithmetic processing unit 5A converts various signals such as A / D conversion processing into the first imaged image signal as an analog signal from the first imaging unit 1A.
  • the various signal processings may be executed on the first imaging unit 1A side.
  • the second image signal processing unit 51B of the second arithmetic processing unit 5B may also perform the various signal processing on the second imaging unit 1B side.
  • the first display unit 3A on the first space SA side is composed of the first projector 31A and the first screen 32A
  • the first display unit 3A includes an image pickup control device and a display unit. It may be composed of.
  • the display unit is a display panel using a display device such as a liquid crystal panel (LCD: Liquid Crystal Display) or an organic EL (Electro-Luminescence) display.
  • the image pickup control device and the display unit are connected by wire or wirelessly, and the captured image on the second space SB side is displayed on the display unit according to the output from the image pickup control device. This also applies to the second display unit 3B on the second space SB side.
  • the first control unit 54A on the first space side performs image analysis processing on the first captured image signal received from the first imaging unit 1A, and the first voice signal received from the first voice input unit 2A.
  • the first control unit 54A on the first space side determines the status of the first space SA based on the results of the image analysis processing and the voice analysis processing.
  • the second control unit 54B executes image analysis processing on the first captured image signal received from the first imaging unit 1A and voice analysis processing on the first voice signal received from the first voice input unit 2A.
  • the first control unit 54A on the space side may determine the status of the first space SA based on the results of the image analysis process and the sound analysis process.
  • the second control unit 54B on the second space SB side sets the parameters related to the voice processing of the first voice signal executed by the first voice signal processing unit 52A based on the determination result of the situation of the first space SA. Then, the first control unit 54A on the first space SA side causes the first voice input unit 2A to execute various processes based on the parameters related to the voice processing of the first voice signal received from the second control unit 54B. This can be similarly applied to the second control unit 54B on the second space SB side in the present embodiment.
  • the effects described in the present disclosure are merely exemplary and not limited, and may have other effects or are part of the effects described in the present disclosure. You may. Further, the embodiments described in the present disclosure are merely examples, and the present invention is not limited to the above-described embodiments. Therefore, it goes without saying that various changes can be made depending on the design and the like as long as the technical idea of the present invention is not deviated from the above-described embodiment. Moreover, not all combinations of configurations described in the embodiments are essential for solving the problem.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Otolaryngology (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

異なる空間にいるユーザの円滑な意思疎通を実現することを目的とする。本発明における仮想的空間接続装置は、第１空間を撮像した第１撮像画像信号と第１空間で収音した第１音声信号とを第１空間と離隔した第２空間側に送信する処理と、第２空間を撮像した第２撮像画像信号と第２空間で収音した第２音声信号とを受信し、第２撮像画像信号に基づく表示及び前記第２音声信号に基づく音声出力を実行させる第１制御部と、第２撮像画像信号と第２音声信号とを第２空間と離隔した第１空間側に送信する処理と、第１撮像画像信号と第１音声信号とを受信し、第１撮像画像信号に基づく表示及び第１音声信号に基づく音声出力を実行させる第２制御部と、第１演算処理部からの制御信号により第１空間内で第２撮像画像信号に基づく表示を実行することで第１空間に第２空間を仮想的に接続する第１表示ユニットと、第２演算処理部からの制御信号により第２空間内で第１撮像画像信号に基づく表示を実行することで第２空間に第１空間を仮想的に接続する第２表示ユニットと、を備える。

Description

仮想的空間接続装置
　本技術は、互いに離隔する空間を仮想的に接続する仮想的空間接続装置の技術に関する。
　一方の空間で撮像された撮像画像及び収音された音声を、他方の空間に出力することで各空間にいるユーザが会話を行うテレビ電話などのコミュニケーション手段が知られている。
　特許文献１では、撮像部で撮像したユーザの撮像画像を、コミュニケーション相手となる他のユーザのコミュニケーション装置へ送信するとともに、当該他のユーザのコミュニケーション装置から送信されてくる他のユーザの画像を受信して表示部に表示するコミュニケーション装置が開示されている。
特開２０１９－１４６１１８号公報
　このようなコミュニケーション手段においては、ただ単に会話をすることのみならず、互いの空間の状況を各空間のユーザ同士が共有することで臨場感のある意思疎通を行うことが望まれている。
　また各空間における臨場感をより高めるためには、一方の空間における収音をどのように他方の空間に出力するかが重要となる。
　そこで本発明では、互いに離隔した空間を仮想的に接続し、各空間の状況に応じて音声出力の調整を行うことで、互いの空間にいるユーザ同士の円滑な意思疎通を実現することを目的とする。
　本発明に係る仮想的空間接続装置は、第１空間を撮像した第１撮像画像信号と前記第１空間で収音した第１音声信号とを前記第１空間と離隔した第２空間側に送信する処理と、前記第２空間を撮像した第２撮像画像信号と前記第２空間で収音した第２音声信号とを受信し、前記第２撮像画像信号に基づく表示及び前記第２音声信号に基づく音声出力を実行させる第１演算処理部と、前記第２撮像画像信号と前記第２音声信号とを前記第２空間と離隔した第１空間側に送信する処理と、前記第１撮像画像信号と前記第１音声信号とを受信し、前記第１撮像画像信号に基づく表示及び前記第１音声信号に基づく音声出力を実行させる第２演算処理部と、前記第１演算処理部からの制御信号により前記第１空間内で前記第２撮像画像信号に基づく表示を実行することで前記第１空間に前記第２空間を仮想的に接続する第１表示ユニットと、前記第２演算処理部からの制御信号により前記第２空間内で前記第１撮像画像信号に基づく表示を実行することで前記第２空間に前記第１空間を仮想的に接続する第２表示ユニットと、を備え、前記第１空間の状況に応じて前記第１音声信号の音声処理に関するパラメータを制御し、前記第２空間の状況に応じて前記第２音声信号の音声処理に関するパラメータを制御する。
　これにより、第１の空間と第２空間の何れにおいても他方の空間の画像が表示され、かつ音声が出力されることで、第１の空間と第２の空間が仮想的に接続される。
　ここで空間の状況とは、例えば騒音や静寂といった空間内の環境音の状況や、ユーザの存否、人数、位置、仕草、向きといった空間内のユーザの状況、空間内の明るさ、温度、天候の状況、室内、屋外といった空間が設けられている状況など、様々な状況が含まれる。
　また音声処理に関するパラメータとは、例えば音声入力ユニットの指向性制御に関するパラメータ、ノイズリダクション処理に関するパラメータ、エンコード処理のためのパラメータ、増幅処理に関するパラメータ、周波数特性やボイスチェンジといった音質処理に関するパラメータなどのことである。
　上記した本発明に係る仮想的空間接続装置において、前記第１音声信号の音声処理に関するパラメータとして前記第１音声信号を収音するマイクロフォンの指向性に関するパラメータを制御し、前記第２音声信号の音声処理に関するパラメータとして前記第２音声信号を収音するマイクロフォンの指向性に関するパラメータを制御することが考えられる。
　これにより、第１空間の状況に応じてマイクロフォンの指向性が制御された第１音声入力ユニットに入力された第１音声信号が第１空間と離隔した第２空間側に送信され、第２空間の第２音声出力ユニットにより出力される。また第２空間の状況に応じてマイクロフォンの指向性が制御された第２音声入力ユニットに入力された第２音声信号が第２空間と離隔した第１空間側に送信され、第１空間の第１音声出力ユニットにより出力される。
　上記した本発明に係る仮想的空間接続装置において、前記第１音声信号の音声処理に関するパラメータとして前記第１音声信号のノイズリダクション処理に関するパラメータを制御し、前記第２音声信号の音声処理に関するパラメータとして前記第２音声信号をノイズリダクション処理に関するパラメータを制御することが考えられる。
　これにより、第１空間の状況に応じたノイズリダクション処理が行われた第１音声信号が第１空間と離隔した第２空間側に送信され、第２空間の第２音声出力ユニットにより出力される。また第２空間の状況に応じたノイズリダクション処理が行われた第２音声信号が第２空間と離隔した第１空間側に送信され、第１空間の第１音声出力ユニットにより出力される。
　上記した本発明に係る仮想的空間接続装置において、前記第１音声信号の音声処理に関するパラメータとして前記第１音声信号の減衰処理に関するパラメータを制御し、前記第２音声信号の音声処理に関するパラメータとして前記第２音声信号を減衰処理に関するパラメータを制御する。
　これにより、第１空間の状況に応じた減衰処理が行われた第１音声信号が第１空間と離隔した第２空間側に送信され、第２空間の第２音声出力ユニットにより出力される。また第２空間の状況に応じた減衰処理が行われた第２音声信号が第２空間と離隔した第１空間側に送信され、第１空間の第１音声出力ユニットにより出力される。
　上記した本発明に係る仮想的空間接続装置において、前記第１音声信号の音声処理に関するパラメータとして前記第１音声信号の増幅処理に関するパラメータを制御し、前記第２音声信号の音声処理に関するパラメータとして前記第２音声信号を増幅処理に関するパラメータを制御する。
　これにより、第１空間の状況に応じた増幅処理が行われた第１音声信号が第１空間と離隔した第２空間側に送信され、第２空間の第２音声出力ユニットにより出力される。また第２空間の状況に応じた増幅処理が行われた第２音声信号が第２空間と離隔した第１空間側に送信され、第１空間の第１音声出力ユニットにより出力される。
　上記した本発明に係る仮想的空間接続装置において、前記第１撮像画像信号の解析処理結果に基づいて前記第１空間内の状況を判定し、前記第２撮像画像信号の解析処理結果に基づいて前記第２空間内の状況を判定することが考えられる。
　これにより、例えば一方の空間内にユーザを検出した場合は、ユーザの発した声が他方の空間側に伝わるように一方の空間内で収音した音声信号の音声処理に関するパラメータを制御する。
　上記した本発明に係る仮想的空間接続装置において、前記第１空間内の状況として前記第１空間内の輝度を判定し、前記第２空間内の状況として前記第２空間内の輝度を判定することが考えられる。
　これにより、例えば空間内の輝度が低い場合、当該空間に意思疎通を行おうとしているユーザがいないことが推定できる。
　本発明によれば、互いに離隔した空間にいるユーザ同士が円滑に意思疎通を行うことができる。
本発明の実施の形態における仮想的空間接続装置の概要を示す図である。 実施の形態における仮想的空間接続装置の実装例を示す図である。 第１の実施の形態における演算装置の処理を示すフローチャートである。 第２の実施の形態における演算装置の処理を示すフローチャートである。 第３の実施の形態における演算装置の処理を示すフローチャートである。
　本発明の実施の形態では一例として、第１空間ＳＡと当該第１空間ＳＡから離隔した第２空間ＳＢとにおいて自空間に他方の空間の撮像画像及び音声を出力することで、第１空間ＳＡと第２空間ＳＢを仮想的に接続する仮想的空間接続装置１００について説明する。
　本実施の形態における第１空間ＳＡと第２空間ＳＢは、例えば屋内であり、自宅の部屋と親戚の部屋、病院の診察室と自宅の部屋、会社のオフィスと自宅の部屋、自社のオフィスと他社のオフィスなど様々な組み合わせが考えられる。このように本実施の形態の仮想的空間接続装置１００は様々な空間を仮想的に接続することができる。
　また以下の説明では、第１空間ＳＡ側で撮像された画像信号を第１撮像画像信号、第１空間ＳＡ側で収音された音声信号を第１音声信号と、第２空間ＳＢ側で撮像された画像信号を第２撮像画像信号、第２空間ＳＢ側で収音された音声信号を第２音声信号と表記する。
　なお、説明にあたり参照する図面に記載された各構成は、本発明に係る要部の構成のみ抽出したものであり、図面に記載された構成は、本発明の技術的思想を逸脱しない範囲であれば設計などに応じて種々な変更が可能である。
　また、以下で一度説明した構成は、それ以降同一の符号を付して説明を省略することがある。さらに、本発明は本実施の形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
　以下、実施の形態を次の順序で説明する。
<１．仮想的空間接続装置の構成>
<２．仮想的空間接続装置の概要>
<３．第１の実施の形態>
<４．第２の実施の形態>
<５．第３の実施の形態>
<６．まとめ>
<７．変型例>
<１．仮想的空間接続装置の構成>
　本発明の実施の形態としての仮想的空間接続装置１００の構成について、図１及び図２を参照して説明する。図１は、仮想的空間接続装置１００により第１空間ＳＡと第２空間ＳＢを仮想的に接続することで、第１空間ＳＡにいるユーザＵ１と第２空間ＳＢにいるユーザＵ２とが図２に示すように実際に隣の部屋にいるように感じながら意思疎通を行うための構成を示している。
　図１において仮想的空間接続装置１００は、第１撮像部１Ａ、第１音声入力ユニット２Ａ、第１表示ユニット３Ａ、第１音声出力ユニット４Ａ、第１演算処理部５Ａ、及び第２撮像部１Ｂ、第２音声入力ユニット２Ｂ、第２表示ユニット３Ｂ、第２音声出力ユニット４Ｂ、第２演算処理部５Ｂを有している。
　第１撮像部１Ａは第１空間ＳＡに設けられ、例えばＣＣＤ（Charge Coupled Device）型やＣＭＯＳ（Complementary Metal Oxide Semiconductor）型として構成された撮像素子を有する。この第１撮像部１Ａは、撮像素子で受光した光を光電変換し、第１撮像画像信号として第１演算処理部５Ａに出力する。
　第１音声入力ユニット２Ａは第１空間ＳＡに設けられ、複数、例えば３つの第１マイクロフォン２１Ａを有している（図２参照）。第１音声入力ユニット２Ａは、各第１マイクロフォン２１Ａで収音した音声のアナログ信号としての第１音声信号を第１演算処理部５Ａに出力する。
　第１表示ユニット３Ａは第１空間ＳＡに設けられ、例えば第１プロジェクタ３１Ａと第１スクリーン３２Ａにより構成される。第１プロジェクタ３１Ａは、第２演算処理部５Ｂから受信した第２空間ＳＢの第２撮像画像信号に基づく画像出力、ここでは投影出力を第１スクリーン３２Ａに対して行う。
　第１音声出力ユニット４Ａは、例えば１又は複数の第１スピーカ４１Ａであり第１空間ＳＡに設けられている（図２参照）。第１音声出力ユニット４Ａは、第２空間ＳＢで収音された第２音声信号を受信した第１演算処理部５Ａから取得し、当該受信した第２音声信号に基づく音声出力を実行する。
　第１演算処理部５Ａは例えば第１空間ＳＡの第１プロジェクタ３１Ａに内蔵されたり、第１プロジェクタ３１Ａとは別体の装置として設けられている。第１演算処理部５Ａは、第１画像信号処理部５１Ａ、第１音声信号処理部５２Ａ、第１通信部５３Ａ、第１制御部５４Ａを有する。
　第１画像信号処理部５１Ａは、例えばＤＳＰ（Digital Signal Processor）やＶＤＰ（Video Display Processor）等により画像処理プロセッサとして構成され、第１制御部５４Ａからの制御により、第１撮像部１Ａからのアナログ信号としての第１撮像画像信号にＡ／Ｄ（Analog/Digital）変換処理等の各種の信号処理を実行する。また第１画像信号処理部５１Ａは、デジタル信号としての第１撮像画像信号に対して輝度信号処理、色処理、解像度変換処理、コーデック処理などの各種の信号処理を施す。
　第１音声信号処理部５２Ａは、例えばＤＳＰにより音声処理プロセッサとして構成され、第１制御部５４Ａからの制御により、第１音声入力ユニット２Ａからのアナログ信号としての第１音声信号にＡ／Ｄ（Analog/Digital）変換処理等の各種の信号処理を実行する。また第１音声信号処理部５２Ａは、デジタル信号としての第１音声信号に対して各種の信号処理を施す。例えば第１音声信号処理部５２Ａは、第１音声信号に対してビームフォーミング処理、ノイズリダクション処理、増幅処理や減衰処理、音質処理、コーデック処理等を行う。
　ここでビームフォーミング処理とは、音源から各第１マイクロフォン２１Ａへの音波伝搬がそれぞれ異なることに基づいて収音方向の指向性を制御する処理のことである。
　第１通信部５３Ａは、第１制御部５４Ａからの制御により、第２空間ＳＢ側の第２演算処理部５ＢとネットワークＮＷを介した無線通信によるデータ通信を実行する。
　第１通信部５３Ａは、第１空間ＳＡを撮像した第１撮像画像信号と第１空間ＳＡで収音した第１音声信号とを第１空間ＳＡと離隔した第２空間ＳＢ側の第２演算処理部５Ｂに送信する。また第１通信部５３Ａは、第２空間ＳＢを撮像した第２撮像画像信号と第２空間ＳＢで収音した第２音声信号とを第２空間ＳＢ側の第２演算処理部５Ｂから受信する。
　第１制御部５４Ａは、例えばＧＰＵ（Graphics Processing Unit）やＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備えたマイクロコンピュータで構成される。
　第１制御部５４Ａは、第１撮像部１Ａ、第１音声入力ユニット２Ａ、第１表示ユニット３Ａ、第１音声出力ユニット４Ａ、第１画像信号処理部５１Ａ、第１音声信号処理部５２Ａ、第１通信部５３Ａの制御を実行する。
　また第１制御部５４Ａは、第１撮像部１Ａから受信した第１撮像画像信号について画像解析処理や、第１音声入力ユニット２Ａから受信した第１音声信号について音声解析処理を実行する。そして画像解析処理及び音声解析処理の結果に基づいて第１空間ＳＡの状況を判定する。
　ここで空間の状況とは、例えば騒音や静寂といった空間内の環境音の状況や、ユーザの存否、人数、位置、仕草、向きといった空間内のユーザの状況、空間内の明るさ、温度、天候の状況、室内、屋外といった空間が設けられている状況などのことである。
　なお、第１空間ＳＡの状況を判定するにあたっては、画像解析処理と音声解析処理の両方の解析結果を用いてもよいし、何れか一方の解析結果のみ用いてもよい。また何れか一方の解析結果を用いる場合、他方の解析処理を実行しないこととしてもよい。
　第１制御部５４Ａは、第１空間ＳＡの状況の判定結果に基づいて、第１音声信号処理部５２Ａが実行する第１音声信号の音声処理に関するパラメータを制御する。ここで音声処理に関するパラメータとは、例えば各第１マイクロフォン２１Ａの指向性制御に関するパラメータ、ノイズリダクション処理に関するパラメータ、増幅処理や減衰処理に関するパラメータ、周波数特性やボイスチェンジといった音質処理に関するパラメータ、コーデック処理に関するパラメータなどのことである。
　第１音声入力ユニット２Ａは、第１制御部５４Ａから取得した音声処理に関するパラメータに基づいて、ビームフォーミング処理、ノイズリダクション処理、増幅処理や減衰処理、音質処理、コーデック処理等を実行する。
　第２撮像部１Ｂ、第２音声入力ユニット２Ｂ、第２表示ユニット３Ｂ、第２音声出力ユニット４Ｂ、及び第２演算処理部５Ｂの各構成は、上述した第１空間ＳＡ側の各構成の説明における、第１空間ＳＡと第２空間ＳＢ、第１撮像画像信号と第２撮像画像信号、第１音声信号と第２音声信号、第１撮像部１Ａと第２撮像部１Ｂ、第１音声入力ユニット２Ａと第２音声入力ユニット２Ｂ、第１表示ユニット３Ａと第２表示ユニット３Ｂ、第１音声出力ユニット４Ａと第２音声出力ユニット４Ｂ、第１演算処理部５Ａと第２演算処理部５Ｂ、第１マイクロフォン２１Ａと第２マイクロフォン２１Ｂ、第１プロジェクタ３１Ａと第２プロジェクタ３１Ｂ、第１スクリーン３２Ａと第２スクリーン３２Ｂ、第１スピーカ４１Ａと第２スピーカ４１Ｂ、第１画像信号処理部５１Ａと第２画像信号処理部５１Ｂ、第１音声信号処理部５２Ａと第２音声信号処理部５２Ｂ、第１通信部５３Ａと第２通信部５３Ｂ、第１制御部５４Ａと第２制御部５４Ｂ、を互いに読み替えることで説明される。そのため、第２空間ＳＢ側の構成の説明を省略する。また、以降の説明において第１空間ＳＡ側と同様であることから第２空間ＳＢ側の構成や処理を省略する際には、上記のように読み替えるものとする。
　以上の構成に基づいて本発明の実施の形態が実現される。
<２．仮想的空間接続装置の実装例>
　本発明の実施の形態における仮想的空間接続装置の実装例について、図２を参照して説明する。図２は、第１空間ＳＡ側から見て第２空間ＳＢが仮想的に接続された状態の一例を示している。ここでは、第１空間ＳＡと第２空間ＳＢが互いに異なる建物の一室である例について説明する。
　第１空間ＳＡ側には、第１撮像部１Ａ、３つの第１マイクロフォン２１Ａ、第１演算処理部５Ａが内蔵された第１プロジェクタ３１Ａ、第１スクリーン３２Ａ、２つの第１スピーカ４１Ａが配置される。
　第１演算処理部５Ａは、第１撮像部１Ａ、第１マイクロフォン２１Ａ、第１プロジェクタ３１Ａ、第１スピーカ４１Ａのそれぞれと有線又は無線により接続されている。
　第１スクリーン３２Ａは、例えば第１空間ＳＡの壁面に床面から天井にかけて設けられており、第１プロジェクタ３１Ａは、例えば第１スクリーン３２Ａの側方に設けられている。ここで第１プロジェクタ３１Ａは、ユーザＵ１から見て第１スクリーン３２Ａの右側方に設けられている。また第１プロジェクタ３１Ａは、第１スクリーン３２Ａの高さ方向における中央付近の高さに設けられている。
　第１プロジェクタ３１Ａが、第２空間ＳＢ側での第２撮像画像信号に基づく画像投影を、第１スクリーン３２Ａの側方から第１スクリーン３２Ａに向けて行うことで、第１スクリーン３２Ａに第２空間ＳＢの撮像画像が表示され、第２空間ＳＢにいるユーザＵ２や第２空間ＳＢの様子が第１空間ＳＡ側に表示される。これにより、第１空間にいるユーザＵ１は、第２空間ＳＢ側の状況を視覚的にリアルタイムに認識することができる。
　第１スクリーン３２Ａの左右側方にはそれぞれ第１スピーカ４１Ａが配置されている。ここではユーザＵ１から見て前方の第１スクリーン３２Ａの左右側方に第１スピーカ４１Ａが配置されている。
　第１スピーカ４１Ａにより、第２空間ＳＢ側での第２音声信号に基づく音声が出力され、第２空間ＳＢにいるユーザＵ２の声や第２空間ＳＢの環境音などが第１空間ＳＡ側に出力される。これにより、第１空間ＳＡにいるユーザＵ１は、第２空間ＳＢ側の状況を聴覚によりリアルタイムに認識することができる。
　このように、第１スクリーン３２Ａ及び第１スピーカ４１Ａにより、第１空間ＳＡにいるユーザＵ１が、視覚及び聴覚によりリアルタイムに第２空間ＳＢ側の状況を認識可能とすることで、ユーザＵ１は第２空間ＳＢがまるで隣の部屋として存在するかのような感覚を得ることができる。
　第１スクリーン３２Ａの裏側には第１撮像部１Ａが配置されている。第１撮像部１Ａは例えば撮像レンズの幅が２ｍｍ程の小型デジタルカメラである。第１スクリーン３２Ａには、第１空間ＳＡのユーザＵ１の首の辺りの高さ（例えば床面から１４５ｃｍ程の高さ）であって、第１スクリーン３２Ａの幅方向の中央部に極小の孔が設けられており、当該孔に小型デジタルカメラの撮像レンズが収まるように当該小型デジタルカメラが配置される。
　第１撮像部１Ａにより第１スクリーン３２Ａ側から第１空間ＳＡを撮像することで、第２空間ＳＢ側から第１空間ＳＡを見たような撮像を実現することができる。またユーザＵ１の首の辺りの高さに第１撮像部１Ａを設けることで、第２空間ＳＢ側のユーザＵ２と会話をしようとしている第１空間ＳＡ側のユーザＵ１を略正面から撮像することができる。これにより、第１空間ＳＡ側のユーザＵ１の目線が第２空間ＳＢ側のユーザＵ２に向いているような撮像が可能となる。
　第１撮像部１Ａで撮像された第１撮像画像信号は第１演算処理部５Ａで所定の処理が施された後、第２空間ＳＢ側の第２演算処置部５Ｂに送信される。
　その後、第２空間ＳＢ側の図示しない第２プロジェクタ３１Ｂが、第１空間ＳＡ側の第１撮像画像信号に基づく画像投影を、図示しない第２スクリーン３２Ｂに行うことで、第１空間ＳＡの撮像画像が表示される。このとき、リアルタイムな通信や相手がすぐそこにいる感じを強調するために、第１空間ＳＡ側の画像が等身大に表示される。
　これにより、第２空間ＳＢ側のユーザＵ２も第２空間ＳＢにいながら第１空間ＳＡ側の状況を視覚により認識することができる。
　第１空間ＳＡには、３つの第１マイクロフォン２１Ａが、例えば第１空間ＳＡの天井に互いに離間して配置されている。
　第１マイクロフォン２１Ａで収音された第１音声信号は第１演算処理部５Ａで所定の処理が施された後、第２空間ＳＢ側の第２演算処置部５Ｂに送信され、第２空間ＳＢ側に配置された図示しない第２スピーカ４１Ｂにより、第１空間ＳＡ側の第１音声信号に基づく音声が出力される。これにより、第２空間ＳＢ側のユーザＵ２も第２空間ＳＢにいながら第１空間ＳＡ側の状況を聴覚により認識することができる。
　以上のように、本発明の実施の形態における仮想的空間接続装置１００においては、一方の空間で入力された撮像画像信号及び音声信号を他方の空間側で出力する処理を互いに連続して実行することで、第１空間ＳＡと第２空間ＳＢを仮想的に常時接続する。
　これにより、ユーザＵ１とユーザＵ２が互いの空間がまるで隣の部屋として存在するかのような感覚を得ることができる。また第１空間ＳＡ側のユーザＵ１と第２空間ＳＢ側のユーザＵ２とが互いの空間を認識したうえで、違和感のない会話、動作などによる意思疎通を行うことが可能となる。
　なお、ここでの常時接続とは、ユーザの有無に関わらず撮像画像及び音声信号の相互通信が常時行われている状態をいい、またユーザによりいつでも音声や画像による通話が実行できる状態で相手先と接続されていることをいう。
<３．第１の実施の形態>
　第１の実施の形態を実現するための第１制御部５４Ａが実行する処理例について図３を参照して説明する。第１の実施の形態では、第１制御部５４Ａは、第１空間ＳＡの状況をユーザＵ１の存否により判定し、当該判定結果に応じて音声処理に関するパラメータを制御する。
　なお、以下に説明する各実施の形態における処理は、第２空間ＳＢ側の第２制御部５４Ｂも同様に実行するため、第２制御部５４Ｂの処理については説明を省略する。
　まず第１制御部５４ＡはステップＳ１０１において、第１撮像部１Ａから受信した第１撮像画像信号、及び第１音声入力ユニット２Ａから受信した第１音声信号を取得する。
　そして第１制御部５４ＡはステップＳ１０２において、第１撮像部１Ａからの第１撮像画像信号に基づく画像解析処理を各フレーム単位で実行する。第１制御部５４Ａは、第１撮像画像信号に基づく画像解析処理により第１空間ＳＡ内におけるユーザＵ１の検出を行い、そのユーザＵ１の位置情報（画面上での座標値、被写体距離の情報等）、サイズ情報（例えばユーザＵ１の横幅、高さ、ピクセル数等）、属性情報（例えば性別、年齢等）などを取得する。
　画像解析処理としては、パターンマッチングの手法でユーザＵ１の画像を抽出してもよいし、例えばフレーム差分による動体検出の手法で、動体を検出し、当該動体からユーザＵ１を検出することなども考えられる。ユーザＵ１の検出の手法は以上に限定されず、多様に考えられる。
　また第１制御部５４Ａは、ステップＳ１０３において、第１音声入力ユニット２Ａから受信した第１音声信号に基づく音声解析処理を実行する。第１制御部５４Ａは、当該音声解析処理を行うことでユーザＵ１の話し声、第１空間ＳＡ内の環境音などの音声種別情報を取得する。
　このとき第１制御部５４Ａは、第１音声入力ユニット２Ａにおける各第１マイクロフォン２１Ａへの音源からの音波伝搬がそれぞれ異なることに基づき、ユーザＵ１の位置情報（音源の第１空間ＳＡにおける座標値、音源までの距離情報等）を取得することができる。
　第１制御部５４Ａは、ステップＳ１０４において、画像解析処理及び音声解析処理により取得した各種情報に基づいて第１空間ＳＡの状況を判定する。第１の実施の形態では第１空間ＳＡの状況判定の一例として、第１空間ＳＡにおいてユーザＵ１を検出したか否かを判定する。
　なお、第１制御部５４Ａは、画像解析処理及び音声解析処理の何れか一方の処理により取得した情報に基づいて第１空間ＳＡの状況を判定することとしてもよい。この場合、第１制御部５４Ａは、ステップＳ１０２又はＳ１０３の何れかの処理を行うことなくステップＳ１０４に処理を進めることになる。
　ステップＳ１０４で第１空間ＳＡにおけるユーザＵ１を検出した場合、第１制御部５４Ａは現在のモードを検知モードと判定し、ステップＳ１０５に処理を進める。
　第１制御部５４Ａは、ステップＳ１０５において、画像解析処理及び音声解析処理により取得した位置情報に基づいてユーザＵ１の位置を判定する。
　そして第１制御部５４ＡはステップＳ１０６に処理を進め、指向性制御処理を実行する。第１制御部５４Ａは指向性制御処理として、第１音声信号の音声処理に関するパラメータとして、収音する第１音声信号の指向性に関するパラメータを制御する。ここで第１制御部５４Ａは、例えばビームフォーミング処理のパラメータを設定する。
　第１制御部５４Ａは、判定したユーザＵ１の位置に収音の位置を合わせた指向性をもって第１音声信号を収音できるパラメータ制御を行い、当該制御信号を第１音声信号処理部５２Ａに送信する。
　これにより第１音声信号処理部５２Ａではビームフォーミング処理により、ユーザＵ１から発せられる声を主に収音した聞き取りやすい音声信号を得ることが可能となる。
　続いて第１制御部５４Ａは、ステップＳ１０７において、第１音声信号処理部５２Ａに対して検知モードに基づく音声信号処理制御を実行する。第１制御部５４Ａは、音声信号処理制御として例えばノイズリダクション処理に関するパラメータ、第１音声信号の増幅処理や減衰処理に関するパラメータなどの様々なパラメータ制御を実行する。
　例えば第１制御部５４Ａは、ノイズリダクション処理に関するパラメータ制御として、ユーザＵ１の発する声の周波数に基づいて、ユーザＵ１の声が強調されるようなローパスフィルタ及びハイパスフィルタ、ハンドパスフィルタなどのフィルタ処理を実行させるためのパラメータ制御を行う。
　またユーザＵ１の性別による声の周波数帯域の違いに着目し、第１制御部５４Ａは、画像解析処理により取得したユーザＵ１の性別情報に基づいて、当該性別で想定される声の周波数帯域を強調したフィルタ処理を実行させるためのパラメータ制御を行うことも考えられる。
　さらに第１制御部５４Ａは、音声解析処理に基づいて第１空間ＳＡ内の環境音の音声種別情報を取得し、当該音声種別情報に基づいてフィルタ処理を実行させるためのパラメータ制御を行うことも考えられる。例えば第１制御部５４Ａは、第１空間ＳＡ内の環境音における騒音と判定される周波数帯域についてフィルタ処理を実行させるためのパラメータ制御を行う。
　また例えば第１制御部５４Ａは、第１音声信号の増幅処理や減衰処理に関するパラメータ制御として、第１空間ＳＡにユーザＵ１がいる場合はコミュニケーションを行う際に臨場感が伝わるように、第１音声信号の増幅処理を実行させるためのパラメータ制御を行う。
　第１制御部５４Ａは、上記のような各種パラメータに基づく音声信号処理を第１音声信号処理部５２Ａに実行させる。その後、第１制御部５４ＡはステップＳ１０７の処理を終えるとステップＳ１１０に処理を進める。
　一方、ステップＳ１０４で第１空間ＳＡにおいてユーザＵ１を検出しなかった場合、第１制御部５４Ａは現在のモードを非検知モードと判定し、ステップＳ１０８に処理を進める。
　第１制御部５４Ａは、ステップＳ１０８において無指向性制御処理を実行する。第１制御部５４Ａは無指向性制御として、第１音声信号の指向性に関するパラメータをリセットし、第１音声信号の指向性が無指向性となるような制御信号を第１音声信号処理部５２Ａに送信する。これにより第１音声信号処理部５２Ａでは、収音方向の指向性を加味しない音声信号処理が可能となる。
　続いて第１制御部５４Ａは、ステップＳ１０９において、非検知モードに基づく音声信号処理制御を実行する。
　第１制御部５４Ａは、音声信号処理制御として例えばノイズリダクション処理に関するパラメータ、第１音声信号の増幅処理や減衰処理に関するパラメータなどの様々なパラメータ制御を実行する。
　例えば第１制御部５４Ａは、ノイズリダクション処理に関するパラメータ制御として、全周波数帯域についてフィルタ処理を実行させるためのパラメータ制御を行う。これにより、第１音声信号処理部５２Ａにより当該パラメータに基づく音声処理が行われることで、第１空間ＳＡにユーザＵ１がいない場合において、第２空間ＳＢ側における第１空間ＳＡ側の環境音を遮断することができる。
　また例えば第１制御部５４Ａは、第１音声信号の増幅処理や減衰処理に関するパラメータ制御として、第１空間ＳＡにユーザＵ１がいない場合は、第１音声信号の減衰処理を実行させるためのパラメータ制御を行う。これにより、第１空間ＳＡにユーザＵ１がいない場合は、第２空間ＳＢ側における第１空間ＳＡ側の環境音を小さくすることができる。
　第１制御部５４Ａは、上記のような各種パラメータに基づく音声信号処理を第１音声信号処理部５２Ａに実行させる。その後、第１制御部５４ＡはステップＳ１０９の処理を終えるとステップＳ１１０に処理を進める。
　第１制御部５４Ａは、ステップＳ１１０において、第１音声信号処理部５２Ａで信号処理がされた第１音声信号、及び第１画像信号処理部５１Ａで信号処理がされた第１撮像画像信号について、第２空間ＳＢ側の第２演算処理部５Ｂに送信するための送信用データを生成する。そして第１制御部５４Ａは、ステップＳ１１１において、生成した送信用データを第２演算処理部５Ｂに送信する。
　第２演算処理部５Ｂは、受信した送信用データに基づいて、第１撮像画像信号に基づく撮像画像を第２表示ユニット３Ｂにより表示させ、第１音声信号に基づく音声を第２音声出力ユニット４Ｂにより出力される。これにより、第１空間ＳＡ側の画像及び音声が第２空間ＳＢ側に出力される。
　第１制御部５４Ａは、ステップＳ１１１の処理を終えるとステップＳ１０１に処理を戻し、以降同様の処理を繰り返し実行する。これにより、第１空間ＳＡ側の画像及び音声が常に第２空間ＳＢ側に出力されることになり、第１空間ＳＡが第２空間ＳＢと仮想的に接続された状態となる。
　以上により、第１の実施の形態における第１制御部５４Ａの処理が実現される。
<４．第２の実施の形態>
　第２の実施の形態を実現するための第１制御部５４Ａが実行する処理例について図４を参照して説明する。第２の実施の形態では、第１制御部５４Ａは、第１空間ＳＡの状況をユーザＵ１の顔の向きにより判定し、当該判定結果に応じて音声処理に関するパラメータを制御する。
　第１制御部５４Ａは、ステップＳ１０１において第１撮像画像信号及び第１音声信号を取得し、ステップＳ１０２において第１撮像画像信号に基づく画像解析処理を、ステップＳ１０３において第１音声信号に基づく音声解析処理を実行する。
　ここで第１制御部５４Ａは、画像解析処理によりユーザＵ１の位置情報、サイズ情報、属性情報などに加えて、ユーザＵ１の人数情報や、顔の向き等のユーザＵ１の姿勢に関する情報を取得する。
　第１制御部５４Ａは、ステップＳ１０４において、画像解析処理及び音声解析処理により取得した各種情報に基づいて第１空間ＳＡにおいてユーザＵ１を検出したか否か、及び検出したのであればその人数を判定する。
　まず第１空間ＳＡにいるユーザＵ１が１人であると判定した場合、第１制御部５４Ａは現在のモードを検知モードと判定し、ステップＳ１０４からステップＳ１１２，Ｓ１０５の順に処理を進める。
　そして第１制御部５４Ａは、ステップＳ１０５においてユーザＵ１の位置判定を行い、ステップＳ１０６において、ユーザＵ１の位置に収音の位置を合わせた指向性をもって指向性制御処理を実行する。また第１制御部５４Ａは、ステップＳ１０７において、検知モードに基づく音声信号処理制御を実行する。
　次に第１空間ＳＡにユーザＵ１が複数人いると判定した場合、第１制御部５４Ａは現在のモードを検知モードと判定し、ステップＳ１０４からステップＳ１１２，Ｓ１１３の順に処理を進める。
　第１制御部５４Ａは、ステップＳ１１３において、画像解析処理で取得したユーザＵ１の姿勢に関する情報から、顔が正面を向いている（第１スクリーン３２Ａと対向している）ユーザＵ１がいるか否かを判定する。
　顔が正面を向いているユーザＵ１がいると判定した場合、第１制御部５４Ａは、顔が正面を向いているユーザＵ１が第２空間ＳＢ側のユーザＵ２と会話をしようとしていると推定する。
　そこで第１制御部５４ＡはステップＳ１１３からステップＳ１０５に処理を進め、顔が正面を向いているユーザＵ１の位置判定を行い、ステップＳ１０６において、顔が正面を向いているユーザＵ１の位置に収音の位置を合わせた指向性をもってパラメータを制御する指向性制御を実行する。また第１制御部５４Ａは、ステップＳ１０７において、検知モードに基づく音声信号処理制御を実行する。その後、第１制御部５４ＡはステップＳ１０７からステップＳ１１０に処理を進める。
　一方、ステップＳ１１３において顔が正面を向いているユーザＵ１がいないと判定した場合、第１制御部５４Ａは、第１空間ＳＡにおいて現在第２空間ＳＢ側のユーザＵ２と会話しようとしているユーザＵ１がいないものと推定する。そこで第１制御部５４Ａは、ステップＳ１０８で無指向性制御処理を実行し、ステップＳ１０９において非検知モードに基づく音声信号処理制御を実行する。その後、第１制御部５４ＡはステップＳ１０９からステップＳ１１０に処理を進める。
　なお、ステップＳ１０４で第１空間ＳＡにおいてユーザＵ１を検出しなかった場合、第１制御部５４Ａは現在のモードを非検知モードと判定し、ステップＳ１０８で無指向性制御処理を実行し、ステップＳ１０９において非検知モードに基づく音声信号処理制御を実行する。その後、第１制御部５４ＡはステップＳ１０９からステップＳ１１０に処理を進める。
　上述の処理を実行した後、第１制御部５４Ａは、ステップＳ１１０において、第１音声信号及び第１撮像画像信号について、第２空間ＳＢ側の第２演算処理部５Ｂに送信するための送信用データを生成する。そして第１制御部５４Ａは、ステップＳ１１１において、生成した送信用データを第２演算処理部５Ｂに送信する。
　第１制御部５４Ａは、ステップＳ１１１の処理を終えるとステップＳ１０１に処理を戻し、以降同様の処理を繰り返し実行する。
　以上により、第２の実施の形態における第１制御部５４Ａの処理が実現される。
<５．第３の実施の形態>
　第３の実施の形態を実現するための第１制御部５４Ａが実行する処理例について図５を参照して説明する。第３の実施の形態では、第１制御部５４Ａは、第１空間ＳＡの状況を第１空間ＳＡの輝度に基づいて判定し、当該判定結果に応じて音声処理に関するパラメータを制御する。
　第１制御部５４Ａは、ステップＳ１０１において第１撮像画像信号及び第１音声信号を取得し、ステップＳ１０２において第１撮像画像信号に基づく画像解析処理を、ステップＳ１０３において第１音声信号に基づく音声解析処理を実行する。
　ここで第１制御部５４Ａは、画像解析処理によりユーザＵ１の位置情報、サイズ情報、属性情報などに加えて、第１空間ＳＡの輝度情報を取得する。
　そして第１制御部５４Ａは、ステップＳ１１４において、第１空間ＳＡが暗室状態であるか否かを判定する。例えば第１制御部５４Ａは、画像解析処理により取得した第１空間ＳＡの輝度の値と所定の閾値との比較に基づいて暗室状態であるか否かを判定する。
　第１空間ＳＡが暗室状態である場合、第１制御部５４Ａは現在のモードが暗室モードであると判定し、ステップＳ１１５に処理を進める。
　第１制御部５４Ａは、ステップＳ１１５において無指向性制御処理を実行し、ステップＳ１１６において暗室モードに基づく音声信号処理を実行する。
　例えば第１制御部５４Ａは、ノイズリダクション処理に関するパラメータ制御として、全周波数帯域についてフィルタ処理を実行させるためのパラメータ制御を行う。これにより、第１音声信号処理部５２Ａにより当該パラメータに基づく音声処理が行われることで、第１空間ＳＡが暗室状態である場合において、第２空間ＳＢ側における第１空間ＳＡ側の環境音を遮断することができる。
　また例えば第１制御部５４Ａは、第１音声信号の増幅処理や減衰処理に関するパラメータ制御として、第１空間ＳＡが暗室状態である場合は、第１音声信号の減衰処理を実行させるためのパラメータ制御を行う。これにより、第１空間ＳＡが暗室状態である場合は、第２空間ＳＢ側における第１空間ＳＡ側の環境音を小さくすることができる。
　第１制御部５４Ａは、ステップＳ１１０において、第１音声信号処理部５２Ａで信号処理がされた第１音声信号、及び第１画像信号処理部５１Ａで信号処理がされた第１撮像画像信号について、第２空間ＳＢ側の第２演算処理部５Ｂに送信するための送信用データを生成する。そして第１制御部５４Ａは、ステップＳ１１１において、生成した送信用データを第２演算処理部５Ｂに送信する。
　第２演算処理部５Ｂは、受信した送信用データに基づいて、第１撮像画像信号に基づく撮像画像を第２表示ユニット３Ｂにより表示させ、第１音声信号に基づく音声を第２音声出力ユニット４Ｂにより出力される。これにより、第１空間ＳＡ側の画像及び音声が第２空間ＳＢ側に出力される。
　第１制御部５４Ａは、ステップＳ１１１の処理を終えるとステップＳ１０１に処理を戻し、以降同様の処理を繰り返し実行する。なお、第１制御部５４ＡによるステップＳ１０４以降の処理は、第１の実施の形態で説明した処理と同様であるため、説明を省略する。
  以上により、第３の実施の形態における第１制御部５４Ａの処理が実現される。
<６．まとめ及び変型例>
　以上の実施の形態の仮想的空間接続装置１００は、第１空間ＳＡを撮像した第１撮像画像信号と第１空間ＳＡで収音した第１音声信号とを第１空間ＳＡと離隔した第２空間ＳＢ側に送信する処理と、第２空間ＳＢを撮像した第２撮像画像信号と第２空間ＳＢで収音した第２音声信号とを受信し、第２撮像画像信号に基づく表示及び第２音声信号に基づく音声出力を実行させる第１演算処理部５Ａと、第２撮像画像信号と第２音声信号とを第２空間ＳＢと離隔した第１空間ＳＡ側に送信する処理と、第１撮像画像信号と第１音声信号とを受信し、第１撮像画像信号に基づく表示及び第１音声信号に基づく音声出力を実行させる第２演算処理部５Ｂと、第１演算処理部５Ａからの制御信号により第１空間ＳＡ内で第２撮像画像信号に基づく表示を実行することで第１空間ＳＡに第２空間ＳＢを仮想的に接続する第１表示ユニット３Ａと、第２演算処理部５Ｂからの制御信号により第２空間ＳＢ内で第１撮像画像信号に基づく表示を実行することで第２空間ＳＢに第１空間ＳＡを仮想的に接続する第２表示ユニット３Ｂと、を備え、第１演算処理部５Ａは、第１空間ＳＡの状況に応じて第１音声信号の音声処理に関するパラメータを制御し、第２演算処理部５Ｂは、第２空間ＳＢの状況に応じて第２音声信号の音声処理に関するパラメータを制御する（図１及び図３等参照）。
　これにより、第１空間ＳＡと第２空間ＳＢの何れにおいても他方の空間の画像が表示され、かつ音声が出力されることで、第１空間ＳＡと第２空間ＳＢが仮想的に接続され、第１音声出力ユニット４Ａから第２空間ＳＢの状況を反映した音声が出力され、第２音声出力ユニット４Ｂから第１空間ＳＡの状況を反映した音声が出力される。
　従って、互いに離隔する空間を仮想的に接続することにより、例えば自宅の一室と勤務先のオフィスといった互いに離れた場所にいるユーザが互いの空間を擬似的に共有することができ、互いに意思疎通を図ることができる。
　また、一方の空間の状況に応じて他方への音声出力を調整することで、隣接する空間にいる互いのユーザが違和感のない臨場感のある円滑な意思疎通を実現できる。
　実施の形態の仮想的空間接続装置１００では、第１プロジェクタ３１Ａが、第１演算処理部５Ａから受信した第２空間ＳＢ側の第２撮像画像信号に基づく画像出力を、第１スクリーン３２Ａの側方から第１スクリーン３２Ａに向けて行う（図１及び図２等参照）。
　このように、第１スクリーン３２Ａを用いて第２空間ＳＢを表示することで、第１空間ＳＡ内に第２空間ＳＢの表示領域を、液晶パネル等を用いるときよりも容易に設置することができる。
　また第１プロジェクタ３１Ａにより、第１スクリーン３２Ａの側方から撮像画像の投影を行うことで、第１プロジェクタ３１Ａからの光がユーザＵ１などにあたることで生じる影が第１スクリーン３２Ａにかかることにより、映像の臨場感が損なわれることを防止することができる。また、第１プロジェクタ３１Ａを第１スクリーン３２Ａの側方に設置することで、床から天井までを占める投影が可能となる。これは第２空間ＳＢ側においても同様である。
　実施の形態の仮想的空間接続装置１００において、第１演算処理部５Ａは、第１音声信号の音声処理に関するパラメータとして第１音声信号を収音する第１マイクロフォン２１Ａの指向性に関するパラメータを制御し、第２演算処理部５Ｂは、第２音声信号の音声処理に関するパラメータとして第２音声信号を収音する第２マイクロフォン２１Ｂの指向性に関するパラメータを制御する（図３のＳ１０６，Ｓ１０８等参照）。
　これにより、第１空間ＳＡの状況に応じて第１空間ＳＡにおける収音の指向性が制御された第１音声入力ユニット２Ａに入力された第１音声信号が第１空間ＳＡと離隔した第２空間ＳＢ側に送信され、第２空間ＳＢの第２音声出力ユニット４Ｂにより出力される。また第２空間ＳＢの状況に応じて第２空間ＳＢにおける収音の指向性が制御された第２音声入力ユニット２Ｂに入力された第２音声信号が第２空間ＳＢと離隔した第１空間ＳＡ側に送信され、第１空間ＳＡの第１音声出力ユニット４Ａにより出力される。
　従って、空間の状況に応じて収音方向の指向性を制御することで、例えばユーザの話し声といった特定の音声を強調して他の空間側に出力したり、他の方向からの騒音等を減衰して他の空間に出力することができる。よって、互いの空間にいるユーザ同士が円滑な意思疎通を行うことができる。
　実施の形態の仮想的空間接続装置１００において、第１演算処理部５Ａは、第１音声信号の音声処理に関するパラメータとして第１音声信号のノイズリダクション処理に関するパラメータを制御し、第２演算処理部５Ｂは、第２音声信号の音声処理に関するパラメータとして第２音声信号をノイズリダクション処理に関するパラメータを制御する（図３のＳ１０７，Ｓ１０９等参照）。
　これにより、第１空間ＳＡの状況に応じたノイズリダクション処理が行われた第１音声信号が第１空間ＳＡと離隔した第２空間ＳＢ側に送信され、第２空間ＳＢの第２音声出力ユニット４Ｂにより出力される。また第２空間ＳＢの状況に応じたノイズリダクション処理が行われた第２音声信号が第２空間ＳＢと離隔した第１空間ＳＡ側に送信され、第１空間ＳＡの第１音声出力ユニット４Ａにより出力される。
　従って、空間の状況に応じて特定の周波数についてフィルタリングを行うといった処理が可能となり、ユーザの話し声の周波数帯域以外をフィルタリングすることでユーザの声を強調したり、騒音に該当する周波数帯域をフィルタリングすることで騒音を目立たせなくすることができる。これによってもユーザ同士の円滑な意思疎通が図られる。
　実施の形態の仮想的空間接続装置１００において、第１演算処理部５Ａは、第１撮像画像信号の解析処理結果に基づいて第１空間ＳＡ内の状況を判定し、第２演算処理部５Ｂは、第２撮像画像信号の解析処理結果に基づいて第２空間ＳＢ内の状況を判定する（図３のＳ１０２，Ｓ１０４等参照）。
　これにより、例えば第１空間ＳＡ内のユーザＵ１を検出した場合は、ユーザＵ１の発した声が第２空間ＳＢ側に伝わるように第１空間ＳＡ内で収音する第１音声信号の音声処理に関するパラメータを制御することが可能となる。
　撮像画像信号の解析処理結果に基づいて空間内の状況を判定することで、例えば空間内にいるユーザ等を高精度で認識することができる。
　第３の実施の形態の仮想的空間接続装置１００において、第１演算処理部５Ａは、第１空間ＳＡ内の状況として第１空間ＳＡ内の輝度を判定し、第２演算処理部５Ｂは、第２空間ＳＢ内の状況として第２空間ＳＢ内の輝度を判定する（図５のＳ１１４からＳ１１６等参照）。
　これにより、例えば空間内の輝度が低い場合にユーザが当該空間に意思疎通を行おうとしているユーザがいないことが推定できる。
　このような場合、例えば輝度が低い場合に音声信号を減衰させて、第２空間ＳＢ側に出力される第１空間ＳＡ側の音声を小さくするといった出力音声の調整をすることができる。
<７．変型例>
　本実施の形態では、第１空間ＳＡにいるユーザＵ１と第２空間ＳＢにいるユーザＵ２とが意思疎通を行う例について説明したが、仮想的空間接続装置１００により仮想的に接続された第１空間ＳＡ及び第２空間ＳＢには、必ずしも他方の空間にいるユーザと意思疎通をしようとするユーザがいる必要はなく、単に一方の空間が他方の空間の撮像画像及び音声を共有できるように用いられてもよい。
　本実施の形態では一例として、第１空間ＳＡと第２空間ＳＢを屋内として説明したが、第１空間ＳＡと第２空間ＳＢは、仮想的空間接続装置の各構成が配置可能な環境であれば屋内に限られず、屋外であってもよい。即ち、屋内と屋外や、屋外と屋外の空間を仮想的に接続することも可能である。
　本実施の形態では、第１撮像部１Ａは第１スクリーン３２Ａの略中心部に１つ設けられているが、第１撮像部１Ａは周囲の空間座標を把握するために複数の撮像装置から構成されていてもよい。これは第２撮像部１Ｂにおいても同様である。
　本実施の形態では、第１音声入力ユニット２Ａを３つのマイクロフォンで構成される例について説明したが、第１音声入力ユニット２Ａは２つ又は４以上のマイクロフォンから構成されていてもよい。マイクロフォンの数を増やすことで、空間的な自由度が高まり、鋭い指向性を得ることができる。これは第２音声入力ユニット２Ｂにおいても同様である。
　本実施の形態では、第１演算処理部５Ａからの第１空間ＳＡの状況に応じた制御信号により、第１音声入力ユニット２Ａが各マイクロフォンの指向性制御、ノイズリダクション処理、ファイル化処理、増幅処理、音質処理などの処理を実行する例について説明したが、ノイズリダクション処理、ファイル化処理、増幅処理、音質処理などについては、第１演算処理部５Ａにおいて実行することとしてもよい。
　この場合、第１演算処理部５Ａは、第１音声入力ユニット２Ａから受信した第１音声信号について、第１空間ＳＡの状況に応じたノイズリダクション処理、ファイル化処理、増幅処理、音質処理などの処理を実行する。これは第２空間ＳＢ側においても同様である。
　本実施の形態では、第１演算処理部５Ａと第２演算処理部５ＢはネットワークＮＷを介した無線通信によりデータ通信が実行されるとしたが（図１参照）、通信方式は無線通信に限られず、有線通信によりデータ通信を実行するものとしてもよい。
　また本実施の形態では、第１演算処理部５Ａの第１画像信号処理部５１Ａが、第１撮像部１Ａからのアナログ信号としての第１撮像画像信号にＡ／Ｄ変換処理等の各種の信号処理を実行する例について説明したが、当該各種の信号処理は、第１撮像部１Ａ側で実行することとしてもよい。同様に、第２演算処理部５Ｂの第２画像信号処理部５１Ｂについても当該各種の信号処理を第２撮像部１Ｂ側で実行することとしてもよい。
　本実施の形態では、第１空間ＳＡ側の第１表示ユニット３Ａが第１プロジェクタ３１Ａと第１スクリーン３２Ａにより構成される例について説明したが、第１表示ユニット３Ａは、撮像制御装置と表示部から構成されていてもよい。ここで表示部は、例えば液晶パネル（ＬＣＤ：Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイ等のディスプレイデバイスによる表示パネルである。この場合、撮像制御装置と表示部は有線又は無線により接続され、撮像制御装置からの出力に応じて、表示部に第２空間ＳＢ側の撮像画像が表示される。これは第２空間ＳＢ側の第２表示ユニット３Ｂについても同様である。
　本実施の形態では、第１空間側の第１制御部５４Ａが、第１撮像部１Ａから受信した第１撮像画像信号について画像解析処理や、第１音声入力ユニット２Ａから受信した第１音声信号について音声解析処理を実行し、第１空間側の第１制御部５４Ａが画像解析処理及び音声解析処理の結果に基づいて第１空間ＳＡの状況を判定することとしたが、第２空間ＳＢ側の第２制御部５４Ｂが、第１撮像部１Ａから受信した第１撮像画像信号について画像解析処理や、第１音声入力ユニット２Ａから受信した第１音声信号について音声解析処理を実行し、第１空間側の第１制御部５４Ａが画像解析処理及び音声解析処理の結果に基づいて第１空間ＳＡの状況を判定することとしてもよい。
　この場合、第２空間ＳＢ側の第２制御部５４Ｂにより、第１空間ＳＡの状況の判定結果に基づいて、第１音声信号処理部５２Ａが実行する第１音声信号の音声処理に関するパラメータが設定され、第１空間ＳＡ側の第１制御部５４Ａは、当該第２制御部５４Ｂから受信した第１音声信号の音声処理に関するパラメータに基づいて第１音声入力ユニット２Ａに各種処理を実行させる。
　これは本実施の形態における第２空間ＳＢ側の第２制御部５４Ｂについても同様に適用できる。
　最後に、本開示に記載された効果はあくまでも例示であり限定されるものではなく、他の効果を奏するものであってもよいし、本開示に記載された効果の一部を奏するものであってもよい。
　また本開示に記載された実施の形態はあくまでも例示であり、本発明が上述の実施の形態に限定されることはない。従って、上述した実施の形態以外であっても本発明の技術的思想を逸脱しない範囲であれば、設計などに応じて種々の変更が可能なことはもちろんである。また実施の形態で説明されている構成の組み合わせの全てが課題の解決に必須であるとは限らない。
１００　仮想的空間接続装置
１Ａ　第１撮像部
１Ｂ　第２撮像部
２Ａ　第１音声入力ユニット
２Ｂ　第２音声入力ユニット
３Ａ　第１表示ユニット
３Ｂ　第２表示ユニット
５Ａ　第１演算処理部
５Ｂ　第２演算処理部
ＳＡ　第１空間
ＳＢ　第２空間

Claims (7)

  1. 　第１空間を撮像した第１撮像画像信号と前記第１空間で収音した第１音声信号とを前記第１空間と離隔した第２空間側に送信する処理と、前記第２空間を撮像した第２撮像画像信号と前記第２空間で収音した第２音声信号とを受信し、前記第２撮像画像信号に基づく表示及び前記第２音声信号に基づく音声出力を実行させる第１演算処理部と、
    　前記第２撮像画像信号と前記第２音声信号とを前記第２空間と離隔した前記第１空間側に送信する処理と、前記第１撮像画像信号と前記第１音声信号とを受信し、前記第１撮像画像信号に基づく表示及び前記第１音声信号に基づく音声出力を実行させる第２演算処理部と、
    　前記第１演算処理部からの制御信号により前記第１空間内で前記第２撮像画像信号に基づく表示を実行することで前記第１空間に前記第２空間を仮想的に接続する第１表示ユニットと、
    　前記第２演算処理部からの制御信号により前記第２空間内で前記第１撮像画像信号に基づく表示を実行することで前記第２空間に前記第１空間を仮想的に接続する第２表示ユニットと、を備え、
    　前記第１空間の状況に応じて前記第１音声信号の音声処理に関するパラメータを制御し、前記第２空間の状況に応じて前記第２音声信号の音声処理に関するパラメータを制御する
    　仮想的空間接続装置。
  2. 　前記第１音声信号の音声処理に関するパラメータとして前記第１音声信号を収音するマイクロフォンの指向性に関するパラメータを制御し、前記第２音声信号の音声処理に関するパラメータとして前記第２音声信号を収音するマイクロフォンの指向性に関するパラメータを制御する
    　請求項１に記載の仮想的空間接続装置。
  3. 　前記第１音声信号の音声処理に関するパラメータとして前記第１音声信号のノイズリダクション処理に関するパラメータを制御し、前記第２音声信号の音声処理に関するパラメータとして前記第２音声信号をノイズリダクション処理に関するパラメータを制御する
    　請求項１又は請求項２に記載の仮想的空間接続装置。
  4. 　前記第１音声信号の音声処理に関するパラメータとして前記第１音声信号の減衰処理に関するパラメータを制御し、前記第２音声信号の音声処理に関するパラメータとして前記第２音声信号の減衰処理に関するパラメータを制御する
    　請求項１から請求項３の何れかに記載の仮想的空間接続装置。
  5. 　前記第１音声信号の音声処理に関するパラメータとして前記第１音声信号の増幅処理に関するパラメータを制御し、前記第２音声信号の音声処理に関するパラメータとして前記第２音声信号の増幅処理に関するパラメータを制御する
    　請求項１から請求項４の何れかに記載の仮想的空間接続装置。
  6. 　前記第１撮像画像信号の解析処理結果に基づいて前記第１空間内の状況を判定し、前記第２撮像画像信号の解析処理結果に基づいて前記第２空間内の状況を判定する
    　請求項１から請求項５の何れかに記載の仮想的空間接続装置。
  7. 　前記第１空間内の状況として前記第１空間内の輝度を判定し、前記第２空間内の状況として前記第２空間内の輝度を判定する
    　請求項１から請求項６の何れかに記載の仮想的空間接続装置。
PCT/JP2021/011790 2020-05-01 2021-03-22 仮想的空間接続装置 WO2021220665A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/997,305 US20230199380A1 (en) 2020-05-01 2021-03-22 Virtual space connection device
EP21797043.3A EP4145822A4 (en) 2020-05-01 2021-03-22 VIRTUAL SPACE CONNECTION DEVICE
CN202180031125.9A CN115462064A (zh) 2020-05-01 2021-03-22 虚拟空间连接装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-081110 2020-05-01
JP2020081110A JP7387167B2 (ja) 2020-05-01 2020-05-01 仮想的空間接続装置、システム

Publications (1)

Publication Number Publication Date
WO2021220665A1 true WO2021220665A1 (ja) 2021-11-04

Family

ID=78300550

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/011790 WO2021220665A1 (ja) 2020-05-01 2021-03-22 仮想的空間接続装置

Country Status (5)

Country Link
US (1) US20230199380A1 (ja)
EP (1) EP4145822A4 (ja)
JP (1) JP7387167B2 (ja)
CN (1) CN115462064A (ja)
WO (1) WO2021220665A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7505518B2 (ja) 2022-03-18 2024-06-25 セイコーエプソン株式会社 表示方法、表示システムおよびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010529738A (ja) * 2007-05-31 2010-08-26 イーストマン コダック カンパニー 居宅用動画通信システム
WO2017073324A1 (ja) * 2015-10-26 2017-05-04 ソニー株式会社 信号処理装置、信号処理方法、並びにプログラム
JP2019146118A (ja) 2018-02-23 2019-08-29 沖電気工業株式会社 コミュニケーション装置、コミュニケーション方法、コミュニケーションプログラム及びコミュニケーションシステム
WO2020079957A1 (ja) * 2018-10-15 2020-04-23 ソニー株式会社 音声信号処理装置、雑音抑圧方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6798881B2 (en) * 1999-06-07 2004-09-28 Acoustic Technologies, Inc. Noise reduction circuit for telephones
JP2004056161A (ja) * 2002-05-28 2004-02-19 Matsushita Electric Works Ltd マルチメディア通信システム
JP5559691B2 (ja) * 2007-09-24 2014-07-23 クアルコム，インコーポレイテッド 音声及びビデオ通信のための機能向上したインタフェース
US9094645B2 (en) * 2009-07-17 2015-07-28 Lg Electronics Inc. Method for processing sound source in terminal and terminal using the same
JP4945675B2 (ja) * 2010-11-12 2012-06-06 株式会社東芝 音響信号処理装置、テレビジョン装置及びプログラム
JP2012213013A (ja) * 2011-03-31 2012-11-01 Nippon Telegr & Teleph Corp <Ntt> Ｔｖ会議システム
DE102011085361A1 (de) * 2011-10-28 2013-05-02 Sennheiser Electronic Gmbh & Co. Kg Mikrofoneinrichtung
JP6413257B2 (ja) * 2014-02-24 2018-10-31 株式会社リコー 伝送端末、伝送システム、及びプログラム
GB2545171B (en) * 2015-12-03 2020-08-19 Sony Interactive Entertainment Inc Light source identification apparatus and method
CN106657485B (zh) * 2017-03-07 2020-05-12 Oppo广东移动通信有限公司 移动终端
JP2018148471A (ja) * 2017-03-08 2018-09-20 オリオン電機株式会社 音質調整システム
JP7020132B2 (ja) * 2018-01-18 2022-02-16 株式会社リコー 端末装置、情報処理方法、プログラム、通信システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010529738A (ja) * 2007-05-31 2010-08-26 イーストマン コダック カンパニー 居宅用動画通信システム
WO2017073324A1 (ja) * 2015-10-26 2017-05-04 ソニー株式会社 信号処理装置、信号処理方法、並びにプログラム
JP2019146118A (ja) 2018-02-23 2019-08-29 沖電気工業株式会社 コミュニケーション装置、コミュニケーション方法、コミュニケーションプログラム及びコミュニケーションシステム
WO2020079957A1 (ja) * 2018-10-15 2020-04-23 ソニー株式会社 音声信号処理装置、雑音抑圧方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4145822A4

Also Published As

Publication number Publication date
CN115462064A (zh) 2022-12-09
US20230199380A1 (en) 2023-06-22
JP7387167B2 (ja) 2023-11-28
JP2021176212A (ja) 2021-11-04
EP4145822A4 (en) 2023-10-25
EP4145822A1 (en) 2023-03-08

Similar Documents

Publication Publication Date Title
KR102312124B1 (ko) 향상된 오디오를 갖는 디바이스
US10834359B2 (en) Information processing apparatus, information processing method, and program
DK2153693T3 (en) Hearing aid system which establishes a talk group among hearing aids used by different users
JP5857674B2 (ja) 画像処理装置、及び画像処理システム
WO2021037129A1 (zh) 一种声音采集方法及装置
WO2018025458A1 (ja) 情報処理装置、情報処理方法、およびプログラム
EP3342187A1 (en) Suppressing ambient sounds
JP2017022664A (ja) モニタリングシステム及びモニタリング方法
JP2007274462A (ja) テレビ会議装置、テレビ会議システム
WO2021220665A1 (ja) 仮想的空間接続装置
JP2011087218A (ja) 拡声システム
JP2009049734A (ja) カメラ付きマイクロフォン、カメラ付きマイクロフォンの制御プログラムおよびテレビ会議システム
JP4708960B2 (ja) 情報伝達システム及び音声可視化装置
JP5120020B2 (ja) 画像付音声通信システム、画像付音声通信方法およびプログラム
JP5151131B2 (ja) テレビ会議装置
JP2011055103A (ja) 集合住宅インターホンシステム
WO2022009485A1 (ja) 仮想的空間接続装置
JP2006339869A (ja) 映像信号と音響信号の統合装置
JP6353700B2 (ja) 遠距離点間双方向コミュニケーションシステムおよび遠距離点間双方向コミュニケーション方法
JP7390582B2 (ja) 通話システム、制御方法及びプログラム
WO2024190489A1 (ja) 表示方法、表示処理装置およびプログラム
JP2020184656A (ja) 音取得制御システム、情報端末、音取得制御方法、及びプログラム
JP2021002729A (ja) インターホンシステム、制御方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21797043

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021797043

Country of ref document: EP

Effective date: 20221201