WO2021161733A1 - 撮影装置、撮影システム、撮影処理方法 - Google Patents

撮影装置、撮影システム、撮影処理方法 Download PDF

Info

Publication number
WO2021161733A1
WO2021161733A1 PCT/JP2021/001583 JP2021001583W WO2021161733A1 WO 2021161733 A1 WO2021161733 A1 WO 2021161733A1 JP 2021001583 W JP2021001583 W JP 2021001583W WO 2021161733 A1 WO2021161733 A1 WO 2021161733A1
Authority
WO
WIPO (PCT)
Prior art keywords
audio
unit
acquisition unit
acquisition units
calculation unit
Prior art date
Application number
PCT/JP2021/001583
Other languages
English (en)
French (fr)
Inventor
開士 村上
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2021161733A1 publication Critical patent/WO2021161733A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/027—Spatial or constructional arrangements of microphones, e.g. in dummy heads

Definitions

  • This technology relates to a shooting device, a shooting system, and a shooting processing method.
  • each of a plurality of microphones provided in a photographing device is generally arranged at a predetermined angle.
  • the audio signals obtained from each of the plurality of microphones are used to generate directional stereo sound. As a result, realistic sound can be reproduced.
  • the photographing device may be rotated by approximately 90 degrees so that the left side of the photographing device is arranged on the upper side, and the image may be photographed in the so-called vertical direction.
  • stereo sound having directivity in the vertical direction is generated. Therefore, there is a problem that stereo sound having a horizontal directivity pattern matching the image is not reproduced at the time of reproduction.
  • a voice recording / playback device that processes voice signals input from a plurality of omnidirectional microphone elements, records them on a recording medium, and reproduces the voice signals.
  • a voice characterized by having a device direction detecting means for detecting a usage direction of a recording / reproducing device and selecting a microphone element to be used from the plurality of microphone elements according to a detection result of the device direction detecting means.
  • a recording / playback device "is disclosed. In Patent Document 1, it is described that a voice recording / reproducing device selects a microphone element to be used according to the device direction.
  • the audio signal processing method may be performed depending on whether the left side of the photographing device is arranged on the upper side or the left side of the photographing device is arranged on the lower side. Is different.
  • the audio signal is appropriately processed at the time of shooting so that the direction of the reproduced sound is smoothly reproduced when the shooting device is shot while slowly or rapidly changing from the normal direction to the vertical direction, for example. It is preferable to do so.
  • the main purpose of this technology is to provide a photographing device, a photographing system, and a photographing processing method that process an audio signal corresponding to the inclination of the image to be photographed.
  • the present technology is a calculation unit that generates a plurality of stereo audio signals using the audio signals obtained by each of the plurality of audio acquisition units, and associates the attitude information obtained by the attitude acquisition unit with the stereo audio signals in chronological order.
  • a photographing device provided with at least.
  • the posture information may include information regarding the posture of the photographing apparatus.
  • the calculation unit selects a combination consisting of two or more of the audio acquisition units from the plurality of audio acquisition units, and generates a stereo audio signal using the audio signal obtained by the selected audio acquisition unit. You may.
  • the calculation unit may calculate the directivity pattern of the stereo audio signal to be reproduced based on the posture information and / or the arrangement information of the audio acquisition unit.
  • the calculation unit may calculate the amplification factor of the stereo audio signal to be reproduced based on the posture information and / or the arrangement information of the audio acquisition unit.
  • the calculation unit may select a voice reproduction unit in which the stereo audio signal is reproduced based on the posture information and / or the arrangement information of the audio acquisition unit.
  • the voice acquisition unit may be a monaural microphone.
  • the photographing device includes at least three of the voice acquisition units, and of the three voice acquisition units, at least two of the voice acquisition units and at least one of the voice acquisition units are arranged so as to face each other. You may be.
  • the photographing device includes at least four of the voice acquisition units, and of the four voice acquisition units, at least three of the voice acquisition units and at least one of the voice acquisition units are arranged so as to face each other.
  • the attitude acquisition unit may be an angular velocity sensor and / or an acceleration sensor.
  • the present technology generates a plurality of stereo audio signals using the audio signals obtained from each of the plurality of audio acquisition units, and the attitude information obtained by the attitude acquisition unit and the stereo audio signals are time-series.
  • a shooting system having at least a calculation unit associated with.
  • the present technology generates a plurality of stereo audio signals using the audio signals obtained by each of the plurality of audio acquisition units, and the posture information obtained by the posture acquisition unit and the stereo audio signal are generated in chronological order.
  • a shooting processing method including at least associating.
  • substantially parallel means not only completely parallel, but also substantially parallel, that is, including a difference of, for example, about several percent.
  • substantially parallel means not only completely parallel, but also substantially parallel, that is, including a difference of, for example, about several percent.
  • each figure is a schematic view and is not necessarily exactly illustrated.
  • FIG. 1 is a configuration diagram of a photographing apparatus according to an embodiment of the present technology.
  • the photographing apparatus according to an embodiment of the present technology can be applied to, for example, a digital video camera.
  • the photographing device 1 can include a plurality of voice acquisition units 11a to 11c, a posture acquisition unit 12, a calculation unit 13, a control unit 14, and a memory 15.
  • Each of the plurality of voice acquisition units 11a to 11c obtains a voice signal which is digital data by AD-converting the voice obtained from the outside of the photographing device 1.
  • Each of the plurality of voice acquisition units 11a to 11c can be realized by using, for example, an omnidirectional monaural microphone or the like.
  • the posture acquisition unit 12 obtains posture information including information on the posture of the photographing device 1.
  • the attitude acquisition unit 12 can be realized by using, for example, an angular velocity sensor, an acceleration sensor, an inertial sensor (IMU: Inertial Measurement Unit), or the like. It is preferable that the posture acquisition unit 12 has the bias error removed in advance. However, if this bias error is not removed, for example, the calculation unit 13 may estimate this bias error.
  • the calculation unit 13 can generate a plurality of stereo audio signals by using the audio signals obtained by each of the plurality of audio acquisition units 11a to 11c. Then, the calculation unit 13 can associate the stereo audio signal with the posture information in a time series.
  • the calculation unit 13 can be realized by using, for example, a microcomputer or the like.
  • the control unit 14 can control the processing of the calculation unit 13 and the like.
  • the control unit 14 can be realized by using, for example, a microcomputer or the like.
  • the memory 15 can record data processed by, for example, a calculation unit 13.
  • the photographing device 1 may include an audio delay unit.
  • the audio delay unit can synchronize the output timings of the video signal and the audio signal.
  • the photographing device 1 can include at least three audio acquisition units. Further, each of the plurality of voice acquisition units is arranged at an appropriate position. More specifically, of the three voice acquisition units, at least two of the voice acquisition units and at least one of the voice acquisition units are arranged so as to face each other.
  • FIG. 2 is a schematic view of a photographing apparatus according to an embodiment of the present technology.
  • the photographing device 1 includes a first sound acquisition unit 11a, a second sound acquisition unit 11b, a third sound acquisition unit 11c, a photographing lens 16, and a housing 17.
  • the first voice acquisition unit 11a and the second voice acquisition unit 11b are arranged on the upper surface side of the housing 17.
  • the third voice acquisition unit 11c is arranged on the lower surface side of the housing 17.
  • the first voice acquisition unit 11a, the second voice acquisition unit 11b, and the third voice acquisition unit 11c are arranged so as to face each other.
  • each of the plurality of voice acquisition units 11a to 11c By arranging each of the plurality of voice acquisition units 11a to 11c in this way, an appropriate voice signal can be obtained. A detailed description will be described later.
  • the respective arrangement positions of the plurality of voice acquisition units 11a to 11c are not limited to this.
  • one sound acquisition unit may be arranged on the upper surface side of the photographing device 1, and two sound acquisition units may be arranged on the lower surface side of the photographing device 1.
  • the voice acquisition units 11a to 11c may be arranged on the left side or the right side.
  • the sound acquisition units 11a to 11c may be arranged on the photographing lens 16.
  • FIG. 3 is a flowchart showing an example of processing of the arithmetic unit according to the embodiment of the present technology.
  • the calculation unit 13 selects a combination consisting of two or more voice acquisition units from the plurality of voice acquisition units (S11). For example, in order to generate a stereo audio signal having a horizontal directivity pattern, the arithmetic unit 13 uses the posture information to obtain an audio acquisition unit arranged on the right side and an audio acquisition unit arranged on the left side. And select a combination consisting of.
  • the calculation unit 13 obtains the voice signal obtained by the selected voice acquisition unit (S12).
  • the audio signal can be recorded, for example, in the memory 15.
  • the calculation unit 13 uses the audio signal to generate a plurality of stereo audio signals for each combination (S13).
  • Each of the plurality of stereo audio signals has a directional pattern.
  • the stereo audio signal can be recorded in the memory 15.
  • the photographing device 1 shoots in a normal direction.
  • the first sound acquisition unit 11a and the second sound acquisition unit 11b are arranged on the upper surface side of the photographing device 1
  • the third sound acquisition unit 11c is the photographing device. This is a case of taking a picture while being arranged on the lower surface side of 1.
  • the calculation unit 13 can generate a stereo audio signal having a horizontal directivity pattern by using the audio signal obtained by the first audio acquisition unit 11a and the audio signal obtained by the second audio acquisition unit 11b. ..
  • the arithmetic unit 13 uses the audio signal obtained by the first audio acquisition unit 11a and the audio signal obtained by the third audio acquisition unit 11c to form a stereo having a directivity pattern in the vertical direction (gravity direction). Can generate audio signals.
  • the arithmetic unit 13 uses the audio signal obtained by the second audio acquisition unit 11b and the audio signal obtained by the third audio acquisition unit 11c to generate a stereo audio signal having a vertical directivity pattern. It may be generated.
  • the calculation unit 13 can generate a plurality of stereo audio signals having a significant directivity pattern as an audible sensation. As a result, the direction of the sound can be accurately reproduced during reproduction regardless of the inclination of the photographing device 1.
  • the plurality of stereo audio signals may have all directivity patterns, or may have only specific directivity patterns.
  • the generated stereo audio signal may be recorded in the memory 15 or may be recorded in an external computer device or the like.
  • the photographing device 1 shoots in portrait orientation.
  • the case of shooting in a normal orientation is, for example, a case where the shooting device 1 is rotated by approximately 90 degrees so that the left side of the shooting device 1 is arranged on the upper side or the lower side.
  • each of the plurality of audio acquisition units 11a to 11c is arranged on the right side surface or the left side surface of the photographing device 1.
  • the calculation unit 13 can generate a stereo audio signal having a directivity pattern in the vertical direction by using the audio signal obtained by the first audio acquisition unit 11a and the audio signal obtained by the second audio acquisition unit 11b. ..
  • the arithmetic unit 13 uses the audio signal obtained by the first audio acquisition unit 11a and the audio signal obtained by the third audio acquisition unit 11c to generate a stereo audio signal having a horizontal directivity pattern. can.
  • the arithmetic unit 13 uses the audio signal obtained by the second audio acquisition unit 11b and the audio signal obtained by the third audio acquisition unit 11c to generate a stereo audio signal having a directivity pattern in the horizontal direction. It may be generated.
  • the calculation unit 13 can generate a plurality of stereo audio signals.
  • FIG. 4 is a flowchart showing an example of processing of the arithmetic unit according to the embodiment of the present technology.
  • the calculation unit 13 refers to the posture information of the photographing device 1 (S21).
  • the calculation unit 13 determines whether or not the rotation angle of the photographing device 1 is larger than ⁇ 45 degrees and smaller than 45 degrees (S22).
  • the rotation angle when the left side of the photographing device 1 is rotated so as to come to the lower side is positive.
  • the calculation unit 13 estimates that the photographing device 1 is in the normal orientation (S23).
  • the calculation unit 13 determines whether or not the rotation angle of the photographing device 1 is ⁇ 45 degrees or less (S24). ). When the rotation angle of the photographing device 1 is ⁇ 45 degrees or less (S24: Yes), the calculation unit 13 estimates that the photographing device 1 is rotated so that the left side is on the upper side (S25).
  • the calculation unit 13 causes the right side of the photographing device 1 to come to the upper side. It is presumed to be rotated vertically (S26).
  • the determination condition of the calculation unit 13 is not limited to the above.
  • the calculation unit 13 may estimate that the photographing device 1 is in an oblique direction when the rotation angle of the photographing device 1 is larger than 30 degrees and smaller than 60 degrees.
  • the calculation unit 13 may classify the rotation angle of the photographing device 1 into a plurality of patterns. For example, when the rotation angle of the photographing device 1 is 0 degrees or more and less than 30 degrees, the calculation unit 13 can classify this rotation angle into the pattern A. Similarly, when the rotation angle of the photographing device 1 is 30 degrees or more and less than 60 degrees, the calculation unit 13 can classify this rotation angle into the pattern B. When the rotation angle of the photographing device 1 is 60 degrees or more and 90 degrees or less, the calculation unit 13 can classify this rotation angle into the pattern C.
  • the calculation unit 13 associates the stereo audio signal with the posture information obtained by the posture acquisition unit 12 in chronological order (S14). For example, the calculation unit 13 associates the attitude information of the pattern A with the stereo audio signal corresponding to the attitude information of the pattern A in a time series on a one-to-one basis.
  • the posture information is acquired as metadata on the same time scale as the stereo audio signal. That is, the calculation unit 13 can generate time-series posture information that can be synchronized with the stereo audio signal.
  • the calculation unit 13 can reproduce stereo sound having any directivity pattern corresponding to the posture information at the time of reproducing the video.
  • the calculation unit 13 may refer to the arrangement information of the voice acquisition units 11a to 11c in the photographing device 1 in addition to the time-series posture information.
  • the memory 15 included in the photographing device 1 can store the arrangement information of the voice acquisition units 11a to 11c. Examples of this arrangement information include the distance between the voice acquisition units and the angle between the straight lines connecting the voice acquisition units.
  • FIG. 5 is a flowchart showing an example of processing of the arithmetic unit according to the embodiment of the present technology.
  • the calculation unit 13 first refers to the coordinate information of each of the plurality of voice acquisition units 11a to 11c (S31). This coordinate information may be recorded in, for example, a memory 15 included in the photographing device 1.
  • the calculation unit 13 derives the distance between the voice acquisition units based on the coordinate information (S32).
  • FIG. 6 is an explanatory diagram showing an arrangement relationship of voice acquisition units according to an embodiment of the present technology.
  • FIG. 6 shows the arrangement relationship of the voice acquisition unit when viewed in the Y-axis direction in FIG.
  • the calculation unit 13 can calculate, for example, the distance between the first voice acquisition unit 11a and the second voice acquisition unit 11b based on the coordinate information. Further, the calculation unit 13 can calculate the distance between the central P1 of the first voice acquisition unit 11a and the second voice acquisition unit 11b and the third voice acquisition unit 11c.
  • the calculation unit 13 generates a stereo audio signal having an appropriate directivity pattern by using the information regarding the interval and the audio signal obtained by the audio acquisition unit (S33).
  • the calculation unit 13 can generate a more realistic stereo audio signal by referring to the arrangement information of the audio acquisition units 11a to 11c in addition to the time-series posture information.
  • FIG. 7 is a flowchart showing an example of processing of the arithmetic unit according to the embodiment of the present technology.
  • the calculation unit 13 first instructs the reproduction of the video (S41).
  • the calculation unit 13 refers to the time at the time of recording in the reproduced video (S42).
  • the calculation unit 13 refers to the time-series posture information (S43).
  • the posture information at that time is referred to based on the time at the time of recording.
  • the time-series attitude information is recorded in, for example, the memory 15.
  • the calculation unit 13 selects a stereo audio signal having an appropriate directivity pattern from a plurality of stereo audio signals based on the time at the time of recording and the time-series attitude information (S44).
  • the calculation unit 13 instructs the reproduction of the selected stereo audio signal (S45).
  • the calculation unit 13 uses the audio signal obtained by the first audio acquisition unit 11a and the second audio acquisition unit 11b based on the time-series attitude information.
  • a stereo audio signal having a directional pattern in the vertical direction, which is generated by using the audio signal obtained in the above, can be selected.
  • the calculation unit 13 has a horizontal directivity pattern generated by using the voice signal obtained by the first voice acquisition unit 11a and the voice signal obtained by the third voice acquisition unit 11c. You can select a stereo audio signal. As a result, the calculation unit 13 can match the direction of the reproduced sound with the video.
  • the calculation unit 13 may calculate an appropriate amplification factor (gain) of the stereo audio signal based on the time-series posture information. This will be described with reference to FIG. FIG. 8 is a flowchart showing an example of processing of the arithmetic unit according to the embodiment of the present technology.
  • the calculation unit 13 calculates an appropriate amplification factor of each of the plurality of stereo audio signals after selecting a plurality of stereo audio signals having an appropriate directivity pattern (S44) (S46). .. For example, after selecting two stereo audio signals, the arithmetic unit 13 can increase the amplification factor of one stereo audio signal and decrease the amplification factor of the other stereo audio signal.
  • each of the plurality of stereo audio signals is crossfaded.
  • Crossfade is to gradually increase the amplification factor of one stereo audio signal while gradually increasing the amplification factor of the other stereo audio signal.
  • the arithmetic unit 13 may select an appropriate audio reproduction unit based on the time-series posture information.
  • This audio reproduction unit can be realized by using, for example, a speaker or the like.
  • FIG. 9 is a schematic view for explaining the arrangement position of the audio reproduction unit according to the embodiment of the present technology.
  • the reproduction device 2 includes a display 22 and four audio reproduction units 21a to 21d.
  • the reproduction device 2 can be realized by using, for example, a tablet, a smartphone, or the like.
  • the number of audio reproduction units is not limited to four.
  • FIG. 9A shows that the playback device 2 is arranged vertically.
  • the first audio reproduction unit 21a is arranged on the left side of the reproduction device 2.
  • the second audio reproduction unit 21b is arranged on the upper side of the reproduction device 2.
  • the third audio reproduction unit 21c is arranged on the right side of the reproduction device 2.
  • a fourth audio reproduction unit 21d is arranged on the lower side of the reproduction device 2.
  • the playback device 2 reproduces a horizontally long image shot by the shooting device 1 in a normal orientation.
  • the calculation unit 13 is arranged on the right side and the first sound reproduction unit 21a arranged on the left side based on the time-series attitude information.
  • the third audio reproduction unit 21c and the third audio reproduction unit 21c can be selected.
  • the first audio reproduction unit 21a can reproduce, for example, the stereo audio of the left channel.
  • the third audio reproduction unit 21c can reproduce, for example, the stereo audio of the right channel.
  • FIG. 9B shows that the reproduction device 2 is arranged vertically as in FIG. 9A.
  • the arrangement relationship of the plurality of audio reproduction units 21a to 21d is the same as in FIG. 9A.
  • the playback device 2 reproduces a vertically long image taken by the shooting device 1 in portrait orientation.
  • the calculation unit 13 has a first sound reproduction unit 21a arranged on the left side and a third sound reproduction unit 21a arranged on the right side, as in FIG. 9A.
  • the audio reproduction unit 21c of the above can be selected.
  • FIG. 9C shows that the reproduction device 2 is arranged horizontally.
  • the first audio reproduction unit 21a is arranged on the lower side of the reproduction device 2.
  • the second audio reproduction unit 21b is arranged on the left side of the reproduction device 2.
  • the third audio reproduction unit 21c is arranged on the upper side of the reproduction device 2.
  • the fourth audio reproduction unit 21d is arranged on the right side of the reproduction device 2.
  • the playback device 2 reproduces a horizontally long image shot by the shooting device 1 in a normal orientation.
  • the calculation unit 13 is arranged on the right side and the second sound reproduction unit 21b arranged on the left side based on the time-series attitude information.
  • the fourth audio reproduction unit 21d can be selected.
  • the second audio reproduction unit 21b can reproduce, for example, the stereo audio of the left channel.
  • the fourth audio reproduction unit 21d can reproduce, for example, the stereo audio of the right channel.
  • FIG. 9D shows that the reproduction device 2 is arranged horizontally as in FIG. 9C.
  • the arrangement relationship of the plurality of audio reproduction units 21a to 21d is the same as in FIG. 9C.
  • the playback device 2 reproduces a vertically long image taken by the shooting device 1 in portrait orientation.
  • the calculation unit 13 has a second sound reproduction unit 21b arranged on the left side and a fourth sound reproduction unit 21b arranged on the right side, as in FIG. 9C.
  • the audio reproduction unit 21d and the above can be selected.
  • Data for selecting the audio reproduction unit can be recorded in, for example, the memory 15 included in the photographing device 1.
  • the calculation unit 13 can match the directions of the video and audio to be reproduced based on the time-series posture information, but the video and audio to be reproduced without referring to the time-series posture information. It is not necessary to match the direction of.
  • calculation unit 13 may match the directions of the video and audio to be reproduced based on the posture information of the playback device 2.
  • the calculation unit 13 may refer to the arrangement information of the voice acquisition units 11a to 11c in addition to the time-series posture information. As a result, the calculation unit 13 can select a stereo audio signal having an appropriate directivity pattern from, for example, a plurality of stereo audio signals. The calculation unit 13 may calculate an appropriate amplification factor (gain) of the stereo audio signal based on the arrangement information of the audio acquisition units 11a to 11c. The calculation unit 13 may select an appropriate voice reproduction unit based on the arrangement information of the voice acquisition units 11a to 11c.
  • gain amplification factor
  • the stereo audio signal is decoded by a decoder (not shown) or the like, converted from a digital signal to an analog signal by a DA converter (not shown), and becomes stereo audio. This stereo sound is reproduced from the sound reproduction unit.
  • FIG. 10 is a schematic view of a photographing apparatus according to an embodiment of the present technology.
  • the photographing device 1 can include at least four audio acquisition units. Further, each of the plurality of voice acquisition units is arranged at an appropriate position. More specifically, of the four voice acquisition units, at least three of the voice acquisition units and at least one of the voice acquisition units are arranged so as to face each other.
  • the photographing device 1 includes a first audio acquisition unit 11a, a second audio acquisition unit 11b, a third audio acquisition unit 11c, and a fourth audio acquisition unit 11d.
  • the first audio acquisition unit 11a, the second audio acquisition unit 11b, and the fourth audio acquisition unit 11d are arranged on the upper surface side of the photographing device 1.
  • the third sound acquisition unit 11c is arranged on the lower surface side of the photographing device 1.
  • the first voice acquisition unit 11a, the second voice acquisition unit 11b, the fourth voice acquisition unit 11d, and the third voice acquisition unit 11c are arranged so as to face each other.
  • each of the plurality of voice acquisition units 11a to 11d By arranging each of the plurality of voice acquisition units 11a to 11d in this way, an appropriate voice signal can be obtained.
  • the respective placement positions of the plurality of voice acquisition units 11a to 11d are not limited to this.
  • one sound acquisition unit may be arranged on the upper surface side of the photographing device 1, and three sound acquisition units may be arranged on the lower surface side of the photographing device 1.
  • the voice acquisition units 11a to 11d may be arranged on the left side or the right side.
  • the sound acquisition units 11a to 11d may be arranged on the photographing lens 16.
  • the calculation unit 13 uses the voice signal obtained by the first voice acquisition unit 11a and the voice signal obtained by the second voice acquisition unit 11b, for example, using the first voice acquisition unit 11a as the left channel and the second voice acquisition unit 11a. It is possible to generate a stereo audio signal having a directional pattern in the horizontal direction when the audio acquisition unit 11b of the above is used as the right channel.
  • the calculation unit 13 uses the voice signal obtained by the first voice acquisition unit 11a and the voice signal obtained by the fourth voice acquisition unit 11d, for example, using the first voice acquisition unit 11a as the left channel and the first voice acquisition unit 11a.
  • the audio acquisition unit 11d of No. 4 is used as the right channel, a stereo audio signal having a directional pattern in the horizontal direction can be generated.
  • the calculation unit 13 uses the voice signal obtained by the second voice acquisition unit 11b and the voice signal obtained by the fourth voice acquisition unit 11d, for example, using the second voice acquisition unit 11b as the left channel and the second voice acquisition unit 11b.
  • the audio acquisition unit 11d of No. 4 is used as the right channel, a stereo audio signal having a directional pattern in the horizontal direction can be generated.
  • the calculation unit 13 may refer to the arrangement information of the voice acquisition units 11a to 11d in the photographing device 1 in addition to the time-series posture information.
  • FIG. 11 is an explanatory diagram showing an arrangement relationship of voice acquisition units according to an embodiment of the present technology.
  • FIG. 11 the arrangement relationship of the voice acquisition unit when viewed in the Z-axis direction in FIG. 10 is shown.
  • the calculation unit 13 can calculate, for example, the distance between the first voice acquisition unit 11a and the second voice acquisition unit 11b based on the coordinate information. Further, the calculation unit 13 can calculate the distance between the central P2 of the first voice acquisition unit 11a and the second voice acquisition unit 11b and the fourth voice acquisition unit 11d.
  • the photographing device 1 according to the second embodiment can generate more stereo audio signals than the photographing device 1 according to the first embodiment. Therefore, the directions of the reproduced video and audio can be matched with higher accuracy.
  • the configuration of the photographing apparatus according to the second embodiment may be the same as that of the first embodiment. Therefore, other detailed description will be omitted.
  • FIG. 12 is a configuration diagram of a photographing system according to an embodiment of the present technology.
  • the photographing system 5 includes a photographing device 1, a server 3, and a reproducing device 2.
  • the photographing device 1, the server 3, and the playback device 2 are connected via the information communication network 4.
  • the photographing device 1, the server 3, and the reproducing device 2 may not be connected via the information communication network 4.
  • the photographing device 1 can include a plurality of voice acquisition units 11a to 11c, a posture acquisition unit 12, a calculation unit 13, a control unit 14, and a memory 15.
  • the calculation unit 13 can generate a plurality of stereo audio signals by using the audio signals obtained by each of the plurality of audio acquisition units 11a to 11c. Then, the calculation unit 13 can associate the stereo audio signal with the posture information in a time series. The calculation unit 13 can generate time-series posture information that can be synchronized with the stereo audio signal.
  • the server 3 can have some or all of the functions of the photographing device 1.
  • the storage or the like provided in the server 3 may record the stereo audio signal and the time-series posture information generated by the calculation unit 13.
  • the stereo audio signal and the time-series attitude information are transmitted from the photographing device 1 to the server 3 via the information communication network 4.
  • the server 3 may include a calculation unit 13.
  • the audio signal and the posture information are transmitted from the photographing device 1 to the server 3 via the information communication network 4.
  • FIG. 13 is a hardware configuration diagram of the server 3 according to an embodiment of the present technology.
  • the server 3 may include a CPU 101, a storage 102, a RAM (Random Access Memory) 103, and a communication interface 104 as components. Each component is connected by a bus, for example, as a data transmission line.
  • a bus for example, as a data transmission line.
  • the CPU 101 is realized by, for example, a microcomputer, and controls each component of the server 3.
  • the CPU 101 can function as, for example, a calculation unit 13.
  • the arithmetic unit 13 can be realized by, for example, a program. This program can function by being read by the CPU 101.
  • the storage 102 stores control data such as programs and calculation parameters used by the CPU 101.
  • the storage 102 can be realized by using, for example, an HDD (Hard Disk Drive) or an SSD (Solid State Drive).
  • the storage 102 can store, for example, a stereo audio signal, time-series posture information, and the like.
  • the RAM 103 temporarily stores, for example, a program executed by the CPU 101.
  • the communication interface 104 has a function of communicating via the information communication network 4 by using communication technology such as Wi-Fi, Bluetooth (registered trademark), LTE (Long Term Evolution) and the like.
  • the communication interface 104 can transmit and receive stereo audio signals and time-series attitude information.
  • the photographing device 1 and the reproducing device 2 can also be provided with a communication interface in the same manner.
  • the program that realizes the arithmetic unit 13 and the like may be stored in another computer device or computer system of the photographing system 5.
  • the photographing system 5 can use the cloud service that provides the function of this program.
  • this cloud service include SaaS (Software as a Service), IaaS (Infrastructure as a Service), and PaaS (Platform as a Service).
  • Non-temporary computer-readable media include various types of tangible storage mediums. Examples of non-temporary computer-readable media include magnetic recording media (eg flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg magneto-optical disks), CompactDiscReadOnlyMemory (CD-ROM), CD-ROM. Includes R, CD-R / W, and semiconductor memory (eg, mask ROM, Programmable ROM (PROM), Erasable PROM (EPROM), flash ROM, Random Access Memory (RAM)).
  • the above program may be supplied to a computer by various types of temporary computer readable media (transitory computer readable medium). Examples of temporary computer-readable media include electrical, optical, and electromagnetic waves.
  • the temporary computer-readable medium can supply the above program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
  • the configuration of the photographing device 1 and the reproducing device 2 may be the same as that of the first embodiment. Therefore, detailed description of other configurations will be omitted.
  • the information communication network 4 is, for example, a wired network such as LAN (Local Area Network) or WAN (Wide Area Network), a wireless LAN (WLAN: Wireless Local Area Network), or a wireless WAN (WWAN: Wireless Wide Area) via a base station. It can be realized by a wireless network such as Network) or the Internet using a communication protocol such as TCP / IP (Transmission Control Protocol / Internet Protocol).
  • LAN Local Area Network
  • WAN Wide Area Network
  • TCP / IP Transmission Control Protocol / Internet Protocol
  • the configuration mentioned in the above embodiment can be selected or changed to another configuration as appropriate.
  • FIG. 14 is a flowchart showing a shooting processing method according to an embodiment of the present technology.
  • the shooting processing method according to the embodiment of the present technology includes generating a plurality of stereo audio signals using the audio signals obtained by each of the plurality of audio acquisition units (S101), and posture. At least, the posture information obtained by the acquisition unit and the stereo audio signal are associated with each other in time series (S102).
  • the techniques described in the first to third embodiments can be used. Therefore, the description will be omitted again.
  • the present technology can also have the following configuration. [1] It is provided with at least a calculation unit that generates a plurality of stereo audio signals using the audio signals obtained by each of the plurality of audio acquisition units and associates the attitude information obtained by the attitude acquisition unit with the stereo audio signals in chronological order. Shooting device. [2] The posture information includes information regarding the posture of the photographing apparatus. The photographing apparatus according to [1]. [3] The calculation unit selects a combination consisting of two or more of the audio acquisition units from the plurality of audio acquisition units, and generates a stereo audio signal using the audio signal obtained by the selected audio acquisition unit. do, The photographing apparatus according to [1] or [2].
  • the calculation unit calculates the directivity pattern of the stereo audio signal to be reproduced based on the posture information and / or the arrangement information of the audio acquisition unit.
  • the photographing apparatus according to any one of [1] to [3].
  • the calculation unit calculates the amplification factor of the stereo audio signal to be reproduced based on the posture information and / or the arrangement information of the audio acquisition unit.
  • the photographing apparatus according to any one of [1] to [4].
  • the calculation unit selects an audio reproduction unit in which the stereo audio signal is reproduced based on the posture information and / or the arrangement information of the audio acquisition unit.
  • the photographing apparatus according to any one of [1] to [5].
  • the voice acquisition unit is a monaural microphone.
  • the photographing apparatus according to any one of [1] to [6]. [8] It is equipped with at least three of the voice acquisition units. Of the three voice acquisition units, at least two of the voice acquisition units and at least one of the voice acquisition units are arranged so as to face each other. The photographing apparatus according to any one of [1] to [7]. [9] It is equipped with at least four of the voice acquisition units. Of the four voice acquisition units, at least three of the voice acquisition units and at least one of the voice acquisition units are arranged to face each other. The photographing apparatus according to any one of [1] to [8]. [10] The attitude acquisition unit is an angular velocity sensor and / or an acceleration sensor. The photographing apparatus according to any one of [1] to [9].
  • a calculation unit that generates a plurality of stereo audio signals using the audio signals obtained from each of the plurality of audio acquisition units and associates the attitude information obtained by the attitude acquisition unit with the stereo audio signals in chronological order. At least a shooting system.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Studio Devices (AREA)

Abstract

撮影される映像の傾きに対応した音声信号を処理する撮影装置、撮影システム、及び撮影処理方法を提供する。　本技術は、複数の音声取得部のそれぞれで得られる音声信号を用いて複数のステレオ音声信号を生成し、姿勢取得部で得られる姿勢情報と該ステレオ音声信号とを時系列で対応づける演算部を少なくとも備える、撮影装置及び撮影システムを提供する。また、本技術は、複数の音声取得部のそれぞれで得られる音声信号を用いて複数のステレオ音声信号を生成することと、姿勢取得部で得られる姿勢情報と前記ステレオ音声信号とを時系列で対応づけることと、を少なくとも含む、撮影処理方法を提供する。

Description

撮影装置、撮影システム、撮影処理方法
　本技術は、撮影装置、撮影システム、及び撮影処理方法に関する。
　従来、撮影装置が備える複数のマイクロフォンのそれぞれは、所定の角度で配置されることが一般的である。複数のマイクロフォンのそれぞれで得られる音声信号を用いて、指向性を有するステレオ音声を生成する。これにより、臨場感のある音声が再生できている。
　しかし、撮影形態によっては、例えば撮影装置の左側が上側に配置されるように撮影装置を略９０度回転させて、いわゆる縦向きに撮影されるときがある。このとき、鉛直方向の指向性を有するステレオ音声が生成されてしまう。そのため、再生時に、映像に合った水平方向の指向性パターンを有するステレオ音声が再生されないという問題がある。
　この問題を解決するために、例えば特許文献１では、「無指向性の複数のマイクエレメントから入力された音声信号を処理して記録媒体に記録し再生する音声記録再生装置であって、当該音声記録再生装置の使用方向を検出する装置方向検出手段を有し、前記装置方向検出手段の検出結果に応じて、前記複数のマイクエレメントのうち、使用するマイクエレメントを選択することを特徴とする音声記録再生装置」が開示されている。この特許文献１では、音声記録再生装置が、装置方向に応じて、使用するマイクエレメントを選択することが説明されている。
特開２００５－１７６１３８号公報
　しかし、現在の撮影形態の多様化によって、撮影される映像の傾きに対応したあらゆる指向性パターンの音声信号を処理することが求められている。例えば、撮影装置が縦向きに配置される場合であっても、撮影装置の左側が上側に配置される場合と、撮影装置の左側が下側に配置される場合とで、音声信号の処理方法が異なる。
　また、撮影装置が例えば通常の向きから縦向きにゆっくり、あるいは急激に変化しながら撮影された場合に、再生される音声の方向がスムーズに再現されるように、撮影時に音声信号を適切に処理することが好ましい。
　そこで本技術では、撮影される映像の傾きに対応した音声信号を処理する撮影装置、撮影システム、及び撮影処理方法を提供することを主目的とする。
　本技術は、複数の音声取得部のそれぞれで得られる音声信号を用いて複数のステレオ音声信号を生成し、姿勢取得部で得られる姿勢情報と該ステレオ音声信号とを時系列で対応づける演算部を少なくとも備える、撮影装置を提供する。
　前記姿勢情報には、前記撮影装置の姿勢に関する情報が含まれていてもよい。
　前記演算部が、前記複数の音声取得部の中から、２つ以上の該音声取得部からなる組み合わせを選択し、選択された該音声取得部で得られる音声信号を用いてステレオ音声信号を生成してもよい。
　前記演算部が、前記姿勢情報及び／又は前記音声取得部の配置情報に基づいて、再生される前記ステレオ音声信号の指向性パターンを演算してもよい。
　前記演算部が、前記姿勢情報及び／又は前記音声取得部の配置情報に基づいて、再生される前記ステレオ音声信号の増幅率を演算してもよい。
　前記演算部が、前記姿勢情報及び／又は前記音声取得部の配置情報に基づいて、前記ステレオ音声信号が再生される音声再生部を選択してもよい。
　前記音声取得部が、モノラルマイクロフォンであってもよい。
　前記撮影装置が、少なくとも３つの前記音声取得部を備えており、３つの前記音声取得部のうち、少なくとも２つの前記音声取得部と、少なくとも１つの前記音声取得部と、が対向して配置されていてもよい。
　前記撮影装置が、少なくとも４つの前記音声取得部を備えており、４つの前記音声取得部のうち、少なくとも３つの前記音声取得部と、少なくとも１つの前記音声取得部と、が対向して配置されていてもよい。
　前記姿勢取得部が、角速度センサ及び／又は加速度センサであってよい。
　また、本技術は、複数の音声取得部のぞれぞれで得られる音声信号を用いて複数のステレオ音声信号を生成し、姿勢取得部で得られる姿勢情報と該ステレオ音声信号とを時系列で対応づける演算部を少なくとも備える、撮影システムを提供する。
　また、本技術は、複数の音声取得部のそれぞれで得られる音声信号を用いて複数のステレオ音声信号を生成することと、姿勢取得部で得られる姿勢情報と前記ステレオ音声信号とを時系列で対応づけることと、を少なくとも含む、撮影処理方法を提供する。
本技術の一実施形態に係る撮影装置の構成図である。 本技術の一実施形態に係る撮影装置の概略図である。 本技術の一実施形態に係る演算部の処理の一例を示すフローチャートである。 本技術の一実施形態に係る演算部の処理の一例を示すフローチャートである。 本技術の一実施形態に係る演算部の処理の一例を示すフローチャートである。 本技術の一実施形態に係る音声取得部の配置関係を示す説明図である。 本技術の一実施形態に係る演算部の処理の一例を示すフローチャートである。 本技術の一実施形態に係る演算部の処理の一例を示すフローチャートである。 本技術の一実施形態に係る音声再生部の配置位置を説明するための概略図である。 本技術の一実施形態に係る撮影装置の概略図である。 本技術の一実施形態に係る音声取得部の配置関係を示す説明図である。 本技術の一実施形態に係る撮影システムの構成図である。 本技術の一実施形態に係るサーバのハードウェア構成図である。 本技術の一実施形態に係る撮影処理方法を示すフローチャートである。
　以下、本技術を実施するための好適な形態について説明する。以下に説明する実施形態は、本技術の代表的な実施形態の一例を示したものであり、これにより本技術の範囲が狭く解釈されることはない。なお、特に断りがない限り、図面において、「上」とは図中の上方向又は上側を意味し、「下」とは、図中の下方向又は下側を意味し、「左」とは図中の左方向又は左側を意味し、「右」とは図中の右方向又は右側を意味する。また、図面については、同一又は同等の要素又は部材には同一の符号を付し、重複する説明は省略する。
　以下の実施の形態の説明において、略平行、略直交のような「略」を伴った表現が、用いられる場合がある。例えば、略平行とは、完全に平行であることを意味するだけでなく、実質的に平行である、すなわち、例えば数％程度の差異を含むことも意味する。他の「略」を伴った表現についても同様である。また、各図は模式図であり、必ずしも厳密に図示されたものではない。
　本技術の説明は以下の順序で行う。
　１．本技術に係る第１の実施形態（撮影装置の例１）
　（１）概要
　（２）音声取得部
　（３）演算部（撮影時）
　（４）演算部（再生時）
　２．本技術に係る第２の実施形態（撮影装置の例２）
　３．本技術に係る第３の実施形態（撮影システム）
　４．本技術に係る第４の実施形態（撮影処理方法）
［１．本技術に係る第１の実施形態（撮影装置の例１）］
［（１）概要］
　本技術の一実施形態に係る撮影装置について図１を参照しつつ説明する。図１は、本技術の一実施形態に係る撮影装置の構成図である。本技術の一実施形態に係る撮影装置は、例えばデジタルビデオカメラに適用されることができる。
　図１に示されるとおり、撮影装置１は、複数の音声取得部１１ａ～１１ｃと、姿勢取得部１２と、演算部１３と、制御部１４と、メモリ１５と、を備えることができる。
　複数の音声取得部１１ａ～１１ｃのそれぞれは、撮影装置１の外部から得られた音声をＡＤ変換することにより、デジタルデータである音声信号を得る。複数の音声取得部１１ａ～１１ｃのそれぞれは、例えば無指向性のモノラルマイクロフォン等を用いることにより実現できる。
　姿勢取得部１２は、撮影装置１の姿勢に関する情報を含む姿勢情報を得る。姿勢取得部１２は、例えば角速度センサ、加速度センサ、又は慣性センサ（ＩＭＵ：Inertial Measurement Unit）等を用いることにより実現できる。なお、この姿勢取得部１２は、あらかじめバイアス誤差が取り除かれていることが好ましい。ただし、このバイアス誤差が取り除かれていない場合、例えば演算部１３が、このバイアス誤差を推定してもよい。
　演算部１３は、複数の音声取得部１１ａ～１１ｃのそれぞれで得られる音声信号を用いて、複数のステレオ音声信号を生成できる。そして、演算部１３は、該ステレオ音声信号と、前記姿勢情報と、を時系列で対応づけることができる。演算部１３は、例えばマイクロコンピュータ等を用いることにより実現できる。
　制御部１４は、演算部１３等の処理を制御できる。制御部１４は、例えばマイクロコンピュータ等を用いることにより実現できる。
　メモリ１５は、例えば演算部１３等が処理するデータを記録できる。
　なお、図示を省略するが、撮影装置１は音声遅延部を備えていてもよい。音声遅延部は、映像信号と音声信号との出力タイミングの同期をとることができる。
［（２）音声取得部］
　撮影装置１は、少なくとも３つの音声取得部を備えることができる。また、複数の音声取得部のそれぞれは、適切な位置に配置されている。より詳しくは、前記３つの音声取得部のうち、少なくとも２つの前記音声取得部と、少なくとも１つの前記音声取得部と、が対向して配置されている。
　音声取得部の配置について図２を参照しつつ説明する。図２は、本技術の一実施形態に係る撮影装置の概略図である。図２に示されるとおり、撮影装置１は、第１の音声取得部１１ａ、第２の音声取得部１１ｂ、及び第３の音声取得部１１ｃ、撮影レンズ１６、筐体１７、を備えている。
　第１の音声取得部１１ａ及び第２の音声取得部１１ｂは、筐体１７の上面側に配置されている。第３の音声取得部１１ｃは、筐体１７の下面側に配置されている。第１の音声取得部１１ａ及び第２の音声取得部１１ｂと、第３の音声取得部１１ｃと、が対向して配置されている。
　複数の音声取得部１１ａ～１１ｃのそれぞれがこのように配置されていることにより、適切な音声信号が得られる。詳細な説明は後述する。
　なお、複数の音声取得部１１ａ～１１ｃのそれぞれの配置位置は、これに限られない。例えば、１つの音声取得部が撮影装置１の上面側に配置されており、２つの音声取得部が撮影装置１の下面側に配置されていてもよい。あるいは、音声取得部１１ａ～１１ｃが左面側又は右面側に配置されていてもよい。あるいは、音声取得部１１ａ～１１ｃが撮影レンズ１６に配置されていてもよい。
［（３）演算部（撮影時）］
　撮影時における演算部の処理について図３を参照しつつ説明する。図３は、本技術の一実施形態に係る演算部の処理の一例を示すフローチャートである。
　図３に示されるとおり、演算部１３は、前記複数の音声取得部の中から、２つ以上の該音声取得部からなる組み合わせを選択する（Ｓ１１）。例えば水平方向の指向性パターンを有するステレオ音声信号を生成するために、演算部１３は、前記姿勢情報を用いて、右側に配置されている音声取得部と、左側に配置されている音声取得部と、からなる組み合わせを選択する。
　次に、演算部１３は、選択された音声取得部で得られる音声信号を得る（Ｓ１２）。該音声信号は、例えばメモリ１５に記録されることができる。
　次に、演算部１３は、該音声信号を用いて、前記組み合わせごとの複数のステレオ音声信号を生成する（Ｓ１３）。前記複数のステレオ音声信号のそれぞれは、指向性パターンを有している。該ステレオ音声信号は、メモリ１５に記録されることができる。
　ここで、ステレオ音声信号について説明する。まず、撮影装置１が通常の向きで撮影する場合を想定する。通常の向きで撮影する場合とは、第１の音声取得部１１ａ及び第２の音声取得部１１ｂが、撮影装置１の上面側に配置されており、第３の音声取得部１１ｃが、撮影装置１の下面側に配置されている状態で、撮影する場合である。
　演算部１３は、第１の音声取得部１１ａで得られる音声信号と、第２の音声取得部１１ｂで得られる音声信号とを用いて、水平方向の指向性パターンを有するステレオ音声信号を生成できる。
　さらに演算部１３は、第１の音声取得部１１ａで得られる音声信号と、第３の音声取得部１１ｃで得られる音声信号とを用いて、鉛直方向（重力方向）の指向性パターンを有するステレオ音声信号を生成できる。なお、演算部１３は、第２の音声取得部１１ｂで得られる音声信号と、第３の音声取得部１１ｃで得られる音声信号とを用いて、鉛直方向の指向性パターンを有するステレオ音声信号を生成してもよい。
　演算部１３は、聴感上の感覚として有意な指向性パターンを有する複数のステレオ音声信号を生成できる。これにより、撮影装置１がどのような傾きで撮影しても、再生時に、音声の方向を正確に再現できる。
　なお、複数のステレオ音声信号は、全ての指向性パターンを有していてもよいし、特定の指向性パターンのみを有していてもよい。
　生成されたステレオ音声信号は、メモリ１５に記録されてもよいし、外部のコンピュータ装置等に記録されてもよい。
　続いて、撮影装置１が縦向きで撮影する場合を想定する。通常の向きで撮影する場合とは、例えば撮影装置１の左側が上側又は下側に配置されるように撮影装置１が略９０度回転される状態で、撮影する場合である。このとき、複数の音声取得部１１ａ～１１ｃのそれぞれは、撮影装置１の右側面又は左側面に配置されることになる。
　演算部１３は、第１の音声取得部１１ａで得られる音声信号と、第２の音声取得部１１ｂで得られる音声信号とを用いて、鉛直方向の指向性パターンを有するステレオ音声信号を生成できる。
　さらに演算部１３は、第１の音声取得部１１ａで得られる音声信号と、第３の音声取得部１１ｃで得られる音声信号とを用いて、水平方向の指向性パターンを有するステレオ音声信号を生成できる。なお、演算部１３は、第２の音声取得部１１ｂで得られる音声信号と、第３の音声取得部１１ｃで得られる音声信号とを用いて、水平方向の指向性パターンを有するステレオ音声信号を生成してもよい。
　撮影装置１が、通常の向きと縦向きとの中間である斜め向きで撮影する場合も同様である。複数の音声取得部１１ａ～１１ｃのそれぞれで得られる音声信号を用いて、演算部１３は、複数のステレオ音声信号を生成できる。
　撮影装置１の向きは、姿勢取得部１２で得られる姿勢情報を用いて、演算部１３が推定できる。このことについて図４を参照しつつ説明する。図４は、本技術の一実施形態に係る演算部の処理の一例を示すフローチャートである。
　図４に示されるとおり、まず、演算部１３は、撮影装置１の姿勢情報を参照する（Ｓ２１）。
　前記通常の向きにおける回転角度を０度とするとき、演算部１３は、撮影装置１の回転角度が－４５度より大きくかつ４５度より小さいか否かを判定する（Ｓ２２）。なお、ここでは、撮影装置１の左側が下側に来るように回転するときの回転角度を正とする。
　撮影装置１の回転角度が例えば－４５度より大きくかつ４５度より小さいとき（Ｓ２２：Ｙｅｓ）、演算部１３は、撮影装置１が通常の向きであると推定する（Ｓ２３）。
　撮影装置１の回転角度が－４５度以下又は４５度以上であるとき（Ｓ２２：Ｎｏ）、演算部１３は、撮影装置１の回転角度が－４５度以下であるか否かを判定する（Ｓ２４）。撮影装置１の回転角度が－４５度以下であるとき（Ｓ２４：Ｙｅｓ）、演算部１３は、撮影装置１の左側が上側に来るように回転された縦向きであると推定する（Ｓ２５）。
　撮影装置１の回転角度が－４５度より大きいとき（Ｓ２４：Ｎｏ）、すなわち撮影装置１の回転角度が４５度以上であるとき、演算部１３は、撮影装置１の右側が上側に来るように回転された縦向きであると推定する（Ｓ２６）。
　なお、演算部１３の判定条件は上記に限られない。例えば、演算部１３は、撮影装置１の回転角度が３０度より大きくかつ６０度より小さいとき、撮影装置１が斜め向きであると推定してもよい。具体的に説明すると、演算部１３は、撮影装置１の回転角度を複数のパターンに分類してもよい。例えば、撮影装置１の回転角度が０度以上３０度未満である場合は、演算部１３は、この回転角度をパターンＡに分類することができる。同様に、撮影装置１の回転角度が３０度以上６０度未満である場合は、演算部１３は、この回転角度をパターンＢに分類することができる。撮影装置１の回転角度が６０度以上９０度以下である場合は、演算部１３は、この回転角度をパターンＣに分類することができる。
　図３の説明に戻る。演算部１３は、前記ステレオ音声信号と、姿勢取得部１２が得た姿勢情報と、を時系列で対応づける（Ｓ１４）。演算部１３は、例えば上記パターンＡの姿勢情報と、上記パターンＡの姿勢情報に対応するステレオ音声信号とを時系列で１対１で対応づける。前記姿勢情報は、メタデータとして、前記ステレオ音声信号と同じ時間スケールで取得される。すなわち、演算部１３は、前記ステレオ音声信号と同期可能な時系列姿勢情報を生成できる。
　演算部１３は、時系列姿勢情報を生成することにより、映像の再生時において、姿勢情報に対応したあらゆる指向性パターンを有するステレオ音声を再生できる。
　演算部１３は、時系列姿勢情報に加えて、撮影装置１における音声取得部１１ａ～１１ｃの配置情報を参照してもよい。例えば撮影装置１が備えるメモリ１５は、音声取得部１１ａ～１１ｃの配置情報を記憶できる。この配置情報の一例として、音声取得部同士の間隔や、音声取得部同士を結ぶ直線同士の角度等がある。
　演算部が配置情報を参照するときの処理について図５を参照しつつ説明する。図５は、本技術の一実施形態に係る演算部の処理の一例を示すフローチャートである。図５に示されるとおり、演算部１３は、まず複数の音声取得部１１ａ～１１ｃのそれぞれの座標情報を参照する（Ｓ３１）。この座標情報は、例えば撮影装置１が備えるメモリ１５等に記録されてもよい。
　次に、演算部１３は、座標情報に基づいて、音声取得部同士の間隔を導出する（Ｓ３２）。
　このことについて図６を参照しつつ説明する。図６は、本技術の一実施形態に係る音声取得部の配置関係を示す説明図である。図６では、図２においてＹ軸方向に見たときの、音声取得部の配置関係が示されている。
　演算部１３は、座標情報に基づいて、例えば第１の音声取得部１１ａと第２の音声取得部１１ｂとの間隔を算出できる。さらに演算部１３は、第１の音声取得部１１ａと第２の音声取得部１１ｂとの中央Ｐ１と、第３の音声取得部１１ｃとの間隔を算出できる。
　図５の説明に戻る。最後に、演算部１３は、前記間隔に関する情報と、音声取得部で得られた音声信号を用いて、適切な指向性パターンを有するステレオ音声信号を生成する（Ｓ３３）。
　このように、演算部１３は、時系列姿勢情報に加えて、音声取得部１１ａ～１１ｃの配置情報を参照することにより、より臨場感のあるステレオ音声信号を生成できる。
［（４）演算部（再生時）］
　映像の再生時における演算部の処理について図７を参照しつつ説明する。図７は、本技術の一実施形態に係る演算部の処理の一例を示すフローチャートである。
　図７に示されるとおり、演算部１３は、まず、映像の再生を指示する（Ｓ４１）。
　次に、演算部１３は、再生されている映像における、録音時の時刻を参照する（Ｓ４２）。
　次に、演算部１３は、時系列姿勢情報を参照する（Ｓ４３）。詳しくは、録音時の時刻に基づいて、その時刻における姿勢情報を参照する。時系列姿勢情報は、例えばメモリ１５に記録されている。
　次に、演算部１３は、録音時の時刻と、時系列姿勢情報に基づいて、複数のステレオ音声信号の中から、適切な指向性パターンを有するステレオ音声信号を選択する（Ｓ４４）。
　そして、演算部１３は、選択されたステレオ音声信号の再生を指示する（Ｓ４５）。
　例えば、縦向きで撮影された映像を再生するとき、前記時系列姿勢情報に基づいて、演算部１３は、第１の音声取得部１１ａで得られた音声信号と、第２の音声取得部１１ｂで得られた音声信号とを用いて生成された、鉛直方向の指向性パターンを有するステレオ音声信号を選択できる。さらに演算部１３は、第１の音声取得部１１ａで得られた音声信号と、第３の音声取得部１１ｃで得られた音声信号とを用いて生成された、水平方向の指向性パターンを有するステレオ音声信号を選択できる。これにより、演算部１３は、再生される音声の方向と、映像とを一致させることができる。
　演算部１３は、ステレオ音声信号を選択した後に、前記時系列姿勢情報に基づいて、ステレオ音声信号の適切な増幅率（ゲイン）を演算してもよい。このことについて図８を参照しつつ説明する。図８は、本技術の一実施形態に係る演算部の処理の一例を示すフローチャートである。
　図８に示されるとおり、演算部１３は、適切な指向性パターンを有する複数のステレオ音声信号を選択した（Ｓ４４）後に、複数のステレオ音声信号のそれぞれの適切な増幅率を演算する（Ｓ４６）。例えば、演算部１３は、２つのステレオ音声信号を選択した後に、一方のステレオ音声信号の増幅率を大きく、他方のステレオ音声信号の増幅率を小さくできる。
　例えば、撮影装置１が通常の向きから縦向きにゆっくり、あるいは急激に変化しながら撮影された映像を再生する場合を想定する。この場合、複数のステレオ音声信号のそれぞれがクロスフェードされることが好ましい。クロスフェードとは、一方のステレオ音声信号の増幅率を次第に小さくしながら、他方のステレオ音声信号の増幅率を次第に大きくすることである。前記時系列姿勢情報に基づいて、演算部１３が適切にクロスフェードを行うことにより、再生される映像に合わせて、再生される音声の方向がスムーズに再現される。
　演算部１３は、選択されたステレオ音声信号の再生を指示する際に、前記時系列姿勢情報に基づいて、適切な音声再生部を選択してもよい。この音声再生部は、例えばスピーカー等を用いることにより実現できる。
　このことについて図９を参照しつつ説明する。図９は、本技術の一実施形態に係る音声再生部の配置位置を説明するための概略図である。図９に示されるとおり、再生装置２は、ディスプレイ２２と、４つの音声再生部２１ａ～２１ｄを備えている。再生装置２は、例えばタブレットあるいはスマートフォン等を用いることによって実現できる。なお、音声再生部の数は４つに限られない。
　図９Ａでは、再生装置２が縦長に配置されていることが示されている。第１の音声再生部２１ａが、再生装置２における左側に配置されている。第２の音声再生部２１ｂが、再生装置２における上側に配置されている。第３の音声再生部２１ｃが、再生装置２における右側に配置されている。第４の音声再生部２１ｄが、再生装置２における下側に配置されている。
　再生装置２は、撮影装置１が通常の向きで撮影した横長の映像を再生している。
　水平方向の指向性パターンを有するステレオ音声を表現するために、演算部１３は、前記時系列姿勢情報に基づいて、左側に配置されている第１の音声再生部２１ａと、右側に配置されている第３の音声再生部２１ｃと、を選択できる。第１の音声再生部２１ａは、例えば左チャンネルのステレオ音声を再生できる。第３の音声再生部２１ｃは、例えば右チャンネルのステレオ音声を再生できる。
　図９Ｂでは、図９Ａと同様に、再生装置２が縦長に配置されていることが示されている。複数の音声再生部２１ａ～２１ｄの配置関係は、図９Ａと同様である。
　再生装置２は、撮影装置１が縦向きで撮影した縦長の映像を再生している。
　水平方向の指向性パターンを有するステレオ音声を表現するために、演算部１３は、図９Ａと同様に、左側に配置されている第１の音声再生部２１ａと、右側に配置されている第３の音声再生部２１ｃと、を選択できる。
　図９Ａと図９Ｂとでは、撮影時の再生装置２の向きが異なっているが、演算部１３が適切な音声再生部を選択することにより、再生される映像と音声の方向とが一致している。
　図９Ｃでは、再生装置２が横長に配置されていることが示されている。第１の音声再生部２１ａが、再生装置２における下側に配置されている。第２の音声再生部２１ｂが、再生装置２における左側に配置されている。第３の音声再生部２１ｃが、再生装置２における上側に配置されている。第４の音声再生部２１ｄが、再生装置２における右側に配置されている。
　再生装置２は、撮影装置１が通常の向きで撮影した横長の映像を再生している。
　水平方向の指向性パターンを有するステレオ音声を表現するために、演算部１３は、前記時系列姿勢情報に基づいて、左側に配置されている第２の音声再生部２１ｂと、右側に配置されている第４の音声再生部２１ｄと、を選択できる。第２の音声再生部２１ｂは、例えば左チャンネルのステレオ音声を再生できる。第４の音声再生部２１ｄは、例えば右チャンネルのステレオ音声を再生できる。
　図９Ｄでは、図９Ｃと同様に、再生装置２が横長に配置されていることが示されている。複数の音声再生部２１ａ～２１ｄの配置関係は、図９Ｃと同様である。
　再生装置２は、撮影装置１が縦向きで撮影した縦長の映像を再生している。
　水平方向の指向性パターンを有するステレオ音声を表現するために、演算部１３は、図９Ｃと同様に、左側に配置されている第２の音声再生部２１ｂと、右側に配置されている第４の音声再生部２１ｄと、を選択できる。
　図９Ｃと図９Ｄとでは、撮影時の再生装置２の向きが異なっているが、演算部１３が適切な音声再生部を選択することにより、再生される映像と音声の方向とが一致している。
　このように、再生装置２の向きに関わらず、演算部１３が再生される映像の向きに合わせて適切な音声再生部を選択することにより、映像と音声の方向とが一致している。
　音声再生部を選択するためのデータは、例えば撮影装置１が備えるメモリ１５に記録されることができる。
　なお、演算部１３は、前記時系列姿勢情報に基づいて、再生される映像と音声の方向とを一致させることができるが、前記時系列姿勢情報を参照せずに、再生される映像と音声の方向とを一致させなくてもよい。
　また、演算部１３は、再生装置２の姿勢情報に基づいて、再生される映像と音声の方向とを一致させてもよい。
　さらに、演算部１３は、時系列姿勢情報に加えて、音声取得部１１ａ～１１ｃの配置情報を参照してもよい。これにより、演算部１３は、例えば複数のステレオ音声信号の中から、適切な指向性パターンを有するステレオ音声信号を選択できる。演算部１３は、音声取得部１１ａ～１１ｃの配置情報に基づいて、ステレオ音声信号の適切な増幅率（ゲイン）を演算してもよい。演算部１３は、音声取得部１１ａ～１１ｃの配置情報に基づいて、適切な音声再生部を選択してもよい。
　ステレオ音声信号は、デコーダ（図示省略）等によって復号化され、ＤＡコンバータ（図示省略）によってデジタル信号からアナログ信号に変換され、ステレオ音声となる。このステレオ音声は、前記音声再生部から再生される。
［２．本技術に係る第２の実施形態（撮影装置の例２）］
　本技術の一実施形態に係る撮影装置について図１０を参照しつつ説明する。図１０は、本技術の一実施形態に係る撮影装置の概略図である。図１０に示されるとおり、撮影装置１は、少なくとも４つの音声取得部を備えることができる。また、複数の音声取得部のそれぞれは、適切な位置に配置されている。より詳しくは、前記４つの音声取得部のうち、少なくとも３つの前記音声取得部と、少なくとも１つの前記音声取得部と、が対向して配置されている。
　より詳しくは、撮影装置１は、第１の音声取得部１１ａ、第２の音声取得部１１ｂ、第３の音声取得部１１ｃ、及び第４の音声取得部１１ｄを備えている。第１の音声取得部１１ａ、第２の音声取得部１１ｂ、及び第４の音声取得部１１ｄは、撮影装置１の上面側に配置されている。第３の音声取得部１１ｃは、撮影装置１の下面側に配置されている。第１の音声取得部１１ａ、第２の音声取得部１１ｂ、及び第４の音声取得部１１ｄと、第３の音声取得部１１ｃと、が対向して配置されている。
　複数の音声取得部１１ａ～１１ｄのそれぞれがこのように配置されていることにより、適切な音声信号が得られる。
　なお、複数の音声取得部１１ａ～１１ｄのそれぞれの配置位置は、これに限られない。例えば、１つの音声取得部が撮影装置１の上面側に配置されており、３つの音声取得部が撮影装置１の下面側に配置されていてもよい。あるいは、音声取得部１１ａ～１１ｄが左面側又は右面側に配置されていてもよい。あるいは、音声取得部１１ａ～１１ｄが撮影レンズ１６に配置されていてもよい。
　まず、撮影装置１が通常の向きで撮影する場合を想定する。演算部１３は、第１の音声取得部１１ａで得られる音声信号と、第２の音声取得部１１ｂで得られる音声信号とを用いて、例えば第１の音声取得部１１ａを左チャンネル、第２の音声取得部１１ｂを右チャンネルとするときの、水平方向の指向性パターンを有するステレオ音声信号を生成できる。
　さらに演算部１３は、第１の音声取得部１１ａで得られる音声信号と、第４の音声取得部１１ｄで得られる音声信号とを用いて、例えば第１の音声取得部１１ａを左チャンネル、第４の音声取得部１１ｄを右チャンネルとするときの、水平方向の指向性パターンを有するステレオ音声信号を生成できる。
　さらに演算部１３は、第２の音声取得部１１ｂで得られる音声信号と、第４の音声取得部１１ｄで得られる音声信号とを用いて、例えば第２の音声取得部１１ｂを左チャンネル、第４の音声取得部１１ｄを右チャンネルとするときの、水平方向の指向性パターンを有するステレオ音声信号を生成できる。
　演算部１３は、第１の実施形態と同様に、時系列姿勢情報に加えて、撮影装置１における音声取得部１１ａ～１１ｄの配置情報を参照してもよい。
　このことについて図１１を参照しつつ説明する。図１１は、本技術の一実施形態に係る音声取得部の配置関係を示す説明図である。図１１では、図１０においてＺ軸方向に見たときの、音声取得部の配置関係が示されている。
　演算部１３は、座標情報に基づいて、例えば第１の音声取得部１１ａと第２の音声取得部１１ｂとの間隔を算出できる。さらに演算部１３は、第１の音声取得部１１ａと第２の音声取得部１１ｂとの中央Ｐ２と、第４の音声取得部１１ｄとの間隔を算出できる。
　このように、第２の実施形態に係る撮影装置１は、第１の実施形態に係る撮影装置１に比べて、より多くのステレオ音声信号を生成できる。そのため、再生される映像と音声の方向をより高精度に一致させることができる。
　なお、第２の実施形態に係る撮影装置の構成については、第１の実施形態と同様であってよい。そのため、その他の詳細な説明は省略する。
［３．本技術に係る第３の実施形態（撮影システム）］
　本技術の一実施形態に係る撮影システムについて図１２を参照しつつ説明する。図１２は、本技術の一実施形態に係る撮影システムの構成図である。
　図１２に示されるとおり、本技術の一実施形態に係る撮影システム５は、撮影装置１、サーバ３、及び再生装置２を備えている。
　撮影装置１、サーバ３、及び再生装置２は、情報通信ネットワーク４を介して接続されている。なお、撮影装置１、サーバ３、及び再生装置２は、情報通信ネットワーク４を介して接続されていなくてもよい。
　撮影装置１は、複数の音声取得部１１ａ～１１ｃと、姿勢取得部１２と、演算部１３と、制御部１４と、メモリ１５と、を備えることができる。
　演算部１３は、複数の音声取得部１１ａ～１１ｃのそれぞれで得られる音声信号を用いて、複数のステレオ音声信号を生成できる。そして、演算部１３は、該ステレオ音声信号と、前記姿勢情報と、を時系列で対応づけることができる。演算部１３は、前記ステレオ音声信号と同期可能な時系列姿勢情報を生成できる。
　サーバ３は、撮影装置１が備える一部又は全部の機能を備えることができる。例えば、演算部１３が生成するステレオ音声信号及び時系列姿勢情報を、サーバ３が備えるストレージ等が記録してもよい。この場合は、例えばステレオ音声信号及び時系列姿勢情報が、情報通信ネットワーク４を介して撮影装置１からサーバ３へ送信される。
　さらには、サーバ３が演算部１３を備えていてもよい。この場合は、例えば音声信号及び姿勢情報が、情報通信ネットワーク４を介して撮影装置１からサーバ３へ送信される。
　サーバ３のハードウェア構成について図１３を参照しつつ説明する。図１３は、本技術の一実施形態に係るサーバ３のハードウェア構成図である。図１３に示されるとおり、サーバ３は、構成要素として、ＣＰＵ１０１、ストレージ１０２、ＲＡＭ（Random Access Memory）１０３、及び通信インタフェース１０４を備えうる。それぞれの構成要素は、例えばデータの伝送路としてのバスで接続されている。
　ＣＰＵ１０１は、例えばマイクロコンピュータにより実現され、サーバ３のそれぞれの構成要素を制御する。ＣＰＵ１０１は、例えば、演算部１３として機能しうる。この演算部１３は、例えばプログラムにより実現されうる。このプログラムをＣＰＵ１０１が読み込むことによって機能しうる。
　ストレージ１０２は、ＣＰＵ１０１が使用するプログラムや演算パラメータ等の制御用データ等を記憶する。ストレージ１０２は、例えばＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）等を利用することにより実現されうる。ストレージ１０２は、例えばステレオ音声信号及び時系列姿勢情報等を記憶できる。
　ＲＡＭ１０３は、例えば、ＣＰＵ１０１により実行されるプログラム等を一時的に記憶する。
　通信インタフェース１０４は、例えばＷｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＬＴＥ（Long Term Evolution）等の通信技術を利用して、情報通信ネットワーク４を介して通信する機能を有する。例えば通信インタフェース１０４は、ステレオ音声信号及び時系列姿勢情報を送信及び受信できる。なお、撮影装置１及び再生装置２も、同様に通信インタフェースを備えることができる。
　演算部１３等を実現するプログラムは、撮影システム５のほかのコンピュータ装置又はコンピュータシステムに格納されてもよい。この場合、撮影システム５は、このプログラムが有する機能を提供するクラウドサービスを利用することができる。このクラウドサービスとして、例えばＳａａＳ（Software as a Service）、ＩａａＳ（Infrastructure as a Service）、ＰａａＳ（Platform as a Service）等が挙げられる。
　さらにこのプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、Compact Disc Read Only Memory（CD-ROM）、CD-R、CD-R/W、半導体メモリ（例えば、マスクROM、Programmable ROM（PROM）、Erasable PROM（EPROM）、フラッシュROM、Random Access Memory（RAM））を含む。また、上記プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、上記プログラムをコンピュータに供給できる。
　撮影装置１及び再生装置２の構成については、第１の実施形態と同様であってよい。そのため、その他の構成についての詳細な説明は省略する。
　情報通信ネットワーク４は、例えば、ＬＡＮ（Local Area Network）又はＷＡＮ（Wide Area Network）等の有線ネットワーク、無線ＬＡＮ（ＷＬＡＮ：Wireless Local Area Network）又は基地局を介した無線ＷＡＮ（ＷＷＡＮ：Wireless Wide Area Network）等の無線ネットワーク、あるいはＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）等の通信プロトコルを用いたインターネット等により実現できる。
　これ以外にも、本技術の主旨を逸脱しない限り、上記実施の形態で挙げた構成を取捨選択したり、他の構成に適宜変更したりできる。
［４．本技術に係る第４の実施形態（撮影処理方法）］
　本技術に係る撮影処理方法について図１４を参照しつつ説明する。図１４は、本技術の一実施形態に係る撮影処理方法を示すフローチャートである。図１４に示されるとおり、本技術の一実施形態に係る撮影処理方法は、複数の音声取得部のそれぞれで得られる音声信号を用いて複数のステレオ音声信号を生成すること（Ｓ１０１）と、姿勢取得部で得られる姿勢情報と前記ステレオ音声信号とを時系列で対応づけること（Ｓ１０２）と、を少なくとも含んでいる。
　例えば上記の演算部１３が用いられることにより、複数のステレオ音声信号を生成すること（Ｓ１０１）と、姿勢情報とステレオ音声信号とを時系列で対応づけること（Ｓ１０２）と、が実現されうる。
　これにより、例えば撮影される映像の傾きに対応した音声信号を処理することができる。
　なお、撮影処理方法は、第１～第３の実施形態において説明した技術を利用することができる。よって、再度の説明を省略する。
　なお、本明細書中に記載した効果はあくまで例示であって限定されるものではなく、また他の効果があってもよい。
　なお、本技術は、以下のような構成をとることもできる。
［１］
　複数の音声取得部のそれぞれで得られる音声信号を用いて複数のステレオ音声信号を生成し、姿勢取得部で得られる姿勢情報と該ステレオ音声信号とを時系列で対応づける演算部を少なくとも備える、撮影装置。
［２］
　前記姿勢情報には、前記撮影装置の姿勢に関する情報が含まれている、
　［１］に記載の撮影装置。
［３］
　前記演算部が、前記複数の音声取得部の中から、２つ以上の該音声取得部からなる組み合わせを選択し、選択された該音声取得部で得られる音声信号を用いてステレオ音声信号を生成する、
　［１］又は［２］に記載の撮影装置。
［４］
　前記演算部が、前記姿勢情報及び／又は前記音声取得部の配置情報に基づいて、再生される前記ステレオ音声信号の指向性パターンを演算する、
　［１］～［３］のいずれか一つに記載の撮影装置。
［５］
　前記演算部が、前記姿勢情報及び／又は前記音声取得部の配置情報に基づいて、再生される前記ステレオ音声信号の増幅率を演算する、
　［１］～［４］のいずれか一つに記載の撮影装置。
［６］
　前記演算部が、前記姿勢情報及び／又は前記音声取得部の配置情報に基づいて、前記ステレオ音声信号が再生される音声再生部を選択する、
　［１］～［５］のいずれか一つに記載の撮影装置。
［７］
　前記音声取得部が、モノラルマイクロフォンである、
　［１］～［６］のいずれか一つに記載の撮影装置。
［８］
　少なくとも３つの前記音声取得部を備えており、
　３つの前記音声取得部のうち、少なくとも２つの前記音声取得部と、少なくとも１つの前記音声取得部と、が対向して配置されている、
　［１］～［７］のいずれか一つに記載の撮影装置。
［９］
　少なくとも４つの前記音声取得部を備えており、
　４つの前記音声取得部のうち、少なくとも３つの前記音声取得部と、少なくとも１つの前記音声取得部と、が対向して配置されている、
　［１］～［８］のいずれか一つに記載の撮影装置。
［１０］
　前記姿勢取得部が、角速度センサ及び／又は加速度センサである、
　［１］～［９］のいずれか一つに記載の撮影装置。
［１１］
　複数の音声取得部のぞれぞれで得られる音声信号を用いて複数のステレオ音声信号を生成し、姿勢取得部で得られる姿勢情報と該ステレオ音声信号とを時系列で対応づける演算部を少なくとも備える、撮影システム。
［１２］
　複数の音声取得部のそれぞれで得られる音声信号を用いて複数のステレオ音声信号を生成することと、
　姿勢取得部で得られる姿勢情報と前記ステレオ音声信号とを時系列で対応づけることと、を少なくとも含む、撮影処理方法。
１　撮影装置
１１ａ　第１の音声取得部
１１ｂ　第２の音声取得部
１１ｃ　第３の音声取得部
１１ｄ　第４の音声取得部
１２　姿勢取得部
１３　演算部
１４　制御部
１５　メモリ
１６　撮影レンズ
１７　筐体
２　再生装置
２１ａ　第１の音声再生部
２１ｂ　第２の音声再生部
２１ｃ　第３の音声再生部
２１ｄ　第４の音声再生部
２２　ディスプレイ
３　サーバ
４　情報通信ネットワーク
５　撮影システム

Claims (12)

  1. 　複数の音声取得部のそれぞれで得られる音声信号を用いて複数のステレオ音声信号を生成し、姿勢取得部で得られる姿勢情報と該ステレオ音声信号とを時系列で対応づける演算部を少なくとも備える、撮影装置。
  2. 　前記姿勢情報には、前記撮影装置の姿勢に関する情報が含まれている、
    　請求項１に記載の撮影装置。
  3. 　前記演算部が、前記複数の音声取得部の中から、２つ以上の該音声取得部からなる組み合わせを選択し、選択された該音声取得部で得られる音声信号を用いてステレオ音声信号を生成する、
    　請求項１に記載の撮影装置。
  4. 　前記演算部が、前記姿勢情報及び／又は前記音声取得部の配置情報に基づいて、再生される前記ステレオ音声信号の指向性パターンを演算する、
    　請求項１に記載の撮影装置。
  5. 　前記演算部が、前記姿勢情報及び／又は前記音声取得部の配置情報に基づいて、再生される前記ステレオ音声信号の増幅率を演算する、
    　請求項１に記載の撮影装置。
  6. 　前記演算部が、前記姿勢情報及び／又は前記音声取得部の配置情報に基づいて、前記ステレオ音声信号が再生される音声再生部を選択する、
    　請求項１に記載の撮影装置。
  7. 　前記音声取得部が、モノラルマイクロフォンである、
    　請求項１に記載の撮影装置。
  8. 　少なくとも３つの前記音声取得部を備えており、
    　３つの前記音声取得部のうち、少なくとも２つの前記音声取得部と、少なくとも１つの前記音声取得部と、が対向して配置されている、
    　請求項１に記載の撮影装置。
  9. 　少なくとも４つの前記音声取得部を備えており、
    　４つの前記音声取得部のうち、少なくとも３つの前記音声取得部と、少なくとも１つの前記音声取得部と、が対向して配置されている、
    　請求項１に記載の撮影装置。
  10. 　前記姿勢取得部が、角速度センサ及び／又は加速度センサである、
    　請求項１に記載の撮影装置。
  11. 　複数の音声取得部のぞれぞれで得られる音声信号を用いて複数のステレオ音声信号を生成し、姿勢取得部で得られる姿勢情報と該ステレオ音声信号とを時系列で対応づける演算部を少なくとも備える、撮影システム。
  12. 　複数の音声取得部のそれぞれで得られる音声信号を用いて複数のステレオ音声信号を生成することと、
    　姿勢取得部で得られる姿勢情報と前記ステレオ音声信号とを時系列で対応づけることと、を少なくとも含む、撮影処理方法。
PCT/JP2021/001583 2020-02-14 2021-01-19 撮影装置、撮影システム、撮影処理方法 WO2021161733A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020022977 2020-02-14
JP2020-022977 2020-02-14

Publications (1)

Publication Number Publication Date
WO2021161733A1 true WO2021161733A1 (ja) 2021-08-19

Family

ID=77291888

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/001583 WO2021161733A1 (ja) 2020-02-14 2021-01-19 撮影装置、撮影システム、撮影処理方法

Country Status (1)

Country Link
WO (1) WO2021161733A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005176063A (ja) * 2003-12-12 2005-06-30 Canon Inc 録音機能を有する撮像装置及びその録音方法
JP2006148560A (ja) * 2004-11-19 2006-06-08 Olympus Corp 電子カメラ
JP2011091658A (ja) * 2009-10-23 2011-05-06 Jvc Kenwood Holdings Inc ポータブル録音装置、録音自動調整方法、及びプログラム
JP2014502439A (ja) * 2010-10-25 2014-01-30 クゥアルコム・インコーポレイテッド 方向性高感度記録制御のためのシステム、方法、装置、及びコンピュータ可読媒体
WO2014087195A1 (en) * 2012-12-05 2014-06-12 Nokia Corporation Orientation Based Microphone Selection Apparatus
JP2017034570A (ja) * 2015-08-05 2017-02-09 キヤノン株式会社 撮像装置
WO2017056781A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 信号処理装置、信号処理方法、及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005176063A (ja) * 2003-12-12 2005-06-30 Canon Inc 録音機能を有する撮像装置及びその録音方法
JP2006148560A (ja) * 2004-11-19 2006-06-08 Olympus Corp 電子カメラ
JP2011091658A (ja) * 2009-10-23 2011-05-06 Jvc Kenwood Holdings Inc ポータブル録音装置、録音自動調整方法、及びプログラム
JP2014502439A (ja) * 2010-10-25 2014-01-30 クゥアルコム・インコーポレイテッド 方向性高感度記録制御のためのシステム、方法、装置、及びコンピュータ可読媒体
WO2014087195A1 (en) * 2012-12-05 2014-06-12 Nokia Corporation Orientation Based Microphone Selection Apparatus
JP2017034570A (ja) * 2015-08-05 2017-02-09 キヤノン株式会社 撮像装置
WO2017056781A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 信号処理装置、信号処理方法、及びプログラム

Similar Documents

Publication Publication Date Title
US11838707B2 (en) Capturing sound
US11528576B2 (en) Distributed audio capturing techniques for virtual reality (VR), augmented reality (AR), and mixed reality (MR) systems
US10834517B2 (en) Audio recording and playback apparatus
KR101777639B1 (ko) 음향 재생을 위한 방법
JP2019186929A (ja) カメラ撮影制御方法、装置、インテリジェント装置および記憶媒体
US8264934B2 (en) Multitrack recording using multiple digital electronic devices
EP2871855B1 (en) Recording method and apparatus, and terminal
TWI496479B (zh) 增進多聲道之再生
RU2759012C1 (ru) Аппаратура и способ для воспроизведения аудиосигнала для проигрывания пользователю
US8767971B2 (en) Sound pickup apparatus and sound pickup method
TW201732786A (zh) 音訊同步方法及相關電子設備
WO2020138258A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
CN110677781B (zh) 利用编码光线引导扬声器阵列和麦克风阵列的系统和方法
WO2021161733A1 (ja) 撮影装置、撮影システム、撮影処理方法
WO2017038543A1 (ja) 音声処理装置および方法、並びにプログラム
US20150271599A1 (en) Shared audio scene apparatus
EP3503558B1 (en) Audio content format selection
JP6511894B2 (ja) 動画像同期再生システム及び動画像同期再生方法
TWI753741B (zh) 聲源追蹤系統及其方法
JP2013187841A (ja) 電子機器及び出力制御方法並びにプログラム
CN108235192B (zh) 音频记录和回放装置
CN116546328A (zh) 一种录播设备、方法、装置及介质
JP6742535B2 (ja) 収音再生装置並びにプログラム及び記録媒体
JP5014100B2 (ja) 撮像装置
JP2016009968A (ja) 記録装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21753749

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP

122 Ep: pct application non-entry in european phase

Ref document number: 21753749

Country of ref document: EP

Kind code of ref document: A1