WO2023188804A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2023188804A1
WO2023188804A1 PCT/JP2023/003399 JP2023003399W WO2023188804A1 WO 2023188804 A1 WO2023188804 A1 WO 2023188804A1 JP 2023003399 W JP2023003399 W JP 2023003399W WO 2023188804 A1 WO2023188804 A1 WO 2023188804A1
Authority
WO
WIPO (PCT)
Prior art keywords
shutter
vibration
information processing
input waveform
data
Prior art date
Application number
PCT/JP2023/003399
Other languages
English (en)
French (fr)
Inventor
亜由美 中川
学 藤木
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2023188804A1 publication Critical patent/WO2023188804A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/02Bodies
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/18Signals indicating condition of a camera member or suitability of light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules

Definitions

  • the present disclosure relates to an information processing device, an information processing method, and a program.
  • Patent Document 1 discloses a method for generating an audio signal that causes a vibration generator to generate vibrations in accordance with the movement of an object, but does not mention generation of a signal for presenting shutter vibrations.
  • control performs control to generate pseudo shutter vibration input waveform data to be presented by the target device based on shutter vibration data in an acquisition source imaging device with reference to parameters of the target device.
  • An information processing device is provided, the information processing device having a unit.
  • the processor generates pseudo shutter vibration input waveform data to be presented by the target device based on the shutter vibration data in the acquisition source imaging device with reference to the parameters of the target device.
  • An information processing method is provided, which includes controlling the information processing method.
  • the computer generates pseudo-shutter vibration input waveform data to be presented by the target device based on the shutter vibration data of the acquisition source imaging device and with reference to the parameters of the target device.
  • a program is provided that functions as a control unit that performs control.
  • FIG. 1 is a diagram illustrating an overview of a pseudo shutter vibration presentation system according to an embodiment of the present disclosure.
  • FIG. 1 is a block diagram showing an example of the configuration of a generation device according to the present embodiment.
  • FIG. 3 is a diagram illustrating an example of a tool for measuring vibration data of a camera shutter according to the present embodiment.
  • FIG. 3 is a diagram illustrating generation of input waveform data based on acceleration data according to the present embodiment.
  • FIG. 6 is a diagram illustrating an example of vibration parameter types corresponding to the impression of a shutter feeling according to the present embodiment.
  • FIG. 3 is a diagram illustrating an example of a screen for specifying the impression of a shutter feeling according to the present embodiment.
  • FIG. 1 is a diagram illustrating an overview of a pseudo shutter vibration presentation system according to an embodiment of the present disclosure.
  • FIG. 1 is a block diagram showing an example of the configuration of a generation device according to the present embodiment.
  • FIG. 3 is a diagram illustrating an example of a
  • FIG. 1 is a block diagram showing an example of the configuration of a presentation device according to the present embodiment.
  • 7 is a flowchart illustrating an example of the flow of input waveform data generation processing according to the present embodiment.
  • 12 is a flowchart illustrating an example of the flow of shutter sound output processing corresponding to the type of subject according to a modification of the present embodiment.
  • FIG. 1 is a diagram illustrating an overview of a pseudo shutter vibration presentation system according to an embodiment of the present disclosure.
  • the presentation system according to the present embodiment includes a camera 10, which is an example of an imaging device as an acquisition source, and a generation device 20 (which generates input waveform data for presenting vibrations based on shutter vibration data acquired from the camera 10). (an example of an information processing device); and a presentation device 30 (an example of a target device) that uses generated input waveform data to present pseudo-shutter vibrations using a built-in vibration section.
  • the camera 10 has a mechanical shutter (shutter mechanism). As will be described in detail later, data on shutter vibrations (vibration data) generated in the camera 10 is acquired by various sensors. In this embodiment, acceleration data is used as an example of vibration data.
  • the generation device 20 generates input waveform data for presenting pseudo-shutter vibration based on the vibration data acquired from the camera 10 and external parameters.
  • the input waveform data is a signal used to drive the vibrating section provided in the presentation device 30.
  • the external parameters include at least parameters of the presentation device 30 (target device).
  • the generation device 20 may be a server, a smartphone, a mobile phone terminal, a tablet terminal, a PC (personal computer), or the like. Further, the generation device 20 may be realized by the presentation device 30.
  • the presentation device 30 is a device that has an imaging function using an electronic shutter.
  • the presentation device 30 includes an imaging section and a vibration section, and controls the vibration section to present a pseudo shutter vibration using the input waveform data generated by the generation device 20 according to the shutter timing in the imaging section. conduct.
  • the presentation device 30 may be, for example, an electronic shutter camera (so-called digital camera), a smartphone/mobile phone terminal/tablet terminal having a camera function, or a wearable device such as a smart watch or a neck-type camera having a camera function. good.
  • the camera function may be an AR (augmented reality) camera.
  • a signal for presenting a pseudo shutter vibration is generated based on vibration data obtained by sensing actual shutter vibration from the camera 10. This makes it possible for the electronic shutter type device (presentation device 30) to reproduce the shutter vibration in the camera 10 from which the image was acquired, or to present the shutter vibration according to the user's preference, thereby increasing the sensory value. be able to.
  • FIG. 2 is a block diagram showing an example of the configuration of the generation device 20 according to this embodiment.
  • the generation device 20 (information processing device) includes a communication section 210, a control section 220, an operation input section 230, a display section 240, and a storage section 250.
  • the communication unit 210 communicates with an external device and sends and receives data. For example, the communication unit 210 transmits and receives data to and from the camera 10 and the presentation device 30. Further, the communication unit 210 is configured to use, for example, a wired/wireless LAN (Local Area Network), Wi-Fi (registered trademark), Bluetooth (registered trademark), mobile communication network (LTE (Long Term Evolution), 3G (third generation It is possible to connect to a network using 4G (4th generation mobile communication system), 5G (5th generation mobile communication system), etc.
  • a wired/wireless LAN Local Area Network
  • Wi-Fi registered trademark
  • Bluetooth registered trademark
  • mobile communication network Long Term Evolution
  • 3G Third generation It is possible to connect to a network using 4G (4th generation mobile communication system), 5G (5th generation mobile communication system), etc.
  • Control unit 220 The control unit 220 functions as an arithmetic processing device and a control device, and controls overall operations within the generation device 20 according to various programs.
  • the control unit 220 is realized by, for example, an electronic circuit such as a CPU (Central Processing Unit) or a microprocessor. Further, the control unit 220 may include a ROM (Read Only Memory) that stores programs to be used, calculation parameters, etc., and a RAM (Random Access Memory) that temporarily stores parameters that change as appropriate.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the control unit 220 also functions as a data acquisition unit 221, an input waveform data generation unit 222, a selection unit 223, and an output control unit 224.
  • the data acquisition unit 221 has a function of acquiring various data used to generate input waveform data. First, the data acquisition unit 221 acquires shutter vibration data obtained by sensing from the camera 10 using various sensors. There are various methods for detecting vibration data.
  • acceleration data may be acquired as vibration data by an IMU (Inertial Measurement Unit) sensor provided in the camera 10 and transmitted to the generation device 20.
  • an application for sensing may be prepared in advance and downloaded to the camera 10.
  • Such an application may output guidance such as "Please press the shutter” from the display section or speaker of the camera 10. Further, such an application may notify the user of important points in sensing (how to hold the camera 10, camera shake, etc.).
  • a message such as ⁇ Camera shake has been detected. Please release the shutter while being careful of camera shake'' is displayed in order to capture shutter vibration more accurately. Good too.
  • Vibration data acquired by a third party may be archived and made public on a server.
  • the camera model and photos from which the images were obtained may also be made public.
  • the user can perform an operation to download arbitrary vibration data from the server to the generation device 20.
  • vibration data can also be obtained from blur in a captured image.
  • the camera 10 may use an image sensor to extract vibration data from image blur.
  • FIG. 3 is a diagram illustrating an example of a tool for measuring vibration data of the shutter of the camera 10 according to the present embodiment.
  • a camera 10 is placed on one end of a measurement tool 40 made of a sheet-like rigid plate, and a sensor device (for example, a generation device 20) having a built-in IMU sensor or an acceleration sensor is placed on the other end. place In this state, the camera 10 generates shutter vibration, and the sensor of the generation device 20 acquires acceleration a'.
  • a sensor device for example, a generation device 20
  • the generation device 20 generates a value based on the acquired acceleration a', the weight w of the camera 10 (detected by a weight sensor built into the camera 10, or acquired from the model number of the camera 10, etc.), and the characteristic parameter k of the sheet.
  • the data acquisition unit 221 acquires external parameters used to generate input waveform data and stores them in the storage unit 250.
  • the external parameters include parameters of the camera 10 (imaging device) and parameters of the presentation device 30 (target device).
  • the data acquisition unit 221 may acquire parameters of the camera 10 from the camera 10 via the communication unit 210, or may acquire parameters of the presentation device 30 from the presentation device 30 via the communication unit 210. Further, the data acquisition unit 221 may acquire parameters of each device from the storage unit 250 or an external device (server, etc.) based on the model name and model number of the camera 10 and the presentation device 30. Further, the data acquisition unit 221 may further acquire user preference information and user characteristics (age, gender, medical condition, etc.) as external parameters. The user's preference information and user characteristics may be input by the user from the operation input unit 230, for example.
  • the input waveform data generation unit 222 has a function of generating input waveform data used to present pseudo-shutter vibrations based on shutter vibration data (acceleration data as an example) of the camera 10 as the acquisition source.
  • FIG. 4 is a diagram illustrating generation of input waveform data based on acceleration data according to this embodiment.
  • a pseudo shutter is generated in the presentation device 30 using acceleration data (generated acceleration a shown on the left side of FIG. 4) obtained by sensing the actual shutter vibration generated in the camera 10 and an external parameter D. Generate input waveform data used to present vibrations.
  • the parameters of the presentation device 30 include the weight, structure, lens type (lens weight, size, etc.) of the presentation device 30, power consumption, specification data (spec) of the vibrating part, influence threshold, etc. Examples include data related to the presentation of shutter vibrations.
  • the specification data of the vibrating part is, for example, frequency characteristics, rated voltage, vibration direction, frequency band used (in addition to the specific numerical value of the frequency band used, it may also be information indicating whether it is a single frequency or a wide band frequency). etc.
  • the parameters of the camera 10 include the weight, structure, type of lens, and how to hold the camera 10 during vibration sensing.
  • the input waveform data generation unit 222 processes the acquired acceleration data by referring to the parameters of the presentation device 30 (target device), and reproduces the shutter feeling of the camera 10 on the presentation device 30 from the processed acceleration data.
  • Input waveform data (for generating pseudo shutter vibrations) may be generated.
  • the input waveform data generation unit 222 generates a shutter feeling similar to that of the camera 10 in the presentation device 30 (a shutter feeling felt by the hand or fingers holding the presentation device 30), depending on the parameters of the camera 10 and the parameters of the presentation device 30.
  • Process the acceleration data as appropriate to obtain vibrations, hand sensations, etc.).
  • the processing may include, for example, increasing or decreasing the amplitude of the acceleration data, adjusting the period, waveform, or frequency using Fourier transform processing.
  • the presentation device 30 may vibrate too much, so processing is performed to reduce the acceleration.
  • the structure, lens type, specs of the vibrating unit, etc. may affect the vibration, so various parameters are used as appropriate.
  • the input waveform data generation section 222 generates input waveform data (a signal for driving the vibrating section) based on the processed acceleration data.
  • the input waveform data generation unit 222 may generate input waveform data corresponding to processed acceleration data by combining a sine wave, a rectangular wave, or the like. Further, the input waveform data generation unit 222 may select a waveform having characteristics similar to the processed acceleration data from among previously generated waveforms, and perform amplitude adjustment or the like.
  • the input waveform data generation unit 222 may assign a reproducibility score value to the generated input waveform data.
  • the input waveform data generation unit 222 performs frequency analysis on the acquired acceleration data, and processes the frequency characteristics obtained by the analysis with reference to the parameters of the presentation device 30 (target device) (to create a distribution for each frequency component).
  • input waveform data for reproducing the shutter feeling of the camera 10 (for generating pseudo-shutter vibrations) in the presentation device 30 may be generated from the processed frequency characteristics.
  • the input waveform data generation unit 222 performs a vibration simulation (for example, using generated acceleration for each frequency) with reference to the parameters of the camera 10 and the parameters of the presentation device 30, and generates an input waveform corresponding to the processed frequency characteristics.
  • Generate data The input waveform data may be generated by combining sine waves or the like, or by adjusting the amplitude of a waveform generated in advance, as described above.
  • a reproducibility score value may be given to the generated input waveform data.
  • the acceleration data of the camera 10 used to generate the input waveform data may be a three-axis composite acceleration.
  • a specific acceleration axis selected by the user among the three axes (X-axis, Y-axis, Z-axis) may be used.
  • the selection of the acceleration axis to be used is an example of user preference information.
  • the input waveform data generation unit 222 corrects the acceleration data according to the way the camera 10 is gripped when sensing the acceleration data from the camera 10 (in response to the sensing due to the gripping of the camera 10). may be used after making corrections to eliminate the influence of
  • the input waveform data generation unit 222 may refer to the influence threshold of the presentation device 30 and generate input waveform data within a range below the influence threshold.
  • the influence threshold is a value indicating that there is a possibility of undesirable influence (for example, influence on the image sensor (shaking, etc.), generation of sound (in the audible range and audible)).
  • the input waveform data generation unit 222 changes the vibration intensity, vibration direction, frequency band used, vibration length, or effect in the input waveform data so as to be below the influence threshold.
  • the input waveform data generation unit 222 may modify the input waveform data according to user characteristics. For example, even if the same vibration is presented, the strength and texture of the vibration that the user perceives may change depending on the user's age or medical condition (those that affect the sense of touch). The vibration intensity, vibration direction, frequency band used, vibration length, or effect in the input waveform data is changed based on the patient's symptoms or medical condition, so that the desired vibration (shutter vibration) can be perceived.
  • the input waveform data generation unit 222 may generate (correct) the input waveform data according to (the degree of) the impression of the shutter feeling specified by the user.
  • FIG. 5 is a diagram illustrating an example of vibration parameter types corresponding to the shutter feeling impression according to the present embodiment.
  • the impression of the shutter feel is comfort, sharpness, lightness/heaviness, camera-like feel, rhythm, luxury, strength, security, FB (feedback) speed, and lingering sound.
  • vibration parameter types that affect each impression for example, vibration acceleration, presentation time (length), wave type (Sine (sine wave), Square (rectangular wave), Triangle (triangle wave), etc.), rise time, Examples include decay time and frequency.
  • the input waveform data generation unit 222 appropriately modifies the vibration parameter type in the input waveform data according to the impression specified by the user. Note that the presence or absence of influence of each item of the impression and vibration parameter type shown in FIG. 5 is an example, and the present embodiment is not limited thereto.
  • the control unit 220 can perform control to display on the display unit 240 a screen for specifying the impression of the shutter feeling as described above.
  • FIG. 6 is a diagram illustrating an example of a screen for specifying the impression of shutter feel according to this embodiment.
  • Screen 242 shown in FIG. 6 may be displayed on display unit 350.
  • the degree of impression can be selected using a slider. This allows the user to specify, for example, whether they want a more luxurious feel or a toy feel, as well as the strength, weakness, and degree of sharpness/roundness.
  • FIG. 6 shows a slider format designation screen as an example, a radar chart or a format in which one impression word is selected may be used. Further, an arrangement may be made in which it is not possible to select impressions that are exclusive of the specified impression.
  • the input waveform data generation unit 222 generates an input waveform with a stronger toy-like impression when the user is a child (for example, when "child" is selected). If the user is an elderly person, input waveform data with a stronger impression of sharpness and strength may be generated.
  • the input waveform data generation unit 222 may generate one piece of input waveform data using a predefined method, or may generate a plurality of input waveform data as selection candidates using a plurality of methods or a combination of methods.
  • the selection unit 223 determines one input waveform data selected by the user as the input waveform data to be used by the presentation device 30. For example, the selection unit 223 displays a plurality of input waveform data on the display unit 240 and accepts a selection by the user. At this time, the input waveform data may be displayed for each priority to encourage selection. For example, input waveform data (shutter vibration) generated with priority on intensity, input waveform data (shutter vibration) generated with priority on texture, input waveform data (shutter vibration) generated with priority on prevention of camera shake. Examples include input waveform data (of shutter vibration) generated with priority given to hand feel according to the user's age, etc. Further, the selection unit 223 may display the input waveform data in order of reproducibility score.
  • the output control unit 224 controls output of the generated input waveform data to a storage destination or a target device (presentation device 30).
  • the storage destination may be the storage unit 250, an external storage medium (for example, an SD (Secure Digital) card or an HD (hard disk)), a server, or the like.
  • the information may be transmitted to the presentation device 30 via the communication unit 210, for example.
  • input waveform data when input waveform data is generated for each user (for example, for children, the elderly, a specific user, etc.), input waveform data associated with user identification information may be output.
  • the output control unit 224 may notify the presentation device 30 of an improvement plan. For example, in the case of a device factor for the presentation device 30 (such as the absence of a vibrating section or insufficient specs of the vibrating section), the output control section 224 may suggest an external attachment or provide an optimal combination that can be output with the current device ( Output is not limited to vibration, but also audio output, pressure, rotation, electrostatic tactile stimulation, etc.).
  • the output control unit 224 also outputs a message indicating that camera shake may be affected, or outputs the shutter sound acquired from the camera 10. may be output.
  • the operation input unit 230 attaches an operation from the user and outputs input information to the control unit 220.
  • the operation input unit 230 is realized by various input devices such as a touch panel, a button, a switch, a keyboard, etc., for example.
  • the display unit 240 has a function of displaying various screens such as an operation screen.
  • the display unit 240 may be realized by, for example, a liquid crystal display (LCD) device, an organic light emitting diode (OLED) device, or the like.
  • the storage unit 250 is realized by a ROM (Read Only Memory) that stores programs, calculation parameters, etc. used in the processing of the control unit 220, and a RAM (Random Access Memory) that temporarily stores parameters that change as appropriate.
  • the storage unit 250 according to the present embodiment can store various parameters of the camera 10, various parameters of the presentation device 30, vibration data (acceleration data) of the shutter of the camera 10, generated input waveform data, and the like.
  • the configuration of the generation device 20 has been specifically described above. Note that the configuration of the generation device 20 according to this embodiment is not limited to the example shown in FIG. 2.
  • the generation device 20 may be realized by a plurality of devices. Further, at least some of the functions of the control unit 220 may be realized by the presentation device 30 or a server (not shown) on a network. Alternatively, the configuration may be such that the operation input section 230 and the display section 240 are not included. Further, the generation device 20 may be a device integrated with the presentation device 30.
  • FIG. 7 is a block diagram showing an example of the configuration of the presentation device 30 according to this embodiment.
  • the presentation device 30 includes a communication section 310, a control section 320, an operation input section 330, an imaging section 340, a display section 350, a vibration section 360, and a storage section 370.
  • the communication unit 310 communicates with an external device and sends and receives data. For example, the communication unit 310 receives input waveform data from the generation device 20. Further, the communication unit 310 is configured to use, for example, a wired/wireless LAN (Local Area Network), Wi-Fi (registered trademark), Bluetooth (registered trademark), mobile communication network (LTE (Long Term Evolution), 3G (third generation It is possible to connect to a network using 4G (4th generation mobile communication system), 5G (5th generation mobile communication system), etc.
  • a wired/wireless LAN Local Area Network
  • Wi-Fi registered trademark
  • Bluetooth registered trademark
  • mobile communication network Long Term Evolution
  • 3G third generation It is possible to connect to a network using 4G (4th generation mobile communication system), 5G (5th generation mobile communication system), etc.
  • Control unit 320 functions as an arithmetic processing device and a control device, and controls overall operations within the presentation device 30 according to various programs.
  • the control unit 220 is realized by, for example, an electronic circuit such as a CPU (Central Processing Unit) or a microprocessor. Further, the control unit 220 may include a ROM (Read Only Memory) that stores programs to be used, calculation parameters, etc., and a RAM (Random Access Memory) that temporarily stores parameters that change as appropriate.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the control unit 320 also functions as an imaging control unit 321 and a vibration control unit 322.
  • the imaging control unit 321 controls imaging by the imaging unit 340.
  • the imaging control unit 321 launches an arbitrary camera application in response to a user operation, and displays an imaging screen (a through image acquired from the imaging unit 340) on the display unit 350. Further, the imaging control unit 321 recognizes the timing when the shutter button displayed on the display unit 350 is tapped as the shutter timing, acquires a captured image from the imaging unit 340, and stores it.
  • the vibration control unit 322 controls the vibration unit 360 to present pseudo-shutter vibration using the generated input waveform data according to the shutter timing (timing of captured image acquisition) in the imaging unit 340. Further, the vibration control unit 322 may identify the user and use input waveform data associated with the user in advance. Even when the presentation device 30 is shared by multiple people (family members, etc.), it is possible to present a different shutter feel to each user.
  • the input waveform data used for each user may be selected in advance by displaying a selection screen on the display unit 350. Furthermore, input waveform data selected by the user in advance in the generation device 20 may be used.
  • the operation input unit 330 attaches an operation from the user and outputs input information to the control unit 320.
  • the operation input unit 330 is realized by various input devices such as a touch panel, a button, a switch, a keyboard, etc., for example.
  • the imaging unit 340 has a function of imaging a subject.
  • the imaging unit 340 includes one or more lenses and an imaging device, acquires a signal from the imaging device according to shutter timing, and generates a captured image.
  • the generated captured image is stored in the storage unit 370.
  • the subject to be imaged by the imaging unit 340 is not limited to a real object, but may be a virtual object (such as an image displayed in AR).
  • the imaging unit 340 according to this embodiment may function as an AR (augmented reality) camera.
  • the display unit 350 has a function of displaying various screens such as an operation screen.
  • the display unit 350 may be realized by, for example, a liquid crystal display (LCD) device, an organic light emitting diode (OLED) device, or the like.
  • the vibration unit 360 has a function of presenting vibration as tactile stimulation.
  • the structure of the vibrating section 360 is not particularly limited, but may be realized by, for example, a linear resonant actuator (LRA), a voice coil motor (VCM), an eccentric motor (ERM), a piezoelectric element, or the like.
  • the storage unit 370 is realized by a ROM (Read Only Memory) that stores programs, calculation parameters, etc. used in the processing of the control unit 320, and a RAM (Random Access Memory) that temporarily stores parameters that change as appropriate.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the configuration of the presentation device 30 has been specifically described above. Note that the configuration of the presentation device 30 according to this embodiment is not limited to the example shown in FIG. 7.
  • the presentation device 30 may be realized by a plurality of devices.
  • at least one configuration of the presentation device 30 may be provided in an external device.
  • the presentation device 30 may be a device integrated with the generation device 20.
  • the display unit 350 may be realized by an HMD (head mounted display) that is worn on the user's head.
  • the imaging unit 340 is provided on the HMD facing outward, and the user's field of view becomes the imaging range.
  • the vibration unit 360 may be provided in the presentation device 30 (such as a smartphone) that is communicatively connected to the HMD and carried by the user, or may be provided in the HMD or an individual shutter button (a remote controller held by the user). It's okay to be hit.
  • FIG. 8 is a flowchart illustrating an example of the flow of input waveform data generation processing according to this embodiment.
  • the data acquisition unit 221 of the generation device 20 acquires vibration data of the shutter of the camera 10 (step S103).
  • the user wants to reproduce the shutter vibration of the camera 10 (for example, a single-lens reflex camera with a mechanical shutter) using the presentation device 30 (for example, a digital camera with an electronic shutter)
  • the user operates the generation device 20 (for example, a smartphone) to reproduce the shutter vibration of the camera 10 (for example, a single-lens reflex camera with a mechanical shutter).
  • An operation is performed to input vibration data (for example, acceleration data) of the shutter No. 10 into the generation device 20.
  • the data acquisition unit 221 acquires external parameters used to generate input waveform data (step S106).
  • the input waveform data generation unit 222 refers to external parameters (parameters including the weight of the camera 10 and the presentation device 30, etc.) based on the vibration data of the camera shutter, and generates a signal for presenting pseudo shutter vibration.
  • Input waveform data is generated (step S109).
  • the generation device 20 is not limited to reproducing the shutter vibration of the camera 10, but also acquires the user's preferences as external parameters (specifying the acceleration axis to be used, specifying the impression of the shutter feel, etc.), and presents shutter vibrations according to the preferences. You may also generate input waveform data for.
  • the selection unit 223 displays a screen on the display unit 240 that prompts the user to select input waveform data (step S112). Whether the user selects it or the generation device 20 automatically determines it (automatically generates one) can be set in advance.
  • the output control unit 224 outputs the selected (determined) input waveform data to the storage destination or presentation device 30 (step S115). Then, this operation ends.
  • the generation process shown in FIG. 8 is an example, and the present disclosure is not limited thereto.
  • the generation device 20 and the presentation device 30 are integrated (for example, if a smartphone that wants to reproduce shutter vibration also generates input waveform data)
  • the input waveform data may be stored in the storage unit in step S115.
  • the presentation device 30 may perform control to output a shutter sound as well as displaying pseudo shutter vibrations.
  • the presentation device 30 further includes an audio output section, and outputs a pseudo shutter sound from the audio output section according to the shutter timing.
  • the pseudo shutter sound may be associated with input waveform data for presenting pseudo shutter vibrations.
  • the presentation device 30 outputs a shutter sound associated with input waveform data used when presenting pseudo-shutter vibration according to shutter timing.
  • the vibration section 360 (for example, a piezoelectric element, etc.) may be used as the audio output section. If the frequency band that can be output by the vibration section 360 is wide, it is also possible to generate sound.
  • the sound (shutter sound) when the shutter is actually released by the camera 10 may be collected by a microphone.
  • the microphone used for sound collection may be an internal sensor built into the camera 10, or may be an external sensor. Further, when collecting sound, the camera 10 or the sound collecting device may notify the user of surrounding environmental sounds (noise level) and recommend collecting sound in a quiet environment.
  • the shutter sound (audio data) that is collected may be a signal consisting of a plurality of channels, such as a stereo channel.
  • the shutter sound may be prepared for each type of subject.
  • the generation device 20 can modify the waveform of the shutter sound acquired from the camera 10 (change or add tone color, volume, sound type, etc.) and generate shutter sounds for each type of subject.
  • Examples of the types of subjects include models, children, adults, elderly people, men, women, one person, and multiple people. More specifically, in the case of a model, a high-class shutter sound is assumed, and in the case of a child, a shutter sound that attracts the child's interest is assumed.
  • the presentation device 30 When the imaging unit 340 captures an image, the presentation device 30 performs control to output a shutter sound corresponding to the type of subject from the audio output unit.
  • the type of subject may be determined by image recognition (of a through image) in the presentation device 30. Further, the type of subject may be specified by the user on the presentation device 30. Note that when the subject is an animal, the presentation device 30 may control the shutter sound to be silent (silent) so as not to startle the subject with the sound.
  • FIG. 9 is a flowchart illustrating an example of the flow of shutter sound output processing corresponding to the subject type according to a modification of the present embodiment.
  • the imaging control unit 321 of the presentation device 30 starts up the camera (imaging unit 340) (step S203).
  • control unit 320 determines the type of subject by image recognition based on data acquired from the imaging unit 340 (image data acquired from an image sensor before photography, for example, a through image) (step S206).
  • the control unit 320 selects a shutter sound corresponding to the type of subject (step S209).
  • a plurality of shutter sounds (a normal shutter sound, a shutter sound for a specific subject type, etc.) may be associated with one input waveform data.
  • shutter sounds for specific subject types may be prepared regardless of the input waveform data used.
  • control unit 320 inputs the input waveform data to the vibration unit 360 to present shutter vibration according to the shutter timing, and performs control to output the selected shutter sound data as audio from the audio output unit ( Step S212). Then, this operation ends.
  • the presentation device 30 may control the volume of the shutter sound depending on the focus position (the focused position) in the imaging unit 340. Specifically, the presentation device 30 releases the shutter when the distance from the imaging unit 340 (camera) to the focus position (focal length, usually assumed to be the distance to the subject) obtained from the focus position is greater than or equal to a predetermined value. The volume of the sound may be increased to a certain degree. This makes it possible to hear the shutter sound even when the subject is far away. Furthermore, the presentation device 30 may increase the volume of the shutter sound in stages according to the focus position (specifically, the focal length).
  • the input waveform data generation unit 222 of the generation device 20 may generate input waveform data based on the collected shutter sound. That is, an audio signal may be used as the vibration data of the shutter of the camera 10 used to generate the input waveform data.
  • the input waveform data generation unit 222 may simulate the corresponding acceleration data based on the analysis result (frequency characteristics) of the shutter sound, and generate the input waveform data based on the acceleration data.
  • the camera 10 has a mechanical shutter, but the present embodiment is not limited to this.
  • the camera 10 may be a device that simulates shutter vibration using a vibrating section. In such a case, vibration data of the shutter of the camera 10 is similarly acquired by various sensors.
  • a system for causing hardware such as a CPU, ROM, and RAM built in the camera 10, generation device 20, or presentation device 30 described above to exhibit the functions of the camera 10, generation device 20, or presentation device 30 is also provided.
  • the above computer programs can also be created.
  • a computer readable storage medium storing the one or more computer programs.
  • Information processing comprising a control unit that performs control to generate pseudo shutter vibration input waveform data to be presented on the target device by referring to parameters of the target device based on shutter vibration data in an acquisition source imaging device.
  • the input waveform data is a signal used to drive a vibrating section provided in the target device.
  • the parameters of the target device include at least the weight of the target device or specification data of the vibrating section.
  • the specification data includes at least one of frequency characteristics, rated voltage, vibration direction, and frequency band used.
  • the information processing device according to any one of (2) to (4), wherein the vibration data is acceleration data obtained by sensing the imaging device.
  • the control unit processes the acceleration data acquired from the imaging device with reference to the parameters of the imaging device and the parameters of the target device, and determines the shutter sensitivity of the imaging device in the target device from the processed acceleration data.
  • the information processing device which generates the input waveform data for reproducing.
  • the control unit processes the frequency characteristics obtained by frequency analysis of the acceleration data acquired from the imaging device with reference to parameters of the imaging device and parameters of the target device, and calculates the frequency characteristics of the object from the processed frequency characteristics.
  • the information processing device according to (5), wherein the information processing device generates the input waveform data for reproducing the shutter feeling of the imaging device.
  • the information processing device (6) or (7), wherein the parameters of the imaging device include at least one of the weight, structure, and lens type of the imaging device.
  • the control unit uses data on a specific acceleration axis selected by a user as the acceleration data.
  • the control unit further refers to an influence threshold of the target device and generates the input waveform data within a range below the influence threshold.
  • Information processing device (11) The information according to (10) above, wherein the control unit changes the vibration intensity, vibration direction, frequency band used, vibration length, or effect in the input waveform data so as to be below the influence threshold. Processing equipment.
  • control unit changes the vibration intensity, vibration direction, frequency band used, vibration length, or effect in the input waveform data based on the age or medical condition of the user.
  • the information processing device according to any one of the above.
  • the control unit includes: A control for displaying a screen for specifying the impression of the shutter feeling, The information processing device according to any one of (1) to (13), which generates the input waveform data according to an impression specified by a user.
  • the information processing device is the target device, and an imaging unit; further comprising a vibrating section; (1) to (14) above, wherein the control unit performs control to present a pseudo shutter vibration from the vibrating unit using the generated input waveform data according to shutter timing in the imaging unit.
  • the information processing device according to any one of the above.
  • the information processing device further includes an audio output unit, The control unit further controls outputting a pseudo shutter sound generated based on the shutter sound acquired from the imaging device from the audio output unit in accordance with the shutter timing. ).
  • the processor An information processing method, comprising controlling to generate pseudo shutter vibration input waveform data to be presented by the target device by referring to parameters of the target device, based on shutter vibration data in an acquisition source imaging device.
  • computer A program that functions as a control unit that performs control to generate pseudo-shutter vibration input waveform data to be presented on the target device by referring to parameters of the target device based on shutter vibration data in the acquisition source imaging device. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

【課題】疑似的なシャッター振動を呈示できるようにすることが可能な情報処理装置、情報処理方法、およびプログラムを提供する。 【解決手段】取得元の撮像装置におけるシャッターの振動データに基づいて、対象装置のパラメータを参照して前記対象装置で呈示する疑似的なシャッター振動の入力波形データを生成する制御を行う制御部を備える、情報処理装置。

Description

情報処理装置、情報処理方法、およびプログラム
 本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
 近年、物理的なシャッターの開閉により受光量を調整するメカシャッターが減退し、ミラーレス一眼等、電子的に露出時間を制御して受光量を変化させる電子シャッターが主流となっている。
特開2019-98231号公報
 しかしながら、電子シャッターの場合、従来はメカシャッターにより生じていたシャッター振動が生じず、ユーザの感性価値が低下する場合がある。上記特許文献1では、物体の動きに応じた振動を振動発生器に発生させる音声信号を生成する方法について開示されているが、シャッター振動を呈示するための信号の生成については言及されていない。
 本開示によれば、取得元の撮像装置におけるシャッターの振動データに基づいて、対象装置のパラメータを参照して前記対象装置で呈示する疑似的なシャッター振動の入力波形データを生成する制御を行う制御部を備える、情報処理装置が提供される。
 また、本開示によれば、プロセッサが、取得元の撮像装置におけるシャッターの振動データに基づいて、対象装置のパラメータを参照して前記対象装置で呈示する疑似的なシャッター振動の入力波形データを生成する制御を行うことを含む、情報処理方法が提供される。
 また、本開示によれば、コンピュータを、取得元の撮像装置におけるシャッターの振動データに基づいて、対象装置のパラメータを参照して前記対象装置で呈示する疑似的なシャッター振動の入力波形データを生成する制御を行う制御部として機能させる、プログラムが提供される。
本開示の一実施形態による疑似的なシャッター振動の呈示システムの概要について説明する図である。 本実施形態による生成装置の構成の一例を示すブロック図である。 本実施形態によるカメラのシャッターの振動データを測定するツールの一例について説明する図である。 本実施形態による加速度データに基づく入力波形データの生成について説明する図である。 本実施形態によるシャッター感の印象と対応する振動パラメータ種別の一例を示す図である。 本実施形態によるシャッター感の印象を指定するための画面の一例を示す図である。 本実施形態による呈示装置の構成の一例を示すブロック図である。 本実施形態による入力波形データの生成処理の流れの一例を示すフローチャートである。 本実施形態の変形例による被写体種別に対応するシャッター音の出力処理の流れの一例を示すフローチャートである。
 以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
 また、説明は以下の順序で行うものとする。
 1.概要
 2.構成例
  2-1.生成装置20の構成
  2-2.呈示装置30の構成
 3.動作処理
 4.変形例
 5.補足
 <<1.概要>>
 図1は、本開示の一実施形態による疑似的なシャッター振動の呈示システムの概要について説明する図である。本実施形態による呈示システムは、取得元の撮像装置の一例であるカメラ10と、カメラ10から取得したシャッターの振動データに基づいて、振動を呈示するための入力波形データを生成する生成装置20(情報処理装置の一例)と、生成された入力波形データを用いて内蔵する振動部により疑似的なシャッター振動を呈示する呈示装置30(対象装置の一例)と、を有する。
 カメラ10は、メカシャッター(シャッター機構)を有する。詳しくは後述するが、各種センサによりカメラ10で生じるシャッター振動のデータ(振動データ)が取得される。本実施形態では、振動データの一例として、加速度データを用いる。
 生成装置20は、カメラ10から取得された振動データと、外部パラメータとに基づいて、疑似的なシャッター振動を呈示するための入力波形データを生成する。入力波形データとは、呈示装置30に設けられる振動部を駆動するために用いられる信号である。外部パラメータには、少なくとも呈示装置30(対象装置)のパラメータが含まれる。生成装置20は、サーバであってもよいし、スマートフォンや携帯電話端末、タブレット端末、PC(パーソナルコンピュータ)等であってもよい。また、生成装置20が、呈示装置30により実現されてもよい。
 呈示装置30は、電子シャッターによる撮像機能を有する装置である。呈示装置30は、撮像部および振動部を有し、撮像部におけるシャッタータイミングに応じて、生成装置20により生成された入力波形データを用いて、振動部から疑似的なシャッター振動を呈示する制御を行う。呈示装置30は、例えば、電子シャッター式カメラ(所謂デジタルカメラ)、カメラ機能を有するスマートフォン/携帯電話端末/タブレット端末、また、カメラ機能を有するスマートウォッチやネック型カメラ等のウェアラブルデバイスであってもよい。また、上記カメラ機能とは、AR(拡張現実)カメラであってもよい。
 (課題の整理)
 上述したように、電子シャッターの場合、従来はメカシャッターにより生じていたシャッター振動が生じず、ユーザの感性価値が低下する場合がある。
 そこで、本実施形態では、疑似的なシャッター振動を呈示できるようにすることを可能とする。具体的には、カメラ10から実際のシャッター振動をセンシングして得た振動データに基づいて、疑似的なシャッター振動を呈示するための信号を生成する。これにより、電子シャッター形式の装置(呈示装置30)において、取得元のカメラ10におけるシャッター振動を再現したり、ユーザの好みに応じたシャッター振動を呈示したりすることが可能となり、感性価値を高めることができる。
 以上、本開示の一実施形態による呈示システムの概要について説明した。続いて、本実施形態による呈示システムに含まれる生成装置20および呈示装置30の具体的な構成について図面を参照して説明する。
 <<2.構成例>>
 <2-1.生成装置20の構成>
 図2は、本実施形態による生成装置20の構成の一例を示すブロック図である。図2に示すように、生成装置20(情報処理装置)は、通信部210、制御部220、操作入力部230、表示部240、および記憶部250を有する。
 (通信部210)
 通信部210は、外部装置と通信接続し、データの送受信を行う。例えば、通信部210は、カメラ10や呈示装置30と、データの送受信を行う。また、通信部210は、例えば、有線/無線LAN(Local Area Network)、またはWi-Fi(登録商標)、Bluetooth(登録商標)、携帯通信網(LTE(Long Term Evolution)、3G(第3世代の移動体通信方式)、4G(第4世代の移動体通信方式)、5G(第5世代の移動体通信方式))等によりネットワークと通信接続することが可能である。
 (制御部220)
 制御部220は、演算処理装置および制御装置として機能し、各種プログラムに従って生成装置20内の動作全般を制御する。制御部220は、例えばCPU(Central Processing Unit)、マイクロプロセッサ等の電子回路によって実現される。また、制御部220は、使用するプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、及び適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)を含んでいてもよい。
 本実施形態による制御部220は、データ取得部221、入力波形データ生成部222、選択部223、および出力制御部224としても機能する。
 データ取得部221は、入力波形データの生成に用いる各種データを取得する機能を有する。まず、データ取得部221は、カメラ10から各種センサによりセンシングして得られたシャッターの振動データを取得する。振動データの検知方法は様々挙げられる。
 例えば、カメラ10に設けられたIMU(Inertial Measurement Unit)センサにより、振動データとして加速度データが取得され、生成装置20に送信されてもよい。この際、センシングのためのアプリケーションを予め用意し、カメラ10にダウンロードさせてもよい。かかるアプリケーションにより、カメラ10の表示部やスピーカから、「シャッターを押してください」等の案内を出力してもよい。また、かかるアプリケーションにより、センシングにおける留意点(カメラ10の把持の仕方、手ぶれ等)が通知されてもよい。また、かかるアプリケーションにより、手ぶれを検知した際には、シャッター振動をより正確に取得するため、「手ぶれが検知されました。手ぶれに注意してシャッターを切ってください」等の案内が表示されてもよい。また、ここでは、カメラ10がユーザ所有の撮像装置であり、カメラ10のシャッター振動のセンシング操作をユーザが行う場合を想定しているが、本実施形態はこれに限定されない。第三者(個人やメーカ)により取得された振動データが、サーバ上でアーカイブ的に公開されていてもよい。アーカイブでは、取得元のカメラの機種や写真も併せて公開されていてもよい。ユーザは、任意の振動データをサーバ上から生成装置20にダウンロードする操作を行い得る。
 また、振動データは、撮像画像のブレからも取得され得る。カメラ10は、撮像素子を使用して画像のブレから振動データを抽出してもよい。
 また、振動データは、カメラ10に内蔵される内部センサ(IMUセンサ、加速度センサ、撮像素子等)に限られず、外部センサによりセンシングされてもよい。図3は、本実施形態によるカメラ10のシャッターの振動データを測定するツールの一例について説明する図である。図3に示すように、シート状の剛体板から成る測定ツール40の一端にカメラ10を載置し、他方にIMUセンサや加速度センサを内蔵するセンサ装置(例えば生成装置20)を他端に載置する。この状態で、カメラ10でシャッター振動を発生させ、生成装置20のセンサにより加速度a´を取得する。生成装置20は、取得した加速度a´と、カメラ10の重量w(カメラ10に内蔵された重りセンサにより検知、またはカメラ10の型番等により取得)と、シートの特性パラメータkと、に基づいて、カメラ10で発生した加速度aを下記式により算出し、振動データとして取得し得る。
 (式)a=a´*w*k
 また、データ取得部221は、入力波形データの生成に用いられる外部パラメータを取得し、記憶部250に保存する。外部パラメータとして、例えば、カメラ10(撮像装置)のパラメータや、呈示装置30(対象装置)のパラメータが挙げられる。データ取得部221は、通信部210を介してカメラ10からカメラ10のパラメータを取得してもよいし、通信部210を介して呈示装置30から呈示装置30のパラメータを取得してもよい。また、データ取得部221は、カメラ10や呈示装置30の機種名や機種番号から、各装置のパラメータを記憶部250や外部装置(サーバ等)から取得してもよい。また、データ取得部221は、外部パラメータとして、さらにユーザの嗜好情報やユーザ特性(年齢、性別、病状等)を取得してもよい。ユーザの嗜好情報やユーザ特性は、例えば操作入力部230からユーザにより入力されてもよい。
 入力波形データ生成部222は、取得元のカメラ10のシャッターの振動データ(一例として加速度データ)に基づいて、疑似的なシャッター振動を呈示するために用いられる入力波形データ生成する機能を有する。図4は、本実施形態による加速度データに基づく入力波形データの生成について説明する図である。本実施形態では、カメラ10で発生する実際のシャッター振動をセンシングして得た加速度データ(図4左に示す発生加速度a)と、外部パラメータDとを用いて、呈示装置30において疑似的なシャッター振動を呈示するために用いられる入力波形データ生成する。
 呈示装置30(対象装置)のパラメータとしては、呈示装置30の重量、構造、レンズ種類(レンズの重さ、サイズ等)、消費電力、振動部の仕様データ(スペック)、影響しきい値等、シャッター振動の呈示に関わるデータが挙げられる。振動部の仕様データとは、例えば、周波数特性、定格電圧、振動方向、使用周波数帯域(具体的な使用周波数帯域の数値の他、単周波数か、広帯域周波数かを示す情報であってもよい)等である。また、カメラ10のパラメータとしては、カメラ10の重量、構造、レンズ種類、振動センシング時のカメラ10の把持の仕方等が挙げられる。
 入力波形データ生成部222は、呈示装置30(対象装置)のパラメータを参照して、取得された加速度データを加工し、加工した加速度データから、呈示装置30でカメラ10のシャッター感を再現するための(疑似的なシャッター振動を発生させるための)入力波形データを生成してもよい。例えば、入力波形データ生成部222は、カメラ10のパラメータと呈示装置30のパラメータに応じて、呈示装置30でもカメラ10と同様のシャッター感(呈示装置30を把持する手や指で感じられるシャッターの振動、手感。)が得られるよう、加速度データを適宜加工する。加工では、例えば、加速度データにおける振幅の増減、周期、波形、フーリエ変換処理を用いた周波数の調整等が行われ得る。一例として、カメラ10の重量より呈示装置30の重量が軽い場合、センシングした加速度データをそのまま用いると呈示装置30で振動し過ぎる恐れがあるため、加速度を小さくする加工を行う。重量の他、構造やレンズ種類、振動部のスペック等が振動に影響する場合もあるため、各種パラメータが適宜用いられる。
 そして、入力波形データ生成部222は、加工した加速度データに基づいて入力波形データ(振動部を駆動させるための信号)を生成する。例えば入力波形データ生成部222は、sin波や矩形波等を組み合わせて、加工された加速度データに対応する入力波形データを生成してもよい。また、入力波形データ生成部222は、予め生成された波形の中から、加工された加速度データに近しい特徴を有する波形を選択し、振幅の調整等を行ってもよい。
 なお、呈示装置30の構造、制約(消費電力、影響しきい値等)や振動部のスペック等によっては、カメラ10と完全に同じシャッター感を再現することは困難であるため、本実施形態における「再現」には、カメラ10におけるシャッター感に近付けることを含める。入力波形データ生成部222は、生成した入力波形データに、再現度のスコア値を付与してもよい。
 また、入力波形データ生成部222は、取得された加速度データを周波数解析し、解析により得た周波数特性を、呈示装置30(対象装置)のパラメータを参照して加工し(周波数成分ごとの分布の調整等)、加工した周波数特性から、呈示装置30でカメラ10のシャッター感を再現するための(疑似的なシャッター振動を発生させるための)入力波形データを生成してもよい。例えば、入力波形データ生成部222は、カメラ10のパラメータと呈示装置30のパラメータを参照して、振動シミュレーションを行い(例えば周波数毎の発生加速度を用いる)、加工された周波数特性に対応する入力波形データを生成する。入力波形データの生成は、上記と同様に、sin波等を組み合わせてもよいし、予め生成された波形の振幅調整等を行ってもよい。また、上記と同様に、生成した入力波形データに、再現度のスコア値が付与されてもよい。
 なお、入力波形データの生成に用いるカメラ10の加速度データは3軸合成加速度であってもよい。また、3軸(X軸、Y軸、Z軸)のうち、ユーザに選択された特定の加速度軸を用いるようにしてもよい。用いる加速度軸の選択は、ユーザの嗜好情報の一例である。
 また、入力波形データ生成部222は、カメラ10から加速度データをセンシングした際のカメラ10の把持の仕方に応じて、当該加速度データを正した上で(カメラ10を把持していたことによるセンシングへの影響を排除する補正を行った上で)用いるようにしてもよい。
 また、入力波形データ生成部222は、呈示装置30の影響しきい値を参照し、影響しきい値を下回る範囲で入力波形データを生成してもよい。影響しきい値とは、好ましくない影響を与える恐れがあること(例えば撮像素子への影響(ブレ等)、音の発生(可聴域となって聴こえてしまう))を示す値である。具体的には、入力波形データ生成部222は、影響しきい値を下回るよう、入力波形データにおける振動の強度、振動方向、使用周波数帯域、振動の長さ、またはエフェクトの変更を行う。
 また、入力波形データ生成部222は、ユーザ特性に応じて、入力波形データを修正してもよい。例えば、ユーザの年齢や病状(触覚に影響があるもの)によって、同じ振動を呈示しても、ユーザが知覚する振動の強さや質感が変わる場合があるため、入力波形データ生成部222は、年齢や病状に基づいて、入力波形データにおける振動の強度、振動方向、使用周波数帯域、振動の長さ、またはエフェクトの変更を行い、目的とする振動(シャッター振動)を知覚できるようにする。
 また、入力波形データ生成部222は、ユーザに指定されたシャッター感の印象(の程度)に応じて、入力波形データを生成(修正)してもよい。図5は、本実施形態によるシャッター感の印象と対応する振動パラメータ種別の一例を示す図である。図5に示すように、例えばシャッター感の印象として、心地よさ、キレ、軽やかさ/重厚さ、カメラっぽさ、リズム、高級感、強弱、安心感、FB(フィードバック)の速さ、余韻が挙げられる。また、各印象に影響する振動パラメータ種別として、例えば、振動加速度、呈示時間(長さ)、波の種類(Sine(正弦波)、Square(矩形波)、Triangle(三角波)等)、立ち上がり時間、減衰時間、周波数が挙げられる。
 図5に示す例では、印象に影響がある項目に丸、より大きな影響がある項目に二重丸がつけられている。例えば、振動加速度を小さくしていくと全体的に特徴がフィルタされるため、印象がぼけやすい(低下しやすい)傾向がある。また、呈示時間が長いほど余韻が出てキレが失われやすい傾向がある。また、矩形波を用いた場合にはキレやFBの速さが増す傾向がある。また、立ち上がり時間を変化させると強度の感度が変わる。また、400Hz-100Hzでは、周波数を高くするほど心地よさやキレが上昇し、余韻が低下する傾向がある。また、周波数を変化させると強度の感度が変わる。入力波形データ生成部222は、ユーザに指定された印象に応じて、入力波形データにおける振動パラメータ種別を適宜修正する。なお、図5に示す印象と振動パラメータ種別の各項目の影響の有無は一例であって、本実施形態はこれに限定されない。
 制御部220は、上述したようなシャッター感の印象を指定するための画面を表示部240に表示する制御を行い得る。図6は、本実施形態によるシャッター感の印象を指定するための画面の一例を示す図である。図6に示す画面242は、表示部350に表示され得る。画面242では、スライダー形式で印象の程度が選択され得る。これによりユーザは、例えば高級感を強くしたいか、おもちゃ感を強くしたいか、また、強弱、キレ/丸みの程度を指定することができる。なお、図6では、一例としてスライダー形式の指定画面を示すが、レーダーチャートでもよいし、印象語を1つ選択させる形式でもよい。また、指定した印象と排反する印象は選択できないようにしてもよい。
 また、呈示装置30を家族で利用する場合も想定し、入力波形データ生成部222は、ユーザが子供の場合は(「子供」が選択された場合等)、おもちゃっぽい印象を強めた入力波形データを生成し、ユーザが高齢者の場合は、キレと強さの印象を強めた入力波形データを生成するようにしてもよい。
 以上、本実施形態による入力波形データの生成方法について具体的に説明した。入力波形データ生成部222は、予め規定された方法で1の入力波形データを生成してもよいし、複数の方法や組み合わせた方法で複数の入力波形データを選択候補として生成してもよい。
 選択部223は、入力波形データ生成部222により複数の入力波形データ(候補)が生成された場合、ユーザにより選択された1の入力波形データを、呈示装置30で用いる入力波形データに決定する。例えば選択部223は、複数の入力波形データを表示部240に表示し、ユーザによる選択を受け付ける。この際、優先度毎に入力波形データを表示して選択を促してもよい。例えば、強さを優先して生成した(シャッター振動の)入力波形データ、質感を優先して生成した(シャッター振動の)入力波形データ、手ぶれ防止を優先して生成した(シャッター振動の)入力波形データ、ユーザの年齢等に応じて手感を優先して生成した(シャッター振動の)入力波形データ等が挙げられる。また、選択部223は、再現度スコア順に、入力波形データを表示してもよい。
 出力制御部224は、生成された入力波形データを、保存先や対象装置(呈示装置30)に出力する制御を行う。保存先は、記憶部250であってもよいし、外部の記憶媒体(例えばSD(Secure Digital)カードやHD(ハードディスク))、サーバ等であってもよい。呈示装置30には、例えば通信部210を介して送信され得る。
 なお、入力波形データがユーザ別に生成された場合(例えば、子供用、高齢者用、特定のユーザ用等)、ユーザの識別情報が対応付けられた入力波形データが出力され得る。
 また、呈示装置30のデバイス要因やシステム要因により、呈示装置30での疑似的なシャッター振動の再現が困難な場合、出力制御部224は、改善案を呈示装置30に通知してもよい。例えば、呈示装置30のデバイス要因の場合(振動部が設けられていない、振動部のスペックが足りない等)、出力制御部224は、外部アタッチメントの提案や、現デバイスで出力できる最適の組み合わせ(振動に限らず、音声出力、押圧、回転、静電触覚刺激等)で出力する。また、呈示装置30のシステム要因の場合(影響しきい値を上回る等)、出力制御部224は、手振れ等に影響が出る場合がある旨を併せて出力したり、カメラ10から取得したシャッター音を出力してもよい。
 (操作入力部230)
 操作入力部230は、ユーザからの操作を付け付け、入力情報を制御部220に出力する。操作入力部230は、例えばタッチパネル、ボタン、スイッチ、キーボード等の各種入力デバイスにより実現される。
 (表示部240)
 表示部240は、操作画面等の各種画面を表示する機能を有する。表示部240は、例えば液晶ディスプレイ(LCD:Liquid Crystal Display)装置、OLED(Organic Light Emitting Diode)装置等により実現され得る。
 (記憶部250)
 記憶部250は、制御部220の処理に用いられるプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、および適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)により実現される。本実施形態による記憶部250は、カメラ10の各種パラメータ、呈示装置30の各種パラメータ、カメラ10のシャッターの振動データ(加速度データ)、生成された入力波形データ等を格納し得る。
 以上、生成装置20の構成について具体的に説明した。なお、本実施形態による生成装置20の構成は図2に示す例に限定されない。例えば、生成装置20は、複数の装置により実現されてもよい。また、制御部220の少なくとも一部の機能を、呈示装置30またはネットワーク上のサーバ(不図示)で実現してもよい。また、操作入力部230および表示部240を有さない構成であってもよい。また、生成装置20は、呈示装置30と一体化した装置であってもよい。
 <2-2.呈示装置30の構成>
 図7は、本実施形態による呈示装置30の構成の一例を示すブロック図である。図7に示すように、呈示装置30は、通信部310、制御部320、操作入力部330、撮像部340、表示部350、振動部360、および記憶部370を有する。
 (通信部310)
 通信部310は、外部装置と通信接続し、データの送受信を行う。例えば、通信部310は、生成装置20から、入力波形データを受信する。また、通信部310は、例えば、有線/無線LAN(Local Area Network)、またはWi-Fi(登録商標)、Bluetooth(登録商標)、携帯通信網(LTE(Long Term Evolution)、3G(第3世代の移動体通信方式)、4G(第4世代の移動体通信方式)、5G(第5世代の移動体通信方式))等によりネットワークと通信接続することが可能である。
 (制御部320)
 制御部320は、演算処理装置および制御装置として機能し、各種プログラムに従って呈示装置30内の動作全般を制御する。制御部220は、例えばCPU(Central Processing Unit)、マイクロプロセッサ等の電子回路によって実現される。また、制御部220は、使用するプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、及び適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)を含んでいてもよい。
 また、制御部320は、撮像制御部321および振動制御部322としても機能する。
 撮像制御部321は、撮像部340による撮像を制御する。例えば、撮像制御部321は、ユーザ操作に応じて任意のカメラアプリを立ち上げ、表示部350に撮像画面(撮像部340から取得されるスルー画像)を表示する。また、撮像制御部321は、表示部350に表示したシャッターボタンがタップされたタイミングをシャッタータイミングと認識して、撮像部340から撮像画像を取得し、保存する。
 振動制御部322は、撮像部340におけるシャッタータイミング(撮像画像取得のタイミング)に応じて、生成された入力波形データを用いて、振動部360から疑似的なシャッター振動を呈示する制御を行う。また、振動制御部322は、ユーザを識別し、予めユーザに対応付けられた入力波形データを用いるようにしてもよい。呈示装置30が複数人(家族等)に共有される場合でも、ユーザ毎に異なるシャッター感を呈示することが可能となる。ユーザ毎に用いる入力波形データは、表示部350に選択画面を表示して予め選択されてもよい。また、生成装置20において予めユーザに選択された入力波形データが用いられてもよい。
 (操作入力部330)
 操作入力部330は、ユーザからの操作を付け付け、入力情報を制御部320に出力する。操作入力部330は、例えばタッチパネル、ボタン、スイッチ、キーボード等の各種入力デバイスにより実現される。
 (撮像部340)
 撮像部340は、被写体を撮像する機能を有する。撮像部340は、1以上のレンズと撮像素子を含み、シャッタータイミングに応じて撮像素子から信号を取得し、撮像画像を生成する。生成された撮像画像は、記憶部370に格納される。なお、撮像部340で撮像する被写体は、実物体に限られず、仮想物体(AR表示されている画像等)であってもよい。本実施形態による撮像部340は、AR(拡張現実)カメラとして機能してもよい。
 (表示部350)
 表示部350は、操作画面等の各種画面を表示する機能を有する。表示部350は、例えば液晶ディスプレイ(LCD:Liquid Crystal Display)装置、OLED(Organic Light Emitting Diode)装置等により実現され得る。
 (振動部360)
 振動部360は、触覚刺激として振動を呈示する機能を有する。振動部360の構造は特に限定しないが、例えば、LRA(Linear Resonant Actuator)、VCM(Voice Coil Motor)、偏心モータ(ERM;Eccentric Rotating Mass)、またはピエゾ圧電素子等より実現され得る。
 (記憶部370)
 記憶部370は、制御部320の処理に用いられるプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、および適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)により実現される。
 以上、呈示装置30の構成について具体的に説明した。なお、本実施形態による呈示装置30の構成は図7に示す例に限定されない。例えば、呈示装置30は、複数の装置により実現されてもよい。また、呈示装置30の少なくともいずれかの構成を外部装置に設けてもよい。また、呈示装置30は、生成装置20と一体化した装置であってもよい。
 また、表示部350が、ユーザの頭部に装着されるHMD(ヘッドマウントディスプレイ)で実現されてもよい。この場合、撮像部340がHMDに外向きに設けられ、ユーザの視界が撮像範囲となる。また、この場合、振動部360は、HMDと通信接続されユーザが携帯する呈示装置30(スマートフォン等)に設けられてもよいし、HMDや個別のシャッターボタン(ユーザが把持するリモートコントローラ)に設けられてもよい。
 <<3.動作処理>>
 次に、本実施形態に係る呈示システムの動作処理について図面を用いて具体的に説明する。図8は、本実施形態による入力波形データの生成処理の流れの一例を示すフローチャートである。
 図8に示すように、まず、生成装置20のデータ取得部221は、カメラ10のシャッターの振動データを取得する(ステップS103)。ユーザは、例えばカメラ10(例えばメカシャッターを有する一眼レフカメラ)のシャッター振動を呈示装置30(例えば電子シャッターを有するデジタルカメラ)で再現したい場合に、生成装置20(例えばスマートフォン)を操作してカメラ10のシャッターの振動データ(例えば加速度データ)を生成装置20に入力する操作を行なう。
 次に、データ取得部221は、入力波形データの生成に用いられる外部パラメータを取得する(ステップS106)。
 次いで、入力波形データ生成部222は、カメラのシャッターの振動データに基づき、外部パラメータ(カメラ10や呈示装置30の重量等を含むパラメータ)を参照して、疑似的なシャッター振動を呈示するための入力波形データを生成する(ステップS109)。カメラ10のシャッター振動の再現に限られず、生成装置20は、外部パラメータとしてユーザの好み(用いる加速度軸の特定、シャッター感の印象の指定等)を取得し、好みに応じたシャッター振動を呈示するための入力波形データを生成してもよい。
 次に、選択部223は、入力波形データ生成部222により複数の入力波形データが生成された場合、ユーザによる入力波形データの選択を促す画面を表示部240に表示する(ステップS112)。ユーザが選択するか、生成装置20により自動で決定するか(自動で1つ生成するか)は、予め設定され得る。
 次いで、出力制御部224は、選択(決定)された入力波形データを、保存先や呈示装置30に出力する(ステップS115)。そして、本動作は終了する。
 以上、本実施形態による入力波形データの生成処理の流れの一例について説明した。なお、図8に示す生成処理は一例であって、本開示はこれに限定されない。例えば生成装置20と呈示装置30が一体化している場合(例えばシャッター振動を再現したいスマートフォンで入力波形データの生成も行う場合)、上記ステップS115では、入力波形データが記憶部に保存され得る。
 <<4.変形例>>
 続いて、本実施形態の変形例について説明する。
 <4-1.シャッター音の呈示>
 本実施形態の変形例による呈示装置30は、疑似的なシャッター振動の呈示と共に、シャッター音を出力する制御を行ってもよい。呈示装置30は音声出力部をさらに有し、シャッタータイミングに応じて、疑似的なシャッター音を音声出力部から出力する。疑似的なシャッター音は、疑似的なシャッター振動を呈示するための入力波形データに対応付けられてもよい。呈示装置30は、疑似的なシャッター振動を呈示する際に用いる入力波形データに対応付けられているシャッター音を、シャッタータイミングに応じて音声出力する。これにより、疑似的なシャッター振動のみならず、シャッター音も呈示され、ユーザの感性価値をより高めることができる。なお、音声出力部には、振動部360(例えばピエゾ圧電素子等)を用いてもよい。振動部360で出力できる周波数帯域が広い場合、音を発生させることも可能である。
 シャッター音は、実際にカメラ10でシャッターが切られた際の音(シャッター音)が、マイクロフォンにより収音されてもよい。収音に用いるマイクロフォンは、カメラ10に内蔵される内部センサであってもよいし、外部センサであってもよい。また、収音の際、カメラ10や収音用装置は、周囲の環境音(雑音レベル)をユーザに通知し、静かな環境で収音することを推奨してもよい。収音されるシャッター音(音声データ)は、ステレオチャンネル等、複数のチャンネルから成る信号であってもよい。
 <4-2.被写体の種別に対応するシャッター音の呈示>
 シャッター音は、被写体の種別毎に用意されていてもよい。生成装置20は、カメラ10から取得したシャッター音の波形を修正し(音色や音量、サウンド種類の変更、追加等)、被写体の種別毎のシャッター音を生成し得る。被写体の種別としては、例えば、モデル、子供、大人、高齢者、男性、女性、一人、複数人等が挙げられる。より具体的には、モデルの場合は高級感のあるシャッター音、子供の場合は子供の興味を引き付けるシャッター音等が想定される。
 呈示装置30は、撮像部340により撮像を行う際、被写体の種別に対応するシャッター音を音声出力部から出力する制御を行う。被写体の種別は、呈示装置30において(スルー画像の)画像認識により判別してもよい。また、被写体の種別は、呈示装置30においてユーザが指定してもよい。なお、呈示装置30は、被写体が動物の場合は、音で驚かさないよう、シャッター音を無し(無音)に制御してもよい。
 以下、図9を参照して本変形例の動作処理について説明する。図9は、本実施形態の変形例による被写体種別に対応するシャッター音の出力処理の流れの一例を示すフローチャートである。
 図9に示すように、まず、呈示装置30の撮像制御部321は、カメラ(撮像部340)を起動する(ステップS203)。
 次に、制御部320は、撮像部340から取得されるデータ(撮影前にイメージセンサから取得される画像データ。例えばスルー画像)に基づく画像認識により被写体の種別を判別する(ステップS206)。
 次いで、制御部320は、被写体の種別に対応するシャッター音を選択する(ステップS209)。例えば、1つの入力波形データに、複数のシャッター音(通常時のシャッター音と、特定の被写体種別用のシャッター音等)が対応付けられていてもよい。また、用いる入力波形データに関わらず、特定の被写体種別用のシャッター音が用意されていてもよい。
 続いて、制御部320は、シャッタータイミングに応じて、入力波形データを振動部360に入力してシャッター振動を呈示すると共に、選択したシャッター音のデータを音声出力部から音声出力する制御を行う(ステップS212)。そして、本動作は終了する。
 以上、シャッター音の出力処理の流れについて説明したが、図9に示す動作処理は一例であって、本開示はこれに限定されない。
 また、呈示装置30は、撮像部340におけるピント位置(焦点が合っている位置)に応じて、シャッター音の音量を制御してもよい。具体的には、呈示装置30は、ピント位置から得られる撮像部340(カメラ)からピント位置までの距離(焦点距離。通常、被写体までの距離が想定される)が所定値以上の場合、シャッター音の音量を一定程度大きくしてもよい。これにより、被写体が遠くに居る場合にもシャッター音を聞かせることが可能となる。また、呈示装置30は、ピント位置(具体的に焦点距離)に応じて、段階的にシャッター音の音量を大きくするようにしてもよい。
 <4-3.シャッター音に基づく入力波形データの生成>
 生成装置20の入力波形データ生成部222は、収音されたシャッター音に基づいて入力波形データを生成してもよい。すなわち、入力波形データの生成に使用するカメラ10のシャッターの振動データとして、音声信号が用いられてもよい。例えば入力波形データ生成部222は、シャッター音の解析結果(周波数特性)から、対応する加速度データをシミュレーションし、かかる加速度データに基づいて入力波形データを生成してもよい。
 <4-4.カメラ10の変形例>
 上述した実施形態では、カメラ10がメカシャッターを有する旨を説明したが、本実施形態はこれに限定されない。例えばカメラ10は、振動部により疑似的にシャッター振動を呈示する装置であってもよい。このような場合も同様に、カメラ10のシャッターの振動データが各種センサにより取得される。
 <<5.補足>>
 以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
 また、上述したカメラ10、生成装置20、または呈示装置30に内蔵されるCPU、ROM、およびRAM等のハードウェアに、カメラ10、生成装置20、または呈示装置30の機能を発揮させるための1以上のコンピュータプログラムも作成可能である。また、当該1以上のコンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
 また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
 なお、本技術は以下のような構成も取ることができる。
(1)
 取得元の撮像装置におけるシャッターの振動データに基づいて、対象装置のパラメータを参照して前記対象装置で呈示する疑似的なシャッター振動の入力波形データを生成する制御を行う制御部を備える、情報処理装置。
(2)
 前記入力波形データは、前記対象装置に設けられる振動部を駆動するために用いられる信号である、前記(1)に記載の情報処理装置。
(3)
 前記対象装置のパラメータは、前記対象装置の重量、または前記振動部の仕様データを少なくとも含む、前記(2)に記載の情報処理装置。
(4)
 前記仕様データは、周波数特性、定格電圧、振動方向、および使用周波数帯域の少なくともいずれかを含む、前記(3)に記載の情報処理装置。
(5)
 前記振動データは、前記撮像装置をセンシングして得た加速度データである、前記(2)~(4)のいずれか1項に記載の情報処理装置。
(6)
 前記制御部は、前記撮像装置のパラメータおよび前記対象装置のパラメータを参照して、前記撮像装置から取得した前記加速度データを加工し、加工した加速度データから、前記対象装置で前記撮像装置のシャッター感を再現するための前記入力波形データを生成する、前記(5)に記載の情報処理装置。
(7)
 前記制御部は、前記撮像装置から取得した前記加速度データの周波数解析により得た周波数特性を、前記撮像装置のパラメータおよび前記対象装置のパラメータを参照して加工し、加工した周波数特性から、前記対象装置で前記撮像装置のシャッター感を再現するための前記入力波形データを生成する、前記(5)に記載の情報処理装置。
(8)
 前記撮像装置のパラメータは、前記撮像装置の重量、構造、およびレンズ種類の少なくともいずれかを含む、前記(6)または(7)に記載の情報処理装置。
(9)
 前記制御部は、前記加速度データとして、ユーザに選択された特定の加速度軸のデータを用いる、前記(6)~(8)のいずれか1項に記載の情報処理装置。
(10)
 前記制御部は、さらに前記対象装置の影響しきい値を参照し、影響しきい値を下回る範囲で前記入力波形データを生成する、前記(1)~(9)のいずれか1項に記載の情報処理装置。
(11)
 前記制御部は、前記影響しきい値を下回るよう、前記入力波形データにおける振動の強度、振動方向、使用周波数帯域、振動の長さ、またはエフェクトの変更を行う、前記(10)に記載の情報処理装置。
(12)
 前記制御部は、ユーザの年齢または病状に基づいて、前記入力波形データにおける振動の強度、振動方向、使用周波数帯域、振動の長さ、またはエフェクトの変更を行う、前記(1)~(11)のいずれか1項に記載の情報処理装置。
(13)
 前記制御部は、前記入力波形データを複数生成し、ユーザによる選択に応じて、前記対象装置で用いる入力波形データを決定する、前記(1)~(12)のいずれか1項に記載の情報処理装置。
(14)
 前記制御部は、
  シャッター感の印象を指定するための画面を表示する制御と、
  ユーザに指定された印象に応じて、前記入力波形データを生成する、前記(1)~(13)のいずれか1項に記載の情報処理装置。
(15)
 前記情報処理装置は、前記対象装置であって、
 撮像部と、
 振動部と、をさらに備え、
 前記制御部は、前記撮像部におけるシャッタータイミングに応じて、前記生成された入力波形データを用いて、前記振動部から疑似的なシャッター振動を呈示する制御を行う、前記(1)~(14)のいずれか1項に記載の情報処理装置。
(16)
 前記情報処理装置は、音声出力部をさらに備え、
 前記制御部は、さらに、前記撮像装置から取得されたシャッター音に基づいて生成された疑似的なシャッター音を、前記シャッタータイミングに応じて、前記音声出力部から出力する制御を行う、前記(15)に記載の情報処理装置。
(17)
 前記制御部は、被写体の種別に対応する前記シャッター音を前記音声出力部から出力する制御を行う、前記(16)に記載の情報処理装置。
(18)
 プロセッサが、
 取得元の撮像装置におけるシャッターの振動データに基づいて、対象装置のパラメータを参照して前記対象装置で呈示する疑似的なシャッター振動の入力波形データを生成する制御を行うことを含む、情報処理方法。
(19)
 コンピュータを、
 取得元の撮像装置におけるシャッターの振動データに基づいて、対象装置のパラメータを参照して前記対象装置で呈示する疑似的なシャッター振動の入力波形データを生成する制御を行う制御部として機能させる、プログラム。
 10 カメラ
 20 生成装置
 210 通信部
 220 制御部
  221 データ取得部
  222 入力波形データ生成部
  223 選択部
  224 出力制御部
 230 操作入力部
 240 表示部
 250 記憶部
 30 呈示装置
 310 通信部
 320 制御部
  321 撮像制御部
  322 振動制御部
 330 操作入力部
 340 撮像部
 350 表示部
 360 振動部
 370 記憶部

Claims (19)

  1.  取得元の撮像装置におけるシャッターの振動データに基づいて、対象装置のパラメータを参照して前記対象装置で呈示する疑似的なシャッター振動の入力波形データを生成する制御を行う制御部を備える、情報処理装置。
  2.  前記入力波形データは、前記対象装置に設けられる振動部を駆動するために用いられる信号である、請求項1に記載の情報処理装置。
  3.  前記対象装置のパラメータは、前記対象装置の重量、または前記振動部の仕様データを少なくとも含む、請求項2に記載の情報処理装置。
  4.  前記仕様データは、周波数特性、定格電圧、振動方向、および使用周波数帯域の少なくともいずれかを含む、請求項3に記載の情報処理装置。
  5.  前記振動データは、前記撮像装置をセンシングして得た加速度データである、請求項2に記載の情報処理装置。
  6.  前記制御部は、前記撮像装置のパラメータおよび前記対象装置のパラメータを参照して、前記撮像装置から取得した前記加速度データを加工し、加工した加速度データから、前記対象装置で前記撮像装置のシャッター感を再現するための前記入力波形データを生成する、請求項5に記載の情報処理装置。
  7.  前記制御部は、前記撮像装置から取得した前記加速度データの周波数解析により得た周波数特性を、前記撮像装置のパラメータおよび前記対象装置のパラメータを参照して加工し、加工した周波数特性から、前記対象装置で前記撮像装置のシャッター感を再現するための前記入力波形データを生成する、請求項5に記載の情報処理装置。
  8.  前記撮像装置のパラメータは、前記撮像装置の重量、構造、およびレンズ種類の少なくともいずれかを含む、請求項6に記載の情報処理装置。
  9.  前記制御部は、前記加速度データとして、ユーザに選択された特定の加速度軸のデータを用いる、請求項6に記載の情報処理装置。
  10.  前記制御部は、さらに前記対象装置の影響しきい値を参照し、影響しきい値を下回る範囲で前記入力波形データを生成する、請求項1に記載の情報処理装置。
  11.  前記制御部は、前記影響しきい値を下回るよう、前記入力波形データにおける振動の強度、振動方向、使用周波数帯域、振動の長さ、またはエフェクトの変更を行う、請求項10に記載の情報処理装置。
  12.  前記制御部は、ユーザの年齢または病状に基づいて、前記入力波形データにおける振動の強度、振動方向、使用周波数帯域、振動の長さ、またはエフェクトの変更を行う、請求項1に記載の情報処理装置。
  13.  前記制御部は、前記入力波形データを複数生成し、ユーザによる選択に応じて、前記対象装置で用いる入力波形データを決定する、請求項1に記載の情報処理装置。
  14.  前記制御部は、
      シャッター感の印象を指定するための画面を表示する制御と、
      ユーザに指定された印象に応じて、前記入力波形データを生成する、請求項1に記載の情報処理装置。
  15.  前記情報処理装置は、前記対象装置であって、
     撮像部と、
     振動部と、をさらに備え、
     前記制御部は、前記撮像部におけるシャッタータイミングに応じて、前記生成された入力波形データを用いて、前記振動部から疑似的なシャッター振動を呈示する制御を行う、請求項1に記載の情報処理装置。
  16.  前記情報処理装置は、音声出力部をさらに備え、
     前記制御部は、さらに、前記撮像装置から取得されたシャッター音に基づいて生成された疑似的なシャッター音を、前記シャッタータイミングに応じて、前記音声出力部から出力する制御を行う、請求項15に記載の情報処理装置。
  17.  前記制御部は、被写体の種別に対応する前記シャッター音を前記音声出力部から出力する制御を行う、請求項16に記載の情報処理装置。
  18.  プロセッサが、
     取得元の撮像装置におけるシャッターの振動データに基づいて、対象装置のパラメータを参照して前記対象装置で呈示する疑似的なシャッター振動の入力波形データを生成する制御を行うことを含む、情報処理方法。
  19.  コンピュータを、
     取得元の撮像装置におけるシャッターの振動データに基づいて、対象装置のパラメータを参照して前記対象装置で呈示する疑似的なシャッター振動の入力波形データを生成する制御を行う制御部として機能させる、プログラム。
PCT/JP2023/003399 2022-03-29 2023-02-02 情報処理装置、情報処理方法、およびプログラム WO2023188804A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-053428 2022-03-29
JP2022053428 2022-03-29

Publications (1)

Publication Number Publication Date
WO2023188804A1 true WO2023188804A1 (ja) 2023-10-05

Family

ID=88200851

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/003399 WO2023188804A1 (ja) 2022-03-29 2023-02-02 情報処理装置、情報処理方法、およびプログラム

Country Status (1)

Country Link
WO (1) WO2023188804A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001069389A (ja) * 1999-08-31 2001-03-16 Ricoh Co Ltd デジタルカメラ
JP2006058973A (ja) * 2004-08-17 2006-03-02 Sony Corp 触覚情報作成装置及び触覚情報作成方法
JP2006136865A (ja) * 2004-11-15 2006-06-01 Sony Corp 振動発生装置、触覚機能付きの入出力装置及びその電子機器
WO2019244695A1 (ja) * 2018-06-19 2019-12-26 パナソニックIpマネジメント株式会社 撮像装置
JP2021182693A (ja) * 2020-05-19 2021-11-25 キヤノン株式会社 撮像装置およびその制御方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001069389A (ja) * 1999-08-31 2001-03-16 Ricoh Co Ltd デジタルカメラ
JP2006058973A (ja) * 2004-08-17 2006-03-02 Sony Corp 触覚情報作成装置及び触覚情報作成方法
JP2006136865A (ja) * 2004-11-15 2006-06-01 Sony Corp 振動発生装置、触覚機能付きの入出力装置及びその電子機器
WO2019244695A1 (ja) * 2018-06-19 2019-12-26 パナソニックIpマネジメント株式会社 撮像装置
JP2021182693A (ja) * 2020-05-19 2021-11-25 キヤノン株式会社 撮像装置およびその制御方法

Similar Documents

Publication Publication Date Title
KR102251047B1 (ko) 미디어 콘텐츠 및 하나 이상의 외부 파라미터에 기초하여 햅틱 피드백을 제공하기 위한 방법 및 장치
JP6494222B2 (ja) 自動遠隔検出およびハプティック変換システム
EP2778843B1 (en) Automatic haptic effect adjustment system
CN106256139B (zh) 用于机械振动噪声消除的双元件mems扩音器
US20180124497A1 (en) Augmented Reality Sharing for Wearable Devices
EP2770404A2 (en) Mobile device with instinctive haptic alerts
JP6056853B2 (ja) 電子機器
JP2014087064A (ja) ディスプレイ装置、ディスプレイ装置を制御する遠隔制御装置、ディスプレイ装置の制御方法、サーバーの制御方法、及び遠隔制御装置の制御方法
WO2015068440A1 (ja) 情報処理装置、制御方法およびプログラム
WO2018045743A1 (zh) 屏幕显示方向的调整方法及装置、存储介质、设备
Werfel et al. Empathizing audiovisual sense impairments: Interactive real-time illustration of diminished sense perception
JP7066115B2 (ja) パブリックスピーキング支援装置、及びプログラム
WO2020050186A1 (ja) 情報処理装置、情報処理方法及び記録媒体
CN105306809B (zh) 摄像装置以及摄像装置的控制方法
WO2023188804A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN113631211A (zh) 专注度测量装置、专注度测量方法以及程序
EP3340240A1 (en) Information processing device, information processing method, and program
WO2020026443A1 (ja) 触覚表現用振動制御システム、触覚表現用振動発生装置、触覚表現用振動制御装置、および触覚表現用振動制御方法
JP2018049052A (ja) 仮想楽器演奏プログラム、仮想楽器演奏装置および仮想楽器演奏方法
JP6115932B2 (ja) 音発生装置及び音発生用プログラム
WO2024125478A1 (zh) 音频呈现方法和设备
US11809630B1 (en) Using a haptic effects library to determine whether to provide predefined or parametrically-defined haptic responses, and systems and methods of use thereof
JP2012010212A (ja) 画像表示装置及びプログラム
JP7293741B2 (ja) 姿勢改善支援装置、姿勢改善支援方法、及び姿勢改善支援プログラム
JP2020146161A5 (ja)

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23778840

Country of ref document: EP

Kind code of ref document: A1