WO2021182205A1 - 撮像装置、フィードバック方法およびフィードバックプログラム - Google Patents

撮像装置、フィードバック方法およびフィードバックプログラム Download PDF

Info

Publication number
WO2021182205A1
WO2021182205A1 PCT/JP2021/008059 JP2021008059W WO2021182205A1 WO 2021182205 A1 WO2021182205 A1 WO 2021182205A1 JP 2021008059 W JP2021008059 W JP 2021008059W WO 2021182205 A1 WO2021182205 A1 WO 2021182205A1
Authority
WO
WIPO (PCT)
Prior art keywords
angle
feedback
imaging device
unit
self
Prior art date
Application number
PCT/JP2021/008059
Other languages
English (en)
French (fr)
Inventor
高橋　慧
亜由美 中川
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2021182205A1 publication Critical patent/WO2021182205A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/18—Signals indicating condition of a camera member or suitability of light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • the present invention relates to an imaging device, a feedback method, and a feedback program.
  • the imaging device of one form according to the present disclosure includes a detection unit that detects the angle of the self-imaging device, an angle of the self-imaging device detected by the detection unit, and a reference angle. It is provided with a feedback unit that feeds back the difference angle to the user.
  • FIG. 1 is a diagram showing an example of a shooting direction. As shown in FIG. 1, the user shoots a subject with the shooting direction facing forward, downward, or upward.
  • the user can take a picture of the subject straight to some extent by referring to the spirit level displayed on the display screen of the image pickup device and correcting the angle of the image pickup device.
  • the spirit level may interfere with the preview.
  • the standard of the level is not always constant, and it may be necessary to point out the angle according to the subject. For example, when shooting a square object placed on a desk, it is desirable that the object be shot parallel to the screen of the image pickup device, but with a spirit level alone, guidance to such an angle is possible. difficult.
  • the imaging device detects the current angle of the self-imaging device, and uses sound / vibration according to the difference angle between the detected current angle and the reference angle (for example, 0 ° or 90 °). , Give feedback to the user. As a result, the user can shoot the subject at an optimum angle without visually observing the display screen of the imaging device.
  • FIG. 2 is a diagram showing a configuration example of an imaging device according to the present embodiment.
  • the imaging device 100 includes an imaging unit 101, an acceleration sensor 102, a gyro sensor 103, a speaker 104, a vibrator 105, a timer 106, an input unit 107, a display unit 108, a storage unit 110, and a control unit 120.
  • the imaging unit 101 is a camera module that captures an image of a subject. Although not shown, the imaging unit 101 includes a lens module, an image sensor, and the like. The imaging unit 101 outputs the information of the captured image to the control unit 120. In the following description, the information of the image captured by the imaging unit 101 is referred to as “captured image”.
  • the acceleration sensor 102 is a 3-axis acceleration sensor that measures acceleration in three directions of the x-axis, y-axis, and z-axis.
  • the acceleration sensor 102 outputs the measured acceleration information in the three directions to the control unit 120.
  • acceleration information information on acceleration in three directions is referred to as "acceleration information”.
  • the gyro sensor 103 is an angular velocity sensor that measures the rotational angular velocity.
  • the gyro sensor 103 corresponds to a vibration type gyro sensor using IC type MEMS (Micro Electro Mechanical System) technology.
  • the gyro sensor 103 outputs the measured rotation angular velocity information to the control unit 120.
  • the information of the rotational angular velocity is referred to as "rotation angular velocity information”.
  • the speaker 104 is a speaker that outputs sound according to the sound control information output from the control unit 120.
  • the sound control information includes information such as sound volume, frequency, and sound output period.
  • the vibrator 105 is a device that generates vibration according to the vibration control information output from the control unit 120.
  • the vibration control information includes information such as vibration frequency, amplitude, and vibration period.
  • the timer 106 is a device that outputs time information to the control unit 120.
  • the input unit 107 is an input device that inputs various data to the control unit 120.
  • the input unit 107 corresponds to an input button, a touch panel, and the like.
  • the user operates the input unit 107 to perform an image shooting operation or the like.
  • the display unit 108 is a display device that displays a captured image or the like output from the control unit 120.
  • the display unit 108 corresponds to an organic EL (Electroluminescent) display, a liquid crystal display, a touch panel, or the like.
  • the display unit 108 displays a captured image or the like.
  • the storage unit 110 has an angle recording table 111 and waveform data 112.
  • the storage unit 110 corresponds to, for example, semiconductor memory elements such as RAM (Random Access Memory), ROM (Read Only Memory), and flash memory (Flash Memory), and storage devices such as HDD (Hard Disk Drive).
  • the angle recording table 111 is a table that holds information about the angle of the image pickup apparatus 100.
  • FIG. 3 is a diagram showing an example of the data structure of the angle recording table 111. As shown in FIG. 3, the angle recording table 111 associates the time with the first angle, the second angle, and the flag.
  • the time indicates the time when the angle was detected.
  • the first angle and the second angle are the angles of the image pickup apparatus 100 detected at the corresponding time.
  • the "first angle” is an angle detected using the acceleration information output from the acceleration sensor 102 and the rotation angular velocity information output from the gyro sensor 103, and is an image pickup with reference to the horizontal direction.
  • the first angle is detected by the detection unit 121, which will be described later.
  • the "second angle” is an angle calculated by image processing on the captured image, and is an angle formed by a straight line on the side of the subject and a parallel line of the captured image.
  • the second angle is calculated by the calculation unit 122, which will be described later.
  • the flag is information indicating whether or not feedback has been given to the user at the corresponding time. If feedback is given at the corresponding time, the flag will be "ON”. If no feedback is given at the corresponding time, the flag is set to "OFF".
  • the waveform data 112 holds information that defines the relationship between the characteristics of the sound output from the speaker 104 and the difference angle, and the relationship between the characteristics of the vibration of the vibrator 105 and the difference angle.
  • the difference angle is an angle indicating the difference between the angle of the imaging device 100 and the reference angle.
  • the reference angle is 0 ° or 90 °.
  • FIG. 4 is a diagram showing an example of the data structure of the waveform data 112. As shown in FIG. 4, the waveform data 112 includes waveform data 112a and waveform data 112b.
  • the waveform data 110a is information that defines the relationship between the characteristics of the sound output from the speaker 104 and the difference angle.
  • the waveform data 110a has graphs G1a and G2a.
  • Graph G1a shows the relationship between the difference angle and the frequency of sound. As shown in the graph G1a, the smaller the absolute value of the difference angle, the higher the frequency of the sound. Further, when the absolute value of the difference angle becomes 0, the frequency suddenly increases. That is, when the difference angle becomes 0 degrees, the frequency of the sound suddenly increases, and the user can see that the angle of the image pickup apparatus 100 becomes horizontal.
  • Graph G2a shows the relationship between the difference angle and the volume. As shown in the graph G2a, the smaller the absolute value of the difference angle, the higher the volume.
  • the waveform data 110b is information that defines the relationship between the vibration characteristics of the vibrator 105 and the difference angle.
  • the waveform data 110a has graphs G1b and G2b.
  • Graph G1b shows the relationship between the difference angle and the frequency of vibration. As shown in the graph G1b, the smaller the absolute value of the difference angle, the higher the frequency of vibration. Further, when the absolute value of the difference angle becomes 0, the frequency suddenly increases.
  • Graph G2b shows the relationship between the difference angle and the amplitude of vibration. As shown in the graph G2b, the smaller the absolute value of the difference angle, the higher the amplitude of vibration.
  • the control unit 120 includes a detection unit 121, a calculation unit 122, a feedback unit 123, and a display control unit 124.
  • the control unit 120 corresponds to, for example, an integrated device such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array). Further, the control unit 120 corresponds to, for example, an electronic circuit such as a CPU (Central Processing Unit) or an MPU (Micro Processing Unit).
  • the detection unit 121 detects the first angle of the imaging device 100 based on the horizontal angle based on the acceleration information acquired from the acceleration sensor 102 or the rotation angle information acquired from the gyro sensor 103. It is a department. For example, the detection unit 121 detects the first angle of the image pickup device 100 by utilizing the fact that the gravitational acceleration value 1G is detected downward when the image pickup device 100 is stationary.
  • the detection unit 121 corrects the first angle by using the rotation angular velocity information of the gyro sensor 103 for a short-time movement.
  • the first angle of the image pickup apparatus 100 is detected by using the downward acceleration obtained from the acceleration information from the acceleration sensor 102.
  • the acceleration sensor 102 In order to calculate the horizontal angle, it is necessary to associate the mounting angle of the acceleration sensor 102 (gyro sensor 103) with the angle of the imaging device 100.
  • the acceleration sensor 102 When the acceleration sensor 102 is tilted, the first angle of the image pickup apparatus 100 is corrected by the rotation matrix adjusted in advance.
  • the detection unit 121 detects the first angle of the image pickup device 100 at predetermined time intervals, associates the time output from the timer 106 with the first angle of the image pickup device 100, and registers the first angle in the angle recording table 111. do.
  • the detection unit 121 may detect the first angle of the image pickup apparatus 100 by using any well-known technique other than the above processing.
  • the detection unit 121 may detect the first angle by using one of the acceleration information output from the acceleration sensor 102 and the rotation angle information output from the gyro sensor 103.
  • the calculation unit 122 is a processing unit that calculates the second angle based on the image pickup screen output from the image pickup unit 101.
  • the calculation unit 122 analyzes the captured image and detects the target subject.
  • the user refers to the captured image of the display unit 108 and operates the input unit 107 to select a subject on the captured image, and the calculation unit 122 detects the selected subject as the target subject. You may.
  • the calculation unit 122 detects the side of the subject by using a technique such as edge extraction, and sets a second angle between the horizontal line preset in the captured image and the side of the subject. Calculated as an angle.
  • notebooks, blackboards, and buildings are examples of subjects that are close to a rectangle.
  • the calculation unit 122 estimates the horizontal direction from the positional relationship of the eyes, nose, mouth, and ears, and the estimated horizontal line segment and the horizontal line preset in the captured image. The angle formed by is calculated as the second angle.
  • calculation unit 122 may calculate the second angle by using a learning model in which the relationship between the photographed image of the subject and the second angle is learned in advance. For example, the calculation unit 122 calculates the second angle by inputting the captured image output from the imaging unit 101 into the learning model.
  • the calculation unit 122 calculates the second angle of the image pickup apparatus 100 at predetermined time intervals, associates the time output from the timer 106 with the second angle of the image pickup apparatus 100, and registers the second angle in the angle recording table 111. do.
  • the feedback unit 123 is a processing unit that feeds back the difference angle between the current angle of the imaging device 100 and the reference angle to the user. First, the feedback unit 123 determines the feedback interval based on the angle recording table 111, determines the amount of change in the angle of the imaging device 100, and the difference angle from the reference angle is within the reference value. Executes the process of determining the existence.
  • the feedback unit 123 uses either the first angle or the second angle as the angle of the image pickup device 100. Which angle to use, the first angle or the second angle, may be selected in advance, or may be appropriately specified by the user operating the input unit 107. Alternatively, the feedback unit 123 may automatically select either the first angle or the second angle based on a predetermined control policy. For example, the feedback unit 123 selects the second angle while detecting the subject in the captured image, and selects the first angle while detecting the subject in the captured image.
  • the feedback unit 123 compares the current time output from the timer 106 with the angle recording table 111, and determines whether or not a certain time or more has elapsed from the time when the previous feedback was performed. For example, the time when the feedback was given last time is the latest time among the times when the flag in FIG. 3 is turned ON.
  • the feedback unit 123 compares the current time output from the timer 106 with the angle recording table 111, and specifies the amount of change between the previous angle and the angle of the current time. The feedback unit 123 determines whether or not the specified amount of change is equal to or greater than a certain amount of change.
  • the feedback unit 123 compares the current time output from the timer 106 with the angle recording table 111, and the absolute value of the difference angle between the current time angle and the reference angle (0 ° or 90 °) is the reference value. Determine if it is within.
  • the feedback unit 123 has passed a certain time or more from the time when the previous feedback was performed, the amount of change in the angle is equal to or more than the predetermined amount of change, and the absolute value of the difference is within the reference value. In some cases, the feedback described below is performed. On the other hand, in the feedback unit 123, when a certain time or more has not passed since the time when the previous feedback was performed, or when the amount of change in the angle is less than a predetermined amount of change, or the absolute value of the difference is within the reference value. If not, do not perform feedback (suppress the feedback process).
  • the feedback unit 123 executes feedback by sound or vibration.
  • the processing when the feedback unit 123 gives feedback by sound will be described.
  • the feedback unit 123 specifies the difference angle between the current time angle and the reference angle, compares the difference angle with the waveform data 112a, and specifies the sound frequency and the volume.
  • the feedback unit 123 sets the specified volume, frequency, and sound output period in the sound control information, and outputs the sound control information to the speaker 104. It is assumed that the sound output period is set in advance.
  • the processing when the feedback unit 123 gives feedback by vibration will be described.
  • the feedback unit 123 specifies the difference angle between the current time angle and the reference angle, compares the difference angle with the waveform data 112b, and specifies the vibration frequency and amplitude.
  • the feedback unit 123 sets the specified vibration frequency, amplitude, and vibration period in the vibration control information, and outputs the vibration control information to the vibrator 105.
  • the period of vibration shall be set in advance.
  • FIG. 5 is a diagram for explaining the processing of the feedback unit 123 according to the present embodiment.
  • graph G3a is a graph showing the relationship between time and vibration.
  • the graph G3b is a graph showing the relationship between the difference angle and time.
  • the feedback unit 123 sets the amount of change "d0" between the previous angle and the angle at the current time to a certain value "d_thres" or more and the elapsed time "t0" based on the angle recording table 111.
  • d_thres a certain value
  • t_thres a certain period of time
  • fordback is performed by vibration.
  • the current angle is far from the reference time, it is presumed that the user is not trying to level, so feedback is suppressed.
  • FIG. 5 the case where feedback is performed by vibration has been described, but the same applies to the case where feedback is performed by sound.
  • the feedback unit 123 may execute other processes (1) to (7) described below in addition to the above-described processes.
  • the feedback unit 123 may execute other processes (1) to (7) in a complex manner.
  • the other process (1) executed by the feedback unit 123 will be described.
  • the feedback unit 123 reduces the threshold value to be compared with the amount of change and executes feedback for a slight change in angle.
  • FIG. 6 is a diagram for explaining another process (1) executed by the feedback unit 123.
  • the feedback unit 123 refers to the angle recording table 111, and when the user moves the angle of the image pickup apparatus 100 at 1 degree / sec (in the case of a small movement), the feedback unit 123 changes every 0.5 degree (changes). Give feedback (when the amount is 0.5 degrees or more).
  • the feedback unit 123 is used every 5 degrees (when the amount of change is 5 degrees or more) when the user is moving the angle of the image pickup device 100 at 10 degrees / second (in the case of a large movement). ) Give feedback.
  • the other process (2) executed by the feedback unit 123 will be described.
  • the feedback unit 123 does not execute feedback (suppresses the feedback process) when it is presumed that the user does not hold the image pickup device 100.
  • the feedback unit 123 Based on the acceleration information output from the acceleration sensor 102, the feedback unit 123 does not perform feedback for a certain period of time after the acceleration norm greatly exceeds 1 G (for example, when it exceeds 1.5 G). ..
  • the feedback unit 123 is based on the rotation angle information output from the gyro sensor 103, and when the norm of the angular acceleration greatly exceeds 10 degrees / sec (for example, when it exceeds 15 degrees / sec), the feedback unit 123 has a certain period of time after the norm has been exceeded. , Do not give feedback.
  • the feedback unit 123 does not perform feedback when the tilt angle of the imaging device 100 is not included in the predetermined angle region (60 to 90 degrees).
  • FIG. 7 is a diagram for explaining another process (2) executed by the feedback unit 123.
  • the tilt angle is “ ⁇ ” shown in FIG.
  • the feedback unit 123 does not perform feedback when the distance between the image pickup device 100 and the subject is less than a predetermined distance based on the captured image output from the image pickup unit 101.
  • the feedback unit 123 does not perform feedback when a predetermined touch operation is performed on the input unit 107 (touch panel). Further, the feedback unit 123 does not perform feedback when the angular acceleration in the horizontal direction is equal to or higher than a predetermined acceleration based on the rotation angle information output from the gyro sensor 103.
  • the angular acceleration in the horizontal direction is equal to or greater than a predetermined acceleration, it can be said that the user is following the subject.
  • the other process (3) executed by the feedback unit 123 will be described.
  • the difference angle difference between the angle of the imaging device 100 and the horizontal angle
  • the frequency is rapidly increased, but before and after the threshold value so as not to chatter. You may give some play to the feedback.
  • the feedback unit 123 when the difference angle is the condition "-5 degrees ⁇ difference angle ⁇ 5 degrees", the feedback unit 123 outputs a "first sound” indicating that it is horizontal from the speaker 104. On the other hand, when the difference angle does not meet the condition "-5 degrees ⁇ difference angle ⁇ 5 degrees", the feedback unit 123 outputs a second sound indicating that it is non-horizontal from the speaker 104.
  • Part 123 may dynamically change the range of conditions.
  • FIG. 8 is a diagram for explaining other processing (3) executed by the feedback unit 123.
  • the difference angle is set to less than 5 degrees.
  • the feedback unit 123 outputs the second sound from the speaker 104.
  • the feedback unit 123 provides play before and after the threshold value, as shown in step S3.
  • the feedback unit 123 outputs the first sound from the speaker 104 when the difference angle becomes 4 or less.
  • the feedback unit 123 outputs the second sound from the speaker 104 when the difference angle becomes 6 or more.
  • the other process (4) executed by the feedback unit 123 will be described.
  • the feedback unit 123 gives feedback by vibration, the type of tactile sensation may be changed according to the user operation.
  • FIG. 9 is a diagram for explaining other processing (4) executed by the feedback unit 123.
  • the vertical axis of each of the graphs G4a, G4b, G4c, and G4d shown in FIG. 9 corresponds to the amplitude, and the horizontal axis corresponds to the time.
  • the feedback unit 123 When the image pickup device 100 is near horizontal (for example, the difference angle is less than a predetermined angle) and the user is rotating the image pickup device 100 so as to align the horizontal position, the feedback unit 123 has a rotation angle as shown in the graph G4a.
  • the vibrator 105 generates vibrations with short intervals according to the above.
  • the feedback unit 123 When the difference angle becomes 0 degrees, the feedback unit 123 generates vibration for a certain period in which the amplitude is gradually attenuated by the vibrator 105, as shown in the graph G4b.
  • the graph G4b shows the case where the difference angle becomes 0 degrees at the time t1-1.
  • the feedback unit 123 vibrates for a certain period of time as shown in the graph G4c while the distance between the subject and the imaging device 100 is less than a predetermined distance. Generated by 105.
  • the graph G4c shows a case where the distance between the subject and the image pickup apparatus 100 is less than a predetermined distance at time t1-2. Even when the feedback unit 123 detects that the lens of the imaging unit 101 is covered with a user's finger or the like, the vibrator 105 may generate vibration for a certain period of time.
  • the feedback unit 123 When the feedback unit 123 detects a square object based on the captured image output from the imaging unit 101, as shown in the graph G4c, the feedback unit 123 indicates a short and strong vibration (greater than or equal to a predetermined threshold value) indicating that the device has been locked on. Vibration) is generated by the vibrator 105.
  • the time when the square object is detected at the time t1-3 is shown.
  • the other vibrations shown in the graph G4d are vibrations according to the difference angle.
  • the feedback unit 123 may vibrate the vibrator 105 and output sound from the speaker 104 according to the difference angle.
  • the other process (5) executed by the feedback unit 123 will be described.
  • the feedback unit 123 executes feedback according to the difference angle by sound or vibration, but the display control unit 124 superimposes and displays the image of the spirit level on the display screen displayed on the display unit 108. You may. Further, the feedback unit 123 may also superimpose and display the numerical value of the difference angle on the display screen.
  • FIG. 10 is a diagram for explaining another process (5) executed by the feedback unit 123.
  • the feedback unit 123 superimposes and displays the image of the spirit level 100a on the display screen (display unit 108) of the image pickup apparatus 100.
  • the feedback unit 123 displays the spirit level 100a in the first color (for example, gray) when the difference angle is 45 degrees or more.
  • the feedback unit 123 displays the spirit level 100a in a second color (for example, red) when the difference angle is 10 degrees or more and less than 45 degrees (step S11). When the difference angle is less than 5 degrees, the feedback unit 123 displays the spirit level 100a in a third color (for example, green) (step S12).
  • a second color for example, red
  • a third color for example, green
  • the user operates the input unit 107 to select the type of feedback.
  • the user may operate the input unit 107 to select any one of the feedback by sound, the feedback by vibration, and the feedback by the spirit level, or may select a plurality of them.
  • the feedback unit 123 executes feedback according to the selected type.
  • the feedback unit 123 may automatically switch the type of feedback according to the magnitude of the movement in which the user operates the image pickup device 100. For example, when the angle of the image pickup apparatus 100 is moved at 1 degree / sec (in the case of a small movement), all of the feedback by sound, the feedback by vibration, and the feedback by the spirit level are performed.
  • the feedback unit 123 provides only feedback by the spirit level.
  • the feedback unit 123 may switch between the first angle and the second angle based on whether or not the subject is detected from the captured image output from the imaging unit 101.
  • the feedback unit 123 calculates the difference angle using the first angle while the subject is not detected from the captured image, and provides feedback according to the difference angle.
  • the feedback unit 123 calculates the difference angle using the second angle while detecting the subject from the captured image, and provides feedback according to the difference angle.
  • the feedback unit 123 may detect the subject by using the autofocus function.
  • the other process (7) executed by the feedback unit 123 will be described.
  • the feedback unit 123 detects a subject from the captured image output from the imaging unit 101, and when it detects a pre-registered horizontal subject that can be defined, the feedback unit 123 may display a spirit level according to the side of the subject. good. The feedback unit 123 may further display the numerical value of the difference angle.
  • FIG. 11 is a diagram for explaining another process (7) executed by the feedback unit 123.
  • the feedback unit 123 displays the spirit level 100a in accordance with the horizontal side defined on the subject 20.
  • the feedback unit 123 does not display the spirit level 100a when the subject 20 deviates from the shooting screen.
  • the feedback unit 123 does not display the spirit level 100a even when the subject is detected from the captured image if the corresponding subject is not registered in advance.
  • the display control unit 124 outputs the captured image output from the imaging unit 101 to the display unit 108 to display the captured image. Further, the display control unit 124 cooperates with the feedback unit 123 described above to superimpose and display the spirit level 100a on the display screen of the display unit 108.
  • FIG. 12 is a flowchart (1) showing a processing procedure of the image pickup apparatus 100 according to the present embodiment. The image pickup apparatus 100 repeatedly executes the process shown in FIG.
  • the imaging device 100 acquires acceleration information and rotation angle information (step S101).
  • the detection unit 121 of the image pickup apparatus 100 detects the first angle of the image pickup apparatus 100 based on the acceleration information and the rotation angle information (step S102).
  • the imaging device 100 acquires an captured image (step S103).
  • the calculation unit 122 of the image pickup apparatus 100 calculates the second angle based on the subject included in the captured image (step S104).
  • the image pickup apparatus 100 registers the current angle of the image pickup apparatus 100 in the angle recording table 111 (step S105).
  • the feedback unit 123 of the image pickup apparatus 100 specifies the elapsed time from the previous feedback and the amount of change in the angle (step S106).
  • the feedback unit 123 ends the process when the elapsed time is not longer than a certain time (steps S107, No). On the other hand, when the elapsed time is a certain time or more (steps S107, Yes), the feedback unit 123 shifts to step S108.
  • the feedback unit 123 ends the process when the amount of change in the angle is not equal to or greater than a certain angle (steps S108, No). On the other hand, when the amount of change in the angle is equal to or greater than a certain angle (steps S108, Yes), the feedback unit 123 shifts to step S109.
  • the feedback unit 123 ends the process when the difference angle is not within the threshold value (steps S109, No). On the other hand, when the difference angle is within the threshold value (step S109, Yes), the feedback unit 123 shifts to step S110.
  • the feedback unit 123 executes feedback according to the difference angle (step S110), and sets the flag of the angle recording table 111 to ON (step S111).
  • FIG. 13 is a flowchart (2) showing an example of the processing procedure of the image pickup apparatus 100 according to the present embodiment.
  • the image pickup apparatus 100 acquires acceleration information and rotation angle information (step S201).
  • the detection unit 121 of the image pickup apparatus 100 detects the first angle of the image pickup apparatus 100 based on the acceleration information and the rotation angle information (step S202).
  • the imaging device 100 acquires an captured image (step S203).
  • the calculation unit 122 of the image pickup apparatus 100 calculates the second angle based on the subject included in the captured image (step S204).
  • the image pickup apparatus 100 registers the current angle of the image pickup apparatus 100 in the angle recording table 111 (step S205).
  • the feedback unit 123 of the image pickup device 100 calculates the difference angle between the angle of the image pickup device 100 and the reference angle (step S206). If the difference angle is not equal to or greater than a predetermined angle (steps S207 and No), the feedback unit 123 proceeds to step S211. On the other hand, when the difference angle is equal to or greater than a predetermined angle (step S207, Yes), the feedback unit 123 shifts to step S208.
  • the feedback unit 123 calculates the acceleration norm (step S208). When the acceleration norm is equal to or greater than a predetermined norm (step S209, Yes), the feedback unit 123 executes the feedback process while displaying the spirit level (step S210).
  • step S209 If the acceleration norm is not equal to or higher than the predetermined norm (step S209, No), the feedback unit 123 executes the feedback process without using the spirit level (step S211).
  • FIG. 14 is a flowchart (3) showing an example of the processing procedure of the image pickup apparatus 100 according to the present embodiment.
  • the image pickup apparatus 100 acquires acceleration information and rotation angle information (step S301).
  • the detection unit 121 of the image pickup apparatus 100 detects the first angle of the image pickup apparatus 100 based on the acceleration information and the rotation angle information (step S302).
  • the imaging device 100 acquires an captured image (step S303).
  • the calculation unit 122 of the image pickup apparatus 100 calculates the second angle based on the subject included in the captured image (step S304).
  • the image pickup apparatus 100 registers the current angle of the image pickup apparatus 100 in the angle recording table 111 (step S305).
  • step S306 If the captured image does not include a subject suitable for horizontal presentation (step S306, No), the feedback unit 123 of the image pickup apparatus 100 executes the feedback process without displaying the spirit level (step S307).
  • the feedback unit 123 displays a spirit level according to the subject (step S308).
  • the feedback unit 123 executes the feedback process while displaying the spirit level (step S309).
  • the imaging device 100 detects the current angle of the self-imaging device, and feeds back the difference angle between the detected current angle of the self-imaging device and the reference angle to the user. Therefore, the user can shoot the subject at an optimum angle.
  • the imaging device 100 identifies a subject from the captured image captured by the imaging unit 101, and calculates the angle of the self-imaging device based on the image of the subject. As a result, horizontal presentation suitable for the subject can be performed.
  • the image pickup device 100 detects the current angle of the image pickup device by using at least one of the acceleration sensor 102 and the gyro sensor 103.
  • the acceleration information can be used to detect the angle of the image pickup device 100 with respect to the user's large movement
  • the rotation angular velocity information can be used to accurately adjust the angle of the image pickup device 100 in response to the user's small movement. Can be detected.
  • the image pickup apparatus 100 includes an angle of either a first angle detected by the detection unit 121 or a second angle calculated by the calculation unit 122 based on the captured image captured by the image pickup unit 101. Specify the difference angle from the reference angle. As a result, the optimum difference angle can be fed back to the user according to the captured image.
  • the image pickup apparatus 100 suppresses the feedback process when the elapsed time from the time of the previous feedback is not more than a certain time. This allows feedback to the user at appropriate time intervals.
  • FIG. 15 is a hardware configuration diagram showing an example of a computer 1000 that realizes the function of the image pickup apparatus.
  • the computer 1000 includes a CPU 1100, a RAM 1200, a ROM (Read Only Memory) 1300, an HDD (Hard Disk Drive) 1400, a communication interface 1500, and an input / output interface 1600. Each part of the computer 1000 is connected by a bus 1050.
  • the CPU 1100 operates based on the program stored in the ROM 1300 or the HDD 1400, and controls each part. For example, the CPU 1100 expands the program stored in the ROM 1300 or the HDD 1400 into the RAM 1200 and executes processing corresponding to various programs.
  • the ROM 1300 stores a boot program such as a BIOS (Basic Input Output System) executed by the CPU 1100 when the computer 1000 is started, a program that depends on the hardware of the computer 1000, and the like.
  • BIOS Basic Input Output System
  • the HDD 1400 is a computer-readable recording medium that non-temporarily records a program executed by the CPU 1100 and data used by the program.
  • the HDD 1400 is a recording medium for recording an information processing program according to the present disclosure, which is an example of program data 1450.
  • the communication interface 1500 is an interface for the computer 1000 to connect to an external network 1550 (for example, the Internet).
  • the CPU 1100 receives data from another device or transmits data generated by the CPU 1100 to another device via the communication interface 1500.
  • the input / output interface 1600 is an interface for connecting the input / output device 1650 and the computer 1000.
  • the CPU 1100 receives data from an input device such as a keyboard or mouse via the input / output interface 1600. Further, the CPU 1100 transmits data to an output device such as a display, a speaker, or a printer via the input / output interface 1600. Further, the input / output interface 1600 may function as a media interface for reading a program or the like recorded on a predetermined recording medium (media).
  • the media is, for example, an optical recording medium such as a DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk), a magneto-optical recording medium such as an MO (Magneto-Optical disk), a tape medium, a magnetic recording medium, or a semiconductor memory.
  • an optical recording medium such as a DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk)
  • a magneto-optical recording medium such as an MO (Magneto-Optical disk)
  • a tape medium such as a magnetic tape
  • magnetic recording medium such as a magnetic tape
  • semiconductor memory for example, an optical recording medium such as a DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk), a magneto-optical recording medium such as an MO (Magneto-Optical disk), a tape medium, a magnetic recording medium, or a semiconductor memory.
  • the CPU 1100 of the computer 1000 executes the feedback program loaded on the RAM 1200 to display the detection unit 121, the calculation unit 122, and the feedback unit 123.
  • the functions of the control unit 124 and the like are realized.
  • the feedback program and the like related to the present disclosure are stored in the HDD 1400.
  • the CPU 1100 reads the program data 1450 from the HDD 1400 and executes the program, but as another example, these programs may be acquired from another device via the external network 1550.
  • the imaging device has a detection unit that detects the angle of the self-imaging device, and a feedback unit that feeds back the difference angle between the angle of the self-imaging device detected by the detection unit and the reference angle to the user.
  • the feedback unit provides feedback using at least one of sound and vibration. This allows the user to shoot the subject at an optimal angle.
  • the imaging device further includes an imaging unit that captures an image of the subject and a calculation unit that calculates the angle of the self-imaging device based on the image of the subject. As a result, horizontal presentation suitable for the subject can be performed.
  • the feedback unit selects one of the angle detected by the detection unit and the angle calculated by the calculation unit based on the image of the subject, and the difference between the selected angle and the reference angle.
  • the angle is fed back to the user.
  • the optimum difference angle can be fed back to the user according to the captured image.
  • the detection unit detects the angle of the self-imaging device by using at least one of the acceleration sensor and the gyro sensor installed in the self-imaging device.
  • the acceleration information can be used to detect the angle of the image pickup device with respect to the user's large movement
  • the rotation angular velocity information can be used to accurately detect the angle of the image pickup device in response to the user's small movement. be able to.
  • the feedback unit adjusts the strength when feeding back to the user according to the difference angle. As a result, the user can intuitively grasp the difference angle.
  • the feedback unit feeds back that the angle of the self-imaging device has become the reference angle when the difference angle is less than a predetermined angle.
  • the feedback unit suppresses feedback when the elapsed time from the previous feedback time is less than the specified time. This makes it possible to provide feedback at intervals without providing continuous feedback.
  • the feedback unit displays the difference angle on the screen. As a result, the user can grasp the numerical value of the difference angle.
  • the feedback unit suppresses feedback when the amount of change from the previous angle of the self-imaging device to the current angle of the self-imaging device is less than a certain amount of change. As a result, feedback can be executed only when the amount of change in the angle of the photographing device exceeds a certain level.
  • the feedback unit suppresses feedback when the difference angle is equal to or greater than a predetermined angle. As a result, it is possible to prevent feedback when the difference angle is large and the user is clearly not performing the operation of holding the image pickup device.
  • the feedback unit provides feedback according to the distance between the self-imaging device and the subject. As a result, for example, it is possible to prevent feedback when the distance to the subject is short and it is not suitable for shooting.
  • the feedback unit displays a spirit level according to the side of the subject. As a result, the user can perform shooting at an angle suitable for the subject.
  • the present technology can also have the following configurations.
  • a detector that detects the angle of the self-imaging device and An imaging device having a feedback unit that feeds back the difference angle between the angle of the self-imaging device detected by the detection unit and the reference angle to the user.
  • An image pickup unit that captures an image of the subject, The imaging device according to (1) above, further comprising a calculation unit that calculates an angle of the self-imaging device based on an image of the subject.
  • the feedback unit selects one of the angle detected by the detection unit and the angle calculated by the calculation unit based on the image of the subject, and sets the selected angle and the reference angle.
  • the imaging device according to (2) above wherein the difference angle is fed back to the user.
  • the detection unit detects the angle of the self-imaging device by using at least one of an acceleration sensor or a gyro sensor installed in the self-imaging device (1), (2) or (3). ).
  • the imaging device according to any one of (1) to (4) above, wherein the feedback unit adjusts the intensity when feeding back to the user according to the difference angle.
  • the imaging device according to 1.
  • the imaging device displays the difference angle on a screen.
  • the feedback unit is characterized in that when the amount of change from the previous angle of the self-imaging device to the current angle of the self-imaging device is less than a certain amount of change, feedback is suppressed.
  • the imaging device according to any one of 1) to (8).
  • the imaging device suppresses feedback when the difference angle is equal to or larger than a predetermined angle.
  • (11) The imaging device according to (2) above, wherein the feedback unit provides feedback according to a distance between the self-imaging device and the distance to the subject.
  • the imaging device (12) The imaging device according to (2) or (11), wherein the feedback unit displays a spirit level according to the side of the subject. (13) The imaging device according to any one of (1) to (12) above, wherein the feedback unit provides feedback using at least one of sound and vibration. (14) The computer Detects the angle of the self-imaging device and A feedback method that executes a process of feeding back the difference angle between the detected angle of the self-imaging device and the reference angle to the user. (15) Computer, A detector that detects the angle of the self-imaging device and A feedback program for making the difference angle between the angle of the self-imaging device detected by the detection unit and the reference angle function as a feedback unit for feeding back to the user.
  • Imaging device 101 Imaging unit 102 Accelerometer 103 Gyro sensor 104 Speaker 105 Vibrator 106 Timer 107 Input unit 108 Display unit 110 Storage unit 111 Angle recording table 112 Waveform data 120 Control unit 121 Detection unit 122 Calculation unit 123 Feedback unit 124 Display control unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

撮像装置は、自撮像装置の角度を検知する検知部と、検知部によって検知された自撮像装置の角度と、基準角度との差分角度を、ユーザにフィードバックするフィードバック部とを備える。

Description

撮像装置、フィードバック方法およびフィードバックプログラム
　本発明は、撮像装置、フィードバック方法およびフィードバックプログラムに関する。
　スマートフォンやカメラで被写体を撮影する場合、被写体をまっすぐに撮影することが望ましい。たとえば、カメラの表示画面に、水準器を表示させることで、ユーザによる撮影をサポートする従来技術がある。
特開２０１９－９６３２１号公報
　しかしながら、上述した従来技術では、ユーザは、最適な角度で被写体を撮影することができないという問題がある。
　そこで、本開示では、最適な角度で被写体を撮影させることができる撮像装置、フィードバック方法およびフィードバックプログラムを提案する。
　上記の課題を解決するために、本開示に係る一形態の撮像装置は、自撮像装置の角度を検知する検知部と、前記検知部によって検知された自撮像装置の角度と、基準角度との差分角度を、ユーザにフィードバックするフィードバック部とを備える。
撮影方向の一例を示す図である。 本実施形態に係る撮像装置の構成例を示す図である。 角度記録テーブルのデータ構造の一例を示す図である。 波形データのデータ構造の一例を示す図である。 本実施形態に係るフィードバック部の処理を説明するための図である。 フィードバック部が実行するその他の処理（１）を説明するための図である。 フィードバック部が実行するその他の処理（２）を説明するための図である。 フィードバック部が実行するその他の処理（３）を説明するための図である。 フィードバック部が実行するその他の処理（４）を説明するための図である。 フィードバック部が実行するその他の処理（５）を説明するための図である。 フィードバック部が実行するその他の処理（７）を説明するための図である。 本実施形態に係る撮像装置の処理手順を示すフローチャート（１）である。 本実施形態に係る撮像装置の処理手順を示すフローチャート（２）である。 本実施形態に係る撮像装置の処理手順を示すフローチャート（３）である。 撮像装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　また、以下に示す項目順序に従って本開示を説明する。
　　１．本実施形態
　　１．１．はじめに
　　１．２．本実施形態に係る撮像装置の構成
　　１．３．本実施形態に係る撮像装置の処理手順
　　１．４．本実施形態に係る撮像装置の効果
　　２．ハードウェア構成
　　３．むすび
＜１．本実施形態＞
＜＜１．１．はじめに＞＞
　本実施形態に係る撮像装置は、スマートフォン、カメラ、タブレット端末等に対応する。ユーザは、撮影装置を操作して、様々な撮影方向で被写体を撮影する。図１は、撮影方向の一例を示す図である。図１に示すように、ユーザは、正面向き、下向き、あるいは、上向きを撮影方向として、被写体を撮影する。
　ここで、ユーザは、撮像装置の表示画面に表示される水準器を参照し、撮像装置の角度を直すことで、ある程度、被写体をまっすぐに撮影することは可能である。しかし、表示画面を目視することが難しい場合や、プレビュー画面を表示させている間に水準器を表示すると、水準器がプレビューの邪魔になってしまう場合がある。
　また、水準の基準は必ずしも一定ではなく、被写体に合わせた角度の指摘が必要になる場合もある。たとえば、机の上に置いた四角い物体を撮影する場合、物体が撮像装置の画面に対して平行に撮影することが望ましいが、水準器のみでは、そのように撮影可能となる角度への誘導が難しい。
　そこで、本実施形態に係る撮像装置は、自撮像装置の現在の角度を検知し、検知した現在の角度と基準角度（たとえば、０°または９０°）との差分角度に応じた音・振動によって、ユーザにフィードバックする。これによって、ユーザは、撮像装置の表示画面を目視しなくても、最適な角度で被写体を撮影することができる。
＜＜１．２．本実施形態に係る撮像装置の構成＞＞
　続いて、本実施形態に係る撮像装置の構成例について説明する。図２は、本実施形態に係る撮像装置の構成例を示す図である。図２に示すように、この撮像装置１００は、撮像部１０１、加速度センサー１０２、ジャイロセンサー１０３、スピーカー１０４、バイブレーター１０５、タイマー１０６、入力部１０７、表示部１０８、記憶部１１０、制御部１２０を有する。
　撮像部１０１は、被写体を撮像するカメラモジュールである。図示を省略するが、撮像部１０１には、レンズモジュールや、イメージセンサー等が含まれる。撮像部１０１は、撮影した画像の情報を、制御部１２０に出力する。以下の説明では、撮像部１０１が撮影した画像の情報を、「撮影画像」と表記する。
　加速度センサー１０２は、ｘ軸、ｙ軸、ｚ軸の３方向の加速度を測定する３軸加速度センサーである。加速度センサー１０２は、測定した３方向の加速度の情報を、制御部１２０に出力する。以下の説明では、３方向の加速度の情報を、「加速度情報」と表記する。
　ジャイロセンサー１０３は、回転角速度を測定する角速度センサーである。たとえば、ジャイロセンサー１０３は、ＩＣタイプのＭＥＭＳ（Micro　Electro　Mechanical　System）技術を使った振動式ジャイロセンサーに対応する。ジャイロセンサー１０３は、測定した回転角速度の情報を、制御部１２０に出力する。以下の説明では、回転角速度の情報を、「回転角速度情報」と表記する。
　スピーカー１０４は、制御部１２０から出力される音制御情報に応じた音を出力するスピーカーである。音制御情報には、音の音量、周波数、音の出力期間等の情報が含まれる。
　バイブレーター１０５は、制御部１２０から出力される振動制御情報に応じた振動を発生させる装置である。振動制御情報には、振動の周波数、振幅、振動の期間等の情報が含まれる。
　タイマー１０６は、制御部１２０に対して時刻情報を出力する装置である。
　入力部１０７は、各種のデータを制御部１２０に入力する入力装置である。たとえば、入力部１０７は、入力ボタン、タッチパネル等に対応する。ユーザは、入力部１０７を操作して、画像の撮影操作等を行う。
　表示部１０８は、制御部１２０から出力される撮影画像等を表示する表示装置である。たとえば、表示部１０８は、有機ＥＬ（Electroluminescent）ディスプレイ、液晶ディスプレイやタッチパネル等に対応する。表示部１０８は、撮影画像等を表示する。
　記憶部１１０は、角度記録テーブル１１１と、波形データ１１２とを有する。記憶部１１０は、たとえば、ＲＡＭ（Random　Access　Memory）、ＲＯＭ（Read　Only　Memory）、フラッシュメモリ（Flash　Memory）などの半導体メモリ素子や、ＨＤＤ（Hard　Disk　Drive）などの記憶装置に対応する。
　角度記録テーブル１１１は、撮像装置１００の角度に関する情報を保持するテーブルである。図３は、角度記録テーブル１１１のデータ構造の一例を示す図である。図３に示すように、この角度記録テーブル１１１は、時刻と、第１角度と、第２角度と、フラグとを対応付ける。
　時刻は、角度を検知した時刻を示す。第１角度および第２角度は、該当する時刻において検知された撮像装置１００の角度である。ここで、「第１角度」は、加速度センサー１０２から出力される加速度情報、および、ジャイロセンサー１０３から出力される回転角速度情報を用いて検知される角度であって、水平方向を基準とした撮像装置１００の角度である。第１角度は、後述する検知部１２１により検知される。
　「第２角度」は、撮影画像に対する画像処理によって算出される角度であって、被写体の辺の直線と、撮影画像の平行線とのなす角度である。第２角度は、後述する算出部１２２によって算出される。
　以下の説明では、第１角度と、第２角度とを特に区別しない場合には、単に「角度」と表記する。
　フラグは、該当する時刻において、ユーザにフィードバックしたか否かを示す情報である。該当する時刻において、フィードバックを行った場合には、フラグが「ＯＮ」となる。該当する時刻において、フィードバックを行っていない場合には、フラグが「ＯＦＦ」となる。
　波形データ１１２は、スピーカー１０４から出力する音の特徴と差分角度との関係、および、バイブレーター１０５の振動の特徴と差分角度との関係を定義する情報を保持する。差分角度は、撮像装置１００の角度と、基準角度との差分を示す角度である。たとえば、基準角度は、０°または９０°となる。図４は、波形データ１１２のデータ構造の一例を示す図である。図４に示すように、波形データ１１２には、波形データ１１２ａと、波形データ１１２ｂとを有する。
　波形データ１１０ａは、スピーカー１０４から出力する音の特徴と差分角度との関係を定義する情報である。波形データ１１０ａは、グラフＧ１ａと、Ｇ２ａとを有する。グラフＧ１ａは、差分角度と、音の周波数との関係を示す。グラフＧ１ａに示すように、差分角度の絶対値が小さくなるほど、音の周波数が高くなる。また、差分角度の絶対値が０になると、急激に周波数が高くなる。すなわち、差分角度が０度となった場合に、音の周波数が急激に高くなり、ユーザは、撮像装置１００の角度が水平になったことが分かる。
　グラフＧ２ａは、差分角度と、音量との関係を示す。グラフＧ２ａに示すように、差分角度の絶対値が小さくなるほど、音量が高くなる。
　波形データ１１０ｂは、バイブレーター１０５の振動の特徴と差分角度との関係を定義する情報である。波形データ１１０ａは、グラフＧ１ｂと、Ｇ２ｂとを有する。グラフＧ１ｂは、差分角度と、振動の周波数との関係を示す。グラフＧ１ｂに示すように、差分角度の絶対値が小さくなるほど、振動の周波数が高くなる。また、差分角度の絶対値が０になると、急激に周波数が高くなる。
　グラフＧ２ｂは、差分角度と、振動の振幅との関係を示す。グラフＧ２ｂに示すように、差分角度の絶対値が小さくなるほど、振動の振幅が高くなる。
　図２の説明に戻る。制御部１２０は、検知部１２１と、算出部１２２と、フィードバック部１２３と、表示制御部１２４とを有する。制御部１２０は、たとえば、ＡＳＩＣ（Application　Specific　Integrated　Circuit）や、ＦＰＧＡ（Field　Programmable　Gate　Array）などの集積装置に対応する。また、制御部１２０は、たとえば、ＣＰＵ（Central　Processing　Unit）やＭＰＵ（Micro　Processing　Unit）等の電子回路に対応する。
　検知部１２１は、加速度センサー１０２から取得する加速度情報、または、ジャイロセンサー１０３から取得する回転角度情報を基にして、水平方向の角度を基準とした、撮像装置１００の第１角度を検知する処理部である。たとえば、検知部１２１は、撮像装置１００が静止している場合に、重力加速度値１Ｇが下方向に検出されることを利用して、撮像装置１００の第１角度を検知する。
　一方、撮像装置１００が動いている場合には、重力加速度以外の振動が加わったり、加速度増俸にノイズが加わったりして、下向きとして求められる第１角度が変化する。そこで、検知部１２１は、短時間の動きには、ジャイロセンサー１０３の回転角速度情報を用いて、第１角度の補正を行う。長時間の動きには、加速度センサー１０２からの加速度情報から求められる下向き方向の加速度を用いることで、撮像装置１００の第１角度を検知する。
　なお、水平角度の算出には、加速度センサー１０２（ジャイロセンサー１０３）の取り付け角と、撮像装置１００の角度との対応付けが必要である。加速度センサー１０２が傾いている場合には、予め調整しておいた回転行列によって、撮像装置１００の第１角度を補正する。
　たとえば、検知部１２１は、所定時間毎に撮像装置１００の第１角度を検知し、タイマー１０６から出力される時刻と、撮像装置１００の第１角度とを対応付けて、角度記録テーブル１１１に登録する。
　検知部１２１は、上記の処理以外の如何なる周知技術を用いて、撮像装置１００の第１角度を検知してもよい。検知部１２１は、加速度センサー１０２から出力される加速度情報、または、ジャイロセンサー１０３から出力される回転角度情報のうち、一方の情報を用いて、第１角度を検知してもよい。
　算出部１２２は、撮像部１０１から出力される撮像画面を基にして、第２角度を算出する処理部である。算出部１２２は、撮影画像を分析して対象となる被写体を検出する。なお、ユーザが、表示部１０８の撮影画像を参照し、入力部１０７を操作することで、撮影画像上の被写体を選択し、算出部１２２は、選択された被写体を、対象の被写体として検出してもよい。
　算出部１２２は、被写体が矩形に近い場合には、エッジ抽出等の技術を用いて被写体の辺を検出し、撮影画像で予め設定された水平線と、被写体の辺とのなす角度を、第２角度として算出する。矩形に近い被写体として、ノートや黒板、建物があげられる。被写体が人物の顔の場合には、算出部１２２は、目や鼻、口、耳の位置関係から、水平方向を推定し、推定した水平方向の線分と、撮影画像で予め設定された水平線とのなす角度を、第２角度として算出する。
　なお、算出部１２２は、被写体の撮影画像と、第２角度との関係を予め学習した学習モデルを用いて、第２角度を算出してもよい。たとえば、算出部１２２は、撮像部１０１から出力される撮影画像を、学習モデルに入力することで、第２角度を算出する。
　たとえば、算出部１２２は、所定時間毎に撮像装置１００の第２角度を算出し、タイマー１０６から出力される時刻と、撮像装置１００の第２角度とを対応付けて、角度記録テーブル１１１に登録する。
　フィードバック部１２３は、撮像装置１００の現在の角度と、基準角度との差分角度を、ユーザにフィードバックする処理部である。まず、フィードバック部１２３は、角度記録テーブル１１１を基にして、フィードバックの間隔を判定する処理と、撮像装置１００の角度の変化量を判定する処理と、基準角度との差分角度が基準値以内であるかを判定する処理を実行する。
　ここで、フィードバック部１２３は、撮像装置１００の角度として、第１角度または第２角度のいずれか一方を用いる。第１角度、第２角度のうち、いずれの角度を用いるかは、予め選択されていてもよいし、ユーザが入力部１０７を操作して、適宜、指定してもよい。あるいは、所定の制御ポリシーに基づいて、フィードバック部１２３が、自動的に、第１角度、第２角度のうち、いずれの角度を選択してもよい。たとえば、フィードバック部１２３は、撮影画像に被写体を検出している間は、第２角度を選択し、撮影画像に被写体を検出している間は、第１角度を選択する。
　フィードバックの間隔を判定する処理について説明する。フィードバック部１２３は、タイマー１０６から出力される現在時刻と、角度記録テーブル１１１とを比較し、前回フィードバックを行った時刻から一定時間以上経過したか否かを判定する。たとえば、前回フィードバックを行った時刻は、図３のフラグがＯＮとなる時刻のうち、最も遅い時刻となる。
　撮像装置１００の角度の変化量を判定する処理について説明する。フィードバック部１２３は、タイマー１０６から出力される現在時刻と、角度記録テーブル１１１とを比較し、前回の角度と、現在時刻の角度との変化量を特定する。フィードバック部１２３は、特定した変化量が、一定変化量以上であるか否かを判定する。
　基準角度との差分角度が基準値以内であるかを判定する処理について説明する。フィードバック部１２３は、タイマー１０６から出力される現在時刻と、角度記録テーブル１１１とを比較し、現在時刻の角度と、基準角度（０°または９０°）との差分角度の絶対値が、基準値以内であるか否かを判定する。
　フィードバック部１２３は、上記判定によって、前回フィードバックを行った時刻から一定時間以上経過し、かつ、角度の変化量が所定の一定変化量以上であり、かつ、差分の絶対値が基準値以内である場合に、後述するフィードバックを実行する。一方、フィードバック部１２３は、前回フィードバックを行った時刻から一定時間以上経過していない場合、または、角度の変化量が所定の一定変化量未満である場合、または、差分の絶対値が基準値以内でない場合に、フィードバックを実行しない（フィードバックする処理を抑止する）。
　続いて、フィードバック部１２３が実行するフィードバックについて説明する。フィードバック部１２３は、音または振動によって、フィードバックを実行する。
　フィードバック部１２３が、音によって、フィードバックする場合の処理について説明する。フィードバック部１２３は、現在時刻の角度と、基準角度との差分角度を特定し、差分角度と、波形データ１１２ａとを比較して、音の周波数と、音量とを特定する。フィードバック部１２３は、特定した音量と、周波数と、音の出力期間とを音制御情報に設定し、音制御情報をスピーカー１０４に出力する。音の出力期間は、予め設定されているものとする。
　フィードバック部１２３が、振動によって、フィードバックする場合の処理について説明する。フィードバック部１２３は、現在時刻の角度と、基準角度との差分角度を特定し、差分角度と、波形データ１１２ｂとを比較して、振動の周波数と、振幅とを特定する。フィードバック部１２３は、特定した振動の周波数と、振幅と、振動の期間とを振動制御情報に設定し、振動制御情報をバイブレーター１０５に出力する。振動の期間は、予め設定されているものとする。
　図５は、本実施形態に係るフィードバック部１２３の処理を説明するための図である。図５では、一例として、振動によってフィードバックを行うものとする。図５において、グラフＧ３ａは、時間と振動との関係を示すグラフである。グラフＧ３ｂは、差分角度と時間との関係を示すグラフである。
　フィードバック部１２３は、チャタリングしないように、角度記録テーブル１１１を基にして、前回の角度と、現在時刻の角度との変化量「ｄ０」が一定値「ｄ＿ｔｈｒｅｓ」以上となり、かつ、経過時間「ｔ０」が一定時間「ｔ＿ｔｈｒｅｓ」以上となった場合に、振動によってフォードバックを行う。また、現在の角度が、基準時から大きく離れている場合には、ユーザが水平を合わせようとしていないと推定されるため、フィードバックを抑止する。図５では、振動によってフィードバックを行う場合について説明したが、音によってフィードバックする場合も同様である。
　フィードバック部１２３は、上述した処理の他にも、次に説明するその他の処理（１）～（７）を実行してもよい。フィードバック部１２３は、その他の処理（１）～（７）を複合的に実行してもよい。
　フィードバック部１２３が実行するその他の処理（１）について説明する。フィードバック部１２３は、ユーザが撮像装置１００をゆっくり動かしている場合には、変化量と比較する閾値を小さくして、僅かな角度変化に対してフィードバックを実行する。
　図６は、フィードバック部１２３が実行するその他の処理（１）を説明するための図である。たとえば、フィードバック部１２３は、角度記録テーブル１１１を参照し、ユーザが、撮像装置１００の角度を１度／秒で動かしている場合（小さい動きの場合）には、０．５度おきに（変化量が０．５度以上となった場合に）フィードバックを行う。一方、フィードバック部１２３は、ユーザが、撮像装置１００の角度を１０度／秒で動かしている場合（大きい動きの場合）には、５度おきに（変化量が５度以上となった場合に）フィードバックを行う。
　フィードバック部１２３が実行するその他の処理（２）について説明する。フィードバック部１２３は、ユーザが撮像装置１００を構えていないと推定される場合には、フィードバックを実行しない（フィードバックする処理を抑止する）。
　フィードバック部１２３は、加速度センサー１０２から出力される加速度情報を基にして、加速度のノルムが１Ｇを大きく超える場合（たとえば、１．５Ｇを超える場合）に、超えてから一定期間、フィードバックを実行しない。フィードバック部１２３は、ジャイロセンサー１０３から出力される回転角度情報を基にして、角加速度のノルムが１０度／秒を大きく超える場合（たとえば、１５度／秒を超える場合）、超えてから一定期間、フィードバックを実行しない。
　フィードバック部１２３は、撮像装置１００のあおり角が所定の角度領域（６０度～９０度）に含まれない場合に、フィードバックを実行しない。図７は、フィードバック部１２３が実行するその他の処理（２）を説明するための図である。たとえば、あおり角は、図７に示す「θ」となる。
　フィードバック部１２３は、撮像部１０１から出力される撮影画像を基にして、撮像装置１００と、被写体との距離が所定の距離未満である場合には、フィードバックを実行しない。フィードバック部１２３は、入力部１０７（タッチパネル）に対して、所定のタッチ操作を行っている場合には、フィードバックを実行しない。また、フィードバック部１２３は、ジャイロセンサー１０３から出力される回転角度情報を基にして、水平方向の角加速度が所定の加速度以上である場合には、フィードバックを実行しない。水平方向の角加速度が所定の加速度以上である場合、ユーザが被写体を追っているといえる。
　フィードバック部１２３が実行するその他の処理（３）について説明する。図４で説明した例では、差分角度（撮像装置１００の角度と水平角度との差）が０度になった場合に、急激に周波数を大きくしていたが、チャタリングしないように、閾値の前後に遊びをもたせて、フィードバックを実行してもよい。
　たとえば、フィードバック部１２３は、差分角度が、条件「－５度＜差分角度＜５度」である場合に、水平となった旨を示す「第１音」をスピーカー１０４から出力させる。一方、フィードバック部１２３は、差分角度が、条件「－５度＜差分角度＜５度」とならない場合には、非水平である旨を示す第２音をスピーカー１０４から出力させる。
　また、上記の条件「－５度＜差分角度＜５度」のみを設定すると、差分角度が５度ぎりぎりで変化する場合に、何度も第１音がスピーカー１０４から出力されてしまうため、フィードバック部１２３は、条件の範囲を動的に変更してもよい。
　図８は、フィードバック部１２３が実行するその他の処理（３）を説明するための図である。たとえば、ステップＳ１において、差分角度を５度未満とする。ステップＳ２において、差分角度が５以上になった場合に、フィードバック部１２３は、第２音をスピーカー１０４から出力させる。この段階で、フィードバック部１２３は、ステップＳ３に示すように、閾値の前後に遊びを持たせる。フィードバック部１２３は、差分角度が４以下となった時点で、第１音をスピーカー１０４から出力させる。フィードバック部１２３は、差分角度が、６以上となった時点で、第２音をスピーカー１０４から出力させる。このように遊びを持たせることで、短期間に、何度も第１音、第２音が出力されることを抑止することができる。
　フィードバック部１２３が実行するその他の処理（４）について説明する。フィードバック部１２３が、振動によってフィードバックを行う場合、ユーザ操作に応じて触覚の種類を変更してもよい。
　図９は、フィードバック部１２３が実行するその他の処理（４）を説明するための図である。図９に示す各グラフＧ４ａ，Ｇ４ｂ，Ｇ４ｃ，Ｇ４ｄの縦軸は振幅に対応し、横軸は時間に対応する。
　フィードバック部１２３は、撮像装置１００が水平付近（たとえば、差分角度が所定角度未満）、ユーザが水平を合わせるように撮像装置１００を回転させている場合には、グラフＧ４ａに示すように、回転角度に応じた間隔の短い振動を、バイブレーター１０５によって発生させる。
　フィードバック部１２３は、差分角度が０度になった場合には、グラフＧ４ｂに示すように、振幅が徐々に減衰する一定期間の振動を、バイブレーター１０５によって発生させる。グラフＧ４ｂでは、時刻ｔ１－１において、差分角度が０度になった場合を示す。
　フィードバック部１２３は、撮像部１０１から出力される撮影画像を基にして、被写体と撮像装置１００との距離が所定の距離未満となる間、グラフＧ４ｃに示すように、一定期間の振動を、バイブレーター１０５によって発生させる。グラフＧ４ｃでは、時刻ｔ１－２において、被写体と撮像装置１００との距離が所定の距離未満となった場合を示す。フィードバック部１２３は、撮像部１０１のレンズにユーザの指などが被さっていることを検出した場合も、一定期間の振動を、バイブレーター１０５によって発生させてもよい。
　フィードバック部１２３は、撮像部１０１から出力される撮影画像を基にして、四角い対象物を検出した場合に、グラフＧ４ｃに示すように、ロックオンした旨を示す短くて強い振動（所定の閾値以上の振動）を、バイブレーター１０５によって発生させる。グラフＧ４ｃでは、時刻ｔ１－３において、四角い対象物を検出した時刻を示す。なお、グラフＧ４ｄに示す他の振動は、差分角度に応じた振動となる。
　フィードバック部１２３は、各グラフＧ４ａ，Ｇ４ｂ，Ｇ４ｃ，Ｇ４ｄに示したように、バイブレーター１０５を振動させると共に、スピーカー１０４から、差分角度に応じた音をスピーカーから出力させてもよい。
　フィードバック部１２３が実行するその他の処理（５）について説明する。フィードバック部１２３は、上記のように、差分角度に応じたフィードバックを、音または振動によって実行したが、表示制御部１２４が、表示部１０８に表示する表示画面に、水準器の画像を重畳表示させてもよい。また、フィードバック部１２３は、差分角度の数値も表示画面に重畳表示させてもよい。
　図１０は、フィードバック部１２３が実行するその他の処理（５）を説明するための図である。図１０に示すように、フィードバック部１２３は、撮像装置１００の表示画面（表示部１０８）に、水準器１００ａの画像を重畳表示させる。たとえば、フィードバック部１２３は、差分角度が、４５度以上の場合には、水準器１００ａを第１の色（たとえば、グレー）で表示させる。
　フィードバック部１２３は、差分角度が、１０度以上の４５度未満の場合には、水準器１００ａを第２の色（たとえば、赤）で表示させる（ステップＳ１１）。フィードバック部１２３は、差分角度が、５度未満の場合には、水準器１００ａを第３の色（たとえば、緑）で表示させる（ステップＳ１２）。
　ユーザは、入力部１０７を操作して、フィードバックの種別を選択する。ユーザは、入力部１０７を操作して、音によるフィードバック、振動によるフィードバック、水準器によるフィードバックのうち、いずれか一つを選択してもよいし、複数を選択してもよい。フィードバック部１２３は、選択された種別によってフィードバックを実行する。
　また、フィードバック部１２３は、ユーザが撮像装置１００を操作する動きの大きさに応じて、フィードバックの種別を自動的に切り替えてもよい。たとえば、撮像装置１００の角度を１度／秒で動かしている場合（小さい動きの場合）には、音によるフィードバック、振動によるフィードバック、水準器によるフィードバックのうち、全てのフィードバックを行う。
　一方、フィードバック部１２３は、ユーザが、撮像装置１００の角度を１０度／秒で動かしている場合（大きい動きの場合）には、水準器によるフィードバックのみのフィードバックを行う。
　フィードバック部１２３が実行するその他の処理（６）について説明する。フィードバック部１２３は、上述したフィードバックを行う場合、撮像部１０１から出力される撮影画像から被写体を検出したか否かを基にして、第１角度と、第２角度とを切り替えてもよい。
　たとえば、フィードバック部１２３は、撮影画像から被写体を検出していない間は、第１角度を用いて、差分角度を算出し、差分角度に応じたフィードバックを行う。フィードバック部１２３は、撮影画像から被写体を検出している間は、第２角度を用いて、差分角度を算出し、差分角度に応じたフィードバックを行う。フィードバック部１２３は、オートフォーカス機能を用いて、被写体を検出してもよい。
　フィードバック部１２３が実行するその他の処理（７）について説明する。フィードバック部１２３は、撮像部１０１から出力される撮影画像から被写体を検出し、予め登録した水平を定義可能な被写体を検出した場合には、被写体の辺に合わせて、水準器を表示してもよい。フィードバック部１２３は、差分角度の数値を更に表示させてもよい。
　図１１は、フィードバック部１２３が実行するその他の処理（７）を説明するための図である。図１１に示すように、被写体２０が、予め登録された被写体である場合には、フィードバック部１２３は、被写体２０上に定義される水平の辺に合わせて、水準器１００ａを表示する。なお、フィードバック部１２３は、被写体２０が撮影画面から外れた場合には、水準器１００ａを表示させない。
　フィードバック部１２３は、撮影画像から被写体を検出した場合でも、該当する被写体が予め登録されていない場合には、水準器１００ａを表示させない。
　図２の説明に戻る。表示制御部１２４は、撮像部１０１から出力される撮影画像を、表示部１０８に出力して、撮影画像を表示させる。また、表示制御部１２４は、上述したフィードバック部１２３と協働して、表示部１０８の表示画面に、水準器１００ａを重畳表示させる。
＜＜１．３．本実施形態に係る撮像装置の処理手順＞＞
　続いて、本実施形態に係る撮像装置１００の処理手順の一例について説明する。図１２は、本実施形態に係る撮像装置１００の処理手順を示すフローチャート（１）である。撮像装置１００は、図１２に示す処理を繰り返し実行する。
　図１２に示すように、撮像装置１００は、加速度情報および回転角度情報を取得する（ステップＳ１０１）。撮像装置１００の検知部１２１は、加速度情報および回転角度情報を基にして、撮像装置１００の第１角度を検知する（ステップＳ１０２）。
　撮像装置１００は、撮像画像を取得する（ステップＳ１０３）。撮像装置１００の算出部１２２は、撮像画像に含まれる被写体を基にして、第２角度を算出する（ステップＳ１０４）。撮像装置１００は、現在の撮像装置１００の角度を角度記録テーブル１１１に登録する（ステップＳ１０５）。撮像装置１００のフィードバック部１２３は、前回フィードバックからの経過時間、角度の変化量を特定する（ステップＳ１０６）。
　フィードバック部１２３は、経過時間が一定時間以上でない場合には（ステップＳ１０７，Ｎｏ）、処理を終了する。一方、フィードバック部１２３は、経過時間が一定時間以上の場合には（ステップＳ１０７，Ｙｅｓ）、ステップＳ１０８に移行する。
　フィードバック部１２３は、角度の変化量が一定角度以上でない場合には（ステップＳ１０８，Ｎｏ）、処理を終了する。一方、フィードバック部１２３は、角度の変化量が一定角度以上の場合には（ステップＳ１０８，Ｙｅｓ）、ステップＳ１０９に移行する。
　フィードバック部１２３は、差分角度が閾値以内でない場合には（ステップＳ１０９，Ｎｏ）、処理を終了する。一方、フィードバック部１２３は、差分角度が閾値以内の場合には（ステップＳ１０９，Ｙｅｓ）、ステップＳ１１０に移行する。
　フィードバック部１２３は、差分角度に応じて、フィードバックを実行し（ステップＳ１１０）、角度記録テーブル１１１のフラグをＯＮに設定する（ステップＳ１１１）。
　図１３は、本実施形態に係る撮像装置１００の処理手順の一例を示すフローチャート（２）である。図１３に示すように、撮像装置１００は、加速度情報および回転角度情報を取得する（ステップＳ２０１）。撮像装置１００の検知部１２１は、加速度情報および回転角度情報を基にして、撮像装置１００の第１角度を検知する（ステップＳ２０２）。
　撮像装置１００は、撮像画像を取得する（ステップＳ２０３）。撮像装置１００の算出部１２２は、撮像画像に含まれる被写体を基にして、第２角度を算出する（ステップＳ２０４）。撮像装置１００は、現在の撮像装置１００の角度を角度記録テーブル１１１に登録する（ステップＳ２０５）。
　撮像装置１００のフィードバック部１２３は、撮像装置１００の角度と、基準角度との差分角度を算出する（ステップＳ２０６）。フィードバック部１２３は、差分角度が所定角度以上でない場合には（ステップＳ２０７，Ｎｏ）、ステップＳ２１１に移行する。一方、フィードバック部１２３は、差分角度が所定角度以上の場合には（ステップＳ２０７，Ｙｅｓ）、ステップＳ２０８に移行する。
　フィードバック部１２３は、加速度ノルムを算出する（ステップＳ２０８）。フィードバック部１２３は、加速度ノルムが所定のノルム以上の場合には（ステップＳ２０９，Ｙｅｓ）、水準器を表示しつつ、フィードバック処理を実行する（ステップＳ２１０）。
　フィードバック部１２３は、加速度ノルムが所定のノルム以上でない場合には（ステップＳ２０９，Ｎｏ）、水準器を用いないで、フィードバック処理を実行する（ステップＳ２１１）。
　図１４は、本実施形態に係る撮像装置１００の処理手順の一例を示すフローチャート（３）である。撮像装置１００は、加速度情報および回転角度情報を取得する（ステップＳ３０１）。撮像装置１００の検知部１２１は、加速度情報および回転角度情報を基にして、撮像装置１００の第１角度を検知する（ステップＳ３０２）。
　撮像装置１００は、撮像画像を取得する（ステップＳ３０３）。撮像装置１００の算出部１２２は、撮像画像に含まれる被写体を基にして、第２角度を算出する（ステップＳ３０４）。撮像装置１００は、現在の撮像装置１００の角度を角度記録テーブル１１１に登録する（ステップＳ３０５）。
　撮像装置１００のフィードバック部１２３は、撮影画像に水平提示に適する被写体が含まれない場合には（ステップＳ３０６，Ｎｏ）、水準器を表示しないで、フィードバック処理を実行する（ステップＳ３０７）。
　一方、フィードバック部１２３は、撮影画像に水平提示に適する被写体が含まれている場合には（ステップＳ３０６，Ｙｅｓ）、被写体に合わせて、水準器を表示する（ステップＳ３０８）。フィードバック部１２３は、水準器を表示しつつ、フィードバック処理を実行する（ステップＳ３０９）。
＜＜１．４．本実施形態に係る撮像装置の効果＞＞
　次に、本実施形態に係る撮像装置１００の効果について説明する。撮像装置１００は、自撮像装置の現在の角度を検知し、検知した自撮像装置の現在の角度と、基準角度との差分角度を、ユーザにフィードバックする。このため、ユーザは、最適な角度で被写体を撮影することができる。
　撮像装置１００は、撮像部１０１が撮影した撮影画像から被写体を特定し、被写体の画像を基にして、自撮像装置の角度を算出する。これによって、被写体に適した水平提示を行うことができる。
　撮像装置１００は、加速度センサー１０２またはジャイロセンサー１０３のうち、少なくとも一方を用いて、撮像装置の現在の角度を検知する。これによって、加速度情報を用いて、ユーザの大きな動きに対して、撮像装置１００の角度を検知でき、回転角速度情報を用いて、ユーザの小さい動きに対応して、撮像装置１００の角度を精度良く検知することができる。
　撮像装置１００は、撮像部１０１に撮影された撮影画像を基にして、検知部１２１に検知された第１角度、または、算出部１２２によって算出された第２角度のいずれか一方の角度と、基準角度との差分角度を特定する。これによって、撮影画像に応じて、最適な差分角度をユーザにフィードバックすることができる。
　撮像装置１００は、前回フィードバックした時刻からの経過時間が一定時間以上でない場合には、フィードバックする処理を抑止する。これによって、適切に時間間隔を開けて、ユーザにフィードバックを行うことができる。
＜２．ハードウェア構成＞
　上述してきた各実施形態に係る撮像装置は、たとえば、図１５に示すような構成のコンピュータ１０００によって実現される。以下、実施形態に係る撮像装置１００を例に挙げて説明する。図１５は、撮像装置の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read　Only　Memory）１３００、ＨＤＤ（Hard　Disk　Drive）１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
　ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
　ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
　ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る情報処理プログラムを記録する記録媒体である。
　通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
　入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Digital　Versatile　Disc）、ＰＤ（Phase　change　rewritable　Disk）等の光学記録媒体、ＭＯ（Magneto-Optical　disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
　例えば、コンピュータ１０００が実施形態に係る撮像装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたフィードバックプログラムを実行することにより、検知部１２１、算出部１２２、フィードバック部１２３、表示制御部１２４等の機能を実現する。また、ＨＤＤ１４００には、本開示に係るフィードバックプログラム等が格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。
＜３．むすび＞
　撮像装置は、自撮像装置の角度を検知する検知部と、前記検知部によって検知された自撮像装置の角度と、基準角度との差分角度を、ユーザにフィードバックするフィードバック部とを有する。前記フィードバック部は、音または振動のうち少なくとも一方を用いて、フィードバックを行う。これによって、ユーザは、最適な角度で被写体を撮影することができる。
　撮像装置は、被写体の画像を撮影する撮像部と、前記被写体の画像を基にして、自撮像装置の角度を算出する算出部を更に有する。これによって、被写体に適した水平提示を行うことができる。
　フィードバック部は、前記被写体の画像を基にして、前記検知部によって検知された角度と、前記算出部に算出された角度のうち一方の角度を選択し、選択した角度と、基準角度との差分角度を、ユーザにフィードバックする。これによって、撮影画像に応じて、最適な差分角度をユーザにフィードバックすることができる。
　検知部は、自撮像装置に設置された加速度センサーまたはジャイロセンサーのうち、少なくとも一方を用いて、自撮像装置の角度を検知する。これによって、加速度情報を用いて、ユーザの大きな動きに対して、撮像装置の角度を検知でき、回転角速度情報を用いて、ユーザの小さい動きに対応して、撮像装置の角度を精度良く検知することができる。
　フィードバック部は、前記差分角度に応じてユーザにフィードバックする際の強度を調整する。これによって、ユーザは、差分角度を感覚的に把握することができる。
　フィードバック部は、前記差分角度が所定角度未満の場合に、自撮像装置の角度が、前記基準角度となった旨をフィードバックする。これによって、撮像装置の角度が正確に所定角度（０度、９０度）にならなくても、撮影画像に影響を与えない程度に、撮像装置の角度が所定角度に達したことをユーザにフィードバックすることができる。
　フィードバック部は、前回フィードバックした時刻からの経過時間が所定時間未満である場合には、フィードバックすることを抑止する。これによって、継続してフィードバックを行わず、間隔を開けて、フィードバックを実行することができる。
　フィードバック部は、前記差分角度を画面に表示する。これによって、ユーザは、差分角度の数値を把握することができる。
　フィードバック部は、自撮像装置の前回の角度から、自撮像装置の今回の角度までの変化量が一定の変化量未満である場合には、フィードバックすることを抑止する。これによって、撮影装置の角度の変化量が一定以上となった場合にのみ、フィードバックを実行することができる。
　フィードバック部は、前記差分角度が所定角度以上である場合に、フィードバックすることを抑止する。これによって、差分角度が大きく、明らかにユーザが、撮像装置を構える動作を行っていない場合に、フィードバックすることを防止することができる。
　フィードバック部は、自撮像装置と、前記被写体との距離との距離に応じたフィードバックを行う。これによって、たとえば、被写体との距離が近く、撮影に適していない状況において、フィードバックすることを防止できる。
　フィードバック部は、前記被写体の辺に合わせて水準器を表示させる。これによって、ユーザは、被写体の対して適した角度で、撮影を実行することができる。
　なお、本技術は以下のような構成も取ることができる。
（１）
　自撮像装置の角度を検知する検知部と、
　前記検知部によって検知された自撮像装置の角度と、基準角度との差分角度を、ユーザにフィードバックするフィードバック部と
　を有する撮像装置。
（２）
　被写体の画像を撮影する撮像部と、
　前記被写体の画像を基にして、自撮像装置の角度を算出する算出部を更に有することを特徴とする前記（１）に記載の撮像装置。
（３）
　前記フィードバック部は、前記被写体の画像を基にして、前記検知部によって検知された角度と、前記算出部に算出された角度のうち一方の角度を選択し、選択した角度と、基準角度との差分角度を、ユーザにフィードバックすることを特徴とする前記（２）に記載の撮像装置。
（４）
　前記検知部は、自撮像装置に設置された加速度センサーまたはジャイロセンサーのうち、少なくとも一方を用いて、自撮像装置の角度を検知することを特徴とする前記（１）、（２）または（３）に記載の撮像装置。
（５）
　前記フィードバック部は、前記差分角度に応じてユーザにフィードバックする際の強度を調整することを特徴とする前記（１）～（４）のいずれか一つに記載の撮像装置。
（６）
　前記フィードバック部は、前記差分角度が所定角度未満の場合に、自撮像装置の角度が、前記基準角度となった旨をフィードバックすることを特徴とする前記（１）～（５）のいずれか一つに記載の撮像装置。
（７）
　前記フィードバック部は、前回フィードバックした時刻からの経過時間が所定時間未満である場合には、フィードバックすることを抑止することを特徴とする前記（１）～（６）のいずれか一つに記載の撮像装置。
（８）
　前記フィードバック部は、前記差分角度を画面に表示することを特徴とする前記（１）～（７）のいずれか一つに記載の撮像装置。
（９）
　前記フィードバック部は、自撮像装置の前回の角度から、自撮像装置の今回の角度までの変化量が一定の変化量未満である場合には、フィードバックすることを抑止することを特徴とする前記（１）～（８）のいずれか一つに記載の撮像装置。
（１０）
　前記フィードバック部は、前記差分角度が所定角度以上である場合に、フィードバックすることを抑止することを特徴とする前記（１）～（８）のいずれか一つに記載の撮像装置。
（１１）
　前記フィードバック部は、自撮像装置と、前記被写体との距離との距離に応じたフィードバックを行うことを特徴とする前記（２）に記載の撮像装置。
（１２）
　前記フィードバック部は、前記被写体の辺に合わせて水準器を表示させることを特徴とする前記（２）または（１１）に記載の撮像装置。
（１３）
　前記フィードバック部は、音または振動のうち少なくとも一方を用いて、フィードバックを行うことを特徴とする前記（１）～（１２）のいずれか一つに記載の撮像装置。
（１４）
　コンピュータが、
　自撮像装置の角度を検知し、
　検知した自撮像装置の角度と、基準角度との差分角度を、ユーザにフィードバックする
　処理を実行するフィードバック方法。
（１５）
　コンピュータを、
　自撮像装置の角度を検知する検知部と、
　前記検知部によって検知された自撮像装置の角度と、基準角度との差分角度を、ユーザにフィードバックするフィードバック部と
　として機能させるためのフィードバックプログラム。
　１００　　撮像装置
　１０１　　撮像部
　１０２　　加速度センサー
　１０３　　ジャイロセンサー
　１０４　　スピーカー
　１０５　　バイブレーター
　１０６　　タイマー
　１０７　　入力部
　１０８　　表示部
　１１０　　記憶部
　１１１　　角度記録テーブル
　１１２　　波形データ
　１２０　　制御部
　１２１　　検知部
　１２２　　算出部
　１２３　　フィードバック部
　１２４　　表示制御部

Claims (15)

  1. 　自撮像装置の角度を検知する検知部と、
    　前記検知部によって検知された自撮像装置の角度と、基準角度との差分角度を、ユーザにフィードバックするフィードバック部と
    　を有する撮像装置。
  2. 　被写体の画像を撮影する撮像部と、
    　前記被写体の画像を基にして、自撮像装置の角度を算出する算出部を更に有することを特徴とする請求項１に記載の撮像装置。
  3. 　前記フィードバック部は、前記被写体の画像を基にして、前記検知部によって検知された角度と、前記算出部に算出された角度のうち一方の角度を選択し、選択した角度と、基準角度との差分角度を、ユーザにフィードバックすることを特徴とする請求項２に記載の撮像装置。
  4. 　前記検知部は、自撮像装置に設置された加速度センサーまたはジャイロセンサーのうち、少なくとも一方を用いて、自撮像装置の角度を検知することを特徴とする請求項１に記載の撮像装置。
  5. 　前記フィードバック部は、前記差分角度に応じてユーザにフィードバックする際の強度を調整することを特徴とする請求項１に記載の撮像装置。
  6. 　前記フィードバック部は、前記差分角度が所定角度未満の場合に、自撮像装置の角度が、前記基準角度となった旨をフィードバックすることを特徴とする請求項５に記載の撮像装置。
  7. 　前記フィードバック部は、前回フィードバックした時刻からの経過時間が所定時間未満である場合には、フィードバックすることを抑止することを特徴とする請求項１に記載の撮像装置。
  8. 　前記フィードバック部は、前記差分角度を画面に表示することを特徴とする請求項１に記載の撮像装置。
  9. 　前記フィードバック部は、自撮像装置の前回の角度から、自撮像装置の今回の角度までの変化量が一定の変化量未満である場合には、フィードバックすることを抑止することを特徴とする請求項１に記載の撮像装置。
  10. 　前記フィードバック部は、前記差分角度が所定角度以上である場合に、フィードバックすることを抑止することを特徴とする請求項１に記載の撮像装置。
  11. 　前記フィードバック部は、自撮像装置と、前記被写体との距離との距離に応じたフィードバックを行うことを特徴とする請求項２に記載の撮像装置。
  12. 　前記フィードバック部は、前記被写体の辺に合わせて水準器を表示させることを特徴とする請求項２に記載の撮像装置。
  13. 　前記フィードバック部は、音または振動のうち少なくとも一方を用いて、フィードバックを行うことを特徴とする請求項１に記載の撮像装置。
  14. 　コンピュータが、
    　自撮像装置の角度を検知し、
    　検知した自撮像装置の角度と、基準角度との差分角度を、ユーザにフィードバックする
    　処理を実行するフィードバック方法。
  15. 　コンピュータを、
    　自撮像装置の角度を検知する検知部と、
    　前記検知部によって検知された自撮像装置の角度と、基準角度との差分角度を、ユーザにフィードバックするフィードバック部と
    　として機能させるためのフィードバックプログラム。
PCT/JP2021/008059 2020-03-12 2021-03-03 撮像装置、フィードバック方法およびフィードバックプログラム WO2021182205A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-042624 2020-03-12
JP2020042624 2020-03-12

Publications (1)

Publication Number Publication Date
WO2021182205A1 true WO2021182205A1 (ja) 2021-09-16

Family

ID=77671584

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/008059 WO2021182205A1 (ja) 2020-03-12 2021-03-03 撮像装置、フィードバック方法およびフィードバックプログラム

Country Status (1)

Country Link
WO (1) WO2021182205A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007173966A (ja) * 2005-12-19 2007-07-05 Sony Corp 撮像装置及びその画像データ処理方法
JP2010124177A (ja) * 2008-11-19 2010-06-03 Olympus Imaging Corp 撮像装置および撮像装置の制御方法
JP2018074439A (ja) * 2016-10-31 2018-05-10 キヤノン株式会社 撮像装置およびその制御方法
JP2019054378A (ja) * 2017-09-14 2019-04-04 キヤノン株式会社 撮像装置及びその制御方法、並びにプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007173966A (ja) * 2005-12-19 2007-07-05 Sony Corp 撮像装置及びその画像データ処理方法
JP2010124177A (ja) * 2008-11-19 2010-06-03 Olympus Imaging Corp 撮像装置および撮像装置の制御方法
JP2018074439A (ja) * 2016-10-31 2018-05-10 キヤノン株式会社 撮像装置およびその制御方法
JP2019054378A (ja) * 2017-09-14 2019-04-04 キヤノン株式会社 撮像装置及びその制御方法、並びにプログラム

Similar Documents

Publication Publication Date Title
CN101776837B (zh) 投影仪以及控制方法
JP5670476B2 (ja) 傾斜又は遠近修正能力を有する画像捕獲装置
JP5121963B2 (ja) 電子機器及び制御方法
JP5498573B2 (ja) ディスプレイを含む携帯電子機器、及び該機器の制御方法
JP6098874B2 (ja) 撮像装置および画像処理装置
WO2018205902A1 (zh) 防抖控制方法和装置
JP6877149B2 (ja) 撮影位置推薦方法、コンピュータプログラムおよび撮影位置推薦システム
JP6128389B2 (ja) 撮像装置
WO2020051831A1 (zh) 手持云台的控制方法及手持云台、手持设备
CN106210544A (zh) 一种移动终端及其拍摄视频的防抖处理方法、系统
JP2013017165A (ja) 撮像装置
JP6098873B2 (ja) 撮像装置および画像処理装置
US10552946B2 (en) Display control apparatus and method for controlling the same based on orientation
US20170171492A1 (en) Display control apparatus, imaging apparatus, and display control method
US10643315B2 (en) Information processing apparatus, information processing method, and recording medium
KR100215448B1 (ko) 캠코더의 손떨림/이동속도 디스플레이장치
JP2017083916A (ja) ジェスチャー認識装置、ヘッドマウントディスプレイ、および携帯端末
WO2020181530A1 (zh) 云台振动调节的方法、云台以及客户端
JP2002207703A (ja) 電子装置
WO2021182205A1 (ja) 撮像装置、フィードバック方法およびフィードバックプログラム
CN109033100A (zh) 提供页面内容的方法及装置
US20200402218A1 (en) Information processing apparatus, information processing method, and program
JP6756103B2 (ja) 電子機器、表示システム、表示装置、撮像装置、表示制御方法及びプログラム
JP6919257B2 (ja) 画像表示制御装置、画像表示制御方法、及びプログラム
JP2012243266A (ja) 電子機器及び表示方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21768490

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP

122 Ep: pct application non-entry in european phase

Ref document number: 21768490

Country of ref document: EP

Kind code of ref document: A1