WO2014155789A1 - 撮像装置、構図アシスト装置、構図アシスト方法、及び構図アシストプログラム - Google Patents
撮像装置、構図アシスト装置、構図アシスト方法、及び構図アシストプログラム Download PDFInfo
- Publication number
- WO2014155789A1 WO2014155789A1 PCT/JP2013/076401 JP2013076401W WO2014155789A1 WO 2014155789 A1 WO2014155789 A1 WO 2014155789A1 JP 2013076401 W JP2013076401 W JP 2013076401W WO 2014155789 A1 WO2014155789 A1 WO 2014155789A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- composition
- information
- image data
- priority
- subject
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2101/00—Still video cameras
Definitions
- the present invention relates to an imaging apparatus, a composition assist apparatus, a composition assist method, and a composition assist program that assist the setting of a photographing composition according to a subject.
- an imaging apparatus having a function of assisting a user when taking an image has been proposed.
- imaging conditions such as shutter speed, aperture value, ISO sensitivity, focus position, and necessity of flash are automatically set based on information acquired from a server.
- An apparatus is disclosed.
- Japanese Patent Application Laid-Open No. 2011-223599 discloses an imaging device that can display shooting guidance according to a subject of interest.
- a subject of interest is determined from a shooting mode and a guide line is displayed based on the target subject. It is hard to say that information is being provided. Furthermore, the technique disclosed in Japanese Patent Application Laid-Open No. 2011-223599 cannot provide information regarding a shooting composition that the user himself is not aware of (not knowing).
- the present invention has been made in view of the above circumstances, and an imaging apparatus and composition assistance that present a user with an appropriate shooting composition (including a shooting composition that the user does not know) according to the subject with a simple operation.
- An object is to provide an apparatus, a composition assist method, and a composition assist program.
- an imaging apparatus provides: A subject database storing data in which an image feature amount extracted from image data for each subject and a subject type corresponding to the image feature amount are associated; A composition database storing data in which the subject type and composition assist information corresponding to the subject type are associated; A shooting unit for acquiring shot image data by shooting; A determination unit that extracts an image feature amount from the captured image data, and determines a subject type of the captured image data based on the extracted image feature amount and data stored in the subject database; A search unit for detecting, from the composition database, composition assistance information corresponding to the photographed image data based on the subject type determined by the determination unit and data stored in the composition database; Characteristic information related to each image data is extracted from the captured image data and sample image data related to composition assistance information detected by the search unit, and based on the difference between the characteristic information, the search unit A priority setting unit for setting a priority when presenting the detected composition assistance information to the user; A display unit for displaying the composition assist information according to the
- a composition assisting device comprises: A subject database storing data in which an image feature amount extracted from image data for each subject and a subject type corresponding to the image feature amount are associated; A composition database storing data in which the subject type and composition assist information corresponding to the subject type are associated; A captured image data acquisition unit for acquiring captured image data; A determination unit that extracts an image feature amount from the photographed image data, and determines a subject type of the photographed image data based on the extracted image feature amount and data stored in the subject database; A search unit for detecting composition assistance information corresponding to the photographed image data from the composition database based on the subject type determined by the determination unit and the data stored in the composition database; Characteristic information related to each image data is extracted from the captured image data and sample image data related to composition assistance information detected by the search unit, and based on the difference between the characteristic information, the search unit A priority setting unit for setting a priority when presenting the detected composition assistance information to the user; A display unit for displaying the composition assist
- a composition assist method comprises: Get the shot image data, Extracting image features from the captured image data, A subject corresponding to the extracted image feature amount from a subject database storing data in which an image feature amount extracted from image data for each subject and a subject type corresponding to the image feature amount are associated with each other. Detect the type Searching composition assist information corresponding to the detected subject type from a composition database storing data in which the subject type and composition assist information corresponding to the subject type are associated; Characteristic information related to each image data is extracted from the photographed image data and sample image data related to the searched composition assist information, and the searched composition assist information is based on a difference between the characteristic information.
- Set the priority when presenting to the user The composition assist information is displayed according to the set priority. It is characterized by comprising.
- a composition assist program provides: A function to acquire captured image data; A function of extracting an image feature amount from the captured image data; A subject corresponding to the extracted image feature amount from a subject database storing data in which an image feature amount extracted from image data for each subject and a subject type corresponding to the image feature amount are associated with each other.
- a function to detect the type A function for retrieving composition assist information corresponding to the detected subject type from a composition database storing data in which the subject type and composition assist information corresponding to the subject type are associated; Characteristic information related to each image data is extracted from the photographed image data and sample image data related to the searched composition assist information, and the searched composition assist information is based on a difference between the characteristic information.
- Function to set the priority when presenting to the user A function of displaying the composition assist information according to the set priority; Is realized on a computer.
- FIG. 1 is a diagram illustrating a configuration example of an imaging apparatus according to the first embodiment of the present invention.
- FIG. 2 is a diagram showing a first part of a series of flowcharts related to composition assist information presentation processing by the imaging apparatus according to the first embodiment of the present invention.
- FIG. 3 is a diagram showing a second part of a series of flowcharts related to composition assist information presentation processing by the imaging apparatus according to the first embodiment of the present invention.
- FIG. 4 is a diagram illustrating an example of a display form of composition assist information on the display unit of the imaging apparatus.
- FIG. 5 is a diagram illustrating an example of a display form of composition assist information on the display unit of the imaging apparatus.
- FIG. 6 is a diagram illustrating an example of a display form of composition assist information on the display unit of the imaging apparatus.
- FIG. 1 is a diagram illustrating a configuration example of the imaging apparatus according to the first embodiment.
- the imaging apparatus 1 includes an imaging unit 2, a determination unit 4, a search unit 6, a priority setting unit 8, a display unit 10, and a subject database (hereinafter, abbreviated as subject DB). 12, a composition database (hereinafter abbreviated as composition DB) 14, and a control unit 16.
- the imaging unit 2 captures an image of a subject and generates image data when a shutter (not shown) is half-pressed / fully pressed.
- image data generated by half-pressing a shutter (not shown) is collectively referred to as “temporarily captured image data”.
- composition assist processing is executed using temporary captured image data.
- a book generated by a full press operation of a shutter (not shown) instead of temporary captured image data.
- the composition assist process is executed using captured image data (image data actually captured and stored in a storage medium (not shown) or image data acquired regardless of a so-called through image shutter operation)
- the actual captured image data is used instead of the provisional captured image data, it is urged to refer to the composition assist information for the next and subsequent capturing.
- the determination unit 4 extracts an image feature amount from the temporarily captured image data, and determines a subject type of the temporarily captured image data based on the image feature amount and data stored in the subject DB 12. In other words, the determination unit 4 extracts an image feature amount from the photographed image data, and determines the subject type of the photographed image data based on the extracted image feature amount and the data stored in the subject database 12. judge.
- various methods performed as general object recognition can be used for the determination of the subject type by the determination unit 4. Specifically, for example, LBP, SIFT, SURF, ORB, HSV histogram and the like are extracted from the image data. Then, using these, for example, the subject type may be determined by machine learning such as SVM.
- the search unit 6 searches the composition DB 14 for composition assist information corresponding to the subject type of the provisional captured image data determined by the determination unit 4. In other words, the search unit 6 detects composition assistance information corresponding to the captured image data from the composition database 14 based on the subject type determined by the determination unit 4 and the data stored in the composition database 14. To do.
- the one or more pieces of composition assistance information detected by the search unit 6 are candidates for composition assistance information to be presented to the user.
- the composition assistance information of the presentation candidates is usually a plurality, but it may of course be one composition assistance information.
- the composition assistance information of the presentation candidates detected by the above-described processing is set with a priority by the priority setting unit 8 and presented to the user in a mode corresponding to the priority (high priority) ( (Displayed on the display unit 10).
- the composition assist information includes “sample registration image data” indicating an example of a shooting composition, “setting information” for setting shooting conditions, and setting conditions for the imaging apparatus such as shooting angles and configuration points. It is information including at least one of “guide information” that explains to the user about matters that are not.
- the priority setting unit 8 extracts characteristic information from the temporarily captured image data acquired by the imaging unit 2 and the sample registration image data related to the composition assist information detected by the search unit 6, and the difference between the characteristic information Based on the above, the priority when presenting to the user is set for each composition assist information.
- the priority setting unit 8 extracts characteristic information related to each image data from the captured image data and the sample image data related to the composition assist information detected by the search unit 6, and the characteristic information Based on the difference between them, the priority for presenting the composition assistance information detected by the search unit 6 to the user is set.
- characteristic information include, for example, “image feature amount” extracted by the determination unit 4 and “shooting conditions when provisional captured image data is acquired”.
- the priority setting unit 8 calculates the same type of “difference between characteristic information” for the provisionally captured image data and the sample registration image data, and the composition assist information having a larger difference is prioritized. Set the degree higher.
- a deviation amount between the subject detection position in the temporarily captured image data and the subject position in the sample registration image may be used as the “characteristic information difference”.
- the amount of deviation (area difference) of the subject area may be set as “characteristic information difference”.
- a cumulative difference between image feature amounts (templates) expressed by luminance values of low resolution (for example, 16 ⁇ 16 pixels) extracted from image data may be used as “difference in characteristic information”.
- the priority setting unit 8 sets the “characteristic information difference”.
- the image feature amount required for the calculation may be separately extracted.
- the shooting condition when used as the characteristic information, for example, a difference in numerical values such as a camera posture (acceleration sensor information), a focal length, an aperture, and a shutter speed may be used as the “characteristic information difference”. Further, a combination of the above-described differences in the photographing conditions may be referred to as “characteristic information difference”.
- the display unit 10 displays the composition assist information detected by the search unit 6 according to the priority set by the priority setting unit 8. In other words, the display unit 10 displays the composition assist information according to the priority set by the priority setting unit 8.
- the subject DB 12 stores, for each subject, data obtained by associating image feature amounts of image data related to the subject and subject types corresponding to the respective image feature amounts.
- the subject DB 12 stores data in which the image feature amount extracted from the image data for each subject and the subject type corresponding to the image feature amount are associated with each other.
- the composition DB 14 stores data obtained by associating each subject type with composition assist information corresponding to each subject type. In other words, the composition DB 14 stores data in which the subject type is associated with the composition assist information corresponding to the subject type.
- the control unit 16 includes, for example, a CPU (Central Processing Unit) and the like, and comprehensively controls each unit of the imaging apparatus 1.
- a CPU Central Processing Unit
- FIGS. 2 and 3 are flowcharts illustrating the composition assist process by the control unit 16 of the imaging apparatus according to the first embodiment.
- the imaging unit 2 is controlled by the control unit 16 in response to a half-pressing operation of a shutter (not shown) by the user, and generates temporarily captured image data (step S1).
- the determination unit 4 extracts an image feature amount from the provisional captured image data generated in step S1 under the control of the control unit 16 (step S2).
- the determination unit 4 refers to the data stored in the subject DB 12 based on the image feature amount extracted in step S2, and determines the subject type related to the provisional captured image data (step S3). ).
- the search unit 6 searches the composition DB 14 for composition assist information candidates according to the subject type of the provisionally captured image data determined in step S3 under the control of the control unit 16 (step S4).
- the priority setting unit 8 extracts characteristic information from the provisional captured image data under the control of the control unit 16 (step S5), and the characteristic information from the sample registered image data related to the composition assist information searched in step S4. Is extracted (step S6). Then, under the control of the control unit 16, the priority setting unit 8 calculates “difference” between the same type of characteristic information for the provisional captured image data and the sample registration image data, and based on the difference, Priorities for presentation are set (step S7).
- the display unit 10 causes the display unit 10 to display the composition assist information candidate detected in step S4 in the display mode according to the priority set in step S7 under the control of the control unit 16 (step S8).
- FIG. 4 is a diagram illustrating an example of a display form of composition assist information on the display unit 10 of the imaging apparatus 1.
- temporary captured image data is displayed in the first display area 10a having the maximum display area on the display unit 10
- composition assist information is displayed in an adjacent area (upper side) of the first display area 10a.
- the second display area 10b for displaying the composition assist information with the highest priority is displayed in the third display area 10c for displaying the composition assist information in the adjacent area (lower side) of the first display area 10a. Displays composition assist information having the next highest priority.
- the above-described “guide information” is displayed together with “sample registration image data” as composition assistance information.
- the composition assist information is displayed so as to be selectable by the user, and the user selects composition assist information that the user likes among the plurality of composition assist information displayed (first display area). 10a).
- the control unit 16 causes the display unit 10 to display “setting information” and “guide information” included in the selected composition assistance information.
- the sample registration image included in the composition assist information is displayed at the stage of displaying the composition assist information candidate at the stage, and that “setting information” and “guide information” included in the composition assist information are displayed to a minimum.
- composition assist information cannot be displayed on the display unit 10 at the same time due to the reason that the area of the display area in the display unit 10 is limited, for example, scrolling of the display area is used.
- the user may present all the composition assist information in a viewable manner.
- the first display area 10a may display a through image at that time instead of the provisionally captured image data.
- composition assistance information may be configured to automatically execute the setting related to “setting information” included in the composition assistance information when the composition assistance information is selected by the user.
- the imaging device the composition assist device, which presents the user with an appropriate shooting composition (including a shooting composition that the user does not know) according to the subject with a simple operation
- a composition assist method can be provided.
- the imaging apparatus the composition assist device, and the composition assist method according to the first embodiment, although the subject type is the same as the subject of the provisionally captured image data, the most photographed composition is the temporary captured image data. Different sample registration image data is preferentially presented to the user. This provides the user with information (assuming setting of the shooting composition) that leads to shooting in a composition that is not noticed (not known) at the time when the user acquires the provisional captured image data.
- the large “difference in characteristic information” between the provisional captured image data and the sample registered image data means that there is a large discrepancy between the current state and the composition assistance information regarding the photographing of the subject determined from the image feature amount of the provisional captured image data. It means that. This means that the user is not aware of the contents (shooting composition) presented in the composition assistance information, and by presenting this preferentially, the user obtains composition assistance information that he / she is not aware of. Shooting.
- the determination unit 4, the search unit 6, the priority setting unit 8, the display unit 10, the subject DB 12, and the composition DB 14 of the imaging device 1 according to the first embodiment described above need not necessarily be included in the imaging device 1.
- it may be provided in a server device capable of communicating with the imaging device 1.
- the imaging device 1 and the server device cooperate to function as one composition assist device.
- characteristic information difference information such as a shooting mode, an art filter, and a lens type is used as the characteristic information, and the difference between them is referred to as “characteristic information difference”.
- a memory (not shown) of the priority setting unit 8 stores data obtained by quantifying the “difference in characteristic information” as a table, and the “difference in characteristic information” is referred to by referring to the table. And it is sufficient.
- other shooting conditions such as in-focus distance, exposure, blur, and saturation may be used as the characteristic information.
- “exposure difference” can also be added to the priority setting index. This makes it easier for the user to be presented with an “exposure change” element that the user is not aware of.
- the characteristic information is not limited to information acquired as a camera parameter, but may be information that can be acquired by performing image processing on the provisionally captured image data and the sample registration image data.
- composition assist device in addition to the same effects as the imaging device, composition assist device, and composition assist method according to the first embodiment, not only information related to image data but also imaging is performed.
- difference in characteristic information from the parameters obtained directly from the apparatus 1, it is not necessary to separately calculate the parameters, and an imaging apparatus, a composition assist apparatus, and a composition that enable higher-speed processing An assist method can be provided.
- the setting content related to “setting information” included in the composition assist information can be automatically set in the imaging apparatus 1 when the composition assist information is selected by the user.
- the setting is not automatically set as such, but the item related to the setting is displayed as the “change element” on the display unit 10, and the user himself / herself refers to this display and himself / herself. Configure to set.
- FIG. 5 is a diagram illustrating an example of a display form of composition assist information on the display unit 10 of the imaging apparatus 1.
- setting information” and “guide information” that compose the composition assist information are combined to provide information for performing photographing with the same photographing composition as the sample registration image data (explanation in step format (step format) (Abbreviated as “information”) is one effective composition assist information presentation method.
- items related to “setting information” are configured to switch to a display for changing the setting when the user selects a description related to the item. Then, more effective composition assistance information is presented.
- the same effects as the imaging device, the composition assist device, and the composition assist method according to the first embodiment can be obtained, and the user can change the setting by himself / herself.
- the user can change the setting by presenting an element for changing the setting (setting assist information) to the user so that the user can change the setting himself.
- This means can be easily learned. As a result, learning of the user's own skills is encouraged, and even when composition assistance information is not presented, it is expected that the user will become aware of an effective shooting method.
- image data acquired by photographing performed by the user referring to the composition assist information is used as sample registration image data of the composition assist information stored in the composition DB 14.
- the user sees the image data acquired by the photographing performed by referring to the composition assist information as sample registration image data.
- the user can quickly notice the information provided by the composition assist information simply by looking at the sample registration image data displayed and presented on the display unit 10.
- the composition assist device in addition to the same effects as those of the imaging device, the composition assist device, and the composition assist method according to the first embodiment, image data acquired by the user's own photographing. Therefore, it is possible to provide an imaging device, a composition assist device, and a composition assist method that allow a user to notice information provided by composition assist information simply by looking at sample registration image data.
- a predetermined threshold value (hereinafter abbreviated as “characteristic threshold value”) is provided for “characteristic information difference”, and the priority is determined based on the magnitude relationship between the characteristic threshold value and “characteristic information difference”. Change the criteria for judgment.
- the characteristic threshold value may be stored in, for example, a memory (not shown) provided in the priority setting unit 8.
- the priority setting unit 8 sets a higher priority for composition assist information whose “characteristic information difference” is less than a predetermined characteristic threshold value as the “difference” is smaller.
- the priority setting unit 8 is configured such that, for composition assist information whose “characteristic information difference” is equal to or greater than a predetermined characteristic threshold, the “characteristic information difference” is lower than the composition assist information less than the predetermined characteristic threshold, and The higher the “difference” is, the higher the priority is set.
- the control unit 16 causes the display unit 10 to display a plurality of composition assist information in a preferential manner in descending order of priority. That is, the control unit 16 displays the composition assistance information having the highest priority on the first display area 10a as shown in FIG. 6, and displays the other information on the fourth display area 10d above the first display area 10a. Display composition assist information.
- FIG. 6 is a diagram illustrating an example of a display form of composition assist information on the display unit 10 of the imaging apparatus 1.
- the sample registration image data constituting the composition assist information whose “characteristic information difference” is less than a predetermined characteristic threshold value is image data that is very similar to the provisionally captured image data.
- the composition assist with the “characteristic information difference” equal to or greater than the predetermined characteristic threshold value.
- Information is also preferentially presented in descending order of “characteristic information difference”. Thereby, in any case, the user can be made aware of the shooting composition.
- the sample registration image data constituting the composition assist information whose “characteristic information difference” is less than a predetermined characteristic threshold is displayed on the display unit 10
- a symbol (display unit) indicating that such image data is displayed. 10
- a mark to be displayed on the screen 10 a specific sound or vibration, etc.
- the photographing close to the photographing composition suitable for the subject. If temporary captured image data is acquired in the composition, it is close to the captured composition of the provisional captured image data, rather than presenting composition assistance information for a wide range (different from the captured composition of the provisional captured image data).
- composition assistance information for a wide range (different from the captured composition of the provisional captured image data).
- the imaging device, the composition assisting device, and the composition assisting method according to the fifth embodiment the user can efficiently notice whether the intended specific photographing composition is a good composition. it can.
- composition assist information of the photographing composition close to the photographing (current state) related to the provisional photographed image data is displayed in a selected state, thereby reducing the amount of user operation required to obtain detailed setting information and guide information. it can.
- composition assist information of a photographing composition that is close to the photographing (current state) related to the provisional photographed image data, by notifying a symbol indicating that, the possibility of hindering the concentration state of photographing is reduced, This can be notified to the user.
- processing is performed in consideration of the “skill level” of the user regarding the operation of the imaging apparatus.
- the priority is obtained by using a threshold relating to the user's proficiency level (hereinafter abbreviated as “skill level threshold”) and the “characteristic threshold” used in the fifth embodiment described above.
- the proficiency level and proficiency level threshold value of each user may be stored in a memory (not shown) provided in the priority setting unit 8, for example.
- the composition assist information having a larger “characteristic information difference” sets a higher priority as in the first embodiment.
- the priority of the composition assist information whose “characteristic information difference” is less than the characteristic threshold is set higher as the difference is smaller, as in the fifth embodiment.
- the “characteristic information difference” is lower than the composition assist information less than the characteristic threshold, and The higher the “difference”, the higher the priority.
- the proficiency level of each user may be set as follows, for example. That is, for example, the number of times each user has actually performed shooting with reference to the composition assist information is counted, and the proficiency level of the user may be set based on the magnitude of the count value. Further, based on the accumulated value of “difference in characteristic information” between image data acquired by photographing performed by each user with reference to composition assistance information and sample registration image data related to the referenced composition assistance information, The user's proficiency level may be set.
- the user's proficiency level Accordingly, it is possible to provide an imaging device, a composition assist device, and a composition assist method that can perform more appropriate photographing.
- a user with a high level of proficiency wants a photographing composition desired by the user himself (a provisional photographed image reflecting the user's intention).
- a shooting composition close to the shooting composition of data) is preferentially presented, and an optimal shooting composition that was not conceived without composition assistance information is presented to a user with a low level of proficiency.
- the sixth embodiment has been made in view of the fact that a user with a high level of proficiency can perform shooting intended for a specific shooting composition.
- a user with a high level of proficiency can perform shooting intended for a specific shooting composition.
- the user can be made aware of the difference. That is, according to the sixth embodiment, the user can efficiently notice whether or not the intended specific shooting composition is an appropriate composition.
- the priority setting unit 8 takes into account the specifications of the imaging device 1 (for example, ISO sensitivity, shutter speed, focal length, aperture, etc. that can be photographed) in setting the priority. That is, even if the composition assist information has a large “difference in characteristic information”, if the setting information related to the composition assist information cannot be realized depending on the specifications of the imaging apparatus 1, the composition assist information is not presented to the user ( For example, it may be excluded from the priority setting target).
- the specifications of the imaging device 1 for example, ISO sensitivity, shutter speed, focal length, aperture, etc. that can be photographed
- composition assistance information that cannot be realized according to the specifications of the imaging apparatus 1, and the composition assistance information is excluded from priority setting targets. To do.
- the priority set based on “difference in characteristic information” is set.
- the degree may be lowered (it may be lowered by a predetermined level from the predetermined priority). Specifically, for example, “decrease the priority by one level”, “multiply the priority expressed quantitatively (the higher the priority is, the higher the priority)”, and the like can be given.
- the same effects as those of the imaging device, the composition assisting device, and the composition assisting method according to the first embodiment can be obtained, and the specifications of the imaging device 1 are also considered.
- the priority it is possible to provide an imaging device, a composition assist device, and a composition assist method that allow the user to preferentially obtain composition assistance information with higher feasibility.
- the user can efficiently obtain setting information that can be realized.
- selection history information information indicating the selection history of composition assistance information by the user (information indicating the number of times / time actually selected by the user; hereinafter abbreviated as selection history information) is used as the priority setting condition.
- the priority setting unit 8 refers to the priority determined based on “difference in characteristic information” and extracts (initial display number ⁇ 1) pieces of composition assistance information in descending order of priority. Subsequently, with respect to the extracted composition assistance information, the priority of the composition assistance information that has not been selected by the user even though it has been displayed up to that point in time is lowered based on the selection history information (priority order). Lower than the initial display number). For example, a threshold for selection history may be provided, and (selection count / display count) having a value equal to or lower than the threshold may be set as a target for lowering priority.
- the priority order itself of the composition assistance information is maintained. That is, for example, when the composition assistance information with the priority (priority order) “2, 4, 5” is changed to a priority (priority order) lower than the initial display number “8”, the order is unchanged.
- the priority (priority order) is “9, 10, 11”.
- composition assistance information that has not been selected in the past is not included in the (initial display number-1) composition assistance information.
- the remaining one frame in the initial display is selected randomly (randomly) from the composition assist information having a priority (priority order) lower than (initial display number ⁇ 1). " In the process of selecting composition assistance information randomly (randomly), weighting is applied to composition assistance information that has not been included in the initial display or composition assistance information that has not been used yet. Further, a process of increasing the probability that such composition assist information is selected may be performed.
- composition assist information (initial display number ⁇ 1) selected based on “difference in characteristic information” and “selection history information”, and a composition whose priority (priority order) is equal to or less than the initial display number
- composition assist information having the same number as the initial display number which is composed of one piece of composition assist information randomly selected from the assist information, is determined.
- composition assistance information that has been selected and used in actual shooting in the past may have its priority changed according to the elapsed time from the point of actual selection. For example, the composition assist information whose elapsed time since the last shooting was within one week is lowered, and the composition assist information whose elapsed time is longer than that is increased. May be. Further, with respect to the composition assist information used again for photographing, processing may be performed such that the priority is lowered until one month elapses and the priority is raised when one month or more elapses.
- the eighth embodiment in addition to the same effects as the imaging device, the composition assist device, and the composition assist method according to the first embodiment, by considering the selection history information, Even in shooting under similar circumstances, the same composition assistance information is not presented (presenting composition assistance information that the user is not aware of), and the priority is changed according to the interval, thereby improving efficiency.
- composition assist information group reflecting the user's experience and the user's intention of “selected / not selected”.
- composition assist information that the user is not aware of can be efficiently displayed on the display unit 10.
- the priority setting unit 8 sets the priority of the composition assist information using not only the characteristic information but also second shooting condition information described later.
- the second imaging condition information is information related to information such as position information, altitude information, date / time information, and audio information.
- the priority is further modified based on “difference in second imaging condition information” (the priority is changed). .
- the composition assist information having a smaller “second imaging condition information difference” is set to have a higher priority.
- the sample registration image data of the composition assist information having a small “second imaging condition information difference” is obtained by shooting in a shooting situation close to the shooting situation (for example, season, time zone, shooting location, etc.) of the temporary shooting image data. It is the acquired image data.
- the same effects as those of the imaging device, the composition assist device, and the composition assist method according to the first embodiment can be obtained, and “difference in second shooting condition information” can be obtained.
- “difference in second shooting condition information” can be obtained.
- the composition assist information for which priority is set based on the composition assist information, the composition assist information that is more suitable for the photographing environment can be further prioritized, and the user can be aware of the optimum photographing composition.
- each process by the imaging device in the above-described embodiment can be stored as a program that can be executed by the control unit 16 as a computer.
- This program may be stored and distributed in a storage medium of an external storage device such as a memory card (ROM card, RAM card, etc.), magnetic disk (hard disk, etc.), optical disk (CD-ROM, DVD, etc.), semiconductor memory, etc. it can.
- the control part 16 can perform the process mentioned above by reading the program memorize
- the above-described embodiments include inventions at various stages, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements. For example, even if some constituent requirements are deleted from all the constituent requirements shown in the embodiment, the problem described in the column of the problem to be solved by the invention can be solved, and the effect described in the column of the effect of the invention can be achieved. In the case of being obtained, a configuration from which this configuration requirement is deleted can also be extracted as an invention.
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Library & Information Science (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
撮像装置(1)は、被写体DB(12)と、構図DB(14)と、判定部(4)と、検索部(6)と、優先度設定部(8)と、表示部(10)とを含む。被写体DB(12)は、画像特徴量と被写体種別とが関連付けられて成るデータを格納している。構図DB(14)は、被写体種別と構図アシスト情報とが関連付けられて成るデータを格納している。判定部(4)は、撮影画像データから抽出した画像特徴量と被写体DB(12)に格納されているデータとに基づいて撮影画像データの被写体種別を判定する。検索部(6)は、被写体種別に基づいて撮影画像データに応じた構図アシスト情報を構図DB(14)から検出する。優先度設定部(8)は、撮影画像データと構図アシスト情報に係るサンプル画像データとから抽出した特性情報同士の差異に基づいて構図アシスト情報に優先度を設定する。表示部(10)は、優先度に応じて構図アシスト情報を表示する。
Description
本発明は、被写体に応じた撮影構図の設定をアシストする撮像装置、構図アシスト装置、構図アシスト方法、及び構図アシストプログラムに関する。
従来より、画像撮影に際してユーザをアシストする機能を有する撮像装置が提案されている。例えば特開2007-235508号公報には、例えば、シャッタースピード、絞り値、ISO感度、焦点位置、及びフラッシュの要否などの撮影条件を、サーバから取得する情報に基づいて自動的に設定する撮像装置が開示されている。また、例えば特開2011-223599号公報には、注目被写体に応じた撮影案内表示が為される撮像装置が開示されている。
しかしながら、特開2007-235508号公報1に開示されている技術では、ユーザ自身が撮影したい具体的なイメージを明示的にキーワードとして指示する必要があり、煩雑な操作が要求される。また、ユーザ自身によるキーワード指示に基づいて処理を行う為、ユーザ自身が気づいていないような(知らないような)撮影構図に関する情報を得ることは非常に困難である。
また、特開2011-223599号公報に開示されている技術では、例えば撮影モードから注目被写体を決定し、それに基づいてガイド線を表示するものの、ユーザは単なる位置合わせ程度しかできず、適切な構図についての情報提供が為されているとは言い難い。更に言えば、特開2011-223599号公報に開示されている技術では、ユーザ自身が気づいていない(知らない)撮影構図に関する情報を提供することができない。
本発明は、前記の事情に鑑みて為されたものであり、簡易な操作で、被写体に応じた適切な撮影構図(ユーザが知らない撮影構図を含む)をユーザに提示する撮像装置、構図アシスト装置、構図アシスト方法、及び構図アシストプログラムを提供することを目的とする。
前記の目的を達成するために、本発明の第1の態様による撮像装置は、
被写体毎に画像データから抽出された画像特徴量と、前記画像特徴量に対応する被写体種別と、が関連付けられて成るデータが格納されている被写体データベースと、
前記被写体種別と、前記被写体種別に対応する構図アシスト情報とが関連付けられて成るデータが格納されている構図データベースと、
撮影により撮影画像データを取得する撮影部と、
前記撮影画像データから画像特徴量を抽出し、該抽出した画像特徴量と、前記被写体データベースに格納されているデータとに基づいて、前記撮影画像データの被写体種別を判定する判定部と、
前記判定部によって判定された被写体種別と、前記構図データベースに格納されているデータとに基づいて、前記撮影画像データに応じた構図アシスト情報を、前記構図データベースから検出する検索部と、
前記撮影画像データと、前記検索部によって検出された構図アシスト情報に係るサンプル画像データとから、それぞれの画像データに係る特性情報を抽出し、それら特性情報同士の差異に基づいて、前記検索部によって検出された構図アシスト情報をユーザに提示する際の優先度を設定する優先度設定部と、
前記優先度設定部によって設定された優先度に応じて、前記構図アシスト情報を表示する表示部と、
を具備する。
被写体毎に画像データから抽出された画像特徴量と、前記画像特徴量に対応する被写体種別と、が関連付けられて成るデータが格納されている被写体データベースと、
前記被写体種別と、前記被写体種別に対応する構図アシスト情報とが関連付けられて成るデータが格納されている構図データベースと、
撮影により撮影画像データを取得する撮影部と、
前記撮影画像データから画像特徴量を抽出し、該抽出した画像特徴量と、前記被写体データベースに格納されているデータとに基づいて、前記撮影画像データの被写体種別を判定する判定部と、
前記判定部によって判定された被写体種別と、前記構図データベースに格納されているデータとに基づいて、前記撮影画像データに応じた構図アシスト情報を、前記構図データベースから検出する検索部と、
前記撮影画像データと、前記検索部によって検出された構図アシスト情報に係るサンプル画像データとから、それぞれの画像データに係る特性情報を抽出し、それら特性情報同士の差異に基づいて、前記検索部によって検出された構図アシスト情報をユーザに提示する際の優先度を設定する優先度設定部と、
前記優先度設定部によって設定された優先度に応じて、前記構図アシスト情報を表示する表示部と、
を具備する。
前記の目的を達成するために、本発明の第2の態様による構図アシスト装置は、
被写体毎に画像データから抽出された画像特徴量と、前記画像特徴量に対応する被写体種別と、が関連付けられて成るデータが格納されている被写体データベースと、
前記被写体種別と、前記被写体種別に対応する構図アシスト情報 とが関連付けられて成るデータが格納されている構図データベースと、
撮影画像データを取得する撮影画像データ取得部と、
前記撮影画像データから画像特徴量を抽出し、該抽出した画像特徴量と、前記被写体データベースに格納されたデータとに基づいて、前記撮影画像データの被写体種別を判定する判定部と、
前記判定部によって判定された被写体種別と、前記構図データベースに格納されたデータとに基づいて、前記撮影画像データに応じた構図アシスト情報を前記構図データベースから検出する検索部と、
前記撮影画像データと、前記検索部によって検出された構図アシスト情報に係るサンプル画像データとから、それぞれの画像データに係る特性情報を抽出し、それら特性情報同士の差異に基づいて、前記検索部によって検出された構図アシスト情報をユーザに提示する際の優先度を設定する優先度設定部と、
前記優先度設定部によって設定された優先度に応じて、前記構図アシスト情報を表示する表示部と、
を具備する。
被写体毎に画像データから抽出された画像特徴量と、前記画像特徴量に対応する被写体種別と、が関連付けられて成るデータが格納されている被写体データベースと、
前記被写体種別と、前記被写体種別に対応する構図アシスト情報 とが関連付けられて成るデータが格納されている構図データベースと、
撮影画像データを取得する撮影画像データ取得部と、
前記撮影画像データから画像特徴量を抽出し、該抽出した画像特徴量と、前記被写体データベースに格納されたデータとに基づいて、前記撮影画像データの被写体種別を判定する判定部と、
前記判定部によって判定された被写体種別と、前記構図データベースに格納されたデータとに基づいて、前記撮影画像データに応じた構図アシスト情報を前記構図データベースから検出する検索部と、
前記撮影画像データと、前記検索部によって検出された構図アシスト情報に係るサンプル画像データとから、それぞれの画像データに係る特性情報を抽出し、それら特性情報同士の差異に基づいて、前記検索部によって検出された構図アシスト情報をユーザに提示する際の優先度を設定する優先度設定部と、
前記優先度設定部によって設定された優先度に応じて、前記構図アシスト情報を表示する表示部と、
を具備する。
前記の目的を達成するために、本発明の第3の態様による構図アシスト方法は、
撮影画像データを取得し、
前記撮影画像データから画像特徴量を抽出し、
被写体毎に画像データから抽出された画像特徴量と、前記画像特徴量に対応する被写体種別と、が関連付けられて成るデータが格納されている被写体データベースから、前記抽出した画像特徴量に対応する被写体種別を検出し、
前記被写体種別と、前記被写体種別に対応する構図アシスト情報 とが関連付けられて成るデータが格納されている構図データベースから、前記検出した被写体種別に応じた構図アシスト情報を検索し、
前記撮影画像データと、前記検索された構図アシスト情報に係るサンプル画像データとから、それぞれの画像データに係る特性情報を抽出し、それら特性情報同士の差異 に基づいて、前記検索された構図アシスト情報をユーザに提示する際の優先度を設定し、
前記設定した優先度に応じて、前記構図アシスト情報を表示する、
を具備することを特徴とする。
撮影画像データを取得し、
前記撮影画像データから画像特徴量を抽出し、
被写体毎に画像データから抽出された画像特徴量と、前記画像特徴量に対応する被写体種別と、が関連付けられて成るデータが格納されている被写体データベースから、前記抽出した画像特徴量に対応する被写体種別を検出し、
前記被写体種別と、前記被写体種別に対応する構図アシスト情報 とが関連付けられて成るデータが格納されている構図データベースから、前記検出した被写体種別に応じた構図アシスト情報を検索し、
前記撮影画像データと、前記検索された構図アシスト情報に係るサンプル画像データとから、それぞれの画像データに係る特性情報を抽出し、それら特性情報同士の差異 に基づいて、前記検索された構図アシスト情報をユーザに提示する際の優先度を設定し、
前記設定した優先度に応じて、前記構図アシスト情報を表示する、
を具備することを特徴とする。
前記の目的を達成するために、本発明の第4の態様による構図アシストプログラムは、
撮影画像データを取得する機能と、
前記撮影画像データから画像特徴量を抽出する機能と、
被写体毎に画像データから抽出された画像特徴量と、前記画像特徴量に対応する被写体種別と、が関連付けられて成るデータが格納されている被写体データベースから、前記抽出した画像特徴量に対応する被写体種別を検出する機能と、
前記被写体種別と、前記被写体種別に対応する構図アシスト情報 とが関連付けられて成るデータが格納されている構図データベースから、前記検出した被写体種別に応じた構図アシスト情報を検索する機能と、
前記撮影画像データと、前記検索された構図アシスト情報に係るサンプル画像データとから、それぞれの画像データに係る特性情報を抽出し、それら特性情報同士の差異に基づいて、前記検索された構図アシスト情報をユーザに提示する際の優先度を設定する機能と、
前記設定した優先度に応じて、前記構図アシスト情報を表示する機能と、
をコンピュータに実現させる。
撮影画像データを取得する機能と、
前記撮影画像データから画像特徴量を抽出する機能と、
被写体毎に画像データから抽出された画像特徴量と、前記画像特徴量に対応する被写体種別と、が関連付けられて成るデータが格納されている被写体データベースから、前記抽出した画像特徴量に対応する被写体種別を検出する機能と、
前記被写体種別と、前記被写体種別に対応する構図アシスト情報 とが関連付けられて成るデータが格納されている構図データベースから、前記検出した被写体種別に応じた構図アシスト情報を検索する機能と、
前記撮影画像データと、前記検索された構図アシスト情報に係るサンプル画像データとから、それぞれの画像データに係る特性情報を抽出し、それら特性情報同士の差異に基づいて、前記検索された構図アシスト情報をユーザに提示する際の優先度を設定する機能と、
前記設定した優先度に応じて、前記構図アシスト情報を表示する機能と、
をコンピュータに実現させる。
以下、図面を参照して本発明の実施形態に係る撮像装置、構図アシスト装置、及び構図アシスト方法について説明する。
[第1実施形態]
図1は、本第1実施形態に係る撮像装置の一構成例を示す図である。同図に示すように、撮像装置1は、撮像部2と、判定部4と、検索部6と、優先度設定部8と、表示部10と、被写体データベース(以降、被写体DBと略称する)12と、構図データベース(以降、構図DBと略称する)14と、制御部16と、を具備する。
図1は、本第1実施形態に係る撮像装置の一構成例を示す図である。同図に示すように、撮像装置1は、撮像部2と、判定部4と、検索部6と、優先度設定部8と、表示部10と、被写体データベース(以降、被写体DBと略称する)12と、構図データベース(以降、構図DBと略称する)14と、制御部16と、を具備する。
前記撮像部2は、シャッター(不図示)が半押し/全押し操作されると、被写体を撮像して画像データを生成する。ここで、シャッター(不図示)の半押し操作によって生成した画像データを“仮撮影画像データ”と総称する。
なお、本第1実施形態においては仮撮影画像データを利用して構図アシスト処理を実行する例を説明するが、仮撮影画像データの代わりに、シャッター(不図示)の全押し操作によって生成した本撮影画像データ(実際に撮影して記憶媒体(不図示)に保存された画像データや所謂スルー画と称されるシャッター操作にかかわらず取得する画像データを利用して構図アシスト処理を実行しても勿論よい。例えば仮撮影画像データの代わりに本撮影画像データを利用する場合、次回以降の撮影に構図アシスト情報を参照することを促す形態となる。
前記判定部4は、前記仮撮影画像データから画像特徴量を抽出し、この画像特徴量と、被写体DB12に格納されたデータとに基づいて、前記仮撮影画像データの被写体種別を判定する。換言すれば、判定部4は、撮影画像データから画像特徴量を抽出し、該抽出した画像特徴量と、被写体データベース12に格納されているデータとに基づいて、前記撮影画像データの被写体種別を判定する。
詳細には、判定部4による被写体種別の判定には、一般物体認識として行われる各種手法を用いることができる。具体的には、例えば画像データからはLBP,SIFT,SURF,ORB,HSVヒストグラム等を抽出する。そして、それらを用いて例えばSVM等の機械学習により被写体種別を判定すればよい。
前記検索部6は、判定部4によって判定された前記仮撮影画像データの被写体種別に応じた構図アシスト情報を、構図DB14から検索する。換言すれば、検索部6は、判定部4によって判定された被写体種別と、構図データベース14に格納されているデータとに基づいて、撮影画像データに応じた構図アシスト情報を、構図データベース14から検出する。
この検索部6によって検出された一つ以上の構図アシスト情報は、ユーザに提示する構図アシスト情報の候補である。提示候補の構図アシスト情報は、通常は複数であるが、一つの構図アシスト情報であっても勿論構わない。上述の処理で検出された提示候補の構図アシスト情報は、それぞれ優先度設定部8によって優先度を設定され、当該優先度に応じた態様で(優先度が高いものが)ユーザに提示される(表示部10に表示される)。
ここで、前記構図アシスト情報とは、撮影構図例を示す“サンプル登録画像データ”と、撮影条件を設定する為の“設定情報”と、撮影アングルや構成のポイントなど撮像装置に条件設定するものではない事柄についてユーザに説明する“ガイド情報”の少なくともいずれかを含む情報である。
前記優先度設定部8は、撮像部2によって取得した仮撮影画像データと、検索部6によって検出された構図アシスト情報に係るサンプル登録画像データとから特性情報を抽出し、それら特性情報同士の差異に基づいて、ユーザに提示する際の優先度を、各構図アシスト情報について設定する。
換言すれば、優先度設定部8は、撮影画像データと、前記検索部6によって検出された構図アシスト情報に係るサンプル画像データとから、それぞれの画像データに係る特性情報を抽出し、それら特性情報同士の差異に基づいて、前記検索部6によって検出された構図アシスト情報をユーザに提示する際の優先度を設定する。
前記特性情報としては、具体的には、例えば判定部4によって抽出された“画像特徴量”、及び“仮撮影画像データを取得した際の撮影条件”等を挙げることができる。
具体的には、前記優先度設定部8は、前記仮撮影画像データと前記サンプル登録画像データとについて、同種の“特性情報同士の差異”を算出し、この差異が大きい構図アシスト情報ほど、優先度を高く設定する。
例えば、特性情報として画像特徴量を用いる場合、例えば仮撮影画像データでの被写体の検出位置と、サンプル登録画像での被写体位置とのずれ量を“特性情報の差異”としてもよい。また、被写体の領域のずれ量(面積の差)を“特性情報の差異”としてもよい。さらには、画像データから抽出した低解像度(例えば16×16ピクセル)の輝度値で表現される画像特徴量(テンプレート)同士の累積差分を“特性情報の差異”としてもよい。
なお、“特性情報の差異”を計算するのに必要な画像特徴量が被写体を判別するのに必要な画像特徴量と異なる場合には、優先度設定部8は、“特性情報の差異”の計算に要する画像特徴量を別途抽出してもよい。
例えば、特性情報として撮影条件を用いる場合、例えばカメラの姿勢(加速度センサ情報)、焦点距離、絞り、シャッター速度等の数値の差分を、“特性情報の差異”としてもよい。また、前記の種々の撮影条件の差分を組み合わせたものを、“特性情報の差異”としてもよい。
前記表示部10は、前記検索部6によって検出された構図アシスト情報を、優先度設定部8によって設定された優先度に応じて表示する。換言すれば、表示部10は、前記優先度設定部8によって設定された優先度に応じて、前記構図アシスト情報を表示する。
前記被写体DB12は、被写体毎に、当該被写体に係る画像データの画像特徴量と、各々の画像特徴量に対応する被写体種別と、が関連付けられて成るデータが格納されている。換言すれば、被写体DB12は、被写体毎に画像データから抽出された画像特徴量と、前記画像特徴量に対応する被写体種別と、が関連付けられて成るデータが格納されている。
前記構図DB14は、各被写体種別と、それら各被写体種別にそれぞれ対応する構図アシスト情報とが関連付けられて成るデータが格納されている。換言すれば、構図DB14は、前記被写体種別と、前記被写体種別に対応する構図アシスト情報とが関連付けられて成るデータが格納されている。
前記制御部16は、例えばCPU(Central Processing Unit)等から成り、当該撮像装置1の各部を統括的に制御する。
以下、本第1実施形態に係る撮像装置の制御部16による構図アシスト処理について説明する。図2及び図3は、本第1実施形態に係る撮像装置の制御部16による構図アシスト処理に係るフローチャートを示す図である。
撮像部2は、ユーザによるシャッター(不図示)の半押し操作に応じて制御部16によって制御され、仮撮影画像データを生成する(ステップS1)。
判定部4は、制御部16の制御によって、ステップS1で生成した仮撮影画像データから画像特徴量を抽出する(ステップS2)。
判定部4は、制御部16の制御によって、ステップS2で抽出した画像特徴量に基づいて、被写体DB12に格納されたデータを参照し、前記仮撮影画像データに係る被写体種別を判定する(ステップS3)。
検索部6は、制御部16の制御によって、前記ステップS3で判定された前記仮撮影画像データの被写体種別に応じた構図アシスト情報候補を、構図DB14から検索する(ステップS4)。
優先度設定部8は、制御部16の制御によって、前記仮撮影画像データから特性情報を抽出し(ステップS5)、且つ、ステップS4で検索された構図アシスト情報に係るサンプル登録画像データから特性情報を抽出する(ステップS6)。そして、優先度設定部8は、制御部16の制御によって、前記仮撮影画像データと前記サンプル登録画像データとについて、同種の特性情報同士の“差異”を算出し、この差異に基づいてユーザに提示する際の優先度を設定する(ステップS7)。
表示部10は、制御部16の制御によって、ステップS4で検出された構図アシスト情報候補を、ステップS7で設定された優先度に応じた表示態様で、表示部10に表示させる(ステップS8)。
以下、構図アシスト情報の表示例を具体的に説明する。図4は、撮像装置1の表示部10における構図アシスト情報の表示形態の一例を示す図である。同図に示す例では、表示部10において最大の表示面積を有する第1表示領域10aには仮撮影画像データが表示され、この第1表示領域10aの隣接領域(上側)で構図アシスト情報を表示する為の第2表示領域10bには、最も優先度が高い構図アシスト情報が表示され、第1表示領域10aの隣接領域(下側)で構図アシスト情報を表示する為の第3表示領域10cには、次に優先度が高い構図アシスト情報が表示される。ここで、同図に示す例では、構図アシスト情報として“サンプル登録画像データ”と共に、上述した“ガイド情報”も表示されている。
図4に示すように、構図アシスト情報は、ユーザによる選択が可能に表示されており、ユーザは、複数表示された構図アシスト情報のうち自分が気に入った構図アシスト情報を選択する(第1表示領域10aに表示させる)。この選択に応じて、制御部16は、当該選択された構図アシスト情報に含まれる“設定情報”及び“ガイド情報”を表示部10に表示させる。
なお、ユーザが気づいていない(知らない)撮影構図に係る情報をユーザに提示するに当たっては、ユーザが実際にその撮影構図を見ることで違いを認識することが効果的である為、表示部10に構図アシスト情報候補を表示する段階では構図アシスト情報に含まれるサンプル登録画像を表示させ、構図アシスト情報に含まれる“設定情報”、“ガイド情報”については最小限の表示とすることが好ましい。
表示部10における表示領域の面積が限られている等の理由に起因して全ての構図アシスト情報を表示部10に同時に表示させることができない場合には、例えば表示領域のスクロール等を利用してユーザが全ての構図アシスト情報を閲覧可能に提示しても勿論よい。
第1表示領域10aには仮撮影画像データの代わりに、当該時点におけるスルー画を表示させても勿論よい。
なお、ユーザによって構図アシスト情報が選択された時点で、自動的に当該構図アシスト情報に含まれる“設定情報”に係る設定を実行するように構成しても勿論よい。
以上説明したように、本第1実施形態によれば、簡易な操作で、被写体に応じた適切な撮影構図(ユーザが知らない撮影構図を含む)をユーザに提示する撮像装置、構図アシスト装置、及び構図アシスト方法を提供することができる。
すなわち、本第1実施形態に係る撮像装置、構図アシスト装置、及び構図アシスト方法によれば、仮撮影画像データの被写体と同一の被写体種別でありながら、仮撮影画像データに対して最も撮影構図が異なるサンプル登録画像データから優先的にユーザに提示される。これにより、ユーザが仮撮影画像データを取得した時点では気づいていない(知らない)構図での撮影へと導く(撮影構図の設定をアシストする)情報が、ユーザに提供される。
仮撮影画像データとサンプル登録画像データとの“特性情報の差異”が大きいということは、仮撮影画像データの画像特徴量より判定した当該被写体の撮影に関して、現状と構図アシスト情報との乖離が大きいことを意味している。このことは、ユーザが構図アシスト情報で提示される内容(撮影構図)に気づいていないことを意味し、これを優先的に提示することにより、ユーザは、自身が気づいていない構図アシスト情報を得て、撮影することが可能となる。
なお、特性情報として撮像装置1本体のセンサから得られる数値情報を用いる場合には、特性情報の算出に係る処理を軽減させることができる。
ところで、上述の第1実施形態に係る撮像装置1の判定部4、検索部6、優先度設定部8、表示部10、被写体DB12、及び構図DB14については、必ずしも撮像装置1に具備させる必要はなく、例えば当該撮像装置1と通信可能なサーバ装置に具備させてもよい。そのように構成する場合、撮像装置1とサーバ装置とが協働して一つの構図アシスト装置として機能する。
[第2実施形態]
以下、本発明の第2実施形態に係る撮像装置、構図アシスト装置、及び構図アシスト方法について説明する。説明の重複を避ける為、第1実施形態との相違点について説明する。
以下、本発明の第2実施形態に係る撮像装置、構図アシスト装置、及び構図アシスト方法について説明する。説明の重複を避ける為、第1実施形態との相違点について説明する。
本第2実施形態においては、前記特性情報として、例えば撮影モード、アートフィルター、及びレンズ種別といった情報を利用し、それらの差異を“特性情報の差異”とする。具体的には、これら“特性情報の差異”を定量化したデータをテーブルとして例えば優先度設定部8のメモリ(不図示)が予め保持し、当該テーブルを参照することで“特性情報の差異”とすればよい。なお、他にも、例えば合焦距離、露出、ぼけ、及び彩度等の撮影条件を特性情報として用いても勿論よい。
このように構成することで、例えば被写体によっては意図的に露出をオーバー気味にした方が良いような構図アシスト情報がある場合に、“露出の差分”をも優先度設定の指標に加えることができ、ユーザが気づいていない“露出の変更”という要素がユーザに提示されやすくなる。
更に言えば、特性情報は、カメラのパラメータとして取得するものに限られず、仮撮影画像データ及びサンプル登録画像データに対して画像処理を施すことにより取得できる情報であっても勿論よい。
以上説明したように、本第2実施形態によれば、第1実施形態に係る撮像装置、構図アシスト装置、及び構図アシスト方法と同様の効果を奏する上に、画像データに係る情報のみならず撮像装置1から直接的に得られるパラメータからも“特性情報の差異”を算出することで、当該パラメータを別途算出する必要がなくなり、より高速な処理が可能となる撮像装置、構図アシスト装置、及び構図アシスト方法を提供することができる。
[第3実施形態]
以下、本発明の第3実施形態に係る撮像装置、構図アシスト装置、及び構図アシスト方法について説明する。説明の重複を避ける為、第1実施形態との相違点について説明する。
以下、本発明の第3実施形態に係る撮像装置、構図アシスト装置、及び構図アシスト方法について説明する。説明の重複を避ける為、第1実施形態との相違点について説明する。
上述したように構図アシスト情報に含まれる“設定情報”に係る設定内容は、ユーザによって当該構図アシスト情報が選択された時点で、自動的に撮像装置1に設定することができる。しかしながら、本第3実施形態においては、そのように自動的に設定するのではなく、設定に係る項目を表示部10に“変更要素”として表示させ、ユーザ自身が、この表示を参照して自ら設定操作するように構成する。
具体的には、例えば露出を“+1/3EV”とすることが“設定情報”として存在する場合には、表示部10に“明るく撮りましょう”という文字情報と共に、露出を変更するための数値や操作部(例えばボタン形式、または、図5に示すようなスライダー形式等)に係る情報を、表示部10に表示させる。ユーザは、この表示に基づいて自ら露出変更の設定操作を行う。図5は、撮像装置1の表示部10における構図アシスト情報の表示形態の一例を示す図である。
また、レンズの交換のようにスイッチ等で変更できない要素についても、それをユーザに実行させる指示を行い(例えば表示部10に表示し)、それを受けてユーザ自身が操作するように構成すればよい。
ところで、構図アシスト情報を構成する“設定情報”と“ガイド情報”とを組み合わせ、サンプル登録画像データと同様の撮影構図等による撮影を実行する為の情報提供(ステップ形式の表現による説明(ステップ形式情報と略称する))をすることは、一つの有効な構図アシスト情報の提示方法である。
このように構成する場合、“設定情報”と関連する事項(例えば『明るく撮りましょう』等)については、当該事項に係る記述をユーザが選択すると、設定変更の為の表示に切り替わるように構成すると、より効果的な構図アシスト情報の提示となる。
さらには、このとき第1表示領域10a(スルー画)に、設定に係る重要情報及び解説図を重畳させて表示させても勿論よい。また、前記ステップ形式情報がユーザによって選択された際に、上述の重要情報及び解説図を、その内容に合わせて切り替えても勿論よい。
以上説明したように、本第3実施形態によれば、第1実施形態に係る撮像装置、構図アシスト装置、及び構図アシスト方法と同様の効果を奏する上に、ユーザが自ら設定変更できるようにアシストすることで、ユーザが容易に設定変更に係る各種操作を容易に学習することを可能とした撮像装置、構図アシスト装置、及び構図アシスト方法を提供することができる。すなわち、本第3実施形態に係る撮像装置、構図アシスト装置、及び構図アシスト方法によれば、ユーザ自身の撮影技能の修得が促進され、構図アシスト情報が提示されない撮像装置等を利用する場合であっても、効果的な撮影方法(撮影構図)にユーザ自ら気づき且つ設定変更できるようになる。
より具体的には、構図アシスト情報に係る設定情報に基づいて、設定変更する為の要素(設定アシスト情報)をユーザへ提示し、ユーザが自ら設定変更できるように構成することで、ユーザは変更の手段を容易に学習することができる。この結果、ユーザ自身の技能の修得が促され、構図アシスト情報が提示されない場合であっても効果的な撮影方法に自ら気づくようになることが期待される。
[第4実施形態]
以下、本発明の第4実施形態に係る撮像装置、構図アシスト装置、及び構図アシスト方法について説明する。説明の重複を避ける為、第1実施形態との相違点について説明する。
以下、本発明の第4実施形態に係る撮像装置、構図アシスト装置、及び構図アシスト方法について説明する。説明の重複を避ける為、第1実施形態との相違点について説明する。
本第4実施形態においては、ユーザが構図アシスト情報を参照して行った撮影で取得した画像データを、構図DB14に格納する構図アシスト情報のサンプル登録画像データとして用いる。このように構成することにより、ユーザは、自身が構図アシスト情報を参照して行った撮影で取得した画像データを、サンプル登録画像データとして目にすることとなる。これにより、ユーザは、表示部10に表示されて提示されたサンプル登録画像データを見るだけで、構図アシスト情報によって提供される情報に迅速に気づくことができる。
以上説明したように、本第4実施形態によれば、第1実施形態に係る撮像装置、構図アシスト装置、及び構図アシスト方法と同様の効果を奏する上に、ユーザ自身の撮影で取得した画像データを用いた構図アシストとなるので、ユーザはサンプル登録画像データを見るだけで構図アシスト情報によって提供される情報に気づくことができる撮像装置、構図アシスト装置、及び構図アシスト方法を提供することができる。
[第5実施形態]
以下、本発明の第5実施形態に係る撮像装置、構図アシスト装置、及び構図アシスト方法について説明する。説明の重複を避ける為、第1実施形態との相違点について説明する。
以下、本発明の第5実施形態に係る撮像装置、構図アシスト装置、及び構図アシスト方法について説明する。説明の重複を避ける為、第1実施形態との相違点について説明する。
本第5実施形態では、“特性情報の差異”に所定の閾値(以降、“特性閾値”と略称する)を設け、特性閾値と“特性情報の差異”との大小関係に基づいて、優先度の判断基準を変更する。ここで、特性閾値は、例えば優先度設定部8の備えるメモリ(不図示)等に格納しておけばよい。
すなわち、優先度設定部8は、“特性情報の差異”が所定の特性閾値未満の構図アシスト情報については、その“差異”が小さいほど優先度を高く設定する。他方、優先度設定部8は、“特性情報の差異”が所定の特性閾値以上の構図アシスト情報については、“特性情報の差異”が所定の特性閾値未満の構図アシスト情報よりも低く、且つ、その“差異”が大きいほど高く優先度を設定する。
そして、制御部16は、複数の構図アシスト情報を、優先度が高い順に優先的な態様で表示部10に表示させる。すなわち、制御部16は、図6に示すように最も優先度が高い構図アシスト情報を第1表示領域10aに表示させ、且つ、第1表示領域10aの上部の第4表示領域10dに、その他の構図アシスト情報を表示させる。図6は、撮像装置1の表示部10における構図アシスト情報の表示形態の一例を示す図である。
ここで、“特性情報の差異”が所定の特性閾値未満の構図アシスト情報を構成するサンプル登録画像データは、仮撮影画像データに非常に類似している画像データである。本第5実施形態は、仮撮影画像データに非常に類似しているサンプル登録画像データが存在する場合には、そのサンプル登録画像データに係る撮影構図をユーザに提示することで、ユーザが敢えて狙っている撮影構図(ユーザが意識した特定の撮影構図)に近い撮影構図を提示することが可能となる。
しかしながら、ユーザが敢えて撮影構図を狙ったわけでない(ユーザが特定の撮影構図を別段意識したわけでない)場合も考えられる為、上述したように“特性情報の差異”が所定の特性閾値以上の構図アシスト情報についても、“特性情報の差異”が大きい順に優先して提示する。これにより、何れの場合であっても、ユーザに撮影構図上の気づきを与えることができる。
なお、“特性情報の差異”が所定の特性閾値未満の構図アシスト情報を構成するサンプル登録画像データを表示部10に表示する際には、そのような画像データである旨を示すシンボル(表示部10上に表示するマーク、特定の音や振動等)を同時に提示するようにしてもよい。このようにする場合には、撮影操作をできるだけ妨げることのない態様で当該シンボルを提示することが好ましい。
以上説明したように、本第5実施形態によれば、第1実施形態に係る撮像装置、構図アシスト装置、及び構図アシスト方法と同様の効果を奏する上に、被写体に適した撮影構図に近い撮影構図で仮撮影画像データが取得されている場合には、敢えて幅広い(仮撮影画像データの撮影構図と異なる)撮影構図の構図アシスト情報を提示するのではなく、仮撮影画像データの撮影構図に近しい撮影構図の構図アシスト情報を直接提示することで、ユーザの撮影における手間を軽減することができる撮像装置、構図アシスト装置、及び構図アシスト方法を提供することができる。
より具体的には、ユーザが特定の撮影構図を意図している場合、現状と大きく異なる撮影構図だけでなく、意図している撮影構図との違いを知覚できる情報を提供することで、違いを気づかせることができる。つまり、本第5実施形態に係る撮像装置、構図アシスト装置、及び構図アシスト方法によれば、ユーザは、意図している特定の撮影構図がよい構図であるかということに効率的に気づくことができる。
また、仮撮影画像データに係る撮影(現状)と近しい撮影構図の構図アシスト情報が選択状態で表示されることによって、詳細な設定情報、ガイド情報を得る為に要するユーザ操作量を軽減させることができる。
さらに、仮撮影画像データに係る撮影(現状)と近しい撮影構図の構図アシスト情報を提示する場合にはその旨を示すシンボルを通知することによって、撮影の集中状態を妨げる可能性を小さくしつつ、その旨をユーザに通知することができる。
[第6実施形態]
以下、本発明の第6実施形態に係る撮像装置、構図アシスト装置、及び構図アシスト方法について説明する。説明の重複を避ける為、第1実施形態及び第5実施形態との相違点について説明する。
以下、本発明の第6実施形態に係る撮像装置、構図アシスト装置、及び構図アシスト方法について説明する。説明の重複を避ける為、第1実施形態及び第5実施形態との相違点について説明する。
本第6実施形態では、撮像装置の操作についてのユーザの“習熟度”を考慮に入れた処理を行う。すなわち、本第6実施形態では、ユーザの習熟度に関する閾値(以降、“習熟度閾値”と略称する)と、上述した第5実施形態において用いた“特性閾値”と、を利用して優先度を設定する。ここで、各ユーザの習熟度及び習熟度閾値は、例えば優先度設定部8の備えるメモリ(不図示)等に格納しておけばよい。
すなわち、本第6実施形態では、ユーザの習熟度が習熟度閾値未満の場合には、第1実施形態と同様に、“特性情報の差異”が大きい構図アシスト情報ほど優先度を高く設定する。
他方、ユーザの習熟度が習熟度閾値以上の場合には、第5実施形態と同様に、“特性情報の差異”が特性閾値未満の構図アシスト情報の優先度を、差分が小さいほど高く設定する。さらに、第5実施形態と同様に、“特性情報の差異”が特性閾値以上である構図アシスト情報については、“特性情報の差異”が特性閾値未満の構図アシスト情報よりも低く、且つ、その“差異”が大きいほど高く優先度を設定する。
ここで、各ユーザの習熟度は、例えば下記のように設定すればよい。すなわち、例えば各ユーザが実際に構図アシスト情報を参照して撮影を実行した回数をカウントし、該カウント値の大小に基づいて、当該ユーザの習熟度を設定すればよい。また、各ユーザが構図アシスト情報を参照して行った撮影で取得した画像データと、当該参照した構図アシスト情報に係るサンプル登録画像データとの“特性情報の差異”の累積値に基づいて、当該ユーザの習熟度を設定してもよい。
以上説明したように、本第6実施形態によれば、第1実施形態及び第5実施形態に係る撮像装置、構図アシスト装置、及び構図アシスト方法と同様の効果を奏する上に、ユーザの習熟度に応じて、より適切な撮影を行うことができる撮像装置、構図アシスト装置、及び構図アシスト方法を提供することができる。
すなわち、本第6実施形態に係る撮像装置、構図アシスト装置、及び構図アシスト方法によれば、習熟度が高いユーザには、ユーザ自身が望む撮影構図(ユーザの意図が反映されている仮撮影画像データの撮影構図)に近い撮影構図が優先的に提示され、且つ、習熟度が低いユーザには、構図アシスト情報無しでは想到していなかった最適な撮影構図が提示される。
本第6実施形態は、習熟度が高いユーザは特定の撮影構図を意図した撮影を行うことができる段階にあることを鑑みて為されたものである。仮撮影画像データの撮影状況(現状)と大きく異なる撮影構図だけでなく、意図している特定の撮影構図との違いを知覚できる情報を提供することで、ユーザに違いを気づかせることができる。つまり、本第6実施形態によれば、ユーザは、意図している特定の撮影構図が適切な構図であるか否かということに効率的に気づくことができる。
[第7実施形態]
以下、本発明の第7実施形態に係る撮像装置、構図アシスト装置、及び構図アシスト方法について説明する。説明の重複を避ける為、第1実施形態との相違点について説明する。
以下、本発明の第7実施形態に係る撮像装置、構図アシスト装置、及び構図アシスト方法について説明する。説明の重複を避ける為、第1実施形態との相違点について説明する。
本第7実施形態では、優先度設定部8は、撮像装置1の仕様(例えば、撮影可能なISO感度、シャッター速度、焦点距離、及び絞り等)を、優先度の設定において考慮に入れる。すなわち、“特性情報の差異”が大きい構図アシスト情報であっても、当該構図アシスト情報に係る設定情報が撮像装置1の仕様によっては実現できない場合には、当該構図アシスト情報をユーザに提示しない(例えば優先度の設定対象から除外してもよい)。
例えば、暗い屋内での撮影の場合、或る構図アシスト情報に係るシャッター速度を設定した場合に光量が十分であるか否かは、仮撮影画像データに係る撮影条件から推定することができる。このように推定を行うことで、もし光量が不十分であると推定されるならば、撮像装置1の仕様上実現できない構図アシスト情報と判断し、当該構図アシスト情報を、優先度設定対象から除外する。
ところで、例えば拡張ISO感度を選択すれば光量が足りるが、常用ISO感度を選択した場合には光量が足りないと推定される場合であれば、“特性情報の差異”に基づいて設定された優先度を下げればよい(既定の優先度から所定段階低くすればよい)。具体的には、例えば“優先度を1段階下げる”、“定量表現された優先度(大きいほど優先度が高い)に1未満の係数をかける”、等の処理を挙げることができる。
以上説明したように、本第7実施形態によれば、第1実施形態に係る撮像装置、構図アシスト装置、及び構図アシスト方法と同様の効果を奏する上に、撮像装置1の仕様までをも考慮して優先度を設定することにより、ユーザがより実現性の高い構図アシスト情報を優先的に得ることができる撮像装置、構図アシスト装置、及び構図アシスト方法を提供することができる。
また、撮像装置1本体の仕様を考慮して優先度を設定することにより、ユーザは実現可能性のある設定情報を効率的に得ることができる。
[第8実施形態]
以下、本発明の第8実施形態に係る撮像装置、構図アシスト装置、及び構図アシスト方法について説明する。説明の重複を避ける為、第1実施形態との相違点について説明する。
以下、本発明の第8実施形態に係る撮像装置、構図アシスト装置、及び構図アシスト方法について説明する。説明の重複を避ける為、第1実施形態との相違点について説明する。
本第8実施形態では、ユーザによる構図アシスト情報の選択履歴を示す情報(実際にユーザに選択された回数・時期を示す情報;以降、選択履歴情報と略称する)を、優先度の設定条件に加える。
まず、優先度設定部8は、“特性情報の差異”に基づいて決定した優先度を参照し、優先度が高い順に、(初期表示数-1)個の構図アシスト情報を抽出する。続いて、これら抽出した構図アシスト情報について、その選択履歴情報に基づいて、当該時点までに表示されたことがあるにもかかわらずユーザに選択されなかった構図アシスト情報の優先度を下げる(優先順位を、初期表示数よりも下げる)。例えば、選択履歴の閾値を設け、(選択回数/表示回数)が当該閾値以下ものを、優先度を下げる対象としてもよい。
この優先度の変更においては、構図アシスト情報の優先度の序列自体は維持する。すなわち、例えば優先度(優先順位)が“2,4,5”番の構図アシスト情報を、初期表示数である“8”よりも下の優先度(優先順位)に変更する場合、そのままの序列で優先度(優先順位)を“9,10,11”番とする。
上述の優先度の変更の処理を、(初期表示数-1)個の構図アシスト情報の中に、過去選択されなかった構図アシスト情報が含まれなくなるまで繰り返す。そして、初期表示における残り1つの枠は、(初期表示数-1)より下の優先度(優先順位)の構図アシスト情報の中から、無作為に(ランダムに)選択する。」
なお、無作為に(ランダムに)構図アシスト情報を選択する処理においては、未だ初期表示に含まれたことがない構図アシスト情報や、未だ用いられたことがない撮影構図の構図アシスト情報を重み付けし、それらの構図アシスト情報が選択される確率を上げる処理を行ってもよい。
なお、無作為に(ランダムに)構図アシスト情報を選択する処理においては、未だ初期表示に含まれたことがない構図アシスト情報や、未だ用いられたことがない撮影構図の構図アシスト情報を重み付けし、それらの構図アシスト情報が選択される確率を上げる処理を行ってもよい。
以上の処理により、“特性情報の差異”及び“選択履歴情報”に基づいて選択された(初期表示数-1)個の構図アシスト情報と、優先度(優先順位)が初期表示数以下の構図アシスト情報の中からランダムに選択された1個の構図アシスト情報と、から成る“初期表示数と同数の”構図アシスト情報が決定される。
なお、過去に実際の撮影において選択されて用いられた構図アシスト情報は、実際に選択された時点からの経過時間に応じて、その優先度を変更しても勿論よい。例えば、前回撮影に用いられてからの経過時間が1週間以内である構図アシスト情報については優先度を下げ、それ以上経過時間が経っている構図アシスト情報については優先度を上げる等の処理をしてもよい。さらに、ここで再度撮影に用いられた構図アシスト情報については、更に1ヶ月経過するまでは優先度を下げ、1ヶ月以上経過した場合には優先度を上げる等の処理をしてもよい。
以上説明したように、本第8実施形態によれば、第1実施形態に係る撮像装置、構図アシスト装置、及び構図アシスト方法と同様の効果を奏する上に、選択履歴情報を考慮することにより、類似な状況での撮影であっても同じ構図アシスト情報ばかりを提示することがなく(ユーザが気づいていない構図アシスト情報を提示し)、さらに、間隔に応じて優先度が変更することにより、効率的に構図アシスト情報を提示してユーザの学習効果を高める撮像装置、構図アシスト装置、及び構図アシスト方法を提供することができる。
このように優先度の設定において選択履歴情報を用いることにより、ユーザの経験や“選択した/しなかった”というユーザの意図を反映した構図アシスト情報群を検出することができる。この結果、ユーザが気づいていない構図アシスト情報を効率的に表示部10に表示させることができる。
[第9実施形態]
以下、本発明の第9実施形態に係る撮像装置、構図アシスト装置、及び構図アシスト方法について説明する。説明の重複を避ける為、第1実施形態との相違点について説明する。
以下、本発明の第9実施形態に係る撮像装置、構図アシスト装置、及び構図アシスト方法について説明する。説明の重複を避ける為、第1実施形態との相違点について説明する。
本第9実施形態においては、優先度設定部8は、特性情報のみならず、後述する第2撮影条件情報も用いて、構図アシスト情報の優先度を設定する。ここで、第2撮影条件情報とは、例えば位置情報、高度情報、日時情報、及び音声情報等の情報に係る情報である。本第9実施形態では、“特性情報の差異”に基づいて優先度を設定した後、さらに“第2撮影条件情報の差異”に基づいて当該優先度に修正を加える(優先度を変更する)。具体的には、“第2撮影条件情報の差異”が小さい構図アシスト情報ほど、その構図アシスト情報の優先度を高く設定する。
ここで、“第2撮影条件情報の差異”が小さい構図アシスト情報のサンプル登録画像データは、仮撮影画像データの撮影状況(例えば季節、時間帯、撮影場所等)に近い撮影状況での撮影で取得された画像データである。
以上説明したように、本第9実施形態によれば、第1実施形態に係る撮像装置、構図アシスト装置、及び構図アシスト方法と同様の効果を奏する上に、“第2撮影条件情報の差異”に基づいて撮影環境が近しいことを判断することによって、“特性情報の差異”によって優先度が設定された構図アシスト情報のうち、より適切で実現可能性が高い構図アシスト情報を更に優先してユーザに提示することができる撮像装置、構図アシスト装置、及び構図アシスト方法を提供することができる。
すなわち、第2撮影条件情報の差異に基づいて、撮影環境が仮撮影画像データの撮影環境に近しいことの判断を行い、その判断結果を優先度の設定に反映させることによって、特性情報の差異に基づいて優先度が設定された構図アシスト情報のうち、撮影環境により適した構図アシスト情報を更に優先させることができ、ユーザは最適な撮影構図についての気づきを得ることができる。
以上、第1実施形態乃至第9実施形態に基づいて本発明を説明したが、本発明は上述の例に限定されるものではなく、本発明の要旨の範囲内で変形及び応用が可能なことは勿論である。例えば、上述した実施形態における撮像装置による各処理は、いずれもコンピュータとしての制御部16に実行させることができるプログラムとして記憶させておくこともできる。このプログラムは、メモリカード(ROMカード、RAMカード等)、磁気ディスク(ハードディスク等)、光ディスク(CD-ROM、DVD等)、半導体メモリ等の外部記憶装置の記憶媒体に格納して配布することができる。そして、制御部16は、この外部記憶装置の記憶媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。
さらに、上述した実施形態には種々の段階の発明が含まれており、開示した複数の構成要件の適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示す全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
Claims (20)
- 被写体毎に画像データから抽出された画像特徴量と、前記画像特徴量に対応する被写体種別と、が関連付けられて成るデータが格納されている被写体データベースと、
前記被写体種別と、前記被写体種別に対応する構図アシスト情報とが関連付けられて成るデータが格納されている構図データベースと、
撮影により撮影画像データを取得する撮影部と、
前記撮影画像データから画像特徴量を抽出し、該抽出した画像特徴量と、前記被写体データベースに格納されているデータとに基づいて、前記撮影画像データの被写体種別を判定する判定部と、
前記判定部によって判定された被写体種別と、前記構図データベースに格納されているデータとに基づいて、前記撮影画像データに応じた構図アシスト情報を、前記構図データベースから検出する検索部と、
前記撮影画像データと、前記検索部によって検出された構図アシスト情報に係るサンプル画像データとから、それぞれの画像データに係る特性情報を抽出し、それら特性情報同士の差異に基づいて、前記検索部によって検出された構図アシスト情報をユーザに提示する際の優先度を設定する優先度設定部と、
前記優先度設定部によって設定された優先度に応じて、前記構図アシスト情報を表示する表示部と、
を具備する撮像装置。 - 前記特性情報は、当該特性情報に係る画像データを取得した際の撮影に係る情報である、
請求項1に記載の撮像装置。 - 前記特性情報は、当該特性情報に係る画像データを取得した際の撮像装置の姿勢を示す情報、焦点距離、絞り、及びシャッター速度のうち少なくとも何れか一つである、
請求項1に記載の撮像装置。 - 前記特性情報は、当該特性情報に係る画像データを取得した際の撮像装置の撮影モード、アートフィルター、レンズ種別、合焦距離、露出、ぼけ、及び彩度のうち少なくとも何れか一つを示す情報である、
請求項1に記載の撮像装置。 - 前記構図アシスト情報は、撮像装置の設定に係る設定情報と、撮像装置の設定操作に係るガイド情報と、を含む、
請求項1に記載の撮像装置。 - 前記構図アシスト情報は、当該構図アシスト情報に従った撮影構図での撮影で取得される画像データのサンプルであるサンプル画像データを含む、
請求項1に記載の撮像装置。 - 前記サンプル画像データは、ユーザが構図アシスト情報を参照しての撮影で取得した画像データである、
請求項6に記載の撮像装置。 - 前記特性情報同士の差異が大きいほど優先度を高く設定する、
請求項1に記載の撮像装置。 - 前記優先度設定部は、前記特性情報同士の差異を所定の閾値と比較し、当該差異が前記所定の閾値未満の構図アシスト情報については、当該差異が小さいほど優先度を高く設定すると共に、当該差異が所定の閾値以上の構図アシスト情報については、当該差異が所定の閾値未満の構図アシスト情報の優先度よりも低く、且つ、当該差異が大きいほど高く優先度を設定する、
請求項1に記載の撮像装置。 - 前記特性情報同士の差異が前記所定の閾値未満の構図アシスト情報をユーザに提示する際には、その旨を示すシンボルを同時にユーザに提示するシンボル提示部を含む、
請求項9に記載の撮像装置。 - 前記表示部は、前記検索部によって検出された構図アシスト情報のうち最も優先度が高い構図アシスト情報が選択された態様で、前記検索部によって検出された構図アシスト情報を表示する、
請求項1に記載の撮像装置。 - 前記優先度設定部は、前記特性情報同士の差異を所定の閾値と比較し、当該撮像装置に関するユーザの習熟度が所定の習熟度以上である場合には、当該差異が前記所定の閾値未満の構図アシスト情報については、当該差異が小さいほど優先度を高く設定すると共に、当該差異が所定の閾値以上の構図アシスト情報については、当該差異が所定の閾値未満の構図アシスト情報よりも低い優先度で、且つ、当該差異が大きいほど高く優先度を設定する、
請求項1に記載の撮像装置。 - 前記優先度設定部は、当該撮像装置の仕様を示す情報に基づいて、当該撮像装置の仕様上実現できない設定の構図アシスト情報を、優先度の設定対象から除外する処理を行うと共に、当該撮像装置の仕様に適さない設定の構図アシスト情報の優先度を下げる処理を行う、
請求項1に記載の撮像装置。 - 前記優先度設定部は、ユーザによる構図アシスト情報の選択履歴を示す選択履歴情報に基づいて、前記構図アシスト情報の優先度を変更する、
請求項1に記載の撮像装置。 - 前記優先度設定部は、前記構図アシスト情報が最後に選択されて撮影が行われた時点からの経過時間に応じて、当該構図アシスト情報の優先度を変更する、
請求項1に記載の撮像装置。 - 前記優先度設定部は、撮影条件に係る情報である撮影条件情報にも基づいて、前記構図アシスト情報の優先度を設定する、
請求項1に記載の撮像装置。 - 前記撮影条件情報は、撮影に係る位置情報、高度情報、日時情報、及び音声情報のうち少なくとも何れか一つの情報である、
請求項1に記載の撮像装置。 - 被写体毎に画像データから抽出された画像特徴量と、前記画像特徴量に対応する被写体種別と、が関連付けられて成るデータが格納されている被写体データベースと、
前記被写体種別と、前記被写体種別に対応する構図アシスト情報 とが関連付けられて成るデータが格納されている構図データベースと、
撮影画像データを取得する撮影画像データ取得部と、
前記撮影画像データから画像特徴量を抽出し、該抽出した画像特徴量と、前記被写体データベースに格納されたデータとに基づいて、前記撮影画像データの被写体種別を判定する判定部と、
前記判定部によって判定された被写体種別と、前記構図データベースに格納されたデータとに基づいて、前記撮影画像データに応じた構図アシスト情報を前記構図データベースから検出する検索部と、
前記撮影画像データと、前記検索部によって検出された構図アシスト情報に係るサンプル画像データとから、それぞれの画像データに係る特性情報を抽出し、それら特性情報同士の差異 に基づいて、前記検索部によって検出された構図アシスト情報をユーザに提示する際の優先度を設定する優先度設定部と、
前記優先度設定部によって設定された優先度に応じて、前記構図アシスト情報を表示する表示部と、
を具備することを特徴とする構図アシスト装置。 - 撮影画像データを取得し、
前記撮影画像データから画像特徴量を抽出し、
被写体毎に画像データから抽出された画像特徴量と、前記画像特徴量に対応する被写体種別と、が関連付けられて成るデータが格納されている被写体データベースから、前記抽出した画像特徴量に対応する被写体種別を検出し、
前記被写体種別と、前記被写体種別に対応する構図アシスト情報とが関連付けられて成るデータが格納されている構図データベースから、前記検出した被写体種別に応じた構図アシスト情報を検索し、
前記撮影画像データと、前記検索された構図アシスト情報に係るサンプル画像データとから、それぞれの画像データに係る特性情報を抽出し、それら特性情報同士の差異 に基づいて、前記検索された構図アシスト情報をユーザに提示する際の優先度を設定し、
前記設定した優先度に応じて、前記構図アシスト情報を表示する、
構図アシスト方法。 - 撮影画像データを取得する機能と、
前記撮影画像データから画像特徴量を抽出する機能と、
被写体毎に画像データから抽出された画像特徴量と、前記画像特徴量に対応する被写体種別と、が関連付けられて成るデータが格納されている被写体データベースから、前記抽出した画像特徴量に対応する被写体種別を検出する機能と、
前記被写体種別と、前記被写体種別に対応する構図アシスト情報 とが関連付けられて成るデータが格納されている構図データベースから、前記検出した被写体種別に応じた構図アシスト情報を検索する機能と、
前記撮影画像データと、前記検索された構図アシスト情報に係るサンプル画像データとから、それぞれの画像データに係る特性情報を抽出し、それら特性情報同士の差異に基づいて、前記検索された構図アシスト情報をユーザに提示する際の優先度を設定する機能と、
前記設定した優先度に応じて、前記構図アシスト情報を表示する機能と、
をコンピュータに実現させるための構図アシストプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201380075037.4A CN105052123B (zh) | 2013-03-27 | 2013-09-27 | 摄像装置、构图辅助装置、构图辅助方法及存储介质 |
US14/857,732 US9712760B2 (en) | 2013-03-27 | 2015-09-17 | Imaging apparatus, composition assisting apparatus, composition assisting method, and non-transitory storage medium storing composition assisting program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013-067081 | 2013-03-27 | ||
JP2013067081A JP6076168B2 (ja) | 2013-03-27 | 2013-03-27 | 撮像装置、構図アシスト装置、構図アシスト方法、及び構図アシストプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US14/857,732 Continuation US9712760B2 (en) | 2013-03-27 | 2015-09-17 | Imaging apparatus, composition assisting apparatus, composition assisting method, and non-transitory storage medium storing composition assisting program |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2014155789A1 true WO2014155789A1 (ja) | 2014-10-02 |
Family
ID=51622827
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2013/076401 WO2014155789A1 (ja) | 2013-03-27 | 2013-09-27 | 撮像装置、構図アシスト装置、構図アシスト方法、及び構図アシストプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US9712760B2 (ja) |
JP (1) | JP6076168B2 (ja) |
CN (1) | CN105052123B (ja) |
WO (1) | WO2014155789A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105991925A (zh) * | 2015-03-06 | 2016-10-05 | 联想(北京)有限公司 | 场景构图指示方法和指示装置 |
WO2017084295A1 (zh) * | 2015-11-17 | 2017-05-26 | 华为技术有限公司 | 自动对焦方法及装置 |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6210758B2 (ja) * | 2013-07-01 | 2017-10-11 | キヤノン株式会社 | 撮影システム、撮像装置及びサーバ |
JP5830512B2 (ja) * | 2013-10-24 | 2015-12-09 | オリンパス株式会社 | 画像表示端末、画像表示方法、およびプログラム |
US9975241B2 (en) * | 2015-12-03 | 2018-05-22 | Intel Corporation | Machine object determination based on human interaction |
JP2017130735A (ja) * | 2016-01-19 | 2017-07-27 | ソニー株式会社 | 表示制御装置、表示制御方法及びコンピュータプログラム |
CN106131411B (zh) * | 2016-07-14 | 2019-04-02 | 纳恩博(北京)科技有限公司 | 一种拍摄图像的方法和装置 |
EP3591960A4 (en) * | 2017-03-09 | 2020-07-29 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | DEPTH BASED CONTROL PROCESS AND DEVICE, AND ELECTRONIC DEVICE |
EP3591961A4 (en) * | 2017-03-21 | 2020-03-25 | Huawei Technologies Co., Ltd. | PHOTOGRAPHY INSTRUCTION METHOD, DEVICE AND SYSTEM |
WO2018229888A1 (ja) * | 2017-06-14 | 2018-12-20 | オリンパス株式会社 | 撮影装置および撮影アシスト方法 |
CN107257439B (zh) * | 2017-07-26 | 2019-05-17 | 维沃移动通信有限公司 | 一种拍摄方法及移动终端 |
KR102438201B1 (ko) | 2017-12-01 | 2022-08-30 | 삼성전자주식회사 | 사진 촬영과 관련된 추천 정보를 제공하는 방법 및 시스템 |
KR102598109B1 (ko) * | 2018-08-08 | 2023-11-06 | 삼성전자주식회사 | 이미지 분석에 기반하여, 디스플레이를 통해 표시된 영상과 메모리에 저장된 영상과 관련하여 알림을 제공하는 전자 장치 및 방법 |
JP7428143B2 (ja) * | 2019-02-06 | 2024-02-06 | ソニーグループ株式会社 | 撮影装置、撮影方法、及びプログラム |
JP7450343B2 (ja) * | 2019-04-24 | 2024-03-15 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
CN110322423B (zh) * | 2019-04-29 | 2023-03-31 | 天津大学 | 一种基于图像融合的多模态图像目标检测方法 |
KR102708717B1 (ko) * | 2019-05-17 | 2024-09-23 | 삼성전자주식회사 | 특정 순간에 관한 사진 또는 동영상을 자동으로 촬영하는 디바이스 및 그 동작 방법 |
US11503206B2 (en) * | 2020-07-15 | 2022-11-15 | Sony Corporation | Techniques for providing photographic context assistance |
EP3979618A1 (en) * | 2020-10-01 | 2022-04-06 | Axis AB | A method of configuring a camera |
WO2023286367A1 (ja) * | 2021-07-15 | 2023-01-19 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、プログラム |
US20240284041A1 (en) * | 2021-08-17 | 2024-08-22 | Sony Group Corporation | Information processing apparatus and information processing method |
CN114245021B (zh) * | 2022-02-14 | 2023-08-08 | 北京火山引擎科技有限公司 | 互动拍摄方法、电子设备、存储介质及计算机程序产品 |
WO2024024796A1 (ja) * | 2022-07-29 | 2024-02-01 | コニカミノルタ株式会社 | 画像管理システム、サンプル選択方法、画像管理装置、画像表示装置、及びプログラム |
WO2024116289A1 (ja) * | 2022-11-29 | 2024-06-06 | 日本電気株式会社 | 情報処理システム、情報処理方法、及び記録媒体 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007174548A (ja) * | 2005-12-26 | 2007-07-05 | Casio Comput Co Ltd | 撮影装置及びプログラム |
JP2009033544A (ja) * | 2007-07-27 | 2009-02-12 | Fujifilm Corp | 撮影装置、撮影装置の制御方法およびプログラム |
JP2010161547A (ja) * | 2009-01-07 | 2010-07-22 | Casio Computer Co Ltd | 構図選択装置及びプログラム |
JP2012253669A (ja) * | 2011-06-06 | 2012-12-20 | Olympus Corp | 撮影支援システム及び撮像装置 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6301440B1 (en) * | 2000-04-13 | 2001-10-09 | International Business Machines Corp. | System and method for automatically setting image acquisition controls |
JP3833486B2 (ja) * | 2000-04-19 | 2006-10-11 | 富士写真フイルム株式会社 | 撮像装置 |
US20050007468A1 (en) * | 2003-07-10 | 2005-01-13 | Stavely Donald J. | Templates for guiding user in use of digital camera |
US7460782B2 (en) * | 2004-06-08 | 2008-12-02 | Canon Kabushiki Kaisha | Picture composition guide |
JP4840848B2 (ja) * | 2005-09-21 | 2011-12-21 | ソニー株式会社 | 撮影装置、情報処理方法、並びにプログラム |
JP4853047B2 (ja) | 2006-03-01 | 2012-01-11 | 株式会社ニコン | 画像撮影システム、撮像装置、および情報提供装置 |
CN100591101C (zh) * | 2006-11-30 | 2010-02-17 | 华晶科技股份有限公司 | 依据使用者的拍照操作习性进行拍照参数自动调整的方法 |
TW200930063A (en) * | 2007-12-26 | 2009-07-01 | Altek Corp | Auto-selection method of scene modes |
US20090278958A1 (en) * | 2008-05-08 | 2009-11-12 | Samsung Electronics Co., Ltd. | Method and an apparatus for detecting a composition adjusted |
KR101539043B1 (ko) * | 2008-10-31 | 2015-07-24 | 삼성전자주식회사 | 인물 구도 제안 영상 촬영 장치 및 방법 |
JP5257157B2 (ja) * | 2009-03-11 | 2013-08-07 | ソニー株式会社 | 撮像装置、撮像装置の制御方法およびプログラム |
KR101643602B1 (ko) * | 2009-06-24 | 2016-07-29 | 삼성전자주식회사 | 구도 가이드 방법 및 장치, 및 디지털 촬영 장치 |
US8332429B2 (en) * | 2010-06-22 | 2012-12-11 | Xerox Corporation | Photography assistant and method for assisting a user in photographing landmarks and scenes |
JP5131367B2 (ja) | 2011-05-31 | 2013-01-30 | カシオ計算機株式会社 | 撮影装置及びプログラム |
-
2013
- 2013-03-27 JP JP2013067081A patent/JP6076168B2/ja not_active Expired - Fee Related
- 2013-09-27 WO PCT/JP2013/076401 patent/WO2014155789A1/ja active Application Filing
- 2013-09-27 CN CN201380075037.4A patent/CN105052123B/zh not_active Expired - Fee Related
-
2015
- 2015-09-17 US US14/857,732 patent/US9712760B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007174548A (ja) * | 2005-12-26 | 2007-07-05 | Casio Comput Co Ltd | 撮影装置及びプログラム |
JP2009033544A (ja) * | 2007-07-27 | 2009-02-12 | Fujifilm Corp | 撮影装置、撮影装置の制御方法およびプログラム |
JP2010161547A (ja) * | 2009-01-07 | 2010-07-22 | Casio Computer Co Ltd | 構図選択装置及びプログラム |
JP2012253669A (ja) * | 2011-06-06 | 2012-12-20 | Olympus Corp | 撮影支援システム及び撮像装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105991925A (zh) * | 2015-03-06 | 2016-10-05 | 联想(北京)有限公司 | 场景构图指示方法和指示装置 |
WO2017084295A1 (zh) * | 2015-11-17 | 2017-05-26 | 华为技术有限公司 | 自动对焦方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2014192743A (ja) | 2014-10-06 |
US9712760B2 (en) | 2017-07-18 |
CN105052123B (zh) | 2018-07-20 |
US20160006945A1 (en) | 2016-01-07 |
JP6076168B2 (ja) | 2017-02-08 |
CN105052123A (zh) | 2015-11-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6076168B2 (ja) | 撮像装置、構図アシスト装置、構図アシスト方法、及び構図アシストプログラム | |
JP5753251B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
TWI353465B (ja) | ||
JP5713055B2 (ja) | 撮像装置、撮像方法及びプログラム | |
CN105230001A (zh) | 图像处理设备、处理图像的方法、图像处理程序,以及成像设备 | |
CN104284074B (zh) | 成像方法和成像设备 | |
JP2011010275A (ja) | 画像再生装置及び撮像装置 | |
JP5246078B2 (ja) | 被写体位置特定用プログラム、およびカメラ | |
JP2011139398A (ja) | 画像処理装置及び画像処理プログラム | |
JP6381892B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
KR20090095649A (ko) | 촬상 장치 | |
US10762395B2 (en) | Image processing apparatus, image processing method, and recording medium | |
JP2008242694A (ja) | 画像処理装置及びそのプログラム | |
JP2010178259A (ja) | デジタルカメラ | |
JP2009290819A5 (ja) | ||
US11627245B2 (en) | Focus adjustment device and focus adjustment method | |
US11696025B2 (en) | Image processing apparatus capable of classifying an image, image processing method, and storage medium | |
JP5751479B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN107431756B (zh) | 自动图像帧处理可能性检测的方法和装置 | |
WO2017208423A1 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP5375943B2 (ja) | 撮像装置及びそのプログラム | |
US10379318B2 (en) | Image-capturing device, proposal-image generating device, proposal-image generating method, proposal-image generating program, and storage medium | |
JP5088380B2 (ja) | 撮像装置 | |
WO2014054296A1 (ja) | 画像評価装置、撮像装置およびプログラム | |
JP6303395B2 (ja) | 画像処理装置、撮像装置、および画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
WWE | Wipo information: entry into national phase |
Ref document number: 201380075037.4 Country of ref document: CN |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 13880002 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 13880002 Country of ref document: EP Kind code of ref document: A1 |