WO2018066344A1 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

画像処理装置、画像処理方法および画像処理プログラム Download PDF

Info

Publication number
WO2018066344A1
WO2018066344A1 PCT/JP2017/033468 JP2017033468W WO2018066344A1 WO 2018066344 A1 WO2018066344 A1 WO 2018066344A1 JP 2017033468 W JP2017033468 W JP 2017033468W WO 2018066344 A1 WO2018066344 A1 WO 2018066344A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
group
images
adjustment target
image processing
Prior art date
Application number
PCT/JP2017/033468
Other languages
English (en)
French (fr)
Inventor
野口　幸典
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Publication of WO2018066344A1 publication Critical patent/WO2018066344A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control

Definitions

  • the present invention relates to an image processing device, an image processing method, and an image processing program, and more particularly, to an image processing device, an image processing method, and an image processing program for a photobook.
  • a photo book is a photo book that is completed by placing a plurality of images taken with a digital camera, a smartphone, etc., on a template that defines the layout of each image on each page.
  • the user selects a desired template from a plurality of templates having a layout in which positions where images can be arranged are determined in advance, and includes the number of pages of the photo book and the images to be included in each page.
  • the arrangement of images on each page can be freely determined.
  • Patent Document 1 determines the similarity of a plurality of images, groups the plurality of images based on the determination result of the similarity, and sets the reference image having the earliest shooting date / time in each group to be in the same group. It describes that the variation in image quality of a plurality of images included in the same group is reduced by correcting the image quality of other images to be close to each other.
  • Patent Document 2 and Non-Patent Document 1 are examples of techniques for obtaining a degree of attraction that indicates the degree of ease of human attention to each part of an image.
  • visual attributes such as chromaticity, luminance, orientation, and contrast are analyzed for image data to generate a feature map for each visual attribute.
  • the feature map generated for each is linearly summed to calculate an attractiveness map.
  • an image serving as a correction reference is the first one in time series, and it is not guaranteed that the image is really appropriate as a correction reference. Further, the object to be matched with the image quality is a feature amount obtained from the entire image, and it is not known whether the image quality of the region that is easily noticed by the person is the same.
  • the present invention is an image applicable to the creation of a photo book that has the same image quality for a portion of an image group that gives a strong impression in a group of image groups such as an image group in the same page, and that provides a uniform impression for the entire group of image groups. It is an object to provide a processing device, an image processing method, and an image processing program.
  • an image receiving unit that receives a plurality of images, a grouping unit that groups a plurality of images into a plurality of groups, and a reference that specifies a reference image among images belonging to the group for each group
  • An image processing apparatus includes an image processing unit that performs image processing that matches the image quality of the image quality adjustment target area.
  • the image processing is performed so that the image quality of the image quality adjustment target area of the image other than the reference image matches the image quality of the image quality adjustment target area of the reference image. Can be given to the viewer.
  • the reference image specifying unit generates an image feature amount distribution for a partial region or all regions of the image belonging to the group, and the image feature amount distribution and a partial region or all of the image.
  • An evaluation value is assigned to the image based on the reference image feature value distribution of the region, and the reference image is specified in the group based on the image evaluation value.
  • the standard image feature amount distribution is an image feature amount distribution considered to be appropriate, obtained from a large number of images.
  • the image feature amount distribution is a density histogram.
  • the reference density histogram is a density histogram that is obtained from a large number of images and is considered appropriate.
  • the reference image specifying unit detects one or a plurality of face regions for images belonging to a group, generates a density histogram for the one or more face regions, and stores the density histogram and the images belonging to the group.
  • An evaluation value is assigned to the image based on the reference density histogram of each of the one or more face regions, and the reference image is specified in the group based on the image evaluation value.
  • the reference image specifying unit assigns a higher evaluation value to an image corresponding to a density histogram having a frequency distribution closer to the reference density histogram of the face region.
  • the reference image specifying unit specifies a scene for images belonging to a group, assigns an evaluation value to the image based on the density histogram and the reference density histogram of the specified scene, A reference image is specified in the group based on the evaluation value.
  • the reference image specifying unit assigns a higher evaluation value to an image corresponding to a density histogram having a distribution closer to the reference density histogram of the specified scene.
  • an image corresponding to a density histogram having a frequency distribution closer to the reference density histogram of the scene is specified as the reference image.
  • the image quality adjustment target area specifying unit calculates an attractiveness level for images belonging to a group, and specifies an image quality adjustment target area based on the attractiveness level.
  • the image quality adjustment target area specifying unit detects an object from images belonging to a group and specifies the maximum area of the object as the image quality adjustment target area.
  • the image processing unit extracts the image feature amount of the image quality adjustment target region, changes the image feature amount of the image quality adjustment target region of the image other than the reference image, and changes the image quality of the image other than the reference image.
  • the image feature amount of the adjustment target area is brought closer to the image feature amount of the image quality adjustment target area of the reference image.
  • the image feature amount includes at least one of a histogram, lightness, saturation, hue, and sharpness.
  • the grouping unit determines the similarity based on the color histogram or the image annotation, and groups a plurality of images into a plurality of groups based on the similarity.
  • a thirteenth aspect of the present invention includes a step of accepting a plurality of images, a step of grouping the plurality of images into a plurality of groups, a step of specifying a reference image among images belonging to the group for each group, and a group For each of the images belonging to, the step of identifying the image quality adjustment target area for adjusting the image quality, and for the images other than the reference image belonging to the group, align the image quality of the image quality adjustment target area with the image quality of the image quality adjustment target area of the reference image. And an image processing method.
  • An image processing program for causing a computer to execute this image processing method is also included in the aspect of the present invention.
  • the image processing is performed so that the image quality of the image quality adjustment target area of the image other than the reference image is matched with the image quality of the image quality adjustment target area of the reference image. Can be given to the viewer.
  • a photo book is an image in which one or more images arbitrarily selected from a plurality of images taken with a digital camera or a smartphone are arranged in an arbitrary layout on each page of one or more pages, and these images are arranged. Is a set of images obtained by combining.
  • the page includes only one of the left and right pages and a spread page including both the left and right pages.
  • a photobook includes a composite image obtained by adding various decorations and processing to the arranged image.
  • the photobook may not be fixed as a printed material, and may be data stored in a computer-readable storage medium.
  • a template is data that defines a layout including the position and size of each of one or more images arranged on each of one or more pages in a photo book.
  • the arrangement position and size of each image are defined by one or more frames.
  • the template may include image layouts and image decorations according to the photobook theme such as wedding, travel, and children. Furthermore, the theme of the photo book may be freely set by the user.
  • a composite image is an image in which images in a page are combined into a single image according to the template layout.
  • the composite image does not have to be fixed as a printed material, and may be data stored in a computer-readable storage medium.
  • “Attraction level” refers to the degree of ease in which a person's attention is directed to each part of an image.
  • the degree of attraction is represented by a real number from 0 to 1, an integer from 0 to 255, and the larger the value, the higher the degree of attraction.
  • the attractiveness map is obtained by replacing the value of each pixel of the image with the attractiveness.
  • a known one as described in Patent Document 2 can be used.
  • the density histogram is a Munsell color system in which lightness is vertically aligned, saturation is outward from the center, and hue is arranged on the outer periphery. In a specific saturation and hue of each pixel in a partial area or all areas of the image. It is a histogram which shows frequency distribution of vertical brightness.
  • FIG. 1 shows an example of a density histogram.
  • the color histogram is at least one of a density histogram, a hue histogram, and a saturation histogram.
  • An object is any object that can be imaged by a camera.
  • Objects can include tangible objects such as people, human faces, clothes, animals and buildings.
  • An object may also include backgrounds such as ground, mountains, sea, sky, and clouds.
  • the object may also include intangible objects such as light emission and human shadow.
  • Object detection is detection of an object in the image based on the feature amount of the image.
  • Object detection can be performed by a computer in a known manner, and person detection, face detection, and object detection are included in one aspect of object detection.
  • a scene is a typification of the shooting situation of an image according to the type of object included in the image or the shooting environment of the image. For example, a person, plant, landscape, food, night view, sunset, and backlight may be included in the scene.
  • the scene may be determined from the image itself, or the shooting environment of the image such as the shooting time, shooting location, and shooting angle may be acquired from the supplementary information of the image, and the scene may be determined from this shooting environment.
  • These scenes can be determined by a computer using a known method.
  • the image correction that matches the image quality is an image correction that matches the feature amount of the image related to the image quality, and includes, for example, any one of the following (a) to (d).
  • the image correction to match the image quality may be a combination of any two or more of the following (a) to (d) or other than the following (a) to (d).
  • one or more of the following (a) to (d) may be combined with other than the following.
  • FIG. 2 is a block diagram of the image processing apparatus 1 which is an embodiment of the image processing apparatus of the present invention.
  • the image processing apparatus 1 includes an image receiving unit 11, a grouping unit 12, a reference image specifying unit 13, an image quality adjustment target region specifying unit 14, an image processing unit 15, a template setting unit 16, a combining unit 17, a display unit 18, and an image selecting unit. 19, an image placement unit 20, a scene detection unit 21, and an object detection unit 22.
  • the image processing apparatus 1 can be configured by a known personal computer, and each unit of the image processing apparatus 1 includes a known computer (including both desktop and tablet types, and also includes a smartphone having a call function). Can be configured with various devices (keyboards, buttons, touch panels, mice, printers, displays, etc.) used on known devices or devices that are configured, or devices that incorporate some or all of these peripheral devices into the computer is there.
  • the grouping unit 12, the reference image specifying unit 13, the image quality adjustment target region specifying unit 14, the image processing unit 15, the synthesizing unit 17, the image arranging unit 20, the scene detecting unit 21, and the object detecting unit 22 are configured by a processor.
  • each of these units includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a DRAM (Dynamic Random Access Memory), a ROM (Read Only Memory), a hard disk, and a bus connecting them.
  • each of these units can be configured by a one-chip microcomputer that integrates a CPU, RAM, ROM, and the like.
  • the image receiving unit 11 can be configured by a USB (Universal Serial Bus) port, a wired LAN (Local Area Network) adapter, a wireless LAN (Local Area Network) adapter, or a memory card reader.
  • USB Universal Serial Bus
  • wired LAN Local Area Network
  • wireless LAN Local Area Network
  • the display unit 18 includes a display and a driver, and displays various types of information.
  • the template setting unit 16 and the image selection unit 19 can be configured by various user interfaces such as a keyboard, a mouse, or a touch panel.
  • the image receiving unit 11 is a device that receives a plurality of images taken with a digital camera, a smartphone, or the like by wired communication, wireless communication, or reading of a recording medium.
  • the image received by the image receiving unit 11 is recorded in accordance with the format of various image files such as an Exif (Exchangeable image file format) file or a JPEG (Joint Photographic Experts Group) file. Accept together with the image itself.
  • the image received by the image receiving unit 11 and the accompanying information are stored in various storage media such as a hard disk unit (not shown).
  • the grouping unit 12 is a device that groups (classifies) a plurality of images received by the image receiving unit 11 into a plurality of groups.
  • the grouping unit 12 determines the similarity based on the color histogram or the image annotation, and groups a plurality of images into a plurality of groups based on the similarity.
  • the reference image specifying unit 13 is a device that specifies a reference image from among images belonging to a group for each group grouped by the grouping unit 12.
  • the reference image specifying unit 13 generates an image feature amount distribution (for example, a density histogram) for a part or all of the regions belonging to the group, and the image feature amount distribution and a part or all of the region of the image.
  • An evaluation value is assigned to the image based on the reference image feature amount distribution (for example, a density histogram of appropriate exposure of a part of the image or the entire region), and the reference image is assigned to the group based on the evaluation value of the image. You may specify.
  • the reference image specifying unit 13 detects one or a plurality of face regions for images belonging to the group, generates an image feature amount distribution (for example, a density histogram) for the one or more face regions, An evaluation value is assigned to an image based on a reference image feature amount distribution (for example, a density histogram of appropriate exposure of one or more face areas of an image) of each of one or more face areas of an image belonging to a group,
  • the reference image may be specified in the group based on the evaluation value.
  • the reference image specifying unit 13 assigns a higher evaluation value to an image corresponding to a density histogram having a frequency distribution closer to the reference density histogram of the face region.
  • the reference image specifying unit 13 specifies a scene for images belonging to a group, and assigns an evaluation value to the image based on the density histogram and a reference density histogram of the specified scene (for example, a density histogram of appropriate exposure of the scene). It is preferable to specify the reference image in the group based on the evaluation value of the image.
  • the reference image specifying unit 13 preferably assigns a higher evaluation value to an image corresponding to a density histogram having a distribution closer to the reference density histogram of the specified scene.
  • the image quality adjustment target area specifying unit 14 is an apparatus that specifies an image quality adjustment target area for adjusting the image quality of images belonging to a group.
  • the image quality adjustment target area specifying unit 14 may calculate the degree of attraction for images belonging to the group and specify the image quality adjustment target area based on the degree of attraction.
  • the image quality adjustment target area specifying unit 14 may detect an object for images belonging to a group and specify the maximum area of the object as the image quality adjustment target area.
  • the image processing unit 15 is an apparatus that performs image processing for aligning the image quality of the image quality adjustment target area with the image quality of the image quality adjustment target area of the reference image for images other than the reference image belonging to the group.
  • the image processing unit 15 extracts the image feature amount of the image quality adjustment target region, changes the image feature amount of the image quality adjustment target region of the image other than the reference image, and changes the image feature amount of the image quality adjustment target region of the image other than the reference image. Is preferably brought closer to the image feature amount of the image quality adjustment target area of the reference image.
  • the image feature amount includes at least one of a histogram, brightness, saturation, hue, and sharpness.
  • the scene detection unit 21 is a device that detects a scene from an image by a known method.
  • the object detection unit 22 is a device that detects a face area and other objects from an image.
  • FIG. 3 shows a flowchart of a photobook creation process which is an embodiment of the image processing method of the present invention.
  • a photobook creation program (corresponding to the image processing program of the present invention) for causing the processor of the image processing apparatus 1 to execute photobook creation processing is stored in a computer-readable non-transitory tangible medium such as a flash memory. .
  • the image receiving unit 11 receives a plurality of images.
  • the template setting unit 16 sets a photobook template according to a user input or according to an image analysis result for the plurality of images. For example, the template setting unit 16 sets a template of a type corresponding to the user's template type selection operation via a user interface such as a touch panel from among the template types of “marriage”, “travel”, or “child”. .
  • the image analysis can be performed by subject detection (face or other object) detection by the object detection unit 22, scene detection by the scene detection unit 21, or image annotation. As a result of image analysis, if the bride and groom are detected from the subject, the template for “marriage” is set, the template for “travel” if the landscape is detected, or the template for “kid” if a child is detected.
  • the image selection unit 19 receives a selection of an image to be arranged for each frame of the set template in response to a user input from the plurality of images received by the image reception unit 11.
  • the image arrangement unit 20 arranges the selected image for each frame of the set template.
  • the grouping unit 12 groups the images arranged on the page for each page of the template. Grouping is performed by classifying similar images such as color distribution, subject type, or image characteristics (such as points, lines, contours, and regions) into the same group using color histogram, subject analysis, or image annotation. Is called.
  • FIG. 4 shows an example of image arrangement and grouping.
  • images I1 to I4 selected by the image selection unit 19 are arranged on a template T composed of a 2 ⁇ 2 grid frame, and images I1 and I2 on which people are shown are group G1 and a building.
  • the images I3 and I4 on which the images are displayed are grouped into a group G2.
  • the reference image specifying unit 13 specifies the reference image and the reference region for each group. For example, the reference image specifying unit 13 detects one or a plurality of face areas from images belonging to each group, and determines the density histogram of the detected one or more face areas according to the frequency of the density histogram of the appropriate exposure of the face area. A score is obtained, and an image having the largest average of scores (evaluation values) of one or a plurality of face regions is set as a reference image.
  • the reference image specifying unit 13 assigns a higher score to an image corresponding to a density histogram having a frequency distribution that is closer to the density histogram of a face region that is appropriately exposed.
  • the face I having the higher score among the face areas F1 and F2 in the group G1 for example, the image I2 including F2, is specified as the reference image of the group G1.
  • the reference image specifying unit 13 specifies the face area F2 included in the reference image I2 as the reference area.
  • the reference image specifying unit 13 scores the density histogram of the entire region of the images belonging to each group by the density histogram of the appropriate exposure in the detection scene from the image, and specifies the image with the highest score as the reference image. . That is, the reference image specifying unit 13 gives a higher score to an image corresponding to a density histogram having a frequency distribution closer to a density histogram of appropriate exposure in a detection scene.
  • the reference image specifying unit 13 scores the density histograms of the images I3 and I4 belonging to the group G2 by the density histogram of the appropriate exposure in the detection scene “building” from the image, and the higher score image, for example, I4 is specified as the reference image. Further, in this case, the reference image specifying unit 13 calculates an attractiveness map included in the reference image, and uses an area having an attractiveness equal to or greater than a certain threshold in the attractiveness map of the reference image, for example, a building area F4. Identify.
  • the reference image specifying unit 13 may specify an object region having the largest area among the objects included in the reference image as the reference region. In FIG. 4, since the face area of I2 and the area of the building of I4 have the largest area, they are specified as the reference area.
  • the reference image specifying unit 13 specifies a reference image and a reference region in accordance with a selection operation of an arbitrary reference image by a user and a user operation or a region of interest (ROI) designation by a computer program.
  • the method for specifying the reference image and the reference region is not limited to the above.
  • the image quality adjustment target area specifying unit 14 specifies an image other than the reference among the images belonging to the same group as the image quality adjustment target image. Furthermore, the image quality adjustment target area specifying unit 14 specifies an image quality adjustment target area corresponding to the reference area for each image quality adjustment target image.
  • the image quality adjustment target area specifying unit 14 specifies the face area F1 included in the adjustment target image I1 as the image quality adjustment target area.
  • the image quality adjustment target area specifying unit 14 calculates the attractiveness map included in the image quality adjustment target image I3, and the attractiveness degree In the map, an area whose degree of attraction is equal to or higher than a certain threshold, for example, a building area F3 is specified as an image quality adjustment target area.
  • a detected failure image such as camera shake, backlight, or out of focus may not be an image quality adjustment target image.
  • the reference image and the image quality adjustment target image need not be specified for the group.
  • the reference image and the image quality adjustment target image need not be specified for the group.
  • the image processing unit 15 performs image correction for matching the image quality in the image quality adjustment target area of the image adjustment target image with the reference area of the reference image for each group. For example, in FIG. 4, image correction that matches the image quality of the face area F1 with the image quality of the face area F2 and image correction that matches the image quality of the building area F3 with the image quality of the building area F4 are performed.
  • the composition unit 17 creates a composite image obtained by combining the image adjustment target image after image correction arranged in the template and the reference image into one image.
  • the display unit 18 displays the composite image.
  • image correction is performed so that the feature amount of the image in the face area F1 matches the feature amount of the image in the good face area F2.
  • image correction is performed so that the feature amount of the image of the building region F3 matches the feature amount of the image of the good building region F4.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)
  • Color Image Communication Systems (AREA)

Abstract

同一ページ内の画像群などひとまとまりの画像群において強い印象を与える画像の部分の画質をそろえ、ひとまとまりの画像群全体でそろった印象を与えるフォトブックの作成に適用可能な画像処理装置、画像処理方法および画像処理プログラムを提供する。人物の顔を含むグループＧ１の画像Ｉ１およびＩ２については、顔領域Ｆ１の画像の特徴量が、良好な顔領域Ｆ２の画像の特徴量に合わせられる画像補正が行われる。また、建物を含むグループＧ２の画像Ｉ３およびＩ４については、建物の領域Ｆ３の画像の特徴量が、良好な建物の領域Ｆ４の画像の特徴量に合わせられる画像補正が行われる。これにより、顔領域または誘目度が一定以上の領域など人の注目を集める画像の領域の画質が、良い画像の画質にそろえられた合成画像を作成することができ、ページ内など画像の配置単位内で画質がそろった印象を見る者に与えることができる。

Description

画像処理装置、画像処理方法および画像処理プログラム
　本発明は画像処理装置、画像処理方法および画像処理プログラムに関し、特に、フォトブックの画像処理装置、画像処理方法および画像処理プログラムに関する。
　フォトブックは、デジタルカメラやスマートフォンなどで撮影された複数の画像が、各ページにおける各画像のレイアウトを規定したテンプレート等に配置されることで完成する写真集である。フォトブックを作成する場合、ユーザは、例えば、あらかじめ画像の配置可能な位置が決定されたレイアウトの複数のテンプレートの中から所望のテンプレートを選択し、フォトブックのページ数、各々のページに含める画像、各々のページにおける画像の配置等を自由に決定することができる。
従来のフォトブックの作成方法の１つとして、各ページのページ内の画像群の印象をそろえてレイアウトするため、プロのデザイナーが手動で同一ページ内の画像群の画質を調整する。
　また、特許文献１は、複数の画像の類似性を判定し、類似性の判定結果に基づいて複数の画像をグルーピングすること、および各グループ内で最も撮影日時が早い基準画像に同一グループ内の他の画像の画質を近づけるよう補正することで、同一グループに含まれる複数の画像の画質のばらつきを低減することを記載している。
　なお、画像の各部に対する人の注意の向けられやすさの度合いを示す誘目度を求める技術の一例として、特許文献２および非特許文献１が挙げられる。特許文献２では、非特許文献１の技術を用いて、画像データに対して色度、輝度、方位、コントラスト等の視覚属性を解析して視覚属性ごとに特徴マップを生成し、次いで、視覚属性ごとに生成した特徴マップを線形和し、誘目度マップを算出することが記載されている。
特開2007-174015号公報 特開2015-060315号公報
Laurent Itti, Christof Koch, Ernst Niebur, "A model of saliency-based visual attention for rapid scene analysis," IEEE Transactions on pattern analysis and machine intelligence Vol. 20, No. 11, pp. 1254-1259
　特許文献１では、補正の基準となる画像が時系列の先頭のものであり、本当にその画像が補正の基準として適切であるかが担保されていない。また、画質を合わせる対象は画像全体から得られる特徴量であり、人が着目しやすい領域の画質がそろうかどうか分からない。
　本発明は、同一ページ内の画像群などひとまとまりの画像群において強い印象を与える画像の部分の画質をそろえ、ひとまとまりの画像群全体でそろった印象を与えるフォトブックの作成に適用可能な画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。
　本発明の第１の態様は、複数の画像を受け付ける画像受付部と、複数の画像を複数のグループにグルーピングするグルーピング部と、グループごとに、グループに属する画像の中から基準画像を特定する基準画像特定部と、グループに属する画像について、画質を調整する画質調整対象領域を特定する画質調整対象領域特定部と、グループに属する基準画像以外の画像について、画質調整対象領域の画質を、基準画像の画質調整対象領域の画質とそろえる画像処理を行う画像処理部と、を備える画像処理装置を提供する。
　この態様によると、基準画像以外の画像の画質調整対象領域の画質を、基準画像の画質調整対象領域の画質とそろえる画像処理が行われるため、グループ内で画質調整対象領域の画質がそろった印象を見る者に与えることができる。
　本発明の第２の態様において、基準画像特定部は、グループに属する画像の一部の領域または全部の領域について画像特徴量分布を生成し、画像特徴量分布と画像の一部の領域または全部の領域の基準の画像特徴量分布とに基づいて画像に評価値を付与し、画像の評価値に基づいて基準画像をグループにおいて特定する。
　基準の画像特徴量分布とは、多数の画像から求められた、適正と考えられる画像特徴量分布である。
　本発明の第３の態様において、画像特徴量分布は濃度ヒストグラムである。また、基準の濃度ヒストグラムとは、多数の画像から求められた、適正と考えられる濃度ヒストグラムである。
　本発明の第４の態様において、基準画像特定部は、グループに属する画像について１または複数の顔領域を検出し、１または複数の顔領域について濃度ヒストグラムを生成し、濃度ヒストグラムとグループに属する画像の各々の１または複数の顔領域の基準の濃度ヒストグラムとに基づいて画像に評価値を付与し、画像の評価値に基づいて基準画像をグループにおいて特定する。
　本発明の第５の態様において、基準画像特定部は、顔領域の基準の濃度ヒストグラムに近い度数分布の濃度ヒストグラムに対応する画像ほど高い評価値を付与する。
　こうすることで、顔領域の基準の濃度ヒストグラムにより近い度数分布の濃度ヒストグラムに対応する画像が基準画像に特定される。
　本発明の第６の態様において、基準画像特定部は、グループに属する画像についてシーンを特定し、濃度ヒストグラムと特定されたシーンの基準の濃度ヒストグラムとに基づいて画像に評価値を付与し、画像の評価値に基づいて基準画像をグループにおいて特定する。
　本発明の第７の態様において、基準画像特定部は、特定されたシーンの基準の濃度ヒストグラムに近い分布の濃度ヒストグラムに対応する画像ほど高い評価値を付与する。
　こうすることで、シーンの基準の濃度ヒストグラムにより近い度数分布の濃度ヒストグラムに対応する画像が基準画像に特定される。
　本発明の第８の態様において、画質調整対象領域特定部は、グループに属する画像について誘目度を算出し、誘目度に基づいて画質調整対象領域を特定する。
　こうすることで、人の注意の向けられやすい部分が画質調整対象領域に特定される。
　本発明の第９の態様において、画質調整対象領域特定部は、グループに属する画像についてオブジェクトを検出し、オブジェクトの最大領域を画質調整対象領域に特定する。
　本発明の第１０の態様において、画像処理部は画質調整対象領域の画像特徴量を抽出し、基準画像以外の画像の画質調整対象領域の画像特徴量を変化させ、基準画像以外の画像の画質調整対象領域の画像特徴量を基準画像の画質調整対象領域の画像特徴量に近づかせる。
　本発明の第１１の態様において、画像特徴量は、ヒストグラム、明度、彩度、色相、およびシャープネスのうち少なくとも１つを含む。
　本発明の第１２の態様において、グルーピング部は、色ヒストグラムまたは画像アノテーションにより類似度を判断し、類似度に基づいて複数の画像を複数のグループにグルーピングする。
　本発明の第１３の態様は、複数の画像を受け付けるステップと、複数の画像を複数のグループにグルーピングするステップと、グループごとに、グループに属する画像の中から基準画像を特定するステップと、グループに属する画像の各々について、画質を調整する画質調整対象領域を特定するステップと、グループに属する基準画像以外の画像について、画質調整対象領域の画質を、基準画像の画質調整対象領域の画質とそろえる画像処理を行うステップと、を含む画像処理方法を提供する。
　この画像処理方法をコンピュータに実行させるための画像処理プログラムも本発明の態様に含まれる。
　この発明によると、基準画像以外の画像の画質調整対象領域の画質を、基準画像の画質調整対象領域の画質とそろえる画像処理が行われるため、グループ内で画質調整対象領域の画質がそろった印象を見る者に与えることができる。
濃度ヒストグラムの一例を示す図 画像処理装置のブロック図 フォトブック作成処理のフローチャート テンプレートに配置された画像のグルーピングの一例を示す図
　本明細書で使用する用語の意味は、次の通りである。
　フォトブックとは、デジタルカメラやスマートフォンなどで撮影された複数の画像から任意に選択された１以上の画像が、１以上のページの各ページに任意のレイアウトで配置され、配置されたこれらの画像が合成されることで得られる画像の集合である。なおページとは、左右のページの一方のみ、および左右のページの双方を含む見開きページのいずれも含む。また配置された画像に各種の装飾や加工を加えて合成されたものもフォトブックに含まれる。またフォトブックは、印刷物として固定されたものでなくてもよく、コンピュータ読み取り可能な記憶媒体に記憶されたデータであってもよい。
　テンプレートとは、フォトブックにおいて、１以上のページの各々に配置する１または複数の画像の各々の位置およびサイズを含むレイアウトを規定するデータである。個々の画像の配置位置およびサイズは１以上のフレームによって規定される。またテンプレートには、結婚式、旅行、子供といった、フォトブックのテーマに応じた画像のレイアウトや画像の装飾が含まれてもよい。さらに、フォトブックのテーマはユーザが自由に設定できてもよい。
　合成画像とは、テンプレートのレイアウトに従って、ページ内の画像群が一体の画像に合成された画像である。また合成画像は、印刷物として固定されたものでなくてもよく、コンピュータ読み取り可能な記憶媒体に記憶されたデータであってもよい。
　誘目度とは、画像の各部に対する人の注意の向けられやすさの度合いのことをいう。例えば、誘目度は、０～１の実数、０～２５５の整数などによって表され、値が大きいほど誘目度が高いことを表す。また誘目度マップとは、画像の各画素の値を誘目度に置き換えたものである。誘目度の算出は、例えば特許文献２に記載のような公知のものが使用されうる。
　濃度ヒストグラムとは、縦に明度、中心から外に向かって彩度、外周に色相を配したマンセル表色系において、画像の一部領域または全部領域内の各画素の特定の彩度および色相における縦の明度の度数分布を示すヒストグラムである。なお図１は濃度ヒストグラムの一例を示す。
　色ヒストグラムとは、濃度ヒストグラム、色相ヒストグラム、および彩度ヒストグラムのうちの少なくとも１つである。
　２つのヒストグラムが「近い」とは、２つのヒストグラムの分布が相似形状であることをいう。また２つのヒストグラムを「近づける」とは、２つのヒストグラムの一方を他方の分布の形状に相似させることをいう。
　オブジェクトとは、カメラによる撮像が可能な対象の全てである。オブジェクトは、人物、人物の顔、衣服、動物および建物のような有形物を含みうる。また、オブジェクトは、地面、山、海、空、および雲のような背景を含み得る。また、オブジェクトは、発光および人の影のような無形物を含みうる。
　オブジェクト検出とは、画像の特徴量に基づいて当該画像内のオブジェクトを検出することである。オブジェクト検出は公知の方法でコンピュータにより実行でき、人物検出、顔検出および物体検出はオブジェクト検出の一態様に含まれる。
　シーンとは、画像に含まれるオブジェクトの種類または画像の撮影環境に応じて画像の撮影状況を類型化したものである。例えば、人物、植物、風景、料理、夜景、夕焼け、および逆光がシーンに含まれうる。また、画像そのものからシーンが判断されてもよいし、撮影時刻、撮影場所、および撮影アングルなどの画像の撮影環境を画像の付帯情報から取得し、この撮影環境からシーンが判断されてもよい。これらのシーンの判断は公知の手法でコンピュータにより実行できる。
　画質を合わせる画像補正とは、画質に関係する画像の特徴量を合わせる画像補正であり、例えば下記の(a)～(d)のいずれか１つを含む。ただし、画質を合わせる画像補正は、下記の(a)～(d)のうちの任意の２以上の画像補正を組み合わせてもよいし、下記の(a)～(d)以外の画像補正であってもよいし、あるいは下記の(a)～(d)のうちの１つ以上と下記以外のものを組み合わせてもよい。
　(a)画像調整対象画像の画質調整対象領域の色ヒストグラムを、基準画像の基準領域の色ヒストグラムに近づけること。
　(b)画像調整対象画像の画質調整対象領域の明度を、基準画像の基準領域の明度に近づけること。
　(c) 画像調整対象画像の画質調整対象領域の彩度を、基準画像の基準領域の彩度に近づけること。
　(d) 画像調整対象画像の画質調整対象領域のシャープネスを、基準画像の基準領域のシャープネスに近づけること。
　図２は本発明の画像処理装置の一実施形態である画像処理装置１のブロック図である。画像処理装置１は、画像受付部１１、グルーピング部１２、基準画像特定部１３、画質調整対象領域特定部１４、画像処理部１５、テンプレート設定部１６、合成部１７、表示部１８、画像選択部１９、画像配置部２０、シーン検出部２１、およびオブジェクト検出部２２を備える。
　画像処理装置１は、既知のパソコンで構成可能であり、また、画像処理装置１の各部は、既知のコンピュータ（デスクトップ型およびタブレット型の両方を含む。また、通話機能を有するスマートフォンも含む）を構成するデバイスまたは既知のコンピュータで使用される各種周辺機器（キーボード、ボタン、タッチパネル、マウス、プリンタ、およびディスプレイなど）、あるいはこれらの周辺機器の一部または全部をコンピュータに組み込んだ装置で構成可能である。
　例えば、グルーピング部１２、基準画像特定部１３、画質調整対象領域特定部１４、画像処理部１５、合成部１７、画像配置部２０、シーン検出部２１、およびオブジェクト検出部２２は、プロセッサで構成される。例えば、これらの各部は、コンピュータに内蔵されたＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、ＲＯＭ（Read Only Memory）、ハードディスク、およびこれらを接続するバスで構成されうる。あるいは、これらの各部は、ＣＰＵ、ＲＡＭ、およびＲＯＭなどを一体化したワンチップマイクロコンピュータなどで構成されうる。
　また、画像受付部１１は、ＵＳＢ(Universal Serial Bus)ポート、有線ＬＡＮ(Local Area Network)アダプタ、無線ＬＡＮ(Local Area Network)アダプタ、あるいはメモリカードリーダなどで構成されうる。
　また、表示部１８は、ディスプレイおよびドライバなどで構成され、各種の情報を表示する。
　また、テンプレート設定部１６および画像選択部１９は、キーボード、マウス、あるいはタッチパネルなどの各種ユーザインターフェースで構成されうる。
　画像受付部１１は、有線通信、無線通信、あるいは記録媒体の読み取りなどによって、デジタルカメラやスマートフォンなどで撮影された複数の画像を受け付ける装置である。画像受付部１１が受け付ける画像はＥｘｉｆ（Exchangeable image file format）ファイルまたはＪＰＥＧ(Joint Photographic Experts Group)ファイルなどの各種画像ファイルの形式に従って記録されており、画像本体の他、撮影日時などの付帯情報も画像本体と合わせて受け付ける。画像受付部１１が受け付けた画像および付帯情報は、図示しないハードディスクユニットなどの各種記憶媒体に記憶される。
　グルーピング部１２は、画像受付部１１の受け付けた複数の画像を複数のグループにグルーピング（分類）する装置である。
　グルーピング部１２は、色ヒストグラムまたは画像アノテーションにより類似度を判断し、類似度に基づいて複数の画像を複数のグループにグルーピングすることが好ましい。
　基準画像特定部１３は、グルーピング部１２のグルーピングしたグループごとに、グループに属する画像の中から基準画像を特定する装置である。
　基準画像特定部１３は、グループに属する画像の一部の領域または全部の領域について画像特徴量分布（例えば濃度ヒストグラム）を生成し、当該画像特徴量分布と画像の一部の領域または全部の領域の基準の画像特徴量分布（例えば画像の一部の領域または全部の領域の適正露出の濃度ヒストグラム）とに基づいて画像に評価値を付与し、画像の評価値に基づいて基準画像をグループにおいて特定してもよい。
　また、基準画像特定部１３は、グループに属する画像について１または複数の顔領域を検出し、１または複数の顔領域について画像特徴量分布（例えば濃度ヒストグラム）を生成し、当該画像特徴量分布とグループに属する画像の各々の１または複数の顔領域の基準の画像特徴量分布（例えば画像の１または複数の顔領域の適正露出の濃度ヒストグラム）とに基づいて画像に評価値を付与し、画像の評価値に基づいて基準画像をグループにおいて特定してもよい。
　また、基準画像特定部１３は、顔領域の基準の濃度ヒストグラムに近い度数分布の濃度ヒストグラムに対応する画像ほど高い評価値を付与することが好ましい。
　基準画像特定部１３は、グループに属する画像についてシーンを特定し、上記濃度ヒストグラムと特定されたシーンの基準の濃度ヒストグラム（例えばシーンの適正露出の濃度ヒストグラム）とに基づいて画像に評価値を付与し、画像の評価値に基づいて基準画像をグループにおいて特定することが好ましい。
　基準画像特定部１３は、特定されたシーンの基準の濃度ヒストグラムに近い分布の濃度ヒストグラムに対応する画像ほど高い評価値を付与することが好ましい。
　画質調整対象領域特定部１４は、グループに属する画像について、画質を調整する画質調整対象領域を特定する装置である。
　画質調整対象領域特定部１４は、グループに属する画像について誘目度を算出し、誘目度に基づいて画質調整対象領域を特定してもよい。
　あるいは、画質調整対象領域特定部１４は、グループに属する画像についてオブジェクトを検出し、オブジェクトの最大領域を画質調整対象領域に特定してもよい。
　画像処理部１５は、グループに属する基準画像以外の画像について、画質調整対象領域の画質を、基準画像の画質調整対象領域の画質とそろえる画像処理を行う装置である。
　画像処理部１５は、画質調整対象領域の画像特徴量を抽出し、基準画像以外の画像の画質調整対象領域の画像特徴量を変化させ、基準画像以外の画像の画質調整対象領域の画像特徴量を基準画像の画質調整対象領域の画像特徴量に近づかせることが好ましい。
　ここで、画像特徴量は、ヒストグラム、明度、彩度、色相、およびシャープネスのうち少なくとも１つを含む。
　シーン検出部２１は、公知の方法により画像からシーンを検出する装置である。
　オブジェクト検出部２２は、画像から顔領域その他のオブジェクト検出を行う装置である。
　図３は本発明の画像処理方法の一実施形態であるフォトブック作成処理のフローチャートを示す。フォトブック作成処理を画像処理装置１のプロセッサに実行させるためのフォトブック作成プログラム（本発明の画像処理プログラムに対応）は、フラッシュメモリなどのコンピュータ読み取り可能な非一時的有形媒体に記憶されている。
　Ｓ１では、画像受付部１１は、複数の画像を受け付ける。
　Ｓ２では、テンプレート設定部１６は、ユーザ入力に応じてまたは上記複数の画像に対する画像解析の結果に応じて、フォトブックのテンプレートを設定する。例えば、テンプレート設定部１６は、「結婚」、「旅行」、または「子供」のテンプレート種類の中から、タッチパネルなどのユーザインターフェースを介したユーザのテンプレート種類選択操作に応じた種類のテンプレートを設定する。画像解析は、オブジェクト検出部２２による被写体（顔その他の物体）検出、シーン検出部２１によるシーン検出、または画像アノテーションなどによって行うことができる。画像解析の結果、被写体から新郎新婦が検出された場合は「結婚」のテンプレート、風景が検出された場合は「旅行」のテンプレート、または子供が検出された場合は「子供」のテンプレートが設定される。
　Ｓ３では、画像選択部１９は、画像受付部１１の受け付けた複数の画像の中から、ユーザ入力に応じて、設定されたテンプレートのフレームごとに、配置すべき画像の選択を受け付ける。
　Ｓ４では、画像配置部２０は、設定されたテンプレートのフレームごとに、選択された画像を配置する。
　Ｓ５では、グルーピング部１２は、テンプレートのページごとに、当該ページに配置された画像をグルーピングする。グルーピングは、色ヒストグラム、被写体解析、または画像アノテーションなどにより、色分布、被写体種類、または画像特徴（点、線、輪郭、および領域など）などの類似する画像同士を同一グループに分類することで行われる。
　図４は画像の配置およびグルーピングの一例である。この図では、画像選択部１９で選択された画像Ｉ１～Ｉ４が２×２の格子状のフレームからなるテンプレートＴに配置されており、人物の映った画像Ｉ１およびＩ２がグループＧ１、および建造物の映った画像Ｉ３およびＩ４がグループＧ２にグルーピングされている。
　Ｓ６では、基準画像特定部１３は、グループごとに基準画像および基準領域を特定する。例えば、基準画像特定部１３は、各グループに属する画像から１または複数の顔領域を検出し、検出された１または複数の顔領域の濃度ヒストグラムを、顔領域の適正露出の濃度ヒストグラムの度数によって得点化し、１または複数の顔領域の得点（評価値）の平均が最も大きい画像を基準画像とする。
　例えば、図４のグループＧ１内の画像Ｉ１およびＩ２において、適正露出の顔領域の濃度ヒストグラムの各階級における度数との差が小さい顔領域の濃度ヒストグラムの階級に大きな得点を与え、階級ごとの得点を総和したものを当該顔領域の得点とする。すなわち、基準画像特定部１３は、適正露出の顔領域の濃度ヒストグラムに近い度数分布の濃度ヒストグラムに対応する画像ほど高い得点を付与する。
　そして、グループＧ１内の顔領域Ｆ１およびＦ２のうち点数の高い方、例えばＦ２を含む画像Ｉ２を、グループＧ１の基準画像に特定する。また、この場合、基準画像特定部１３は、基準画像Ｉ２に含まれる顔領域Ｆ２を基準領域に特定する。
　あるいは、基準画像特定部１３は、各グループに属する画像の全体領域の濃度ヒストグラムを、上記画像からの検出シーンでの適正露出の濃度ヒストグラムによって得点化し、最も得点の高い画像を基準画像に特定する。すなわち、基準画像特定部１３は、検出シーンでの適正露出の濃度ヒストグラムに近い度数分布の濃度ヒストグラムに対応する画像ほど高い得点を付与する。
　例えば、基準画像特定部１３は、グループＧ２に属する画像Ｉ３およびＩ４の濃度ヒストグラムを、上記画像からの検出シーン「建物」での適正露出の濃度ヒストグラムによって点数化し、点数の高い方の画像、例えばＩ４を基準画像に特定する。また、この場合、基準画像特定部１３は、基準画像に含まれる誘目度マップを算出し、基準画像の誘目度マップにおいて誘目度が一定の閾値以上の領域、例えば建物の領域Ｆ４を基準領域に特定する。
　あるいは、基準画像特定部１３は、基準画像に含まれるオブジェクトの中で最大の面積を有するオブジェクトの領域を基準領域に特定してもよい。図４では、Ｉ２の顔領域、Ｉ４の建物の領域が最大の面積を有しているため、これらが基準領域に特定される。
　なお、基準画像特定部１３は、ユーザによる任意の基準画像の選択操作およびユーザ操作またはコンピュータプログラムによる関心領域(Region of Interest:ROI)の指定に応じて基準画像および基準領域を特定するなどしてもよく、基準画像および基準領域の特定の仕方は上記に限定されない。
　Ｓ７では、画質調整対象領域特定部１４は、同一グループに属する画像のうち基準以外の他の画像を、画質調整対象画像に特定する。さらに画質調整対象領域特定部１４は、画質調整対象画像ごとに、基準領域に対応する画質調整対象領域を特定する。
　例えば、グループＧ１での基準画像Ｉ２の特定時に顔領域の濃度ヒストグラムを使用した場合、画質調整対象領域特定部１４は、調整対象画像Ｉ１に含まれる顔領域Ｆ１を、画質調整対象領域に特定する。
　あるいは、グループＧ２での基準画像の特定時に基準画像の全体領域の濃度ヒストグラムを使用した場合、画質調整対象領域特定部１４は、画質調整対象画像Ｉ３に含まれる誘目度マップを算出し、誘目度マップにおいて誘目度が一定の閾値以上の領域、例えば建物の領域Ｆ３を画質調整対象領域に特定する。
　なお、必ずしも基準画像以外の全てを画質調整対象画像に特定する必要はない。例えば、手ぶれ、逆光、ピンボケなどの検出された失敗画像については、画質調整対象画像としなくてもよい。また、グループに属する画像が１つだけ、あるいは、ユーザが特定のグループについて画質調整を希望しないなどの場合は、当該グループについて基準画像も画質調整対象画像も特定しなくてもよく、必ずしも全てのグループについて基準画像および画質調整対象画像を特定しなくてもよい。
　Ｓ８では、画像処理部１５は、グループごとに、画像調整対象画像の画質調整対象領域内の画質を、基準画像の基準領域に合わせる画像補正を行う。例えば図４では、顔領域Ｆ１の画質を顔領域Ｆ２の画質に合わせる画像補正と、建物の領域Ｆ３の画質を建物の領域Ｆ４の画質に合わせる画像補正とが行われる。
　Ｓ９では、合成部１７は、テンプレートに配置された画像補正後の画像調整対象画像と基準画像とを１枚の画像に合成した合成画像を作成する。
　Ｓ１０では、表示部１８は、合成画像を表示する。
　以上のようにすれば、人物の顔を含むグループＧ１の画像Ｉ１およびＩ２については、顔領域Ｆ１の画像の特徴量が、良好な顔領域Ｆ２の画像の特徴量に合わせられる画像補正が行われる。また、建物を含むグループＧ２の画像Ｉ３およびＩ４については、建物の領域Ｆ３の画像の特徴量が、良好な建物の領域Ｆ４の画像の特徴量に合わせられる画像補正が行われる。これにより、顔領域または誘目度が一定以上の領域など人の注目を集める画像の領域の画質が、良い画像の画質にそろえられた合成画像を作成することができ、ページ内など画像の配置単位内で画質がそろった印象を見る者に与えることができる。
１　画像処理装置
１１　画像受付部
１２　グルーピング部
１３　基準画像特定部
１４　画質調整対象領域特定部
１５　画像処理部
１６　テンプレート設定部
１７　合成部
１８　表示部
１９　画像選択部
２０　画像配置部
２１　シーン検出部
２２　オブジェクト検出部

Claims (14)

  1. 　複数の画像を受け付ける画像受付部と、
    　前記複数の画像を複数のグループにグルーピングするグルーピング部と、
    　前記グループごとに、前記グループに属する画像の中から基準画像を特定する基準画像特定部と、
    　前記グループに属する画像について、画質を調整する画質調整対象領域を特定する画質調整対象領域特定部と、
    　前記グループに属する前記基準画像以外の画像について、前記画質調整対象領域の画質を、前記基準画像の画質調整対象領域の画質とそろえる画像処理を行う画像処理部と、
    　を備える画像処理装置。
  2. 　前記基準画像特定部は、前記グループに属する画像の一部の領域または全部の領域について画像特徴量分布を生成し、前記画像特徴量分布と前記画像の一部の領域または全部の領域の基準の画像特徴量分布とに基づいて前記画像に評価値を付与し、前記画像の評価値に基づいて基準画像を前記グループにおいて特定する請求項１に記載の画像処理装置。
  3. 　前記画像特徴量分布は濃度ヒストグラムである請求項２に記載の画像処理装置。
  4. 　前記基準画像特定部は、前記グループに属する画像について１または複数の顔領域を検出し、前記１または複数の顔領域について濃度ヒストグラムを生成し、前記濃度ヒストグラムと前記グループに属する画像の各々の前記１または複数の顔領域の基準の濃度ヒストグラムとに基づいて前記画像に評価値を付与し、前記画像の評価値に基づいて前記基準画像を前記グループにおいて特定する請求項３に記載の画像処理装置。
  5. 　前記基準画像特定部は、前記顔領域の基準の濃度ヒストグラムに近い度数分布の濃度ヒストグラムに対応する画像ほど高い評価値を付与する請求項４に記載の画像処理装置。
  6. 　前記基準画像特定部は、前記グループに属する画像についてシーンを特定し、前記濃度ヒストグラムと前記特定されたシーンの基準の濃度ヒストグラムとに基づいて前記画像に評価値を付与し、前記画像の評価値に基づいて前記基準画像を前記グループにおいて特定する請求項３に記載の画像処理装置。
  7. 　前記基準画像特定部は、前記特定されたシーンの基準の濃度ヒストグラムに近い分布の濃度ヒストグラムに対応する画像ほど高い評価値を付与する請求項６に記載の画像処理装置。
  8. 　前記画質調整対象領域特定部は、前記グループに属する画像について誘目度を算出し、前記誘目度に基づいて前記画質調整対象領域を特定する請求項１～７のいずれか１項に記載の画像処理装置。
  9. 　前記画質調整対象領域特定部は、前記グループに属する画像についてオブジェクトを検出し、前記オブジェクトの最大領域を前記画質調整対象領域に特定する請求項１～７のいずれか１項に記載の画像処理装置。
  10. 　前記画像処理部は前記画質調整対象領域の画像特徴量を抽出し、前記基準画像以外の画像の画質調整対象領域の画像特徴量を変化させ、前記基準画像以外の画像の画質調整対象領域の画像特徴量を前記基準画像の画質調整対象領域の画像特徴量に近づかせる請求項１～９のいずれか１項に記載の画像処理装置。
  11. 　前記画像特徴量は、ヒストグラム、明度、彩度、色相、およびシャープネスのうち少なくとも１つを含む請求項１０に記載の画像処理装置。
  12. 　前記グルーピング部は、色ヒストグラムまたは画像アノテーションにより類似度を判断し、前記類似度に基づいて前記複数の画像を前記複数のグループにグルーピングする請求項１～１１のいずれか１項に記載の画像処理装置。
  13. 　複数の画像を受け付けるステップと、
    　前記複数の画像を複数のグループにグルーピングするステップと、
    　前記グループごとに、前記グループに属する画像の中から基準画像を特定するステップと、
    　前記グループに属する画像の各々について、画質を調整する画質調整対象領域を特定するステップと、
    　前記グループに属する前記基準画像以外の画像について、前記画質調整対象領域の画質を、前記基準画像の画質調整対象領域の画質とそろえる画像処理を行うステップと、
    　を含む画像処理方法。
  14. 　請求項１３に記載の画像処理方法をコンピュータに実行させるための画像処理プログラム。
PCT/JP2017/033468 2016-10-03 2017-09-15 画像処理装置、画像処理方法および画像処理プログラム WO2018066344A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-195765 2016-10-03
JP2016195765A JP2019208088A (ja) 2016-10-03 2016-10-03 画像処理装置、画像処理方法および画像処理プログラム

Publications (1)

Publication Number Publication Date
WO2018066344A1 true WO2018066344A1 (ja) 2018-04-12

Family

ID=61831739

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/033468 WO2018066344A1 (ja) 2016-10-03 2017-09-15 画像処理装置、画像処理方法および画像処理プログラム

Country Status (2)

Country Link
JP (1) JP2019208088A (ja)
WO (1) WO2018066344A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230046732A (ko) * 2021-09-30 2023-04-06 삼성전자주식회사 전자 장치 및 그 제어방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007026388A (ja) * 2005-07-21 2007-02-01 Fujifilm Holdings Corp 画像編集装置、及び画像編集プログラム
JP2007087253A (ja) * 2005-09-26 2007-04-05 Fujifilm Corp 画像補正方法および装置
JP2007174015A (ja) * 2005-12-20 2007-07-05 Nikon Corp 画像管理プログラム、および画像管理装置
JP2015060315A (ja) * 2013-09-17 2015-03-30 株式会社リコー 代表色抽出装置、代表色抽出方法、プログラムおよび記録媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007026388A (ja) * 2005-07-21 2007-02-01 Fujifilm Holdings Corp 画像編集装置、及び画像編集プログラム
JP2007087253A (ja) * 2005-09-26 2007-04-05 Fujifilm Corp 画像補正方法および装置
JP2007174015A (ja) * 2005-12-20 2007-07-05 Nikon Corp 画像管理プログラム、および画像管理装置
JP2015060315A (ja) * 2013-09-17 2015-03-30 株式会社リコー 代表色抽出装置、代表色抽出方法、プログラムおよび記録媒体

Also Published As

Publication number Publication date
JP2019208088A (ja) 2019-12-05

Similar Documents

Publication Publication Date Title
US11222399B2 (en) Image cropping suggestion using multiple saliency maps
US11074734B2 (en) Image processing apparatus, image processing method and storage medium
US10395407B2 (en) Image processing apparatus and image processing method
US10573041B2 (en) Rear image candidate determination device, rear image candidate determination method, and rear image candidate determination program
JP6902886B2 (ja) 画像処理装置、方法およびプログラム
US9189681B2 (en) Image processing apparatus, method thereof, and computer-readable storage medium
KR100667663B1 (ko) 화상 처리 장치, 화상 처리 방법 및 그 프로그램을 기록한 컴퓨터 판독 가능한 기록매체
US8854395B2 (en) Method for producing artistic image template designs
US9336442B2 (en) Selecting images using relationship weights
US9299177B2 (en) Apparatus, method and non-transitory computer-readable medium using layout similarity
JP6340347B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP2012044646A (ja) 画像処理装置、画像処理方法およびプログラム
JP2005151282A (ja) 画像処理装置、画像処理方法、およびプログラム
JP6282065B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2010074405A (ja) 画像処理装置および画像処理方法
US20160012623A1 (en) Generating an assembled group image from subject images
KR20150112535A (ko) 비디오 대표 이미지 관리 장치 및 방법
JP5594282B2 (ja) 画像処理装置
US9443134B2 (en) Propagating object selection across multiple images
WO2018066344A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP7451242B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2018045582A (ja) 画像抽出システム，画像抽出方法およびそのプログラム
JP6586402B2 (ja) 画像分類装置、画像分類方法及びプログラム
CN108132935B (zh) 图像分类方法及图像展示方法
WO2022266878A1 (zh) 景别确定方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17858183

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17858183

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP