WO2016024375A1 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
WO2016024375A1
WO2016024375A1 PCT/JP2015/002907 JP2015002907W WO2016024375A1 WO 2016024375 A1 WO2016024375 A1 WO 2016024375A1 JP 2015002907 W JP2015002907 W JP 2015002907W WO 2016024375 A1 WO2016024375 A1 WO 2016024375A1
Authority
WO
WIPO (PCT)
Prior art keywords
image processing
contour
processing apparatus
curve
homography
Prior art date
Application number
PCT/JP2015/002907
Other languages
English (en)
French (fr)
Inventor
江島　公志
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2016024375A1 publication Critical patent/WO2016024375A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment

Definitions

  • the present technology relates to an image processing apparatus and an image processing method capable of deforming a surface area that is a subject of an input image.
  • Patent Document 1 describes a configuration in which curvature distortion is corrected to a flat surface by obtaining detailed shape data of a specific position of a subject.
  • Patent Literature 2 describes a configuration in which the curvature distortion of a book image is corrected by measuring a subject distance such as a book binding portion.
  • Patent Document 1 acquires shape data by imaging the vicinity of the specific position with a high imaging magnification, it can be applied when imaging data with a high imaging magnification is not captured. There wasn't.
  • the configuration described in Patent Document 2 requires information on the subject distance at the time of imaging in addition to image information, and thus cannot be applied when information on the subject distance is not acquired.
  • an object of the present technology is to provide an image processing apparatus and an image processing method capable of easily and accurately transforming a surface area that is a subject of an input image into a desired shape. It is in.
  • an image processing apparatus includes a curve calculation unit and a homography estimation unit.
  • the curve calculation unit calculates an approximate curve of the contour of the first surface area based on an input image including the first surface area as a subject.
  • the said homography estimation part estimates the homography which converts the said 1st surface area
  • the above configuration it is possible to estimate the homography that converts from the first surface region to the second surface region based on the approximate curve of the contour. Therefore, the curved state perceived from the first surface region is grasped by the approximate curve of the contour, and the first surface region is easily and accurately converted to the second surface region perceived as a different curved state. Is possible.
  • the curve calculation unit calculates a plurality of division curves for dividing the first surface region based on the approximate curve
  • the homography estimation unit may estimate the homography based on the approximate curve and the plurality of division curves.
  • the curve calculation unit may calculate the approximate curve as a spline curve.
  • the approximate curve has an approximate curve pair including two approximate curves facing each other,
  • the plurality of divided curves may include a curve group including a plurality of curves estimated from the approximate curve pair.
  • the first surface area perceived as a surface such as a rectangle can be divided in a predetermined direction by the approximate curve pair and the curve group, and the curved state can be grasped with high accuracy.
  • the approximate curve has two approximate curve pairs each including two approximate curves facing each other
  • the plurality of divided curves may include two curve groups estimated from the two approximate curve pairs.
  • the homography may be estimated based on a plurality of intersections formed by the two approximate curve pairs and the two curve groups.
  • the homography estimation unit expands each of the plurality of divided pieces divided by the two approximate curve pairs and the two curve groups so as to overlap with an adjacent divided piece, and a plurality of divided pieces are overlapped.
  • An enlarged divided piece may be formed, and the homography may be estimated based on the vertices of each of the plurality of enlarged divided pieces.
  • the homography between adjacent divided pieces can be smoothed, and a more stable homography can be estimated.
  • the homography estimation unit is based on a plurality of first straight lines formed by extending the approximate curve linearly and a plurality of second straight lines formed by extending the plurality of divided curves linearly.
  • the homography may be estimated.
  • the homography estimation unit based on the information about the shape of the trapezoidal third surface region partitioned by the plurality of first straight lines, and the imaging angle information of the input image,
  • the aspect ratio information of the second surface area may be calculated, and the homography may be estimated based on the aspect ratio information.
  • the aspect ratio information of the second surface area can be calculated by the same technique as the trapezoidal correction using the information about the shape of the third surface area and the imaging angle information. Therefore, homography can be estimated more easily.
  • the curve calculation unit may calculate the approximate curve based on the detected contour.
  • the contour detection unit detects a plurality of contour candidates in the first surface region based on an edge detection result of the input image, and determines the first surface region from the plurality of contour candidates.
  • the contour of the first surface area may be detected by selecting the contour.
  • the contour detection unit is configured such that the first condition that the surrounding area is the largest among the plurality of contour candidates and the center point of the bounding box when each contour candidate is an object is the center of the input image. Contour candidates that satisfy at least one of the second conditions of being closest to a point may be selected as the contour of the first surface region.
  • the input image includes a two-page spread book image
  • the first surface area is an area corresponding to one page of the books
  • the outline detection unit may detect a page dividing line of the books and detect the page dividing line as a part of the outline of the first surface area.
  • An image processing method includes: Calculating an approximate curve of the contour of the first surface area based on an input image including the first surface area as a subject; Estimating a homography for converting the first surface region into the second surface region based on the approximate curve.
  • a program is as follows: In the information processing device, Calculating an approximate curve of the contour of the first surface area based on an input image including the first surface area as a subject; Estimating the homography for converting the first surface region into the second surface region based on the approximate curve.
  • A is a diagram showing an output example of two approximate curve pairs, a first curve group, and a second curve group by the homography estimation unit, and B schematically shows one divided piece shown in A.
  • A is a figure which shows the example of an output of the some 1st straight line and several 2nd straight line by the said homography estimation part
  • B is a figure which shows typically one division piece shown to A.
  • FIG. It is a figure which shows typically one division
  • FIG. 10B is a diagram for explaining a process of detecting a page dividing line of the image processing apparatus according to Modification 1-1
  • B is an enlarged view of A.
  • FIG. 10 is a diagram illustrating another process for detecting a page dividing line of an image processing apparatus according to Modification 1-1. It is a figure which shows the output example of the 3rd surface area
  • FIG. 11 is a diagram for explaining a modification example 1-2, in which A is an enlarged view showing a first surface region, and B is an enlarged view showing a second surface region.
  • FIG. 6 is a schematic diagram in which an output image is enlarged, in which A shows an example when the depth adjustment according to Modification 1-3 is not performed, and B shows an example when the depth adjustment is performed.
  • FIG. 10 is a block diagram showing a functional configuration of an image processing apparatus according to Modification 1-4.
  • FIG. 20 is a diagram illustrating a hardware configuration of an image processing apparatus according to Modification 1-12. It is a block diagram showing a schematic structure of an image processing system concerning a 2nd embodiment of this art. It is a block diagram which shows the functional structure of the said image processing system. It is a block diagram showing a schematic structure of an image processing system concerning a 3rd embodiment of this art. It is a block diagram which shows the functional structure of the said image processing system. It is a block diagram showing a schematic structure of an image processing system concerning a 4th embodiment of this art. It is a block diagram which shows the functional structure of the said image processing system.
  • FIG. 20 is a block diagram showing a functional configuration of an image processing system according to Modification 4-2.
  • FIG. 1 is a block diagram illustrating a hardware configuration of the image processing apparatus 100 according to the first embodiment of the present technology.
  • the image processing apparatus 100 generates an information processing apparatus such as a smartphone, a tablet terminal, a wearable device, a PC (Personal Computer), and a tablet PC, an imaging apparatus configured to perform information processing, an electronic book, and the like. It can be a document scanner device or the like.
  • an image processing apparatus 100 includes a controller 11, a ROM (Read Only Memory) 12, a RAM (Random Access Memory) 13, an input / output interface 15, and a bus 14 that connects these components to each other.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the controller 11 appropriately accesses the RAM 13 or the like as necessary, and comprehensively controls each block of the image processing apparatus 100 while performing various arithmetic processes.
  • the controller 11 may be a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), or the like.
  • the ROM 12 is a non-volatile memory in which an OS to be executed by the controller 11 and firmware such as programs and various parameters are fixedly stored.
  • the RAM 13 is used as a work area of the controller 11 and temporarily holds the OS, various applications being executed, and various data being processed.
  • the input / output interface 15 is connected with a display 16, an operation receiving unit 17, a storage unit 18, a communication unit 19, an imaging unit 20, and the like.
  • the display 16 is a display device using, for example, an LCD (Liquid Crystal Display), an OLED (Organic Light Emitting Diode), a CRT (Cathode Ray Tube), or the like.
  • LCD Liquid Crystal Display
  • OLED Organic Light Emitting Diode
  • CRT Cathode Ray Tube
  • the operation receiving unit 17 is, for example, a pointing device such as a mouse, a keyboard, a touch panel, and other input devices.
  • the operation reception unit 17 is a touch panel, the touch panel can be integrated with the display 16.
  • the storage unit 18 is, for example, a nonvolatile memory such as an HDD (Hard Disk Drive), a flash memory (SSD; Solid State Drive), or other solid-state memory.
  • the storage unit 18 stores the OS, various applications, and various data.
  • the storage unit 18 is also configured to be able to store an input image, image information, a generated spatial filter, a generated output image group, and the like which will be described later.
  • the communication unit 19 is connected to a network by a wide-area communication system such as 3G (Third Generation) and LTE (Long Term Evolution), a wireless LAN (Local Area Network) communication system such as Wi-Fi (registered trademark), or a wired LAN communication system. It is configured to be communicable.
  • a wide-area communication system such as 3G (Third Generation) and LTE (Long Term Evolution), a wireless LAN (Local Area Network) communication system such as Wi-Fi (registered trademark), or a wired LAN communication system. It is configured to be communicable.
  • the imaging unit 20 obtains image data from the light image of the subject.
  • the imaging unit 20 may include an imaging optical system and an image sensor (not shown).
  • the imaging optical system forms an optical image of the subject on the imaging surface of the image sensor.
  • the image sensor is realized by a CCD (Charge-Coupled Device) sensor, a CMOS (Complementary Metal-Semiconductor) sensor, or the like, and converts the formed optical image into an electrical signal to obtain image data.
  • the imaging unit 20 may be configured as a scanner camera.
  • the controller 11 and the display 16 have the following functional configuration.
  • FIG. 2 is a block diagram illustrating a functional configuration of the image processing apparatus 100.
  • the image processing apparatus 100 includes a contour detection unit 101, a curve calculation unit 102, a homography estimation unit 103, an output image generation unit 104, and a display unit 105.
  • the image processing apparatus 100 detects the contour of the first surface area that is the subject of the input image, and converts the first surface area into the second surface area using the information. Thereby, for example, a curved surface that is a subject in the input image can be converted into a flat surface.
  • the contour detection unit 101 detects the contour of the first surface area from the input image.
  • the contour detection unit 101 is realized by the controller 11, for example.
  • the input image may be, for example, an image captured by the imaging unit 20 or an image captured by another device or the like and stored in the storage unit 18.
  • each line segment included in the contour is hereinafter referred to as a “contour line”.
  • the first surface area is an area included as a subject in the input image, and is an area perceived as a curved surface, for example.
  • “perceived” refers to being recognized by the user's visual perception of an image based on outlines, character / graphic information in the surface area, and the like.
  • region is not specifically limited, For example, it can be set as the area
  • the “books” referred to here include books, booklets, magazines, and the like having a binding portion, and pamphlets and newspapers having folds.
  • the subject may be a posting attached to a curved surface such as a pillar or printed on the curved surface.
  • the contour detection unit 101 detects a plurality of contour candidates in the first surface region based on the edge detection result of the input image, and selects the contour of the first surface region from the plurality of contour candidates.
  • the contour of the first surface area may be detected.
  • the contour detection unit 101 may detect the contour of the first surface area from the reduced input image obtained by reducing the input image. As a result, it is possible to detect the contour without noise.
  • the “input image” includes a reduced input image.
  • the contour detection method of the contour detection unit 101 is not particularly limited, and for example, techniques such as edge detection, texture removal, and straight line detection can be used in appropriate combination. A detailed processing example of the contour detection unit 101 will be described later.
  • the curve calculation unit 102 calculates an approximate curve of the contour of the first surface area based on an input image including the first surface area as a subject.
  • the curve calculation unit 102 is realized by the controller 11, for example.
  • the curve calculation unit 102 can calculate an approximate curve based on the contour detected by the contour detection unit 101.
  • calculating an approximate curve of a contour refers to calculating a coordinate position in an input image through which a detected contour passes, and calculating an approximate curve based on the coordinate position.
  • a spline curve, a Bezier curve, a Lagrangian curve or the like can be applied as the approximate curve.
  • the approximate curve is a line that can be calculated by the above calculation method, and is not limited to a curve in practice, and may be a straight line.
  • the approximate curve may have an approximate curve pair including two approximate curves facing each other, or may have two approximate curve pairs each including two approximate curves facing each other. Also good.
  • the curve calculation unit 102 may calculate a plurality of division curves that divide the first surface region based on the approximate curve.
  • the plurality of division curves can be curves that visually represent the curved state of the first surface region by dividing the first surface region with reference to the approximate curve of the contour.
  • the plurality of divided curves may include a group of curves including a plurality of curves estimated from the approximate curve pair.
  • the plurality of curves included in the curve group may be arranged at substantially equal intervals.
  • segmentation curve may have two curve groups estimated from each of two approximation curve pairs, when an approximation curve has two approximation curve pairs, for example.
  • the curve calculation unit 102 may calculate an approximate curve and a plurality of divided curves as spline curves. Thereby, a smoother and more accurate curve approximation is possible.
  • the homography estimation unit 103 estimates a homography that converts the first surface region into the second surface region based on the approximate curve.
  • the homography estimation unit 103 is realized by the controller 11, for example.
  • Homography is generally a 3 ⁇ 3 projective transformation matrix, and here refers to a matrix that transforms from a plane coordinate system to which a first surface region belongs to a plane coordinate system to which a second surface region belongs.
  • the homography is generally calculated based on the correspondence between four or more points in two plane coordinate systems.
  • the second surface region is a surface region that is perceived as having a curved state different from that of the first surface region.
  • the second surface region may be, for example, a region that is perceived as being flat, and further, the normal direction that is flat and perceived from the second surface region and the method of the display surface of the display 16. It may be a region where the line direction is perceived as substantially the same.
  • the homography estimation unit 103 may estimate homography based on an approximate curve and a plurality of division curves. More specifically, the homography estimation unit 103 may estimate homography based on a plurality of intersections between one curve group and the other curve group calculated by the curve calculation unit 102. Thereby, the homography can be easily calculated based on the plurality of intersection points and the points corresponding to the plurality of intersection points in the second surface region. A detailed processing example of the homography estimation unit 103 will be described later.
  • the output image generation unit 104 generates an output image in which the first surface area is converted into the second surface area using the estimated homography.
  • the output image generation unit 104 is realized by the controller 11, for example.
  • Display unit 105 displays the generated output image.
  • the display unit 105 is realized by, for example, the display 16.
  • FIG. 3 is a flowchart illustrating an operation example of the image processing apparatus 100.
  • the contour detection unit 101 detects the contour of the first surface area from the input image (ST31).
  • FIG. 4 is a diagram illustrating an example of an input image.
  • the subject of the input image Ig is a two-page spread book, and each page is composed of a rectangular surface.
  • the first surface area S1 is an area corresponding to one spread page of the book image, and the bound portion of the book is expressed as a binding portion.
  • the x-axis direction indicates the vertical direction of the input image
  • the y-axis direction indicates the horizontal direction of the input image orthogonal to the x-axis direction.
  • FIG. 5 is a flowchart showing an example of contour detection processing by the contour detection unit 101.
  • the contour detection unit 101 reduces the input image to generate a reduced input image (ST51).
  • ST51 a reduced input image
  • the contour detection unit 101 since the contour detection unit 101 performs processing on the reduced input image, it is assumed that “input image” indicates “reduced input image” unless otherwise specified.
  • the contour detection unit 101 detects a luminance difference (contrast) between the subject area including the first surface area in the input image and the background area around the subject area (ST52). By detecting the contrast, it is possible to set an optimum threshold value in edge detection processing and straight line detection processing described later.
  • FIG. 6 is a diagram for explaining the contrast.
  • the contrast between the subject region S and the background region B is low.
  • the contrast of the subject area S and the background area B is high in FIG.
  • the level of such contrast is, for example, by detecting the subject region S by image recognition technology or the like, and comparing the average luminance value of the detected subject region S with the average luminance value of the background region B. Can be detected.
  • FIG. 7 is a diagram for explaining another example of detection of the contrast.
  • the contrast may be detected more easily.
  • the input image is designated as the center C. Segment into the periphery P.
  • luminance is calculated by the center part C and the peripheral part P, and the said contrast can be detected by comparing each average value.
  • the contour detection unit 101 performs edge detection (ST53).
  • a threshold for edge detection can be set based on the detection result of the contrast.
  • the edge detection method is not particularly limited, for example, a Canny filter can be used. Thereby, it becomes possible to perform edge detection with high accuracy.
  • the contour detection unit 101 performs texture removal processing (ST54). Thereby, as shown in FIG. 8, the input image after texture removal can be output.
  • the texture removal processing method is not particularly limited.
  • the contour detection unit 101 detects contour line candidates (ST55).
  • the contour detection unit 101 can perform straight line detection, for example, as contour line candidate detection processing.
  • the contour detection unit 101 can set a threshold for straight line detection based on the contrast detection result.
  • the straight line detection method is not particularly limited, and for example, Hough conversion can be used. Thereby, as shown in FIG. 9A, a plurality of contour line candidates Lc1, Lc2, and Lc3 that form an acute angle of 45 degrees or less with the y-axis direction can be detected.
  • contour detection unit 101 performs two contour line candidates (first contour line pair) along the direction close to the vertical direction from the output after texture removal shown in FIG.
  • a plurality of contour line candidates Lc4, Lc5, and Lc6 can be detected along the removed line segment and in a direction that forms an acute angle of 45 degrees or less with the x-axis direction (see FIG. 9B).
  • a direction that forms an acute angle of 45 degrees or less with the y-axis direction is expressed as “a direction close to the vertical direction”, and a direction that forms an acute angle of 45 degrees or less with the x-axis direction is “close to the horizontal direction”. It shall be expressed as “direction”.
  • the contour detection unit 101 detects a plurality of contour candidates in the first surface area (ST56).
  • the contour candidates here are two contour line candidates (first contour line pair) along the direction close to the vertical direction, and two contour line candidates (second contour line) along the direction close to the horizontal direction. A pair of contour line candidates).
  • the contour detection unit 101 first determines a predetermined value or less from each end point of the contour candidates Lc1 to Lc3 along the direction close to the vertical direction among the contour candidates Lc4 to Lc6 along the direction close to the horizontal direction. It is determined whether there is an outline candidate at a distance. When it is determined that the contour exists, the contour detection unit 101 sets the contour candidate along the direction close to the vertical direction having the end point as the first contour line candidate pair, and is determined to be within a predetermined distance. The contour line candidate along the direction close to the second contour line candidate pair can be used. Further, the contour detection unit 101 can detect a pair of the first contour line candidate pair and the second contour line candidate as one contour candidate.
  • the contour detection unit 101 selects the contour of the first surface area from the plurality of contour candidates (ST57). Thereby, the outline of the first surface region including the first outline pair along the direction close to the vertical direction and the second outline pair along the direction close to the horizontal direction can be detected.
  • the method for selecting the contour is not particularly limited, but can be performed as follows.
  • the contour detection unit 101 has the first condition that the surrounding area is the largest among a plurality of contour candidates, and that the center point of the bounding box when each contour candidate is an object is closest to the center point of the input image.
  • Contour candidates that satisfy at least one of the second conditions can be selected as the contour of the first surface region.
  • a contour selection method a contour candidate that satisfies both the first condition and the second condition may be selected, or a contour candidate that satisfies one of the conditions may be selected.
  • the contour detection unit 101 performs a merging process of each contour line included in the selected contour (ST58). For example, the contour detection unit 101 calculates the distance between the second contour line pair and the first contour line pair, and the angle formed by the adjacent contour lines, and merges the adjacent contour lines based on the information. Processing can be performed.
  • the contour detection unit 101 enlarges the reduced input image to the original size and performs fine adjustment (ST59). As a result, even if a slight error on the reduced input image becomes a large error as the size increases, the error can be corrected.
  • the contour detection unit 101 can detect the contour of the first surface area by the above steps 51 to 59.
  • the curve calculation unit 102 calculates an approximate curve of the contour of the first surface area based on the input image including the first surface area as a subject (ST32).
  • the curve calculation unit 102 calculates an approximate curve based on the contour detected by the contour detection unit 101.
  • the curve calculation unit 102 calculates the approximate curve as a spline curve.
  • the curve calculation unit 102 calculates a plurality of divided curves for dividing the first surface area based on the calculated approximate curve (ST33).
  • FIG. 10 is a diagram illustrating a calculation process example of an approximate curve and a plurality of division curves.
  • the approximate curve includes a first approximate curve pair Ap1 including two approximate curves facing each other, and two second approximate curve pairs Ap2 facing each other.
  • the first approximate curve pair Ap1 is an approximate curve of the first contour pair
  • the second approximate curve pair Ap2 is an approximate curve of the second contour pair.
  • the plurality of division curves have two curve groups estimated from two approximate curve pairs. That is, the plurality of divided curves have a first curve group Ag1 including a plurality of curves estimated from the first approximate curve pair Ap1, and include a plurality of curves estimated from the second approximate curve pair Ap2. It has a second curve group Ag2.
  • the plurality of curves included in the first curve group Ag1 can be calculated by, for example, estimating the coefficient of each curve from the coefficient of each spline curve of the first approximate curve pair Ap1.
  • the plurality of curves included in the second curve group Ag2 can be calculated by estimating the coefficient of each curve from the coefficient of each spline curve of the second approximate curve pair Ap2.
  • the homography estimation unit 103 estimates a homography for converting the first surface region into the second surface region based on the approximate curve (ST34). In this embodiment, the homography estimation unit 103 estimates homography for converting the first surface area into the second surface area based on the approximate curve and the plurality of division curves.
  • the homography estimation unit 103 calculates the correspondence between the first surface area and the second surface area by the following two steps, and estimates the homography.
  • the first surface area that can be perceived as being curved is converted into a third surface area having a trapezoidal shape that can be perceived as being flat, and the corresponding relationship is calculated.
  • the second stage converts the third surface region into a second surface region that is perceived as having a normal direction that is flat and coincides with the normal direction of the display region, and calculates the correspondence between them. To do. Details will be described below.
  • FIG. 11 is a flowchart showing an example of homography estimation processing by the homography estimation unit 103.
  • the homography estimation unit 103 calculates the coordinate positions of a plurality of intersections formed by two approximate curve pairs and two curve groups (ST111).
  • FIG. 12A is a diagram illustrating an output example of two approximate curve pairs, a first curve group, and a second curve group.
  • a plurality of divided pieces Da divided by two approximate curve pairs Ap1, Ap2 and two curve groups Ag1, Ag2 are formed in the region corresponding to the first surface region S1.
  • the contour of the first surface region is curved, and two approximate curve pairs Ap1, Ap2 and two curve groups Ag1, Ag2 are also formed in a curved shape.
  • the number of dividing curves shown in FIG. 10 is different from the number of dividing curves shown in FIG. 12A.
  • FIG. 12B is a diagram schematically showing one divided piece Da shown in FIG. 12A.
  • the homography estimation unit 103 is formed by a plurality of first straight lines formed by extending the approximate curve linearly and a plurality of second straight lines formed by extending the plurality of divided curves linearly.
  • the coordinate positions of the plurality of intersections are calculated (ST112).
  • the coordinate positions of the plurality of intersection points (hereinafter referred to as straight intersection points) can be calculated as follows. That is, the homography estimation unit 103 is based on the length of the curve between adjacent intersections, and a plurality of pairs formed by two approximate curve pairs and two curve groups when the curve between the intersections is a straight line. By calculating the coordinate position corresponding to the intersection (hereinafter referred to as the original intersection), it is possible to calculate a plurality of intersections by straight lines.
  • FIG. 13A is a diagram illustrating an output example of a plurality of first straight lines and a plurality of second straight lines. As shown in the figure, the region corresponding to the first surface region is converted into a trapezoidal third surface region S3 partitioned by a plurality of first straight lines R1. In the third surface region S3, a plurality of trapezoidal divided pieces Dr defined by a plurality of first straight lines R1 and a plurality of second straight lines R2 are formed.
  • FIG. 13B is a diagram schematically showing one divided piece Dr shown in FIG. 13A.
  • the vertices (Rv1 to Rv4) of each of the trapezoidal divided pieces Dr shown in the figure correspond to the vertices Av1 to Av4 shown in FIG. 12B, respectively, and can be intersections of the straight lines.
  • the homography estimation unit 103 calculates the aspect ratio information of the second surface area based on the information about the shape of the third surface area and the imaging angle information of the input image (ST113). Thereby, the homography estimation unit 103 can estimate the homography based on the aspect ratio information.
  • the homography estimation unit 103 calculates information about the shape of the third surface region S3 by detecting the length w and the height h of the upper side of the third surface region S3. Can do.
  • the homography estimation unit 103 can calculate the aspect ratio information of the second surface region S2 shown in FIG. B based on the information about the shape and the imaging angle information.
  • the information on the shape here is not limited to the information on the length and height of the upper side described above, and may be information on the length and height of the lower side, or the length of the upper side, the length of the lower side, and the like. Information such as height may be used.
  • the imaging angle information includes information of so-called “vertical view angle (vertical angle of view)” and is stored as, for example, metadata of the input image.
  • the aspect ratio information refers to the ratio of the width w ′ and the height h ′ of the second surface region S2 (see FIG. 14).
  • the homography estimation unit 103 calculates the coordinate positions corresponding to the intersections of the straight lines in the second surface region S2 based on the aspect ratio information (ST114).
  • FIG. 14 is a diagram schematically showing one divided piece Db converted into the second surface region S2, similarly to FIGS. 12B and 13B.
  • the vertices (Bv1 to Bv4) of the rectangular segment Db shown in the figure correspond to the vertices Rv1 to Rv4 shown in FIG. 13B and the vertices Av1 to Av4 shown in FIG. 12B, respectively.
  • the homography estimation unit 103 sets the first surface area to the second surface area based on the coordinate positions of the plurality of original intersection points and the coordinate position corresponding to the intersection point by the straight line in the second surface area S2.
  • a homography to be converted into a surface area is estimated (ST115).
  • a specific homography estimation method by the homography estimation unit 103 is not particularly limited.
  • the homography estimation unit 103 can estimate the homography for each divided piece.
  • the homography estimation unit 103 may estimate, for example, a homography that directly converts the first surface area into the second surface area.
  • the homography estimation unit 103 estimates the first homography for converting the first surface area to the third surface area based on the coordinate positions of the plurality of original intersection points and the coordinate positions of the intersection points by straight lines. And estimating a second homography for converting the third surface region into the first surface region based on the coordinate position of the intersection point by the straight line and the coordinate position corresponding to the intersection point by the straight line in the second surface region, The homography may be estimated based on the first homography and the second homography.
  • the homography estimation unit 103 can calculate the homography by the above steps 111 to 115.
  • the output image generation unit 104 subsequently generates an output image in which the first surface area is converted to the second surface area using the estimated homography (ST35).
  • FIG. 15 is a diagram illustrating an example of the input image Ig and the output image Og
  • FIG. 16 is a diagram illustrating another example of the input image Ig and the output image Og.
  • the output image generation unit 104 outputs an output image including a second surface area that is perceived as having a normal direction substantially the same as the normal direction of the display surface of the display 16. It becomes possible.
  • the display unit 105 displays the generated output image (ST36).
  • a user who has viewed the output image can store the output image in the storage unit 18 through the operation receiving unit 17 or the like.
  • homography can be estimated based on the approximate curve of the contour of the first surface region. Therefore, the curved state perceived from the first surface area can be grasped by the approximate curve of the contour, and can be easily and accurately converted to the second surface area.
  • the coordinate position of the intersection of the two approximate curve pairs and the two curve groups, the coordinate position of the intersection by the straight line when these curves are extended linearly, and the third surface region It is possible to estimate homography for converting from the first surface region to the second surface region on the basis of the coordinate position corresponding to the intersection of the straight lines in the second surface region in which the trapezoidal correction is performed. Therefore, according to the present embodiment, the first surface area that is the subject of the input image can be easily and accurately transformed into the second surface area without requiring a plurality of input images and the like. Become.
  • the contour line of the first surface area is calculated by the curve approximation method, restrictions on the first surface area (processing target) in the input image can be greatly reduced. For example, even when a part of the contour line of the first surface area is hidden by another subject or the like, the hidden contour line part can be smoothly interpolated. Alternatively, it is possible to perform processing even when the first surface area does not include a shadow or the like that can be a clue indicating a curved surface. Therefore, it is possible to provide a technology with higher versatility.
  • the first contour line candidate pair is not limited to an example in which two contour line candidates are detected by the contour line candidate detection process (ST55), and only one contour line candidate facing the binding portion is detected. That's fine.
  • the following processing can be performed in addition to the above processing.
  • the contour detection unit 101 may detect a page dividing line of books and detect the page dividing line as a part of the contour of the first surface area.
  • the page dividing line means a contour line along a binding portion or a fold line of books.
  • the input image includes an image of a two-page spread book
  • the first surface area may be an area corresponding to one page of the two-page spread book.
  • the process for detecting the page dividing line may include the following three processes.
  • the first process is a process for detecting a page dividing line based on an inclination of a contour line along a direction close to the horizontal direction.
  • the second process is a process for detecting a page dividing line by detecting a shadow.
  • the third process is a process of detecting a page dividing line based on the luminance dispersion value of each pixel. As the process for detecting the page dividing line, any one or two processes from the first process to the third process may be performed, or all the processes may be performed.
  • FIG. 17 is a diagram for explaining the first processing, and B shows an enlarged view of A.
  • FIG. 17A on each of the contour lines L3 and L4 along the direction close to the horizontal direction, points where the magnitude of the change in the inclination of the contour line is greater than or equal to a predetermined value are plotted.
  • the contour detection unit 101 detects a point where the interval between adjacent points is equal to or less than a predetermined interval, or a point where the magnitude of the change in the inclination of the contour line is the largest, and the point is a contour line (page dividing line). ) It can be determined as the end point of L2.
  • symbol L1 in the same figure is a contour line along the direction close
  • the upper outline L3 has a noticeable change in the inclination near the page dividing line, and the end point of the page dividing line L2 is relatively easy to determine.
  • the lower outline L4 often has a gentle change in inclination, and it may be difficult to determine the end point of the page dividing line L2. In that case, the end point may be determined by the second process and the third process.
  • the second process utilizes the fact that a shadow can be formed along the page dividing line L2. Therefore, for example, the lower end point of the page dividing line L2 can be determined by tracing downward along the shadow from the upper end point of the page dividing line L2 determined by the first process.
  • FIG. 18 is a diagram for explaining the third process.
  • the contour detection unit 101 scans on different lines Ln1 to Ln4 from, for example, the upper end point Pn21 of the page dividing line L2 determined by the first process, and each pixel is scanned.
  • the line Ln4 having the lowest luminance dispersion value is determined as the page dividing line L2. Accordingly, it is possible to detect a page dividing line that has fewer characters, diagrams, and the like than other regions in books.
  • the process of detecting the page dividing line may be performed after the merge process (ST58) or after the contour selection process (ST57), for example.
  • the contour candidate has only one contour line candidate as the first contour line candidate pair
  • the “surrounding area” described in the contour selection process (ST57) is the second contour line candidate pair.
  • the area may be calculated by virtually assuming the contour line candidate connecting the end points.
  • the homography estimation unit 103 enlarges each of a plurality of divided pieces divided by two approximate curve pairs and two curve groups so as to overlap with an adjacent divided piece, thereby forming a plurality of enlarged divided pieces.
  • the homography may be estimated based on the vertices of each of the enlarged divided pieces.
  • FIG. 19 is a diagram illustrating an output example of the third surface region when two calculated approximate curve pairs and two curve groups are distorted.
  • A is an example of the input image Ig
  • B is an example of the output image Og. Indicates.
  • the output image Og includes a trapezoidal second surface region S2.
  • the homography estimation unit 103 estimates homography using a plurality of divided pieces partitioned by two distorted approximate curve pairs and two curve groups as shown in FIG. As shown, the second surface region is also distorted.
  • FIG. 20 is a diagram for explaining the present modification, in which A is an enlarged view showing the first surface area, and B is an enlarged view showing the second surface area.
  • the homography estimation unit 103 forms an enlarged divided piece Ea obtained by enlarging a plurality of divided pieces divided by two approximate curve pairs and two curve groups.
  • the homography estimation unit 103 performs homography based on the coordinate position of the vertex of the enlarged divided piece Ea and the coordinate position of the vertex of the enlarged divided piece Eb of the second surface region S2 corresponding to the enlarged divided piece Ea. Can be estimated.
  • the output image generation unit 104 may estimate the depth information of the subject from the curved state of the approximate curve and adjust the output image based on the depth information. Specifically, the output image generation unit 104 may estimate the depth information from the coefficient value of the approximate curve calculated as a spline curve from the input image. In this case, a table or the like is created in advance from the experimentally measured depth value of the binding portion or the like and the coefficient value of the approximate curve calculated at that time, and the output image generation unit 104 outputs the table by referring to this table. You can adjust the image.
  • the approximate curve may be, for example, an upper contour line among contour lines along a direction close to the horizontal direction. Since the upper contour line is particularly easy to bend reflecting the curved state of the first surface region, the correlation with the depth value can be examined with high accuracy.
  • FIG. 21 is a schematic diagram in which the output image Og is enlarged.
  • A shows an example when the depth is not adjusted, and B shows an example when the depth is adjusted.
  • B shows an example when the depth is adjusted.
  • this modification it is possible to adjust the depth without acquiring depth information at the time of imaging for each input image by creating a table or the like in advance. Therefore, the adjustment can be performed only from the image information of the input image, and an output image that is easier to view can be provided.
  • FIG. 22 is a block diagram illustrating a functional configuration of the image processing apparatus 100 according to the present modification.
  • the image processing apparatus 100 includes a contour detection unit 101, a curve calculation unit 102, a homography estimation unit 103, an output image generation unit 104, and a display unit 105, as well as a contour correction unit. 106 may be provided.
  • the contour correcting unit 106 can correct the contour detection result of the contour detecting unit 101 and determine the contour of the first surface area. More specifically, the contour detection unit 101 outputs the contour detection result to the display 16 or the like, and the contour correction unit 106 determines the contour of the contour detection unit 101 based on the input by the user received by the operation reception unit 17. The detection result can be corrected.
  • the curve calculation unit 102 can calculate the approximate curve based on the contour obtained by further correcting the detected contour. Therefore, when there is an edge-undetected section in the merge process described above, or when the contour line cannot be detected accurately because the contour line is divided due to the presence of the user's finger or the like included in the input image. Even if it exists, it becomes possible for the curve calculation part 102 to calculate a curve based on a reliable outline.
  • the contour detection unit 101 performs processing on a reduced input image.
  • the present invention is not limited to this, and processing may be performed on an input image that is not reduced.
  • the subject of the input image is a two-page spread book, and the first surface area is an area corresponding to one page of the book image.
  • the present invention is not limited to this.
  • the subject may be a book other than a book (a booklet having a binding portion, a magazine, or a pamphlet or a newspaper having a crease), or other than a book (a sticking or curved surface such as a column) Or the like printed on the screen.
  • the operation of the contour detection unit 101 is not limited to the above-described operation example as long as the contour of the first surface region can be detected.
  • the contour detection unit 101 may perform each step up to detection of a contour candidate (ST56) and finish the process. Thereafter, the image processing apparatus 100 may present the processing result to the user, and the contour correcting unit 106 may correct the contour as described in Modification 1-4.
  • the approximate curve has two approximate curve pairs each including two approximate curves facing each other, and the plurality of divided curves are two curve groups estimated from the two approximate curve pairs, respectively.
  • the present invention is not limited to this.
  • the approximate curve has one pair of approximate curves, and the plurality of divided curves have one curve group estimated from one pair of approximate curves. Also good.
  • the homography may be estimated based only on the approximate curve.
  • the homography estimation method of the homography estimation unit 103 is not limited to the above-described processing.
  • homography may be estimated based on the center (center of gravity) of the plurality of divided pieces.
  • the second surface area is not limited to an example that is perceived as having a normal direction substantially the same as the normal direction of the display surface of the display 16.
  • the normal line of the display surface such as the third surface area is used.
  • the shape may be perceived as having a normal direction different from the direction. In this case, the second stage processing by the homography estimation unit 103 described in the operation example is not necessary.
  • the second surface region is not limited to a region perceived as a flat surface, and may be a surface region perceived as having a curved state different from that of the first surface region.
  • the image processing apparatus 100 may be configured to be able to correct an output image by displaying an output image from the display unit 105 and then receiving an input operation from a user through the operation receiving unit 17 or the like.
  • FIG. 23 is a diagram illustrating a hardware configuration of the image processing apparatus 100 according to the present modification.
  • the image processing apparatus 100 can be configured without the imaging unit 20.
  • the input image can be an image captured by another imaging device or the like and stored in the storage unit 18. Even with the image processing apparatus 100 having such a configuration, it is possible to obtain the same effects as those of the above-described embodiment.
  • FIG. 24 is a block diagram illustrating a schematic configuration of the image processing system 2 according to the second embodiment of the present technology.
  • the image processing system 2 includes an image processing device 200 and a display device 260, and is configured such that an output image generated by image processing in the image processing device 200 can be displayed from the display device 260.
  • the same components as those in the above-described embodiment are denoted by the same reference numerals and description thereof is omitted.
  • the image processing apparatus 200 can be configured as an information processing apparatus such as a smartphone, a tablet terminal, a PC, a tablet PC, a wearable device, or an imaging apparatus capable of information processing. Since the hardware configuration of the image processing apparatus 200 is the same as that of the above-described image processing apparatus 100, the description thereof is omitted.
  • the image processing apparatus 200 may have a configuration including an imaging unit (see FIG. 1) or may not have a configuration (see FIG. 23).
  • the display device 260 is configured as a device capable of displaying an image, such as a display device, a projector device, a wearable terminal, a PC, a tablet PC, a smartphone, a tablet terminal, or an electronic book terminal.
  • FIG. 25 is a block diagram illustrating a functional configuration of the image processing system 2.
  • the image processing system 2 is similar to the image processing apparatus 100 in that it includes a contour detection unit 101, a curve calculation unit 102, a homography estimation unit 103, an output image generation unit 104, and a display unit 105.
  • the image processing apparatus 200 includes a contour detection unit 101, a curve calculation unit 102, a homography estimation unit 103, and an output image generation unit 104.
  • the display device 260 includes the display unit 105.
  • the image processing device 200 transmits the output image generated by the output image generation unit 104 to the display device 260.
  • the display device 260 displays the output image on the display unit 105.
  • the first surface area which is the subject of the input image, can be easily and accurately transformed into the second surface area without requiring a plurality of input images. Is possible.
  • the image processing system 2 may be configured as a cloud system, and the image processing device 200 and the display device 260 may be connected to each other via a network.
  • the image processing apparatus 200 is configured as a server apparatus (information processing apparatus)
  • the display apparatus 260 is, for example, a PC, a tablet PC, a smartphone, a tablet terminal, an electronic book terminal, or an imaging apparatus capable of displaying and communicating images. It may be configured as a user terminal.
  • the image processing apparatus 200 can be configured not to include an imaging unit, like the image processing apparatus 100 shown in FIG. In this case, the image processing apparatus 200 can acquire an input image captured by the display apparatus 260 that can capture an image or another imaging apparatus. Alternatively, an input image stored in an image database on the network can be acquired.
  • FIG. 26 is a block diagram illustrating a schematic configuration of the image processing system 3 according to the third embodiment of the present technology.
  • the image processing system 3 includes an image processing device 300 and a display device 360.
  • the image processing system 3 is configured to transmit the homography information estimated by the image processing device 300 to the display device 360 so that the display device 360 can generate and display an output image based on the homography.
  • the image processing device 300 may be configured as an information processing device such as a smartphone, a tablet terminal, a PC, a tablet PC, a wearable device, a document scanner device, or an imaging device capable of information processing. Since the hardware configuration of the image processing apparatus 300 is the same as that of the image processing apparatus 100 described above, a description thereof will be omitted.
  • the image processing apparatus 300 may have a configuration including an imaging unit (see FIG. 1) or may not have a configuration (see FIG. 23).
  • the display device 360 is configured as a device capable of displaying an image, such as a display device, a projector device, a wearable terminal, a PC, a tablet PC, a smartphone, a tablet terminal, an electronic book terminal, or an imaging device.
  • FIG. 27 is a block diagram illustrating a functional configuration of the image processing system 3.
  • the image processing system 3 includes a contour detection unit 101, a curve calculation unit 102, a homography estimation unit 103, an output image generation unit 104, and a display unit 105, similar to the image processing apparatus 100.
  • the image processing apparatus 300 includes a contour detection unit 101, a curve calculation unit 102, and a homography estimation unit 103.
  • the display device 360 includes an output image generation unit 104 and a display unit 105.
  • the image processing apparatus 300 transmits the homography information estimated by the homography estimation unit 303 to the display apparatus 360.
  • the output image generation unit 304 generates an output image
  • the display unit 305 displays the output image.
  • the first surface area which is the subject of the input image, can be easily and accurately transformed into the second surface area without requiring a plurality of input images. Is possible.
  • the image processing system 3 may be configured as a cloud system similarly to the above-described modification 2-1, and the image processing device 300 and the display device 360 may be connected to each other via a network. Moreover, the image processing apparatus 300 can be configured not to include an imaging unit, like the image processing apparatus 100 shown in FIG.
  • FIG. 28 is a block diagram illustrating a schematic configuration of an image processing system 4 according to the fourth embodiment of the present technology.
  • the image processing system 4 includes an image processing device 400 and a display device 460.
  • the image processing system 4 is configured to be capable of detecting an outline by the display device 460.
  • the image processing device 400 may be configured as an information processing device such as a smartphone, a tablet terminal, a PC, a tablet PC, a wearable device, a document scanner device, or an imaging device capable of information processing. Since the hardware configuration of the image processing apparatus 400 is the same as that of the image processing apparatus 100 described above, a description thereof will be omitted. Note that the image processing apparatus 400 may have a configuration including an imaging unit (see FIG. 1) or may not have a configuration (see FIG. 23).
  • the display device 460 is configured as a device capable of displaying an image, such as a display device, a projector device, a wearable terminal, a PC, a tablet PC, a smartphone, a tablet terminal, an electronic book terminal, or an imaging device.
  • FIG. 29 is a block diagram showing a functional configuration of the image processing system 4.
  • the image processing system 4 includes a contour detection unit 101, a curve calculation unit 102, a homography estimation unit 103, an output image generation unit 104, and a display unit 105, similar to the image processing apparatus 100.
  • the image processing apparatus 400 includes a curve calculation unit 102, a homography estimation unit 103, and an output image generation unit 104.
  • the display device 460 includes a contour detection unit 101 and a display unit 105.
  • Display device 460 detects the contour of the first surface area from the input image and transmits the information to image processing device 400. Based on this, the image processing device 400 estimates homography, generates an output image, and transmits the output image to the display device 460. Accordingly, the display device 460 is configured to be able to display an output image on the display unit 105.
  • the first surface area which is the subject of the input image, can be easily and accurately transformed into the second surface area without requiring a plurality of input images. Is possible.
  • the image processing system 4 may be configured as a cloud system similarly to the above-described modified examples 2-1 and 3-1, and the image processing apparatus 300 and the display apparatus 360 may be connected to each other via a network. Moreover, the image processing apparatus 300 can be configured not to include an imaging unit, like the image processing apparatus 100 shown in FIG.
  • FIG. 30 is a block diagram illustrating a functional configuration of the image processing system 4 according to the present modification.
  • the image processing device 400 includes a curve calculation unit 102 and a homography estimation unit 103
  • the display device 460 includes a contour detection unit 101, an output image generation unit 104, a display unit 105, and the like. May be provided. This also enables processing similar to that in the above-described embodiment.
  • this technique can also take the following structures.
  • a curve calculation unit that calculates an approximate curve of the contour of the first surface region based on an input image including the first surface region as a subject;
  • An image processing apparatus comprising: a homography estimation unit that estimates homography for converting the first surface region into the second surface region based on the approximate curve.
  • the curve calculation unit calculates a plurality of division curves for dividing the first surface area based on the approximate curve
  • the said homography estimation part is an image processing apparatus which estimates the said homography based on the said approximate curve and said several division
  • the approximate curve has an approximate curve pair including two approximate curves facing each other, The image processing apparatus, wherein the plurality of divided curves include a group of curves including a plurality of curves estimated from the approximate curve pair.
  • the image processing apparatus according to (4) above, The approximate curve has two approximate curve pairs each including two approximate curves facing each other, The plurality of divided curves have two curve groups estimated from each of the two approximate curve pairs.
  • the homography estimation unit is an image processing device that estimates the homography based on a plurality of intersections formed by the two approximate curve pairs and the two curve groups.
  • the homography estimation unit enlarges each of a plurality of divided pieces partitioned by the two approximate curve pairs and the two curve groups so as to overlap with an adjacent divided piece to form a plurality of enlarged divided pieces.
  • An image processing apparatus that estimates the homography based on the vertices of each of the plurality of enlarged divided pieces.
  • An image processing apparatus for estimating the homography is based on a plurality of first straight lines formed by extending the approximate curve linearly and a plurality of second straight lines formed by extending the plurality of divided curves linearly.
  • the homography estimation unit is configured to generate the second surface based on information about the shape of the trapezoidal third surface region partitioned by the plurality of first straight lines and imaging angle information of the input image.
  • An image processing apparatus that calculates aspect ratio information of a region and estimates the homography based on the aspect ratio information.
  • the image processing apparatus according to any one of (1) to (9), A contour detector for detecting the contour of the first surface area from the input image; The image processing device, wherein the curve calculation unit calculates the approximate curve based on the detected contour.
  • the image processing apparatus according to (10) above, A contour detector for detecting the contour of the first surface area from the input image; The image processing device, wherein the curve calculation unit calculates the approximate curve based on the detected contour.
  • the image processing apparatus has a first condition that the surrounding area is the largest among the plurality of contour candidates, and a center point of a bounding box when each contour candidate is an object is closest to the center point of the input image An image processing apparatus that selects a contour candidate that satisfies at least one of the second conditions as a contour of the first surface region.
  • the image processing apparatus according to any one of (10) to (12),
  • the input image includes a two-page spread book image
  • the first surface area is an area corresponding to one spread page of the books
  • the contour detection unit is an image processing apparatus that detects a page dividing line of the books and detects the page dividing line as a part of the contour of the first surface area.
  • An approximate curve of the contour of the first surface area is calculated based on an input image including the first surface area as a subject, An image processing method for estimating homography for converting the first surface region into a second surface region based on the approximate curve.

Abstract

　入力画像の被写体である面領域を、容易にかつ精度よく所望の形状に変形することが可能な画像処理装置及び画像処理方法を提供する。　本技術の一形態に係る画像処理装置は、曲線算出部と、ホモグラフィ推定部とを具備する。　上記曲線算出部は、第１の面領域を被写体として含む入力画像に基づいて上記第１の面領域の輪郭の近似曲線を算出する。　上記ホモグラフィ推定部は、上記近似曲線に基づいて、上記第１の面領域を第２の面領域へ変換するホモグラフィを推定する。

Description

画像処理装置及び画像処理方法
　本技術は、入力画像の被写体である面領域を変形することが可能な画像処理装置及び画像処理方法に関する。
　書籍を見開きにして撮像した場合や、柱等の曲面に貼り付けられたポスター等を撮像した場合、これらの書籍やポスター中の文字、図形等が湾曲して見にくくなることがあった。
　そこで、例えば特許文献１には、被写体の特定位置の詳細な形状データを得ることにより、湾曲歪みを平面に補正する構成が記載されている。また、例えば特許文献２には、書籍の綴じ部等の被写体距離を測距することで書籍画像の湾曲歪を補正する構成が記載されている。
特許第４１６２５０１号 特開２０１３－９３７０４号公報
　しかしながら、特許文献１に記載の構成は、上記特定位置付近を高い撮像倍率で撮像することで形状データを取得するため、高い撮像倍率の撮像データを撮像していない場合には適用することができなかった。特許文献２に記載の構成は、画像情報の他、撮像時の被写体距離の情報を必要とするため、当該被写体距離の情報を取得していない場合には適用することができなかった。
　以上のような事情に鑑み、本技術の目的は、入力画像の被写体である面領域を、容易にかつ精度よく所望の形状に変形することが可能な画像処理装置及び画像処理方法を提供することにある。
　上記目的を達成するため、本技術の一形態に係る画像処理装置は、曲線算出部と、ホモグラフィ推定部とを具備する。
　上記曲線算出部は、第１の面領域を被写体として含む入力画像に基づいて上記第１の面領域の輪郭の近似曲線を算出する。
　上記ホモグラフィ推定部は、上記近似曲線に基づいて、上記第１の面領域を第２の面領域へ変換するホモグラフィを推定する。
　上記構成によれば、輪郭の近似曲線に基づいて、第１の面領域から第２の面領域へ変換するホモグラフィを推定することが可能となる。したがって、第１の面領域から知覚される湾曲状態を輪郭の近似曲線で把握し、第１の面領域を、異なる湾曲状態と知覚される第２の面領域へ容易にかつ精度よく変換することが可能となる。
　また、上記曲線算出部は、上記近似曲線に基づいて上記第１の面領域を分割する複数の分割曲線を算出し、
　上記ホモグラフィ推定部は、上記近似曲線及び上記複数の分割曲線に基づいて、上記ホモグラフィを推定してもよい。
　これにより、第１の面領域内部の湾曲状態を複数の分割曲線で把握することが可能となり、より精度の高い変換が可能となる。
　また、上記曲線算出部は、上記近似曲線をスプライン曲線として算出してもよい。
　これにより、輪郭をより滑らかで安定的に近似することが可能となる。
　また、上記近似曲線は、相互に対向する２本の近似曲線を含む近似曲線対を有し、
　上記複数の分割曲線は、上記近似曲線対から推定される複数の曲線を含む曲線群を有してもよい。
　これにより、例えば長方形等の面と知覚される第１の面領域を近似曲線対及び曲線群によって所定の方向に分割することが可能となり、高い精度で湾曲状態を把握することが可能となる。
　この場合に、上記近似曲線は、相互に対向する２本の近似曲線をそれぞれ含む２つの近似曲線対を有し、
　上記複数の分割曲線は、上記２つの近似曲線対各々から推定される２つの曲線群を有してもよい。
　これにより、第１の面領域を２方向により細かく分割し、より高い精度で湾曲状態を把握することが可能となる。
　具体的には、上記２つの近似曲線対と、上記２つの曲線群とによって形成された複数の交点に基づいて上記ホモグラフィを推定してもよい。
　さらに、この場合に、上記ホモグラフィ推定部は、上記２つの近似曲線対及び上記２つの曲線群によって区画される複数の分割片各々を、隣接する分割片と重複するように拡大して複数の拡大分割片を形成し、上記複数の拡大分割片各々の頂点に基づいて上記ホモグラフィを推定してもよい。
　これにより、拡大分割片を用いることで、隣接する分割片間のホモグラフィを平滑化することができ、より安定化したホモグラフィを推定することができる。
　また、上記第１の面領域の輪郭は、曲線状であり、
　上記ホモグラフィ推定部は、上記近似曲線を直線状に伸ばして形成された複数の第１の直線と、上記複数の分割曲線を直線状に伸ばして形成された複数の第２の直線とに基づいて、上記ホモグラフィを推定してもよい。
　これにより、湾曲していると知覚される第１の面領域を、平面と知覚される面領域に変換し、ホモグラフィを推定することができる。
　この場合に、上記ホモグラフィ推定部は、上記複数の第１の直線により区画された台形状の第３の面領域の形状についての情報と、上記入力画像の撮像角度情報とに基づいて、上記第２の面領域のアスペクト比情報を算出し、上記アスペクト比情報に基づいて上記ホモグラフィを推定してもよい。
　第３の面領域の形状についての情報と、上記撮像角度情報とによって、台形補正と同様の手法により、第２の面領域のアスペクト比情報を算出することができる。したがって、より容易にホモグラフィを推定することができる。
　また、上記入力画像から上記第１の面領域の輪郭を検出する輪郭検出部をさらに具備し、
　上記曲線算出部は、上記検出された輪郭に基づいて上記近似曲線を算出してもよい。
　これにより、画像処理装置により、輪郭を検出することが可能となる。
　より具体的には、上記輪郭検出部は、上記入力画像のエッジ検出結果に基づいて上記第１の面領域の複数の輪郭候補を検出し、上記複数の輪郭候補から上記第１の面領域の輪郭を選出することで、上記第１の面領域の輪郭を検出してもよい。
　この場合に、上記輪郭検出部は、上記複数の輪郭候補のうち、囲む面積が最も大きいという第１の条件、及び各輪郭候補をオブジェクトとした場合のバウンディングボックスの中心点が上記入力画像の中心点に最も近いという第２の条件の少なくとも一方の条件を満たす輪郭候補を、上記第１の面領域の輪郭として選出してもよい。
　これにより、第１の面領域が入力画像中で大きな領域を占め、あるいは入力画像の中央部に写っていると推定できる場合、第１の面領域の輪郭を精度よく選出することができる。
上記入力画像は、見開き２ページの書籍類の画像を含み、
　また、上記第１の面領域は、上記書籍類の見開き１ページに対応する領域であり、
　上記輪郭検出部は、上記書籍類のページ分割線を検出し、上記ページ分割線を上記第１の面領域の輪郭の一部として検出してもよい。
　これにより、エッジ検出等によって検出することが難しい書籍類のページ分割線を検出することが可能となる。
　本技術の他の形態に係る画像処理方法は、
　第１の面領域を被写体として含む入力画像に基づいて上記第１の面領域の輪郭の近似曲線を算出するステップと、
　上記近似曲線に基づいて、上記第１の面領域を第２の面領域へ変換するホモグラフィを推定するステップとを含む。
　本技術のさらに他の形態に係るプログラムは、
　情報処理装置に、
　第１の面領域を被写体として含む入力画像に基づいて上記第１の面領域の輪郭の近似曲線を算出するステップと、
　上記近似曲線に基づいて、上記第１の面領域を第２の面領域へ変換するホモグラフィを推定するステップと
　を実行させる。
　以上のように、本技術によれば、入力画像の被写体である面領域を、容易にかつ精度よく所望の形状に変形することが可能な画像処理装置及び画像処理方法を提供することが可能となる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の第１の実施形態に係る画像処理装置のハードウェア構成を示すブロック図である。 上記画像処理装置の機能的構成を示すブロック図である。 上記画像処理装置の動作例を示すフローチャートである。 上記画像処理装置の処理に供される入力画像の例を示す図である。 上記画像処理装置の輪郭検出部による輪郭検出処理例を示すフローチャートである。 上記入力画像中の第１の面領域を含む被写体領域と、当該被写体領域の周囲の背景領域との輝度の差（コントラスト）について説明する図である。 上記コントラストの他の検出例について説明する図である。 上記輪郭検出処理におけるテクスチャ除去後の上記入力画像の例を示す図である。 上記輪郭検出処理における輪郭線候補の検出例を示す図である。 上記画像処理装置の曲線算出部による近似曲線及び複数の分割曲線の算出処理例を示す図である。 上記画像処理装置のホモグラフィ推定部によるホモグラフィ推定処理例を示すフローチャートである。 Ａは、上記ホモグラフィ推定部による２つの近似曲線対、第１の曲線群及び第２の曲線群の出力例を示す図であり、Ｂは、Ａに示す一つの分割片を模式的に示す図である。 Ａは、上記ホモグラフィ推定部による複数の第１の直線及び複数の第２の直線の出力例を示す図であり、Ｂは、Ａに示す一つの分割片を模式的に示す図である。 上記ホモグラフィ推定部により第２の面領域に変換された一つの分割片を模式的に示す図である。 上記入力画像と上記画像処理装置による出力画像の一例を示す図である。 上記入力画像と上記画像処理装置による出力画像の他の例を示す図である。 変形例１－１に係る画像処理装置のページ分割線を検出する処理について説明する図であり、ＢはＡの拡大図を示す。 変形例１－１に係る画像処理装置のページ分割線を検出する他の処理について説明する図である。 画像処理装置により算出された２つの近似曲線対及び２つの曲線群が歪んでいた場合の第３の面領域の出力例を示す図であり、Ａは入力画像、Ｂは出力画像の例を示す。 変形例１－２を説明するための図であり、Ａは第１の面領域を示す拡大図、Ｂは第２の面領域を示す拡大図である。 出力画像を拡大した模式的な図であり、Ａは、変形例１－３に係る奥行きの調整を行わない場合の例を示し、Ｂは当該奥行きの調整を行う場合の例を示す。 変形例１－４に係る画像処理装置の機能的構成を示すブロック図である。 変形例１－１２に係る画像処理装置のハードウェア構成を示す図である。 本技術の第２の実施形態に係る画像処理システムの概略構成を示すブロック図である。 上記画像処理システムの機能的構成を示すブロック図である。 本技術の第３の実施形態に係る画像処理システムの概略構成を示すブロック図である。 上記画像処理システムの機能的構成を示すブロック図である。 本技術の第４の実施形態に係る画像処理システムの概略構成を示すブロック図である。 上記画像処理システムの機能的構成を示すブロック図である。 変形例４－２に係る画像処理システムの機能的構成を示すブロック図である。
　以下、本技術に係る実施形態を、図面を参照しながら説明する。
　＜第１の実施形態＞
　［画像処理装置のハードウェア構成］
　図１は、本技術の第１の実施形態に係る画像処理装置１００のハードウェア構成を示すブロック図である。画像処理装置１００は、具体的には、スマートフォン、タブレット端末、ウェアラブル機器、ＰＣ（Personal Computer）、タブレットＰＣ等の情報処理装置や、情報処理が可能な構成の撮像装置、電子書籍等を生成するドキュメントスキャナ装置等とすることができる。
　同図において、画像処理装置１００は、コントローラ１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３、入出力インタフェース１５、及び、これらを互いに接続するバス１４を備える。
　コントローラ１１は、必要に応じてＲＡＭ１３等に適宜アクセスし、各種演算処理を行いながら画像処理装置１００の各ブロック全体を統括的に制御する。コントローラ１１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等であってもよい。ＲＯＭ１２は、コントローラ１１に実行させるＯＳ、プログラムや各種パラメータなどのファームウェアが固定的に記憶されている不揮発性のメモリである。ＲＡＭ１３は、コントローラ１１の作業用領域等として用いられ、ＯＳ、実行中の各種アプリケーション、処理中の各種データを一時的に保持する。
　入出力インタフェース１５には、ディスプレイ１６、操作受付部１７、記憶部１８、通信部１９、撮像部２０等が接続される。
　ディスプレイ１６は、例えばＬＣＤ（Liquid Crystal Display）、ＯＬＥＤ（Organic Light Emitting Diode）、ＣＲＴ（Cathode Ray Tube）等を用いた表示デバイスである。
　操作受付部１７は、例えばマウス等のポインティングデバイス、キーボード、タッチパネル、その他の入力装置である。操作受付部１７がタッチパネルである場合、そのタッチパネルはディスプレイ１６と一体となり得る。
　記憶部１８は、例えばＨＤＤ（Hard Disk Drive）や、フラッシュメモリ（ＳＳＤ；Solid State Drive）、その他の固体メモリ等の不揮発性メモリである。当該記憶部１８には、上記ＯＳや各種アプリケーション、各種データが記憶される。記憶部１８は、また、後述する入力画像や、画像情報、生成した空間フィルタ、生成した出力画像群等を記憶することが可能に構成される。
　通信部１９は、３Ｇ（Third Generation）やＬＴＥ（Long Term Evolution）等の広域通信システム、Wi Fi（登録商標）等の無線ＬＡＮ（Local Area Network）通信システム、あるいは有線ＬＡＮ通信システム等によりネットワークに通信可能に構成される。
　撮像部２０は、被写体の光画像から画像データを得る。撮像部２０は、図示しない撮像光学系及びイメージセンサを有してもよい。撮像光学系は、被写体の光画像をイメージセンサの撮像面上に結像させる。イメージセンサは、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Semiconductor）センサ等により実現され、結像された光画像を電気信号に変換し、画像データを得る。なお、撮像部２０は、スキャナカメラとして構成されてもよい。
　以上のようなハードウェア構成の画像処理装置１００において、コントローラ１１、及びディスプレイ１６は、以下のような機能的構成を有する。
　［画像処理装置の機能的構成］
　図２は、画像処理装置１００の機能的構成を示すブロック図である。同図に示すように、画像処理装置１００は、輪郭検出部１０１と、曲線算出部１０２と、ホモグラフィ推定部１０３と、出力画像生成部１０４と、表示部１０５とを備える。画像処理装置１００は、以下に説明するように、入力画像の被写体である第１の面領域の輪郭を検出し、その情報を用いて第１の面領域を第２の面領域に変換する。これにより、例えば入力画像中の被写体である湾曲面を平坦面に変換することが可能となる。
　輪郭検出部１０１は、入力画像から第１の面領域の輪郭を検出する。輪郭検出部１０１は、例えば、コントローラ１１により実現される。入力画像は、例えば、撮像部２０により撮像された画像であってもよいし、他の装置等によって撮像され記憶部１８に記憶された画像であってもよい。
　ここでいう「輪郭」は、第１の面領域を囲む輪郭をいう。また、輪郭に含まれる各線分を、以下、「輪郭線」と称する。
　第１の面領域は、入力画像に被写体として含まれる領域であって、例えば湾曲した面として知覚される領域である。以下の説明において「知覚される」とは、輪郭や面領域内部の文字・図形情報等に基づき、画像を鑑賞するユーザの視覚によって認識されることをいう。第１の面領域の具体例は特に限定されないが、例えば、見開き２ページの書籍類の画像の見開き１ページに対応する領域とすることができる。ここでいう「書籍類」とは、綴じ部を有する書籍や冊子、雑誌等や、折り目を有するパンフレットや新聞等を含むものをいう。あるいは、被写体は、柱等の曲面に貼り付けられ、又は曲面に印刷された掲示物等であってもよい。
　輪郭検出部１０１は、例えば、入力画像のエッジ検出結果に基づいて第１の面領域の複数の輪郭候補を検出し、当該複数の輪郭候補のうちから第１の面領域の輪郭を選出することで、第１の面領域の輪郭を検出してもよい。
　輪郭検出部１０１は、入力画像を縮小した縮小入力画像から第１の面領域の輪郭を検出してもよい。これにより、ノイズを省いた状態での輪郭検出が可能となる。この場合、「入力画像」とは、縮小入力画像も含むものとする。
　輪郭検出部１０１の輪郭検出方法は特に限定されず、例えば、エッジ検出やテクスチャ除去、直線検出等の技術を適宜組み合わせて用いることができる。輪郭検出部１０１の詳細な処理例については、後述する。
　曲線算出部１０２は、第１の面領域を被写体として含む入力画像に基づいて第１の面領域の輪郭の近似曲線を算出する。曲線算出部１０２は、例えば、コントローラ１１により実現される。曲線算出部１０２は、本実施形態において、輪郭検出部１０１により検出された輪郭に基づいて近似曲線を算出することができる。
　ここでいう「輪郭の近似曲線を算出」とは、検出された輪郭の通過する入力画像中の座標位置を算出し、当該座標位置に基づいて近似曲線を算出することをいう。近似曲線は、スプライン曲線、ベジエ曲線、ラグランジェ曲線等を適用することができる。なお、近似曲線は、上記算出方法により算出できる線であって、実際は曲線に限定されず、直線であってもよい。
　近似曲線は、相互に対向する２本の近似曲線を含む近似曲線対を有していてもよく、あるいは、相互に対向する２本の近似曲線をそれぞれ含む２つの近似曲線対を有していてもよい。
　曲線算出部１０２は、本実施形態において、近似曲線に基づいて第１の面領域を分割する複数の分割曲線を算出してもよい。
　複数の分割曲線は、上記輪郭の近似曲線を参照して第１の面領域内を分割することで、第１の面領域の湾曲状態を視覚的に表す曲線となり得る。複数の分割曲線は、例えば近似曲線が近似曲線対を有する場合には、近似曲線対から推定される複数の曲線を含む曲線群を有していてもよい。曲線群に含まれる複数の曲線は、略均等な間隔で配列されていてもよい。あるいは、複数の分割曲線は、例えば近似曲線が２つの近似曲線対を有する場合には、２つの近似曲線対各々から推定される２つの曲線群を有していてもよい。
　曲線算出部１０２は、本実施形態において、近似曲線及び複数の分割曲線をスプライン曲線として算出してもよい。これにより、より滑らかで精度の高い曲線近似が可能となる。
　ホモグラフィ推定部１０３は、近似曲線に基づいて、第１の面領域を第２の面領域へ変換するホモグラフィを推定する。ホモグラフィ推定部１０３は、例えば、コントローラ１１により実現される。
　「ホモグラフィ」とは、一般に、３×３の射影変換行列であり、ここでは第１の面領域の属する平面座標系から第２の面領域の属する平面座標系へ変換する行列をいう。ホモグラフィは、一般に、２つの平面座標系の４点以上の点の対応関係に基づいて算出される。
　第２の面領域は、第１の面領域とは異なる湾曲状態を有すると知覚される面領域である。第２の面領域は、例えば、平坦であると知覚される領域であってもよく、さらに、平坦であって当該第２の面領域から知覚される法線方向とディスプレイ１６の表示面の法線方向とが略同一であると知覚される領域であってもよい。
　ホモグラフィ推定部１０３は、本実施形態において、近似曲線及び複数の分割曲線に基づいて、ホモグラフィを推定してもよい。より具体的には、ホモグラフィ推定部１０３は、曲線算出部１０２によって算出された一方の曲線群と他方の曲線群との複数の交点に基づいてホモグラフィを推定してもよい。これにより、上記複数の交点と、第２の面領域における上記複数の交点に対応する点とに基づいて、ホモグラフィを容易に算出することができる。なお、ホモグラフィ推定部１０３の詳細な処理例については、後述する。
　出力画像生成部１０４は、推定されたホモグラフィを用いて第１の面領域が第２の面領域へ変換された出力画像を生成する。出力画像生成部１０４は、例えばコントローラ１１により実現される。
　表示部１０５は、生成された出力画像を表示する。表示部１０５は、例えばディスプレイ１６により実現される。
　以下、上記構成の画像処理装置１００の動作例について説明する。
　［画像処理装置の動作］
　図３は、画像処理装置１００の動作例を示すフローチャートである。
　まず、輪郭検出部１０１が入力画像から第１の面領域の輪郭を検出する（ＳＴ３１）。
　図４は、入力画像の例を示す図である。同図に示すように、入力画像Ｉｇの被写体は見開き２ページの書籍であって、各ページが長方形の面で構成されるものとする。また、第１の面領域Ｓ１は、当該書籍の画像の見開き１ページに対応する領域とし、当該書籍の綴じてある部分は、綴じ部と表現されるものとする。なお、図中のｘ軸方向は入力画像の上下方向を示し、ｙ軸方向はｘ軸方向に直交する入力画像の水平方向を示す。
　図５は、輪郭検出部１０１による輪郭検出処理例を示すフローチャートである。
　輪郭検出部１０１は、入力画像を縮小して縮小入力画像を生成する（ＳＴ５１）。以下の輪郭検出処理例においては、輪郭検出部１０１が縮小入力画像に対して処理を行うため、明記しない限り「入力画像」が「縮小入力画像」を示すものとする。
　続いて輪郭検出部１０１は、入力画像中の第１の面領域を含む被写体領域と、被写体領域の周囲の背景領域との輝度の差（コントラスト）を検出する（ＳＴ５２）。コントラストを検出することで、後述するエッジ検出処理及び直線検出処理において最適な閾値を設定することが可能となる。
　図６は、上記コントラストについて説明する図である。同図Ａは、被写体領域Ｓと背景領域Ｂのコントラストが低い。一方、同図Ｂは被写体領域Ｓと背景領域Ｂのコントラストが高い。このようなコントラストの高低は、例えば、画像認識技術等によって被写体領域Ｓを検出し、当該検出された被写体領域Ｓの輝度の平均値と背景領域Ｂの輝度の平均値とを比較することで、検出することができる。
　図７は、上記コントラストの他の検出例について説明する図である。コントラストは、より簡易に検出してもよい。例えば同図に示すように、入力画像の中央部Ｃに被写体領域Ｓが配置され、入力画像の周縁部Ｐに背景領域Ｂが配置されていると推定される場合、入力画像を中央部Ｃと周縁部Ｐとにセグメント分割する。そして、中央部Ｃと周縁部Ｐとで各々の輝度の平均値を算出し、各平均値を比較することで、上記コントラストを検出することができる。
　続いて輪郭検出部１０１は、エッジ検出を行う（ＳＴ５３）。この際、上記コントラストの検出結果に基づいて、エッジ検出における閾値を設定することができる。エッジ検出方法は特に限定されないが、例えば、キャニー（Ｃａｎｎｙ）フィルタを用いることができる。これにより、精度よくエッジ検出を行うことが可能となる。
　続いて輪郭検出部１０１は、テクスチャ除去処理を行う（ＳＴ５４）。これにより、図８に示すように、テクスチャ除去後の入力画像が出力され得る。テクスチャ除去処理方法については特に限定されない。
　続いて輪郭検出部１０１は、輪郭線候補を検出する（ＳＴ５５）。まず輪郭検出部１０１は、輪郭線候補検出処理として、例えば直線検出を行うことができる。この際、輪郭検出部１０１は、上記コントラストの検出結果に基づいて直線検出における閾値を設定することができる。直線検出方法は特に限定されないが、例えばハフ（Ｈｏｕｇｈ）変換を用いることができる。これにより、図９Ａに示すように、ｙ軸方向と４５度以下の鋭角をなす複数の輪郭線候補Ｌｃ１，Ｌｃ２，Ｌｃ３が検出され得る。
　さらに輪郭検出部１０１は、輪郭線候補検出処理として、図８に示したテクスチャ除去後の出力から上下方向に近い方向に沿った２本の輪郭線候補（第１の輪郭線候補対）等を除去した線分であって、ｘ軸方向と４５度以下の鋭角をなす方向に沿った複数の輪郭線候補Ｌｃ４，Ｌｃ５，Ｌｃ６を検出することができる（図９Ｂ参照）。
　なお以下の説明において、ｙ軸方向と４５度以下の鋭角をなす方向を、「上下方向に近い方向」と表現し、ｘ軸方向と４５度以下の鋭角をなす方向を、「水平方向に近い方向」と表現するものとする。
　続いて輪郭検出部１０１は、第１の面領域の複数の輪郭候補を検出する（ＳＴ５６）。ここでいう輪郭候補とは、上下方向に近い方向に沿った２本の輪郭線候補（第１の輪郭線候補対）と、水平方向に近い方向に沿った２本の輪郭線候補（第２の輪郭線候補対）との組をいうものとする。
　具体的には、輪郭検出部１０１は、まず水平方向に近い方向に沿った輪郭線候補Ｌｃ４～Ｌｃ６のうち、上下方向に近い方向に沿った輪郭線候補Ｌｃ１～Ｌｃ３の各端点から所定以下の距離にある輪郭線候補が存在するか否か判定する。存在すると判定された場合、輪郭検出部１０１は、当該端点を有する上下方向に近い方向に沿った輪郭線候補を第１の輪郭線候補対とし、所定以下の距離にあると判定された水平方向に近い方向に沿った輪郭線候補を第２の輪郭線候補対とすることができる。さらに、輪郭検出部１０１は、これら第１の輪郭線候補対と第２の輪郭線候補の組を１つの輪郭候補と検出することができる。
　なお、綴じ部の輪郭線候補が検出できなかった場合は、後述する変形例１－１のページ分割処理を行うことができる。
　続いて輪郭検出部１０１は、上記複数の輪郭候補から第１の面領域の輪郭を選出する（ＳＴ５７）。これにより、上下方向に近い方向に沿った第１の輪郭線対及び水平方向に近い方向に沿った第２の輪郭線対を含む第１の面領域の輪郭が検出され得る。
　輪郭の選出方法は特に限定されないが、以下のように行うことができる。例えば輪郭検出部１０１は、複数の輪郭候補のうち、囲む面積が最も大きいという第１の条件、及び各輪郭候補をオブジェクトとした場合のバウンディングボックスの中心点が入力画像の中心点に最も近いという第２の条件の少なくとも一方の条件を満たす輪郭候補を、第１の面領域の輪郭として選出することができる。また、輪郭の選出方法は、第１の条件及び第２の条件の双方の条件を満たす輪郭候補を選出してもよいし、いずれか一方の条件を満たす輪郭候補を選出してもよい。
　続いて輪郭検出部１０１は、選出された輪郭に含まれる各輪郭線のマージ処理を行う（ＳＴ５８）。輪郭検出部１０１は、例えば、第２の輪郭線対と第１の輪郭線対との距離、及び隣接する輪郭線のなす角度を算出し、これらの情報に基づいて隣接する輪郭線をマージする処理を行うことができる。
　続いて輪郭検出部１０１は、縮小入力画像を元のサイズに拡大し、微調整を行う（ＳＴ５９）。これにより、仮に縮小入力画像上でのわずかな誤差がサイズの拡大に伴い大きな誤差となった場合であっても、その誤差を補正することが可能となる。
　輪郭検出部１０１は、以上の各ステップ５１～５９により第１の面領域の輪郭を検出することが可能となる。
　図３の処理に戻り、続いて曲線算出部１０２が、第１の面領域を被写体として含む入力画像に基づいて第１の面領域の輪郭の近似曲線を算出する（ＳＴ３２）。ここでは、曲線算出部１０２が、輪郭検出部１０１により検出された輪郭に基づいて近似曲線を算出する。曲線算出部１０２は、近似曲線をスプライン曲線として算出する。
　続いて曲線算出部１０２が、算出した近似曲線に基づいて第１の面領域を分割する複数の分割曲線を算出する（ＳＴ３３）。
　図１０は、近似曲線及び複数の分割曲線の算出処理例を示す図である。同図に示すように、近似曲線は、相互に対向する２本の近似曲線を含む第１の近似曲線対Ａｐ１と、相互に対向する２本の第２の近似曲線対Ａｐ２とを含む。第１の近似曲線対Ａｐ１は第１の輪郭対の近似曲線であり、第２の近似曲線対Ａｐ２は第２の輪郭対の近似曲線である。また、複数の分割曲線は、２つの近似曲線対各々から推定される２つの曲線群を有する。すなわち、複数の分割曲線は、第１の近似曲線対Ａｐ１から推定される複数の曲線を含む第１の曲線群Ａｇ１を有し、第２の近似曲線対Ａｐ２から推定される複数の曲線を含む第２の曲線群Ａｇ２を有する。
　第１の曲線群Ａｇ１に含まれる複数の曲線は、例えば、第１の近似曲線対Ａｐ１各々のスプライン曲線の係数から各曲線の係数を推定することにより、算出することができる。また第２の曲線群Ａｇ２に含まれる複数の曲線も同様に、第２の近似曲線対Ａｐ２各々のスプライン曲線の係数から各曲線の係数を推定することにより、算出することができる。
　続いてホモグラフィ推定部１０３が、近似曲線に基づいて、第１の面領域を第２の面領域へ変換するホモグラフィを推定する（ＳＴ３４）。ホモグラフィ推定部１０３は、本実施形態において、近似曲線及び複数の分割曲線に基づいて、第１の面領域を第２の面領域へ変換するホモグラフィを推定する。
　本動作例では、ホモグラフィ推定部１０３は、以下の２段階により第１の面領域と第２の面領域との対応関係を算出し、ホモグラフィを推定する。まず第１の段階は、湾曲していると知覚され得る第１の面領域を、平坦であると知覚され得る台形状の第３の面領域に変換し、これらの対応関係について算出する。第２の段階は、第３の面領域を、平坦であって表示領域の法線方向と一致する法線方向を有すると知覚される第２の面領域に変換し、これらの対応関係を算出する。以下、詳細に説明する。
　図１１は、ホモグラフィ推定部１０３によるホモグラフィ推定処理例を示すフローチャートである。
　まずホモグラフィ推定部１０３が、２つの近似曲線対と、２つの曲線群とによって形成された複数の交点の座標位置を算出する（ＳＴ１１１）。
　図１２Ａは、２つの近似曲線対、第１の曲線群及び第２の曲線群の出力例を示す図である。同図に示すように、第１の面領域Ｓ１に対応する領域には、２つの近似曲線対Ａｐ１，Ａｐ２及び２つの曲線群Ａｇ１，Ａｇ２によって区画される複数の分割片Ｄａが形成されている。また、第１の面領域の輪郭は曲線状であり、２つの近似曲線対Ａｐ１，Ａｐ２及び２つの曲線群Ａｇ１，Ａｇ２も曲線状に形成される。なお、説明のため、図１０に示す分割曲線の数と図１２Ａに示す分割曲線の数とは異なっている。
　図１２Ｂは、図１２Ａに示す一つの分割片Ｄａを模式的に示す図である。同図に示す分割片Ｄａ各々の頂点（Ａｖ１～Ａｖ４）は、上記複数の交点となり得る。
　続いてホモグラフィ推定部１０３が、近似曲線を直線状に伸ばして形成された複数の第１の直線と、複数の分割曲線を直線状に伸ばして形成された複数の第２の直線とによって形成された複数の交点の座標位置を算出する（ＳＴ１１２）。当該複数の交点（以下、直線による交点と称する）の座標位置は、以下のように算出することができる。すなわちホモグラフィ推定部１０３は、隣接する交点間の曲線の長さに基づいて、この交点間の曲線が直線であった場合の２つの近似曲線対と２つの曲線群とによって形成された複数の交点（以下、元の交点と称する）に対応する座標位置を算出することにより、直線による複数の交点を算出することができる。
　図１３Ａは、複数の第１の直線及び複数の第２の直線の出力例を示す図である。同図に示すように、第１の面領域に対応する領域は、複数の第１の直線Ｒ１により区画された台形状の第３の面領域Ｓ３に変換されている。また、第３の面領域Ｓ３には、複数の第１の直線Ｒ１及び複数の第２の直線Ｒ２によって区画される複数の台形状の分割片Ｄｒが形成されている。
　図１３Ｂは、図１３Ａに示す一つの分割片Ｄｒを模式的に示す図である。同図に示す台形状の分割片Ｄｒ各々の頂点（Ｒｖ１～Ｒｖ４）は、図１２Ｂに示す各頂点Ａｖ１～Ａｖ４にそれぞれ対応し、上記直線による交点となり得る。
　続いてホモグラフィ推定部１０３が、第３の面領域の形状についての情報と、入力画像の撮像角度情報とに基づいて、第２の面領域のアスペクト比情報を算出する（ＳＴ１１３）。これにより、ホモグラフィ推定部１０３は、当該アスペクト比情報に基づいてホモグラフィを推定することが可能となる。
　図１３Ｂを参照し、ホモグラフィ推定部１０３は、第３の面領域Ｓ３の上辺の長さｗ及び高さｈを検出することで、第３の面領域Ｓ３の形状についての情報を算出することができる。ホモグラフィ推定部１０３は、当該形状についての情報と撮像角度情報とに基づいて、同図Ｂに示す第２の面領域Ｓ２のアスペクト比情報を算出することができる。
　ここでいう形状についての情報とは、上述の上辺の長さ及び高さの情報に限定されず、例えば下辺の長さ及び高さの情報でもよく、あるいは上辺の長さ、下辺の長さ及び高さ等の情報であってもよい。また、撮像角度情報は、いわゆる「垂直方向のビューアングル（垂直画角）」の情報を含み、例えば、入力画像のメタデータとして記憶されている。また、アスペクト比情報とは、第２の面領域Ｓ２の幅ｗ'及び高さｈ'の比をいう（図１４参照）。
　続いて、ホモグラフィ推定部１０３が、上記アスペクト比情報に基づいて、第２の面領域Ｓ２において上記直線による交点に対応する座標位置をそれぞれ算出する（ＳＴ１１４）。
　図１４は、図１２Ｂ及び図１３Ｂと同様に、第２の面領域Ｓ２に変換された一つの分割片Ｄｂを模式的に示す図である。同図に示す長方形状の分割片Ｄｂ各々の頂点（Ｂｖ１～Ｂｖ４）は、図１３Ｂに示す各頂点Ｒｖ１～Ｒｖ４、及び図１２Ｂに示す各頂点Ａｖ１～Ａｖ４にそれぞれ対応する。
　続いて、ホモグラフィ推定部１０３が、複数の元の交点の座標位置と、第２の面領域Ｓ２において上記直線による交点に対応する座標位置とに基づいて、第１の面領域を第２の面領域へ変換するホモグラフィを推定する（ＳＴ１１５）。ホモグラフィ推定部１０３による具体的なホモグラフィの推定方法は特に限定されない。例えば、ホモグラフィ推定部１０３は、各分割片毎にホモグラフィを推定することができる。また、ホモグラフィ推定部１０３は、例えば第１の面領域を第２の面領域へ直接変換するホモグラフィを推定してもよい。あるいは、ホモグラフィ推定部１０３は、複数の元の交点の座標位置と、直線による交点の座標位置とに基づいて第１の面領域を第３の面領域へ変換する第１のホモグラフィを推定し、直線による交点の座標位置と第２の面領域において直線による交点に対応する座標位置とに基づいて第３の面領域を第１の面領域へ変換する第２のホモグラフィを推定し、第１のホモグラフィと第２のホモグラフィとに基づいて上記ホモグラフィを推定してもよい。
　ホモグラフィ推定部１０３は、以上の各ステップ１１１～１１５によりホモグラフィを算出することが可能となる。
　図３の処理に戻り、続いて出力画像生成部１０４が、推定されたホモグラフィを用いて第１の面領域が第２の面領域へ変換された出力画像を生成する（ＳＴ３５）。
　図１５は、入力画像Ｉｇと出力画像Ｏｇとの一例を示す図であり、図１６は、入力画像Ｉｇと出力画像Ｏｇとの他の例を示す図である。これらの図に示すように、出力画像生成部１０４は、ディスプレイ１６の表示面の法線方向と略同一の法線方向を有するように知覚される第２の面領域を含む出力画像を出力することが可能となる。
　最後に表示部１０５が、生成された出力画像を表示する（ＳＴ３６）。この出力画像を鑑賞したユーザは、操作受付部１７等によりこの出力画像を記憶部１８に記憶させることが可能となる。
　以上のように、本実施形態によれば、第１の面領域の輪郭の近似曲線に基づいてホモグラフィを推定することが可能となる。したがって、第１の面領域から知覚される湾曲状態を輪郭の近似曲線で把握でき、容易にかつ精度よく第２の面領域へ変換することが可能となる。
　また、本実施形態によれば、２つの近似曲線対と２つの曲線群の交点の座標位置と、これらの曲線を直線状に伸ばした場合の直線による交点の座標位置、及び第３の面領域を台形補正した第２の面領域において直線による交点に対応する座標位置に基づいて、第１の面領域から第２の面領域へ変換するホモグラフィを推定することが可能となる。したがって、本実施形態によれば、複数枚の入力画像等を必要とせずに、入力画像の被写体である第１の面領域を容易にかつ精度よく第２の面領域に変形することが可能となる。
　さらに、本実施形態によれば、第１の面領域の輪郭線を曲線近似法によって算出するため、入力画像中の第１の面領域（処理対象）に対する制約を非常に少なくすることができる。例えば、第１の面領域の輪郭線の一部が他の被写体等によって隠れていた場合であっても、当該隠れた輪郭線部分を滑らかに補間することが可能となる。あるいは、第１の面領域に、曲面を示す手掛かりとなり得る影等が写っていない場合であっても処理を行うことが可能となる。したがって、より汎用性が高い技術を提供することが可能となる。
　［変形例１－１］
　第１の輪郭線候補対は、輪郭線候補検出処理（ＳＴ５５）によって２本の輪郭線候補が検出される例に限定されず、綴じ部と対向する１本の輪郭線候補のみ検出されていればよい。この場合は、上述の処理に加えて以下のような処理を行うことができる。
　輪郭検出部１０１は、書籍類のページ分割線を検出し、ページ分割線を第１の面領域の輪郭の一部として検出してもよい。ページ分割線とは、書籍類の綴じ部や折り目に沿った輪郭線をいうものとする。この場合、入力画像は、見開き２ページの書籍類の画像を含み、第１の面領域は、見開き２ページの書籍類の見開き１ページに対応する領域とすることができる。
　ページ分割線を検出する処理は、以下の３つの処理を有してもよい。第１の処理は、水平方向に近い方向に沿った輪郭線の傾きによりページ分割線を検出する処理である。第２の処理は、影を検出することによりページ分割線を検出する処理である。第３の処理は、各ピクセルの輝度の分散値に基づいてページ分割線を検出する処理である。ページ分割線を検出する処理としては、第１の処理から第３の処理までのいずれか１つ又は２つの処理を行ってもよいし、全ての処理を行ってもよい。
　図１７は、上記第１の処理について説明する図であり、ＢはＡの拡大図を示す。図１７Ａに示すように、水平方向に近い方向に沿った各輪郭線Ｌ３，Ｌ４上には、当該輪郭線の傾きの変化の大きさが所定以上となる点がプロットされている。輪郭検出部１０１は、隣接する点の間隔が所定の間隔以下となる点、あるいは当該輪郭線の傾きの変化の大きさが最も大きくなる点等を検出し、その点を輪郭線（ページ分割線）Ｌ２の端点と決定することができる。なお、同図中の符号Ｌ１は、上下方向に近い方向に沿った輪郭線であって、輪郭線Ｌ２と対向する輪郭線を示す。
　ここで、上部の輪郭線Ｌ３は、図１７Ａに示すように、ページ分割線付近の傾きの変化が顕著であり、ページ分割線Ｌ２の端点の決定が比較的容易である。一方で下部の輪郭線Ｌ４は、図１７Ｂの拡大図に示すように、傾きの変化が緩やかな場合が多く、ページ分割線Ｌ２の端点の決定が難しいことがある。その場合は、上記第２の処理、第３の処理によって端点を決定すればよい。
　第２の処理は、ページ分割線Ｌ２に沿って影が形成され得ることを利用する。したがって、例えば第１の処理によって決定されたページ分割線Ｌ２の上部の端点から影に沿って下方へ辿り、影が途切れた点をページ分割線Ｌ２の下部の端点と決定することができる。
　図１８は、上記第３の処理について説明する図である。同図に示すように、本処理では、輪郭検出部１０１が、例えば第１の処理によって決定されたページ分割線Ｌ２の上部の端点Ｐｎ２１から異なるラインＬｎ１～Ｌｎ４上をスキャニングして、各ピクセルの輝度の分散値が最も低いラインＬｎ４をページ分割線Ｌ２として決定する。これにより、書籍類において他の領域と比較して文字や図等が少ないページ分割線を検出することができる。
　ページ分割線を検出する処理は、例えば、マージ処理（ＳＴ５８）の後に行ってもよいし、輪郭選出処理（ＳＴ５７）の後に行ってもよい。また、輪郭候補が第１の輪郭線候補対として１本の輪郭線候補のみ有している場合、輪郭選出処理（ＳＴ５７）において説明した「囲む面積」については、第２の輪郭線候補対の端点を結ぶ輪郭線候補を仮想的に想定し、面積を算出してもよい。
　本変形例により、綴じ部の輪郭線が検出できなかった場合や、検出された輪郭線の信頼性が低いような場合であっても、確実に綴じ部の輪郭線を検出することが可能となる。
　［変形例１－２］
　ホモグラフィ推定部１０３は、２つの近似曲線対及び２つの曲線群によって区画される複数の分割片各々を、隣接する分割片と重複するように拡大して複数の拡大分割片を形成し、複数の拡大分割片各々の頂点に基づいてホモグラフィを推定してもよい。
　図１９は、算出された２つの近似曲線対及び２つの曲線群が歪んでいた場合の第３の面領域の出力例を示す図であり、Ａは入力画像Ｉｇ、Ｂは出力画像Ｏｇの例を示す。なお、この例では、出力画像Ｏｇは台形状の第２の面領域Ｓ２を含むものとする。
　ホモグラフィ推定部１０３は、図１９Ａに示すような歪んでいる２つの近似曲線対及び２つの曲線群によって区画される複数の分割片を用いてホモグラフィを推定した場合、図１９Ｂの拡大図に示すように、第２の面領域も歪んでしまう。
　図２０は、本変形例を説明するための図であり、Ａは第１の面領域を示す拡大図、Ｂは第２の面領域を示す拡大図である。同図Ａに示すように、ホモグラフィ推定部１０３は、２つの近似曲線対及び２つの曲線群によって区画される複数の分割片を拡大した拡大分割片Ｅａを形成する。ホモグラフィ推定部１０３は、この拡大分割片Ｅａの頂点の座標位置と、拡大分割片Ｅａに対応する第２の面領域Ｓ２の拡大分割片Ｅｂの頂点の座標位置とに基づいて、ホモグラフィを推定することができる。
　これにより、隣接する分割片間のホモグラフィを平滑化することができ、ホモグラフィの推定を安定して行うことができる。したがって、図２１に示すように、歪みのない第２の面領域を含む出力画像Ｏｇを出力することができる。
　［変形例１－３］
　上述の実施形態の処理を行った場合、出力画像において、綴じ部付近の文字等がｘ軸方向につぶれ、ｙ軸方向に細長くなることがあった。これは、綴じ部付近における、撮像部２０等のレンズの光軸に対して平行な方向への奥行きの変化が大きいためと考えられる。
　そこで出力画像生成部１０４は、近似曲線の湾曲状態から被写体の奥行き情報を推定し、当該奥行き情報に基づいて出力画像を調整してもよい。出力画像生成部１０４は、具体的には、入力画像からスプライン曲線として算出された近似曲線の係数値から奥行き情報を推定してもよい。この場合、実験的に計測した綴じ部等の奥行き値と、その際に算出された近似曲線の係数値とからテーブル等が予め作成され、出力画像生成部１０４は、このテーブルを参照して出力画像を調整することができる。
　また、上記近似曲線は、例えば、水平方向に近い方向に沿った輪郭線のうち上部の輪郭線であってもよい。当該上部の輪郭線は、第１の面領域の湾曲状態を反映して特に湾曲しやすいため、精度よく奥行き値との相関を調べることができる。
　図２１は、出力画像Ｏｇを拡大した模式的な図であり、Ａは、当該奥行きの調整を行わない場合の例を示し、Ｂは当該奥行きの調整を行う場合の例を示す。これらの図に示すように、本変形例により、ホモグラフィの推定のみでは補正することが難しかった綴じ部付近の調整を行い、より文字や図が見やすい出力画像を提供することが可能となる。
　さらに、本変形例によれば、予めテーブル等を作成することにより、入力画像毎に撮像時の奥行き情報を取得せずとも、奥行きの調整を行うことが可能となる。したがって、入力画像の画像情報のみから、当該調整を行うことが可能となり、より簡便に見やすい出力画像を提供することが可能となる。
　［変形例１－４］
　図２２は、本変形例に係る画像処理装置１００の機能的構成を示すブロック図である。同図に示すように、画像処理装置１００は、輪郭検出部１０１と、曲線算出部１０２と、ホモグラフィ推定部１０３と、出力画像生成部１０４と、表示部１０５とに加え、さらに輪郭補正部１０６を備えていてもよい。
　輪郭補正部１０６は、輪郭検出部１０１の輪郭検出結果を補正して、第１の面領域の輪郭を決定することができる。より具体的には、輪郭検出部１０１は、輪郭検出結果をディスプレイ１６等に出力し、輪郭補正部１０６は、操作受付部１７により受け付けられたユーザによる入力に基づいて、輪郭検出部１０１の輪郭検出結果を補正することができる。
　これにより、曲線算出部１０２は、検出された輪郭をさらに補正した輪郭に基づいて、近似曲線を算出することが可能となる。したがって、上述のマージ処理においてエッジ未検出の区間があった場合や、入力画像中に含まれるユーザの指等の存在により輪郭線が分断されたことで精度よく輪郭線が検出できなかった場合であっても、曲線算出部１０２が信頼性の高い輪郭線に基づいて曲線を算出することが可能となる。
　［変形例１－５］
　上述の実施形態では、輪郭検出部１０１が、縮小入力画像に対して処理を行う例を示したが、これに限定されず、縮小しない入力画像に対して処理を行ってもよい。
　［変形例１－６］
　上述の実施形態では、入力画像の被写体は見開き２ページの書籍であって、第１の面領域は、当該書籍の画像の見開き１ページに対応する領域である例を示したが、これに限定されない。例えば被写体は、書籍以外の書籍類（綴じ部を有する冊子、雑誌等や、折り目を有するパンフレットや新聞等）であってもよいし、書籍類以外（柱等の曲面に貼り付けられ、又は曲面に印刷された掲示物等）であってもよい。
　［変形例１－７］
　輪郭検出部１０１の動作は、第１の面領域の輪郭が検出できればよく、上述の動作例に限定されない。例えば、輪郭検出部１０１は、輪郭候補の検出（ＳＴ５６）までの各ステップを行い、処理を終えてもよい。その後、画像処理装置１００がユーザに処理結果を提示し、変形例１－４で説明したように輪郭補正部１０６が輪郭の補正を行ってもよい。
　［変形例１－８］
　上述の実施形態では、近似曲線が相互に対向する２本の近似曲線をそれぞれ含む２つの近似曲線対を有し、複数の分割曲線は、２つの近似曲線対各々から推定される２つの曲線群を有すると説明したが、これに限定されない。例えば、第１の面領域の湾曲状態によっては、近似曲線が１対の近似曲線対を有し、複数の分割曲線が１対の近似曲線対から推定される１つの曲線群を有していてもよい。これにより、上下方向に近い方向又は水平方向に近い方向等、一方向に沿った分割片を生成し、これに基づいてホモグラフィを推定することが可能となる。
　さらに、近似曲線のみに基づいてホモグラフィを推定してもよい。
　［変形例１－９］
　ホモグラフィ推定部１０３のホモグラフィの推定方法も上述の処理に限定されない。例えば、上記複数の分割片の中心（重心）等に基づいてホモグラフィを推定してもよい。
　［変形例１－１０］
　第２の面領域は、ディスプレイ１６の表示面の法線方向と略同一の法線方向を有するように知覚される例に限定されず、例えば第３の面領域のような表示面の法線方向と異なる法線方向を有すると知覚される形状であってもよい。この場合、動作例で説明したホモグラフィ推定部１０３による第２の段階の処理が不要となる。
　また、第２の面領域は、平坦な面と知覚される領域に限定されず、第１の面領域と異なる湾曲状態を有すると知覚される面領域であってもよい。
　［変形例１－１１］
　画像処理装置１００は、表示部１０５から出力画像を表示した後、操作受付部１７等によりユーザからの入力操作を受け付け、出力画像の補正が可能に構成されてもよい。
　［変形例１－１２］
　図２３は、本変形例に係る画像処理装置１００のハードウェア構成を示す図である。同図に示すように、画像処理装置１００は、撮像部２０を有さない構成とすることができる。この場合、入力画像は、他の撮像装置等によって撮像され、記憶部１８に記憶された画像とすることができる。このような構成の画像処理装置１００であっても、上述の実施形態と同様の作用効果を得ることができる。
　＜第２の実施形態＞
　上述の実施形態においては、画像処理及び表示が一装置で行われると説明したが、以下の実施形態のように、複数の装置を含む画像処理システムにより行われてもよい。
　［画像処理システムの概略構成］
　図２４は、本技術の第２の実施形態に係る画像処理システム２の概略構成を示すブロック図である。画像処理システム２は、画像処理装置２００及び表示装置２６０を備え、画像処理装置２００において画像処理され生成された出力画像が、表示装置２６０から表示されることが可能に構成される。なお、以下の説明において、上述の実施形態と同様の構成は同一の符号を付して説明を省略する。
　画像処理装置２００は、スマートフォン、タブレット端末、ＰＣ、タブレットＰＣ、ウェアラブル機器、情報処理が可能な撮像装置等の情報処理装置として構成され得る。画像処理装置２００のハードウェア構成は、上述の画像処理装置１００と同様であるため、省略する。なお、画像処理装置２００は、撮像部を有する構成であってもよいし（図１参照）、有さない構成であってもよい（図２３参照）。
　表示装置２６０は、例えばディスプレイ装置、プロジェクタ装置、ウェアラブル端末、ＰＣ、タブレットＰＣ、スマートフォン、タブレット端末、電子書籍端末等の画像表示が可能な装置として構成される。
　［画像処理システムの機能的構成］
　図２５は、画像処理システム２の機能的構成を示すブロック図である。同図に示すように、画像処理システム２は、画像処理装置１００と同様の、輪郭検出部１０１と、曲線算出部１０２と、ホモグラフィ推定部１０３と、出力画像生成部１０４と、表示部１０５とを備える。画像処理装置２００は、輪郭検出部１０１と、曲線算出部１０２と、ホモグラフィ推定部１０３と、出力画像生成部１０４とを備える。表示装置２６０は、表示部１０５を備える。
　画像処理装置２００は、出力画像生成部１０４により生成された出力画像を、表示装置２６０に送信する。表示装置２６０は、表示部１０５により当該出力画像を表示する。
　以上のように、本実施形態によっても、複数枚の入力画像等を必要とせずに、入力画像の被写体である第１の面領域を、容易にかつ精度よく第２の面領域に変形することが可能となる。
　［変形例２－１］
　画像処理システム２は、クラウドシステムとして構成され、画像処理装置２００と表示装置２６０が、ネットワークを介して相互に接続されてもよい。この場合、画像処理装置２００は、サーバ装置（情報処理装置）として構成され、表示装置２６０は、例えばＰＣ、タブレットＰＣ、スマートフォン、タブレット端末、電子書籍端末、画像の表示及び通信が可能な撮像装置等のユーザ端末として構成されてもよい。
　また、画像処理装置２００は、図２３に示す画像処理装置１００と同様に、撮像部を備えない構成とすることができる。この場合、画像処理装置２００は、撮像可能な表示装置２６０や他の撮像装置が撮像した入力画像を取得することができる。あるいはネットワーク上の画像データベース等に記憶された入力画像を取得することができる。
　＜第３の実施形態＞
　図２６は、本技術の第３の実施形態に係る画像処理システム３の概略構成を示すブロック図である。同図において、画像処理システム３は、画像処理装置３００及び表示装置３６０を備える。画像処理システム３は、画像処理装置３００が推定したホモグラフィの情報を表示装置３６０へ送信し、表示装置３６０がホモグラフィに基づいて出力画像を生成し、表示することが可能に構成される。
　画像処理装置３００は、スマートフォン、タブレット端末、ＰＣ、タブレットＰＣ、ウェアラブル機器、ドキュメントスキャナ装置、情報処理が可能な撮像装置等の情報処理装置として構成され得る。画像処理装置３００のハードウェア構成は、上述の画像処理装置１００と同様であるため、省略する。なお、画像処理装置３００は、撮像部を有する構成であってもよいし（図１参照）、有さない構成であってもよい（図２３参照）。
　表示装置３６０は、例えばディスプレイ装置、プロジェクタ装置、ウェアラブル端末、ＰＣ、タブレットＰＣ、スマートフォン、タブレット端末、電子書籍端末、撮像装置等の画像表示が可能な装置として構成される。
　［画像処理システムの機能的構成］
　図２７は、画像処理システム３の機能的構成を示すブロック図である。同図に示すように、画像処理システム３は、画像処理装置１００と同様の、輪郭検出部１０１と、曲線算出部１０２と、ホモグラフィ推定部１０３と、出力画像生成部１０４と、表示部１０５とを備える。画像処理装置３００は、輪郭検出部１０１と、曲線算出部１０２と、ホモグラフィ推定部１０３とを備える。表示装置３６０は、出力画像生成部１０４と、表示部１０５とを備える。
　画像処理装置３００は、ホモグラフィ推定部３０３により推定されたホモグラフィの情報を、表示装置３６０に送信する。表示装置３６０は、出力画像生成部３０４により出力画像を生成し、表示部３０５により当該出力画像を表示する。
　以上のように、本実施形態によっても、複数枚の入力画像等を必要とせずに、入力画像の被写体である第１の面領域を、容易にかつ精度よく第２の面領域に変形することが可能となる。
　［変形例３－１］
　画像処理システム３は、上述の変形例２－１と同様に、クラウドシステムとして構成され、画像処理装置３００と表示装置３６０が、ネットワークを介して相互に接続されてもよい。また、画像処理装置３００は、図２３に示す画像処理装置１００と同様に、撮像部を備えない構成とすることができる。
　＜第４の実施形態＞
　図２８は、本技術の第４の実施形態に係る画像処理システム４の概略構成を示すブロック図である。同図において、画像処理システム４は、画像処理装置４００及び表示装置４６０を備える。画像処理システム４は、表示装置４６０により輪郭の検出が可能に構成される。
　画像処理装置４００は、スマートフォン、タブレット端末、ＰＣ、タブレットＰＣ、ウェアラブル機器、ドキュメントスキャナ装置、情報処理が可能な撮像装置等の情報処理装置として構成され得る。画像処理装置４００のハードウェア構成は、上述の画像処理装置１００と同様であるため、省略する。なお、画像処理装置４００は、撮像部を有する構成であってもよいし（図１参照）、有さない構成であってもよい（図２３参照）。
　表示装置４６０は、例えばディスプレイ装置、プロジェクタ装置、ウェアラブル端末、ＰＣ、タブレットＰＣ、スマートフォン、タブレット端末、電子書籍端末、撮像装置等の画像表示が可能な装置として構成される。
　［画像処理システムの機能的構成］
　図２９は、画像処理システム４の機能的構成を示すブロック図である。同図に示すように、画像処理システム４は、画像処理装置１００と同様の、輪郭検出部１０１と、曲線算出部１０２と、ホモグラフィ推定部１０３と、出力画像生成部１０４と、表示部１０５とを備える。画像処理装置４００は、曲線算出部１０２と、ホモグラフィ推定部１０３と、出力画像生成部１０４とを備える。表示装置４６０は、輪郭検出部１０１と、表示部１０５とを備える。
　表示装置４６０は、入力画像から第１の面領域の輪郭を検出し、その情報を画像処理装置４００に送信する。画像処理装置４００は、これに基づいてホモグラフィを推定し、出力画像を生成して表示装置４６０へ送信する。これにより、表示装置４６０は、表示部１０５により出力画像を表示することが可能に構成される。
　以上のように、本実施形態によっても、複数枚の入力画像等を必要とせずに、入力画像の被写体である第１の面領域を、容易にかつ精度よく第２の面領域に変形することが可能となる。
　［変形例４－１］
　画像処理システム４は、上述の変形例２－１，３－１と同様に、クラウドシステムとして構成され、画像処理装置３００と表示装置３６０が、ネットワークを介して相互に接続されてもよい。また、画像処理装置３００は、図２３に示す画像処理装置１００と同様に、撮像部を備えない構成とすることができる。
　［変形例４－２］
　図３０は、本変形例に係る画像処理システム４の機能的構成を示すブロック図である。同図に示すように、画像処理装置４００は、曲線算出部１０２と、ホモグラフィ推定部１０３とを備え、表示装置４６０は、輪郭検出部１０１と、出力画像生成部１０４と、表示部１０５とを備えてもよい。これによっても、上述の実施形態と同様の処理が可能となる。
　さらに、本技術は上述の実施形態にのみ限定されるものではなく、本開示の要旨を逸脱しない範囲内において種々変更され得る。また、上述の第１～第４の各実施形態及び各変形例は、矛盾が生じない限り如何様にも組み合わされて実行され得る。
　なお、本技術は以下のような構成もとることができる。
（１）第１の面領域を被写体として含む入力画像に基づいて上記第１の面領域の輪郭の近似曲線を算出する曲線算出部と、
　上記近似曲線に基づいて、上記第１の面領域を第２の面領域へ変換するホモグラフィを推定するホモグラフィ推定部と
　を具備する画像処理装置。
（２）上記（１）に記載の画像処理装置であって、
　上記曲線算出部は、上記近似曲線に基づいて上記第１の面領域を分割する複数の分割曲線を算出し、
　上記ホモグラフィ推定部は、上記近似曲線及び上記複数の分割曲線に基づいて、上記ホモグラフィを推定する
　画像処理装置。
（３）上記（１）又は（２）に記載の画像処理装置であって、上記曲線算出部は、上記近似曲線をスプライン曲線として算出する
　画像処理装置。
（４）上記（１）から（３）のうちいずれか１つに記載の画像処理装置であって、
　上記近似曲線は、相互に対向する２本の近似曲線を含む近似曲線対を有し、
　上記複数の分割曲線は、上記近似曲線対から推定される複数の曲線を含む曲線群を有する
　画像処理装置。
（５）上記（４）に記載の画像処理装置であって、
　上記近似曲線は、相互に対向する２本の近似曲線をそれぞれ含む２つの近似曲線対を有し、
　上記複数の分割曲線は、上記２つの近似曲線対各々から推定される２つの曲線群を有する
　画像処理装置。
（６）上記（５）に記載の画像処理装置であって、
　上記ホモグラフィ推定部は、上記２つの近似曲線対と、上記２つの曲線群とによって形成された複数の交点に基づいて上記ホモグラフィを推定する
　画像処理装置。
（７）上記（６）に記載の画像処理装置であって、
　上記ホモグラフィ推定部は、上記２つの近似曲線対及び上記２つの曲線群によって区画される複数の分割片各々を、隣接する分割片と重複するように拡大して複数の拡大分割片を形成し、上記複数の拡大分割片各々の頂点に基づいて上記ホモグラフィを推定する
　画像処理装置。
（８）上記（１）から（７）のうちいずれか１つに記載の画像処理装置であって、
　上記第１の面領域の輪郭は、曲線状であり、
　上記ホモグラフィ推定部は、上記近似曲線を直線状に伸ばして形成された複数の第１の直線と、上記複数の分割曲線を直線状に伸ばして形成された複数の第２の直線とに基づいて、上記ホモグラフィを推定する
　画像処理装置。
（９）上記（８）に記載の画像処理装置であって、
　上記ホモグラフィ推定部は、上記複数の第１の直線により区画された台形状の第３の面領域の形状についての情報と、上記入力画像の撮像角度情報とに基づいて、上記第２の面領域のアスペクト比情報を算出し、上記アスペクト比情報に基づいて上記ホモグラフィを推定する
　画像処理装置。
（１０）上記（１）から（９）のうちいずれか１つに記載の画像処理装置であって、
　上記入力画像から上記第１の面領域の輪郭を検出する輪郭検出部をさらに具備し、
　上記曲線算出部は、上記検出された輪郭に基づいて上記近似曲線を算出する
　画像処理装置。
（１１）上記（１０）に記載の画像処理装置であって、
　上記入力画像から上記第１の面領域の輪郭を検出する輪郭検出部をさらに具備し、
　上記曲線算出部は、上記検出された輪郭に基づいて上記近似曲線を算出する
　画像処理装置。
（１２）上記（１１）に記載の画像処理装置であって、
　上記輪郭検出部は、上記複数の輪郭候補のうち、囲む面積が最も大きいという第１の条件、及び各輪郭候補をオブジェクトとした場合のバウンディングボックスの中心点が上記入力画像の中心点に最も近いという第２の条件の少なくとも一方の条件を満たす輪郭候補を、上記第１の面領域の輪郭として選出する
　画像処理装置。
（１３）上記（１０）から（１２）のうちいずれか１つに記載の画像処理装置であって、
　上記入力画像は、見開き２ページの書籍類の画像を含み、
　上記第１の面領域は、上記書籍類の見開き１ページに対応する領域であり、
　上記輪郭検出部は、上記書籍類のページ分割線を検出し、上記ページ分割線を上記第１の面領域の輪郭の一部として検出する
　画像処理装置。
（１４）第１の面領域を被写体として含む入力画像に基づいて上記第１の面領域の輪郭の近似曲線を算出し、
　上記近似曲線に基づいて、上記第１の面領域を第２の面領域へ変換するホモグラフィを推定する
　画像処理方法。
（１５）情報処理装置に、
　第１の面領域を被写体として含む入力画像に基づいて上記第１の面領域の輪郭の近似曲線を算出するステップと、
　上記近似曲線に基づいて、上記第１の面領域を第２の面領域へ変換するホモグラフィを推定するステップと
　を実行させるプログラム。
　１００，２００，３００，４００…画像処理装置
　１０１…輪郭検出部
　１０２…曲線算出部
　１０３…ホモグラフィ推定部
　Ｓ１…第１の面領域
　Ｓ２…第２の面領域
　Ｓ３…第３の面領域

Claims (15)

  1. 　第１の面領域を被写体として含む入力画像に基づいて前記第１の面領域の輪郭の近似曲線を算出する曲線算出部と、
    　前記近似曲線に基づいて、前記第１の面領域を第２の面領域へ変換するホモグラフィを推定するホモグラフィ推定部と
    　を具備する画像処理装置。
  2. 　請求項１に記載の画像処理装置であって、
    　前記曲線算出部は、前記近似曲線に基づいて前記第１の面領域を分割する複数の分割曲線を算出し、
    　前記ホモグラフィ推定部は、前記近似曲線及び前記複数の分割曲線に基づいて、前記ホモグラフィを推定する
    　画像処理装置。
  3. 　請求項１に記載の画像処理装置であって、
    　前記曲線算出部は、前記近似曲線をスプライン曲線として算出する
    　画像処理装置。
  4. 　請求項１に記載の画像処理装置であって、
    　前記近似曲線は、相互に対向する２本の近似曲線を含む近似曲線対を有し、
    　前記複数の分割曲線は、前記近似曲線対から推定される複数の曲線を含む曲線群を有する
    　画像処理装置。
  5. 　請求項４に記載の画像処理装置であって、
    　前記近似曲線は、相互に対向する２本の近似曲線をそれぞれ含む２つの近似曲線対を有し、
    　前記複数の分割曲線は、前記２つの近似曲線対各々から推定される２つの曲線群を有する
    　画像処理装置。
  6. 　請求項５に記載の画像処理装置であって、
    　前記ホモグラフィ推定部は、前記２つの近似曲線対と、前記２つの曲線群とによって形成された複数の交点に基づいて前記ホモグラフィを推定する
    　画像処理装置。
  7. 　請求項６に記載の画像処理装置であって、
    　前記ホモグラフィ推定部は、前記２つの近似曲線対及び前記２つの曲線群によって区画される複数の分割片各々を、隣接する分割片と重複するように拡大して複数の拡大分割片を形成し、前記複数の拡大分割片各々の頂点に基づいて前記ホモグラフィを推定する
    　画像処理装置。
  8. 　請求項１に記載の画像処理装置であって、
    　前記第１の面領域の輪郭は、曲線状であり、
    　前記ホモグラフィ推定部は、前記近似曲線を直線状に伸ばして形成された複数の第１の直線と、前記複数の分割曲線を直線状に伸ばして形成された複数の第２の直線とに基づいて、前記ホモグラフィを推定する
    　画像処理装置。
  9. 　請求項８に記載の画像処理装置であって、
    　前記ホモグラフィ推定部は、前記複数の第１の直線により区画された台形状の第３の面領域の形状についての情報と、前記入力画像の撮像角度情報とに基づいて、前記第２の面領域のアスペクト比情報を算出し、前記アスペクト比情報に基づいて前記ホモグラフィを推定する
    　画像処理装置。
  10. 　請求項１に記載の画像処理装置であって、
    　前記入力画像から前記第１の面領域の輪郭を検出する輪郭検出部をさらに具備し、
    　前記曲線算出部は、前記検出された輪郭に基づいて前記近似曲線を算出する
    　画像処理装置。
  11. 　請求項１０に記載の画像処理装置であって、
    　前記輪郭検出部は、前記入力画像のエッジ検出結果に基づいて前記第１の面領域の複数の輪郭候補を検出し、前記複数の輪郭候補から前記第１の面領域の輪郭を選出することで、前記第１の面領域の輪郭を検出する
    　画像処理装置。
  12. 　請求項１１に記載の画像処理装置であって、
    　前記輪郭検出部は、前記複数の輪郭候補のうち、囲む面積が最も大きいという第１の条件、及び各輪郭候補をオブジェクトとした場合のバウンディングボックスの中心点が前記入力画像の中心点に最も近いという第２の条件の少なくとも一方の条件を満たす輪郭候補を、前記第１の面領域の輪郭として選出する
    　画像処理装置。
  13. 　請求項１０に記載の画像処理装置であって、
    　前記入力画像は、見開き２ページの書籍類の画像を含み、
    　前記第１の面領域は、前記書籍類の見開き１ページに対応する領域であり、
    　前記輪郭検出部は、前記書籍類のページ分割線を検出し、前記ページ分割線を前記第１の面領域の輪郭の一部として検出する
    　画像処理装置。
  14. 　第１の面領域を被写体として含む入力画像に基づいて前記第１の面領域の輪郭の近似曲線を算出し、
    　前記近似曲線に基づいて、前記第１の面領域を第２の面領域へ変換するホモグラフィを推定する
    　画像処理方法。
  15. 　情報処理装置に、
    　第１の面領域を被写体として含む入力画像に基づいて前記第１の面領域の輪郭の近似曲線を算出するステップと、
    　前記近似曲線に基づいて、前記第１の面領域を第２の面領域へ変換するホモグラフィを推定するステップと
    　を実行させるプログラム。
PCT/JP2015/002907 2014-08-12 2015-06-10 画像処理装置及び画像処理方法 WO2016024375A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-164300 2014-08-12
JP2014164300 2014-08-12

Publications (1)

Publication Number Publication Date
WO2016024375A1 true WO2016024375A1 (ja) 2016-02-18

Family

ID=55304014

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/002907 WO2016024375A1 (ja) 2014-08-12 2015-06-10 画像処理装置及び画像処理方法

Country Status (1)

Country Link
WO (1) WO2016024375A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112565549A (zh) * 2020-12-25 2021-03-26 深圳太极云软技术有限公司 一种书册图像扫描方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002150280A (ja) * 2000-09-04 2002-05-24 Fujitsu Ltd 歪み補正方式
JP2007508745A (ja) * 2003-10-10 2007-04-05 ルーリング オプティクス エルエルシー 回転可能なミラーを備える高速スキャナおよび画像処理システム
US20070206877A1 (en) * 2006-03-02 2007-09-06 Minghui Wu Model-based dewarping method and apparatus
JP4047352B2 (ja) * 2003-10-24 2008-02-13 富士通株式会社 画像歪み補正プログラム，画像歪み補正装置並びに画像歪み補正方法
JP2010171976A (ja) * 2009-01-22 2010-08-05 Canon Inc 歪み文書画像を補正する方法及びシステム
JP2012213101A (ja) * 2011-03-31 2012-11-01 Panasonic Corp 画像処理装置およびこれを備えた原稿読取システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002150280A (ja) * 2000-09-04 2002-05-24 Fujitsu Ltd 歪み補正方式
JP2007508745A (ja) * 2003-10-10 2007-04-05 ルーリング オプティクス エルエルシー 回転可能なミラーを備える高速スキャナおよび画像処理システム
JP4047352B2 (ja) * 2003-10-24 2008-02-13 富士通株式会社 画像歪み補正プログラム，画像歪み補正装置並びに画像歪み補正方法
US20070206877A1 (en) * 2006-03-02 2007-09-06 Minghui Wu Model-based dewarping method and apparatus
JP2010171976A (ja) * 2009-01-22 2010-08-05 Canon Inc 歪み文書画像を補正する方法及びシステム
JP2012213101A (ja) * 2011-03-31 2012-11-01 Panasonic Corp 画像処理装置およびこれを備えた原稿読取システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112565549A (zh) * 2020-12-25 2021-03-26 深圳太极云软技术有限公司 一种书册图像扫描方法

Similar Documents

Publication Publication Date Title
KR102440284B1 (ko) 영상 처리 장치, 영상 처리 방법, 및 프로그램
US9818377B2 (en) Projection system, image processing apparatus, and correction method
JP5722482B2 (ja) 画像処理システムおよび画像処理方法
JP6645151B2 (ja) 投影装置、投影方法及び投影用コンピュータプログラム
JP6264972B2 (ja) 表示装置、表示制御プログラム、および表示制御方法
CN111935465B (zh) 投影系统、投影装置以及其显示影像的校正方法
JP5959073B2 (ja) 検出装置、検出方法、及び、プログラム
WO2015032185A1 (zh) 图像超分辨率重构系统及方法
JP6256475B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US10939081B2 (en) Image processing apparatus, image processing method, and storage medium
US9747664B2 (en) Image processing apparatus
US8736665B2 (en) Video processing apparatus
JP2002057879A (ja) 画像処理装置と画像処理方法及びコンピュータ読み取り可能な記録媒体
US10643095B2 (en) Information processing apparatus, program, and information processing method
JP2020038101A (ja) 画像処理装置、運転支援システム、画像処理方法及びプログラム
WO2016024375A1 (ja) 画像処理装置及び画像処理方法
EP4283986A1 (en) Electronic apparatus and control method thereof
JP5955003B2 (ja) 画像処理装置および画像処理方法、プログラム
JP6734136B2 (ja) 画像処理装置
JP2016072691A (ja) 画像処理装置及びその制御方法、プログラム
JP6671977B2 (ja) 計測装置及びその制御方法、並びにプログラム
US20120154429A1 (en) Apparatus and method for smoothed aliasing on a two-dimensional plane
JP6347604B2 (ja) 映像投影装置、映像投影方法及びプログラム
JP7456153B2 (ja) 画像処理装置
WO2021075314A1 (ja) 画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15832318

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP

122 Ep: pct application non-entry in european phase

Ref document number: 15832318

Country of ref document: EP

Kind code of ref document: A1