WO2014076868A1 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
WO2014076868A1
WO2014076868A1 PCT/JP2013/005869 JP2013005869W WO2014076868A1 WO 2014076868 A1 WO2014076868 A1 WO 2014076868A1 JP 2013005869 W JP2013005869 W JP 2013005869W WO 2014076868 A1 WO2014076868 A1 WO 2014076868A1
Authority
WO
WIPO (PCT)
Prior art keywords
viewpoint
image
blank
input image
blank area
Prior art date
Application number
PCT/JP2013/005869
Other languages
English (en)
French (fr)
Inventor
整 山田
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to JP2014517069A priority Critical patent/JP6256840B2/ja
Priority to CN201380004345.8A priority patent/CN104012088B/zh
Priority to US14/371,865 priority patent/US9652881B2/en
Publication of WO2014076868A1 publication Critical patent/WO2014076868A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Definitions

  • the present invention relates to an image processing device and an image processing method, and more particularly, to a plurality of second viewpoints different from the first viewpoint using depth information indicating the depth of a subject in the input image taken from the first viewpoint.
  • the present invention relates to an image processing apparatus that generates an image viewed from the above.
  • a user edits an image taken by an imaging device. For example, the user designates a partial area in an image via a GUI (Graphical User Interface), and for example, an image of a subject in the partial area is enlarged (for example, see Patent Document 1). reference).
  • GUI Graphic User Interface
  • Patent Document 2 a three-dimensional model is generated by combining a plurality of input images obtained by photographing a subject from a plurality of directions.
  • a subject image is generated by performing projective transformation from an arbitrary viewpoint position.
  • an object of the present invention is to provide an image processing apparatus capable of improving the quality of a displayed image after changing the viewpoint.
  • An image processing apparatus uses an input image captured from a first viewpoint, depth information indicating depth of a subject in the input image, and the depth information.
  • a viewpoint conversion unit that generates a plurality of first converted images that are images of the input image viewed from a plurality of second viewpoints different from the first viewpoint; and the input included in each of the plurality of first converted images
  • a blank area including a pixel in which no corresponding pixel exists in the image is analyzed, and the size of the blank area included in the first converted image corresponding to the second viewpoint is indicated for each of the plurality of second viewpoints.
  • a blank area analysis unit for generating blank information.
  • the present invention can provide an image processing apparatus capable of improving the image quality of a displayed image after changing the viewpoint.
  • FIG. 1 is a block diagram of the image processing apparatus according to the first embodiment.
  • FIG. 2 is a flowchart of the image processing method according to the first embodiment.
  • FIG. 3 is a block diagram of the image processing apparatus according to the first embodiment.
  • FIG. 4 is a flowchart of the image processing method according to the first embodiment.
  • FIG. 5 is a diagram for explaining the viewpoint conversion process according to the first embodiment.
  • FIG. 6 is a diagram for explaining the viewpoint conversion processing according to the first embodiment.
  • FIG. 7 is a diagram for explaining the viewpoint conversion processing according to the first embodiment.
  • FIG. 8 is a diagram illustrating an example of a blank area after viewpoint conversion according to the first embodiment.
  • FIG. 9 is a flowchart of blank area analysis processing according to the first embodiment.
  • FIG. 10 is a diagram illustrating an example of a blank map according to the first embodiment.
  • FIG. 11 is a diagram illustrating another example of the blank map according to the first embodiment.
  • FIG. 12 is a block diagram of an image processing apparatus according to the second embodiment.
  • FIG. 13 is a flowchart of the image processing method according to the second embodiment.
  • FIG. 14 is a block diagram of an image processing apparatus according to the third embodiment.
  • FIG. 15A is a diagram for describing route selection processing according to the third embodiment.
  • FIG. 15B is a diagram for explaining route selection processing according to the third embodiment.
  • FIG. 15C is a diagram for explaining route selection processing according to the third embodiment.
  • FIG. 15D is a diagram for explaining route selection processing according to the third embodiment.
  • FIG. 16A is an external view illustrating an example of an imaging apparatus according to the embodiment.
  • FIG. 16B is an external view illustrating an example of an imaging apparatus according to an embodiment.
  • the image quality of the converted image may be greatly degraded.
  • the effect of image quality degradation is greater when there are a few large blank areas than when many small blank areas exist in a distributed manner. Therefore, the present inventors have found that when a large blank area occurs, the image quality of the converted image is greatly deteriorated. Also, it is not known in advance whether or not an area with such a large blank area exists in the image until the image is actually converted.
  • a converted image with degraded image quality may be displayed depending on the area specified by the user. The inventor found out.
  • An image processing apparatus uses an input image captured from a first viewpoint, depth information indicating depth of a subject in the input image, and the depth information.
  • a viewpoint conversion unit that generates a plurality of first converted images that are images of the input image viewed from a plurality of second viewpoints different from the first viewpoint; and the input included in each of the plurality of first converted images
  • a blank area including a pixel in which no corresponding pixel exists in the image is analyzed, and the size of the blank area included in the first converted image corresponding to the second viewpoint is indicated for each of the plurality of second viewpoints.
  • a blank area analysis unit for generating blank information.
  • the image processing apparatus generates, for each of the plurality of second viewpoints, blank information indicating the size of the blank area included in the first converted image corresponding to the second viewpoint. Accordingly, the image processing apparatus can prevent the user from selecting a converted image with low image quality including a large blank area by presenting the blank information to the user, for example. Alternatively, the image processing apparatus can suppress display of a converted image with low image quality using the blank information. In this way, the image processing apparatus can improve the image quality of the displayed image after changing the viewpoint.
  • the image processing apparatus further associates the plurality of second viewpoints with a plurality of two-dimensional positions, and associates each of the plurality of two-dimensional positions with the two-dimensional position using the blank information.
  • a map generation unit that generates a blank map indicating information on the blank region at the second viewpoint and a display unit that displays the blank map may be provided.
  • the image processing apparatus can prevent the user from selecting a low-quality converted image including a large blank area.
  • the display unit further displays the input image, each of the plurality of positions on the input image is associated with each of the plurality of second viewpoints
  • the image processing apparatus further includes: A viewpoint selecting unit that selects a selected viewpoint that is a second viewpoint associated with the position on the input image designated by the user, and the display unit selects the selected viewpoint by the viewpoint selecting unit.
  • the image to be displayed is switched from the input image to the first converted image corresponding to the selected viewpoint, and the plurality of two-dimensional positions are associated with a plurality of positions on the input image,
  • the display unit may display the blank map when displaying the input image.
  • the image processing apparatus can display information on the blank area in the image after the viewpoint changing operation in association with the viewpoint changing operation by the user. Thereby, the user can intuitively recognize the information regarding the blank area after the viewpoint changing operation.
  • the map generation unit associates a plurality of positions on the input image with the size of the blank area included in the first converted image corresponding to the second viewpoint associated with the position.
  • the blank map may be generated.
  • the image processing apparatus can display the size of the blank area in the image after the viewpoint changing operation in association with the viewpoint changing operation by the user.
  • the user can intuitively recognize the size of the blank area after the viewpoint changing operation.
  • the viewpoint conversion unit further uses the depth information to view the input image from a plurality of third viewpoints obtained by moving each of the plurality of second viewpoints perpendicularly to the input image plane.
  • a plurality of second converted images that are images
  • the blank area analysis unit further has a size of the blank area included in each of the plurality of second converted images equal to or less than a predetermined threshold value.
  • the blank map is associated with a plurality of positions on the input image, and the size of the blank area is equal to or smaller than the threshold at the second viewpoint associated with the position.
  • a third viewpoint may be indicated.
  • the image processing apparatus can display the degree of zoom operation (moving the viewpoint in the vertical direction with respect to the input image plane) that can be performed at the viewpoint after the change in association with the change operation of the viewpoint by the user. Accordingly, the user can intuitively recognize the degree of zoom operation that is possible after the viewpoint changing operation.
  • the image processing apparatus further uses a display unit that displays the input image and the blank information, and the size of the blank area of the plurality of first converted images is equal to or less than a predetermined threshold value.
  • a viewpoint conversion unit that determines a first conversion image that is a first conversion image in which the size of the blank area is equal to or less than the threshold value, and the display unit displays an image to be displayed. May be switched from the input image to the selected image.
  • the image processing apparatus can suppress display of a converted image with low image quality.
  • the image processing apparatus further uses the display unit that displays the input image, a viewpoint selection unit that selects any one of the plurality of second viewpoints as a selection viewpoint, and the blank information.
  • a first converted image in which the size of the blank area is equal to or less than the threshold is determined,
  • a first converted image whose size of the blank area is equal to or less than the threshold is selected as an intermediate viewpoint image.
  • the input image and The intermediate viewpoint image, and a first transformed image corresponding to the selected viewpoint may be displayed by switching in this order.
  • the image processing apparatus can suppress the display of an image with low image quality during the viewpoint changing operation.
  • the map generation unit divides the plurality of second viewpoints into a plurality of groups each including a plurality of second viewpoints, and associates the two-dimensional position with each of the plurality of groups, Using the blank information, for each of the plurality of two-dimensional positions, using the size of the blank area at the plurality of second viewpoints included in the group associated with the two-dimensional position, the blank in the group Calculating a degree of size of the area, and associating with each of the plurality of two-dimensional positions, the blank map indicating a degree of the size of the blank area in the group associated with the two-dimensional position; It may be generated.
  • the image processing apparatus can suppress malfunction at the time of operation such as a case where a location different from the location that the user wants to operate is selected.
  • the viewpoint conversion unit generates a three-dimensional model of the subject in a camera coordinate system using the input image, the depth information, and a camera parameter when the input image is captured.
  • the plurality of first converted images may be generated by performing projective transformation on the original model using a plurality of conversion parameters corresponding to each of the plurality of second viewpoints.
  • An image processing method uses an input image captured from a first viewpoint, a data acquisition step for acquiring depth information indicating a depth of a subject in the input image, and the depth information.
  • a blank area including pixels in which no corresponding pixel exists in the input image is analyzed, and the size of the blank area included in the first converted image corresponding to the second viewpoint for each of the plurality of second viewpoints.
  • a blank area analyzing step for generating blank information indicating.
  • the image processing method generates, for each of a plurality of second viewpoints, blank information indicating the size of the blank area included in the first converted image corresponding to the second viewpoint.
  • the image processing method can prevent the user from selecting a converted image with low image quality including a large blank area by presenting the blank information to the user, for example.
  • the image processing method can suppress display of a converted image with low image quality using the blank information.
  • the image processing method can improve the image quality of the displayed image after changing the viewpoint.
  • the image processing apparatus generates, for each of a plurality of viewpoints, a blank map indicating the size of the blank area in the converted image after the viewpoint change, and presents the blank map to the user.
  • the image processing apparatus can prevent the user from selecting a low-quality converted image that includes a large blank area.
  • FIG. 1 is a block diagram showing a schematic configuration of an image processing apparatus 100 according to the present embodiment.
  • the image processing apparatus 100 shown in FIG. 1 generates blank information 124 using the input image 121 and the depth information 122.
  • the input image 121 is an image obtained by photographing the subject from the first viewpoint.
  • the depth information 122 indicates the depth of the subject in the input image 121.
  • the image processing apparatus 100 includes a data acquisition unit 101, a viewpoint conversion unit 102, and a blank area analysis unit 103.
  • the data acquisition unit 101 acquires the input image 121 and the depth information 122.
  • the viewpoint conversion unit 102 uses the depth information 122 to generate a plurality of converted images 123 that are images of the input image 121 viewed from a plurality of second viewpoints different from the first viewpoint.
  • the blank area analysis unit 103 analyzes a blank area included in each of the plurality of converted images 123.
  • the blank area is an area where no corresponding pixel exists in the input image 121.
  • the blank area analysis unit 103 generates blank information 124.
  • the blank information 124 indicates the size of the blank area included in the converted image 123 corresponding to the second viewpoint for each of the plurality of second viewpoints.
  • FIG. 2 is a flowchart of an image processing method performed by the image processing apparatus 100.
  • the data acquisition unit 101 acquires the input image 121 and the depth information 122 (S101).
  • the viewpoint conversion unit 102 generates a plurality of converted images 123 using the input image 121 and the depth information 122 (S103).
  • the blank area analysis unit 103 analyzes a blank area included in each of the plurality of converted images 123 and generates blank information 124 (S104).
  • FIG. 3 is a block diagram showing a configuration of the image processing apparatus 100 according to the present embodiment.
  • the image processing apparatus 100 shown in FIG. 3 is built in, for example, a digital still camera or a digital video camera.
  • the image processing apparatus 100 can be used for various devices having a function of displaying a still image.
  • the image processing apparatus 100 can be used for a personal computer, a smartphone, or the like.
  • the image processing apparatus 100 displays an input image 121 that is a still image, and also displays a converted image 128 in which the viewpoint of the input image 121 is changed according to the viewpoint change instruction input from the user. Further, the image processing apparatus 100 generates a blank map 129 that indicates the size of the blank area at each viewpoint position, and displays the blank map 129 on the input image 121.
  • the image processing apparatus 100 includes a data acquisition unit 101, a viewpoint conversion unit 102, a blank area analysis unit 103, a map generation unit 104, an image reduction unit 105, a viewpoint conversion unit 106, and a display unit 107.
  • the data acquisition unit 101 acquires an input image 121, depth information 122, camera parameters 125, and a plurality of conversion parameters 126.
  • the depth information 122 is data indicating the distance from the camera that captured the input image 121 to the subject in the input image 121.
  • the depth information 122 is a depth map indicating the depth of each of a plurality of pixels included in the input image 121.
  • the depth information 122 may be input from the outside of the image processing apparatus 100, or may be generated by the image processing apparatus 100.
  • the image processing apparatus 100 may generate the depth information 122 by using a plurality of images having the same subject and having different focal positions.
  • the camera parameter 125 is a parameter indicating the shooting condition of the input image 121. Specifically, the camera parameter 125 includes information on the angle of view at the time of shooting, the depth front end distance, and the depth rear end distance.
  • Each of the plurality of conversion parameters 126 is a parameter relating to projective conversion of the three-dimensional model.
  • the conversion parameter 126 is not necessarily an instruction to change the viewpoint position.
  • the conversion parameter 126 may be information indicating the type of projection conversion (for example, perspective projection or orthographic projection). Information indicating the angle of view may be used.
  • the data acquisition unit 101 may acquire the camera parameter 125 and the plurality of conversion parameters 126 from the outside of the image processing apparatus 100.
  • the camera parameter 125 and the plurality of conversion parameters 126 may be acquired from the image processing apparatus. 100 may be held.
  • the image reduction unit 105 generates the input image 121A and the depth information 122A by reducing the image size of the input image 121 and the depth information 122.
  • the size of the input image 121A and the depth information 122A is preferably equal to or smaller than the size of the image displayed on the display unit 107, but is not particularly limited thereto.
  • the image processing apparatus 100 does not necessarily include the image reduction unit 105, and the input image 121 and the depth information 122 may be input to the viewpoint conversion unit 102 as they are. In this case, the input image 121A and the depth information 122A in the process described later may be replaced with the input image 121 and the depth information 122, respectively.
  • a viewpoint conversion unit 102 and a viewpoint conversion unit 106 which will be described later, can be realized by a single processing unit. Further, up to the blank area analysis unit 103, the analysis may be performed with the original image size, and the blank information 124 that is the analysis result may be reduced.
  • the viewpoint conversion unit 102 uses the input image 121A, the depth information 122A, and the camera parameter 125 to generate a three-dimensional model of the subject in the camera coordinate system.
  • the viewpoint conversion unit 102 generates a converted image 123 by performing projective conversion using the conversion parameter 126 on the three-dimensional model. Projective transformation is performed using each of a plurality of transformation parameters, and as a result, a plurality of transformed images 123 are generated. That is, the plurality of converted images 123 are images obtained by viewing the input image 121 from a plurality of different viewpoints.
  • the blank area analysis unit 103 generates blank information 124 by analyzing blank areas included in each of the plurality of converted images 123.
  • the map generation unit 104 generates a blank map 129 for display using the blank information 124 generated by the blank area analysis unit 103.
  • This blank map 129 shows information on blank areas two-dimensionally.
  • the plurality of second viewpoints are associated with a plurality of two-dimensional positions.
  • the blank map 129 is information on a blank area at the second viewpoint associated with the two-dimensional position for each of the plurality of two-dimensional positions.
  • the plurality of two-dimensional positions are associated with a plurality of positions on the input image 121.
  • the display format of the blank map 129 is not limited to this.
  • the blank map 129 may indicate information regarding the blank area three-dimensionally.
  • the viewpoint selection unit 108 selects the viewpoint position designated by the user operation as the selected viewpoint 127. Specifically, each of the plurality of positions on the input image 121 is associated with each of the plurality of second viewpoints. Then, the viewpoint selection unit 108 selects the second viewpoint associated with the position on the input image 121 designated by the user as the selected viewpoint. Note that the viewpoint selection unit 108 may accept an instruction to change the viewpoint position with respect to the input image 121 as an input of the conversion parameter 126 from the user. In this case, this conversion parameter 126 is sent to the viewpoint conversion unit 106. Then, the viewpoint conversion unit 106 performs viewpoint conversion processing using the conversion parameter 126.
  • the viewpoint conversion unit 106 generates a three-dimensional model of the subject using the input image 121, the depth information 122, and the camera parameter 125. Next, the viewpoint conversion unit 106 generates a converted image 128 by performing projective conversion using the conversion parameter 126 corresponding to the selected viewpoint 127 on the three-dimensional model. That is, the converted image 128 is an image obtained by viewing the input image 121 from the selected viewpoint 127.
  • the display unit 107 displays the input image 121. Further, the display unit 107 switches the image to be displayed from the input image 121 to the converted image 128 when the selected viewpoint 127 is selected by the viewpoint selection unit 108. Further, when displaying the input image 121, the display unit 107 displays the blank map 129 so as to overlap the input image 121.
  • the display unit 107 may display a blank map 129 around the input image 121. Further, the blank map 129 may be displayed so as not to overlap the input image 121, or may be displayed so as to partially overlap the input image 121. Further, the display unit 107 may display a reduced image of the input image 121 around the input image 121 and display the blank map 129 so as to overlap the reduced image.
  • the display unit 107 displays these images on a display included in the image processing apparatus 100 or an external display (for example, a display included in a camera in which the image processing apparatus 100 is incorporated).
  • FIG. 4 is a flowchart of the image processing method according to the present embodiment.
  • the data acquisition unit 101 acquires an input image 121, depth information 122, a camera parameter 125, and a conversion parameter 126 as input data (S101).
  • the image reduction unit 105 generates the input image 121A and the depth information 122A by reducing the input image 121 and the depth information 122 as necessary (S102).
  • the viewpoint conversion unit 102 generates a plurality of converted images 123 using the input image 121A and the depth information 122A (S103).
  • the blank area analysis unit 103 generates blank information 124 by analyzing the size of the blank area included in each converted image 123 (S104).
  • the map generation unit 104 generates a blank map 129 using the blank information 124 (S105).
  • the display unit 107 displays the input image 121 and the blank map 129 on the GUI (S106). In this state, for example, when the user selects an arbitrary position of the input image 121, the viewpoint position to be changed is instructed.
  • the viewpoint selection unit 108 acquires the viewpoint position designated by the user as the selected viewpoint 127 (S107).
  • the viewpoint selection unit 108 generates a converted image 128 obtained by viewing the input image 121 from the selected viewpoint 127 (S108).
  • the display unit 107 displays the generated converted image 128 (109).
  • the process of reducing the input image 121 and the depth information 122 (S102) may not be performed.
  • the converted image 128 may not be generated in step S108, and the display unit 107 may display the converted image 123 generated in step S103 in step S109.
  • the viewpoint conversion unit 106 may generate the converted image 128 by performing predetermined processing (for example, processing for complementing the blank area) on the converted image 123 generated in step S103. Good.
  • the process of generating the converted image 123 (S103 in FIG. 4) will be described in detail with reference to FIGS.
  • the viewpoint position is changed in the zoom direction (direction perpendicular to the input image plane)
  • the X-axis direction and the Y-axis direction indicate the horizontal direction and the vertical direction (direction parallel to the input image plane)
  • the Z-axis direction indicates the depth direction (depth direction).
  • the viewpoint conversion unit 102 is represented in a projective coordinate system using the input image 121 and the depth information 122 (FIG. 5A) represented in the screen coordinate system.
  • a three-dimensional model is generated (FIG. 5B). That is, the viewpoint conversion unit 102 calculates the vector Vp (x, y, z) indicating the position of the pixel in the projective coordinate system for each pixel using the input image 121 and the depth information 122.
  • the screen coordinate system is a two-dimensional coordinate system corresponding to the display screen.
  • the projective coordinate system is also called a clip coordinate system or a device coordinate system, and is a three-dimensional coordinate system obtained by performing projective transformation in the camera coordinate system.
  • the camera coordinate system is also called a view coordinate system, and is a three-dimensional coordinate system defined by a viewpoint (camera) position and a line-of-sight direction.
  • the viewpoint position coincides with the origin
  • the line-of-sight direction coincides with the Z-axis direction (depth direction).
  • the viewpoint conversion unit 102 converts the three-dimensional model from the projected coordinate system to the camera coordinate system using the camera parameter 125 ((c) in FIG. 5). Specifically, the viewpoint conversion unit 102 uses the following formulas (1) to (3) to calculate a vector Vp indicating the position of each pixel in the projective coordinate system and a vector Vc indicating the position of each pixel in the camera coordinate system. Convert to In the following formulas (1) to (3), the vectors Vp and Vc are represented by homogeneous coordinates.
  • x ′, y ′, z ′, and w ′ are calculated by the following equation (2).
  • the matrix Mpc is an inverse matrix of the projection matrix Mcp.
  • the projection matrix Mcp is expressed by the following equation (3) using the depth front end distance zn, the depth rear end distance zf, the field angle fovY, and the aspect ratio Aspect.
  • the viewpoint conversion unit 102 changes the viewpoint position of the three-dimensional model in the camera coordinate system in accordance with the instruction for changing the viewpoint position ((a) and (b) in FIG. 6). Specifically, the viewpoint conversion unit 102 moves the vector Vc indicating the position of each pixel in the camera coordinate system in the direction opposite to the moving direction of the viewpoint position, thereby indicating the position of each pixel after the viewpoint position is changed. Vc ′ is calculated. Subsequently, the viewpoint conversion unit 102 converts the three-dimensional model whose viewpoint position is changed from the camera coordinate system to the projective coordinate system ((c) in FIG. 6).
  • the viewpoint conversion unit 102 converts a vector Vc ′ indicating the position of each pixel after changing the viewpoint position in the camera coordinate system into a vector Vp ′ indicating the position of each pixel in the projected coordinate system. That is, the viewpoint conversion unit 102 calculates the vector Vp ′ by performing projective conversion shown in the following equation (4).
  • the projection matrix Mcp shown in Expression (4) is the same as the projection matrix Mcp shown in Expression (3).
  • the projection matrix Mcp used here is not necessarily such a projection matrix.
  • the projection matrix may be, for example, an orthographic projection matrix or a projection matrix with rotation or inversion. That is, when the conversion parameter 126 includes information indicating a projection matrix, the projection matrix indicated by the conversion parameter 126 may be used.
  • the viewpoint conversion unit 102 generates a converted image 123 represented in the screen coordinate system from the three-dimensional model represented in the projective coordinate system ((a) and FIG. 7). (B)).
  • the viewpoint conversion unit 102 generates a plurality of converted images 123.
  • the converted image 128 is generated by the same processing as described above.
  • the viewpoint conversion unit 106 may perform processing for complementing the pixels in the blank area on the generated converted image.
  • a blank area 201 exists in the converted image 123.
  • the blank area 201 is a set of blank pixels for which no corresponding pixel exists in the input image 121.
  • This blank pixel can be interpolated by a method such as using a pixel value of a pixel adjacent to the blank area 201, for example.
  • this blank pixel is large, even if interpolated, the interpolated portion is conspicuous, leading to degradation of the image quality of the converted image 123.
  • the effect of image quality degradation is greater when there are a few large blank areas 201 than when many small blank areas 201 are distributed. Therefore, when a large blank area 201 occurs, the image quality of the converted image 123 is greatly degraded.
  • the blank area analysis unit 103 analyzes whether or not the large blank area 201 exists in the converted image 123 using a blank value (for example, the number of pixels) indicating the size of the blank area 201.
  • changing the viewpoint position includes changing the viewpoint position in the Z-axis direction (direction perpendicular to the image plane) and changing the viewpoint position in the X-axis direction and the Y-axis direction (direction parallel to the image plane). .
  • changing the viewpoint position in the Z-axis direction will be referred to as changing the zoom magnification.
  • the increase in zoom magnification means that the viewpoint position approaches the subject side.
  • viewpoint positions in the X-axis direction and the Y-axis direction are also referred to as planar viewpoint positions.
  • FIG. 8 shows an example of this.
  • FIG. 8A shows the original image before zooming.
  • the original image includes three subjects 251 to 253. Of the subjects 251 to 253, the subject 252 is located on the foremost side, the subject 251 is located on the farthest side, and the subject 253 is located therebetween.
  • FIG. 8C shows a converted image when the zoom magnification is increased from the state of FIG. 8A while the plane viewpoint position remains the same as FIG. 8A. Since the zoom magnification has increased, the position of the subject 252 is closer to the viewpoint position. As a result, the subject 252 appears large, while blank areas appear on the other subjects 251 and 253.
  • FIG. 8B shows a converted image when the plane viewpoint position is moved to the right side from the state of FIG. 8A and the zoom magnification is increased.
  • the zoom magnification in FIG. 8B is smaller than the zoom magnification in FIG. Since the viewpoint position is shifted to the right side from the time of FIG. 8 (a), the right side of the subject in FIG. 8 (a) should be visible originally, but the right side of the subject does not originally exist in the original image. Therefore, a large blank area has occurred.
  • the zoom magnification is smaller than that in FIG. 8C, but a large blank area is generated by shifting the plane viewpoint position.
  • the size of the blank area is affected by both the zoom magnification and the planar viewpoint position. Therefore, the blank area analysis unit 103 checks the size of the blank area when both the zoom magnification and the planar viewpoint position are changed.
  • FIG. 9 is a flowchart showing the blank information 124 generation process (S103 and S104 in FIG. 4). The processing operation will be described along this flowchart.
  • the blank area analysis unit 103 initializes blank information (S201).
  • the viewpoint conversion unit 102 acquires a predetermined maximum zoom magnification value (S202), and determines a plurality of zoom magnifications to be changed using the acquired maximum zoom magnification (S203).
  • the viewpoint conversion unit 102 determines the step size of the zoom magnification.
  • the viewpoint conversion unit 102 determines the step size to be 0.1 when the maximum zoom magnification is 1.4.
  • the method for determining the plurality of zoom magnifications, the maximum zoom magnification, and the step size to be changed is not limited to this, and may be determined by an arbitrary method. Further, at least one of a plurality of zoom magnifications to be changed, a maximum zoom magnification, and a step size may be determined in advance.
  • the viewpoint conversion unit 102 determines a plurality of planar viewpoint positions to be changed (S204). For example, the viewpoint conversion unit 102 determines an upper limit value and a step size of the planar viewpoint position to be changed with respect to the vertical direction and the horizontal direction, respectively.
  • the method of determining the plurality of planar viewpoint positions to be changed, the upper limit value, and the step size is not limited to this, and may be determined by an arbitrary method.
  • at least one of the plurality of planar viewpoint positions to be changed, the upper limit value, and the step size may be determined in advance.
  • the viewpoint conversion unit 102 selects one of the plurality of zoom magnifications determined in step S203 (S205).
  • the viewpoint conversion unit 102 selects one of the plurality of planar viewpoint positions determined in step S204 (S206).
  • the viewpoint conversion unit 102 generates a converted image 123 obtained by viewing the input image 121 from the zoom magnification selected in step S205 and the planar viewpoint position selected in S206 (S207).
  • the blank area analysis unit 103 detects a blank area included in the entire converted image 123 generated in step S207, and examines the size (blank size) of the largest blank area among the detected blank areas ( S208).
  • the size of the blank area may be the number of pixels in the continuous blank area or the number of pixels in the blank area included in the unit area.
  • the blank area analysis unit 103 records the detected blank size in the blank information 124 in association with the selected viewpoint position (S209).
  • the viewpoint conversion unit 102 selects the planar viewpoint position to be searched next (S206), and the processing after step S207. repeat. That is, the size of the blank area is analyzed for a plurality of planar viewpoint positions set in step S204.
  • the viewpoint conversion unit 102 When processing for all planar viewpoint positions is completed (Yes in S210) and processing for all zoom magnifications set in Step S203 is not completed (No in S211), the viewpoint conversion unit 102 The zoom magnification to be searched is selected (S205), and the processes in and after step S206 are repeated. That is, the size of the blank area is analyzed for each of a plurality of sets including a plurality of zoom magnifications set in step S203 and a plurality of planar viewpoint positions set in step S204.
  • the blank size in each of a plurality of sets composed of the planar viewpoint position and the zoom magnification is recorded in the blank information 124. If the planar viewpoint position is changed by 10 steps in the vertical direction and 10 steps in the horizontal direction and the zoom magnification is changed by 5 steps, blank information 124 indicating the blank size at the viewpoint position of 10 ⁇ 10 ⁇ 5 is generated.
  • the viewpoint conversion unit 102 uses the depth information 122, and a plurality of converted images 123 (first converted images), which are images viewed from a plurality of second viewpoints different from the first viewpoint, A plurality of converted images 123 (second converted images) that are images viewed from a plurality of third viewpoints in which each of the plurality of second viewpoints is moved perpendicularly to the input image plane are generated from the input image 121. . Then, the blank area analysis unit 103 analyzes the blank size in each of the plurality of converted images 123 (a plurality of first converted images and a plurality of second converted images).
  • the zoom magnification and the planar viewpoint position are changed at a constant step size, but the step size may not be constant.
  • both the zoom magnification and the planar viewpoint position are changed, but only one of them may be changed.
  • the plurality of viewpoint positions to be changed are defined by the zoom magnification and the planar viewpoint position, but any viewpoint position in the three-dimensional space may be used as the plurality of viewpoint positions to be changed. .
  • the order of the above processing is an example, and the blank information 124 may be generated by a method other than the above.
  • the converted image 123 is generated for each viewpoint position, and the blank size in the converted image 123 is analyzed, but a plurality of converted images 123 corresponding to a plurality of viewpoint positions are generated, Thereafter, blank sizes of the plurality of converted images 123 may be analyzed.
  • the map generation unit 104 generates a blank map 129 displayed by the display unit 107 using the blank information 124 generated by the blank area analysis unit 103. Specifically, the map generation unit 104 generates a blank map 129 that represents the degree of the size of the blank area.
  • FIG. 10 is a diagram illustrating an example of the blank map 129.
  • each planar viewpoint position is associated with a position on the GUI screen (on the input image 121).
  • the center position of the GUI screen is associated with the original viewpoint position that does not change the planar viewpoint position.
  • the end of the GUI screen is associated with the upper limit value or the lower limit value of the planar viewpoint position. That is, the position on the right side of the GUI screen is associated with the viewpoint position when the input image 121 is viewed from the right side.
  • the left side, the upper side, and the lower side of the GUI screen are respectively associated with viewpoint positions when the input image 121 is viewed from the left side, the upper side, and the lower side. Then, the closer to the center of the GUI screen, the smaller the change in viewpoint position, and the closer to the end of the GUI screen, the greater the change in viewpoint position.
  • the plurality of viewpoint positions may be associated with an input operation on the GUI screen by the user. For example, when the user selects an arbitrary position on the input image 121, the viewpoint position is changed to the viewpoint position corresponding to the position. For example, when the position on the right side of the input image 121 is selected, a converted image 128 obtained by viewing the input image 121 from the right side is displayed. In this case, the position for this user operation and the viewpoint position in the blank map 129 may be associated with each other. In other words, when a position indicating that the blank size is small in the blank map 129 is selected, the converted image 128 having a small blank size is displayed.
  • the viewpoint position associated with the position of the GUI screen is a planar viewpoint position.
  • the information indicating the blank size at each planar viewpoint position is the maximum blank size when the zoom magnification is changed at the planar viewpoint position.
  • the information indicating the maximum blank size may be an actual value of the blank size indicated in the blank information 124, or the blank size value indicated in the blank information 124 may be expressed as shown in FIG.
  • Information classified into a plurality of stages may be used. In the example shown in FIG. 10, the maximum blank size is classified into three levels, and a ternary mask is generated as the blank map 129.
  • the information indicating the blank size at each planar viewpoint position may be information obtained from a plurality of blank sizes when the zoom magnification is changed at the planar viewpoint position.
  • the information may be an average value of the plurality of blank sizes, or may be a blank size at a specified zoom magnification.
  • the map generation unit 104 associates with a plurality of positions on the input image 121 and indicates the size of the blank area included in the converted image 123 corresponding to the second viewpoint associated with the position. 129 is generated.
  • the map generation unit 104 sets the blank size in an area larger than the blank size unit in the blank information 124 (for example, a 16 ⁇ 16 pixel area).
  • a mask may be generated in units of this area using the blank size obtained by averaging and averaging. That is, the map generation unit 104 divides the plurality of second viewpoints into a plurality of groups each including a plurality of second viewpoints, and associates one two-dimensional position with each of the plurality of groups. Then, using the blank information 124, the map generation unit 104 uses, for each of the plurality of two-dimensional positions, the sizes of the blank areas at the plurality of second viewpoints included in the group associated with the two-dimensional position.
  • the degree of the size of the blank area in the group is calculated.
  • the map generation unit 104 associates each of the plurality of two-dimensional positions with a blank map 129 that two-dimensionally indicates the degree of the size of the blank area in the group associated with the two-dimensional position. Generate. Thereby, the malfunction at the time of operation, such as a case where a user touches a place different from the place which he wants to operate, can be suppressed.
  • the display unit 107 displays the blank map 129 generated by the map generation unit 104 on a user interface such as a GUI.
  • the image processing apparatus 100 displays information on the size of the blank area before the user designates the viewpoint position. Thereby, the user can grasp
  • the image processing apparatus 100 is viewed from, for example, the zoom magnification specified in advance and the planar viewpoint position specified by the user. Display the converted image.
  • the blank map 129 may indicate the degree of zoom magnification that can be selected for each plane viewpoint position.
  • FIG. 11 is a diagram illustrating another example of the blank map 129.
  • the plane viewpoint position is associated with the position of the GUI screen, similarly to the blank map 129 shown in FIG. 10.
  • the selectable zoom magnification is a zoom magnification whose blank size is less than a predetermined threshold among a plurality of zoom magnifications.
  • the map generation unit 104 detects the maximum zoom magnification at the viewpoint position using a plurality of blank sizes when the zoom magnification is changed at each viewpoint position.
  • the maximum zoom magnification is a zoom magnification indicating that a blank area having a size exceeding the threshold is not included in the converted image if the zoom magnification is equal to or less than the maximum zoom magnification.
  • the map generation unit 104 generates the blank map 129 by obtaining the maximum zoom magnification at each viewpoint position. That is, the blank area analysis unit 103 determines whether the size of the blank area included in each of the plurality of converted images 123 is equal to or less than a predetermined threshold value.
  • the blank map 129 indicates a third viewpoint that is associated with a plurality of positions on the input image 121 and that the size of the blank area is equal to or smaller than a threshold at the second viewpoint associated with the position.
  • FIG. 11 shows the maximum zoom magnification in three stages.
  • the converted image viewed from the three-stage displayed maximum zoom magnification and the planar viewpoint position designated by the user is displayed. For example, if the maximum zoom magnification is “large”, 1.4 times is selected as the zoom magnification, and if the maximum zoom magnification is “medium”, 1.2 times is selected as the zoom magnification, and the maximum zoom magnification is If “small”, the zoom magnification of 1.0 is selected.
  • the image processing apparatus 100 generates the blank information 124 indicating the size of the blank area included in the converted image 123 corresponding to the second viewpoint for each of the plurality of second viewpoints. Then, the image processing apparatus 100 generates a blank map 129 using the blank information 124 and displays the blank map 129 on the input image 121.
  • the image processing apparatus 100 can prevent the user from selecting the low-quality converted image 128 including a large blank area. As described above, the image processing apparatus 100 can improve the image quality of the displayed image after changing the viewpoint.
  • the image processing apparatus 100 displays the converted image 128 of the viewpoint change destination.
  • the image processing apparatus 100 heads from the original viewpoint position to the viewpoint change destination viewpoint position.
  • the plurality of converted images 128 may be continuously switched and displayed so that the viewpoint position is continuously changed in order.
  • Embodiment 2 In the first embodiment, the case where the viewpoint position is changed according to the user's instruction has been described.
  • the image processing apparatus 100A according to the present embodiment automatically determines the change destination viewpoint position using the generated blank information 124.
  • the image processing apparatus 100A includes a viewpoint selection unit 108A instead of the viewpoint selection unit 108 and the map generation unit 104, as compared to the image processing apparatus 100 illustrated in FIG.
  • the image processing apparatus 100A displays, for example, the converted image 128 in which the viewpoint position is changed when a predetermined time has elapsed after displaying the input image 121.
  • the viewpoint selection unit 108A uses the blank information 124 generated by the blank area analysis unit 103 to select the selected viewpoint 127 that is the viewpoint position of the viewpoint change destination. For example, the viewpoint selection unit 108A selects a viewpoint position whose blank size is less than a predetermined threshold. Note that the viewpoint selection unit 108A may select a viewpoint position that minimizes the blank size at a specific zoom magnification.
  • the specific zoom magnification is, for example, a predetermined zoom magnification or a zoom magnification designated by a user operation.
  • the viewpoint selection unit 108 uses the blank information 124 to determine a converted image 123 in which the size of the blank area is equal to or less than a predetermined threshold among the plurality of converted images 123, and the size of the blank area is determined. One of the converted images 123 that is equal to or less than the threshold is selected as the selected image.
  • the image processing apparatus 100A may further include a viewpoint selection unit 108 and a map generation unit 104 shown in FIG. In this case, the image processing apparatus 100A may change the viewpoint when there is no user input for a predetermined period after the blank map 129 is displayed.
  • FIG. 13 is a flowchart of an image processing method performed by the image processing apparatus 100A.
  • the process shown in FIG. 13 includes steps S106A and S107A instead of steps S105 to S107 shown in FIG.
  • the display unit 107 displays the input image 121 (S106A).
  • the viewpoint selection unit 108 selects the selected viewpoint 127 using the blank information 124 (S107A). The subsequent processing is the same as in FIG.
  • timing for displaying the input image 121 is not limited to the above, and may be any timing as long as it is before displaying the converted image 128 (S109).
  • the image processing apparatus 100A can prevent the conversion image 128 having a large blank size and a low image quality from being displayed.
  • the image processing apparatus 100B When changing the viewpoint, the image processing apparatus 100B according to the present embodiment continuously changes the viewpoint position in the order from the original viewpoint position to the destination viewpoint position. Further, the image processing apparatus 100B uses the blank information 124 to select the path so that an image having a large blank size is not displayed in the viewpoint change path.
  • the image processing apparatus 100B according to the present embodiment will be described with reference to FIG.
  • the same components as those in FIG. 3 or FIG. 12 are denoted by the same reference numerals, and description thereof is omitted, and only different components are described.
  • the image processing apparatus 100B illustrated in FIG. 14 further includes a route selection unit 109 in addition to the image processing apparatus 100A illustrated in FIG.
  • a route selection unit 109 in addition to the image processing apparatus 100A illustrated in FIG.
  • the configuration in which the image processing apparatus 100A illustrated in FIG. 12 further includes the route selection unit 109 will be described, but the image processing apparatus 100 illustrated in FIG. 3 may further include the route selection unit 109. .
  • the route selection unit 109 uses the selected viewpoint 127 and the blank information 124 to determine the viewpoint change route 130.
  • This route 130 is a route of the viewpoint position that passes from the start of the viewpoint change to the end of the viewpoint change.
  • the route selection unit 109 uses the blank information 124 to select a blank area among a plurality of converted images 123 corresponding to a plurality of second viewpoints positioned between the first viewpoint and the selected viewpoint 127.
  • a converted image 123 whose size is equal to or smaller than a threshold value is determined.
  • the route selection unit 109 selects one or more of the plurality of converted images 123 corresponding to the plurality of second viewpoints positioned between the first viewpoint and the selected viewpoint 127 whose blank area size is equal to or smaller than the threshold value.
  • the display unit 107 when the selected viewpoint 127 is selected by the viewpoint selection unit 108A, the input image 121, so that the viewpoint of the image to be displayed continuously changes from the first viewpoint to the selected viewpoint 127.
  • the intermediate viewpoint image and the converted image 128 corresponding to the selected viewpoint are switched and displayed in this order.
  • FIG. 15A is a diagram illustrating an example of the blank information 124.
  • FIG. 15B is a diagram illustrating an example of the original viewpoint position and the change-destination viewpoint position.
  • a method of selecting a route as shown in FIG. 15C, a method of selecting a route that connects the original viewpoint position and the changed viewpoint position with the shortest distance is conceivable.
  • the route includes a viewpoint position with a large blank area. Thereby, degradation of the converted image displayed becomes conspicuous.
  • the route selection unit 109 selects a route using the blank information 124 so that the converted image 128 with low image quality is not selected, not limited to such a shortest route. Specifically, the route selection unit 109 selects the route that passes only the viewpoint position whose blank size is equal to or smaller than a predetermined threshold and that is the shortest. For example, in the example shown in FIG. 15D, the route that passes only the viewpoint position with the blank size “small” or “medium” and that is the shortest is selected. Note that the route selection unit 109 may select a route that minimizes the sum or product of the parameter based on the length of the route and the parameter based on the size of the blank area.
  • the viewpoint conversion unit 106 generates a converted image 128 corresponding to a plurality of viewpoint positions included in the route 130 using the viewpoint change route 130 determined in this way. Then, the display unit 107 sequentially displays the plurality of converted images 128 so that the viewpoint position is continuously changed from the original viewpoint position to the destination viewpoint position.
  • the image processing apparatus 100B can suppress the display of an image with low image quality when changing the viewpoint position.
  • the image processing apparatus is used in, for example, a digital still camera as shown in FIG. 16A and a digital video camera as shown in FIG. 16B.
  • each processing unit included in the image processing apparatus is typically realized as an LSI which is an integrated circuit. These may be individually made into one chip, or may be made into one chip so as to include a part or all of them.
  • circuits are not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor.
  • An FPGA Field Programmable Gate Array
  • reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • each component may be configured by dedicated hardware or may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
  • the software that realizes the image processing apparatus according to each of the above embodiments is the following program.
  • the present invention may be the above program or a non-transitory computer-readable recording medium on which the above program is recorded.
  • the program can be distributed via a transmission medium such as the Internet.
  • division of functional blocks in the block diagram is an example, and a plurality of functional blocks can be realized as one functional block, a single functional block can be divided into a plurality of functions, or some functions can be transferred to other functional blocks. May be.
  • functions of a plurality of functional blocks having similar functions may be processed in parallel or time-division by a single hardware or software.
  • the present invention can be applied to an image processing apparatus. Further, the present invention can be applied to a consumer or business imaging device (digital still camera or video camera) including an image processing device, a portable terminal, or the like.
  • a consumer or business imaging device digital still camera or video camera
  • an image processing device a portable terminal, or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

　画像処理装置（１００）は、第１視点から撮影された入力画像（１２１）と、入力画像（１２１）における被写体の深度を示すデプス情報（１２２）とを取得するデータ取得部（１０１）と、デプス情報（１２２）を用いて、入力画像（１２１）を第１視点と異なる複数の第２視点から見た画像である複数の変換画像（１２３）を生成する視点変換部（１０２）と、複数の変換画像（１２３）の各々に含まれる、入力画像（１２１）内に対応する画素が存在しない画素を含む空白領域を解析し、複数の第２視点ごとに、当該第２視点に対応する変換画像（１２３）に含まれる空白領域の大きさを示す空白情報（１２４）を生成する空白領域解析部（１０３）とを備える。

Description

画像処理装置及び画像処理方法
　本発明は、画像処理装置及び画像処理方法に関し、特に、第１視点から撮影された入力画像における被写体の深度を示すデプス情報を用いて、当該入力画像を第１視点と異なる複数の第２視点から見た画像を生成する画像処理装置に関する。
　近年、ユーザが、撮像装置で撮影された画像を編集することが多くなっている。例えば、ユーザは、ＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）を介して画像内の一部領域を指定することで、例えば、その一部領域に写っている被写体の像が拡大される（例えば、特許文献１を参照）。
　ところで、通常のズーム機能では、被写体の像は拡大倍率に従って拡大、又は、縮小されるものの、カメラを実際に被写体に近づけて撮影されたような像を得る事はできない。実際に被写体に近づいたような効果を得るための方法として、例えば特許文献２に記載の方法がある。特許文献２によると、複数の方向から被写体が撮影されることで得られた複数の入力画像が合成されることで三次元モデルが生成される。生成された三次元モデルにおいて、任意の視点位置からの射影変換が行われることにより、被写体像が生成される。このような方法によって、カメラを被写体に近づけて撮影したような被写体像、又は、実際のカメラとは異なる方向から撮影したような被写体像が得られる。
特開平９－１０２９４５号公報 特開２００２－２９０９６４号公報
　このような装置においては、視点変更後の表示される画像の画質を向上することが望まれている。
　そこで、本発明は、視点変更後の表示される画像の画質を向上できる画像処理装置を提供することを目的とする。
　本発明の一態様に係る画像処理装置は、第１視点から撮影された入力画像と、前記入力画像における被写体の深度を示すデプス情報とを取得するデータ取得部と、前記デプス情報を用いて、前記入力画像を前記第１視点と異なる複数の第２視点から見た画像である複数の第１変換画像を生成する視点変換部と、前記複数の第１変換画像の各々に含まれる、前記入力画像内に対応する画素が存在しない画素を含む空白領域を解析し、前記複数の第２視点ごとに、当該第２視点に対応する前記第１変換画像に含まれる前記空白領域の大きさを示す空白情報を生成する空白領域解析部とを備える。
　なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
　本発明は、視点変更後の表示される画像の画質を向上できる画像処理装置を提供できる。
図１は、実施の形態１に係る画像処理装置のブロック図である。 図２は、実施の形態１に係る画像処理方法のフローチャートである。 図３は、実施の形態１に係る画像処理装置のブロック図である。 図４は、実施の形態１に係る画像処理方法のフローチャートである。 図５は、実施の形態１に係る視点変換処理を説明するための図である。 図６は、実施の形態１に係る視点変換処理を説明するための図である。 図７は、実施の形態１に係る視点変換処理を説明するための図である。 図８は、実施の形態１に係る視点変換後の空白領域の一例を示す図である。 図９は、実施の形態１に係る空白領域解析処理のフローチャートである。 図１０は、実施の形態１に係る空白マップの一例を示す図である。 図１１は、実施の形態１に係る空白マップの別の例を示す図である。 図１２は、実施の形態２に係る画像処理装置のブロック図である。 図１３は、実施の形態２に係る画像処理方法のフローチャートである。 図１４は、実施の形態３に係る画像処理装置のブロック図である。 図１５Ａは、実施の形態３に係るルート選択処理を説明するための図である。 図１５Ｂは、実施の形態３に係るルート選択処理を説明するための図である。 図１５Ｃは、実施の形態３に係るルート選択処理を説明するための図である。 図１５Ｄは、実施の形態３に係るルート選択処理を説明するための図である。 図１６Ａは、実施の形態に係る撮像装置の一例を示す外観図である。 図１６Ｂは、実施の形態係る撮像装置の一例を示す外観図である。
　（本発明の基礎となった知見）
　本発明者は、従来の技術において、以下の問題が生じることを見出した。
　特許文献２に記載される方法では、変換画像の画質が大きく劣化する場合がある。例えば、射影変換により生成された変換画像内に、入力画像に対応する像が存在しない空白領域が発生する場合がある。一般的に、多くの小さな空白領域が分散して存在する場合よりも、少しの大きな空白領域が存在する場合の方が画質の劣化に与える影響が大きくなる。よって、大きな空白領域が発生してしまう場合には、変換画像の画質が大きく劣化してしまうことを本発明者は見出した。また、このような大きな空白領域のある領域が画像中に存在するかどうかは、実際に画像を変換するまでは事前には分からない。
　この視点変換方法を用いて、ユーザがＧＵＩで視点変換画像を制御する場合を考えてみる。この場合、ユーザはどの領域を指定した場合にどの程度の空白領域が存在するかの情報が事前に得られないため、ユーザの指定した領域によっては画質の劣化した変換画像が表示されてしまうことを本発明者は見出した。
　本発明の一態様に係る画像処理装置は、第１視点から撮影された入力画像と、前記入力画像における被写体の深度を示すデプス情報とを取得するデータ取得部と、前記デプス情報を用いて、前記入力画像を前記第１視点と異なる複数の第２視点から見た画像である複数の第１変換画像を生成する視点変換部と、前記複数の第１変換画像の各々に含まれる、前記入力画像内に対応する画素が存在しない画素を含む空白領域を解析し、前記複数の第２視点ごとに、当該第２視点に対応する前記第１変換画像に含まれる前記空白領域の大きさを示す空白情報を生成する空白領域解析部とを備える。
　この構成によれば、当該画像処理装置は、複数の第２視点ごとに、当該第２視点に対応する第１変換画像に含まれる空白領域の大きさを示す空白情報を生成する。これにより、当該画像処理装置は、例えば、当該空白情報をユーザに提示することで、ユーザにより、大きい空白領域が含まれる画質の低い変換画像が選択されることを防止できる。または、当該画像処理装置は、当該空白情報を用いて、画質の低い変換画像が表示されることを抑制できる。このように、当該画像処理装置は、視点変更後の表示される画像の画質を向上できる。
　例えば、前記画像処理装置は、さらに、前記複数の第２視点を複数の二次元位置に対応付け、前記空白情報を用いて、前記複数の二次元位置毎に、当該二次元位置に対応付けられた前記第２視点における前記空白領域に関する情報を示す空白マップを生成するマップ生成部と、前記空白マップを表示する表示部とを備えてもよい。
　この構成によれば、当該画像処理装置は、ユーザにより、大きい空白領域が含まれる画質の低い変換画像が選択されることを防止できる。
　例えば、前記表示部は、さらに、前記入力画像を表示し、前記入力画像上の複数の位置の各々は、前記複数の第２視点の各々と対応付けられており、前記画像処理装置は、さらに、ユーザにより指定された前記入力画像上の位置に対応付けられている第２視点である選択視点を選択する視点選択部を備え、前記表示部は、前記視点選択部により前記選択視点が選択された場合に、表示する画像を、前記入力画像から前記選択視点に対応する前記第１変換画像に切り替え、前記複数の二次元位置は、前記入力画像上の複数の位置に対応付けられており、前記表示部は、前記入力画像を表示する際に、前記空白マップを表示してもよい。
　この構成によれば、当該画像処理装置は、ユーザによる視点の変更操作に対応付けて、視点の変更操作後の画像における空白領域に関する情報を表示できる。これにより、ユーザは、直感的に視点の変更操作後の空白領域に関する情報を認識できる。
　例えば、前記マップ生成部は、前記入力画像上の複数の位置に対応付けて、当該位置に対応付けられている前記第２視点に対応する前記第１変換画像に含まれる前記空白領域の大きさを示す前記空白マップを生成してもよい。
　この構成によれば、当該画像処理装置は、ユーザによる視点の変更操作に対応付けて、視点の変更操作後の画像における空白領域の大きさを表示できる。これにより、ユーザは、直感的に視点の変更操作後の空白領域の大きさを認識できる。
　例えば、前記視点変換部は、さらに、前記デプス情報を用いて、前記入力画像を、前記複数の第２視点の各々を前記入力画像平面に対して垂直に移動させた複数の第３視点から見た画像である複数の第２変換画像を生成し、前記空白領域解析部は、さらに、前記複数の第２変換画像の各々に含まれる前記空白領域の大きさが予め定められた閾値以下であるか否かを判定し、前記空白マップは、前記入力画像上の複数の位置に対応付けて、当該位置に対応付けられている第２視点において、前記空白領域の大きさが前記閾値以下である第３視点を示してもよい。
　この構成によれば、当該画像処理装置は、ユーザによる視点の変更操作に対応付けて、変更後の視点において可能なズーム動作（入力画像平面に対する垂直方向の視点の移動）の程度を表示できる。これにより、ユーザは、直感的に視点の変更操作後に可能なズーム動作の程度を認識できる。
　例えば、前記画像処理装置は、さらに、前記入力画像を表示する表示部と、前記空白情報を用いて、前記複数の第１変換画像のうち、前記空白領域の大きさが予め定められた閾値以下である第１変換画像を判定し、前記空白領域の大きさが前記閾値以下である第１変換画像のうちいずれかを選択画像として選択する視点選択部を備え、前記表示部は、表示する画像を、前記入力画像から前記選択画像に切り替えてもよい。
　この構成によれば、当該画像処理装置は、画質の低い変換画像が表示されることを抑制できる。
　例えば、前記画像処理装置は、さらに、前記入力画像を表示する表示部と、前記複数の第２視点のうちいずれかを選択視点として選択する視点選択部と、前記空白情報を用いて、前記第１視点と前記選択視点との間に位置する複数の第２視点に対応する複数の第１変換画像のうち、前記空白領域の大きさが前記閾値以下である第１変換画像を判定し、前記第１視点と前記選択視点との間に位置する複数の第２視点に対応する複数の第１変換画像のうち、前記空白領域の大きさが前記閾値以下である第１変換画像を中間視点画像として選択するルート選択部とを備え、前記表示部は、前記視点選択部により前記選択視点が選択された場合に、表示する画像の視点が、前記第１視点から前記選択視点に連続的に変化するように、前記入力画像と、前記中間視点画像と、前記選択視点に対応する第１変換画像とをこの順に切り替えて表示してもよい。
　この構成によれば、当該画像処理装置は、視点の変更動作時において、画質の低い画像が表示されることを抑制できる。
　例えば、前記マップ生成部は、前記複数の第２視点を、各々が複数の第２視点を含む複数のグループに分割し、前記複数のグループの各々に一つ前記二次元位置を対応付け、前記空白情報を用いて、前記複数の二次元位置毎に、当該二次元位置に対応付けられた前記グループに含まれる複数の第２視点における前記空白領域の大きさを用いて、当該グループにおける前記空白領域の大きさの度合いを算出し、前記複数の二次元位置の各々に対応付けて、当該二次元位置に対応付けられている前記グループにおける前記空白領域の大きさの度合いを示す前記空白マップを生成してもよい。
　この構成によれば、当該画像処理装置は、ユーザが操作したい場所とは異なる場所を選択してしまう場合などの操作時の誤動作を抑制できる。
　例えば、前記視点変換部は、前記入力画像と、前記デプス情報と、前記入力画像が撮影された際のカメラパラメータとを用いて、カメラ座標系における前記被写体の三次元モデルを生成し、前記三次元モデルを、前記複数の第２視点の各々に対応する複数の変換パラメータを用いて射影変換することにより、前記複数の第１変換画像を生成してもよい。
　また、本発明の一態様に係る画像処理方法は、第１視点から撮影された入力画像と、前記入力画像における被写体の深度を示すデプス情報とを取得するデータ取得ステップと、前記デプス情報を用いて、前記入力画像を前記第１視点と異なる複数の第２視点から見た画像である複数の第１変換画像を生成する視点変換ステップと、前記複数の第１変換画像の各々に含まれる、前記入力画像内に対応する画素が存在しない画素を含む空白領域を解析し、前記複数の第２視点ごとに、当該第２視点に対応する前記第１変換画像に含まれる前記空白領域の大きさを示す空白情報を生成する空白領域解析ステップとを含む。
　これよれば、当該画像処理方法は、複数の第２視点ごとに、当該第２視点に対応する第１変換画像に含まれる空白領域の大きさを示す空白情報を生成する。これにより、当該画像処理方法は、例えば、当該空白情報をユーザに提示することで、ユーザにより、大きい空白領域が含まれる画質の低い変換画像が選択されることを防止できる。または、当該画像処理方法は、当該空白情報を用いて、画質の低い変換画像が表示されることを抑制できる。このように、当該画像処理方法は、視点変更後の表示される画像の画質を向上できる。
　なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
　以下、実施の形態について、図面を参照しながら具体的に説明する。
　なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　（実施の形態１）
　本実施の形態に係る画像処理装置は、複数の視点ごとに、視点変更後の変換画像における空白領域の大きさを示す空白マップを生成し、当該空白マップをユーザに提示する。これにより、当該画像処理装置は、ユーザにより、大きい空白領域が含まれる画質の低い変換画像が選択されることを防止できる。
　まず、本実施の形態に係る画像処理装置の概略構成及びその動作について説明する。
　図１は、本実施の形態に係る画像処理装置１００の概略構成を示すブロック図である。
　図１に示す画像処理装置１００は、入力画像１２１及びデプス情報１２２を用いて空白情報１２４を生成する。入力画像１２１は、第１視点から被写体が撮影された画像である。デプス情報１２２は、入力画像１２１における被写体の深度を示す。
　この画像処理装置１００は、データ取得部１０１と、視点変換部１０２と、空白領域解析部１０３とを備える。
　データ取得部１０１は、入力画像１２１及びデプス情報１２２を取得する。
　視点変換部１０２は、デプス情報１２２を用いて、入力画像１２１を、第１視点と異なる複数の第２視点から見た画像である複数の変換画像１２３を生成する。
　空白領域解析部１０３は、複数の変換画像１２３の各々に含まれる空白領域を解析する。ここで空白領域とは、入力画像１２１内に対応する画素が存在しない領域である。また、空白領域解析部１０３は、空白情報１２４を生成する。空白情報１２４は、複数の第２視点ごとに、当該第２視点に対応する変換画像１２３に含まれる空白領域の大きさを示す。
　図２は、画像処理装置１００による画像処理方法のフローチャートである。
　まず、データ取得部１０１は、入力画像１２１とデプス情報１２２とを取得する（Ｓ１０１）。次に、視点変換部１０２は、入力画像１２１及びデプス情報１２２を用いて、複数の変換画像１２３を生成する（Ｓ１０３）。次に、空白領域解析部１０３は、複数の変換画像１２３の各々に含まれる空白領域を解析し、空白情報１２４を生成する（Ｓ１０４）。
　以下、画像処理装置１００の詳細な構成を説明する。
　図３は、本実施の形態に係る画像処理装置１００の構成を示すブロック図である。
　図３に示す画像処理装置１００は、例えば、デジタルスチルカメラ又はデジタルビデオカメラに内蔵される。なお、画像処理装置１００は、静止画を表示する機能を有する各種機器に用いることができる。例えば、画像処理装置１００は、パーソナルコンピュータ、又はスマートフォン等にも用いることができる。
　この画像処理装置１００は、静止画である入力画像１２１を表示するとともに、ユーザから入力された視点変更指示に従い、入力画像１２１の視点を変更した変換画像１２８を表示する。また、当該画像処理装置１００は、各視点位置における空白領域の大きさを示す空白マップ１２９を生成し、当該空白マップ１２９を入力画像１２１上に表示する。
　この画像処理装置１００は、データ取得部１０１と、視点変換部１０２と、空白領域解析部１０３と、マップ生成部１０４と、画像縮小部１０５、視点変換部１０６と、表示部１０７とを備える。
　データ取得部１０１は、入力画像１２１、デプス情報１２２、カメラパラメータ１２５、及び複数の変換パラメータ１２６を取得する。
　デプス情報１２２は、入力画像１２１における、当該入力画像１２１を撮影したカメラから被写体までの距離を示すデータである。例えば、デプス情報１２２は、入力画像１２１に含まれる複数の画素の各々の深度を示すデプスマップである。なお、このデプス情報１２２は、画像処理装置１００の外部から入力されてもよいし、画像処理装置１００が生成してもよい。例えば、画像処理装置１００は、同一の被写体を撮影した、焦点位置の異なる複数の画像を用いて、デプス情報１２２を生成してもよい。
　カメラパラメータ１２５は、入力画像１２１の撮影条件を示すパラメータである。具体的には、カメラパラメータ１２５は、撮影時の画角、深度の前端距離、及び深度の後端距離の情報を含む。
　複数の変換パラメータ１２６の各々は、三次元モデルの射影変換に関するパラメータである。なお、変換パラメータ１２６は、必ずしも視点位置の変更指示である必要はなく、例えば、変換パラメータ１２６は、射影変換の種類（例えば、透視射影又は正射影など）を示す情報であってもよいし、画角を示す情報であってもよい。なお、データ取得部１０１は、これらのカメラパラメータ１２５及び複数の変換パラメータ１２６を、画像処理装置１００の外部から取得してもよいし、カメラパラメータ１２５及び複数の変換パラメータ１２６は、当該画像処理装置１００内に保持されていてもよい。
　画像縮小部１０５は、入力画像１２１及びデプス情報１２２の画像サイズを縮小することで、入力画像１２１Ａ及びデプス情報１２２Ａを生成する。入力画像１２１Ａ及びデプス情報１２２Ａのサイズは、表示部１０７で表示される画像のサイズ以下が好ましいが、特にこれに限るものではない。また、画像処理装置１００は、必ずしも画像縮小部１０５を備える必要はなく、視点変換部１０２に入力画像１２１及びデプス情報１２２がそのまま入力されてもよい。この場合、後述する処理における入力画像１２１Ａ及びデプス情報１２２Ａをそれぞれ、入力画像１２１及びデプス情報１２２に置き換えればよい。また、画像の縮小処理を行わない場合には、後述する視点変換部１０２及び視点変換部１０６を単一の処理部で実現することも可能である。また、空白領域解析部１０３までは、元の画像サイズで解析を行い、その解析結果である空白情報１２４が縮小されてもよい。
　視点変換部１０２は、入力画像１２１Ａ、デプス情報１２２Ａ及びカメラパラメータ１２５を用いて、カメラ座標系における被写体の三次元モデルを生成する。次に、視点変換部１０２は、当該三次元モデルに対して、変換パラメータ１２６を用いた射影変換を行うことにより変換画像１２３を生成する。また、射影変換は複数の変換パラメータの各々を用いて行われ、その結果、複数の変換画像１２３が生成される。つまり、複数の変換画像１２３は、入力画像１２１を複数の異なる視点から見た画像である。
　空白領域解析部１０３は、複数の変換画像１２３の各々に含まれる空白領域を解析することで空白情報１２４を生成する。
　マップ生成部１０４は、空白領域解析部１０３で生成された空白情報１２４を用いて、表示用の空白マップ１２９を生成する。この空白マップ１２９は、空白領域に関する情報を二次元的に示す。具体的には、複数の第２視点は、複数の二次元位置に対応付けられる。また、空白マップ１２９は、複数の二次元位置毎に、当該二次元位置に対応付けられた第２視点における空白領域に関する情報である。また、この複数の二次元位置は、入力画像１２１上の複数の位置に対応付けられている。なお、空白マップ１２９の表示形式はこれに限定されない。例えば、空白マップ１２９は、空白領域に関する情報を三次元的に示してもよい。
　視点選択部１０８は、ユーザ操作により指定された視点位置を選択視点１２７として選択する。具体的には、入力画像１２１上の複数の位置の各々は、複数の第２視点の各々と対応付けられている。そして、視点選択部１０８は、ユーザにより指定された入力画像１２１上の位置に対応付けられている第２視点を選択視点として選択する。なお、視点選択部１０８は、入力画像１２１に対する視点位置の変更指示を変換パラメータ１２６の入力としてユーザから受け付けてもよい。この場合、この変換パラメータ１２６が視点変換部１０６に送られる。そして、視点変換部１０６は、この変換パラメータ１２６を用いて視点変換処理を行う。
　視点変換部１０６は、入力画像１２１、デプス情報１２２及びカメラパラメータ１２５を用いて、被写体の三次元モデルを生成する。次に、視点変換部１０６は、当該三次元モデルに対して、選択視点１２７に対応する変換パラメータ１２６を用いた射影変換を行うことで変換画像１２８を生成する。つまり、変換画像１２８は、入力画像１２１を選択視点１２７から見た画像である。
　表示部１０７は、入力画像１２１を表示する。また、表示部１０７は、視点選択部１０８により選択視点１２７が選択された場合、表示する画像を入力画像１２１から変換画像１２８に切り替える。また、表示部１０７は、入力画像１２１を表示する際に、空白マップ１２９を入力画像１２１上に重ねて表示する。
　なお、表示部１０７は、入力画像１２１の周辺に空白マップ１２９を表示してもよい。また、空白マップ１２９は、その全てが入力画像１２１に重ならないように表示されてもよいし、一部が入力画像１２１と重なるように表示されてもよい。また、表示部１０７は、入力画像１２１の周辺に、入力画像１２１の縮小画像を表示し、空白マップ１２９を当該縮小画像上に重ねて表示してもよい。
　例えば、表示部１０７は、画像処理装置１００が備えるディスプレイ、又は、外部のディスプレイ（例えば、画像処理装置１００が内蔵されたカメラが備えるディスプレイ）に、これらの画像を表示する。
　次に、本実施の形態に係る画像処理装置１００による画像処理方法の流れを、図４を用いて説明する。図４は、本実施の形態に係る画像処理方法のフローチャートである。
　まず、データ取得部１０１は、入力データとして入力画像１２１、デプス情報１２２、カメラパラメータ１２５及び変換パラメータ１２６を取得する（Ｓ１０１）。次に、必要に応じて画像縮小部１０５は、入力画像１２１及びデプス情報１２２を縮小することで入力画像１２１Ａ及びデプス情報１２２Ａを生成する（Ｓ１０２）。次に、視点変換部１０２は、入力画像１２１Ａ及びデプス情報１２２Ａを用いて、複数の変換画像１２３を生成する（Ｓ１０３）。次に、空白領域解析部１０３は、各変換画像１２３に含まれる空白領域の大きさを解析することで空白情報１２４を生成する（Ｓ１０４）。次に、マップ生成部１０４は、空白情報１２４を用いて空白マップ１２９を生成する（Ｓ１０５）。
　次に、表示部１０７は、入力画像１２１及び空白マップ１２９をＧＵＩ上へ表示する（Ｓ１０６）。この状態において、ユーザにより、例えば、入力画像１２１の任意の位置が選択されることで、変更先の視点位置が指示される。視点選択部１０８は、ユーザにより指定された視点位置を選択視点１２７として取得する（Ｓ１０７）。次に、視点選択部１０８は、選択視点１２７から入力画像１２１を見た変換画像１２８を生成する（Ｓ１０８）。最後に、表示部１０７は、生成された変換画像１２８を表示する（１０９）。
　なお、上述したように、入力画像１２１及びデプス情報１２２を縮小する処理（Ｓ１０２）を行わなくてもよい。この場合、ステップＳ１０８で変換画像１２８を生成せず、ステップＳ１０９において、表示部１０７は、ステップＳ１０３で生成された変換画像１２３を表示してもよい。または、ステップＳ１０８において、視点変換部１０６は、ステップＳ１０３で生成された変換画像１２３に対して、所定の処理（例えば、空白領域を補完する処理）を行うことで変換画像１２８を生成してもよい。
　以下、変換画像１２３を生成する処理（図４のＳ１０３）について図５～図７を参照しながら詳細に説明する。ここでは、視点位置を、ズーム方向（入力画像平面に対して垂直な方向）へ変更する場合について説明する。図５～図７では、Ｘ軸方向及びＹ軸方向は、水平方向及び垂直方向（入力画像平面に平行な方向）を示し、Ｚ軸方向は、深度方向（奥行き方向）を示す。
　まず、図５に示すように、視点変換部１０２は、スクリーン座標系で表わされた入力画像１２１とデプス情報１２２と（図５の（ａ））を用いて、射影座標系で表わされた三次元モデルを生成する（図５の（ｂ））。つまり、視点変換部１０２は、入力画像１２１とデプス情報１２２とを用いて、射影座標系における画素の位置を示すベクトルＶｐ（ｘ，ｙ，ｚ）を画素ごとに算出する。ここで、スクリーン座標系は、表示画面に対応する二次元の座標系である。射影座標系は、クリップ座標系又はデバイス座標系とも呼ばれ、カメラ座標系において射影変換を行うことにより得られる三次元の座標系である。カメラ座標系は、ビュー座標系とも呼ばれ、視点（カメラ）位置及び視線方向によって定義される三次元の座標系である。本実施の形態では、カメラ座標系において、視点位置は原点と一致し、視線方向はＺ軸方向（深度方向）と一致する。
　続いて、視点変換部１０２は、カメラパラメータ１２５を用いて、三次元モデルを射影座標系からカメラ座標系に変換する（図５の（ｃ））。具体的には、視点変換部１０２は、下記式（１）～（３）を用いて、射影座標系における各画素の位置を示すベクトルＶｐを、カメラ座標系における各画素の位置を示すベクトルＶｃへ変換する。なお、以下の式（１）～（３）において、ベクトルＶｐ及びＶｃは、同次座標で表わされている。
Figure JPOXMLDOC01-appb-M000001
　ここで、ｘ’、ｙ’、ｚ’、及びｗ’は、以下の式（２）によって計算される。
Figure JPOXMLDOC01-appb-M000002
　ここで、行列Ｍｐｃは、射影行列Ｍｃｐの逆行列である。射影行列Ｍｃｐは、深度の前端距離ｚｎ、深度の後端距離ｚｆ、画角ｆｏｖＹ、及びアスペクト比Ａｓｐｅｃｔを用いて、以下の式（３）のように表わされる。
Figure JPOXMLDOC01-appb-M000003
　次に、視点変換部１０２は、図６に示すように、視点位置の変更指示に従って、カメラ座標系において三次元モデルの視点位置を変更する（図６の（ａ）及び（ｂ））。具体的には、視点変換部１０２は、カメラ座標系における各画素の位置を示すベクトルＶｃを視点位置の移動方向と逆方向に移動させることにより、視点位置変更後の各画素の位置を示すベクトルＶｃ’を算出する。続いて、視点変換部１０２は、視点位置が変更された三次元モデルを、カメラ座標系から射影座標系に変換する（図６の（ｃ））。具体的には、視点変換部１０２は、カメラ座標系における視点位置変更後の各画素の位置を示すベクトルＶｃ’を射影座標系における各画素の位置を示すベクトルＶｐ’に変換する。つまり、視点変換部１０２は、以下の式（４）に示す射影変換を行うことにより、ベクトルＶｐ’を算出する。
Figure JPOXMLDOC01-appb-M000004
　本実施の形態では、式（４）に示す射影行列Ｍｃｐは、式（３）に示す射影行列Ｍｃｐと同一である。なお、ここで用いられる射影行列Ｍｃｐは、必ずしもこのような射影行列である必要はない。射影行列は、例えば、正射影行列であってもよいし、回転又は反転を伴う射影行列であってもよい。つまり、変換パラメータ１２６に射影行列を示す情報が含まれる場合は、変換パラメータ１２６が示す射影行列が用いられればよい。最後に、視点変換部１０２は、図７に示すように、射影座標系で表わされた三次元モデルからスクリーン座標系で表わされた変換画像１２３を生成する（図７の（ａ）及び（ｂ））。
　以上のように、視点変換部１０２は、複数の変換画像１２３を生成する。
　なお、視点変換部１０６においても、上記と同様の処理により変換画像１２８が生成される。なお、視点変換部１０６は、上記処理に加え、生成した変換画像に対して空白領域の画素を補完する処理を行ってもよい。
　ところで、図７の（ｂ）に示すように、変換画像１２３内には空白領域２０１が存在する。この空白領域２０１は、入力画像１２１内に対応する画素が存在しない空白画素の集合である。この空白画素は例えば、空白領域２０１に隣接する画素の画素値を用いるなどの方法により、補間することができる。しかしながら、この空白画素が大きい場合には、補間されたとしても補間された部分が目立つため、変換画像１２３の画質劣化につながる。一般的に、多くの小さな空白領域２０１が分散して存在する場合よりも、少しの大きな空白領域２０１が存在する場合の方が画質の劣化に与える影響が大きい。よって、大きな空白領域２０１が発生してしまう場合には、変換画像１２３の画質が大きく劣化してしまう。このため、空白領域解析部１０３では、空白領域２０１の大きさを示す空白値（例えば画素数）を用いて、変換画像１２３に大きな空白領域２０１が存在するか否かを解析する。
　ここで、視点位置の変更は、Ｚ軸方向（画像平面に垂直な方向）の視点位置の変更と、Ｘ軸方向及びＹ軸方向（画像平面に平行な方向）の視点位置の変更とを含む。以下では、特に、Ｚ軸方向の視点位置を変更することを、ズーム倍率を変更すると呼ぶ。また、ズーム倍率が大きくなるとは、被写体側に視点位置が近づくことである。また、Ｘ軸方向及びＹ軸方向の視点位置（視点位置のＸ及びＹ座標）を平面視点位置とも呼ぶ。
　空白領域２０１のサイズは、単にズーム倍率が大きくなるほど大きくなる訳ではなく、ズーム倍率とその時の平面視点位置によって変わる。図８は、この一例を示す。図８の（ａ）はズーム前の元画像を示す。元画像には３つの被写体２５１～２５３が含まれる。また、被写体２５１～２５３のうち、被写体２５２が最も手前側に位置しており、被写体２５１は最も奥側に位置し、被写体２５３はその間に位置している。
　図８の（ｃ）は、図８の（ａ）の状態から、平面視点位置は図８の（ａ）と同じままでズーム倍率を高くした時の変換画像を示す。ズーム倍率が高くなったため、被写体２５２の位置は視点位置に更に近くなる。これにより、被写体２５２は大きく写る一方で、他の被写体２５１及び２５３に空白領域が見えてきてしまう。
　図８の（ｂ）は、図８の（ａ）の状態から、平面視点位置を右側へ移動し、かつ、ズーム倍率を高くした時の変換画像を示す。なお、図８の（ｂ）におけるズーム倍率は、図８の（ｃ）におけるズーム倍率より小さい。視点位置を図８の（ａ）の時から右側へずらしたために、本来であれば図８の（ａ）の被写体の右側が見えなければならないが、元画像には被写体の右側はもともと存在しないため、大きな空白領域が生じてしまっている。図８の（ｂ）は、図８の（ｃ）よりもズーム倍率は小さいが、平面視点位置をずらしたことで大きな空白領域が生じている。このように、空白領域の大きさは、ズーム倍率及び平面視点位置の両方に影響される。よって、空白領域解析部１０３は、ズーム倍率及び平面視点位置の両方を変えた場合について、空白領域の大きさを調べる。
　図９は、空白情報１２４の生成処理（図４のＳ１０３及びＳ１０４）を示すフローチャートである。このフローチャートに沿って処理動作の説明を行う。
　まず、空白領域解析部１０３は、空白情報を初期化する（Ｓ２０１）。次に、視点変換部１０２は、予め定められた最大ズーム倍率の値を取得し（Ｓ２０２）、取得した最大ズーム倍率を用いて、変更先の複数のズーム倍率を決定する（Ｓ２０３）。例えば、視点変換部１０２は、ズーム倍率の刻み幅を決定する。例えば、視点変換部１０２は、最大ズーム倍率が１．４倍の場合、刻み幅を０．１に決定する。なお、変更先の複数のズーム倍率、最大ズーム倍率及び刻み幅を決定する方法は、これに限定されず任意の方法で決定されてよい。また、変更先の複数のズーム倍率、最大ズーム倍率及び刻み幅のうち少なくとも一つが予め定められていてもよい。
　次に、視点変換部１０２は、変更先の複数の平面視点位置を決定する（Ｓ２０４）。例えば、視点変換部１０２は、変更先の平面視点位置の上限値及び刻み幅を、上下方向及び左右方向に対してそれぞれ決定する。なお、変更先の複数の平面視点位置、上限値及び刻み幅を決定する方法は、これに限定されず任意の方法で決定されてよい。また、変更先の複数の平面視点位置、上限値及び刻み幅のうち少なくとも一つが予め定められていてもよい。
　次に、視点変換部１０２は、ステップＳ２０３で決定された複数のズーム倍率のうち一つを選択する（Ｓ２０５）。また、視点変換部１０２は、ステップＳ２０４で決定された複数の平面視点位置のうち一つを選択する（Ｓ２０６）。
　次に、視点変換部１０２は、ステップＳ２０５で選択されたズーム倍率、かつＳ２０６で選択された平面視点位置から入力画像１２１を見た変換画像１２３を生成する（Ｓ２０７）。
　次に、空白領域解析部１０３は、ステップＳ２０７で生成された変換画像１２３の全体に含まれる空白領域を検出し、検出した空白領域のうち最大の空白領域の大きさ（空白サイズ）を調べる（Ｓ２０８）。この空白領域の大きさは、連続する空白領域の画素数でも良いし、単位領域に含まれる空白領域の画素数でも良い。
　次に、空白領域解析部１０３は、検出された空白サイズを、選択されている視点位置に対応付けて空白情報１２４に記録する（Ｓ２０９）。
　ステップＳ２０４で設定された全ての平面視点位置に対する処理が終了していない場合（Ｓ２１０でＮｏ）、視点変換部１０２は、次に探索する平面視点位置を選択し（Ｓ２０６）、ステップＳ２０７以降の処理を繰り返す。つまり、ステップＳ２０４で設定された複数の平面視点位置に対して、空白領域の大きさが解析される。
　全ての平面視点位置に対する処理が終了した場合（Ｓ２１０でＹｅｓ）、かつ、ステップＳ２０３で設定された全てのズーム倍率に対する処理が終了していない場合（Ｓ２１１でＮｏ）、視点変換部１０２は、次に探索するズーム倍率を選択し（Ｓ２０５）、ステップＳ２０６以降の処理を繰り返す。つまり、ステップＳ２０３で設定された複数のズーム倍率と、ステップＳ２０４で設定された複数の平面視点位置とで構成される複数の組に対して、空白領域の大きさがそれぞれ解析される。
　全てのズーム倍率に対する処理が終了した場合（Ｓ２１１でＹｅｓ）、処理が終了する。
　以上の処理により、平面視点位置及びズーム倍率で構成される複数の組の各々における空白サイズが空白情報１２４に記録される。仮に平面視点位置を縦方向１０段階及び横方向１０段階変更し、ズーム倍率を５段階変更した場合には、１０×１０×５の視点位置における空白サイズを示す空白情報１２４が生成される。
　このように、視点変換部１０２は、デプス情報１２２を用いて、入力画像１２１を第１視点と異なる複数の第２視点から見た画像である複数の変換画像１２３（第１変換画像）と、入力画像１２１を、複数の第２視点の各々を入力画像平面に対して垂直に移動させた複数の第３視点から見た画像である複数の変換画像１２３（第２変換画像）とを生成する。そして、空白領域解析部１０３は、この複数の変換画像１２３（複数の第１変換画像及び複数の第２変換画像）の各々における空白サイズを解析する。
　なお、ここでは、ズーム倍率及び平面視点位置を一定の刻み幅で変更する例を述べたが、刻み幅は一定でなくてもよい。また、上記説明では、ズーム倍率及び平面視点位置をともに変更しているが、一方のみを変更してもよい。また、上記説明では、変更先の複数の視点位置が、ズーム倍率と平面視点位置とで定義されたが、変更先の複数の視点位置として三次元空間における任意の視点位置が用いられてもよい。
　また、上記処理の順序は一例であり、上記以外の方法で、空白情報１２４を生成してもよい。例えば、上記説明では、一つの視点位置ごとに、変換画像１２３が生成され、当該変換画像１２３における空白サイズが解析されているが、複数の視点位置に対応する複数の変換画像１２３が生成され、その後、当該複数の変換画像１２３の空白サイズが解析されてもよい。
　マップ生成部１０４は、空白領域解析部１０３で生成された空白情報１２４を用いて、表示部１０７が表示する空白マップ１２９を生成する。具体的には、マップ生成部１０４は、空白領域の大きさの程度を表す空白マップ１２９を生成する。
　図１０は、空白マップ１２９の一例を示す図である。図１０に示すように、各平面視点位置が、ＧＵＩ画面上（入力画像１２１上）の位置に対応付けられる。例えば、ＧＵＩ画面の中心位置は、平面視点位置を変更しない元の視点位置に対応付けられる。また、ＧＵＩ画面の端部が平面視点位置の上限値又は下限値と対応付けられる。つまり、ＧＵＩ画面の右側の位置は、入力画像１２１を右側から見る視点位置に対応付けられる。同様に、ＧＵＩ画面の左側、上側及び下側は、それぞれ、入力画像１２１を、左側、上側及び下側から見る視点位置に対応付けられる。そして、ＧＵＩ画面の中央部に近づくほど、視点位置の変化量は小さく、ＧＵＩ画面の端部に近づくほど、視点位置の変化量は大きい。
　また、複数の視点位置は、ユーザによるＧＵＩ画面に対する入力操作と対応付けられていてもよい。例えば、ユーザが入力画像１２１上の任意の位置を選択することで、当該位置に対応する視点位置に視点位置が変更される。例えば、入力画像１２１の右側の位置が選択された場合、入力画像１２１を右側から見た変換画像１２８が表示される。この場合、このユーザ操作に対する位置と、上記空白マップ１２９における視点位置とが対応付けられてもよい。言い換えると、空白マップ１２９において空白サイズが小さいことが示される位置が選択された場合、空白サイズが小さい変換画像１２８が表示される。
　ここで、例えば、ＧＵＩ画面の位置と対応付けられる視点位置は、平面視点位置である。また、各平面視点位置における、空白サイズを示す情報は、当該平面視点位置において、ズーム倍率を変化させた場合の最大の空白サイズである。なお、この最大の空白サイズを示す情報は、空白情報１２４に示される空白サイズの実際の値であってもよいし、図１０に示すように、空白情報１２４に示される空白サイズの値を、複数段階に分類した情報であってもよい。図１０に示す例では、最大の空白サイズは３段階に分類されており、空白マップ１２９として３値のマスクが生成される。
　また、各平面視点位置における、空白サイズを示す情報は、当該平面視点位置において、ズーム倍率を変化させた場合の複数の空白サイズから得られる情報であってもよい。例えば、当該情報は、当該複数の空白サイズの平均値であってもよいし、指定されたズーム倍率における空白サイズであってもよい。
　つまり、マップ生成部１０４は、入力画像１２１上の複数の位置に対応付けて、当該位置に対応付けられている第２視点に対応する変換画像１２３に含まれる空白領域の大きさを示す空白マップ１２９を生成する。
　また、画素ごとに異なる空白サイズが細かく分布している場合には、マップ生成部１０４は、空白情報１２４における空白サイズの単位よりも広い領域（例えば１６×１６画素領域など）で、空白サイズを平均し、平均化により得られた空白サイズを用いて、この領域単位でマスクを生成しても良い。つまり、マップ生成部１０４は、複数の第２視点を、各々が複数の第２視点を含む複数のグループに分割し、複数のグループの各々に一つ二次元位置を対応付ける。そして、マップ生成部１０４は、空白情報１２４を用いて、複数の二次元位置毎に、当該二次元位置に対応付けられたグループに含まれる複数の第２視点における空白領域の大きさを用いて、当該グループにおける空白領域の大きさの度合いを算出する。次に、マップ生成部１０４は、複数の二次元位置の各々に対応付けて、当該二次元位置に対応付けられているグループにおける空白領域の大きさの度合いを二次元的に示す空白マップ１２９を生成する。これにより、ユーザが操作したい場所とは異なる場所を触ってしまう場合などの操作時の誤動作を抑制できる。
　表示部１０７は、マップ生成部１０４で生成された空白マップ１２９をＧＵＩなどのユーザーインターフェイス上へ表示する。
　このように、画像処理装置１００は、ユーザが視点位置を指定する前に空白領域の大きさに関する情報を表示する。これにより、ユーザは事前に変換画像の画質の程度を把握できる。なお、平面視点位置ごとに空白領域の程度を示す空白マップ１２９を表示する場合には、画像処理装置１００は、例えば、予め指定されたズーム倍率、かつ、ユーザが指定した平面視点位置から見た変換画像を表示する。
　また、空白マップ１２９は、平面視点位置ごとに、選択可能なズーム倍率の程度を示してもよい。図１１は、空白マップ１２９の別の例を示す図である。図１１に示す空白マップ１２９は、図１０に示す空白マップ１２９と同様に、ＧＵＩ画面の位置に平面視点位置が対応付けられている。また、各平面視点位置に対応付けて、当該平面視点位置に視点を変更した場合に、選択可能なズーム倍率の程度が示される。ここで、選択可能なズーム倍率とは、複数のズーム倍率のうち、空白サイズが予め定められた閾値未満であるズーム倍率である。
　この場合、マップ生成部１０４は、各視点位置における、ズーム倍率を変化させた場合の複数の空白サイズを用いて、当該視点位置における最大ズーム倍率を検出する。ここで、最大ズーム倍率とは、当該最大ズーム倍率以下のズーム倍率であれば閾値を超える大きさの空白領域が変換画像に含まれないことを示すズーム倍率である。マップ生成部１０４は、この最大ズーム倍率を各視点位置で求めることで空白マップ１２９を生成する。つまり、空白領域解析部１０３は、複数の変換画像１２３の各々に含まれる空白領域の大きさが予め定められた閾値以下であるか否かを判定する。空白マップ１２９は、入力画像１２１上の複数の位置に対応付けて、当該位置に対応付けられている第２視点において、空白領域の大きさが閾値以下である第３視点を示す。
　また、図１０に示す場合と同様に、図１１では、この最大ズーム倍率を３段階で示している。この場合は、表示されている３段階の最大ズーム倍率、かつ、ユーザが指定した平面視点位置から見た変換画像が表示される。例えば、最大ズーム倍率が「大」であれば、ズーム倍率として１．４倍が選択され、最大ズーム倍率が「中」であれば、ズーム倍率として１．２倍が選択され、最大ズーム倍率が「小」であれば、ズーム倍率として１．０倍が選択される。
　以上により、本実施の形態に係る画像処理装置１００は、複数の第２視点ごとに、当該第２視点に対応する変換画像１２３に含まれる空白領域の大きさを示す空白情報１２４を生成する。そして、画像処理装置１００は、当該空白情報１２４を用いて空白マップ１２９を生成し、当該空白マップ１２９を入力画像１２１上に表示する。
　これにより、画像処理装置１００は、ユーザにより、大きい空白領域が含まれる画質の低い変換画像１２８が選択されることを防止できる。このように、画像処理装置１００は、視点変更後の表示される画像の画質を向上できる。
　なお、上記説明では、画像処理装置１００は、視点変更先が指定された場合に、その視点変更先の変換画像１２８を表示するとしたが、元の視点位置から、視点変更先の視点位置へ向かう順に連続的に視点位置が変更されるように、複数の変換画像１２８を連続的に切り替えて表示してもよい。
　（実施の形態２）
　上記実施の形態１では、ユーザの指示に従い視点位置を変更する場合を説明した。本実施の形態に係る画像処理装置１００Ａは、生成した空白情報１２４を用いて、変更先の視点位置を自動で決定する。
　以下、本実施の形態に係る画像処理装置１００Ａについて、図１２を参照しながら説明する。以下、図３と同様の構成要素については同じ符号を用いて説明を省略し、異なる構成要素についてのみ説明を行う。
　本実施の形態に係る画像処理装置１００Ａは、図３に示す画像処理装置１００に対して、視点選択部１０８及びマップ生成部１０４の代わりに視点選択部１０８Ａを備える。
　この画像処理装置１００Ａは、例えば、入力画像１２１を表示した後、所定の時間が経過した場合に、視点位置を変更した変換画像１２８を表示する。
　視点選択部１０８Ａは、空白領域解析部１０３で生成された空白情報１２４を用いて、視点変更先の視点位置である選択視点１２７を選択する。例えば、視点選択部１０８Ａは、空白サイズが予め定められた閾値未満の視点位置を選択する。なお、視点選択部１０８Ａは、特定のズーム倍率において、空白サイズが最小となる視点位置を選択してもよい。ここで、特定のズーム倍率とは、例えば、予め定められたズーム倍率、又は、ユーザによる操作により指定されたズーム倍率である。
　つまり、視点選択部１０８は、空白情報１２４を用いて、複数の変換画像１２３のうち、空白領域の大きさが予め定められた閾値以下である変換画像１２３を判定し、空白領域の大きさが閾値以下である変換画像１２３のうちいずれかを選択画像として選択する。
　なお、画像処理装置１００Ａは、さらに、図３に示す視点選択部１０８及びマップ生成部１０４を備えてもよい。この場合、画像処理装置１００Ａは、空白マップ１２９を表示した後に、所定の期間、ユーザ入力がない場合に、視点変更を行なってもよい。
　図１３は、画像処理装置１００Ａによる画像処理方法のフローチャートである。図１３に示す処理は、図４に示すステップＳ１０５～Ｓ１０７の変わりにステップＳ１０６Ａ及びＳ１０７Ａを含む。
　ステップＳ１０４において空白情報１２４が生成された後、表示部１０７は、入力画像１２１を表示する（Ｓ１０６Ａ）。次に、視点選択部１０８は、空白情報１２４を用いて選択視点１２７を選択する（Ｓ１０７Ａ）。以降の処理は、図４と同様である。
　なお、入力画像１２１を表示するタイミングは、上記に限定されず、変換画像１２８を表示する（Ｓ１０９）前であれば任意のタイミングでよい。
　以上により、本実施の形態に係る画像処理装置１００Ａは、空白サイズが大きい、画質の低い変換画像１２８が表示されることを防止できる。
　（実施の形態３）
　本実施の形態に係る画像処理装置１００Ｂは、視点変更を行う際に、元の視点位置から変更先の視点位置に向かう順に、連続的に視点位置を変更する。さらに、画像処理装置１００Ｂは、空白情報１２４を用いて、この視点変更の経路において空白サイズが大きい画像が表示されないように当該経路を選択する。
　本実施の形態に係る画像処理装置１００Ｂについて、図１４を参照しながら説明する。以下、図３又は図１２と同様の構成要素については同じ符号を用いて説明を省略し、異なる構成要素についてのみ説明を行う。
　図１４に示す画像処理装置１００Ｂは、図１２に示す画像処理装置１００Ａに対して、さらに、ルート選択部１０９を備える。なお、ここでは、図１２に示す画像処理装置１００Ａが、さらに、ルート選択部１０９を備える構成を説明するが、図３に示す画像処理装置１００が、さらに、ルート選択部１０９を備えてもよい。
　ルート選択部１０９は、選択視点１２７及び空白情報１２４を用いて、視点変更のルート１３０を決定する。このルート１３０は、視点変更の開始から視点変更の終了までに通る視点位置のルートである。具体的には、ルート選択部１０９は、空白情報１２４を用いて、第１視点と選択視点１２７との間に位置する複数の第２視点に対応する複数の変換画像１２３のうち、空白領域の大きさが閾値以下である変換画像１２３を判定する。そして、ルート選択部１０９は、第１視点と選択視点１２７との間に位置する複数の第２視点に対応する複数の変換画像１２３のうち、空白領域の大きさが閾値以下である１又は複数の変換画像１２３を中間視点画像として選択する。そして、表示部１０７は、視点選択部１０８Ａにより選択視点１２７が選択された場合に、表示する画像の視点が、第１視点から選択視点１２７に連続的に変化するように、入力画像１２１と、中間視点画像と、選択視点に対応する変換画像１２８とをこの順に切り替えて表示する。
　以下、図１５Ａ～図１５Ｄを用いてこのルートを決定する動作を説明する。
　図１５Ａは、空白情報１２４の一例を示す図である。図１５Ｂは、元の視点位置と、変更先の視点位置との一例を示す図である。
　この場合、例えば、ルートを選択する方法としては、図１５Ｃに示すように、元の視点位置と、変更先の視点位置とを最短距離で結ぶルートを選択する方法が考えられる。しかしながら、図１５Ｃに示す例では、ルートに、空白領域が大きい視点位置が含まれる。これにより、表示される変換画像の劣化が目立ってしまう。
　これに対して、本実施の形態では、ルート選択部１０９は、このような最短ルートに限らず、空白情報１２４を用いて、画質の低い変換画像１２８が選択されないようにルートを選択する。具体的には、ルート選択部１０９は、空白サイズが予め定められた閾値以下の視点位置のみを通り、かつ、最短となるルートを選択する。例えば、図１５Ｄに示す例では、空白サイズが「小」又は「中」の視点位置のみを通り、かつ、最短となるルートが選択されている。なお、ルート選択部１０９は、ルートの長さに基づくパラメータと、空白領域の大きさに基づくパラメータとの和又は積が最小となるルートを選択してもよい。
　視点変換部１０６は、このようにして決定された視点変更のルート１３０を用いて、ルート１３０に含まれる複数の視点位置に対応する変換画像１２８を生成する。そして、表示部１０７は、元の視点位置から、移動先の視点位置に連続して視点位置が変更するように、複数の変換画像１２８を順次表示する。
　以上により、本実施の形態に係る画像処理装置１００Ｂは、視点位置を変更する際に、画質の低い画像が表示されることを抑制できる。
　以上、本発明の実施の形態に係る画像処理装置について説明したが、本発明は、この実施の形態に限定されるものではない。
　また、上記実施の形態に係る画像処理装置は、例えば、図１６Ａに示すようなデジタルスチルカメラ、及び図１６Ｂに示すようなデジタルビデオカメラなどに用いられる。
　また、上記実施の形態に係る画像処理装置に含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。
　また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の画像処理装置などを実現するソフトウェアは、次のようなプログラムである。
　さらに、本発明は上記プログラムであってもよいし、上記プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
　また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
　また、上記の画像処理方法に含まれるステップが実行される順序は、本発明を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
　以上、本発明の一つまたは複数の態様に係る画像処理装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。
　本発明は、画像処理装置に適用できる。また、本発明は、画像処理装置を備える民生用或いは業務用の撮像装置（デジタルスチルカメラ、又はビデオカメラ）、又は携帯端末などに適用できる。
　１００、１００Ａ、１００Ｂ　画像処理装置
　１０１　データ取得部
　１０２、１０６　視点変換部
　１０３　空白領域解析部
　１０４　マップ生成部
　１０５　画像縮小部
　１０７　表示部
　１０８、１０８Ａ　視点選択部
　１０９　ルート選択部
　１２１、１２１Ａ　入力画像
　１２２、１２２Ａ　デプス情報
　１２３、１２８　変換画像
　１２４　空白情報
　１２５　カメラパラメータ
　１２６　変換パラメータ
　１２７　選択視点
　１２９　空白マップ

Claims (11)

  1. 　第１視点から撮影された入力画像と、前記入力画像における被写体の深度を示すデプス情報とを取得するデータ取得部と、
    　前記デプス情報を用いて、前記入力画像を前記第１視点と異なる複数の第２視点から見た画像である複数の第１変換画像を生成する視点変換部と、
    　前記複数の第１変換画像の各々に含まれる、前記入力画像内に対応する画素が存在しない画素を含む空白領域を解析し、前記複数の第２視点ごとに、当該第２視点に対応する前記第１変換画像に含まれる前記空白領域の大きさを示す空白情報を生成する空白領域解析部とを備える
    　画像処理装置。
  2. 　前記画像処理装置は、さらに、
    　前記複数の第２視点を複数の二次元位置に対応付け、前記空白情報を用いて、前記複数の二次元位置毎に、当該二次元位置に対応付けられた前記第２視点における前記空白領域に関する情報を示す空白マップを生成するマップ生成部と、
    　前記空白マップを表示する表示部とを備える
    　請求項１記載の画像処理装置。
  3. 　前記表示部は、さらに、前記入力画像を表示し、
    　前記入力画像上の複数の位置の各々は、前記複数の第２視点の各々と対応付けられており、
    　前記画像処理装置は、さらに、
    　ユーザにより指定された前記入力画像上の位置に対応付けられている第２視点である選択視点を選択する視点選択部を備え、
    　前記表示部は、前記視点選択部により前記選択視点が選択された場合に、表示する画像を、前記入力画像から前記選択視点に対応する前記第１変換画像に切り替え、
    　前記複数の二次元位置は、前記入力画像上の複数の位置に対応付けられており、
    　前記表示部は、前記入力画像を表示する際に、前記空白マップを表示する
    　請求項２記載の画像処理装置。
  4. 　前記マップ生成部は、前記入力画像上の複数の位置に対応付けて、当該位置に対応付けられている前記第２視点に対応する前記第１変換画像に含まれる前記空白領域の大きさを示す前記空白マップを生成する
    　請求項３記載の画像処理装置。
  5. 　前記視点変換部は、さらに、前記デプス情報を用いて、前記入力画像を、前記複数の第２視点の各々を前記入力画像の平面に対して垂直に移動させた複数の第３視点から見た画像である複数の第２変換画像を生成し、
    　前記空白領域解析部は、さらに、前記複数の第２変換画像の各々に含まれる前記空白領域の大きさが予め定められた閾値以下であるか否かを判定し、
    　前記空白マップは、前記入力画像上の複数の位置に対応付けて、当該位置に対応付けられている第２視点において、前記空白領域の大きさが前記閾値以下である第３視点を示す
    　請求項３記載の画像処理装置。
  6. 　前記画像処理装置は、さらに、
    　前記入力画像を表示する表示部と、
    　前記空白情報を用いて、前記複数の第１変換画像のうち、前記空白領域の大きさが予め定められた閾値以下である第１変換画像を判定し、前記空白領域の大きさが前記閾値以下である第１変換画像のうちいずれかを選択画像として選択する視点選択部を備え、
    　前記表示部は、表示する画像を、前記入力画像から前記選択画像に切り替える
    　請求項１記載の画像処理装置。
  7. 　前記画像処理装置は、さらに、
    　前記入力画像を表示する表示部と、
    　前記複数の第２視点のうちいずれかを選択視点として選択する視点選択部と、
    　前記空白情報を用いて、前記第１視点と前記選択視点との間に位置する複数の第２視点に対応する複数の第１変換画像のうち、前記空白領域の大きさが前記閾値以下である第１変換画像を判定し、前記第１視点と前記選択視点との間に位置する複数の第２視点に対応する複数の第１変換画像のうち、前記空白領域の大きさが前記閾値以下である第１変換画像を中間視点画像として選択するルート選択部とを備え、
    　前記表示部は、前記視点選択部により前記選択視点が選択された場合に、表示する画像の視点が、前記第１視点から前記選択視点に連続的に変化するように、前記入力画像と、前記中間視点画像と、前記選択視点に対応する第１変換画像とをこの順に切り替えて表示する
    　請求項１記載の画像処理装置。
  8. 　前記マップ生成部は、
    　前記複数の第２視点を、各々が複数の第２視点を含む複数のグループに分割し、
    　前記複数のグループの各々に一つ前記二次元位置を対応付け、
    　前記空白情報を用いて、前記複数の二次元位置毎に、当該二次元位置に対応付けられた前記グループに含まれる複数の第２視点における前記空白領域の大きさを用いて、当該グループにおける前記空白領域の大きさの度合いを算出し、
    　前記複数の二次元位置の各々に対応付けて、当該二次元位置に対応付けられている前記グループにおける前記空白領域の大きさの度合いを示す前記空白マップを生成する
    　請求項２記載の画像処理装置。
  9. 　前記視点変換部は、
    　前記入力画像と、前記デプス情報と、前記入力画像が撮影された際のカメラパラメータとを用いて、カメラ座標系における前記被写体の三次元モデルを生成し、
    　前記三次元モデルを、前記複数の第２視点の各々に対応する複数の変換パラメータを用いて射影変換することにより、前記複数の第１変換画像を生成する
    　請求項１～８のいずれか１項に記載の画像処理装置。
  10. 　第１視点から撮影された入力画像と、前記入力画像における被写体の深度を示すデプス情報とを取得するデータ取得ステップと、
    　前記デプス情報を用いて、前記入力画像を前記第１視点と異なる複数の第２視点から見た画像である複数の第１変換画像を生成する視点変換ステップと、
    　前記複数の第１変換画像の各々に含まれる、前記入力画像内に対応する画素が存在しない画素を含む空白領域を解析し、前記複数の第２視点ごとに、当該第２視点に対応する前記第１変換画像に含まれる前記空白領域の大きさを示す空白情報を生成する空白領域解析ステップとを含む
    　画像処理方法。
  11. 　第１視点から撮影された入力画像と、前記入力画像における被写体の深度を示すデプス情報とを取得するデータ取得部と、
    　前記デプス情報を用いて、前記入力画像を前記第１視点と異なる複数の第２視点から見た画像である複数の第１変換画像を生成する視点変換部と、
    　前記複数の第１変換画像の各々に含まれる、前記入力画像内に対応する画素が存在しない画素を含む空白領域を解析し、前記複数の第２視点ごとに、当該第２視点に対応する前記第１変換画像に含まれる前記空白領域の大きさを示す空白情報を生成する空白領域解析部とを備える
    　集積回路。
PCT/JP2013/005869 2012-11-19 2013-10-02 画像処理装置及び画像処理方法 WO2014076868A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014517069A JP6256840B2 (ja) 2012-11-19 2013-10-02 画像処理装置及び画像処理方法
CN201380004345.8A CN104012088B (zh) 2012-11-19 2013-10-02 图像处理装置以及图像处理方法
US14/371,865 US9652881B2 (en) 2012-11-19 2013-10-02 Image processing device and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012253614 2012-11-19
JP2012-253614 2012-11-19

Publications (1)

Publication Number Publication Date
WO2014076868A1 true WO2014076868A1 (ja) 2014-05-22

Family

ID=50730806

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/005869 WO2014076868A1 (ja) 2012-11-19 2013-10-02 画像処理装置及び画像処理方法

Country Status (4)

Country Link
US (1) US9652881B2 (ja)
JP (1) JP6256840B2 (ja)
CN (1) CN104012088B (ja)
WO (1) WO2014076868A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016157385A1 (ja) * 2015-03-30 2016-10-06 楽天株式会社 表示制御システム、表示制御装置、表示制御方法、及びプログラム
WO2018123801A1 (ja) * 2016-12-28 2018-07-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元モデル配信方法、三次元モデル受信方法、三次元モデル配信装置及び三次元モデル受信装置
JP2019211965A (ja) * 2018-06-04 2019-12-12 株式会社アクセル 画像処理装置、画像処理方法、及び画像処理プログラム

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150093048A (ko) * 2014-02-06 2015-08-17 삼성전자주식회사 그래픽스 데이터를 렌더링하는 방법 및 장치
US9892556B2 (en) 2014-03-11 2018-02-13 Amazon Technologies, Inc. Real-time exploration of video content
US9990693B2 (en) * 2014-04-29 2018-06-05 Sony Corporation Method and device for rendering multimedia content
CN104822060B (zh) * 2015-05-05 2017-07-25 联想(北京)有限公司 信息处理方法、信息处理装置及电子设备
CN106097309B (zh) * 2016-05-30 2017-12-19 广州巧瞳科技有限公司 一种智能显示视觉图像的位置信息处理方法及系统
US11328379B2 (en) * 2016-10-13 2022-05-10 Sony Corporation Image processing apparatus and image processing method
US10735707B2 (en) * 2017-08-15 2020-08-04 International Business Machines Corporation Generating three-dimensional imagery
JP2019102907A (ja) * 2017-11-30 2019-06-24 キヤノン株式会社 設定装置、設定方法、及びプログラム
JP2020135206A (ja) * 2019-02-15 2020-08-31 パナソニックＩｐマネジメント株式会社 画像処理装置、車載用カメラシステム及び画像処理方法
JP2021196951A (ja) * 2020-06-16 2021-12-27 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、学習済みモデルの製造方法、および画像処理システム
CN112465939B (zh) * 2020-11-25 2023-01-24 上海哔哩哔哩科技有限公司 全景视频渲染方法及系统
CN115278348B (zh) * 2022-07-05 2023-11-17 深圳乐播科技有限公司 一种投屏方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010250452A (ja) * 2009-04-14 2010-11-04 Tokyo Univ Of Science 任意視点画像合成装置
JP2011199382A (ja) * 2010-03-17 2011-10-06 Fujifilm Corp 画像評価装置、方法、及びプログラム
WO2012147329A1 (ja) * 2011-04-28 2012-11-01 パナソニック株式会社 立体視強度調整装置、立体視強度調整方法、プログラム、集積回路、記録媒体

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09102945A (ja) 1995-10-04 1997-04-15 Hitachi Denshi Ltd 監視用テレビカメラの制御方法
JP3505575B2 (ja) 2001-03-23 2004-03-08 独立行政法人産業技術総合研究所 デジタルミラー装置
JP5079552B2 (ja) * 2008-03-13 2012-11-21 オリンパス株式会社 画像処理装置、撮像装置及び画像処理方法
JP5083052B2 (ja) * 2008-06-06 2012-11-28 ソニー株式会社 立体視画像生成装置、立体視画像生成方法およびプログラム
JP2010220122A (ja) * 2009-03-18 2010-09-30 Ricoh Co Ltd 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
JP2011081605A (ja) 2009-10-07 2011-04-21 Fujifilm Corp 画像処理装置、方法及びプログラム
KR101729924B1 (ko) * 2010-08-03 2017-04-26 삼성전자주식회사 영상 크기 조절에 기반한 외삽 뷰 생성 장치 및 방법
TWI492186B (zh) * 2010-11-03 2015-07-11 Ind Tech Res Inst 修補三維立體影像之裝置及方法
JP2012138787A (ja) * 2010-12-27 2012-07-19 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP5067476B2 (ja) * 2010-12-28 2012-11-07 カシオ計算機株式会社 三次元モデル作成システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010250452A (ja) * 2009-04-14 2010-11-04 Tokyo Univ Of Science 任意視点画像合成装置
JP2011199382A (ja) * 2010-03-17 2011-10-06 Fujifilm Corp 画像評価装置、方法、及びプログラム
WO2012147329A1 (ja) * 2011-04-28 2012-11-01 パナソニック株式会社 立体視強度調整装置、立体視強度調整方法、プログラム、集積回路、記録媒体

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016157385A1 (ja) * 2015-03-30 2016-10-06 楽天株式会社 表示制御システム、表示制御装置、表示制御方法、及びプログラム
JP6026050B1 (ja) * 2015-03-30 2016-11-16 楽天株式会社 表示制御システム、表示制御装置、表示制御方法、及びプログラム
WO2018123801A1 (ja) * 2016-12-28 2018-07-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元モデル配信方法、三次元モデル受信方法、三次元モデル配信装置及び三次元モデル受信装置
JPWO2018123801A1 (ja) * 2016-12-28 2019-10-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元モデル配信方法、三次元モデル受信方法、三次元モデル配信装置及び三次元モデル受信装置
US11551408B2 (en) 2016-12-28 2023-01-10 Panasonic Intellectual Property Corporation Of America Three-dimensional model distribution method, three-dimensional model receiving method, three-dimensional model distribution device, and three-dimensional model receiving device
JP7320352B2 (ja) 2016-12-28 2023-08-03 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元モデル送信方法、三次元モデル受信方法、三次元モデル送信装置及び三次元モデル受信装置
JP2019211965A (ja) * 2018-06-04 2019-12-12 株式会社アクセル 画像処理装置、画像処理方法、及び画像処理プログラム

Also Published As

Publication number Publication date
CN104012088A (zh) 2014-08-27
JP6256840B2 (ja) 2018-01-10
CN104012088B (zh) 2016-09-28
JPWO2014076868A1 (ja) 2017-01-05
US9652881B2 (en) 2017-05-16
US20140362078A1 (en) 2014-12-11

Similar Documents

Publication Publication Date Title
JP6256840B2 (ja) 画像処理装置及び画像処理方法
JP7051457B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5818514B2 (ja) 画像処理装置および画像処理方法、プログラム
JP4782105B2 (ja) 画像処理装置及び画像処理方法
US20180098047A1 (en) Imaging system, image processing apparatus, image processing method, and storage medium
US8363985B2 (en) Image generation method and apparatus, program therefor, and storage medium which stores the program
US11839721B2 (en) Information processing apparatus, information processing method, and storage medium
US9633443B2 (en) Image processing device, image processing method, and program for cutting out a cut-out image from an input image
CN104978750B (zh) 用于处理视频文件的方法和装置
US20160078598A1 (en) Image processor and image processing method
JP2009134708A (ja) パーツ識別画像作成装置及び同方法、パーツ識別表示装置及び同方法、プログラム及び記憶媒体
JP2014239384A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP5927541B2 (ja) 画像処理装置および画像処理方法
US10084950B2 (en) Image capturing apparatus
JP6320165B2 (ja) 画像処理装置及びその制御方法、並びにプログラム
JP2013027023A (ja) 画像処理装置および画像処理方法、プログラム
US20150229848A1 (en) Method and system for generating an image including optically zoomed and digitally zoomed regions
JP2009258862A (ja) 映像表示装置及び映像表示方法
US20230206386A1 (en) Image processing apparatus, image processing method, and storage medium
JP2019517688A (ja) 二枚の表示画像間の移行を割り出すための方法及び装置、並びに、車両
JP6089549B2 (ja) 情報処理装置、情報処理システム、およびプログラム
JP2021010102A (ja) 情報処理装置、情報処理方法及びプログラム
WO2017204211A1 (ja) 計測装置、計測方法及び計測プログラム
JP2013157713A (ja) 画像処理装置および画像処理方法、プログラム
JP2009170969A (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2014517069

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13856040

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14371865

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13856040

Country of ref document: EP

Kind code of ref document: A1