WO2023112971A1 - 三次元モデル生成装置、三次元モデル生成方法及び三次元モデル生成プログラム - Google Patents

三次元モデル生成装置、三次元モデル生成方法及び三次元モデル生成プログラム Download PDF

Info

Publication number
WO2023112971A1
WO2023112971A1 PCT/JP2022/046110 JP2022046110W WO2023112971A1 WO 2023112971 A1 WO2023112971 A1 WO 2023112971A1 JP 2022046110 W JP2022046110 W JP 2022046110W WO 2023112971 A1 WO2023112971 A1 WO 2023112971A1
Authority
WO
WIPO (PCT)
Prior art keywords
optical surface
mask
model generation
dimensional model
images
Prior art date
Application number
PCT/JP2022/046110
Other languages
English (en)
French (fr)
Inventor
浩史 野口
Original Assignee
株式会社Ｊｖｃケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｊｖｃケンウッド filed Critical 株式会社Ｊｖｃケンウッド
Publication of WO2023112971A1 publication Critical patent/WO2023112971A1/ja
Priority to US18/739,360 priority Critical patent/US20240331286A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/30—Polynomial surface description
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes

Definitions

  • the present disclosure relates to a 3D model generation device, a 3D model generation method, and a 3D model generation program.
  • a technique called photogrammetry in which a plurality of images are captured while changing the shooting position with respect to a subject, and a 3D model is generated based on the data of the multiple captured images (see, for example, Patent Document 1).
  • a 3D model is generated as if there is a space behind the optical surface.
  • a three-dimensional model may be generated in which the portion corresponding to the optical surface is torn.
  • the present disclosure has been made in view of the above, and provides a three-dimensional model generation apparatus, a three-dimensional model generation method, and a three-dimensional model that can generate a three-dimensional model by appropriately processing an optical surface included in an image.
  • the purpose is to provide a model generation program.
  • a three-dimensional model generation device includes an image acquisition unit that acquires a plurality of images captured from a plurality of shooting positions, and among the acquired plurality of images, a reflected image visually recognized by reflecting light and a transparent member.
  • an optical surface detection unit that detects an optical surface area in which at least one of a transparent visual object that is visually recognized through the optical surface area is displayed; a mask is arranged on the optical surface area; and a model generator that generates a model.
  • a three-dimensional model generation method acquires a plurality of images taken from a plurality of shooting positions, and among the acquired plurality of images, a reflected image visually recognized by reflecting light and a transparent member. Detecting an optical surface region in which at least one of a transmissive visual object visually recognized is reflected, arranging a mask on the optical surface region, and generating a three-dimensional model based on the plurality of images in which the mask is arranged including.
  • a three-dimensional model generation program includes a process of acquiring a plurality of images photographed from a plurality of photographing positions, and among the acquired plurality of images, a reflected image visually recognized by reflection of light and a transparent member.
  • a process of detecting an optical surface region in which at least one of a transmissive visual object visually recognized is reflected, a process of placing a mask on the optical surface region, and a process of generating a three-dimensional model based on the plurality of images in which the mask is placed including.
  • optical surfaces included in multiple images can be appropriately processed to generate a three-dimensional model.
  • FIG. 1 is a diagram schematically showing an example of a three-dimensional model generation device according to this embodiment.
  • FIG. 2 is a functional block diagram showing an example of a three-dimensional model generation device.
  • FIG. 3 is an explanatory diagram showing the positional relationship between two images to which the principle of photogrammetry is applied.
  • FIG. 4 is an explanatory diagram showing the positional relationship between two images.
  • FIG. 5 is a diagram showing how a three-dimensional space is photographed.
  • FIG. 6 is a diagram showing an example of a plurality of images obtained by photographing a three-dimensional space.
  • FIG. 7 is a diagram showing an example of a state in which masks are arranged on a plurality of images.
  • FIG. 8 is a flow chart showing an example of a three-dimensional model generation method according to this embodiment.
  • Embodiments of a 3D model generation device, a 3D model generation method, and a 3D model generation program according to the present disclosure will be described below based on the drawings.
  • this invention is not limited by this embodiment.
  • components in the following embodiments include components that can be easily replaced by those skilled in the art, or components that are substantially the same.
  • FIG. 1 is a diagram schematically showing an example of a three-dimensional model generation device 100 according to this embodiment.
  • FIG. 2 is a functional block diagram showing an example of the 3D model generation device 100.
  • a three-dimensional model generating apparatus 100 shown in FIGS. 1 and 2 generates a three-dimensional model based on the principle of photogrammetry.
  • the 3D model generation device 100 includes a processing unit 10 and a storage unit 20.
  • the processing unit 10 has a processing device such as a CPU (Central Processing Unit) and a storage device such as RAM (Random Access Memory) or ROM (Read Only Memory).
  • the processing unit 10 has an image acquisition unit 11 , an optical surface detection unit 12 , a color attribute detection unit 13 , an area detection unit 14 and a model generation unit 15 .
  • the image acquisition unit 11 acquires a plurality of images I photographed from a plurality of photographing positions.
  • Each image I is an image captured by a camera such as a camera CR (C1, C2, etc.).
  • the optical surface detection unit 12 detects optical surface areas included in the plurality of acquired images.
  • the optical surface area is, for example, an area in which a surrounding image appears in an image. At least one of the transmissive surface areas reflected.
  • the optical surface detection section 12 can detect the optical surface area included in the image by a known technique. For example, a predetermined pattern is displayed toward the three-dimensional space K by a display device, and the pattern is moved in one direction, and the three-dimensional space is photographed in this state. The optical surface detection unit 12 detects whether or not there is an area in which the movement of the pattern is reversed or an area in which the movement of the pattern is not uniform in the photographed image.
  • the area can be set as the reflective surface area. Moreover, when the optical surface detection unit 12 detects an area where the pattern movement is not uniform, the area can be set as the transmission surface area.
  • a specific method for detecting the optical surface area by the optical surface detection unit 12 is not limited to the above, and other methods may be used.
  • the color of the image reflected on the mirror surface is the color of the underlying member, such as a non-metallic member whose surface is mirror-finished, or a metallic member with a chromatic color such as gold or copper. and a region where the color of the image reflected on the mirror surface is visible as it is, such as an achromatic metal member whose surface is mirror-finished.
  • the transmissive surface region in the present embodiment include the surface of a light transmissive member such as a glass plate that transmits light.
  • the transmission surface region includes a chromatic light transmission member, an achromatic light transmission member, and the like.
  • the color attribute detection unit 13 detects color attributes of the optical surface area.
  • the color attributes in this embodiment include hue, saturation and lightness, which are so-called three attributes of color.
  • the color attribute detection unit 13 detects color attributes in the optical surface area by image processing, for example. By detecting the color attribute of the optical surface area, the tendency of the color attribute of the optical surface area can be obtained.
  • the color attribute detection unit 13 can detect the hue, saturation, and lightness that constitute the color attributes of the optical surface region, for example, as numerical values such as coordinates in a color space.
  • the area detection unit 14 detects the area of the optical surface area.
  • the area detection unit 14 can detect, for example, the number of pixels corresponding to the optical surface area detected in the image I as the area of the optical surface area.
  • the model generation unit 15 generates a three-dimensional model based on the multiple images acquired by the image acquisition unit 11.
  • the model generator 15 can generate a three-dimensional model, for example, based on the principle of photogrammetry.
  • the principle of photogrammetry will be explained. A case of generating three-dimensional image data from two pieces of image data will be described below.
  • FIG. 3 is an explanatory diagram showing the positional relationship between two images to which the principle of photogrammetry is applied
  • FIG. 4 is an explanatory diagram showing the positional relationship between the two images.
  • the model generation unit 15 extracts, for example, two pieces of image data having the same position indicated by the position data. It should be noted that the same position is not limited to being exactly the same, and it may be considered that the position is the same even if the position is shifted by a predetermined amount.
  • the model generator 15 searches for corresponding points of feature points based on two sets of image data. For example, the model generation unit 15 associates each pixel and searches for the position where the difference is the minimum.
  • the cameras C1 and C2 which are assumed to exist at two viewpoints at the same time, are arranged such that the optical axes Ol and Or are included on the same XZ coordinate plane. shall be placed in relation to each other.
  • a parallax vector corresponding to the angle difference for each pixel is calculated using the corresponding points searched by the model generation unit 15 .
  • the model generation unit 15 calculates the distance in proportion to the magnitude of the parallax using the perspective method. Assuming that the photographer's cameras C1 and C2 move only approximately horizontally, by arranging the cameras C1 and C2 so that their optical axes Ol and Or are included on the same XZ coordinate plane, , corresponding points can be searched for only on the scanning lines, which are the epipolar lines Epl and Epr.
  • the model generation unit 15 generates three-dimensional image data of the object using two pieces of image data of the object and distances from the cameras C1 and C2 to the object.
  • the model generation unit 15 may store the generated three-dimensional image data in the storage unit 20, for example, or may output or transmit the data to the outside from an output unit or communication unit (not shown).
  • the parallax vector at the point Ql (Xl, Yl) is Vp (Xl-Xr, Yl- Yr).
  • the parallax vector is expressed as Vp(Xl-Xr, 0).
  • the model generation unit 15 obtains such a parallax vector Vp for all pixel points on the image and creates a parallax vector group to obtain information in the depth direction of the image.
  • the search width in the epipolar line direction is ⁇ E
  • the search width in the direction T orthogonal to the epipolar line is ⁇ T.
  • the minimum non-tilted rectangle ABCD containing the minimum tilted rectangle abcd is the desired region.
  • the model generation unit 15 obtains parallax vectors from corresponding points of the feature points of a plurality of cameras C1 and C2 under the epipolar constraint condition, obtains information on the depth direction of each point, and obtains information on the surface of the three-dimensional shape. Mapping textures to generate 3D image data.
  • the model of the part in the image data used for calculation can reproduce the space viewed from the front hemisphere.
  • the same texture is used to interpolate between them.
  • the method of generating three-dimensional image data is not limited to the one described above, and other methods may be used.
  • the model generation unit 15 arranges a mask covering the optical surface region with respect to the optical surface region, and based on the plurality of images I with the mask arranged, a three-dimensional model is generated. Generate a model.
  • the model generation unit 15 can place a mask of a color corresponding to the color of the optical surface area on the optical surface area. For example, when the color attribute of the optical surface region detected by the color attribute detection unit 13 has a predetermined tendency, the model generation unit 15 generates a mask having a color attribute corresponding to the color attribute of the optical surface region (hereinafter referred to as a corresponding mask ) can be generated and placed.
  • the model generation unit 15 can arrange a preset mask (hereinafter referred to as a standard mask). can.
  • the model generation unit 15 determines that the color attribute of the optical surface region is a predetermined value. It can be determined that there is a trend. In this embodiment, when the color attribute of the optical surface area has a predetermined tendency, the optical surface area is chromatic. If the color attributes of the optical surface region do not follow a predetermined trend, the optical surface region is achromatic or nearly achromatic.
  • the model generation unit 15 converts the color attribute of the corresponding mask into, for example, a color attribute corresponding to the peak value in the distribution of values indicating the color attribute of the optical surface region.
  • the model generation unit 15 may add, for example, an indication indicating glossiness to the corresponding mask. In this case, the observer can recognize that the region of the corresponding mask is the optical surface region.
  • the model generation unit 15 arranges a preset standard mask when the color attributes of the optical surface region do not have a predetermined tendency.
  • a standard mask for example, a mask with an appearance that imitates the reflecting surface of an achromatic mirror can be set.
  • the model generation unit 15 arranges the standard mask on the optical surface region regardless of the color attributes of the optical surface region. can be If the area of the optical surface area is small, it is presumed that the discomfort given to the observer will not increase even if the corresponding mask of the color corresponding to the color of the optical surface area is not arranged. In this case, the process of setting the color attribute of the corresponding mask can be omitted.
  • model generation unit 15 may always place the standard mask on the optical surface area regardless of the color attribute of the optical surface area.
  • the storage unit 20 stores various information.
  • the storage unit 20 stores information about preset standard masks.
  • the storage unit 20 has storage such as a hard disk drive and a solid state drive. Note that an external storage medium such as a removable disk may be used as the storage unit 20 .
  • the storage unit 20 performs processing for acquiring a plurality of images I photographed from a plurality of photographing positions, and among the acquired plurality of images I, a reflected image visually recognized by reflection of light and a transmitted image visually recognized through a transparent member.
  • 3D that causes a computer to execute a process of detecting an optical surface area where at least one of the visible objects is reflected, a process of placing a mask on the optical surface area, and a process of generating a 3D model based on a plurality of images in which the mask is placed Store the model generation program.
  • FIG. 5 is a diagram showing how the three-dimensional space K is photographed.
  • FIG. 6 is a diagram showing an example of a plurality of images obtained by photographing the three-dimensional space K.
  • FIG. 7 is a diagram showing an example of a state in which masks are arranged on a plurality of images.
  • the three-dimensional space K is photographed from different photographing positions.
  • the image acquisition unit 11 acquires a plurality of captured images.
  • a case where two images I1 and I2 are acquired as shown in FIG. 6 will be described as an example, but the number of images may be three or more.
  • chromatic (for example, black) resin members 41 and 42 that constitute home electric appliances such as televisions and electronic jars shown in FIG. It is assumed that there are arranged objects such as a metal member 43 and an achromatic and transparent glass member 44 constituting a window, on which images of the surroundings are reflected. For example, reflected images 41 r and 42 r are reflected on the resin members 41 and 42 .
  • a reflected image 43 r is also reflected on the metal member 43 .
  • a reflected image is an image visually recognized by reflection of light.
  • transmissive visual objects 44t such as clouds, buildings, etc. existing on the far side are reflected.
  • a transparent visible object is an object that is visually recognized through a transparent member such as a glass member.
  • the photographed image I1 includes the resin members 41 and 42, the metal member 43, and the glass member 44 as optical surface regions 51a, 52a, 53a, and 54a. reflected as In addition, the resin members 41 and 42, the metal member 43 and the glass member 44 are reflected in the photographed image I2 as optical surface regions 51b, 52b, 53b and 54b.
  • the optical surface detection unit 12 detects the optical surface area when the acquired images I1 and I2 include the optical surface area.
  • the optical surface detection unit 12 can detect the optical surface areas 51a, 52a, 53a, and 54a included in the image I1 and the optical surface areas 51b, 52b, 53b, and 54b included in the image I2. can.
  • Reflected images 51r to 53r or transparent visible objects 54t are reflected on the optical surface regions 51a to 54a and 51b to 54b, respectively.
  • the three-dimensional model is generated as if the reflected images 41r to 43r and the transmissive visible object 44t exist in the depths of the optical surface area as actual structures, or the optical surface area
  • a three-dimensional model may be generated in which the portion corresponding to is torn. Therefore, in the present embodiment, the following processing is performed to appropriately process the optical surface area and generate a three-dimensional model.
  • the color attribute detection unit 13 detects the color attributes of the optical surface areas 51a, 52a, 53a, and 54a included in the image I1 and the optical surface areas 51b, 52b, 53b, and 54b included in the image I2.
  • the area detection unit 14 also detects the areas of the optical surface areas 51a, 52a, 53a, and 54a included in the image I1 and the areas of the optical surface areas 51b, 52b, 53b, and 54b included in the image I2.
  • the model generation unit 15 determines whether the areas of the optical surface regions 51a, 52a, 53a, 54a and the optical surface regions 51b, 52b, 53b, 54b are less than a predetermined value. In this embodiment, the model generator 15 determines that the areas of the optical surface regions 51a, 53a, and 54a of the image I1 and the areas of the optical surface regions 51b, 53b, and 54b of the image I2 are equal to or greater than a predetermined value. . In addition, the model generator 15 determines that the area of the optical surface region 52a of the image I1 and the area of the optical surface region 52b of the image I2 are less than the predetermined value.
  • the model generation unit 15 determines the following color attributes as shown in FIG. As shown, the standard mask M2 is arranged.
  • the model generating unit 15 determines whether or not the color attributes of the optical surface regions 51a, 53a, 54a and the optical surface regions 51b, 53b, 54b have a predetermined tendency. In the present embodiment, the model generator 15 determines that the color attributes of the optical surface area 51a of the image I1 and the optical surface area 51b of the image I2 have a predetermined tendency, for example. For the optical surface regions 51a and 51b determined to have a predetermined tendency in color attribute, the model generator 15 arranges a corresponding mask M1 corresponding to the color attribute, as shown in FIG.
  • the model generation unit 15 determines that the color attributes of the optical surface regions 53a and 54a of the image I1 and the optical surface regions 53b and 54b of the image I2 do not have a predetermined tendency, for example.
  • the model generator 15 arranges standard masks M3 and M4 as shown in FIG. 7 for the optical surface regions 53a, 53b, 54a, and 54b determined not to have the predetermined tendency in color attribute.
  • FIG. 8 is a flowchart showing an example of a three-dimensional model generation method according to this embodiment.
  • the image acquiring unit 11 acquires a plurality of images of the three-dimensional space K photographed from different photographing positions (step S10).
  • the optical surface detection unit 12 detects optical surface areas included in the plurality of acquired images (step S20).
  • the color attribute detector 13 detects the color attribute of the optical surface area (step S30).
  • the area detection unit 14 detects the area of the optical surface region (step S40).
  • the model generation unit 15 determines whether or not the area of the optical surface region is less than a predetermined value (step S50). If it is determined that the area of the optical surface region is less than the predetermined value (Yes in step S50), the model generator 15 arranges the standard mask for the optical surface region (step S60).
  • step S70 determines whether the color attribute of the optical surface region has a predetermined tendency.
  • the model generation unit 15 determines that the color attribute of the optical surface region has a predetermined tendency (Yes in step S70)
  • the model generation unit 15 generates a corresponding mask having a color attribute corresponding to the color attribute of the optical surface region, and Arrange in the area (step S80).
  • the model generating unit 15 determines that the color attribute of the optical surface region does not have the predetermined tendency (No in step S70)
  • it places a standard mask on the optical surface region step S60).
  • a three-dimensional model is generated based on a plurality of images in which the mask is arranged (step S90).
  • the 3D model generating apparatus 100 includes the image acquisition unit 11 that acquires a plurality of images captured from a plurality of shooting positions, and the image that is visually recognized by the reflection of light among the acquired plurality of images.
  • an optical surface detection unit 12 for detecting an optical surface area in which at least one of a reflected image and a transmissive visible object seen through a transparent member is reflected; a mask is arranged on the optical surface area; and a model generator 15 for generating a three-dimensional model based on.
  • the three-dimensional model generation method acquires a plurality of images photographed from a plurality of photographing positions, and among the acquired plurality of images, a reflected image and a transparent member visually recognized by reflection of light. Detecting an optical surface region in which at least one of the transmissive visible objects viewed through is reflected, placing a mask on the optical surface region, and generating a three-dimensional model based on a plurality of images in which the mask is placed including.
  • the three-dimensional model generation program includes a process of acquiring a plurality of images photographed from a plurality of photographing positions, and among the acquired plurality of images, a reflected image and a transparent member visually recognized by reflecting light.
  • the optical surface areas included in the plurality of images are detected, the mask is arranged, and the three-dimensional model is generated based on the plurality of images in which the masks are arranged. Even when included, the optical surface area can be appropriately processed to generate a three-dimensional model.
  • the model generation unit 15 arranges a mask corresponding to the color of the optical surface area on the optical surface area. According to this configuration, since a mask corresponding to the color of the optical surface region is arranged for the chromatic color optical surface region, it is possible to reduce the discomfort of the observer.
  • the three-dimensional model generation device 100 further includes a color attribute detection unit 13 that detects the color attribute of the optical surface region. , a corresponding mask having a color attribute corresponding to the color attribute of the optical surface area is generated and arranged, and if the color attribute of the optical surface area does not follow a predetermined tendency, a preset standard mask is arranged. According to this configuration, the corresponding mask and the standard mask can be selectively used according to the color attribute of the optical surface region, so that the viewer's sense of discomfort can be reduced more reliably.
  • the three-dimensional model generation device 100 further includes an area detection unit 14 that detects the area of the optical surface region. Regardless, a preset standard mask is placed. According to this configuration, when the area of the optical surface region is less than the predetermined value, the process of setting the color attribute of the corresponding mask can be omitted.
  • the model generation unit 15 determines that the color attributes of the optical surface regions 54a and 54b corresponding to the glass member 44 such as the window glass do not follow the predetermined tendency has been described as an example. , but not limited to.
  • a light transmission region such as a windowpane may have a predetermined color attribute depending on the scene (image) on the far side, such as when a blue sky can be seen.
  • the model generator 15 can determine that the color attributes of the optical surface regions 54a and 54b have a predetermined tendency.
  • the optical surface detection unit 12 may detect the reflective surface area and the transmissive surface area separately.
  • the model generator 15 may apply the standard mask for the reflective surface region and the standard mask for the transmissive surface region separately.
  • the 3D model generation device, the 3D model generation method, and the 3D model generation program according to the present disclosure can be used, for example, in processing devices such as computers.
  • Model generation unit 20 Storage unit 41, 42 Resin member 43 Metal member 41r, 42r, 43r Reflection image 44 ... glass member 44t ... see-through object 51a, 51b, 51c, 52a, 52b, 53a, 53b, 53c, 54a, 54b ... optical surface area 100 ... three-dimensional model generation device

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Architecture (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Image Analysis (AREA)

Abstract

三次元モデル生成装置は、複数の撮影位置から撮影した複数の画像を取得する画像取得部と、取得した複数の画像のうち、光の反射によって視認される反射像及び透明部材を介して視認される透過視認物の少なくとも一方が映る光学面領域を検出する光学面検出部と、光学面領域にマスクを配置し、マスクを配置した複数の画像に基づいて三次元モデルを生成するモデル生成部とを備える。

Description

三次元モデル生成装置、三次元モデル生成方法及び三次元モデル生成プログラム
　本開示は、三次元モデル生成装置、三次元モデル生成方法及び三次元モデル生成プログラムに関する。
　被写体に対して撮影位置を変えながら複数の画像を撮影し、撮影した複数の画像データに基づいて三次元モデルを生成するフォトグラメトリーという技術が知られている（例えば、特許文献１参照）。
特表２００６―５２８３８１号公報
　被写体の中に鏡面等の反射面や窓等の透過面等の周囲の像を映す光学面が設けられる場合、当該光学面の奥にも空間が存在するかのように三次元モデルを生成したり、光学面に対応する部分が破れたような三次元モデルを生成したりする場合がある。このように、フォトグラメトリーにおいては、画像に含まれる光学面を適切に処理して三次元モデルを生成することが求められる。
　本開示は、上記に鑑みてなされたものであり、画像に含まれる光学面を適切に処理して三次元モデルを生成することが可能な三次元モデル生成装置、三次元モデル生成方法及び三次元モデル生成プログラムを提供することを目的とする。
　本開示に係る三次元モデル生成装置は、複数の撮影位置から撮影した複数の画像を取得する画像取得部と、取得した複数の前記画像のうち、光の反射によって視認される反射像及び透明部材を介して視認される透過視認物の少なくとも一方が映る光学面領域を検出する光学面検出部と、前記光学面領域にマスクを配置し、前記マスクを配置した複数の前記画像に基づいて三次元モデルを生成するモデル生成部とを備える。
　本開示に係る三次元モデル生成方法は、複数の撮影位置から撮影した複数の画像を取得することと、取得した複数の前記画像のうち、光の反射によって視認される反射像及び透明部材を介して視認される透過視認物の少なくとも一方が映る光学面領域を検出することと、前記光学面領域にマスクを配置し、前記マスクを配置した複数の前記画像に基づいて三次元モデルを生成することとを含む。
　本開示に係る三次元モデル生成プログラムは、複数の撮影位置から撮影した複数の画像を取得する処理と、取得した複数の前記画像のうち、光の反射によって視認される反射像及び透明部材を介して視認される透過視認物の少なくとも一方が映る光学面領域を検出する処理と、前記光学面領域にマスクを配置し、前記マスクを配置した複数の前記画像に基づいて三次元モデルを生成する処理とを含む。
　本開示によれば、複数の画像に含まれる光学面を適切に処理して三次元モデルを生成することができる。
図１は、本実施形態に係る三次元モデル生成装置の一例を模式的に示す図である。 図２は、三次元モデル生成装置の一例を示す機能ブロック図である。 図３は、フォトグラメトリーの原理を適用する２つの画像の位置関係を表す説明図である。 図４は、２つの画像の位置関係を表す説明図である。 図５は、三次元空間を撮影する様子を示す図である。 図６は、三次元空間を撮影した複数の画像の一例を示す図である。 図７は、複数の画像にマスクを配置した状態の一例を示す図である。 図８は、本実施形態に係る三次元モデル生成方法の一例を示すフローチャートである。
　以下、本開示に係る三次元モデル生成装置、三次元モデル生成方法及び三次元モデル生成プログラムの実施形態を図面に基づいて説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。
　図１は、本実施形態に係る三次元モデル生成装置１００の一例を模式的に示す図である。図２は、三次元モデル生成装置１００の一例を示す機能ブロック図である。図１及び図２に示す三次元モデル生成装置１００は、フォトグラメトリーの原理に基づいて三次元モデルを生成する。図１及び図２に示すように、三次元モデル生成装置１００は、処理部１０と、記憶部２０とを備える。
　処理部１０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）等の処理装置と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）又はＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の記憶装置を有する。処理部１０は、画像取得部１１と、光学面検出部１２と、色属性検出部１３と、面積検出部１４と、モデル生成部１５とを有する。
　画像取得部１１は、複数の撮影位置から撮影した複数の画像Ｉを取得する。各画像Ｉは、例えばカメラＣＲ（Ｃ１、Ｃ２等）等の撮影装置により撮影された画像である。
　光学面検出部１２は、取得された複数の画像に含まれる光学面領域を検出する。本実施形態において、光学面領域は、例えば画像内において周囲の像が映る領域であり、光の反射によって視認される反射像が映る反射面領域及び透明部材を介して視認される透過視認物が映る透過面領域の少なくとも一方を含む。光学面検出部１２は、公知の手法により画像に含まれる光学面領域を検出することができる。例えば表示装置により三次元空間Ｋに向けて所定のパターンを表示して当該パターンを一方向に移動させるようにし、この状態で三次元空間を撮影する。光学面検出部１２は、撮影された映像のうちパターンの移動が反転して映し出される領域又はパターンの移動が均一ではない領域が存在するか否かを検出する。光学面検出部１２は、パターンの移動が反転して映し出される領域を検出した場合、当該領域を反射面領域とすることができる。また、光学面検出部１２は、パターンの移動が均一ではない領域を検出した場合、当該領域を透過面領域とすることができる。光学面検出部１２が光学面領域を検出する具体的な手法については、上記に限定されず、他の手法であってもよい。
　本実施形態における反射面領域としては、例えば表面に鏡面処理が施された非金属部材や、金又は銅等の有彩色の金属部材等のように下地の部材の色が鏡面に映る像の色に重なって見える領域と、表面に鏡面処理が施された無彩色の金属部材のように鏡面に映る像の色がそのまま見える領域とを含む。本実施形態における透過面領域としては、例えばガラス板等の光を透過する光透過部材の表面などが挙げられる。透過面領域としては、有彩色の光透過部材及び無彩色の光透過部材等を含む。
　色属性検出部１３は、光学面領域の色属性を検出する。本実施形態における色属性は、いわゆる色の三属性である色相、彩度及び明度を含む。色属性検出部１３は、例えば画像処理により、光学面領域における色属性を検出する。光学面領域の色属性を検出することにより、光学面領域の色属性の傾向を求めることができる。色属性検出部１３は、光学面領域の色属性を構成する色相、彩度及び明度について、例えば色空間における座標等の数値として検出することができる。
　面積検出部１４は、光学面領域の面積を検出する。面積検出部１４は、例えば画像Ｉにおいて検出された光学面領域に対応する画素の数を光学面領域の面積として検出することができる。
　モデル生成部１５は、画像取得部１１で取得された複数の画像に基づいて三次元モデルを生成する。モデル生成部１５は、例えばフォトグラメトリーの原理に基づいて三次元モデルを生成することができる。ここで、フォトグラメトリーの原理を説明する。以下、２個の画像データから三次元画像データの生成する場合について説明する。図３は、フォトグラメトリーの原理を適用する２つの画像の位置関係を表す説明図、図４は、２つの画像の位置関係を表す説明図である。
　モデル生成部１５は、例えば位置データが示す位置が同じとなる２個の画像データを抽出する。なお、位置が同じとは、厳密に同じであることに限られず、所定量位置がずれたものも、位置が同じとみなしてよい。
　まず、対象物に対して視野の画像用のカメラＣ１および視野の画像用のカメラＣ２（いずれも、図３参照）によって２組セット画像データを得る。次に、モデル生成部１５は、２組セットの画像データに基づいて特徴点の対応点探索を行う。モデル生成部１５は、例えば、画素毎の対応付けを行い、差が最小になる位置を探す。ここで、図３に示すように、２視点に同時に存在しているとするカメラＣ１、Ｃ２は、光軸Ｏｌ、Ｏｒが同一のＸ－Ｚ座標平面上に含まれるように、Ｙｌ＝Ｙｒの関係に配置されているものとする。モデル生成部１５により探索された対応点を用いて画素毎の角度の差に相当する視差ベクトルを計算する。
　モデル生成部１５は、得られた視差ベクトルが奥行き方向のカメラＣ１、Ｃ２からの距離に相当することから、遠近法により視差の大きさに比例させて距離計算を行う。撮影者のカメラＣ１、Ｃ２がほぼ水平にしか移動しないと仮定すれば、カメラＣ１、Ｃ２をその光軸Ｏｌ、Ｏｒが同一のＸ－Ｚ座標平面上に含まれるように配置しておくことにより、対応点の探索はエピポーラ線Ｅｐｌ、Ｅｐｒである走査線上のみで行えばよいことになる。モデル生成部１５は、対象物の２個の画像データと、カメラＣ１、Ｃ２から対象物までのそれぞれの距離を用いて対象物の三次元画像データを生成する。モデル生成部１５は、生成した三次元画像データについて、例えば記憶部２０に記憶させてもよいし、不図示の出力部又は通信部から外部に出力又は送信してもよい。
　一方、左画像上の点Ｑｌ（Ｘｌ、Ｙｌ）と右画像上の点Ｑｒ（Ｘｒ、Ｙｒ）とが対応する場合、点Ｑｌ（Ｘｌ、Ｙｌ）における視差ベクトルはＶｐ（Ｘｌ－Ｘｒ、Ｙｌ－Ｙｒ）である。ここで、２つの点Ｑｌ、Ｑｒは同じ走査線（エピポーラ線）上にあるので、Ｙｌ＝Ｙｒであり、視差ベクトルは、Ｖｐ（Ｘｌ－Ｘｒ、０）と表されることになる。モデル生成部１５は、このような視差ベクトルＶｐを、画像上の全ての画素点について求め、視差ベクトル群を作成することで画像の奥行き方向の情報を得る。ところで、エピポーラ線が水平ではないセットに関しては、片方のカメラ位置の高さが違っている（確率は低い）ことがある。この場合、モデル生成部１５は、大きな探索範囲を、対応点マッチングを意識することなく大きな２次元領域で対応点探索をする場合に比べ、エピポーラ線方向と、エピポーラ線に対し直交方向でその水平からのずれ具合程度の長方形内で探索することで、最低限の長方形の計算量は少なくなり合理的になる。そして、モデル生成部１５は、図４に示すように、最低限の長方形に関するエピポーラ線方向探索範囲をａ～ｂ＝ｃ～ｄとし、直交方向探索範囲をｂ～ｃ＝ｄ～ａとした場合の探索範囲を示す。この場合、エピポーラ線方向の探索幅は、ΔＥ、エピポーラ線と直交する方向Ｔの探索幅はΔＴとする。最低限の傾斜した長方形ａｂｃｄを含む傾斜しない最小の長方形ＡＢＣＤが求める領域となる。
　このようにモデル生成部１５は、複数のカメラＣ１、Ｃ２の特徴点の対応点からエピポーラ拘束条件にて視差ベクトルを求め、各点の奥行き方向の情報を得て、３次元形状の表面上のテクスチャーをマッピングして、三次元画像データを生成する。これにより、計算に使用する画像データにある部分のモデルは、その前面側半球からの見る空間を再現することができる。また、三次元画像データの画像データに写っていない部分が存在する場合、周りのテクスチャーのラインやサーフェスを延長して繋がる場合は、その間を同じテクスチャーを用いて補間する。
　なお、三次元画像データの生成方法は、上述したものに限定されるものではなく、他の方法を用いてもよい。
　モデル生成部１５は、複数の画像Ｉに光学面領域が含まれる場合、光学面領域に対して当該光学面領域を覆うマスクを配置し、当該マスクを配置した複数の画像Ｉに基づいて三次元モデルを生成する。モデル生成部１５は、光学面領域の色に対応した色のマスクを光学面領域に配置することができる。例えば、モデル生成部１５は、色属性検出部１３により検出される光学面領域の色属性が所定の傾向にある場合、光学面領域の色属性に対応した色属性を有するマスク（以下、対応マスクと表記する）を生成して配置することができる。一方、モデル生成部１５は、色属性検出部１３により検出される光学面領域の色属性が所定の傾向にない場合、予め設定されたマスク（以下、標準マスクと表記する）を配置することができる。
　モデル生成部１５は、例えば光学面領域の色相、彩度及び明度を示す各値が色空間における所定範囲内に閾値以上の割合で分布している場合、当該光学面領域の色属性が所定の傾向にあると判定することができる。本実施形態において、光学面領域の色属性が所定の傾向にある場合、光学面領域は有彩色である。光学面領域の色属性が所定の傾向にない場合、光学面領域は無彩色又は無彩色に近い状態である。
　モデル生成部１５は、光学面領域の色属性に対応した対応マスクを生成する際、当該対応マスクの色属性を、例えば光学面領域の色属性を示す値の分布におけるピーク値に応じた色属性とすることができる。これにより、光学面領域の色に対応する色のマスクが光学面領域に配置されるため、観察者の違和感が低減される。この場合、モデル生成部１５は、例えば対応マスクに光沢を示す表示を付してもよい。この場合、観察者に当該対応マスクの領域が光学面領域であることを認識させることができる。
　モデル生成部１５は、光学面領域の色属性が所定の傾向に無い場合、予め設定された標準マスクを配置する。この場合、標準マスクとしては、例えば無彩色の鏡の反射面を模した外観のマスク等を設定することができる。
　また、モデル生成部１５は、面積検出部１４で検出された光学面領域の面積が所定値未満の場合には、光学面領域の色属性に関わらず、光学面領域に標準マスクを配置するようにしてもよい。光学面領域の面積が小さい場合には、光学面領域の色に対応した色の対応マスクを配置しなくても観察者に与える違和感は大きくならないと推定される。この場合、対応マスクの色属性等を設定する処理を省略できる。
　なお、モデル生成部１５は、光学面領域の色属性に関わらず、光学面領域に常に標準マスクを配置するようにしてもよい。
　記憶部２０は、各種情報を記憶する。記憶部２０は、予め設定された標準マスクについての情報を記憶する。記憶部２０は、例えばハードディスクドライブ、ソリッドステートドライブ等のストレージを有している。なお、記憶部２０として、リムーバブルディスク等の外部記憶媒体が用いられてもよい。
　記憶部２０は、複数の撮影位置から撮影した複数の画像Ｉを取得する処理と、取得した複数の画像Ｉのうち、光の反射によって視認される反射像及び透明部材を介して視認される透過視認物の少なくとも一方が映る光学面領域を検出する処理と、光学面領域にマスクを配置し、マスクを配置した複数の画像に基づいて三次元モデルを生成する処理とをコンピュータに実行させる三次元モデル生成プログラムを記憶する。
　次に、上記のように構成された三次元モデル生成装置１００の動作を説明する。図５は、三次元空間Ｋを撮影する様子を示す図である。図６は、三次元空間Ｋを撮影した複数の画像の一例を示す図である。図７は、複数の画像にマスクを配置した状態の一例を示す図である。
　まず、図５に示すように、三次元空間Ｋを異なる撮影位置から撮影する。画像取得部１１は、撮影された複数の画像を取得する。ここでは、図６に示すように２つの画像Ｉ１、Ｉ２を取得する場合を例に挙げて説明するが、画像の数は３つ以上であってもよい。三次元空間Ｋには、例えば図５に示すテレビ、電子ジャー等のような家電製品を構成する有彩色（例えば、黒色等）の樹脂部材４１、４２、裏面鏡の反射面を構成する無彩色の金属部材４３、窓を構成する無彩色かつ透明のガラス部材４４等、周囲の像が映る物体が配置されているものとする。例えば、樹脂部材４１、４２には、反射像４１ｒ、４２ｒが映っている。また、金属部材４３には、反射像４３ｒが映っている。なお反射像とは、光の反射によって視認される像である。また、ガラス部材４４には、奥側に存在する雲、建物等の透過視認物４４ｔが映っている。なお透過視認物とは、ガラス部材などの透明部材を介して視認される物体である。
　この三次元空間Ｋを撮影することにより、図６に示すように、撮影された画像Ｉ１には、樹脂部材４１、４２、金属部材４３及びガラス部材４４が光学面領域５１ａ、５２ａ、５３ａ、５４ａとして映り込む。また、撮影された画像Ｉ２には、樹脂部材４１、４２、金属部材４３及びガラス部材４４が光学面領域５１ｂ、５２ｂ、５３ｂ、５４ｂとして映り込む。
　光学面検出部１２は、取得した複数の画像Ｉ１、Ｉ２に光学面領域が含まれる場合、当該光学面領域を検出する。本実施形態において、光学面検出部１２は、画像Ｉ１に含まれる光学面領域５１ａ、５２ａ、５３ａ、５４ａと、画像Ｉ２に含まれる光学面領域５１ｂ、５２ｂ、５３ｂ、５４ｂとを検出することができる。
　光学面領域５１ａ～５４ａ、５１ｂ～５４ｂには、それぞれ反射像５１ｒ～５３ｒ又は透過視認物５４ｔが映っている。この状態で三次元モデルを生成した場合、反射像４１ｒ～４３ｒ及び透過視認物４４ｔが実際の構造物として光学面領域の奥に存在するかのように三次元モデルが生成されたり、光学面領域に対応する部分が破れたような三次元モデルが生成されたりする場合がある。そこで、本実施形態では、以下の処理を行うことにより、光学面領域を適切に処理して三次元モデルを生成するようにする。
　色属性検出部１３は、画像Ｉ１に含まれる光学面領域５１ａ、５２ａ、５３ａ、５４ａ及び画像Ｉ２に含まれる光学面領域５１ｂ、５２ｂ、５３ｂ、５４ｂの色属性を検出する。また、面積検出部１４は、画像Ｉ１に含まれる光学面領域５１ａ、５２ａ、５３ａ、５４ａ及び画像Ｉ２に含まれる光学面領域５１ｂ、５２ｂ、５３ｂ、５４ｂの面積を検出する。
　モデル生成部１５は、光学面領域５１ａ、５２ａ、５３ａ、５４ａ及び光学面領域５１ｂ、５２ｂ、５３ｂ、５４ｂの面積が所定値未満か否かを判定する。本実施形態において、モデル生成部１５は、画像Ｉ１の光学面領域５１ａ、５３ａ、５４ａの面積、及び画像Ｉ２の光学面領域５１ｂ、５３ｂ、５４ｂの面積については、所定値以上であると判定する。また、モデル生成部１５は、画像Ｉ１の光学面領域５２ａの面積、及び画像Ｉ２の光学面領域５２ｂの面積については、所定値未満であると判定する。モデル生成部１５は、面積が所定値未満であると判定した画像Ｉ１の光学面領域５２ａ及び画像Ｉ２の光学面領域５２ｂに対しては、以下で判断する色属性に関わらず、図７に示すように、標準マスクＭ２を配置するようにする。
　モデル生成部１５は、光学面領域５１ａ、５３ａ、５４ａ及び光学面領域５１ｂ、５３ｂ、５４ｂの色属性が所定の傾向にあるか否かを判定する。本実施形態において、モデル生成部１５は、例えば画像Ｉ１の光学面領域５１ａ及び画像Ｉ２の光学面領域５１ｂの色属性が所定の傾向にあると判定する。モデル生成部１５は、色属性が所定の傾向にあると判定した光学面領域５１ａ、５１ｂについては、図７に示すように、色属性に対応した対応マスクＭ１を配置するようにする。
　また、モデル生成部１５は、例えば画像Ｉ１の光学面領域５３ａ、５４ａ及び画像Ｉ２の光学面領域５３ｂ、５４ｂの色属性が所定の傾向に無いと判定する。モデル生成部１５は、色属性が所定の傾向に無いと判定したした光学面領域５３ａ、５３ｂ、５４ａ、５４ｂについては、図７に示すように、標準マスクＭ３、Ｍ４を配置するようにする。
　図８は、本実施形態に係る三次元モデル生成方法の一例を示すフローチャートである。図８に示すように、画像取得部１１は、三次元空間Ｋを異なる撮影位置から撮影した複数の画像を取得する（ステップＳ１０）。光学面検出部１２は、取得した複数の画像に含まれる光学面領域を検出する（ステップＳ２０）。色属性検出部１３は、光学面領域の色属性を検出する（ステップＳ３０）。面積検出部１４は、光学面領域の面積を検出する（ステップＳ４０）。
　モデル生成部１５は、光学面領域の面積が所定値未満か否かを判定する（ステップＳ５０）。光学面領域の面積が所定値未満と判定した場合（ステップＳ５０のＹｅｓ）、モデル生成部１５は、光学面領域については標準マスクを配置するようにする（ステップＳ６０）。
　モデル生成部１５は、光学面領域の面積が所定値未満ではない判定した場合（ステップＳ５０のＮｏ）、光学面領域の色属性が所定の傾向にあるか否かを判定する（ステップＳ７０）。モデル生成部１５は、光学面領域の色属性が所定の傾向にあると判定した場合（ステップＳ７０のＹｅｓ）、光学面領域の色属性に対応した色属性を有する対応マスクを生成して光学面領域に配置する（ステップＳ８０）。一方、モデル生成部１５は、光学面領域の色属性が所定の傾向にないと判定した場合（ステップＳ７０のＮｏ）、光学面領域に標準マスクを配置する（ステップＳ６０）。
　ステップＳ６０又はステップＳ８０によりマスクを配置した後、当該マスクを配置した複数の画像に基づいて三次元モデルを生成する（ステップＳ９０）。
　以上のように、本実施形態に係る三次元モデル生成装置１００は、複数の撮影位置から撮影した複数の画像を取得する画像取得部１１と、取得した複数の画像のうち、光の反射によって視認される反射像及び透明部材を介して視認される透過視認物の少なくとも一方が映る光学面領域を検出する光学面検出部１２と、光学面領域にマスクを配置し、マスクを配置した複数の画像に基づいて三次元モデルを生成するモデル生成部１５とを備える。
　また、本実施形態に係る三次元モデル生成方法は、複数の撮影位置から撮影した複数の画像を取得することと、取得した複数の画像のうち、光の反射によって視認される反射像及び透明部材を介して視認される透過視認物の少なくとも一方が映る光学面領域を検出することと、光学面領域にマスクを配置し、マスクを配置した複数の画像に基づいて三次元モデルを生成することとを含む。
　また、本実施形態に係る三次元モデル生成プログラムは、複数の撮影位置から撮影した複数の画像を取得する処理と、取得した複数の画像のうち、光の反射によって視認される反射像及び透明部材を介して視認される透過視認物の少なくとも一方が映る光学面領域を検出する処理と、光学面領域にマスクを配置し、マスクを配置した複数の画像に基づいて三次元モデルを生成する処理とをコンピュータに実行させる。
　この構成によれば、複数の画像に含まれる光学面領域を検出してマスクを配置し、マスクを配置した複数の画像に基づいて三次元モデルを生成するため、複数の画像に光学面領域が含まれる場合においても、当該光学面領域を適切に処理して三次元モデルを生成することができる。
　本実施形態に係る三次元モデル生成装置１００において、モデル生成部１５は、光学面領域の色に対応したマスクを光学面領域に配置する。この構成によれば、有彩色の光学面領域については、当該光学面領域の色に対応したマスクが配置されるため、観察者の違和感を低減することができる。
　本実施形態に係る三次元モデル生成装置１００において、光学面領域の色属性を検出する色属性検出部１３を更に備え、モデル生成部１５は、光学面領域の色属性が所定の傾向にある場合には光学面領域の色属性に対応した色属性を有する対応マスクを生成して配置し、光学面領域の色属性が所定の傾向にない場合には予め設定された標準マスクを配置する。この構成によれば、光学面領域の色属性に応じて対応マスクと標準マスクとを使い分けることができるため、観察者の違和感をより確実に低減することができる。
　本実施形態に係る三次元モデル生成装置１００は、光学面領域の面積を検出する面積検出部１４を更に備え、光学面領域の面積が所定値未満の場合には、光学面領域の色属性に関わらず、予め設定された標準マスクを配置する。この構成によれば、光学面領域の面積が所定値未満の場合には、対応マスクの色属性等を設定する処理を省略できる。
　本開示の技術範囲は上記実施形態に限定されるものではなく、本開示の趣旨を逸脱しない範囲で適宜変更を加えることができる。例えば、上記実施形態において、モデル生成部１５は、窓ガラス等のガラス部材４４に対応する光学面領域５４ａ、５４ｂの色属性が所定の傾向に無いと判定した場合を例に挙げて説明したが、これに限定されない。窓ガラス等の光透過領域は、奥側の景色（像）によっては、例えば青空が見える場合等、色属性が所定の傾向にある場合がある。このような場合、モデル生成部１５は、光学面領域５４ａ、５４ｂの色属性が所定の傾向にあると判定することができる。
　また、上記実施形態において、反射面領域と透過面領域とで同一の標準マスクを適用する場合を例に挙げて説明したが、これに限定されない。光学面検出部１２は、反射面領域と透過面領域とを区別して検出してもよい。この場合、モデル生成部１５は、反射面領域の標準マスクと透過面領域の標準マスクとを区別して適用してもよい。
　本開示に係る三次元モデル生成装置、三次元モデル生成方法及び三次元モデル生成プログラムは、例えばコンピュータ等の処理装置等に利用することができる。
　ＣＲ，Ｃ１，Ｃ２…カメラ、Ｉ，Ｉ１，Ｉ２…画像、Ｋ…三次元空間、Ｍ１…対応マスク、Ｍ２，Ｍ３，Ｍ４…標準マスク、１０…処理部、１１…画像取得部、１２…光学面検出部、１３…色属性検出部、１４…面積検出部、１５…モデル生成部、２０…記憶部、４１，４２…樹脂部材、４３…金属部材、４１ｒ，４２ｒ，４３ｒ…反射像、４４…ガラス部材、４４ｔ…透過視認物、５１ａ，５１ｂ，５１ｃ，５２ａ，５２ｂ，５３ａ，５３ｂ，５３ｃ，５４ａ，５４ｂ…光学面領域、１００…三次元モデル生成装置

Claims (6)

  1. 　複数の撮影位置から撮影した複数の画像を取得する画像取得部と、
    　取得した複数の前記画像のうち、光の反射によって視認される反射像及び透明部材を介して視認される透過視認物の少なくとも一方が映る光学面領域を検出する光学面検出部と、
    　前記光学面領域にマスクを配置し、前記マスクを配置した複数の前記画像に基づいて三次元モデルを生成するモデル生成部と
    　を備える三次元モデル生成装置。
  2. 　前記モデル生成部は、前記光学面領域の色に対応した前記マスクを前記光学面領域に配置する
    　請求項１に記載の三次元モデル生成装置。
  3. 　前記光学面領域の色属性を検出する色属性検出部を更に備え、
    　前記モデル生成部は、前記光学面領域の色属性が所定の傾向にある場合には前記光学面領域の色属性に対応した色属性を有する前記マスクを生成して配置し、前記光学面領域の色属性が所定の傾向にない場合には予め設定された前記マスクを配置する
    　請求項１又は請求項２に記載の三次元モデル生成装置。
  4. 　前記光学面領域の面積を検出する面積検出部を更に備え、
    　前記光学面領域の面積が所定値未満の場合には、前記光学面領域の色属性に関わらず、予め設定された前記マスクを配置する
    　請求項３に記載の三次元モデル生成装置。
  5. 　複数の撮影位置から撮影した複数の画像を取得することと、
    　取得した複数の前記画像のうち、光の反射によって視認される反射像及び透明部材を介して視認される透過視認物の少なくとも一方が映る光学面領域を検出することと、
    　前記光学面領域にマスクを配置し、前記マスクを配置した複数の前記画像に基づいて三次元モデルを生成することと
    　を含む三次元モデル生成方法。
  6. 　複数の撮影位置から撮影した複数の画像を取得する処理と、
    　取得した複数の前記画像のうち、光の反射によって視認される反射像及び透明部材を介して視認される透過視認物の少なくとも一方が映る光学面領域を検出する処理と、
    　前記光学面領域にマスクを配置し、前記マスクを配置した複数の前記画像に基づいて三次元モデルを生成する処理と
    　を含む三次元モデル生成プログラム。
PCT/JP2022/046110 2021-12-14 2022-12-14 三次元モデル生成装置、三次元モデル生成方法及び三次元モデル生成プログラム WO2023112971A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/739,360 US20240331286A1 (en) 2021-12-14 2024-06-11 Three-dimensional model generation device, three-dimensional model generation method, and non-transitory storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021202690A JP2023088061A (ja) 2021-12-14 2021-12-14 三次元モデル生成装置、三次元モデル生成方法及び三次元モデル生成プログラム
JP2021-202690 2021-12-14

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/739,360 Continuation US20240331286A1 (en) 2021-12-14 2024-06-11 Three-dimensional model generation device, three-dimensional model generation method, and non-transitory storage medium

Publications (1)

Publication Number Publication Date
WO2023112971A1 true WO2023112971A1 (ja) 2023-06-22

Family

ID=86774780

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/046110 WO2023112971A1 (ja) 2021-12-14 2022-12-14 三次元モデル生成装置、三次元モデル生成方法及び三次元モデル生成プログラム

Country Status (3)

Country Link
US (1) US20240331286A1 (ja)
JP (1) JP2023088061A (ja)
WO (1) WO2023112971A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117710603A (zh) * 2024-02-04 2024-03-15 东华理工大学南昌校区 一种直线几何结构约束下无人机图像三维建筑物建模方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004110459A (ja) * 2002-09-19 2004-04-08 Shigenori Tanaka ３次元モデル空間生成装置、３次元モデル空間生成方法、３次元モデル空間生成プログラム、及びコンテンツ送信サーバ
JP2005346348A (ja) * 2004-06-02 2005-12-15 Matsushita Electric Ind Co Ltd 画像処理方法、画像処理装置および画像処理プログラム
JP2006025061A (ja) * 2004-07-07 2006-01-26 Sony Corp 画像保護装置、撮像装置及びプログラム
JP2017220923A (ja) * 2016-06-07 2017-12-14 パナソニックＩｐマネジメント株式会社 画像生成装置、画像生成方法、およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004110459A (ja) * 2002-09-19 2004-04-08 Shigenori Tanaka ３次元モデル空間生成装置、３次元モデル空間生成方法、３次元モデル空間生成プログラム、及びコンテンツ送信サーバ
JP2005346348A (ja) * 2004-06-02 2005-12-15 Matsushita Electric Ind Co Ltd 画像処理方法、画像処理装置および画像処理プログラム
JP2006025061A (ja) * 2004-07-07 2006-01-26 Sony Corp 画像保護装置、撮像装置及びプログラム
JP2017220923A (ja) * 2016-06-07 2017-12-14 パナソニックＩｐマネジメント株式会社 画像生成装置、画像生成方法、およびプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117710603A (zh) * 2024-02-04 2024-03-15 东华理工大学南昌校区 一种直线几何结构约束下无人机图像三维建筑物建模方法
CN117710603B (zh) * 2024-02-04 2024-04-30 东华理工大学南昌校区 一种直线几何结构约束下无人机图像三维建筑物建模方法

Also Published As

Publication number Publication date
US20240331286A1 (en) 2024-10-03
JP2023088061A (ja) 2023-06-26

Similar Documents

Publication Publication Date Title
US9438878B2 (en) Method of converting 2D video to 3D video using 3D object models
CA2819956C (en) High accuracy camera modelling and calibration method
USRE47925E1 (en) Method and multi-camera portable device for producing stereo images
US9241147B2 (en) External depth map transformation method for conversion of two-dimensional images to stereoscopic images
US20240331286A1 (en) Three-dimensional model generation device, three-dimensional model generation method, and non-transitory storage medium
KR20170134513A (ko) 오브젝트를 표시하는 방법
CN108885342A (zh) 用于低延迟渲染的宽基线立体
US20100245544A1 (en) Imaging apparatus, imaging control method, and recording medium
KR102049456B1 (ko) 광 필드 영상을 생성하는 방법 및 장치
EP3935602B1 (en) Processing of depth maps for images
CN112700484B (zh) 一种基于单目深度相机的深度图彩色化方法
US20210125398A1 (en) Method and system for estimating the geometry of a scene
CN110838164A (zh) 基于物体点深度的单目图像三维重建方法、系统及装置
CN106068646A (zh) 深度图生成方法、装置和非短暂性计算机可读介质
EP2904581B1 (en) Method and apparatus for determining a depth of a target object
JP4193342B2 (ja) ３次元データ生成装置
EP2866446B1 (en) Method and multi-camera portable device for producing stereo images
Li et al. Spatial light path analysis and calibration of four-mirror-based monocular stereo vision
Gurrieri et al. Depth consistency and vertical disparities in stereoscopic panoramas
Shin et al. Color correction using 3D multi-view geometry
JPH07220113A (ja) 画像記録再生装置
KR102675906B1 (ko) Hud 고스트 이미지 측정 방법 및 장치
JP2020187557A (ja) 温度画像表示装置、温度画像表示システムおよび温度画像表示プログラム
WO2019147237A1 (en) Augmented reality display
WO2021166751A1 (ja) 情報処理装置、情報処理方法及びコンピュータプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22907494

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
NENP Non-entry into the national phase

Ref country code: DE