WO2010107235A2 - 다시점 영상 처리 방법 및 장치 - Google Patents

다시점 영상 처리 방법 및 장치 Download PDF

Info

Publication number
WO2010107235A2
WO2010107235A2 PCT/KR2010/001631 KR2010001631W WO2010107235A2 WO 2010107235 A2 WO2010107235 A2 WO 2010107235A2 KR 2010001631 W KR2010001631 W KR 2010001631W WO 2010107235 A2 WO2010107235 A2 WO 2010107235A2
Authority
WO
WIPO (PCT)
Prior art keywords
multiview
view
image
depth map
trimap
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2010/001631
Other languages
English (en)
French (fr)
Other versions
WO2010107235A3 (ko
Inventor
호요성
김성열
이은경
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gwangju Institute of Science and Technology
Original Assignee
Gwangju Institute of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gwangju Institute of Science and Technology filed Critical Gwangju Institute of Science and Technology
Publication of WO2010107235A2 publication Critical patent/WO2010107235A2/ko
Publication of WO2010107235A3 publication Critical patent/WO2010107235A3/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Definitions

  • the present invention relates to a multiview image processing method and apparatus, and more particularly, to a multiview image processing method and apparatus capable of extracting a multiview foreground using a depth map obtained from a depth camera and a multiview image obtained from a multiview camera. It is about.
  • a multi-view image means a set of images acquired by using two or more cameras (multi-view cameras) having different viewpoints.
  • multi-view video can generate a 3D dynamic image by photographing a scene through multiple cameras.
  • Such a multi-view image may provide a user with a free view and a 3D effect through a wide screen.
  • FTV free-view TV
  • 3-D TV surveillance, and immersive teleconferencing
  • an image may be divided into a foreground object and a background. Extracting the foreground object from the background is called a foreground matte and removes the background from the original image in consideration of an alpha value representing pixel opacity of the image.
  • This technique is called image matting.
  • Image synthesis means combining the foreground matt with an arbitrary background using an alpha value.
  • the present invention has been made in an effort to provide a multiview image processing method and apparatus capable of automatically performing high quality image matting on a multiview image.
  • the multi-view image processing method comprises the steps of: (a) obtaining a multi-view depth map by three-dimensional warping the depth map obtained from the depth camera to the viewpoint of the multi-view camera; generating a multiview trimap corresponding to a multiview image obtained from the multiview camera using the multiview depth map; (c) generating a multi-view alphamat corresponding to the multi-view image using the multi-view trimap; And (d) extracting a multiview foreground by applying the multiview alphamat to the multiview image.
  • each image constituting the multi-view image and each three-dimensional warped depth map constituting the multi-view depth map (b1) determining a foreground area in the three-dimensional warped depth map and filling a hole generated by the three-dimensional warping in the foreground area; And (b2) generating the trimap from the depth map filled with the holes.
  • the step (b1) may include: (b11) generating a segmented image by performing color segmentation on the image; (b12) determining, as the foreground region, a set of segments among the segments of the segmented image having a depth value in the three-dimensional warped depth map more than a predetermined ratio; And (b13) filling a hole generated due to the three-dimensional warping in the foreground area of the three-dimensional warped depth map.
  • the hole may be filled by setting an average of depth values of available pixels among the pixels around the hole as the depth value of the hole.
  • the trimap may be generated by applying an erosion and expansion operation to the depth map filled with the holes.
  • the three-dimensional warping may be performed using camera parameters of the depth camera and camera parameters of each of the cameras constituting the multi-view camera.
  • the multi-view image processing method may further include synthesizing the extracted multi-view foreground with a multi-view background to generate a multi-view composite image.
  • a multi-view image processing apparatus includes: a three-dimensional warping unit which obtains a multi-view depth map by three-dimensional warping a depth map obtained from a depth camera to a viewpoint of a multi-view camera; A trimap generation unit generating a multiview trimap corresponding to a multiview image obtained from the multiview camera using the multiview depth map; An alpha matte generator configured to generate a multiview alphamat corresponding to the multiview image using the multiview trimap; And a foreground extracting unit extracting a multi-view foreground by applying the multi-view alphamat to the multi-view image.
  • the trimap generator generates each trimap constituting the multiview trimap, each image constituting the multiview image and each three-dimensional warped depth map constituting the multiview depth map.
  • the foreground region may be determined from the 3D warped depth map, the hole generated due to the 3D warping may be filled in the foreground region, and the trimap may be generated from the depth map filled with the hole.
  • the trimap generator may include a segment unit configured to generate a segmented image by performing color segmentation on the image; A foreground region determiner configured to determine, as the foreground region, a set of segments in which a depth value in the 3D warped depth map is greater than a predetermined ratio among the segments of the segmented image; And a hole removing unit filling a hole generated by the three-dimensional warping in the foreground area of the three-dimensional warped depth map. And a trimap generator for generating the trimap from the depth map filled with the holes.
  • the hole removing unit may fill the hole by setting an average of depth values of available pixels among the pixel values around the hole as the depth value of the hole.
  • the trimap generator may generate the trimap by applying an erosion and expansion operation to the depth map filled with the holes.
  • the three-dimensional warping unit may perform the three-dimensional warping by using camera parameters of the depth camera and camera parameters of cameras constituting the multi-view camera.
  • the multiview image processing apparatus may further include a background synthesis unit configured to synthesize the extracted multiview foreground with a multiview background to generate a multiview composite image.
  • a computer-readable recording medium having recorded thereon a program for executing a multi-view image processing method according to the present invention.
  • a multi-view depth map is obtained by three-dimensional warping a depth map obtained from a depth camera to a viewpoint of a multi-view camera, and a multi-view corresponding to a multi-view image obtained from a multi-view camera using a multiview depth map.
  • a multiview alphamat corresponding to a multiview image may be generated using a multiview trimap to automatically perform high quality image matting on the multiview image.
  • FIG. 1 is a diagram illustrating a configuration of a multiview image processing apparatus according to an embodiment of the present invention.
  • FIG. 2 is a diagram three-dimensionally showing an example of a form in which a multiview camera 110 and a depth camera 120 are arranged.
  • 3 shows an example of a multiview image obtained from the multiview camera 110 and one depth map obtained from the depth camera 120.
  • FIG. 4 is a reference diagram for explaining a process of three-dimensional warping a depth map obtained from the depth camera 120 to a viewpoint of an arbitrary camera of the multiview camera 110.
  • FIG. 5 illustrates a depth map in which the depth map illustrated in FIG. 3 is three-dimensional warped to a viewpoint of each camera.
  • FIG. 6 is a block diagram illustrating a specific embodiment of the trimap generator 140.
  • FIG. 7 is an example of an image in which an image in the center of the multi-view images of FIG. 3 is segmented by the segment unit 141.
  • FIG. 8 is a reference diagram for explaining an example of a method of filling a hole in a 3D warped depth map.
  • FIG. 9 illustrates a depth map obtained by filling all of the holes of the foreground area in one of the three-dimensional warped depth maps shown in FIG. 5.
  • FIG. 10 illustrates a multiview trimap generated from the 3D warped multiview depth map illustrated in FIG. 5 by the operation of the trimap generator 140.
  • FIG. 11 illustrates a multi-view alphamat generated from the multi-view trimap shown in FIG. 10.
  • FIG. 12 is a flowchart illustrating a multiview image processing method according to an embodiment of the present invention.
  • FIG. 13 is a flowchart illustrating a more specific embodiment of step 1220 of FIG. 12.
  • the multi-view image processing apparatus includes a multi-view camera 110 and a depth camera 120, a three-dimensional warping unit 130, a trimap generator 140, an alphamat generator 150, and a foreground. It comprises an extraction unit 160.
  • the multi-view camera 110 is composed of a plurality of cameras (first to n-th camera) as shown.
  • the viewpoints of the plurality of cameras are different from each other according to the position of the camera, and thus a plurality of images having different viewpoints are bundled together to be called multiview images.
  • the multi-view image obtained from the multi-view camera 110 includes color information for each pixel on the 2D image constituting each image, but does not include depth information on the 3D image.
  • the depth camera 120 obtains a depth map having depth information on a 3D image.
  • the depth camera 120 is a device capable of illuminating a laser or an infrared ray to an object or a target area, obtaining a return ray, and obtaining depth information in real time.
  • the depth camera 120 includes a depth sensor for sensing depth information through a laser or infrared ray.
  • FIG. 2 is a three-dimensional view of an example in which a multiview camera 110 and a depth camera 120 are disposed.
  • the multiview camera 110 is configured in a form in which cameras are arranged in a line.
  • the depth camera 120 may be placed at the bottom (or top) of any one of them (eg, the center camera).
  • the arrangement of the multiview camera 110 and the arrangement of the depth camera 120 may be modified according to each viewpoint of the multiview image to be obtained.
  • 3 shows an example of a multiview image obtained from the multiview camera 110 and one depth map obtained from the depth camera 120.
  • the depth map obtained from the depth camera 120 is input to the 3D warping unit 130, and the 3D warping unit 130 3D warps the depth map to the viewpoint of each camera forming the multiview camera 110.
  • the 3D warping of the depth map uses camera parameters of each camera constituting the multiview camera 110 and camera parameters of the depth camera 120.
  • FIG. 4 is a reference diagram for explaining a process of three-dimensional warping a depth map obtained from the depth camera 120 to a viewpoint of an arbitrary camera of the multiview camera 110.
  • Cameras generally have internal and external parameters that are unique to the camera.
  • Internal parameters refer to the focal length and image center coordinates of the camera, and external parameters refer to their translation and rotation relative to the world coordinate system.
  • the base matrix P of the camera according to the internal and external parameters is obtained by the following equation.
  • the first matrix on the right side is a matrix consisting of internal parameters
  • the second matrix is a matrix consisting of external parameters
  • an inverse matrix of the base matrix of the depth camera 120 is applied to a depth map S obtained from the depth camera 120.
  • the base matrix of the camera ( l ) After converting to the world coordinate system by applying the), the base matrix of the camera ( l ) to form a multi-view camera 110 to the converted depth map ( ) Is projected to the camera l point of view.
  • FIG. 5 illustrates a depth map in which the depth map illustrated in FIG. 3 is three-dimensional warped to a viewpoint of each camera. Referring to FIG. 5, it can be seen that due to the 3D warping, a plurality of holes, which are pixels having no defined depth value, are generated.
  • the multi-view image obtained from the multi-view camera 110 and the multi-view depth map from the 3D warping unit 130 are input to the trimap generator 140 and the trimap generator 140.
  • the trimap generator 140 uses a target image and a three-dimensional warped depth map to generate a trimap corresponding to each image forming a multiview image.
  • FIG. 6 is a diagram illustrating a specific embodiment of the trimap generator 140.
  • a trimap is generated with a three-dimensional warped depth map corresponding to a target image forming a multi-view image. The process of doing this is explained in detail.
  • the trimap generator 140 includes a segment 141, a foreground area determiner 142, a hole remover 143, and an erosion / expansion calculator 144.
  • the segment unit 141 generates segmented images by performing color segmentation on each image forming a multiview image.
  • Color segmentation refers to a process of dividing an image into regions (segments) of similar colors.
  • the segment unit 141 sets segments between pixels whose luminance or chrominance difference between adjacent pixels is less than or equal to a threshold in the target image to which color segmentation is to be performed. That is, the segment unit 141 divides the image into segments by grouping pixels having similar luminance or color information in the target image. In this case, it may be assumed that the depth value is minutely changed in the divided segment, and the discontinuity point of the depth value is generated at the boundary of the segment. In order to satisfy this assumption, it is desirable that the segment be subdivided to be as small as possible, so that the threshold can be made small.
  • the range of similar luminance or chrominance increases, which may increase the size of the segment, thereby increasing the probability of including a discontinuity point of the depth value in the segment.
  • An example of an image in which an image in the center of the multi-view images of FIG. 3 is segmented by the segment unit 141 is illustrated in FIG. 7.
  • the depth value does not exist at all or is very sparse in an area far from the depth camera 120 according to the setting of the depth camera 120. In the area nearer to), all depth values exist or are very dense.
  • all depth values exist or are very dense.
  • a hole which is a pixel whose depth value is not defined, is generated due to the three-dimensional warping.
  • the discontinuity point of the depth value may occur at the boundary of the segment, it may be determined that the region having a large depth value among the segments is the foreground region, and the other region is the background region.
  • the foreground region determiner 142 segments the three-dimensional warped depth map corresponding to each segment of the image by the segment unit 141, and the depth value is present at a predetermined ratio or more in the segment. Determine the set of segments as the foreground area.
  • the ratio may be arbitrarily determined appropriately, for example, to determine the foreground area as a set of segments having a depth value of 70% or more.
  • the hole removing unit 143 displays pixel values surrounding the holes in the foreground area of the three-dimensional warped depth map. Fill it with the appropriate depth value. Parts outside the foreground area are no longer of interest, so the hole is filled only in the foreground area.
  • a 3x3 block is set around each hole in the foreground area, and the average of depth values of available pixels among the eight pixels adjacent to the hole, that is, pixels having a depth value, is used as the depth value of the corresponding hole.
  • FIG. 9 illustrates a depth map obtained by determining a foreground area from one of the three-dimensional warped depth maps shown in FIG. 5 and filling all holes of the foreground area.
  • a multiview trimap is generated by applying erosion and expansion operations to the.
  • the trimap is the image before obtaining the alpha matte, which is essential for matting, divided into the foreground and the background, and the unknown region whether it is the foreground or the background.
  • the erosion / expansion calculating unit 144 makes each depth map constituting the input multiview depth map into a binary image according to a predefined threshold value, and then erodes the edge of the binary image inwards and expands outwards so that the depth map is unknown.
  • Create multi-view trimaps by creating regions. For example, the trimap may be generated to have a pixel value of 0 for the background, 255 for the foreground, and 128 for the unknown area. The size of the unknown area may be predefined.
  • FIG. 10 illustrates a multiview trimap generated from the three-dimensional warped multiview depth map illustrated in FIG. 5 by the operation of the trimap generator 140 described above.
  • the multi-view trimap from the trimap generator 140 is input to the alphamat generator 150, and the alphamat generator 150 again uses the input multiview trimap.
  • the method of generating an alphamat from a trimap can use one of the known techniques. An example will be described.
  • the matting equation combines the foreground and background pixels.
  • the alphamat generator 150 may include a Cb converter, an edge extractor, an unknown region edge extractor, and an edge labeler.
  • the Cb converter converts the RGB color space into the YCbCr color space in the multiview image, and applies a Gaussian filter to Cb to reduce noise around the foreground boundary.
  • the edge extractor extracts a boundary from the image converted by the Cb converter.
  • the unknown region edge extractor extracts the unknown region edges of each viewpoint image based on the shared trimap unknown region information and the boundary of the multiview image extracted by the edge extractor.
  • the edge labeling unit deletes edges having a predetermined length or less based on the found edge lengths and performs labeling using only the remaining edges.
  • the edge labeling unit finds both ends of the labeled edges and connects the nearest endpoints to complete the closed curve. As a result, the inside of the final closed curve is the foreground and the outside is the background.
  • FIG. 11 shows a multiview alphamat generated from the multiview trimap shown in FIG. 10.
  • the multiview alphamat from the alphamat generator 150 is input to the foreground extractor 160, and the foreground extractor 160 applies a multiview alphamat to the multiview image from the multiview camera 110.
  • Extract multi-view foreground That is, a multiview foreground consisting of images extracted from the foreground is obtained by applying each alphamat forming a multiview alphamat to each image forming a multiview image.
  • the apparatus for processing a multiview image may further include a background synthesis unit generating a multiview composite image.
  • the background synthesizer receives a multiview foreground image from the multiview foreground extractor 160, and generates a multiview composite image by combining the multiview background taken in the same camera environment as the multiview camera 110.
  • the multi-view image processing method according to the present embodiment includes steps processed by the multi-view image processing apparatus described above. Therefore, even if omitted below, the above description of the multi-view image processing apparatus is applied to the multi-view image processing method according to the present embodiment.
  • the depth map obtained from the depth camera 120 is three-dimensional warped to the viewpoint of the multiview camera 110 to obtain a multiview depth map.
  • a multiview trimap corresponding to a multiview image is generated using the multiview depth map.
  • a multiview alphamat corresponding to a multiview image is generated using the multiview trimap.
  • a multiview foreground is extracted by applying a multiview alphamat to the multiview image.
  • the extracted multiview foreground may be synthesized with a multiview background taken in the same camera environment as the multiview camera 110 to generate a multiview composite image.
  • step 1220 is a flowchart illustrating a more specific embodiment of step 1220.
  • segmented images are generated by performing color segmentation on each image constituting the multi-view image.
  • a set of segments having a depth value greater than or equal to a predetermined ratio among the segments for each segmented image is determined as the foreground area.
  • a hole generated by 3D warping is filled in a corresponding foreground area of the multiview depth map.
  • a multiview trimap is generated from the multiview depth map filled with holes.
  • the above-described embodiments of the present invention can be written as a program that can be executed in a computer, and can be implemented in a general-purpose digital computer that operates the program using a computer-readable recording medium.
  • the computer-readable recording medium may be a magnetic storage medium (for example, a ROM, a floppy disk, a hard disk, etc.), an optical reading medium (for example, a CD-ROM, DVD, etc.) and a carrier wave (for example, the Internet). Storage medium).

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Computer Graphics (AREA)

Abstract

다시점 영상 처리 방법 및 장치가 개시된다. 본 발명에 따른 다시점 영상 처리 방법은, 깊이 카메라로부터 얻어진 깊이맵을 다시점 카메라의 시점으로 3차원 워핑하여 다시점 깊이맵을 얻는 단계; 상기 다시점 깊이맵을 이용하여 상기 다시점 카메라로부터 얻어진 다시점 영상에 대응하는 다시점 트라이맵을 생성하는 단계; 상기 다시점 트라이맵을 이용하여 상기 다시점 영상에 대응하는 다시점 알파맷을 생성하는 단계; 및 상기 다시점 알파맷을 상기 다시점 영상에 적용하여 다시점 전경을 추출하는 단계를 포함하는 것을 특징으로 한다. 이러한 본 발명에 의하면 다시점 영상에 대하여 자동적으로 고품질의 영상 매팅을 수행할 수 있다.

Description

다시점 영상 처리 방법 및 장치
본 발명은 다시점 영상 처리 방법 및 장치에 관한 것으로 보다 상세하게는 깊이 카메라로부터 얻어진 깊이맵과 다시점 카메라로부터 얻어진 다시점 영상을 이용하여 다시점 전경을 추출할 수 있는 다시점 영상 처리 방법 및 장치에 관한 것이다.
멀티미디어 기술의 발달로 최근 실감 미디어에 대한 관심이 높아지고 있다. 그 중 다시점 영상(multi-view image)은 시점이 다른 2 이상의 카메라(다시점 카메라)를 이용하여 획득한 영상들의 집합을 의미한다. 기존의 단일 시점 비디오와는 달리 다시점 비디오는 하나의 장면을 다수의 카메라를 통해 촬영함으로써 3차원의 동적인 영상을 생성할 수 있다. 이러한 다시점 영상은 사용자에게 자유로운 시점 및 넓은 화면을 통한 입체감을 제공할 수 있다. 최근에는 다양한 다시점 비디오 응용분야가 연구되고 있는데, 자유 시점 TV(Freeview TV : FTV), 3-D TV, 감시, 몰입형 원격회의 등에 대한 연구가 활발히 이루어지고 있다.
한편, 영화 산업이나 방송국에서는 특수효과를 위해 영상 합성 기술을 필요로 한다. 특히, 첨단 3차원 컴퓨터 그래픽 기술이 적용된 블록 버스터가 쏟아지는 요즈음은 우수한 영상 합성 기술의 확보가 필수적이라고 해도 과언이 아니다.
일반적으로 영상은 전경 객체와 배경으로 구분할 수 있다. 전경 객체를 배경으로부터 추출하는 것을 전경 맷(foreground matte)이라고 하며, 이미지의 픽셀 불투명도(opacity)를 나타내는 알파값을 고려하여 원 영상으로부터 배경을 제거한다. 이러한 기술을 영상 매팅(image matting)이라고 한다. 한편, 영상 합성은 알파값을 이용하여 전경 맷을 임의의 배경과 결합하는 것을 의미한다.
다시점 영상으로부터 전경을 추출하고, 다른 영상의 배경을 합성하기 위해서는 기본적으로 각 시점의 영상마다 전경을 추출하여야 한다. 종래에는 사용자 혹은 편집자가 직접 개입하여 각 시점의 영상마다 영상 매팅을 수행하는 수동적 매팅 방법이 대부분이었다. 즉, N개의 영상으로 이루어진 다시점 영상의 매팅을 수행하는 경우 일일이 N 번의 영상 매팅을 수행하여야 한다. 따라서 비디오 시퀀스와 같이 처리할 영상이 증가할수록 많은 시간과 노력이 필요하며 따라서 자동적으로 고품질의 영상 매팅을 수행할 수 있는 방법이 요구되고 있다.
본 발명이 이루고자 하는 기술적 과제는 다시점 영상에 대하여 자동적으로 고품질의 영상 매팅을 수행할 수 있는 다시점 영상 처리 방법 및 장치를 제공하는 데 있다.
상기 기술적 과제를 해결하기 위하여 본 발명에 따른 다시점 영상 처리 방법은, (a) 깊이 카메라로부터 얻어진 깊이맵을 다시점 카메라의 시점으로 3차원 워핑하여 다시점 깊이맵을 얻는 단계; (b) 상기 다시점 깊이맵을 이용하여 상기 다시점 카메라로부터 얻어진 다시점 영상에 대응하는 다시점 트라이맵을 생성하는 단계; (c) 상기 다시점 트라이맵을 이용하여 상기 다시점 영상에 대응하는 다시점 알파맷을 생성하는 단계; 및 (d) 상기 다시점 알파맷을 상기 다시점 영상에 적용하여 다시점 전경을 추출하는 단계를 포함하는 것을 특징으로 한다.
상기 (b) 단계에서 상기 다시점 트라이맵을 구성하는 각 트라이맵을 생성함에 있어서, 상기 다시점 영상을 구성하는 각 영상과 상기 다시점 깊이맵을 구성하는 각 3차원 워핑된 깊이맵을 가지고, (b1) 상기 3차원 워핑된 깊이맵에서 전경 영역을 결정하고, 상기 전경 영역에서 상기 3차원 워핑으로 인해 발생된 홀을 채우는 단계; 및 (b2) 상기 홀이 채워진 깊이맵으로부터 상기 트라이맵을 생성하는 단계를 포함할 수 있다.
상기 (b1) 단계는, (b11) 상기 영상에 대하여 컬러 세그멘테이션을 수행하여 세그먼트된 영상을 생성하는 단계; (b12) 상기 세그먼트된 영상의 세그먼트들 중 상기 3차원 워핑된 깊이맵에서의 깊이값이 일정 비율 이상 존재하는 세그먼트들의 집합을 상기 전경 영역으로 결정하는 단계; 및 (b13) 상기 3차원 워핑된 깊이맵의 상기 전경 영역에서 상기 3차원 워핑으로 인해 발생된 홀을 채우는 단계를 포함할 수 있다.
상기 (b13) 단계는, 상기 홀 주변의 화소들 중에서 이용 가능한 화소들의 깊이값들의 평균을 상기 홀의 깊이값으로 정함으로써 상기 홀을 채울 수 있다.
상기 (b2) 단계는, 상기 홀이 채워진 깊이맵에 침식 및 팽창 연산을 적용하여 상기 트라이맵을 생성할 수 있다.
상기 (a) 단계는, 상기 깊이 카메라의 카메라 파라미터와 상기 다시점 카메라를 구성하는 카메라 각각의 카메라 파라미터를 이용하여 상기 3차원 워핑을 수행할 수 있다.
상기 다시점 영상 처리 방법은, 상기 추출된 다시점 전경을 다시점 배경과 합성하여 다시점 합성 영상을 생성하는 단계를 더 포함할 수 있다.
상기 기술적 과제를 해결하기 위하여 본 발명에 따른 다시점 영상 처리 장치는, 깊이 카메라로부터 얻어진 깊이맵을 다시점 카메라의 시점으로 3차원 워핑하여 다시점 깊이맵을 얻는 3차원 워핑부; 상기 다시점 깊이맵을 이용하여 상기 다시점 카메라로부터 얻어진 다시점 영상에 대응하는 다시점 트라이맵을 생성하는 트라이맵 생성부; 상기 다시점 트라이맵을 이용하여 상기 다시점 영상에 대응하는 다시점 알파맷을 생성하는 알파맷 생성부; 및 상기 다시점 알파맷을 상기 다시점 영상에 적용하여 다시점 전경을 추출하는 전경 추출부를 포함하는 것을 특징으로 한다.
상기 트라이맵 생성부는 상기 다시점 트라이맵을 구성하는 각 트라이맵을 생성함에 있어서, 상기 다시점 영상을 구성하는 각 영상과 상기 다시점 깊이맵을 구성하는 각 3차원 워핑된 깊이맵을 가지고, 상기 3차원 워핑된 깊이맵에서 전경 영역을 결정하고 상기 전경 영역에서 상기 3차원 워핑으로 인해 발생된 홀을 채운 다음, 상기 홀이 채워진 깊이맵으로부터 상기 트라이맵을 생성할 수 있다.
상기 트라이맵 생성부는, 상기 영상에 대하여 컬러 세그멘테이션을 수행하여 세그먼트된 영상을 생성하는 세그먼트부; 상기 세그먼트된 영상의 세그먼트들 중 상기 3차원 워핑된 깊이맵에서의 깊이값이 일정 비율 이상 존재하는 세그먼트들의 집합을 상기 전경 영역으로 결정하는 전경 영역 결정부; 및 상기 3차원 워핑된 깊이맵의 상기 전경 영역에서 상기 3차원 워핑으로 인해 발생된 홀을 채우는 홀 제거부; 및 상기 홀이 채워진 깊이맵으로부터 상기 트라이맵을 생성하는 트라이맵 생성부를 포함할 수 있다.
상기 홀 제거부는, 상기 홀 주변의 화소값들 중에서 이용 가능한 화소들의 깊이값들의 평균을 상기 홀의 깊이값으로 정함으로써 상기 홀을 채울 수 있다.
상기 트라이맵 생성부는, 상기 홀이 채워진 깊이맵에 침식 및 팽창 연산을 적용하여 상기 트라이맵을 생성할 수 있다.
상기 3차원 워핑부는, 상기 깊이 카메라의 카메라 파라미터와 상기 다시점 카메라를 구성하는 카메라 각각의 카메라 파라미터를 이용하여 상기 3차원 워핑을 수행할 수 있다.
*상기 다시점 영상 처리 장치는, 상기 추출된 다시점 전경을 다시점 배경과 합성하여 다시점 합성 영상을 생성하는 배경 합성부를 더 포함할 수 있다.
상기 기술적 과제를 해결하기 위하여 상기된 본 발명에 따른 다시점 영상 처리 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.
상기된 본 발명에 의하면 깊이 카메라로부터 얻어진 깊이맵을 다시점 카메라의 시점으로 3차원 워핑하여 다시점 깊이맵을 얻고, 다시점 깊이맵을 이용하여 다시점 카메라로부터 얻어진 다시점 영상에 대응하는 다시점 트라이맵을 생성한 후 다시점 트라이맵을 이용하여 다시점 영상에 대응하는 다시점 알파맷을 생성함으로써 다시점 영상에 대하여 자동적으로 고품질의 영상 매팅을 수행할 수 있다.
도 1은 본 발명의 일 실시예에 따른 다시점 영상 처리 장치의 구성을 나타내는 도면이다.
도 2는 다시점 카메라(110)와 깊이 카메라(120)가 배치되는 형태의 예를 입체적으로 나타낸 도면이다.
도 3은 다시점 카메라(110)로부터 얻어지는 다시점 영상과 깊이 카메라(120)로부터 얻어지는 하나의 깊이맵의 예를 나타낸다.
도 4는 깊이 카메라(120)로부터 얻어진 깊이맵을 다시점 카메라(110)의 임의의 카메라의 시점으로 3차원 워핑하는 과정을 설명하기 위한 참고도이다.
도 5는 도 3에 도시된 깊이맵이 각 카메라의 시점으로 3차원 워핑된 깊이맵을 나타낸다.
도 6은 트라이맵 생성부(140)의 구체적인 일 실시예를 나타내는 구성도이다.
도 7은 세그먼트부(141)에 의해 도 3의 다시점 영상 중 가운데의 영상이 세그먼트된 영상의 예이다.
도 8은 3차원 워핑된 깊이맵에서 홀을 채우는 방법의 예를 설명하기 위한 참고도이다.
도 9는 도 5에 도시된 3차원 워핑된 깊이맵 중 하나에서 전경 영역의 홀을 모두 채운 결과 얻어진 깊이맵을 나타낸다.
도 10은 트라이맵 생성부(140)의 동작에 의해서 도 5에 도시된 3차원 워핑된 다시점 깊이맵으로부터 생성된 다시점 트라이맵을 나타낸다.
도 11은 도 10에 도시된 다시점 트라이맵으로부터 생성된 다시점 알파맷을 나타낸다.
도 12는 본 발명의 일 실시예에 따른 다시점 영상 처리 방법을 나타낸 흐름도이다.
도 13은 도 12의 1220단계의 보다 구체적인 일 실시예를 나타낸 흐름도이다.
이하에서는 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이하 설명 및 첨부된 도면들에서 실질적으로 동일한 구성요소들은 각각 동일한 부호들로 나타냄으로써 중복 설명을 생략하기로 한다. 또한 본 발명을 설명함에 있어 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시예에 따른 다시점 영상 처리 장치의 구성을 나타내는 도면이다. 본 실시예에 따른 다시점 영상 처리 장치는, 다시점 카메라(110)와 깊이 카메라(120), 3차원 워핑부(130), 트라이맵 생성부(140), 알파맷 생성부(150), 전경 추출부(160)를 포함하여 이루어진다.
다시점 카메라(110)는 도시된 바와 같이 복수 개의 카메라들(제1 내지 제n 카메라)로 구성된다. 상기 복수 개의 카메라들의 시점(viewpoint)은 카메라의 위치에 따라 서로 다르며, 이와 같이 서로 다른 시점을 갖는 복수 개의 영상들을 한데 묶어 다시점 영상이라 한다. 다시점 카메라(110)로부터 얻어지는 다시점 영상은 각 영상을 이루는 2차원 상의 픽셀별 색상 정보는 포함하지만 3차원 상의 깊이 정보는 포함하지 않는다.
깊이 카메라(120)는 3차원 상의 깊이 정보를 가지는 깊이맵을 획득한다. 깊이 카메라(120)는 레이저나 적외선을 객체나 대상 영역에 비추고, 되돌아오는 광선을 취득하여 깊이 정보를 실시간으로 얻을 수 있는 장치로서, 레이저나 적외선을 통해 깊이 정보를 센싱하는 깊이 센서를 구비한다.
도 2는 다시점 카메라(110)와 깊이 카메라(120)가 배치되는 형태의 예를 입체적으로 나타낸 도면으로서, 도시된 바와 같이 다시점 카메라(110)는 카메라들이 일렬로 배열된 형태로 구성되고, 그들 중 어느 하나(예를 들어 정가운데의 카메라)의 하단(또는 상단)에 깊이 카메라(120)가 놓여질 수 있다. 다시점 카메라(110)의 배열 및 깊이 카메라(120)의 배치는 얻고자 하는 다시점 영상의 각 시점에 따라서 변형될 수 있음은 물론이다.
도 3은 다시점 카메라(110)로부터 얻어지는 다시점 영상과 깊이 카메라(120)로부터 얻어지는 하나의 깊이맵의 예를 나타낸다.
깊이 카메라(120)로부터 얻어진 깊이맵은 3차원 워핑부(130)로 입력되고, 3차원 워핑부(130)는 상기 깊이맵을 다시점 카메라(110)를 이루는 각 카메라의 시점으로 3차원 워핑하여, n 개의 3차원 워핑된 깊이맵으로 이루어지는 다시점 깊이맵을 얻는다. 여기서 깊이맵의 3차원 워핑은 다시점 카메라(110)를 이루는 각 카메라의 카메라 파라미터와 깊이 카메라(120)의 카메라 파라미터를 이용하게 된다.
도 4는 깊이 카메라(120)로부터 얻어진 깊이맵을 다시점 카메라(110)의 임의의 카메라의 시점으로 3차원 워핑하는 과정을 설명하기 위한 참고도이다.
카메라는 일반적으로 카메라 고유의 특성인 내부 파라미터와 외부 파라미터를 가지고 있다. 내부 파라미터는 카메라의 초점거리와 이미지 중점 좌표값을 의미하고, 외부 파라미터는 월드 좌표계를 기준으로 하는 자신의 이동(translation)과 회전(rotation)을 의미한다. 내부 파라미터와 외부 파라미터에 따른 카메라의 기반 행렬 P는 다음 수학식에 의해 구해진다.
수학식 1
Figure PCTKR2010001631-appb-M000001
여기서, 우변의 첫 번째 행렬은 내부 파라미터로 이루어지는 행렬이고, 두 번째 행렬은 외부 파라미터로 이루어지는 행렬이다.
도 4에 도시된 바와 같이, 우선 깊이 카메라(120)로부터 얻어진 깊이맵( S )에 깊이 카메라(120)의 기반 행렬의 역행렬(
Figure PCTKR2010001631-appb-I000001
)을 적용하여 월드 좌표계로 변환한 후, 변환된 깊이맵에 다시점 카메라(110)를 이루는 한 카메라( l )의 기반 행렬(
Figure PCTKR2010001631-appb-I000002
)을 적용하여 카메라( l )의 시점으로 투영(projection)한다.
이러한 3차원 워핑은 다시점 카메라(110)를 이루는 카메라들 각각에 대하여 수행되며, 그 결과 다시점 영상을 이루는 영상들 각각에 대응되는 n 개의 3차원 워핑된 깊이맵들로 이루어지는 다시점 깊이맵이 얻어진다. 도 5는 도 3에 도시된 깊이맵이 각 카메라의 시점으로 3차원 워핑된 깊이맵을 나타낸다. 도 5를 참조하면, 3차원 워핑으로 인해 깊이값이 정의되지 않은 화소인 다수의 홀들이 발생하였음을 알 수 있다.
다시 도 1을 참조하면, 다시점 카메라(110)로부터 얻어지는 다시점 영상과 3차원 워핑부(130)로부터의 다시점 깊이맵은 트라이맵 생성부(140)로 입력되고, 트라이맵 생성부(140)는 상기 다시점 깊이맵을 이용하여 상기 다시점 영상을 이루는 영상들 각각에 대응하는 트라이맵들로 이루어지는 다시점 트라이맵을 생성한다.
트라이맵 생성부(140)는 다시점 영상을 이루는 각 영상에 대응하는 트라이맵을 생성함에 있어서, 대상 영상과 그에 대응하는 3차원 워핑된 깊이맵을 이용한다. 도 6은 트라이맵 생성부(140)의 구체적인 일 실시예를 나타내는 구성도로서, 이하에서는, 다시점 영상을 이루는 한 대상 영상에 대하여, 그에 대응하는 3차원 워핑된 깊이맵을 가지고 트라이맵을 생성하는 과정을 상세히 설명한다.
트라이맵 생성부(140)는 도시된 바와 같이, 세그먼트부(141), 전경 영역 결정부(142), 홀 제거부(143), 침식/팽창 연산부(144)를 포함하여 이루어진다.
세그먼트부(141)는 다시점 영상을 이루는 각 영상에 대하여 컬러 세그멘테이션을 수행하여 세그먼트된 영상을 생성한다. 컬러 세그멘테이션이란 영상을 비슷한 색상으로 이루어진 영역(세그먼트)들로 구분짓는 과정을 의미한다.
세그먼트부(141)는 컬러 세그멘테이션을 수행하고자 하는 대상 영상에서 인접 화소들끼리의 루미넌스(luminance) 또는 크로미넌스(chrominance) 차이가 임계값 이하인 화소들끼리 세그먼트(segment)를 설정한다. 즉, 세그먼트부(141)는 대상 영상 내에서 유사한 휘도 또는 색상 정보를 가지는 화소들끼리 묶어 영상을 세그먼트들로 분할한다. 이때, 분할된 세그먼트 내부에서는 깊이값이 미세하게 변화하며, 깊이값의 불연속점은 세그먼트의 경계에서 발생한다고 가정할 수 있다. 이러한 가정을 만족시키기 위해 세그먼트는 가능한 크기가 작도록 세분화되는 것이 바람직하며, 이를 위해 임계값을 작게 잡을 수 있다. 임계값이 커지면 유사한 루미넌스 또는 크로미넌스의 범위가 커지므로, 세그먼트의 크기가 증가하게 되어 세그먼트 내에 깊이값의 불연속점이 포함될 확률이 높아지는 문제점이 발생할 수 있다. 세그먼트부(141)에 의해 도 3의 다시점 영상 중 가운데의 영상이 세그먼트된 영상의 예가 도 7에 도시되어 있다.
깊이 카메라(120)에서 얻어진 깊이맵에서는 일반적으로 깊이 카메라(120)의 설정에 따라 깊이 카메라(120)로부터 거리가 먼 영역에서는 깊이값이 전혀 존재하지 않거나 매우 드문드문하게 존재하고, 깊이 카메라(120)로부터 거리가 가까운 영역에서는 깊이값이 모두 존재하거나 매우 조밀하게 존재한다. 이는 3차원 워핑된 깊이맵에서도 마찬가지이며, 다만 3차원 워핑으로 인하여 깊이값이 정의되지 않는 화소인 홀이 발생하게 된다. 이미 설명한 바와 같이 깊이값의 불연속점은 세그먼트의 경계에서 발생한다고 볼 수 있으므로, 세그먼트들 중 깊이값이 많이 존재하는 영역은 전경 영역으로, 그렇지 않은 영역은 배경 영역으로 판단할 수가 있다.
따라서 전경 영역 결정부(142)는 세그먼트부(141)에 의해 각 영상이 세그먼트된 결과에 따라 그에 대응하는 각 3차원 워핑된 깊이맵을 세그먼트화하고, 깊이값이 해당 세그먼트에서 일정 비율 이상 존재하는 세그먼트들의 집합을 전경 영역으로 결정한다. 상기 비율은 임의로 적절하게 정할 수 있는데, 예를 들어 깊이값이 70% 이상 존재하는 세그먼트들의 집합을 전경 영역으로 결정하는 것이다.
이미 설명한 바와 같이, 3차원 워핑된 깊이맵에는 깊이값이 정의되지 않는 홀이 다수개 존재하며, 홀 제거부(143)는 3차원 워핑된 깊이맵의 전경 영역에서 상기 홀을 주변의 화소값들을 이용하여 적절한 깊이값으로 채운다. 전경 영역 이외의 부분은 이제 관심의 대상이 아니므로, 전경 영역에 한하여 홀을 채우는 것이다.
본 실시예에서는 전경 영역의 각 홀을 중심으로 하는 3X3 블록을 설정하고, 홀에 인접한 8개 화소들 중에서 이용 가능한 화소들, 즉 깊이값이 존재하는 화소들의 깊이값들의 평균을 해당 홀의 깊이값으로 정한다. 예를 들어, 도 8에 도시된 바와 같이 홀에 해당하는 가운데 화소에 인접한 8개의 화소들 중 깊이값이 존재하는 픽셀들의 깊이값은 200, 212, 207이므로 그들의 평균(200+212+207/3=206.33)을 반올림해서 206을 해당 화소의 깊이값으로 정한다. 이러한 과정을 반복적으로 실행하면, 전경 영역의 모든 홀을 채울 수 있다. 도 9는 도 5에 도시된 3차원 워핑된 깊이맵 중 하나에서 전경 영역을 결정하고, 그 전경 영역의 홀을 모두 채운 결과 얻어진 깊이맵을 나타낸다.
다시 도 6을 참조하면, 전경 영역이 구분되고 홀이 모두 채워진 3차원 워핑된 다시점 깊이맵이 침식/팽창 연산부(144)로 입력되고, 침식/팽창 연산부(144)는 입력된 다시점 깊이맵에 침식 및 팽창 연산을 적용하여 다시점 트라이맵(trimap)을 생성한다. 트라이맵은 매팅을 수행하기 위해 필수적인 알파맷(alpha matte)을 얻기 이전의 영상으로, 전경과 배경 그리고 전경인지 배경인지 불확실한 미지 영역으로 구분된 영상이다. 침식/팽창 연산부(144)는 입력받은 다시점 깊이맵을 구성하는 각 깊이맵을 미리 정의된 임계치에 따라서 이진 영상(binary image)으로 만든 후, 이진 영상의 테두리 부분을 안으로 침식하고 밖으로 확장하여 미지 영역을 생성함으로써 다시점 트라이맵을 생성한다. 예컨대, 배경은 0, 전경은 255, 미지 영역은 128의 화소값을 갖도록 트라이맵을 생성할 수 있다. 그리고 미지 영역의 크기는 미리 정의될 수 있다.
도 10은 상기된 트라이맵 생성부(140)의 동작에 의해서 도 5에 도시된 3차원 워핑된 다시점 깊이맵으로부터 생성된 다시점 트라이맵을 나타낸다.
다시 도 1을 참조하면, 트라이맵 생성부(140)로부터의 다시점 트라이맵은 알파맷 생성부(150)로 입력되고, 알파맷 생성부(150)는 입력된 다시점 트라이맵을 이용하여 다시점 영상에 대응하는 다시점 알파맷을 생성한다. 즉, 트라이맵 생성부(140)는 다시점 트라이맵을 구성하는 각 트라이맵을 이용하여 알파맷을 생성함으로써 다시점 영상을 구성하는 각 영상에 대응하는 알파맷들로 이루어지는 다시점 알파맷을 생성한다. 트라이맵으로부터 알파맷을 생성하는 방법은 이미 알려진 기법들 중 하나를 사용할 수 있으며, 하나의 예를 설명하기로 한다.
알파맷은 매팅 방정식 I = αF + (1-α)B 에서 사용되는 α(alpha)값으로 이루어진 영상을 의미한다(I, F, B는 각각 합성 영상, 전경, 배경 영상). 매팅 방정식에 의해 전경과 배경의 픽셀이 합성된다. 도시되지 않았으나, 알파맷 생성부(150)는 Cb 변환부, 에지 추출부, 미지 영역 에지 추출부, 에지 레이블링부로 이루어질 수 있다.
Cb 변환부는 다시점 영상에서 RGB 컬러 공간을 YCbCr 컬러 공간으로 변환하고, 가우시안 필터를 Cb에 적용하여 전경 경계 주위의 노이즈를 감소시키는 역할을 수행한다. 에지 추출부는 Cb 변환부를 통해 변환된 영상에서 경계를 추출한다. 미지영역 에지 추출부는 공유한 트라이맵 미지 영역의 정보와 상기 에지 추출부에서 추출한 다시점 영상의 경계를 바탕으로 각 시점 영상의 미지 영역 에지들을 추출하는 부분이다. 에지 레이블링부는 찾아낸 에지들의 길이를 기준으로 특정 길이 이하의 에지는 삭제하고 나머지 에지들만 이용하여 레이블링을 수행한다. 에지 레이블링부는 레이블링된 에지들의 양끝을 찾고 가장 가까운 끝점끼리 연결하여 폐곡선을 완성한다. 이에 따라 최종적으로 완성된 폐곡선의 안쪽은 전경, 바깥쪽은 배경이 된다.
이러한 방법으로 다시점 영상의 각 영상에 대응하는 알파맷을 생성함으로써 다시점 알파맷을 완성한다. 도 11에는 도 10에 도시된 다시점 트라이맵으로부터 생성된 다시점 알파맷이 도시되어 있다.
알파맷 생성부(150)로부터의 다시점 알파맷은 전경 추출부(160)로 입력되고, 전경 추출부(160)는 다시점 카메라(110)로부터의 다시점 영상에 다시점 알파맷을 적용하여 다시점 전경을 추출한다. 즉, 다시점 영상을 이루는 각 영상에 다시점 알파맷을 이루는 각 알파맷을 적용하여 전경이 추출된 영상들로 이루어지는 다시점 전경을 획득한다.
도시되지는 않았으나, 본 실시예에 따른 다시점 영상 처리 장치는 다시점 합성 영상을 생성하는 배경 합성부를 더 포함할 수 있다. 배경 합성부는 다시점 전경 추출부(160)로부터 다시점 전경 영상을 입력받고, 다시점 카메라(110)와 동일한 카메라 환경에서 찍은 다시점 배경과 이를 합성하여 다시점 합성 영상을 생성한다.
도 12는 본 발명의 일 실시예에 따른 다시점 영상 처리 방법을 나타낸 흐름도이다. 본 실시예에 따른 다시점 영상 처리 방법은 이상에서 설명된 다시점 영상 처리 장치에서 처리되는 단계들로 구성된다. 따라서 이하 생략된 내용이라 하더라도 다시점 영상 처리 장치에 관하여 이상에서 기술된 내용은 본 실시예에 따른 다시점 영상 처리 방법에도 적용된다.
1210단계에서, 깊이 카메라(120)로부터 얻어진 깊이맵을 다시점 카메라(110)의 시점으로 3차원 워핑하여 다시점 깊이맵을 얻는다.
1220단계에서, 다시점 깊이맵을 이용하여 다시점 영상에 대응하는 다시점 트라이맵을 생성한다.
1230단계에서, 다시점 트라이맵을 이용하여 다시점 영상에 대응하는 다시점 알파맷을 생성한다.
1240단계에서, 다시점 알파맷을 다시점 영상에 적용하여 다시점 전경을 추출한다. 여기서 추출된 다시점 전경을 다시점 카메라(110)와 동일한 카메라 환경에서 찍은 다시점 배경과 합성하여 다시점 합성 영상을 생성할 수 있다.
도 13은 상기 1220단계의 보다 구체적인 일 실시예를 나타낸 흐름도이다.
1310단계에서, 다시점 영상을 구성하는 각 영상에 대하여 컬러 세그멘테이션을 수행하여 세그먼트된 영상들을 생성한다.
1320단계에서, 세그먼트된 각 영상에 대하여 세그먼트들 중 깊이값이 일정 비율 이상 존재하는 세그먼트들의 집합을 전경 영역으로 결정한다.
1330단계에서, 다시점 깊이맵의 해당하는 전경 영역에서 3차원 워핑으로 인해 발생된 홀을 채운다.
1340단계에서, 홀이 채워진 다시점 깊이맵으로부터 다시점 트라이맵을 생성한다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (17)

  1. (a) 깊이 카메라로부터 얻어진 깊이맵을 다시점 카메라의 시점으로 3차원 워핑하여 다시점 깊이맵을 얻는 단계;
    (b) 상기 다시점 깊이맵을 이용하여 상기 다시점 카메라로부터 얻어진 다시점 영상에 대응하는 다시점 트라이맵을 생성하는 단계;
    (c) 상기 다시점 트라이맵을 이용하여 상기 다시점 영상에 대응하는 다시점 알파맷을 생성하는 단계;
    (d) 상기 다시점 알파맷을 상기 다시점 영상에 적용하여 다시점 전경을 추출하는 단계를 포함하는 것을 특징으로 하는 다시점 영상 처리 방법.
  2. 제1항에 있어서,
    상기 (b) 단계에서 상기 다시점 트라이맵을 구성하는 각 트라이맵을 생성함에 있어서, 상기 다시점 영상을 구성하는 각 영상과 상기 다시점 깊이맵을 구성하는 각 3차원 워핑된 깊이맵을 가지고,
    (b1) 상기 3차원 워핑된 깊이맵에서 전경 영역을 결정하고, 상기 전경 영역에서 상기 3차원 워핑으로 인해 발생된 홀을 채우는 단계; 및
    (b2) 상기 홀이 채워진 깊이맵으로부터 상기 트라이맵을 생성하는 단계를 포함하는 것을 특징으로 하는 다시점 영상 처리 방법.
  3. 제2항에 있어서,
    상기 (b1) 단계는,
    (b11) 상기 영상에 대하여 컬러 세그멘테이션을 수행하여 세그먼트된 영상을 생성하는 단계;
    (b12) 상기 세그먼트된 영상의 세그먼트들 중 상기 3차원 워핑된 깊이맵에서의 깊이값이 일정 비율 이상 존재하는 세그먼트들의 집합을 상기 전경 영역으로 결정하는 단계; 및
    (b13) 상기 3차원 워핑된 깊이맵의 상기 전경 영역에서 상기 3차원 워핑으로 인해 발생된 홀을 채우는 단계를 포함하는 것을 특징으로 하는 다시점 영상 처리 방법.
  4. 제3항에 있어서,
    상기 (b13) 단계는, 상기 홀 주변의 화소들 중에서 이용 가능한 화소들의 깊이값들의 평균을 상기 홀의 깊이값으로 정함으로써 상기 홀을 채우는 것을 특징으로 하는 다시점 영상 처리 방법.
  5. 제4항에 있어서,
    상기 홀 주변의 화소들은 상기 홀과 인접한 8개의 화소들인 것을 특징으로 하는 다시점 영상 처리 방법.
  6. 제2항에 있어서,
    상기 (b2) 단계는, 상기 홀이 채워진 깊이맵에 침식 및 팽창 연산을 적용하여 상기 트라이맵을 생성하는 것을 특징으로 하는 다시점 영상 처리 방법.
  7. 제1항에 있어서,
    상기 (a) 단계는, 상기 깊이 카메라의 카메라 파라미터와 상기 다시점 카메라를 구성하는 카메라 각각의 카메라 파라미터를 이용하여 상기 3차원 워핑을 수행하는 것을 특징으로 하는 다시점 영상 처리 방법.
  8. 제1항에 있어서,
    상기 추출된 다시점 전경을 다시점 배경과 합성하여 다시점 합성 영상을 생성하는 단계를 더 포함하는 것을 특징으로 하는 다시점 영상 처리 방법.
  9. 제1항 내지 제8항 중 어느 한 항에 기재된 다시점 영상 처리 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  10. 깊이 카메라로부터 얻어진 깊이맵을 다시점 카메라의 시점으로 3차원 워핑하여 다시점 깊이맵을 얻는 3차원 워핑부;
    상기 다시점 깊이맵을 이용하여 상기 다시점 카메라로부터 얻어진 다시점 영상에 대응하는 다시점 트라이맵을 생성하는 트라이맵 생성부;
    상기 다시점 트라이맵을 이용하여 상기 다시점 영상에 대응하는 다시점 알파맷을 생성하는 알파맷 생성부; 및
    상기 다시점 알파맷을 상기 다시점 영상에 적용하여 다시점 전경을 추출하는 전경 추출부를 포함하는 것을 특징으로 하는 다시점 영상 처리 장치.
  11. 제10항에 있어서,
    상기 트라이맵 생성부는 상기 다시점 트라이맵을 구성하는 각 트라이맵을 생성함에 있어서, 상기 다시점 영상을 구성하는 각 영상과 상기 다시점 깊이맵을 구성하는 각 3차원 워핑된 깊이맵을 가지고, 상기 3차원 워핑된 깊이맵에서 전경 영역을 결정하고 상기 전경 영역에서 상기 3차원 워핑으로 인해 발생된 홀을 채운 다음, 상기 홀이 채워진 깊이맵으로부터 상기 트라이맵을 생성하는 것을 특징으로 하는 다시점 영상 처리 방법.
  12. 제11항에 있어서,
    상기 트라이맵 생성부는,
    상기 영상에 대하여 컬러 세그멘테이션을 수행하여 세그먼트된 영상을 생성하는 세그먼트부;
    상기 세그먼트된 영상의 세그먼트들 중 상기 3차원 워핑된 깊이맵에서의 깊이값이 일정 비율 이상 존재하는 세그먼트들의 집합을 상기 전경 영역으로 결정하는 전경 영역 결정부; 및
    상기 3차원 워핑된 깊이맵의 상기 전경 영역에서 상기 3차원 워핑으로 인해 발생된 홀을 채우는 홀 제거부; 및
    상기 홀이 채워진 깊이맵으로부터 상기 트라이맵을 생성하는 트라이맵 생성부를 포함하는 것을 특징으로 하는 다시점 영상 처리 장치.
  13. 제12항에 있어서,
    상기 홀 제거부는, 상기 홀 주변의 화소값들 중에서 이용 가능한 화소들의 깊이값들의 평균을 상기 홀의 깊이값으로 정함으로써 상기 홀을 채우는 것을 특징으로 하는 다시점 영상 처리 장치.
  14. 제13항에 있어서,
    상기 홀 주변의 화소들은 상기 홀과 인접한 8개의 화소들인 것을 특징으로 하는 다시점 영상 처리 장치.
  15. 제12항에 있어서,
    상기 트라이맵 생성부는, 상기 홀이 채워진 깊이맵에 침식 및 팽창 연산을 적용하여 상기 트라이맵을 생성하는 것을 특징으로 하는 다시점 영상 처리 장치.
  16. 제10항에 있어서,
    상기 3차원 워핑부는, 상기 깊이 카메라의 카메라 파라미터와 상기 다시점 카메라를 구성하는 카메라 각각의 카메라 파라미터를 이용하여 상기 3차원 워핑을 수행하는 것을 특징으로 하는 다시점 영상 처리 장치.
  17. 제10항에 있어서,
    상기 추출된 다시점 전경을 다시점 배경과 합성하여 다시점 합성 영상을 생성하는 배경 합성부를 더 포함하는 것을 특징으로 하는 다시점 영상 처리 장치.
PCT/KR2010/001631 2009-03-16 2010-03-16 다시점 영상 처리 방법 및 장치 Ceased WO2010107235A2 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020090022251A KR100989435B1 (ko) 2009-03-16 2009-03-16 다시점 영상 처리 방법 및 장치
KR10-2009-0022251 2009-03-16

Publications (2)

Publication Number Publication Date
WO2010107235A2 true WO2010107235A2 (ko) 2010-09-23
WO2010107235A3 WO2010107235A3 (ko) 2011-01-20

Family

ID=42740116

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2010/001631 Ceased WO2010107235A2 (ko) 2009-03-16 2010-03-16 다시점 영상 처리 방법 및 장치

Country Status (2)

Country Link
KR (1) KR100989435B1 (ko)
WO (1) WO2010107235A2 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120162412A1 (en) * 2010-12-22 2012-06-28 Electronics And Telecommunications Research Institute Image matting apparatus using multiple cameras and method of generating alpha maps
CN104767987B (zh) * 2015-02-04 2017-04-12 浙江工商大学 一种基于深度图的全搜索视点预测方法
CN107430782A (zh) * 2015-04-23 2017-12-01 奥斯坦多科技公司 用于利用深度信息的全视差压缩光场合成的方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013157779A1 (ko) * 2012-04-16 2013-10-24 삼성전자주식회사 합성 영상의 왜곡을 결정하는 영상 처리 장치 및 방법
KR101373603B1 (ko) * 2012-05-04 2014-03-12 전자부품연구원 홀 발생 억제를 위한 3ｄ­워핑 방법 및 이를 적용한 영상 처리 장치
KR102310789B1 (ko) * 2019-11-07 2021-10-07 연세대학교 산학협력단 다양한 시점에서 연속적으로 획득된 영상을 활용한 카메라 자세 및 깊이 추정 장치 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7602990B2 (en) 2005-09-29 2009-10-13 Mitsubishi Electric Research Laboratories, Inc. Matting using camera arrays
JP2007257623A (ja) 2006-03-24 2007-10-04 Mitsubishi Electric Research Laboratories Inc あるシーンについて取得されたビデオのアルファマットを求める方法およびシステム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120162412A1 (en) * 2010-12-22 2012-06-28 Electronics And Telecommunications Research Institute Image matting apparatus using multiple cameras and method of generating alpha maps
CN104767987B (zh) * 2015-02-04 2017-04-12 浙江工商大学 一种基于深度图的全搜索视点预测方法
CN107430782A (zh) * 2015-04-23 2017-12-01 奥斯坦多科技公司 用于利用深度信息的全视差压缩光场合成的方法

Also Published As

Publication number Publication date
KR20100104088A (ko) 2010-09-29
KR100989435B1 (ko) 2010-10-26
WO2010107235A3 (ko) 2011-01-20

Similar Documents

Publication Publication Date Title
JP4644669B2 (ja) マルチビュー画像の生成
CN106162137B (zh) 虚拟视点合成方法及装置
CN106504190B (zh) 一种基于3d卷积神经网络的立体视频生成方法
WO2011087289A2 (en) Method and system for rendering three dimensional views of a scene
WO2010107235A2 (ko) 다시점 영상 처리 방법 및 장치
JPWO2019031259A1 (ja) 画像処理装置および方法
JP2018124890A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US7787658B2 (en) Creating a depth map
US20170116741A1 (en) Apparatus and Methods for Video Foreground-Background Segmentation with Multi-View Spatial Temporal Graph Cuts
KR101549929B1 (ko) 깊이 지도를 생성하는 방법 및 장치
WO2022203464A2 (ko) 멀티뷰 어안 렌즈들을 이용한 실시간 전방위 스테레오 매칭 방법 및 그 시스템
US20230063150A1 (en) Multi-channel high-quality depth estimation system
EP2741503A1 (en) Method and apparatus for color transfer between images
KR100960694B1 (ko) 다시점 영상 매팅 시스템과 방법 및 이를 수록한 저장매체
WO2014014135A1 (ko) 촬영된 이미지의 리포커싱 방법, 장치, 및 컴퓨터 판독 가능한 기록 매체
JP4862004B2 (ja) 奥行きデータ生成装置及び奥行きデータ生成方法ならびにそのプログラム
WO2011093568A1 (ko) 레이아웃 기반의 인쇄매체 페이지 인식방법
CN112689064B (zh) 视频画面处理方法和装置
CN111415367A (zh) 一种图像背景的去除方法及装置
WO2017086522A1 (ko) 배경스크린이 필요 없는 크로마키 영상 합성 방법
KR100421208B1 (ko) 3차원영상의합성방법
WO2013077508A1 (ko) 깊이 맵 생성 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법
Zhi An alternative green screen keying method for film visual effects
WO2025116689A1 (en) Method and apparatus for reproducing dynamic scene as 3d model using video
TWI496110B (zh) Method of Transforming 3D Image Video with Low Complexity Two - dimensional Video

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10753685

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10753685

Country of ref document: EP

Kind code of ref document: A2