WO2015111826A1 - 참조 영역 분할을 이용한 인페인팅 장치 및 방법 - Google Patents

참조 영역 분할을 이용한 인페인팅 장치 및 방법 Download PDF

Info

Publication number
WO2015111826A1
WO2015111826A1 PCT/KR2014/009924 KR2014009924W WO2015111826A1 WO 2015111826 A1 WO2015111826 A1 WO 2015111826A1 KR 2014009924 W KR2014009924 W KR 2014009924W WO 2015111826 A1 WO2015111826 A1 WO 2015111826A1
Authority
WO
WIPO (PCT)
Prior art keywords
inpainting
group
region
split
result
Prior art date
Application number
PCT/KR2014/009924
Other languages
English (en)
French (fr)
Inventor
이수빈
신형철
한주현
전병기
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Priority to US14/896,888 priority Critical patent/US9922404B2/en
Priority to CN201480072211.4A priority patent/CN105874504B/zh
Publication of WO2015111826A1 publication Critical patent/WO2015111826A1/ko
Priority to US15/887,670 priority patent/US10127643B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation

Definitions

  • the present invention relates to an inpainting apparatus and method using a reference region segmentation. More particularly, the present invention relates to an inpainting apparatus and method, in which the inpainting region is not segmented or divided into multiple stages to perform inpainting, and to provide a user with the difference information of each inpainting result.
  • the present invention relates to an inpainting apparatus and a method using reference region partitioning.
  • the key is to infuse a virtual image into the video that has already been created, or to erase a portion of the image of the video that has already been created and restore it to match the background.
  • the inpainting area is not divided or divided into multiple stages to perform inpainting and to provide a user with the difference information of each inpainting result, which causes awkward inpainting result when inpainting in a single mode.
  • an object of the present invention is to perform a more natural inpainting by providing a variety of inpainting result information to the user and receiving the user's feedback in the final inpainting result.
  • an inpainting apparatus using reference region division may include a reference including an inpainting target region in video image content and pixels existing within a predetermined distance from a boundary pixel of the inpainting target region.
  • An area determining unit which determines an area;
  • An inpainting performer And an information providing unit for visually providing a difference information between the split inpainting result, the non-partitioned inpainting result, and the split inpainting and non-partitioned inpainting result to the user.
  • the inpainting group setting unit may further include a group set generating unit for generating a group set according to the number of the inpainting groups, and the group set generating unit includes a first group in which the inpainting group is set to a first divided number. A set may be generated, and a second group set in which the inpainting group is set to a second divided number different from the first divided number may be generated.
  • the split inpainting may include a first split inpainting performed on the first group set and a second split inpainting performed on the second group set.
  • the split inpainting result may include the first split inpainting and the second split inpainting.
  • the information providing unit may further visually display difference information between the first split inpainting and the second split inpainting result.
  • the group set generator may further generate the second group set having the number of inpainting groups equal to or less than the reference group number.
  • the group set generator may generate the second divided set by merging any two or more of the inpainting groups of the first group set when the first divided number exceeds a preset reference divided number.
  • the inpainting group setting unit calculates an edge value of the pixel in the reference area, determines whether the change amount of the edge value is within a predetermined reference change amount, and groups the pixels in the reference area according to the determination result. It can be set as a split reference area.
  • the inpainting group setting unit may determine whether the change amount of the edge value is within a preset reference change amount, and group the pixels in the reference area as the division reference area according to the determination result.
  • the inpainting group setting unit may determine whether the pixel value in the reference region is within a preset similar range from the reference pixel value, and set the pixels corresponding to the similar range as the same inpainting group.
  • the inpainting group setting unit may divide the target area using the pattern of the division boundary line of the reference area.
  • the inpainting method using the reference region segmentation the step of determining a reference region consisting of the inpainting target region in the video image content and pixels existing within a predetermined distance from the boundary pixels of the inpainting target region ; Setting an inpainting group in which a divided reference region obtained by dividing the reference region and a divided target region obtained by dividing the target region so as to correspond to the divided reference region by using a pixel value in the reference region; Performing segmented inpainting on the divided target region using the split reference region in units of the inpainting group, and performing non-divided inpainting on the target region using the reference region. step; And visually providing a user with difference information between the split inpainting result, the non-partitioned inpainting result, and the split inpainting and non-partitioned inpainting result.
  • the setting of the inpainting group may further include generating a group set according to the number of the inpainting groups, and the generating of the group set may include: The set first group set may be generated, and a second group set in which the inpainting group is set to a second divided number different from the first divided number may be generated.
  • the split inpainting may include a first split inpainting performed on the first group set and a second split inpainting performed on the second group set.
  • the split inpainting result may include the first split inpainting and the second split inpainting.
  • the providing of the difference information may further visually display difference information between the first split inpainting and the second split inpainting result.
  • the generating of the group set may further generate the second group set in which the number of inpainting groups of the first group set exceeds a preset reference group number, wherein the number of inpainting groups is less than or equal to the reference group number. can do.
  • the generating of the group set may include generating at least two of the inpainting groups of the first group set by merging at least two of the inpainting groups of the first group set when the number of first divisions exceeds a preset reference division number. can do.
  • the inpainting area is not divided or divided into multiple stages to perform the inpainting and provide the user with the difference information of each inpainting result, thereby making the awkward inpainting result when the inpainting is performed in a single mode. Possible problems can be solved.
  • the present invention provides more inpainting result information to the user and receives the user's feedback to reflect the final inpainting result, it is possible to perform a more natural inpainting.
  • FIG. 1 is a block diagram illustrating an inpainting apparatus using reference region partitioning according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an example of determining a target area and a reference area according to the present invention.
  • 3 to 6 are diagrams showing an example of setting an inpainting group according to the present invention.
  • FIG. 7 and 8 illustrate an example of generating a group set according to the present invention.
  • FIG. 9 is an operation flowchart illustrating an inpainting method using reference region partitioning according to an embodiment of the present invention.
  • FIG. 1 is a block diagram illustrating an inpainting apparatus using reference region partitioning according to an embodiment of the present invention.
  • an inpainting apparatus using reference region partitioning includes an area determining unit 110, an inpainting group setting unit 120, an inpainting performing unit 130, and an information providing unit. 140.
  • the region determiner 110 determines a reference region including an inpainting target region in the video image content and pixels existing within a predetermined distance from a boundary pixel of the inpainting target region.
  • the inpainting target area means an area in which inpainting is to be performed in the video image content.
  • the inpainting target area may be determined according to a user input.
  • the inpainting group setting unit 120 sets an inpainting group that pairs a split reference region obtained by dividing the reference region by using pixel values in the reference region and a split target region obtained by dividing the target region to correspond to the split reference region. do.
  • the inpainting group setting unit 120 calculates an edge value of the pixel in the reference area, determines whether the change amount of the edge value is within a predetermined reference change amount, and groups the pixels in the reference area according to the determination result. It can be set as a split reference area.
  • the inpainting group setting unit 120 may determine whether the change amount of the edge value is within a preset reference change amount, and group the pixels in the reference area according to the determination result and set the divided reference area.
  • the reference change amount may be a reference value preset in order to identify pixels having a large change amount of an edge value among pixels in the reference area.
  • the inpainting group setting unit 120 may determine whether the pixel value in the reference region is within a preset similar range from the reference pixel value, and set the pixels corresponding to the similar range as the same inpainting group.
  • the reference pixel value may be a reference value preset in order to identify pixels having similar pixel values among the pixels in the reference region.
  • the reference pixel value may be a reference value which is preset to a pixel value having a predetermined or more distribution using a distribution histogram of pixel values.
  • the inpainting group setting unit 120 may divide the target area by using the pattern of the division boundary line of the reference area.
  • the inpainting group setting unit 120 divides the target area into a straight line pattern when the dividing boundary line of the reference area is a straight pattern, and when the dividing boundary line of the reference area is a zigzag pattern, the target area is also arranged as a zigzag pattern. Can be divided
  • the inpainting group setting unit 120 may further include a group set generating unit for generating a group set according to the number of inpainting groups.
  • the group set is a set in which a method of dividing the same target area and the reference area in various ways is set.
  • the group set generation unit may generate a first group set in which the inpainting group is set to the first division number, and generate a second group set in which the inpainting group is set to a second division number different from the first division number.
  • the group set generator may generate a first group set in which the inpainting group is set in two divisions and a second group set in which the inpainting group is set in three divisions.
  • the group set generator may further generate a second group set having the number of inpainting groups equal to or less than the reference group number.
  • the reference group number may be an upper limit value of a preset number of inpainting groups to limit the case where the inpainting group is divided into too many.
  • the group set generator may further generate a second group set having six or less inpainting groups.
  • the group set generation unit may generate a second division set by merging any two or more of the inpainting groups of the first group set.
  • the group set generating unit merges any two of the inpainting groups in the first group set to have a total of six inpainting groups.
  • a second set of groups can be created.
  • the group set generator may merge groups having similar pixel representative values of each inpainting group.
  • the inpainting performing unit 130 performs partitioned inpainting to perform the inpainting on the divided target region using the divided reference region in units of inpainting group, and non-partitioned inpainting to perform the inpainting on the target region using the reference region. Do this.
  • undivided inpainting is inpainting performed without dividing the reference region and the target region.
  • split inpainting may include first split inpainting performed on the first group set and second split inpainting performed on the second group set.
  • the split inpainting result may include a first split inpainting and a second split inpainting result.
  • the information providing unit 140 visually provides the user with information on the difference between the split inpainting result, the non-partitioned inpainting result, and the split inpainting and non-partitioned inpainting result.
  • the information providing unit may further visually display difference information between the first split inpainting and the second split inpainting result.
  • the inpainting apparatus using the reference region segmentation does not segment the inpainting region or divides the inpainting region into multiple stages to perform inpainting and provide difference information on the result of each inpainting performance to the user. Can be.
  • the inpainting apparatus using the reference region segmentation does not segment the inpainting region or divides the inpainting region into multiple stages to perform inpainting and provide difference information on the result of each inpainting performance to the user. Can be.
  • by providing various inpainting result information to the user and receiving the user's feedback and reflecting it in the final inpainting result more natural inpainting can be performed.
  • FIG. 2 is a diagram illustrating an example of determining a target area and a reference area according to the present invention.
  • the determining of the target area and the reference area includes determining a pixel corresponding to a target to be inpainted in the video image frame 200 and a region of a pixel referred to when performing inpainting. do.
  • the pixel corresponding to the target to be inpainted may be a pixel in the target region, and the pixel exists inside the target region boundary line 210.
  • the pixel referred when performing the inpainting may be a pixel existing between the target region boundary line 210 and the reference region boundary line 220 spaced outward from the target region boundary line 210 by a predetermined distance.
  • the inpainting target area or the target area boundary line 210 may be determined according to a user input.
  • 3 to 6 are diagrams showing an example of setting an inpainting group according to the present invention.
  • FIG. 3 to 6 illustrate only the target region and the reference region in FIG. 2, and sets the inpainting group in the order of FIG. 3 to FIG. 6.
  • setting the inpainting group according to the present invention targets only the target region 310 and the reference region 320.
  • the setting of the inpainting group according to the present invention divides the reference region 320 by using pixel values in the reference region 320.
  • the step of setting the inpainting group according to the present invention uses a pixel value in the reference area 320 to convert the area corresponding to the outside of the desk into the first divided reference area 421 in FIG.
  • the corresponding area is divided into a second divided reference area 422.
  • the step of setting the inpainting group according to the present invention determines whether the pixel value in the reference region 320 is within a preset similar range from the reference pixel value, and the pixels corresponding to the similar range are divided into the same reference region. Can be divided into
  • the reference pixel value may be a reference value preset in order to identify pixels having similar pixel values among the pixels in the reference region.
  • the area corresponding to the outside of the desk corresponding to the outside of the desk is defined as the first segmentation reference area 421.
  • the reference pixel value may be a reference value which is preset to a pixel value having a predetermined or more distribution using a distribution histogram of pixel values.
  • the reference pixel value is one of pixel values outside the desk and pixels inside the desk, respectively. It can be any one of the values.
  • the setting of the inpainting group according to the present invention may include calculating an edge value of the pixel in the reference region 320, determining whether the change amount of the edge value is within a preset reference change amount, and referring to the determination result. You can divide the area.
  • the reference change amount may be a reference value preset in order to identify pixels having a large change amount of an edge value among pixels in the reference area.
  • the area corresponding to the outside of the desk is referred to as the first divided reference area 421 and the area corresponding to the inside of the desk. May be divided into a second partitioned reference region 422.
  • the setting of the inpainting group according to the present invention divides the target region 310 to correspond to the divided reference regions 421 and 422.
  • the target region 310 may be divided using a pattern of a boundary line between the divided reference regions 421 and 422.
  • the target region 310 is the split target area 511 having a straight line boundary line. And 512).
  • the target region 310 has the division target regions 511 and 512 having a zigzag pattern. Can be divided into
  • the step of setting the inpainting group according to the present invention is to divide the divided reference regions 421 and 422 and the divided target regions 511 and 512 corresponding to the respective divided reference regions 421 and 422.
  • Inpainting groups 601 and 602 are set in pairs.
  • the inpainting group 601 when the split reference region 421 and the split target region 511 correspond to each other, the inpainting group 601 may be set as a pair.
  • the setting of the inpainting group according to the present invention may be performed by dividing the reference region 320, dividing the target region 310 so as to correspond to the divided reference region ( It can be seen that the inpainting groups 601 and 602 are set by pairing the division target regions 511 and 512 corresponding to the divisional regions 421 and 422 and the divisional reference regions 421 and 422, respectively.
  • FIG. 7 and 8 illustrate an example of generating a group set according to the present invention.
  • FIG. 7 illustrates a first group set in which a total of two inpainting groups are set
  • FIG. 8 illustrates a second group set in which a total of four inpainting groups are set.
  • the step of generating a group set according to the present invention may generate a group set by varying the number of inpainting groups.
  • the group set is a set in which a method of dividing the same target area and the reference area in various ways is set.
  • the first inpainting group 701 corresponding to the outside of the desk and the second inpainting group 702 corresponding to the inside of the desk are set as the first group set.
  • the inpainting groups 801 to 803 are set according to the color of the back background among the outside parts of the desk as the second group set, and the fourth inpainting group 804 is set inside the desk. It can be seen.
  • the step of generating a group set according to the present invention generates various inpainting group settings generated as different group values generated by different reference values, such as similar ranges of pixel values, in setting the inpainting group. It can be seen.
  • FIG. 9 is an operation flowchart illustrating an inpainting method using reference region partitioning according to an embodiment of the present invention.
  • an inpainting method using reference region partitioning includes pixels that exist within a predetermined distance from an inpainting target region and a boundary pixel of the inpainting target region in video image content.
  • the reference region is determined (S910).
  • the inpainting target area means an area in which inpainting is to be performed in the video image content.
  • the inpainting target area may be determined according to a user input.
  • the inpainting method using reference region partitioning divides the reference region by dividing the reference region using pixel values in the reference region and the segmentation target region obtained by dividing the target region to correspond to the segmented reference region.
  • An inpainting group is set in pairs (S920).
  • step S920 calculates an edge value of the pixel in the reference area, determines whether the change amount of the edge value is within a predetermined reference change amount, and groups the pixels in the reference area according to the determination result to the split reference area. Can be set.
  • operation S920 it may be determined whether the change amount of the edge value is within a predetermined reference change amount, and the pixels in the reference area may be grouped and set as the divided reference area according to the determination result.
  • the reference change amount may be a reference value preset in order to identify pixels having a large change amount of an edge value among pixels in the reference area.
  • step S920 may determine whether the pixel value in the reference area is within a preset similar range from the reference pixel value, and set pixels corresponding to the similar range as the same inpainting group.
  • the reference pixel value may be a reference value preset in order to identify pixels having similar pixel values among the pixels in the reference region.
  • the reference pixel value may be a reference value which is preset to a pixel value having a predetermined or more distribution using a distribution histogram of pixel values.
  • the target area may be divided using the pattern of the division boundary line of the reference area.
  • the target region when the dividing boundary line of the reference region is a straight line pattern, the target region may be divided into a straight line pattern.
  • the target region when the dividing boundary line of the reference region is a zigzag pattern, the target region may also be divided into a zigzag pattern. .
  • step S920 may further include generating a group set according to the number of inpainting groups.
  • the group set is a set in which a method of dividing the same target area and the reference area in various ways is set.
  • the generating of the group set may include generating a first group set in which the inpainting group is set to the first division number, and generating a second group set in which the inpainting group is set to a second division number different from the first division number. can do.
  • the generating of the group set may generate a first group set in which the inpainting group is set in two divisions and a second group set in which the inpainting group is set in three divisions.
  • the generating of the group set may further generate a second group set in which the number of inpainting groups is less than or equal to the reference group number when the number of inpainting groups of the first group set exceeds a preset reference group number.
  • the reference group number may be an upper limit value of a preset number of inpainting groups to limit the case where the inpainting group is divided into too many.
  • the generating of the group set may further generate a second group set having six or less inpainting groups when the number of inpainting groups of the first group set exceeds six, which is a preset reference group number. Can be.
  • the generating of the group set may generate a second division set by merging any two or more of the inpainting groups of the first group set when the number of first divisions exceeds a predetermined reference division number.
  • the step of generating a group set if the number of reference groups is six and there are seven inpainting groups in the first group set, the total of six inpaintings by merging any two of the inpainting groups in the first group set A second set of groups with groups can be created.
  • the generating of the group set may merge groups having similar pixel representative values of each inpainting group.
  • the inpainting method using the reference region partitioning according to an embodiment of the present invention, the segmentation inpainting to perform the inpainting to the segmentation target region using the segmentation reference region in units of the inpainting group, and the target using the reference region Non-partitioned inpainting is performed to inpaint the region (S930).
  • undivided inpainting is inpainting performed without dividing the reference region and the target region.
  • split inpainting may include first split inpainting performed on the first group set and second split inpainting performed on the second group set.
  • the split inpainting result may include a first split inpainting and a second split inpainting result.
  • the inpainting method using the reference region segmentation provides a user with visual information on the difference between the segmented inpainting result, the non-partitioned inpainting result, and the partly inpainted and non-partitioned inpainting result. .
  • step S540 may further visually display difference information between the first split inpainting and the second split inpainting result.
  • the inpainting method using the reference region partitioning does not divide the inpainting region or divides it in multiple stages to perform the inpainting and provide the user with difference information on the result of each inpainting. Can be.
  • the inpainting method using the reference region partitioning does not divide the inpainting region or divides it in multiple stages to perform the inpainting and provide the user with difference information on the result of each inpainting. Can be.
  • by providing various inpainting result information to the user and receiving the user's feedback and reflecting it in the final inpainting result more natural inpainting can be performed.
  • Each step shown in FIG. 9 may be performed in the order shown in FIG. 9, in the reverse order, or simultaneously.
  • the inpainting method using reference region partitioning according to the present invention may be implemented as a program or a smartphone app that can be executed through various computer means.
  • the program or the smartphone app may be recorded in a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks.
  • Magneto-optical media and any type of hardware device specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like.
  • Examples of program instructions may include high-level language code that can be executed by a computer using an interpreter as well as machine code such as produced by a compiler.
  • Such hardware devices may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.
  • the inpainting apparatus and method using the reference region division according to the present invention are not limited to the configuration and method of the embodiments described as described above, but the embodiments may be modified in various ways. All or some of the embodiments may be selectively combined.
  • the inpainting area is not divided or divided into multiple stages to perform the inpainting and provide the user with the difference information of each inpainting performance result, so that when the inpainting is performed in a single mode, an awkward inpainting result occurs.
  • interest in virtual indirect advertising which doubles the advertising effect by inserting images of advertisement items in dramas and sports broadcasts, is increasing.
  • the core of inpainting technology is to insert an image naturally or to erase a part of an image of an already generated video and to naturally restore it to match with a background.
  • the inpainting apparatus and method using the reference region segmentation of the present invention is useful. Will not be less.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

참조 영역 분할을 이용한 인페인팅 장치 및 방법이 개시된다. 본 발명에 따른 참조 영역 분할을 이용한 인페인팅 장치는, 비디오 영상 콘텐츠 내 인페인팅 대상 영역 및 참조 영역을 결정하는 영역 결정부; 참조 영역 내 픽셀 값을 이용하여 인페인팅 그룹을 설정하는 인페인팅 그룹 설정부; 인페인팅 그룹 단위로 분할 참조 영역을 이용하여 분할 대상 영역에 인페인팅을 수행하는 분할 인페인팅, 및 참조 영역을 이용하여 대상 영역에 인페인팅을 수행하는 비분할 인페인팅을 수행하는 인페인팅 수행부; 및 사용자에게 시각적으로 분할 인페인팅 결과, 비분할 인페인팅 결과, 및 분할 인페인팅 및 비분할 인페인팅 결과의 차이 정보를 제공하는 정보 제공부를 포함한다.

Description

참조 영역 분할을 이용한 인페인팅 장치 및 방법
본 발명은 참조 영역 분할을 이용한 인페인팅 장치 및 방법에 관한 것으로, 더욱 상세하게는 인페인팅 영역을 분할하지 않거나, 다단계로 분할하여 인페인팅을 수행하고 각 인페인팅 수행 결과의 차이 정보를 사용자에게 제공할 수 있는 참조 영역 분할을 이용한 인페인팅 장치 및 방법에 관한 것이다.
본 발명은 2014년 01월 24일 출원된 한국특허출원 제10-2014-0009197호의 출원일의 이익을 주장하며, 그 내용 전부는 본 명세서에 포함된다.
디지털 신호 처리 기술의 발달에 따라 비디오에 가상 이미지를 삽입하는 가상 광고가 보편화되었고, 효과적인 광고 수단으로서 간접 광고가 자리매김함에 따라, 가상 광고와 간접 광고를 결합하여 광고 이미지를 이미 생성된 비디오에 자연스럽게 삽입하는, 가상간접광고에 대한 관심이 급증하고 있다.
가상간접광고와 관련하여, 이미 생성된 비디오에 가상 이미지를 자연스럽게 삽입하거나, 이미 생성된 비디오의 이미지 일부를 소거하고 배경과 어울리도록 자연스럽게 복원하는 인페인팅 기술이 핵심이다.
인페인팅 기술에서 대상 영역을 복원하기 위해서는 복원에 사용될 참조 영역이 필요한데, 참조 영역을 비디오 프레임 전체와 같이 무제한적으로 지정하는 경우, 연산량이 급증하는 문제가 있고, 참조 영역을 제한하더라도, 참조 영역과 복원할 영역의 상관관계를 고려하지 않고 전체적으로 인페인팅을 수행하는 경우 의도하지 않은 인페인팅 결과가 발생하는 문제가 있었다.
따라서, 인페인팅 영역을 분할하지 않거나, 다단계로 분할하여 인페인팅을 수행하고 각 인페인팅 수행 결과의 차이 정보를 사용자에게 제공함으로써, 단일 모드로 인페인팅을 수행하는 경우 어색한 인페인팅 결과가 발생하는 문제를 해결할 수 있는 새로운 인페인팅 기술의 필요성이 대두된다.
관련 선행기술로는, 한국 공개 특허 제10-2013-0056407호, 2013년 5월 30일 공개 (명칭: Ｈ.264 에러 은닉 영상을 위한 인페인팅 시스템 및 그 방법)가 있다.
본 발명의 목적은, 인페인팅 영역을 분할하지 않거나, 다단계로 분할하여 인페인팅을 수행하고 각 인페인팅 수행 결과의 차이 정보를 사용자에게 제공함으로써, 단일 모드로 인페인팅을 수행하는 경우 어색한 인페인팅 결과가 발생하는 문제를 해결하는 것이다.
또한, 본 발명의 목적은 본 발명은 여러가지 인페인팅 결과 정보를 사용자에게 제공하고 사용자의 피드백을 입력 받아 최종 인페인팅 결과에 반영함으로써, 보다 자연스러운 인페인팅을 수행하는 것이다.
상기한 목적을 달성하기 위한 본 발명에 따른 참조 영역 분할을 이용한 인페인팅 장치는, 비디오 영상 콘텐츠 내 인페인팅 대상 영역 및 상기 인페인팅 대상 영역의 경계 픽셀로부터 기설정된 거리 내에 존재하는 픽셀들로 이루어진 참조 영역을 결정하는 영역 결정부; 상기 참조 영역 내 픽셀 값을 이용하여 상기 참조 영역을 분할한 분할 참조 영역 및 상기 분할 참조 영역에 대응되도록 상기 대상 영역을 분할한 분할 대상 영역을 한 쌍으로 하는 인페인팅 그룹을 설정하는 인페인팅 그룹 설정부; 상기 인페인팅 그룹 단위로 상기 분할 참조 영역을 이용하여 상기 분할 대상 영역에 인페인팅을 수행하는 분할 인페인팅, 및 상기 참조 영역을 이용하여 상기 대상 영역에 인페인팅을 수행하는 비분할 인페인팅을 수행하는 인페인팅 수행부; 및 사용자에게 시각적으로 상기 분할 인페인팅 결과, 비분할 인페인팅 결과, 및 상기 분할 인페인팅 및 비분할 인페인팅 결과의 차이 정보를 제공하는 정보 제공부를 포함한다.
이 때, 인페인팅 그룹 설정부는 상기 인페인팅 그룹의 개수에 따라 달리하여 그룹 세트를 생성하는 그룹 세트 생성부를 더 포함하고, 상기 그룹 세트 생성부는 제1 분할 개수로 상기 인페인팅 그룹이 설정된 제1 그룹 세트를 생성하고, 상기 제1 분할 개수와 상이한 제2 분할 개수로 상기 인페인팅 그룹이 설정된 제2 그룹 세트를 생성할 수 있다.
이 때, 분할 인페인팅은 상기 제1 그룹 세트에 대해 수행되는 제1 분할 인페인팅, 및 상기 제2 그룹 세트에 대해 수행되는 제2 분할 인페인팅을 포함할 수 있다.
이 때, 분할 인페인팅 결과는 상기 제1 분할 인페인팅 및 제2 분할 인페인팅 결과를 포함할 수 있다.
이 때, 정보 제공부는 상기 제1 분할 인페인팅 및 제2 분할 인페인팅 결과 간 차이 정보를 시각적으로 더 표시할 수 있다.
이 때, 그룹 세트 생성부는 상기 제1 그룹 세트의 인페인팅 그룹 개수가 기설정된 기준 그룹 개수를 초과하는 경우, 상기 인페인팅 그룹 개수가 상기 기준 그룹 개수 이하인 상기 제2 그룹 세트를 추가 생성할 수 있다.
이 때, 그룹 세트 생성부는 상기 제1 분할 개수가 기설정된 기준 분할 개수를 초과하는 경우, 상기 제1 그룹 세트의 상기 인페인팅 그룹 중 어느 둘 이상을 병합하여 상기 제2 분할 세트를 생성할 수 있다.
이 때, 인페인팅 그룹 설정부는 상기 참조 영역 내 픽셀의 엣지 값을 산출하고, 상기 엣지 값의 변화량이 기설정된 기준 변화량 내인지 여부를 판단하고, 판단 결과에 따라 상기 참조 영역 내 픽셀을 그룹핑하여 상기 분할 참조 영역으로 설정할 수 있다.
이 때, 인페인팅 그룹 설정부는 상기 엣지 값의 변화량이 기설정된 기준 변화량 내인지 여부를 판단하고, 판단 결과에 따라 상기 참조 영역 내 픽셀을 그룹핑하여 상기 분할 참조 영역으로 설정할 수 있다.
이 때, 인페인팅 그룹 설정부는 상기 참조 영역 내 픽셀 값이 기준 픽셀 값으로부터 기설정된 유사 범위 내인지 여부를 판단하고, 상기 유사 범위 내에 해당하는 픽셀들을 동일한 인페인팅 그룹으로 설정할 수 있다.
이 때, 인페인팅 그룹 설정부는 상기 참조 영역의 분할 경계선의 패턴을 이용하여, 대상 영역을 분할할 수 있다.
또한, 본 발명에 따른 참조 영역 분할을 이용한 인페인팅 방법은, 비디오 영상 콘텐츠 내 인페인팅 대상 영역 및 상기 인페인팅 대상 영역의 경계 픽셀로부터 기설정된 거리 내에 존재하는 픽셀들로 이루어진 참조 영역을 결정하는 단계; 상기 참조 영역 내 픽셀 값을 이용하여 상기 참조 영역을 분할한 분할 참조 영역 및 상기 분할 참조 영역에 대응되도록 상기 대상 영역을 분할한 분할 대상 영역을 한 쌍으로 하는 인페인팅 그룹을 설정하는 단계; 상기 인페인팅 그룹 단위로 상기 분할 참조 영역을 이용하여 상기 분할 대상 영역에 인페인팅을 수행하는 분할 인페인팅, 및 상기 참조 영역을 이용하여 상기 대상 영역에 인페인팅을 수행하는 비분할 인페인팅을 수행하는 단계; 및 사용자에게 시각적으로 상기 분할 인페인팅 결과, 비분할 인페인팅 결과, 및 상기 분할 인페인팅 및 비분할 인페인팅 결과의 차이 정보를 제공하는 단계를 포함한다.
이 때, 인페인팅 그룹을 설정하는 단계는 상기 인페인팅 그룹의 개수에 따라 달리하여 그룹 세트를 생성하는 단계를 더 포함하고, 상기 그룹 세트를 생성하는 단계는 제1 분할 개수로 상기 인페인팅 그룹이 설정된 제1 그룹 세트를 생성하고, 상기 제1 분할 개수와 상이한 제2 분할 개수로 상기 인페인팅 그룹이 설정된 제2 그룹 세트를 생성할 수 있다.
이 때, 분할 인페인팅은 상기 제1 그룹 세트에 대해 수행되는 제1 분할 인페인팅, 및 상기 제2 그룹 세트에 대해 수행되는 제2 분할 인페인팅을 포함할 수 있다.
이 때, 분할 인페인팅 결과는 상기 제1 분할 인페인팅 및 제2 분할 인페인팅 결과를 포함할 수 있다.
이 때, 차이 정보를 제공하는 단계는 상기 제1 분할 인페인팅 및 제2 분할 인페인팅 결과 간 차이 정보를 시각적으로 더 표시할 수 있다.
이 때, 그룹 세트를 생성하는 단계는 상기 제1 그룹 세트의 인페인팅 그룹 개수가 기설정된 기준 그룹 개수를 초과하는 경우, 상기 인페인팅 그룹 개수가 상기 기준 그룹 개수 이하인 상기 제2 그룹 세트를 추가 생성할 수 있다.
이 때, 그룹 세트를 생성하는 단계는 상기 제1 분할 개수가 기설정된 기준 분할 개수를 초과하는 경우, 상기 제1 그룹 세트의 상기 인페인팅 그룹 중 어느 둘 이상을 병합하여 상기 제2 분할 세트를 생성할 수 있다.
본 발명에 따르면, 인페인팅 영역을 분할하지 않거나, 다단계로 분할하여 인페인팅을 수행하고 각 인페인팅 수행 결과의 차이 정보를 사용자에게 제공함으로써, 단일 모드로 인페인팅을 수행하는 경우 어색한 인페인팅 결과가 발생하는 문제를 해결 가능하다.
또한, 본 발명은 여러가지 인페인팅 결과 정보를 사용자에게 제공하고 사용자의 피드백을 입력 받아 최종 인페인팅 결과에 반영함으로써, 보다 자연스러운 인페인팅 수행이 가능하다.
도 1은 본 발명의 일실시예에 따른 참조 영역 분할을 이용한 인페인팅 장치를 나타낸 블록이다.
도 2는 본 발명에 따른 대상 영역 및 참조 영역을 결정하는 단계의 일 예를 나타낸 도면이다.
도 3 내지 도 6은 본 발명에 따른 인페인팅 그룹을 설정하는 단계의 일 예를 나타낸 도면이다.
도 7 및 도 8은 본 발명에 따른 그룹 세트를 생성하는 단계의 일 예를 나타낸 도면이다.
도 9는 본 발명의 일실시예에 따른 참조 영역 분할을 이용한 인페인팅 방법을 나타낸 동작 흐름도이다.
이하 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.
이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다. 또한 제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하기 위해 사용하는 것으로, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 뿐, 상기 구성요소들을 한정하기 위해 사용되지 않는다.
이하, 본 발명의 실시 예에 따른 참조 영역 분할을 이용한 인페인팅 장치에 대해 설명하도록 한다.
도 1은 본 발명의 일실시예에 따른 참조 영역 분할을 이용한 인페인팅 장치를 나타낸 블록이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 참조 영역 분할을 이용한 인페인팅 장치는 영역 결정부(110), 인페인팅 그룹 설정부(120), 인페인팅 수행부(130) 및 정보 제공부(140)를 포함한다.
영역 결정부(110)는 비디오 영상 콘텐츠 내 인페인팅 대상 영역 및 인페인팅 대상 영역의 경계 픽셀로부터 기설정된 거리 내에 존재하는 픽셀들로 이루어진 참조 영역을 결정한다.
이 때, 인페인팅 대상 영역은 비디오 영상 콘텐츠 내에서 인페인팅이 수행될 영역을 의미한다.
이 때, 인페인팅 대상 영역은 사용자 입력에 따라 결정될 수 있다.
인페인팅 그룹 설정부(120)는 참조 영역 내 픽셀 값을 이용하여 참조 영역을 분할한 분할 참조 영역 및 분할 참조 영역에 대응되도록 대상 영역을 분할한 분할 대상 영역을 한 쌍으로 하는 인페인팅 그룹을 설정한다.
이 때, 인페인팅 그룹 설정부(120)는 참조 영역 내 픽셀의 엣지 값을 산출하고, 엣지 값의 변화량이 기설정된 기준 변화량 내인지 여부를 판단하고, 판단 결과에 따라 참조 영역 내 픽셀을 그룹핑하여 분할 참조 영역으로 설정할 수 있다.
이 때, 인페인팅 그룹 설정부(120)는 엣지 값의 변화량이 기설정된 기준 변화량 내인지 여부를 판단하고, 판단 결과에 따라 참조 영역 내 픽셀을 그룹핑하여 분할 참조 영역으로 설정할 수 있다.
이 때, 기준 변화량은 참조 영역 내 픽셀들 중에서 엣지 값의 변화량이 큰 픽셀들을 확인하기 위해서 미리 설정되는 기준 값일 수 있다.
이 때, 인페인팅 그룹 설정부(120)는 참조 영역 내 픽셀 값이 기준 픽셀 값으로부터 기설정된 유사 범위 내인지 여부를 판단하고, 유사 범위 내에 해당하는 픽셀들을 동일한 인페인팅 그룹으로 설정할 수 있다.
이 때, 기준 픽셀 값은 참조 영역 내 픽셀들 중에서 픽셀 값이 유사한 픽셀들을 확인하기 위해서 미리 설정되는 기준 값일 수 있다.
이 때, 기준 픽셀 값은 픽셀 값의 분포 히스토그램을 이용하여 일정 이상의 분포를 갖는 픽셀 값으로 미리 설정되는 기준 값일 수 있다.
이 때, 인페인팅 그룹 설정부(120)는 참조 영역의 분할 경계선의 패턴을 이용하여, 대상 영역을 분할할 수 있다.
예를 들어, 인페인팅 그룹 설정부(120)는 참조 영역의 분할 경계선이 직선 패턴인 경우, 대상 영역을 직선 패턴으로 분할하고, 참조 영역의 분할 경계선이 지그재그 패턴인 경우, 대상 영역도 지그재그 패턴으로 분할할 수 있다.
이 때, 인페인팅 그룹 설정부(120)는 인페인팅 그룹의 개수에 따라 달리하여 그룹 세트를 생성하는 그룹 세트 생성부를 더 포함할 수 있다.
이 때, 그룹 세트는 동일한 대상 영역 및 참조 영역을 다양하게 분할하는 방법이 설정된 세트이다.
이 때, 그룹 세트 생성부는 제1 분할 개수로 인페인팅 그룹이 설정된 제1 그룹 세트를 생성하고, 제1 분할 개수와 상이한 제2 분할 개수로 인페인팅 그룹이 설정된 제2 그룹 세트를 생성할 수 있다.
예를 들어, 그룹 세트 생성부는 2개 분할로 인페인팅 그룹이 설정된 제1 그룹 세트 및 3개 분할로 인페인팅 그룹이 설정된 제2 그룹 세트를 생성할 수 있다.
이 때, 그룹 세트 생성부는 제1 그룹 세트의 인페인팅 그룹 개수가 기설정된 기준 그룹 개수를 초과하는 경우, 인페인팅 그룹 개수가 기준 그룹 개수 이하인 제2 그룹 세트를 추가 생성할 수 있다.
이 때, 기준 그룹 개수는 인페인팅 그룹이 너무 많이 나뉘는 경우를 제한하기 위해 미리 설정된 인페인팅 그룹 개수의 상한 값일 수 있다.
예를 들어, 그룹 세트 생성부는 제1 그룹 세트의 인페인팅 그룹 개수가 기설정된 기준 그룹 개수인 6개를 초과하는 경우, 인페인팅 그룹 개수가 6개 이하인 제2 그룹 세트를 추가 생성할 수 있다.
이 때, 그룹 세트 생성부는 제1 분할 개수가 기설정된 기준 분할 개수를 초과하는 경우, 제1 그룹 세트의 인페인팅 그룹 중 어느 둘 이상을 병합하여 제2 분할 세트를 생성할 수 있다.
예를 들어, 그룹 세트 생성부는 기준 그룹 개수가 6개이고, 제1 그룹 세트에서 인페인팅 그룹이 7개인 경우, 제1 그룹 세트의 인페인팅 그룹 중 어느 둘을 병합하여 총 6개의 인페인팅 그룹을 갖는 제2 그룹 세트를 생성할 수 있다.
이 때, 그룹 세트 생성부는 각 인페인팅 그룹의 픽셀 대표 값이 유사한 그룹을 병합할 수 있다.
인페인팅 수행부(130)는 인페인팅 그룹 단위로 분할 참조 영역을 이용하여 분할 대상 영역에 인페인팅을 수행하는 분할 인페인팅, 및 참조 영역을 이용하여 대상 영역에 인페인팅을 수행하는 비분할 인페인팅을 수행한다.
이 때, 비분할 인페인팅은 참조 영역 및 대상 영역을 분할하지 아니하고 수행하는 인페인팅이다.
이 때, 분할 인페인팅은 제1 그룹 세트에 대해 수행되는 제1 분할 인페인팅, 및 제2 그룹 세트에 대해 수행되는 제2 분할 인페인팅을 포함할 수 있다.
이 때, 분할 인페인팅 결과는 제1 분할 인페인팅 및 제2 분할 인페인팅 결과를 포함할 수 있다.
정보 제공부(140)는 사용자에게 시각적으로 분할 인페인팅 결과, 비분할 인페인팅 결과, 및 분할 인페인팅 및 비분할 인페인팅 결과의 차이 정보를 제공한다.
이 때, 정보 제공부는 제1 분할 인페인팅 및 제2 분할 인페인팅 결과 간 차이 정보를 시각적으로 더 표시할 수 있다.
이와 같이, 본 발명의 일실시예에 따른 참조 영역 분할을 이용한 인페인팅 장치는 인페인팅 영역을 분할하지 않거나, 다단계로 분할하여 인페인팅을 수행하고 각 인페인팅 수행 결과의 차이 정보를 사용자에게 제공할 수 있다. 또한, 여러가지 인페인팅 결과 정보를 사용자에게 제공하고, 사용자의 피드백을 입력 받아 최종 인페인팅 결과에 반영함으로써, 보다 자연스러운 인페인팅 수행이 가능하다.
이하, 본 발명의 실시 예에 따른 영역 결정에 대해 설명하도록 한다.
도 2는 본 발명에 따른 대상 영역 및 참조 영역을 결정하는 단계의 일 예를 나타낸 도면이다.
도 2를 참조하면, 본 발명에 따른 대상 영역 및 참조 영역을 결정하는 단계는 비디오 영상 프레임(200) 내에서 인페인팅을 수행할 대상에 해당하는 픽셀 및 인페인팅 수행 시 참조되는 픽셀의 영역을 결정한다.
인페인팅을 수행할 대상에 해당하는 픽셀은 대상 영역 내 픽셀로서, 대상 영역 경계선(210)을 기준으로 안쪽에 존재하는 픽셀임을 알 수 있다.
인페인팅 수행 시 참조되는 픽셀은 대상 영역 경계선(210) 및 대상 영역 경계선(210)으로부터 바깥쪽으로 기설정된 거리만큼 떨어진 참조 영역 경계선(220) 사이에 존재하는 픽셀임을 알 수 있다.
이 때, 인페인팅 대상 영역 또는 대상 영역 경계선(210)은 사용자 입력에 따라 결정될 수 있다.
이하, 본 발명의 실시 예에 따른 인페인팅 그룹 설정에 대해 설명하도록 한다.
도 3 내지 도 6은 본 발명에 따른 인페인팅 그룹을 설정하는 단계의 일 예를 나타낸 도면이다.
도 3 내지 도 6은 도 2에서 대상 영역 및 참조 영역만을 도시한 것이며, 도 3에서 도 6의 순서로 인페인팅 그룹을 설정한다.
도 3을 참조하면, 본 발명에 따른 인페인팅 그룹을 설정하는 단계는 대상 영역(310) 및 참조 영역(320)만을 대상으로 함을 알 수 있다.
도 4를 참조하면, 본 발명에 따른 인페인팅 그룹을 설정하는 단계는 참조 영역(320) 내 픽셀 값을 이용하여 참조 영역(320)을 분할한다.
즉, 본 발명에 따른 인페인팅 그룹을 설정하는 단계는 참조 영역(320) 내 픽셀 값을 이용하여 도 2에서 책상 바깥부분에 해당하는 영역을 제1 분할 참조 영역(421)으로, 책상 안부분에 해당하는 영역을 제2 분할 참조 영역(422)으로 분할한다.
이 때, 본 발명에 따른 인페인팅 그룹을 설정하는 단계는 참조 영역(320) 내 픽셀 값이 기준 픽셀 값으로부터 기설정된 유사 범위 내인지 여부를 판단하고, 유사 범위 내에 해당하는 픽셀들을 동일한 분할 참조 영역으로 분할할 수 있다.
이 때, 기준 픽셀 값은 참조 영역 내 픽셀들 중에서 픽셀 값이 유사한 픽셀들을 확인하기 위해서 미리 설정되는 기준 값일 수 있다.
예를 들어, 도 4에서 책상 바깥부분에 해당하는 픽셀들이 책상 바깥부분의 기준 픽셀 값으로부터 유사 범위 내인 경우, 책상 바깥부분에 해당하는 책상 바깥부분에 해당하는 영역을 제1 분할 참조 영역(421)으로 분할할 수 있다.
이 때, 기준 픽셀 값은 픽셀 값의 분포 히스토그램을 이용하여 일정 이상의 분포를 갖는 픽셀 값으로 미리 설정되는 기준 값일 수 있다.
예를 들어, 도 4에서 픽셀 값의 분포 히스토그램을 이용하여 일정 이상의 분포를 갖는 픽셀 값을 기준 픽셀 값으로 정하는 경우, 기준 픽셀 값은 각각 책상 바깥부분의 픽셀 값 중 어느 하나와 책상 안부분의 픽셀 값 중 어느 하나일 수 있다.
이 때, 본 발명에 따른 인페인팅 그룹을 설정하는 단계는 참조 영역(320) 내 픽셀의 엣지 값을 산출하고, 엣지 값의 변화량이 기설정된 기준 변화량 내인지 여부를 판단하고, 판단 결과에 따라 참조 영역을 분할할 수 있다.
이 때, 기준 변화량은 참조 영역 내 픽셀들 중에서 엣지 값의 변화량이 큰 픽셀들을 확인하기 위해서 미리 설정되는 기준 값일 수 있다.
예를 들어, 도 4에서 책상 바깥부분과 아랫부분의 경계선의 엣지 값이 기준 변화량을 벗어나는 경우, 책상 바깥부분에 해당하는 영역을 제1 분할 참조 영역(421)으로, 책상 안부분에 해당하는 영역을 제2 분할 참조 영역(422)으로 분할할 수 있다.
도 5를 참조하면, 본 발명에 따른 인페인팅 그룹을 설정하는 단계는 분할 참조 영역(421 및 422)에 대응되도록 대상 영역(310)을 분할한다.
이 때, 본 발명에 따른 인페인팅 그룹을 설정하는 단계는 분할 참조 영역(421 및 422)들 간 경계선의 패턴을 이용하여, 대상 영역(310)을 분할할 수 있다.
예를 들어, 본 발명에 따른 인페인팅 그룹을 설정하는 단계는 분할 참조 영역(421 및 422)들 간 경계선이 직선 패턴인 경우, 대상 영역(310)을 직선 패턴의 경계선을 갖는 분할 대상 영역(511 및 512)으로 분할할 수 있다.
즉, 본 발명에 따른 인페인팅 그룹을 설정하는 단계는 분할 참조 영역(421 및 422)들 간 경계선이 지그재그 패턴인 경우, 대상 영역(310)을 지그재그 패턴의 경계선을 갖는 분할 대상 영역(511 및 512)으로 분할할 수 있다.
도 6을 참조하면, 본 발명에 따른 인페인팅 그룹을 설정하는 단계는 분할 참조 영역(421 및 422) 및 각각의 분할 참조 영역(421 및 422)에 대응하는 분할 대상 영역(511 및 512)을 한 쌍으로 하여 인페인팅 그룹(601 및 602)을 설정한다.
예를 들어, 본 발명에 따른 인페인팅 그룹을 설정하는 단계는 분할 참조 영역(421) 및 분할 대상 영역(511)이 대응되는 경우, 이를 한 쌍으로 하여 인페인팅 그룹(601)을 설정할 수 있다.
즉, 도 3 내지 도 6의 일련의 설명과 같이 본 발명에 따른 인페인팅 그룹을 설정하는 단계는 참조 영역(320)을 분할하고, 이에 대응되도록 대상 영역(310)을 분할하고, 분할 참조 영역(421 및 422) 및 각각의 분할 참조 영역(421 및 422)에 대응하는 분할 대상 영역(511 및 512)을 한 쌍으로 하여 인페인팅 그룹(601 및 602)을 설정함을 알 수 있다.
이하, 본 발명의 실시 예에 따른 그룹 세트 생성에 대해 설명하도록 한다.
도 7 및 도 8은 본 발명에 따른 그룹 세트를 생성하는 단계의 일 예를 나타낸 도면이다.
도 7은 총 2개의 인페인팅 그룹이 설정된 제1 그룹 세트를, 도 8은 총 4개의 인페인팅 그룹이 설정된 제2 그룹 세트를 나타낸 것이다.
본 발명에 따른 그룹 세트를 생성하는 단계는 인페인팅 그룹의 개수에 따라 달리하여 그룹 세트를 생성할 수 있다.
이 때, 그룹 세트는 동일한 대상 영역 및 참조 영역을 다양하게 분할하는 방법이 설정된 세트이다.
도 7을 참조하면, 제1 그룹 세트로서 책상 바깥부분에 해당하는 제1 인페인팅 그룹(701) 및 책상 안부분에 해당하는 제2 인페인팅 그룹(702)이 설정되어 있음을 알 수 있다.
도 8을 참조하면, 제2 그룹 세트로서 책상 바깥부분 중에서도 뒷 배경의 색상에 따라 인페인팅 그룹들(801 내지 803)이 설정되고, 책상 안부분에 제4 인페인팅 그룹(804)이 설정되어 있음을 알 수 있다.
이와 같이, 본 발명에 따른 그룹 세트를 생성하는 단계는 인페인팅 그룹을 설정하는 단계에서 픽셀 값의 유사 범위 등의 기준 값을 달리함에 따라 발생되는 다양한 인페인팅 그룹 설정을 각각의 그룹 세트로 생성함을 알 수 있다.
이하, 본 발명의 실시 예에 따른 참조 영역 분할을 이용한 인페인팅 방법에 대해 설명하도록 한다.
도 9는 본 발명의 일실시예에 따른 참조 영역 분할을 이용한 인페인팅 방법을 나타낸 동작 흐름도이다.
도 9를 참조하면, 본 발명의 일실시예에 따른 참조 영역 분할을 이용한 인페인팅 방법은 비디오 영상 콘텐츠 내 인페인팅 대상 영역 및 인페인팅 대상 영역의 경계 픽셀로부터 기설정된 거리 내에 존재하는 픽셀들로 이루어진 참조 영역을 결정한다(S910).
이 때, 인페인팅 대상 영역은 비디오 영상 콘텐츠 내에서 인페인팅이 수행될 영역을 의미한다.
이 때, 인페인팅 대상 영역은 사용자 입력에 따라 결정될 수 있다.
또한, 본 발명의 일실시예에 따른 참조 영역 분할을 이용한 인페인팅 방법은 참조 영역 내 픽셀 값을 이용하여 참조 영역을 분할한 분할 참조 영역 및 분할 참조 영역에 대응되도록 대상 영역을 분할한 분할 대상 영역을 한 쌍으로 하는 인페인팅 그룹을 설정한다(S920).
이 때, 단계(S920)는 참조 영역 내 픽셀의 엣지 값을 산출하고, 엣지 값의 변화량이 기설정된 기준 변화량 내인지 여부를 판단하고, 판단 결과에 따라 참조 영역 내 픽셀을 그룹핑하여 분할 참조 영역으로 설정할 수 있다.
이 때, 단계(S920)는 엣지 값의 변화량이 기설정된 기준 변화량 내인지 여부를 판단하고, 판단 결과에 따라 참조 영역 내 픽셀을 그룹핑하여 분할 참조 영역으로 설정할 수 있다.
이 때, 기준 변화량은 참조 영역 내 픽셀들 중에서 엣지 값의 변화량이 큰 픽셀들을 확인하기 위해서 미리 설정되는 기준 값일 수 있다.
이 때, 단계(S920)는 참조 영역 내 픽셀 값이 기준 픽셀 값으로부터 기설정된 유사 범위 내인지 여부를 판단하고, 유사 범위 내에 해당하는 픽셀들을 동일한 인페인팅 그룹으로 설정할 수 있다.
이 때, 기준 픽셀 값은 참조 영역 내 픽셀들 중에서 픽셀 값이 유사한 픽셀들을 확인하기 위해서 미리 설정되는 기준 값일 수 있다.
이 때, 기준 픽셀 값은 픽셀 값의 분포 히스토그램을 이용하여 일정 이상의 분포를 갖는 픽셀 값으로 미리 설정되는 기준 값일 수 있다.
이 때, 단계(S920)는 참조 영역의 분할 경계선의 패턴을 이용하여, 대상 영역을 분할할 수 있다.
예를 들어, 단계(S920)는 참조 영역의 분할 경계선이 직선 패턴인 경우, 대상 영역을 직선 패턴으로 분할하고, 참조 영역의 분할 경계선이 지그재그 패턴인 경우, 대상 영역도 지그재그 패턴으로 분할할 수 있다.
이 때, 단계(S920)는 인페인팅 그룹의 개수에 따라 달리하여 그룹 세트를 생성하는 단계를 더 포함할 수 있다.
이 때, 그룹 세트는 동일한 대상 영역 및 참조 영역을 다양하게 분할하는 방법이 설정된 세트이다.
이 때, 그룹 세트를 생성하는 단계는 제1 분할 개수로 인페인팅 그룹이 설정된 제1 그룹 세트를 생성하고, 제1 분할 개수와 상이한 제2 분할 개수로 인페인팅 그룹이 설정된 제2 그룹 세트를 생성할 수 있다.
예를 들어, 그룹 세트를 생성하는 단계는 2개 분할로 인페인팅 그룹이 설정된 제1 그룹 세트 및 3개 분할로 인페인팅 그룹이 설정된 제2 그룹 세트를 생성할 수 있다.
이 때, 그룹 세트를 생성하는 단계는 제1 그룹 세트의 인페인팅 그룹 개수가 기설정된 기준 그룹 개수를 초과하는 경우, 인페인팅 그룹 개수가 기준 그룹 개수 이하인 제2 그룹 세트를 추가 생성할 수 있다.
이 때, 기준 그룹 개수는 인페인팅 그룹이 너무 많이 나뉘는 경우를 제한하기 위해 미리 설정된 인페인팅 그룹 개수의 상한 값일 수 있다.
예를 들어, 그룹 세트를 생성하는 단계는 제1 그룹 세트의 인페인팅 그룹 개수가 기설정된 기준 그룹 개수인 6개를 초과하는 경우, 인페인팅 그룹 개수가 6개 이하인 제2 그룹 세트를 추가 생성할 수 있다.
이 때, 그룹 세트를 생성하는 단계는 제1 분할 개수가 기설정된 기준 분할 개수를 초과하는 경우, 제1 그룹 세트의 인페인팅 그룹 중 어느 둘 이상을 병합하여 제2 분할 세트를 생성할 수 있다.
예를 들어, 그룹 세트를 생성하는 단계는 기준 그룹 개수가 6개이고, 제1 그룹 세트에서 인페인팅 그룹이 7개인 경우, 제1 그룹 세트의 인페인팅 그룹 중 어느 둘을 병합하여 총 6개의 인페인팅 그룹을 갖는 제2 그룹 세트를 생성할 수 있다.
이 때, 그룹 세트를 생성하는 단계는 각 인페인팅 그룹의 픽셀 대표 값이 유사한 그룹을 병합할 수 있다.
또한, 본 발명의 일실시예에 따른 참조 영역 분할을 이용한 인페인팅 방법은 인페인팅 그룹 단위로 분할 참조 영역을 이용하여 분할 대상 영역에 인페인팅을 수행하는 분할 인페인팅, 및 참조 영역을 이용하여 대상 영역에 인페인팅을 수행하는 비분할 인페인팅을 수행한다(S930).
이 때, 비분할 인페인팅은 참조 영역 및 대상 영역을 분할하지 아니하고 수행하는 인페인팅이다.
이 때, 분할 인페인팅은 제1 그룹 세트에 대해 수행되는 제1 분할 인페인팅, 및 제2 그룹 세트에 대해 수행되는 제2 분할 인페인팅을 포함할 수 있다.
이 때, 분할 인페인팅 결과는 제1 분할 인페인팅 및 제2 분할 인페인팅 결과를 포함할 수 있다.
또한, 본 발명의 일실시예에 따른 참조 영역 분할을 이용한 인페인팅 방법은 사용자에게 시각적으로 분할 인페인팅 결과, 비분할 인페인팅 결과, 및 분할 인페인팅 및 비분할 인페인팅 결과의 차이 정보를 제공한다.
이 때, 단계(S540)는 제1 분할 인페인팅 및 제2 분할 인페인팅 결과 간 차이 정보를 시각적으로 더 표시할 수 있다.
이와 같이, 본 발명의 일실시예에 따른 참조 영역 분할을 이용한 인페인팅 방법은 인페인팅 영역을 분할하지 않거나, 다단계로 분할하여 인페인팅을 수행하고 각 인페인팅 수행 결과의 차이 정보를 사용자에게 제공할 수 있다. 또한, 여러가지 인페인팅 결과 정보를 사용자에게 제공하고, 사용자의 피드백을 입력 받아 최종 인페인팅 결과에 반영함으로써, 보다 자연스러운 인페인팅 수행이 가능하다.
도 9에 도시된 각 단계는 도 9에 도시된 순서, 그 역순 또는 동시에 수행될 수 있다.
본 발명에 따른 참조 영역 분할을 이용한 인페인팅 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 또는 스마트폰 앱으로 구현될 수 있다. 이 때, 프로그램 또는 스마트폰 앱은 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 모든 형태의 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서와 같이 본 발명에 따른 참조 영역 분할을 이용한 인페인팅 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
본 발명에 의하면 인페인팅 영역을 분할하지 않거나, 다단계로 분할하여 인페인팅을 수행하고 각 인페인팅 수행 결과의 차이 정보를 사용자에게 제공함으로써, 단일 모드로 인페인팅을 수행하는 경우 어색한 인페인팅 결과가 발생하는 문제를 해결한다. 특히, 최근 광고 시장 규모가 커지면서 드라마나 스포츠 방송 등에 광고 아이템에 관한 영상을 삽입하여 광고 효과를 배가하는 가상 간접 광고에 관심이 늘어는 추세이고, 가상간접광고와 관련하여, 이미 생성된 비디오에 가상 이미지를 자연스럽게 삽입하거나, 이미 생성된 비디오의 이미지 일부를 소거하고 배경과 어울리도록 자연스럽게 복원하는 인페인팅 기술이 핵심을 이루는 것을 감안하면, 본 발명의 참조 영역 분할을 이용한 인페인팅 장치 및 방법은 그 활용도가 적지 않을 것이다.

Claims (19)

  1. 비디오 영상 콘텐츠 내 인페인팅 대상 영역 및 상기 인페인팅 대상 영역의 경계 픽셀로부터 기설정된 거리 내에 존재하는 픽셀들로 이루어진 참조 영역을 결정하는 영역 결정부;
    상기 참조 영역 내 픽셀 값을 이용하여 상기 참조 영역을 분할한 분할 참조 영역 및 상기 분할 참조 영역에 대응되도록 상기 대상 영역을 분할한 분할 대상 영역을 한 쌍으로 하는 인페인팅 그룹을 설정하는 인페인팅 그룹 설정부;
    상기 인페인팅 그룹 단위로 상기 분할 참조 영역을 이용하여 상기 분할 대상 영역에 인페인팅을 수행하는 분할 인페인팅, 및 상기 참조 영역을 이용하여 상기 대상 영역에 인페인팅을 수행하는 비분할 인페인팅을 수행하는 인페인팅 수행부; 및
    사용자에게 시각적으로 상기 분할 인페인팅 결과, 비분할 인페인팅 결과, 및 상기 분할 인페인팅 및 비분할 인페인팅 결과의 차이 정보를 제공하는 정보 제공부
    를 포함하는 것을 특징으로 하는 참조 영역 분할을 이용한 인페인팅 장치.
  2. 청구항 1에 있어서,
    상기 인페인팅 그룹 설정부는
    상기 인페인팅 그룹의 개수에 따라 달리하여 그룹 세트를 생성하는 그룹 세트 생성부를 더 포함하고,
    상기 그룹 세트 생성부는 제1 분할 개수로 상기 인페인팅 그룹이 설정된 제1 그룹 세트를 생성하고, 상기 제1 분할 개수와 상이한 제2 분할 개수로 상기 인페인팅 그룹이 설정된 제2 그룹 세트를 생성하는 것을 특징으로 하는 참조 영역 분할을 이용한 인페인팅 장치.
  3. 청구항 2에 있어서,
    상기 분할 인페인팅은
    상기 제1 그룹 세트에 대해 수행되는 제1 분할 인페인팅, 및 상기 제2 그룹 세트에 대해 수행되는 제2 분할 인페인팅을 포함하는 것을 특징으로 하는 참조 영역 분할을 이용한 인페인팅 장치.
  4. 청구항 3에 있어서,
    상기 분할 인페인팅 결과는
    상기 제1 분할 인페인팅 및 제2 분할 인페인팅 결과를 포함하는 것을 특징으로 하는 참조 영역 분할을 이용한 인페인팅 장치.
  5. 청구항 4에 있어서,
    상기 정보 제공부는
    상기 제1 분할 인페인팅 및 제2 분할 인페인팅 결과 간 차이 정보를 시각적으로 더 표시하는 것을 특징으로 하는 참조 영역 분할을 이용한 인페인팅 장치.
  6. 청구항 5에 있어서,
    상기 그룹 세트 생성부는
    상기 제1 그룹 세트의 인페인팅 그룹 개수가 기설정된 기준 그룹 개수를 초과하는 경우, 상기 인페인팅 그룹 개수가 상기 기준 그룹 개수 이하인 상기 제2 그룹 세트를 추가 생성하는 것을 특징으로 하는 참조 영역 분할을 이용한 인페인팅 장치.
  7. 청구항 6에 있어서,
    상기 그룹 세트 생성부는
    상기 제1 분할 개수가 기설정된 기준 분할 개수를 초과하는 경우, 상기 제1 그룹 세트의 상기 인페인팅 그룹 중 어느 둘 이상을 병합하여 상기 제2 분할 세트를 생성하는 것을 특징으로 하는 참조 영역 분할을 이용한 인페인팅 장치.
  8. 청구항 7에 있어서,
    상기 인페인팅 그룹 설정부는
    상기 참조 영역 내 픽셀의 엣지 값을 산출하고, 상기 엣지 값의 변화량이 기설정된 기준 변화량 내인지 여부를 판단하고, 판단 결과에 따라 상기 참조 영역 내 픽셀을 그룹핑하여 상기 분할 참조 영역으로 설정하는 것을 특징으로 하는 참조 영역 분할을 이용한 인페인팅 장치.
  9. 청구항 8에 있어서,
    상기 인페인팅 그룹 설정부는
    상기 엣지 값의 변화량이 기설정된 기준 변화량 내인지 여부를 판단하고, 판단 결과에 따라 상기 참조 영역 내 픽셀을 그룹핑하여 상기 분할 참조 영역으로 설정하는 것을 특징으로 하는 참조 영역 분할을 이용한 인페인팅 장치.
  10. 청구항 7에 있어서,
    상기 인페인팅 그룹 설정부는
    상기 참조 영역 내 픽셀 값이 기준 픽셀 값으로부터 기설정된 유사 범위 내인지 여부를 판단하고, 상기 유사 범위 내에 해당하는 픽셀들을 동일한 인페인팅 그룹으로 설정하는 것을 특징으로 하는 참조 영역 분할을 이용한 인페인팅 장치.
  11. 청구항 7에 있어서,
    상기 인페인팅 그룹 설정부는
    상기 참조 영역의 분할 경계선의 패턴을 이용하여, 대상 영역을 분할하는 것을 특징으로 하는 참조 영역 분할을 이용한 인페인팅 장치.
  12. 비디오 영상 콘텐츠 내 인페인팅 대상 영역 및 상기 인페인팅 대상 영역의 경계 픽셀로부터 기설정된 거리 내에 존재하는 픽셀들로 이루어진 참조 영역을 결정하는 단계;
    상기 참조 영역 내 픽셀 값을 이용하여 상기 참조 영역을 분할한 분할 참조 영역 및 상기 분할 참조 영역에 대응되도록 상기 대상 영역을 분할한 분할 대상 영역을 한 쌍으로 하는 인페인팅 그룹을 설정하는 단계;
    상기 인페인팅 그룹 단위로 상기 분할 참조 영역을 이용하여 상기 분할 대상 영역에 인페인팅을 수행하는 분할 인페인팅, 및 상기 참조 영역을 이용하여 상기 대상 영역에 인페인팅을 수행하는 비분할 인페인팅을 수행하는 단계; 및
    사용자에게 시각적으로 상기 분할 인페인팅 결과, 비분할 인페인팅 결과, 및 상기 분할 인페인팅 및 비분할 인페인팅 결과의 차이 정보를 제공하는 단계
    를 포함하는 것을 특징으로 하는 참조 영역 분할을 이용한 인페인팅 방법.
  13. 청구항 12에 있어서,
    상기 인페인팅 그룹을 설정하는 단계는
    상기 인페인팅 그룹의 개수에 따라 달리하여 그룹 세트를 생성하는 단계를 더 포함하고,
    상기 그룹 세트를 생성하는 단계는 제1 분할 개수로 상기 인페인팅 그룹이 설정된 제1 그룹 세트를 생성하고, 상기 제1 분할 개수와 상이한 제2 분할 개수로 상기 인페인팅 그룹이 설정된 제2 그룹 세트를 생성하는 것을 특징으로 하는 참조 영역 분할을 이용한 인페인팅 방법.
  14. 청구항 13에 있어서,
    상기 분할 인페인팅은
    상기 제1 그룹 세트에 대해 수행되는 제1 분할 인페인팅, 및 상기 제2 그룹 세트에 대해 수행되는 제2 분할 인페인팅을 포함하는 것을 특징으로 하는 참조 영역 분할을 이용한 인페인팅 방법.
  15. 청구항 14에 있어서,
    상기 분할 인페인팅 결과는
    상기 제1 분할 인페인팅 및 제2 분할 인페인팅 결과를 포함하는 것을 특징으로 하는 참조 영역 분할을 이용한 인페인팅 방법.
  16. 청구항 15에 있어서,
    상기 차이 정보를 제공하는 단계는
    상기 제1 분할 인페인팅 및 제2 분할 인페인팅 결과 간 차이 정보를 시각적으로 더 표시하는 것을 특징으로 하는 참조 영역 분할을 이용한 인페인팅 방법.
  17. 청구항 16에 있어서,
    상기 그룹 세트를 생성하는 단계는
    상기 제1 그룹 세트의 인페인팅 그룹 개수가 기설정된 기준 그룹 개수를 초과하는 경우, 상기 인페인팅 그룹 개수가 상기 기준 그룹 개수 이하인 상기 제2 그룹 세트를 추가 생성하는 것을 특징으로 하는 참조 영역 분할을 이용한 인페인팅 방법.
  18. 청구항 17에 있어서,
    상기 그룹 세트를 생성하는 단계는
    상기 제1 분할 개수가 기설정된 기준 분할 개수를 초과하는 경우, 상기 제1 그룹 세트의 상기 인페인팅 그룹 중 어느 둘 이상을 병합하여 상기 제2 분할 세트를 생성하는 것을 특징으로 하는 참조 영역 분할을 이용한 인페인팅 방법.
  19. 청구항 12 내지 청구항 18 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록된 기록매체.
PCT/KR2014/009924 2014-01-24 2014-10-22 참조 영역 분할을 이용한 인페인팅 장치 및 방법 WO2015111826A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US14/896,888 US9922404B2 (en) 2014-01-24 2014-10-22 Inpainting device and method using segmentation of reference region
CN201480072211.4A CN105874504B (zh) 2014-01-24 2014-10-22 使用参考区域的分割的图像修补装置和方法
US15/887,670 US10127643B2 (en) 2014-01-24 2018-02-02 Inpainting device and method using segmentation of reference region

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140009197A KR101599786B1 (ko) 2014-01-24 2014-01-24 참조 영역 분할을 이용한 인페인팅 장치 및 방법
KR10-2014-0009197 2014-01-24

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/896,888 A-371-Of-International US9922404B2 (en) 2014-01-24 2014-10-22 Inpainting device and method using segmentation of reference region
US15/887,670 Continuation US10127643B2 (en) 2014-01-24 2018-02-02 Inpainting device and method using segmentation of reference region

Publications (1)

Publication Number Publication Date
WO2015111826A1 true WO2015111826A1 (ko) 2015-07-30

Family

ID=53681599

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/009924 WO2015111826A1 (ko) 2014-01-24 2014-10-22 참조 영역 분할을 이용한 인페인팅 장치 및 방법

Country Status (4)

Country Link
US (2) US9922404B2 (ko)
KR (1) KR101599786B1 (ko)
CN (1) CN105874504B (ko)
WO (1) WO2015111826A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107181976B (zh) * 2017-04-28 2021-01-29 华为技术有限公司 一种弹幕显示方法及电子设备
US10970519B2 (en) 2019-04-16 2021-04-06 At&T Intellectual Property I, L.P. Validating objects in volumetric video presentations
US11153492B2 (en) 2019-04-16 2021-10-19 At&T Intellectual Property I, L.P. Selecting spectator viewpoints in volumetric video presentations of live events
US11074697B2 (en) 2019-04-16 2021-07-27 At&T Intellectual Property I, L.P. Selecting viewpoints for rendering in volumetric video presentations
US11012675B2 (en) 2019-04-16 2021-05-18 At&T Intellectual Property I, L.P. Automatic selection of viewpoint characteristics and trajectories in volumetric video presentations
US11042969B2 (en) * 2019-05-23 2021-06-22 Adobe Inc. Automatic synthesis of a content-aware sampling region for a content-aware fill
US11526967B2 (en) 2019-11-25 2022-12-13 Samsung Electronics Co., Ltd. System and method for precise image inpainting to remove unwanted content from digital images
KR102349289B1 (ko) * 2019-12-26 2022-01-11 주식회사 픽스트리 시멘틱 이미지 추론 방법 및 장치
US20220156896A1 (en) * 2020-11-18 2022-05-19 Samsung Electronics Co., Ltd. System and method for image inpainting based on layout-guided pre-processing attention mechanism

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080238942A1 (en) * 2007-03-29 2008-10-02 Microsoft Corporation Object-Based Image Inpainting
KR20120003232A (ko) * 2010-07-02 2012-01-10 삼성전자주식회사 볼륨 예측 기반 폐색 영역 양방향 복원 장치 및 방법
KR20120014876A (ko) * 2010-08-10 2012-02-20 삼성전자주식회사 영상 처리 장치 및 방법
KR20130036514A (ko) * 2011-10-04 2013-04-12 한국전자통신연구원 영상에서 물체 검출 장치 및 방법
US20130182184A1 (en) * 2012-01-13 2013-07-18 Turgay Senlet Video background inpainting

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1180743B1 (en) * 2000-04-24 2007-11-07 Seiko Epson Corporation Apparatus and method for image data interpolation
US6987520B2 (en) 2003-02-24 2006-01-17 Microsoft Corporation Image region filling by exemplar-based inpainting
KR101105675B1 (ko) 2009-01-30 2012-01-18 서강대학교산학협력단 영상 데이터 인페인팅 방법 및 장치
KR101142739B1 (ko) * 2009-10-29 2012-05-03 삼성전자주식회사 검색 영역을 제한한 이미지 복원 장치 및 방법
JP5699621B2 (ja) * 2011-01-19 2015-04-15 株式会社リコー 画像処理装置、画素補間方法およびプログラム
JP5741007B2 (ja) * 2011-01-21 2015-07-01 株式会社リコー 画像処理装置、画素補間方法およびプログラム
US8447135B2 (en) * 2011-03-02 2013-05-21 Nanyang Technological University Methods and systems for generating enhanced images using Euler's Elastica model
KR101273663B1 (ko) 2011-11-22 2013-06-10 건국대학교 산학협력단 Ｈ.264 에러 은닉 영상을 위한 인페인팅 시스템 및 그 방법
US8867794B2 (en) * 2012-10-23 2014-10-21 Cyberlink Corp. Systems and methods for performing image inpainting based on texture analysis

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080238942A1 (en) * 2007-03-29 2008-10-02 Microsoft Corporation Object-Based Image Inpainting
KR20120003232A (ko) * 2010-07-02 2012-01-10 삼성전자주식회사 볼륨 예측 기반 폐색 영역 양방향 복원 장치 및 방법
KR20120014876A (ko) * 2010-08-10 2012-02-20 삼성전자주식회사 영상 처리 장치 및 방법
KR20130036514A (ko) * 2011-10-04 2013-04-12 한국전자통신연구원 영상에서 물체 검출 장치 및 방법
US20130182184A1 (en) * 2012-01-13 2013-07-18 Turgay Senlet Video background inpainting

Also Published As

Publication number Publication date
CN105874504B (zh) 2019-03-29
US10127643B2 (en) 2018-11-13
KR20150088656A (ko) 2015-08-03
CN105874504A (zh) 2016-08-17
US9922404B2 (en) 2018-03-20
KR101599786B1 (ko) 2016-03-09
US20180158178A1 (en) 2018-06-07
US20160300332A1 (en) 2016-10-13

Similar Documents

Publication Publication Date Title
WO2015111826A1 (ko) 참조 영역 분할을 이용한 인페인팅 장치 및 방법
WO2014200137A1 (ko) 핑거프린트에 기반한 광고 검출 시스템 및 방법
WO2013039347A1 (ko) 영상 처리 장치 및 그 영상 처리 방법
WO2016163755A1 (ko) 품질 측정 기반의 얼굴 인식 방법 및 장치
WO2013118955A1 (ko) 깊이 맵 보정 장치 및 방법과 이를 이용한 입체 영상 변환 장치 및 방법
WO2009151292A2 (ko) 영상 변환 방법 및 장치
WO2016076497A1 (ko) 메타 데이터에 기초하여 영상을 디스플레이하는 방법 및 디바이스, 그에 따른 기록매체
WO2020060019A1 (ko) 글자 검출 장치, 방법 및 시스템
WO2020017871A1 (ko) 영상 처리 장치 및 그 동작방법
WO2017095043A1 (en) Image display apparatus, driving method thereof, and computer-readable recording medium
WO2022158667A1 (en) Method and system for displaying a video poster based on artificial intelligence
EP2327056A2 (en) Apparatus and method of interpolating image using region segmentation
WO2015129983A1 (ko) 분산 퍼지 연관 규칙 마이닝에 기반한 영화 추천 장치 및 방법
WO2015020256A1 (ko) 직접 반응 광고 검출 및 분류 시스템 및 방법
WO2019156543A2 (ko) 동영상의 대표 이미지를 결정하는 방법 및 그 방법을 처리하는 전자 장치
WO2020101434A1 (ko) 영상의 리타겟팅을 위한 영상 처리 장치 및 방법
WO2016076515A1 (ko) 영상의 주파수 특성 정보를 포함하는 메타 데이터를 생성하는 방법 및 장치
WO2010107235A2 (ko) 다시점 영상 처리 방법 및 장치
WO2016190472A1 (ko) 크로마키를 이용한 증강현실 영상 제작 장치 및 방법
WO2021162237A1 (ko) 비디오로부터의 색상 스키마 추출 방법 및 장치
WO2020138630A1 (en) Display apparatus and image processing method thereof
WO2023128112A1 (ko) 차량에 탑재된 정보 수집 단말과의 연동을 통해 도로 상의 위험물 정보를 수집하여 관리할 수 있는 위험물 정보 관리 서버 및 그 동작 방법
WO2023210884A1 (ko) 비지역적 평균 기반의 노이즈 제거 장치 및 방법
WO2017034323A1 (ko) 적응적으로 저조도를 개선하는 영상 처리 장치 및 방법, 그리고 그를 이용한 객체 검출 장치
WO2019231162A1 (ko) 이미지 분할 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14879827

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14896888

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14879827

Country of ref document: EP

Kind code of ref document: A1