KR101918035B1 - Apparatus and method for filling hole area of image - Google Patents

Apparatus and method for filling hole area of image Download PDF

Info

Publication number
KR101918035B1
KR101918035B1 KR1020120120531A KR20120120531A KR101918035B1 KR 101918035 B1 KR101918035 B1 KR 101918035B1 KR 1020120120531 A KR1020120120531 A KR 1020120120531A KR 20120120531 A KR20120120531 A KR 20120120531A KR 101918035 B1 KR101918035 B1 KR 101918035B1
Authority
KR
South Korea
Prior art keywords
pixel
pixels
hole
candidate
neighboring
Prior art date
Application number
KR1020120120531A
Other languages
Korean (ko)
Other versions
KR20140012576A (en
Inventor
정승원
이기창
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US13/946,578 priority Critical patent/US9117290B2/en
Publication of KR20140012576A publication Critical patent/KR20140012576A/en
Application granted granted Critical
Publication of KR101918035B1 publication Critical patent/KR101918035B1/en

Links

Images

Classifications

    • G06T5/77—

Abstract

영상에서 홀 영역을 제거하는 영상 처리 장치 및 방법이 개시된다. 영상 처리 장치는 하나 이상의 홀 화소가 포함된 홀 영역의 주변에 존재하는 이웃 화소들을 이용하여 홀 영역에 포함된 홀 화소에 대응하는 복수의 후보 화소들을 설정하는 후보 화소 설정부; 및 복수의 후보 화소들을 이용하여 홀 화소의 화소값을 결정하는 화소값 결정부를 포함할 수 있다.An image processing apparatus and method for removing a hole area from an image are disclosed. The image processing apparatus includes a candidate pixel setting unit configured to set a plurality of candidate pixels corresponding to a hole pixel included in a hole area using neighboring pixels existing around a hole area including at least one hole pixel; And a pixel value determining unit for determining the pixel value of the hole pixel using the plurality of candidate pixels.

Description

영상의 홀 영역을 제거하기 위한 장치 및 방법{APPARATUS AND METHOD FOR FILLING HOLE AREA OF IMAGE}[0001] APPARATUS AND METHOD FOR FILLING HOLE AREA OF IMAGE [0002]

이하의 일실시예들은 영상에서 홀 영역을 제거하는 장치 및 방법에 관한 것으로 홀 영역의 이웃 화소들을 이용하여 복수의 후보 화소를 설정하고, 후보 화소들을 기초로 영상에서 홀 영역을 제거하는 영상 처리 장치 및 방법에 관한 것이다.One embodiment of the present invention relates to an apparatus and method for removing a hole area in an image, and more particularly, to an apparatus and method for removing a hole area in an image by setting a plurality of candidate pixels using neighboring pixels of the hole area, And methods.

영상의 취득, 전송, 및 렌더링 과정에서 영상의 일부 데이터가 누락될 수 있다. 이때, 영상 표시 장치가 영상을 표시하면, 데이터가 존재하지 않는 부분인 홀(Hole) 영역이 발생할 수 있다.Some data of the image may be missing during the acquisition, transmission, and rendering of the image. At this time, if the image display device displays an image, a hole area, which is a part where no data exists, may occur.

예를 들어 영상을 취득하는 과정에서, 각 화소에 충전(Charge) 되는 전하량이 캐패시터(Capacitor)의 한계를 넘어가는 경우, 해당 화소의 데이터가 누락되어 홀 영역이 발생할 수 있다. For example, if the amount of charge that is charged to each pixel exceeds the limit of the capacitor in the process of acquiring the image, the data of the pixel may be omitted, resulting in a hole area.

또한, 영상을 전송하는 과정에서 에러가 발생하는 경우, 영상의 일부 데이터가 누락되어 홀 영역이 발생할 수 있다. 이때, 영상은 블록 단위로 부호화 되어 전송되므로 홀 영역도 블록 단위로 발생할 수 있다.In addition, when an error occurs in the process of transmitting an image, some data of the image may be missing, resulting in a hole area. At this time, since the image is encoded and transmitted in units of blocks, a hole area can also be generated in block units.

그리고, 다시점(multi-view)의 영상을 생성하기 위하여 영상을 변환 (warping)하는 경우, 각각의 영상에 홀 영역이 없더라도, 가려져 있던 영역 (occlusion region)에 의하여 홀 영역이 발생할 수 있다.In addition, when an image is warped to generate a multi-view image, a hole region may be generated by an occlusion region even though there is no hole region in each image.

즉, 홀 영역의 발생 조건이 다양하므로, 다양한 홀 영역에 대응하기 위해서는 홀 영역의 발생 방지 보다 발생한 홀 영역을 효과적으로 제거하는 기술이 요구된다.That is, since the generation conditions of the hole regions are various, in order to cope with various hole regions, there is a need for a technique for effectively eliminating the hole regions generated rather than preventing the occurrence of the hole regions.

일실시예에 따른 영상 처리 장치는 하나 이상의 홀 화소가 포함된 홀 영역의 주변에 존재하는 이웃 화소들을 이용하여 홀 영역에 포함된 홀 화소에 대응하는 복수의 후보 화소들을 설정하는 후보 화소 설정부; 및 복수의 후보 화소들을 이용하여 홀 화소의 화소값을 결정하는 화소값 결정부를 포함할 수 있다.The image processing apparatus includes a candidate pixel setting unit configured to set a plurality of candidate pixels corresponding to a hole pixel included in a hole area using neighboring pixels existing around a hole area including at least one hole pixel; And a pixel value determining unit for determining the pixel value of the hole pixel using the plurality of candidate pixels.

일실시예에 따른 영상 처리 장치의 후보 화소는 이웃 화소들 중에서 홀 화소를 중심으로 대칭 관계에 있는 이웃 화소의 쌍을 이용하여 설정될 수 있다.A candidate pixel of the image processing apparatus according to an exemplary embodiment may be set using a pair of neighboring pixels symmetrically related to a hole pixel among neighboring pixels.

일실시예에 따른 영상 처리 장치의 후보 화소의 대칭 관계는 수직 방향, 수평 방향 및 대각선 방향 중 어느 하나의 방향에 해당할 수 있다. The symmetry relationship of the candidate pixels of the image processing apparatus according to one embodiment may correspond to any one of the vertical direction, the horizontal direction, and the diagonal direction.

일실시예에 따른 영상 처리 장치의 후보 화소는 상기 이웃 화소의 쌍에 해당하는 화소값, 및 상기 홀 화소와 상기 이웃 화소의 쌍까지의 각 거리를 이용하여 후보 화소의 화소값이 설정될 수 있다.The candidate pixel of the image processing apparatus according to the embodiment may set the pixel value of the candidate pixel using the pixel value corresponding to the pair of neighboring pixels and the distance to the pair of the hole pixel and the neighboring pixel .

일실시예에 따른 영상 처리 장치는 후보 화소들과 관련된 이웃 화소들을 이용하여 후보 화소들 각각의 가중치를 결정하는 가중치 결정부를 더 포함하고, 상기 홀 화소의 화소값은, 상기 가중치를 상기 후보 화소에 적용함으로써 결정될 수 있다.The image processing apparatus may further include a weight determining unit that determines weights of candidate pixels using neighboring pixels associated with the candidate pixels, and the pixel value of the hole pixel is determined by adding the weight to the candidate pixel . ≪ / RTI >

일실시예에 따른 영상 처리 장치의 가중치는, 제1 가중치에 의해 결정되고, 제1 가중치는, 상기 이웃 화소의 쌍의 화소값들의 차이를 이용하여 결정될 수 있다.The weight of the image processing apparatus according to an exemplary embodiment may be determined by a first weight, and the first weight may be determined using a difference between pixel values of the pair of neighboring pixels.

일실시예에 따른 영상 처리 장치의 제1 가중치는 상기 화소값들의 차이에 반비례할 수 있다.The first weight of the image processing apparatus according to an exemplary embodiment may be inversely proportional to the difference between the pixel values.

일실시예에 따른 영상 처리 장치의 가중치는 제2 가중치에 의해 결정되고, 상기 제2 가중치는, 상기 이웃 화소의 쌍 중에서 상기 홀 화소와 가까운 이웃 화소와 상기 홀 화소 간의 거리를 이용하여 결정될 수 있다.The weight of the image processing apparatus according to an exemplary embodiment may be determined by a second weight and the second weight may be determined using a distance between a neighboring pixel and a hole pixel adjacent to the hole pixel among the pair of neighboring pixels .

일실시예에 따른 영상 처리 장치의 제2 가중치는 홀 화소에 가까운 이웃 화소와 후보 화소 간의 거리에 반비례할 수 있다.The second weight of the image processing apparatus according to an exemplary embodiment may be inversely proportional to a distance between a neighboring pixel and a candidate pixel near the hole pixel.

일실시예에 따른 영상 처리 방법은 하나 이상의 홀 화소가 포함된 홀 영역의 주변에 존재하는 이웃 화소들을 이용하여 홀 영역에 포함된 홀 화소에 대응하는 복수의 후보 화소들을 설정하는 단계; 및 복수의 후보 화소들을 이용하여 홀 화소의 화소값을 결정하는 단계를 포함할 수 있다.According to an embodiment of the present invention, there is provided an image processing method comprising: setting a plurality of candidate pixels corresponding to a hole pixel included in a hole area using neighboring pixels existing around a hole area including at least one hole pixel; And determining the pixel value of the hole pixel using the plurality of candidate pixels.

도 1은 일실시예에 따른 영상 처리 장치의 구조를 도시한 도면이다.
도 2는 일실시예에 따른 홀 화소와 이웃 화소의 일례이다.
도 3은 일실시예에 따라 홀 화소의 화소값을 결정하는 과정의 일례이다.
도 4는 일실시예에 따라 홀 화소의 화소값을 결정하는 과정의 일례이다.
도 5은 일실시예에 따른 영상 처리 결과를 도시한 도면이다.
도 6은 일실시예에 따른 영상 처리 방법을 도시한 도면이다.1 is a diagram illustrating a structure of an image processing apparatus according to an embodiment.
2 is an example of a hole pixel and a neighboring pixel according to an embodiment.
3 is an example of a process of determining a pixel value of a hole pixel according to an embodiment.
4 is an example of a process of determining a pixel value of a hole pixel according to an embodiment.
5 is a diagram showing a result of image processing according to an embodiment.
FIG. 6 is a diagram illustrating an image processing method according to an embodiment.

이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. Hereinafter, embodiments will be described in detail with reference to the accompanying drawings.

도 1은 일실시예에 따른 영상 처리 장치의 구조를 도시한 도면이다.1 is a diagram illustrating a structure of an image processing apparatus according to an embodiment.

도 1을 참고하면, 영상 처리 장치(100)는 후보 화소 설정부(110), 가중치 결정부(120), 화소값 결정부(130), 및 홀 영역 제거부(140)를 포함할 수 있다.Referring to FIG. 1, the image processing apparatus 100 may include a candidate pixel setting unit 110, a weight determining unit 120, a pixel value determining unit 130, and a hole region removing unit 140.

후보 화소 설정부(110)는 홀 영역의 이웃 화소들을 이용하여 홀 영역에 포함된 홀 화소에 대응하는 복수의 후보 화소들을 설정할 수 있다. 이때, 홀 영역은 영상에서 표시할 정보가 없는 영역일 수 있다. 홀 영역은 영상의 취득, 전송, 렌더링 과 같은 과정 중 적어도 하나에서 발생할 수 있다. 또한, 홀 영역의 이웃 화소들은 홀 영역에 근접한 정상 화소들일 수 있다. 이때, 정상 화소는 홀 영역과 달리 영상에서 표시할 정보가 있는 영역의 화소일 수 있다. The candidate pixel setting unit 110 may set a plurality of candidate pixels corresponding to the hole pixels included in the hole region using neighboring pixels in the hole region. At this time, the hole area may be an area where there is no information to be displayed in the image. The hole area may occur in at least one of processes such as acquisition, transmission, and rendering of an image. Further, neighboring pixels in the hole area may be normal pixels close to the hole area. At this time, the normal pixel may be a pixel of an area having information to be displayed in the image, unlike the hole area.

홀 영역과 홀 영역에 대응하는 화소인 홀 화소 및 이웃 화소들의 관계는 이하 도 2를 참조하여 상세히 설명한다.The relationship between a hole pixel and a neighboring pixel, which are pixels corresponding to the hole area and the hole area, will be described in detail below with reference to FIG.

이때, 후보 화소 설정부(110)는 이웃 화소들 중에서 홀 화소를 중심으로 대칭 관계에 있는 이웃 화소의 쌍을 이용하여 후보 화소들을 결정할 수 있다. 구체적으로 후보 화소 설정부(110)는 홀 화소를 중심으로 수직 방향, 수평 방향 및 대각선 방향 중 어느 하나의 방향에 위치한 이웃 화소의 쌍을 이용하여 후보 화소들을 설정할 수 있다.At this time, the candidate pixel setting unit 110 may determine candidate pixels using a pair of neighboring pixels symmetrical about the hole pixel among neighboring pixels. Specifically, the candidate pixel setting unit 110 may set candidate pixels using a pair of neighboring pixels located in any one of the vertical direction, the horizontal direction, and the diagonal direction around the hole pixel.

이때, 후보 화소 설정부(110)는 이웃 화소들 각각에 홀 화소와 이웃 화소들 간의 거리에 반비례하는 이웃 화소의 가중치를 설정하고, 이웃 화소의 화소값에 이웃 화소의 가중치를 적용하여 후보 화소의 화소값을 결정할 수 있다.At this time, the candidate pixel setting unit 110 sets weights of neighboring pixels that are inversely proportional to the distances between the hole and neighboring pixels in each of the neighboring pixels, and applies the weights of neighboring pixels to the pixel values of the neighboring pixels, The pixel value can be determined.

후보 화소 설정부(110)가 후보 화소들을 설정하는 과정은 이하 도 3 내지 도 4를 참조하여 상세히 설명한다.The process of setting the candidate pixels by the candidate pixel setting unit 110 will be described in detail with reference to FIG. 3 to FIG.

가중치 결정부(120)는 후보 화소 설정부(110)가 설정한 후보 화소들과 관련된 이웃 화소들을 이용하여 후보 화소들 각각의 가중치를 결정할 수 있다. 이때, 가중치 결정부(120)는 화소값 결정부(130)가 결정하는 홀 화소가 제1 조건, 및 제2 조건을 만족하도록 후보 화소들 각각의 가중치를 결정할 수 있다. 이때, 제1 조건은 홀 화소가 이웃 화소들의 에지(Edge)를 보존하는 것이고, 제2 조건은 홀 화소의 화소값이 홀 화소에 인접한 화소들의 값과 가까워야 하는 것일 수 있다.The weight determining unit 120 may determine the weights of the candidate pixels using the neighboring pixels associated with the candidate pixels set by the candidate pixel setting unit 110. [ At this time, the weight determining unit 120 may determine the weights of the candidate pixels so that the hole pixels determined by the pixel value determining unit 130 satisfy the first condition and the second condition. In this case, the first condition is that the hole pixel stores the edge of the neighboring pixels, and the second condition is that the pixel value of the hole pixel should be close to the value of the pixels adjacent to the hole pixel.

이때, 가중치 결정부(120)는 홀 화소를 중심으로 대칭 관계에 있는 이웃 화소의 쌍들 간의 화소값 차이를 이용하여 후보 화소들의 가중치를 결정할 수 있다. 구체적으로 가중치 결정부(130)는 후보 화소들과 관련된 이웃 화소의 쌍들 간의 화소값 차이에 반비례하도록 후보 화소들의 가중치를 결정함으로써, 제1 조건을 만족시킬 수 있다. At this time, the weight determining unit 120 may determine the weights of the candidate pixels using the pixel value difference between pairs of neighboring pixels symmetrically related to the hole pixel. Specifically, the weight determining unit 130 may satisfy the first condition by determining the weights of the candidate pixels so as to be in inverse proportion to the pixel value difference between the pairs of neighboring pixels associated with the candidate pixels.

예를 들어, 가중치 결정부(120)는 후보 화소들과 관련된 이웃 화소의 쌍들 간의 화소값 차이가 적은 경우, 후보 화소들의 가중치를 크게 결정할 수 있다. 또한, 가중치 결정부(120)는 후보 화소들과 관련된 이웃 화소의 쌍들 간의 화소값 차이가 큰 경우, 후보 화소들의 가중치를 작게 결정할 수 있다.For example, if the pixel value difference between the pairs of neighboring pixels related to the candidate pixels is small, the weight determining unit 120 may determine the weight of the candidate pixels. In addition, the weight determining unit 120 may determine the weight of the candidate pixels to be small when the pixel value difference between the pairs of neighboring pixels related to the candidate pixels is large.

그리고, 가중치 결정부(120)는 홀 화소와 대칭 관계에 있는 이웃 화소의 쌍들 간의 거리를 이용하여 후보 화소들의 가중치를 결정할 수 있다. 구체적으로, 가중치 결정부(120)는 후보 화소와 관련된 이웃 화소의 쌍들 간의 거리에 반비례하도록 후보 화소들의 가중치를 결정함으로써 제2 조건을 만족시킬 수 있다. The weight determining unit 120 may determine the weights of the candidate pixels using the distances between pairs of adjacent pixels symmetrically related to the hole pixels. Specifically, the weight determining unit 120 may satisfy the second condition by determining the weights of the candidate pixels so as to be in inverse proportion to the distance between pairs of neighboring pixels associated with the candidate pixel.

예를 들어, 가중치 결정부(120)는 후보 화소와 관련된 이웃 화소의 쌍들 간의 거리가 가까운 경우, 후보 화소들의 가중치를 크게 결정할 수 있다. 또한, 가중치 결정부(120)는 후보 화소와 관련된 이웃 화소의 쌍들 간의 거리가 먼 경우, 후보 화소들의 가중치를 적게 결정할 수 있다. For example, when the distance between pairs of neighboring pixels related to a candidate pixel is close, the weight determining unit 120 may determine a weight of the candidate pixels. In addition, the weight determining unit 120 may determine the weight of the candidate pixels to be small when the distance between the pairs of neighboring pixels related to the candidate pixel is long.

화소값 결정부(130)는 후보 화소 설정부(110)가 설정한 복수의 후보 화소들을 이용하여 홀 화소의 화소값을 결정할 수 있다. 구체적으로 화소값 결정부(130)는 가중치 결정부(120)가 결정한 가중치를 후보 화소 설정부(110)가 설정한 복수의 후보 화소들에 적용하고, 가중치를 적용한 후보 화소들을 이용하여 홀 화소의 화소값을 결정할 수 있다.The pixel value determination unit 130 may determine the pixel value of the hole pixel using the plurality of candidate pixels set by the candidate pixel setting unit 110. [ Specifically, the pixel value determining unit 130 applies the weight determined by the weight determining unit 120 to a plurality of candidate pixels set by the candidate pixel setting unit 110, and uses the weighted candidate pixels to calculate the weight The pixel value can be determined.

홀 영역 제거부(140)는 홀 화소에 화소값 결정부(130)가 결정한 화소값을 입력하여 정상 화소로 변환함으로써, 홀 영역을 제거할 수 있다. 홀 영역 제거부(140)가 정상 화소로 변환한 홀 화소들을 정상 화소로 설정하는 경우, 후보 화소 설정부(110), 가중치 결정부(120), 및 화소값 결정부(130)가 정상 화소로 변환된 홀 화소들을 이웃 화소로 선택하여 다른 홀 화소의 화소값을 결정하는 과정에 사용할 수 있다. 그러나, 홀 영역 제거부(140)가 홀 화소에 입력한 화소값에 오류가 발생한 경우, 다른 홀 화소의 화소값에도 오류가 발생할 수 있다.The hole area removing unit 140 can remove the hole area by inputting the pixel value determined by the pixel value determining unit 130 into the hole pixel and converting it into a normal pixel. The weight determining unit 120 and the pixel value determining unit 130 may be set as normal pixels when the hall region removing unit 140 sets the hall pixels converted to the normal pixels as normal pixels. And selecting the converted hall pixels as neighboring pixels to determine pixel values of the other hall pixels. However, if an error occurs in the pixel value input to the hole pixel by the hole area removing unit 140, an error may also occur in the pixel value of the other hole pixel.

따라서, 홀 영역 제거부(140)는 정상 화소로 변환한 홀 화소들을 홀 영역이 모두 제거될 때까지 홀 화소로 설정함으로써, 후보 화소 설정부(110), 가중치 결정부(120), 및 화소값 결정부(130)가 정상 화소로 변환된 홀 화소들을 이웃 화소로 선택하지 않도록 할 수 있다.Therefore, the hall region remover 140 sets the hall pixels converted to the normal pixels to the hall pixels until all the hall areas are removed, so that the candidate pixel setting unit 110, the weight determining unit 120, The determination unit 130 may not select the hall pixels converted into the normal pixels as neighboring pixels.

일실시예에 따른 영상 처리 장치(100)는 홀 영역의 이웃 화소들을 이용하여 복수의 후보 화소들을 설정하고, 후보 화소들의 화소값과 후보 화소들의 가중치를 이용하여 홀 영역의 홀 화소의 화소값을 결정함으로써, 홀 영역을 제거할 수 있다.
The image processing apparatus 100 according to an exemplary embodiment sets a plurality of candidate pixels using neighboring pixels of a hole region and calculates a pixel value of a hole pixel of the hole region using the pixel value of the candidate pixels and the weight of the candidate pixels The hole area can be removed.

도 2는 일실시예에 따른 홀 화소와 이웃 화소의 일례이다.2 is an example of a hole pixel and a neighboring pixel according to an embodiment.

일실시예에 따른 영상 처리 장치(100)가 홀 화소(210)의 화소값을 결정하기 위하여 이용하는 이웃 화소(220)들은 도 2에 도시된 바와 같이 홀 영역을 둘러싸고 있는 정상 화소들일 수 있다.The neighboring pixels 220 used by the image processing apparatus 100 according to an embodiment to determine pixel values of the hole pixels 210 may be normal pixels surrounding the hole regions as shown in FIG.

이때, 영상 처리 장치(100)는 이웃 화소(200)들을 그대로 이용할 수도 있고, 필터링이 적용된 이웃 화소들을 이용할 수도 있다. 이때, 이웃 화소들에 적용된 필터링(Filtering)은 영상에 존재하는 노이즈를 제거하기 위한 필터링, 또는 홀 영역을 더 샤프(Sharp)하게 채우기 위한 필터링일 수 있다.At this time, the image processing apparatus 100 may use the neighboring pixels 200 as it is, or may use neighboring pixels to which the filtering is applied. At this time, the filtering applied to the neighboring pixels may be filtering to remove noise existing in the image, or filtering to fill the hole area more sharply.

또한, 영상 처리 장치(100)는 이웃 화소(200)들 중에서 홀 화소를 중심으로 일정 방향에 위치한 이웃 화소들을 선택하고, 선택한 이웃 화소들을 이용하여 복수의 후보 화소들을 설정할 수 있다.
In addition, the image processing apparatus 100 may select neighboring pixels located in a predetermined direction around the hole pixel among the neighboring pixels 200, and may set a plurality of candidate pixels using the selected neighboring pixels.

도 3은 일실시예에 따라 홀 화소의 화소값을 결정하는 과정의 일례이다.3 is an example of a process of determining a pixel value of a hole pixel according to an embodiment.

먼저, 후보 화소 설정부(110)는 홀 화소(300)를 중심으로 4 방향에 위치한 이웃 화소들을 이용하여 4개의 후보 화소를 설정할 수 있다.First, the candidate pixel setting unit 110 may set four candidate pixels using neighboring pixels located in four directions around the hall pixel 300. [

이때, 후보 화소 설정부(110)는 위쪽 방향으로 가장 가까운 위치에 있는 이웃 화소 2(310) 및 아래쪽 방향으로 가장 가까운 위치에 있는 이웃 화소 7(315)을 이용하여 후보 화소 C1을 설정할 수 있다. At this time, the candidate pixel setting unit 110 can set the candidate pixel C1 using the neighboring pixel 2 310 located closest to the upward direction and the neighboring pixel 7 315 located closest to the downward direction.

또한, 후보 화소 설정부(110)는 왼쪽 방향으로 가장 가까운 위치에 있는 이웃 화소 4(320) 및 오른쪽 방향으로 가장 가까운 위치에 있는 이웃 화소 5(325)을 이용하여 후보 화소 C2를 설정할 수 있다. In addition, the candidate pixel setting unit 110 may set the candidate pixel C2 using the neighboring pixel 4 320 nearest to the left direction and the neighboring pixel 5 325 nearest to the right direction.

그리고, 후보 화소 설정부(110)는 홀 화소(300)에서 제1 대각선의 왼쪽 방향으로 가장 가까운 위치에 있는 이웃 화소 1(330) 및 홀 화소(300)를 중심으로 이웃 화소 1(330)과 대칭 관계에 있는 이웃 화소 8(335)을 이용하여 후보 화소 C3을 설정할 수 있다. 이때, 제1 대각선은 왼쪽 방향이 오른쪽 방향 보다 높은 대각선일 수 있다.The candidate pixel setting unit 110 sets the neighborhood pixel 1 330 and the hall pixel 300 nearest to the left side of the first diagonal line in the hall pixel 300, The candidate pixel C3 can be set using the neighboring pixel 8 (335) in a symmetrical relationship. At this time, the first diagonal line may be a diagonal line with the left direction being higher than the right direction.

또한, 후보 화소 설정부(110)는 제2 대각선의 오른쪽 방향으로 가장 가까운 위치에 있는 이웃 화소 3(340) 및 홀 화소(300)를 중심으로 이웃 화소 3(340)과 대칭 관계에 있는 이웃 화소 6(345)을 이용하여 후보 화소 C4를 설정할 수 있다. 이때, 제2 대각선은 왼쪽 방향이 오른쪽 방향 보다 낮은 대각선일 수 있다.The candidate pixel setting unit 110 sets the neighborhood pixel 3 340 and the neighboring pixel 3 340 that are symmetric with the neighboring pixel 3 340 about the hole pixel 300 located nearest to the right of the second diagonal line, 6 (345) to set the candidate pixel C4. At this time, the second diagonal line may be a diagonal line whose leftward direction is lower than the rightward direction.

이때, 후보 화소 설정부(110)는 다양한 방법으로 후보 화소의 화소값을 결정할 수 있다. 예를 들어 이웃 화소들 각각에 홀 화소와 이웃 화소들 간의 거리에 반비례하는 이웃 화소의 가중치를 설정하고, 이웃 화소의 화소값에 이웃 화소의 가중치를 적용하여 후보 화소의 화소값을 결정할 수 있다.At this time, the candidate pixel setting unit 110 can determine the pixel value of the candidate pixel by various methods. For example, a pixel value of a candidate pixel may be determined by setting a weight of a neighboring pixel in inverse proportion to a distance between a hole pixel and neighboring pixels in each of neighboring pixels, and applying a weight of a neighboring pixel to a pixel value of the neighboring pixel.

또한, 후보 화소 설정부(110)가 Biliear Interpolation 방식을 사용할 경우, 후보 화소 설정부(110)는 수학식 1 내지 수학식 4를 이용하여 후보 화소 C1 내지 후보 화소 C4의 화소값을 결정할 수 있다. In addition, when the candidate pixel setting unit 110 uses the Biliear interpolation method, the candidate pixel setting unit 110 can determine the pixel values of the candidate pixels C1 to C4 using Equations (1) to (4).

Figure 112012088317644-pat00001
Figure 112012088317644-pat00001

Figure 112012088317644-pat00002
Figure 112012088317644-pat00002

Figure 112012088317644-pat00003
Figure 112012088317644-pat00003

Figure 112012088317644-pat00004
Figure 112012088317644-pat00004

이때, I(x)는 화소 x의 화소 값일 수 있다. 또한, 수학식 1 내지 수학식 4의 분모는 이웃 화소 쌍들 간의 거리에 비례하며, 수학식 1 내지 수학식 4의 분자는 홀 화소(300)와 이웃 화소 간의 거리에 반비례할 수 있다. At this time, I (x) may be the pixel value of the pixel x. The denominators of Equations (1) to (4) are proportional to the distance between neighboring pixel pairs, and the numerator of Equation (1) to Equation (4) may be inversely proportional to the distance between the hole pixel 300 and neighboring pixels.

예를 들어, 후보 화소 C1과 관련된 이웃 화소 쌍들은 이웃 화소 2(310) 및 이웃 화소 7(315)일 수 있다. 이때, 수학식 1의 분모 3은 이웃 화소 2(310)에서 이웃 화소 7(315)까지의 거리일 수 있다. 또한, 도 3에 도시된 바와 같이 이웃 화소 2(310)와 홀 화소(300) 간의 거리는 이웃 화소 7(315)와 홀 화소(300) 간의 거리보다 가까울 수 있다. 따라서, 수학식 1에서 이웃 화소 2(310)의 화소값에 곱해지는 분모 2는 이웃 화소 7(315)의 화소값에 곱해지는 분모 1보다 클 수 있다.For example, neighboring pixel pairs associated with candidate pixel C1 may be neighboring pixel 2 310 and neighboring pixel 7 315. In this case, denominator 3 of Equation 1 may be the distance from neighboring pixel 2 310 to neighboring pixel 7 315. 3, the distance between the neighboring pixel 2 310 and the hall pixel 300 may be shorter than the distance between the neighboring pixel 7 315 and the hall pixel 300. Therefore, the denominator 2 multiplied by the pixel value of the neighboring pixel 2 310 in Equation (1) may be greater than the denominator 1 multiplied by the pixel value of the neighboring pixel 7 315.

그리고, 후보 화소 C2와 같이 이웃 화소 쌍 들간의 거리가 증가하는 경우, 수학식 2와 같이 분모의 크기가 증가하고, 후보 화소 C4와 같이 이웃 화소 쌍 들간의 거리가 감소하는 경우, 수학식 4와 같이 분모의 크기가 감소할 수 있다. When the distance between neighboring pixel pairs increases as in the case of the candidate pixel C2, when the denominator size increases as shown in Equation 2 and the distance between neighboring pixel pairs such as the candidate pixel C4 decreases, Likewise, the size of the denominator can be reduced.

다음으로, 가중치 결정부(120)는 홀 화소(300)가 제1 조건, 및 제2 조건을 만족하도록 후보 화소 C1 내지 후보 화소 C4의 가중치를 결정할 수 있다. 구체적으로 가중치 결정부(120)는 후보 화소 C1 내지 후보 화소 C4 각각에 제1 조건을 만족하기 위한 제1 가중치와, 제2 조건을 만족하기 위한 제2 가중치를 결정하고, 제1 가중치와 제2 가중치를 이용하여 후보 화소 C1 내지 후보 화소 C4의 최종 가중치를 결정할 수 있다.Next, the weight determining unit 120 may determine the weights of the candidate pixels C1 to C4 so that the hall pixel 300 satisfies the first condition and the second condition. Specifically, the weight determining unit 120 determines a first weight to satisfy the first condition and a second weight to satisfy the second condition for each of the candidate pixels C1 to C4, The final weights of the candidate pixels C1 to C4 can be determined using the weights.

이때, 가중치 결정부(120)는 홀 화소(300)를 중심으로 대칭 관계에 있는 이웃 화소의 쌍들 간의 화소 값의 차이가 작을수록 이웃 화소의 쌍과 관련된 후보 화소의 가중치를 크게 결정할 수 있다. 예를 들어 가중치 결정부(120)는 수학식 5 내지 수학식 8을 이용하여 후보 화소 C1의 제1 가중치

Figure 112012088317644-pat00005
내지 후보 화소
Figure 112012088317644-pat00006
의 제1 가중치 w1 C4를 결정할 수 있다. At this time, the weight determining unit 120 can determine a weight of a candidate pixel related to a pair of neighboring pixels as a difference between pixel values of pairs of neighboring pixels symmetrical about the hall pixel 300 is small. For example, the weight determining unit 120 may calculate the first weight of the candidate pixel C1 using Equations (5) to (8)
Figure 112012088317644-pat00005
Candidate pixels
Figure 112012088317644-pat00006
Lt; RTI ID = 0.0 > w1 C4 < / RTI >

Figure 112012088317644-pat00007
Figure 112012088317644-pat00007

Figure 112012088317644-pat00008
Figure 112012088317644-pat00008

Figure 112012088317644-pat00009
Figure 112012088317644-pat00009

Figure 112012088317644-pat00010
Figure 112012088317644-pat00010

이때, w1 Ck는 k번째 후보 화소의 제1 가중치이며, ε은 분모가 0이 되는 것을 방지하기 위한 상수일 수 있다. 또한, 가중치 결정부(120)는 수학식 5 내지 수학식 8 이외에도 홀 화소(300)를 중심으로 대칭 관계에 있는 이웃 화소의 쌍들 간의 화소 값의 차이가 작을수록 이웃 화소의 쌍과 관련된 후보 화소의 가중치를 크게 결정하는 임의의 함수를 이용할 수도 있다.In this case, w 1 Ck is a first weight of the k-th candidate pixel, and? Is a constant for preventing the denominator from becoming zero. In addition to Equations 5 to 8, the weight determining unit 120 may determine the weights of the candidate pixels related to the pair of neighboring pixels as the difference between the pixel values of the pair of neighboring pixels symmetrical about the hole pixel 300 is small Any function that largely determines the weight may be used.

또한, 가중치 결정부(120)는 후보 화소와 관련된 이웃 화소들 중에서 홀 화소(300)에 가까운 이웃 화소와 홀 화소(300) 간의 거리를 결정하고, 결정한 거리에 반비례하는 제2 가중치를 결정할 수 있다. 예를 들어, 도 3에서 후보 화소 C1과 관련된 이웃 화소인 이웃 화소 2(310)과 이웃 화소 7(315) 중에서 홀 화소에 가까운 이웃 화소는 이웃 화소 2(310)일 수 있다. 따라서, 가중치 결정부(120)는 이웃 화소 2(310)와 홀 화소(300) 간의 거리인 1을 사용하여 후보 화소 C1의 제2 가중치를 결정할 수 있다.The weight determining unit 120 may determine a distance between a neighboring pixel near the hole pixel 300 and the hole pixel 300 among neighbor pixels related to the candidate pixel and determine a second weight inversely proportional to the determined distance . For example, in FIG. 3, a neighbor pixel neighboring the neighboring pixel 2 310 and the neighboring pixel 7 315, which is a neighboring pixel related to the candidate pixel C1, may be a neighboring pixel 2 310. FIG. Accordingly, the weight determining unit 120 can determine the second weight of the candidate pixel C1 using the distance 1 between the neighboring pixel 2 310 and the hole pixel 300. [

그리고, 가중치 결정부(120)는 수학식 9 내지 수학식 12를 이용하여 후보 화소 C1의 제2 가중치

Figure 112012088317644-pat00011
내지 후보 화소 C4의 제2 가중치
Figure 112012088317644-pat00012
를 결정할 수 있다. Then, the weight determining unit 120 calculates the second weight of the candidate pixel C1 using Equations (9) to (12)
Figure 112012088317644-pat00011
The second weight of the candidate pixel C4
Figure 112012088317644-pat00012
Can be determined.

Figure 112012088317644-pat00013
Figure 112012088317644-pat00013

Figure 112012088317644-pat00014
Figure 112012088317644-pat00014

Figure 112012088317644-pat00015
Figure 112012088317644-pat00015

Figure 112012088317644-pat00016
Figure 112012088317644-pat00016

이때, min(a,b)는 a　와 b　값 중에서 작은 값을 결정하는 함수이며, dist(x,y)는 화소 x와 화소 y사이의 거리를 결정하는 함수일 수 있다. 예를 들어, 화소 x와 화소 y사이의 거리는 유클리드 거리(Euclidean Distance) 방법, 또는 맨하탄 거리(Manhattan Distance) 방법을 이용하여 결정할 수 있다. In this case, min (a, b) is a function for determining a smaller value among a and b values, and dist (x, y) can be a function for determining the distance between the pixel x and the pixel y. For example, the distance between pixel x and pixel y may be determined using either the Euclidean Distance method or the Manhattan Distance method.

그리고, 가중치 결정부(120)는 수학식 13 내지 수학식 16을 이용하여 후보 화소 C1의 최종 가중치

Figure 112012088317644-pat00017
내지 후보 화소 C4의 최종 가중치
Figure 112012088317644-pat00018
를 결정할 수 있다.Then, the weight determining unit 120 determines the final weight W1 of the candidate pixel C1 using Equations (13) to (16)
Figure 112012088317644-pat00017
To the final weight of the candidate pixel C4
Figure 112012088317644-pat00018
Can be determined.

Figure 112012088317644-pat00019
Figure 112012088317644-pat00019

Figure 112012088317644-pat00020
Figure 112012088317644-pat00020

Figure 112012088317644-pat00021
Figure 112012088317644-pat00021

Figure 112012088317644-pat00022
Figure 112012088317644-pat00022

마지막으로, 화소값 결정부(130)는 후보 화소 설정부(110)가 결정한 후보 화소 C1의 화소값 I(C1) 내지 후보 화소 C4의 화소값 I(C4)과 가중치 결정부(120)가 결정한 후보 화소 C1의 최종 가중치

Figure 112012088317644-pat00023
내지 후보 화소 C4의 최종 가중치
Figure 112012088317644-pat00024
를 이용하여 홀 화소(300)의 화소값을 결정할 수 있다.Finally, the pixel value determining unit 130 determines whether the pixel value I (C1) of the candidate pixel C1 or the pixel value I (C4) of the candidate pixel C4 determined by the candidate pixel setting unit 110 and the pixel value I The final weight of the candidate pixel C1
Figure 112012088317644-pat00023
To the final weight of the candidate pixel C4
Figure 112012088317644-pat00024
The pixel value of the hall pixel 300 can be determined.

　예를 들어, 화소값 결정부(130)는 수학식 17을 이용하여 홀 화소(300)의 화소값을 결정할 수 있다.For example, the pixel value determining unit 130 can determine the pixel value of the hall pixel 300 using Equation (17).

Figure 112012088317644-pat00025
Figure 112012088317644-pat00025

이때, W는 수학식 18로 결정할 수 있다.At this time, W can be determined by Equation (18).

Figure 112012088317644-pat00026
Figure 112012088317644-pat00026

그리고, 일실시예에 따른 영상 처리 장치(100)는 홀 영역의 모든 홀 화소에 대하여 상기 과정을 반복할 수 있다. 다른 홀 화소의 화소값을 결정할 경우, 영상 처리 장치(100)는 화소값이 결정된 홀 화소(300)를 홀 영역으로 설정함으로써, 홀 화소(300)의 화소값에 오류가 발생할 경우, 다른 홀 화소의 화소값에 영향을 주는 것을 방지할 수 있다.
In addition, the image processing apparatus 100 according to the embodiment can repeat the above process for all the hole pixels in the hole area. When the pixel value of the other hall pixel is determined, the image processing apparatus 100 sets the hall pixel 300 having the determined pixel value as the hall area, and when an error occurs in the pixel value of the hall pixel 300, Can be prevented from affecting the pixel value of the pixel.

도 4는 일실시예에 따라 홀 화소의 화소값을 결정하는 과정의 일례이다.4 is an example of a process of determining a pixel value of a hole pixel according to an embodiment.

도 4는 홀 화소(400)을 중심으로 6 방향에 위치한 이웃 화소들을 이용하여 후보 화소를 생성하는 일례이다. 또한, 일실시예에 따른 영상 처리 장치(100)는 임의의 방향을 후보 화소를 생성하기 위하여 이용할 수 있다.FIG. 4 shows an example of generating candidate pixels using neighboring pixels located in six directions around the hole pixel 400. FIG. In addition, the image processing apparatus 100 according to an exemplary embodiment may use an arbitrary direction to generate candidate pixels.

먼저, 후보 화소 설정부(110)는 홀 화소(400)를 중심으로 6 방향에 위치한 이웃 화소들을 이용하여 6개의 후보 화소를 설정할 수 있다.First, the candidate pixel setting unit 110 may set six candidate pixels using neighboring pixels located in six directions around the hole pixel 400. [

이때, 후보 화소 설정부(110)는 위쪽 방향으로 가장 가까운 위치에 있는 이웃 화소 2(410) 및 아래쪽 방향으로 가장 가까운 위치에 있는 이웃 화소 11(415)을 이용하여 후보 화소 C1을 설정할 수 있다. At this time, the candidate pixel setting unit 110 may set the candidate pixel C1 using the neighboring pixel 2 410 located nearest to the upper direction and the neighboring pixel 11 415 located nearest to the lower direction.

또한, 후보 화소 설정부(110)는 왼쪽 방향으로 가장 가까운 위치에 있는 이웃 화소 6(420) 및 오른쪽 방향으로 가장 가까운 위치에 있는 이웃 화소 7(425)을 이용하여 후보 화소 C2를 설정할 수 있다. In addition, the candidate pixel setting unit 110 may set the candidate pixel C2 using the neighboring pixel 6 420 located closest to the left direction and the neighboring pixel 7 425 located closest to the right direction.

그리고, 후보 화소 설정부(110)는 홀 화소(400)에서 제1 대각선의 왼쪽 방향으로 가장 가까운 위치에 있는 이웃 화소 1(430) 및 홀 화소(400)를 중심으로 이웃 화소 1(430)과 대칭 관계에 있는 이웃 화소 10(435)을 이용하여 후보 화소 C3을 설정할 수 있다. 이때, 제1 대각선은 왼쪽 방향이 오른쪽 방향 보다 높은 대각선일 수 있다.The candidate pixel setting unit 110 sets the neighborhood pixel 1 430 and the neighboring pixel 1 430 on the basis of the neighboring pixel 1 430 and the hall pixel 400 closest to the left side of the first diagonal line in the hall pixel 400, The candidate pixel C3 can be set using the neighboring pixel 10 (435) in a symmetrical relationship. At this time, the first diagonal line may be a diagonal line with the left direction being higher than the right direction.

또한, 후보 화소 설정부(110)는 홀 화소(400)에서 제2 대각선의 왼쪽 방향으로 가장 가까운 위치에 있는 이웃 화소 2(440) 및 홀 화소(400)를 중심으로 이웃 화소 2(440)과 대칭 관계에 있는 이웃 화소 12(445)을 이용하여 후보 화소 C4를 설정할 수 있다. 이때, 제2 대각선은 왼쪽 방향이 오른쪽 방향 보다 높은 대각선이며 제1 대각선과 각도가 다른 대각선일 수 있다.The candidate pixel setting unit 110 sets the neighborhood pixel 2 440 and the hall pixel 400 closest to the left side of the second diagonal line in the hall pixel 400, The candidate pixel C4 can be set using the neighboring pixel 12 (445) in a symmetrical relationship. In this case, the second diagonal line may be a diagonal line whose leftward direction is higher than the rightward direction and diagonals whose angles are different from the first diagonal line.

그리고, 후보 화소 설정부(110)는 제3 대각선의 오른쪽 방향으로 가장 가까운 위치에 있는 이웃 화소 4(450) 및 홀 화소(400)를 중심으로 이웃 화소 4(450)과 대칭 관계에 있는 이웃 화소 9(455)을 이용하여 후보 화소 C5를 설정할 수 있다. 이때, 제3 대각선은 왼쪽 방향이 오른쪽 방향 보다 낮은 대각선일 수 있다.The candidate pixel setting unit 110 sets the neighborhood pixel 4 450 and the neighboring pixel 4 450 symmetric to the neighboring pixel 4 450 about the hole pixel 400 located nearest to the right of the third diagonal line, 9 455 to set the candidate pixel C5. At this time, the third diagonal line may be a diagonal line in which the left direction is lower than the right direction.

또한, 후보 화소 설정부(110)는 홀 화소(400)에서 제4 대각선의 오른쪽 방향으로 가장 가까운 위치에 있는 이웃 화소 5(460) 및 홀 화소(400)를 중심으로 이웃 화소 5(460)과 대칭 관계에 있는 이웃 화소 8(465)을 이용하여 후보 화소 C6을 설정할 수 있다. 이때, 제4 대각선은 왼쪽 방향이 오른쪽 방향 보다 낮은 대각선이며 제3 대각선과 각도가 다른 대각선일 수 있다.The candidate pixel setting unit 110 sets the neighborhood pixel 5 460 and the hall pixel 400 nearest to the right side of the fourth diagonal line in the hall pixel 400, The candidate pixel C6 can be set using the neighboring pixel 8 (465) in a symmetrical relationship. In this case, the fourth diagonal line may be a diagonal line whose leftward direction is lower than the rightward direction and diagonal lines whose angles are different from the third diagonal line.

이때, 후보 화소 설정부(110)는 다양한 방법으로 후보 화소의 화소값을 결정할 수 있다. 예를 들어 후보 화소 설정부(110)는 이웃 화소 쌍들 간의 거리에 비례하는 분모값과 홀 화소(400)와 이웃 화소 간의 거리에 반비례하는 분자 값을 이웃 화소 1(430) 내지 이웃 화소12(445)에 적용하여 후보 화소 C1 내지 후보 화소 C6의 화소값을 결정할 수 있다. 예를 들어, 후보 화소 설정부(110)는 수학식 1 내지 수학식 4를 기초로 후보 화소 C1 내지 후보 화소 C6의 화소값을 결정할 수 있다. At this time, the candidate pixel setting unit 110 can determine the pixel value of the candidate pixel by various methods. For example, the candidate pixel setting unit 110 sets a denominator value proportional to the distance between neighboring pixel pairs and a molecular value inversely proportional to the distance between the hall pixel 400 and the adjacent pixel from the neighboring pixel 1 430 to the neighboring pixel 12 445 ) To determine the pixel values of the candidate pixels C1 to C6. For example, the candidate pixel setting unit 110 may determine the pixel values of the candidate pixels C1 to C6 based on Equations (1) to (4).

다음으로, 가중치 결정부(120)는 홀 화소(400)가 제1 조건, 및 제2 조건을 만족하도록 후보 화소 C1 내지 후보 화소 C6의 가중치를 결정할 수 있다. 구체적으로 가중치 결정부(120)는 후보 화소 C1 내지 후보 화소 C6 각각에 제1 조건을 만족하기 위한 제1 가중치와, 제2 조건을 만족하기 위한 제2 가중치를 결정하고, 제1 가중치와 제2 가중치를 이용하여 후보 화소 C1 내지 후보 화소 C6의 최종 가중치를 결정할 수 있다.Next, the weight determining unit 120 may determine the weights of the candidate pixels C1 to C6 so that the hole pixels 400 satisfy the first condition and the second condition. Specifically, the weight determining unit 120 determines a first weight to satisfy the first condition and a second weight to satisfy the second condition for each of the candidate pixels C1 to C6, The final weights of the candidate pixels C1 to C6 can be determined using the weights.

이때, 가중치 결정부(120)는 홀 화소(400)를 중심으로 대칭 관계에 있는 이웃 화소의 쌍들 간의 화소 값의 차이가 작을수록 이웃 화소의 쌍과 관련된 후보 화소의 가중치를 크게 결정할 수 있다. At this time, the weight determining unit 120 can determine a weight of a candidate pixel related to a pair of neighboring pixels as the difference of pixel values between pairs of neighboring pixels symmetrical about the hole pixel 400 is small.

또한, 가중치 결정부(120)는 후보 화소와 관련된 이웃 화소들 중에서 홀 화소(400)에 가까운 이웃 화소와 홀 화소(400) 간의 거리를 결정하고, 결정한 거리에 반비례하는 제2 가중치를 결정할 수 있다. 예를 들어, 도 4에서 후보 화소 C1과 관련된 이웃 화소인 이웃 화소 3(410)과 이웃 화소 11(415) 중에서 홀 화소에 가까운 이웃 화소는 이웃 화소 3(410)일 수 있다. 따라서, 가중치 결정부(120)는 이웃 화소 3(410)와 홀 화소(400) 간의 거리인 1을 사용하여 후보 화소 C1의 제2 가중치를 결정할 수 있다.The weight determining unit 120 may determine a distance between a neighboring pixel adjacent to the hole pixel 400 and the hole pixel 400 among neighbor pixels related to the candidate pixel and determine a second weight inversely proportional to the determined distance . For example, in FIG. 4, a neighboring pixel 3 410 adjacent to the candidate pixel C1 and a neighboring pixel closer to the hole pixel among the neighboring pixels 11 415 may be the neighboring pixel 3 410. Accordingly, the weight determining unit 120 can determine the second weight of the candidate pixel C1 using the distance 1 between the neighboring pixel 3 410 and the hole pixel 400. [

그리고, 가중치 결정부(120)는 후보 화소의 제1 가중치와 제2 가중치를 모두 고려하여 후보 화소의 최종 가중치를 결정할 수 있다.The weight determining unit 120 may determine the final weight of the candidate pixel by considering both the first weight and the second weight of the candidate pixel.

마지막으로, 화소값 결정부(130)는 후보 화소 설정부(110)가 결정한 후보 화소 C1의 화소값 내지 후보 화소 C6의 화소값과 가중치 결정부(120)가 결정한 후보 화소 C1의 최종 가중치 내지 후보 화소 C6의 최종 가중치를 이용하여 홀 화소(400)의 화소값을 결정할 수 있다.Finally, the pixel value determination unit 130 determines the pixel value of the candidate pixel C1 to the pixel value of the candidate pixel C1 determined by the candidate pixel setting unit 110 and the final weight or candidate of the candidate pixel C1 determined by the weight determination unit 120 The pixel value of the hall pixel 400 can be determined using the final weight of the pixel C6.

그리고, 일실시예에 따른 영상 처리 장치(100)는 홀 영역의 모든 홀 화소에 대하여 상기 과정을 반복할 수 있다. 다른 홀 화소의 화소값을 결정할 경우, 영상 처리 장치(100)는 화소값이 결정된 홀 화소(400)를 홀 영역으로 설정함으로써, 홀 화소(400)의 화소값에 오류가 발생할 경우, 다른 홀 화소의 화소값에 영향을 주는 것을 방지할 수 있다.In addition, the image processing apparatus 100 according to the embodiment can repeat the above process for all the hole pixels in the hole area. When determining the pixel values of the other hall pixels, the image processing apparatus 100 sets the hall pixel 400 in which the pixel value has been determined as the hall area, so that when an error occurs in the pixel value of the hall pixel 400, Can be prevented from affecting the pixel value of the pixel.

　

도 5은 일실시예에 따른 영상 처리 결과를 도시한 도면이다.5 is a diagram showing a result of image processing according to an embodiment.

일실시예에 따른 영상 처리 장치(100)는 입력 영상(510)에 포함된 홀 영역(511)을 처리하여 홀 영역(511)이 제거된 출력 영상(520)을 출력할 수 있다. The image processing apparatus 100 according to the embodiment may process the hole area 511 included in the input image 510 and output the output image 520 from which the hole area 511 is removed.

구체적으로, 영상 처리 장치(100)는 홀 영역(511)의 이웃 화소들을 이용하여 복수의 후보 화소들을 설정할 수 있다. Specifically, the image processing apparatus 100 can set a plurality of candidate pixels using neighboring pixels of the hole area 511. [

다음으로 영상 처리 장치(100)는 홀 영역(511)의 홀 화소와 이웃 화소들 간의 거리에 반비례하는 이웃 화소의 가중치를 이웃 화소 각각에 설정하고, 설정한 가중치를 이웃 화소의 화소값에 적용하여 후보 화소의 화소값을 결정할 수 있다.Next, the image processing apparatus 100 sets a weight of a neighboring pixel in inverse proportion to a distance between a hole pixel and a neighboring pixel in the hole area 511 in each of the neighboring pixels, and applies the set weight to the pixel value of the neighboring pixel The pixel value of the candidate pixel can be determined.

그 다음으로 영상 처리 장치(110)는 홀 화소가 제1 조건, 및 제2 조건을 만족하도록 후보 화소들 각각의 가중치를 결정할 수 있다.Next, the image processing apparatus 110 may determine the weight of each of the candidate pixels so that the hole pixel satisfies the first condition and the second condition.

다음으로 영상 처리 장치(110)는 후보 화소들의 화소값과 후보 화소들의 가중치를 이용하여 홀 영역(511)에 포함된 홀 화소의 화소값을 결정할 수 있다. Next, the image processing apparatus 110 may determine pixel values of the hole pixels included in the hole area 511 using the pixel values of the candidate pixels and the weight of the candidate pixels.

마지막으로, 영상 처리 장치(100)는 홀 화소에 결정한 화소값을 입력하여 정상 화소로 변환함으로써, 홀 영역(511)을 제거할 수 있다.
Finally, the image processing apparatus 100 can remove the hole area 511 by inputting the determined pixel value to the hole pixel and converting it into a normal pixel.

도 6은 일실시예에 따른 영상 처리 방법을 도시한 도면이다.FIG. 6 is a diagram illustrating an image processing method according to an embodiment.

단계(610)에서 후보 화소 설정부(110)는 홀 영역의 이웃 화소들을 이용하여 홀 영역에 포함된 홀 화소에 대응하는 복수의 후보 화소들을 설정할 수 있다. In step 610, the candidate pixel setting unit 110 may set a plurality of candidate pixels corresponding to the hole pixels included in the hole area using neighboring pixels in the hole area.

이때, 후보 화소 설정부(110)는 이웃 화소들 중에서 홀 화소를 중심으로 대칭 관계에 있는 이웃 화소의 쌍을 이용하여 후보 화소들을 결정할 수 있다. 구체적으로 후보 화소 설정부(110)는 홀 화소를 중심으로 수직 방향, 수평 방향 및 대각선 방향 중 어느 하나의 방향에 위치한 이웃 화소의 쌍을 이용하여 후보 화소들을 설정할 수 있다.At this time, the candidate pixel setting unit 110 may determine candidate pixels using a pair of neighboring pixels symmetrical about the hole pixel among neighboring pixels. Specifically, the candidate pixel setting unit 110 may set candidate pixels using a pair of neighboring pixels located in any one of the vertical direction, the horizontal direction, and the diagonal direction around the hole pixel.

단계(620)에서 가중치 결정부(120)는 단계(610)에서 설정한 후보 화소들과 관련된 이웃 화소들을 이용하여 후보 화소들 각각의 가중치를 결정할 수 있다. 이때, 가중치 결정부(120)는 화소값 결정부(130)가 결정하는 홀 화소가 제1 조건, 및 제2 조건을 만족하도록 후보 화소들 각각의 가중치를 결정할 수 있다. In step 620, the weight determining unit 120 may determine the weights of the candidate pixels using the neighboring pixels associated with the candidate pixels set in step 610. At this time, the weight determining unit 120 may determine the weights of the candidate pixels so that the hole pixels determined by the pixel value determining unit 130 satisfy the first condition and the second condition.

이때, 가중치 결정부(120)는 홀 화소를 중심으로 대칭 관계에 있는 이웃 화소의 쌍들 간의 화소값 차이를 이용하여 후보 화소들의 가중치를 결정할 수 있다. 구체적으로 가중치 결정부(130)는 후보 화소들과 관련된 이웃 화소의 쌍들 간의 화소값 차이에 반비례하도록 후보 화소들의 가중치를 결정함으로써, 제1 조건을 만족시킬 수 있다. At this time, the weight determining unit 120 may determine the weights of the candidate pixels using the pixel value difference between pairs of neighboring pixels symmetrically related to the hole pixel. Specifically, the weight determining unit 130 may satisfy the first condition by determining the weights of the candidate pixels so as to be in inverse proportion to the pixel value difference between the pairs of neighboring pixels associated with the candidate pixels.

그리고, 가중치 결정부(120)는 홀 화소와 대칭 관계에 있는 이웃 화소의 쌍들 간의 거리를 이용하여 후보 화소들의 가중치를 결정할 수 있다. 구체적으로, 가중치 결정부(120)는 후보 화소와 관련된 이웃 화소의 쌍들 간의 거리에 반비례하도록 후보 화소들의 가중치를 결정함으로써 제2 조건을 만족시킬 수 있다. The weight determining unit 120 may determine the weights of the candidate pixels using the distances between pairs of adjacent pixels symmetrically related to the hole pixels. Specifically, the weight determining unit 120 may satisfy the second condition by determining the weights of the candidate pixels so as to be in inverse proportion to the distance between pairs of neighboring pixels associated with the candidate pixel.

단계(630)에서 화소값 결정부(130)는 단계(620)에서 결정한 가중치를 단계(610)에서 설정한 복수의 후보 화소들에 적용하고, 가중치를 적용한 후보 화소들을 이용하여 홀 화소의 화소값을 결정할 수 있다.In step 630, the pixel value determination unit 130 applies the weight determined in step 620 to the plurality of candidate pixels set in step 610, and calculates the pixel value of the hole pixel using the weighted candidate pixels Can be determined.

단계(640)에서 홀 영역 제거부(140)는 홀 화소에 단계(630)에서 결정한 화소값을 입력하여 정상 화소로 변환함으로써, 홀 영역을 제거할 수 있다. In step 640, the hole area removing unit 140 may remove the hole area by inputting the pixel value determined in step 630 to the hole pixel and converting it into a normal pixel.

이때, 홀 영역 제거부(140)는 정상 화소로 변환한 홀 화소들을 홀 영역이 모두 제거될 때까지 홀 화소로 설정함으로써, 후보 화소 설정부(110), 가중치 결정부(120), 및 화소값 결정부(130)가 정상 화소로 변환된 홀 화소들을 이웃 화소로 선택하지 않도록 할 수 있다.
At this time, the hole area removing unit 140 sets the hall pixels converted into the normal pixels to the hall pixels until all the hole areas are removed, so that the candidate pixel setting unit 110, the weight determining unit 120, The determination unit 130 may not select the hall pixels converted into the normal pixels as neighboring pixels.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

　

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.

　

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

100: 영상 처리 장치
110: 후보 화소 설정부
120: 가중치 결정부
130: 화소값 결정부100: image processing device
110: candidate pixel setting unit
120: weight determining unit
130: Pixel value determination unit

Claims (19)

복수의 홀 화소들이 포함된 홀 영역의 주변에 존재하는 홀 영역의 이웃 화소들을 이용하여, 상기 복수의 홀 화소들 각각에 대응하는 복수의 후보 화소들을 설정하는 후보 화소 설정부; 및
상기 복수의 후보 화소들을 이용하여 상기 복수의 홀 화소들 각각의 화소값을 결정하는 화소값 결정부
를 포함하고,
상기 후보 화소는,
상기 홀 영역의 이웃 화소들 중에서 상기 복수의 홀 화소들 각각을 중심으로 대칭 관계에 있는 홀 영역의 이웃 화소의 쌍을 이용하여 설정되는 영상 처리 장치.A candidate pixel setting unit configured to set a plurality of candidate pixels corresponding to each of the plurality of hole pixels by using neighboring pixels of the hole area existing around the hole area including the plurality of hole pixels; And
A pixel value determination unit for determining a pixel value of each of the plurality of hall pixels using the plurality of candidate pixels,
Lt; / RTI >
The candidate pixel includes:
Wherein a pair of neighboring pixels of a hole area in a symmetrical relationship with respect to each of the plurality of hole pixels among adjacent pixels in the hole area is used. 삭제delete 제1항에 있어서,
상기 대칭 관계는, 수직 방향, 수평 방향 및 대각선 방향 중 어느 하나의 방향에 해당하는 영상 처리 장치.The method according to claim 1,
Wherein the symmetry relation corresponds to one of a vertical direction, a horizontal direction and a diagonal direction. 제1항에 있어서,
상기 후보 화소는,
상기 홀 영역의 이웃 화소의 쌍에 해당하는 화소값, 및 상기 복수의 홀 화소들 각각과 상기 홀 영역의 이웃 화소의 쌍까지의 각 거리를 이용하여 후보 화소의 화소값이 설정되는 영상 처리 장치.The method according to claim 1,
The candidate pixel includes:
Wherein a pixel value of a candidate pixel is set using a pixel value corresponding to a pair of neighboring pixels in the hole region and a distance between each of the plurality of hole pixels and a pair of neighboring pixels in the hole region. 제1항에 있어서,
상기 홀 영역의 이웃 화소들을 이용하여 상기 후보 화소에 대응하는 가중치를 결정하는 가중치 결정부
를 더 포함하고,
상기 복수의 홀 화소들 각각의 화소값은,
상기 가중치를 상기 후보 화소에 적용함으로써 결정되는 영상 처리 장치.The method according to claim 1,
A weight determining unit that determines a weight corresponding to the candidate pixel using neighboring pixels of the hole region,
Further comprising:
Wherein the pixel value of each of the plurality of hall pixels is a value
And applying the weight to the candidate pixel. 제5항에 있어서,
상기 가중치는, 제1 가중치에 의해 결정되고,
상기 제1 가중치는, 상기 홀 영역의 이웃 화소의 쌍의 화소값들의 차이를 이용하여 결정되는 영상 처리 장치.6. The method of claim 5,
The weight is determined by a first weight,
Wherein the first weight is determined using a difference between pixel values of a pair of neighboring pixels of the hole region. 제6항에 있어서,
상기 제1 가중치는,
상기 화소값들의 차이에 반비례하는 영상 처리 장치.The method according to claim 6,
Wherein the first weighting factor
Wherein the difference between the pixel values is inversely proportional to the difference between the pixel values. 제5항에 있어서,
상기 가중치는, 제2 가중치에 의해 결정되고,
상기 제2 가중치는, 상기 홀 영역의 이웃 화소의 쌍 중에서 상기 복수의 홀 화소들 각각과 가까운 홀 영역의 이웃 화소와 상기 복수의 홀 화소들 각각 간의 거리를 이용하여 결정되는 영상 처리 장치.6. The method of claim 5,
Wherein the weight is determined by a second weight,
Wherein the second weight is determined by using a distance between a neighboring pixel in a hole area close to each of the plurality of hole pixels and a distance between each of the plurality of hole pixels in a pair of neighboring pixels in the hole area. 제8항에 있어서,
상기 제2 가중치는,
상기 복수의 홀 화소들 각각에 가까운 홀 영역의 이웃 화소와 상기 복수의 홀 화소들 각각 간의 거리에 반비례하는 영상 처리 장치.9. The method of claim 8,
Wherein the second weighting factor
Wherein a distance between a neighboring pixel in a hole area close to each of the plurality of hole pixels and a distance between each of the plurality of hole pixels is inversely proportional. 복수의 홀 화소들이 포함된 홀 영역의 주변에 존재하는 홀 영역의 이웃 화소들을 이용하여, 상기 복수의 홀 화소들 각각에 대응하는 복수의 후보 화소들을 설정하는 단계; 및
상기 복수의 후보 화소들을 이용하여 상기 복수의 홀 화소들 각각의 화소값을 결정하는 단계
를 포함하고,
상기 홀 영역의 이웃 화소들 중에서 상기 복수의 홀 화소들 각각을 중심으로 대칭 관계에 있는 홀 영역의 이웃 화소의 쌍을 이용하여 설정되는 영상 처리 방법.Setting a plurality of candidate pixels corresponding to each of the plurality of hole pixels by using neighboring pixels of the hole area existing around the hole area including a plurality of hole pixels; And
Determining pixel values of each of the plurality of hall pixels using the plurality of candidate pixels
Lt; / RTI >
Wherein a pair of neighboring pixels in a hole area symmetrical with respect to each of the plurality of hole pixels among adjacent pixels in the hole area is used. 삭제delete 제10항에 있어서,
상기 대칭 관계는,
수직 방향, 수평 방향 및 대각선 방향 중 어느 하나의 방향에 해당하는 영상 처리 방법.11. The method of claim 10,
The symmetric relation is defined as:
Wherein the image processing method is one of a vertical direction, a horizontal direction, and a diagonal direction. 제10항에 있어서,
상기 후보 화소는,
상기 홀 영역의 이웃 화소의 쌍에 해당하는 화소값, 및 상기 복수의 홀 화소들 각각과 상기 홀 영역의 이웃 화소의 쌍까지의 각 거리를 이용하여 후보 화소의 화소값이 설정되는 영상 처리 방법.11. The method of claim 10,
The candidate pixel includes:
Wherein a pixel value of a candidate pixel is set using a pixel value corresponding to a pair of neighboring pixels in the hole region and a distance between each of the plurality of hole pixels and a pair of neighboring pixels of the hole region. 제10항에 있어서,
상기 홀 영역의 이웃 화소들을 이용하여 상기 후보 화소에 대응하는 가중치를 결정하는 단계
를 더 포함하고,
상기 복수의 홀 화소들 각각의 화소값은,
상기 가중치를 상기 후보 화소에 적용함으로써 결정되는 영상 처리 방법.11. The method of claim 10,
Determining a weight corresponding to the candidate pixel using neighboring pixels of the hole region
Further comprising:
Wherein the pixel value of each of the plurality of hall pixels is a value
And applying the weight to the candidate pixel. 제14항에 있어서,
상기 가중치는, 제1 가중치에 의해 결정되고,
상기 제1 가중치는, 상기 홀 영역의 이웃 화소의 쌍의 화소값들의 차이를 이용하여 결정되는 영상 처리 방법.15. The method of claim 14,
The weight is determined by a first weight,
Wherein the first weight is determined using a difference between pixel values of a pair of neighboring pixels of the hole region. 제15항에 있어서,
상기 제1 가중치는,
상기 화소값들의 차이에 반비례하는 영상 처리 방법.16. The method of claim 15,
Wherein the first weighting factor
Wherein the difference between the pixel values is inversely proportional to the difference between the pixel values. 제14항에 있어서,
상기 가중치는, 제2 가중치에 의해 결정되고,
상기 제2 가중치는, 상기 홀 영역의 이웃 화소의 쌍 중에서 상기 복수의 홀 화소들 각각과 가까운 홀 영역의 이웃 화소와 상기 복수의 홀 화소들 각각 간의 거리를 이용하여 결정되는 영상 처리 방법.15. The method of claim 14,
Wherein the weight is determined by a second weight,
Wherein the second weight is determined by using a distance between a neighboring pixel in a hole area close to each of the plurality of hole pixels and a distance between each of the plurality of hole pixels in a pair of neighboring pixels in the hole area. 제17항에 있어서,
상기 제2 가중치는,
상기 복수의 홀 화소들 각각에 가까운 홀 영역의 이웃 화소와 상기 복수의 홀 화소들 각각 간의 거리에 반비례하는 영상 처리 방법.18. The method of claim 17,
Wherein the second weighting factor
Wherein a distance between a neighboring pixel in a hole region close to each of the plurality of hole pixels and a distance between each of the plurality of hole pixels is inversely proportional to the distance between the adjacent pixels. 제10항, 제12항 내지 제18항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록된 컴퓨터에서 판독 할 수 있는 기록 매체.A computer-readable recording medium having recorded thereon a program for executing the method of any one of claims 10, 12 to 18.
KR1020120120531A 2012-07-20 2012-10-29 Apparatus and method for filling hole area of image KR101918035B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/946,578 US9117290B2 (en) 2012-07-20 2013-07-19 Apparatus and method for filling hole area of image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201261673965P 2012-07-20 2012-07-20
US61/673,965 2012-07-20

Publications (2)

Publication Number Publication Date
KR20140012576A KR20140012576A (en) 2014-02-03
KR101918035B1 true KR101918035B1 (en) 2019-01-29

Family

ID=50263474

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120120531A KR101918035B1 (en) 2012-07-20 2012-10-29 Apparatus and method for filling hole area of image

Country Status (1)

Country Link
KR (1) KR101918035B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102039653B1 (en) * 2018-06-18 2019-11-01 동아대학교 산학협력단 Edge Preserving Smooting Filter Value Detection Method and Hardware Desing Method Using Batcher Sorting Algorithm

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009037597A (en) * 2007-08-01 2009-02-19 Mitsubishi Electric Research Laboratories Inc Method of filtering input image to create output image

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4420294B2 (en) * 2005-06-28 2010-02-24 エルジー ディスプレイ カンパニー リミテッド Midian filtering method and apparatus
KR100915970B1 (en) * 2007-09-10 2009-09-10 연세대학교 산학협력단 Method and apparatus for compensating color of image obtained from image sensor
KR101243363B1 (en) * 2010-11-12 2013-03-13 에스케이하이닉스 주식회사 Apparatus and method for concealing a dead pixel

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009037597A (en) * 2007-08-01 2009-02-19 Mitsubishi Electric Research Laboratories Inc Method of filtering input image to create output image

Also Published As

Publication number Publication date
KR20140012576A (en) 2014-02-03

Similar Documents

Publication Publication Date Title
KR102144994B1 (en) Method for decreasing noise of image and image processing apparatus using thereof
KR101429349B1 (en) Apparatus and method for reconstructing intermediate view, recording medium thereof
US8437567B2 (en) Image inpainting apparatus and method using restricted search region
KR101874482B1 (en) Apparatus and method of reconstructing 3-dimension super-resolution image from depth image
KR101548285B1 (en) Apparatus and method for obtaining high resolution image
KR101107254B1 (en) Method for estimating motion vector using motion vector of near block and apparatus therefor
US20120155747A1 (en) Stereo image matching apparatus and method
KR101896301B1 (en) Apparatus and method for processing depth image
KR20130060150A (en) Method and apparatus for converting depth image to high-resolution
KR20170091496A (en) Method and apparatus for processing binocular image
EP3709264B1 (en) Information processing apparatus and accumulated images selecting method
KR102158390B1 (en) Method and apparatus for image processing
US9117290B2 (en) Apparatus and method for filling hole area of image
US11138711B2 (en) Degradation detection device, degradation detection method, and computer-readable recording medium
KR101918035B1 (en) Apparatus and method for filling hole area of image
KR101262164B1 (en) Method for generating high resolution depth image from low resolution depth image, and medium recording the same
KR20140064432A (en) Image processing apparatus and method for color-depth demosaicing
CN108573510A (en) A kind of grating map vectorization method and equipment
US20130100510A1 (en) Method and apparatus for fast generation hologram
EP2541494B1 (en) Method and apparatus for restoring resolution of multi-view image
JP5824896B2 (en) Image processing apparatus and method, and program
KR101993961B1 (en) Hole Filling Method for Arbitrary View Image
US9898681B2 (en) Apparatus and method for detecting object using multi-directional integral image
JPWO2016142965A1 (en) Video processing apparatus, video processing method, and recording medium for storing video processing program
US8115771B2 (en) System and method for multilevel simulation of animation cloth and computer-readable recording medium thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant