KR100582784B1 - Image processing method for image communication system - Google Patents
Image processing method for image communication system Download PDFInfo
- Publication number
- KR100582784B1 KR100582784B1 KR1020020063548A KR20020063548A KR100582784B1 KR 100582784 B1 KR100582784 B1 KR 100582784B1 KR 1020020063548 A KR1020020063548 A KR 1020020063548A KR 20020063548 A KR20020063548 A KR 20020063548A KR 100582784 B1 KR100582784 B1 KR 100582784B1
- Authority
- KR
- South Korea
- Prior art keywords
- face
- current frame
- error
- region
- face area
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
Abstract
본 발명에 따른 화상통신 시스템의 영상 처리 방법은, 영상을 수신하여 디코딩하는 단계와; 상기 디코딩된 영상으로부터, 현재 프레임에서의 얼굴 영역과 하나 이상의 이전 프레임에서의 얼굴 영역을 비교하여, 상기 현재 프레임에서의 얼굴 영역에 오류가 발생되었는 지의 여부를 판단하는 단계; 및 상기 판단 단계에서 얼굴 영역을 비교한 결과, 상기 현재 프레임에서의 얼굴 영역에 오류가 발생된 것으로 판단될 경우에는, 하나 이상의 이전 프레임에서의 얼굴 영역을 사용하여 현재 프레임에서의 얼굴 영역을 복원하는 단계; 를 포함한다.An image processing method of a video communication system according to the present invention includes: receiving and decoding an image; Comparing the face area in the current frame with the face area in one or more previous frames from the decoded image to determine whether an error has occurred in the face area in the current frame; And reconstructing the face area in the current frame using the face area in one or more previous frames when it is determined that an error has occurred in the face area in the current frame as a result of comparing the face areas in the determining step. step; It includes.
여기서 본 발명에 의하면, 상기 현재 프레임의 얼굴 영역에 오류가 발생되었는 지의 여부를 판단함에 있어, 상기 현재 프레임에서의 얼굴 영역의 일부분이 하나 이상의 이전 프레임에서의 해당 부분과 유사성이 떨어질 때 오류가 발생된 것으로 판단한다.According to the present invention, in determining whether an error has occurred in a face area of the current frame, an error occurs when a part of the face area in the current frame is less similar to the corresponding part in one or more previous frames. I think it is.
또한 본 발명에 의하면, 상기 현재 프레임의 얼굴 영역에 오류가 발생되었는 지의 여부를 판단함에 있어, 눈, 입 등의 상대적 위치와 같은 얼굴의 사전 지식을 이용하며, 이전 프레임들에서의 눈 영역, 입 영역들을 현재 프레임의 얼굴 영역에서의 해당 위치에 속한 영역들과 비교하여 유사성을 측정하고, 유사성이 떨어지는 경우에는 오류가 발생된 것으로 판단한다.In addition, according to the present invention, in determining whether an error has occurred in the face region of the current frame, using prior knowledge of the face such as the relative position of the eyes, mouth, etc., the eye region, mouth in the previous frames The similarities are measured by comparing the regions with the regions belonging to the corresponding positions in the face region of the current frame, and when the similarities are inferior, it is determined that an error has occurred.
Description
도 1은 본 발명에 따른 화상통신 시스템의 영상 처리 방법을 적용함에 있어, 얼굴 영역 정보를 사용한 얼굴 영역 복원 방법의 기본 개념을 설명하기 위한 도면.1 is a view for explaining the basic concept of a face region restoration method using face region information in applying an image processing method of a video communication system according to the present invention.
도 2는 본 발명에 따른 화상통신 시스템의 영상 처리 방법에 의하여, 영상 복원이 수행되는 과정을 개략적으로 나타낸 순서도.2 is a flowchart schematically illustrating a process of performing image restoration by an image processing method of a video communication system according to the present invention.
도 3은 본 발명에 따른 화상통신 시스템의 영상 처리 방법의 다른 예를 적용함에 있어, 얼굴 영역에 대한 사전 정보를 이용하여 얼굴 영역 복원 방법의 기본 개념을 설명하기 위한 도면.3 is a view for explaining the basic concept of the method for restoring a face region using prior information on the face region in applying another example of the image processing method of the video communication system according to the present invention.
도 4는 본 발명에 따른 화상통신 시스템의 영상 처리 방법의 다른 예에 의하여, 영상 복원이 수행되는 과정을 개략적으로 나타낸 순서도.4 is a flowchart schematically illustrating a process of performing image restoration by another example of an image processing method of a video communication system according to the present invention;
도 5는 본 발명에 따른 화상통신 시스템의 영상 처리 방법의 또 다른 예를 적용함에 있어, 영상 처리 과정에 이용되는 탬플리트의 예를 나타낸 도면.5 is a diagram illustrating an example of a template used in an image processing process in applying another example of an image processing method of a video communication system according to the present invention;
도 6은 본 발명에 따른 화상통신 시스템의 영상 처리 방법의 또 다른 예에 의하여, 영상 복원이 수행되는 과정을 개략적으로 나타낸 순서도. 6 is a flowchart schematically illustrating a process of performing image restoration according to another example of an image processing method of a video communication system according to the present invention.
본 발명은 화상통신 시스템에 관한 것으로서, 특히 화상통신 시스템에서 관심 영역인 얼굴 영역의 화질을 개선할 수 있는 화상통신 시스템의 영상 처리 방법에 관한 것이다.BACKGROUND OF THE
최근 들어 무선 이동 통신 단말기를 사용한 화상통신이 일반화되고 있다. PDA나 HPC에 카메라를 장착하여 화상통신 및 비디오 메일 서비스를 지원하는 데 이어, 일반 이동 통신 단말기에도 카메라를 장착한 제품이 상용화되고 있다. 이러한 이동 통신 환경에서는 일반적으로 네트워크 환경이 좋지 못하여, 데이터를 전송할 수 있는 네트워크의 대역폭(bandwidth)이 낮고, 전송 도중 데이터의 일부가 손실되거나 손상되기 쉽다. Recently, video communication using a wireless mobile communication terminal has become common. In addition to supporting video communication and video mail services by installing cameras in PDAs and HPCs, products equipped with cameras are being commercialized in general mobile communication terminals. In such a mobile communication environment, the network environment is generally not good, the bandwidth of the network capable of transmitting data is low, and a part of the data is easily lost or damaged during transmission.
이에 따라, 네트워크의 낮은 대역폭(bandwidth)으로 인한 화질 저하를 막기 위하여, 최근에는 관심 영역인 얼굴 영역만 화질을 높게 하는 대신 배경 영역은 낮은 화질로 코딩함으로써, 전체적으로 낮은 데이터 양임에도 얼굴 영역의 화질을 높게 하여 통신하는 개념이 소개되고 있다. 하지만 전송 도중에 오류가 발생되면, 아무리 좋은 화질로 전송하더라도, 수신된 화질은 매우 저하되는 문제점이 있다. 특히 오류가 발생한 지역이 헤더(header)와 같이 중요한 정보를 담고 있는 지역일 경우 한 비트만 오류가 발생하여도 상당한 부분의 영상이 왜곡되게 된다. 따라서 오류를 방지하거나 복원할 수 있는 방법이 제공되어야 한다.Accordingly, in order to prevent the deterioration of image quality due to the low bandwidth of the network, only the face region, which is the region of interest, has been improved in recent years, but the background region is coded at low image quality, so that the image quality of the face region is reduced even though the data amount is low. The concept of communicating at a high level is introduced. However, if an error occurs during transmission, no matter how good the image quality, the received image quality is very poor. In particular, when an error area is an area that contains important information such as a header, even if only one bit of error occurs, a substantial portion of the image is distorted. Therefore, a method should be provided to prevent or recover from the error.
이러한 오류 복원 방법으로는 패리티 비트(Parity bit)를 삽입하여 수신 단에서 오류가 났음을 검출함과 동시에 복원도 가능하도록 하는 방법과, 오류 검출 시 재전송을 요구하는 ARQ(Automatic Retransmission on request) 방법 등 여러 가지가 있으나, 전자의 경우 추가적인 정보를 삽입해야 하므로 불필요한 데이터 양이 증가하는 단점이 있고, 후자의 경우에는 재전송 요구를 전송하기 위한 별도의 채널이 필요하다는 단점이 있다. Such error recovery methods include a method of inserting a parity bit to detect an error at the receiving end and recovering the error, and an automatic retransmission on request (ARQ) method that requires retransmission when an error is detected. In the former case, since additional information needs to be inserted, the amount of unnecessary data increases, and in the latter case, a separate channel for transmitting a retransmission request is required.
최근에는 오류 복원을 위해 불필요한 데이터 양이 증가하는 것을 줄이기 위해 관심 영역에 대한 오류 검출 및 복원 정보를 더 많이 포함시키는 기법이 소개되고 있다. 이것은 관심 영역만 제대로 영상이 나오더라도 사용자가 느끼는 화질은 높게 평가된다는 가정에 의한 것이다. 하지만 이 방법 역시 관심 영역을 다른 영역과 차별화한다는 점을 제외하면 기존의 오류 복원 방법을 사용하고 있으므로, 여전히 오류 복원을 위한 정보를 포함시켜야 함과 동시에 그 정확성에 대한 문제를 안고 있다.Recently, in order to reduce an increase in the amount of unnecessary data for error recovery, a technique of including more error detection and recovery information for a region of interest has been introduced. This is based on the assumption that the image quality felt by the user is highly evaluated even if only the region of interest is properly displayed. However, this method also uses the existing error recovery method except that it differentiates the area of interest from other areas. Therefore, the method still needs to include information for error recovery, and at the same time, there is a problem of accuracy.
본 발명은, 전송되는 영상에 대한 오류 검출이나 복원을 위한 별도의 정보를 추가하여 전송하지 않고도, 화상통신 시스템에서 관심 영역인 얼굴 영역의 영상을 복원하여 개선시킬 수 있는 화상통신 시스템의 영상 처리 방법을 제공함에 그 목적이 있다.The present invention provides an image processing method of a video communication system capable of restoring and improving an image of a face region that is a region of interest in a video communication system without adding and transmitting additional information for error detection or restoration of a transmitted image. The purpose is to provide.
상기의 목적을 달성하기 위하여 본 발명에 따른 화상통신 시스템의 영상 처리 방법은,In order to achieve the above object, the image processing method of the video communication system according to the present invention,
영상을 수신하여 디코딩하는 단계와;Receiving and decoding an image;
상기 디코딩된 영상으로부터, 현재 프레임에서의 얼굴 영역과 하나 이상의 이전 프레임에서의 얼굴 영역을 비교하여, 상기 현재 프레임에서의 얼굴 영역에 오류가 발생되었는 지의 여부를 판단하는 단계; 및Comparing the face area in the current frame with the face area in one or more previous frames from the decoded image to determine whether an error has occurred in the face area in the current frame; And
상기 판단 단계에서 얼굴 영역을 비교한 결과, 상기 현재 프레임에서의 얼굴 영역에 오류가 발생된 것으로 판단될 경우에는, 하나 이상의 이전 프레임에서의 얼굴 영역을 사용하여 현재 프레임에서의 얼굴 영역을 복원하는 단계; 를 포함하는 점에 그 특징이 있다.Restoring the face area in the current frame using the face area in one or more previous frames when it is determined that an error has occurred in the face area in the current frame as a result of comparing the face areas in the determining step. ; Its features are to include.
여기서 본 발명에 의하면, 상기 현재 프레임의 얼굴 영역에 오류가 발생되었는 지의 여부를 판단함에 있어, 상기 현재 프레임에서의 얼굴 영역의 일부분이 하나 이상의 이전 프레임에서의 해당 부분과 유사성이 떨어질 때 오류가 발생된 것으로 판단하는 점에 그 특징이 있다.According to the present invention, in determining whether an error has occurred in a face area of the current frame, an error occurs when a part of the face area in the current frame is less similar to the corresponding part in one or more previous frames. It is characterized by the fact that it is judged.
또한 본 발명에 의하면, 상기 현재 프레임에서의 얼굴 영역을 복원함에 있어, 하나 이상의 이전 프레임에서의 해당 부분 영역에 가중치를 사용하여 조합한 후, 이를 오류가 발생된 영역과 대체하는 점에 그 특징이 있다.In addition, according to the present invention, in restoring the face region in the current frame, it is characterized in that by combining the corresponding partial regions in one or more previous frames using weights, and replacing them with an error-producing region. have.
또한 본 발명에 의하면 상기 해당 부분 영역은, 현재 프레임에서의 얼굴 영역과 이전 프레임에서의 얼굴 영역의 크기를 일치시켰을 때, 현재 프레임에서의 오류가 발생한 부분의 얼굴 안에서의 상대적인 위치와 동일하거나 유사한 위치에 속한 동일 크기의 부분 영역인 점에 그 특징이 있다.Further, according to the present invention, the corresponding partial region is the same or similar position to the relative position in the face of the part in which the error in the current frame occurs when the size of the face region in the current frame and the face region in the previous frame are matched. Its characteristics are that it is a partial region of the same size belonging to.
또한 본 발명에 의하면, 상기 해당 부분 영역에 설정되는 가중치는, 현재 프레임과 시간축 상에서 가까울수록 높게 설정되며, 오류가 발생되지 않은 영역일수 록 높게 설정되는 점에 그 특징이 있다.According to the present invention, the weight set in the corresponding partial region is set higher as the weight is set closer to the current frame and the time axis, and is set higher in the region where no error occurs.
또한 본 발명에 의하면, 상기 현재 프레임의 얼굴 영역에 오류가 발생되었는 지의 여부를 판단함에 있어, 눈, 입 등의 상대적 위치와 같은 얼굴의 사전 지식을 이용하며, 이전 프레임들에서의 눈 영역, 입 영역들을 현재 프레임의 얼굴 영역에서의 해당 위치에 속한 영역들과 비교하여 유사성을 측정하고, 유사성이 떨어지는 경우에는 오류가 발생된 것으로 판단하는 점에 그 특징이 있다.In addition, according to the present invention, in determining whether an error has occurred in the face region of the current frame, using prior knowledge of the face such as the relative position of the eyes, mouth, etc., the eye region, mouth in the previous frames The feature is that the similarity is measured by comparing the regions with the regions belonging to the corresponding position in the face region of the current frame, and when the similarity is inferior, it is determined that an error has occurred.
또한, 상기의 목적을 달성하기 위하여 본 발명에 따른 화상통신 시스템의 영상 처리 방법의 다른 실시 예는,In addition, another embodiment of an image processing method of a video communication system according to the present invention in order to achieve the above object,
영상을 수신하여 디코딩하는 단계와;Receiving and decoding an image;
상기 디코딩된 영상으로부터, 현재 프레임에서의 얼굴 영역과 하나 이상의 이전 프레임에서의 얼굴 영역에 대하여, 사전에 구성된 얼굴 탬플리트와의 유사성을 비교하여 유사도를 측정하는 단계; 및Measuring similarity from the decoded image by comparing the similarity between a face region in a current frame and a face region in one or more previous frames with a previously configured face template; And
상기 현재 프레임에서의 얼굴 영역과 하나 이상의 이전 프레임에서의 얼굴 영역에 대하여, 상기 측정된 유사도가 높을 수록 높은 가중치로 설정하여 조합한 후 이를 현재 프레임에서의 얼굴 영역으로 복원하는 단계; 를 포함하는 점에 그 특징이 있다.Restoring a face region in the current frame and a face region in at least one previous frame by combining the measured and similarities with higher weights and then reconstructing the face region in the current frame; Its features are to include.
여기서 본 발명에 의하면 상기 유사도를 측정하는 단계에 있어, 비교 대상이 되는 사전에 구성된 상기 얼굴 탬플리트는 현재 복원된 얼굴 영역이 다시 반영되어 갱신되는 점에 그 특징이 있다.According to the present invention, in the step of measuring the similarity, the pre-configured face template to be compared is characterized in that the currently reconstructed face area is updated to reflect again.
또한 본 발명에 의하면, 상기 현재 프레임에서의 얼굴 영역을 복원함에 있 어, 현재 프레임에서의 얼굴 영역과 하나 이상의 이전 프레임에서의 얼굴 영역을 조합하는 것은, 해당 얼굴 영역의 위치와 크기를 현재 프레임의 얼굴 영역의 위치와 크기에 일치시킨 후, 가중치를 곱하여 겹친 후 평균을 구하여 수행되는 점에 그 특징이 있다.In addition, according to the present invention, in restoring the face area in the current frame, combining the face area in the current frame and the face area in the one or more previous frames may be based on the position and size of the current frame. This feature is performed by matching the position and size of the face area, multiplying the weights, and then obtaining the average.
또한 본 발명에 의하면 상기 가중치를 설정함에 있어, 현재 프레임과 시간축 상에서 가까울수록 가중치가 높게 설정되며, 오류가 발생되지 않은 영역일수록 가중치가 높게 설정되는 점에 그 특징이 있다.In addition, according to the present invention, the weight is set higher as the weight is set closer to the current frame and the time axis, and the weight is set higher as a region where no error occurs.
이와 같은 본 발명에 의하면, 오류 검출 및 복원 방법과 같이 오류 검출이나 복원을 위한 별도의 정보를 추가하여 전송하지 않아도 됨으로써 불필요한 데이터 양의 증가 없이 영상 복원을 처리할 수 있는 장점이 있다.According to the present invention as described above, there is an advantage that it is possible to process the image restoration without increasing the amount of unnecessary data since it is not necessary to add and transmit separate information for error detection or restoration as in the error detection and restoration method.
이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세히 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
일반적으로, 동영상을 무선 통신으로 전송할 경우 전송 도중 데이터를 잃거나, 데이터에 오류가 발생되어 화질이 저하되는 현상이 발생된다. 이러한 오류가 발생될 확률은 매우 낮음에도 불구하고, 한번 오류가 발생되면 압축 방법 특성 상 오류가 발생된 영역 뿐 아니라 그 이후의 다른 영역까지 오류가 전파되어 매우 심각한 화질 저하가 발생될 수 있게 된다. 게다가 만일 오류가 발생된 지역이 단순한 데이터 영역이 아니라 데이터의 헤더(header) 부분일 경우에는 그 헤더가 표현하고 있는 전 영역의 화질이 저하되는 문제가 있다. 이와 같은 이유로 저하된 화질은 단순히 화질 저하라고 말할 수 없고 아주 다른 블록, 예를 들면 단색의 녹색이나 보라색으로 채워진 블록으로 대체되어 영상이 나타나는 등 아주 심각한 상황으로 나 타나기 때문에 일반적으로 영상이 깨진다는 표현을 사용하기도 한다.In general, when a video is transmitted through wireless communication, data may be lost during transmission or an error may occur in the data, thereby degrading image quality. Although the probability of such an error is very low, once an error occurs, the error propagates not only to the region where the error occurred due to the characteristics of the compression method, but also to another region thereafter, thereby causing a very serious image quality degradation. In addition, if the area where the error occurs is not a simple data area but a header part of the data, there is a problem that the image quality of all the areas represented by the header is deteriorated. For this reason, degraded picture quality is not simply deteriorated, but is usually a very serious situation, such as a block being filled with a very different block, for example, a solid green or purple filled block, resulting in a broken picture. Sometimes expressions are used.
이와 같이, 단 1 비트라도 오류가 생겨서 데이터가 왜곡되면 화질 저하 정도가 심각하기 때문에 오류를 방지하거나, 오류가 발생하였을 경우 이를 검출하여 복원하려는 연구가 많이 보고되고 있다. 따라서 이와 같은 오류 검출 및 복원 방법도 매우 다양한데, 인코더에서 오류를 방지하기 위한 방법과, 디코더에서 오류를 검출하여 이를 복원하는 방법, 그리고 디코더에서 오류 검출 시 다시 인코더로 재전송을 요구하는 방법 등이 소개되어 있다. 일반적으로 세번째 방법은 효과는 좋지만 재전송을 요구하기 위한 채널이 필요하다는 문제가 있고, 첫번째 방법은 효과가 미미한 것이 대부분이다. 두번째 방법의 경우 오류 검출과 복원을 동시에 해야 하는 만큼, 검출 오류가 발생하면 복원도 못하므로 정확한 검출과 복원을 수행해야 하는 문제점이 있다.As described above, a lot of studies have been reported to prevent errors or to detect and restore errors when an error occurs even when only one bit causes data quality to be severely deteriorated. Therefore, there are various methods for detecting and restoring such errors, including methods for preventing errors in the encoder, methods for detecting and restoring errors in the decoder, and methods for requesting retransmission to the encoder when an error is detected in the decoder. It is. In general, the third method works well, but there is a problem in that a channel is required to request retransmission. The first method is mostly ineffective. In the second method, since error detection and restoration must be performed at the same time, there is a problem in that accurate detection and restoration must be performed because a detection error cannot be restored.
본 발명에서는 (오류 발생 여부에 대한 정보를 추출하기 위한 별도의)검출 과정 없이 복원을 수행하는 방법을 제시하고자 한다. 일반적으로는 이러한 검출 과정 없는 복원은 그 정상적인 구현이 어려우나, 본 발명에서는 화상통신 시스템이라는 특수성을 이용하여, 관심 영역(ROI:Region Of Interest)인 얼굴 영역 정보를 사용하여 얼굴 영역에 대해서만 복원을 수행한다. 화상통신 시스템에서는 얼굴 영역을 주 관심 영역으로 보기 때문에 얼굴 영역만 정상적으로 복원될 경우 상대적으로 좋은 화질로 인식될 수 있는 여건이 제공된다.The present invention proposes a method of performing restoration without a separate detection process (to extract information on whether an error has occurred). In general, the restoration without such a detection process is difficult to implement normally, but in the present invention, the restoration is performed only for the face region using the region region information of ROI (Region Of Interest) by using the specificity of the video communication system. do. In the video communication system, the face area is regarded as the main region of interest, so that only the face area is normally restored to provide a relatively good image quality.
본 발명에 따른 얼굴 영역 정보를 사용한 얼굴 영역 복원 방법의 기본 개념은 도 1에 나타낸 바와 같다. 본 발명은 얼굴 영역 정보를 사용하므로 얼굴 영역이 매 프레임 추출되어야 하는 것을 전제로 한다. 이전 N 개의 프레임에서의 각 얼굴 영역을 사용하여 현재의 얼굴 영역을 복원할 수 있다. 즉, 현재의 얼굴 영역 중 일부가 전송 도중에 발생하는 오류로 인해 깨지게 되면, 이전 프레임의 해당 얼굴 부분 영역을 조합하여 현재 프레임의 영역을 복원한다. 바로 이전의 N 개의 프레임은 매우 짧은 시간에 취득된 프레임이므로 입이나 눈 등 움직임이 빠른 부분 영역을 제외하면 현재 프레임과 비교했을 때 크게 다르지 않다. 따라서 이전 프레임에서의 해당 얼굴 부분 영역을 현재 프레임의 해당 영역과 조합하면 깨진 영역을 복구할 수 있게 된다. The basic concept of the face region restoration method using the face region information according to the present invention is as shown in FIG. Since the present invention uses face region information, it is assumed that the face region should be extracted every frame. Each face area in the previous N frames can be used to restore the current face area. That is, when a part of the current face area is broken due to an error occurring during the transmission, the area of the current frame is restored by combining the corresponding face part areas of the previous frame. Since the previous N frames are acquired in a very short time, they are not significantly different from the current frame except for a region in which the movement such as the mouth or eyes is fast. Therefore, when the face region of the previous frame is combined with the corresponding region of the current frame, the broken region can be recovered.
본 발명에 있어서, 오류로 인해 깨진 영역을 이전 프레임을 이용하여 복구하는 과정은 도 2에 나타낸 바와 같다. 도 2는 본 발명에 따른 화상통신 시스템의 영상 처리 방법에 의하여, 영상 복원이 수행되는 과정을 개략적으로 나타낸 순서도이다.In the present invention, the process of restoring the broken region due to the error using the previous frame is shown in FIG. 2. 2 is a flowchart schematically illustrating a process of performing image restoration by an image processing method of a video communication system according to the present invention.
먼저 현재 프레임의 얼굴 영역 각 부분을 이전 프레임들의 얼굴 영역과 비교해본다. 만일 오류로 인해 얼굴 영역의 일부가 심하게 손상될 경우 이전 프레임의 영역과는 상당히 다른 색상으로 영역이 나타날 것이다. 이 때는 오류가 발생한 것으로 간주하고 이전 프레임들의 해당 영역을 현재 프레임의 해당 영역과 교체한다. 교체하는 방법으로는 바로 이전 프레임의 해당 영역을 가져오거나, 이전 N 개의 프레임의 해당 영역을 조합하여 가져오는 방법 등이 있을 수 있다. First, each part of the face area of the current frame is compared with the face areas of the previous frames. If a part of the face area is badly damaged due to an error, the area will appear in a color quite different from that of the previous frame. In this case, it is regarded that an error has occurred and the corresponding area of the previous frames is replaced with the corresponding area of the current frame. The replacement method may be a method of importing a corresponding region of the previous frame or a combination of the corresponding regions of the previous N frames.
여기서, 복수 개의 프레임에서 해당 영역을 조합하는 경우에는 현재 프레임에서 시간축을 기준으로 가까울수록 많은 가중치로 조합을 행한다. 만일 조합하는 영역들 중, 해당 영역이 오류가 발생하여 복원된 영역일 경우에는 조합에서 제외하거나 적은 가중치로 조합을 수행한다. 여기서 조합이라 함은 해당 영역을 같은 위치에 매핑하여 겹치게 놓은 뒤 같은 위치의 픽셀들을 가중치별로 곱하여 평균한 값으로 볼 수 있다. 이와 같은 방법을 이용하면, 별도의 오류 검출 정보 없이 바로 이전 프레임들에서의 유사성 비교만으로 오류여부를 검출할 수 있게 된다.In this case, when a corresponding region is combined in a plurality of frames, the combination is performed with more weight as the current frame is closer to the time axis. If the corresponding area is an area where an error occurs and is restored, the combination is excluded from the combination or the combination is performed with a small weight. In this case, the combination may be viewed as a value obtained by mapping the corresponding areas to the same location, placing the overlapping areas, and multiplying pixels at the same location by weight. Using this method, it is possible to detect whether an error is obtained by comparing similarities in immediately preceding frames without any additional error detection information.
한편, 중요한 정보의 손실 또는 오류로 인해 상기와 같이 심각한 영상의 손실이 발생했을 경우에는, 상기 기술한 방법으로 영상의 복원이 가능하지만, 적은 데이터 양으로 코딩하기 위해 화질을 저하시키거나, 적은 오류로 인해 약간 손상된 오류 같은 경우에는 위에서 기술한 방법으로는 오류의 발생 여부를 알기 어렵다는 한계가 있다. On the other hand, in the case of serious loss of the image caused by the loss or error of important information, it is possible to restore the image by the above-described method, but the image quality is deteriorated or the error is reduced in order to code with a small amount of data. In case of a slightly damaged error, there is a limit that it is difficult to know whether or not an error has occurred by the above-described method.
이러한 경우에는 사전 지식을 사용함으로써 보다 효과적으로 오류의 발생 여부를 알 수 있게 된다. 도 3은 본 발명에 따른 화상통신 시스템의 영상 처리 방법의 다른 예를 적용함에 있어, 얼굴 영역에 대한 사전 정보를 이용하여 얼굴 영역 복원 방법의 기본 개념을 설명하기 위한 도면이다. In this case, it is possible to know whether an error occurs more effectively by using prior knowledge. 3 is a view for explaining the basic concept of the method for restoring a face region by using advance information on the face region in applying another example of the image processing method of the video communication system according to the present invention.
도 3은 도 1에 나타낸 바와 같이 이전 프레임의 얼굴 영역들을 이용하여 현 프레임의 얼굴 영역을 복원하되 얼굴의 사전 지식을 사용하고 있음을 나타내고 있다. 이와 같은 영상 처리 방법은 눈이나 입 등 얼굴 영역의 일부가 뭉개지는 부분적 오류를 복원하는 데 효과적이다.3 illustrates that the face region of the current frame is restored using the face regions of the previous frame, but prior knowledge of the face is used. Such an image processing method is effective to recover a partial error in which a part of a face area such as an eye or a mouth is crushed.
그러면, 이와 같은 영상 처리 방법의 흐름을 도 4를 참조하여 설명해 보기로 한다. 도 4는 본 발명에 따른 화상통신 시스템의 영상 처리 방법의 다른 예에 의하 여, 영상 복원이 수행되는 과정을 개략적으로 나타낸 순서도이다.Next, the flow of the image processing method will be described with reference to FIG. 4. 4 is a flowchart schematically illustrating a process of performing image restoration according to another example of an image processing method of a video communication system according to the present invention.
먼저 복원하고자 하는 영역은 얼굴 영역이므로, 얼굴 영역 내부에서의 눈과 코, 입 등의 대략적인 위치와 색상 등을 예측할 수 있다. 이러한 예측은 얼굴에 대한 사전 지식과 이전 프레임들을 사용하여 더 구체화할 수 있는데, 이전 프레임들에서의 얼굴 영역 내부에 나타난 눈, 입 등의 부분 영역을 사용하여 현재 프레임에서도 유사한 위치에 유사한 색상으로 눈, 입 등이 표현되었는지의 여부를 검사한다. 만일 유사한 위치에 유사한 눈, 입 등의 영상이 나타나지 않는다면, 오류가 발생한 것으로 보고, 이전 프레임들에서 눈, 입 등의 영상을 조합하여 현재 프레임을 복원한다.First, since the area to be restored is a face area, the approximate location and color of eyes, nose, mouth, etc. in the face area can be predicted. This prediction can be further refined using prior knowledge of the face and previous frames, using partial regions such as eyes, mouth, etc. that appeared inside the face area in the previous frames, and eyes with similar colors at similar locations in the current frame. Check whether the mouth, mouth, etc. are expressed. If an image of similar eyes, mouths, etc. does not appear in a similar position, an error has occurred, and the current frame is restored by combining images of eyes, mouths, etc. in previous frames.
또한, 얼굴 영역을 복원하는 또 다른 방법으로서 현재의 영상을 확률적으로 이전 영상의 해당 영역과 조합하는 방법을 사용할 수도 있다. In addition, as another method of restoring a face region, a method of combining a current image with a corresponding region of a previous image may be used.
현재 프레임과 이전 프레임들의 얼굴 영역들을 얼굴 탬플리트와 비교하여, 가장 얼굴 모양과 유사한 영역일수록 높은 가중치로 얼굴 영역을 조합할 수 있다. 이 때 가중치는 얼굴 모양과 유사할수록, 그리고 현재 프레임과 시간축 상에서 가까울수록 높은 가중치를 갖는다. 얼굴 탬플리트는 초기에는 사전에 구성된 탬플리트를 사용하는데, 이 때 탬플리트는 일반적인 얼굴의 특징을 가장 잘 표현할 수 있는 것으로서, 본 발명에서는 탬플리트의 예로서, 학습 세트를 이용하여 구성된 얼굴 영역의 평균 그레이(gray) 값으로 구성된 탬플리트를 사용하는 경우에 대하여 설명한다. 이러한 탬플리트의 예를 도 5에 나타내었다. 탬플리트는 이후 복원 과정에서도, 실제 매핑된 얼굴 영역을 반영하여 갱신됨으로써 현재 사용자에게 가장 잘 맞는 탬플리트로 수정된다. 즉, 복원된 최종 얼굴 영역을 현재의 탬플리트에 다시 반영하여 평균 값을 취함으로써 탬플리트를 갱신한다. 이와 같은 영상 처리 방법에 의한 일련의 영상 처리 과정이 도 6에 기술되어 있다. 도 6은 본 발명에 따른 화상통신 시스템의 영상 처리 방법의 또 다른 예에 의하여, 영상 복원이 수행되는 과정을 개략적으로 나타낸 순서도이다.By comparing the face areas of the current frame and the previous frames with the face template, the face areas may be combined with a higher weight as the area most similar to the face shape. In this case, the weight has a higher weight as it resembles a face shape and closer to the current frame and time axis. The face template initially uses a pre-configured template, in which the template can best express the characteristics of a general face. In the present invention, as an example of the template, the average gray of the face area constructed using the training set is used. A case in which a template composed of) values is used will be described. An example of such a template is shown in FIG. 5. The template is then updated to reflect the actual mapped face region in the restoration process, so that the template is modified to the template best suited for the current user. That is, the template is updated by taking the average value by reflecting the reconstructed final face area back to the current template. A series of image processing procedures by such an image processing method is described in FIG. 6. 6 is a flowchart schematically illustrating a process of performing image restoration according to another example of an image processing method of a video communication system according to the present invention.
한편, 상기 기술한 세 가지 영상 처리 방법은 모두 얼굴 영역을 추출하는 것을 가정으로 하고 있다. 얼굴 영역은 인코더에서 추출된 뒤 전송할 때 함께 전송하여 디코더에서 사용하는 방법이 있고, 디코더에서 얼굴 영역을 추출하는 방법이 있다. Meanwhile, all three image processing methods described above are assumed to extract a face region. There is a method in which a face region is extracted from an encoder and then transmitted together when transmitted and used in a decoder, and a method of extracting a face region in a decoder.
후자의 경우 얼굴 영역이 심하게 왜곡될 경우 얼굴 영역 추출 자체가 어려우므로, 본 발명에서는 인코더에서 얼굴 영역을 추출한 후 이를 영상 전송 시 함께 정보를 전송하는 방식을 취하고자 한다. 얼굴 영역 정보를 전송하는 방법으로는 다음 두 가지를 들 수 있다. 먼저 MPEG-4로 영상을 압축하는 경우 MPEG-4에서 지원하는 VOP(video object plane)를 사용하여 얼굴 영역만 별도로 코딩하여 전송할 수 있다. 압축 표준에서 오브젝트 별로 코딩하는 것을 지원하지 않을 경우에는 얼굴 영역 정보를 데이터에 포함시켜 전송시킬 수 있는데, 데이터 하이딩(Data hiding) 기법을 사용하여 해당 정보를 데이터에 포함시킬 수 있다. In the latter case, if the face area is severely distorted, it is difficult to extract the face area itself. In the present invention, the encoder extracts the face area and then transmits the information together when transmitting the image. There are two ways to transmit face region information. First, when compressing an image using MPEG-4, only a face region may be separately coded and transmitted using a video object plane (VOP) supported by MPEG-4. If the compression standard does not support coding for each object, the face region information may be included in the data and transmitted. The data may be included in the data using a data hiding technique.
이와 같은 데이터 하이딩(Data hiding) 기법은 영상의 화질 손상 없이 소량의 정보를 포함시켜서, 표준을 따르는 일반 디코더가 해당 영상을 디코딩하면 일반 영상으로 복원할 수 있고, 데이터 하이딩(data hiding) 기법을 사용하는 디코더가 해당 영상을 디코딩하면 일반 영상을 복원함과 동시에 숨겨진 정보를 해석하여 사용할 수 있는 기법이다. 얼굴 영역의 경우 사각형으로 표현가능 하므로 두 점으로 표현될 수 있으며, 이는 영상을 구성하는 픽셀을 하나의 인덱스로 표현할 때 두 개의 인덱스로 얼굴 영역을 표현할 수 있음을 의미한다. 예컨대, QCIF(176*144) 크기 영상의 경우 30 비트면 얼굴 영역을 표시할 수 있다.This data hiding technique includes a small amount of information without compromising the quality of the image, so that a standard decoder that conforms to the standard can be restored to a normal image by decoding the image and uses a data hiding technique. If the decoder decodes the video, it can recover the normal video and analyze and use the hidden information. Since the face area can be represented by a rectangle, it can be represented by two points, which means that the face area can be represented by two indexes when the pixels constituting the image are expressed by one index. For example, in the case of a QCIF (176 * 144) size image, a 30-bit surface may display a face region.
이상의 설명에서와 같이 본 발명에 따른 화상통신 시스템의 영상 처리 방법에 의하면, 기존의 오류 검출 및 복원 방법과 같이 오류 검출이나 복원을 위한 별도의 정보를 추가하여 전송하지 않아도 됨으로써 불필요한 데이터 양의 증가 없이 영상 복원을 처리할 수 있는 장점이 있다.As described above, according to the image processing method of the video communication system according to the present invention, as in the conventional error detection and restoration method, it is not necessary to add and transmit additional information for error detection or restoration, without increasing unnecessary data amount. There is an advantage to handle image restoration.
또한, 본 발명에 따른 화상통신 시스템의 영상 처리 방법에 의하면, 오류의 발생 여부를 검출하지 않아도 스스로 확률적으로 복원을 수행함으로써 오류 검출 오류에 의한 2차적인 오류가 발생되지 않게 되며, 오류 발생에 의한 화질 저하 뿐만 아니라 일반적인 화질 저하가 발생되더라도, 영상 복원을 통하여 화질을 개선시킬 수 있는 장점이 있다.In addition, according to the image processing method of the video communication system according to the present invention, even if it does not detect whether or not an error occurs, the second error caused by the error detection error is not generated by probabilistic restoration by itself. In addition to the deterioration of the image quality due to the general image quality deterioration, there is an advantage that can improve the image quality through image restoration.
Claims (10)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020020063548A KR100582784B1 (en) | 2002-10-17 | 2002-10-17 | Image processing method for image communication system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020020063548A KR100582784B1 (en) | 2002-10-17 | 2002-10-17 | Image processing method for image communication system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20040034901A KR20040034901A (en) | 2004-04-29 |
| KR100582784B1 true KR100582784B1 (en) | 2006-05-23 |
Family
ID=37333896
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020020063548A KR100582784B1 (en) | 2002-10-17 | 2002-10-17 | Image processing method for image communication system |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100582784B1 (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000322588A (en) * | 1999-05-06 | 2000-11-24 | Toshiba Corp | Device and method for image processing |
| JP2001043382A (en) * | 1999-07-27 | 2001-02-16 | Fujitsu Ltd | Eye tracking device |
| JP2001143088A (en) * | 1999-11-16 | 2001-05-25 | Atr Ningen Joho Tsushin Kenkyusho:Kk | Method and device for measuring surface movement of object, and computer-readable recording medium with program for operating computer storing program for operating computer for realizing the method stored thereon |
| KR20010085905A (en) * | 1999-08-09 | 2001-09-07 | 이데이 노부유끼 | Transmitting device and transmitting method, receiving device and receiving method, transmitting/receiving device and transmitting/receiving method, recorded medium, and signal |
| KR20030062043A (en) * | 2002-01-16 | 2003-07-23 | 엘지전자 주식회사 | Face detection and tracking of video communication system |
| JP2003219396A (en) * | 2002-01-17 | 2003-07-31 | Matsushita Electric Ind Co Ltd | Image processing method, image processing apparatus, image processing program, and supervisory system |
-
2002
- 2002-10-17 KR KR1020020063548A patent/KR100582784B1/en not_active IP Right Cessation
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000322588A (en) * | 1999-05-06 | 2000-11-24 | Toshiba Corp | Device and method for image processing |
| JP2001043382A (en) * | 1999-07-27 | 2001-02-16 | Fujitsu Ltd | Eye tracking device |
| KR20010085905A (en) * | 1999-08-09 | 2001-09-07 | 이데이 노부유끼 | Transmitting device and transmitting method, receiving device and receiving method, transmitting/receiving device and transmitting/receiving method, recorded medium, and signal |
| JP2001143088A (en) * | 1999-11-16 | 2001-05-25 | Atr Ningen Joho Tsushin Kenkyusho:Kk | Method and device for measuring surface movement of object, and computer-readable recording medium with program for operating computer storing program for operating computer for realizing the method stored thereon |
| KR20030062043A (en) * | 2002-01-16 | 2003-07-23 | 엘지전자 주식회사 | Face detection and tracking of video communication system |
| JP2003219396A (en) * | 2002-01-17 | 2003-07-31 | Matsushita Electric Ind Co Ltd | Image processing method, image processing apparatus, image processing program, and supervisory system |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20040034901A (en) | 2004-04-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6836514B2 (en) | Method for the detection and recovery of errors in the frame overhead of digital video decoding systems | |
| US6591396B1 (en) | Moving image communication quality determination apparatus | |
| US20040071217A1 (en) | Sum-of-absolute-difference checking of macroblock borders for error detection in a corrupted MPEG-4 bitstream | |
| KR100612691B1 (en) | Systems and Methods for Measurement of Video Quality | |
| US20020051491A1 (en) | Extraction of foreground information for video conference | |
| US20100303364A1 (en) | Image quality evaluation method, image quality evaluation system and image quality evaluation program | |
| KR20070095970A (en) | Video error detection technique using a crc parity code | |
| CN112954398B (en) | Encoding method, decoding method, device, storage medium and electronic equipment | |
| US7134064B2 (en) | Error detecting method and apparatus | |
| KR101716082B1 (en) | Method and apparatus for video quality measurement | |
| Ye et al. | Visibility metric for visually lossless image compression | |
| KR100582784B1 (en) | Image processing method for image communication system | |
| EP1303918B1 (en) | Signalling of signal significance information between an application layer and a channel encoder | |
| CN113111823A (en) | Abnormal behavior detection method and related device for building construction site | |
| EP2736261A1 (en) | Method For Assessing The Quality Of A Video Stream | |
| CN104093034A (en) | H.264 video streaming self-adaptive error concealing method of similarity face constraining region | |
| US6463174B1 (en) | Macroblock-based segmentation and background mosaicking method | |
| EP1555788A1 (en) | Method for improving the quality of an encoded video bit stream transmitted over a wireless link, and corresponding receiver | |
| CN112104872A (en) | Image transmission method and device | |
| JPH10289326A (en) | Method and device for decoding contour line video signal | |
| JP2009171023A (en) | Image quality evaluation apparatus, image quality evaluation method, program for image quality evaluation, and video reception terminal | |
| US20230306687A1 (en) | Mesh zippering | |
| KR101471010B1 (en) | Method and system for video quality measurement | |
| JPWO2008123126A1 (en) | Image quality evaluation system, method and program | |
| Iqbal et al. | Perceptual-based quality assessment of error protection schemes for wireless jpeg2000 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20120424 Year of fee payment: 7 |
|
| FPAY | Annual fee payment |
Payment date: 20130424 Year of fee payment: 8 |
|
| LAPS | Lapse due to unpaid annual fee |