KR101032883B1

KR101032883B1 - Method and Apparatus for Processing Image or Sound

Info

Publication number: KR101032883B1
Application number: KR1020080033022A
Authority: KR
Inventors: 안종훈
Original assignee: 한양대학교 산학협력단
Priority date: 2008-04-10
Filing date: 2008-04-10
Publication date: 2011-05-06
Also published as: KR20090107650A

Abstract

본 발명은 제1 영상을 켤레 변환(conjugate transformation)하여 제3 영상을 생성하는 단계, 제2 영상을 켤레 변환하여 제4 영상을 생성하는 단계, 상기 제3 영상 및 상기 제4 영상을 중첩(superposition)시켜서 제5 영상을 생성하는 단계 및 상기 제5 영상을 켤레 변환하여 제6 영상을 생성하는 단계를 포함하는 영상 처리 방법을 제공한다. 또한 본 발명은 복수 개의 입력 영상의 각각을 켤레 변환하여 복수 개의 켤레 영상을 생성하는 제1 변환부, 상기 복수 개의 켤레 영상들로 이루어진 군으로부터 선택된 둘 이상의 켤레 영상들을 중첩하여 중첩 영상을 생성하는 영상 중첩부 및 상기 중첩 영상을 켤레 변환하여 출력 영상을 생성하는 제2 변환부를 포함하는 영상 처리 장치를 제공한다. 본 발명에 의한 영상 처리 방법 및 장치는 자동화된 이미지 모핑이 가능하며, 대응 관계가 약한 영상 간에 자연스러운 모핑이 가능하다. The present invention includes generating a third image by conjugate transformation of a first image, generating a fourth image by conjugate conversion of a second image, and superpositioning the third image and the fourth image. Generating a fifth image and generating a sixth image by conjugating the fifth image. In addition, the present invention is a first conversion unit for generating a plurality of pairs of images by converting each of a plurality of input images, the image for generating a superimposed image by overlapping two or more pairs of images selected from the group consisting of the plurality of pairs of images An image processing apparatus includes an overlapping unit and a second converter configured to conjugately convert the overlapping image to generate an output image. The image processing method and apparatus according to the present invention are capable of automated image morphing and natural morphing between images having a weak correspondence.

모핑, 영상 전이 Morphing, Image Transition

Description

Method and apparatus for processing image or sound {Method and Apparatus for Processing Image or Sound}

본 발명은 영상 또는 음성의 처리 방법 및 장치에 관한 것으로서, 더욱 상세하게는 서로 다른 영상이나 음성을 각각 소정의 변환 후에 합성하여 중간 영상이나 중간 음성을 용이하게 형성함으로써 모핑을 자동화할 수 있는 영상 또는 음성의 처리 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for processing an image or an audio. More specifically, an image or an image capable of automating morphing by easily forming an intermediate or intermediate audio by synthesizing a different image or audio after a predetermined conversion, or A method and apparatus for processing speech.

일반적으로 영상 전이(image transition)에는 두 가지 기본적인 방법이 있다. 하나는 영상 중첩(cross-dissolve 또는 linear combination)만을 이용하는 것이고, 다른 하나는 영상 중첩과 함께 워핑(warping, 영상 속의 물체 모양이 휘어지는 것 혹은 그것을 위한 방법)을 이용하는 것이다. 후자의 것을 이미지 모핑(image morphing)이라 부른다. 예를 들어, 두 사람의 얼굴 이미지가 주어져 있을 때, 얼굴의 윤곽이나 눈, 코, 입의 위치가 일치하도록 워핑시키면서 동시에 중첩시키면 중간 모양의 이미지가 나타난다. In general, there are two basic methods of image transition. One uses only image overlap (cross-dissolve or linear combination), and the other uses image warping (warping, or a method for doing so). The latter is called image morphing. For example, when images of two people's faces are given, the shape of the face, the warp and the overlapping positions of the eyes, nose, and mouth coincide with each other while overlapping at the same time appear an intermediate image.

기존의 영상 중첩 및 이미지 모핑 기법에 대해서는 도 1 및 도 2a 내지 도 2c를 참조하여 설명하기로 한다. 도 1은 아이의 얼굴에서 어른의 얼굴로 전이되는 과정을 보여주며, 단순히 영상 중첩만을 이용한 것이다. 도 1을 참조하면, 영상 중첩의 경우 아이의 얼굴 영상의 밝기가 점차 작아지면서 어른의 얼굴 영상의 밝기가 점점 커지는 과정을 거쳐 이루어짐을 알 수 있다. 이에 따라, 중간 영상(특히, 가운데 위치한 세 번째 영상)은 두 영상이 겹쳐서 번진 것 같이 보이게 되며 깨끗한 중간 영상을 생성하는 것이 곤란하다. Existing image superposition and image morphing techniques will be described with reference to FIGS. 1 and 2A to 2C. 1 shows a process of transition from a child's face to an adult's face, and merely uses image superimposition. Referring to FIG. 1, it can be seen that the image superimposition is performed through a process in which the brightness of an adult's face image is gradually increased while the brightness of the child's face image is gradually reduced. As a result, the intermediate image (particularly, the third image located in the middle) may appear as if the two images overlap and are difficult to produce a clean intermediate image.

도 2a 내지 도 2c는 이미지 모핑 중의 한 가지 기법인 메쉬 모핑(mesh morphing)을 이용한 것으로, 역시 아이의 얼굴에서 어른의 얼굴로의 전이 과정을 보여준다. 메쉬 모핑은 이미지 모핑이 무엇인지를 개념적으로 보여준다. 도 2a는 아이의 얼굴을 어른의 얼굴 윤곽과 눈, 코, 입의 위치에 맞도록 시간의 흐름에 따라 변형(warping)을 시켜놓았다. 마찬가지로, 도 2b는 어른의 얼굴 모양을 시간이 거꾸로 흐름에 따라 아이 얼굴 모양에 일치시켜놓았다. 도 2c는 도 2a 및 도 2b의 두 변형된 이미지들을 중첩시켜 얻은 모핑 이미지들이다.2A to 2C show mesh morphing, which is one of image morphing methods, and also illustrates a process of transition from a child's face to an adult's face. Mesh morphing conceptually shows what image morphing is. Figure 2a is a warping of the child's face over time to match the contours of the adult and the position of the eyes, nose and mouth. Similarly, FIG. 2B matches the face shape of an adult to the face shape of a child over time. FIG. 2C is morphing images obtained by superimposing two modified images of FIGS. 2A and 2B.

메쉬 모핑 외에도 필드 모핑(field morphing), MFFD(Modified Free From Deformation) 기반 모핑 등 이미지 모핑을 위한 많은 방법들이 있으나 공통으로 영상 중첩과 함께 워핑을 이용한다.In addition to mesh morphing, there are many methods for image morphing such as field morphing and Modified Free From Deformation (MFFD) based morphing, but in general, warping is used with image superposition.

이미지 모핑의 중요한 기술인 워핑 이미지를 만들기 위해서는 특별한 노력이 필요하다. 종래의 메쉬 모핑은 세밀한 영역지정이 불가능하고 많은 수작업을 필요로 하게 되는 결함이 있고, 필드 모핑은 워핑함수의 부정확한 결과를 초래하게 되는 결함이 있으며, 분산점 모핑은 정확한 워핑함수를 계산하기 위해 매우 많은 수의 점들을 지정해야 하는 불편함이 있고 점들간의 대응관계를 알아보기 힘들다는 결함이 있다. 기존의 모핑 방법들에 존재하는 이러한 모든 문제점들은 모핑 자체가 사람의 시각적 판단에 의존한다는 것에서 기인한다. 마우스를 써서 수작업으로 필요한 영역들을 구분하고 연결하는 작업은 이미지 모핑을 위한 작업의 대부분을 차지한다. 이를 해결하기 위해 부분적으로 자동화한 방법들이 제안되었으나 여전히 많은 부분은 인간의 시각과 손의 작업을 필요로 한다. 또한 워핑하려는 이미지들의 경계(edge)가 모호한 경우, 예를 들면, 구름 이미지들을 모핑하는 경우에는 특징점들의 영역 지정이 어렵게 된다. 그리고 대응 관계가 약한 경우, 예를 들면, 나무와 바위 이미지의 모핑의 경우에는 시각적 판단과 함께 고찰 과정이 필요하다는 점에서 이미지 모핑은 힘든 작업이다.Special effort is required to create warping images, an important technique for image morphing. Conventional mesh morphing has defects that cannot be specified in detail and require a lot of manual work. Field morphing has defects that result in inaccurate warping functions. Dispersion point morphing is used to calculate accurate warping functions. It has the inconvenience of specifying a very large number of points, and it is difficult to recognize the correspondence between the points. All these problems that exist in existing morphing methods stem from the fact that morphing itself depends on human visual judgment. The task of separating and concatenating the necessary areas manually using a mouse is the bulk of the work for image morphing. Although some automated methods have been proposed to solve this problem, many still require human vision and hand work. In addition, when the edges of the images to be warped are ambiguous, for example, when the cloud images are morphed, it is difficult to designate the area of the feature points. In addition, image morphing is a difficult task in the case that the correspondence relationship is weak, for example, in the case of morphing tree and rock images, a consideration process is required along with visual judgment.

따라서, 대부분의 과정이 수작업으로 이루어지는 이미지 모핑 기법을 자동화하는 방안이 요구되고 있으며, 특히 대응 관계가 약한 두 이미지 간의 자연스럽고도 자동화된 모핑 기법이 필요하다. Therefore, there is a need for a method of automating an image morphing technique in which most processes are performed manually, and a natural and automated morphing technique between two images having a weak correspondence is required.

본 발명은 상기와 같은 문제점을 감안한 것으로서, 자동화된 이미지 모핑 기법을 이용한 영상 처리 방법을 제공함을 목적으로 한다.The present invention has been made in view of the above problems, and an object thereof is to provide an image processing method using an automated image morphing technique.

본 발명은 또한 상관 관계가 약한 두 영상 간의 모핑을 자동화할 수 있는 영상 처리 방법을 제공함을 목적으로 한다. It is another object of the present invention to provide an image processing method capable of automating morphing between two weakly correlated images.

본 발명은 또한 상기와 같은 영상 처리 방법을 이용한 자동화된 애니메이션 제작 방법, 동영상 압축 방법 등을 제공함을 목적으로 한다.Another object of the present invention is to provide an automated animation production method, a video compression method, and the like using the image processing method as described above.

본 발명은 또한 자동적으로 영상 합성 및 모핑이 가능한 영상 처리 장치를 제공함을 목적으로 한다.Another object of the present invention is to provide an image processing apparatus capable of automatically synthesizing and morphing images.

본 발명은 또한 음성 등과 같은 소리의 합성 및 모핑이 가능한 음성 처리 방법을 제공함을 목적으로 한다.It is another object of the present invention to provide a speech processing method capable of synthesizing and morphing sounds such as speech.

본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다. Technical problems to be achieved by the present invention are not limited to the technical problems mentioned above, and other technical problems not mentioned will be clearly understood by those skilled in the art from the following description.

본 발명의 일 특징에 따른 영상 처리 방법은 제1 영상을 켤레 변환하여 제3 영상을 생성하는 단계, 제2 영상을 켤레 변환하여 제4 영상을 생성하는 단계, 상기 제3 영상 및 상기 제4 영상을 중첩시켜서 제5 영상을 생성하는 단계 및 상기 제5 영상을 켤레 변환하여 제6 영상을 생성하는 단계를 포함한다. 상기 켤레 변환이라 는 것은 변환하고자 하는 영상을 구성하는 각 픽셀의 위치, 밝기, 색 등의 정보가 변환 후의 영상에서 재구성되는 과정을 모두 포함한다. 상기 제1 영상, 상기 제2 영상 및 상기 제5 영상은 입력 영상이고 상기 제3 영상, 상기 제4 영상 및 상기 제6 영상은 출력 영상이다. 이하에서 입력 영상이라는 것은 상기 제1 영상, 상기 제2 영상 또는 상기 제5 영상을 포함하고, 출력 영상이라는 것은 상기 제3 영상, 상기 제4 영상 또는 상기 제6 영상을 포함한다.In accordance with an aspect of the present invention, there is provided an image processing method comprising: generating a third image by converting a first image by pairwise conversion, generating a fourth image by converting a second image by pairwise conversion of the second image, the third image and the fourth image Generating a fifth image by superimposing a second image; and generating a sixth image by conjugating the fifth image. The conjugate conversion includes a process of reconstructing information such as position, brightness, and color of each pixel constituting the image to be converted, from the image after the conversion. The first image, the second image, and the fifth image are input images, and the third image, the fourth image, and the sixth image are output images. Hereinafter, the input image includes the first image, the second image, or the fifth image, and the output image includes the third image, the fourth image, or the sixth image.

본 발명의 다른 일 특징에 따른 영상 처리 방법은 상기 제6 영상을 중간 영상으로 하여 상기 제1 영상으로부터 상기 제2 영상으로의 모핑을 수행하는 단계를 더 포함한다. 상기 제1 영상은 모핑 전의 영상(소스 이미지)이고 상기 제2 영상은 모핑 완료 후의 영상(타겟 이미지)이다.The image processing method according to another aspect of the present invention may further include performing morphing from the first image to the second image by using the sixth image as an intermediate image. The first image is an image before morphing (source image) and the second image is an image after morphing completion (target image).

본 발명의 또 다른 일 특징에 따른 영상 처리 방법은 상기 켤레 변환이 역수 변환(reciprocal transformation, RT) 및 곡선좌표 변환(curvilinear coordinate transformation, CCT) 중 적어도 하나이다. 즉, 상기 켤레 변환은 역수 변환 또는 곡선좌표 변환 중 하나를 수행하여 이루어질 수도 있고, 역수 변환 및 곡선좌표 변환을 둘 다 수행하여 이루어질 수도 있다. 후자의 경우, 순서에 상관 없이 상기 역수 변환 및 곡선좌표 변환은 어느 것이 먼저 수행되어도 본 발명에 포함된다. According to another aspect of the present invention, in the image processing method, the conjugate conversion is at least one of a reciprocal transformation (RT) and a curved coordinate transformation (CCT). That is, the conjugate conversion may be performed by performing one of an inverse transform or a curve coordinate transformation, or may be performed by performing both an inverse transformation and a curve coordinate transformation. In the latter case, the reciprocal transformation and the curve coordinate transformation, regardless of the order, are included in the present invention, whichever is performed first.

구체적으로, 상기 제1 영상을 켤레 변환하여 제3 영상을 생성하는 단계는, 역수 변환 및 곡선좌표 변환 중 적어도 하나를 이용하여 상기 제1 영상을 켤레 변환하여 상기 제3 영상을 생성하는 것을 특징으로 하고, 상기 제2 영상을 켤레 변환하여 제4 영상을 생성하는 단계는, 역수 변환 및 곡선좌표 변환 중 적어도 하나를 이용하여 상기 제2 영상을 켤레 변환하여 상기 제4 영상을 생성한다.In detail, the generating of the third image by converting the first image by conjugation may include generating the third image by conjugate converting the first image using at least one of an inverse transform and a curve coordinate transformation. In the generating of the fourth image by conjugate conversion of the second image, the fourth image is generated by conjugate conversion of the second image using at least one of an inverse transform and a curve coordinate transformation.

또한, 상기 제5 영상을 켤레 변환하여 제6 영상을 생성하는 단계는, 역수 변환 및 곡선좌표 변환 중 적어도 하나를 이용하여 상기 제5 영상을 켤레 변환하여 상기 제6 영상을 생성한다.In the generating of the sixth image by conjugate converting the fifth image, the sixth image is generated by conjugate converting the fifth image using at least one of an inverse transform and a curve coordinate transformation.

상기 역수 변환은 입력 영상의 밝기의 역수가 출력 영상의 밝기로 변환되도록 상기 입력 영상을 변환하여 상기 출력 영상을 생성하는 변환이다. 즉, 상기 역수 변환은 각 픽셀의 밝기 값의 크기를 역수로 바꾸는 변환으로, (변환 후의 밝기 값) = 상수/(변환 전의 밝기 값)이 된다.The inverse transformation is a transformation for generating the output image by converting the input image such that the inverse of the brightness of the input image is converted to the brightness of the output image. In other words, the inverse transform is a transform that changes the magnitude of the brightness value of each pixel to the inverse, where (brightness value after the conversion) = constant / (brightness value before the conversion).

보다 구체적으로, 상기 입력 영상의 밝기의 역수가 상기 출력 영상의 밝기로 변환된다는 것은 입력 영상을 구성하고 있는 (i,j)번째 픽셀의 밝기는 출력 영상을 구성하고 있는 (i,j)번째 픽셀의 밝기 값의 역수가 된다는 것을 의미한다. 다른 경우에서도 상기 역수 변환의 의미는 동일하므로 중복되는 설명은 생략한다. More specifically, the inverse of the brightness of the input image is converted to the brightness of the output image, the brightness of the (i, j) pixel constituting the input image is the (i, j) pixel constituting the output image Means the inverse of the brightness value. In other cases, the meaning of the reciprocal conversion is the same, and thus redundant description is omitted.

상기 역수 변환은, 하기 수학식 1에 기초하여 상기 입력 영상을 변환하여 상기 출력 영상을 생성할 수 있다. 하기 수학식 1에서 I(x,y)는 상기 입력 영상에서 (x,y) 위치에서의 픽셀의 밝기이고, I'(x',y')는 상기 출력 영상에서 (x',y') 위치에서의 픽셀의 밝기이다. 켤레 변환 전의 영상을 구성하는 (i,j)번째 픽셀의 좌표 (x,y)는 켤레 변환된 영상의 (i,j)번째 픽셀의 좌표 (x',y')에 대응된다.The reciprocal conversion may generate the output image by converting the input image based on Equation 1 below. In Equation 1, I (x, y) is the brightness of a pixel at a position (x, y) in the input image, and I '(x', y ') is (x', y ') in the output image. The brightness of the pixel at the location. The coordinate (x, y) of the (i, j) -th pixel constituting the image before the conjugate conversion corresponds to the coordinate (x ', y') of the (i, j) -th pixel of the conjugate-converted image.

한편, 상기 곡선좌표 변환은 입력 영상의 밝기가 출력 영상의 픽셀들의 크기와 위치를 결정하도록 상기 입력 영상을 변환하여 상기 출력 영상을 생성하는 변환이다. 상기 곡선좌표 변환은 변환 전의 상기 입력 영상을 구성하고 있는 (i,j)번째 픽셀의 밝기 값인 I_ij에 따라 (i,j)번째 픽셀의 위치 (x,y)가 변환 후의 출력 영상을 구성하고 있는 (i,j)번째 픽셀의 위치 (x',y')로 옮겨짐을 의미한다. The curved coordinate transformation is a transformation for generating the output image by converting the input image so that the brightness of the input image determines the size and position of pixels of the output image. In the curved coordinate transformation, the position (x, y) of the (i, j) th pixel constitutes the output image after the conversion according to I _ij , the brightness value of the (i, j) th pixel constituting the input image before conversion. It means that it is moved to the position (x ', y') of the (i, j) th pixel.

구체적으로, 입력 영상에서 (i,j)번째 픽셀의 밝기 I_ij값이 크다면, 이에 대응되는 출력 영상의 (i,j)번째 픽셀의 크기가 커진다는 것을 말하며, (x,y)-좌표계에서 (x',y')-곡선 좌표계로 변환되는 야코비언 행렬식(Jacobian determinant)이 I_ij와 동일하거나 비례한다는 가정을 사용할 수 있다. 하지만 곡선좌표 변환의 방식에 관해서 본 발명은 이에 한정되지 아니한다. 다시 말해, 본 발명은 어느 특정한 곡선좌표 변환 관계에 한정되지 않으며, 하기 수학식 2 및 수학식 3을 만족하는 변환 관계라면 모두 해당될 수 있다. 하기 수학식 2 및 수학식 3을 만족하는 구체적인 변환 관계식은 구체적인 실시예를 통해 후술하기로 한다. In detail, when the brightness I _ij value of the (i, j) th pixel of the input image is large, it means that the size of the (i, j) th pixel of the output image corresponding to the (i, j) th pixel is increased. We can use the assumption that the Jacobian determinant, which is transformed into the (x ', y')-curve coordinate system at, is equal to or proportional to I _ij . However, the present invention is not limited thereto in terms of the curve coordinate transformation method. In other words, the present invention is not limited to any particular curved coordinate transformation relationship, and may correspond to any transformation relationship satisfying Equations 2 and 3 below. Specific conversion relations satisfying Equations 2 and 3 will be described later through specific embodiments.

상기 곡선좌표 변환은 하기 수학식 2 및/또는 하기 수학식 3에 기초하여 상기 입력 영상을 변환하여 상기 출력 영상을 생성한다. 하기의 수학식 2와 수학식 3 은 야코비언 행렬식(Jacobian determinant)이며, 이는 곡선좌표 변환의 특성을 기술한다. 하기 수학식 2와 하기 수학식 3에서 (x,y)는 상기 입력 영상의 픽셀의 위치, (x',y')는 상기 출력 영상의 픽셀의 위치, I(x,y)는 상기 입력 영상에서 (x,y) 위치에서의 픽셀의 밝기, I'(x',y')는 상기 출력 영상에서 (x',y') 위치에서의 픽셀의 밝기이다. (x,y)가 곡선좌표 변환에 의해 (x',y')로 옮겨지게 된다.The curve coordinate transformation generates the output image by converting the input image based on Equation 2 and / or Equation 3 below. Equations 2 and 3 below are Jacobian determinants, which describe the characteristics of the curve coordinate transformation. In Equation 2 and Equation 3, (x, y) is the position of the pixel of the input image, (x ', y') is the position of the pixel of the output image, I (x, y) is the input image The brightness of the pixel at position (x, y) in I, I '(x', y ') is the brightness of the pixel at position (x', y ') in the output image. (x, y) is converted to (x ', y') by the curve coordinate transformation.

이상에서 상기 켤레 변환은 역수 변환 및/또는 곡선좌표 변환을 포함하는 것으로 설명하였으나, 본 발명은 이에 한정되지 않으며 상기 켤레 변환에는 변환 전 영상과 변환 후 영상에서 대응되는 픽셀 간의 밝기 정보와 위치 정보를 교환하는 변환은 모두 포함될 수 있다. 상기 정보에는 픽셀의 크기, 색, 파장, 주파수 등의 다양한 형태가 포함될 수 있으며, 상기 언급된 것 이외에도 다른 형태의 정보가 포함될 수 있다. 본 발명에서는 켤레 변환을 활용하여 이미지 모핑에 적용하지만, 상기 이미지는 2차원에만 한정되지 않으며 3차원 영상, 또는 영상에 다른 정보가 부가된 고차원 정보일 수도 있다. 또한 켤레 변환을 활용하여 영상뿐만 아니라 음성이나 기타 다른 형태의 정보 간의 모핑에도 활용될 수 있으며, 이에 관해서는 추후에 다시 설명하기로 한다. As described above, the conjugate conversion includes an inverse transform and / or a curve coordinate transformation. However, the present invention is not limited thereto, and the conjugate conversion includes brightness information and position information between a corresponding pixel in an image before conversion and an image after conversion. All exchanges that are exchanged may be included. The information may include various forms such as pixel size, color, wavelength, frequency, and the like, and may include other forms of information in addition to those mentioned above. In the present invention, the conjugate transform is applied to image morphing. However, the image is not limited to two dimensions but may be a three-dimensional image or high-dimensional information added with other information to the image. It can also be used to morph between not only video but also voice and other forms of information using conjugate conversion, which will be described later.

또한 본 발명에 따른 영상 처리 방법에서 상기의 모든 영상들은 흑백 영상뿐만 아니라 컬러 영상일 수 있다. 컬러 영상은 채도 영상, 색상 영상, 밝기 영상의 세 가지 정보로 나타내어지는데 이 중 밝기 영상(각 픽셀에 대한 밝기 값을 정보로 가지는 영상으로 흑백 영상과 유사함)에 대해서만 켤레 변환을 하여 변환식을 계산하고 채도와 색상은 그 변환식에 따라 동일하게 곡선좌표 변환을 수행하여 휘어지게 만든다. 즉, 밝기 영상에 따른 곡선좌표 변환을 그대로 채도 영상과 색상 영상에 적용한다. 다음으로 켤레 변환된 밝기 영상과 곡선좌표 변환된 채도 영상 및 곡선좌표 변환된 색상 영상을 결합하면 켤레 컬러 영상을 얻는다.In addition, in the image processing method according to the present invention, all of the above images may be color images as well as black and white images. The color image is represented by three kinds of information: saturation image, color image, and brightness image. Among them, only the brightness image (image having brightness value for each pixel as information, similar to black and white image) is converted into a pair to calculate the conversion formula. The saturation and color are curved according to the conversion equation. That is, the curve coordinate transformation according to the brightness image is applied to the saturation image and the color image as it is. Next, a conjugate color image is obtained by combining the conjugate converted brightness image, the curved coordinate converted saturation image, and the curved coordinate converted color image.

이상에서는 두 개의 영상을 합성하는 경우에 대해 설명하였으나, 본 발명은 이에 한정되지 않으며 서로 합성되는 영상의 개수는 필요에 따라 3개 이상으로 늘어날 수 있다. In the above, the case of synthesizing two images has been described, but the present invention is not limited thereto, and the number of images synthesized with each other may be increased to three or more as necessary.

본 발명의 또 다른 일 특징에 따른 영상 처리 방법은, 상기 제3 영상 및 상기 제4 영상을 합성하여 제5 영상을 생성하는 단계에서 상기 제3 영상 및 상기 제4 영상이 동일한 가중치를 가지도록 선형 보간법(linear interpolation)을 수행하여 상기 제5 영상을 생성한다. 이 경우 상기 제5 영상이 다시 켤레 변환되어 생성되는 제6 영상은 제1 영상과 제2 영상의 중간 영상으로 나타나게 된다. 선형 보간법을 수행함에 있어, 상기 가중치는 필요에 따라 적절히 변형될 수 있다.In an image processing method according to another aspect of the present invention, in the step of generating a fifth image by synthesizing the third image and the fourth image, the third image and the fourth image may be linearly weighted. The fifth image is generated by performing linear interpolation. In this case, the sixth image generated by converting the fifth image again is represented as an intermediate image between the first image and the second image. In performing linear interpolation, the weight may be appropriately modified as necessary.

본 발명의 또 다른 일 특징에 따른 영상 처리 방법은 제1 영상을 켤레 변환하여 제3 영상을 생성하는 단계, 제2 영상을 켤레 변환하여 제4 영상을 생성하는 단계, 상기 제3 영상 및 상기 제4 영상을 중첩시켜 제5 영상을 생성하는 단계, 상기 제5 영상을 켤레 변환하여 제6 영상을 생성하는 단계, 상기 제3 영상 및 상기 제4 영상을 중첩시켜 제7 영상을 생성하는 단계, 상기 제7 영상을 켤레 변환하여 제8 영상을 생성하는 단계 및 상기 제6 영상 및 상기 제8 영상을 중간 영상으로 하여 상기 제1 영상으로부터 상기 제2 영상으로의 모핑을 수행하는 단계를 포함한다. 여기에서, 상기 중간 영상의 개수는 훨씬 더 많아질 수 있다. 즉, 상기 제3 영상 및 상기 제4 영상을 중첩시키지 않고, 보간법(interpolation)을 사용함으로써 상기 제5 영상 또는 상기 제7 영상은 다양하게 만들어질 수 있다. 이에 따라, 상기 제5 영상 또는 제7 영상이 켤레 변환되어 생성되는 제6 영상 또는 제8 영상도 다양하게 생성될 수 있으며, 이에 따라 중간 영상은 하나가 아니라 복수 개로 다양한 형태로 존재할 수 있게 된다. 중간 영상의 개수가 늘어남에 따라 상기 제1 영상으로부터 상기 제2 영상으로의 모핑이 보다 자연스러워질 수 있다. 상기 중간 영상을 생성하는 합성 방식으로는 선형 보간법(linear interpolation) 등을 활용할 수 있으며, 본 발명에서 상기 합성은 특정한 방식에 한정되지 않는다. According to another aspect of the present invention, there is provided an image processing method comprising: generating a third image by converting a first image by a pair-conversion, generating a fourth image by converting a second image by a pair-conversion; Generating a fifth image by superposing a fourth image, generating a sixth image by converting the fifth image by a conjugate, and generating a seventh image by overlapping the third image and the fourth image, And generating an eighth image by conjugating the seventh image and performing morphing from the first image to the second image by using the sixth image and the eighth image as an intermediate image. Here, the number of intermediate images may be much larger. That is, the fifth image or the seventh image may be variously manufactured by using interpolation without overlapping the third image and the fourth image. Accordingly, the sixth image or the eighth image generated by the conjugation of the fifth image or the seventh image may be generated in various ways. Accordingly, the intermediate image may exist in various forms instead of one. As the number of intermediate images increases, morphing from the first image to the second image may be more natural. Linear interpolation may be used as a synthesis method for generating the intermediate image. In the present invention, the synthesis is not limited to a specific method.

본 발명에서는 상기 선형 보간법 외에도 소스 이미지와 타겟 이미지 외의 중간 이미지들을 샘플로 사용하는 다른 형태의 보간법을 사용할 수도 있다. 예를 들어 a 영상, b 영상, c 영상을 각각 켤레 변환하여 a' 영상, b' 영상, c' 영상을 생성하며 상기 a' 영상, b' 영상, c' 영상을 보간법을 사용하여 d' 영상, e' 영상 등 을 생성하고 상기 d' 영상, e' 영상을 다시 각각 켤레 변환하여 모핑 이미지들을 만들 수 있다. 이는 애니메이션의 제작 원리 중 하나이다. In the present invention, in addition to the linear interpolation method, another type of interpolation method using samples of intermediate images other than the source image and the target image may be used. For example, a, b, and c images are generated by converting a, b, and c images respectively, and a, d, and c images are interpolated using interpolation. The morphing images may be generated by generating the e 'image and the like, and converting the d' image and the e 'image, respectively. This is one of the production principles of animation.

본 발명의 또 다른 일 특징에 따른 영상 처리 방법에서 상기 제5 영상은 상기 제3 영상이 상기 제4 영상보다 높은 가중치를 가지도록 선형 보간법을 수행하여 생성되고, 상기 제7 영상은 상기 제3 영상보다 상기 제4 영상이 높은 가중치를 가지도록 선형 보간법을 수행하여 생성된다. 이 경우 상기 제5 영상이 좌표 변환되어 생성된 제6 영상은 제2 영상보다 제1 영상에 보다 가까운 형태를 갖는다. 그리고, 상기 제7 영상이 좌표 변환되어 생성된 제8 영상은 제1 영상보다 제2 영상에 보다 가까운 형태를 갖는다. 이와 같이, 가중치를 조절함으로써 제1 영상(소스 이미지)으로부터 제2 영상(타겟 이미지)으로 모핑할 때, 제1 영상을 닮은 중간 영상에서부터 점점 제2 영상을 닮은 중간 영상으로 복수 개의 중간 영상들을 생성할 수 있으며, 이러한 복수 개의 중간 영상들을 연결함으로써 자연스러운 모핑이 가능해진다. In the image processing method according to another aspect of the present invention, the fifth image is generated by performing linear interpolation so that the third image has a higher weight than the fourth image, and the seventh image is the third image. The fourth image is generated by performing linear interpolation to have a higher weight. In this case, the sixth image generated by coordinate transformation of the fifth image has a form closer to the first image than the second image. The eighth image generated by the coordinate transformation of the seventh image has a shape closer to the second image than the first image. As described above, when morphing from the first image (source image) to the second image (target image) by adjusting the weight, a plurality of intermediate images are generated from the intermediate image resembling the first image to the intermediate image gradually resembling the second image. Natural morphing is possible by connecting the plurality of intermediate images.

본 발명의 또 다른 일 특징에 따른 영상 처리 방법은 제1 좌표계의 복수 개의 영상의 각각에 대하여 상기 복수 개의 영상의 각각의 상기 제1 좌표계에서의 픽셀의 위치 및 상기 제1 좌표계에서의 상기 픽셀의 밝기 값을 제2 좌표계에서의 픽셀의 위치 및 상기 제2 좌표계에서의 상기 픽셀의 밝기 값으로 변환하는 단계, 상기 제2 좌표계로 변환된 복수 개의 영상을 합성하는 단계, 상기 합성된 영상을 상기 제1 좌표계로 역변환하는 단계를 포함한다.According to still another aspect of the present invention, there is provided an image processing method, wherein a position of a pixel in each first coordinate system of each of the plurality of images and a position of the pixel in the first coordinate system with respect to each of a plurality of images in a first coordinate system. Converting a brightness value into a position of a pixel in a second coordinate system and a brightness value of the pixel in the second coordinate system; synthesizing a plurality of images converted into the second coordinate system; Inverse transforming to one coordinate system.

상기 변환 및 상기 역변환은 상기 수학식 1 내지 수학식 3에 의해 결정되며, 상기 제1 좌표계는 (x,y)에 의해 기술되고 상기 제2 좌표계는 (x',y')에 의해 기술되며, 상기 제1 좌표계에서의 상기 픽셀의 밝기 값은 I(x,y)이고, 상기 제2 좌표계에서의 상기 픽셀의 밝기 값은 I'(x',y')이다. The transform and the inverse transform are determined by Equations 1 to 3, wherein the first coordinate system is described by (x, y) and the second coordinate system is described by (x ', y'), The brightness value of the pixel in the first coordinate system is I (x, y) and the brightness value of the pixel in the second coordinate system is I '(x', y ').

[수학식 1][Equation 1]

[수학식 2][Equation 2]

[수학식 3]&Quot; (3) "

본 발명의 일 특징에 따른 영상 처리 장치는 복수 개의 입력 영상의 각각을 켤레 변환하여 복수 개의 켤레 영상을 생성하는 제1 변환부, 상기 복수 개의 켤레 영상들로 이루어진 군으로부터 선택된 둘 이상의 켤레 영상들을 중첩하여 중첩 영상을 생성하는 영상 중첩부 및 상기 중첩 영상을 켤레 변환하여 출력 영상을 생성하는 제2 변환부를 포함한다.An image processing apparatus according to an aspect of the present invention includes a first converter configured to generate a plurality of paired images by converting each of a plurality of input images by a pair, and overlapping two or more paired pair images selected from the group consisting of the plurality of paired images. And an image superimposing unit configured to generate an overlapped image, and a second converting unit generating an output image by converting the superimposed image by a conjugate pair.

본 발명의 다른 일 특징에 따른 영상 처리 장치는 상기 출력 영상을 중간 영 상으로 하여 상기 입력 영상으로부터의 모핑을 수행하는 모핑부를 더 포함한다.The image processing apparatus according to another aspect of the present invention further includes a morphing unit configured to perform morphing from the input image using the output image as an intermediate image.

본 발명의 일 특징에 따른 음성 처리 방법은 제1 음성을 켤레 변환하여 제3 음성을 생성하는 단계, 제2 음성을 켤레 변환하여 제4 음성을 생성하는 단계, 상기 제3 음성 및 상기 제4 음성을 중첩시켜 제5 음성을 생성하는 단계 및 상기 제5 음성을 켤레 변환하여 제6 음성을 생성하는 단계를 포함한다.According to an aspect of the present invention, there is provided a voice processing method comprising: converting a first voice to generate a third voice, converting a second voice to generate a fourth voice, and generating the third voice and the fourth voice. Generating a fifth voice by superimposing a second voice and generating a sixth voice by conjugating the fifth voice.

본 발명의 다른 일 특징에 따른 음성 처리 방법은 상기 제6 음성을 중간 음성으로 하여 상기 제1 음성으로부터 상기 제2 음성으로의 모핑을 수행하는 단계를 더 포함한다.The voice processing method according to another aspect of the present invention further includes performing morphing from the first voice to the second voice by using the sixth voice as an intermediate voice.

본 발명의 또 다른 일 특징에 따른 음성 처리 방법은, 상기 제1 음성을 켤레 변환하여 제3 음성을 생성하는 단계가, 역수 변환(reciprocal transformation, RT) 및 곡선좌표 변환(curvilinear coordinate transformation, CCT) 중 적어도 하나를 이용하여 상기 제1 음성을 켤레 변환하여 상기 제3 음성을 생성하고, 상기 제2 음성을 켤레 변환하여 제4 음성을 생성하는 단계가, 역수 변환 및 곡선좌표 변환 중 적어도 하나를 이용하여 상기 제2 음성을 켤레 변환하여 상기 제4 음성을 생성한다.According to still another aspect of the present invention, there is provided a method of generating a third voice by converting a pair of the first voice into a reciprocal transformation (RT) and a curved coordinate transformation (CCT). Generating the third voice by conjugate-converting the first voice using at least one of and generating the fourth voice by conjugate-converting the second voice using at least one of reciprocal conversion and curved coordinate conversion. To convert the second voice to a conjugate to generate the fourth voice.

본 발명의 일 특징에 따른 기록 매체는 상술된 영상 처리 방법 및 음성 처리 방법들 중 어느 한 방법을 실행하기 위한 프로그램이 기록되어 있으며 컴퓨터에서 판독 가능한 기록 매체이다. A recording medium according to an aspect of the present invention is a computer-readable recording medium in which a program for executing any of the above-described image processing methods and audio processing methods is recorded.

본 발명에 의한 영상 처리 방법은 기존의 영상 처리 분야에 모두 적용이 가능하며, 이미지 모핑의 자동화를 실현하여 간단하고도 단순하게 영상의 합성 및 변환이 가능하다. The image processing method according to the present invention can be applied to all existing image processing fields, and it is possible to synthesize and convert images simply and simply by realizing automation of image morphing.

또한 본 발명에 의한 영상 처리 방법은 동일한 종류의 영상 간의 모핑에만 적용될 수 있는 것이 아니라, 전혀 연관성이 없는 두 영상 간의 모핑에 활용될 수 있다. In addition, the image processing method according to the present invention may not only be applied to morphing between images of the same kind, but may also be used for morphing between two images having no relation at all.

또한 본 발명에 의한 영상 처리 방법은 수작업으로 이루어지는 기존의 방법에 비해 효율적이며 자연스러운 모핑이 가능하다. In addition, the image processing method according to the present invention is more efficient and natural morphing than the conventional method made by hand.

또한 본 발명에 의한 영상 처리 방법은 영상 처리 분야뿐만 아니라 동영상 압축 및 음성 합성, 패턴 인식 등의 다양한 응용 분야에도 적용 가능하다. In addition, the image processing method according to the present invention can be applied not only to the image processing field but also to various application fields such as video compression, voice synthesis, and pattern recognition.

또한 본 발명에 의한 영상 처리 장치는 상술한 본 발명의 영상 처리 방법과 같이 자동화된 이미지 모핑이 가능하며, 대응 관계가 약한 영상 간에 자연스러운 모핑이 가능하다.In addition, the image processing apparatus according to the present invention enables automated image morphing as in the image processing method of the present invention described above, and enables natural morphing between images having a weak correspondence.

본 발명에 의한 음성 처리 방법 또한 두 음성 간의 자동화된 모핑이 가능하며, 음성뿐만 아니라 다양한 소리에 응용 가능하다. The voice processing method according to the present invention also enables automated morphing between two voices, and is applicable to various sounds as well as voices.

이하 첨부 도면들을 참조하여 본 발명의 바람직한 실시예를 보다 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings, but the present invention is not limited or limited by the embodiments.

도 3은 본 발명의 일 실시예에 따른 영상 처리 방법을 보여주는 개념도이다.3 is a conceptual diagram illustrating an image processing method according to an embodiment of the present invention.

도 3을 참조하면, 본 발명의 영상 처리 방법은 제1 영상을 켤레 변환하여 제 3 영상을 생성하는 단계(S31), 제2 영상을 켤레 변환하여 제4 영상을 생성하는 단계(S32), 상기 제3 영상 및 상기 제4 영상을 중첩시켜 제5 영상을 생성하는 단계(S33) 및 상기 제5 영상을 켤레 변환하여 제6 영상을 생성하는 단계(S34)을 포함한다. 상기 제1 영상, 상기 제2 영상 및 상기 제6 영상은 A 좌표계에 속하고, 상기 제3 영상, 상기 제4 영상 및 상기 제5 영상은 B 좌표계에 속한다. 즉, 켤레 변환으로 A 좌표계는 B 좌표계로, B 좌표계는 A 좌표계로 변환하게 된다. S31, S32, S34 단계에서의 켤레 변환은 상술한 역수 변환 및 곡선좌표 변환을 포함한다. 상기 역수 변환 및 상기 곡선좌표 변환의 적용 순서는 관계 없다. S33 단계에서 중첩 방법으로는 선형 보간법을 사용할 수 있다. 상기 제5 영상으로부터 켤레 변환하여 생성된 상기 제6 영상은 상기 제1 영상과 상기 제2 영상의 중간 이미지를 갖게 된다. Referring to FIG. 3, in the image processing method of the present invention, generating a third image by converting the first image by conjugate conversion (S31), generating a fourth image by converting the second image by conjugate conversion (S32). And generating a fifth image by superimposing a third image and the fourth image (S33), and generating a sixth image by conjugate-converting the fifth image. The first image, the second image, and the sixth image belong to an A coordinate system, and the third image, the fourth image, and the fifth image belong to a B coordinate system. That is, the conjugate conversion converts the A coordinate system into the B coordinate system and the B coordinate system into the A coordinate system. The conjugate conversion in steps S31, S32, and S34 includes the above-described inverse transform and curve coordinate transform. The order of application of the reciprocal transformation and the curve coordinate transformation is irrelevant. In step S33, as the superposition method, linear interpolation may be used. The sixth image generated by the conjugate conversion from the fifth image has an intermediate image between the first image and the second image.

도 4a는 본 발명의 다른 일 실시예에 따른 영상 처리 방법에 따른 모핑 과정을 보여주는 순서도이다. 제1 영상(41)은 소스 이미지, 제2 영상(42)은 타겟 이미지이다. 제6 영상(46)은 제1 영상(41)과 제2 영상(42)을 각각 켤레 변환한 영상을 중첩한 후, 이를 다시 켤레 변환하여 생성된 중간 영상으로, 제1 영상(41)과 제2 영상(42)의 중간 이미지이다. 제1 영상(41), 제6 영상(46), 다음으로 제2 영상(42)을 순차적으로 연결하여 영상을 변환시키면 모핑이 완성된다. 4A is a flowchart illustrating a morphing process according to an image processing method according to another embodiment of the present invention. The first image 41 is a source image, and the second image 42 is a target image. The sixth image 46 is an intermediate image generated by overlapping an image obtained by conjugating the first image 41 and the second image 42, and then converting the image by the first image 41 and the second image 42. 2 is an intermediate image of the image 42. Morphing is completed by converting an image by sequentially connecting the first image 41, the sixth image 46, and the second image 42.

도 4b 는 본 발명의 또 다른 일 실시예에 따른 영상 처리 방법에 따른 모핑 과정을 보여주는 순서도이다. 마찬가지로, 제1 영상(41)은 소스 이미지, 제2 영상(42)은 타겟 이미지이고 복수 개의 중간 영상들(45)이 있다. 중간 영상들(45)은 제1 영상(41)과 제2 영상(42)을 각각 켤레 변환한 영상을 중첩한 후, 중첩된 영상을 다시 켤레 변환하여 생성된 것이다.4B is a flowchart illustrating a morphing process according to an image processing method according to another embodiment of the present invention. Similarly, the first image 41 is a source image, the second image 42 is a target image, and there are a plurality of intermediate images 45. The intermediate images 45 are generated by overlapping images obtained by converting the first image 41 and the second image 42, respectively, and then converting the overlapped images again.

상기 중간 영상들(45)에 속하는 제6 영상(45(1)) 및 제8 영상(45(n))은 제1 영상(41)과 제2 영상(42)을 각각 켤레 변환한 영상을 중첩한 후, 중첩된 영상을 다시 켤레 변환하여 생성되며, 제6 영상(45(1))이 제8 영상(45(n))보다 제1 영상(41)에 가까운 형태의 이미지를 갖는다. 즉, 켤레 변환된 영상들의 중첩하는 과정에서 가중치를 조절함으로써 제1 영상(41)에 보다 가까운 중간 영상을 만들 수도 있고, 제2 영상(42)에 보다 가까운 중간 영상을 만들 수도 있다. 본 실시예에서 제6 영상(45(1))은 첫번째 중간 영상이고, 제8 영상(45(n))은 n번째 중간 영상이다. 제6 영상(45(1))과 제8 영상(45(n))의 사이에 복수 개의 중간 영상들이 있고, 제8 영상(45(n)) 이후에도 복수 개의 중간 영상들이 있을 수도 있다. The sixth image 45 (1) and the eighth image 45 (n) belonging to the intermediate images 45 overlap the image obtained by pair-converting the first image 41 and the second image 42, respectively. After that, the superimposed image is generated by conjugation again, and the sixth image 45 (1) has an image closer to the first image 41 than the eighth image 45 (n). That is, the intermediate image closer to the first image 41 may be made by adjusting the weight in the process of overlapping the conjugate-converted images, or the intermediate image closer to the second image 42 may be produced. In the present embodiment, the sixth image 45 (1) is the first intermediate image, and the eighth image 45 (n) is the nth intermediate image. There may be a plurality of intermediate images between the sixth image 45 (1) and the eighth image 45 (n), and there may be a plurality of intermediate images after the eighth image 45 (n).

자연스러운 모핑 과정을 수행하기 위해서, 제1 영상(41)에서 바로 연결되는 첫번째 중간 영상인 제6 영상(45(1))은 제1 영상(41)에 가장 가까운 중간 이미지를 가지고, 점차적으로 제2 영상(42)의 가중치가 높아지게 한다. In order to perform a natural morphing process, the sixth image 45 (1), which is the first intermediate image directly connected to the first image 41, has the intermediate image closest to the first image 41, and gradually the second image. The weight of the image 42 is increased.

제1 영상(41)의 다음으로 복수 개의 중간 영상을 순차적으로 연결하고, 마지막으로 제2 영상(42)을 연결하여 영상을 변환시키면 모핑이 완성된다. Morphing is completed by sequentially connecting a plurality of intermediate images next to the first image 41 and finally converting the images by connecting the second image 42.

도 5는 본 발명의 또 다른 일 실시예에 따른 영상 처리 방법을 적용한 시뮬레이션 결과이다. 도 5를 참조하면, 사과 이미지와 바나나 이미지가 합성된 중간 이미지의 생성 방법과 이를 이용한 모핑 방법을 개념적으로 이해할 수 있다. 5 is a simulation result of applying an image processing method according to another exemplary embodiment of the present invention. Referring to FIG. 5, a method of generating an intermediate image in which an apple image and a banana image are synthesized and a morphing method using the same may be conceptually understood.

먼저 제1 영상(51)인 사과 이미지를 구성하는 각 픽셀의 밝기 값을 수집한 다. 만일 상기 제1 영상(51)이 백만 화소의 정사각형이라면, 상기 제1 영상(51)을 구성하는 픽셀의 개수는 백만 개이며 이는 1000×1000의 크기를 갖는 행렬로 표현될 수 있다. 상기 행렬에서 (i,j)번째 값 I_ij은 좌표 (x,y)에서의 픽셀에서의 밝기 값으로, 밝을수록 켤레 변환 후 (i,j)번째 픽셀의 크기는 커지거나 또는 작아진다.First, a brightness value of each pixel constituting the apple image that is the first image 51 is collected. If the first image 51 is a square of one million pixels, the number of pixels constituting the first image 51 is one million, which may be represented by a matrix having a size of 1000 × 1000. In the matrix, the (i, j) th value I _ij is a brightness value at the pixel at coordinates (x, y), and the brighter the larger the size of the (i, j) th pixel after the conjugate conversion.

그리고, 상기 제1 영상(51)에 대하여 역수 변환(RT)을 수행하여 제3' 영상(52)을 생성한다. 다음으로, 상기 제3' 영상(52)에 대하여 곡선좌표 변환(CCT)을 수행하여 제3 영상(53)을 생성하게 된다. 역수 변환에 의하여 제1 영상(51)에서 밝은 부분은 제3' 영상(52)에서 어두워지고, 제1 영상(51)에서 어두운 부분은 제3' 영상(52)에서 밝아짐을 알 수 있다. 다음으로, 곡선좌표 변환에 의해서 상기 제3' 영상(52)을 구성하는 각 픽셀의 밝기 값에 따라 상기 제3 영상(53)이 휘어지게(warped) 된다. 상기 제1 영상(51) 및 상기 제3' 영상(52) 간의 변환 관계는 상기 수학식 1을 포함하며, 상기 제3' 영상(52) 및 상기 제3 영상(53) 간의 변환 관계는 상기 수학식 2 또는 수학식 3을 포함한다.In addition, an inverse transform (RT) is performed on the first image 51 to generate a third 'image 52. Next, the third image 53 is generated by performing a curve coordinate transformation (CCT) on the third 'image 52. It can be seen that the bright part of the first image 51 becomes dark in the third 'image 52 and the dark part of the first image 51 becomes bright in the third' image 52 by the inverse conversion. Next, the third image 53 is warped according to the brightness value of each pixel constituting the third image 52 by the curve coordinate transformation. The conversion relationship between the first image 51 and the third 'image 52 includes Equation 1, and the conversion relationship between the third' image 52 and the third image 53 is represented by the equation. Equation 2 or Equation 3 is included.

수학식 1 내지 수학식 2에서는 (i,j)번째 픽셀의 위치인 (x,y), (x',y')와 각 픽셀에서의 밝기 값인 I(x,y), I'(x',y') 간의 관계가 기술되어 있다. 이 때, 수학식 1 내지 수학식 2을 만족하는 해는 무수히 많을 수 있다. 이와 같은 야코비언 식을 만족하는 일반해인 좌표벡터 (x',y')는 회전성(curl)을 갖게 되지만 이에 한정되는 것은 아니다. 본 실시예에서는 비회전성 좌표벡터 (x',y')를 찾기로 한다. In Equations 1 to 2, (x, y) and (x ', y'), which are positions of the (i, j) th pixel, and I (x, y) and I '(x', which are brightness values in each pixel , y ') is described. At this time, the solution that satisfies the equation (1) to (2) may be numerous. The coordinate vector (x ', y'), which is a general solution that satisfies the Jacobian equation, has a curl, but is not limited thereto. In the present embodiment, a nonrotating coordinate vector (x ', y') is to be found.

일반적으로 비회전성 좌표는 스칼라(scalar) 함수의 기울기로 표현된다는 사실을 이용한다. 이를 위해, 스칼라 함수

을 도입하여 상기 수학식 2의 해를 특정하기로 한다:

그리고

. In general, the non-rotative coordinates take advantage of the fact that they are expressed as the slope of the scalar function. To do this, a scalar function

We will introduce the solution of Equation 2:

And

.

상기 수학식 3의 해는 비슷한 방법으로 주어진다:

그리고

. The solution of equation 3 is given in a similar manner:

And

.

먼저 수학식 2의 해를 구해야 한다. 상기 특정된 해의 형태를 쓰면 수학식 2는 하기 수학식 4와 같은 헤시앙(Hessian) 방정식으로 바뀐다.First, we need to solve the equation (2). Using the form of the specified solution, Equation 2 is converted into a Hessian equation such as Equation 4.

상기 수학식 4는 비선형 편미분 방정식으로 해석적인 방법으로는 해를 찾을 수 없다. 따라서 반복 계산(iteration)에 의한 방법을 찾는다. 또한 영상은 연속적인 함수가 아닌 유한한 수의 픽셀의 밝기를 담은 행렬들로 주어진다. 따라서 찾고자 하는 스칼라 함수

도 행렬로 표현된다.Equation 4 is a nonlinear partial differential equation, and no solution can be found by an analytical method. Therefore, find a method by iteration. Also, the image is given as matrices containing a finite number of pixels instead of a continuous function. So the scalar function you want to find

Is also represented by a matrix.

제1 영상(51)의 밝기 값을 I(x,y) 대신 I_ij라고 쓴다. 스칼라 함수도

대신

이라고 표현한다. 좌표 (x,y)가 길이 1의 정사각형의 영역 내에서 기술되고, 인덱스 i가 1에서 m까지 주어지고, j가 1에서 n까지 주어지면, 상기 헤시앙 방정식은 하기 수학식 5와 같이 바뀐다.The brightness value of the first image 51 is written as I _ij instead of I (x, y). Scalar function

instead

Express If the coordinate (x, y) is described in the area of the square of length 1, the index i is given from 1 to m, and j is given from 1 to n, then the Hessian equation changes as shown in Equation 5 below.

(i,j)번째 스칼라 함수값을 제외한 나머지 값들은 고정되어 있다고 가정할 때, 상기 식은 (i,j)번째 감마값에 관한 2차 방정식이 되어

을 얻을 수 있다. 이와 같은 과정을 인덱스 i가 1에서 m까지 인덱스 j가 1에서 n까지 루프(loop)를 돌려 행렬값

을 갱신하면 점차 수렴하게 된다.Assuming that all other values except the (i, j) th scalar function are fixed, the above equation becomes a quadratic equation for the (i, j) th gamma value

Can be obtained. This process is performed by looping index i from 1 to m and index j from 1 to n.

If we update, we will gradually converge.

이렇게 구하여진 수렴된 행렬값

으로부터 (i,j)번째 픽셀의 좌표 (x'_ij,y'_ij)의 값을 다음과 같이 하여 계산할 수 있다:

그리고

. Converged Matrix Values Obtained

The value of the coordinate (x ' _ij , y' _ij ) of the (i, j) -th pixel from can be calculated as follows:

And

.

이렇게 하여 좌표 변환된 픽셀의 위치를 얻게 되면, 상기 수학식 1을 이용하여 역수 변환을 통해 변환된 픽셀에서의 밝기 값을 역수로 얻을 수 있다.In this way, when the position of the coordinate-converted pixel is obtained, the brightness value of the pixel converted through the inverse transformation may be obtained as the inverse by using Equation 1 above.

다음으로 제2 영상(54)인 바나나 이미지를 구성하는 각 픽셀의 밝기 값을 수집한다. 마찬가지로 상기 제2 영상(54)에 대하여 역수 변환(RT)을 수행하여 제4' 영상(55)을 생성한다. 다음으로, 상기 제4' 영상(55)에 대하여 곡선좌표 변환(CCT)을 수행하여 제4 영상(56)을 생성하게 된다. 그 이후의 과정은 상술된 바와 동일하므로 생략한다. Next, a brightness value of each pixel constituting the banana image which is the second image 54 is collected. Similarly, a reciprocal transform (RT) is performed on the second image 54 to generate a fourth 4 'image 55. Next, the fourth image 56 is generated by performing a curve coordinate transformation (CCT) on the fourth 'image 55. Subsequent processes are the same as described above, and thus will be omitted.

상기 제3 영상(53) 및 상기 제4 영상(56)을 선형 보간법으로 합성하면 제5 영상(58)이 생성된다. 본 실시예에서는 상기 제3 영상(53) 및 상기 제4 영상(56)의 가중치를 동일하게 하여 선형 보간법으로 합성을 수행하였으나, 본 발명은 이에 한정되지 않는다. When the third image 53 and the fourth image 56 are synthesized by linear interpolation, a fifth image 58 is generated. In the present embodiment, the synthesis is performed by linear interpolation with the same weight of the third image 53 and the fourth image 56, but the present invention is not limited thereto.

상기 제5 영상(58)에 대해 역수 변환 및 곡선좌표 변환을 모두 수행하면 제6 영상(59)이 생성된다. 여기에서, 상기 역수 변환 및 상기 곡선좌표 변환의 적용 순서는 관계 없으며, 제3 영상(53) 및 제4 영상(56)을 생성함에 있어서도 마찬가지이다. 역수 변환 및 곡선좌표 변환된 두 영상으로 합성된 제5 영상(58)에 대하여 다시 역수 변환 및 곡선좌표 변환을 수행할 경우 변환 전의 입력 영상들의 좌표계와 동일한 좌표계를 갖는 제6 영상(59)이 생성된다. 즉, 제1 영상(51) 및 제2 영상(54)이 제1 좌표계에서 기술되면, 켤레 변환에 의해 제3 영상(53) 및 제4 영상(56)은 제2 좌표계에서 기술되고, 상기 제3 영상(53) 및 제4 영상(56)이 합성된 제5 영상(58)은 제2 좌표계로 기술되지만, 다시 상기 제5 영상(58)에 대하여 켤레 변환하여 생성된 상기 제6 영상(59)은 제1 좌표계로 기술된다. The sixth image 59 is generated when both the inverse transform and the curve coordinate transformation are performed on the fifth image 58. Here, the application order of the inverse transform and the curve coordinate transformation is irrelevant, and the same applies to the generation of the third image 53 and the fourth image 56. When the inverse transform and the curve coordinate transformation are again performed on the fifth image 58 composed of the two inverse transformed and curved coordinate transformed images, a sixth image 59 having the same coordinate system as the coordinate system of the input images before conversion is generated. do. That is, when the first image 51 and the second image 54 are described in the first coordinate system, the third image 53 and the fourth image 56 are described in the second coordinate system by the conjugate conversion. The fifth image 58 in which the third image 53 and the fourth image 56 are synthesized is described in a second coordinate system, but the sixth image 59 generated by the conjugation of the fifth image 58 is again performed. ) Is described by the first coordinate system.

도 5에서, 상기 제6 영상(59)은 사과 이미지인 제1 영상(51)과 바나나 이미지인 제2 영상(54)의 중간 형태를 가짐을 알 수 있다.In FIG. 5, it can be seen that the sixth image 59 has an intermediate shape between the first image 51, which is an apple image, and the second image 54, which is a banana image.

한편, 본 발명에 의한 영상 처리 방법이 아니라 종래 방식인 영상 중첩을 사 용하여 사과 이미지와 바나나 이미지를 합성한 결과(57)를 보면, 사과와 바나나의 중간 형태가 아니라, 각각의 형태가 잔존하여 겹쳐 보임을 알 수 있다. On the other hand, as a result of synthesizing the apple image and the banana image using the conventional image superposition, not the image processing method according to the present invention (57), the respective forms are not overlapped with each other but the apple and banana. You can see it.

본 실시예에서 상기 제6 영상(59)과 같이 이러한 자연스러운 모양의 중간 영상을 생성함에 있어서, 기존의 모핑 기법에서와 같이 대응점들을 연결해주는 수작업은 전혀 수행되지 않았으며, 켤레 변환을 통해 영상을 합성함으로써 중간 영상의 합성이 자동화될 수 있다. In the present embodiment, in generating the intermediate image having such a natural shape as in the sixth image 59, as in the conventional morphing technique, no manual operation of connecting the corresponding points is performed, and the image is synthesized through the conjugate conversion. This allows the synthesis of intermediate images to be automated.

상기 제1 영상(51)에서 상기 제6 영상(59), 다음으로 상기 제6 영상(59)에서 상기 제2 영상(54)으로 이미지를 바꾸어주면, 사과에서 바나나로 이미지 모핑이 이루어지게 된다. 물론 반대로 상기 제2 영상(54)에서 상기 제6 영상(59), 다음으로 상기 제6 영상(59)에서 상기 제1 영상(51)으로 이미지를 바꾸어주면, 바나나에서 사과로 이미지 모핑이 이루어질 수 있다.When the image is changed from the first image 51 to the sixth image 59 and then from the sixth image 59 to the second image 54, image morphing is performed from an apple to a banana. Of course, if the image is changed from the second image 54 to the sixth image 59 and then from the sixth image 59 to the first image 51, image morphing may be performed from banana to apple. have.

이 때, 복수 개의 중간 영상을 제1 영상(51)과 제2 영상(54) 사이에 배치하면 보다 자연스러운 모핑이 가능하다. 본 실시예에서는 상기 제5 영상(58)을 합성함에 있어 제3 영상(53)과 제4 영상(56)의 가중치를 동일하게 하였기 때문에, 상기 제6 영상(59)의 형태가 사과와 바나나의 중간 형태로 나타나게 된 것이다. 만일 사과 이미지에 보다 닮은 중간 영상을 생성하고자 하면, 합성 시에 제3 영상(53)의 가중치를 제4 영상(56)의 가중치보다 높게 설정하면 된다. 상기 제3 영상(53) 및 상기 제4 영상(56) 간의 가중치 비율을 조정함으로써 다양한 형태의 중간 영상을 생성할 수 있다. 상기 중간 영상의 개수를 증가시켜 사과 이미지에 가까운 중간 영상에서부터 바나나 이미지에 가까운 중간 영상으로 순차적으로 연결할 경우 보다 자연스러운 모핑이 가능하다. In this case, when a plurality of intermediate images are disposed between the first image 51 and the second image 54, more natural morphing is possible. In the present embodiment, since the weights of the third image 53 and the fourth image 56 are the same in synthesizing the fifth image 58, the shape of the sixth image 59 is that of apples and bananas. It appeared in an intermediate form. If an intermediate image similar to the apple image is to be generated, the weight of the third image 53 may be set higher than the weight of the fourth image 56 during synthesis. Various types of intermediate images may be generated by adjusting a weight ratio between the third image 53 and the fourth image 56. Increasing the number of intermediate images allows a more natural morphing when sequentially connecting the intermediate images close to the apple image to the intermediate images close to the banana image.

본 실시예에서는 역수 변환을 먼저 적용하여 제3' 영상(52) 및 제 4' 영상(55)을 생성하고 이후에 곡선좌표 변환을 적용하여 제3 영상(53) 및 제4 영상(56)을 생성하였으나, 본 발명은 변환 방법의 적용 순서에 한정되지 않는다. In the present embodiment, the inverse transform is first applied to generate the third image 52 and the fourth image 55, and then the coordinate image transformation is applied to the third image 53 and the fourth image 56. Although generated, the present invention is not limited to the order of application of the conversion method.

이하에서는 도 9를 참조하여 켤레 변환에 대해 설명한다.Hereinafter, the conjugate conversion will be described with reference to FIG. 9.

도 9는 본 발명의 또 다른 일 실시예에 따른 영상 처리 방법을 적용한 시뮬레이션 결과이다.9 is a simulation result of applying an image processing method according to another exemplary embodiment of the present invention.

켤레 변환은 곡선좌표 변환(CCT)과 역수 변환(RT)의 두 가지 변환으로 이루어지고 그 순서는 뒤바뀌어도 된다. 곡선좌표 변환은 주어진 이미지의 I(x,y)를 야코비언 행렬식의 값이 된다고 가정하여(상기 수학식 2와 동일), 직교 좌표계 (x,y)를 곡선 좌표계 (x',y')로 옮기는 변환이다. 역수 변환은 곡선 좌표 (x',y')에 밝기 값 I(x,y)의 역수를 할당하는 변환이다.The conjugate conversion consists of two transformations: the curve coordinate transformation (CCT) and the inverse transformation (RT). The order may be reversed. Curved coordinate transformation assumes that I (x, y) of a given image is the Jacobian determinant (same as Equation 2), and the Cartesian coordinate system (x, y) is converted to the curve coordinate system (x ', y'). It's a transfer conversion. An inverse transform is a transformation that assigns the inverse of the brightness value I (x, y) to the curve coordinates (x ', y').

도 9에서 직교 좌표(91)에 대하여 곡선좌표 변환을 적용한 결과 호랑이 영상의 밝기 정보에 따라 휘어진 곡선좌표(93)가 생성되고, 다시 역수 변환을 적용하면 휘어진 곡선 좌표 위에서 원래 영상의 밝기 값을 뒤집은 세 번째 영상(95)이 나타난다. 도 9에서는 곡선좌표 변환 후 역수 변환을 취하였지만, 역수 변환을 먼저 하여도 켤레 변환의 결과는 동일하다. 즉, 변환 방법의 순서를 달리 적용하더라도 가중치를 동일하게 할 경우 합성되는 중간 영상의 형태는 같으며, 모핑도 동일하게 수행될 수 있다. As a result of applying the curved coordinate transformation to the rectangular coordinates 91 in FIG. 9, the curved coordinate 93 is generated according to the brightness information of the tiger image. When the inverse transformation is applied again, the brightness value of the original image is inverted on the curved curve coordinate. A third image 95 is shown. In Fig. 9, the inverse transformation is performed after the curve coordinate transformation. However, even if the inverse transformation is performed first, the result of the conjugate conversion is the same. That is, even if the order of the transformation methods is applied differently, when the weights are the same, the synthesized intermediate images have the same shape, and morphing may be performed in the same way.

또한 본 실시예에서는 두 개의 이미지를 서로 합성하고 합성된 중간 이미지 를 이용하여 모핑하는 과정에 대하여 설명하였으나, 세 개 이상의 이미지에 대해서도 동일한 방식이 적용될 수 있음을 본 발명이 속하는 기술 분야의 당업자라면 충분히 이해할 수 있다. In addition, in the present embodiment, a process of synthesizing two images with each other and morphing using the synthesized intermediate image has been described. However, it will be apparent to those skilled in the art that the same method may be applied to three or more images. I can understand.

이하에서는 도 6을 참조하여 본 발명의 일 실시예에 따른 영상 처리 장치에 대해 설명한다. Hereinafter, an image processing apparatus according to an embodiment of the present invention will be described with reference to FIG. 6.

도 6은 본 발명의 일 실시예에 따른 영상 처리 장치를 나타낸 개념도이다. 6 is a conceptual diagram illustrating an image processing apparatus according to an embodiment of the present invention.

영상 처리 장치(60)는 제1 변환부(61), 영상 중첩부(63), 제2 변환부(65) 및 모핑부(67)를 포함한다. 상기 제1 변환부(61)는 복수 개의 입력 영상에 대해 각각 픽셀의 위치에 따른 밝기 값을 입력 받아 각 입력 영상의 켤레 변환을 수행한다. 상기 켤레 변환은 상술된 바와 동일하므로 중복되는 설명은 생략한다. 상기 영상 중첩부(63)는 상기 켤레 변환으로 변환된 복수 개의 영상들을 중첩 또는 합성한다. 다음으로 상기 제2 변환부(65)에서는 상기 영상 중첩부(63)에서 중첩 또는 합성된 영상들에 대해 켤레 변환을 수행하여 중간 영상들을 생성한다. 상기 모핑부(67)에서는 제2 변환부(65)에서 생성된 중간 영상들과 제1 변환부(61)로 입력되었던 입력 영상들을 수집하여 이들의 순서를 배열한 다음, 순차적으로 연결함으로써 모핑을 수행하게 된다. The image processing apparatus 60 includes a first transform unit 61, an image superimposing unit 63, a second transform unit 65, and a morphing unit 67. The first converter 61 receives a brightness value according to the position of a pixel with respect to a plurality of input images, and performs pair conversion of each input image. Since the conjugate conversion is the same as described above, redundant descriptions are omitted. The image superimposing unit 63 overlaps or synthesizes a plurality of images converted by the conjugate conversion. Next, the second converter 65 performs a conjugate conversion on the images superimposed or synthesized by the image superimposing unit 63 to generate intermediate images. The morphing unit 67 collects intermediate images generated by the second conversion unit 65 and input images input to the first conversion unit 61, arranges them, and sequentially connects the morphs. Will perform.

이하에서는, 경계가 모호하고 상관 관계가 약한 두 영상 간에 모핑을 수행한 결과에 대해 설명하기로 한다. Hereinafter, a description will be given of the result of morphing between two images having blurred boundaries and weak correlations.

도 7은 본 발명의 또 다른 일 실시예에 따른 영상 처리 방법을 적용한 시뮬레이션 결과이다. 도 7을 참조하면, 연기 이미지(71)로부터 장미 이미지(75)로의 모핑 과정을 확인할 수 있다. 7 is a simulation result of applying an image processing method according to another exemplary embodiment of the present invention. Referring to FIG. 7, a morphing process from the smoke image 71 to the rose image 75 may be confirmed.

도 8은 종래 기술에 의한 영상 중첩을 적용한 시뮬레이션 결과이다. 도 8을 참조하면, 연기 이미지(81)로부터 장미 이미지(85)로의 영상 중첩 과정을 확인할 수 있다. 8 is a simulation result to which the image superimposition according to the prior art is applied. Referring to FIG. 8, an image superimposition process from the smoke image 81 to the rose image 85 may be confirmed.

도 7과 도 8을 비교할 때, 도 8은 중간 영상(82, 83, 84)에서 연기 이미지와 장미 이미지가 모두 잔존하여 겹쳐 보이는 반면, 도 7에서는 자연스러운 중간 영상(72, 73, 74)이 생성됨을 알 수 있다. 7 and 8, in FIG. 8, both the smoke image and the rose image remain and overlap in the intermediate images 82, 83, and 84, whereas the natural intermediate images 72, 73, and 74 are generated in FIG. 7. It can be seen.

본 발명의 영상 처리 방법은 상술한 이미지 합성 및 모핑 방법뿐만 아니라 애니메이션 제작, 동영상 압축, 음성 변조 등의 다양한 분야에 활용이 가능하다.The image processing method of the present invention can be utilized in various fields such as animation production, video compression, and voice modulation as well as the image synthesis and morphing methods described above.

애니메이션 제작의 경우, 현재는 1초당 수십 개의 프레임을 개별적으로 작업해야 하지만, 본 발명에 의할 때, 복수 개의 중간 영상이 자동으로 합성될 수 있으므로, 수작업의 양을 줄일 수 있다. In the case of animation production, at present, dozens of frames per second must be individually worked, but according to the present invention, a plurality of intermediate images can be automatically synthesized, thereby reducing the amount of manual work.

동영상 압축에 활용하는 경우, 전체 동영상 파일 전체를 저장하지 않고 특정한 몇 개의 프레임만 저장하더라도 중간 영상이 자동 합성되어 재생될 수 있으므로, 저장 용량을 감소시킬 수 있게 된다. When it is used for video compression, even if only a few specific frames are stored without storing the entire video file, the intermediate video can be automatically synthesized and played, thereby reducing the storage capacity.

본 발명의 일 실시예에 따른 음성 처리 방법에서는 복수 개의 입력 음성들을 각각 켤레 변환하고 변환된 각각의 음성들을 중첩한 후, 이들을 다시 켤레 변환하여 중간 음성을 생성한다. 보다 구체적으로, 본 발명의 음성 처리 방법은 제1 음성을 켤레 변환하여 제3 음성을 생성하는 단계, 제2 음성을 켤레 변환하여 제4 음성을 생성하는 단계, 상기 제3 음성 및 상기 제4 음성을 중첩시켜 제5 음성을 생성 하는 단계 및 상기 제5 음성을 켤레 변환하여 제6 음성을 생성하는 단계를 포함한다. 기본적으로 음성 처리 방법과 상술된 본 발명의 영상 처리 방법은 원리와 적용 방법이 동일하다. In the speech processing method according to an embodiment of the present invention, a plurality of input voices are conjugated to each other, the converted voices are superimposed, and the pairs are converted again to generate intermediate voices. More specifically, the voice processing method of the present invention comprises: generating a third voice by converting a first voice by pairwise conversion, generating a fourth voice by converting a second voice by pairwise conversion, the third voice and the fourth voice. Generating a fifth voice by superimposing a second voice and generating a sixth voice by conjugating the fifth voice. Basically, the audio processing method and the image processing method of the present invention described above have the same principle and application method.

본 발명의 영상 처리 방법에서 영상을 구성하는 픽셀의 위치 및 밝기 값을 수집하는 반면, 음성 처리 방법의 경우 크기(intensity) 값에만 의존하여 이를 켤레 변환할 경우 음성 변조에 활용될 수 있다. 또한 서로 다른 두 음성이나 소리를 합성하는 데에도 본 발명이 활용될 수 있다.In the image processing method of the present invention, the position and brightness values of pixels constituting the image are collected, whereas the voice processing method may be utilized for voice modulation when the pair conversion is performed depending only on the intensity value. In addition, the present invention can be used to synthesize two different voices or sounds.

즉, 음성 처리 방법에서는 입력 데이터의 형태가 제1 시간 좌표계에서의 소리의 주파수 및 소리의 크기가 된다. 이에 대해서도 켤레 변환을 하여 제2 시간 좌표계에서의 소리의 주파수 및 소리의 크기로 변환하게 된다. 변환된 제2 시간 좌표계에서 음성을 중첩 또는 합성하고 이를 다시 켤레 변환하여 제1 시간 좌표계로 변환하게 되면 중간 음성이 생성된다. 상기 중간 음성을 이용하여 음성 모핑을 수행할 수 있다. 상기 켤레 변환은 상술한 역수 변환 및/또는 곡선좌표 변환을 포함한다. That is, in the speech processing method, the form of the input data is the frequency of the sound and the magnitude of the sound in the first time coordinate system. This is also conjugated to convert the frequency and the volume of the sound in the second time coordinate system. When the voice is superimposed or synthesized in the converted second time coordinate system, and converted to the second time coordinate system, the intermediate voice is generated. Voice morphing may be performed using the intermediate voice. The conjugate conversion includes the inverse transformation and / or curve coordinate transformation described above.

보다 상세히 설명하면, 음성은 시간에 따른 1차원 신호이므로 입력 데이터가 음파(sound wave)인 f(t)로 주어지고, 이것은 다시 양수인 크기(amplitude) A(t)와 위상(phase) k(t)의 곱인 f(t)=A(t)k(t)으로 나타낼 수 있다. 크기 A(t)에 대해서만 1차원 켤레 변환을 하여 A'(t')을 구한다. 상기 1차원 켤레 변환은 상술한 역수 변환 및 곡선좌표 변환을 포함한다. 상기 1차원 켤레 변환은 상기 수학식 1 내지 수학식 3을 이용할 수 있는데, 이 경우 영상과 같이 2차원 정보인 (x,y) 픽셀에 대한 밝기 값이 들어가는 것이 아니라 시간 t에 대한 크기 값인 1차원 정보가 입력되어 변환을 수행한다. 다음으로, 위상 k(t)에 대해서는 A(t)의 켤레 변환을 수행함에 따라 결정되는 곡선좌표 변환 관계식(t와 t' 간의 관계식)을 그대로 적용시켜 k(t')을 구한다. A'(t')와 k(t')을 곱한 것을 켤레 음파라 부르고 f'(t') = A'(t')k(t')으로 나타낸다. 정리하면, 소리의 경우 소리의 위상이 아닌 크기 정보에 따라 켤레 변환을 수행하게 되며, 이는 컬러 영상의 경우 영상의 채도나 색상이 아닌 밝기 정보에 따라 켤레 변환을 하는 것과 유사한 것이다. In more detail, since voice is a one-dimensional signal over time, the input data is given as f (t), which is a sound wave, which is again a positive amplitude A (t) and phase k (t). Can be expressed as f (t) = A (t) k (t). A '(t') is obtained by performing one-dimensional conjugate conversion only on the size A (t). The one-dimensional conjugate transformation includes the inverse transformation and the curve coordinate transformation described above. Equation 1 to Equation 3 may be used for the one-dimensional conjugate conversion. In this case, one-dimensional, which is a magnitude value for time t, does not include a brightness value for the (x, y) pixel, which is two-dimensional information, as in an image. Information is entered to perform the conversion. Next, k (t ') is obtained by applying the curve coordinate transformation equation (relationship between t and t') determined as the conjugate conversion of A (t) to phase k (t). The product of A '(t') and k (t ') is called a conjugate sound wave and is expressed as f' (t ') = A' (t ') k (t'). In summary, in the case of sound, the pair conversion is performed according to the size information, not the phase of the sound, which is similar to the conversion of the pair according to brightness information, not saturation or color of the image.

본 발명에 따른 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Embodiments according to the present invention can be implemented in the form of program instructions that can be executed by various computer means can be recorded on a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts. Examples of the computer-readable recording medium include magnetic media such as a hard disk, a floppy disk, and a magnetic tape; optical media such as CD-ROM and DVD; magnetic recording media such as a floppy disk; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.As described above, the present invention has been described by way of limited embodiments and drawings, but the present invention is not limited to the above embodiments, and those skilled in the art to which the present invention pertains various modifications and variations from such descriptions. This is possible. Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined not only by the claims below but also by the equivalents of the claims.

본 발명의 영상 처리 방법 및 영상 처리 장치는 영상 합성 및 모핑 과정을 자동화함으로써 영상 처리 효율이 우수하고, 경계가 모호하고 서로 관련성이 약한 영상 간에도 자연스러운 모핑이 가능함에 따라 그 응용 분야가 매우 다양하며 앞으로의 활용이 기대된다. 마찬가지로 본 발명의 음성 처리 방법도 음성 합성 및 모핑 과정을 자동화하여 음성 간의 모핑 효율을 높일 수 있다. The image processing method and the image processing apparatus of the present invention have a wide variety of application fields as they are capable of natural morphing between images having excellent image processing efficiency, blurry boundaries, and weakly relatedness by automating the image synthesis and morphing process. It is expected to be utilized. Similarly, the speech processing method of the present invention can increase the morphing efficiency between speeches by automating the speech synthesis and morphing processes.

도 1은 종래 기술에 의한 영상 중첩 방법을 적용한 시뮬레이션으로, 아이의 얼굴에서 어른의 얼굴로 전이되는 과정을 보여준다.1 is a simulation applied to the image superimposing method according to the prior art, and shows a process of transition from a child's face to an adult's face.

도 2a는 종래 기술에 의한 메쉬 모핑 방법을 적용하여 아이의 얼굴을 시간의 흐름에 따라 변형시킨 시뮬레이션 결과를 보여준다.Figure 2a shows a simulation result of deforming the face of the child over time by applying the mesh morphing method according to the prior art.

도 2b은 종래 기술에 의한 메쉬 모핑 방법을 적용하여 어른의 얼굴을 시간이 역으로 흐름에 따라 변형시킨 시뮬레이션 결과를 보여준다.Figure 2b shows a simulation result of deforming the face of the adult over time by applying the mesh morphing method according to the prior art.

도 2c는 도 2a 및 도 2b의 결과를 중첩시켜 얻은 모핑 이미지들로서, 아이의 얼굴에서 어른의 얼굴로 전이되는 과정을 보여준다. FIG. 2C is a morphing image obtained by overlapping the results of FIGS. 2A and 2B, and illustrates a process of transition from a child's face to an adult's face.

도 4a는 본 발명의 다른 일 실시예에 따른 영상 처리 방법에 따른 모핑 과정을 보여주는 순서도이다.4A is a flowchart illustrating a morphing process according to an image processing method according to another embodiment of the present invention.

도 4b 는 본 발명의 또 다른 일 실시예에 따른 영상 처리 방법에 따른 모핑 과정을 보여주는 순서도이다.4B is a flowchart illustrating a morphing process according to an image processing method according to another embodiment of the present invention.

도 5는 본 발명의 또 다른 일 실시예에 따른 영상 처리 방법을 적용한 시뮬레이션 결과이다. 5 is a simulation result of applying an image processing method according to another exemplary embodiment of the present invention.

도 6은 본 발명의 일 실시예에 따른 영상 처리 장치를 나타낸 개념도이다.6 is a conceptual diagram illustrating an image processing apparatus according to an embodiment of the present invention.

도 7은 본 발명의 또 다른 일 실시예에 따른 영상 처리 방법을 적용한 시뮬레이션 결과이다.7 is a simulation result of applying an image processing method according to another exemplary embodiment of the present invention.

도 8은 종래 기술에 의한 영상 중첩을 적용한 시뮬레이션 결과이다. 8 is a simulation result to which the image superimposition according to the prior art is applied.

Claims

delete

Generating a third image by conjugating the first image;

Generating a fourth image by conjugating the second image;

Generating a fifth image by overlapping the third image and the fourth image;

Generating a sixth image by conjugating the fifth image; And

Morphing from the first image to the second image by using the sixth image as an intermediate image;

Image processing method comprising a.

The method of claim 2

Generating a third image by converting the first image by a conjugate,

Generating the third image by conjugate converting the first image using at least one of a reciprocal transformation (RT) and a curved coordinate transformation (CCT),

Generating a fourth image by converting the second image by a conjugate,

And generating the fourth image by conjugately transforming the second image using at least one of reciprocal transformation (RT) and curved coordinate transformation (CCT).

The method of claim 2,

Generating a sixth image by conjugating the fifth image,

And generating a sixth image by conjugately transforming the fifth image using at least one of reciprocal transformation (RT) and curved coordinate transformation (CCT).

The method of claim 3 or 4, wherein the inverse transform

And a reciprocal transformation (RT) for converting the input image to generate the output image such that the inverse of the brightness of the input image is converted to the brightness of the output image.

The method of claim 5, wherein the inverse transform

[Equation 1]

The output image is generated by converting the input image based on Equation 1, wherein I (x, y) is a brightness of a pixel at a position (x, y) in the input image, and I '(x ', y') is the brightness of the pixel at the position (x ', y') in the output image.

The method of claim 3 or 4, wherein the curve coordinate transformation

And converting the input image to generate the output image such that the brightness of the input image determines the size and position of pixels of the output image.

The method of claim 7, wherein the curve coordinate transformation

[Equation 2]

&Quot; (3) "

The output image is generated by converting the input image based on Equation 2, Equation 3, or a combination thereof, wherein (x, y) is a position of a pixel of the input image, ') Is the position of the pixel in the output image, the I (x, y) is the brightness of the pixel at the (x, y) position in the input image, the I' (x ', y') is in the output image and the brightness of the pixel at the position (x ', y').

The method of claim 2,

Generating a fifth image by overlapping the third image and the fourth image,

And generating the fifth image by performing linear interpolation so that the third image and the fourth image have the same weight.

Generating a third image by conjugating the first image;

Generating a fourth image by conjugating the second image;

Generating a fifth image by overlapping the third image and the fourth image;

Generating a sixth image by conjugating the fifth image;

Generating a seventh image by overlapping the third image and the fourth image;

Generating an eighth image by conjugating the seventh image; And

Morphing from the first image to the second image by using the sixth image and the eighth image as an intermediate image;

Image processing method comprising a.

The method of claim 10,

The fifth image is generated by performing linear interpolation so that the third image has a higher weight than the fourth image.

The seventh image is generated by performing a linear interpolation method such that the fourth image has a higher weight than the third image.

delete

A first converter configured to conjugately convert each of the plurality of input images to generate a plurality of conjugate images;

An image superimposing unit configured to overlap two or more conjugate images selected from the group of the plurality of conjugate images to generate an overlap image;

A second converter configured to generate an output image by converting the overlapped image by a conjugate; And

A morphing unit for performing the morphing from the input image by using the output image as an intermediate image

Image processing apparatus comprising a.

delete

Generating a third voice by conjugating the first voice;

Generating a fourth voice by conjugate converting the second voice;

Generating a fifth voice by overlapping the third voice and the fourth voice;

Generating a sixth voice by conjugating the fifth voice; And

Morphing from the first voice to the second voice using the sixth voice as an intermediate voice

Speech processing method comprising a.

The method of claim 17,

Generating a third voice by conjugate converting the first voice,

Generating the third speech by conjugate converting the first speech using at least one of a reciprocal transformation (RT) and a curved coordinate transformation (CCT),

Generating a fourth voice by converting the second voice by a pair;

And generating a fourth speech by conjugate conversion of the second speech using at least one of reciprocal transformation (RT) and curved coordinate transformation (CCT).

A computer-readable recording medium having recorded thereon a program for executing the method of any one of claims 2 to 4, 9 to 11, 17, and 18.