KR101347598B1 - 영상 변환 방법 및 장치 - Google Patents

Abstract

본 발명은 영상 변환 방법 및 장치에 관한 것으로서, 원본 영상 내의 물체 영역을 검출하고, 검출된 물체 영역 내의 데이터 및 일정한 방식에 의해 상기 데이터를 저해상도로 변환한 데이터에 기초하여, 해상도 변환 매트릭스를 생성하고, 상기 생성된 해상도 변환 매트릭스를 이용하여 검출된 물체 영역을 저해상도로 변환할 수 있다. 또한, 영상의 저해상도 물체 영역을 검출하고, 해상도 변환 매트릭스 및 물체 모델을 이용하여, 검출된 물체 영역을 고해상도 복원할 수 있다. 이로써 영상의 개인 정보(Privacy) 등을 보호할 수 있고, 동시에 문제 발생시 복원된 영상을 이용할 수 있게 된다.

영상 변환, 변환 매트릭스, 물체 모델

Description

영상 변환 방법 및 장치{IMAGE TRANSFORMATION METHOD AND SYSTEM FOR CONTROLLING THE SAME}

본 발명은 영상을 저해상도로 변환하고 저해상도로 변환된 영상을 고해상도로 복원하는 영상 변환 방법 및 장치에 관한 것이다.

최근 테러와 도난　사고 등이 빈번하게 발생함에 따라, 날로 보안에 대한 관심이 높아지고 있다.　 그에 따라 도심의 고층 빌딩뿐 만 아니라, 아파트 단지 등의 주요 생활 환경에 보안용 감시 카메라의 설치가 늘어나고 있다.

일례로, 강남구청에서는 도로 곳곳에 보안용 감시 카메라를 설치하였고, 실시간 영상을 인터넷으로 공개하고 있는 실정이다. 그러나, 이와 같이 보안용 감시 카메라에 촬영된 영상을 실시간으로 인터넷에 공개하는 경우에는, 보안용 감시 카메라를 통하여 촬영된 개인의 경우, 본인도 모르는 사이에 개인의 프라이버시를 침해당하게 된다.

따라서, 이에 대한 해결 방안으로서, 촬영된 영상을 자동으로 모자이크 처리하고 있지만, 이와 같은 방법은 복원이 불가능한 방식을 사용하므로, 모자이크 처리가 되어 있지 않은 원본 영상을 별도로 저장해야 했다.

본 발명은 상기와 같은 종래 기술을 개선하기 위해 안출된 것으로서, 영상 내의 특정 물체 등의 영역 정보를 저해상도화하고, 영상을 저해상도로 변환하는 중에 생성되는 해상도 변환 매트릭스 및 물체 모델을 이용하여, 저해상도로 변환된 영상을 고해상도로 복원이 가능하도록 하고자 한다.

상기의 목적을 이루고 종래기술의 문제점을 해결하기 위하여 본 발명의 일측에 따른 영상 변환 방법은, 원본 영상 내의 물체 영역을 검출하는 단계, 상기 검출된 물체 영역 내의 제1 데이터 및 일정한 방식에 의해 상기 제1 데이터를 저해상도로 변환 한 제2 데이터에 기초하여, 해상도 변환 매트릭스를 생성하는 단계 및 상기 해상도 변환 매트릭스를 이용하여 상기 검출된 물체 영역을 저해상도로 변환하는 단계를 포함한다.

본 발명의 또 다른 일측에 따르면, 상기 일정한 방식은 부표본 매트릭스(Subsampling Matrix), 블러 매트릭스(Blur Matrix), 및 워프 매트릭스(Warp Matrix) 중 적어도 어느 하나를 이용하는 방식이다.

본 발명의 또 다른 일측에 따르면, 상기 검출된 물체 영역 내의 상기 제1 데이터를 이용하여 물체 모델을 생성하는 단계를 더 포함한다.

본 발명의 또 다른 일측에 따르면, 상기 물체 모델을 생성하는 단계는 PCA(Principal Component Analysis), ICA(Independent Component Analysis), LDA(Linear Descriminant Analysis), 및 LFA(Local Feature Analysis) 중 적어도 어느 하나를 이용한다.

본 발명의 또 다른 일측에 따르면, 상기 검출된 물체 영역의 포즈를 감지하여, 상기 포즈에 따른 그룹을 생성하는 단계, 또는 상기 저해상도로 변환된 물체 영역을 상기 원본 영상에 매핑하는 단계를 더 포함한다.

본 발명의 일측에 따른 영상 변환 방법은, 영상의 저해상도 물체 영역을 검출하는 단계 - 상기 영상의 저해상도 물체 영역은, 상기 영상으로부터 검출된 물체 영역 내의 제1 데이터 및 일정한 방식에 의해 상기 제1 데이터를 저해상도로 변환한 제2 데이터에 기초하여 생성된 해상도 변환 매트릭스에 의해 생성됨 - 및 상기 해상도 변환 매트릭스를 이용하여, 상기 검출된 물체 영역을 고해상도화 하는 단계를 포함한다.

본 발명의 또 다른 일측에 따르면, 상기 검출된 물체 영역 내의 상기 제1 데이터를 이용하여 생성된 물체 모델을 수신하고, 상기 수신한 물체 모델에 기초하여 상기 검출된 물체 영역을 고해상도로 변환하는 단계를 더 포함한다.

본 발명의 또 다른 일측에 따르면, 상기 검출된 물체 영역의 포즈를 감지하여, 상기 포즈에 따른 그룹을 생성하는 단계, 또는 상기 고해상도로 변환된 물체 영역을 상기 원본 영상에 매핑하는 단계를 더 포함한다.

이하 첨부된 도면들 및 첨부된 도면들에 기재된 내용들을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거 나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.

도 1은 본 발명의 일례에 따른 영상 변환 장치의 구성도로서, 보다 상세하게는 영상의 고해상도 물체 영역을 저해상도로 변환하는 구성을 도시하고 있다.

도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 영상 변환 장치는 물체 영역 검출부(110), 포즈 분류부(120), 변환 데이터 생성부(130), 저장부(140), 해상도 변환부(150), 및 영상 매핑부(160)를 포함하여 구성된다. 또한, 상기 변환 데이터 생성부(130)는 해상도 변환 매트릭스 생성부(131) 및 물체 모델 생성부(132)를 포함하여 구성된다.

물체 영역 검출부(110)는 원본 영상 내의 물체 영역을 검출하는데, 모자이크 처리 등과 같은 저해상도(Low resolution) 처리를 통하여 프라이버시(Privacy)를 보장하기 위하여, 원본 영상에 존재하는 물체 영역을 검출한다. 이때, 원본 영상이라 함은 보안 카메라에 촬영된 영상, 방송용 장비에 의해 촬영된 영상, 또는 개인이 제작한 영상 등의 모든 다양한 영상을 말하며, 상기 영상이라 함은 동영상뿐 만 아니라 정지되어 있는 스틸 샷(Still Shot) 등의 다양한 이미지를 말한다.

물체 영역 검출부(110)는 장시간 저장된 동영상의 경우, 등장하는 모든 물체 영역을 검출하고, 검출된 물체 영역에서 양 눈 좌표를 획득하는데, 물체의 위치 및 눈 좌표는 물체 정규화를 위해서 필요로 한다. 이와 같은 물체 영역을 검출하기 위한 대표적인 방식으로는 에이다부스트(Adaboost)를 이용한 방식과 SVM(Support Vector Machine)을 이용한 방식 등이 있다.

포즈 분류부(120)는 상기 검출된 물체 영역의 포즈를 감지하여, 포즈에 따른 그룹을 생성한다. 즉, 포즈 분류부(120)는 원본 영상 내에서 검출된 물체 영역이 어느 정도의 각도를 취하고 있는지의 여부에 따른 분류를 하며, 분류에 따라 가장 적합한 물체 영역의 해상도 변환 알고리즘을 적용할 수 있다. 이와 같이 물체 영역의 각도에 따른 분류 과정을 거치지 않고, 다양한 포즈를 모두 포함한 상태에서는 그 변화(Variation) 정도가 너무 크기 때문에 복원 성능이 떨어질 가능성이 있다.

이와 같은 포즈 분류 방식(알고리즘)으로는 SVM을 이용한 포즈 예측기(SVM based Pose Estimator) 등이 있다.

해상도 변환 매트릭스 생성부(131)는 물체 영역 검출부(110)에서 검출된 물체 영역 내의 제1 데이터 및 일정한 방식에 의해 상기 제1 데이터를 저해상도로 변환한 제2 데이터에 기초하여, 해상도 변환 매트릭스를 생성한다.

이때, 상기 일정한 방식으로는 부표본 매트릭스(Subsampling Matrix), 블러 매트릭스(Blur Matrix), 또는 워프 매트릭스(Warp Matrix) 등이 사용될 수 있으며, 검출된 물체 영역의 데이터인 제1 데이터를 저해상도로 변환한 제2 데이터의 산출, 즉 일반적인 물체 영역의 저해상도로의 변환은, 다음과 같은 관찰 모델(Observation Model)을 따르게 된다.

(D: Subsampling Matrix, Bk: Blur Matrix, Mk: Warp Matrix, nk: Noise Vector, yk: Low Resolution (LR) Image, x: High Resolution (HR) Image 임.)

위와 같은 파라미터들에 의해서 고해상도 영상은 저해상도화 될 수 있다.

상기와 같은 관찰 모델(Observation Model)을 100% 디자인 할 수 있다면, 저해상도 영상을 고해상도로 만드는 것은 어렵지 않을 문제일 것이다. 하지만, 이와 같은 모델을 100% 디자인 할 수 없으므로, 일반적으로 초해상도(Super Resolution)방식은 복잡한 모델은 포기하고 서브 샘플링 매트릭스(Subsampling Matrix)만을 수식으로 사용하고 있다. 일반적인 초해상도(Super Resolution) 방식의 경우, 어떠한 경우에서도 그 모델이 통용되어야 하기 때문에 가장 단순한 모델을 선택하게 된 것이다.

그러나, 본 발명의 일 실시예에 에서는 원본 동영상의 환경이 일정하기 때문 에 단순히 서브샘플링 매트릭스(Subsampling Matrix)만을 사용하지 않아도 된다. 즉, 수학식 2에서와 같이, 추출된 물체 영역을 모두 저해상도로 만들고 이를 Y로 하고 고해상도 영상 매트릭스 X로 하였을 때, 고해상도 영상 매트릭스 X에서 Y로 가는 SVD(Singular Value Decomposition)를 이용하여 해상도 변환 매트릭스(A)를 생성해 낼 수 있다.

이렇게 생성된 해상도 변환 매트릭스(A)는 상기 모델을 통계적으로 포함하는 형태가 되기 때문에 영상의 생성시 더 좋은 성능을 나타낼 수 있다.

물체 모델 생성부(132)는 검출된 물체 영역내의 상기 제1 데이터를 이용하여 물체 모델을 생성한다. 특히, 상기 물체 모델 생성부(132)는 PCA(Principal Component Analysis), ICA(Independent Component Analysis), LDA(Linear Descriminant Analysis), 및 LFA(Local Feature Analysis) 중 적어도 어느 하나를 이용하여 물체 모델을 생성한다.

해상도 변환부(150)는 해상도 변환 매트릭스에서 생성된 해상도 변환 매트릭스를 이용하여 상기 검출된 물체 영역을 저해상도로 변환한다.

영상 매핑부(160)는 저해상도로 변환된 물체 영역을 상기 원본 영상에 매핑한다.

따라서, 영상 내의 물체 등의 정보를 저해상도화하여 배포 또는 방송하도록 할 수 있다. 그러므로 상기 영상 내의 물체의 영역에 해당하는 부분이 얼굴 영역인 경우 개인의 초상권이 노출되는 것을 방지할 수 있다.

도 2는 본 발명의 또 다른 일례에 따른 영상 변환 장치의 구성도로서, 보다 상세하게는 영상의 저해상도 물체 영역을 고해상도로 변환하는 구성을 도시하고 있다.

도 2에 도시된 바와 같이 본 발명의 일실시예에 따른 영상 변환 장치는 물체 영역 검출부(210), 포즈 분류부(220), 해상도 변환부(230), 저장부(240), 및 영상 매핑부(250)를 포함하여 구성된다.

물체 영역 검출부(210)는 영상의 저해상도 물체 영역을 검출하고, 포즈 분류부(220)는 상기 검출된 물체 영역의 포즈를 감지하여, 포즈에 따른 그룹을 생성한다.

저장부(240)는 해상도 변환 매트릭스를 수신하여 저장하며, 또한 원본 영상의 검출된 물체 영역 내의 상기 제1 데이터를 이용하여 생성된 물체 모델을 수신하여 저장한다.

해상도 변환부(230)는 상기 저장부(240)에 저장되어 있는 해상도 변환 매트릭스 및 물체 모델에 기초하여, 상기 검출된 물체 영역을 고해상도로 변환한다.

영상 매핑부(250)는 상기 고해상도로 변환된 물체 영역을 상기 원본 영상에 매핑한다.

따라서, 영상을 저해상도로 변환 중에 생성되는 해상도 변환 매트릭스 및 물체 모델을 이용하여, 저해상도로 변환된 영상을 고해상도로 복원하는 것이 가능하므로, 저해상도로 변환된 영상의 원본 영상을 따로 저장하여 발생하는 메모리 낭비를 최소화하고 보다 효율적으로 영상의 해상도 변환 및 관리가 가능하다.

도 3은 본 발명의 일례에 따른 영상 변환 방법에 관한 도면으로서, 특히 물 체 영역으로서 사람의 얼굴 영역을 영상 변환하는 방법의 일례를 도시한 도면이다.

원본 영상(310) 내의 물체 영역(320)을 검출하고, 검출된 물체 영역 데이터 및 일정한 방식에 의해 상기 물체 영역 데이터를 저해상도로 변환한 데이터에 기초하여, 해상도 변환 매트릭스를 생성하며, 생성된 해상도 변환 매트릭스를 이용하여 저해상도(Low resolution) 처리를 실행하여 상기 물체 영역(320)을 저해상도로 변환(330)한다. 이와 같이 저해상도로 변환된 물체 영역을 상기 원본 영상에 매핑한다.

또한, 저해상도로 변환된 물체 영역을 복원하기 위해서는, 영상(340)의 저해상도 물체 영역을 검출하고(350), 해상도 변환 매트릭스 및 물체 모델을 기초하여, 상기 검출된 물체 영역을 고해상도로 변환(360)하며, 상기 고해상도로 변환된 물체 영역을 상기 원본 영상에 매핑한다.

도 4는 본 발명의 일례에 따른 물체 영역의 포즈에 따른 그룹을 생성하는 방법을 도시한 도면으로서, 특히 상기 물체 영역으로서 사람의 얼굴 영역을 적용한 일례를 도시한 도면이다.

도 4에 도시된 바와 같이, 검출된 물체 영역의 포즈를 감지하여 포즈에 따른 그룹을 생성할 수 있다. 즉, 원본 영상(410) 내에서 검출된 물체 영역이 어느 정도의 각도를 취하고 있는지의 여부에 따라 그룹(420, 430)으로 분류를 하고, 분류에 따라 가장 적합한 물체 영역의 해상도 변환 알고리즘을 적용할 수 있다.

이와 같이, 각 포즈에 따른 물체를 서로 정렬하여 총 N개의 물체 그룹으로 나누어서 물체 모델을 형성하면 그 분산 값이 적어지므로, 물체 복원시 성능을 보 다 향상시킬 수 있다.

상기와 같은 포즈 분류 방식(알고리즘)으로는 SVM을 이용한 포즈 예측기(SVM based Pose Estimator) 등이 사용될 수 있다.

도 5는 본 발명의 일례에 따른 영상 변환 방법에 의하여 생성된 물체 모델을 도시한 도면으로서, 특히 사람의 얼굴 모델이 영상 변환 방법에 의하여 생성된 일례를 도시한 도면이다.

본 발명의 실시예에서 대표적인 물체 모델 방식인 PCA(Principal Component Analysis)를 사용하여 도 5에 도시된 바와 같은 물체 모델을 생성하는 방법을 설명하면 다음과 같다.

고해상도 물체 집합을 X라고 하고 저해상도 물체 집합을 Y라고 했을 경우 수학식 3과 같이 나타낼 수 있다.

수학식 4에서와 같이, X의 값이 크기 때문에 SVD(Singular Value Decomposition)를 이용하여 물체 모델을 생성할 수 있다.

저해상도로 변환된 동영상에서 사람의 신원(Identity), 즉 물체를 확인하고자 하는 경우에는, 위에 생성된 변환 매트릭스 및 물체 모델 등과 같은 프라이버시 키(Privacy Key)를 이용하여 원래 물체 영상으로 복원이 가능하다.

이와 같은 과정은 일반적으로 상기 수학식 5에서와 같은 초해상도(Super Resolution)방식을 취하고 있다.

본 방식에서는 물체 모델 값(U)과 변환 매트릭스 값(A)을 제공받음으로써, 다음의 수학식 6에 의한 복원이 가능하게 된다.

즉, 상기 수학식 6에 의하여 고해상도 PCA 계수(High Resolution PCA Coefficient)만 유추해 낼 수 있다면 제공받은 물체 모델 값(U)을 이용해서 원래 물체를 복원해낼 수 있다.

배포용 동영상의 저해상도 영상을 이용해서 고해상도 PCA 계수를 유추하는 과정은, 초해상도(Super Resolution) 수식을 통해서 다음의 수학식 7과 같이 만들어 낼 수 있다.

상기와 같은 수학식 7의 형태를 편미분하여, 아래의 수학식 8과 같은 최적해를 구할 수 있다.

이렇게 추정된 값은 다음과 같은 복원식인 수학식 9에 의해서 원래 물체로 복원되게 된다.

도 6은 본 발명의 일례에 따른 원본 영상(640), 변환 영상(610), 복원 영상(620, 630), 및 일반 물체 모델에 따른 복원 영상(650)을 도시한 도면으로서, 특히 일반 물체 모델로서 사람의 얼굴 모델을 적용한 실시예를 도시한 도면이다.

원본 영상(640)을 저해상도로 변환(610)하고, 변환된 저해상도 영상(610)을 복원시에 해상도 변환 매트릭스(A) 및 물체 모델(U)을 이용하여 복원하는 경우, 원본 영상(640)과 유사한 복원 영상(620, 630)을 얻을 수 있다. 다만, 복원 영상 간의 복원 해상도의 차이는 계수(coefficient)의 차이에 의해 발생한다. 즉, 제1 복원 영상(620)은 계수가 200으로 적용된 예이며, 제2 복원 영상(630)은 계수가 500으로 적용된 예이다.

한편, 물체 영상의 차이(Variation)를 제대로 포함하지 않은 일반적일 PCA 모델을 사용할 경우에는, 평균 물체에 유사한 물체의 영상(650)으로 복원된다. 따라서, 물체 모델을 제공받지 않을 경우에는 영상에서 원본 영상을 복원하는 것은 어렵다.

도 7은 본 발명의 일례에 따른 영상 변환 방법을 도시한 흐름도이다.

원본 영상 내의 물체 영역을 검출하고(S710), 상기 검출된 물체 영역의 포즈를 감지하여 상기 포즈에 따른 그룹을 생성한다(S720).

이때, 원본 영상이라 함은 보안 카메라에 촬영된 영상, 방송용 장비에 의해 촬영된 영상, 또는 개인이 제작한 영상 등의 모든 다양한 영상을 말하며, 상기 영상이라 함은 동영상뿐 만 아니라 정지되어 있는 스틸 샷(Still Shot) 등의 다양한 이미지를 말한다.

상기 포즈에 따른 그룹 생성은, 원본 영상 내에서 검출된 물체 영역이 어느 정도의 각도를 취하고 있는지의 여부에 따른 분류를 하며, 분류에 따라 가장 적합한 물체 영역의 해상도 변환 알고리즘을 적용할 수 있다. 이와 같이 물체 영역의 각도에 따른 분류 과정을 거치지 않고, 다양한 포즈를 모두 포함한 상태에서는 그 변화(Variation) 정도가 너무 크기 때문에 복원 성능이 떨어질 가능성이 있다.

이와 같은 포즈 분류 방식(알고리즘)으로는 SVM을 이용한 포즈 예측기(SVM based Pose Estimator) 등이 있다.

이후, 상기 검출된 물체 영역 내의 데이터 및 일정한 방식에 의해 상기 데이터를 저해상도로 변환 한 데이터에 기초하여, 해상도 변환 매트릭스를 생성한다(S730). 이때, 상기 일정한 방식으로는 부표본 매트릭스(Subsampling Matrix), 블러 매트릭스(Blur Matrix), 또는 워프 매트릭스(Warp Matrix) 등이 사용될 수 있다.

이와 같이 검출된 물체 영역 내의 상기 제1 데이터를 이용하여 물체 모델을 생성하게 되는데(S740), 이때 PCA(Principal Component Analysis), ICA(Independent Component Analysis), LDA(Linear Descriminant Analysis), 또는 LFA(Local Feature Analysis) 등을 사용하여 물체 모델을 생성할 수 있다.

이후, 해상도 변환 매트릭스를 이용하여 상기 검출된 물체 영역을 저해상도로 변환하고(S750), 상기 저해상도로 변환된 물체 영역을 상기 원본 영상에 매핑한다(S760).

이와 같은 물체 영역 영상 변환 방법을 사람의 얼굴 영역에 적용하는 경우, 개인 정보(Privacy)를 보호할 수 있다.

도 8은 본 발명의 또 다른 일례에 따른 영상 변환 방법을 도시한 흐름도이다.

영상의 저해상도 물체 영역을 검출하고(S810), 상기 검출된 물체 영역의 포즈를 감지하여, 상기 포즈에 따른 그룹을 생성한다(S820).

이때, 상기 포즈에 따른 그룹 생성은, 원본 영상 내에서 검출된 물체 영역이 어느 정도의 각도를 취하고 있는지의 여부에 따른 분류를 하며, 분류에 따라 가장 적합한 물체 영역의 해상도 변환 알고리즘을 적용할 수 있으며, 이와 같은 포즈 분류 방식(알고리즘)으로는 SVM을 이용한 포즈 예측기(SVM based Pose Estimator) 등이 사용될 수 있다.

이후, 해상도 변환 매트릭스, 및 검출된 물체 영역을 이용하여 생성된 물체 모델을 이용하여, 검출된 물체 영역을 고해상도로 변환시키는데(S830), 이때 상기 물체 모델은, PCA(Principal Component Analysis), ICA(Independent Component Analysis), LDA(Linear Descriminant Analysis), 또는 LFA(Local Feature Analysis)에 의해서 생성된다.

이와 같이 고해상도로 변환된 물체 영역을 상기 원본 영상에 매핑시켜, 원본 영상을 복원한다.

또한 본 발명의 실시예들은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함 한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들 이거나 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 본 발명에서 설명된 이동 단말 또는 기지국의 동작의 전부 또는 일부가 컴퓨터 프로그램으로 구현된 경우, 상기 컴퓨터 프로그램을 저장한 컴퓨터 판독 가능 기록 매체도 본 발명에 포함된다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

도 1은 본 발명의 일례에 따른 영상 변환 장치의 구성도이다.

도 2는 본 발명의 또 다른 일례에 따른 영상 변환 장치의 구성도이다.

도 3은 본 발명의 일례에 따른 영상 변환 방법을 도시한 도면이다.

도 4는 본 발명의 일례에 따른 물체 영역의 포즈에 따른 그룹을 생성하는 방법을 도시한 도면이다.

도 5는 본 발명의 일례에 따른 영상 변환 방법에 의하여 생성된 물체 모델을 도시한 도면이다.

도 6은 본 발명의 일례에 따른 원본 영상, 변환 영상, 복원 영상, 및 일반 물체 모델에 따른 복원 영상을 도시한 도면이다.

도 7은 본 발명의 일례에 따른 영상 변환 방법을 도시한 흐름도이다.

도 8은 본 발명의 또 다른 일례에 따른 영상 변환 방법을 도시한 흐름도이다.

<도면의 주요 부분에 대한 부호의 설명>

110: 물체 영역 검출부 120: 포즈 분류부

130: 변환 데이터 생성부 131: 해상도 변환 매트릭스 생성부

132: 물체 모델 생성부 140: 저장부

150: 해상도 변환부 160: 영상 매핑부

Claims (23)

1. 원본 영상 내의 물체 영역을 검출하는 단계;

   상기 검출된 물체 영역 내의 제1 데이터 및 일정한 방식에 의해 상기 제1 데이터를 저해상도로 변환 한 제2 데이터에 기초하여, 해상도 변환 매트릭스를 생성하는 단계; 및

   상기 해상도 변환 매트릭스를 이용하여 상기 검출된 물체 영역을 저해상도로 변환하는 단계

   를 포함하는 것을 특징으로 하는 영상 변환 방법.
2. 제1항에 있어서,

   상기 일정한 방식은,

   부표본 매트릭스(Subsampling Matrix), 블러 매트릭스(Blur Matrix), 및 워프 매트릭스(Warp Matrix) 중 적어도 어느 하나를 이용하는 방식인 것을 특징으로 하는 영상 변환 방법.
3. 제1항에 있어서,

   상기 검출된 물체 영역 내의 상기 제1 데이터를 이용하여 물체 모델을 생성하는 단계

   를 더 포함하는 것을 특징으로 하는 영상 변환 방법.
4. 제3항에 있어서,

   상기 물체 모델을 생성하는 단계는,

   PCA(Principal Component Analysis), ICA(Independent Component Analysis), LDA(Linear Descriminant Analysis), 및 LFA(Local Feature Analysis) 중 적어도 어느 하나를 이용하는 것을 특징으로 하는 영상 변환 방법.
5. 제1항에 있어서,

   상기 검출된 물체 영역의 포즈를 감지하여, 상기 포즈에 따른 그룹을 생성하는 단계; 또는

   상기 저해상도로 변환된 물체 영역을 상기 원본 영상에 매핑하는 단계

   중 적어도 어느 하나의 단계를 더 포함하는 것을 특징으로 하는 영상 변환 방법.
6. 제1항에 있어서,

   상기 물체 영역은 얼굴 영역인 것을 특징으로 하는 영상 변환 방법.
7. 원본 영상의 저해상도 물체 영역을 검출하는 단계 - 상기 원본 영상의 저해상도 물체 영역은, 상기 원본 영상으로부터 검출된 물체 영역 내의 제1 데이터 및 일정한 방식에 의해 상기 제1 데이터를 저해상도로 변환한 제2 데이터에 기초하여 생성된 해상도 변환 매트릭스에 의해 생성됨 -; 및

   상기 해상도 변환 매트릭스를 이용하여, 상기 검출된 물체 영역을 고해상도화 하는 단계

   를 포함하는 것을 특징으로 하는 영상 변환 방법.
8. 제7항에 있어서,

   상기 일정한 방식은,

   부표본 매트릭스(Subsampling Matrix), 블러 매트릭스(Blur Matrix), 및 워프 매트릭스(Warp Matrix) 중 적어도 어느 하나를 이용하는 방식인 것을 특징으로 하는 영상 변환 방법.
9. 제7항에 있어서,

   상기 검출된 물체 영역 내의 상기 제1 데이터를 이용하여 생성된 물체 모델을 수신하고, 상기 수신한 물체 모델에 기초하여 상기 검출된 물체 영역을 고해상도로 변환하는 단계

   를 더 포함하는 것을 특징으로 하는 영상 변환 방법.
10. 제9항에 있어서,

    상기 물체 모델은,

    PCA(Principal Component Analysis), ICA(Independent Component Analysis), LDA(Linear Descriminant Analysis), 및 LFA(Local Feature Analysis) 중 적어도 어느 하나에 의해 생성되는 것을 특징으로 하는 영상 변환 방법.
11. 제7항에 있어서,

    상기 검출된 물체 영역의 포즈를 감지하여, 상기 포즈에 따른 그룹을 생성하는 단계; 또는

    상기 고해상도로 변환된 물체 영역을 상기 원본 영상에 매핑하는 단계

    중 적어도 어느 하나의 단계를 더 포함하는 것을 특징으로 하는 영상 변환 방법.
12. 제7항에 있어서,

    상기 물체 영역은 얼굴 영역인 것을 특징으로 하는 영상 변환 방법.
13. 제1항 내지 제12항 중 어느 한 항의 방법을 실행하는 프로그램을 기록한 컴퓨터 판독가능 기록 매체.
14. 원본 영상 내의 물체 영역을 검출하는 물체 영역 검출부;

    상기 물체 영역 검출부에서 검출된 물체 영역 내의 제1 데이터 및 일정한 방식에 의해 상기 제1 데이터를 저해상도로 변환한 제2 데이터에 기초하여, 해상도 변환 매트릭스를 생성하는 해상도 변환 매트릭스 생성부; 및

    상기 해상도 변환 매트릭스에서 생성된 상기 해상도 변환 매트릭스를 이용하여 상기 검출된 물체 영역을 저해상도로 변환하는 해상도 변환부

    를 포함하는 것을 특징으로 하는 영상 변환 장치.
15. 제14항에 있어서,

    상기 일정한 방식은,

    부표본 매트릭스(Subsampling Matrix), 블러 매트릭스(Blur Matrix), 및 워프 매트릭스(Warp Matrix) 중 적어도 어느 하나를 이용하는 방식인 것을 특징으로 하는 영상 변환 장치.
16. 제14항에 있어서,

    상기 검출된 물체 영역내의 상기 제1 데이터를 이용하여 물체 모델을 생성하는 물체 모델 생성부

    를 더 포함하는 것을 특징으로 하는 영상 변환 장치.
17. 제16항에 있어서,

    상기 물체 모델 생성부는,

    PCA(Principal Component Analysis), ICA(Independent Component Analysis), LDA(Linear Descriminant Analysis), 및 LFA(Local Feature Analysis) 중 적어도 어느 하나를 이용하여 물체 모델을 생성하는 것을 특징으로 하는 영상 변환 장치.
18. 제14항에 있어서,

    상기 검출된 물체 영역의 포즈를 감지하여, 상기 포즈에 따른 그룹을 생성하는 포즈 분류부

    를 더 포함하는 것을 특징으로 하는 영상 변환 장치.
19. 제14항에 있어서,

    상기 저해상도로 변환된 물체 영역을 상기 원본 영상에 매핑하는 영상 매핑부

    를 더 포함하는 것을 특징으로 하는 영상 변환 장치.
20. 제14항에 있어서,

    상기 물체 영역 검출부는,

    영상의 저해상도 물체 영역을 검출하고,

    상기 해상도 변환부는,

    상기 해상도 변환 매트릭스를 이용하여, 상기 검출된 물체 영역을 고해상도로 변환하는 것을 특징으로 하는 영상 변환 장치.
21. 제14항에 있어서,

    상기 해상도 변환 매트릭스, 및 원본 영상의 검출된 물체 영역 내의 상기 제 1 데이터를 이용하여 생성된 물체 모델을 수신하여 저장하는 저장부

    를 더 포함하고,

    상기 해상도 변환부는,

    상기 저장부로부터 물체 모델을 수신하고, 상기 수신한 물체 모델에 기초하여 상기 검출된 물체 영역을 고해상도로 변환하는 것을 특징으로 하는 영상 변환 장치.
22. 제21항에 있어서,

    상기 고해상도로 변환된 물체 영역을 상기 원본 영상에 매핑하는 영상 매핑부를 더 포함하는 것을 특징으로 하는 영상 변환 장치.
23. 제14항에 있어서,

    상기 물체 영역은 얼굴 영역인 것을 특징으로 하는 영상 변환 장치.

Images