KR20040065753A - Ｒｏｉ 추출 장치 및 그 방법 - Google Patents

Abstract

본 발명에 따른 ROI 추출 장치는 최초 얼굴 영역으로 예측된 1차 관심 영역을 추출하는 1차 관심 영역 추출부와, 선택된 Cb, Cr의 DCT계수를 이용한 히스토그램 테이블을 구축하는 테이블 구축부와, 상기 구축된 히스토그램 테이블과 제 1차 관심 영역을 비교하는 비교부와, 상기 히스토그램 테이블을 이용하여 2차 관심 영역인 얼굴 영역을 추출하는 2차 관심 영역 추출부와, 상기 얼굴 영역을 포함한 관심 영역에 대한 선택적 레이트 제어를 하는 레이트 제어부를 포함하는 것을 특징으로 한다.

Description

ＲＯＩ 추출 장치 및 그 방법{APPARATUS OF DETECTING REGION OF INTERESTED AND METHOD THEREOF}

본 발명은 양방향 화상 단말기에서 ROI(얼굴 영역)추출 장치 및 방법에 관한것으로, 특히, 예측 영역에 대해서만 관심 영역 추출이 이루어지도록 하고 관심 영역 추출에 Cb, Cr의 DCT 계수를 사용함으로써, 계산량을 현저히 감소시킬 수 있고조명 변화에 덜 민감한 ROI(얼굴 영역) 추출 장치 및 방법에 관한 것이다.

차세대 화상 단말기를 이용한 화상 통신에서 가장 중요하게 고려되어야 하는 것은 최소의 에러만을 포함한 자연스럽고 연속적인 고화질의 사용자 영상을 상대방에게 전송하여 보여주는 것이다.

그러나, 데이터 전송상의 여러 가지 문제로 인하여 현재 전송 데이터의 비트 레이트(bit rate)는 최대 128Kbps 를 넘을 수 없는 것이 현실이다.

이와 같은 한정된 전송 자원하에서는 전송할 수 있는 데이터의 절대량이 적기 때문에 고화질의 영상을 안정적으로 보여준다는 것은 어려운 일이다.

이에 이러한 시스템적인 문제를 최대한 이용하기 위하여 전송 데이터의 양을 줄이기 위한 영상 압축이 계속적으로 연구되어 왔으며 더불어 전송 데이터의 비트 레이트를 제어 하기위한 레이트 제어(rate control)에 관한 여러 가지 방법이 연구되고 적용되어 왔다.

또한, 기존의 연구자들이 끊임없이 영상내 관심 영역인 얼굴 영역을 추출하여 얼굴 인식이나 화질 향상을 위한 레이트 제어에 적용하기 위하여 노력해왔다.

그러나, 조명 변화에 따른 잘못된 추출의 위험이 있으며, 관심 영역 추출 과정이 전처리 과정으로 영상 압축 코딩과는 별개의 과정으로 이루어지기 때문에 막대한 계산량으로 인하여 실제 제품화는 어려운 실정이었다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로, 확장 칼만 필터(extended kalman filter)를 이용한 1단계 ROI를 설정하고 설정된 영역 내에서만 사람의 얼굴 영역(2단계 ROI)을 추출함으로써 실제 제품화를 위한 계산량의 획기적인 감소가 있는 ROI 추출 장치 및 방법을 제공하는 것을 목적으로 한다.

또한, DCT 계수의 선택적 사용을 통해 기존의 ROI추출법이 가지고 있는 조명변화에 따른 잘못된 추출을 최소화 하는 ROI 추출 장치 및 방법을 제공하는 것을 목적으로 한다.

도 1은 본 발명에 따른 ROI 추출 장치(100)를 나타낸 블럭도이다.

도 2는 본 발명에 따른 1차 관심 영역 추출 방법의 순서도이다.

도 3은 본 발명에 따른 최종 얼굴 영역 추출 방법의 순서도이다.

<도면의 주요 부호에 대한 설명.

110: 1차 관심 영역 추출부

120: 테이블 구축부

130: 비교부

140: 2차 관심 영역 추출부

150: 레이트 제어부

상기와 같은 목적을 달성하기 위하여 본 발명에 따른 ROI 추출 장치는 최초 얼굴 영역으로 예측된 1차 관심 영역을 추출하는 1차 관심 영역 추출부와, 선택된 Cb, Cr의 DCT계수를 이용한 히스토그램 테이블을 구축하는 테이블 구축부와, 상기 구축된 히스토그램 테이블과 제 1차 관심 영역을 비교하는 비교부와, 상기 히스토그램 테이블을 이용하여 2차 관심 영역인 얼굴 영역을 추출하는 2차 관심 영역 추출부와, 상기 얼굴 영역을 포함한 관심 영역에 대한 선택적 레이트 제어를 하는 레이트 제어부를 포함하는 것을 특징으로 한다.

또한, 상기 1차 관심 영역 추출은 칼만 필터를 이용하는 것을 특징으로 한다.

본 발명에 따른 ROI 추출 방법은 확장 칼만 필터를 이용하여 1차 관심 영역을 추출하는 단계와, 상기 설정된 1차 관심 영역내에서만 2차 관심 영역인 사람의 얼굴 영역을 추출하는 단계를 포함하는 것을 특징으로 한다.

또한, 상기 1차 관심 영역을 추출하는 단계는, 상기 최초 관심 영역의 추출인지 여부를 판단하는 단계와, 상기 최초 관심 영역일 경우 최초 예측 지점을 설정하고 최초 관심 영역을 설정하는 단계와, 상기 최초 관심 영역이 아니거나 상기 최초 관심 영역을 설정한 경우 최종 얼굴 영역을 검출하는 단계와, 상기 최종 얼굴 영역 검출 후 칼만 필터에 의한 움직임을 예측하는 단계와, 상기 예측된 영역에 대해 상기 1차 관심 영역으로 설정하는 단계를 포함하는 것을 특징으로 한다.

또한, 상기 2차 관심 영역을 추출하는 단계는, 영상 압축 코딩하는 단계와, 상기 1차 관심 영역인지 여부를 판단하는 단계와, 상기 1차 관심 영역인 경우 Cb, Cr 계수를 선택하고 상기 1차 관심 영역을 히스토그램 테이블과 비교하는 단계와, 상기 1차 관심 영역인지 판단 후 얼굴 영역인지 여부를 판단하는 단계와, 상기 얼굴 영역인 경우 선택적 레이트 제어를 수행하는 단계와, 상기 선택적 레이트 제어후 얼굴 영역 검출이 종료되었는지 여부를 판단하는 단계와, 상기 얼굴 영역 검출이 종료되었을 경우 최종 관심 영역의 중심 좌표를 계산하고 그렇지 않을 경우 Cb, Cr 계수를 선택하는 단계로 되돌아가는 단계와, 상기 1차 관심 영역이 아니거나 상기 얼굴 영역이 아닌 경우에는 레이트 제어를 수행하는 단계를 포함하는 것을 특징으로 한다.

또한, Cb, Cr의 DCT 계수의 선택적 사용을 통해 상기 얼굴 영역 추출이 이루어지는 것을 특징으로 한다.

또한, 상기 DCT계수는 추출하고자 하는 ROI의 표본 Cb, Cr 값으로부터 미리 학습되어 상기 DCT 계수의 히스토그램 테이블로 구성되어지는 것을 특징으로 한다.

이하에서 첨부된 도면을 참조하여 본 발명의 바람직한 실시예가 상세히 설명된다.

도 1은 본 발명에 따른 ROI 추출 장치(100)를 나타낸 블럭도이다.

도 1에 도시된 바와 같이, 본 발명에 따른 ROI 추출 장치(100)는, 칼만 필터(kalman filter)를 이용하여 최초 얼굴 영역으로 예측된 1차 관심 영역을 추출하는 1차 관심 영역 추출부(110)와, 선택된 Cb, Cr의 DCT계수를 이용한 히스토그램 테이블(histogram table)을 구축하는 테이블 구축부(120)와, 상기 구축된 히스토그램 테이블과 제 1차 관심 영역을 비교하는 비교부(130)와, 상기 히스토그램 테이블을 이용한 2차 관심 영역인 얼굴 영역을 추출하는 2차 관심 영역 추출부(140)와, 상기 얼굴 영역을 포함한 관심 영역에 대한 선택적 레이트 제어를 하는 레이트 제어부(150)를 포함하여 구성된다.

여기서, 칼만 필터는 시스템의 다음 상태를 예측할 수 있도록 하는 상태변환 방정식과 공분산을 결정하는 파라미터로 구성 되어 있고 그와 같은 계산은 실시간 시스템에 적용 할 수 있도록 최적화 되어있다.

상기 칼만 필터는 사람의 움직임 측정이나 차량의 움직임 측정을 위하여 영상처리 분야에서도 적용되어 왔으며, 본 발명에서도 그와 같은 성질을 이용하여 무선영상 단말기 내에서의 사람의 얼굴의 움직임을 예측하기 위한 도구로서 칼만 필터를 이용한다.

또한, 단말기 내의 얼굴의 움직임의 괘적은 선형에 가깝기 때문에 더욱 신뢰할 수 있는 결과를 얻을 수 있다.

이하에서, 본 발명에 따른 ROI 추출 방법을 설명한다.

본 발명에 따른 ROI 추출 방법은 확장 칼만 필터(extended kalman filter)를이용하여 1차 관심 영역(ROI)을 추출하는 단계와, 상기 설정된 1차 관심 영역내에서만 사람의 얼굴 영역(2차 ROI)을 추출하는 단계를 포함하는 것을 특징으로 한다.

즉, 우선 무선 화상 단말기내에서의 얼굴 영역을 추정하기 위하여 칼만 필터를 이용하여 대략적인 얼굴 영역을 포함한 1차 관심영역을 검출한 후 검출된 영역 내에서만 최종 얼굴을 포함한 블록들을 추출 할 수 있도록 하였다.

또한, 칼만 필터에 의해서 추정된 영역 내에서의 얼굴 영역을 포함한 블록의 추출을 위한 2차 관심 영역(얼굴 영역)추출 방법은 컬러 정보를 이용하였는데, 실 영상의 입력 컬러정보가 아닌 영상 압축 코딩시 사용되어지는 Cb, Cr의 컬러정보를 사용하였다.

여기서, 2차 관심 영역(ROI) 추출을 위하여 사용된 선택 DCT계수는 추출하고자 하는 ROI의 표본 Cb, Cr 값으로부터 미리 학습되어 DCT 계수의 히스토그램 테이블(histogram table)로 구성되어지며 실시간 계산시 적용되어진다.

또한, Cb, Cr의 컬러 정보는 실제 텍스쳐 압축을 위한 DCT과정을 거쳐 나온 DCT 계수로서 가장 많은 정보를 포함하고 있는 하나의 DC계수와 9개의 AC계수를 이용하였으며 히스토그램 테이블 비교에 의한 영역 검출에 적용되었다.

이와 같이, 하나의 블록을 검출하기 위하여 9개의 DCT계수만을 사용하므로 기존의 RGB, YUV, HIS컬러 모델을 이용한 각각의 픽셀비교 혹은 블록 매칭 등을 이용하는 방법보다 계산량의 감소와 조명 변화에 강인한 성질을 가진다.

도 2는 본 발명에 따른 1차 관심 영역 추출 방법의 순서도이다.

도 2에 도시된 바와 같이, 1차 관심 영역인 최초 얼굴 영역 예측은 다음과같은 과정으로 이루어진다.

먼저, 최초 관심 영역 추출인지 여부를 판단한다(S201).

최초 관심 영역의 추출인 경우에는, 칼만 필터의 최초 예측 지점은 카메라의 센터로 정하고(S202), 정해진 좌표를 중심으로 좌우 2개의 매크로 블록과 상하 3개의 매크로 블록을 최초 관심 영역으로 정한다(S203).

최초 관심 영역의 추출이 아니거나, 최초 관심 영역을 설정한 경우에는 정해진 영역 내에서 2차 관심 영역인 얼굴 영역을 포함하는 블록들을 검출한다(S204).

이후 검출된 블록 영역의 중심점이 다시 다음 움직임 상태 예측을 위한 측정값으로 입력되고(S205), 다음 상태의 최초 관심 영역은 이전 상태에서 실제 얼굴 영역으로 검출된 영역과 얼굴영역의 상하좌우 비에 대한 웨이트 값을 곱한 영역으로 설정한다(S206).

전술한 바와 같이, 1차 관심 영역은 위의 과정을 반복하여 검출하게 된다.

특히, 위의 방법과 같이 미리 얼굴영역으로 예측된 1차 관심영역 내에서만 2차 관심영역 추출 계산을 수행하기 때문에 전체 영상 내 스캔을 이용한 기존의 방법보다 계산량의 감소를 가져올 수 있다.

도 3은 본 발명에 따른 최종 얼굴 영역 추출 방법의 순서도이다.

도 3에 도시된 바와 같이, 최종 얼굴 영역 추출은 다음과 같은 순서로 이루어진다.

먼저, 이동 통신 영상 단말기의 영상을 압축 코딩한다(S301).

압축 코딩된 영상이 1차 관심 영역인지 여부를 판단하고(S302), 1차 관심 영역이면 Cb, Cr 계수를 선택하고(S303), 히스토그램 테이블과 상기 1차 관심 영역을 비교한다(S304).

여기서, 얼굴 영역검출의 판단 기준인 Cb, Cr 히스토그램 테이블은 미리 오프라인(off-line)에서 계산되어져 ROM 테이블 형식으로 시스템에 탑재되게 된다.

상기 히스토그램 테이블과의 비교(S304) 이후에, 추출된 관심 영역이 얼굴 영역인지 여부를 판단한다(S305).

여기서, 얼굴영역으로 판단되어진 블록은 고화질의 데이터를 보장하기 위하여 비트 레이트를 주변 블록과는 차별화하여 전송하게 된다(S306).

이후, 얼굴 영역의 검출이 끝났는가 여부를 판단한다(S307).

여기서, 최종적으로 얼굴영역 검출이 끝났다면 검출된 얼굴 영역의 중심 좌표를 다음 상태 예측을 위한 칼만 필터의 측정값으로 입력하게 되고 다음상태의 얼굴의 움직임 예측 좌표를 중심으로 새로운 1차 관심영역을 설정한다(S308).

그러나, 얼굴 영역 검출이 끝나지 않았으면, Cb, Cr 계수를 선택하는 단계(S303)으로 되돌아가 다시 얼굴 영역 검출이 종료될때까지 전(S303 내지 S306) 단계를 반복한다.

또한, 1차 관심 영역이 아니거나 얼굴 영역이 아니라고 판단되면 다시 레이트 제어를 하게된다(S309).

위의 과정이 압축 코딩이 종료될 때까지 반복적으로 이루어 진다.

이하에서, Cb, Cr 히스토그램 테이블을 구성하는 방법을 설명하면 다음과 같다.

먼저, 얼굴 영역의 다양한 샘플로부터 각각의 하나의 DC 계수와 9개의 AC 계수값을 인덱스로 가지는 히스토그램을 구성한다. 각 인덱스에 따른 프리퀸시가 히스토그램의 값이 되는 것이다. 각 인덱스에 따른 프리퀸시가 일정 임계값 이하 값을 가진다면 얼굴 영역이 아니라고 판단하여 인덱스를 제거한다.

최종적으로 구해진 히스토그램 테이블은 실시간 계산시 입력블록의 DC계수와 AC계수로부터 테이블 룩업을 통하여 각 인덱스에 따른 히스토그램 값이 구해진다.

따라서, 하나의 블록에 대한 히스토그램 값은 1개의 DC값에 대한 것과 9개의 AC값에 대한 값을 가지게 되고 각 값의 총합이 임계 값 보다 크다면 얼굴영역으로 판단한다.

판단식은 다음과 같다.

FR = W1*Hdc + Hac1 + Hac2 + . . . . . + Hac9

여기서, FR은 각 히스토그램 값의 총합이고, Hdc는 DC계수에 대한 히스토그램 값이고, Hac는 AC계수에 대한 히스토그램 값이다.

또한, DC 계수가 가장 많은 정보를 포함하고 있으므로 웨이트 값을 주어 신뢰도를 높였다.

이와 같이, 본 발명의 얼굴 영역을 포함한 블록 검출을 위하여 사용되어진 방법은 DCT 계수를 이용하는 방법이며, 압축 코딩과 동시에 얼굴영역을 검출하여 선택적으로 레이트 제어(rate control)를 할 수 있다는 점에서 계산상의 많은 이득을 볼 수 있다.

이상에서 살펴본 바와 같이, 본 발명은 화상 통화 시 관심 영역인 얼굴 영역만을 선택적으로 레이트 제어(rate control) 할 수 있게 한다.

또한, 본 발명에서 사용된 2단계에 의한 관심 영역 추출 방법은 예측영역에 대해서만 계산이 이루어지며 별도의 전처리 과정이 아닌 압축 코딩 과정 중에 포함되기 때문에 기존의 방법보다 계산량을 현저히 감소시킬 수 있다.

또한, 얼굴 영역 추출에 사용된 Cb, Cr의 DCT 계수는 조명변화에 덜 민감하므로 조명변화 환경 내에서의 적용이 가능하므로 오검출을 최소화 할 수 있다.

또한, 본 발명은 실제 시스템에 적용 가능하므로 차세대 이동통신 화상단말기의 화질개선에 사용되어 질 수 있다.

또한, 본 발명은 실제 무선 영상 단말기의 영상 통화에 적용한다면 기존의 전처리 방법보다 더욱 빠르고 안정적으로 관심 영역을 추출하여 화질을 개선시킬 수 있다.

Claims (7)

1. 최초 얼굴 영역으로 예측된 1차 관심 영역을 추출하는 1차 관심 영역 추출부와,

   선택된 Cb, Cr의 DCT계수를 이용한 히스토그램 테이블을 구축하는 테이블 구축부와,

   상기 구축된 히스토그램 테이블과 제 1차 관심 영역을 비교하는 비교부와,

   상기 히스토그램 테이블을 이용하여 2차 관심 영역인 얼굴 영역을 추출하는 2차 관심 영역 추출부와,

   상기 얼굴 영역을 포함한 관심 영역에 대한 선택적 레이트 제어를 하는 레이트 제어부를 포함하는 것을 특징으로 하는 ROI 추출 장치.
2. 제 1 항에 있어서,

   상기 1차 관심 영역 추출은 칼만 필터를 이용하는 것을 특징으로 하는 ROI 추출 장치.
3. 확장 칼만 필터를 이용하여 1차 관심 영역을 추출하는 단계와,

   상기 설정된 1차 관심 영역내에서만 2차 관심 영역인 사람의 얼굴 영역을 추출하는 단계를 포함하는 것을 특징으로 하는 ROI 추출 방법.
4. 제 3 항에 있어서,

   상기 1차 관심 영역을 추출하는 단계는,

   상기 최초 관심 영역의 추출인지 여부를 판단하는 단계와,

   상기 최초 관심 영역일 경우 최초 예측 지점을 설정하고 최초 관심 영역을 설정하는 단계와,

   상기 최초 관심 영역이 아니거나 상기 최초 관심 영역을 설정한 경우 최종 얼굴 영역을 검출하는 단계와,

   상기 최종 얼굴 영역 검출 후 칼만 필터에 의한 움직임을 예측하는 단계와,

   상기 예측된 영역에 대해 상기 1차 관심 영역으로 설정하는 단계를 포함하는 것을 특징으로 하는 ROI 추출 방법.
5. 제 3 항에 있어서,

   상기 2차 관심 영역을 추출하는 단계는,

   영상 압축 코딩하는 단계와,

   상기 1차 관심 영역인지 여부를 판단하는 단계와,

   상기 1차 관심 영역인 경우 Cb, Cr 계수를 선택하고 상기 1차 관심 영역을 히스토그램 테이블과 비교하는 단계와,

   상기 1차 관심 영역인지 판단 후 얼굴 영역인지 여부를 판단하는 단계와,

   상기 얼굴 영역인 경우 선택적 레이트 제어를 수행하는 단계와,

   상기 선택적 레이트 제어후 얼굴 영역 검출이 종료되었는지 여부를 판단하는단계와,

   상기 얼굴 영역 검출이 종료되었을 경우 최종 관심 영역의 중심 좌표를 계산하고 그렇지 않을 경우 Cb, Cr 계수를 선택하는 단계로 되돌아가는 단계와,

   상기 1차 관심 영역이 아니거나 상기 얼굴 영역이 아닌 경우에는 레이트 제어를 수행하는 단계를 포함하는 것을 특징으로 하는 ROI 추출 방법.
6. 제 3 항에 있어서,

   Cb, Cr의 DCT 계수의 선택적 사용을 통해 상기 얼굴 영역 추출이 이루어지는 것을 특징으로 하는 ROI 추출 방법.
7. 제 6 항에 있어서,

   상기 DCT계수는 추출하고자 하는 ROI의 표본 Cb, Cr 값으로부터 미리 학습되어 상기 DCT 계수의 히스토그램 테이블로 구성되어지는 것을 특징으로 하는 ROI 추출 방법.