KR200145873Y1 - 얼굴 표정 추출을 위한 헤드폰형 카메라 마이크 - Google Patents

Abstract

본 고안은 3 차원 모델 기반 코딩 시스템에서 전송자의 얼굴 표정을 추출하는 장치에 관한 것으로, 전송자의 머리에 씌여지며 전송자의 옆이마측에 배열되어 눈의 깜박임과같은 눈의 움직임에 따른 근육의 움직임 정도에 따라 달라지는 진동을 측정하는 접촉센서를 갖는 헤드폰부와, 상기 헤드폰부로부터 연장하여 전송자의 입에 대하여 이격배치되어있으며, 전송자의 입모양의 영상을 촬영하는 카메라와, 전송자의 발음하는 소리를 검출하는 마이크를 포함한 마이크부로 일체로 구성되며, 상기 마이크부는 전송자의 입술의 붉은 부분을 더욱 두드러지게하기위하여 상기 카메라의 전단에 배치된 적색 필터를 더 포함함으로써 입술 영상, 눈의 움직임 및 음성 변화와같은 전송자의 얼굴 표정을 추출할 수 있다.

Description

얼굴 표정 추출을 위한 헤드폰형 카메라 마이크

본 고안은 3 차원 모델, 특히 인간의 3 차원 모델을 이용한 얼굴의 표정 변화 코딩 시스템에 관한 것으로, 보다 상세하게는 3 차원 모델 기반 코딩 시스템에서 얼굴의 표정을 형태를 추출하는 장치에 관한것이다.

3 차원 물체 모델, 특히 인간의 형상 모델을 이용한 응용 기술은 비디오 코딩(video coding) 및 컴퓨터 그래픽스(computer graphics) 분야에서 그 응용되고 있다. 현재 진행중인 비디오 코딩(video coding) 분야에서는 좀더 적은 데이터량으로 만족스러운 화질의 영상을 전송하려는 연구가 지속되고 있다. 전송되는 데이터량에 따른 연구과제를 살펴보면 크게 HDTV 로부터 시작하여 적게는 현재 활발히 연구되고있는 MPEG4가 있다. 이중 MPEG4 에서는 매우 적은 데이터량을 이용하여 비디오 신호를 전송하기 때문에 단순히 정보 이론을 이용한 변환, 예를 들면, 코사인 변환(cosine transform) 계수 방법만 사용되는 것이 아니라, 그밖의 컴퓨터 비젼(computer vision), 컴퓨터 그래픽스에서 사용되는 기술들이 응용되기도 한다.

일반적으로 비디오 폰 또는 비디오 회의(video conference)에서 보이는 사람의 형태는 허리 이상인 흉부만이 보인다. 특히 말하는 사람의 얼굴이 영상 정보 전달의 대부분을 차지하고 있다. 만약 사람 얼굴 외의 정보, 즉, 배경 정보 등을 무시하고 얼굴 형태에 대한 특징적인 규칙화된 정보만 보낼 수 있다면 전송량을 매우 줄일수 있을 것이다. 즉 얼굴에 나타나는 일반적인 희, 노, 애, 락 감정 표정 및 말을 할 때의 입 모양에 나타나는 규칙을 찾아내어 하나의 정보화된 코드로 상대편에게 보내고, 상대방에서는 이를 받아서 자신이 갖고 있는 3 차원 모델을 수신된 코드에 따라 얼굴 형태를 변형시켜 도시함으로써 전송자의 표정 형태를 적은 데이터 양으로 파악 할 수 있을 것이다.

보다 상세히 말해서, 3 차원 모델 기반 코딩 시스템은 비디오 폰과 같이 두 사람이 현장에서 실 시간으로 이야기를 하며, 소리뿐아니라 변화하는 얼굴 또는 몸도 같이 실시간으로 전송하는 것을 코딩의 대상으로한다. 그런데 일반 비디오 코딩과 다른 것은 전송 데이터는 시시각각 변화하는 픽셀들로 이루어진 영상을 취급하는 것이 아니고 어떤 특정한 움직임 변수를 추출하여 전송한 다음, 수신측에서 가지고있는 자료, 즉, 전송자의 얼굴 영상, 일반적인 3 차원 머리 형태 모델, 몸 형태 모델등과 결합되어 재구성된후 최종 변화하는 전송자의 얼굴 또는 몸 영상을 구성하는 것이다.

물론, 이와 같은 시스템 구성은 전송하고자 하는 데이터의 양이 데이터 전송 대역 폭에 의해 매우 크게 제약을 받아 많은 양은 보내지 못하지만, 쌍방간 정확한 인식을 위한 충분한 화질을 요할 경우 사용될 수 있는 것이다. 대역폭이 커서 충분한 데이터를 보낼 수 있다면 이 시스템의 장점은 그만큼 낮아질것이다. 왜냐하면, 규칙화된 코드로서는 자연스런 표정을 나타내기에 부족한 감이 있기 때문이다.

이러한 3 차원 모델 기반 코딩 시스템에서 상호 전송되는 전송자의 얼굴 영상을 표현하기위해서는 기본적으로 일반적인 사람 머리에 대한 3 차원 모델과 이 모델에 덧 씌워질 전송자의 얼굴 영상이 필요하다. 전송자의 얼굴 영상에서, 입 모양은 말을 할 때 발음하는 소리에 따라 특정한 형태와 일정한 변화 규칙이 있으므로 입 모양과 소리에 따른 상호 관련적 분석에 따라 일정한 변화 파라미터를 추출할수있으며, 전송되는 정보는 입 자체의 모양이 아니라 입 모양을 형성시키는 각 파라미터의 값이 될 것이다.

이와 관련하여 전송자의 얼굴 표정에 관한 영상 정보가 필요할 것이다.

그러므로, 본 고안은 3 차원 모델 기반 얼굴 표정 코딩 시스템에서 전송자의 얼굴 표정을 추출하기위한 장치를 제공하는 것을 그 목적으로한다.

상술한 목적을 달성하기위한 본 고안에 따른 3 차원 모델 기반 코딩 시스템에서 전송자의 얼굴 표정을 추출하는 장치는 전송자의 머리에 씌여지며 전송자의 옆이마측에서 눈과 일직선상에 배열되어 눈의 깜박임과같은 눈의 움직임에 따른 근육의 움직임 정도에 따라 달라지는 진동을 측정하는 접촉센서를 갖는 헤드폰부와, 상기 헤드폰부로부터 연장하여 전송자의 입에 대하여 이격배치되어있으며, 전송자의 입모양의 영상을 촬영하는 카메라와, 전송자의 발음하는 소리를 검출하는 마이크를 포함된 마이크부로 구성된다.

도 1은 본 고안의 바람직한 실시예에 따라서 구성된 3 차원 모델 기반 코딩 시스템의 얼굴 표정을 추출하기위한 장치의 구성도

도 2는 도 1에 도시된 마이크부의 상세한 구성을 도시하는 도면

＜도면의 주요부분에 대한 부호의 설명＞

10 : 접촉 센서 20 : 헤드폰부

30 : 마이크부32 : 적색 필터

34 : 카메라38 : 마이크

본 고안의 상기 및 기타 목적과 여러가지 장점은 첨부된 도면을 참조하여 하기에 기술되는 본 고안의 바람직한 실시예로 부터 더욱 명확하게 될 것이다.

이하 첨부된 도면을 참조하여 본 고안의 바람직한 실시예에 대하여 상세하게 설명한다.

도 1를 참조하면, 본 고안에 따라 3 차원 모델 기반 코딩 시스템에서 사용하기위한 전송자의 입 모양의 영상을 촬영하고 눈의 움직임을 감지할수있도록 구성된 얼굴 표정 추출 장치가 도시된다. 본 고안의 장치는 전송자의 입 모양의 영상을 촬영하고 눈의 움직임을 감지하기위하여 전송자의 머리에 씌여지는 헤드폰부(20)과 헤드폰부(20)로부터 연장하여 전송자의 입에 대하여 이격배치된 마이크부(30)가 일체로 형성된 헤드폰형 카메라 마이크 형태로 구성된다. 본 고안에 따른 상술한 구성에 의해 전송자 머리의 회전 이나 이동과같은 위치 변화에 동기하여 동시에 입과 눈의 위치의 움직임을 촬영하고 감지할수 있게된다.

헤드폰부(20)에는 전송자의 옆이마측에서 눈과 일직선상에 배열되어 전송자 눈의 깜박임과같은 눈의 운동을 감지하는 접촉센서(10)를 포함한다. 접촉 센서(10)는 눈이 떠있는 상태에서 눈을 감거나 눈을 가늘게 뜨기 위해 근육을 움직이게 되면, 근육의 움직임 정도와 시간에 따라 달라지는 변화 강도, 즉 진동을 측정한다. 접촉 센서(10)에 의해 측정된 진동값은 진동 변환 수단(도시안됨)에 의해 적절한 값으로 변환되어 전송된다.

마이크부(30)에는, 도 2에 상세히 도시된바와같이, 전송자의 입모양의 영상을 촬영하는 카메라(36)와, 전송자의 발음하는 소리를 검출하는 마이크(38)를 포함한다. 카메라(36)는 무게로 인한 사용자의 불편을 최소화하기위하여 내시경에 사용되는 광섬유 형태의 카메라로 구성된다. 또한 카메라(36)의 전단에는 전송자의 입술의 붉은 부분을 더욱 두드러지게하기위하여 사용되는 적색 필터(32)와 적색 필터(32)에서 필터된 영상을 카메라(36)으로 전달하는 렌즈(34)가 배치되어있다. 따라서, 카메라(36)에 촬영된 입술 영상은 3 차원 모델 기반 코딩 시스템에서 사용하는 영상 처리부로 전송되어 처리된다. 마찬가지로 마이크(38)에서 검출된 전송자의 음성은 3 차원 모델 기반 코딩 시스템에서 사용하는 음성 처리부로 전송되어 처리된다.

이상 설명한 바와같이, 3 차원 물체 모델 기반 코딩 시스템에서 수신자에게 제공되는 전송자의 입술 영상과 눈의 움직임 및 입술의 움직임에 따른 음성과 같은 전송자의 얼굴 표정이 본 고안에 따라 구성된 헤드폰형 카메라 마이크에 의해 촬영되고 검출될 수 있다.

Claims (3)

1. 3 차원 모델 기반 코딩 시스템에서 전송자의 얼굴 표정을 추출하는 장치에 있어서,

   전송자의 머리에 씌여지며 전송자의 옆이마측에서 눈과 일직선상에 배열되어 눈의 깜박임과같은 눈의 운동을 감지하는 접촉센서를 갖는 헤드폰부;

   상기 헤드폰부로부터 연장하여 전송자의 입에 대하여 이격배치되어있으며, 전송자의 입모양의 영상을 촬영하는 카메라와, 전송자의 발음하는 소리를 검출하는 마이크를 포함된 마이크부로 구성된 것을 특징으로하는 얼굴 표정 추출 장치.
2. 제 1 항에 있어서, 상기 마이크부는 전송자의 입술의 붉은 부분을 더욱 두드러지게하기위하여 상기 카메라의 전단에 배치된 적색 필터와 상기 적색 필터에서 필터된 영상을 상기 카메라으로 전달하는 렌즈를 더 포함하는 것을 특징으로하는 얼굴 표정 추출 장치.
3. 제 1 항에 있어서, 상기 접촉 센서는 눈의 움직임에 따른 근육의 움직임 정도와 시간에 따라 달라지는 진동을 측정하는 것을 특징으로하는 얼굴 표정 추출 장치.