KR20170043880A

KR20170043880A - 안면 추적 카메라 모듈 및 방법

Info

Publication number: KR20170043880A
Application number: KR1020150143511A
Authority: KR
Inventors: 박영서; 박영귀
Original assignee: 삼성전기주식회사
Priority date: 2015-10-14
Filing date: 2015-10-14
Publication date: 2017-04-24
Also published as: KR102216505B1

Abstract

본 발명의 일 실시 예에 따른 안면 추적 카메라 모듈은 렌즈를 통해 제1 이미지를 획득하는 카메라부; 상기 제1 이미지 상에서 사용자의 안면 영역을 추적하고, 상기 안면 영역을 나타내는 상기 제1 이미지 상의 좌표를 출력하는 추적부; 상기 출력된 좌표를 이용하여 안면 영역을 포함하는 윈도우를 추출하는 추출부; 및 상기 추출된 윈도우를 평면 이미지로 보정하는 보정부를 포함할 수 있다.

Description

안면 추적 카메라 모듈 및 방법 {FACE TRACKING CAMERA MODULE AND METHOD}

본 발명은 안면 추적 카메라 모듈 및 방법에 관한 것이다.

화상 통신 기술의 발전과 함께 이동 통신 단말기, 노트북 PC, 및 데스크탑 PC와 같은 전자기기에 카메라 모듈을 장착하여 화상 회의(conference call), 화상 통화 등의 화상 통신 서비스가 제공되고 있다.

이러한 화상 통신 서비스에서 일반적으로 사용자 및 상대방은 서로의 얼굴을 보면서 통화하고자 하므로, 사용자는 사용자의 얼굴을 화면 가운데에 위치시킬 수 있도록 촬상 방향을 조절하기를 원한다.

수동으로 카메라 모듈 또는 전자기기의 위치를 조작하는 방법 이외에 이러한 조절을 자동화하기 위한 방법으로 모터를 이용한 기계식 촬상 방향 조절 방법을 고려할 수 있으나, 카메라 모듈의 크기에는 일정한 제약이 있으므로 적용이 어렵다.

참고로, 본 발명과 관련된 선행기술로는 특허문헌 1이 있다.

한국 공개특허공보 제2004-0079499호

본 발명의 일 실시 예에 따르면, 확대된 범위의 이미지를 획득하고 이미지 상에서 안면(顔面)이 한쪽으로 치우칠 경우 안면을 이미지의 중앙에 오도록 추출된 이미지를 제공하는 안면 추적 카메라 모듈이 제공된다.

또한, 본 발명의 일 실시 예에 따른 안면 추적 방법은 렌즈를 통해 제1 이미지를 획득하는 단계; 상기 제1 이미지 상에서 사용자의 안면 영역을 추적하고, 상기 안면 영역을 나타내는 상기 제1 이미지 상의 좌표를 출력하는 단계; 상기 출력된 좌표를 이용하여 안면 영역을 포함하는 윈도우를 추출하는 단계; 및 상기 추출된 윈도우를 평면 이미지로 보정하는 단계를 포함할 수 있다.

본 발명의 일 실시 예에 따른 안면 추적 카메라 모듈 및 안면 추적 방법은 확대된 범위의 이미지를 획득할 수 있고, 카메라의 촬상 방향을 조절하지 않고 안면을 이미지의 중앙에 오도록 추출된 이미지를 제공할 수 있는 효과를 가진다.

도 1은 본 발명의 일 실시 예에 따른 안면 추적 카메라 모듈의 블록도이다.
도 2는 본 발명의 다른 실시 예에 따른 안면 추적 카메라 모듈의 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 안면 추적 방법을 나타내는 흐름도이다.
도 4는 윈도우를 추출하는 동작 및 방법을 설명하기 위한 도면이다.
도 5는 안면 영역을 추적하는 동작 및 방법을 설명하기 위한 도면이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 형태들을 설명한다.

그러나, 본 발명의 실시형태는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명하는 실시 형태로 한정되는 것은 아니다. 또한, 본 발명의 실시형태는 당해 기술분야에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해서 제공되는 것이다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다.

또한, 어떤 구성 요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있다는 것을 의미한다.

도 1은 본 발명의 일 실시 예에 따른 안면 추적 카메라 모듈의 블록도이다.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 안면 추적 카메라 모듈은 카메라부(110), 추적부(120), 추출부(130), 및 보정부(140)를 포함한다.

카메라부(110)는 렌즈를 포함하고 제1 이미지를 획득할 수 있다. 예를 들어, 카메라부(110)는 광각렌즈를 통해 더 넓은 범위를 촬상할 수 있다. 또한, 카메라부(110)는 광각렌즈와 이격되어 배치된 이미지 센서를 더 포함하여 광학영상을 전기 신호로 변환시켜 제1 이미지를 획득할 수 있다. 이러한 이미지 센서로는 전하 결합 소자Charge Coupled Device)와 시모스(complementary Metal-Oxide-Semiconductor) 이미지 센서가 사용될 수 있다.

추적부(120)는 상기 제1 이미지 상에서 사용자의 안면 영역을 추적하고, 상기 안면 영역을 나타내는 제1 이미지 상의 좌표를 추출부(130)에 출력할 수 있다.

예를 들어, 추적부(120)는 제1 이미지를 이용하여 사용자의 안면 영역을 확정하고, 제1 이미지의 이전 프레임과 현재 프레임을 비교하여 안면 영역의 중심점 또는 안면 영역 윤곽을 이동을 감지할 수 있다.

또한, 추적부(120)는 DVS(dynamic vision sensor)가 출력하는 제2 이미지를 이용하여 안면 영역을 추적할 수 있고, 이에 대하여는 도 2를 참조하여 서술하기로 한다.

추출부(130)는 추적부(120)가 출력하는 좌표를 이용하여 안면 영역을 포함하는 윈도우를 추출할 수 있다. 본 실시 예에서 윈도우는 제1 이미지의 일부 영역에 대응하는 이미지를 의미한다.

또한, 추출부(130)는 제1 이미지의 일부 영역들에 각각 대응하는 복수의 윈도우들 중 하나를 안면 영역을 포함하는 윈도우로 추출할 수 있다. 상기 복수의 윈도우들은 윈도우 추출 과정을 단순화 하기 위해 각각 제1 이미지의 일부 영역에 대응되도록 기설정될 수 있다.

추출부(130)가 상기 복수의 윈도우들 중 하나를 안면 영역을 포함하는 윈도우로 추출하는 경우, 추출부(130)는 안면 영역을 포함하고 상기 안면 영역이 상대적으로 중심에 위치하는 윈도우를 선택할 수 있다.

보정부(140)는 추출부(130)가 추출한 윈도우를 평면 이미지로 보정 할 수 있다. 상기 윈도우는 카메라부(110)가 획득한 제1 이미지의 일부 영역이고, 제1 이미지는 렌즈에 의한 왜곡현상을 보인다. 보정부(140)는 이러한 왜곡을 보정 프로세스에 의해 평면 이미지로 보정할 수 있고, 일 예로 상기 보정 프로세스는 정사영(orthographic projection) 투영 기법에 의한 연산일 수 있다.

또한, 추출부(130)가 상기 복수의 윈도우들 중 하나를 안면 영역을 포함하는 윈도우로 추출하는 경우, 보정부(140)는 추출된 윈도우에 대응하는 보정 프로세스를 이용하여 추출된 이미지를 보정할 수 있다. 이를 위해, 보정부(140)는 상기 복수의 원도우들 각각에 대응하는 보정 프로세스를 구비할 수 있다.

이에 따라, 본 발명의 일 실시 예에 따른 안면 추적 카메라 모듈은 이미지 처리에 있어 향상된 속도를 제공할 수 있다.

한편, 본 발명의 실시 예에서 사용되는 '~부' 라는 용어는 소프트웨어 또는 FPGA(field-programmable gate array) 또는 ASIC과 같은 하드웨어 구성요소를 의미할 수 있고, '~부' 는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부' 는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다.

도 2는 본 발명의 다른 실시 예에 따른 안면 추적 카메라 모듈의 블록도이다.

도 2를 참조하면, 본 발명의 다른 실시 예에 따른 안면 추적 카메라 모듈은 카메라부(210), 추적부(220), 추출부(230), 및 보정부(240)를 포함하고, 도 1에서 서술한 카메라 모듈에 추가로 DVS(dynamic vision sensor, 250)를 포함한다.

DVS는 프레임 별로 연속적으로 촬상되는 이미지를 분석하고, 분석된 프레임의 조도 정보를 프레임 메모리(미도시)에 저장할 수 있다. 상기 DVS는 프레임 메모리에 저장된 이전 프레임의 조도 정보와 현재 프레임의 조도 정보를 비교하여 물체의 동작을 감지할 수 있다.

DVS는 프레임에 대한 조도 변화 정보를 픽셀 좌표를 포함하는 이벤트 신호로 처리 할 수 있으므로 조도 정보를 포함하는 제2 이미지를 고속으로 출력할 수 있다.

또한, 추적부(220)는 DVS(dynamic vision sensor)가 출력하는 제2 이미지를 이용하여 안면 영역을 추적할 수 있다. 예를 들어, 추적부(220)는 제2 이미지를 이용하여 사용자의 안면 영역을 확정하고, 제2 이미지의 이전 프레임과 현재 프레임을 비교하여 안면 영역의 중심점 또는 안면 영역 윤곽을 이동을 감지할 수 있다.

따라서, 본 실시 예에 따른 안면 추적 카메라 모듈 및 안면 추적 방법은 고속의 모션 감지를 가능하게 하는 DVS를 사용하여 지연 시간을 최소화한 실시간 안면 추적이 가능한 효과를 가진다.

이외의 구성은 도 1에서 서술한 구성과 실질적으로 동일하므로 도 1을 참조하여 이해될 수 있다.

도 3은 본 발명의 일 실시 예에 따른 안면 추적 방법을 나타내는 흐름도이다.

도 3을 참조하면, 본 실시 예에 따른 안면 추적 방법은 렌즈를 통해 제1 이미지를 획득하는 것으로 시작된다(S310). 여기서 상기 렌즈는 상대적으로 넓은 범위를 촬상할 수 있는 광각렌즈일 수 있다.

다음으로, 추적부(120, 도 1)는 상기 제1 이미지 상에서 사용자의 안면 영역을 추적하고(S320), 안면 영역을 나타내는 제1 이미지 상의 좌표를 출력할 수 있다(S330). 여기서, 사용자의 안면 영역을 추적하기 위해 제1 이미지가 이용될 수 있고, 물체의 운동을 감지하는 DVS(dynamic vision sensor)가 출력하는 제2 이미지가 이용될 수 도 있다.

한편, 상기 좌표를 출력하기 전에, 상기 추적부는 안면 영역이 제1 이미지 범위에 포함되는지 판단할 수 있고(S322), 상기 안면 영역이 제1 이미지 범위에서 벗어나는 경우 이상 신호를 출력할 수 있다(S324).

상기 출력된 좌표를 입력 받은 추출부(130, 도 1)는 상기 출력된 좌표를 이용하여 안면 영역을 포함하는 윈도우를 추출할 수 있다(S340). 이때, 상기 윈도우는 상기 제1 이미지의 일부 영역들에 각각 대응하는 복수의 윈도우들 중 하나가 될 수 있다.

이후, 보정부(140, 도 1)는 상기 추출된 윈도우를 평면 이미지로 보정할 수 있다. 여기서, 상기 보정부는 추출된 윈도우에 대응하는 보정 프로세스를 이용하여 상기 추출된 윈도우를 평면 이미지로 보정할 수 있다(350).

도 4는 윈도우를 추출하는 동작 및 방법을 설명하기 위한 도면이다.

도 4를 참조하면, 추출부(130, 도 1)는 제1 이미지(410)의 일부 영역들에 각각 대응하는 복수의 윈도우들(410-1 내지 410-4) 중 하나를 안면 영역을 포함하는 윈도우로 추출할 수 있다.

도 4에서는 4개의 윈도우를 가정하여 도시하였으나 복수의 윈도우는 안면 영역 추적의 정확도 향상 및 추출 처리 속도를 고려하여 기설정될 수 있다.

상기 추출부는 안면 영역을 포함하고 상기 안면 영역이 상대적으로 중심에 위치하는 윈도우(420-4)를 선택하여 추출할 수 있고, 보정부(140, 도 1)는 추출된 윈도우(430)를 평면 이미지(440)로 보정하여 출력할 수 있다.

도 5는 안면 영역을 추적하는 동작 및 방법을 설명하기 위한 도면이다.

도 5를 참조하면, 추적부(220, 도 2)는 DVS(dynamic vision sensor)가 출력하는 제2 이미지(515)를 이용하여 안면 영역을 추적할 수 있다.

예를 들어, 상기 추적부는 제2 이미지(515)를 이용하여 사용자의 안면 영역을 확정하고, 제2 이미지의 이전 프레임과 현재 프레임을 비교하여 안면 영역의 중심점 또는 안면 영역 윤곽을 이동을 감지할 수 있다.

또한, 추출부(230, 도2)는 감지된 안면 영역의 좌표를 제1 이미지(510)에 좌표 매칭하여 안면 영역을 포함하는 윈도우(520)를 추출할 수 있다.

이후, 보정부(240, 도 2)는 추출된 윈도우(530)를 평면 이미지(540)로 보정하여 출력할 수 있다.

이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고 후술하는 특허청구범위에 의해 한정되며, 본 발명의 구성은 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 그 구성을 다양하게 변경 및 개조할 수 있다는 것을 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 쉽게 알 수 있다.

110: 카메라부
120: 추적부
130: 추출부
140: 보정부

Claims

렌즈를 통해 제1 이미지를 획득하는 카메라부;
상기 제1 이미지 상에서 사용자의 안면 영역을 추적하고, 상기 안면 영역을 나타내는 상기 제1 이미지 상의 좌표를 출력하는 추적부;
상기 출력된 좌표를 이용하여 상기 안면 영역을 포함하는 윈도우를 추출하는 추출부; 및
상기 추출된 윈도우를 평면 이미지로 보정하는 보정부
를 포함하는 안면 추적 카메라 모듈.
제1항에 있어서, 상기 카메라부는
광각렌즈를 통해 상기 제1 이미지를 획득하는 안면 추적 카메라 모듈.
제1항에 있어서, 상기 추출부는
상기 제1 이미지의 일부 영역들에 각각 대응하는 복수의 윈도우들 중 하나를 상기 안면 영역을 포함하는 윈도우로 추출하는 안면 추적 카메라 모듈.
제1항에 있어서, 상기 보정부는
상기 추출된 윈도우에 대응하는 보정 프로세스를 이용하여 상기 추출된 윈도우를 상기 평면 이미지로 보정하는 안면 추적 카메라 모듈.
제1항에 있어서
물체의 운동을 감지하는 DVS(dynamic vision sensor)를 더 포함하고,
상기 추적부는 상기 DVS가 출력하는 제2 이미지를 이용하여 상기 안면 영역을 추적하는 안면 추적 카메라 모듈.
제1항에 있어서
상기 추적부는 상기 안면 영역이 상기 제1 이미지의 범위에서 벗어나는 경우 이상 신호를 출력하는 안면 추적 카메라 모듈.
렌즈를 통해 제1 이미지를 획득하는 단계;
상기 제1 이미지 상에서 사용자의 안면 영역을 추적하고, 상기 안면 영역을 나타내는 상기 제1 이미지 상의 좌표를 출력하는 단계;
상기 출력된 좌표를 이용하여 상기 안면 영역을 포함하는 윈도우를 추출하는 단계; 및
상기 추출된 윈도우를 평면 이미지로 보정하는 단계
를 포함하는 안면 추적 방법.
제7항에 있어서, 상기 획득하는 단계는
광각렌즈를 통해 상기 제1 이미지를 획득하는 단계인 안면 추적 방법.
제7항에 있어서, 상기 추출하는 단계는
상기 제1 이미지의 일부 영역들에 각각 대응하는 복수의 윈도우들 중 하나를 상기 안면 영역을 포함하는 윈도우로 추출하는 단계인 안면 추적 방법.
제7항에 있어서, 상기 보정하는 단계는
상기 추출된 윈도우에 대응하는 보정 프로세스를 이용하여 상기 추출된 윈도우를 상기 평면 이미지로 보정하는 안면 추적 방법.
제7항에 있어서, 상기 출력하는 단계는
물체의 운동을 감지하는 DVS(dynamic vision sensor)가 출력하는 제2 이미지를 이용하여 상기 안면 영역을 추적하는 단계인 안면 추적 방법.
제7항에 있어서, 상기 출력하는 단계는
상기 안면 영역이 상기 제1 이미지의 범위에서 벗어나는 경우 이상 신호를 출력하는 단계를 더 포함하는 안면 추적 방법.