KR100413267B1 - 얼굴의 특정부위 인식을 이용한 카메라의 자동 추적장치를구비하는 이동통신 단말기 - Google Patents

Abstract

본 발명은 카메라방향 자동추적장치를 구비한 이동통신 단말기에 관한 것으로, 상기 카메라방향 자동추적장치는 상하좌우로 방향을 변화시킬 수 있는 카메라부와, 카메라방향 구동부와, 소정 시간 간격으로 카메라가 캡처한 영상으로부터 얼굴의 특정부위를 인식하고, 그 특정부위의 단말기 화면상 위치를 파악하며, 특정부위의 화면상 위치정보를 기초로 상기 카메라부가 얼굴중심방향으로 향하도록 하는 제어신호를 생성하여 상기 카메라방향 구동부로 송출하는 제어부를 포함한다.

본 발명에 의하면, 화상통화 또는 화상촬영시 카메라의 방향을 항상 사용자 얼굴쪽으로 향하도록 자동조절함으로써, 얼굴을 카메라방향에 위치시키거나 일일이 수동으로 방향을 조정할 필요가 없다.

Description

얼굴의 특정부위 인식을 이용한 카메라의 자동 추적장치를 구비하는 이동통신 단말기 {Mobile Communication Device including Camera-direction Automatic Control Apparatus using Recognition of Specific Part of Face}

본 발명은 얼굴의 특정부위 인식을 이용한 카메라 위치추적장치를 구비하는 이동통신 단말기, 더 상세하게는 이동통신 단말기의 카메라가 캡쳐한 영상으로부터 얼굴의 특정부위를 인식하고 그 특정부위의 위치를 기초로 카메라의 방향이 사용자의 얼굴을 자동추적할 수 있는 장치를 구비하는 이동통신 단말기에 관한 것이다.

최근 개발되는 셀룰러폰, PCS, cdma-2000, IMT-2000 등의 이동통신 단말기에서는, 화상촬영 및 전송, 실시간 화상통신 등을 구현하기 위한 부가장치로 카메라가 부착되어 있다. 이러한 카메라는 잭(jack)을 이용하여 착탈할 수 있는 방식에서부터, 단말기 본체내에 내장되어 있는 형식 등 다양하게 개발되어 있다.

현재까지의 이동통신 단말기용 카메라는 그 방향이 고정되어 있거나, 사용자가 수동으로 방향을 상하로 변환하는 정도의 방향성을 가지고 있다. 따라서, 화상통신 또는 화상촬영은 카메라가 사용자 얼굴을 비추도록 단말기를 위치한 상태에서만 가능하다.

그러나, 이동 또는 운전중에 통화하는 등의 특수한 경우에는 사용자의 얼굴이 움직일 가능성이 많으며, 이 경우 얼굴이 카메라 앵글내에 있도록 하기 위하여 얼굴이 이동할 때마다 카메라의 방향을 조정하여야 하므로 번거롭다.

따라서, 원활한 화상통신을 위하여 얼굴 위치를 추적하여 항상 카메라의 방향을 조정해주는 카메라 자동추적장치의 필요성이 대두되고 있다.

카메라의 얼굴 자동추적장치를 구현할 수 있는 종래 기술로, 인터넷등의 통신망에서 상대방 사용자가 카메라 방향을 원격에서 조정하는 원격제어방식등을 이용할 수 있으나, 인터넷망과 달리 전송채널용량이 크지 않은 이동통신망에서는 원격제어신호를 추가적으로 송수신하여야 하므로 통신속도의 저하를 가져올 수 있다는 단점이 있다.

본 발명은 이러한 점에 착안한 것으로, 카메라가 캡처한 영상으로부터 얼굴의 특정부위를 인식하고 그를 기초로 사용자 얼굴중심의 위치를 자동파악하고, 그 방향으로 카메라의 방향을 자동 구동하는 장치를 제공할 수 있다.

본 발명의 목적은 카메라의 얼굴위치 자동추적장치를 구비하는 이동통신 단말기를 제공하는 것이다.

본 발명의 다른 목적은 카메라가 캡처한 영상으로부터 얼굴의 특정부위를 인식하고, 그 특정부위의 위치정보로부터 얼굴중심위치를 산출하며, 그에 따라 카메라의 위치를 자동으로 조정할 수 있는 장치를 구비한 이동통신 단말기를 제공하는 것이다.

도 1은 종래 방식에 의한 카메라를 구비한 이동통신 단말기를 도시한다.

도 2는 본 발명에 의한 카메라 자동추적장치를 구비한 이동통신 단말기의 외부 구성을 도시한다.

도 3는 본 발명에 의한 이동통신 단말기에 구비된 카메라 자동추적장치의 구성을 기능별 블록으로 도시한다.

도 4는 본 발명에 의한 자동추적장치를 이용하여 카메라의 방향을 자동 제어하는 과정을 도시한다.

*도면의 주요부분에 대한 부호의 설명*

110 : 카메라부 120 : 카메라방향 구동부

130 : 제어부 140 : 단말기 메모리

전술한 바와 같은 목적을 달성하기 위한 본 발명에 의한 이동통신 단말기의 카메라 자동추적장치는 카메라부와, 카메라방향 구동부, 및 제어부로 이루어져 있으며, 상기 제어부는 소정 시간마다 카메라가 캡처한 영상으로부터 얼굴의 특정부위를 인식하고, 그 특정부위의 화면상 위치를 파악하며, 특정부위의 화면상 위치정보를 기초로 상기 카메라부가 얼굴중심방향으로 향하도록 하는 제어신호를 생성하여 상기 카메라방향 구동부로 송출한다.

본 발명에서 이용될 수 있는 얼굴의 특정부위는 눈썹, 눈, 코, 입 등이 될 수 있으나, 인식률이 가장 높고 데이터 저장에 필요한 용량이 가장 적은 눈썹을 이용하는 것이 바람직하다.

제어부의 얼굴중심 위치 산출방법은, 특정 부위의 형상에 대한 이미지 정보를 단말기의 저장공간에 저장하는 단계와, 카메라부에 캡처된 영상에 상기 저장된 이미지정보와 일치하는 특정부위 이미지가 있는지 확인하는 단계와, 특정부위 이미지의 화면상의 위치정보를 추출하는 단계와, 미리 설정되어 있는 특정부위-얼굴중심 상대위치정보를 기초로 얼굴중심 위치를 산출하는 단계로 이루어진다.

이하에서는 첨부되는 도면을 참고로 본 발명의 실시예에 대하여 상세하게 설명한다.

도 1은 종래 방식에 의한 카메라를 구비한 이동통신 단말기를 도시한다.

본 도면에서의 카메라(10)는 착탈식으로, 카메라잭(11)을 단말기 본체(20)측면의 카메라잭 삽입구에 삽입함으로써 장착된다. 이 상태에서 카메라를 상하방향으로 회전시킬 수 있을 뿐이므로, 화상통신 또는 화상촬영을 위해서는 사용자가 항상 카메라 방향을 얼굴쪽으로 향하도록 조정하여야 한다.

도 2는 본 발명에 의한 이동통신 단말기의 외부 구성을 도시한다.

도시된 이동통신 단말기는 통상의 단말기와 같이 디스플레이부(210) 및 수화부(스피커; 220)를 구비하는 상폴더(200)와, 데이터 입력을 위한 키패드(230)와 송화부(마이크로폰; 240) 및 내부의 회로기판(미도시)을 구비하는 하폴더(250)로 이루어져 있으며, 상폴더의 디스플레이부 아래에 카메라부(310)가 내장되어 있다. 카메라부는 소정 각도만큼 2방향으로 자유롭게 방향을 전환할 수 있는 구조로 되어 있다.

카메라부(310)의 위치는 반드시 도시된 것에 한정되는 것은 아니며, 구조상 또는 제작편의상 다른 곳에 위치할 수도 있다. 또한, 카메라부 근처의 단말기 내부에는 카메라부의 렌즈방향을 제어하기 위한 카메라방향 구동부(미도시)가 구비되어 있다.

도면에서는 폴더형 이동통신 단말기를 예로 들었으나, 이에 한정되는 것은 아니며, 방향전환을 할 수 있는 카메라 어셈블리와 제어부를 구비하고 있는 한 어떠한 형태의 단말기에도 적용될 수 있다.

도 3은 본 발명에 의한 이동통신 단말기에 구비된 카메라 자동추적장치의 구성을 기능별 블록으로 도시한다.

본 발명에 의한 카메라방향 자동 추적장치는 2방향 자유도를 가지는 카메라부(310)와, 카메라 구동부(320), 및 제어부(330)로 이루어져 있다. 또한, 특정부위에대한 기본 이미지와 기타 필요한 정보 및 소프트웨어를 저장하기 위한 단말기 메모리(340)를 추가로 구비한다.

카메라부(310)는 카메라렌즈부와 렌즈부를 둘러싸는 카메라하우징부, CCD와 같은 영상신호추출부로 이루어져 있으며, 이러한 소형기기용 카메라는 웹카메라, 각종 감시카메라 등에 널리 이용되는 것 중 소형의 것을 이용하면 된다. 이러한 카메라부는 이동통신 단말기의 일부에 고정식 또는 착탈식으로 장착되며, 전술한 바와 같이 카메라 하우징은 2방향 자유도를 가지고 방향을 전환할 수 있다.

카메라 구동부(320)는 카메라 하우징부와 연결되어 있고, 통상의 웹카메라, 감시카메라에서 이용되는 팬/틸트(Pan/Tilt) 카메라 구동부를 이용하면 되며, 제어부의 제어신호에 따라 카메라부의 방향을 2방향(팬방향, 틸트방향)로 조절할 수 있도록 구성되어 있다.

제어부(330)는 이동통신 단말기의 ROM 또는 RAM에 저장되어 있는 소프트웨어로 구현될 수 있는 것으로, 카메라가 캡처한 영상을 수신하는 기능과, 수신한 영상 중에서 단말기 저장공간에 미리 저장되어 있는 특정부위 기준이미지와 일치하는 이미지가 있는지 판별하는 기능, 해당 특정부위 이미지의 단말기 화면상 위치정보를 추출하는 기능, 상기 특정부위 이미지의 위치정보와 소정의 알고리즘을 이용하여 얼굴중심의 위치를 산출하는 기능, 카메라부의 방향이 산출된 얼굴중심으로 향하도록 하는 제어신호를 생성하여 카메라방향 구동부로 송출하는 기능을 구비하여야 한다.

또한, 단말기의 메모리(340)에는 인식할 얼굴의 특정부위에 대한 기본 이미지(예를 들면, 사용자의 눈썹 이미지)와, 기타 설정정보가 저장되어 있다. 여기서 설정정보란 특정부위의 위치와 얼굴중심의 상대적 위치를 계산하기 위한 정보등이 될 수있다.

도 4는 본 발명에 의한 자동추적장치를 이용하여 카메라의 방향을 자동 제어하는 과정을 도시한다.

우선 도 4a에서 카메라의 영상신호 추출부에서 캡처된 영상이미지를 블록으로 나누어 각 블록별 이미지를 저장된 특정위치 기본 이미지와 일치하는 지 판단한다. 영상을 블록으로 나누어 분석하고 저장된 기본 이미지와 비교하는 기술은 종래의 얼굴인식(특정인의 얼굴인식) 기술에서 사용하는 방식을 유사하게 이용하면 된다. 본 실시예에서는 특정부위를 왼쪽 눈썹으로 정하였다. 눈썹은 다른 부위에 비하여 식별이 용이하고, 기본 이미지의 용량도 크지 않으며 사람마다 비슷한 형태를 하고 있기 때문에 본 발명에 이용되기에 가장 적합한 부위이다.

본 발명에서는 얼굴영상으로부터 특정인의 신원을 식별하기 위한 것이 아니므로, 통상의 얼굴인식 기술에서 얼굴윤곽비교, 여러 개의 부위 이미지 비교, 특이점(얼굴의 이미지를 구분할 수 있는 포인트)들의 연결좌표비교 등의 고급 기술들은 이용하지 아니한다. 실제로 이러한 식별수단으로서의 얼굴인식기술은 상당한 용량의 CPU와 계산량 및 메모리를 소요하기 때문에, 종래의 소프트웨어를 비교적 용량이 적은 이동통신 단말기에 탑재하는 것은 거의 불가능하다. 따라서, 종래의 얼굴인식 기술 중에서 특정부위(눈썹)에 대한 이미지 추출 및 비교방식만 도입하면 충분하다.

이러한 특정부위(눈썹) 기본 이미지는 단말기 제작시 메모리에 저장되는 정형화된 눈썹 이미지를 이용할 수도 있으며, 사용자가 직접 자신의 눈썹이미지를 촬영하여 저장할 수도 있을 것이다.

도 4b에서는 눈썹 이미지의 화면상 위치를 확인하고, 이미지 까지의 거리를 산출한다. 이미지까지의 거리는 별도의 센서를 이용하거나, 대상 이미지의 상대적인 크기를 이용하여 산출할 수도 있다. 예를 들어, 촬영거리를 알고 있는 기본 이미지와 촬영된 이미지의 상대적인 크기비율과 카메라 렌즈의 배율 등을 기초로 거리를 산출할 수 있을 것이다. 도면에서는 왼쪽 눈썹 중앙부의 화면상 좌표가 (160, 120)으로 되어 있다.

그 다음으로는 제어부에서 미리 설정된 정보, 즉 눈썹 좌표로부터 얼굴중심좌표를 산출해낸다. 이 경우 앞에서 미리 계산한 거리(d)와 왼쪽 눈썹부터 얼굴중심까지의 상대적 거리 등을 이용한다. 예를 들어 다음과 같은 수학식을 이용할 수 있을 것이다.

중심 x 좌표 = 특정부위 x 좌표-(10×거리/기준거리),

중심 y 좌표 = 특정부위 y 좌표-(15×거리/기준거리)

기준거리란 기본 이미지의 촬영거리로서 본 실시예에서는 거리와 기준거리가 동일하다고 가정한다. 이 경우 도 4c와 같이 얼굴중심의 좌표는 (150, 105)가 된다.

도 4d에서는 얼굴중심좌표를 이용하여 카메라의 방향을 제어하여, 얼굴중심의 위치를 화면중심인 좌표(90, 90)상에 위치시킨 상태를 도시한다. 즉, 도 4c의 상태에서 카메라의 방향을 x방향으로 +60, y방향으로 +15만큼 이동시키면 될 것이다.

이러한 특정부위 이미지 분석 및 카메라방향 제어는 소정시간마다 수행하며, 시간 간격은 단말기 CPU와 메모리용량에 따라 적절하게 변화될 수 있을 것이다.

이상과 같은 설명은 본 발명의 실시를 위하여 예시적으로 기재된 것으로, 본 발명의 범위를 한정하거나 제한하는 것은 아니다.

이상과 같이 본 발명에 의한 카메라방향 자동추적장치를 구비한 이동통신 단말기를 이용하면, 화상통화 또는 화상촬영시 카메라의 방향을 항상 사용자 얼굴쪽으로 향하도록 자동조절함으로써, 얼굴을 카메라방향에 위치시키거나 일일이 수동으로 방향을 조정하지 않아도 되므로 편리하다.

따라서, 이후에 활성화될 이동통신 단말기를 이용한 화상통신, 화상회의 등에 유용하게 적용될 수 있을 것이다.

Claims (3)

1. 이동통신 단말기에 장착되는 카메라부와, 카메라방향 구동부, 및 제어부로 이루어져 있으며,

   상기 제어부는 소정 시간마다 카메라가 캡처한 영상으로부터 얼굴의 특정부위를 인식하고, 그 특정부위의 단말기 화면상 위치를 파악하며, 특정부위의 화면상 위치정보를 기초로 상기 카메라부가 얼굴중심방향으로 향하도록 하는 제어신호를 생성하여 상기 카메라방향 구동부로 송출하는 카메라방향 자동추적장치를 구비하는 이동통신 단말기.
2. 제 1 항에 있어서,

   상기 얼굴의 특정부위는 눈썹, 눈, 코, 입 중 하나가 될 수 있으며,

   상기 제어부의 얼굴 특정부위 인식은 카메라가 캡처한 영상의 분할 이미지와 단말기 메모리에 미리 저장되어 있는 특정부위 기본 이미지의 일치여부를 비교함으로써 수행되는 것을 특징으로 하는 카메라방향 자동추적장치를 구비하는 이동통신 단말기.
3. 제 1 항 또는 제 2 항에 있어서,

   상기 제어부의 특정부위 화면상 위치 및 얼굴중심 위치 산출은,

   특정 부위의 형상에 대한 기본 이미지를 단말기의 메모리에 저장하는 단계;

   카메라가 캡처한 영상의 분할 이미지와 상기 특정부위 기본 이미지의 일치여부를 비교하여 해당 특정부위를 인식하는 단계;

   상기 특정부위의 화면상 위치정보를 추출하는 단계; 및,

   미리 설정되어 있는 특정부위-얼굴중심 상대위치정보 및 카메라-특정부위 사이의 거리정보를 기초로 얼굴중심 위치를 산출하는 단계;로 이루어지는 것을 특징으로 하는 카메라방향 자동추적장치를 구비하는 이동통신 단말기.