KR20060081591A

KR20060081591A - 화상 통화 이미지 출력 방법

Info

Publication number: KR20060081591A
Application number: KR1020050002086A
Authority: KR
Inventors: 김희정
Original assignee: 삼성전자주식회사
Priority date: 2005-01-10
Filing date: 2005-01-10
Publication date: 2006-07-13
Also published as: KR100703364B1; US20060152578A1

Abstract

본 발명은 화상 통화 단말기에서 화상 통화시, 촬영 이미지 및 통화하는 상대방으로부터 전송된 상대방 이미지 중 어느 하나를 표시부의 전체 화면에 출력하며 다른 하나를 미리 마련된 별도의 창으로 출력하는 화상 통화 이미지 출력 방법에 있어서, 전체 화면에 출력하는 이미지에서 사용자 또는 상대방의 얼굴 및 머리 이미지를 추출하여 사용자 또는 상대방의 얼굴 및 머리 이미지를 포함하는 사용자 또는 상대방 이미지 영역을 설정하는 과정과, 전체 화면상에서 사용자 또는 상대방 이미지 영역과 상기 창의 출력 위치를 비교하는 과정과, 비교 결과에 따라, 전체 화면에 출력하는 이미지를 재조정한다.

화상통화, 얼굴 영역 추출, 이미지

Description

화상 통화 이미지 출력 방법{METHOD OF DISPLAYING VIDEO CALL IMAGE}

도 1은 본 발명이 적용되는 화상 통화 단말기의 개략적인 전체 블록 구성도

도 2는 도 1에서 화상 통화시 표시부에 출력되는 촬영 이미지의 일 예시도

도 3a, 3b, 3c는 도 1에서 화상 통화시 표시부에서 단말기 촬영 이미지 및 상대방에 대한 이미지가 조합되어 출력되는 통화 이미지의 예시도들

도 4는 도 1에서 본 발명의 일 실시예에 따른 화상 통화시 단말기 사용자 얼굴 영역 추출 방식을 설명하기 위한 단말기 촬영 이미지의 일 예시도

도 5 및 도 6은 도 1에서 본 발명의 일 실시예에 따른 화상 통화시 표시부에서 상대방 이미지의 출력 위치를 고려한 사용자 이미지 출력 위치 설정을 설명하기 위한 통화 이미지의 예시도

도 7은 도 1에서 본 발명의 일 실시예에 따른 영상 메모리에 저장되는 사용자 이미지 영역 재설정을 위한 정보의 저장 포맷도

도 8은 도 1에서 본 발명의 일시예에 따른 화상 통화시 화상 통화 이미지 출력 동작의 흐름도

본 발명은 화상 통화가 가능한 휴대용 단말기, 화상 통화 전화기(이하의 설명에서는 이동통신 단말기를 중점으로 하여 설명할 것이다)의 동작 제어에 관한 것으로, 특히 화상 통화시 통화 이미지의 출력 방법에 관한 것이다.

최근 들어 정보화 사회의 급격한 발달로 단순히 음성만을 전달하는 이동통신 단말기 이외에도 다양한 기능이 추가된 이동통신 단말기의 개발이 요구되고 있다. 이에 따라 최근의 이동통신 단말기는 음성 통신의 기능 외에 고속으로 화상 및 데이터 통신 기능을 수행할 수 있는 기능이 필수적으로 구현되고 있으며, 특히 디지털 카메라 모듈을 채용하여 디지털 카메라의 기능을 구현한 일명 카메라폰이 널리 보급되고 있다.

이러한 카메라폰은 특정 장면이나 동영상 등을 촬영하여 저장하는 기능을 기본적으로 구비하고 있으며, 또한 영상 데이터의 송수신 기능을 구비하고 있어서, 기지국을 통해 촬영한 영상을 무선으로 다른 단말기로 전송할 수 있으며 기지국으로부터 수신되는 영상 데이터를 저장할 수 있는 등 그 활용 분야가 다양하다. 특히 최근들어서는 이러한 카메라폰을 이용한 화상 통화 기능도 구현되어 점차 그 서비스 범위가 늘고 있다.

한편, 카메라폰을 이용하여 화상 통화를 하는 경우, 통상 촬영 이미지는 단말기의 표시부인 LCD에 크게, 즉 전체 화면으로 출력되며, 상대방의 이미지는 LCD의 상단의 좌우 한쪽 편에 별도의 창으로 작게 상기 촬영 이미지와 중첩되게 출력 된다(물론 이 경우에 상대방의 이미지를 크게 출력하며 촬영 이미지를 작게 출력할 수도 있다). 이때 상대방 이미지가 나타나는 창의 위치는 고정되어 있거나 별도로 마련된 기능 설정 메뉴를 통한 사용자의 설정에 의해, 좌, 우, 상, 하측 가운데 한 곳에 출력되도록 할 수도 있다.

이와 같이 카메라폰을 이용하여 화상 통화를 할 경우에, 촬영 이미지(또는 상대방의 이미지)는 LCD 전체에 걸쳐서 크게 나타나고, 상대방의 이미지(또는 촬영 이미지)는 LCD 상단의 좌우측 가운데 한 곳에 작게 나타나게 되므로, 사용자는 상대방의 이미지에 의해 자신의 얼굴 이미지가 가려지지 않도록(또는 자신의 이미지에 의해 상대방의 얼굴 이미지가 가려지지 않도록) 카메라폰의 위치를 조정해야 하고, 때때로 자신의 얼굴 이미지(또는 상대방의 얼굴 이미지)가 가려지는 경우에는 자신의 자세나 카메라폰을 조정하여 LCD에 자신 및 상대방의 얼굴 이미지가 잘 나타나도록 하여야 했다.

따라서, 본 발명의 목적은 화상 통화시에 표시부에 나타나는 촬영 이미지 및/또는 상대방의 이미지의 출력을 조정함으로써, 사용자의 얼굴 및 상대방의 얼굴 이미지가 모두 잘 출력되도록 하기 위한 화상 통화 이미지 출력 방법을 제공함에 있다.

상기한 목적을 달성하기 위하여 본 발명은 카메라로부터 입력받은 촬영 영상에서 사용자의 얼굴 영역을 파악한 다음, 이를 바탕으로 단말기의 표시부에 나타나 는 사용자 이미지의 위치를 화상 통화를 하고 있는 상대방 이미지가 나타나는 위치를 고려하여 재배치하도록 하여 사용자 얼굴 이미지와 상대방의 얼굴 이미지를 겹치지 않은 상태로 볼 수 있도록 함을 특징으로 한다.

이하 본 발명에 따른 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.

또한, 하기의 설명에서는 설명의 편의를 위해 촬영 이미지가 표시부인 LCD에 전체 화면으로 출력되며, 상대방의 이미지는 LCD의 상단의 좌측 또는 우측에 별도의 창으로 작게 출력되는 경우를 예로서 개시하나, 이외에도 상대방의 이미지가 LCD의 전체 화면으로 출력되며, 촬영 이미지가 작게 출력되는 경우에도 본 발명이 적용될 수 있음에 유의하여 한다.

도 1은 본 발명이 적용되는 화상 통화 단말기, 예를 들어 이동통신 단말기의 개략적인 전체 블록 구성도이다. 도 1을 참조하여, 먼저 화상 통화 단말기의 전체 구성을 살펴보면, 본 발명이 적용되는 이동통신 단말기는 사용자와 인터페이스 동작을 수행하며, 스피커(51), 표시부(LCD: Liquid Crystal Display)(52), 키입력부(54), 마이크(58) 등으로 구성되는 사용자 인터페이스(50)와, 카메라 기능을 수행 하며, 렌즈부(61), 줌기구부(68), 줌구동부(69), 촬상소자(CCD: Charge Coupled Device)(62), 신호처리부(63), 영상처리부(64), 영상메모리(65) 등으로 구성되는 카메라 모듈(60)과, 무선 신호 처리 동작을 수행하는 RF/IF 처리부(30)와, ROM 및 RAM으로 구성되어 이동통신 단말기의 각종 동작 프로그램 및 동작 관련 데이터들을 저장하는 메모리부(20)와, 음성신호 처리 동작을 수행하는 음성신호 처리부(CODEC)(40) 및 이동통신 단말기 전체를 제어하는 중앙처리장치의 역할과 모뎀의 기능을 수행하는 이동국 모뎀장치(MSM : Mobile Station Modem)(10)를 포함하여 구성한다.

상기 각 기능부들의 구성 및 동작을 보다 상세히 설명하면, 먼저 사용자 인터페이스(50)에서, 마이크(56)는 전화통화시 사용자의 음성을 전기적 신호로 변환하여 음성신호 처리부(40)로 보내며, 스피커(51)는 이와 반대로 음성신호 처리부(40)로부터 음성 신호를 제공받아 이에 따른 가청음을 발생한다. 키입력부(54)는 숫자 및 문자를 입력받기 위한 다수의 숫자/문 자키들과 이동통신 및 카메라 촬영을 위한 각종 기능을 설정받기 위한 다수의 기능 키들을 구비하여 사용자로부터 특정 키의 입력이 있을 경우에 해당 키 입력 데이터를 이동국 모뎀장치(10)로 제공한다. 통상 LCD로 구성되는 표시부(52)는 LCD 제어기, 영상데이터 저장용 메모리 및 LCD표시소자 등으로 구성되어, 이동국 모뎀장치(10)의 제어하에 이동통신 단말기의 현 상태, 사용자 메뉴 등의 정보의 문자 표시나 배경 영상의 표시 및 카메라 모듈(60)로부터 제공되는 촬영 영상을 표시한다. 이때 상기 표시부(52)의 LCD에는 터치스크린(touch screen)(53)이 채용될 수도 있다.

RF/IF 처리부(30)는 송신하는 신호의 주파수를 상승 변환 및 증폭하는 RF 송신기와, 수신되는 신호를 저잡음 증폭하고 주파수를 하강 변환하는 RF 수신기 등으로 구성되어, 이동국 모뎀장치(10)로부터 받은 변조된 신호를 중간주파수로 변환한 후 다시 고주파(RF) 신호로 변환하여 안테나를 통해 기지국으로 전송하며, 기지국으로부터 고주파 신호를 안테나를 통해 수신하여 이를 중간주파수와 기저대역으로 순차적으로 변환하여 이동국 모뎀장치(10)로 제공한다.

통상 오디오 코덱으로 구성되는 음성신호 처리부(40)는 마이크(56)로부터 수신되는 아날로그 음성신호를 디지털 신호(PCM)로 변환하여 이를 이동국 모뎀장치(10)로 보내며 이동국 모뎀장치(10)로부터 들어오는 상대편 음성의 디지털 신호(PCM)를 아날로그 신호로 변환하여 스피커(51)로 보내는 역할을 한다. 이러한 음성신호 처리부(40)는 별도로 블록으로 도시하였으나, 이동국 모뎀장치(10)에 원칩화되어 포함되도록 구성할 수도 있다.

이동국 모뎀장치(10)는 키입력부(54)로부터 입력되는 키데이터에 따라 이동통신 단말기의 각종 기능을 수행하며, 이러한 기능 수행에 따른 현재 상태 및 사용자 메뉴 등의 정보를 표시부(52)를 통해 디스플레이되도록 한다. 특히 화상 통화를 위한 음성신호 처리시에는 음성신호 처리부(40)로부터 제공받은 PCM 음성신호를 채널 코딩(channel coding) 및 인터리빙(interleaving)을 통해 변환한 후 변조하여 RF/IF 처리부(30)로 제공하며, RF/IF 처리부(30)로부터 제공되는 화상 및 음성신호를 복조, 등화(Equalization), 채널 디코딩(Channel decoding) 및 디인터리빙(Deinterleaving)을 거쳐 PCM 음성신호 및 화상 데이터로 생성한 후 이를 각각 음 성신호 처리부(40)와 영상 처리부(64)로 보낸다.

카메라 모듈(60)에서, 렌즈부(61)는 피사체의 광을 입력받는다. 이러한 렌즈부(61)는 줌인/아웃(Zoom In/Out)이 가능하도록 다수의 줌 렌즈들로 구성되며, 줌 렌즈들은 줌인/아웃시에 서로간에 정확한 위치를 형성하게 이동 가능할 수 있도록 적절한 다수의 기어 및 이동 장치로 구성되는 줌기구부(68)에 설치된다. 줌구동부(69)는 모터 및 모터의 구동력을 상기 줌기구부(68)로 전달하는 전달 장치로 구성되어, 상기 이동국 모뎀장치(10)의 제어하에 줌기구부(68)를 구동시켜 렌즈 부(61)를 적절히 줌인/아웃시키게 된다. 렌즈부(61)에서 입력되는 광은 촬상 소자(62)로 진행되는데, 촬상 소자(62)는 통상 CCD(Charge Coupled Device)(또는 CMOS: Complementary Metal Oxide Semiconductor)로 구성되어, 렌즈부(61)를 거쳐 입력된 광신호를 적색, 녹색, 청색의 밝기와 컬러 값을 가진 전기적 신호로 변환하여 출력한다. 신호처리부(63)는 DSP((Digital Signal Processor)로 구성되어, 촬상 소자(62)에서 출력되는 신호를 상관 더블 샘플링 및 이득 조절(CDS/AGC: Correlated Double Sampling/Auto Gain Control)하며, 이의 신호를 디지털신호로 변환한다. 영상처리부(64)는 신호처리부(63)에서 출력되는 신호를 감마보정, 색보정 등의 화상처리를 행하여 TSC(National Television System Committee) 또는 PAL(Phase Alternation by Line)방식의 영상 데이터를 발생하여 상기 표시부(52)로 제공한다. 이러한 영상처리부(64)는 신호처리부(63)의 출력 신호를 프레임 단위로 처리하며, 상기 프레임 단위의 영상 데이터를 상기 표시부(52)의 특성 및 LCD의 크기에 맞추어 출력한다. 이때 영상처리부(63)는 영상 코덱을 구비하며, 표시부(52)에 표시되 는 프레임 영상 데이터를 적절히 설정된 방식으로 압축하거나, 압축된 프레임 영상 데이터를 원래의 프레임 영상데이터로 복원하는 기능을 수행한다. 여기서 상기 영상 코덱은 JPEG 코덱, MPEG4 코덱, Wavelet 코덱 등이 될 수 있다. 또한 영상처리부(54)에는 OSD(On Screen Display) 기능을 구비하여, 이동국 모뎀장치(10)의 제어하에 표시부(52)의 출력 영상 데이터에 온스크린 데이터를 합성하여 출력한다. 또한 이러한 영상 처리부(64)는 본 발명의 특징에 따라 화상 통화시 사용자의 이미지의 적절한 처리 및 상대방 이미지와의 합성 동작을 수행한다.

영상 메모리(64)는 영상처리부(54)의 영상 처리 동작에 필요한 데이터 임시 저장용 메모리와, 다수의 촬영 영상 데이터를 저장하는 내장 메모리로 사용된다. 또한 이러한 영상 메모리(65)에는 본 발명의 특징에 따라 화상 통화시 사용되는 촬영 이미지 및 상대방 이미지를 저장할 수 있다.

도 1에 도시된 바와 같은 구성을 가지는 이동통신 단말기의 동작을 살펴보면, 사용자가 키입력부(54)를 이용하여 다이얼링 동작을 수행한 후 발신모드를 설정하면, 이동국 모뎀장치(10)는 이를 감지하고 입력되는 다이얼 정보를 처리한 후 RF/IF 처리부(30)를 무선 신호로 변환하여 출력한다. 이후 RF/IF 처리부(30)를 통해 수신되는 상대 가입자의 응답신호는 음성신호 처리부(40)를 스피커(51)로 출력되게 음성 통화로가 형성되어 통신 기능을 수행하게 된다. 착신모드시에는 상기 이동국 모뎀장치(10)는 RF/IF 처리부(30)를 통해 착신모드임을 감지하고, 음성신호 처리부(40)를 통해 링신호가 발생되도록 한다. 이후 사용자의 응답시 이동국 모뎀장치(10)는 이를 감지하고, 마찬가지로 음성신호 처리부(40)를 통해 음성 통화로가 형성되도록 하여 통신 기능을 수행하게 된다.

한편, 화상 통화 모드시에는 이동국 모뎀장치(10)는 카메라 모듈(60)을 동작시켜 카메라 모듈(60)에 의해 촬영 이미지와, 상대방 단말기로부터 전송된 상대방 이미지를 합성하여 표시부(52)에 출력되도록 제어하는데, 이하 첨부 도면을 참조하여 이를 보다 상세히 설명하기로 한다.

도 2는 도 1에서 화상 통화시 표시부(52)에 출력되는 촬영 이미지의 일 예시도이며, 도 3a, 3b, 3c는 도 1에서 화상 통화시 표시부(52)에서 촬영 이미지 및 상대방에 대한 이미지가 조합되어 출력되는 통화 이미지의 예시도들이다. 도 2 및 도 3a, 3b, 3c를 참조하면, 사용자는 화상 통화시 표시부(52)를 통하여 자신의 이미지(200)와 함께 상대방의 이미지(300)를 확인할 수 있다. 일반적으로 화상 통화시 사용자는 단말기를 손에 들고서 자신의 모습을 촬영하는 상태이므로, 도 2에 도시된 바와 같이, 화면의 많은 부분을 사용자의 얼굴 이미지가 차지하게 된다.

도 3a와 도 3b는 표시부(52)에 나타나는 촬영 이미지(201, 202)에서 사용자의 이미지가 표시부(52)의 우측 상단에 위치한 상대방의 이미지(300)에 의해 일부분 가려지는 상태가 도시된다. 상대방의 이미지(300)를 표시부(52) 우측 상단에 나타내는 경우 촬영 이미지(201, 202)에서 사용자 얼굴 이미지가 표시부(52)의 가운데에 있는 경우(도 3a)나 오른쪽으로 치우친 경우(도 3b) 사용자 얼굴 이미지가 상대방의 이미지(300)에 의해 가려져 일부분이 보이지 않게 된다.

도 3c는 촬영 이미지(203)가 표시부(52)의 왼쪽으로 치우친 경우를 나타낸 것이다. 이 경우 사용자의 얼굴 이미지는 상대방의 이미지(300)에 의해 가려지지 않게 된다. 본 발명의 일 실시예에서는 도 3a와 도 3b와 같은 경우가 발생할 경우 사용자의 얼굴 이미지가 표시부(52)에서 전체적으로 좌측에 위치하도록 하여, 도 3c와 같이 표시부(52)에 나타내도록 한다.

도 4는 도 1에서 본 발명의 일 실시예에 따른 화상 통화시 단말기 사용자 얼굴 영역 추출 방식을 설명하기 위한 촬영 이미지(200)의 일 예시도이다. 도 4를 참조하면, 카메라 모듈(60)에서 입력된 촬영 이미지(200)에서 사용자 얼굴 윤곽(edge-detection)과 주변 이미지와의 색상 차이를 이용하여 먼저 얼굴 영역(404)을 추출한다. 추출한 얼굴 영역(404)을 바탕으로 마찬가지로 색상 차이를 이용하여 머리카락 영역을 찾아서 머리카락 부분과 얼굴을 포함하는 머리 영역(403)을 추출한다. 이후 추출한 머리 영역(403)의 상하좌우 가장자리를 연결한 사각형 영역을 사용자 이미지 영역(402)으로 설정한다. 사용자 이미지 영역(402)이 설정되면 촬영 이미지의 좌측상단인 P0(401)을 기준점 [0,0]으로 하고 가로방향을 X축, 세로방향을 Y축으로 하여 사용자 이미지 영역(402)의 각 모서리 부분의 좌표값을 구한다. 이때 사용자 이미 영역(402)의 좌측상단 모서리의 경우 좌표값은 [X_L, Y_T], 좌측 하단 모서리의 경우 좌표값은 [X_L, Y_B], 우측상단 모서리의 경우 좌표값은 [X_R, Y_T], 우측하단 모서리의 경우 좌표값은 [X_R, Y_B]가 된다. 또한 사용자 이미지 영역(402)의 가로방향 길이는 X_W, 세로방향 길이는 Y_H가 된다.

도 5 및 도 6은 도 1에서 본 발명의 일 실시예에 따른 화상 통화시 표시부(52)에서 상대방 이미지의 출력 위치를 고려한 사용자 이미지 출력 위치 설정을 설 명하기 위한 통화 이미지의 예시도이다. 먼저, 도 5에는 도 3c에 도시된 바와 같이 사용자의 얼굴 이미지가 표시부(52)의 좌측으로 치우친 경우를 나타낸 것이다. 이 경우 사용자의 머리카락 부분과 얼굴 전체를 포함하는 사용자 이미지 영역(501)의 우측 X좌표인 X_R(503)과 화상 통화를 하는 상대방의 이미지가 나타나는 영역(502)의 좌측 좌표인 X_IN(504)을 비교하면 X_IN의 값이 X_R보다 크다. 즉 사용자의 얼굴 이미지가 화상 통화를 하는 상대방의 이미지에 의해 가려지지 않음을 알 수 있다.

도 6은 도 3a 또는 도 3b와 같이 사용자의 얼굴 이미지가 표시부(52)의 가운데에 있거나 우측에 치우친 경우를 나타낸 것이다. 이 경우 사용자의 머리카락 부분과 얼굴 전체를 포함하는 사용자 이미지 영역(601)의 좌측 좌표인 X_R(603)과 화상 통화를 하는 상대방의 이미지가 나타나는 영역(602)의 좌측 좌표인 X_IN(604)을 비교하면 X_IN의 값이 X_R보다 작다. 즉 이 경우에는 사용자의 얼굴 이미지가 화상 통화를 하는 상대방의 이미지에 의해 일부분 가려짐을 알 수 있다. 이 경우 사용자의 얼굴 이미지 영역(601)을 표시부(52)의 화면 좌측으로 이동시켜 사용자의 얼굴 이미지가 상대방의 이미지에 의해 가려지지 않도록 한다. 이를 위해 본 발명에서는 사용자의 얼굴을 중심으로 새로운 사용자 이미지 영역(605)을 설정하여 이 부분만을 좌측으로 이동시키도록 한다. 이를 위해 영상 메모리(65)에서 새로 설정할 사용자 이미지 영역(605)에 대한 정보들 [ΔX₁, ΔX₂, ΔY₁, ΔY₂]을 가져온 다음 앞에서 사용자의 얼굴 주변에 설정한 사용자 이미지 영역(601)을 기준으로 새로운 사용자 이미지 영 역(605)을 설정한다. 새로운 사용자 이미지 영역(605)은 기존 사용자 이미지 영역(601)을 기준으로 상하좌우 영역을 확장하여 설정하는데 좌측으로 확장하는 길이인 ΔX₁보다 우측으로 확장하는 길이인 ΔX₂의 값이 더 크다. ΔX₁보다 ΔX ₂의 값을 더 크게 한 다음 생성된 사용자 이미지 영역(605)을 좌측으로 이동함으로써 사용자 이미지는 표시부(52)의 좌측으로 치우쳐서 나타나게 된다. 이때, 상기 새로 설정할 사용자 이미지 영역(605)에 대한 정보들 [ΔX₁, ΔX₂, ΔY₁, ΔY₂]은 화면에 나타낼 수 있는 전체 사이즈와 사용자의 얼굴 영역의 사이즈에 따라 적절히 달리 설정된다. 이후 좌측으로 이동한 새로운 사용자 이미지 영역(605)을 표시부(52)의 가로세로 길이에 맞춰서 확대한다. 이에 따라 사용자의 이미지는 표시부(52)의 좌측으로 치우치게 되고 화상 통화를 하는 상대방의 이미지와 겹치지 않게 된다.

도 7은 도 1에서 본 발명의 일 실시예에 따른 영상 메모리(65)에 저장되는 사용자 이미지 영역 재설정을 위한 정보의 저장 포맷도로서, 도 7을 참조하면, 영상 메모리(65)에 포함되어 있는 정보들은 사용자의 머리카락과 얼굴을 포함하는 머리 주변에 설정된 사용자 이미지 영역(601)을 기준으로 사용자의 이미지를 좌측으로 이동하기 위해 사용되는 새로운 사용자 이미지 영역(605)을 설정하기 위해 필요한 정보들(ΔX₁, ΔX₂, ΔY₁, ΔY₂ : 707, 708, 709, 710)과, 표시부(52)에 나타낼 수 있는 최대 이미지의 크기에 대한 정보들(W_LCD, H_LCD : 701, 702)과, 상대방의 이미지를 나타내기 위한 창의 크기에 대한 정보들(W_IN, H_IN : 703,704), 및 창의 위치 정 보들(X_IN, Y_IN : 705, 706)을 포함한다.

W_LCD(701)와 H_LCD(702)는 표시부(52)에 나타낼 수 있는 최대 이미지의 가로 및 세로 크기를 의미한다. W_IN(703)과 H_IN(704)은 화상 통화를 하는 상대방의 이미지를 나타내는 작은 창의 가로 및 세로 크기를 나타낸다. X_IN(705)과 Y_IN(706)은 상대방의 이미지를 나타내는 작은 창의 좌측상단의 X좌표 및 Y좌표를 나타낸다. 상대방의 이미지를 나타내는 작은 창은 [X_IN, Y_IN]을 좌측상단으로 해서 가로 방향으로 W_IN(703), 세로 방향으로 H_IN(704)만큼의 길이를 가지는 창이다. ΔX₁(707)은 좌측으로 확장되는 길이를 나타낸 것이고, ΔX₂는 우측으로 확장되는 길이를 나타낸 것이다. 상대방의 이미지를 표시부(52)의 오른쪽에 나타내는 경우 사용자의 얼굴 영역을 기준으로 오른쪽에 더 많은 여유 공간이 필요하다. 따라서 ΔX₂의 값은 ΔX₁값보다 더 크다. ΔY₁은 위쪽으로 확장되는 길이를 나타낸 것이고, ΔY₂는 아래쪽으로 확장되는 길이를 나타낸다.

도 8은 도 1에서 본 발명의 일시예에 따른 화상 통화시 화상 통화 이미지 출력 동작의 흐름도이다. 도 8을 참조하면, 화상 통화 모드시에 카메라 모듈(60)은 먼저 801단계에서 사용자를 촬영하여 사용자의 이미지를 입력한다. 이후 802단계에서 촬영 이미지에서 피부와 주변과의 색상 차이 및 얼굴 윤곽을 이용하여 얼굴 영역(도 4의 404)을 추출해 낸다. 이후 803단계에서는 상기 찾아진 얼굴 영역을 참고 로 하여 얼굴보다 짙은 색상의 머리카락을 찾아 머리카락 부분과 얼굴을 포함하는 머리 영역(도 4의 403)을 추출하며, 또한 이를 기준으로 머리 주변에 사용자 이미지 영역(도 4의 402)을 설정한다.

이후 804단계에서는 본 발명의 일 실시예에 따라 촬영 이미지에서 사용자의 급격한 움직임이 있는 지의 여부를 확인하는데, 이는 현재 촬영 이미지에서 사용자 이미지의 위치가 이전 촬영 이미지들에서의 평균 위치보다 크게 변경되었는지 확인하는 것으로 설정 가능하다. 이와 같이 사용자의 급격한 움직임을 확인하는 것은 얼굴 영역 추출 등 이미지 처리에는 많은 시 처리 시간과 고 성능이 요구되므로, 카메라 모듈(60)로 입력되는 모든 이미지에 대해 이미지 처리를 하지 않고 특정 이미지, 즉 사용자의 급격한 움직임이 있는 이미지에 대해서만 처리하기 위함이다.

최초 입력된 촬영 이미지의 처리 시에는 비교할 이전 촬영 이미지가 없으므로, 현재 804단계에서는 상기 사용자의 급격한 움직임이 있는 이미지가 없는 것으로 판단하여 이후 806단계로 진행한다. 806단계에서 영상처리부(64)는 이동통신망을 통해 전달된 상대방 이미지를 이동국 모뎀장치(10)로부터 제공받아 미리 설정된 창에 따른 정해진 크기(705, 706)에 맞게 변환하고, 이후 807단계로 진행하여 사용자 이미지와 더불어 표시부(52)의 정해진 위치(도 6의 602)에 출력한다. 이후 상기 801단계로 되돌아가서 상기 촬영 이미지를 입력받아 처리하는 동작을 반복진행하게 된다.

이때, 상기 803단계에서는 사용자 이미지 영역(402)을 설정할 때마다 사용자 이미지 영역(402)의 중심점을 찾아 이전 사용자 이미지 영역의 중심점과의 위치 차 이를 계산해 둔다. 또한 이러한 방식으로 미리 적절히 설정된 T초간 해당 단계를 반복 진행하게 되며 이전 T초간 사용자 이미지 영역(402)의 중심 위치가 평균적으로 변한 거리를 계산해 둔다. 상기 804단계에서는 카메라 모듈(60)로부터 새로 입력된 촬영 이미지에서 추출한 사용자 이미지 영역의 중심점과 바로 이전 촬영 이미지의 사용자 이미지 영역의 중심점과의 위치 차이가 앞에서 계산된 T초간의 평균 거리차이보다 큰 경우 사용자의 급격한 움직임이 있는 것으로 판단하여 이후 805단계로 진행한다.

805단계에서는 사용자의 머리를 중심으로 설정된 사용자 이미지 영역(도 6의 601)의 오른쪽 X좌표값인 X_R(603)과 상대방의 이미지를 나타내는 창의 왼쪽 X좌표값인 X_IN(604)의 값을 비교한다. 비교 결과 X_R의 값이 X_IN의 값보다 더 크지 않은 경우에는 상기한 806단계로 진행하며, 더 큰 경우, 즉 사용자의 머리를 중심으로 한 사용자 이미지 영역과 상대방 이미지를 나타내는 창이 겹치게 되면 이후 808단계로 진행한다. 808단계에서는 이 두 이미지가 겹치지 않도록 사용자 이미지 영역을 재설정 해주게 된다. 이를 위해 영상 메모리(65)에 저장되어 있는 값들(707~710)을 이용하여 앞서 설정한 사용자의 머리 주변의 사용자 이미지 영역(601)보다 큰 새로운 사용자 이미지 영역(605)을 설정한다. 이후 809단계에서는 상기 새로 설정된 사용자 이미지 영역(605)을 좌측으로 이동시키며, 표시부(52)의 크기에 맞게 확대시킨후 상기와 같은 807단계로 진행한다. 이때 새로 설정된 사용자 이미지 영역은 하기 수학식 1과 같은 계산을 통하여 Xcorr만큼 좌측으로 이동된다.

W_LCD : ΔX₁+X_R-X_L+ΔX₂ = W_LCD-(ΔX ₁+(X_IN-X_L)+W_IN) : Xcorr

상기와 같이 본 발명의 일 실시예에 따른 화상 통화 이미지 출력 동작이 이루어질 수 있으나, 한편 상기한 본 발명의 설명에서는 구체적인 실시예에 관해 설명하였으나 여러 가지 변형이 본 발명의 범위를 벗어나지 않고 실시될 수 있다. 예를 들어 상기의 설명에서는 상대방 이미지를 나타내는 창이 표시부의 우측 상단에 마련되는 것으로 설명하였으나, 이외에도 우측 하단이나, 좌측 상하단에 마련되며 상기 사용자 이미지 영역이 이와 같이 마련된 상대방 이미지 창에 의해 가려지지 않도록 구성할 수 있다. 이외에도 본 발명의 다양한 실시예 및 변형예가 있을 수 있으며, 따라서 본 발명의 범위는 설명된 실시예에 의하여 정할 것이 아니고 청구범위와 청구범위의 균등한 것에 의하여 정하여져야 할 것이다.

상기한 바와 같이, 본 발명에 따른 화상 통화 이미지 출력 방식은 화상 통화를 위해 사용되는 단말기에서 카메라 모듈로부터 촬영된 촬영 이미지에서 사용자의 얼굴 이미지 위치를 파악하여 재배치해 줌으로써, 사용자의 잦은 작은 움직임으로 인해 자신의 이미지가 상대방의 이미지에 의해 가려서 보이지 않는 경우를 줄여 주는 등 사용자가 보다 만족스럽게 화상 통화를 할 수 있도록 화상 통화 품질을 향상시킬 수 있다.

Claims

화상 통화 단말기에서 화상 통화시, 촬영 이미지 및 통화하는 상대방으로부터 전송된 상대방 이미지 중 어느 하나를 표시부의 전체 화면에 출력하며 다른 하나를 미리 마련된 별도의 창으로 출력하는 화상 통화 이미지 출력 방법에 있어서,

상기 전체 화면에 출력하는 이미지에서 사용자 또는 상대방의 얼굴 및 머리 이미지를 추출하여 사용자 또는 상대방의 얼굴 및 머리 이미지를 포함하는 사용자 또는 상대방 이미지 영역을 설정하는 과정과,

상기 전체 화면상에서, 상기 설정한 사용자 또는 상대방 이미지 영역과 상기 창의 출력 위치를 비교하는 과정과,

상기 비교 결과에 따라, 상기 전체 화면에 출력하는 이미지를 재조정함을 특징으로 하는 화상 통화 이미지 출력 방법.
제1항에 있어서, 상기 사용자 또는 상대방 이미지 영역은 상기 추출한 머리 이미지 영역의 상하좌우 가장자리를 연결한 사각형 영역으로 설정함을 특징으로 하는 화상 통화 이미지 출력 방법.
제1항에 있어서, 상기 전체 화면상에서, 상기 설정한 사용자 또는 상대방 이 미지 영역과 상기 창의 출력 위치를 비교하는 것은 상기 사용자 또는 상대방 이미지 영역과 상기 창의 출력 위치가 겹치는지 여부를 확인하는 것임을 특징으로 하는 화상 통화 이미지 출력 방법.
제1항에 있어서, 상기 비교 결과에 따라 상기 전체 화면에 출력하는 이미지를 재조정 하는 것은 상기 전체 화면에 출력하는 이미지에서 상기 사용자 또는 상대방 이미지 영역을 상기 창측 방향의 확장값이 더 크도록 미리 설정된 값에 따라 확장하며, 확장한 영역을 상기 전체 화면에 맞추어 확대하는 것임을 특징으로 하는 화상 통화 이미지 출력 방법.
제1항 또는 제4항 중 어느 한 항에 있어서, 상기 전체 화면에 출력하는 이미지는 상기 촬영 이미지이며, 상기 창으로 출력하는 이미지는 상기 상대방 이미지임을 특징으로 하는 화상 통화 이미지 출력 방법.
제1항에 또는 제4항 중 어느 한 항에 있어서, 상기 전체 화면상에서 상기 창의 위치는 우측 상단, 우측 하단, 좌측 상단, 좌측 하단 중 어느 하나임을 특징으로 하는 화상 통화 이미지 출력 방법.
화상 통화 단말기에서 화상 통화시, 촬영 이미지 및 통화하는 상대방으로부터 전송된 상대방 이미지 중 어느 하나를 표시부의 전체 화면에 출력하며 다른 하나를 미리 마련된 별도의 창으로 출력하는 화상 통화 이미지 출력 방법에 있어서,

상기 전체 화면에 출력하기 위해 연속적으로 처리하는 이미지들에서 사용자 또는 상대방의 얼굴 및 머리 이미지를 추출하여 사용자 또는 상대방의 얼굴 및 머리 이미지를 포함하는 사용자 또는 상대방 이미지 영역을 설정하며, 상기 사용자 또는 상대방 이미지가 미리 설정된 기준치 이상의 움직임이 있는지 확인하는 과정과,

상기 확인 결과, 상기 사용자 또는 상대방 이미지가 상기 기준치 이상의 움직임이 있을 경우에, 상기 전체 화면상에서, 상기 설정한 사용자 또는 상대방 이미지 영역과 상기 창의 출력 위치를 비교하는 과정과,

상기 비교 결과에 따라, 상기 전체 화면에 출력하는 이미지를 재조정함을 특징으로 하는 화상 통화 이미지 출력 방법.
제7항에 있어서, 상기 상기 사용자 또는 상대방 이미지가 미리 설정된 기준치 이상의 움직임이 있는지 확인하는 것은 상기 사용자 또는 상대방 이미지 영역의 설정시 미리 설정된 이전 기준 시간 동안 상기 사용자 또는 상대방 이미지 영역 의 평균 위치를 계산하며, 가장 최근 설정된 사용자 또는 상대방 이미지 영역의 위치가 상기 평균 위치를 미리 설정된 기준치 이상 벗어나는지 확인하는 것임을 특징으로 하는 화상 통화 이미지 출력 방법.
제8항에 있어서, 상기 사용자 또는 상대방 이미지 영역의 평균 위치를 계산하는 것은 상기 사용자 또는 상대방 이미지 영역의 중심점의 위치 차이를 계산하는 것임을 특징으로 하는 화상 통화 이미지 출력 방법.
제7항에 있어서, 상기 사용자 또는 상대방 이미지 영역은 상기 추출한 머리 이미지 영역의 상하좌우 가장자리를 연결한 사각형 영역으로 설정함을 특징으로 하는 화상 통화 이미지 출력 방법.
제7항에 있어서, 상기 전체 화면상에서, 상기 설정한 사용자 또는 상대방 이미지 영역과 상기 창의 출력 위치를 비교하는 것은 상기 사용자 또는 상대방 이미지 영역과 상기 창의 출력 위치가 겹치는지 여부를 확인하는 것임을 특징으로 하는 화상 통화 이미지 출력 방법.
제7항에 있어서, 상기 비교 결과에 따라 상기 전체 화면에 출력하는 이미지를 재조정 하는 것은 상기 전체 화면에 출력하는 이미지에서 상기 사용자 또는 상대방 이미지 영역을 상기 창측 방향의 확장값이 더 크도록 미리 설정된 값에 따라 확장하며, 확장한 영역을 상기 전체 화면에 맞추어 확대하는 것임을 특징으로 하는 화상 통화 이미지 출력 방법.
제7항 또는 제12항 중 어느 한 항에 있어서, 상기 전체 화면에 출력하는 이미지는 상기 촬영 이미지이며, 상기 창으로 출력하는 이미지는 상기 상대방 이미지임을 특징으로 하는 화상 통화 이미지 출력 방법.
제7항에 또는 제12항 중 어느 한 항에 있어서, 상기 전체 화면상에서 상기 창의 위치는 우측 상단, 우측 하단, 좌측 상단, 좌측 하단 중 어느 하나임을 특징으로 하는 화상 통화 이미지 출력 방법.