KR20040014053A - Mobile station and face detection method for mobile station - Google Patents

Mobile station and face detection method for mobile station Download PDF

Info

Publication number
KR20040014053A
KR20040014053A KR1020020047221A KR20020047221A KR20040014053A KR 20040014053 A KR20040014053 A KR 20040014053A KR 1020020047221 A KR1020020047221 A KR 1020020047221A KR 20020047221 A KR20020047221 A KR 20020047221A KR 20040014053 A KR20040014053 A KR 20040014053A
Authority
KR
South Korea
Prior art keywords
image
memory
dsp chip
face
area
Prior art date
Application number
KR1020020047221A
Other languages
Korean (ko)
Other versions
KR100438283B1 (en
Inventor
이진수
박기수
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR20020047221A priority Critical patent/KR100438283B1/en
Publication of KR20040014053A publication Critical patent/KR20040014053A/en
Application granted granted Critical
Publication of KR100438283B1 publication Critical patent/KR100438283B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00221Acquiring or recognising human faces, facial parts, facial sketches, facial expressions
    • G06K9/00228Detection; Localisation; Normalisation
    • G06K9/00234Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers; Analogous equipment at exchanges
    • H04M1/72Substation extension arrangements; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selecting
    • H04M1/725Cordless telephones
    • H04M1/72519Portable communication terminals with improved user interface to control a main telephone operation mode or to indicate the communication status
    • H04M1/72522With means for supporting locally a plurality of applications to increase the functionality
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Abstract

PURPOSE: A mobile communication terminal and a face region extracting method in a mobile communication terminal are provided to efficiently mount a face region extracting engine and a background conversion engine on a DSP chip for the mobile communication terminal, and to share a small memory, thereby minimizing usage of the memory and enabling a real-time processing by using an internal memory of the DSP chip. CONSTITUTION: A memory is divided into an external memory(110) and an internal memory(162). Program codes and data recorded in the external memory(110) are transmitted to a DSP chip(160) through a traffic controller(140) added with a DMA(Direct Memory Access) function. An instruction cache(161) quickly performs programs. Program codes of an encoder, a decoder, a face region extracting engine, a background conversion engine, and an ROI(Region Of Interest)-based bit rate control engine are assigned to the external memory(110), respectively. Infrequent data are assigned to the external memory(110). Frequent data are assigned to the internal memory(162). The program codes of the face region extracting engine and the background conversion engine are assigned to the external memory(110).

Description

이동통신 단말기 및 이동통신 단말기에서의 얼굴 영역 추출 방법{Mobile station and face detection method for mobile station} Extracting the face region in a mobile communication terminal and a mobile communication terminal method {Mobile station and face detection method for mobile station}

본 발명은 이동통신 단말기에 관한 것으로서, 특히 얼굴 영역 추출을 실시간으로 처리하여 관심영역(ROI:Region Of Interest) 기반 비트율 제어 통신 및 배경 전환 통신을 수행할 수 있는 화상통신용 이동통신 단말기에 관한 것이다. Relates to a moving image communication terminal to perform: (Region Of Interest ROI) based rate control communication and background switching communications present invention, in particular by processing the face region extracted in real time, the area of ​​interest relates to a mobile communication terminal.

오늘날, 이동통신 분야는 IMT2000을 정점으로 정보통신 분야를 대표하는 커다란 하나의 분야로 자리잡고 있다. Today, mobile communication sector is becoming a big one in the field representing the information and communications sector in the IMT2000 peak. 이동통신 서비스는 점점 높은 대역폭을 기반으로 질적으로도 큰 발전을 거듭하고 있으며 부가적인 서비스 또한 다양해지고 있다. Mobile communication service has been repeated even greater development qualitatively based on a more high bandwidth is getting additional service also vary. 이에 따라 이동통신 단말기의 역할도 중요해지고 있으며, 다양한 기능을 제공하면서도 적은 전원을 소모할 수 있는 초소형 이동통신 단말기가 등장되고 있다. Accordingly, and also becomes important role of the mobile communication terminal, there has been appeared compact mobile communication terminal capable of consuming less power while providing various functions.

이동통신 단말기에서 사용되는 주요 처리 기능은 송신할 데이터를 인코딩하거나 수신된 데이터를 디코딩하는 것이다. The main processing function that is used in a mobile communication terminal is to decode the encoded data to send or receive data. 기존의 음성 데이터만을 송수신하던 단말기와는 달리 최근에 등장되고 있는 화상 통신용 이동통신 단말기는 비디오 영상을 인코딩/디코딩해야 한다. Moving image communication being featured in contrast to the terminal was transmitting and receiving only the existing voice data last terminal shall encoding / decoding a video image. 비디오 영상의 인코딩/디코딩은 음성 데이터에 대한 인코딩/디코딩에 비해 많은 처리량을 요구한다. Encoding / decoding of a video image requires a large amount compared to the encoding / decoding of the audio data. 따라서 보다 빠르게 실시간 처리를 수행하기 위해서는 전용 하드웨어의 도움을 받아야 하는데, 이때 사용되는 것이 DSP(Digital Signal Processing) 칩이다. Therefore, to more quickly obtain the assistance of dedicated hardware to perform real-time processing, where it is used (Digital Signal Processing) chip for DSP. 이러한 DSP 칩은 인코딩/디코딩에서 사용하는 DCT(Discrete Cosine Transform) 변환 등 단순하지만 반복 연산이 많은 신호 처리를 빠르게 처리할 수 있는 전용 칩이라고 할 수 있다. The DSP chip is simple, such as DCT (Discrete Cosine Transform) transform used by the encoding / decoding, but can be said only chip that can be repeated a number of signal processing operations faster. 최근 들어 대부분의 이동통신 단말기에는 이러한 DSP 칩이 탑재되어 있는데, 이동통신 단말기용 DSP 칩의 가장 큰 특징은 많은 처리를 적은 전원을 사용하여 수행할 수 있다는 것이다. In recent years, there is such a DSP chip, most of the mobile communication terminal, the largest feature of the DSP chip for the mobile communication terminal is the ability to perform a number of processing using less power.

이와 같은 이동통신 단말기에 탑재되는 DSP 칩의 대표적인 제품으로는 TI (Texas Instruments) 사에서 출시한 TMS320C52x 계열이나 TMS320C55x 계열을 들 수 있다. In a typical product of the DSP chip to be mounted on the mobile communication terminal may be a TMS320C52x series or series TMS320C55x released in four (Texas Instruments) TI. 이러한 DSP 칩은 150~200 MHz의 성능을 유지하면서 적은 전력 소모를 특징으로 한다. The DSP chip is characterized by low power consumption while maintaining the 150 ~ 200 MHz performance. 또한, 이러한 DSP 칩은 제한적이지만 내부 메모리를 가지고 있는데, 내부 메모리는 한 칩 사이클(chip cycle)에 메모리를 한번 억세스(access) 할 수 있으므로 외부 메모리를 사용하는 것에 비해 일반적으로 유리하다. Also, it is limited, but this DSP chip has an internal memory, the internal memory is generally advantageous than using the external memory can be accessed once (access) memory in the chip cycle (chip cycle). 그리고, 프로그램의 경우 특정 DSP 칩에는 프로그램 캐쉬(Program Cache)가 장착되어 있어서, 프로그램 코드가 외부 메모리에 있다고 하더라도 프로그램 캐쉬를 사용하여 빠르게 동작할 수 있도록 하고 있다. And it is, for a program in the specific DSP chip is equipped with a cache program (Program Cache), even if the program code in the external memory to speed operations by using the program cache. 따라서 제한된 내부 메모리, 프로그램 캐쉬(Program Cache) 등의 DSP 칩의 특징을 잘 활용해야만 복잡한 알고리즘을 실시간으로 처리할 수 있게 된다. Accordingly have good use of the characteristics of a DSP chip, such as a limited internal memory, cache program (Program Cache) it is possible to process the complex algorithms in real time.

그리고, 이동통신 단말기용 DSP 칩의 최근 동향을 보면, 특정한 하드웨어에 의존적인 설계에서 범용적인 설계로 변화되고 있는 실정이다. And, In the recent trend of the DSP chip for the mobile communication terminal, a situation which is changed to a general-purpose design dependent on the design to a particular hardware. TI사의 C54x나 C55x의 경우에도 이러한 범용 DSP 칩의 기능을 수행할 수 있는 이동통신 단말기용 DSP칩이다. In the case of TI's C54x and the C55x DSP chip for a mobile communication terminal capable of performing the functions of such general-purpose DSP chip. 즉 다양한 회사에서 개발되는 이동통신 단말기의 특성에 잘 적응할 수 있도록 설계할 수 있으며, 이러한 범용적인 특성으로 인해 DSP 칩을 이용한 여러 가지 처리를 더 수행하여 DSP 칩을 더욱 많이 활용할 수 있게 된다. I.e. can be designed to adapt to the characteristics of the mobile communication terminal to be developed from a variety of companies, because of such a general-purpose properties is possible to further perform various processes using the DSP chip utilized more and more the DSP chip.

한편, 동영상 코딩에 대한 연구 분야에서는, 얼굴 영역을 추출하여 얼굴 영역을 보다 높은 화질로 코딩하고 다른 배경 영역은 낮은 화질로 코딩함으로써, 적은 데이터 양으로 고화질 영상을 송수신할 수 있는 기술에 대한 연구가 많이 수행되고 있다. On the other hand, in the field of study for the video coding, to extract a face region encoding the face area to a higher image quality, and the other background area is a study of the technology that can transmit and receive high-quality images as by coding at a low quality, small data amount a lot is being done.

얼굴 영역은 화상 통신에서 주요관심영역(ROI:Region Of Interest)이므로 얼굴 영역만 고화질이라면 사용자가 화질상 불편함을 덜 느끼게 되는 것이다. Face area is the major area of ​​interest in the video communication: Since (ROI Region Of Interest) If only the high-resolution face region will be that the user feel less uncomfortable image quality. 이때 중요한 것은 얼굴 영역을 정확하게 추출하기 위한 얼굴 영역 추출 엔진인데, 얼굴 영역 추출 방법은 오래 전부터 많은 연구가 이루어져 왔다. The important thing is inde face region extraction engine to accurately extract a face region, the face region extraction method have been made long ago, a lot of research. 그만큼 얼굴 영역을 추출하는 방법도 여러 가지인데, 얼굴 색 정보를 이용하는 방법이나 눈, 코, 입과 같은 특징 정보를 이용하는 방법, 그리고 사전에 얼굴 탬플리트를 구성하여 비교하는 탬플리트 매칭 방법 등이 많이 소개되고 있다. Inde many also how much to extract the face area branches, a method using a face the color information or the method of using the characteristic information, such as the eyes, nose, mouth, and template matching method to compare the configuration of the face taempeulriteu the dictionary is widely introduced have. 이 중에서 주로 사용하는 방법은 얼굴 색 정보를 이용하는 방법으로 비교적 빠른 처리가 가능하면서도 괜찮은 성능을 보여주고 있다. Among the methods used primarily it shows a relatively rapid processing is possible, yet decent performance method using facial color information.

하지만, 상기 소개된 얼굴 영역 추출 기술들은 대부분이 개인용 컴퓨터 환경에서 얼굴 영역을 정확히 추출하는 데에만 집중하여, 이동통신 단말기 환경에 적용할 경우 수초에서 심하게는 수분이 걸릴 정도로 많은 처리 시간이 걸리게 된다. However, the introduction facial region extraction techniques are a lot of processing time takes about most severe in a few seconds if you concentrate only be used to accurately extract the face area from the personal computer environment, and applied to a mobile terminal environment, take a few minutes. 따라서, 제한된 하드웨어를 사용하면서도 실시간 처리가 요구되는 이동통신 단말기에서는, DSP 칩을 이용하기 좋은 구조로 얼굴 영역 추출 알고리즘이 개발되어야 한다. Therefore, in the mobile communication terminal that requires real-time processing while using limited hardware, to use the DSP chip it should be developed face region extraction algorithm, a good structure.

이때, DSP 칩에서 얼굴 영역 추출 알고리즘을 수행할 때 고려되어야 하는 사항은 크게 다음의 두 가지이다. At this time, the information that must be considered when performing a face region extraction algorithm in the DSP chip is a large two things: 먼저, 중앙처리장치(CPU) 사용율 면에서, CPU를 최대한 적게 사용해야 한다. First, in terms of central processing unit (CPU) usage rate, a CPU use less as possible. 그러기 위해 알고리즘 자체가 매우 간단해야 하며 DSP 칩이 빠르게 처리할 수 있는 단순 반복 연산 처리로만 알고리즘이 구성되어야 한다. It is the algorithm itself is very simple to do so, and should be composed of only the algorithm is simple repetitive calculation process in the DSP chip can be faster. 다음 고려해야 할 사항으로는 적은 메모리의 사용이다. In the following to be considered is the use of less memory. DSP 칩의 경우 대부분이 내부 메모리를 사용해야 빠른 처리가 가능하므로 사용하는 데이터의 양이 적어야 한다. If the DSP chip should be less that the amount of data which, as it is the most rapid processing is possible to use the internal memory. 그러기 위해 처리 시간 순서 상에서 요구되는 데이터 메모리를 잘 분석하여 같은 메모리를 공유할 수 있는 최적화된 메모리 설계가 요구된다. Optimized memory design that can share the same memory and better analyze the data memory requirements on the processing time is required in order to do it. 마찬가지로 프로그램 코드 영역도 메모리를 차지하게 되는데, 역시 내부 메모리를 사용하는 것이 좋으나 C55x와 같이 프로그램 캐쉬(Program Cache)가 있는 경우 외부 메모리에 프로그램 코드를 올려도 빠른 처리를 수행할 수 있게 된다. Similarly, there is a program that also accounts for the code memory area, it is possible also to perform is good or if the cache as C55x program (Program Cache) faster processing Raising the program codes in the external memory to the internal memory.

본 발명은, DSP 칩의 특성을 고려하여 얼굴 영역 추출 알고리즘을 개발한 후, 얼굴 영역 추출 알고리즘 연산에 최적화되도록 메모리 할당을 설계함으로써, 얼굴 영역 추출을 실시간으로 처리할 수 있는 이동통신 단말기를 제공함에 그 목적이 있다. To the invention, after taking into consideration the nature of the DSP chip development the face region extraction algorithm, by designing the memory allocated to be optimized to the face region extraction algorithm operation, provide a mobile terminal capable of processing the face region extracted in real time, it is an object.

또한 본 발명은, DSP 칩이 탑재된 이동통신 단말기에서 기본적으로 DSP 칩을 이용하여 수행되는 인코더/디코더 이외에, 얼굴 영역 추출 엔진과 비트율 제어 엔진, 그리고 배경 전환 엔진을 탑재하여, 낮은 네트워크 환경에서도 고화질을 유지하고 배경 전환 등의 서비스가 가능한 이동통신 단말기를 제공함에 다른 목적이 있다. In another aspect, the present invention, in addition to the encoder / decoder is carried out by basically using a DSP chip in the DSP chip is mounted mobile communication terminal, the face region extraction engine and the rate control engine, and by mounting the background conversion engine, high quality at low network environment to maintain and has a further object a mobile communication terminal in a service such as a background to provide a switchable.

도 1은 본 발명에 따른 이동통신 단말기의 구성을 개략적으로 나타낸 블록도. Figure 1 is a block diagram schematically showing the configuration of a mobile communication terminal according to the present invention.

도 2는 본 발명에 따른 이동통신 단말기에서의 얼굴 영역 추출 방법에 의하여, 얼굴 영역을 추출하는 과정을 설명하기 위한 도면. 2 is a view for explaining a process for extracting the face region by the face region extracting method in a mobile communication terminal according to the present invention.

도 3은 본 발명에 따른 이동통신 단말기에서의 얼굴 영역 추출 방법에 의하여, 얼굴 영역을 추출하는 각 과정에서의 메모리 사용 상태를 나타낸 도면. 3 is a view showing a memory use state in each process by the face region extraction method in a mobile communication terminal according to the present invention, extracting the face area.

도 4는 본 발명에 따른 이동통신 단말기에서, 배경 전환 통신이 수행되는 화면의 예를 나타낸 도면. Figure 4 is a mobile communication terminal according to the present invention, the view showing an example of a screen background switching communication is performed.

도 5는 본 발명에 따른 이동통신 단말기에서, 배경 전환 통신이 수행되는 과정을 설명하기 위한 도면. Figure 5 is a mobile communication terminal according to the present invention, the view illustrating a process in which communication is performed background conversion.

도 6은 본 발명에 따른 이동통신 단말기의 메모리 영역 할당을 개념적으로 나타낸 도면. Figure 6 is a diagram showing a memory area assigned to the mobile communication terminal according to the present invention.

<도면의 주요 부분에 대한 부호의 설명> <Description of the Related Art>

110... 외부 메모리120... 카메라 110 ... external memory 120 ... camera

130... 액정표시장치140... 트랙픽 제어부 130 ... liquid crystal display device 140 ... Traffic controller

150... 프레임 버퍼160... DSP 150 ... frame buffer 160 ... DSP

161... 인스트럭션 캐쉬162... 내부 메모리 Instruction cache 161 ... 162 ... internal memory,

상기의 목적을 달성하기 위하여 본 발명에 따른 이동통신 단말기는, A mobile communication terminal according to the present invention for achieving the above object is,

'살색 이미지' 처리를 위한 데이터와 'Dilation 이미지' 처리를 위한 데이터의 저장 영역으로 할당된 제 1 메모리 영역과; "Skin color image" is assigned to storage of data for data processing and for a 'Dilation image, processing the first memory region;

'인덱스 이미지' 처리를 위한 데이터와 'Erosion 이미지' 처리를 위한 데이터의 저장 영역으로 할당된 제 2 메모리 영역과; "Index image" assigned to storage of data for data processing and for "Erosion image, processing the second memory area;

'회색 이미지' 처리를 위한 데이터의 저장 영역으로 할당된 제 3 메모리 영역과; It assigned to the storage of the data for the "gray image, processing the third memory area;

얼굴 영역 추출 과정에서의 연산에 필요한 전역 변수의 저장 영역으로 할당된 제 4 메모리 영역과; Assigned to the storage of global variables required for the operation in the face region extraction process, a fourth memory region;

얼굴 영역 추출 과정에서의 연산에 필요한 지역 변수의 저장 영역으로 할당된 제 5 메모리 영역; Allocated to the storage area of ​​the local variables required for the operation in the face region extraction process, a fifth memory area; And

상기 제 1 내지 제 5 메모리 영역에 저장되는 데이터를 이용하여, 입력된 영상으로부터 얼굴 영역을 추출하기 위한 얼굴 영역 추출 엔진이 구비된 DSP(Digital Signal Processing) 칩; The first to fifth using the data stored in the memory area, (Digital Signal Processing) The face for extracting a face region from an input image region extraction engine comprising DSP chip; 을 포함하는 점에 그 특징이 있다. In that it includes the feature that there is a.

여기서, 상기 '인덱스 이미지'는 입력된 영상에서 살색 조건을 만족하는 픽셀의 칼라 인덱스 값으로 구성된 이미지를 나타내며, 상기 '살색 이미지'는 '인덱스 이미지'로부터 주요 살색을 중심으로 색을 그룹화하여, 살색 그룹에 속한 픽셀만을 표현한 이미지를 나타내며, 상기 '회색 이미지'는 입력된 영상을 회색으로 변환시킨 이미지를 나타내며, 상기 'Erosion 이미지'는 '살색 이미지'에서 잡음으로 발생한 살색 픽셀을 제거한 이미지를 나타내며, 상기 'Dilation 이미지'는 'Erosion 이미지'에서 잡음으로 발생한 살색 영역 내에서의 작은 구멍을 채움으로써 구성된 이미지를 각각 나타낸다. Here, the "index image" represents an image consisting of a color index value of which satisfies the skin color condition from the input image pixels, the "skin color image" is by grouping the color around the main skin color from the "index image", flesh colored represents an image representation of only the pixels in the group, the "gray image" denotes a by converting an input image into a gray image, the "Erosion image" represents an image removal of the flesh colored pixels caused by noise in the "skin color image.", the "Dilation image" represents an image composed by filling the small holes in the skin color region caused by noise in "Erosion image, respectively.

또한 본 발명에 의하면, 상기 얼굴 영역 추출 엔진의 코드부는 상기 DSP 칩의 외부 메모리에 위치하고, 상기 제 1 내지 제 5 메모리 영역은 상기 DSP 칩의 내부 메모리에 위치하는 점에 그 특징이 있다. According to the present invention, the code portion of the face region extraction engine is located in the external memory of said DSP chip, the first to fifth memory area is characterized in that which is located in an internal memory of the DSP chip.

또한 본 발명에 의하면, 상기 제 1 내지 제 3 메모리 영역은 모두 88*72 Word 크기로 구성되며, 상기 제 4 메모리 영역은 890 Word 크기로 구성되며, 제 5 메모리 영역은 100 Word 크기로 구성되는 점에 그 특징이 있다. According to the present invention, the first to third memory area, all 88 - 72 consists of a Word size, it said fourth memory area is comprised of a 890 Word size, and the fifth memory location is that consisting of a 100 Word size to have its features.

또한 본 발명에 의하면, 영상이 표시되는 화면의 배경으로 사용될 배경 영상이 저장되는 제 6 메모리 영역을 더 구비하며, 입력된 영상과 배경 영상을 선택적으로 합성시키는 배경 전환 엔진을 상기 DSP 칩이 더 구비하는 점에 그 특징이 있다. According to the present invention, further comprising: a sixth memory area where the image is a stored background image used as a background of the screen is displayed, further comprising the DSP chip to selectively synthesized by an input image and a background image background conversion engine to the point where there is the feature.

또한 본 발명에 의하면, 상기 제 6 메모리 영역과 상기 배경 전환 엔진의 코드부는 상기 DSP 칩의 외부 메모리에 위치하는 점에 그 특징이 있다. According to the present invention, the code portion of the sixth memory region and the background conversion engine is characterized in that which is located in the external memory of said DSP chip.

또한 본 발명에 의하면, 입력 영상으로 사용되는 원 영상을 저장하는 제 7 메모리 영역을 상기 DSP 칩의 외부 메모리에 더 구비하며, 원 영상과 배경 영상을 합성하기 위해 원 영상과 배경 영상을 매크로 블록 단위로 상기 DSP 칩의 내부 메모리에서 합성하는 점에 그 특징이 있다. According to the present invention, a seventh memory area for storing the original image is used as the input image, and further comprising in the external memory of said DSP chip, for synthesizing an original image and a background image source image and the background image for each macroblock in order in that there is characterized in that the synthesis in the internal memory of the DSP chip.

또한 본 발명에 의하면, 상기 DSP 칩은 주요관심영역(ROI)에 대해서는 비 ROI 영역에 비하여 상대적으로 고화질로 설정되도록 ROI 여부에 따라 비트율을 상대적으로 차이나게 제어하는 ROI 기반 비트율 제어 엔진을 더 구비하는 점에 그 특징이 있다. According to the present invention, the DSP chip is a major region of interest (ROI) in respect of relatively to be set in the high picture quality further comprising an ROI-based bit rate control engine which controls remind differences the bit rate is relatively according to the ROI if compared to the non-ROI area there are those characterized by.

또한 상기의 목적을 달성하기 위하여 본 발명에 따른 이동통신 단말기에서의 얼굴 영역 추출 방법은, In addition, the face region extraction method in a mobile communication terminal according to the present invention for achieving the above object is,

입력 영상의 모든 픽셀에 대해 살색 조건을 만족하는 지 조사하는 단계와; Irradiating not satisfying the condition skin color for every pixel in the input image;

살색 조건을 만족하는 픽셀에 대해 각 픽셀의 칼라 값의 인덱스를 구하여 인덱스 값으로 구성된 '인덱스 이미지'를 구성하는 단계와; Further comprising: configuring a "index image" consisting of the index value, obtain an index of the color value of each pixel to the skin color pixel satisfying the condition;

상기 '인덱스 이미지'에서 가장 많이 나타나는 칼라를 중심으로 유사한 칼라를 하나의 그룹으로 묶음으로써 해당 칼라 그룹에 해당하는 픽셀만 'On' 시키고 나머지는 'Off'로 표시하여 '살색 이미지'를 구성하는 단계와; Wherein by tying a similar collar around the most frequently appearing color from the "index image" as a group, only the pixels corresponding to the color group was 'On' rest to display to 'Off' configuration the "skin color image." Wow;

상기 '살색 이미지'에 'Erosion 모폴로지'를 수행하여 'Erosion 이미지'를 구성하는 단계와; A step of performing the "Erosion Morphology" in the "skin color image" configure "Erosion image, and;

상기 'Erosion 이미지'에 'Dilation 모폴로지'를 수행하여 'Dilation 이미지'를 구성하는 단계와; A step of performing a 'Dilation Morphology "to the" Erosion image "configure" Dilation image, and;

상기 'Dilation 이미지'에서 서로 연결된 On-픽셀들을 하나의 덩어리로 연결하여 영역으로 표시하는 연결 요소 구성 단계와; Connection elements configured displaying the On- pixels associated with each other in the "Dilation image, a region connected to one of the chunks;

상기 연결 요소 구성 단계에서 구성된 연결 요소 중 일정 조건을 만족하는 요소를 얼굴 후보 영역으로 지정하는 단계와; Designating the element which satisfies the predetermined condition of the connecting element is configured in the coupling element formation step in the face candidate area;

상기 지정된 얼굴 후보 영역이 타원 모양을 하는 지 조사하는 타원 매칭 단계와; Oval matching step of examining whether the face candidate region to the designated shape and the oval;

상기 최초 입력 영상을 회색 영상으로 변환하여 '회색 이미지'를 구성하는 단계와; A step of converting said first input image into a gray image configuring a "gray image, and;

상기 '회색 이미지'에서 얼굴 후보 영역을 중심으로 눈과 입 영역을 조사하는 단계; Irradiating the eye and mouth area from the "gray image" around the face candidate region; And

상기 타원 매칭 결과와 눈과 입 영역 조사 결과를 사용하여 얼굴 영역을 결정하는 얼굴 영역 판단 단계;를 포함하는 점에 그 특징이 있다. The ellipse matching result and the eyes and mouth region irradiated face area determining step of determining a face area using the result; in that it includes the feature that there is a.

여기서 본 발명에 의하면, 상기 '살색 이미지'와 'Dilation 이미지' 처리를 위한 데이터에 대하여 같은 메모리 영역을 할당하여 시간에 따라 공유하여 사용하고, 상기 '인덱스 이미지'와 'Erosion 이미지' 처리를 위한 데이터에 대하여 같은 메모리 영역을 할당하여 시간에 따라 공유하여 사용하고, 상기 '회색 이미지' 처리를 위한 데이터는 별도의 메모리 영역을 할당하여 사용하는 점에 그 특징이 있다. Here, according to the present invention, the "skin color image 'and' Dilation image" assigned to the same memory area for the data for processing using the shared in time, and data for the "index image" and "Erosion image" process to assign the same memory area is used to share with time, the data for the "gray image, processing to have the characteristic in that it uses to assign a separate memory area.

또한, 상기의 다른 목적을 달성하기 위하여 본 발명에 따른 이동통신 단말기는, 얼굴 영역을 추출하기 위한 얼굴 영역 추출 엔진과, 입력된 영상과 배경 영상을 선택적으로 합성하기 위한 배경 전환 엔진이 구비된 DSP 칩과; In addition, the mobile according to the invention to another aspect of the communication terminal, the face region extraction for extracting the face region engine, the two provided for selectively synthesizing the input image and the background image background conversion engine DSP chip and; 상기 DSP 칩의 외부 메모리에 탑재된, 상기 얼굴 영역 추출 엔진의 코드부와; It mounted on the external memory of the DSP chip, and the code portion of the face region extraction engine; 상기 DSP 칩의 내부 메모리에 탑재된, 상기 얼굴 영역 추출 엔진이 얼굴 영역 추출을 위해 사용하는 전역 변수부와; Global variable portion that is mounted in the internal memory of said DSP chip, the face region extraction engine used for the face area and extracts; 상기 DSP 칩의 내부 메모리에 탑재된, 상기 얼굴 영역 추출 엔진이 얼굴 영역 추출을 위해 사용하는 지역 변수부와; Local variable portion that is mounted in the internal memory of said DSP chip, the face region extraction engine used for the face area and extracts; 상기 DSP 칩의 외부 메모리에 탑재된, 상기 배경 전환 엔진의 코드부와; It mounted on the external memory of the DSP chip, and the code portion of the background conversion engine; 상기 DSP 칩의 내부 메모리에 탑재된, 상기 배경 전환 엔진이 사용하는 전역 변수부와; Mounted in an internal memory of said DSP chip, and the global variable section for the background conversion engine is used; 상기 DSP 칩의 내부 메모리에 탑재된, 상기 배경 전환 엔진이 사용하는 지역 변수부;를 포함하여 구성되며, It is configured including,; local variable unit for the said background conversion engine mounted in an internal memory of the DSP chip used

추출된 얼굴 영역 정보를 기반으로, 입력된 영상과 배경 영상을 선택적으로 합성하여 배경 전환을 수행하는 점에 그 특징이 있다. Based on the face area information is extracted, there is the feature in which optionally synthesized as an input image and a background image to perform the background transition point.

또한, 상기의 다른 목적을 달성하기 위한 본 발명에 따른 이동통신 단말기의 다른 예는, 얼굴 영역을 추출하기 위한 얼굴 영역 추출 엔진과, 주요관심영역(ROI :Region Of Interest) 여부에 따라 비트율을 상대적으로 차이나게 제어하는 ROI 기반 비트율 제어 엔진이 구비된 DSP 칩과; In addition, another example of a mobile communication terminal according to the present invention for achieving the another object of the above, the face region extraction engine for extracting the face region, the main regions of interest: relative to the bit rate, depending on whether (ROI Region Of Interest) to remind the control ROI-based bit rate control engine having a DSP chip that difference; 상기 DSP 칩의 외부 메모리에 탑재된, 상기 얼굴 영역 추출 엔진의 코드부와; It mounted on the external memory of the DSP chip, and the code portion of the face region extraction engine; 상기 DSP 칩의 내부 메모리에 탑재된, 상기 얼굴 영역 추출 엔진이 사용하는 전역 변수부와; It mounted in an internal memory of said DSP chip, and the global variable portion in which the face region extraction engine in use; 상기 DSP 칩의 내부 메모리에 탑재된, 상기 얼굴 영역 추출 엔진이 사용하는 지역 변수부; Mounted in an internal memory of said DSP chip, part local variable in which the face region extraction engine in use; 및 상기 DSP 칩의 외부 메모리에 탑재된, 상기 ROI 기반 비트율 제어 엔진의 코드부; And, code portion of said ROI based rate control engine mounted in an external memory of said DSP chip; 를 포함하여 구성되며, It is configured, including,

추출된 얼굴 영역 정보를 기반으로, 얼굴 영역에 대해서는 비 얼굴 영역에 비하여 상대적으로 고화질로 설정되도록, 얼굴 영역인지의 여부에 따라 비트율을 상대적으로 차이나게 제어하는 점에 그 특징이 있다. Based on the extracted face region information, for the face area set to a relatively higher quality than the non-face area, it characterized in that the relative difference between the control remind the bit rate according to whether or not the face area.

이와 같은 본 발명에 의하면, 실시간으로 얼굴 영역을 추출하여 ROI 기반으로 비트율을 제어하거나 배경을 전환하여 통신을 수행할 수 있는 장점이 있다. According to the present invention, is advantageous to extract a face region in real time to perform the communication by controlling a bit rate based on the ROI or the background conversion.

또한 본 발명에 의하면, 적은 메모리와 제한된 파워라는 특성을 갖는 이동통신 단말기용 DSP 칩에, 얼굴 영역 추출 엔진 및 배경 전환 엔진을 효과적으로 탑재 시킴으로써, 특히 적은 양의 메모리를 공유하도록 설계하여 메모리 사용을 최소화하고, 주요 데이터의 경우 DSP 칩의 내부 메모리를 사용하게 함으로써 실시간 처리를 가능하게 해줄 수 있는 장점이 있다. According to the present invention, that is designed to share as little memory and limited by the power the mobile terminal DSP chip has the characteristics of effectively mounting the face region extraction engine and a background conversion engine, particularly a small amount of memory, minimizing the use of memory , and if the key data has the advantage that can be designed to enable real-time processing by making use of an internal memory of the DSP chip.

이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세히 설명한다. With reference to the accompanying drawings, a description will be given of an embodiment according to the present invention;

본 발명에서는, 얼굴 영역 추출 엔진과 ROI 기반 비트율 제어 엔진, 배경 전환 엔진, 인코더, 디코더가 탑재된 DSP 기반 이동통신 단말기를 제시한다. In the present invention, it proposes a face region extraction engine and ROI-based bit rate control engine, background conversion engine, an encoder, a decoder is equipped with a DSP-based mobile terminal. 본 발명의 실시 예에서는 DSP 칩으로 TI 사의 TMS320C55x를 채용하고, 전체 프레임 구조는 C55x와 ARM925 TM CPU, 두 개의 CPU가 탑재된 OMAP1510 구조를 채용한 경우를 기준으로 설명하기로 한다. According to an embodiment of the present invention employing the TI's TMS320C55x DSP chip with, and the entire frame structure will be described based on the case of adopting the structure of the OMAP1510 C55x and ARM925 TM CPU, two CPU mounted. 그러나, 본 발명의 기술적 사상은 이에 한정되지 않고, 이하에서 설명되는 내용을 기반으로 해석되어야 할 것이다. However, the technical concept of the invention is to be construed as a base described below is not limited to this.

OMAP1510의 경우, C55x의 내부 메모리는 80KWord(160KB)가 있으며, 이동통신 단말기의 액정표시장치(LCD)로 프레임을 디스플레이하기 위해 버퍼링(buffering)으로 사용할 온-칩(on-chip) 메모리, 1.5Mbits가 장착되어 있다. For OMAP1510, the internal memory of the C55x 80KWord (160KB), and the mobile communication terminal liquid crystal display (LCD), for displaying a frame to be used as on-buffered (buffering) of the chip (on-chip) memory, 1.5Mbits It is fitted. 또한 24KB의 프로그램 캐쉬(program cache)가 장착되어 있으며 DSP 칩 자체는 170~200MHz의 성능을 나타내고 있다. Also equipped with a 24KB cache program (program cache) and DSP chip itself it shows a performance of 170 ~ 200MHz. C55x의 모든 데이터 처리는 Word 단위로 처리되며, 별도의 처리를 하지 않는 한 기본적으로 가장 작은 데이터 단위는 1 Word(2Byte)로 한다. All data processing C55x is treated as Word unit, and by default, the smallest unit of data that is not a separate process to the 1 Word (2Byte). 본 발명이 적용될 이동통신 단말기는 이러한 OMAP1510에 외부 메모리를 더 장착하고 있다. The mobile communication terminal to which the present invention is applied is further equipped with an external memory such OMAP1510. 외부 메모리에는 DSP 칩이 사용할 데이터나 프로그램 코드 중 내부 메모리에 장착되지 못한 것과 ARM CPU에서 사용할 데이터와 프로그램 코드가 들어간다. An external memory that enters the data and program codes used by ARM CPU could not be fitted into the internal memory of the data or program code to use the DSP chip.

<이동통신 단말기의 설계> <Design of a mobile communication terminal>

본 발명에 따른 이동통신 단말기의 구성에 대하여 도 1을 참조하여 설명해 보기로 한다. See Figure 1 in the configuration of the mobile communication terminal according to the present invention will be explained in view. 도 1은 본 발명에서 제시하는 ROI 기반 비트율 제어 및 배경 전환 통신이 가능한 이동통신 단말기의 구성 예를 나타낸 도면이다. 1 is a view showing a configuration example of an ROI-based bit rate control and the background is switched communication mobile terminal capable to present the invention.

도 1을 참조하여 설명하면, DSP 칩(160)을 기준으로 구분하는 경우에 메모리는 크게 외부 메모리(External Memory)(110)와 내부 메모리(Internal Memory)(162)로 나누어져 있으며, 상기 외부 메모리(110)에 기록된 프로그램 코드 및 데이터는 메모리 직접 참조(DMA:Direct Memory Access) 기능이 부가된 트래픽 제어부(140)를 통해 상기 DSP 칩(160) 내부로 전송될 수 있다. Referring to FIG. 1, in the case that separates based on the DSP chip 160, memory is largely divided into an external memory (External Memory) (110) and an internal memory (Internal Memory) (162), said external memory, program codes and data recorded in the 110 memory directly references: may be transmitted via (DMA direct memory Access) traffic controller 140, the function is added to the interior of the DSP chip 160. 또한, 화상 통신용 이동통신 단말기이므로 카메라(120)가 연결되어 있고, 수신된 영상을 디코딩하여 액정표시장치( 130)로 디스플레이하기 위해 전용 버퍼(Frame Buffer)(150)가 장착되어 있다. In addition, since the moving image communication terminal and the camera 120 is connected, there is a dedicated buffer (Frame Buffer) (150) is attached to and decodes the received image to display on the liquid crystal display device 130. 또한 상기 DSP 칩(160) 내부에는 프로그램을 보다 빠르게 수행하기 위해 인스트럭션 캐쉬(Instruction Cache:I-Cache)(161)가 장착되었다. Further, the DSP chip 160 inside the instruction cache (Instruction Cache: I-Cache) to perform faster than a program that was 161 mounted.

그리고, 상기 외부 메모리(110)에는 인코더, 디코더, 얼굴 영역 추출 엔진, 배경 전환 엔진, 그리고 ROI 기반 비트율 제어 엔진의 프로그램 코드가 각각 할당되어 있다. And, it is the external memory 110, an encoder, a decoder, a face region extraction engine, background conversion engine, and the program code of the ROI based rate control is assigned to each engine. 여기서, 프로그램 코드는 C55x의 프로그램 캐쉬(program cache)를 이용할 수 있으므로 상기 외부 메모리(110)에 할당되더라도 빠른 처리가 가능하다. Here, the program code can use the C55x program cache (cache program) even when assigned to the external memory 110 may be a fast process. 또한, 인코더/디코더의 데이터 영역은 자주 사용하지 않는 데이터의 경우에는 상기외부 메모리(110)에(Enc./Dec. data1 영역) 할당하며, 자주 사용하는 데이터의 경우에는 상기 내부 메모리(162)에(Enc./Dec. data2 영역) 할당한다. Further, the encoder / decoder of the data area in the case of infrequently used data, and allocated to the external memory (110) (Enc./Dec. Data1 region), often has the internal data memory 162 for using assigns (Enc./Dec. data2 area). 하지만 본 발명에서는 인코더와 디코더의 경우 모든 이동통신 단말기가 공통적으로 탑재해야 하는 모듈이므로 그 탑재 방법에 대해 제한하지는 않는다. However, in the present invention, so that the module case of the encoder and the decoder, all mobile communication terminals have a common mount and do not limit for the mounting method.

그리고, 얼굴 영역 추출 엔진 및 배경 전환 엔진의 경우 프로그램 코드는 상기 외부 메모리(110)에 할당되고, 사용하는 데이터는 상기 내부 메모리(162)에 할당된다. Then, when the face region extraction engine and a background conversion engine program code is assigned to the external memory 110, data to be used are assigned to the internal memory 162. 이때, 상기 얼굴 영역 추출 엔진 및 배경 전환 엔진에서 사용하는 데이터는 처리 시간 순서 상으로 라이프 사이클(life-cycle)을 분석하여 같은 메모리 장소를 공유할 수 있도록 설계되었다. In this case, the data used by the face region extraction engine and a background conversion engine is designed to share the same memory location by analyzing the life-cycle (life-cycle) onto a processing time order. 자세한 메모리 설계 사항에 대해서는 다음에서 설명하기로 한다. For more information about the memory design will be described below.

<얼굴 영역 추출 엔진의 DSP 설계> <DSP design of the face area extraction engine>

얼굴 영역 추출 엔진을 DSP에 탑재하기 이전에 먼저 얼굴 영역 추출 알고리즘에 대해 살펴 보기로 한다. Prior to mounting the face area extraction engine in the first DSP to take a look on the face region extraction algorithm. 얼굴 영역 추출 알고리즘에 대한 순차도는 도 2에 나타나 있으며, DSP 설계를 위해 모든 알고리즘의 순차도는 생성되거나 입력되는 데이터 흐름을 기준으로 기술하도록 한다. And a sequential diagram of a face region extraction algorithm is shown in Figure 2, for a DSP design sequence diagram of all algorithms is to describe, based on the data stream to be generated or input. 얼굴 영역 추출 알고리즘은 크게 칼라 기반 얼굴 후보 영역 추출 모듈과 특징 기반 얼굴 영역 추출 모듈로 구성된다. Face region extraction algorithm is largely composed of a color-based face candidate region extraction module and the feature based face region extraction module.

첫번째 단계는 영상의 입력 단계이다. The first stage is an input stage of the image. 카메라를 통한 프레임은 외부 프레임 버퍼에 저장되며 내부 메모리에는 순서대로 매크로블록 단위로 올라와 처리된다. Frame by the camera are stored in an external frame buffer is processed to come up with a macro block unit, the internal memory in order. 즉, 전체 크기 176*144*1.5 Word 만큼의 영상은 한번에 내부 메모리에 올려 처리할경우 제한된 메모리의 50% 정도를 점유하게 되므로, 가능하면 부분적으로 올려 처리하도록 한다. That is, the image of the full-size 176 * 144 * 1.5 as Word is to you at a time when processing up to the internal memory, so that account for 50% of the limited memory, can be raised by partially processed. 원 프레임은 반복적으로 처리하는 일이 없고 처음에만 한번 읽어 처리하면 이후 사용하지 않으므로 매크로 블록 단위로 내부 메모리에 올려 처리할 수 있다. Original frame is not happen to repeatedly processed can be processed up to the internal memory in macro-block units does not use Subsequent processing to read only once the first time. 메모리에 올려진 한 매크로 블록 영상에서 각 픽셀 별로 살색 범위를 만족하는 칼라인지 조사한 후, 살색 범위의 칼라이면 양자화하여 칼라 인덱스로 변환한 후 '인덱스 이미지'의 해당 부분에 표기한다. On the macro-block image memory mounted on review or color that meets the skin color range for each pixel, when the color of the skin color range with the quantization after conversion to the color index is denoted that part of the "index image".

칼라 인덱스의 변환은 YcbCr 색공간에서 표현된 수많은 칼라를 그 색공간 상에서 그룹화하여 같은 그룹의 칼라를 하나의 인덱스로 표시하는 것을 의미한다. Conversion of Color Index is meant to show the color of the same group as a single index to group a large number of color represented in the YcbCr color space, on the color space. 본 발명에서는 살색 범위에 속한 칼라들을 모두 72 가지의 인덱스로 표시한다. In the present invention, all of the color belonging to the skin color range represented by the index of the 72 branches. '인덱스 이미지'는 원래의 크기인 176*144를 가로와 세로에 대하여 반씩 축소한 88*72 크기로 구성된다. "Index image" consists of a 176 * 144 size of the original in a 88 * 72-half reduction in size with respect to the horizontal and vertical. 이는 매크로 블록 단위로 올라온 원 영상의 픽셀들을 가로, 세로 한 칸씩 건너서 조사함으로써 크기를 축소할 수 있다. This may decrease the magnification by looking horizontally, vertically crossed to a line of pixels of the original image uploaded in macro-block units.

'인덱스 이미지'를 구성함과 동시에 조사할 각 픽셀을 회색(gray)으로 변환하여 '회색 이미지'를 구성한다. To convert each pixel to be irradiated at the same time as constituting the "index image" in gray (gray) constitute a "gray image. '회색 이미지' 역시 88*72 크기가 된다. "Gray image" is also a 88 * 72 size. 모든 매크로 블록을 모두 차례대로 내부 메모리에 올려 본 작업을 수행하게 되면 '인덱스 메모리'와 '회색 메모리'가 구성된다. When performing this work up to the internal memory as both a macroblock All times are 'index memory' and 'gray Memory' is constructed.

'인덱스 메모리'에 저장된 인덱스 정보를 사용하여 다시 칼라 그룹화를 수행한다. Again perform a color group using the index information stored in the "index memory. 여기서, 칼라 그룹화란 현재 영상에서 추출된 살색 픽셀들 중 가장 많이 분포하고 있는 색을 중심으로 유사한 색끼리 다시 하나의 그룹으로 묶는 것을 의미한다. Here, the color grouping means between the current color similar to the color in the center and most commonly the skin color distribution of the pixels extracted from the image as a binding group. 유사한 색끼리 그룹화하는 방법은 72 개의 칼라 인덱스를 각 빈(bin)으로 하는칼라 히스토그램을 구성한 후 가장 큰 값을 갖는 빈이 나타내는 색을 중심으로 유사한 색을 나타내는 인덱스들을 하나로 그룹화함으로써 이루어 진다. How to group similar colors to each other it is accomplished by grouping index indicating a similar color to the color that indicates the center bin with the largest value after configuring the color histogram to the color index of 72 to each bin (bin) into one. 이렇게 그룹화 과정이 끝나면 해당 그룹에 속한 인덱스만 'On' 시키고 나머지는 'Off'로 표시되는 '살색 이미지'가 구성된다. So the end of the grouping process only index belong to the group and 'On' the rest is a "flesh-colored image" configuration represented by the 'Off'.

'살색 이미지'는 픽셀 단위로 구성된 것이라서 잡음 등이 많이 포함되어 있다. "Skin color image" is included a lot of noise, such as that realistically composed of pixels. 잡음 중에는 바탕에 한 두 픽셀씩 'On' 되어 나타나는 잡음과 얼굴 영역 내에 작은 구멍으로 나타내는 잡음이 있다. During the noise has a noise shown by the small hole in the grip and the face area is displayed 'On' one by two pixels in the background. 먼저 'Erosion 모폴로지'를 사용하여 바탕에 포함된 잡음이 제거된 'Erosion 이미지'를 구성한다. First, constitutes an "Erosion Morphology" "Erosion image" of the noise included in the background removed using. 그리고, 'Erosion 이미지'에 대하여 다시 'Dilation 모폴로지'를 사용하게 되면 잡음에 의해 발생한 작은 구멍이 채워진 'Dilation 이미지'를 구성하게 된다. And, The use of back "Dilation morphology" with respect to "Erosion image, constitutes a 'Dilation image, a small hole is filled caused by noise.

'Dilation 이미지'를 다시 4*4 크기의 그리드(grid)로 분할한 후, 한 그리드 내에 'On' 픽셀의 수가 일정 임계치 이상인 그리드만 'On' 하고 그렇지 않은 그리드는 'Off' 하면 22*18 개의 그리드로 구성된 '그리드 이미지'가 구성된다. After dividing the "Dilation image" back to the grid (grid) of a 4x4 size, if the grid in only grid serve more than a certain threshold value of the pixel 'On' 'On', otherwise the grid is "Off" 22 * ​​18 of the "grid image" are configured with the grid. 이후, '그리드 이미지'에서 'On' 된 그리드들이 서로 인접해 있을 경우 이를 연결된 하나의 콤포넌트로 표시하는 연결 콤포넌트를 구한다. Then, if the grid in the 'grid image "" On "to be adjacent to each other is determined the connected component and displaying it as a component connected.

즉, 인접한 그리드들을 묶어 각각의 덩어리로 정의한다. That is, the tie adjacent the grid is defined as each of the chunks. 이렇게 덩어리로 묶여진 콤포넌트는 영상에서 각각의 부분 영역을 이루며, 이러한 부분 영역들 중 하나가 얼굴일 확률이 높게 된다. This component tied to the mass forms a part of each area in the image, this one of those sub-region is one facial probability is high. 따라서, 연결 콤포넌트들 중 일정 크기가 넘는 콤포넌트들을 얼굴 후보 영역으로 지정하면 이후 특징 기반 얼굴 영역 추출 모듈에서 이를 확인, 재조정하여 얼굴 영역을 추출하게 된다. Accordingly, if the component in excess of a predetermined size of the connected component designated as a face candidate region in a later verify this feature based face region extraction module, readjust the face region is extracted. 이때, 영상이 복잡하지 않을경우에는, 특징 기반 얼굴 영역 추출 모듈이 없더라도, 칼라기반으로 추출된 연결 콤포넌트 자체가 얼굴 영역으로 추출될 수도 있다. At this time, if the image is not complicated, even if the feature based face region extraction module, the connected component itself extracted with color-based may also be extracted in the face region.

특징 기반 얼굴 영역 추출 모듈은 기본적으로 앞서 잡음을 제거한 살색 영상인 'Dilation 이미지'와 '회색 이미지'를 사용한다. Features based on the face region extraction module uses a 'Dilation image "and" gray image, the image before removal of the skin color noise by default. 'Dilation 이미지'를 사용하여 살색의 분포가 타원에 가까운지를 검사하는 타원 매칭을 수행하는데, 일반적으로 얼굴이 타원 모양이므로 타원에 가깝게 분포되어 있을 경우 얼굴일 확률이 높아진다. To use the 'Dilation image, do the elliptical matching to check whether the distribution of the skin color is close to an ellipse, usually face is more likely if you have one face is distributed so close to the oval-shaped oval. '회색 이미지'를 이용하여 타원 내부에서 눈과 입을 조사하게 되는데, 눈과 입의 특징은 가로로 짙은 선 모양의 패턴을 지니고 있으므로 이를 이용하여 눈과 입을 조사한다. There is the use of "gray image" investigate eyes and mouth from inside an oval, the features of the eyes and mouth are investigating the eyes and mouth, so use them to have a pattern of dark lines shape horizontally. 눈과 입, 그리고 타원의 조건이 만족되면 해당 타원 영역을 최종적으로 얼굴 영역으로 정의한다. If the condition of the eyes and mouth, and finally meets the ellipse defined by the elliptical region face area.

상기 기술한 얼굴 영역 추출 알고리즘을 DSP 칩에 탑재하기 위해서는, 먼저 상기에서 설명된 바와 같이 프로그램 코드는 외부 메모리에 할당하도록 한다. In order to mount the above-described face region extraction algorithm, the DSP chip, the program code, as first described above will be allocated to the external memory. 처리 데이터는 '인덱스 이미지', '회색 이미지', '살색 이미지', 'Erosion 이미지', 'Dilation 이미지'가 각각 88*72 Word를 사용하고 있으며 그 밖에 '그리드 이미지' 등 처리를 위해 사용하는 데이터 들이 대략 890 Word 이내를 사용한다. Processing data "index image", "gray images", "flesh-colored image," "Erosion image", "Dilation image" is and and each using 88 * 72 Word data to the outside is used for treatment or the like, the grid image. " they use approximately 890 Word within. 이들은 전역변수로 선언하여 사용되는데, 88*72 word를 사용하는 5 개의 이미지가 가장 큰 영역을 차지하는 변수로서 이들이 효과적으로 메모리를 공유하여 사용할 수 있도록 설계한다. It is used to declare a global variable, and they are designed so that you can use to effectively share the memory as a variable with five images which are 88 * 72 word occupies the largest area. 그러기 위해 각 프로세스별 라이프 사이클(life cycle)을 정의해보면 도 3과 같다. To that end, each process shown in FIG. 3 haebomyeon define the life cycle (life cycle).

도 3을 참조하면, 더 이상 사용하지 않는 변수가 사용하던 메모리 영역을 다른 변수가 후에 사용하도록 설계할 경우 88*72 Word 크기의 메모리 영역이 세 개만 있으면 효과적으로 메모리를 사용할 수 있음을 알 수 있다. Referring to FIG. 3, it can be seen that more cases be designed to use the memory area who do not use variables then the other variable is 88 * 72 memory area of ​​the Word size to use effective memory if only three. 이들 세 영역을 각각 'Image1', 'Image2', 'Image3'라고 하자. Let each of these three areas 'Image1', 'Image2', 'Image3'.

먼저, 'Image1'은 외부 메모리에 있는 원 영상에서 매크로 블록단위로 내부 메모리로 올릴 때, 내부 메모리에 올려진 하나의 매크로 블록 영상을 위한 영역으로 사용한다. First, 'Image1' when put into the memory for each macroblock in the original image in the external memory, is used as area for one macro block video uploaded to the internal memory. 이후 '살색 이미지'로 사용하다가 'Dilation 모폴로지' 적용 이후에 'Dilation 이미지' 영역으로 사용한다. Since it uses a 'Dilation image' area since the 'Dilation Morphological' applied while using the "flesh-colored images. 그리고, 'Image2'는 '인덱스 이미지'를 위한 영역으로 사용하다가 'Erosion 모폴로지' 적용 이후에는 'Erosion 이미지'로 사용하며, 칼라 기반 얼굴 후보 영역 추출 모듈이 끝나면 특징 기반 얼굴 영역 추출 모듈에서 사용하는 전역 변수 중 일부를 위해 사용된다. And, 'Image2' is global to use while using an area for 'indexed images'' Erosion Morphology "after apply and use to 'Erosion image', at the end of the color-based face candidate region extraction module features based on the face region extraction module It is used for some of the variables. 또한, 'Image3'는 '회색 이미지'를 위해 사용된다. In addition, 'Image3' is used for the "gray image". '회색 이미지'는 처음 생성되어 얼굴 영역 추출 후반에 눈, 입 영역 추출에 사용되므로 가장 라이프 사이클(life cycle)이 길다. "Gray image" is the first creation, so used to the eye and mouth area extracted in the second half of the facial region extracting life cycle (life cycle) is long.

이와 같이 3 개의 88*72 Word 크기의 메모리 영역을 공유하여 사용하고, 890 Word의 내부 메모리를 기타 전역 변수로 사용함으로써 모든 전역 변수를 내부 메모리에 할당할 수 있게 된다. Thus, by sharing the use of three 88 * 72 Word size of the memory area, and by using the internal memory 890 of the Word to other global variables, it is possible to allocate any global variables in internal memory. 임시로 사용되는 적은 양의 지역 변수들은 C55x의 경우 스택(stack)이라는 영역으로 할당되어 사용되는데, 본 발명에서는 100K Word 만큼의 지역 변수용 스택(stack)을 할당하여 사용한다. Local variables of the small amount that is used to temporarily are assigned to an area that is used for C55x stack (stack), the present invention uses to assign the local variables for the stack (stack) as much as 100K Word. 이와 같이 하여 총 메모리 크기는 20K Word 정도로서 DSP 전체 내부 메모리의 25% 만을 사용할 수 있게 된다. In this way, the total memory size is able to use only 25% of the total degree 20K Word DSP internal memory.

상기 기술한 방법으로 얼굴 영역 추출 엔진의 DSP 탑재에 필요한 모든 메모리 할당을 설계하였다. All memory allocation required for the DSP with the face region extraction engine with the above-described method was designed. 얼굴 영역 추출 엔진이 추출한 얼굴 영역 정보를 사용하여ROI 기반으로 비트율을 제어하거나 배경 전환 통신을 할 수 있다. The face region extraction engine is used to extract the face area information to control the bit-rate-based ROI or the background can be switched communication. ROI 기반 비트율 제어란 주요관심영역인 얼굴 영역에 대해서는 상대적으로 높게 화질을 설정함으로서 전체적으로는 적은 데이터 양으로도 얼굴 영역을 고화질로 유지하여 통신할 수 있는 제어 기법을 말한다. ROI-based rate control is as a whole by setting the relatively high image quality for the main areas of interest in the face region refers to a control technique that can communicate to maintain the face region with a small amount of data in the high picture quality. ROI 기반 비트율 제어는 인코더의 자체 비트율 제어 부분에서 얼굴 영역 정보를 사용하여 수행할 수 있다. ROI-based bit rate control can be performed by using the face area information on its own bit-rate control portion of the encoder.

그리고 배경 전환 통신은, 도 4에 나타낸 바와 같이, 얼굴 이외의 영역을 다른 정지 영상으로 교체하여 통신하는 기능을 의미한다. And switching communication and background is meant the ability to, communicate with the replacement areas other than the face to another still image as shown in FIG. 배경 전환 통신을 사용하여 여러 가지 유용하고 재미있는 통신이 가능함과 동시에, 배경이 정지 영상이므로 매우 적은 양으로 압축하여 통신할 수 있다. Using the background communication switching a number of useful and entertaining communication is available and at the same time, may communicate by background compressed in very small amounts because it is a still image. 배경 전환 엔진은 추출된 얼굴 영역 정보를 이용하여, 배경 부분은 사용자가 선택한 배경 부분으로, 얼굴 영역 부분은 카메라에서 입력된 부분으로 합성하여 인코더로 입력하는 기능을 한다. Background conversion engine using the extracted facial area information, the background portion is a function of the input portion selected by the user as a background, the face area portion of the encoder to the input to the synthesis part of the camera. 인코더는 매크로 블록 단위로 입력을 받아 처리를 하므로 배경 전환 엔진도 매크로 블록 단위로 영상을 합성한다. The encoder receives and processes the input in macro-block units, so to background conversion engine also synthesized image on a macroblock basis. 즉 배경 영상은 외부 메모리에 있으며, 사용자가 배경을 선택하면 해당 배경의 해당 매크로블록을 내부 메모리로 올리고, 해당 매크로 블록이 얼굴 영역이 포함되어 있는 경우, 카메라 영상에서의 매크로 블록도 내부 메모리에 올린 다음, 두 영상을 합성하게 된다. That is the background image is located in the external memory, the user selects the background raise the corresponding macro block of the background into the memory, the macroblock is the case that is included in the face area, even macroblock of the camera image uploaded to the internal memory next, the two images are synthesized.

이때 내부 메모리로 올라오는 두개의 매크로 블록 크기(16*16*1.5)의 영상은 앞서 기술한 'Image1', 'Image2', 'Image3' 중 하나를 공유하여 사용할 수 있다. The images of two of the macroblock size (16 * 16 * 1.5) comes up to the internal memory can be used to share one of the 'Image1', 'Image2', 'Image3' previously discussed. 이렇게 합성된 매크로 블록 크기의 합성 영상은 인코더의 입력으로 들어가서 인코딩 된다. Composite image of the thus synthesized macroblock size is encoded enter the input of the encoder. 이와 같은 인코딩 수행의 한 방안으로서 H.263 비디오 인코더를 사용하여인코딩을 수행할 수도 있다. In one approach, such as the encoding is performed may perform encoding using the H.263 video encoder. 이상에서 설명된 배경 전환 엔진의 DSP 칩 상에서의 처리 과정을 도 5에 나타내었다. A process of switching the engine on the background of the DSP chip described above is shown in Fig.

지금까지 기술한 TI320C55x DSP칩을 사용한 ROI 기반 비트율 제어 및 배경 전환 이동통신 단말기의 구성이 도 6에 도시되어 있다. Configuration of the ROI based on the bit rate control and background switching the mobile communication terminal using a DSP chip TI320C55x described so far is illustrated in FIG. 외부 메모리에는 얼굴 영역 추출 엔진, 비트율 제어 엔진, 배경 전환 엔진, 인코더, 디코더 등 각 엔진의 프로그램 코드가 할당되며, 내부 메모리에는 얼굴 영역 추출 엔진과 배경 전환 엔진에서 사용하는 전역변수를 위한 세 개의 88*72 Word 크기의 전역 변수 공간 ('Image1', 'Image2', 'Image3')이 있다. External memory, the face region extraction engine, the rate control engine, background conversion engine, encoder, decoder, etc. are assigned to the program code, for each engine, an internal memory, three 88 for a global variable used by the face region extraction engine and background conversion engine 72 * there is a global variable space ( 'Image1', 'Image2', 'Image3') of Word size. 기타 전역 변수를 위한 890 Word 크기의 전역변수 공간(Global Variable)이 역시 내부 메모리에 존재하며, 지역 변수를 위한 100Word 크기의 공간(stack)이 내부메모리에 할당된다. Other global 890 and global variable space for the variable size Word (Global Variable) are also present in the internal memory, the size 100Word space for local variables (stack) is assigned to the internal memory. 그리고 배경, 카메라 입력 프레임은 외부 메모리 버퍼에 할당된다. And the background, the camera input frame is assigned to the external buffer memory. C55x는 메모리 관리 특성 상 모든 전역 변수는 그 초기 값을 갖으며 초기 값 정보는 전역 변수와 같은 크기로 '.init'이라는 또 다른 메모리로 할당된다. C55x are all the global variable memory management properties has had its initial value initial value information are assigned to the same size as the global variable to another memory called '.init'. 여기서, '.init'은 초기 값으로 프로그램 실행 시 한번만 읽으면 되므로 외부 메모리에 할당된다. Here, '.init' is because the read only once when the program is executed as an initial value is assigned to the external memory.

이상의 설명에서와 같이 본 발명에 따른 이동통신 단말기에 의하면, 실시간으로 얼굴 영역을 추출하여 ROI 기반으로 비트율을 제어하거나 배경을 전환하여 통신을 수행할 수 있는 장점이 있다. According to the mobile communication terminal according to the present invention as in the above description, it is advantageous to extract a face region in real time to perform the communication by controlling a bit rate based on the ROI or the background conversion.

또한 본 발명에 따른 이동통신 단말기에 의하면, 적은 메모리와 제한된 파워라는 특성을 갖는 이동통신 단말기용 DSP 칩에, 얼굴 영역 추출 엔진 및 배경 전환엔진을 효과적으로 탑재 시킴으로써, 특히 적은 양의 메모리를 공유하도록 설계하여 메모리 사용을 최소화하고, 주요 데이터의 경우 DSP 칩의 내부 메모리를 사용하게 함으로써 실시간 처리를 가능하게 해줄 수 있는 장점이 있다. Also designed according to the mobile communication terminal according to the present invention, by a small memory and a mobile communication terminal DSP chip has a limited power of characteristics, effectively with the face region extraction engine and a background conversion engine, in particular share a small amount of memory to minimize the use of memory and, if the key data has the advantage that can be designed to enable real-time processing by making use of an internal memory of the DSP chip.

Claims (11)

  1. '살색 이미지' 처리를 위한 데이터와 'Dilation 이미지' 처리를 위한 데이터의 저장 영역으로 할당된 제 1 메모리 영역과; "Skin color image" is assigned to storage of data for data processing and for a 'Dilation image, processing the first memory region;
    '인덱스 이미지' 처리를 위한 데이터와 'Erosion 이미지' 처리를 위한 데이터의 저장 영역으로 할당된 제 2 메모리 영역과; "Index image" assigned to storage of data for data processing and for "Erosion image, processing the second memory area;
    '회색 이미지' 처리를 위한 데이터의 저장 영역으로 할당된 제 3 메모리 영역과; It assigned to the storage of the data for the "gray image, processing the third memory area;
    얼굴 영역 추출 과정에서의 연산에 필요한 전역 변수의 저장 영역으로 할당된 제 4 메모리 영역과; Assigned to the storage of global variables required for the operation in the face region extraction process, a fourth memory region;
    얼굴 영역 추출 과정에서의 연산에 필요한 지역 변수의 저장 영역으로 할당된 제 5 메모리 영역; Allocated to the storage area of ​​the local variables required for the operation in the face region extraction process, a fifth memory area; And
    상기 제 1 내지 제 5 메모리 영역에 저장되는 데이터를 이용하여, 입력된 영상으로부터 얼굴 영역을 추출하기 위한 얼굴 영역 추출 엔진이 구비된 DSP(Digital Signal Processing) 칩; The first to fifth using the data stored in the memory area, (Digital Signal Processing) The face for extracting a face region from an input image region extraction engine comprising DSP chip; 을 포함하는 것을 특징으로 하는 이동통신 단말기. The mobile terminal comprising a.
    여기서, 상기 '인덱스 이미지'는 입력된 영상에서 살색 조건을 만족하는 픽셀의 칼라 인덱스 값으로 구성된 이미지를 나타내며, 상기 '살색 이미지'는 '인덱스 이미지'로부터 주요 살색을 중심으로 색을 그룹화하여, 살색 그룹에 속한 픽셀만을 표현한 이미지를 나타내며, 상기 '회색 이미지'는 입력된 영상을 회색으로 변환시킨 이미지를 나타내며, 상기 'Erosion 이미지'는 '살색 이미지'에서 잡음으로발생한 살색 픽셀을 제거한 이미지를 나타내며, 상기 'Dilation 이미지'는 'Erosion 이미지'에서 잡음으로 발생한 살색 영역 내에서의 작은 구멍을 채움으로써 구성된 이미지를 각각 나타낸다. Here, the "index image" represents an image consisting of a color index value of which satisfies the skin color condition from the input image pixels, the "skin color image" is by grouping the color around the main skin color from the "index image", flesh colored represents an image representation of only the pixels in the group, the "gray image" denotes a by converting an input image into a gray image, the "Erosion image" represents an image removal of the flesh colored pixels caused by noise in the "skin color image.", the "Dilation image" represents an image composed by filling the small holes in the skin color region caused by noise in "Erosion image, respectively.
  2. 제 1항에 있어서, According to claim 1,
    상기 얼굴 영역 추출 엔진의 코드부는 상기 DSP 칩의 외부 메모리에 위치하고, 상기 제 1 내지 제 5 메모리 영역은 상기 DSP 칩의 내부 메모리에 위치하는 것을 특징으로 하는 이동통신 단말기. Code portion of the face region extraction engine mobile communication terminal characterized in that located in the external memory of said DSP chip, the first to fifth memory area is located in an internal memory of the DSP chip.
  3. 제 1항에 있어서, According to claim 1,
    상기 제 1 내지 제 3 메모리 영역은 모두 88*72 Word 크기로 구성되며, 상기 제 4 메모리 영역은 890 Word 크기로 구성되며, 제 5 메모리 영역은 100 Word 크기로 구성되는 것을 특징으로 하는 이동통신 단말기. The first to third memory area, all 88 - 72 consists of a Word size, it said fourth memory area 890 is composed of Word size, and the fifth memory location is the mobile terminal, characterized in that consisting of a 100 Word size .
  4. 제 1항에 있어서, According to claim 1,
    영상이 표시되는 화면의 배경으로 사용될 배경 영상이 저장되는 제 6 메모리 영역을 더 구비하며, 입력된 영상과 배경 영상을 선택적으로 합성시키는 배경 전환 엔진을 상기 DSP 칩이 더 구비하는 것을 특징으로 하는 이동통신 단말기. Further comprising: a sixth memory area where the image is a stored background image used as a background of the screen is displayed, movement of the selectively synthesized with the input image and the background image background conversion engine characterized in that further comprising the DSP chip terminal.
  5. 제 4항에 있어서, 5. The method of claim 4,
    상기 제 6 메모리 영역과 상기 배경 전환 엔진의 코드부는 상기 DSP 칩의 외부 메모리에 위치하는 것을 특징으로 하는 이동통신 단말기. The sixth code in the memory region and the background conversion engine unit, characterized in that the mobile terminal which is located in the external memory of said DSP chip.
  6. 제 4항에 있어서, 5. The method of claim 4,
    입력 영상으로 사용되는 원 영상을 저장하는 제 7 메모리 영역을 상기 DSP 칩의 외부 메모리에 더 구비하며, 원 영상과 배경 영상을 합성하기 위해 원 영상과 배경 영상을 매크로 블록 단위로 상기 DSP 칩의 내부 메모리에서 합성하는 것을 특징으로 하는 이동통신 단말기. A seventh memory area for storing the original image is used as the input image, and further comprising in the external memory of said DSP chip, the inside of the DSP chip, the original image and the background image for each macroblock in order to synthesize the original image and the background image the mobile terminal characterized in that the synthesis in the memory.
  7. 제 1항에 있어서, According to claim 1,
    상기 DSP 칩은, 주요관심영역(ROI)에 대해서는 비 ROI 영역에 비하여 상대적으로 고화질로 설정되도록, ROI 여부에 따라 비트율을 상대적으로 차이나게 제어하는 ROI 기반 비트율 제어 엔진을 더 구비하는 것을 특징으로 하는 이동통신 단말기. The DSP chip is a major interest to be relatively set in the high picture quality for as compared to the non-ROI area in the area (ROI), which is characterized by further comprising an ROI-based bit rate control engine to remind control difference a bit rate is relatively depending on whether ROI the mobile communication terminal.
  8. 입력 영상의 모든 픽셀에 대해 살색 조건을 만족하는 지 조사하는 단계와; Irradiating not satisfying the condition skin color for every pixel in the input image;
    살색 조건을 만족하는 픽셀에 대해 각 픽셀의 칼라 값의 인덱스를 구하여 인덱스 값으로 구성된 '인덱스 이미지'를 구성하는 단계와; Further comprising: configuring a "index image" consisting of the index value, obtain an index of the color value of each pixel to the skin color pixel satisfying the condition;
    상기 '인덱스 이미지'에서 가장 많이 나타나는 칼라를 중심으로 유사한 칼라를 하나의 그룹으로 묶음으로써 해당 칼라 그룹에 해당하는 픽셀만 'On' 시키고 나머지는 'Off'로 표시하여 '살색 이미지'를 구성하는 단계와; Wherein by tying a similar collar around the most frequently appearing color from the "index image" as a group, only the pixels corresponding to the color group was 'On' rest to display to 'Off' configuration the "skin color image." Wow;
    상기 '살색 이미지'에 'Erosion 모폴로지'를 수행하여 'Erosion 이미지'를 구성하는 단계와; A step of performing the "Erosion Morphology" in the "skin color image" configure "Erosion image, and;
    상기 'Erosion 이미지'에 'Dilation 모폴로지'를 수행하여 'Dilation 이미지'를 구성하는 단계와; A step of performing a 'Dilation Morphology "to the" Erosion image "configure" Dilation image, and;
    상기 'Dilation 이미지'에서 서로 연결된 On-픽셀들을 하나의 덩어리로 연결하여 영역으로 표시하는 연결 요소 구성 단계와; Connection elements configured displaying the On- pixels associated with each other in the "Dilation image, a region connected to one of the chunks;
    상기 연결 요소 구성 단계에서 구성된 연결 요소 중 일정 조건을 만족하는 요소를 얼굴 후보 영역으로 지정하는 단계와; Designating the element which satisfies the predetermined condition of the connecting element is configured in the coupling element formation step in the face candidate area;
    상기 지정된 얼굴 후보 영역이 타원 모양을 하는 지 조사하는 타원 매칭 단계와; Oval matching step of examining whether the face candidate region to the designated shape and the oval;
    상기 최초 입력 영상을 회색 영상으로 변환하여 '회색 이미지'를 구성하는 단계와; A step of converting said first input image into a gray image configuring a "gray image, and;
    상기 '회색 이미지'에서 얼굴 후보 영역을 중심으로 눈과 입 영역을 조사하는 단계; Irradiating the eye and mouth area from the "gray image" around the face candidate region; And
    상기 타원 매칭 결과와 눈과 입 영역 조사 결과를 사용하여 얼굴 영역을 결정하는 얼굴 영역 판단 단계;를 포함하는 것을 특징으로 하는 이동통신 단말기에서의 얼굴 영역 추출 방법. The ellipse matching result and the eyes and mouth region findings by the face area determining step of determining the face region using; extracted face region in a mobile communication terminal comprising the method.
  9. 제 8항에 있어서, The method of claim 8,
    상기 '살색 이미지'와 'Dilation 이미지' 처리를 위한 데이터에 대하여 같은 메모리 영역을 할당하여 시간에 따라 공유하여 사용하고, 상기 '인덱스 이미지'와 'Erosion 이미지' 처리를 위한 데이터에 대하여 같은 메모리 영역을 할당하여 시간에 따라 공유하여 사용하고, 상기 '회색 이미지' 처리를 위한 데이터는 별도의 메모리 영역을 할당하여 사용하는 것을 특징으로 하는 이동통신 단말기에서의 얼굴 영역 추출 방법. The "skin color image, and a memory area, such as" Dilation image "assigned to the same memory area for the data for processing using the shared in time, and with respect to the data for the" index image "and" Erosion image "process assigned using the shared in time, and the extracted face region in the mobile communication terminal of the data for the "gray image, the process characterized by using to allocate a separate memory area method.
  10. 얼굴 영역을 추출하기 위한 얼굴 영역 추출 엔진과, 입력된 영상과 배경 영상을 선택적으로 합성하기 위한 배경 전환 엔진이 구비된 DSP 칩과; Face region extraction engine for extracting the face region, and the input comprising a background conversion engine for selectively synthesizing the image and the background image and the DSP chip;
    상기 DSP 칩의 외부 메모리에 탑재된, 상기 얼굴 영역 추출 엔진의 코드부와; It mounted on the external memory of the DSP chip, and the code portion of the face region extraction engine;
    상기 DSP 칩의 내부 메모리에 탑재된, 상기 얼굴 영역 추출 엔진이 얼굴 영역 추출을 위해 사용하는 전역 변수부와; Global variable portion that is mounted in the internal memory of said DSP chip, the face region extraction engine used for the face area and extracts;
    상기 DSP 칩의 내부 메모리에 탑재된, 상기 얼굴 영역 추출 엔진이 얼굴 영역 추출을 위해 사용하는 지역 변수부와; Local variable portion that is mounted in the internal memory of said DSP chip, the face region extraction engine used for the face area and extracts;
    상기 DSP 칩의 외부 메모리에 탑재된, 상기 배경 전환 엔진의 코드부와; It mounted on the external memory of the DSP chip, and the code portion of the background conversion engine;
    상기 DSP 칩의 내부 메모리에 탑재된, 상기 배경 전환 엔진이 사용하는 전역 변수부와; Mounted in an internal memory of said DSP chip, and the global variable section for the background conversion engine is used;
    상기 DSP 칩의 내부 메모리에 탑재된, 상기 배경 전환 엔진이 사용하는 지역 변수부;를 포함하여 구성되며, It is configured including,; local variable unit for the said background conversion engine mounted in an internal memory of the DSP chip used
    추출된 얼굴 영역 정보를 기반으로, 입력된 영상과 배경 영상을 선택적으로 합성하여 배경 전환을 수행하는 것을 특징으로 하는 이동통신 단말기. Based on the face area information is extracted, type of the mobile communication terminal characterized in that the image and the background to perform the selective switching to the synthesized background image.
  11. 얼굴 영역을 추출하기 위한 얼굴 영역 추출 엔진과, 주요관심영역(ROI :Region Of Interest) 여부에 따라 비트율을 상대적으로 차이나게 제어하는 ROI 기반 비트율 제어 엔진이 구비된 DSP 칩과; Face region extraction engine for extracting the face region and a main region of interest (ROI: Region Of Interest) relative remind control difference in the bit rate depending on whether the ROI based rate control engine is equipped with a DSP chip;
    상기 DSP 칩의 외부 메모리에 탑재된, 상기 얼굴 영역 추출 엔진의 코드부와; It mounted on the external memory of the DSP chip, and the code portion of the face region extraction engine;
    상기 DSP 칩의 내부 메모리에 탑재된, 상기 얼굴 영역 추출 엔진이 사용하는 전역 변수부와; It mounted in an internal memory of said DSP chip, and the global variable portion in which the face region extraction engine in use;
    상기 DSP 칩의 내부 메모리에 탑재된, 상기 얼굴 영역 추출 엔진이 사용하는 지역 변수부; Mounted in an internal memory of said DSP chip, part local variable in which the face region extraction engine in use; And
    상기 DSP 칩의 외부 메모리에 탑재된, 상기 ROI 기반 비트율 제어 엔진의 코드부; Mounted on the external memory of the DSP chips, the code portion of the ROI based rate control engine; 를 포함하여 구성되며, It is configured, including,
    추출된 얼굴 영역 정보를 기반으로, 얼굴 영역에 대해서는 비 얼굴 영역에 비하여 상대적으로 고화질로 설정되도록, 얼굴 영역인지의 여부에 따라 비트율을 상대적으로 차이나게 제어하는 것을 특징으로 하는 이동통신 단말기. Based on the extracted face region information, for the face area moves, it characterized in that the relative difference in the bit rate relative remind control according to whether or not to be set in the high picture quality, the face region as compared to the non-face area communication terminal.
KR20020047221A 2002-08-09 2002-08-09 Mobile station and face detection method for mobile station KR100438283B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20020047221A KR100438283B1 (en) 2002-08-09 2002-08-09 Mobile station and face detection method for mobile station

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20020047221A KR100438283B1 (en) 2002-08-09 2002-08-09 Mobile station and face detection method for mobile station

Publications (2)

Publication Number Publication Date
KR20040014053A true KR20040014053A (en) 2004-02-14
KR100438283B1 KR100438283B1 (en) 2004-07-02

Family

ID=37321297

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20020047221A KR100438283B1 (en) 2002-08-09 2002-08-09 Mobile station and face detection method for mobile station

Country Status (1)

Country Link
KR (1) KR100438283B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100757167B1 (en) * 2006-06-09 2007-09-07 엘지이노텍 주식회사 Mobile phone with image signal processor for capture biometrics image pickup and method for operating the same
KR100976046B1 (en) * 2007-10-09 2010-08-17 에스케이 텔레콤주식회사 System and method for selecting user-preferred area on rendering video

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100757167B1 (en) * 2006-06-09 2007-09-07 엘지이노텍 주식회사 Mobile phone with image signal processor for capture biometrics image pickup and method for operating the same
KR100976046B1 (en) * 2007-10-09 2010-08-17 에스케이 텔레콤주식회사 System and method for selecting user-preferred area on rendering video

Also Published As

Publication number Publication date
KR100438283B1 (en) 2004-07-02

Similar Documents

Publication Publication Date Title
US6263396B1 (en) Programmable interrupt controller with interrupt set/reset register and dynamically alterable interrupt mask for a single interrupt processor
ES2376540T3 (en) Image compression by DCT adaptive block size based on the variance.
US6642934B2 (en) Color mapped and direct color OSD region processor with support for 4:2:2 profile decode function
AU657510B2 (en) Improved image encoding/decoding method and apparatus
JP3797830B2 (en) Variable speed mpeg-2 video syntax processor
US6989868B2 (en) Method of converting format of encoded video data and apparatus therefor
KR100966416B1 (en) Image encoding device, image decoding device, image decoding method, and image encoding method
KR100918480B1 (en) Stereo vision system and its processing method
US5774206A (en) Process for controlling an MPEG decoder
US5812791A (en) Multiple sequence MPEG decoder
DE10354556B4 (en) Apparatus and method for displaying images in a mobile terminal
JP5214246B2 (en) Block average determining method for film grain simulation
KR100292160B1 (en) Image synthesis method, image synthesis device, and data recording medium
KR101528895B1 (en) Method and apparatus for adaptive feature of interest color model parameters estimation
KR20050086520A (en) Region-of-interest tracking method and device for wavelet-based video coding
KR20030026528A (en) Video telecommunication system
KR20010095109A (en) Image processing apparatus and method
JP2008011551A (en) Transformation block optimization method
KR100561154B1 (en) Remote display protocol, video display system, and terminal equipment
KR20050007607A (en) Spatial prediction based intra coding
CN100576921C (en) A mixed image compression method based on block classification
JP3038143B2 (en) Reduced shrinkage apparatus and reduced condensation method and polygonal approximation method of the object-specific shape information of video equipment
KR20000049031A (en) Methods and apparatus for performing digital image and video segmentation and compression using 3-d depth information
CN1125031A (en) Adaptive video compression using variable quantization
EP1598781A1 (en) Adaptive compression of multi-level images

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20080319

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee