KR101164747B1

KR101164747B1 - Method for sysnthesizing image in mobile terminal

Info

Publication number: KR101164747B1
Application number: KR1020100072939A
Authority: KR
Inventors: 호요성; 허진; 장성봉; 권성민
Original assignee: 광주과학기술원; 엘지전자 주식회사
Priority date: 2010-07-28
Filing date: 2010-07-28
Publication date: 2012-07-12
Also published as: KR20120011216A

Abstract

본 발명은 획득된 영상을 소정의 입력에 따라 전경 영역, 경계 영역 및 배경 영역으로 구분하여 상기 각각의 영역에 픽셀의 초기 라벨값을 설정하는 단계, 상기 경계 영역에만 존재하는 픽셀의 라벨값을 결정하여 상기 획득된 영상에서 전경 영상을 분리하는 단계, 상기 분리된 전경 영상의 경계 영역상의 픽셀을 정제하는 단계, 상기 분리된 전경 영상을 사용자가 선택한 배경 영상과 합성하는 단계 및 합성된 영상에서 배경 영상의 밝기를 보정하는 단계;를 포함하여 이루어지는 이동 단말기에서 영상 합성방법을 제공한다.
본 발명에 따르면 본 발명에 따르면, 획득된 영상에서 전경 영상을 분리할 경우, 경계 영역의 픽셀에 대하여만 라벨값을 계산하므로, 전경 영상 분리시 처리 속도가 증가하는 장점이 있다. According to an embodiment of the present invention, an initial label value of a pixel is set in each area by dividing an acquired image into a foreground area, a border area, and a background area according to a predetermined input, and the label value of a pixel existing only in the border area is determined. Separating the foreground image from the obtained image, refining pixels on a boundary area of the separated foreground image, synthesizing the separated foreground image with a background image selected by a user, and a background image from the synthesized image Compensating the brightness of the; provides a method for synthesizing an image in a mobile terminal.
According to the present invention, when the foreground image is separated from the acquired image, the label value is calculated only for the pixels in the boundary area, and thus the processing speed increases when the foreground image is separated.

Description

Image Synthesis in Mobile Terminal {METHOD FOR SYSNTHESIZING IMAGE IN MOBILE TERMINAL}

본 발명은 이동 단말기에서 영상 합성방법에 관한 것으로서, 더욱 상세하게는 획득된 영상에서 전경 영상(중심객체)를 분리하여 사용자가 원하는 배경 영상과 합성할 수 있는 이동 단말기에서 영상 합성방법에 관한 것이다.
The present invention relates to an image synthesizing method in a mobile terminal. More particularly, the present invention relates to an image synthesizing method in a mobile terminal which can separate a foreground image (center object) from an acquired image and synthesize it with a desired background image.

카메라가 장착되고 동영상 스트리밍을 통해 티브이나 영화를 볼 수 있는 이동 단말기는 더 이상 음성 통화만을 위한 전화기가 아니다. 젊은 층들은 이동 단말기에서의 정지영상/동영상 관련 다양한 서비스에 많은 관심을 보이고 있는데, 이동 단말기의 카메라를 이용하여 사진을 찍고, 획득한 정지영상 혹은 동영상을 친구들에게 전송하거나 컴퓨터로 다운로드 받아 이용하는 것은 현재 이동 단말기가 제공하는 주된 엔터테인먼트가 되고 있다.Mobile terminals equipped with cameras and capable of watching TV or movies through video streaming are no longer just phones for voice calls. Young people are showing a lot of interest in various services related to still images / videos in mobile terminals, and taking pictures using mobile cameras and transferring the still images or videos to friends or downloading them to a computer It is becoming a major entertainment provided by mobile terminals.

획득된 영상에서 사용자의 사생활이 노출되거나 혹은 원하지 않는 배경이 촬영되어 사용자의 사생활이 침해되는 경우, 또는 사용자의 엔터테인먼트를 위해 의도적으로 배경 영상을 전환할 필요성이 있다. When the privacy of the user is exposed from the acquired image or an unwanted background is photographed, the privacy of the user is infringed, or it is necessary to intentionally change the background image for the user's entertainment.

여기서 획득된 영상에서 전경 영상을 분리함에 이용되는 전경 영상 분리 알고리즘은 획득된 영상 내의 모든 픽셀 값을 계산한 후, 전경 영상 안정화를 측정한다. 여기서 상기 전경 영상 안정화는 획득된 영상의 모든 픽셀값의 변화가 없는 경우를 말한다. 상기 전경 영상 안정화를 만족하지 않을 경우, 전경 영상 안정화를 만족할 때까지, 계속하여 다시 획득된 영상 내의 모든 픽셀의 라벨값을 계산하므로 전경 영상 분리과정이 복잡하고 처리 시간이 많이 걸리는 문제점이 있다.
The foreground image separation algorithm used to separate the foreground image from the acquired image calculates all pixel values in the obtained image and then measures foreground image stabilization. In this case, the foreground image stabilization refers to a case where all pixel values of the acquired image are not changed. If the foreground image stabilization is not satisfied, until the foreground image stabilization is satisfied, the label values of all pixels in the acquired image are continuously calculated, so that the foreground image separation process is complicated and takes a long time.

본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로서, 획득된 영상에서 전경 영상(중심객체)를 분리하는 경우, 사용자의 소정의 입력에 따라 나누어진 경계 영역의 픽셀에 대하여만 라벨값을 연산하여 전경 영역의 픽셀인지 또는 배경 영역의 픽셀인지를 결정하는 이동 단말기에서 영상 합성방법을 제공함에 그 목적이 있다. The present invention has been made to solve the above-described problem, and when the foreground image (center object) is separated from the acquired image, the label value is calculated only for the pixels of the boundary region divided according to the user's predetermined input. An object of the present invention is to provide a method for synthesizing an image in a mobile terminal which determines whether the pixel is a pixel of the foreground area or a pixel of the background area.

또한 상기 분리된 전경 영상을 배경 영상과 합성하는 경우, 상기 전경 영상과 배경 영상의 경계 영역에서의 색상의 불연속을 방지하는 이동 단말기에서 영상 합성방법을 제공함에 그 목적이 있다.
Another object of the present invention is to provide an image synthesizing method in a mobile terminal which prevents discontinuity of colors in a boundary area between the foreground image and the background image when the separated foreground image is synthesized with the background image.

상기 과제를 해결하기 위해, 본 발명의 일실시예인 이동 단말기에서 영상 합성방법은 획득된 영상을 소정의 입력에 따라 전경 영역, 경계 영역 및 배경 영역으로 구분하여 상기 각각의 영역에 픽셀의 초기 라벨값을 설정하는 단계, 상기 경계 영역에만 존재하는 픽셀의 라벨값을 결정하여 상기 획득된 영상에서 전경 영상을 분리하는 단계, 상기 분리된 전경 영상의 경계 영역상의 픽셀을 정제하는 단계, 상기 분리된 전경 영상을 사용자가 선택한 배경 영상과 합성하는 단계 및 합성된 영상에서 배경 영상의 밝기를 보정하는 단계를 포함한다.
In order to solve the above problems, in the mobile terminal according to an embodiment of the present invention, the image synthesis method divides the obtained image into a foreground area, a border area, and a background area according to a predetermined input, and thus initial label values of pixels in the respective areas. Determining a label value of a pixel existing only in the boundary area, separating the foreground image from the obtained image, purifying a pixel on the boundary area of the separated foreground image, and separating the foreground image. Synthesizing the image with the background image selected by the user and correcting the brightness of the background image in the synthesized image.

본 발명의 일실시예의 일태양에 의하면, 상기 경계 영역에만 존재하는 픽셀의 라벨값을 결정하는 단계는 경계 영역상의 픽셀을 중심으로 주위 픽셀간의 특징 벡터의 유사도와 주위 픽셀의 세기의 곱한 측정값을 계산하는 단계 및 상기 계산된 측정값이 경계 영역의 초기 설정된 픽셀의 세기보다 큰 경우, 상기 주위 픽셀의 라벨값 및 세기로 경계 영역의 픽셀의 라벨값 및 세기를 결정하는 단계를 포함할 수 있다.
According to an embodiment of the present invention, the step of determining the label value of a pixel existing only in the boundary area comprises measuring a product of the similarity of the feature vector between the surrounding pixels and the intensity of the surrounding pixel with respect to the pixel on the boundary area. And calculating the label value and the intensity of the pixel of the boundary area based on the label value and the intensity of the peripheral pixel when the calculated measurement value is greater than the intensity of the initially set pixel of the boundary area.

본 발명의 일실시예의 일태양에 의하면, 상기 경계 영역에만 존재하는 픽셀의 라벨값을 결정하는 단계는 경계 영역의 픽셀의 라벨값의 변화가 없을 때까지 진행하는 것을 특징으로 한다.
According to an embodiment of the present invention, the step of determining the label value of the pixel existing only in the border region is characterized in that the process proceeds until there is no change in the label value of the pixel in the border region.

본 발명의 일실시예의 일태양에 의하면, 상기 경계 영역은 외부 입력 객체를 이용하여 획득된 영상이 표시된 터치 스크린상에 입력되는 제 1 라인과 제 2 라인 사이의 중간 영역인 것을 특징으로 한다.
According to an aspect of an embodiment of the present invention, the boundary area is an intermediate area between a first line and a second line inputted on a touch screen on which an image obtained by using an external input object is displayed.

본 발명의 일실시예의 일태양에 의하면, 상기 합성된 영상에서 배경의 밝기를 보정하는 단계는 분리된 전경 영상에서 피부색 영역을 추출하는 단계, 상기 피부색 영역의 Y값의 평균과, 전경 영상과 중첩되지 않은 배경 영상의 Y값의 평균을 계산하는 단계 및 상기 피부색 영역의 Y값의 평균과 상기 배경 영상의 Y값의 평균의 차이를 이용하여 배경 영상의 밝기를 보정하는 단계를 포함할 수 있다.
According to an aspect of an embodiment of the present invention, the step of correcting the brightness of the background in the synthesized image extracting the skin color region from the separated foreground image, the average of the Y value of the skin color region, overlapping the foreground image Computing the average of the Y value of the non-background image, and correcting the brightness of the background image using the difference between the average of the Y value of the skin color region and the average of the Y value of the background image.

본 발명에 따르면, 획득된 영상에서 전경 영상을 분리할 경우, 경계 영역의 픽셀에 대하여만 라벨값을 계산하므로, 전경 영상 분리시 처리 속도가 증가하는 장점이 있다. According to the present invention, when the foreground image is separated from the acquired image, the label value is calculated only for pixels of the boundary area, and thus, the processing speed increases when the foreground image is separated.

또한 분리된 전경 영상을 배경 영상과 합성하는 경우, 상기 전경 영상과 배경 영상의 경계 영역에서의 색상의 불연속을 방지함으로써 자연스러운 합성 여상을 획득할 수 있으며, 이에 따라 원하지 않는 배경 화면을 전환하여 개인의 사생활 보호 및 개인의 엔터테인먼트 기능을 효과적으로 수행할 수 있다.
In addition, when the separated foreground image is synthesized with the background image, a natural composite image may be obtained by preventing discontinuity of colors in the boundary area of the foreground image and the background image. Effectively perform privacy and personal entertainment functions.

도 1은 본 발명의 일 실시예와 관련된 이동 통신 단말기의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 이동 단말기에서 영상 합성방법을 보여주는 순서도이다.
도 3은 본 발명의 일 실시예에 따른 소정의 입력에 의하여 획득된 영상이 세 개의 영역으로 분리된 이미지도이다.
도 4는 본 발명의 일 실시예에 따른 경계 영역에서 픽셀의 라벨값을 결정하는 방법을 보여주는 순서도이다.
도 5는 본 발명의 일 실시예에 따른 경계 영역 픽셀의 라벨값을 결정하는 것을 설명하는 도면이다.
도 6은 본 발명의 일 실시예에 따른 경계 영역에서 정제과정을 보여주는 이미지도이다.
도 7은 본 발명의 일 실시예에 따른 경계 영역에서 픽셀의 라벨값을 결정하여 획득한 전경 영상이미지이다.
도 8은 분리된 전경 영상을 배경 영상과 합성한 이미지도이다.
도 9는 본 발명의 일 실시예에 따른 영상 합성에 의한 경계 영역에서의 배경 영상의 밝기를 보정하는 것을 설명하는 이미지도이다. 1 is a block diagram of a mobile communication terminal according to an embodiment of the present invention.
2 is a flowchart illustrating a method of synthesizing an image in a mobile terminal according to an embodiment of the present invention.
3 is an image diagram in which an image obtained by a predetermined input is divided into three regions according to an embodiment of the present invention.
4 is a flowchart illustrating a method of determining a label value of a pixel in a boundary area according to an embodiment of the present invention.
5 is a diagram illustrating determining a label value of a boundary area pixel according to an embodiment of the present invention.
6 is an image illustrating a purification process in a boundary area according to an embodiment of the present invention.
7 is a foreground image image obtained by determining a label value of a pixel in a boundary area according to an embodiment of the present invention.
8 is an image diagram of a separated foreground image synthesized with a background image.
FIG. 9 is an image diagram illustrating correcting brightness of a background image in a boundary area by image synthesis according to an embodiment of the present invention.

이하, 본 발명과 관련된 이동 단말기에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. Hereinafter, a mobile terminal related to the present invention will be described in detail with reference to the drawings. The suffix "module" and " part "for the components used in the following description are given or mixed in consideration of ease of specification, and do not have their own meaning or role.

본 명세서에서 설명되는 이동 단말기에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션 등이 포함될 수 있다.The mobile terminal described in this specification may include a mobile phone, a smart phone, a laptop computer, a digital broadcasting terminal, a PDA (Personal Digital Assistants), a PMP (Portable Multimedia Player), and navigation.

그러나, 본 명세서에 기재된 실시예에 따른 구성은 이동 단말기에만 적용 가능한 경우를 제외하면, 디지털 TV, 데스크탑 컴퓨터 등과 같은 고정 단말기에도 적용될 수도 있음을 본 기술분야의 당업자라면 쉽게 알 수 있을 것이다.
However, it will be readily apparent to those skilled in the art that the configuration according to the embodiments described herein may also be applied to fixed terminals such as digital TVs, desktop computers, etc., except when applicable only to mobile terminals.

도 1은 본 발명의 일 실시예와 관련된 이동 단말기의 블록 구성도(block diagram)이다.1 is a block diagram of a mobile terminal according to an embodiment of the present invention.

상기 이동 단말기(100)는 무선 통신부(110), A/V(Audio/Video) 입력부(120), 사용자 입력부(130), 센싱부(140), 출력부(150), 저장부(160), 인터페이스부(170), 제어부(180) 및 전원 공급부(190) 등을 포함할 수 있다. 도 1에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 이동 단말기가 구현될 수도 있다.The mobile terminal 100 may include a wireless communication unit 110, an A / V input unit 120, a user input unit 130, a sensing unit 140, an output unit 150, a storage unit 160, The interface unit 170 may include a controller 180, a power supply unit 190, and the like. The components shown in FIG. 1 are not essential, so that a mobile terminal having more or fewer components may be implemented.

이하, 상기 구성요소들에 대해 차례로 살펴본다.Hereinafter, the components will be described in order.

무선 통신부(110)는 이동 단말기(100)와 무선 통신 시스템 사이 또는 이동 단말기(100)와 이동 단말기(100)가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 무선 통신부(110)는 방송 수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114) 및 위치정보 모듈(115) 등을 포함할 수 있다.The wireless communication unit 110 may include one or more modules for enabling wireless communication between the mobile terminal 100 and the wireless communication system or between the mobile terminal 100 and the network in which the mobile terminal 100 is located. For example, the wireless communication unit 110 may include a broadcast receiving module 111, a mobile communication module 112, a wireless Internet module 113, a short range communication module 114, and a location information module 115 .

방송 수신 모듈(111)은 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. The broadcast receiving module 111 receives a broadcast signal and / or broadcast related information from an external broadcast management server through a broadcast channel.

상기 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 상기 방송 관리 서버는, 방송 신호 및/또는 방송 관련 정보를 생성하여 송신하는 서버 또는 기 생성된 방송 신호 및/또는 방송 관련 정보를 제공받아 단말기에 송신하는 서버를 의미할 수 있다. 상기 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 뿐만 아니라, TV 방송 신호 또는 라디오 방송 신호에 데이터 방송 신호가 결합한 형태의 방송 신호도 포함할 수 있다. The broadcast channel may include a satellite channel and a terrestrial channel. The broadcast management server may mean a server that generates and transmits a broadcast signal and / or broadcast related information or a server that receives a previously generated broadcast signal and / or broadcast related information and transmits the same to a terminal. The broadcast signal may include not only a TV broadcast signal, a radio broadcast signal, and a data broadcast signal, but also a broadcast signal having a data broadcast signal combined with a TV broadcast signal or a radio broadcast signal.

상기 방송 관련 정보는, 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보를 의미할 수 있다. 상기 방송 관련 정보는, 이동통신망을 통하여도 제공될 수 있다. 이러한 경우에는 상기 이동통신 모듈(112)에 의해 수신될 수 있다.The broadcast-related information may refer to a broadcast channel, a broadcast program, or information related to a broadcast service provider. The broadcast related information may also be provided through a mobile communication network. In this case, it may be received by the mobile communication module 112.

방송 수신 모듈(111)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 저장부(160)에 저장될 수 있다.The broadcast signal and / or broadcast related information received through the broadcast receiving module 111 may be stored in the storage 160.

이동통신 모듈(112)은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 상기 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다. The mobile communication module 112 transmits and receives radio signals to at least one of a base station, an external terminal, and a server on a mobile communication network. The wireless signal may include various types of data depending on a voice call signal, a video call signal or a text / multimedia message transmission / reception.

무선 인터넷 모듈(113)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 이동 단말기(100)에 내장되거나 외장될 수 있다. The wireless Internet module 113 is a module for wireless Internet access, and may be built in or externally attached to the mobile terminal 100.

근거리 통신 모듈(114)은 근거리 통신을 위한 모듈을 말한다. The short range communication module 114 refers to a module for short range communication.

위치정보 모듈(115)은 이동 단말기의 위치를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Position System) 모듈이 있다.The position information module 115 is a module for obtaining the position of the mobile terminal, and a representative example thereof is a Global Position System (GPS) module.

도 1을 참조하면, A/V(Audio/Video) 입력부(120)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(121)와 마이크(122) 등이 포함될 수 있다. 카메라(121)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(151)에 표시될 수 있다.Referring to FIG. 1, the A / V input unit 120 is for inputting an audio signal or a video signal, and may include a camera 121 and a microphone 122. The camera 121 processes image frames such as still images or moving images obtained by the image sensor in the video call mode or the photographing mode. The processed image frame may be displayed on the display unit 151.

사용자 입력부(130)는 사용자가 단말기의 동작 제어를 위한 입력 데이터를 발생시킨다. 사용자 입력부(130)는 키 패드(key pad) 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다. The user input unit 130 generates input data for the user to control the operation of the terminal. The user input unit 130 may include a key pad dome switch, a touch pad (static pressure / capacitance), a jog wheel, a jog switch, and the like.

센싱부(140)는 이동 단말기(100)의 개폐 상태, 이동 단말기(100)의 위치, 사용자 접촉 유무, 이동 단말기의 방위, 이동 단말기의 가속/감속 등과 같이 이동 단말기(100)의 현 상태를 감지하여 이동 단말기(100)의 동작을 제어하기 위한 센싱 신호를 발생시킨다. 또한, 전원 공급부(190)의 전원 공급 여부, 인터페이스부(170)의 외부 기기 결합 여부 등을 센싱할 수도 있다. 한편, 상기 센싱부(140)는 근접 센서(141), 터치센서(142) 및 가속도 센서(143)를 포함할 수 있다. The sensing unit 140 senses the current state of the mobile terminal 100 such as the open / close state of the mobile terminal 100, the position of the mobile terminal 100, the presence or absence of user contact, the orientation of the mobile terminal, And generates a sensing signal for controlling the operation of the mobile terminal 100. In addition, whether the power supply unit 190 is supplied with power, whether the interface unit 170 is coupled to the external device may be sensed. The sensing unit 140 may include a proximity sensor 141, a touch sensor 142, and an acceleration sensor 143.

출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 이에는 디스플레이부(151) 및 음향 출력 모듈(152) 등이 포함될 수 있다.The output unit 150 is used to generate an output related to visual, auditory or tactile senses, and may include a display unit 151 and a sound output module 152.

디스플레이부(151)는 이동 단말기(100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 이동 단말기가 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 이동 단말기(100)가 화상 통화 모드 또는 촬영 모드인 경우에는 촬영 또는/및 수신된 영상 또는 UI, GUI를 표시한다. The display unit 151 displays (outputs) information processed by the mobile terminal 100. For example, when the mobile terminal is in a call mode, the mobile terminal displays a user interface (UI) or a graphic user interface (GUI) related to the call. When the mobile terminal 100 is in a video call mode or a photographing mode, the mobile terminal 100 displays photographed and / or received images, a UI, and a GUI.

디스플레이부(151)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다. The display unit 151 includes a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), and a flexible display (flexible). and at least one of a 3D display.

디스플레이부(151)와 터치 동작을 감지하는 센서(이하, '터치 센서'라 함)가 상호 레이어 구조를 이루는 경우(이하, '터치 스크린'이라 함)에, 디스플레이부(151)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 터치센서(142)는, 예를 들어, 터치 필름, 터치 시트, 터치 패드 등의 형태를 가질 수 있다.When the display unit 151 and a sensor for detecting a touch operation (hereinafter, referred to as a touch sensor) form a mutual layer structure (hereinafter referred to as a touch screen), the display unit 151 may be configured in addition to an output device. Can also be used as an input device. The touch sensor 142 may be, for example, in the form of a touch film, a touch sheet, a touch pad, or the like.

터치센서(142)는 디스플레이부(151)의 특정 부위에 가해진 압력 또는 디스플레이부(151)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치센서(142)는 터치 되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다. The touch sensor 142 may be configured to convert a change in pressure applied to a specific portion of the display unit 151 or capacitance generated at a specific portion of the display unit 151 into an electrical input signal. The touch sensor 142 may be configured to detect not only the position and area of the touch but also the pressure at the touch.

터치센서(142)에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부(180)로 전송한다. 이로써, 제어부(180)는 디스플레이부(151)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다.When there is a touch input to the touch sensor 142, the corresponding signal (s) are sent to the touch controller. The touch controller processes the signal (s) and transmits the corresponding data to the controller 180. As a result, the controller 180 can know which area of the display unit 151 is touched.

도 1을 참조하면, 상기 터치 스크린에 의해 감싸지는 이동 단말기의 내부 영역 또는 상기 터치 스크린의 근처에 근접 센서(141)가 배치될 수 있다. 상기 근접 센서는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서는 접촉식 센서보다는 그 수명이 길며 그 활용도 또한 높다. Referring to FIG. 1, a proximity sensor 141 may be disposed in an inner region of a mobile terminal surrounded by the touch screen or near the touch screen. The proximity sensor refers to a sensor that detects the presence or absence of an object approaching a predetermined detection surface or an object present in the vicinity without using a mechanical contact by using an electromagnetic force or infrared rays. Proximity sensors have a longer life and higher utilization than touch sensors.

상기 근접 센서의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 상기 터치 스크린이 정전식인 경우에는 상기 포인터의 근접에 따른 전계의 변화로 상기 포인터의 근접을 검출하도록 구성된다. 이 경우 상기 터치 스크린(터치 센서)은 근접 센서로 분류될 수도 있다.Examples of the proximity sensor include a transmission photoelectric sensor, a direct reflection photoelectric sensor, a mirror reflection photoelectric sensor, a high frequency oscillation proximity sensor, a capacitive proximity sensor, a magnetic proximity sensor, and an infrared proximity sensor. When the touch screen is capacitive, the touch screen is configured to detect the proximity of the pointer by a change in an electric field according to the proximity of the pointer. In this case, the touch screen (touch sensor) may be classified as a proximity sensor.

음향 출력 모듈(152)은 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(110)로부터 수신되거나 저장부(160)에 저장된 오디오 데이터를 출력할 수 있다. 음향 출력 모듈(152)은 이동 단말기(100)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음 등)과 관련된 음향 신호를 출력하기도 한다. 이러한 음향 출력 모듈(152)에는 리시버(Receiver), 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.The sound output module 152 may output audio data received from the wireless communication unit 110 or stored in the storage unit 160 in a call signal reception, a call mode or a recording mode, a voice recognition mode, a broadcast reception mode, and the like. The sound output module 152 also outputs sound signals related to functions (e.g., call signal reception sound, message reception sound, etc.) performed in the mobile terminal 100. [ The sound output module 152 may include a receiver, a speaker, a buzzer, and the like.

저장부(160)는 제어부(180)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)을 임시 저장할 수도 있다. 상기 저장부(160)는 상기 터치 스크린 상의 터치 입력시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다. The storage unit 160 may store a program for the operation of the controller 180 and may temporarily store input / output data (for example, a phone book, a message, a still image, a video, etc.). The storage unit 160 may store data regarding vibration and sound of various patterns output when a touch input on the touch screen is performed.

저장부(160)는 플래시 저장부 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 저장부(예를 들어 SD 또는 XD 저장부 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 저장부, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 이동 단말기(100)는 인터넷(internet)상에서 상기 저장부(160)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작할 수도 있다.The storage unit 160 may include a flash memory type, a hard disk type, a multimedia card micro type, and a card type storage unit (eg, SD or XD storage unit). Etc.), random access memory (RAM), static random access memory (SRAM), read-only memory (ROM), electrically erasable programmable read-only memory (EPEROM), programmable read-only memory (PROM), At least one type of storage medium may include a magnetic storage unit, a magnetic disk, and an optical disk. The mobile terminal 100 may operate in connection with a web storage that performs a storage function of the storage unit 160 on the Internet.

인터페이스부(170)는 이동 단말기(100)에 연결되는 모든 외부기기와의 통로 역할을 한다. 인터페이스부(170)는 외부 기기로부터 데이터를 전송받거나, 전원을 공급받아 이동 단말기(100) 내부의 각 구성 요소에 전달하거나, 이동 단말기(100) 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트, 외부 충전기 포트, 유/무선 데이터 포트, 저장부 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O(Input/Output) 포트, 이어폰 포트 등이 인터페이스부(170)에 포함될 수 있다. The interface unit 170 serves as a path for communication with all external devices connected to the mobile terminal 100. The interface unit 170 receives data from an external device, receives power, transfers the power to each component inside the mobile terminal 100, or transmits data inside the mobile terminal 100 to an external device. For example, wired / wireless headset ports, external charger ports, wired / wireless data ports, memory card ports, ports for connecting devices with identification modules, audio input / output (I / O) ports The video input / output (I / O) port, the earphone port, and the like may be included in the interface unit 170.

제어부(controller, 180)는 통상적으로 이동 단말기의 전반적인 동작을 제어한다. 예를 들어 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행한다. 상기 제어부(180)는 상기 터치 스크린 상에서 행해지는 필기 입력 또는 그림 그리기 입력을 각각 문자 및 이미지로 인식할 수 있는 패턴 인식 처리를 행할 수 있다. The controller 180 typically controls the overall operation of the mobile terminal. For example, perform related control and processing for voice calls, data communications, video calls, and the like. The controller 180 may perform a pattern recognition process for recognizing a writing input or a drawing input performed on the touch screen as text and an image, respectively.

전원 공급부(190)는 제어부(180)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.The power supply unit 190 receives an external power source and an internal power source under the control of the controller 180 to supply power for operation of each component.

여기에 설명되는 다양한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.Various embodiments described herein may be implemented in a recording medium readable by a computer or similar device using, for example, software, hardware or a combination thereof.

하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시예들이 제어부(180) 자체로 구현될 수 있다.According to a hardware implementation, the embodiments described herein include application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPGAs), and the like. It may be implemented using at least one of processors, controllers, micro-controllers, microprocessors, and electrical units for performing other functions. The described embodiments may be implemented by the controller 180 itself.

소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 저장부(160)에 저장되고, 제어부(180)에 의해 실행될 수 있다.
According to the software implementation, embodiments such as the procedures and functions described herein may be implemented as separate software modules. Each of the software modules may perform one or more of the functions and operations described herein. Software code may be implemented in software applications written in a suitable programming language. The software code may be stored in the storage 160 and executed by the controller 180.

이하 본 발명의 획득된 영상에서 전경 영상(중심객체)를 분리하는 경우, 사용자의 소정의 입력에 따라 나누어진 경계 영역의 픽셀에 대하여만 라벨값을 연산하여 전경 영역의 픽셀인지 또는 배경 영역의 픽셀인지를 결정하는 이동 단말기에서 영상 합성방법에 대하여 설명한다.
Hereinafter, when the foreground image (center object) is separated from the obtained image of the present invention, the label value is calculated only for pixels in the boundary region divided according to a user's predetermined input to determine whether the pixel is a foreground pixel or a background region pixel. A method of synthesizing an image in a mobile terminal for determining recognition will be described.

도 2는 본 발명의 일 실시예에 따른 이동 단말기에서 영상 합성방법을 보여주는 순서도이다. 2 is a flowchart illustrating a method of synthesizing an image in a mobile terminal according to an embodiment of the present invention.

도 2에서 보는 바와 같이, 제어부는 먼저 획득된 영상을 사용자의 소정의 입력에 따라 전경 영역, 경계 영역 및 배경 영역으로 구분하여 각각의 영역에 픽셀의 초기 라벨값을 결정한다(S1). 이 후 제어부는 상기 초기 지정된 상기 경계 영역에서 픽셀의 라벨값을 주위 픽셀값과의 특징 벡터의 유사도와 주위 픽셀의 세기의 곱을 계산한 측정값을 비교하여 결정함으로써, 경계 영역상의 픽셀이 전경 영역인지, 배경 영역인지 판단하여 획득된 영상에서 전경 영상을 분리한다(S3).As shown in FIG. 2, the controller first divides the acquired image into a foreground area, a border area, and a background area according to a user's input to determine an initial label value of a pixel in each area (S1). Thereafter, the controller determines the label value of the pixel in the initially designated boundary area by comparing the measured value calculated by multiplying the similarity of the feature vector with the surrounding pixel value and the intensity of the surrounding pixel, thereby determining whether the pixel on the boundary area is the foreground area. In operation S3, the foreground image is separated from the acquired image by determining whether the image is a background area.

이후 제어부는 사용자가 원하는 배경 영상에 상기 분리된 전경 영상을 합성하는 경우, 배경 영상과 분리된 전경 영상 사이의 경계 영역에서 부자연스러운 합성 영상이 생성되는 것을 방지하기 위하여 경계 영역상의 픽셀을 정제한다(S5).Then, when the user synthesizes the separated foreground image to the background image desired by the user, the controller refines pixels on the boundary region to prevent an unnatural synthesis image from being generated in the boundary region between the background image and the separated foreground image ( S5).

이후 제어부는 분리된 전경 영상을 원하는 배경 영상에 합성하고(S7), 합성된 영상에서 전경 영상의 밝기와 배경 영상의 밝기를 고려하여 배경 영상의 밝기를 보정한다(S9).
Thereafter, the controller synthesizes the separated foreground image to the desired background image (S7), and corrects the brightness of the background image in consideration of the brightness of the foreground image and the brightness of the background image in the synthesized image (S9).

이하 이동 단말기에서 영상 합성방법의 각 단계의 구체적인 설명을 도 3 내지 도 9를 참조하여 설명한다. Hereinafter, a detailed description of each step of the image synthesizing method in the mobile terminal will be described with reference to FIGS. 3 to 9.

도 3은 본 발명의 일 실시예에 따른 소정의 입력에 의하여 획득된 영상이 세 개의 영역으로 분리된 이미지도이다.3 is an image diagram in which an image obtained by a predetermined input is divided into three regions according to an embodiment of the present invention.

도 3의 (a)에서 보는 바와 같이, 제어부는 사용자의 소정의 입력을 입력받아 획득된 영상을 세 개의 영역으로 분리하여 각 영역상의 픽셀의 초기 라벨값을 설정한다. 여기서 사용자의 소정의 입력은 획득된 영상(200)에서 추출되기를 원하는 전경 영상을 지정하기 위하여 외부 입력 객체(예를 들어 스타일러스펜)를 이용하여 상기 전경 영상의 테두리를 따라 제 1 라인(210)을 드래그한다. 이 후 사용자는 획득된 영상(200)에서 배경 영상(즉 추출되기를 원하지 않는 영상)을 구분하기 위하여 추출되기를 원하는 전경 영상과 소정의 거리를 갖는 테두리를 따라 제 2 라인(220)을 드래그한다.As shown in (a) of FIG. 3, the controller divides an image obtained by receiving a predetermined input of a user into three regions and sets initial label values of pixels on each region. In this case, the user inputs the first line 210 along the edge of the foreground image by using an external input object (eg, a stylus pen) to designate a foreground image that is desired to be extracted from the acquired image 200. Drag Thereafter, the user drags the second line 220 along an edge having a predetermined distance from the foreground image to be extracted to distinguish the background image (that is, the image that is not desired to be extracted) from the acquired image 200.

이동 단말기에서 사용자가 배경을 전환하려는 영상은 보통 전경 영상(중심 객체)이 중심에 있는 영상이다. 도 3의 (b)를 참조하면, 사용자가 입력한 제 1 라인 및 제 2 라인을 기준으로, 상기 제 1 라인 아래는 전경 영역일 확률이 높고, 반대로 제 2 라인 위로는 배경 영역일 확률이 높다.In the mobile terminal, the image of which the user wants to switch the background is usually an image in which the foreground image (center object) is the center. Referring to FIG. 3B, based on the first and second lines input by the user, a probability below the first line is likely to be a foreground area, and conversely, a probability above the second line is a background area. .

따라서 상기 입력된 제 1 라인(210) 및 제 2 라인(220)에 따라 획득된 영상은 전경 영역(251), 경계 영역(252) 및 배경 영역(253)으로 구분된다. 여기서 이동 단말기의 시스템 자원의 제약 사항을 고려하면 획득된 영상에서 전경 영상 분리 정확도와 전경 영상 분리 속도를 증가시키기 위하여 도 3의 (c)에서 보는 바와 같이, 각각의 영역에 초기 픽셀의 라벨값을 설정한다. 예를 들어, 상기 전경 영역(251) 픽셀의 초기 라벨값은 1(흰색), 경계 영역(252) 픽셀의 초기 라벨값은 0(회색), 배경 영역(253) 픽셀의 초기 라벨값은 -1(검정색)으로 설정한다.Accordingly, the image obtained according to the input first line 210 and the second line 220 is divided into a foreground area 251, a boundary area 252, and a background area 253. Here, in order to increase the foreground image separation accuracy and the foreground image separation speed in the acquired image, considering the constraints of the system resources of the mobile terminal, as shown in FIG. Set it. For example, the initial label value of the foreground area 251 pixel is 1 (white), the initial label value of the boundary area 252 pixel is 0 (gray), and the initial label value of the background area 253 pixel is -1. Set to (Black).

획득된 영상을 세개의 영역으로 구분하고 각각의 영역상에 존재하는 초기 픽셀값을 설정하여 생성된 세 개의 픽셀 라벨값을 갖는 영상(250)을 이용하여 전경 영상을 분리한다. 이 경우, 상기 전경 영역 및 배경 영역상의 픽셀은 확률적으로 변할 가능성이 매우 적은 영역이다. 따라서 제어부는 상기 경계 영역상의 픽셀(라벨값이 0으로 초기 설정됨)에 대해서만 연산을 통하여 전경 영역(픽셀 라벨값이 1로 초기 설정됨)에 속하는지, 또는 배경 영역(픽셀 라벨값이 -1로 설정됨)에 속하는지 판단하면 되므로 상기 세 개의 픽셀 라벨값을 갖는 영상(250)을 이용하여 전경 분리를 수행하는 경우, 전경 영상 분리 정확도와 전경 영상 분리 속도 측면에서 효율적이다.
The foreground image is separated by using the image 250 having three pixel label values generated by dividing the obtained image into three regions and setting initial pixel values existing in each region. In this case, the pixels on the foreground area and the background area are areas that are very unlikely to change. Therefore, the control unit performs calculation only on the pixels on the boundary area (label value is initially set to 0) and belongs to the foreground area (pixel label value is set to 1) or background area (pixel label value is -1). Since the foreground separation is performed using the image 250 having the three pixel label values, the foreground image separation accuracy and the foreground image separation speed are efficient.

도 4는 본 발명의 일 실시예에 따른 경계 영역에서 픽셀의 라벨값을 결정하는 방법을 보여주는 순서도이다.4 is a flowchart illustrating a method of determining a label value of a pixel in a boundary area according to an embodiment of the present invention.

도 4에서 보는 바와 같이, 제어부는 획득된 영상을 세 개의 영역으로 구분하여 각각의 영역에 픽셀의 라벨값을 다르게 설정한 세 개의 픽셀 라벨값을 갖는 영상을 생성한 후(S41) 경계 영역에서의 픽셀의 라벨값을 판단하기 위한 연산을 수행에 따라 획득된 영상에서 전경 영상을 분리한다. As shown in FIG. 4, the controller divides the acquired image into three regions and generates an image having three pixel label values having different pixel label values set in each region (S41). The foreground image is separated from the acquired image by performing an operation for determining a label value of the pixel.

획득된 영상에서 전경 영상을 분리하기 위하여 사용되는 GrowCut 알고리즘은 상기 각각의 영역상에 픽셀의 초기 라벨을 지정해준 후, Cellular automaton 방법을 사용하여 자동적으로 전경 영상을 분리하는 과정을 수행한다. 상기 Cellular automaton 방법은 세 변수를 갖는데, 이를 GrowCut 알고리즘에 적합한 형태로 변형하면 다음과 같다.The GrowCut algorithm, which is used to separate the foreground image from the acquired image, designates an initial label of pixels on each area, and then performs a process of automatically separating the foreground image using the cellular automaton method. The cellular automaton method has three variables, which are transformed into a form suitable for the GrowCut algorithm as follows.

여기서 S_p는 픽셀의 상태(state)를 나타내고, l_p는 현재 펙셀의 라벨(label), θ_p는 현재 펙셀의 세기(strength), C_p는 현재 픽셀의 특징 벡터(feature vector)를 나타낸다. 디지털 영상에서 각 세 변수의 초기 상태는 다음과 같다.Where S _p represents the state of the pixel, l _p represents the label of the current pixel, θ _p represents the strength of the current pixel, and C _p represents the feature vector of the current pixel. The initial states of each of the three variables in the digital image are as follows.

상기 현재 픽셀의 특징 벡터의 RGB_p는RGB 칼라 영역에서 픽셀 P의 3차원 벡터를 나타낸다. RGB _p of the feature vector of the current pixel is Represents a three-dimensional vector of pixels P in an RGB color region.

GrowCut 알고리즘은 픽셀의 초기 라벨 값 저장(S41), 이전 픽셀의 상태 복사(S42), 현재 픽셀의 라벨 값 업데이트(S43), 전경 영상 분할 안정화(S45) 단계를 포함한다. The GrowCut algorithm includes storing the initial label value of the pixel (S41), copying the state of the previous pixel (S42), updating the label value of the current pixel (S43), and stabilizing the foreground image segmentation (S45).

먼저 제어부는 도 3에서 설명한 바와 같이, 전경 영상 분리 과정을 수행하기 전에 사용자의 입력에 따른 제 1 라인 및 제 2 라인을 기준으로 전경 영역, 경계 영역, 배경 영역을 구분한 후, 각 영역의 픽셀에 초기 픽셀의 라벨을 지정한다. First, as described with reference to FIG. 3, the controller divides the foreground area, the boundary area, and the background area based on the first line and the second line according to the user's input before performing the foreground image separation process. Specify the label of the initial pixel.

한편 각 픽셀의 초기 세기(θ_p)는 사용자의 입력에 따라 구분된 전경 영역 및 배경 영역은 전경 영상 분리 과정을 수행하는 동안 변하지 않으므로, 제어부는 픽셀의 초기 세기(θ_p)를 1로 초기화하고, 경계 영역의 픽셀의 초기 세기(θ_p)는 0으로 초기화한다. On the other hand, the initial intensity θ _p of each pixel does not change during the foreground image separation process according to the user's input, so the control unit initializes the initial intensity θ _p of the pixel to 1. , The initial intensity θ _p of the pixels in the boundary region is initialized to zero.

즉 사용자의 입력에 의하여 각각의 영역을 세 개의 픽셀 라벨값을 갖는 영상을 생성한 후, 원래의 영상과 상기 세 개의 픽셀 라벨값을 갖는 영상에서 경계 영역의 픽셀값을 업데이트 하여 전경 영상 분리 과정을 수행한다. 이하 경계 영역에서의 픽셀값을 업데이트 하는 과정에 대하여 설명한다. That is, after generating an image having three pixel label values in each region by a user input, the foreground image separation process is performed by updating pixel values of the boundary region in the original image and the image having the three pixel label values. To perform. Hereinafter, a process of updating the pixel value in the boundary region will be described.

제어부는 먼저 획득한 영상의 경계 영역에 해당하는 픽셀의 라벨 값(label_prev) 및 픽셀의 세기(strength_prev))를 복사한 후(S42), 경계 영역의 모든 픽셀의 라벨값을 업데이트 한다. 상기 경계 영역에서의 픽셀의 라벨값 업데이트는 복사한 경계 영역에서의 현재 픽셀과 이웃하는 픽셀 간의 특징 벡터의 유사도와 이웃하는 픽셀의 세기를 고려하여 결정한다. The controller first copies the label value (label_prev) and the intensity (strength_prev) of the pixel corresponding to the boundary region of the obtained image (S42), and then updates the label values of all pixels of the boundary region. The label value update of the pixel in the boundary region is determined in consideration of the similarity of the feature vector between the current pixel and the neighboring pixel in the copied boundary region and the intensity of the neighboring pixel.

도 5는 본 발명의 일 실시예에 따른 경계 영역 픽셀의 라벨값을 결정하는 것을 설명하는 픽셀 배열을 보여주는 도면으로서, 도 5를 참조하면, 경계 영역에서의 픽셀의 라벨값(l_p)은 현재 픽셀(P)과 각 이웃하는 픽셀(q_i, 1≤i≤8)간의 특징 벡터의 유사도(g(C_p - C_q))와 이웃하는 픽셀의 세기(θ_qi, 1≤i≤8)의 곱이 현재 픽셀의 세기(θ_p)보다 큰지 판단하여, 이때 이웃하는 픽셀의 라벨값(l_qi)과 세기(θ_qi)를 이용하여 결정한다. 여기서 특징 벡터의 유사도(g(C_p - C_q))는 아래 수학식 1로 계산한다.FIG. 5 is a diagram illustrating an arrangement of pixels illustrating determining a label value of a border area pixel according to an embodiment of the present invention. Referring to FIG. 5, a label value l _p of a pixel in the border area is currently set. The similarity (g (C _p -C _q )) of the feature vector between the pixel P and each neighboring pixel q _i , 1 ≦ _i ≦ 8, and the intensity of the neighboring pixels θ _qi , 1 ≦ i ≦ 8 It is determined whether the product of is greater than the intensity θ _p of the current pixel, and is determined using the label value l _qi and the intensity θ _qi of neighboring pixels. The similarity (g (C _p -C _q )) of the feature vector is calculated by Equation 1 below.

[수학식 1][Equation 1]

여기서 C_p는 현재 픽셀의 특징 벡터, C_q는 이웃하는 픽셀의 특징 벡터를 나타낸다. Where C _p is the feature vector of the current pixel and C _q is the feature vector of the neighboring pixel.

다시 도 4를 참고하면, 제어부는 이웃하는 8개의 픽셀(q₁ ~ q₈)에 대하여 특징 벡터의 유사도와 픽셀의 세기의 곱의 측정값과 경계 영역에서의 픽셀의 세기와 비교 연산하는 과정을 수행하여 경계 영역에서의 픽셀의 라벨값을 결정한다(S43). 제어부는 경계 영역에서의 마지막 픽셀까지 상기 비교, 연산을 통하여 라벨값을 결정하고(S44), 전경 영상 분할 안정화를 측정하여 전경 영상 분리과정이 안정화될 때까지(S45) 상기 경계 영역에서의 픽셀의 라벨값을 업데이트 한다. 상기 전경 영상 분할 안정화는 경계 영역에서의 모든 픽셀의 라벨값의 변화가 없을때 이루어진다. 이후 제어부는 경계 영역의 픽셀의 라벨값을 결정하여 전경 영상을 획득한 영상으로부터 분리한 후, 경계 영역의 정제 과정을 수행한다(S46).
Referring back to FIG. 4, the control unit performs a process of comparing the measured value of the product of the similarity of the feature vector and the pixel intensity with respect to the neighboring eight pixels q ₁ to q ₈ and the intensity of the pixel in the boundary region. In operation S43, the label value of the pixel in the boundary area is determined. The control unit determines the label value through the comparison and operation until the last pixel in the boundary region (S44), and measures the foreground image segmentation stabilization until the foreground image separation process is stabilized (S45). Update the label value. The foreground image segmentation stabilization is performed when there is no change in the label value of every pixel in the boundary region. Thereafter, the controller determines a label value of the pixel of the boundary area to separate the foreground image from the obtained image, and then performs a purification process of the boundary area (S46).

도 6은 본 발명의 일 실시예에 따른 경계 영역에서 정제과정을 보여주는 이미지도이다.6 is an image illustrating a purification process in a boundary area according to an embodiment of the present invention.

도 4에서 설명한 GrowCut 알고리즘은 도 6의 (a)에서 보는 바와 같이, 획득한 영상으로부터 전경 영상과 배경 영상을 효과적으로 분리하지만, 도 6의 (a)에서 전경 영상의 경계 부분(610)에서 부드럽고 깨끗한 전경 영상 분할을 수행하지 못한다(도 6의 (b)참조). 특히, 고해상도 영상의 경우 이러한 문제는 심각한 왜곡을 초래한다. 이로 인해, GrwoCut 알고리즘으로 분리된 전경 영상을 임의의 배경에 합성하게 되면, 부자연스러운 합성 영상이 생성된다. 따라서, 부드럽고 정확한 경계를 획득하여 자연스러운 합성 영상을 생성하기 위해, 경계 영역 정제 과정이 필요하다.The GrowCut algorithm described in FIG. 4 effectively separates the foreground image and the background image from the obtained image, as shown in FIG. 6 (a), but is smooth and clean at the boundary portion 610 of the foreground image in FIG. The foreground image segmentation may not be performed (see FIG. 6B). In particular, in the case of high resolution images, this problem causes severe distortion. Therefore, when the foreground image separated by the GrwoCut algorithm is synthesized on an arbitrary background, an unnatural synthesized image is generated. Therefore, in order to obtain a smooth and accurate boundary to generate a natural composite image, a boundary region refinement process is required.

경계 영역 정제를 위해, 영상 처리 알고리즘 중 이진 영상에서 사용되는 기본적인 모폴로지(morphology) 연산인 침식(erosion) 연산과 팽창(dilation) 연산을 이용한 닫힘(closing) 연산을 수행한다. For the boundary region refinement, a closing operation using erosion and dilation, which are basic morphology operations used in binary images, is performed.

상기 침식 연산은 영상 내에서 배경을 확장시키고 객체의 크기를 축소한다. 따라서, 침식 마스크를 이용하여 침식 연산을 수행하면, 흰 객체의 둘레로부터 픽셀을 없애는 효과를 발생시킨다. 팽창 연산은 객체의 최 외각 픽셀을 확장하여 객체의 크기는 확장하고 배경은 축소한다. 즉, 팽창 연산은 팽창 마스크를 이용하여 흰색 객체의 둘레에 픽셀을 더하는 역할을 한다. 이 두 기본 모폴로지 연산을 이용한 닫힘 연산은 우선, 팽창 연산을 수행한 후, 침식 연산을 수행한다. 닫힘 연산은 객체의 경계 부분을 부드럽게 만들고 좁은 지협과 길고 얇은 돌출 부분을 합치고 작은 구멍을 제거하고 객체의 경계 부분의 간격을 메운다. The erosion operation expands the background and reduces the size of the object in the image. Thus, performing an erosion operation using the erosion mask produces an effect of removing pixels from the periphery of the white object. The expansion operation expands the outermost pixels of the object, expanding its size and reducing its background. That is, the expansion operation serves to add pixels around the white object using the expansion mask. The closing operation using these two basic morphology operations first performs an expansion operation and then performs an erosion operation. The closing operation smoothes the boundary of the object, joins the narrow isthmus and long thin protrusions, removes the small holes, and closes the gap between the object's boundaries.

경계 영역 정제를 위해 15×15 팽창 마스크와 15×15 침식 마스크를 사용하여 닫힘 연산을 수행한다. GrowCut 알고리즘을 수행하여 획득한 전경 분리 영상에 닫힘 연산을 수행하여 도면 6의 (c)에서 보는 바와 같이, 정제된 영상(620)을 획득할 수 있다.
The close operation is performed using a 15 × 15 inflation mask and a 15 × 15 erosion mask for boundary area purification. As shown in (c) of FIG. 6, a closed operation may be performed on the foreground separated image obtained by performing the GrowCut algorithm to obtain a purified image 620.

도 7은 본 발명의 일 실시예에 따른 경계 영역에서 픽셀의 라벨값을 결정하여 획득한 전경 영상이미지이다. 7 is a foreground image image obtained by determining a label value of a pixel in a boundary area according to an embodiment of the present invention.

도 7의 (a)는 획득한 영상에서 모든 영역에 대하여 픽셀의 라벨값을 업데이트하여 전경 영상을 분리한 후, 경계 영역에서의 정제 과정을 수행한 영상으로 분리된 전경 영역에 홀(980)이 존재한다. 상기 홀(980)을 제거하기 위해서는 경계 영역 정제 과정에서 큰 크기의 팽창 마스크와 침식 마스크를 사용하여 닫힘 연산을 수행해야 한다. 경계 영역 정제 과정에서 큰 크기의 마스크를 사용하면 비록 홀은 제거할 수 있지만, 복잡도가 높아 처리 시간이 증가하는 문제가 발생한다.In FIG. 7A, after the separation of the foreground image by updating the label values of the pixels for all regions in the acquired image, the hole 980 is formed in the foreground region separated by the image having been refined in the boundary region. exist. In order to remove the hole 980, a close operation may be performed by using an expansion mask and an erosion mask having a large size in the boundary region refining process. The use of a large mask in the boundary region refinement process eliminates holes, but increases complexity and increases processing time.

도 7의 (b)는 획득한 영상에서 경계 영역에 대하여만 픽셀의 라벨값을 업데이트하여 전경 영상을 분리한 후, 경계 영역에서의 정제 과정을 수행한 영상으로 분리된 전경 영역에 홀이 존재하지 않음을 알 수 있다. 즉 본원 발명의 경계 영역에 대하여만 픽셀의 라벨값을 업데이트하여 전경 영상을 분리하는 경우, 전경 영상 분리 정확도가 증가함을 알 수 있다.
FIG. 7B illustrates that the foreground image is separated by updating the label value of the pixel only for the boundary region in the acquired image, and there is no hole in the foreground region separated by the image that has been refined in the boundary region. It can be seen that. That is, when the foreground image is separated by updating the label value of the pixel only in the boundary area of the present invention, it can be seen that the foreground image separation accuracy increases.

도 8은 분리된 전경 영상을 배경 영상과 합성한 이미지도이다.8 is an image diagram of a separated foreground image synthesized with a background image.

도 8의 (c)는 도 8의 (a)의 획득한 영상(710)에서 GrowCut 알고리즘을 이용하여 전경 영상을 분리한 후 경계 영역에서의 정제 과정을 수행하여, 도 8의 (b)의 사용자가 원하는 배경 영상(720)에 합성한 영상(730)이다. 도 8의 (c)의 합성 영상은 분리된 전경 영상(710)을 임의의 배경 영상(720)에 합성하는 경우, 전경 영상과 배경 영상의 경계 영역에서 불연속성이 발생하므로 원래의 영상에서 느낄 수 없었던 부자연스러움이 있다. 따라서 상기 전경 영상과 배경 영상의 경계 영역에서 불연속성을 줄이기 위하여 경계선을 부드럽게 하는 평균값 필터를 사용한다. 즉 본원 발명에서는 5×5 크기의 평균값 필터 마스크를 사용하여 전경 영상의 밝기와 배경 영상의 밝기를 고려하여 합성 영상에서의 밝기를 보정하였다. FIG. 8C illustrates the user of FIG. 8B by separating the foreground image from the acquired image 710 of FIG. 8A using the GrowCut algorithm and then performing a refinement process on the boundary region. Is an image 730 synthesized to a desired background image 720. In the composite image of FIG. 8C, when the separated foreground image 710 is synthesized to an arbitrary background image 720, discontinuity occurs in the boundary area between the foreground image and the background image, and thus, the composite image may not be felt in the original image. There is unnaturalness. Therefore, in order to reduce the discontinuity in the boundary area of the foreground image and the background image, an average value filter for smoothing the boundary line is used. That is, in the present invention, the brightness of the synthesized image is corrected by considering the brightness of the foreground image and the brightness of the background image using a 5 × 5 average value filter mask.

제어부는 합성 영상에서 배경 영상의 밝기 보상을 위해 분리된 전경 영상에서 피부색 영역을 추출한 후, 피부색 영역의 R, G, B 값을 Y, Cb, Cr 값으로 변환한 후, 피부색 영역의 Y 값의 평균을 계산한다. 아래 수학식 2를 이용하여 분리된 전경 영상에서 피부색 영역을 추출할 수 있다. The controller extracts the skin color region from the separated foreground image to compensate for the brightness of the background image from the synthesized image, converts R, G, and B values of the skin color region into Y, Cb, and Cr values, and then adjusts the Y value of the skin color region. Calculate the mean. The skin color region may be extracted from the separated foreground image by using Equation 2 below.

[수학식 2][Equation 2]

(Cr > 132 && Cr < 173) && (Cb > 76 && Cb < 126)(Cr> 132 && Cr <173) && (Cb> 76 && Cb <126)

제어부는 상기 전경 영상에서의 측정된 Cr, Cb의 값이 상기 수학식 2의 범위내에 있으면 피부색 영역임을 판단하여 피부색 영역의 Y값의 평균을 계산한다. The controller calculates an average of the Y values of the skin color region by determining that the measured values of Cr and Cb in the foreground image are the skin color regions when the measured values of Cr and Cb are within the range of Equation 2.

다음으로 제어부는 전경 영상과 겹치지 않는 배경 영상의 R, G, B 값을 다시 Y, Cb, Cr 값으로 변환한 후, 전경과 겹치지 않는 배경 영역의 Y값의 평균을 계산한다. 이 후 제어부는 계산된 피부색 영역의 평균 Y값과 전경 영상과 겹치지 않는 배경 영상의 평균 Y값의 차를 계산하여 이를 전경 영상과 겹치지 않는 배경 영상의 Y값에 보상함으로써 경계 영역에서의 색상의 불연속성을 방지할 수 있다.
Next, the controller converts the R, G, and B values of the background image, which do not overlap with the foreground image, to Y, Cb, and Cr values, and then calculates an average of the Y values of the background region that do not overlap with the foreground. After that, the controller calculates a difference between the calculated average Y value of the skin color region and the average Y value of the background image that does not overlap with the foreground image, and compensates it for the Y value of the background image that does not overlap with the foreground image, thereby discontinuity of color in the boundary region. Can be prevented.

도 9는 본 발명의 일 실시예에 따른 영상 합성에 의한 경계 영역에서의 배경 영상의 밝기를 보정하는 것을 설명하는 이미지도이다. FIG. 9 is an image diagram illustrating correcting brightness of a background image in a boundary area by image synthesis according to an embodiment of the present invention.

도 9의 (b)는 도 9의 (a)영상에 대하여 도 8의 평균값 필터를 이용하여 계산된 피부색 영역의 평균 Y값과 전경 영상과 겹치지 않는 배경 영상의 평균 Y값의 차를 계산하여 이를 전경 영상과 겹치지 않는 배경 영상의 Y값에 보상함으로써 경계 영역에서의 색상의 연속성을 확보한 영상이다. 9B calculates a difference between an average Y value of a skin color region calculated using the average value filter of FIG. 8 and an average Y value of a background image that does not overlap the foreground image with respect to the image of FIG. 9A. By compensating for the Y value of the background image not overlapping with the foreground image, the continuity of color in the boundary area is secured.

즉 도 9의 (b)에서 보는 바와 같이, 제어부는 전경 영상과 배경 영상의 경계 영역에서의 밝기 차를 보상함으로서 합성 영상 생성시 상기 경계 영역에서의 색상의 불연속성으로 인한 부자연스러움을 방지할 수 있다.
That is, as shown in (b) of FIG. 9, the controller may compensate for the difference in brightness in the boundary region between the foreground image and the background image, thereby preventing unnaturalness due to color discontinuity in the boundary region when generating the composite image. .

본원 발명의 전경 영상을 분리하는 과정은 사용자의 입력에 따른 제 1 라인 및 제 2 라인을 기준으로 전경 영역, 경계 영역, 배경으로 구분한 후, 획득된 영상의 모든 영역상의 픽셀값을 계산할 필요없이, 상기 경계 영역내의 픽셀의 라벨값만을 계산한 후 전경 분할 안정화를 측정하면 된다. 따라서, 전경 영상 분할 과정이 반복될수록 픽셀의 라벨값을 계산해야 할 미지의 영역이 줄어들어 전경 영상 분리시 처리 속도가 증가하게 된다.
The process of separating the foreground image of the present invention is performed by dividing the foreground image, the boundary region, and the background based on the first line and the second line according to a user's input, without calculating the pixel values on all regions of the acquired image. After calculating only the label value of the pixel in the boundary area, the foreground segmentation stabilization may be measured. Therefore, as the foreground image segmentation process is repeated, an unknown area for calculating the label value of the pixel is reduced, thereby increasing the processing speed when the foreground image is separated.

또한, 본 발명의 일실시예에 의하면, 전술한 방법은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
In addition, according to an embodiment of the present invention, the above-described method may be implemented as code that can be read by a processor in a medium in which a program is recorded. Examples of processor-readable media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like, and may be implemented in the form of a carrier wave (for example, transmission over the Internet). Include.

상기와 같이 설명된 이동통신 단말기 및 이에 적용되는 제어방법은 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.The above-described mobile communication terminal and the control method applied thereto are not limited to the configuration and method of the above-described embodiments, but the embodiments are all or part of each embodiment so that various modifications can be made. May be optionally combined.

Claims

Dividing an image into a foreground area, a border area, and a background area according to a predetermined input to set initial label values of pixels in the respective areas;
Separating a foreground image from the image by determining a label value of a pixel existing only in the boundary area;
Purifying a pixel on a boundary area of the separated foreground image;
Synthesizing the separated foreground image with a background image selected by a user; And
Compensating the brightness of the background image in the synthesized image; Image synthesis method in a mobile terminal comprising a.

The method of claim 1,
Determining a label value of a pixel existing only in the boundary area
Calculating a measured value obtained by calculating a product of the similarity of the feature vector between the current pixel on the boundary region and the neighboring pixel of the current pixel and the intensity of the neighboring pixel; And
And determining the label value and the intensity of the pixel in the boundary area based on the label value and the intensity of the neighboring pixel when the calculated measured value is greater than the intensity of the pixel initially set in the boundary area.

The method of claim 2,
Determining a label value of a pixel existing only in the boundary area
And proceeding until there is no change in the label value of the pixel in the border region.

The method of claim 1,
The boundary area is an intermediate area between a first line and a second line input to the image using an external input object.
The first line is dragged along an edge of the foreground image to designate the foreground image, and the second line is dragged along an edge having a predetermined distance from the foreground image to distinguish the background image. Image synthesis method in a mobile terminal characterized in that.

The method of claim 1,
Correcting the brightness of the background in the synthesized image
Extracting a skin color region from the separated foreground image;
Calculating an average of the Y value of the skin color region and an average of the Y value of the background image not overlapping the foreground image; And
Correcting the brightness of the background image by using a difference between the average of the Y value of the skin color region and the average of the Y value of the background image.