KR100641455B1 - Apparatus and Method for complexing image in mobile communication terminal - Google Patents

Apparatus and Method for complexing image in mobile communication terminal Download PDF

Info

Publication number
KR100641455B1
KR100641455B1 KR1020040024625A KR20040024625A KR100641455B1 KR 100641455 B1 KR100641455 B1 KR 100641455B1 KR 1020040024625 A KR1020040024625 A KR 1020040024625A KR 20040024625 A KR20040024625 A KR 20040024625A KR 100641455 B1 KR100641455 B1 KR 100641455B1
Authority
KR
South Korea
Prior art keywords
image
user
input
mobile communication
communication terminal
Prior art date
Application number
KR1020040024625A
Other languages
Korean (ko)
Other versions
KR20050099350A (en
Inventor
유재신
송해진
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020040024625A priority Critical patent/KR100641455B1/en
Publication of KR20050099350A publication Critical patent/KR20050099350A/en
Application granted granted Critical
Publication of KR100641455B1 publication Critical patent/KR100641455B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20224Image subtraction

Abstract

본 발명은 이동통신 단말기에서 영상을 합성하는 방법에 있어서, 사용자에 의해 배경 영상을 선택받고, 상기 사용자에 의해 입력 영상을 선택받고, 상기 입력영상에 대하여 추출하기를 원하는 오브젝트 바운더리 정보를 상기 사용자에 의해 입력받고, 상기 입력된 오브젝트 바운더리 정보에 따른 오브젝트에 대하여 칼라 세그멘테이션을 수행하여 상기 입력영상에서 오브젝트를 분리하고, 상기 분리된 오브젝트를 상기 선택된 배경영상과 합성하는 것으로서, 사용자의 수동 입력과 칼라 세그멘테이션 기술을 이용하여 사용자가 입력 영상에서 원하는 오브젝트를 추출하여 배경에 합성하도록 함으로써 사용자는 재미있는 합성 영상을 만들수 있고, 재미있는 합성 영상을 이동통신 서비스에 이용할 수 있다. The present invention provides a method for synthesizing an image in a mobile communication terminal, wherein a background image is selected by a user, an input image is selected by the user, and object boundary information desired to be extracted from the input image is provided to the user. And segmenting the object from the input image by performing color segmentation on the object according to the input object boundary information, and synthesizing the separated object with the selected background image. By using a technology, a user extracts a desired object from an input image and synthesizes it on a background, so that the user can make an interesting composite image and use the interesting composite image for a mobile communication service.

영상합성, 오브젝트, 배경영상Image Synthesis, Object, Background Image

Description

이동통신 단말기에서 영상 합성 방법 및 장치{Apparatus and Method for complexing image in mobile communication terminal} Apparatus and Method for complexing image in mobile communication terminal             

도 1은 본 발명의 바람직한 일 실시예에 따른 이동통신 단말기에서 영상 합성 장치의 구성을 개략적으로 나타낸 블럭도. 1 is a block diagram schematically showing the configuration of an image synthesizing apparatus in a mobile communication terminal according to an embodiment of the present invention.

도 2는 본 발명의 바람직한 일 실시예에 따른 이동통신 단말기에서 합성 영상을 생성하는 방법을 나타낸 흐름도.2 is a flowchart illustrating a method of generating a composite image in a mobile communication terminal according to an embodiment of the present invention.

도 3a 내지 도 3b는 본 발명의 바람직한 일 실시예에 따른 입력영상에서 오브젝트를 분리하는 방법을 나타낸 화면.3A to 3B are screens illustrating a method of separating an object from an input image according to an exemplary embodiment of the present invention.

도 4a 및 도 4b는 본 발명의 바람직한 일 실시예에 따른 오브젝트 바운더리 입력 방법을 나타낸 화면.4A and 4B are screens illustrating an object boundary input method according to an exemplary embodiment of the present invention.

도 5는 본 발명의 바람직한 일 실시예에 따른 입력영상에서 오브젝트를 분리하는 방법을 나타낸 흐름도.5 is a flowchart illustrating a method of separating an object from an input image according to an exemplary embodiment of the present invention.

도 6a 내지 도 6c는 본 발명의 바람직한 일 실시예에 따른 입력영상에서 오브젝트를 분리하는 방법을 나타낸 화면. 6A to 6C are screens illustrating a method of separating an object from an input image according to an exemplary embodiment of the present invention.

도 7은 본 발명의 바람직한 일 실시예에 따른 오브젝트의 캐릭터 배경 합성 방법을 나타낸 흐름도.7 is a flowchart illustrating a character background synthesis method of an object according to an exemplary embodiment of the present invention.

도 8a 내지 도 8b는 본 발명의 바람직한 일 실시예에 따른 오브젝트의 캐릭터 배경 합성 화면을 나타낸 도면.8A to 8B are diagrams illustrating a character background synthesis screen of an object according to an exemplary embodiment of the present invention.

도 9는 본 발명의 바람직한 일 실시예에 따른 액자 영상 배경 합성 방법을 나타낸 흐름도.9 is a flowchart illustrating a frame image background synthesis method according to an exemplary embodiment of the present invention.

도 10a 내지 도 10d는 본 발명의 바람직한 일 실시예에 따른 액자 영상 배경 합성 화면을 나타낸 도면.10A to 10D illustrate a frame image background synthesis screen according to an exemplary embodiment of the present invention.

도 11a 내지 도 11f는 본 발명의 바람직한 일 실시예에 따른 합성 영상의 수동 편집 화면을 나타낸 도면.11A to 11F illustrate a manual editing screen of a composite image according to an exemplary embodiment of the present invention.

<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>

100 : 입력 영상 수신부 110 : 영상 저장부100: input image receiving unit 110: image storage unit

120 : 사용자 인터페이스부 130 : 오브젝트 추출부120: user interface unit 130: object extraction unit

140 : 영상 합성부 150 : 합성 영상 저장부140: image synthesizer 150: synthesized image storage unit

본 발명은 이동통신 단말기의 입력영상에 대하여 사용자가 원하는 오브젝트 영역을 지정하였을때, 상기 입력영상에서 정확한 오브젝트 영역을 추출하여 배경영상과 합성하여 다양한 이동통신 단말기 응용 서비스에 이용할 수 있는 이동통신 단 말기에서 영상 합성 방법 및 장치에 관한 것이다. According to an embodiment of the present invention, when an object region desired by a user is designated for an input image of a mobile communication terminal, a mobile communication terminal can be used for various mobile communication terminal application services by extracting an accurate object region from the input image and combining it with a background image. The present invention relates to a method and apparatus for image synthesis.

카메라가 장착되고 동영상 스트리밍을 통해 티브이나 영화를 볼 수 있는 모바일 단말기는 더이상 음성 통화만을 위한 전화기가 아니다. 젊은 층들은 모바일 단말기에서의 정지영상/동영상 관련 다양한 서버스에 많은 관심을 보이고 있는데, 모바일 단말기의 카메라를 이용하여 사진을 찍고, 획득한 정지영상 혹은 동영상을 친구들에게 전송하거나 컴퓨터로 다운로드 받아 이용하는 것은 현재 모바일 단말기가 제공하는 주된 엔터테인먼트가 되고 있다. Mobile terminals equipped with cameras and capable of watching TV or movies through video streaming are no longer just phones for voice calls. Young people are showing interest in various services related to still images / videos on mobile terminals, and taking pictures using mobile cameras and transferring the still images or videos to friends or downloading them to a computer It is becoming the main entertainment provided by mobile terminals.

그러나 모바일 단말기상에서 제공되는 서비스는 그 양이나 질적으로 빠른 단말기 개발 속도에 따라가지 못하는 실정이다.However, the services provided on the mobile terminal cannot meet the quantity or quality of the terminal development speed.

최근 출시된 단말기에서는 사람과 비슷한 캐릭터의 얼굴 영역을 투명하게 처리하여 사용자가 이 영역에 자신의 얼굴을 잘 맞춰 사진을 촬영할 수 있는 기능을 제공하고 있다. 그러나 이러한 기능은 사용자 스스로 캐릭터 얼굴 영역에 자신의 얼굴을 맞추어야 하는 것으로 정지/동영상에서 자동으로 얼굴을 검출하거나 합성하는 기능을 갖고 있지 않으며, 오직 카메라로 사진을 찍을때 배경을 선택하여 사용자가 눈으로 보면서 캐릭터 얼굴 영역에 자신의 얼굴이 자연스럽게 적당한 크기에 맞도록 자세를 조절하여야 한다.Recently released terminals provide a feature that allows a user to take a picture by matching a face well with a face by processing a face area of a character similar to a person. However, this function requires the user to align his / her face to the character face area by itself, and does not have the function of automatically detecting or composing faces from still / movies, and only selects the background when the user takes a picture with the camera. As you look, you need to adjust your posture so that your face naturally fits in the proper size area.

따라서, 영상에서 오브젝트 영역을 추출하거나 추적하는 기술은 최근들어 그 중요성이 증가하면서 많이 보고되고 있다. Therefore, a technique for extracting or tracking an object region from an image has been reported in recent years with increasing importance.

일반적인 오브젝트 영역 추출 방법에는 크게 정지된 카메라로 취득한 영상을 대상으로 하거나 이동하는 카메라로 취득한 영상을 대상으로 하는 경우로 나뉘어 생각할 수 있다. 정지된 카메라로 취득한 영상에 비해 이동하는 카메라로 취득한 영상이 오브젝트(관심) 영역을 추출하기가 훨씬 어려우므로 대부분 정지된 카메라로 취득한 영상을 대상으로 하고 있다. The general object region extraction method can be divided into a case where an image acquired by a still camera or an image acquired by a moving camera is targeted. Since images acquired with a moving camera are much more difficult to extract an object (interest) region than images acquired with a stationary camera, most images are acquired with a still camera.

정지된 카메라로 취득한 영상에서 오브젝트 영역의 분리는 대부분 움직이는 영역을 추출함으로써 이루어진다. 하지만 카메라로 취득한 영상은 잡음 등으로 인하여 움직이는 물체 이외에도 정지된 배경에서 움직임이 찾아지거나 오브젝트 경계 영역에서의 그림자 등으로 인하여 원래의 오브젝트 영역과 비교해서 일그러진 오브젝트를 추출하게 된다. Separation of the object region from the image acquired by the still camera is mostly performed by extracting the moving region. However, in addition to moving objects due to noise, the images acquired by the camera extracts objects that are distorted compared to the original object area due to motion being found in a stationary background or shadows in an object boundary area.

따라서 움직임 정보만으로는 정확한 오브젝트 영역을 추출하기에는 어려우므로 칼라나 텍스터등을 이용한 영역 분리를 사용한다. 예를 들어 한 프레임에서 칼라의 밝기 정보를 이용하여 watershed라는 알려진 영역 분리 알고리즘을 사용하여 같은 밝기를 갖는 영역들을 분리한다. 이러한 분리된 영역들은 움직임 정보와 칼라의 유사도가 비슷한 것들끼리 그룹화되어 다시 하나의 오브젝트 영역으로 된다. 하지만 이러한 방법은 처리 시간이 오래 걸리는 문제점이 있다. Therefore, it is difficult to extract the exact object region by motion information alone. Therefore, region separation using color or text is used. For example, in one frame, areas of the same brightness are separated using a known area separation algorithm called watershed using color brightness information. These separated areas are grouped together with similarities in motion information and color to form a single object area. However, this method has a long processing time problem.

상기와 같이 주어진 대략의 오브젝트 영역을 다시 정확한 오브젝트 영역으로 수정하기 위하여 세밀화 과정을 수행한다. 상기 세밀화 과정은 주로 칼라 정보를 이용하여 이루어지는데 예를 들어 같은 칼라를 갖는 영역이 주어진 오브젝트의 경계 영역과 맞지 않을 경우 같은 칼라를 갖는 영역의 경계 영역으로 수정할 수 있다. The refinement process is performed to correct the given approximate object region back to the correct object region. The refinement process is mainly performed using color information. For example, when the region having the same color does not match the boundary region of a given object, the refinement process may be modified to the boundary region of the region having the same color.

즉, 기본적으로 가지고 있는 오브젝트 영역을 이용하여 그 영역의 경계 화소 를 기준으로 주위 화소의 색 차이를 구해 두 화소 사이의 색 차이가 임계값보다 작고 주위 화소와 현재 관심영역의 경계 화소의 거리가 임계값보다 작으면 그 화소를 현재 오브젝트 영역에 포함시키고 그렇지 않으면 현재 오브젝트 영역에 포함시키지 않는 방법이다. 이러한 방법은 기준 영역의 경계가 실제 오브젝트 영역의 경계와 매우 근접해 있을 경우 비교적 우수한 결과를 나타낸다. In other words, the color difference between the surrounding pixels is obtained based on the boundary pixel of the region using the object region that is basically included, and the color difference between the two pixels is smaller than the threshold and the distance between the surrounding pixel and the boundary pixel of the current ROI is critical. If the value is smaller than the value, the pixel is included in the current object area. Otherwise, the pixel is not included in the current object area. This method produces relatively good results when the boundary of the reference area is very close to the boundary of the actual object area.

하지만 기존영역이 실제 오브젝트 영역의 경계와 많이 떨어져 있을 경우, 오히려 기존 기술에서 소개한 알고리즘을 적용할 경우 부정확한 경계를 만들수 있다.However, if the existing area is far from the boundary of the real object area, if you apply the algorithm introduced in the existing technology, you may make an incorrect boundary.

그러나 상기와 같은 종래의 칼라 그룹을 기반으로 입력영상에서 부분 영역을 분리하는 기술은 입력영상에서 비교적 영역을 잘 분리하고 있으나 칼라 기반의 영역일뿐 의미를 갖는 오브젝트 영역이 아니라는 점과 처리 시간이 많이 걸리는 문제가 있다. However, the technique of separating partial regions from the input image based on the conventional color group as described above relatively separates the region from the input image, but it is a color-based region and is not an object region having meaning, and it takes a lot of processing time. there is a problem.

또한, 차영상과 에지 영상을 이용하여 객체를 분리하는 방법은 사용하는 픽처 정보가 단순하여 빠른 처리가 가능하지만 복잡한 화면에서 분리가 되지 않고, 기본적으로 배경은 정지되어 있고 움직이는 물체가 객체라는 전제하에서 분리를 행하므로 이동 카메라 환경에서는 적용할 수 없는 문제가 있다.In addition, the method of separating the object using the difference image and the edge image is easy to process because the picture information used is simple, but can not be separated in a complex screen, basically the background is stationary and the moving object is an object Since the separation is performed, there is a problem that cannot be applied in a mobile camera environment.

따라서, 본 발명의 목적은 사용자의 수동 입력과 칼라 세그멘테이션 기술을 이용하여 사용자가 입력 영상에서 원하는 오브젝트를 추출하여 배경에 합성하도록 함으로써 사용자는 재미있는 합성 영상을 만들수 있고, 재미있는 합성 영상을 이동 통신 서비스에 이용할 수 있는 이동통신 단말기에서 영상 합성 방법 및 장치를 제공하는데 있다. Accordingly, an object of the present invention is to extract a desired object from the input image and synthesize it in the background by using the user's manual input and color segmentation technology, so that the user can make an interesting composite image and insert the interesting composite image into the mobile communication service. The present invention provides a method and apparatus for synthesizing images in a mobile communication terminal that can be used.

본 발명의 다른 목적은 사진합성, 배경합성, 프레임 합성, 캐릭터/애니메이션 합성을 이용하여 사용자의 개성을 살리는 재미있는 서비스를 가능하게 하는 이동통신 단말기에서 영상 합성 방법 및 장치를 제공하는데 있다. Another object of the present invention is to provide an image synthesizing method and apparatus in a mobile communication terminal that enables an interesting service that utilizes a user's personality using photo synthesis, background synthesis, frame synthesis, and character / animation synthesis.

본 발명의 또 다른 목적은 사용자가 이동통신 단말기에 자신의 개성을 살리고 자신이 만든 여러 영상을 멀티 메일을 통해 친구들에게 전송할 수 있는 이동통신 단말기에서 영상 합성 방법 및 장치를 제공하는데 있다.
It is still another object of the present invention to provide a method and apparatus for synthesizing an image in a mobile communication terminal in which a user can use his or her personality in a mobile communication terminal and transmit various images made to a friend through multi-mail.

상기 목적들을 달성하기 위하여 본 발명의 일 측면에 따르면, 이동통신 단말기에서 영상을 합성하는 방법에 있어서, 사용자에 의해 배경 영상을 선택받고, 상기 사용자에 의해 입력 영상을 선택받고, 상기 입력영상에 대하여 추출하기를 원하는 오브젝트 바운더리 정보를 상기 사용자에 의해 입력받고, 상기 입력된 오브젝트 바운더리 정보에 따른 오브젝트에 대하여 칼라 세그멘테이션을 수행하여 상기 입력영상에서 오브젝트를 분리하고, 상기 분리된 오브젝트를 상기 선택된 배경영상과 합성하는 이동통신 단말기에서 영상 합성 방법이 제공된다. According to an aspect of the present invention to achieve the above object, in a method for synthesizing an image in a mobile communication terminal, a background image is selected by a user, an input image is selected by the user, and with respect to the input image The object boundary information to be extracted is input by the user, color segmentation is performed on the object according to the input object boundary information to separate the object from the input image, and the separated object is separated from the selected background image. Provided is a method for synthesizing an image in a mobile terminal for synthesizing.

상기 사용자로부터 상기 합성된 영상에 대한 편집 명령이 수신되면, 상기 편집 명령에 따라 상기 합성 영상을 편집하여 저장한다. When an editing command for the synthesized image is received from the user, the synthesized image is edited and stored according to the editing command.

상기 배경 영상은 일반 사진 영상, 캐릭터 배경영상, 액자 배경영상, 애니메 이션 배경 영상을 포함하고, 상기 입력 영상은 이동통신 단말기에 장착된 카메라에 의해 촬영된 영상, 서버로부터 다운로드된 영상, 다른 단말기로부터 전송받은 영상, PC로부터 업로드된 영상 중 적어도 하나를 포함한다. The background image includes a general photograph image, a character background image, a frame background image, and an animation background image, and the input image is an image photographed by a camera mounted on a mobile communication terminal, an image downloaded from a server, or from another terminal. It includes at least one of the image received, the image uploaded from the PC.

상기 오브젝트 바운더리 정보는 이동통신 단말기의 버튼, 마우스, 펜을 이용하여 상기 사용자가 입력한 것이다. The object boundary information is input by the user using a button, a mouse, and a pen of the mobile communication terminal.

상기 입력된 오브젝트 바운더리 정보에 따른 오브젝트에 대하여 칼라 세그멘테이션을 수행하여 상기 입력영상에서 오브젝트를 분리하는 단계는 상기 오브젝트 바운더리 정보를 기반으로 마스크를 생성한 후, 상기 오브젝트 바운더리 정보에 해당하는 오브젝트에 대하여 칼라 세그멘테이션을 수행하는 것을 말한다. Separating the object from the input image by performing color segmentation on the object according to the input object boundary information may include generating a mask based on the object boundary information and then applying a color to an object corresponding to the object boundary information. To perform segmentation.

상기 오브젝트 바운더리 정보를 기반으로 마스크를 생성하는 것은 상기 오브젝트 바운더리 정보에 따라 상기 입력영상에서 오브젝트 영역과 기타 영역으로 분리한다. Generating a mask based on the object boundary information may be divided into an object area and another area in the input image according to the object boundary information.

상기 칼라 세그멘테이션는 상기 오브젝트 바운더리에 대하여 내부 오브젝트 바운더리를 구하고, 상기 구해진 내부 오브젝트의 바운더리 픽셀을 기준으로 n*n영역에 대한 평균 칼라값을 구하고, 상기 구해진 평균 칼라값과 상기 내부 오브젝트 바운더리내 각 픽셀의 칼라값과의 차를 구하고, 상기 구해진 차가 미리 정해진 임계치 이상이면, 해당 픽셀을 오브젝트 영역에서 제거하고, 임계치 이상이 아니면, 오브젝트 영역에 포함하고, 상기 정해진 오브젝트 영역에 대하여 모폴로지를 수행하는 것을 말한다. The color segmentation obtains an inner object boundary with respect to the object boundary, obtains an average color value for an n * n area based on the obtained boundary object's boundary pixels, and calculates the average color value of each pixel within the inner object boundary. When the difference between the color values is obtained and the obtained difference is equal to or greater than a predetermined threshold, the pixel is removed from the object region, and when the difference is not equal to or greater than the threshold, the pixel is included in the object region and the morphology is performed on the predetermined object region.

상기 영상 저장부에서 배경영상이 추출되면, 상기 배경영상에서 오브젝트가 합성될 크기와 위치를 획득한다. When the background image is extracted from the image storage unit, the size and position of the object to be synthesized are obtained from the background image.

상기 분리된 오브젝트를 상기 추출된 배경영상과 합성하는 단계는 상기 배경영상에서 상기 오브젝트가 합성될 크기와 위치를 확인한 후, 상기 확인된 크기에 따라 상기 오브젝트의 크기를 조절하고, 상기 위치로 상기 크기가 조절된 오브젝트를 이동시킨다.The synthesizing the separated object with the extracted background image may include determining the size and position of the object to be synthesized in the background image, and then adjusting the size of the object according to the identified size and adjusting the size to the position. Moves the adjusted object.

상기 편집 명령은 상기 합성 영상의 오브젝트에 대한 명령으로 크기 조절, 위치 조절, 회전 각도 조절, 좌우 뒤집기를 포함한다. The editing command includes a size control, a position control, a rotation angle control, and a left and right flip as a command for an object of the composite image.

본 발명의 다른 측면에 따르면, 이동통신 단말기에 입력되는 입력영상에서 사용자가 원하는 오브젝트를 분리하는 방법에 있어서, 상기 사용자에 의해 오브젝트 바운더리 정보가 입력되면, 상기 오브젝트 바운더리 정보에 따른 오브젝트에 대하여 내부 오브젝트 바운더리를 구하고, 상기 구해진 내부 오브젝트 바운더리 픽셀을 기준으로 주위 n*n 픽셀에 대하여 평균 칼라값을 구하고, 상기 구해진 평균 칼라값과 상기 내부 오브젝트 바운더리 픽셀 주위 n*n내의 각 픽셀에 대한 컬러값과의 차를 구하고, 상기 구해진 차가 미리 정해진 임계치 이상이면, 해당 픽셀을 오브젝트 영역에서 제거하고 모폴로지를 수행하는 것을 특징으로 하는 이동통신 단말기의 입력영상에서 오브젝트를 분리하는 방법이 제공된다.According to another aspect of the present invention, in the method for separating the object desired by the user from the input image input to the mobile communication terminal, when the object boundary information is input by the user, the internal object for the object according to the object boundary information Obtains a boundary, obtains an average color value for surrounding n * n pixels based on the obtained inner object boundary pixels, and compares the obtained average color value with a color value for each pixel in n * n around the inner object boundary pixel. A method of separating an object from an input image of a mobile communication terminal, wherein the difference is obtained and the obtained difference is greater than or equal to a predetermined threshold, the pixel is removed from the object area and the morphology is performed.

상기 내부 오브젝트는 상기 사용자가 입력영상에서 선택한 오브젝트 바운더리에서 안쪽으로 n픽셀만큼 들어간 영역을 말한다. The inner object refers to an area n pixels inward from the object boundary selected by the user in the input image.

본 발명의 또 다른 측면에 따르면, 영상 저장부를 포함하는 이동통신 단말기내 영상을 합성하는 장치에 있어서, 입력 영상을 수신하는 입력 영상 수신부, 사용 자로부터 입력 영상 선택 정보 또는 배경 영상 선택 정보가 수신되면, 상기 영상 저장부에서 해당되는 영상을 추출하는 사용자 인터페이스부. 상기 사용자 인터페이스부를 통해 선택된 입력 영상에서 상기 사용자에 의해 입력된 오브젝트 바운더리 정보에 따른 오브젝트를 구하고, 상기 구해진 오브젝트에 대하여 칼라 세그멘테이션을 수행하여 상기 입력영상에서 오브젝트를 분리하는 오브젝트 추출부, 상기 사용자 인터페이스부를 통해 선택된 배경영상을 상기 오브젝트 추출부에서 분리된 오브젝트와 합성하고, 상기 사용자에 의해 입력된 합성 영상 편집 명령에 따라 상기 합성된 영상을 편집하는 영상 합성부, 상기 영상 합성부에서 합성된 영상을 저장하는 합성 영상 저장부를 포함하는 이동통신 단말기에서의 영상 합성 장치가 제공된다.According to another aspect of the present invention, in the device for synthesizing the video in the mobile communication terminal including an image storage, the input image receiving unit for receiving the input image, input image selection information or background image selection information from the user is received And a user interface unit which extracts a corresponding image from the image storage unit. An object extractor configured to obtain an object according to object boundary information input by the user from the input image selected through the user interface unit, and perform color segmentation on the obtained object to separate the object from the input image; An image synthesizer for synthesizing the background image selected through the object separated by the object extractor and editing the synthesized image according to a synthesized image editing command input by the user, and storing the image synthesized by the image synthesizer An image synthesizing apparatus is provided in a mobile communication terminal including a synthetic image storing unit.

상기 사용자 인터페이스부는 상기 영상 합성부에서 합성된 영상에 대하여 오브젝트 영역의 오검출을 보완하고 자연스러운 합성이 가능하도록 수동 편집 기능을 제공한다. The user interface unit provides a manual editing function to compensate for the misdetection of the object area and to enable natural synthesis for the image synthesized by the image synthesizing unit.

상기 오브젝트 추출부는 상기 오브젝트 바운더리를 기반으로 마스크를 생성하고, 오브젝트 영역에 대하여 모폴로지를 수행한다. The object extracting unit generates a mask based on the object boundary and performs a morphology on the object area.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 바람직한 일 실시예에 따른 이동통신 단말기에서 영상 합성 장치의 구성을 개략적으로 나타낸 블럭도이다. 1 is a block diagram schematically illustrating a configuration of an image synthesizing apparatus in a mobile communication terminal according to an exemplary embodiment of the present invention.

도 1을 참조하면, 이동통신 단말기에서 영상 합성 장치는 입력영상 수신부(100), 영상 저장부(110), 사용자 인터페이스부(120), 오브젝트 추출부(130), 영상 합성부(140), 합성 영상 저장부(150)를 포함한다. Referring to FIG. 1, an image synthesizing apparatus in a mobile communication terminal includes an input image receiver 100, an image storage unit 110, a user interface unit 120, an object extractor 130, an image synthesizer 140, and a synthesizer. The image storage unit 150 is included.

상기 입력 영상 수신부(100)는 카메라와 같은 영상 취득 수단에서 취득된 영상을 수신한다. 즉, 상기 영상은 모바일 단말기에 장착된 카메라로 촬영, 서버로부터 다운로드, 사용자의 PC에서 다운로드등을 이용하여 입력된 영상이다.The input image receiving unit 100 receives an image acquired by an image acquisition unit such as a camera. That is, the image is an image input by using a camera mounted on the mobile terminal, downloading from the server, download from the user's PC.

상기 영상 저장부(110)에는 다양한 형태의 입력 영상 또는 배경영상이 저장되어 있다. 즉, 상기 영상 저장부(110)에는 상기 입력 영상 수신부로부터 전송된 영상, 캐릭터 배경, 액자 배경, 애니메이션 배경 등의 다양한 배경 영상이 저장되어 있다. The image storage unit 110 stores various types of input images or background images. That is, the image storage unit 110 stores various background images such as an image transmitted from the input image receiver, a character background, a frame background, and an animation background.

상기 사용자 인터페이스부(120)는 상기 사용자로부터 입력 영상 선택 정보가 수신되면, 상기 영상 저장부(110)에서 해당되는 입력 영상을 추출하여 상기 오브젝트 추출부(130)에 전송한다.When the input image selection information is received from the user, the user interface unit 120 extracts a corresponding input image from the image storage unit 110 and transmits the input image to the object extracting unit 130.

또한, 상기 사용자 인터페이스부(120)는 상기 사용자로부터 배경 영상 선택 정보가 수신되면, 상기 영상 저장부(110)에서 해당되는 배경 영상을 추출하여 상기 영상 합성부(140)에 전송한다. In addition, when the background image selection information is received from the user, the user interface unit 120 extracts a corresponding background image from the image storage unit 110 and transmits the background image to the image synthesis unit 140.

또한, 상기 사용자 인터페이스부(120)는 상기 영상 합성부(140)에서 합성된 영상에 대하여 오브젝트 영역의 오검출을 보완하고 보다 자연스러운 합성이 가능하도록 사용자 스스로 얼굴 영역의 크기, 위치, 밝기, 채도, 기울어진 각도등을 조절할 수 있는 수동 편집 기능을 제공한다.In addition, the user interface 120 compensates for the misdetection of the object region with respect to the image synthesized by the image synthesizer 140 and enables the user to more naturally synthesize the size, position, brightness, saturation, Manual editing function to adjust the tilt angle is provided.

상기 오브젝트 추출부(130)는 상기 사용자 인터페이스부(120)를 통해 선택된 입력영상에서 사용자에 의해 입력된 오브젝트 바운더리 정보에 따라 해당 오브젝트를 분리한다. 상기 오브젝트 바운더리 정보는 사용자 자신이 상기 입력영상에서 분리하기를 원하는 영역을 선택하는 것이다. 이때, 사용자는 핸드폰의 방향키나 스크롤 마우스 등을 이용하여 오브젝트 바운더리를 선택한다. The object extractor 130 separates the corresponding object according to the object boundary information input by the user from the input image selected through the user interface 120. The object boundary information is to select a region that the user wants to separate from the input image. At this time, the user selects an object boundary by using a direction key of a mobile phone or a scroll mouse.

즉, 상기 오브젝트 추출부(130)는 사용자에 의해 오브젝트 바운더리 정보가 입력되면, 해당 오브젝트에 대하여 내부 오브젝트 바운더리를 구한다. 여기서, 상기 내부 오브젝트 바운더리는 상기 입력영상에서 상기 사용자가 선택한 오브젝트 바운더리 안쪽으로 n픽셀만큼 들어간 영역을 말한다.That is, when the object boundary information is input by the user, the object extractor 130 obtains an internal object boundary with respect to the object. Here, the internal object boundary refers to an area that enters n pixels into the object boundary selected by the user in the input image.

그런다음 상기 오브젝트 추출부(130)는 상기 내부 오브젝트 바운더리 픽셀을 기준으로 주위 n*n 픽셀에 대하여 평균 칼라값을 구하여 상기 내부 오브젝트 바운더리 픽셀 주위 n*n내에서 각 픽셀의 컬러값과의 차를 구한다.Then, the object extractor 130 obtains an average color value with respect to neighboring n * n pixels based on the inner object boundary pixels and calculates a difference between the color values of each pixel within n * n around the inner object boundary pixels. Obtain

그런다음 상기 오브젝트 추출부(130)는 상기 구해진 차가 미리 정해진 임계치 이상인지의 여부를 판단하여, 임계치 이상이면, 해당 픽셀을 오브젝트 영역에서 제거하고 모폴로지를 수행하고, 임계치 이상이 아니면, 해당 픽셀을 오브젝트 영역으로 포함시켜 모폴로지를 수행한다.Then, the object extractor 130 determines whether the obtained difference is greater than or equal to a predetermined threshold value, and if the threshold value is greater than or equal to the threshold value, removes the pixel from the object area and performs a morphology. Include as an area to perform the morphology.

상기 영상 합성부(140)는 상기 사용자 인터페이스부(120)를 통하여 선택된 배경 영상과 상기 오브젝트 추출부(130)에서 분리된 오브젝트를 합성한다. 상기 영상 합성의 기법에는 사진합성(사진 두 장을 합성하는 것을 의미), 캐릭터 합성, 액자 합성, 애니메니션 합성등이 있다.The image synthesizer 140 synthesizes the background image selected by the user interface 120 and the object separated by the object extractor 130. Techniques for image synthesis include photo synthesis (meaning synthesizing two photos), character synthesis, frame synthesis, animation synthesis, and the like.

상기 사진 합성은 사용자가 선택한 임의의 배경 사진 영상과 사용자가 선택한 임의의 입력 사진 영상을 합성하는 것이다. 상기 배경 사진 영상과 입력 사진 영상은 자신이 단말기에서 직접 찍어 사용할 수 있다. The photo collage is a synthesis of an arbitrary background photo image selected by a user and an arbitrary input photo image selected by the user. The background photo image and the input photo image can be taken directly by the terminal.

상기 캐릭터 합성은 임의의 캐릭터와 사용자가 추출한 오브젝트를 합성하는 것이다. 상기 캐릭터에서 합성될 크기와 위치는 미리 지정되어 있기 때문에 상기 오브젝트를 합성할때는 상기 오브젝트의 크기 조정과 위치 조정을 수행해야 한다. The character synthesis is to synthesize an arbitrary character and the object extracted by the user. Since the size and position to be synthesized in the character are predefined, the size and position of the object should be adjusted when the object is synthesized.

상기 캐릭터 합성에 대한 상세한 설명은 도 7을 참조하기로 한다. A detailed description of the character synthesis will be made with reference to FIG. 7.

상기 액자합성은 오브젝트 영역과 배경 영상을 합성할 때 배경 영상의 임의의 부분은 합성될때 오브젝트 영역이 나타날 위치라도 배경영상이 나타나도록 설정하는 것이다. 상기 액자 합성에 대한 상세한 설명은 도 9를 참조하기로 한다. The frame synthesis is to set the background image to appear even when the object region appears when any part of the background image is synthesized when the object region and the background image are synthesized. A detailed description of the frame synthesis will be given with reference to FIG. 9.

상기 합성 영상 저장부(150)는 상기 영상 합성부(120)에서 합성된 영상을 저장하는 것으로서, 상기 저장된 합성 영상은 다양한 응용 서비스로 이용된다. The synthesized image storage unit 150 stores an image synthesized by the image synthesizer 120, and the stored synthesized image is used as various application services.

예를 들면, 상기 합성 영상은 이동통신 단말기의 배경화면, 이동통신에서의 영상 메일, 이동통신 단말기 발신자 표시 서비스, 이미지 검색 분야, 핫 스왑 데이터 추출등에 이용될 수 있다.For example, the composite image may be used for a background screen of a mobile communication terminal, a video mail in a mobile communication, a mobile terminal caller display service, an image search field, and hot swap data extraction.

이하 상기와 같이 구성된 시스템의 동작에 대하여 설명하기로 한다.Hereinafter, the operation of the system configured as described above will be described.

먼저 영상이 입력되면, 사용자는 상기 입력영상에서 추출되기를 원하는 오브젝트의 바운더리 정보를 입력한다. 상기 오브젝트의 바운더리를 입력하는 방법은 방향키 이용, 펜, 마우스 등과 같은 도구를 이용하여 입력할 수 있다.First, when an image is input, a user inputs boundary information of an object that is desired to be extracted from the input image. A method of inputting a boundary of the object may be input using a tool such as a direction key, a pen, a mouse, or the like.

사용자의 입력을 수동으로 받은뒤, 상기 오브젝트 추출부(110)는 입력받은 오브젝트를 영상에서 분리한다. 이때, 사용자의 입력은 오브젝트의 정확한 바운더리가 아닐수 있으므로 상기 오브젝트 추출부는 자동으로 칼라 세그멘테이션을 수행한다. 그런다음 상기 영상 합성부는 사용자가 선택한 배경영상과 상기 분리된 오브젝트를 사용자가 원하는 합성 방법으로 합성한 뒤 이동통신 단말기 응용 서비스에 이용한다. After receiving a user's input manually, the object extractor 110 separates the received object from the image. In this case, since the user's input may not be an exact boundary of the object, the object extracting unit automatically performs color segmentation. Then, the image synthesizing unit synthesizes the background image selected by the user and the separated object using a synthesis method desired by the user and uses the same for the mobile communication terminal application service.

도 2는 본 발명의 바람직한 일 실시예에 따른 이동통신 단말기에서 합성 영상을 생성하는 방법을 나타낸 흐름도, 도 3a 내지 도 3b는 본 발명의 바람직한 일 실시예에 따른 입력영상에서 오브젝트를 분리하는 방법을 나타낸 화면, 도 4a 및 도 4b는 본 발명의 바람직한 일 실시예에 따른 오브젝트 바운더리 입력 방법을 나타낸 화면이다.2 is a flowchart illustrating a method of generating a composite image in a mobile communication terminal according to an exemplary embodiment of the present invention, and FIGS. 3A to 3B illustrate a method of separating an object from an input image according to an exemplary embodiment of the present invention. 4A and 4B are screens illustrating an object boundary input method according to an exemplary embodiment of the present invention.

도 2를 참조하면, 사용자는 영상 저장부에서 원하는 배경영상을 선택 또는 단말기에 장착된 카메라로 찍은 배경영상을 선택한다.Referring to FIG. 2, a user selects a desired background image from an image storage unit or a background image taken by a camera mounted on a terminal.

그러면, 단말기는 상기 사용자에 의해 선택된 배경 영상 선택 정보에 따라 해당되는 배경 영상을 상기 영상 저장부에서 추출한다(S200). Then, the terminal extracts the corresponding background image from the image storage unit according to the background image selection information selected by the user (S200).

그런다음 도 3a와 같은 입력 영상이 선택되면(S202), 상기 단말기는 상기 사용자가 상기 입력영상에서 추출하기를 원하여 선택한 도 3b와 같은 오브젝트 바운더리 정보를 수신한다(S204). Then, when the input image as shown in Figure 3a is selected (S202), the terminal receives the object boundary information as shown in Figure 3b selected by the user to extract from the input image (S204).

즉, 사용자는 상기 입력 영상에 대하여 추출하기를 원하는 오브젝트에 대한 바운더리를 선택한다. 상기 사용자가 오브젝트에 대한 바운더리를 선택할때, 이동통신 단말기일때는 이동통신 단말기의 버튼, 마우스, 펜을 이용하고, PC일경우에는 키보드나 마우스를 이용하여 오브젝트 바운더리를 입력한다. That is, the user selects a boundary for the object to be extracted with respect to the input image. When the user selects a boundary for an object, a mobile communication terminal inputs an object boundary using a button, a mouse and a pen of the mobile communication terminal, and a PC or a keyboard or a mouse.

여기서, 상기 입력 영상은 단말기에 장착된 카메라로 촬영, 서버로부터 다운로드, 사용자의 PC에서 다운로드등을 이용하여 입력된 영상, 또는 상기 영상 저장부에서 선택한 영상일 수 있다. The input image may be an image input by using a camera mounted on a terminal, a download from a server, a download from a user's PC, or an image selected by the image storage unit.

상기 오브젝트 바운더리를 입력하는 방법에 대하여 도 4a 및 도 4b를 참조하면, 사용자는 단말기의 방향키나 마우스를 이용하여 이동시키다가 오브젝트의 바운더리라고 생각될때 확인키를 눌러 고정시킨다. 사용자가 확인점을 누르면 이전 확인점과 현재 확인점이 이어지고, 맨 마지막 확인점을 누르게 되면 맨 처음 확인점과 이어지며 전체 이어진 확인점들로 하나의 오브젝트 영역이 만들어진다. Referring to FIGS. 4A and 4B for a method of inputting the object boundary, the user moves by using a direction key or a mouse of the terminal and presses the confirmation key when it is considered to be an object boundary. When the user presses the check point, the previous check point and the current check point are connected, and when the last check point is pressed, the first check point is connected to the first check point, and an object area is created from the check points that follow.

상기에서 사용자가 바운더리 정보를 입력하면, 상기 단말기는 오브젝트 바운더리를 기반으로 마스크를 생성한다. 즉, 상기 사용자에 의해 선택된 바운더리 내부는 '1'로 되고, 나머지는 '0'으로 된다.When the user inputs boundary information, the terminal generates a mask based on the object boundary. That is, the inside of the boundary selected by the user becomes '1' and the rest becomes '0'.

단계 204의 수행후, 상기 단말기는 상기 수신된 오브젝트 바운더리 정보에 따라 해당 오브젝트를 상기 입력 영상에서 분리한다(S206). After performing step 204, the terminal separates the object from the input image according to the received object boundary information (S206).

즉, 상기 단말기는 상기 오브젝트 바운더리 정보에 따라 도 3c와 같이 상기 입력영상에서 오브젝트를 분리하고, 상기 분리된 오브젝트에 대하여 칼라 세그멘테이션을 수행하여 도 3d와 같은 오브젝트를 추출한다. 상기 입력영상에서 오브젝트를 분리하는 방법에 대한 상세한 설명은 도 5를 참조한다.That is, the terminal separates an object from the input image according to the object boundary information as shown in FIG. 3C, and performs color segmentation on the separated object to extract an object as shown in FIG. 3D. A detailed description of a method of separating an object from the input image is shown in FIG. 5.

단계 206의 수행으로 상기 입력영상에서 오브젝트가 분리되면, 상기 단말기는 상기 분리된 오브젝트를 상기 추출된 배경영상과 합성한다(S208). When the object is separated from the input image by performing step 206, the terminal synthesizes the separated object with the extracted background image (S208).

상기 분리된 오브젝트와 배경 영상을 합성하는 방법에 대해서는 도 7내지 도 10을 참조한다.A method of synthesizing the separated object and the background image will be described with reference to FIGS. 7 to 10.

단계 208의 수행되면, 상기 단말기는 상기 합성 영상에 대하여 수동 편집을 원하는지의 여부를 질의한다(S210). 즉, 상기 단말기는 상기 사용자로부터 합성 영상 편집 명령이 수신되는지의 여부를 판단한다.If step 208 is performed, the terminal inquires whether or not to manually edit the composite image (S210). That is, the terminal determines whether a composite image editing command is received from the user.

단계 210의 판단결과 상기 사용자로부터 합성 영상 편집 명령이 수신되면, 상기 단말기는 상기 합성 영상 편집 명령에 따라 상기 합성영상을 편집하여 출력한다(S212). 상기 합성 영상의 편집에 대하여 도 11a 내지 도 11f를 이용하여 설명하기로 한다.As a result of the determination in step 210, when a composite image editing command is received from the user, the terminal edits and outputs the composite image according to the composite image editing command (S212). Editing of the synthesized image will be described with reference to FIGS. 11A to 11F.

상기와 같은 오브젝트와 배경영상을 합성한 후, 이동통신 서비스를 위해 사용자는 상기 합성 영상을 편집할 수 있다. 상기 편집 기능은 오브젝트 위치 이동, 오브젝트 회전, 오브젝트 크기 조절, 오브젝트 영역 좌우 뒤집기 등의 기능이 있을 수 있다. After synthesizing the object with the background image, the user may edit the synthesized image for the mobile communication service. The editing function may include a function of moving an object position, rotating an object, adjusting an object size, and flipping left and right of the object area.

상기 영상 편집 기능은 이동통신 단말기에서 메뉴키와 기능키를 이용하여 수행할 수 있다. 예를들어 영상 이동은 메뉴키에서 영상 이동을 선택한 후, 기능키의 상, 하, 좌, 우키를 이용하여 영상을 이동시킨다. 오브젝트 크기 조절은 메뉴키에서 오브젝트 크기 조절을 선택한 후 기능키의 상, 하, 좌, 우키를 이용하여 오브젝트 크기를 조절할 수 있다.The image editing function may be performed using a menu key and a function key in a mobile communication terminal. For example, to move an image, select an image shift from a menu key and then move the image using the up, down, left and right keys of the function key. Object size can be adjusted by selecting the object size from the menu key and using the up, down, left, and right keys of the function keys.

단계 212의 수행후, 상기 단말기는 상기 편집된 합성 영상을 저장한다(S214). 상기 합성된 영상은 바탕화면, 발신자 표시 영상, 멀티 메일등에 이용된다.After performing step 212, the terminal stores the edited composite image (S214). The synthesized image is used for a background screen, a caller ID image, and a multi-mail.

만약, 단계 210의 판단결과 상기 사용자로부터 합성 영상 편집 명령이 수신되지 않으면, 상기 단말기는 상기 합성영상을 출력하고 저장한다(S216).If it is determined in step 210 that the composite image editing command is not received from the user, the terminal outputs and stores the composite image (S216).

도 5는 본 발명의 바람직한 일 실시예에 따른 입력영상에서 오브젝트를 분리하는 방법을 나타낸 흐름도, 도 6a 내지 도 6c는 본 발명의 바람직한 일 실시예에 따른 입력영상에서 오브젝트를 분리하는 방법을 나타낸 화면이다. 5 is a flowchart illustrating a method of separating an object from an input image according to an exemplary embodiment of the present invention, and FIGS. 6A to 6C are screens illustrating a method of separating an object from an input image according to an exemplary embodiment of the present invention. to be.

도 5를 참조하면, 도 6a와 같이 사용자에 의해 입력된 오브젝트 바운더리 정보가 수신되면(S500), 단말기는 해당 오브젝트에 대하여 도 6b와 같은 내부 오브젝트의 바운더리를 구한다(S502). Referring to FIG. 5, when the object boundary information input by the user is received as shown in FIG. 6A (S500), the terminal obtains the boundary of the internal object as illustrated in FIG. 6B with respect to the corresponding object (S502).

상기 내부 오브젝트는 상기 사용자가 입력영상에서 선택한 영역에서 안쪽으로 n픽셀만큼 들어간 영역을 말한다. 상기 내부 오브젝트 바운러리가 구해지면, 상기 단말기는 도 6c와 같이 상기 내부 오브젝트를 기반으로 마스크를 생성한다. The internal object refers to an area n pixels inward from the area selected by the user in the input image. When the internal object boundary is obtained, the terminal generates a mask based on the internal object as shown in FIG. 6C.

즉, 상기 사용자에 의해 선택된 바운더리 내부는 '1'로 되고, 나머지는 '0'으로 된다.That is, the inside of the boundary selected by the user becomes '1' and the rest becomes '0'.

단계 502의 수행후, 상기 단말기는 상기 내부 오브젝트 바운더리 픽셀을 기준으로 주위 n*n픽셀에 대하여 평균 칼라값 C1을 구한다(S504). 상기 칼라값 C1은 오브젝트 내부의 칼라값으로 가정한다.After performing step 502, the terminal calculates an average color value C1 for surrounding n * n pixels based on the internal object boundary pixels (S504). The color value C1 is assumed to be a color value inside the object.

단계 504의 수행후, 상기 단말기는 상기 내부 오브젝트의 바운더리 픽셀 주위 n*n 내에서 각 픽셀의 칼라값과 상기 구해진 평균 칼라값과의 차를 구하여(S506), 상기 구해진 차가 미리 정해진 임계치 이상인지의 여부를 판단한다(S508).After performing step 504, the terminal obtains a difference between the color value of each pixel and the obtained average color value within n * n around the boundary pixel of the internal object (S506), and determines whether the obtained difference is greater than or equal to a predetermined threshold. It is determined whether or not (S508).

단계 508의 판단결과 상기 차가 임계치 이상이면, 상기 단말기는 해당 픽셀을 오브젝트 영역에서 제거한다(S510). 상기 오브젝트 영역에서 제거한다는 것은 마스크에서 '1'로 표시된 부분을 '0'으로 만든다는 것을 의미한다. 칼라 세그멘테이션 후 다른 영상과 합성할때 기준이 되는것은 '1'과 '0'으로 표시된 마스크 영상이기 때문이다.If the difference is greater than the threshold as a result of the determination in step 508, the terminal removes the corresponding pixel from the object area (S510). Removing from the object area means that the portion marked with '1' in the mask is made '0'. The standard when compositing with other images after color segmentation is that the mask images are marked with '1' and '0'.

상기와 같이 칼라 세그멘테이션을 하고나면 칼라 차이가 임계치 이상인 픽셀은 제거된다. 따라서 사용자가 잘못 선택한 부분은 오브젝트 영역에서 제거된다.After color segmentation as described above, pixels whose color difference is greater than or equal to a threshold are removed. Therefore, the wrong selection by the user is removed from the object area.

하지만 오브젝트 영역이면서도 제거된 픽셀들이 있어 오브젝트의 바운더리가 깨끗하지 못한다. 이러한 오브젝트의 바운더리를 깨끗하게 하기 위하여 상기 단말기는 상기 오브젝트에 대하여 n*n 모폴로지를 수행한다(S512). However, the object's boundary is not clean because there are pixels removed from the object area. In order to clean the boundary of the object, the terminal performs an n * n morphology on the object (S512).

상기 n*n 모폴로지는 마스크 영상에 대해 수행한다. 상기에서 언급했듯이 칼라 세그멘테이션후 다른 영상과 합성할때 기준이 되는 것은 마스크 영상이기 때문이다.The n * n morphology is performed on a mask image. As mentioned above, it is a mask image that becomes a reference when compositing with other images after color segmentation.

만약, 단계 508의 판단결과 상기 구해진 차가 미리 정해진 임계치 이상이 아니면, 상기 단말기는 해당 픽셀을 오브젝트 영역에 포함시키고(S514), 단계 512를 수행한다. If it is determined in step 508 that the obtained difference is not greater than or equal to a predetermined threshold value, the terminal includes the pixel in the object area (S514) and performs step 512.

이러한 일련의 칼라 세그멘테이션 과정는 사용자가 입력한 오브젝트 영역부터 내부 오브젝트 영역까지 적용된다. 즉, 사용자의 입력이 어느 정도 정확한 오브젝트의 바운더리이므로 오브젝트 안쪽으로는 칼라 세그멘테이션을 할 필요가 없다.This series of color segmentation processes are applied from the object area input by the user to the internal object area. In other words, the user's input is somewhat accurate boundary of the object, so there is no need for color segmentation inside the object.

따라서 사용자가 입력한 오브젝트에서부터 내부 오브젝트의 바운더리까지만 칼라 세그멘테이션을 수행한다. Therefore, color segmentation is performed only from the object entered by the user to the boundary of the internal object.

이러한 특성을 이용하여 처리 시간을 줄일 수 있다. 사용자의 입력 바운더리와 내부 오브젝트의 바운더리, 사용자의 입력 바운더리와 내부 오브젝트의 바운더리 사이 픽셀값을 임의의 버퍼에 넣고 전체 마스크를 스캔하지 않고 임의의 버퍼에 있는 픽셀값을 읽어 바로 원하는 부분으로 찾아가 칼라 세그멘테이션과 모폴로지를 수행하면 처리 속도를 최대 6배 줄일 수 있다. This characteristic can be used to reduce processing time. Put the pixel value between the user's input boundary and the inner object's boundary and the user's input boundary and the inner object's boundary in an arbitrary buffer and read the pixel values in the arbitrary buffer without scanning the entire mask and go directly to the desired part. Over morphology can reduce processing speed by up to six times.

도 7은 본 발명의 바람직한 일 실시예에 따른 오브젝트의 캐릭터 배경 합성 방법을 나타낸 흐름도, 도 8a 내지 도 8b는 본 발명의 바람직한 일 실시예에 따른 오브젝트의 캐릭터 배경 합성 화면을 나타낸 도면이다. 7 is a flowchart illustrating a character background synthesis method of an object according to an exemplary embodiment of the present invention, and FIGS. 8A to 8B are diagrams illustrating a character background synthesis screen of an object according to an exemplary embodiment of the present invention.

도 7을 참조하면, 사용자는 영상 저장부에서 원하는 캐릭터 배경영상을 선택한다. 그러면, 단말기는 상기 사용자에 의해 선택된 캐릭터 배경영상 선택 정보에 따라 해당되는 캐릭터 배경영상을 상기 영상 저장부에서 추출한다(S700).Referring to FIG. 7, the user selects a desired character background image from the image storage unit. Then, the terminal extracts the corresponding character background image from the image storage unit according to the character background image selection information selected by the user (S700).

그런다음 입력영상이 수신되면(S702), 상기 단말기는 상기 사용자가 상기 입력영상에서 추출하기를 원하여 선택한 오브젝트 바운더리 정보를 수신한다(S704). 즉, 사용자는 상기 입력 영상에 대하여 추출하기를 원하는 오브젝트 바운더리 정보를 선택한다. Then, when the input image is received (S702), the terminal receives the object boundary information selected by the user to extract from the input image (S704). That is, the user selects object boundary information to be extracted with respect to the input image.

단계 704의 수행후, 상기 단말기는 상기 수신된 오브젝트 바운더리 정보에 따라 해당 오브젝트를 상기 입력영상에서 분리한다(S706). After performing step 704, the terminal separates the object from the input image according to the received object boundary information (S706).

단계 706의 수행으로 오브젝트가 상기 입력영상에서 분리되면, 상기 단말기 는 상기 분리된 오브젝트를 상기 추출된 캐릭터 배경영상과 합성하기 위하여 상기 캐릭터 배경 영상의 삽입할 영역 크기에 맞도록 크기를 조정하고(S708), 상기 크기가 조절된 오브젝트를 상기 캐릭터 배경으로 이동하여 합성한다(S710).When the object is separated from the input image by performing step 706, the terminal adjusts the size to fit the size of the region to be inserted of the character background image in order to synthesize the separated object with the extracted character background image (S708). In operation S710, the size-adjusted object is moved to the character background.

즉, 상기 캐릭터 배경에 오브젝트가 삽입될 영역의 크기와 위치는 고정되어 있기 때문에 상기 오브젝트를 상기 캐릭터 배경 영상과 합성할때는 상기 오브젝트에 대한 크기조절이 필요하다. That is, since the size and position of the region in which the object is to be inserted in the character background are fixed, the size of the object needs to be adjusted when composing the object with the character background image.

따라서, 상기 단말기는 상기 오브젝트를 상기 캐릭터 배경 영상과 합성하기 전에 상기 캐릭터 배경영상에서 오브젝트 삽입 영역 크기와 위치를 읽어와서 오브젝트의 크기를 조절하고, 상기 읽어진 위치로 상기 크기가 조절된 오브젝트를 이동시켜 합성한다. Therefore, the terminal reads the size and position of the object insertion region from the character background image, adjusts the size of the object, and moves the scaled object to the read position before composing the object with the character background image. To synthesize.

예를 들어, 도 8a의 입력영상에서 사용자가 얼굴 영역을 분리하여 캐릭터 배경과 합성하면, 도 8b와 같은 화면이 출력된다.For example, if a user separates a face region from the input image of FIG. 8A and synthesizes it with a character background, a screen as shown in FIG. 8B is output.

단계 710이 수행되면, 상기 단말기는 상기 합성 영상에 대하여 수동 편집을 원하는지의 여부를 질의한다(S712). 즉, 상기 단말기는 상기 사용자로부터 합성 영상 편집 명령이 수신되는지의 여부를 판단한다.If step 710 is performed, the terminal inquires whether or not manual editing is desired for the composite image (S712). That is, the terminal determines whether a composite image editing command is received from the user.

단계 712의 판단결과 상기 사용자로부터 합성 영상 편집 명령이 수신되면, 상기 단말기는 상기 합성 영상 편집 명령에 따라 상기 합성영상을 편집하여 출력하고(S714), 저장한다(S716).As a result of the determination of step 712, when a composite image editing command is received from the user, the terminal edits and outputs the composite image according to the composite image editing command (S714) and stores it (S716).

만약, 단계 712의 판단결과 상기 사용자로부터 합성 영상 편집 명령이 수신되지 않으면, 상기 단말기는 상기 합성영상을 출력하고 저장한다(S718).If it is determined in step 712 that the composite image editing command is not received from the user, the terminal outputs and stores the composite image (S718).

상기와 같이 합성된 영상은 이동통신 단말기의 응용 서비스에 이용된다. 상기 응용 서비스는 배경화면, 발신자 표시 서비스, 멀티미디어 메일등이 있다. The synthesized video as described above is used for an application service of a mobile communication terminal. The application service includes a background screen, a caller ID service, and a multimedia mail.

도 9는 본 발명의 바람직한 일 실시예에 따른 액자 영상 배경 합성 방법을 나타낸 흐름도, 도 10a 내지 도 10d는 본 발명의 바람직한 일 실시예에 따른 액자 영상 배경 합성 화면을 나타낸 도면이다. 9 is a flowchart illustrating a frame image background synthesis method according to an exemplary embodiment of the present invention, and FIGS. 10A to 10D illustrate a frame image background synthesis screen according to an exemplary embodiment of the present invention.

도 9를 참조하면, 사용자는 영상 저장부에서 원하는 액자 배경영상을 선택한다. 그러면, 단말기는 상기 사용자에 의해 선택된 액자 배경영상 선택 정보에 따라 해당되는 액자 배경영상을 상기 영상 저장부에서 추출한다(S900).Referring to FIG. 9, a user selects a desired frame background image from an image storage unit. Then, the terminal extracts the frame background image corresponding to the frame background image selection information selected by the user from the image storage unit (S900).

그런다음 상기 단말기는 상기 추출된 액자 배경 영상에 대하여 마스크를 획득한다(S902). 이는 원영상이 액자 이미지의 틀 내부 영상과만 합성되며 액자틀이나 액자 틀에 부착된 장식 등 사진보다 위에 놓여지는 부분에 해당된 액자 이미지의 정보와는 합성되지 않는다. Then, the terminal acquires a mask for the extracted frame background image (S902). This means that the original image is synthesized only with the image inside the frame of the frame image, and not with the information of the frame image corresponding to the part placed above the picture such as the frame or the decoration attached to the frame.

그래서, 액자 이미지에 대해 원영상과 합성이 가능한 부분과 합성이 불가능한 부분을 구분한 마스크를 구성하여 실시간 합성에 참조한다. 합성이 가능한 부분은 마스크값을 1로하고, 합성이 불가능한 부분은 마스크값을 0으로 세팅하여 실제 합성시 마스크값이 1인 픽셀에 대해서만 원영상과 액자 영상을 합성하여 0인 픽셀에 대해서는 액자영상의 값을 그대로 사용한다.Thus, a frame that separates the original image and the part that can be synthesized and the part that cannot be synthesized with respect to the frame image is constructed and referred to for real-time synthesis. For the part that can be composed, set the mask value to 1, and for the part that cannot be synthesized, set the mask value to 0. The value of is used as is.

단계 902의 수행후, 입력영상이 수신되면(S904), 상기 단말기는 상기 사용자가 상기 입력영상에서 추출하기를 원하여 선택한 오브젝트 바운더리 정보를 수신한다(S706). 즉, 사용자는 상기 입력 영상에 대하여 추출하기를 원하는 오브젝트 바 운더리 정보를 선택한다. After performing step 902, if an input image is received (S904), the terminal receives object boundary information selected by the user to extract from the input image (S706). That is, the user selects object boundary information to be extracted with respect to the input image.

단계 906의 수행후, 상기 단말기는 상기 수신된 오브젝트 바운더리 정보에 따라 해당 오브젝트를 상기 입력영상에서 분리한다(S908). After performing step 906, the terminal separates the corresponding object from the input image according to the received object boundary information (S908).

그런다음 상기 단말기는 단계 902에서 획득된 마스크에 의해 액자의 내부 영역인 부분을 상기 분리된 오브젝트와 합성하고(S910), 액자의 틀 영역인 부분을 상기 합성 영상에 추가한다(S912).Then, the terminal synthesizes the portion of the frame of the frame with the separated object by using the mask obtained in step 902 (S910), and adds the portion of the frame of the frame to the composite image (S912).

즉, 마스크값이 1인 영역은 상기 오브젝트와 합성하고, 마스크값이 0인 영역은 액자 영상의 값을 그대로 사용한다. That is, an area having a mask value of 1 is synthesized with the object, and an area having a mask value of 0 uses a value of a frame image as it is.

예를 들어, 액자 배경영상이 도 10a이고, 입력영상이 도 10c인 경우에 대하여 살펴보기로 한다.For example, the frame background image of FIG. 10A and the input image of FIG. 10C will be described. FIG.

단말기는 상기 액자 배경영상을 도 10b와 같이 합성이 가능한 영역(1000a)과 합성이 불가능한 영역(1000b)으로 분류하여, 상기 합성이 가능한 영역(1000a)은 마스크값을 1로하고, 합성이 불가능한 영역(1000b)은 마스크값을 0으로 세팅한다. The terminal classifies the framed background image into a region 1000a that can be synthesized and a region 1000b that cannot be synthesized, as shown in FIG. 10B. The synthesizeable region 1000a has a mask value of 1 and a region that cannot be synthesized. 1000b sets the mask value to zero.

그럼다음 도 10c의 입력영상에서 오브젝트가 분리되면, 상기 단말기는 상기 분리된 오브젝트와 상기 액자 배경 영상을 합성한다. Then, when an object is separated from the input image of FIG. 10C, the terminal synthesizes the separated object and the frame background image.

그러면, 도 10d와 같은 합성 영상이 출력된다. Then, a composite image as shown in FIG. 10D is output.

단계 912가 수행되면, 상기 단말기는 상기 합성 영상에 대하여 수동 편집을 원하는지의 여부를 질의한다(S914). 즉, 상기 단말기는 상기 사용자로부터 합성 영상 편집 명령이 수신되는지의 여부를 판단한다.If step 912 is performed, the terminal inquires whether or not manual editing is desired for the composite image (S914). That is, the terminal determines whether a composite image editing command is received from the user.

단계 914의 판단결과 상기 사용자로부터 합성 영상 편집 명령이 수신되면, 상기 단말기는 상기 합성 영상 편집 명령에 따라 상기 합성영상을 편집하여 출력하고(S916), 저장한다(S918).When the composite image editing command is received from the user as a result of the determination in step 914, the terminal edits and outputs the composite image according to the composite image editing command (S916) and stores it (S918).

만약, 단계 914의 판단결과 상기 사용자로부터 합성 영상 편집 명령이 수신되지 않으면, 상기 단말기는 상기 합성영상을 출력하고 저장한다(S920).If it is determined in step 914 that the composite image editing command is not received from the user, the terminal outputs and stores the composite image (S920).

도 11a 내지 도 11f는 본 발명의 바람직한 일 실시예에 따른 합성 영상의 수동 편집 화면을 나타낸 도면이다.11A to 11F illustrate a manual edit screen of a composite image according to an exemplary embodiment of the present invention.

도 11a는 입력영상이고, 도 11b는 배경영상, 상기 입력영상과 상기 배경영상을 합성하면 도 11c와 같다.11A shows an input image, and FIG. 11B shows a background image, and the input image and the background image are synthesized as shown in FIG. 11C.

사용자가 상기 도 11c와 같은 합성영상에서 오브젝트의 세로 확대를 원하여 세로 확대를 수행하면, 도 11d와 같이 출력된다. When the user performs vertical magnification for the vertical magnification of the object in the composite image as shown in FIG.

또한, 사용자가 도 11c와 같은 합성영상에서 오브젝트의 가로 확대를 원하여 가로 확대를 수행하면, 도 11e와 같이 출력된다. In addition, if the user wants to enlarge the object horizontally in the composite image as shown in FIG. 11C, it is output as shown in FIG.

또한, 사용자가 도 11c와 같은 합성영상에서 상기 오브젝트를 반시계 방향으로 돌기를 원하여 반시계 방향으로 돌리면, 도 11f와 같이 출력된다. In addition, if the user wants to turn the object counterclockwise in the composite image as shown in FIG.

상기와 같이 사용자는 합성된 영상에 대하여 수동 편집을 수행할 수 있다. As described above, the user may manually edit the synthesized image.

본 발명은 상기 실시예에 한정되지 않으며, 많은 변형이 본 발명의 사상 내에서 당 분야에서 통상의 지식을 가진 자에 의하여 가능함은 물론이다.The present invention is not limited to the above embodiments, and many variations are possible by those skilled in the art within the spirit of the present invention.

상술한 바와 같이 본 발명에 따르면, 사용자의 수동 입력과 칼라 세그멘테이 션 기술을 이용하여 사용자가 입력 영상에서 원하는 오브젝트를 추출하여 배경에 합성하도록 함으로써 사용자는 재미있는 합성 영상을 만들수 있고, 재미있는 합성 영상을 이동통신 서비스에 이용할 수 있는 이동통신 단말기에서 영상 합성 방법 및 장치를 제공할 수 있다.As described above, according to the present invention, by using the user's manual input and color segmentation technology, the user extracts a desired object from the input image and synthesizes it in the background so that the user can make an interesting composite image, and have an interesting composite image. The present invention provides a method and apparatus for synthesizing images in a mobile communication terminal that can be used for a mobile communication service.

또한, 본 발명에 따르면, 배경합성, 프레임 합성, 캐릭터/애니메이션 합성을 이용하여 사용자의 개성을 살리는 재미있는 서비스를 가능하게 하는 이동통신 단말기에서 영상 합성 방법 및 장치를 제공할 수 있다.In addition, according to the present invention, it is possible to provide an image synthesizing method and apparatus in a mobile communication terminal that enables an interesting service that utilizes a user's personality using background synthesis, frame synthesis, and character / animation synthesis.

또한, 본 발명에 따르면, 사용자가 이동통신 단말기에 자신의 개성을 살리고 자신이 만든 여러 영상을 멀티 메일을 통해 친구들에게 전송할 수 있는 이동통신 단말기에서 영상 합성 방법 및 장치를 제공할 수 있다. In addition, according to the present invention, it is possible to provide a method and apparatus for synthesizing an image in a mobile communication terminal in which a user can utilize his or her personality to a mobile communication terminal and transmit various images made to a friend through multi-mail.

Claims (21)

이동통신 단말기에서 영상을 합성하는 방법에 있어서, In the method for synthesizing the image in the mobile communication terminal, 사용자에 의해 배경 영상을 선택받는 단계;Receiving a background image selected by a user; 상기 사용자에 의해 입력 영상을 선택받고, 상기 입력영상에 대하여 추출하기를 원하는 오브젝트 바운더리 정보를 상기 사용자에 의해 입력받는 단계;Receiving an input image selected by the user and receiving object boundary information that the user wants to extract with respect to the input image; 상기 입력된 오브젝트 바운더리 정보에 따른 오브젝트에 대하여 칼라 세그멘테이션을 수행하여 상기 입력영상에서 오브젝트를 분리하는 단계;및Separating the object from the input image by performing color segmentation on the object according to the input object boundary information; and 상기 분리된 오브젝트를 상기 선택된 배경영상과 합성하는 단계;Synthesizing the separated object with the selected background image; 를 포함하는 것을 특징으로 하는 이동통신 단말기에서 영상 합성 방법.Image synthesis method in a mobile communication terminal comprising a. 제1항에 있어서, The method of claim 1, 상기 사용자로부터 상기 합성된 영상에 대한 편집 명령이 수신되면, 상기 편집 명령에 따라 상기 합성 영상을 편집하여 저장하는 단계를 더 포함하는 것을 특징으로 하는 이동통신 단말기에서 영상 합성 방법.And if the editing command for the synthesized video is received from the user, editing and storing the synthesized video according to the editing command. 제1항에 있어서, The method of claim 1, 상기 배경 영상은 일반 사진 영상, 캐릭터 배경영상, 액자 배경영상, 애니메이션 배경 영상을 포함하는 것을 특징으로 하는 이동통신 단말기에서 영상 합성 방법.And the background image comprises a general photograph image, a character background image, a frame background image, and an animated background image. 제1항에 있어서, The method of claim 1, 상기 배경 영상과 입력 영상은 이동통신 단말기에 장착된 카메라에 의해 촬영된 영상, 서버로부터 다운로드된 영상, 다른 단말기로부터 전송받은 영상, PC로부터 업로드된 영상중 적어도 하나를 이용하여 입력된 영상인 것을 특징으로 하는 이동통신 단말기에서 영상 합성 방법.The background image and the input image are images input using at least one of an image photographed by a camera mounted on a mobile communication terminal, an image downloaded from a server, an image transmitted from another terminal, and an image uploaded from a PC. Image synthesis method in a mobile communication terminal. 제4항에 있어서, The method of claim 4, wherein 상기 배경 영상과 입력 영상은 단말기에 미리 저장된 영상인 것을 특징으로 하는 이동통신 단말기에서 영상 합성 방법.And the background image and the input image are images pre-stored in the terminal. 제1항에 있어서, The method of claim 1, 상기 오브젝트 바운더리 정보는 이동통신 단말기의 버튼, 마우스, 펜을 이용하여 상기 사용자가 입력한 것을 특징으로 하는 이동통신 단말기에서 영상 합성 방법.The object boundary information is input by the user using a button, a mouse and a pen of the mobile communication terminal. 제1항에 있어서, The method of claim 1, 상기 입력된 오브젝트 바운더리 정보에 따른 오브젝트에 대하여 칼라 세그멘테이션을 수행하여 상기 입력영상에서 오브젝트를 분리하는 단계는 상기 오브젝트 바운더리 정보를 기반으로 마스크를 생성하는 단계;Separating the object from the input image by performing color segmentation on the object according to the input object boundary information may include generating a mask based on the object boundary information; 상기 오브젝트 바운더리 정보에 해당하는 오브젝트에 대하여 칼라 세그멘테이션을 수행하는 단계를 포함하는 것을 특징으로 하는 이동통신 단말기에서 영상 합성 방법.And performing color segmentation on the object corresponding to the object boundary information. 제7항에 있어서, The method of claim 7, wherein 상기 오브젝트 바운더리 정보를 기반으로 마스크를 생성하는 것은 상기 오브젝트 바운더리 정보에 따라 상기 입력영상에서 오브젝트 영역과 기타 영역으로 분리하는 것을 특징으로 하는 이동통신 단말기에서 영상 합성 방법.Generating a mask based on the object boundary information comprises separating the object into an object area and other areas in the input image according to the object boundary information. 제1항 또는 제7항에 있어서, The method according to claim 1 or 7, 상기 칼라 세그멘테이션을 수행하는 단계는Performing the color segmentation is 상기 오브젝트 바운더리에 대하여 내부 오브젝트 바운더리를 구하는 단계;Obtaining an internal object boundary with respect to the object boundary; 상기 구해진 내부 오브젝트의 바운더리 픽셀을 기준으로 n*n영역에 대한 평균 칼라값을 구하는 단계;Obtaining an average color value of n * n areas based on the obtained boundary pixels of the internal object; 상기 구해진 평균 칼라값과 상기 내부 오브젝트 바운더리내 각 픽셀의 칼라값과의 차를 구하는 단계;Obtaining a difference between the obtained average color value and a color value of each pixel in the inner object boundary; 상기 구해진 차가 미리 정해진 임계치 이상이면, 해당 픽셀을 오브젝트 영역에서 제거하고, 임계치 이상이 아니면, 오브젝트 영역에 포함하는 단계;If the difference is greater than or equal to a predetermined threshold, removing the corresponding pixel from the object region, and if not, exceeding the threshold, including the pixel in the object region; 상기 정해진 오브젝트 영역에 대하여 모폴로지를 수행하는 단계를 포함하는 것을 특징으로 하는 이동통신 단말기에서 영상 합성 방법.And performing a morphology on the predetermined object area. 제1항에 있어서, The method of claim 1, 상기 배경영상이 선택되면, 상기 배경영상에서 오브젝트가 합성될 크기와 위치를 획득하는 것을 특징으로 하는 이동통신 단말기에서 영상 합성 방법.And if the background image is selected, obtain a size and a position at which the object is to be synthesized from the background image. 제1항에 있어서, The method of claim 1, 상기 분리된 오브젝트를 상기 선택된 배경영상과 합성하는 단계는 상기 배경영상에서 상기 오브젝트가 합성될 크기와 위치를 확인한 후, 상기 확인된 크기에 따라 상기 오브젝트의 크기를 조절하고, 상기 위치로 상기 크기가 조절된 오브젝트를 이동시키는 것을 특징으로 하는 이동통신 단말기에서 영상 합성 방법.The synthesizing the separated object with the selected background image may include determining the size and position of the object to be synthesized in the background image, and then adjusting the size of the object according to the checked size, and adjusting the size to the position. A method of synthesizing an image in a mobile communication terminal, comprising moving an adjusted object. 제2항에 있어서,The method of claim 2, 상기 편집 명령은 상기 합성 영상의 오브젝트에 대한 명령으로 크기 조절, 위치 조절, 회전 각도 조절, 좌우 뒤집기를 포함하는 것을 특징으로 하는 이동통신 단말기에서 영상 합성 방법.The editing command is a command for the object of the composite image, the image synthesis method in the mobile communication terminal, characterized in that it comprises a size adjustment, position adjustment, rotation angle adjustment, left and right flip. 이동통신 단말기에 입력되는 입력영상에서 사용자가 원하는 오브젝트를 분리하는 방법에 있어서, In the method for separating the object desired by the user from the input image input to the mobile communication terminal, 상기 사용자에 의해 오브젝트 바운더리 정보가 입력되면, 상기 오브젝트 바운더리 정보에 따른 오브젝트에 대하여 내부 오브젝트 바운더리를 구하는 단계;Obtaining internal object boundaries with respect to an object according to the object boundary information when the object boundary information is input by the user; 상기 구해진 내부 오브젝트 바운더리 픽셀을 기준으로 주위 n*n 픽셀에 대하여 평균 칼라값을 구하는 단계;Obtaining an average color value of surrounding n * n pixels based on the obtained inner object boundary pixels; 상기 구해진 평균 칼라값과 상기 내부 오브젝트 바운더리 픽셀 주위 n*n내의 각 픽셀에 대한 컬러값과의 차를 구하는 단계;Obtaining a difference between the obtained average color value and a color value for each pixel in n * n around the inner object boundary pixel; 상기 구해진 차가 미리 정해진 임계치 이상이면, 해당 픽셀을 오브젝트 영역에서 제거하고 모폴로지를 수행하는 단계If the obtained difference is greater than or equal to a predetermined threshold, removing the pixel from the object area and performing a morphology 를 포함하는 것을 특징으로 하는 이동통신 단말기의 입력영상에서 오브젝트를 분리하는 방법.Separating the object from the input image of the mobile communication terminal comprising a. 제13항에 있어서, The method of claim 13, 상기 구해진 차가 미리 정해진 임계치 이상이 아니면, 해당 픽셀을 오브젝트 영역에 포함하여 모폴로지를 수행하는 단계를 더 포함하는 것을 특징으로 하는 이동통신 단말기의 입력영상에서 오브젝트를 분리하는 방법.And if the difference is not greater than or equal to a predetermined threshold, further comprising: performing a morphology by including the corresponding pixel in an object area. 제13항에 있어서, The method of claim 13, 상기 내부 오브젝트는 상기 사용자가 입력영상에서 선택한 오브젝트 바운더리에서 안쪽으로 n픽셀만큼 들어간 영역을 말하는 것을 특징으로 하는 이동통신 단말기의 입력영상에서 오브젝트를 분리하는 방법.And wherein the internal object refers to an area that is n pixels inward from the object boundary selected by the user in the input image. 제13항에 있어서, The method of claim 13, 상기 모폴로지는 오브젝트의 바운더리를 깨끗하게 하는 것을 특징으로 하는 이동통신 단말기의 입력영상에서 오브젝트를 분리하는 방법.The morphology separates the object from the input image of the mobile communication terminal, characterized in that to clean the boundary of the object. 영상 저장부를 포함하는 이동통신 단말기내 영상을 합성하는 장치에 있어서, An apparatus for synthesizing an image in a mobile communication terminal including an image storage unit, 입력 영상을 수신하는 입력 영상 수신부;An input image receiver configured to receive an input image; 사용자로부터 입력 영상 선택 정보 또는 배경 영상 선택 정보가 수신되면, 상기 영상 저장부에서 해당되는 영상을 추출하는 사용자 인터페이스부;A user interface unit configured to extract a corresponding image from the image storage unit when input image selection information or background image selection information is received from a user; 상기 사용자 인터페이스부를 통해 선택된 입력 영상에서 상기 사용자에 의해 입력된 오브젝트 바운더리 정보에 따른 오브젝트를 구하고, 상기 구해진 오브젝트에 대하여 칼라 세그멘테이션을 수행하여 상기 입력영상에서 오브젝트를 분리하는 오브젝트 추출부;및An object extracting unit obtaining an object according to object boundary information input by the user from the input image selected through the user interface unit, and performing color segmentation on the obtained object to separate the object from the input image; and 상기 사용자 인터페이스부를 통해 선택된 배경영상을 상기 오브젝트 추출부에서 분리된 오브젝트와 합성하고, 상기 사용자에 의해 입력된 합성 영상 편집 명령에 따라 상기 합성된 영상을 편집하는 영상 합성부An image synthesizer configured to synthesize the background image selected through the user interface unit with the object separated by the object extracting unit, and edit the synthesized image according to a synthesized image editing command input by the user. 를 포함하는 것을 특징으로하는 이동통신 단말기에서의 영상 합성 장치.Image synthesizing apparatus in a mobile communication terminal comprising a. 제17항에 있어서, The method of claim 17, 상기 영상 합성부에서 합성된 영상을 저장하는 합성 영상 저장부를 더 포함하는 것을 특징으로 하는 이동통신 단말기에서의 영상 합성 장치.And a synthesized image storage unit for storing the image synthesized by the image synthesizer. 제17항에 있어서, The method of claim 17, 상기 사용자 인터페이스부는 상기 영상 합성부에서 합성된 영상에 대하여 오브젝트 영역의 오검출을 보완하고 자연스러운 합성이 가능하도록 수동 편집 기능을 제공하는 것을 특징으로 하는 이동통신 단말기에서의 영상 합성 장치.And the user interface unit provides a manual editing function to compensate for the misdetection of the object region and to perform natural synthesis for the image synthesized by the image synthesizer. 제17항에 있어서, The method of claim 17, 상기 오브젝트 추출부는 상기 오브젝트 바운더리를 기반으로 마스크를 생성하는 것을 특징으로 하는 이동통신 단말기에서 영상 합성 장치.And the object extracting unit generates a mask based on the object boundary. 제20항에 있어서, The method of claim 20, 상기 오브젝트 추출부는 오브젝트 영역에 대하여 모폴로지를 수행하는 것을 특징으로 하는 이동통신 단말기에서 영상 합성 장치.And the object extracting unit performs a morphology on the object area.
KR1020040024625A 2004-04-09 2004-04-09 Apparatus and Method for complexing image in mobile communication terminal KR100641455B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020040024625A KR100641455B1 (en) 2004-04-09 2004-04-09 Apparatus and Method for complexing image in mobile communication terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040024625A KR100641455B1 (en) 2004-04-09 2004-04-09 Apparatus and Method for complexing image in mobile communication terminal

Publications (2)

Publication Number Publication Date
KR20050099350A KR20050099350A (en) 2005-10-13
KR100641455B1 true KR100641455B1 (en) 2006-10-31

Family

ID=37278514

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040024625A KR100641455B1 (en) 2004-04-09 2004-04-09 Apparatus and Method for complexing image in mobile communication terminal

Country Status (1)

Country Link
KR (1) KR100641455B1 (en)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100679182B1 (en) * 2005-02-03 2007-02-06 김영로 Picture mobile phone and method for editing picture using the same
KR100710674B1 (en) 2005-12-28 2007-04-24 주식회사 팬택 Method for encoding moving picture of mobile device and the mobile device for executing the method
KR100747694B1 (en) * 2006-04-12 2007-08-08 에스케이 텔레콤주식회사 Method and server for providing background-screen service for mobile communication terminal by using mobile communication network
KR101270085B1 (en) * 2006-07-20 2013-05-31 삼성전자주식회사 Apparatus and method for display of animated image in portable communication terminal
KR100836616B1 (en) * 2006-11-14 2008-06-10 (주)케이티에프테크놀로지스 Portable Terminal Having Image Overlay Function And Method For Image Overlaying in Portable Terminal
KR100993199B1 (en) * 2008-10-30 2010-11-10 에스케이텔레시스 주식회사 Image management and registration method of mobile terminal
KR101224061B1 (en) * 2011-01-28 2013-01-21 포항공과대학교 산학협력단 Image composing apparatus and method
KR102064973B1 (en) * 2013-06-04 2020-01-10 삼성전자주식회사 Apparatas and method for editing of dual image in an electronic device
KR102138521B1 (en) * 2013-12-12 2020-07-28 엘지전자 주식회사 Mobile terminal and method for controlling the same

Also Published As

Publication number Publication date
KR20050099350A (en) 2005-10-13

Similar Documents

Publication Publication Date Title
JP3784289B2 (en) Media editing method and apparatus
US8798168B2 (en) Video telecommunication system for synthesizing a separated object with a new background picture
US8866943B2 (en) Video camera providing a composite video sequence
JP4990994B2 (en) Short film generating apparatus, short film generating method, program, and recording medium
KR100480076B1 (en) Method for processing still video image
EP2199978B1 (en) Image capturing apparatus having subject cut-out function
KR100739173B1 (en) Methode and apparutus for creating pictures by camera built-in terminal engaged
US20130235223A1 (en) Composite video sequence with inserted facial region
KR100737974B1 (en) Image extraction combination system and the method, And the image search method which uses it
CN109218630B (en) Multimedia information processing method and device, terminal and storage medium
EP1800471A1 (en) Method and apparatus for processing document image captured by camera
WO2011058675A1 (en) Electronic camera and semiconductor integrated circuit device for electronic camera device
KR20070117284A (en) Method for image composition in dual camera having mobile phone
KR100641455B1 (en) Apparatus and Method for complexing image in mobile communication terminal
KR20110016505A (en) Color adjustment
KR100713531B1 (en) Method for displaying special effect to image data
KR101075720B1 (en) Method for editing image in wireless terminal
KR100632533B1 (en) Method and device for providing animation effect through automatic face detection
KR101143408B1 (en) System for Providing Service of Compositing Imageor Video
KR101695209B1 (en) A system and method for composing real-time image and chroma-key Image of subject
JP2004072677A (en) Device, method and program for compositing image and recording medium recording the program
KR100735330B1 (en) Method for editing picture in wireless terminal
KR20030062042A (en) Video communication system
JP2005196304A (en) Image processing method and image compounding device
KR101281786B1 (en) A mobile phone haveing a fundtino of editing motion picture and the method for editing motion picture thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee