KR20050018442A - System for provinding mobile communication terminal composite image service and its method, mobile communication terminal having composite image function and its method - Google Patents
System for provinding mobile communication terminal composite image service and its method, mobile communication terminal having composite image function and its methodInfo
- Publication number
- KR20050018442A KR20050018442A KR1020030056253A KR20030056253A KR20050018442A KR 20050018442 A KR20050018442 A KR 20050018442A KR 1020030056253 A KR1020030056253 A KR 1020030056253A KR 20030056253 A KR20030056253 A KR 20030056253A KR 20050018442 A KR20050018442 A KR 20050018442A
- Authority
- KR
- South Korea
- Prior art keywords
- image data
- user
- data
- unit
- mobile communication
- Prior art date
Links
Landscapes
- Telephonic Communication Services (AREA)
- Telephone Function (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
본 발명은 이동통신 단말기에 무선 컨텐츠 데이터를 제공하는 기술분야와 관련된 것으로, 특히 이동통신 단말기에 합성 영상 화면을 제공하는 서비스에 관련된 것이다.The present invention relates to the technical field of providing wireless content data to a mobile communication terminal, and more particularly to a service for providing a composite video screen to a mobile communication terminal.
여러개의 영상(Image) 데이터를 합성하는 기술이 공지되어 있으며, 포토샵(Photo Shop)등과 같은 영상 편집 소프트웨어에서는 영상 데이터를 합성하는 기능을 제공하고 있다. 이러한 영상 편집 소프트웨어는 일반 사용자가 능숙하게 사용하기에 어려움이 있어 보편화 되어 있지 않았다.Techniques for synthesizing multiple image data are known, and image editing software such as Photoshop provides a function for synthesizing image data. Such image editing software has not been popularized because it is difficult for a general user to use skillfully.
영상 편집 기술이 컨텐츠 서비스에 활용되면서, 최근에는 웹 사이트 상에서 이러한 영상 합성 기술을 이용한 서비스를 제공하고 있다. 널리 알려진 영상 합성 서비스를 소개하면, 사용자가 PC에서 업로드한 사용자 영상(사진, 동영상등)에서 합성할 영역을 추출하여 배경 화면 영상에 합성시키는 것이다.As image editing technology is utilized in content services, recently, a service using such image synthesis technology is provided on a web site. Introducing the well-known image synthesis service, the user extracts a region to be synthesized from the user image (photo, video, etc.) uploaded from the PC and synthesizes the background image.
한편, 이동통신 단말기의 성능 개선과, 이동통신 환경에서의 무선 전송기술의 발전에 힘입어, 사진, 멀티미디어 동영상, 그림, 애니메이션, 게임, 벨소리, 음원 데이터등과 같은 각종 무선 콘텐츠 데이터를 이동통신 단말기로 다운로드 해주는 서비스가 성행하고 있고, 무선 콘텐츠 데이터 다운로드 제공업체에서는 더 많은 회원을 유치시키고 더 많은 다운로드 서비스를 제공하기 위해 경쟁하고 있다.On the other hand, with the improvement of the performance of the mobile communication terminal and the development of the wireless transmission technology in the mobile communication environment, various mobile content data such as pictures, multimedia videos, pictures, animations, games, ringtones, sound source data, etc. Downloads are on the rise, and wireless content data download providers are competing to attract more members and provide more downloads.
이러한 상황에서, 본원 출원인은 경쟁업체와는 차별되며, 무선 콘텐츠 데이터 다운로드 서비스의 경쟁력을 높이기 위한 방안을 모색하던 중, 종래에 영상 합성 기술이 웹사이트상에서만 활용되고 있다는 점을 주목하여, 나아가 이동통신 단말기에 합성 영상 화면을 제공하는 새로운 서비스를 창안해 내게 되었다.In this situation, the Applicant is differentiated from the competitors, and while seeking to improve the competitiveness of the wireless content data download service, the Applicant has moved to the point that the image synthesis technology is conventionally used only on the website. A new service has been created to provide composite video screens to communication terminals.
본 발명은 이와 같은 상황에서 안출된 것으로, 다양한 배경 영상을 사용자에게 안내하여 사용자가 배경 영상을 선택하도록 하고 사용자 단말기로부터 사용자 영상 데이터를 수신하며 이 사용자 영상 데이터와 사용자가 선택한 배경 영상 데이터를 합성하여 해당 이동통신 단말기로 송신하여, 이후에 사용자가 합성된 이 영상 데이터를 자신의 취향에 맞게 이동통신 단말기의 여러 배경화면(평소 배경화면, 전화 올때 배경화면, 켤때/끌때 배경화면, 각종 메뉴상의 배경화면등)으로 설정할 수 있도록 하는 시스템 기반의 (이동통신 단말기에게)영상 합성 서비스를 구현하는 구체적인 방안을 제시하고자 하는 것에 그 목적이 있다.The present invention has been made in such a situation, to guide the user to a variety of background image to the user to select the background image, receive the user image data from the user terminal and synthesize the user image data and the background image data selected by the user After transmitting the video data synthesized by the user to the mobile terminal, the background image of the mobile terminal (ordinary background screen, background on call, background on / off, background on various menu) The purpose of the present invention is to propose a concrete plan for implementing a video synthesis service based on a system (mobile communication terminal) that can be set to a screen).
나아가 본 발명은, 이동통신 단말기가 서비스 서버에 무선 접속하여 사용자에 의해 선택된 배경 영상 데이터를 무선 수신하고, 이 배경 영상 데이터를 사용자 영상 데이터와 합성하여 저장함으로써, 이후에 사용자가 합성 영상 데이터를 자신의 취향에 맞게 이동통신 단말기의 여러 배경화면(평소 배경화면, 전화 올때 배경화면, 켤때/끌때 배경화면, 각종 메뉴상의 배경화면등)으로 설정할 수 있도록 하는 이동통신 단말기 기반의 영상 합성 서비스를 구현하는 구체적인 방안을 제시하고자 하는 것에 다른 목적이 있다.Furthermore, the present invention provides a mobile communication terminal wirelessly connects to a service server to wirelessly receive background image data selected by a user, synthesizes the background image data with user image data, and stores the synthesized image data. Implement a video synthesis service based on the mobile communication terminal that can be set to a variety of wallpaper (ordinary wallpaper, when the phone comes, wallpaper when you turn on / off, background on various menus) according to your taste There is another purpose to present a concrete plan.
상기 목적을 달성하기 위한 본 발명은, 영상 합성 서비스를 제공하는 시스템에 있어서, 통신망과 연결되어 사용자 단말기 간에 데이터를 송/수신하는 데이터 송/수신부; 상기 사용자 단말기와 접속하여, 배경 영상 안내 정보를 송신하고 특정 배경 영상 선택 정보와 이동 전화번호 정보를 수신하며, 상기 사용자 단말기로부터의 사용자 영상 데이터 수신 동작과 상기 이동 전화번호에 해당하는 이동통신 단말기로의 합성 영상 데이터 송신 동작을 제어하는 제어부; 상기 데이터 송/수신부를 거쳐 수신되는 사용자 영상 데이터를 저장하며, 인코딩된 합성 영상 데이터를 저장하는 저장부; 상기 사용자 영상 데이터를 디코딩하는 디코딩부; 다양한 배경 영상 데이터를 저장하는 배경 영상 데이터베이스부; 상기 디코딩된 사용자 영상 데이터와 상기 사용자 선택에 해당되는 배경 영상 데이터를 합성하여 상기 합성 영상 데이터를 생성하는 합성부; 및 상기 합성 영상 데이터를 인코딩하고, 이를 상기 저장부에 저장하는 인코딩부;를 포함하여 구성되는 것을 특징으로 한다.In order to achieve the above object, the present invention provides a system for providing a video synthesis service, comprising: a data transmitting / receiving unit connected to a communication network to transmit / receive data between user terminals; Access to the user terminal, transmit background image guide information, receive specific background image selection information, and mobile phone number information; receive user image data from the user terminal, and send the user image data to the mobile communication terminal corresponding to the mobile phone number. A control unit controlling a composite image data transmission operation of the control unit; A storage unit for storing user image data received through the data transmitting / receiving unit and storing encoded composite image data; A decoding unit for decoding the user image data; A background image database unit for storing various background image data; A synthesizer configured to synthesize the decoded user image data and background image data corresponding to the user selection to generate the synthesized image data; And an encoding unit for encoding the synthesized image data and storing the synthesized image data in the storage unit.
이에 따라, 이동통신 단말기에게 합성 영상 화면을 제공하는 시스템 기반의 서비스를 구현하는 구체적인 방안을 제시할 수가 있다.Accordingly, a concrete scheme for implementing a system-based service for providing a composite video screen to a mobile communication terminal can be proposed.
나아가 본 발명의 보조적인 양상에 따르면, 상기 합성부가, 상기 사용자 영상에서 합성할 영역을 추출하는 영역 추출부; 상기 추출된 영역의 크기를 조절하는 스케일링부; 및 상기 크기 조절된 영역의 영상 데이터와 상기 배경 영상 데이터를 중첩 처리하는 블렌딩부;를 포함하여 구성되는 것을 특징으로 한다.Furthermore, according to an auxiliary aspect of the present invention, the synthesis unit, an area extraction unit for extracting a region to be synthesized from the user image; A scaling unit for adjusting the size of the extracted region; And a blending unit configured to superimpose the image data of the scaled area and the background image data.
이에 따라, 기존에 웹 싸이트상에서 널리 사용되던 영상 합성 기술을 이동통신 단말기에 합성 영상 화면을 제공하는 시스템 기반의 서비스에 활용할 수가 있게 된다.Accordingly, it is possible to utilize the image synthesis technology widely used on the web site for a system-based service that provides a composite video screen to the mobile communication terminal.
더 나아가 본 발명의 보조적인 양상에 따르면, 상기 배경 영상 데이터 및 사용자 영상 데이터가, 동영상 데이터이며; 상기 디코딩부, 합성부 및 인코딩부가, 프레임 단위로 동작하는 것;을 특징으로 한다.Furthermore, according to the auxiliary aspect of the present invention, the background image data and the user image data are moving image data; And the decoding unit, the synthesis unit and the encoding unit operate in units of frames.
이에 따라, 동영상 합성 기술을 이동통신 단말기에 합성 동영상 화면을 제공하는 시스템 기반의 서비스에 활용할 수가 있게 된다.Accordingly, the video synthesis technology can be utilized for a system-based service that provides a composite video screen to the mobile communication terminal.
더 나아가 본 발명의 추가적인 양상에 따르면, 상기 제어부가, 상기 사용자 단말기로부터 텍스트 정보를 더 수신하고, 상기 블렌딩부가, 상기 중첩 처리를 할 때에, 해당 텍스트 데이터를 상기 배경 영상에 더 중첩 시키는 것;을 특징으로 한다.Furthermore, according to a further aspect of the present invention, the control unit, further receiving text information from the user terminal, and when the blending unit, the superimposition process, further superimposing the text data on the background image; It features.
이에 따라, 사용자는 시스템에서 제공하는 인터페이스를 통해 자신의 취향에 따라 제작되는 이동통신 단말기용 합성 영상 화면에 간단한 텍스트 멘트를 더 추가할 수 있다.Accordingly, the user may further add a simple text comment to the composite image screen for the mobile communication terminal manufactured according to the user's taste through the interface provided by the system.
더 나아가, 본 발명의 추가적인 양상에 따르면, 상기 인코딩부가, 상기 영상 합성 데이터를 인코딩 할 때에, 상기 배경 영상 데이터베이스부에 저장되어 있는 음원 데이터를 함께 인코딩하는 것;을 특징으로 한다.Furthermore, according to an additional aspect of the present invention, the encoding unit, when encoding the image synthesis data, encoding the sound source data stored in the background image database unit;
이에 따라, 사용자는 시스템에서 제공하는 인터페이스를 통해 자신의 취향에 따라 제작되는 이동통신 단말기용 합성 영상 화면에 음악, 멜로디, 음성등과 같은 사운드 신호를 추가할 수 있어, 자신의 개성을 발휘할 수가 있다.Accordingly, the user can add a sound signal such as music, melody, voice, etc. to the composite video screen for the mobile communication terminal manufactured according to his / her preference through the interface provided by the system, thereby showing his personality. .
본 발명의 보조적인 양상에 따르면, 이동통신 단말기에게 영상 합성 서비스를 제공하는 방법에 있어서, 사용자 단말기와 접속하는 단계; 상기 사용자 단말기로 배경 영상 안내 정보를 송신하고, 상기 사용자 단말기로부터 사용자 선택에 따른 특정 배경 영상 선택 정보와 이동 전화번호 정보를 수신하는 단계; 상기 사용자 단말기로부터 사용자 영상 데이터를 수신하는 단계; 상기 수신되는 사용자 영상 데이터를 저장하는 단계; 상기 저장된 사용자 영상 데이터를 디코딩 하는 단계; 상기 디코딩된 사용자 영상 데이터와 상기 사용자 선택에 해당되는 배경 영상 데이터를 합성하여 합성 영상 데이터를 생성하는 단계; 상기 합성 영상 데이터를 인코딩하고, 이를 저장하는 단계; 및 상기 저장된 합성 영상 데이터를 상기 이동 전화번호에 해당하는 이동통신 단말기로 송신하는 단계;를 포함하여 구성되는 것을 특징으로 한다.According to an auxiliary aspect of the present invention, there is provided a method for providing an image synthesis service to a mobile communication terminal, the method comprising: accessing a user terminal; Transmitting background image guide information to the user terminal, and receiving specific background image selection information and mobile telephone number information according to a user selection from the user terminal; Receiving user image data from the user terminal; Storing the received user image data; Decoding the stored user image data; Generating synthesized image data by synthesizing the decoded user image data and background image data corresponding to the user selection; Encoding the synthetic image data and storing the synthesized image data; And transmitting the stored composite image data to a mobile communication terminal corresponding to the mobile telephone number.
이에 따라, 이동통신 단말기에게 합성 영상 화면을 제공하는 시스템 기반의 서비스를 구현하는 구체적인 방안을 제시할 수가 있다.Accordingly, a concrete scheme for implementing a system-based service for providing a composite video screen to a mobile communication terminal can be proposed.
나아가 본 발명의 보조적인 양상에 따르면, 상기 합성 영상 데이터 생성 단계가, 상기 사용자 영상 데이터의 적어도 일부의 영역이 상기 배경 영상에 위치하는 영역을 선택하는 단계; 상기 영역의 크기를 조절하는 단계; 및 상기 크기 조절된 영역의 영상 데이터와 상기 배경 영상 데이터를 중첩 처리하는 단계;를 포함하여 구성되는 것을 특징으로 한다.Furthermore, according to an auxiliary aspect of the present invention, the generating of the composite image data includes: selecting an area in which at least a portion of the user image data is located in the background image; Adjusting the size of the area; And overlapping the image data of the scaled region with the background image data.
이에 따라, 기존에 웹 싸이트상에서 널리 사용되던 영상 합성 기술을 이동통신 단말기에 합성 영상 화면을 제공하는 시스템 기반의 서비스에 활용할 수가 있게 된다.Accordingly, it is possible to utilize the image synthesis technology widely used on the web site for a system-based service that provides a composite video screen to the mobile communication terminal.
더 나아가, 본 발명의 보조적인 양상에 따르면, 상기 배경 영상 데이터 및 사용자 영상 데이터가, 동영상 데이터이며; 상기 디코딩 단계, 합성 단계 및 인코딩 단계가, 프레임 단위로 동작하는 것;을 특징으로 한다.Furthermore, according to the auxiliary aspect of the present invention, the background image data and the user image data are moving image data; The decoding, synthesizing and encoding operations are performed on a frame-by-frame basis.
이에 따라, 동영상 합성 기술을 이동통신 단말기에 합성 동영상 화면을 제공하는 시스템 기반의 서비스에 활용할 수가 있게 된다.Accordingly, the video synthesis technology can be utilized for a system-based service that provides a composite video screen to the mobile communication terminal.
더 나아가, 본 발명의 추가적인 양상에 따르면, 상기 사용자 단말기로부터 텍스트 정보를 수신하는 단계가 더 포함되고; 상기 중첩 처리 단계가, 해당 텍스트 데이터를 상기 배경 영상에 더 중첩 시키는 것;을 특징으로 한다.Furthermore, according to a further aspect of the invention, there is further included a step of receiving text information from the user terminal; The superimposing processing further includes superimposing the corresponding text data on the background image.
이에 따라, 사용자는 시스템에서 제공하는 인터페이스를 통해 자신의 취향에 따라 제작되는 이동통신 단말기용 합성 영상 화면에 간단한 텍스트 멘트를 더 추가할 수 있다.Accordingly, the user may further add a simple text comment to the composite image screen for the mobile communication terminal manufactured according to the user's taste through the interface provided by the system.
더 나아가 본 발명의 추가적인 양상에 따르면, 상기 인코딩 단계가, 상기 영상 합성 데이터를 인코딩 할 때에, 배경 영상 데이터베이스부에 저장되어 있는 음원 데이터를 함께 인코딩하는 것;을 특징으로 한다.Furthermore, according to an additional aspect of the present invention, the encoding step, when encoding the image synthesis data, characterized in that for encoding the sound source data stored in the background image database unit;
이에 따라, 사용자는 시스템에서 제공하는 인터페이스를 통해 자신의 취향에 따라 제작되는 이동통신 단말기용 합성 영상 화면에 음악, 멜로디, 음성등과 같은 사운드 신호를 추가할 수 있다.Accordingly, the user may add a sound signal such as music, melody, voice, etc. to the composite video screen for the mobile communication terminal manufactured according to the user's taste through the interface provided by the system.
본 발명의 다른 양상에 따르면, 본 발명은, 이동통신 단말기에 있어서, 무선 데이터를 송/수신하는 데이터 송/수신부; 서비스 서버로의 무선 접속을 수행하며, 상기 서비스 서버로부터 사용자의 선택에 따른 배경 영상 데이터 무선 수신 동작을 제어하는 다운로드부; 상기 무선 수신되는 배경 영상 데이터를 저장하며, 인코딩된 합성 영상 데이터를 저장하는 저장부; 상기 배경 영상 데이터를 디코딩하고, 상기 이동통신 단말기에 구비되는 카메라부에 의해 촬영된 사용자 영상 데이터와 상기 데이터 송/수신부와 다운로드부를 거쳐서 외부 장치로부터 유/무선 수신된 사용자 영상 데이터 중 어느 하나를 디코딩하는 디코딩부; 상기 디코딩된 배경 영상 데이터와 사용자 영상 데이터를 합성하여 상기 합성 영상 데이터를 생성하는 합성부; 및 상기 영상 합성 데이터를 인코딩하고, 이를 상기 저장부에 저장하는 인코딩부; 를 포함하여 구성되는 것을 특징으로 한다.According to another aspect of the present invention, a mobile communication terminal, comprising: a data transmitting / receiving unit for transmitting / receiving wireless data; A download unit which performs a wireless connection to a service server and controls wireless reception of background image data according to a user's selection from the service server; A storage unit for storing the wirelessly received background image data and storing encoded composite image data; Decode the background image data, and decode any one of the user image data photographed by the camera unit provided in the mobile communication terminal and the user image data received from the external device via the data transmission / reception unit and the download unit. Decoding unit; A synthesizer configured to synthesize the decoded background image data and user image data to generate the synthesized image data; And an encoding unit for encoding the image synthesis data and storing it in the storage unit. Characterized in that comprises a.
이에 따라, 이동통신 단말기에게 합성 영상 화면을 제공하는 이동통신 단말기 기반의 서비스를 구현하는 구체적인 방안을 제시할 수가 있다.Accordingly, a concrete scheme for implementing a mobile communication terminal based service for providing a composite video screen to a mobile communication terminal can be proposed.
나아가 본 발명의 보조적인 양상에 따르면, 상기 합성부가, 상기 사용자 영상에서 합성할 영역을 추출하는 영역 추출부; 상기 추출된 영역의 크기를 조절하는 스케일링부; 및 상기 크기 조절된 영역의 영상 데이터와 상기 배경 영상 데이터를 중첩 처리하는 블렌딩부;를 포함하여 구성되는 것을 특징으로 한다.Furthermore, according to an auxiliary aspect of the present invention, the synthesis unit, an area extraction unit for extracting a region to be synthesized from the user image; A scaling unit for adjusting the size of the extracted region; And a blending unit configured to superimpose the image data of the scaled area and the background image data.
이에 따라, 기존에 웹 싸이트상에서 널리 사용되던 영상 합성 기술을 이동통신 단말기에 합성 영상 화면을 제공하는 이동통신 단말기 기반의 서비스에 활용할 수가 있게 된다.Accordingly, it is possible to utilize the image synthesis technology, which is widely used on the web site, for a mobile communication terminal based service that provides a composite video screen to the mobile communication terminal.
더 나아가, 본 발명의 보조적인 양상에 따르면, 상기 배경 영상 데이터 및 사용자 영상 데이터가, 동영상 데이터이며; 상기 디코딩부, 합성부 및 인코딩부가, 프레임 단위로 동작하는 것;을 특징으로 한다.Furthermore, according to the auxiliary aspect of the present invention, the background image data and the user image data are moving image data; And the decoding unit, the synthesis unit and the encoding unit operate in units of frames.
이에 따라, 동영상 합성 기술을 이동통신 단말기에 합성 동영상 화면을 제공하는 이동통신 단말기 기반의 서비스에 활용할 수가 있게 된다.Accordingly, the video compositing technology can be utilized for a mobile communication terminal based service providing a composite video screen to the mobile communication terminal.
더 나아가, 본 발명의 추가적인 양상에 따르면, 상기 블렌딩부가, 상기 중첩 처리를 할 때에, 사용자의 키조작에 따라 입력되는 텍스트 데이터를 상기 배경 영상에 더 중첩 시키는 것;을 특징으로 한다.Furthermore, according to an additional aspect of the present invention, the blending unit, when the superimposition process, further superimpose the text data input according to the user's key operation to the background image;
이에 따라, 사용자는 자신의 이동통신 단말기를 조작하여, 자신의 취향에 따라 제작되는 이동통신 단말기용 합성 영상 화면에, 간단한 텍스트 멘트를 더 추가할 수 있다.Accordingly, the user may further manipulate the mobile communication terminal to add a simple text comment to the composite video screen for the mobile communication terminal manufactured according to the user's taste.
더 나아가, 본 발명의 추가적인 양상에 따르면, 상기 인코딩부가, 상기 합성 영상 데이터를 인코딩 할 때에, 음원 데이터를 함께 인코딩하는 것;을 특징으로 한다.Furthermore, according to an additional aspect of the present invention, the encoding unit, when encoding the composite image data, characterized in that for encoding the sound source data together;
이에 따라, 사용자는 자신의 이동통신 단말기를 조작하여, 자신의 취향에 따라 제작되는 이동통신 단말기용 합성 영상 화면에, 음악/멜로디/음성등과 같은 사운드 신호를 추가할 수 있다.Accordingly, the user can manipulate his mobile terminal to add a sound signal such as music / melody / voice to the composite video screen for the mobile terminal produced according to his / her taste.
본 발명의 다른 양상에 따르면, 본 발명은, 이동통신 단말기의 영상합성 방법에 있어서, 서비스 서버에 무선 접속하는 단계; 상기 서비스 서버가 안내하는 배경 영상을 선택하는 단계; 상기 서비스 서버로부터 사용자의 선택에 따른 배경 영상 데이터를 무선 수신하는 단계; 상기 수신되는 배경 영상 데이터를 저장하는 단계; 상기 저장된 배경 영상 데이터와, 상기 이동통신 단말기에 구비되는 카메라부에 의해 촬영된 사용자 영상 데이터와 상기 데이터 송/수신부와 다운로드부를 거쳐서 외부 장치로부터 유/무선 수신된 사용자 영상 데이터 중 어느 하나를 각각 디코딩하는 단계; 상기 디코딩된 배경 영상 데이터와 사용자 영상 데이터를 합성하여 합성 영상 데이터를 생성하는 단계; 및 상기 합성 영상 데이터를 인코딩하고, 이를 저장하는 단계;를 포함하여 구성되는 것을 특징으로 한다.According to another aspect of the present invention, the present invention provides a video synthesis method of a mobile communication terminal, comprising: wirelessly connecting to a service server; Selecting a background image guided by the service server; Wirelessly receiving background image data according to a user's selection from the service server; Storing the received background image data; Decodes any one of the stored background image data, user image data photographed by a camera unit provided in the mobile communication terminal, and user image data received from a external device via the data transmitter / receiver and download unit. Doing; Generating composite image data by synthesizing the decoded background image data and user image data; And encoding and storing the composite image data.
이에 따라, 이동통신 단말기로 합성 영상 화면을 제공하는 이동통신 단말기 기반의 서비스를 구현하는 구체적인 방안을 제시할 수가 있다.Accordingly, a concrete scheme for implementing a mobile communication terminal based service for providing a composite video screen to a mobile communication terminal can be proposed.
나아가 본 발명의 보조적인 양상에 따르면, 상기 합성 영상 데이터 생성 단계가, 상기 사용자 영상 데이터의 적어도 일부의 영역이 상기 배경 영상에 위치하는 영역을 선택하는 단계; 상기 영역의 크기를 조절하는 단계; 및 상기 크기 조절된 영역의 영상 데이터와 상기 배경 영상 데이터를 중첩 처리하는 단계;를 포함하여 구성되는 것을 특징으로 한다.Furthermore, according to an auxiliary aspect of the present invention, the generating of the composite image data includes: selecting an area in which at least a portion of the user image data is located in the background image; Adjusting the size of the area; And overlapping the image data of the scaled region with the background image data.
이에 따라, 기존에 웹 싸이트상에서 널리 사용되던 영상 합성 기술을 이동통신 단말기에 합성 영상 화면을 제공하는 이동통신 단말기 기반의 서비스에 활용할 수가 있게 된다.Accordingly, it is possible to utilize the image synthesis technology, which is widely used on the web site, for a mobile communication terminal based service that provides a composite video screen to the mobile communication terminal.
더 나아가, 본 발명의 보조적인 양상에 따르면, 상기 배경 영상 데이터 및 사용자 영상 데이터가, 동영상 데이터이며; 상기 디코딩 단계, 합성 단계 및 인코딩 단계가, 프레임 단위로 동작하는 것;을 특징으로 한다.Furthermore, according to the auxiliary aspect of the present invention, the background image data and the user image data are moving image data; The decoding, synthesizing and encoding operations are performed on a frame-by-frame basis.
이에 따라, 동영상 합성 기술을 이동통신 단말기에 합성 동영상 화면을 제공하는 이동통신 단말기 기반의 서비스에 활용할 수가 있게 된다.Accordingly, the video compositing technology can be utilized for a mobile communication terminal based service providing a composite video screen to the mobile communication terminal.
더 나아가, 본 발명의 추가적인 양상에 따르면, 배경 영상 데이터를 중첩 처리하는 단계가, 상기 중첩 처리를 할 때에, 사용자의 키조작에 따라 입력되는 텍스트 데이터를 상기 배경 영상에 더 중첩 시키는 것;을 특징으로 한다.Furthermore, according to an additional aspect of the present invention, the step of superimposing the background image data, when the superimposition process, further superimposing the text data input according to the user's key operation to the background image; It is done.
이에 따라, 사용자는 자신의 이동통신 단말기를 조작하여, 자신의 취향에 따라 제작되는 이동통신 단말기용 합성 영상 화면에, 간단한 텍스트 멘트를 더 추가할 수 있다.Accordingly, the user may further manipulate the mobile communication terminal to add a simple text comment to the composite video screen for the mobile communication terminal manufactured according to the user's taste.
더 나아가, 본 발명의 추가적인 양상에 따르면, 상기 인코딩부가, 상기 영상 합성 데이터를 인코딩 할 때에, 음원 데이터를 함께 인코딩하는 것;을 특징으로 한다.Furthermore, according to an additional aspect of the present invention, the encoding unit, when encoding the image synthesis data, encoding the sound source data together;
이에 따라, 사용자는 자신의 이동통신 단말기를 조작하여, 자신의 취향에 따라 제작되는 이동통신 단말기용 합성 영상 화면에, 음악/멜로디/음성등과 같은 사운드 신호를 추가할 수 있다.Accordingly, the user can manipulate his mobile terminal to add a sound signal such as music / melody / voice to the composite video screen for the mobile terminal produced according to his / her taste.
전술한, 그리고 추가적인 본 발명의 양상들은 후술하는 실시예들을 통하여 더욱 명백해질 것이다. 이하에서는 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 첨부된 도면을 참조하여 기술되는 바람직한 실시예를 통하여 상세히 설명하기로 한다.The foregoing and further aspects of the present invention will become more apparent through the following embodiments. Hereinafter, the present invention will be described in detail with reference to the preferred embodiments described with reference to the accompanying drawings so that those skilled in the art can easily understand and reproduce.
도 1은 본 발명의 바람직한 실시예에 따라 이동통신 단말기에게 영상 합성 서비스를 제공하는 시스템의 구성을 도시한 일 예이다.1 is an example illustrating a configuration of a system for providing a video synthesis service to a mobile communication terminal according to a preferred embodiment of the present invention.
상기 도 1에 도시되어 있는 바와 같이, 본 발명의 바람직한 실시예에 따른 시스템(110)은, 통신망(101)과 연결되어 사용자 단말기(119, 121) 간에 데이터를 송/수신하는 데이터 송/수신부(103); 상기 사용자 단말기(119, 121)와 접속하여, 배경 영상 안내 정보를 송신하고 특정 배경 영상 선택 정보와 이동 전화번호 정보를 수신하며, 상기 사용자 단말기(119, 121)로부터의 사용자 영상 데이터 수신 동작과 상기 이동 전화번호에 해당하는 이동통신 단말기(121)로의 합성 영상 데이터 송신 동작을 제어하는 제어부(105); 상기 데이터 송/수신부(103)를 거쳐 수신되는 사용자 영상 데이터를 저장하며, 인코딩된 합성 영상 데이터를 저장하는 저장부(107); 상기 사용자 영상 데이터를 디코딩하는 디코딩부(109); 다양한 배경 영상 데이터를 저장하는 배경 영상 데이터베이스부(113); 상기 디코딩된 사용자 영상 데이터와 상기 사용자 선택에 해당되는 배경 영상 데이터를 합성하여 상기 합성 영상 데이터를 생성하는 합성부(115); 및 상기 합성 영상 데이터를 인코딩하고, 이를 상기 저장부(107)에 저장하는 인코딩부(111);를 포함하여 구성되는 것을 특징으로 한다.As shown in FIG. 1, the system 110 according to a preferred embodiment of the present invention is a data transmission / reception unit connected to the communication network 101 to transmit / receive data between user terminals 119 and 121 ( 103); Connected with the user terminals 119 and 121, transmits background image guide information, receives specific background image selection information and mobile phone number information, and receives user image data from the user terminals 119 and 121; A control unit 105 for controlling a composite image data transmission operation to the mobile communication terminal 121 corresponding to the mobile telephone number; A storage unit 107 for storing user image data received through the data transmission / reception unit 103 and storing encoded composite image data; A decoding unit (109) for decoding the user image data; A background image database unit 113 storing various background image data; A synthesizer 115 configured to synthesize the decoded user image data and background image data corresponding to the user selection to generate the synthesized image data; And an encoding unit 111 for encoding the composite image data and storing it in the storage unit 107.
시스템(110)은 통신망(이동통신망, PSTN망, 인터넷망등 유/무선 통신망이 모두 포함된 개념)(101)에 연결되어, 왑(Wireless Application Protocol:WAP) 기능/웹(WEB) 기능/ARS 기능등을 지원하여, 유선 통신망에 연결된 사용자 단말기(예:PC, 전화기)(119) 및 무선 통신망에 연결된 사용자 단말기(예;이동통신 단말기)와 통신이 가능하다.The system 110 is connected to a communication network (a concept including both a wired / wireless communication network such as a mobile communication network, a PSTN network, and an internet network) 101, and includes a swap (Wireless Application Protocol (WAP) function / Web (WEB) function / ARS). By supporting a function, it is possible to communicate with a user terminal (eg, PC, telephone) 119 connected to a wired communication network and a user terminal (eg, mobile communication terminal) connected to a wireless communication network.
시스템(110)은 사용자 단말기(119, 121)로 서비스를 안내하는 정보를 송신하고, 사용자 단말기(119, 121)로부터 사용자의 메뉴 선택신호를 수신할 수가 있다. 사용자 단말기(119, 121)가 PC나 이동통신 단말기인 경우, 시스템(110)은 그래픽 사용자 인터페이스를 제공하며, 사용자 단말기(119, 121)로 서비스를 안내하는 화면을 송신하고, 이동통신 단말기(119, 121) 사용자의 키조작에 따른 메뉴 선택신호를 수신할 수가 있다. 사용자 단말기(119)가 전화기인 경우, 시스템(110)은 음성 안내 메시지를 송출하여 서비스를 안내하고, 사용자 단말기(119)로부터 송신되는 DTMF 신호를 검출하거나 사용자 음성 신호를 인식하여 사용자의 메뉴 선택신호를 수신할 수가 있다.The system 110 may transmit information for guiding a service to the user terminals 119 and 121, and receive a user's menu selection signal from the user terminals 119 and 121. When the user terminals 119 and 121 are PCs or mobile communication terminals, the system 110 provides a graphic user interface, transmits a screen for guiding a service to the user terminals 119 and 121, and transmits a mobile communication terminal 119. 121) A menu selection signal can be received according to a user's key operation. If the user terminal 119 is a telephone, the system 110 sends out a voice guidance message to guide the service, detects a DTMF signal transmitted from the user terminal 119, or recognizes a user's voice signal to select a user's menu selection signal. Can be received.
또한, 시스템(110)은 사용자 단말기(119, 121)로부터 소정의 데이터(예:파일 데이터)를 수신(업-로드)할 수가 있으며, 소정의 데이터(예:파일 데이터)를 이동통신 단말기(121)로 송신(다운-로드)할 수가 있다.In addition, the system 110 may receive (upload) predetermined data (eg, file data) from the user terminals 119 and 121, and transmit the predetermined data (eg, file data) to the mobile communication terminal 121. Can be sent (down-loaded).
본 발명의 출원일 이전에 전술한 전술한 시스템(110)의 기본적인 기능은 공지되어 있는 기술에 해당하므로, 이러한 기술 자체에 대한 구체적인 설명은 생략하기로 한다.Since the basic functions of the system 110 described above before the filing date of the present invention corresponds to a known technology, a detailed description thereof will be omitted.
본 발명에 따른 배경 영상 데이터베이스부(113)에는 사진, 멀티미디어 동영상, 그림, 애니메이션, 게임, 벨소리, 음원 데이터등과 같은 배경 영상 데이터가 저장된다.The background image database 113 according to the present invention stores background image data such as photographs, multimedia videos, pictures, animations, games, ringtones, sound source data, and the like.
제어부(105)는 보유하고 있는 배경 영상을 안내하는 정보를 데이터 송/수신부(103)를 통해 접속하는 사용자 단말기(119, 121)로 송신한다. 또한, 제어부(105)는 사용자 단말기(119, 121)로부터 사용자가 상기 배경 영상 안내정보를 참조하여 특정한 배경 영상을 선택하는 정보를 수신하며, 사용자가 합성 영상 데이터를 다운로드 받을 이동통신 단말기(121)의 이동 전화번호 정보를 수신한다. 제어부(105)가 이동 전화번호 정보를 수신하는 것은, 이후에 완성된 합성 영상 데이터를 이동통신 단말기(121)로 송신하기 위한 것이다.The controller 105 transmits the information for guiding the background image to the user terminals 119 and 121 to be connected through the data transmitter / receiver 103. In addition, the controller 105 receives information from the user terminals 119 and 121 that the user selects a specific background image with reference to the background image guide information, and the user can download the composite image data. Receives mobile phone number information. The control unit 105 receives the mobile phone number information for transmitting the completed composite video data to the mobile communication terminal 121.
또한, 제어부(105)는 사용자 단말기(119, 121)로부터 사용자 영상 데이터를 수신한다. 본 발명에서 사용자 영상 데이터란 찍은 사진 데이터, 정지 영상 데이터, 촬영한 동영상 데이터등과 같이 사용자가 배경 영상에 합성시키고자 직접 준비한 영상을 의미한다. 이러한 사용자 영상은 PC(119)를 통해 시스템(110)으로 전송될 수 있고, 이동통신 단말기(121)를 통해 시스템(110)으로 전송될 수 있다. 수신되는 사용자 영상 데이터는 데이터 송/수신부(103)를 거쳐 저장부(107)에 저장된다.In addition, the controller 105 receives user image data from the user terminals 119 and 121. In the present invention, the user image data refers to an image that the user prepares directly to be combined with a background image, such as photographed data, still image data, and captured video data. The user image may be transmitted to the system 110 through the PC 119, and may be transmitted to the system 110 through the mobile communication terminal 121. The received user image data is stored in the storage unit 107 via the data transmitter / receiver 103.
또한, 제어부(105)는 상기 사용자 단말기(119, 121)로부터 수신한 이동 전화번호에 해당하는 이동통신 단말기(121)를 호출한다. 그리고 제어부(105)는 전송을 위해 인코딩부(111)에 의해 인코딩 되고 저장부(107)에 저장된 합성 영상 데이터를 이동통신 단말기(121)로 송신한다.In addition, the controller 105 calls the mobile communication terminal 121 corresponding to the mobile phone number received from the user terminals 119 and 121. The control unit 105 transmits the composite image data encoded by the encoding unit 111 and stored in the storage unit 107 to the mobile communication terminal 121 for transmission.
저장부(107)는 전술한 바와 같이, 상기 데이터 송/수신부(103)를 거쳐 수신되는 사용자 영상 데이터를 저장하며, 인코딩된 합성 영상 데이터를 저장한다.As described above, the storage unit 107 stores user image data received through the data transmitter / receiver 103 and stores encoded composite image data.
디코딩부(109)는 전송을 위해 압축된 형태의 사용자 영상 데이터에 대하여, 압축을 해제하여 합성 처리가 가능하도록 원래의 영상 데이터로 복원한다.The decoding unit 109 decompresses the user image data in a compressed form for transmission, and restores the original image data so that the synthesis process can be performed.
합성부(115)는 상기 디코딩된 사용자 영상 데이터를 디코딩부(109)로부터 입력받고, 사용자의 배경 영상 선택 정보에 해당하는 소정 배경 영상을 배경 영상 데이터베이스부(113)로부터 입력받아, 두 영상 데이터를 합성하여 합성 영상 데이터를 생성한다.The synthesis unit 115 receives the decoded user image data from the decoding unit 109, receives a predetermined background image corresponding to the background image selection information of the user from the background image database unit 113, and receives the two image data. Synthesize to generate synthesized image data.
인코딩부(111)는 상기 합성 영상 데이터에 대하여 인코딩을 수행하는데, 바람직하게는 전송에 적합하도록 합성 영상 데이터를 압축할 수가 있다. 인코딩부(111)는 상기 디코딩 처리된 합성 영상 데이터를 저장부(107)로 출력한다.The encoding unit 111 performs encoding on the composite image data. Preferably, the encoding unit 111 may compress the composite image data to be suitable for transmission. The encoding unit 111 outputs the decoded composite image data to the storage unit 107.
전술한 실시예에 따르면, 다양한 배경 영상을 사용자에게 안내하여 사용자가 배경 영상을 선택하도록 하고 사용자 단말기(119, 121)로부터 사용자 영상 데이터를 수신하며 이 사용자 영상 데이터와 사용자가 선택한 배경 영상 데이터를 합성하여 해당 이동통신 단말기(121)로 송신하여, 이후에 사용자가 합성된 이 영상 데이터를 자신의 취향에 맞게 이동통신 단말기의 여러 배경화면(평소 배경화면, 전화 올때 배경화면, 켤때/끌때 배경화면, 각종 메뉴상의 배경화면등)으로 설정할 수 있어, 이동통신 단말기에게 합성 영상 화면을 제공하는 시스템 기반의 서비스를 구현하는 구체적인 방안을 제시할 수가 있다.According to the above-described embodiment, the user is guided to various background images to allow the user to select a background image, receive user image data from the user terminals 119 and 121, and synthesize the user image data and the background image data selected by the user. By transmitting to the mobile communication terminal 121, the user can then combine the video data synthesized by the user to his / her own background (ordinary background, background when calling, background when turning on / off, Background image on various menus), and a concrete scheme for implementing a system-based service for providing a composite video screen to a mobile communication terminal can be proposed.
이하에서는 전술한 합성부(115)의 바람직한 실시예를 도 2를 참조하여 설명하기로 한다.Hereinafter, a preferred embodiment of the above-described synthesis unit 115 will be described with reference to FIG. 2.
상기 도 2에 도시된 바와 같이, 합성부(215)는 영역 추출부(201)와 스케일링부(203)와 블렌딩부(205)를 포함하여 구성된다.As shown in FIG. 2, the combining unit 215 includes an area extracting unit 201, a scaling unit 203, and a blending unit 205.
영역 추출부(201)는 사용자 영상 데이터(207)를 입력받아 사용자 영상에서 합성할 영역을 추출한다. 예를 들어, 영역 추출부(210)는 사용자 영상에서 얼굴 부분만을 추출해 낼 수가 있다.The area extractor 201 receives the user image data 207 and extracts an area to be synthesized from the user image. For example, the area extractor 210 may extract only a face part from the user image.
스케일링부(203)는 상기 추출된 영역의 크기를 조절한다.The scaling unit 203 adjusts the size of the extracted region.
블렌딩부(205)는 상기 크기 조절된 영역의 영상 데이터(207)와 배경 영상 데이터(209)를 중첩 처리하여, 최종 합성 영상 데이터(211)를 생성한다.The blending unit 205 overlaps the image data 207 and the background image data 209 of the scaled area to generate the final composite image data 211.
전술한 본 발명의 실시예에 따라, 기존에 웹 싸이트상에서 널리 사용되던 영상 합성 기술을 이동통신 단말기에 합성 영상 화면을 제공하는 시스템 기반의 서비스에 활용할 수가 있게 된다.According to the above-described embodiment of the present invention, the image synthesis technology, which is widely used on the web site, can be utilized for a system-based service that provides a composite video screen to a mobile communication terminal.
또한, 본 발명의 영상 합성 서비스 시스템(110)은 정지영상 뿐 아니라 동영상에서도 영상 합성을 지원한다. 예를 들어, 사용자의 얼굴만을 추출하여 배경 동영상 데이터의 해당 부위에 합성 시킬 수도 있으며, 사용자의 동영상에서 인기 연예인의 액세서리를 착용시킬 수가 있다.In addition, the image synthesis service system 110 of the present invention supports image synthesis not only in still images but also in moving images. For example, only a user's face may be extracted and synthesized into a corresponding portion of the background video data, and a user may wear an accessory of a popular entertainer.
이를 위해서는 동영상 합성 기술이 필요로 하게 된다. 본 발명의 바람직한 실시예에 따르면 디코딩부(109), 인코딩부(111) 및 합성부(115)가 프레임 단위로 동작을 수행하여 동영상 합성이 가능해지도록 한다.This requires video synthesis technology. According to an exemplary embodiment of the present invention, the decoding unit 109, the encoding unit 111, and the combining unit 115 perform operations on a frame basis to enable video synthesis.
또한, 본 발명의 영상 합성 서비스 시스템(110)은 합성 영상 화면에 사용자의 텍스트 멘트를 추가할 수 있도록 지원한다.In addition, the video synthesis service system 110 of the present invention supports adding a text comment of the user to the synthesized video screen.
이를 위해서, 제어부(105)는 사용자 단말기(119, 121)로 텍스트 멘트 키입력을 안내하는 정보를 송신하며, 사용자 단말기(119, 121)로부터 해당 텍스트 정보를 수신한다. 이후, 블렌딩부(205)는 상기 사용자 영상 데이터(207)와 배경 영상 데이터(209)를 중첩 처리를 할 때에, 해당 텍스트 데이터(217)를 상기 배경 영상에 더 중첩 시킨다.To this end, the controller 105 transmits information for guiding textment key input to the user terminals 119 and 121, and receives corresponding text information from the user terminals 119 and 121. Thereafter, when the blending unit 205 overlaps the user image data 207 and the background image data 209, the blending unit 205 further overlaps the corresponding text data 217 with the background image.
또한, 본 발명의 영상 합성 서비스 시스템(110)은 사용자의 취향에 따라 제작되는 이동통신 단말기용 합성 영상 화면에 음악, 멜로디, 음성등과 같은 사운드 신호를 추가할 수 있도록 지원한다.In addition, the video synthesis service system 110 of the present invention supports adding a sound signal such as music, melody, voice, etc. to the composite video screen for a mobile communication terminal manufactured according to a user's taste.
이를 위해서, 영상 데이터와 음성 데이터를 동시에 전송시킬 수 있는 기술이 필요로 하게 된다. 본 발명의 바람직한 실시예에 따르면, 멀티미디어 메시징 서비스(Multimedia Messaging Service:MMS) 기술을 이용한다. 주지하다시피, 멀티미디어 메시징 서비스는 국제 표준 권고안 3GPP(3rd Generation Partnership Project) TS(Technical Specification) 22.140 과 23.140에 정의된 서비스로써, 문자 메시지 뿐 아니라, 음성, 이미지, 오디오, 비디오 데이터 등 다양한 멀티미디어 데이터를 송수신할 수 있도록 하는 서비스이다.To this end, there is a need for a technology capable of simultaneously transmitting video data and audio data. According to a preferred embodiment of the present invention, the Multimedia Messaging Service (MMS) technology is used. As is well known, the multimedia messaging service is a service defined in the international standard Recommendation 3GPP (3rd Generation Partnership Project) Technical Specification (TS) 22.140 and 23.140. This service allows you to send and receive.
본 발명의 바람직한 실시예에 따르면, 인코딩부(111)는 멀티미디어 인코딩 기능을 사용하여, 합성 영상 데이터와 음원 데이터를 함께 인코딩 할 수가 있다.According to a preferred embodiment of the present invention, the encoding unit 111 may encode the composite image data and the sound source data together using a multimedia encoding function.
도 3은 본 발명의 바림직한 실시예에 따라 이동통신 단말기에게 영상 합성 서비스를 제공하는 시스템의 동작 흐름을 도시한 일 예이다. 이하 상기 도 1 및 도 2를 참조하여 설명하기로 한다.3 is an example illustrating an operation flow of a system for providing an image synthesis service to a mobile communication terminal according to a preferred embodiment of the present invention. Hereinafter, a description will be given with reference to FIGS. 1 and 2.
상기 도 3에 도시된 바와 같이, 본 발명은, 이동통신 단말기(121)에게 영상 합성 서비스를 제공하는 방법에 있어서, 사용자 단말기(119, 121)와 접속하는 단계(301); 상기 사용자 단말기(119, 121)로 배경 영상 안내 정보를 송신하고(303), 상기 사용자 단말기(119, 121)로부터 사용자 선택에 따른 특정 배경 영상 선택 정보와 이동 전화번호 정보를 수신하는 단계(305, 309); 상기 사용자 단말기(119, 121)로부터 사용자 영상 데이터를 수신하는 단계(311); 상기 수신되는 사용자 영상 데이터를 저장하는 단계(상기 도 3에 도시하지 않음); 상기 저장된 사용자 영상 데이터를 디코딩 하는 단계(상기 도 3에 도시하지 않음); 상기 디코딩된 사용자 영상 데이터와 상기 사용자 선택에 해당되는 배경 영상 데이터를 합성하여 합성 영상 데이터를 생성하는 단계(313); 상기 합성 영상 데이터를 인코딩하고, 이를 저장하는 단계(상기 도 3에 도시하지 않음); 및 상기 저장된 합성 영상 데이터를 상기 이동 전화번호에 해당하는 이동통신 단말기로 송신하는 단계(315);를 포함하여 구성되는 것을 특징으로 한다.As shown in FIG. 3, the present invention provides a method of providing an image synthesis service to a mobile communication terminal, comprising: accessing a user terminal (119, 121) (301); Transmitting background image guide information to the user terminals 119 and 121 (303), and receiving specific background image selection information and mobile phone number information according to a user selection from the user terminals 119 and 121 (305, 309); Receiving (311) user image data from the user terminals (119, 121); Storing the received user image data (not shown in FIG. 3); Decoding the stored user image data (not shown in FIG. 3); Generating synthesized image data by synthesizing the decoded user image data and the background image data corresponding to the user selection; Encoding and storing the composite image data (not shown in FIG. 3); And transmitting (315) the stored composite image data to the mobile communication terminal corresponding to the mobile telephone number.
통신망(101)을 통하여 사용자 단말기(119, 121)간에 접속이 이루어지면(301), 영상 합성 서비스 시스템(110)의 제어부(105)는 배경영상 데이터베이스부(113)에 저장된 배경영상을 안내하는 리스트 정보를 사용자 단말기(119, 121)로 송신한다(303). 그리고, 제어부(105)는 사용자 단말기(119, 121)로부터, 사용자가 다운로드 받기를 원하는 특정 배경 화면을 선택하는 신호인 배경 영상 선택신호를 수신한다(305).When a connection is established between the user terminals 119 and 121 through the communication network 101, the control unit 105 of the image synthesis service system 110 guides the background image stored in the background image database 113. Information is sent to the user terminals 119 and 121 (303). In operation 305, the controller 105 receives a background image selection signal, which is a signal for selecting a specific background screen from which the user wants to download, from the user terminals 119 and 121.
사용자 단말기(119, 121)가 PC나 이동통신 단말기인 경우, 제어부(105)은 그래픽 사용자 인터페이스를 제공하며, 사용자 단말기(119, 121)로 배경 영상을 안내하는 화면을 송신하고, 이동통신 단말기(119, 121) 사용자의 키조작에 따른 배경 영상 선택신호를 수신할 수가 있다. 사용자 단말기(119)가 전화기인 경우, 제어부(105)은 음성 안내 메시지를 송출하여 배경 영상을 안내하고, 사용자 단말기(119)로부터 송신되는 DTMF 신호를 검출하거나 사용자 음성 신호를 인식하여 사용자의 배경 영상 선택신호를 수신할 수가 있다.When the user terminals 119 and 121 are PCs or mobile communication terminals, the controller 105 provides a graphic user interface, transmits a screen for guiding a background image to the user terminals 119 and 121, and sends the mobile communication terminal ( It is possible to receive a background image selection signal according to a user's key operation. When the user terminal 119 is a telephone, the controller 105 sends a voice guidance message to guide the background image, detects a DTMF signal transmitted from the user terminal 119, or recognizes the user's voice signal to display the background image of the user. The selection signal can be received.
그리고, 제어부(105)는 사용자가 합성 영상 데이터를 다운로드 받을 이동통신 단말기(121)의 이동 전화번호 정보를 수신한다(309). 제어부(105)가 이동 전화번호 정보를 수신하는 것은, 이후에 완성된 합성 영상 데이터를 이동통신 단말기(121)로 송신하기 위한 것이다.In operation 309, the controller 105 receives mobile phone number information of the mobile communication terminal 121 from which the user downloads the composite image data. The control unit 105 receives the mobile phone number information for transmitting the completed composite video data to the mobile communication terminal 121.
그리고, 제어부(105)는 사용자 단말기(119, 121)로부터 사용자 영상 데이터를 수신한다(311). 본 발명에서 사용자 영상 데이터란 찍은 사진 데이터, 정지 영상 데이터, 촬영한 동영상 데이터등과 같이 사용자가 배경 영상에 합성시키고자 직접 준비한 영상을 의미한다. 이러한 사용자 영상은 PC(119)를 통해 시스템(110)으로 전송될 수 있고, 이동통신 단말기(121)를 통해 시스템(110)으로 전송될 수 있다. 수신되는 사용자 영상 데이터는 데이터 송/수신부(103)를 거쳐 저장부(107)에 저장된다(상기 도 3에 도시하지 않음).The controller 105 receives user image data from the user terminals 119 and 121 in operation 311. In the present invention, the user image data refers to an image that the user prepares directly to be combined with a background image, such as photographed data, still image data, and captured video data. The user image may be transmitted to the system 110 through the PC 119, and may be transmitted to the system 110 through the mobile communication terminal 121. The received user image data is stored in the storage unit 107 via the data transmission / reception unit 103 (not shown in FIG. 3 above).
그리고, 디코딩부(109)는 전송을 위해 압축된 형태의 사용자 영상 데이터에 대하여, 압축을 해제하여 합성 처리가 가능하도록 원래의 영상 데이터로 복원한다(상기 도 3에 도시하지 않음). 원래의 영상 데이터는 예를 들어, BMP 데이터가 될 수 있고 동영상 데이터인 경우에는 NTSC(National Television System Committee)나 PAL(Phase Alternation by Line) 형식의 데이터가 될 수 있다.Then, the decoding unit 109 decompresses the user image data in the compressed form for transmission and restores the original image data so that the synthesis process can be performed (not shown in FIG. 3). The original video data may be, for example, BMP data and, in the case of video data, data of NTSC (National Television System Committee) or PAL (Phase Alternation by Line) format.
합성부(115)는 상기 디코딩된 사용자 영상 데이터를 디코딩부(109)로부터 입력받고, 사용자의 배경 영상 선택 정보에 해당하는 소정 배경 영상을 배경 영상 데이터베이스부(113)로부터 입력받아, 두 영상 데이터를 합성하여 합성 영상 데이터를 생성한다(313).The synthesis unit 115 receives the decoded user image data from the decoding unit 109, receives a predetermined background image corresponding to the background image selection information of the user from the background image database unit 113, and receives the two image data. The synthesized image data is generated by combining (313).
인코딩부(111)는 상기 합성 영상 데이터에 대하여 인코딩을 수행하는데(상기 도 3에 도시하지 않음), 바람직하게는 전송에 적합하도록 합성 영상 데이터를 예를 들어, JPEG이나 MPEG 형식으로 압축할 수가 있다. 인코딩부(111)는 상기 디코딩 처리된 합성 영상 데이터를 저장부(107)로 출력한다.The encoding unit 111 performs encoding on the composite image data (not shown in FIG. 3). Preferably, the encoding unit 111 may compress the composite image data into, for example, a JPEG or MPEG format so as to be suitable for transmission. . The encoding unit 111 outputs the decoded composite image data to the storage unit 107.
그리고, 제어부(105)는 상기 사용자 단말기(119, 121)로부터 수신한 이동 전화번호에 해당하는 이동통신 단말기(121)를 호출한다. 그리고 제어부(105)는 데이터 송/수신부(103)를 제어하여, 전송을 위해 인코딩부(111)에 의해 인코딩 되고 저장부(107)에 저장된 합성 영상 데이터를 이동통신 단말기(121)로 송신한다.The controller 105 calls the mobile communication terminal 121 corresponding to the mobile phone number received from the user terminals 119 and 121. The controller 105 controls the data transmitter / receiver 103 to transmit the synthesized image data encoded by the encoder 111 and stored in the storage 107 to the mobile communication terminal 121 for transmission.
전술한 실시예에 따르면, 다양한 배경 영상을 사용자에게 안내하여 사용자가 배경 영상을 선택하도록 하고 사용자 단말기(119, 121)로부터 사용자 영상 데이터를 수신하며 이 사용자 영상 데이터와 사용자가 선택한 배경 영상 데이터를 합성하여 해당 이동통신 단말기(121)로 송신하여, 이후에 사용자가 합성된 이 영상 데이터를 자신의 취향에 맞게 이동통신 단말기의 여러 배경화면(평소 배경화면, 전화 올때 배경화면, 켤때/끌때 배경화면, 각종 메뉴상의 배경화면등)으로 설정할 수 있어, 이동통신 단말기에게 합성 영상 화면을 제공하는 시스템 기반의 서비스를 구현하는 구체적인 방안을 제시할 수가 있다.According to the above-described embodiment, the user is guided to various background images to allow the user to select a background image, receive user image data from the user terminals 119 and 121, and synthesize the user image data and the background image data selected by the user. By transmitting to the mobile communication terminal 121, the user can then combine the video data synthesized by the user to his / her own background (ordinary background, background when calling, background when turning on / off, Background image on various menus), and a concrete scheme for implementing a system-based service for providing a composite video screen to a mobile communication terminal can be proposed.
이하에서는 전술한 영상 합성 단계(313) 바람직한 실시예를 도 2를 참조하여 설명하기로 한다.Hereinafter, a preferred embodiment of the above-described image synthesizing step 313 will be described with reference to FIG. 2.
영상 합성 단계는 영역 추출부(201)가 상기 사용자 영상 데이터의 적어도 일부의 영역이 상기 배경 영상에 위치하는 영역을 선택하는 단계와; 스케일링부(203)가 상기 영역의 크기를 조절하는 단계; 및 블렌딩부(205)가 상기 크기 조절된 영역의 영상 데이터와 상기 배경 영상 데이터를 중첩 처리하는 단계;를 포함하여 구성되는 것을 특징으로 한다.The image synthesizing step may include: selecting, by the region extraction unit, a region where at least a portion of the user image data is located in the background image; A scaling unit (203) adjusting the size of the area; And overlaying, by the blending unit 205, the image data of the scaled area with the background image data.
전술한 본 발명의 실시예에 따라, 기존에 웹 싸이트상에서 널리 사용되던 영상 합성 기술을 이동통신 단말기에 합성 영상 화면을 제공하는 시스템 기반의 서비스에 활용할 수가 있게 된다.According to the above-described embodiment of the present invention, the image synthesis technology, which is widely used on the web site, can be utilized for a system-based service that provides a composite video screen to a mobile communication terminal.
또한, 본 발명의 영상 합성 서비스 방법은 정지영상 뿐 아니라 동영상에서도 영상 합성을 지원한다. 예를 들어, 사용자의 얼굴만을 추출하여 배경 동영상 데이터의 해당 부위에 합성 시킬 수도 있으며, 사용자의 동영상에서 인기 연예인의 액세서리를 착용시킬 수가 있다.In addition, the image synthesizing service method of the present invention supports image synthesizing in moving images as well as still images. For example, only a user's face may be extracted and synthesized into a corresponding portion of the background video data, and a user may wear an accessory of a popular entertainer.
이를 위해서는 동영상 합성 기술이 필요로 하게 된다. 본 발명의 바람직한 실시예에 따르면, 상기 배경 영상 데이터 및 사용자 영상 데이터가, 동영상 데이터이며; 상기 디코딩 단계, 합성 단계 및 인코딩 단계가, 프레임 단위로 동작하는 것;을 특징으로 한다.This requires video synthesis technology. According to a preferred embodiment of the present invention, the background image data and the user image data are moving image data; The decoding, synthesizing and encoding operations are performed on a frame-by-frame basis.
또한, 본 발명의 영상 합성 서비스 방법은 합성 영상 화면에 사용자의 텍스트 멘트를 추가할 수 있도록 지원한다.In addition, the video synthesis service method of the present invention supports adding a text comment of a user to a synthesized video screen.
이를 위해서, 제어부(105)는 사용자 단말기(119, 121)로 텍스트 멘트를 안내하는 정보를 더 송신하며(상기 도 3에 도시하지 않음), 사용자 단말기(119, 121)로부터 해당 텍스트 정보를 수신한다(307). 이후, 전술한 중첩처리 단계에서 상기 사용자 영상 데이터(207)와 배경 영상 데이터(209)를 중첩 처리를 할 때에, 해당 텍스트 데이터(217)를 상기 배경 영상에 더 중첩 시킨다.To this end, the controller 105 further transmits information for guiding the textment to the user terminals 119 and 121 (not shown in FIG. 3), and receives the corresponding text information from the user terminals 119 and 121. (307). Subsequently, when the user image data 207 and the background image data 209 are overlapped in the above-described overlapping process, the corresponding text data 217 is further superimposed on the background image.
또한, 본 발명의 영상 합성 서비스 방법은 사용자의 취향에 따라 제작되는 이동통신 단말기용 합성 영상 화면에 음악, 멜로디, 음성등과 같은 사운드 신호를 추가할 수 있도록 지원한다.In addition, the video synthesis service method of the present invention supports adding a sound signal such as music, melody, voice, etc. to the synthesized video screen for a mobile communication terminal manufactured according to a user's taste.
이를 위해서, 영상 데이터와 음성 데이터를 동시에 전송시킬 수 있는 기술이 필요로 하게 된다. 본 발명의 바람직한 실시예에 따르면, 멀티미디어 메시징 서비스(Multimedia Messaging Service:MMS) 기술을 이용한다. 주지하다시피, 멀티미디어 메시징 서비스는 국제 표준 권고안 3GPP(3rd Generation Partnership Project) TS(Technical Specification) 22.140 과 23.140에 정의된 서비스로써, 문자 메시지 뿐 아니라, 음성, 이미지, 오디오, 비디오 데이터 등 다양한 멀티미디어 데이터를 송수신할 수 있도록 하는 서비스이다.To this end, there is a need for a technology capable of simultaneously transmitting video data and audio data. According to a preferred embodiment of the present invention, the Multimedia Messaging Service (MMS) technology is used. As is well known, the multimedia messaging service is a service defined in the international standard Recommendation 3GPP (3rd Generation Partnership Project) Technical Specification (TS) 22.140 and 23.140. This service allows you to send and receive.
본 발명의 바람직한 실시예에 따르면, 인코딩 단계에서, 전술한 멀티미디어 인코딩 기능을 사용하여, 합성 영상 데이터와 음원 데이터를 함께 인코딩 할 수가 있다.According to a preferred embodiment of the present invention, in the encoding step, the composite image data and the sound source data can be encoded together using the aforementioned multimedia encoding function.
도 4는 본 발명의 바람직한 실시예에 따른 이동통신 단말기의 구성을 도시한 일 예이다.4 is an example showing the configuration of a mobile communication terminal according to a preferred embodiment of the present invention.
상기 도 4에 도시된 바와 같이, 본 발명의 바람직한 실시예에 따른 이동통신 단말기는, 무선 데이터를 송/수신하는 데이터 송/수신부(401); 서비스 서버(상기 도 4에 도시하지 않음)로의 무선 접속을 수행하며, 상기 서비스 서버로부터 사용자의 선택에 따른 배경 영상 데이터 무선 수신 동작을 제어하는 다운로드부(403); 상기 무선 수신되는 배경 영상 데이터를 저장하며, 인코딩된 합성 영상 데이터를 저장하는 저장부(405); 상기 배경 영상 데이터를 디코딩하고, 상기 이동통신 단말기에 구비되는 카메라부(413)에 의해 촬영된 사용자 영상 데이터와 상기 데이터 송/수신부(401)와 다운로드부(403)를 거쳐서 외부 장치(상기 도 4에 도시하지 않음)로부터 유/무선 수신된 사용자 영상 데이터 중 어느 하나를 디코딩하는 디코딩부(407); 상기 디코딩된 배경 영상 데이터와 사용자 영상 데이터를 합성하여 상기 합성 영상 데이터를 생성하는 합성부(409); 및 상기 영상 합성 데이터를 인코딩하고, 이를 상기 저장부(405)에 저장하는 인코딩부(411);를 포함하여 구성되는 것을 특징으로 한다.As shown in FIG. 4, the mobile communication terminal according to the preferred embodiment of the present invention includes a data transmitting / receiving unit 401 for transmitting / receiving wireless data; A download unit 403 for performing a wireless connection to a service server (not shown in FIG. 4) and controlling wireless reception of background image data according to a user's selection from the service server; A storage unit 405 for storing the wirelessly received background image data and storing encoded composite image data; The background image data is decoded, and an external device (eg, FIG. 4) is passed through the user image data captured by the camera unit 413 provided in the mobile communication terminal, and the data transmission / reception unit 401 and the download unit 403. A decoder 407 which decodes any one of user image data received wired / wirelessly (not shown); A synthesizer 409 for synthesizing the decoded background image data and the user image data to generate the synthesized image data; And an encoding unit 411 for encoding the image synthesis data and storing it in the storage unit 405.
본 발명에 적용되는 이동통신 단말기는 휴대폰, 개인 정보 단말기(Personal Digital Assistance), 웹패드(WEB PAD)등과 같이 무선 통신이 가능한 휴대형 단말기를 포함한다.The mobile communication terminal applied to the present invention includes a portable terminal capable of wireless communication such as a mobile phone, a personal digital assistant, a web pad, and the like.
데이터 송/수신부(401)는 외부의 무선 중계국(예:기지국)간에 무선 데이터를 송/수신한다. 데이터 송/수신부(401)는 예를 들어, 무선 처리 기능, 이동통신 처리 기능을 가지며, 무선 데이터 통신 기능을 가질 수가 있다.The data transmitting / receiving unit 401 transmits / receives wireless data between external wireless relay stations (for example, base stations). The data transmitting / receiving unit 401 has, for example, a wireless processing function and a mobile communication processing function, and may have a wireless data communication function.
전술한 데이터 송/수신부(401)의 기능들은 이동통신 단말기 제조분야에서 본 발명의 출원일 이전에 공지된 것이며, 본 발명의 주 관심사가 아니므로 그 상세한 설명을 생략하기로 한다.Functions of the above-described data transmitting / receiving unit 401 are known before the filing date of the present invention in the field of manufacturing mobile communication terminals, and thus detailed description thereof will be omitted.
다운 로드부(403)는 무선 콘텐츠를 다운로드 서비스하는 서버(상기 도 4에 도시하지 않음)로의 무선 접속을 수행하며, 상기 서비스 서버로부터 (이동통신 단말기 사용자의 선택에 따른)배경 영상 데이터의 무선 수신 동작을 제어한다.The download unit 403 performs a wireless connection to a server (not shown in FIG. 4) that downloads wireless content, and wirelessly receives background image data (according to a mobile communication terminal user's selection) from the service server. Control the operation.
사용자가 이동통신 단말기를 사용하여 특정 서비스 서버로 무선 접속하고, 자신이 원하는 콘텐츠 데이터를 다운로드 하는 기술은 본 발명의 출원일 이전에 공지된 것에 해당하므로, 다운 로드부(403) 자체에 대한 구체적 설명을 생략하기로 한다.Since a user wirelessly connects to a specific service server using a mobile communication terminal and downloads content data that he / she wants, it is known that it is known before the filing date of the present invention. It will be omitted.
저장부(405)는 상기 데이터 송/수신부(401)를 거쳐 무선 수신되는 배경 영상 데이터를 저장하며, 인코딩된 합성 영상 데이터를 저장한다.The storage unit 405 stores the background image data wirelessly received through the data transmission / reception unit 401 and stores the encoded composite image data.
디코딩부(407)는 전송을 위해 압축된 형태의 배경 영상 데이터에 대하여, 압축을 해제하여 합성 처리가 가능하도록 원래의 영상 데이터로 복원한다. 상기 원래의 영상 데이터는 예를 들어, BMP 데이터가 될 수 있고 동영상 데이터인 경우에는 NTSC(National Television System Committee)나 PAL(Phase Alternation by Line) 형식의 데이터가 될 수 있다. 또한, 디코딩부(407)는 사용자 영상 데이터를 디코딩한다. 상기 사용자 영상 데이터는 상기 이동통신 단말기에 구비되는 카메라부(413)에 의해 촬영된 사용자 영상 데이터가 될 수 있다. 본 발명의 실시예에 따르면, 사용자 영상 데이터는 카메라부(413)에 의해 촬영되어 인코딩부(411)에 의해 인코딩되고 저장부(405)에 저장될 수가 있다. 또한 상기 사용자 영상 데이터는 데이터 송/수신부(401)와 다운로드부(403)를 거쳐서 외부 장치(상기 도 4에 도시하지 않음)로부터 유/무선 수신된 것이 될 수도 있다.The decoding unit 407 decompresses the background image data in the compressed form for transmission, and restores the original image data so that the synthesis process can be performed. The original image data may be, for example, BMP data, and in the case of moving image data, may be data of a National Television System Committee (NTSC) or Phase Alternation by Line (PAL) format. In addition, the decoding unit 407 decodes user image data. The user image data may be user image data photographed by the camera unit 413 provided in the mobile communication terminal. According to the exemplary embodiment of the present invention, the user image data may be photographed by the camera unit 413, encoded by the encoding unit 411, and stored in the storage unit 405. In addition, the user image data may be wired / wirelessly received from an external device (not shown in FIG. 4) through the data transmitter / receiver 401 and the downloader 403.
합성부(409)는 상기 디코딩된 사용자 영상 데이터와 배경 영상 데이터를 디코딩부(407)로부터 입력받고, 이 두 영상 데이터를 합성하여 합성 영상 데이터를 생성한다. 상기 합성 영상 데이터는 이동통신 단말기에 구비되는 화면 표시부(415)로 출력되어 화면 표시될 수 있다. 화면 표시부(415)는 예를 들어, LCD 구동부와 LCD에 의해 구현될 수 있다.The synthesizer 409 receives the decoded user image data and the background image data from the decoder 407 and synthesizes the two image data to generate synthesized image data. The composite image data may be output to the screen display unit 415 provided in the mobile communication terminal and displayed on the screen. The screen display unit 415 may be implemented by, for example, an LCD driver and an LCD.
인코딩부(111)는 상기 합성 영상 데이터에 대하여 인코딩을 수행하여, 저장부(405)에 저장한다. 따라서, 사용자는 이동통신 단말기를 조작하여 상기 저장부(403)에 저장된 합성 영상 데이터를 자신의 취향에 맞게 이동통신 단말기의 여러 배경화면(평소 배경화면, 전화 올때 배경화면, 켤때/끌때 배경화면, 각종 메뉴상의 배경화면등)으로 설정할 수가 있다.The encoding unit 111 encodes the composite image data and stores the encoded image data in the storage unit 405. Accordingly, the user manipulates the mobile communication terminal to display the composite image data stored in the storage unit 403 according to his / her preferences (eg, background wallpaper, background wallpaper when calling, background wallpaper when turning on / off, Background screen on various menus).
이하에서는 전술한 합성부(409)의 바람직한 실시예를 상기 도 2를 참조하여 설명하기로 한다.Hereinafter, a preferred embodiment of the above-described synthesis unit 409 will be described with reference to FIG. 2.
상기 도 2에 도시된 바와 같이, 합성부(215)는 영역 추출부(201)와 스케일링부(203)와 블렌딩부(205)를 포함하여 구성된다.As shown in FIG. 2, the combining unit 215 includes an area extracting unit 201, a scaling unit 203, and a blending unit 205.
영역 추출부(201)는 사용자 영상 데이터(207)를 입력받아 사용자 영상에서 합성할 영역을 추출한다. 예를 들어, 영역 추출부(210)는 사용자 영상에서 얼굴 부분만을 추출해 낼 수가 있다.The area extractor 201 receives the user image data 207 and extracts an area to be synthesized from the user image. For example, the area extractor 210 may extract only a face part from the user image.
스케일링부(203)는 상기 추출된 영역의 크기를 조절한다.The scaling unit 203 adjusts the size of the extracted region.
블렌딩부(205)는 상기 크기 조절된 영역의 영상 데이터(207)와 배경 영상 데이터(209)를 중첩 처리하여, 최종 합성 영상 데이터(211)를 생성한다.The blending unit 205 overlaps the image data 207 and the background image data 209 of the scaled area to generate the final composite image data 211.
전술한 본 발명의 실시예에 따라, 기존에 웹 싸이트상에서 널리 사용되던 영상 합성 기술을 이동통신 단말기에 합성 영상 화면을 제공하는 이동통신 단말기 기반의 서비스에 활용할 수가 있게 된다.According to the above-described embodiment of the present invention, the image synthesis technology, which is widely used on the web site, can be utilized for a mobile communication terminal based service that provides a composite video screen to the mobile communication terminal.
또한, 본 발명의 이동통신 단말기는 정지영상 뿐 아니라 동영상에서도 영상 합성을 지원한다. 예를 들어, 사용자의 얼굴만을 추출하여 배경 동영상 데이터의 해당 부위에 합성 시킬 수도 있으며, 사용자의 동영상에서 인기 연예인의 액세서리를 착용시킬 수가 있다.In addition, the mobile communication terminal of the present invention supports image synthesis not only for still images but also for moving images. For example, only a user's face may be extracted and synthesized into a corresponding portion of the background video data, and a user may wear an accessory of a popular entertainer.
이를 위해서는 동영상 합성 기술이 필요로 하게 된다. 본 발명의 바람직한 실시예에 따르면 디코딩부(407), 인코딩부(411) 및 합성부(409)가 프레임 단위로 동작을 수행하여 동영상 합성이 가능해지도록 한다.This requires video synthesis technology. According to an exemplary embodiment of the present invention, the decoding unit 407, the encoding unit 411, and the synthesis unit 409 perform operations on a frame basis to enable video synthesis.
또한, 본 발명의 이동통신 단말기는 합성 영상 화면에 사용자의 텍스트 멘트를 추가할 수 있도록 지원한다.In addition, the mobile communication terminal of the present invention supports adding a text comment of a user to a composite video screen.
이를 위해서, 이동통신 단말기의 제어부(상기 도 4에 도시하지 않음)는 화면 표시부(415)를 통해 텍스트 멘트 키입력을 안내하는 정보를 송신하며, 이에 따라 조작부(417)를 통해 사용자가 키입력한 텍스트 데이터가 입력된다.To this end, the control unit (not shown in FIG. 4) of the mobile communication terminal transmits information for guiding textment key input through the screen display unit 415, and accordingly, a user key inputs through the operation unit 417. Text data is input.
합성부(409)에 마련되는 블렌딩부(205)는 상기 사용자 영상 데이터(207)와 배경 영상 데이터(209)를 중첩 처리를 할 때에, 해당 텍스트 데이터(217)를 상기 배경 영상에 더 중첩 시킨다.The blending unit 205 provided in the synthesis unit 409 further superimposes the text data 217 on the background image when the user image data 207 and the background image data 209 are superimposed.
또한, 본 발명의 이동통신 단말기는 사용자의 취향에 따라 제작되는 이동통신 단말기용 합성 영상 화면에 음악, 멜로디, 음성등과 같은 사운드 신호를 추가할 수 있도록 지원한다.In addition, the mobile communication terminal of the present invention supports the addition of sound signals such as music, melody, voice, etc. to the composite video screen for the mobile terminal manufactured according to the user's taste.
본 발명의 바람직한 실시예에 따르면, 인코딩부(411)는 공지된 멀티미디어 인코딩 기능을 사용하여, 합성 영상 데이터와 음원 데이터를 함께 인코딩 할 수가 있다.According to a preferred embodiment of the present invention, the encoding unit 411 may encode the composite image data and the sound source data together using a known multimedia encoding function.
도 5는 본 발명의 바람직한 실시예에 따른 이동통신 단말기의 영상 합성 방법을 도시한 흐름도의 일 예이다. 이하 상기 도 4를 참조하여 설명하기로 한다.5 is an example of a flowchart illustrating an image synthesizing method of a mobile communication terminal according to an exemplary embodiment of the present invention. A description with reference to FIG. 4 is as follows.
상기 도 5에 도시되어 있는 바와 같이, 본 발명의 바람직한 실시예에 따른 이동통신 단말기의 영상합성 방법은, 서비스 서버에 무선 접속하는 단계(501); 상기 서비스 서버가 안내하는 배경 영상을 선택하는 단계(503); 상기 서비스 서버로부터 사용자의 선택에 따른 배경 영상 데이터를 무선 수신하는 단계(505); 상기 수신되는 배경 영상 데이터를 저장하는 단계(상기 도 5에 도시하지 않음); 상기 저장된 배경 영상 데이터와, 상기 이동통신 단말기에 구비되는 카메라부(413)에 의해 촬영된 사용자 영상 데이터와 상기 데이터 송/수신부(401)와 다운로드부(403)를 거쳐서 외부 장치(상기 도 4에 도시하지 않음)로부터 유/무선 수신된 사용자 영상 데이터 중 어느 하나를 각각 디코딩하는 단계(상기 도 5에 도시하지 않음); 상기 디코딩된 배경 영상 데이터와 사용자 영상 데이터를 합성하여 합성 영상 데이터를 생성하는 단계(507); 및 상기 합성 영상 데이터를 인코딩하고, 이를 저장하는 단계(509);를 포함하여 구성되는 것을 특징으로 한다.As shown in FIG. 5, the video synthesis method of the mobile communication terminal according to the preferred embodiment of the present invention comprises the steps of: wirelessly connecting to a service server (501); Selecting a background image guided by the service server (503); Wirelessly receiving (505) background image data according to a user's selection from the service server; Storing the received background image data (not shown in FIG. 5); The stored background image data, the user image data captured by the camera unit 413 provided in the mobile communication terminal, and the external device via the data transmitting / receiving unit 401 and the downloading unit 403 (see FIG. 4). Decoding any one of wired / wireless received user image data (not shown in FIG. 5); Generating synthesized image data by synthesizing the decoded background image data and user image data; And encoding (509) the synthetic image data and storing the synthesized image data.
다운로드부(403)는 무선 콘텐츠를 다운로드 서비스하는 서버(상기 도 4에 도시하지 않음)로의 무선 접속을 수행하며(501), 상기 서비스 서버가 안내하는 배경 영상 리스트를 수신하며, 이동통신 단말기 사용자의 선택에 따른 선택신호를 상기 서비스 서버로 송신한다(503). 그리고, 다운로드부(403)는 사용자가 합성 영상 데이터를 다운로드 받을 이동통신 단말기(121)의 이동 전화번호 정보를 송신한다(상기 도 5에 도시하지 않음). 그리고, 다운로드부(403)는 해당 배경 영상 데이터의 무선 수신 동작을 제어한다(505).The download unit 403 performs a wireless connection to a server (not shown in FIG. 4) that downloads wireless content (501), receives a list of background images guided by the service server, and receives a list of mobile terminal users. A selection signal according to the selection is transmitted to the service server (503). The downloader 403 transmits mobile phone number information of the mobile communication terminal 121 to which the user downloads the composite image data (not shown in FIG. 5). The downloader 403 controls the wireless reception operation of the background image data (505).
그리고, 디코딩부(407)는 전송을 위해 압축된 형태의 배경 영상 데이터에 대하여, 압축을 해제하여 합성 처리가 가능하도록 원래의 영상 데이터로 복원한다(상기 도 5에 도시하지 않음). 상기 원래의 영상 데이터는 예를 들어, BMP 데이터가 될 수 있고 동영상 데이터인 경우에는 NTSC(National Television System Committee)나 PAL(Phase Alternation by Line) 형식의 데이터가 될 수 있다. 또한, 디코딩부(407)는 사용자 영상 데이터를 디코딩한다. 상기 사용자 영상 데이터는 상기 이동통신 단말기에 구비되는 카메라부(413)에 의해 촬영된 사용자 영상 데이터가 될 수 있다. 본 발명의 실시예에 따르면, 사용자 영상 데이터는 카메라부(413)에 의해 촬영되어 인코딩부(411)에 의해 인코딩되고 저장부(405)에 저장될 수가 있다. 또한 상기 사용자 영상 데이터는 데이터 송/수신부(401)와 다운로드부(403)를 거쳐서 외부 장치(상기 도 4에 도시하지 않음)로부터 유/무선 수신된 것이 될 수도 있다.Then, the decoding unit 407 decompresses the background image data in the compressed form for transmission and restores the original image data so that the synthesis process can be performed (not shown in FIG. 5). The original image data may be, for example, BMP data, and in the case of moving image data, may be data of a National Television System Committee (NTSC) or Phase Alternation by Line (PAL) format. In addition, the decoding unit 407 decodes user image data. The user image data may be user image data photographed by the camera unit 413 provided in the mobile communication terminal. According to the exemplary embodiment of the present invention, the user image data may be photographed by the camera unit 413, encoded by the encoding unit 411, and stored in the storage unit 405. In addition, the user image data may be wired / wirelessly received from an external device (not shown in FIG. 4) through the data transmitter / receiver 401 and the downloader 403.
그리고, 합성부(409)는 상기 디코딩된 사용자 영상 데이터와 배경 영상 데이터를 디코딩부(407)로부터 입력받고, 이 두 영상 데이터를 합성하여 합성 영상 데이터를 생성한다(507). 상기 합성 영상 데이터는 이동통신 단말기에 구비되는 화면 표시부(415)로 출력되어 화면 표시될 수 있다. 화면 표시부(415)는 예를 들어, LCD 구동부와 LCD에 의해 구현될 수 있다.The synthesizer 409 receives the decoded user image data and the background image data from the decoder 407 and synthesizes the two image data to generate synthesized image data (507). The composite image data may be output to the screen display unit 415 provided in the mobile communication terminal and displayed on the screen. The screen display unit 415 may be implemented by, for example, an LCD driver and an LCD.
인코딩부(111)는 상기 합성 영상 데이터에 대하여 인코딩을 수행하여, 저장부(405)에 저장한다(509). 따라서, 사용자는 이동통신 단말기를 조작하여 상기 저장부(403)에 저장된 합성 영상 데이터를 자신의 취향에 맞게 이동통신 단말기의 여러 배경화면(평소 배경화면, 전화 올때 배경화면, 켤때/끌때 배경화면, 각종 메뉴상의 배경화면등)으로 설정할 수가 있다.The encoder 111 encodes the composite image data and stores the encoded image data in the storage 405 (509). Accordingly, the user manipulates the mobile communication terminal to display the composite image data stored in the storage unit 403 according to his / her preferences (eg, background wallpaper, background wallpaper when calling, background wallpaper when turning on / off, Background screen on various menus).
전술한 실시예에 따르면, 이동통신 단말기가 서비스 서버에 무선 접속하여 사용자에 의해 선택된 배경 영상 데이터를 무선 수신하고, 이 배경 영상 데이터를 사용자 영상 데이터와 합성하여 저장함으로써, 이후에 사용자가 합성 영상 데이터를 자신의 취향에 맞게 이동통신 단말기의 여러 배경화면(평소 배경화면, 전화 올때 배경화면, 켤때/끌때 배경화면, 각종 메뉴상의 배경화면등)으로 설정할 수 있도록 하는 이동통신 단말기 기반의 영상 합성 서비스의 구체적인 방안을 제시할 수가 있다.According to the above embodiment, the mobile communication terminal wirelessly connects to the service server to wirelessly receive the background image data selected by the user, and synthesizes and stores the background image data with the user image data so that the user can synthesize the image data later. Is a mobile terminal based video compositing service that can be set to a variety of wallpapers (ordinary wallpaper, background when calling, background when turning on / off, background on various menus) according to your taste You can suggest specific plans.
최근에 눈부시게 발전하여 개인 휴대 단말기의 경우는 개인용 컴퓨터와 유사한 개발 환경이 제공되고 휴대폰의 경우에도 GVM (General Virtual machine) 과 같은 가상 머신(virtual machine)기반의 프로그래밍 환경이 제공되고 있다. 이동통신 단말기에서 실행되는 본 발명의 서비스 프로그램은, 본 발명은 이 같은 프로그래밍 환경을 이용하여 용이하게 구현할 수 있다.Recently, the development of a personal portable terminal is provided with a development environment similar to a personal computer in the case of a personal portable terminal, and a virtual machine based programming environment such as a general virtual machine (GVM) is also provided in the case of a mobile phone. The service program of the present invention executed in the mobile communication terminal, the present invention can be easily implemented using such a programming environment.
이하에서는 전술한 영상 합성 단계(507) 바람직한 실시예를 도 2를 참조하여 설명하기로 한다.Hereinafter, a preferred embodiment of the above-described image synthesis step 507 will be described with reference to FIG. 2.
영상 합성 단계는 영역 추출부(201)가 상기 사용자 영상 데이터의 적어도 일부의 영역이 상기 배경 영상에 위치하는 영역을 선택하는 단계와; 스케일링부(203)가 상기 영역의 크기를 조절하는 단계; 및 블렌딩부(205)가 상기 크기 조절된 영역의 영상 데이터와 상기 배경 영상 데이터를 중첩 처리하는 단계;를 포함하여 구성되는 것을 특징으로 한다.The image synthesizing step may include: selecting, by the region extraction unit, a region where at least a portion of the user image data is located in the background image; A scaling unit (203) adjusting the size of the area; And overlaying, by the blending unit 205, the image data of the scaled area with the background image data.
전술한 본 발명의 실시예에 따라, 기존에 웹 싸이트상에서 널리 사용되던 영상 합성 기술을 이동통신 단말기에 합성 영상 화면을 제공하는 이동통신 단말기 기반의 서비스에 활용할 수가 있게 된다.According to the above-described embodiment of the present invention, the image synthesis technology, which is widely used on the web site, can be utilized for a mobile communication terminal based service that provides a composite video screen to the mobile communication terminal.
또한, 본 발명의 영상 합성 서비스 방법은 정지영상 뿐 아니라 동영상에서도 영상 합성을 지원한다. 예를 들어, 사용자의 얼굴만을 추출하여 배경 동영상 데이터의 해당 부위에 합성 시킬 수도 있으며, 사용자의 동영상에서 인기 연예인의 액세서리를 착용시킬 수가 있다.In addition, the image synthesizing service method of the present invention supports image synthesizing in moving images as well as still images. For example, only a user's face may be extracted and synthesized into a corresponding portion of the background video data, and a user may wear an accessory of a popular entertainer.
이를 위해서는 동영상 합성 기술이 필요로 하게 된다. 본 발명의 바람직한 실시예에 따르면, 상기 배경 영상 데이터 및 사용자 영상 데이터가, 동영상 데이터이며; 상기 디코딩 단계, 합성 단계 및 인코딩 단계가, 프레임 단위로 동작하는 것;을 특징으로 한다.This requires video synthesis technology. According to a preferred embodiment of the present invention, the background image data and the user image data are moving image data; The decoding, synthesizing and encoding operations are performed on a frame-by-frame basis.
또한, 본 발명의 영상 합성 서비스 방법은 합성 영상 화면에 사용자의 텍스트 멘트를 추가할 수 있도록 지원한다.In addition, the video synthesis service method of the present invention supports adding a text comment of a user to a synthesized video screen.
이를 위해서, 이동통신 단말기의 제어부(상기 도 4에 도시하지 않음)는 화면 표시부(415)를 통해 텍스트 멘트 키입력을 안내하는 정보를 송신하며(상기 도 5에 도시하지 않음), 이에 따라 조작부(417)를 통해 사용자가 키입력한 텍스트 데이터가 입력된다.To this end, the control unit (not shown in FIG. 4) of the mobile communication terminal transmits information for guiding textment key input through the screen display unit 415 (not shown in FIG. 5), and accordingly, the operation unit ( In operation 417, the text data keyed in by the user is input.
합성부(409)에 마련되는 블렌딩부(205)는 상기 사용자 영상 데이터(207)와 배경 영상 데이터(209)를 중첩 처리를 할 때에, 해당 텍스트 데이터(217)를 상기 배경 영상에 더 중첩 시킨다.The blending unit 205 provided in the synthesis unit 409 further superimposes the text data 217 on the background image when the user image data 207 and the background image data 209 are superimposed.
또한, 본 발명의 이동통신 단말기는 사용자의 취향에 따라 제작되는 이동통신 단말기용 합성 영상 화면에 음악, 멜로디, 음성등과 같은 사운드 신호를 추가할 수 있도록 지원한다.In addition, the mobile communication terminal of the present invention supports the addition of sound signals such as music, melody, voice, etc. to the composite video screen for the mobile terminal manufactured according to the user's taste.
본 발명의 바람직한 실시예에 따르면, 인코딩부(411)는 공지된 멀티미디어 인코딩 기능을 사용하여, 합성 영상 데이터와 음원 데이터를 함께 인코딩 할 수가 있다.According to a preferred embodiment of the present invention, the encoding unit 411 may encode the composite image data and the sound source data together using a known multimedia encoding function.
전술한 바와 같이, 본 발명의 바람직한 실시예에 따르면, 다양한 배경 영상을 사용자에게 안내하여 사용자가 배경 영상을 선택하도록 하고 사용자 단말기로부터 사용자 영상 데이터를 수신하며 이 사용자 영상 데이터와 사용자가 선택한 배경 영상 데이터를 합성하여 해당 이동통신 단말기로 송신하여, 이후에 사용자가 합성된 이 영상 데이터를 자신의 취향에 맞게 이동통신 단말기의 여러 배경화면(평소 배경화면, 전화 올때 배경화면, 켤때/끌때 배경화면, 각종 메뉴상의 배경화면등)으로 설정할 수 있도록 하는 시스템 기반의 (이동통신 단말기에게)영상 합성 서비스를 구현하는 구체적인 방안을 제시할 수가 있다.As described above, according to a preferred embodiment of the present invention, various background images are guided to the user so that the user selects the background image, receives user image data from the user terminal, and the user image data and the background image data selected by the user. Synthesizes and transmits the synthesized image data to the corresponding mobile communication terminal, after which the user synthesizes the various background screens of the mobile communication terminal according to his / her preferences (ordinary background wallpaper, background wallpaper on call, background wallpaper on / off, It is possible to propose a concrete method for implementing a system-based (composite communication terminal) image synthesis service that can be set as a menu background.
또한, 이동통신 단말기가 서비스 서버에 무선 접속하여 사용자에 의해 선택된 배경 영상 데이터를 무선 수신하고, 이 배경 영상 데이터를 사용자 영상 데이터와 합성하여 저장함으로써, 이후에 사용자가 합성 영상 데이터를 자신의 취향에 맞게 이동통신 단말기의 여러 배경화면(평소 배경화면, 전화 올때 배경화면, 켤때/끌때 배경화면, 각종 메뉴상의 배경화면등)으로 설정할 수 있도록 하는 이동통신 단말기 기반의 영상 합성 서비스를 구현하는 구체적인 방안을 제시할 수가 있다.Further, the mobile communication terminal wirelessly connects to the service server to wirelessly receive the background image data selected by the user, and synthesizes and stores the background image data with the user image data so that the user can later synthesize the synthesized image data to his or her taste. According to the present invention, a specific method of implementing a video communication service based on a mobile communication terminal, which can be set to various background screens of a mobile communication terminal (ordinary background screen, background screen when turning on / off, background screen when turning on / off, etc.) I can present it.
또한, 이동통신 단말기에게 합성 영상 화면을 제공하는 시스템 기반 및 이동통신 단말기 기반의 서비스를 구현하는 구체적인 방안을 제시할 수가 있다.In addition, it is possible to propose a concrete method for implementing a system-based and mobile communication terminal-based service for providing a composite video screen to the mobile communication terminal.
또한, 기존에 웹 싸이트상에서 널리 사용되던 영상 합성 기술을 이동통신 단말기에 합성 영상 화면을 제공하는 시스템 기반 및 이동통시 단말기 기반의 서비스에 활용할 수가 있게 된다.In addition, it is possible to utilize the image synthesis technology widely used on the web site for system-based and mobile communication terminal-based services that provide a composite video screen to the mobile communication terminal.
또한, 동영상 합성 기술을 이동통신 단말기에 합성 동영상 화면을 제공하는 시스템 기반 및 이동통신 단말기 기반의 서비스에 활용할 수가 있게 된다.In addition, the video synthesis technology can be utilized for system-based and mobile communication terminal-based services that provide a composite video screen to the mobile communication terminal.
또한, 사용자는 시스템 및 이동통신 단말기에서 제공하는 인터페이스를 통해 자신의 취향에 따라 제작되는 이동통신 단말기용 합성 영상 화면에 간단한 텍스트 멘트를 더 추가할 수 있다.In addition, the user may further add a simple text comment on the composite image screen for the mobile communication terminal manufactured according to the user's taste through the interface provided by the system and the mobile communication terminal.
또한, 사용자는 시스템 및 이동통신 단말기에서 제공하는 인터페이스를 통해 자신의 취향에 따라 제작되는 이동통신 단말기용 합성 영상 화면에 음악, 멜로디, 음성등과 같은 사운드 신호를 추가할 수 있어, 자신의 개성을 발휘할 수가 있다.In addition, the user can add a sound signal such as music, melody, voice, etc. to the composite video screen for the mobile communication terminal manufactured according to the user's preference through the interface provided by the system and the mobile communication terminal. I can show it.
본 발명은 첨부된 도면을 참조하는 실시예에 의하여 설명되었으나 이에 한정하여 해석되지 않으며, 이로부터 자명한 많은 변형예들을 포괄하도록 해석되어져야 한다.Although the present invention has been described with reference to the accompanying drawings, it should not be construed as being limited thereto, but should be construed to cover many modifications that are obvious from this.
도 1은 본 발명의 바람직한 실시예에 따라 이동통신 단말기에게 영상 합성 서비스를 제공하는 시스템의 구성을 도시한 일 예.1 is an example showing the configuration of a system for providing a video synthesis service to a mobile communication terminal according to a preferred embodiment of the present invention.
도 2는 본 발명의 바람직한 실시예에 따라 합성 영상 데이터를 생성하는 합성부의 구성을 도시한 일 예.2 is an example showing the configuration of a synthesis unit for generating composite image data according to a preferred embodiment of the present invention.
도 3은 본 발명의 바림직한 실시예에 따라 이동통신 단말기에게 영상 합성 서비스를 제공하는 시스템의 동작 흐름을 도시한 일 예.3 is an example illustrating an operation flow of a system for providing a video synthesis service to a mobile communication terminal according to a preferred embodiment of the present invention.
도 4는 본 발명의 바람직한 실시예에 따른 이동통신 단말기의 구성을 도시한 일 예.Figure 4 is an example showing the configuration of a mobile communication terminal according to a preferred embodiment of the present invention.
도 5는 본 발명의 바람직한 실시예에 따른 이동통신 단말기의 영상 합성 방법을 도시한 흐름도의 일 예.5 is an example of a flowchart illustrating a video synthesizing method of a mobile communication terminal according to a preferred embodiment of the present invention.
Claims (20)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020030056253A KR20050018442A (en) | 2003-08-13 | 2003-08-13 | System for provinding mobile communication terminal composite image service and its method, mobile communication terminal having composite image function and its method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020030056253A KR20050018442A (en) | 2003-08-13 | 2003-08-13 | System for provinding mobile communication terminal composite image service and its method, mobile communication terminal having composite image function and its method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20050018442A true KR20050018442A (en) | 2005-02-23 |
Family
ID=37227989
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020030056253A KR20050018442A (en) | 2003-08-13 | 2003-08-13 | System for provinding mobile communication terminal composite image service and its method, mobile communication terminal having composite image function and its method |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20050018442A (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100603580B1 (en) * | 2004-06-18 | 2006-07-24 | 주식회사 지오텔 | Method for realizing user interface of mobile terminal |
| WO2006080692A1 (en) * | 2004-10-08 | 2006-08-03 | Neomtel Co., Ltd. | Method and mobile communication terminal for playing multimedia content |
| KR100678691B1 (en) * | 2005-04-22 | 2007-02-05 | 에스케이 텔레콤주식회사 | Method and System for Providing Image Data Editing for Mobile Communication Terminal |
| KR101173649B1 (en) * | 2007-07-27 | 2012-08-13 | 에스케이플래닛 주식회사 | Image composition service system using by a mobile communication terminal and its service method |
| KR101238423B1 (en) * | 2009-12-30 | 2013-02-28 | 최현호 | Real-time content publication method and system thereof |
-
2003
- 2003-08-13 KR KR1020030056253A patent/KR20050018442A/en not_active Application Discontinuation
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100603580B1 (en) * | 2004-06-18 | 2006-07-24 | 주식회사 지오텔 | Method for realizing user interface of mobile terminal |
| WO2006080692A1 (en) * | 2004-10-08 | 2006-08-03 | Neomtel Co., Ltd. | Method and mobile communication terminal for playing multimedia content |
| KR100678691B1 (en) * | 2005-04-22 | 2007-02-05 | 에스케이 텔레콤주식회사 | Method and System for Providing Image Data Editing for Mobile Communication Terminal |
| KR101173649B1 (en) * | 2007-07-27 | 2012-08-13 | 에스케이플래닛 주식회사 | Image composition service system using by a mobile communication terminal and its service method |
| KR101238423B1 (en) * | 2009-12-30 | 2013-02-28 | 최현호 | Real-time content publication method and system thereof |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101814151B1 (en) | Mobile device, display apparatus and control method thereof | |
| KR101167432B1 (en) | Method for implementing rich video on mobile terminals | |
| JP2006325241A (en) | Device and method for displaying image of portable terminal | |
| JP2011072023A (en) | Method and system of creating and transmitting multimedia content | |
| JP4289153B2 (en) | Mobile communication device, display control method for mobile communication device, and program thereof | |
| KR20050018442A (en) | System for provinding mobile communication terminal composite image service and its method, mobile communication terminal having composite image function and its method | |
| KR20080028183A (en) | Images control system and method thereof for potable device using a projection function | |
| JP2004343565A (en) | Operation guide method, mobile telephone terminal, and program | |
| JP2008306558A (en) | Information processing device | |
| KR20010090227A (en) | Background Moving-Image Display Method In Advanced Mobile Telecomunication Terminal | |
| JP2005215158A (en) | Image display device and its control method | |
| KR20060030278A (en) | Mobile communication system for offering image editing service and method thereof | |
| KR20080032751A (en) | Method of creating moving pictures and method of offering contents in portable terminal | |
| KR20080047683A (en) | Apparatus and method for forwarding streaming service in portable terminal | |
| KR101328926B1 (en) | Method of video telephony in Mobile Terminal | |
| KR100584352B1 (en) | Video transmission and reception control method of video telephone device | |
| KR100647006B1 (en) | Background picture transmitting method and apparatus in a mobile communication terminal capable of a vedio phone | |
| KR100678702B1 (en) | Method And Mobile Communication Terminal for Synthesizing Vector Graphic Animation Content with Stored Picture | |
| US20050202820A1 (en) | Standby application providing server | |
| KR100617564B1 (en) | A method of multimedia data transmission using video telephony in mobile station | |
| KR100923307B1 (en) | A mobile communication terminal for a video call and method for servicing a video call using the same | |
| KR101432656B1 (en) | Mobile communication terminal for communicating special effect and method thereof | |
| KR100605801B1 (en) | Method for editing the image in wireless terminal | |
| KR100530635B1 (en) | System for providing mobile communication terminal image service and its method | |
| KR100639252B1 (en) | Method for operating virtual image communication in mobile communication terminal |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |