KR20100006003A - 휴대단말기의 터치 인터페이스를 이용한 영상편집 방법 및장치 - Google Patents

휴대단말기의 터치 인터페이스를 이용한 영상편집 방법 및장치 Download PDF

Info

Publication number
KR20100006003A
KR20100006003A KR1020080066145A KR20080066145A KR20100006003A KR 20100006003 A KR20100006003 A KR 20100006003A KR 1020080066145 A KR1020080066145 A KR 1020080066145A KR 20080066145 A KR20080066145 A KR 20080066145A KR 20100006003 A KR20100006003 A KR 20100006003A
Authority
KR
South Korea
Prior art keywords
region
image
area
controller
object area
Prior art date
Application number
KR1020080066145A
Other languages
English (en)
Inventor
강성훈
김세훈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020080066145A priority Critical patent/KR20100006003A/ko
Priority to US12/497,568 priority patent/US20100007675A1/en
Publication of KR20100006003A publication Critical patent/KR20100006003A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1643—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 휴대단말기에 관한 것으로, 이러한 발명은 휴대단말기의 터치 인터페이스를 이용한 영상편집 방법에 있어서, 터치 인터페이스를 통해 상기 영상에 경계선을 표시하고, 상기 표시된 경계선에 따라 상기 영상을 미결정 영역, 오브젝트 영역 및 배경 영역으로 구분하는 과정과, 상기 미결정 영역을 상기 미결정 영역의 주변 블록과의 색상비교로 상기 오브젝트 영역 혹은 배경 영역 중 어느 하나의 영역으로 정하여 최종 오브젝트 영역을 결정하는 과정과, 최종 오브젝트 영역에 포함된 오류를 후보정하는 과정을 포함하는 것을 특징으로 한다.
본 발명에 따르면, 휴대단말기의 사용자는 간단한 터치 동작으로 원하는 오브젝트 영역을 쉽게 선택할 수 있다.
또한, 터치 인터페이스를 가지는 터치 디바이스 상에서 영상편집 및 합성을 하여 사용자 편리성을 극대화할 수 있다.
터치스크린, 영상편집, 영상합성, 후보정

Description

휴대단말기의 터치 인터페이스를 이용한 영상편집 방법 및 장치 {A method for image editing using touch interface of mobile terminal and an apparatus thereof}
본 발명은 휴대단말기의 영상편집 방법 및 장치에 관한 것으로, 특히 터치 인터페이스를 이용하여 오브젝트(Object) 영역의 경계선을 입력하고, 오브젝트의 영역을 결정하며, 결정된 영역을 후보정하는 방법 및 장치에 관한 것이다.
최근의 휴대단말기는 기능이 점차 확대됨으로써 인터넷을 이용하여 다양한 콘텐츠를 다운받거나 카메라 기능을 제공하여 동영상을 촬영할 수도 있고, 멀티미디어 메시지 서비스(MMS: Multimedia Messaging Service)를 이용하여 영상데이터를 메시지에 첨부하여 전송할 수도 있다.
상술한 다양한 기능을 제공하는 휴대단말기를 이용하는 사용자는 UCC(User Created Contents)의 대중화로 인하여, 사용자만의 미디어 편집 및 생산의 요구가 높아지고, 특히 패러디(Parody) 및 이미지 합성 등이 큰 인기를 얻고 있다.
또한, 터치 디바이스의 대중화로 인하여, 많은 터치 디바이스들이 출시되고 있으며, 특히 손가락만으로 작동할 수 있는 터치 인터페이스들은 모바일 기기의 주 류를 형성하고 있다.
이에 따라, 터치 디바이스 상에서도 쉽게 사용할 수 있는 영상편집 및 합성을 위한 인터페이스가 필요하다.
그러나, 종래에는 사용자가 컨트롤 포인트(Control pointer)를 세밀하게 조절함으로써 비교적 정밀하게 초기 경계를 입력할 수 있었고, 입력하는 위치에서 바로 경계를 결정해 나가기 때문에 터치 인터페이스의 경우에는 적용이 용이하지 못하였다.
또한, 종래에는 사용자가 시작점을 입력하는 위치에서 움직이는 방향을 따라 윤곽선을 기준으로 오브젝트 영역을 결정해 나가는 방식으로서, 오브젝트 영역의 경계가 명확한 경우에만 가능하였다.
또한, 종래에는 사용자가 마우스(Mouse)나 방향키 등을 이용하여, 윤곽정보를 입력한 후 윤곽 주변의 픽셀(Pixel)들을 검사하고, 최종 오브젝트 영역을 결정하기 위하여 인접 픽셀들의 색상 값을 단순 비교하기 때문에 잘못된 결과를 얻을 수도 있으며, 이에 대한 후보정도 용이하지 못하였다.
따라서 상술한 바와 같은 종래의 문제점들을 감안한 본 발명의 목적은 휴대단말기의 영상편집을 위하여, 특히, 터치 디바이스 상에서의 손가락 터치로 오브젝트 영역의 경계선을 입력하고, 원하는 오브젝트 영역을 결정하며, 결정된 오브젝트 영역을 후보정할 수 있는 휴대단말기의 터치 인터페이스를 이용한 영상편집 방법 및 장치를 제공함에 있다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시 예에 따른 휴대단말기의 영상편집 방법에 있어서, 터치 인터페이스를 통해 상기 영상에 경계선을 표시하고, 상기 표시된 경계선에 따라 상기 영상을 미결정 영역, 오브젝트 영역 및 배경 영역으로 구분하는 과정과, 상기 미결정 영역을 상기 미결정 영역의 주변 블록과의 색상비교로 상기 오브젝트 영역 혹은 배경 영역 중 어느 하나의 영역으로 정하여 최종 오브젝트 영역을 결정하는 것을 특징으로 한다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시 예에 따른 휴대단말기의 영상편집 장치에 있어서, 터치 인터페이스를 통해 상기 영상에 입력되는 경계선을 감지하여 표시하는 터치 스크린부; 및 상기 표시된 경계선에 따라 상기 영상을 미결정 영역, 오브젝트 영역 및 배경 영역으로 구분하고, 상기 미결정 영역을 상기 미결정 영역의 주변 블록과의 색상비교로 상기 오브젝트 영역 혹은 배경 영역 중 어느 하나의 영역으로 정하여 최종 오브젝트 영역을 결정하는 제어부; 를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 휴대단말기의 사용자는 간단한 터치 동작으로 원하는 오브젝트 영역을 쉽게 선택할 수 있다.
또한, 터치 인터페이스를 가지는 터치 디바이스 상에서 영상편집 및 합성을 하여 사용자 편리성을 극대화할 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예들을 상세히 설명한다. 이때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음을 유의해야 한다. 또한, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.
본 발명의 실시 예에서'경계선'은 오브젝트 영역을 구분하기 위하여 터치 인터페이스를 통해 영상에 입력되는 일정한 굵기의 선을 의미한다. 이 때, 경계선의 일정한 굵기는 기 저장된 터치 감도와 선의 폭 등을 고려하여 나타낸다. 본 발명의 실시 예에서 '폐곡선'은 터치 인터페이스를 통해 영상에 표시된 경계선의 내부 영역을 오브젝트 영역으로 결정할 수 있도록 끊어짐 없이 이어진 하나의 곡선을 의미한다. 본 발명의 실시 예에서'투명도 조절채널'은 영상의 투명도를 조절하는 채널로서, 영상과 겹칠 때 효과가 나타나는 채널을 의미한다. 즉, 투명도 조절 채널이 영상에 마스킹(Masking) 되면, 오브젝트 영역은 투명하게 표현되고, 배경영역은 불투명하게 표현되며, 미결정 영역은 반투명하게 표현된다. 본 발명의 실시 예에서 ' 마스킹'은 영상이 가지고 있는 투명도 조절 채널의 투명도 값을 영상에 부여함으로써, 오브젝트 영역, 미결정 영역 및 배경 영역을 구분하기 위하여 영상에 겹치는 과정을 의미한다. 본 발명의 실시 예에서 '오브젝트 영역'은 터치 인터페이스를 통해 영상에 표시된 경계선 내부의 영역 혹은 경계선이 표시된 영상에 투명도 조절 채널을 마스킹 하여 획득된 영역을 의미한다. 본 발명의 실시 예에서 '미결정 영역'은 영상에서 오브젝트 영역과 배경 영역 중 어느 하나의 영역으로도 결정되지 않은 반투명한 영역을 의미한다. 즉, 미결정 영역은 터치 인터페이스를 통해 입력되는 경계선의 폭을 의미한다. 본 발명의 실시 예에서 '배경 영역'은 영상에서 오브젝트 영역과 미결정 영역을 제외한 불투명한 영역을 의미한다. 본 발명의 실시 예에서 '블록'은 영상에서 구분된 각 영역의 색상을 이용하여 유사 색상들의 영역으로 분할한 단위를 의미한다.
본 발명의 실시 예에 따른 휴대단말기는 터치 인터페이스로 영상편집이 가능한 단말기로서, 바람직하게는 이동 전화기, 개인 정보 단말기(PDA: Personal Digital Assistant), CDMA(Code Division Multiple Access)단말기, WCDMA(Wideband Code Division Multiple Access)단말기, GSM(Global System For Mobile Communication)단말기, IMT-2000(International Mobile Telecommunication 2000)단말기, 스마트폰(Smart Phone)단말기 및 UMTS(Universial Mbile Telecommunication System)단말기, 노트북(Notebook), 퍼스널 컴퓨터(Personal Computer) 등과 같은 휴대단말기 및 그에 대한 응용에도 적용될 수 있음은 자명할 것이다.
도 1은 본 발명의 실시 예에 따른 휴대단말기의 개략적인 구성을 설명하기 위해 나타낸 도면이다.
도 1을 참조하면, 본 발명의 실시 예에 따른 휴대단말기는 제어부(100), 터치 스크린부(110), 저장부(120), 카메라부(130) 및 무선통신부(140)를 포함하여 구성된다. 이때, 터치 스크린부(110)는 터치센서(112)와 표시장치(114)를 포함한다.
터치 스크린부(110)의 터치센서(112)는 터치 감지부(미도시)와 신호 변환부(미도시)를 구비한다. 터치 감지부는 터치가 발생하면, 그에 따른 물리량, 예컨대 저항, 정전용량 등의 변화를 검출하여 터치의 발생을 감지한다. 또한 신호 변환부는 터치에 따른 물리량의 변화를 터치신호로 변환한다. 특히, 터치센서(112)는 사용자에 의해 영상에서 오브젝트 영역을 결정하기 위한 경계선을 입력하거나 최종 오브젝트 영역에 포함된 오류를 후보정 하기 위한 오류 영역의 입력이 감지되는지 판단한다. 또한, 터치센서(112)는 사용자가 터치 스크린부(110)에 손가락을 댄 채 움직이는 경우에도 터치 영역을 따라 움직이면서 지속적으로 터치 입력을 감지한다. 여기서, 터치 영역은 사용자에 의해 미리 정의된 손가락 폭만큼의 특정 영역이 될 수 있다. 이때, 특정영역은 터치센서(112)에 손가락 끝이 접촉되는 영역을 의미한다. 터치영역의 이동이 감지되면, 터치센서(112)는 제어부(100)의 제어 하에 터치가 시작되는 시점부터 터치가 종료되는 시점까지의 좌표를 제어부(100)로 전송한다. 또한, 터치센서(112)는 통상적인 휴대단말기의 입력부로서의 역할을 수행한다.
그리고 표시장치(114)는 휴대단말기의 상태 및 동작과 관련된 각종 정보를 표시한다. 이때, 표시장치(114)는 액정 디스플레이 (LCD: Liquid Crystal Display)와 그 위에 설치되는 터치 판넬(Touch Pannel)로 구현되며, LCD 제어부와 LCD 표시소자 등을 구비한다. 특히, 표시장치(114)는 영상에 터치 인터페이스를 통해 입력되는 경계선을 표시하도록 제어부(100)의 제어를 받는다.
저장부(120) 본 발명의 실시 예에 따른 기능 동작에 필요한 응용 프로그램을 비롯하여, 주변 블록과의 색상비교를 통해 미결정 블록의 상태를 결정하기 위한 미결정 상태인 블록들을 저장한다. 이러한 저장부(120)는 프로그램 영역과 데이터 영역을 포함한다. 프로그램 영역은 휴대단말기를 부팅하는 운영체제(OS: Operating System) 및 영상에서 입력된 경계선을 구분하여 표시하기 위하여 영상에 마스킹 하는 투명도 조절 채널이 저장된다. 또한, 프로그램 영역은 영상에서 유사 색상을 가지는 블록단위로 분할하는 응용 프로그램이 저장된다. 또한, 프로그램 영역은 영상에서 미결정 블록과 미결정 블록에 인접한 주변 블록을 찾아 색상비교를 통해 미결정 블록의 상태를 결정하기 위한 응용 프로그램이 저장된다. 또한, 프로그램 영역에는 오브젝트 영역에 대한 오류를 후보정할 때, 후 보정된 최종 오브젝트 영역의 불명확한 경계를 명확하게 표현하기 위한 응용 프로그램이 저장된다. 그리고 데이터 영역은 휴대단말기의 사용에 따라 발생하는 데이터가 저장되는 영역으로서, 주변 블록과의 색상비교를 통해 블록의 상태를 결정하기 위한 미결정 블록, 카메라부(130)에 의해 촬영된 영상파일, 기 저장된 영상파일, 전송받은 영상파일 및 동영상파일 등을 저장된다.
카메라부(130)는 제어부(100)의 제어를 받아 영상을 촬영하며, 촬영된 광 신호를 전기적 신호로 변환하는 카메라 센서(미도시), 카메라 센서로부터 촬영되는 아날로그 영상신호를 디지털 데이터로 변환하는 신호처리부(미도시)를 구비한다. 여기서 카메라 센서는 CCD(Charge Coupled Device) 센서가 적용되는 것이 일반적이며, 신호처리부는 DSP(Digital Signal Processor)로 구현할 있다. 본 발명에서의 카메라부(130)는 피사체를 촬영하여 영상 편집을 위한 영상 데이터를 획득한다.
무선통신부(140)는 휴대단말기들의 위치정보를 파악하기 위하여 기지국과 통신 채널을 형성하고, 필요한 신호를 송수신하는 일련의 통신을 담당한다. 또한, 무선통신부(140)는 송신되는 신호의 주파수를 상승변환 및 증폭하는 RF(Radio Frequency) 송신부와, 수신되는 신호를 저잡음 증폭하고 주파수를 하강 변환하는 RF 수신부 등을 포함한다. 특히, 무선통신부(140)는 다른 휴대단말기에서 영상을 합성하기 위하여 다른 휴대단말기에 편집된 영상 데이터를 송신하거나, 영상을 편집하기 위하여 다른 휴대단말기로부터 필요한 영상 데이터를 수신한다.
제어부(100)는 휴대단말기의 전반적인 동작 및 내부 블록들 간의 신호 흐름을 제어한다. 특히, 제어부(100)는 터치센서(112)를 통해 사용자의 손가락 터치 입력으로 영상 위에 나타나는 경계선의 입력을 감지한다. 여기서, 제어부(100)는 영상에 경계선을 입력하기 위한 터치센서(112)의 입력정보에서 입력선의 굵기와 터치 감도를 설정하기 위한 조절이 가능하다. 예를 들어, 선의 굵기는 사용자의 손가락 끝이 터치센서(112)에 닿는 폭 만큼으로 정의하여 설정 할 수 있다. 이때, 터치센서(112)는 기 설정된 폭 에서 손가락이 닿는 부분을 터치 입력으로 감지하고, 손가락을 댄 채 움직이는 경우에도 터치 영역을 따라 움직이면서 지속적으로 터치 입력을 감지한다. 즉, 제어부(100)는 터치센서(112)를 통해 지속적으로 감지된 영역을 영상에서 오브젝트 영역을 결정하기 위한 경계선으로 인식한다.
제어부(100)는 터치 인터페이스를 통해 입력된 경계선이 표시된 영상에 투명도 조절 채널상의 값으로 오브젝트 영역, 미결정 영역 및 배경 영역을 마스킹 한다. 여기서, 투명도 조절채널은 영상처리 작업을 더 간편하고 효과적으로 하기 위해 영상이 가지는 기본채널에 추가로 설정된 채널로서, 32비트 영상 시스템의 각각 8비트(Bit)로 구성된 총 4개의 채널 중에서 영상이 삼원색(Red-Green-Blue, RGB)모드 일 때, 사용되는 3개의 채널을 제외한 나머지 하나의 채널이다. 이 때, 투명도 조절채널은 영상이 가지는 한 픽셀의 색이 다른 픽셀의 색과 겹쳐서 나타낼 때 두 색을 효과적으로 융합하도록 한다. 예를 들어, 영상과 겹칠 때 효과가 나타나는 투명도 조절채널은 영상에 마스킹 되면, 오브젝트 영역(OxFF)은 투명하게 표현되고, 배경영역(0x00)은 불투명하게 표현되며, 미결정 영역(0x80)은 반투명하게 표현된다. 즉, 사용자의 터치 인터페이스에 의해 입력된 경계선을 기준으로 내부영역인 오브젝트 영역(OxFF)은 투명하게 표현하고, 외부영역인 배경 영역(0x00)은 불투명하게 표현하고, 미결정 영역(0x80)은 반투명하게 표현하여 구분한다.
제어부(100)는 영상의 구분된 영역에서 유사한 색상을 가지는 블록으로 분할한다. 여기서, 유사 색상으로 영역을 분할하는 응용프로그램은 주어진 영상에서 색상의 유사성에 근거를 둔 영역 기반(region-based)방법으로 영상 분할(Image Segmentation) 알고리즘이 있다. 이 때, 영역에 근거를 둔 방법은 영상의 화소들 간의 유사성에 기반인 방법으로서 잡음이 많은 환경에서 물체의 세밀한 경계 부분에 대한 기술이 중요하지 않은 경우에 유용한 방법이다. 예를 들어, 제어부(100)는 영상에서 유사한 색상을 가지는 블록으로 분할하는 응용 프로그램으로서 워터쉐 드(Watershed) 방법 등을 사용할 수 있다.
제어부(100)는 영상에서 미결정 상태인 블록을 수평 탐색한다. 여기서, 제어부(100)는 영상에서 탐색된 오브젝트 영역이나 배경 영역으로 결정되기에 불명확한 대상인 미결정 블록을 저장부(120)에 저장한다. 또한, 제어부(100)는 미결정 블록이 탐색되면, 탐색된 미결정 블록을 시작 블록으로 하여 주변 블록과 색상 비교하는 과정을 수행한다.
제어부(100)는 저장부(120)에 저장된 미결정 블록의 색상과 주변 블록 색상의 비교를 통해 오브젝트 영역이나 배경 영역으로 결정한다. 이 때, 제어부(100)는 색상을 비교하기 위하여 8방향 방위(동(E), 서(W), 남(S), 북(N), 북동(NE), 남동(SE), 남서(SW) 및 북서(NW))로 인접한 주변 블록을 순차적으로 찾아 블록의 영역 상태를 검사한다. 한편, 제어부(100)는 주변 블록이 모두 미결정 영역의 상태이면, 주변 블록과의 색상비교를 통해 현재 미결정 블록의 상태를 결정할 수 없으므로 인접한 다음 블록으로 이동하여 블록의 상태를 결정하는 과정을 수행한다.
제어부(100)는 미결정 블록과 주변 블록간의 색상을 비교하기 위하여 미결정 블록의 주변 블록에 오브젝트 영역 블록 또는 배경영역 블록이 존재하는지 판단한다. 여기서, 제어부(100)는 미결정 블록과 주변 블록간의 색상을 비교하기 위하여 각 블록 색상간의 거리를 계산하고, 거리가 가장 가까운 블록과 같은 영역으로 해당 블록의 영역을 결정한다. 예를 들어, 제어부(100)는 블록의 색상을 비교하기 위한 응용 프로그램으로서 가우시안 컬러 모델(Gaussian Color Model) 방법 등을 사용할 수 있다.
제어부(100)는 주변 블록과의 색상비교를 통해 결정된 각 블록의 영역 상태에 따라 영상의 오브젝트 영역을 결정한다. 또한, 제어부(100)는 최종 오브젝트 영역을 결정하기 위하여 마스킹 정보가 저장된 투명도 조절 채널을 원본 영상에 더한다.
제어부(100)는 최종 오브젝트 영역에서 오류가 존재하면, 최종 오브젝트 영역을 추가 및 삭제하는 후보정 과정을 통하여 완전한 오브젝트 영역을 결정한다. 여기서, 제어부(100)는 유사 색상으로 분할된 블록을 오브젝트 영역에 추가하거나 배경 영역에서 삭제함으로써 최종 오브젝트 영역을 보정한다.
제어부(100)는 오류가 포함된 최종 오브젝트 영역을 보정하기 위하여 보정 영역의 상태를 선택한다. 여기서, 보정 영역의 상태는 사용자의 입력에 의해 정해지는 것으로 오브젝트 영역 및 배경 영역 중 하나로 구분된다. 예를 들어, 제어부(100)는 보정 영역에 대하여 오브젝트 영역으로 판단하는 선택 입력이 감지되면, 터치 인터페이스를 통해 입력되는 오류 영역의 상태를 오브젝트 영역으로 결정한다. 한편, 제어부(100)는 보정 영역에 대하여 배경 영역으로 판단하는 선택 입력이 감지되면, 터치 인터페이스를 통해 입력되는 오류 영역의 상태를 배경 영역으로 결정한다. 이때, 제어부(100)는 오류가 포함된 최종 오브젝트 영역에서 손가락 끝의 움직임을 터치 센서(112)를 통해 인식함으로써 보정 영역의 선택 입력을 감지한다.
한편, 제어부(100)는 오브젝트 영역의 세부적인 부분 보정에 픽셀을 이용하여 보정하는 방법이 사용될 수 있는데, 본 발명에서는 터치 인터페이스를 통해 보정할 영역을 블록으로 보정하는 방법을 예로 설명한다.
제어부(100)는 영상의 보정된 최종 오브젝트 영역의 경계가 불명확한 경우에 응용 프로그램을 통해 명확한 곡선으로 나타낸다. 여기서, 제어부(100)는 영상의 보정된 최종 오브젝트 영역의 경계가 불명확한 경우에 원하는 오브젝트 영역을 지정해주면 지정한 영역을 명확하게 합성 처리해 준다. 예를 들어, 제어부(100)는 불명확한 경계를 명확하게 표현하기 위한 경우에 사용하는 응용 프로그램으로서 포아송 이미지 편집(Poisson Image Editing) 등을 사용할 수 있다. 여기서, 포아송 이미지 편집 방법은 포아송 공식(Poisson Equation)을 적용하여 원본 영상과 오브젝트 영상의 이음매가 선명하고 불연속적인 경계선을 명확하게 이어주는 좋은 합성효과가 있다.
도 2는 본 발명의 실시 예에 따른 전체적인 과정을 설명하기 위한 도면이고, 도 3은 본 발명의 실시 예에 따른 터치 입력정보를 설명하기 위한 화면 예이고, 도 4는 본 발명의 실시 예에 따른 영상에 입력되는 경계선을 설명하기 위한 화면 예이고, 도 5는 본 발명의 실시 예에 따른 영상에 투명도 조절 채널을 마스킹 하는 과정을 설명하기 위한 화면 예이고, 도 6a 내지 도 6f는 본 발명의 실시 예에 따른 전체적인 과정을 설명하기 위한 화면 예이다.
도 2 내지 도 6f를 참조하면, 제어부(100)는 S201단계에서 도 6a와 같은 영상에서 터치 인터페이스를 통해 경계선의 입력을 감지한다. 예를 들어, 제어부(100)는 터치 인터페이스를 통해 입력선이 감지되면, 도 6b에 도시된 바와 같이 감지된 입력선을 표시장치(114)에 표시하도록 제어한다. 여기서, 제어부(100)는 손가락 끝의 터치 인터페이스를 통해 영상에서 오브젝트 영역, 미결정 영역 및 배경 영역으로 구분한다. 이때, 제어부(100)는 터치 인터페이스에 대한 터치 입력정보에 의해 경계선을 감지한다. 예를 들어, 도 3에 도시된 바와 같이, 제어부(100)는 터치 입력정보로 손가락이 터치되는 중심선인 (a)을 감지하고, 중심선인 (a)을 기준으로 하여 양쪽의 (b)선과 (b')선까지를 터치 입력에 대한 영역으로 감지한다. 이 때, 제어부(100)는 터치 스크린부(110)에 손가락 끝이 닿는 영역(301)인 (b)선과 (b')선 사이의 영역(301)을 사용자에 의해 미리 정해진 터치에 대한 폭의 크기로 정의한다. 여기서, 터치센서(112)는 사용자의 손가락 끝의 크기와 모양에 따라 선의 굵기가 다르게 감지될 수 있기 때문에 미리 정의되는 폭 만큼의 크기에 따라 터치되는 선이 감지된다. 즉, 터치센서(112)는 손가락 끝이 터치되는 영역(301)만큼을 터치 영역으로 감지한다. 이를 통해, 제어부(100)는 터치 인터페이스를 통해 입력되는 선의 굵기 및 터치 감도 조정 등의 터치 입력정보를 판단한다.
그리고, 제어부(100)는 터치 인터페이스를 통해 입력된 폐곡선 안의 오브젝트 영역을 대략적인 오브젝트 영역으로 결정하다. 예를 들어, 도 4에 도시된 바와 같이, 제어부(100)는 영상에 터치 인터페이스를 통해 입력된 선 즉, 도면 부호 '(b)'를 폭으로 그려지는 선을 경계선으로 인식하고, 영상의 미결정 영역으로 정한다. 또한, 제어부(100)는 터치 인터페이스를 통해 입력된 폐곡선 안의 영역 즉, 도면 부호 '(a)' 을 폭으로 하는 영역을 오브젝트 영역으로 인식한다. 또한, 제어부(100)는 영상에서 미결정 영역과 오브젝트 영역에 포함되지 않는 경계선의 외부 영역을 배경 영역으로 정한다. 이 때, 제어부(100)는 터치 인터페이스를 통해 입력된 경계선의 내부선(401)을 폐곡선으로 인식한다.
또한, 제어부(100)는 터치 인터페이스를 통해 경계선의 입력이 감지되면, 경계선이 입력된 영상에 투명도 조절 채널을 마스킹 한다. 도 5에 도시된 바와 같이, 제어부(100)는 영상이 가지고 있는 투명도 조절 채널 상에 투명도 값을 오브젝트 영역, 미결정 영역 및 배경 영역에 부여한다. 여기서 투명도 조절채널(a)은 영상(b)과 겹칠 때 효과가 나타나는 채널이다. 즉, 제어부(100)는 영상이 투명도 조절 채널과 마스킹 되면 오브젝트 영역(OxFF), 미결정 영역(0x80) 및 배경 영역으로 마스킹 된 영상(도 6c)을 생성한다. 여기서, 제어부(100)는 오브젝트 영역(OxFF)은 투명하게 표현되고, 배경영역(0x00)은 불투명하게 표현되며, 미결정 영역(0x80)은 반투명하게 표현하여 표시장치(114)에 표시하도록 제어한다. 이 때, 투명도 조절 채널은 영상편집을 더 간편하고 효과적으로 하기 위해 기본채널에 추가로 설정된 채널로서, 32비트 영상 시스템에서 각 8비트를 가지는 총 4개의 채널 중, 영상이 삼원색(Red-Green-Blue, RGB)모드 일 때, 사용되는 3개의 채널을 제외한 나머지 하나의 채널이다. 또한, 투명도 채널은 영상의 한 픽셀의 색이 다른 픽셀의 색과 겹쳐서 나타낼 때 두 색을 효과적으로 융합하도록 한다.
제어부(100)는 S203단계에서 영상에서 미결정 블록을 오브젝트 영역이나 배경영역으로 결정하기 위하여 영상을 유사한 색상을 가지는 블록으로 분할한다. 또한, 제어부(100)는 영상의 블록들을 수평 탐색을 통하여 순차적으로 미결정 블록을 탐색한다. 이 때, 제어부(100)는 탐색된 미결정 블록을 시작 블록으로 하여 주변 블록과의 색상비교를 한다. 즉, 제어부(100)는 미결정 블록의 상태를 결정하기 위하여, 미결정 블록에서 8방향으로 인접한 주변 블록을 탐색한다. 또한, 제어 부(100)는 주변 블록에 오브젝트 영역 또는 배경 영역이 존재하면, 해당 블록과의 색상 비교를 통하여 현재 미결정 블록의 상태를 결정한다. 여기서, 색상 비교는 색상간의 거리를 계산하고, 거리가 가장 가까운 블록과 같은 영역으로 해당 블록의 상태를 결정한다. 또한, 제어부(100)는 결정된 오브젝트 영역에 대하여 마스킹 정보가 저장된 투명도 채널을 원본 영상에 합하여 최종 오브젝트 영역을 결정한다. 예를 들어, 제어부(100)는 도 6d에 도시된 바와 같이, 터치스크린(110)의 표시장치(114)에 최종 오브젝트 영역을 표시하도록 제어한다. 여기서, 제어부(100)는 최종 오브젝트 영역에서 오류(601, 603)가 포함되어 있음을 사용자의 입력신호에 의해 감지한다. 즉, 제어부(100)는 사용자의 터치 인터페이스에 의해 최종 오브젝트 영역에서 오류에 대한 입력이 감지되면, 선택된 영역에 대한 후보정 과정을 통해 보정된 최종 오브젝트 영역을 결정한다.
제어부(100)는 S205단계에서 최종 오브젝트 영역에 포함된 오류에 대하여 후보정 과정을 수행한다. 즉, 제어부(100)는 최종 오브젝트 영역에서 오류가 존재하면, 오브젝트 영역을 추가 및 삭제하는 후보정 과정을 통하여 보정된 최종 오브젝트 영역을 결정한다. 여기서, 제어부(100)는 유사한 색상을 가지는 블록 단위로 최종 오브젝트 영역을 추가 및 삭제함으로써 보정한다.
제어부(100)는 오류가 포함된 최종 오브젝트 영역을 보정하기 위하여 보정 영역의 상태를 결정한다. 여기서, 보정 영역의 상태는 사용자의 입력에 의해 정해지는 것으로 오브젝트 영역 혹은 배경영역으로 구분된다. 예를 들어, 제어부(100)는 보정 영역에 대하여 오브젝트 영역으로 판단하는 선택에 대한 입력이 감지되면, 터치 인터페이스를 통해 입력되는 오류 영역의 상태를 오브젝트 영역으로 결정한다. 한편, 제어부(100)는 보정 영역에 대하여 배경 영역으로 판단하는 선택 입력이 감지되면, 터치 인터페이스를 통해 입력되는 오류 영역의 상태를 배경 영역으로 결정한다. 이때, 제어부(100)는 오류가 포함된 최종 오브젝트 영역에서 손가락 끝의 움직임을 터치 센서(112)를 통해 인식함으로써 보정 부분의 선택 입력을 감지한다. 예를 들어, 제어부(100)는 도 6e에 도시된 바와 같이, 오브젝트 영역의 오류(601, 603)를 보정하여 터치 스크린부(110)의 표시장치(114)에 보정된 최종 오브젝트 영역을 표시하도록 제어한다.
도 6f에 도시된 바와 같이, 제어부(100)는 오류 후보정 과정을 수행하여 보정된 최종 오브젝트 영역을 저장부(120)에 저장한다. 또한, 제어부(100)는 보정된 최종 오브젝트 영역을 다른 영상에서 편집하거나 합성 할 수 있다.
이상에서 설명한 바와 같이, 본 발명의 터치 인터페이스를 이용한 영상편집 방법은 영상에서 오브젝트 영역 결정을 위한 대략적인 경계선 입력, 최종 오브젝트 영역 결정 과정 및 최종 오브젝트 영역의 후보정하는 과정을 수행한다. 이하 각 과정에 대하여 도면을 참조하여, 보다 상세히 설명하기로 한다.
도 7은 본 발명의 실시 예에 따른 영상에 경계선을 입력하는 과정을 설명하기 위한 도면이다.
도3 내지 도 7을 참조하면, 제어부(100)는 S701단계에서 오브젝트 영역을 결정하여 영상편집 및 합성을 하기 위하여 저장부(120)에 저장된 하나의 영상을 리드하고, 표시장치(114)에 나타내도록 제어한다.
제어부(100)는 S703단계에서 터치 인터페이스를 통해 영상에서 오브젝트 영역을 결정하기 위한 경계선 입력을 감지한다. 여기서, 제어부(100)는 터치 인터페이스를 통해 입력되는 선의 굵기 및 터치 감도 조정 등의 정보를 미리 저장부(120)에 저장한다. 이 때, 제어부(100)는 영상에서 원하는 오브젝트 영역을 결정하기 위한 폐곡선을 입력하기 위하여 손가락 끝의 터치만을 감지한다. 즉, 터치센서(112)는 손가락이 터치되는 영역(401)만큼을 터치 영역으로 감지한다. 예를 들어, 도 3에 도시된 바와 같이, 제어부(100)는 터치 입력정보로서 터치센서(112)로 부터 손가락이 터치되는 중심선인 (a)을 감지하고, 중심선인 (a)을 기준으로 하여 양쪽의 (b)선과 (b')선까지를 터치 입력에 대한 영역으로 감지한다. 이 때, 제어부(100)는 터치 스크린부(110)에 손가락 끝이 닿는 영역(301)인 (b)선과 (b')선 사이의 영역(301)을 사용자에 의해 미리 정해진 터치에 대한 폭의 크기로 정의한다. 여기서, 터치센서(112)는 사용자의 손가락의 크기와 모양에 따라 선의 굵기가 다르게 감지될 수 있기 때문에 미리 정의되는 폭 만큼의 크기에 따라 터치되는 선이 감지된다. 즉, 터치센서(112)는 손가락 끝이 터치되는 영역(301)만큼을 터치 영역으로 감지한다.
제어부(100)는 터치 인터페이스를 통해 경계선의 입력이 감지되면, S705단계에서 입력된 경계선을 표시장치(114)에 나타내도록 제어한다.
제어부(100)는 707단계에서 오브젝트 영역을 결정하기 위하여, 영상에 투명도 조절 채널 상의 투명도 값을 부여하여 마스킹 한다. 여기서, 투명도 조절채널은 영상이 겹칠 때 효과가 나타나는 채널이다. 예를 들어, 제어부(100)는 영상이 투명 도 조절 채널과 마스킹 되면, 오브젝트 영역(OxFF)은 투명하게 표현되고, 배경영역(0x00)은 불투명하게 표현되며, 미결정 영역(0x80)은 반투명하게 표시장치(114)에 나타내도록 제어한다. 이 때, 제어부(100)는 경계선 내부의 영역을 오브젝트 영역으로, 경계선 외부의 영역을 배경 영역으로 결정한다. 이 때, 제어부(100)는 오브젝트 영역과 배경영역으로 결정이 되지 않는 영역을 미결정 영역으로 인식한다.
제어부(100)는 S709단계에서 오브젝트 영역을 결정하기 위해 입력된 경계선을 확인하는 입력신호를 감지한다. 즉, 제어부(100)는 폐곡선 안의 영역이 사용자가 영상 편집을 위해 선택한 오브젝트 영역인지를 판단하는 입력신호를 터치센서(112)에 의해 감지한다. 제어부(100)는 입력된 경계선의 영역이 편집하기 위한 오브젝트 영역으로 확인되는 입력이 감지되면, S711단계에서 선택된 폐곡선 안의 영역을 오브젝트 영역으로 결정한다. 한편, 제어부(100)는 S709단계에서 터치센서(112)에 의해 입력된 경계선 내의 영역이 사용자가 영상 편집을 위해 선택한 초기 오브젝트 영역으로 확인되지 않는 입력이 감지되면, 제어부(100)는 입력된 경계선을 삭제하고, 원본 영상에 경계선을 다시 입력하는 과정을 수행한다.
도 8은 본 발명의 실시 예에 따른 오브젝트 영역을 결정하는 과정을 설명하기 위한 도면이고, 도 9a 내지 도 9f는 본 발명의 실시 예에 따른 오브젝트 영역을 결정하는 과정을 설명하기 위한 화면 예이다.
도 8 내지 도 9f를 참조하면, 도 9a에 도시된 바와 같이 제어부(100)는 오브젝트 영역(0xFF), 미결정 영역(0x80) 및 배경 영역(0x00)으로 구분된 영상을 이용하여 최종 오브젝트 영역을 결정한다.
제어부(100)는 S801단계에서 유사한 색상을 가지는 블록 단위로 영상을 분할한다. 여기서, 유사 색상을 기반으로 영역을 분할하는 방법으로는 주어진 영상에서 색상의 유사성에 근거를 둔 영역 기반방법으로 영상을 분할하는 알고리즘을 사용한다. 이때, 색상의 유사성에 근거를 둔 영역 기반 방법은 영상의 화소들 간의 유사성을 기반으로 하는 방법으로서 잡음이 많은 환경에서 물체의 세밀한 경계 부분에 대한 기술이 중요하지 않은 경우 좋은 방법이다. 제어부(100)는 분할된 색상을 기준으로 오브젝트 영역을 결정하게 된다. 예를 들어, 제어부(100)는 도 9b에 도시된 바와 같이 영상의 오브젝트 영역, 미결정 영역 및 배경 영역을 유사 색상을 가지는 블록 단위로 분할한다.
제어부(100)는 S803단계에서 미결정 블록을 탐색한다. 여기서, 제어부(100)는 투명도 조절 채널에 대한 수평 탐색을 통해 미결정 블록을 탐색한다.
제어부(100)는 S805단계에서 미결정 블록이 탐색되면, 탐색된 미결정 블록을 주변블록과 색상비교를 하여 영역의 상태를 결정하기 위한 시작 블록으로 한다. 한편, 제어부(100)는 수평 탐색을 통해 미결정 블록이 탐색되지 않으면, 미결정 블록을 탐색하는 과정을 계속 수행한다.
제어부(100)는 S807단계에서 탐색된 미결정 블록을 저장부(120)에 저장한다. 여기서, 제어부(100)는 저장된 미결정 블록과 주변블록의 색상 비교를 통해 미결정 블록의 상태를 결정한다.
제어부(100)는 S809단계에서 저장부에 저장된 하나의 미결정 블록을 리드(Read)한다.
제어부(100)는 리드된 하나의 미결정 블록을 시작 블록으로 하여, S811단계에서 미결정 블록을 주변 블록과의 색상비교를 통해 오브젝트 영역을 결정하기 위하여, 리드된 하나의 미결정 블록의 8방향 방위(동(E), 서(W), 남(S), 북(N), 북동(NE), 남동(SE), 남서(SW) 및 북서(NW))로 인접한 주변 블록을 순차적으로 찾아 블록의 결정 상태를 검사한다. 여기서, 제어부(100)는 블록의 색상을 비교하기 위하여, 시작점에서 가까운 블록부터 블록의 상태를 검사한다. 예를 들어, 제어부(100)는 도 9c에 도시된 바와 같이, 미결정 블록의 8방향 방위로 인접한 주변 블록을 순차적으로 찾아 나간다.
제어부(100)는 S813단계에서 주변블록이 모두 미결정 영역 상태인지 판단한다. 이때, 주변블록의 상태가 모두 미결정 영역 상태이면, 현재 미결정 블록의 상태를 결정할 수 없으므로 다음 블록으로 탐색을 한다. 여기서, 제어부(100)는 S803단계에서 인접 블록 중에 미결정 블록을 탐색하는 과정을 수행한다. 한편, 주변 블록의 상태가 모두 미결정 영역 상태가 아니면, 미결정 블록의 색상을 비교하기 위하여 다음 단계를 수행한다.
제어부(100)는 S815단계에서 미결정 블록의 주변블록에 오브젝트 영역 또는 배경 영역이 존재하면, 해당 블록과 색상 비교를 통하여 현재 미결정 블록의 상태를 비교하는 과정을 수행한다. 이때, 색상비교는 미결정 블록과 주변 블록 색상간의 거리를 계산하고, 거리가 가장 가까운 블록과 같은 영역으로 결정한다. 예를 들어, 제어부(100)는 도 9d에 도시된 바와 같이, 미결정 블록(C0)의 상태를 결정하기 위하여, 미결정 블록(C0)과 주변 블록(C1, C2, C3 및 C4)의 거리를 계산하고, 가장 가까운 블록과 같은 상태의 영역으로 해당 미결정 블록의 상태를 판단한다.
제어부(100)는 S817단계에서 해당 미결정 블록과 가장 가까운 블록의 상태가 오브젝트 영역인 경우, 해당 블록의 상태를 오브젝트 영역(0xFF)으로 결정한다. 한편, 제어부(100)는 해당 미결정 영역 블록과 가장 가까운 블록의 상태가 배경 영역인 경우, 해당 미결정 블록의 상태를 배경 영역(0x00)으로 결정한다.
제어부(100) S819단계에서 주변 블록에 미결정 블록이 존재하는지 탐색하여 판단한다. 이때, 제어부(100)는 주변에 미결정 블록이 존재하면, S807단계를 수행한다. 즉, 제어부(100)는 주변에 있는 블록의 탐색하고, 미결정 영역 블록 색상과 주변 블록의 색상을 비교하는 과정을 계속 수행한다. 즉, 제어부(100)는 이러한 과정을 주변 블록으로 확산하여 반복적으로 수행하면서 영상에서 오브젝트 영역을 결정하게 된다. 예를 들어, 제어부(100)는 도 9e에 도시된 바와 같이, 미결정 블록을 탐색하는 과정 및 주변 블록과 해당 블록의 색상을 비교하는 과정을 계속 수행한다. 한편, 제어부(100)는 미결정 블록이 모두 오브젝트 영역이나 배경 영역으로 결정되었으면, 최종 오브젝트 영역을 결정하는 과정을 수행한다.
제어부(100)는 최종 오브젝트 영역을 결정하는 과정인 S821단계에서, 최종 결정된 오브젝트 영역에 대한 마스킹 정보가 저장된 투명도 조절 채널을 원본 영상에 더한다. 예를 들어, 제어부(100)는 도 9f에 도시된 바와 같이 마스킹 정보가 포함된 투명도 채널과 원본 영상을 합하여 최종 오브젝트 영역을 결정한다.
도 10은 본 발명의 실시 예에 따른 오브젝트 영역을 후보정 하는 과정을 설명하기 위한 도면이고, 도 11a 내지 도 11c는 본 발명의 실시 예에 따른 오브젝트 영역을 후보정 하는 과정을 설명하기 위한 화면 예이다.
본 발명에서 최종 오브젝트 영역의 세부적인 부분 보정은 픽셀을 이용하여 보정하는 방법이 사용될 수 있는데, 본 발명에서는 터치 인터페이스를 통해 블록으로 영상편집 하는 보정 방법을 예로 설명한다.
도 10 및 도 11c를 참조하면, 제어부(100)는 S1001단계에서 최종 오브젝트 영역이 결정된 영상을 저장부(120)에서 리드하여 표시장치(114)에 표시하도록 제어한다.
제어부(100)는 S1003단계에서 최종 오브젝트 영역에 존재하는 오류를 보정하기 위하여 보정영역의 상태를 선택한다. 이 때, 오류가 존재하는 보정 영역의 상태는 오브젝트 영역과 배경 영역이 될 수 있다. 여기서, 제어부(100)는 오류를 포함하고 있는 영역의 상태를 오브젝트 영역 혹은 배경영역으로 나누어 보정 영역의 상태를 선택한다. 즉, 제어부(100)는 터치 인터페이스를 통해 보정 영역을 오브젝트 영역으로 보정하기 위한 입력신호가 선택되면, 터치되는 보정 영역을 오브젝트 영역으로 보정한다. 한편, 제어부(100)는 터치 인터페이스를 통해 보정 영역을 배경 영역으로 보정하기 위한 입력신호가 선택되면, 터치되는 보정 영역을 배경 영역으로 보정한다.
제어부(100)는 S1005단계에서 터치 인터페이스를 통해 보정 영역 선택에 대한 입력신호를 감지한다. 즉, 제어부(100)는 최종 오브젝트 영역에서 손가락 끝의 움직임을 터치센서(112)를 통해 인식하여 보정 부분 선택을 감지한다.
최종 오브젝트 영역에서 오류 영역에 대한 선택이 감지되면, S1007단계에서 제어부(100)는 선택된 영역의 상태를 기 설정된 보정 영역의 상태에 따라 결정한다. 예를 들어, 도 11a에서 도시된 바와 같이, 제어부(100)는 머리 부분의 오류(1101)를 보정하기 위한 입력을 감지한다. 즉, 제어부(100)는 보정 과정을 통해 머리 부분의 오류(1101)를 오브젝트 영역으로 하는 과정을 수행한다. 이 때, 제어부(100)는 오브젝트 영역으로 결정된 머리 부분의 오류(1101) 영역을 포함하는 오브젝트 영역을 도 11b에 도시된 바와 같이 표시장치(114)에 나타내도록 제어한다.
제어부(100)는 S1009단계에서 추가적으로 보정 되어야 할 블록이 존재하는지에 대한 입력신호를 감지한다. 즉, 제어부(100)는 오브젝트 영역에서 추가적으로 보정 되어야 할 블록이 존재하는 입력신호를 감지한다. 이 때, 제어부(100)는 추가적으로 보정 되어야 할 블록이 존재하는 입력신호를 감지되면, S1003단계에서 보정 영역의 상태를 선택하는 입력 과정을 수행한다. 예를 들어, 도 11b에 도시된 바와 같이, 제어부(100)는 오브젝트 영역에 오류인 턱 부분 오류(1103)를 보정하기 위한 입력을 감지한다. 이 때, 제어부(100)는 턱 부분 오류(1103)를 추가 보정한다. 여기서, 제어부(100)는 턱 부분에서 오류(1103)가 포함된 영역을 배경 영역으로 하는 과정을 수행한다. 이 때, 제어부(100)는 턱 부분에 대한 오류를 삭제하고, 도 11c에 도시된 바와 같이 표시장치(114)에 나타내도록 제어한다. 한편, 제어부(100)는 추가적으로 보정 되어야 할 블록이 존재하지 않는다는 입력을 감지하면, 보정된 오브젝트 영역을 최종 오브젝트 영역으로 결정하는 과정을 수행한다.
제어부(100)는 S1011단계에서 보정된 오브젝트 영역을 최종 오브젝트 영역으로 결정한다. 또한, 제어부(100)는 영상의 보정된 최종 오브젝트 영역의 경계가 불 명확한 경우 응용프로그램을 통해 명확한 곡선으로 표현하여 나타낸다. 여기서, 제어부(100)는 영상의 보정된 최종 오브젝트 영역의 경계가 불명확한 경우에 원본 영상에서 원하는 오브젝트 영역을 지정해주면 지정한 영역을 명확하게 합성 처리해 준다. 예를 들어, 제어부(100)는 불명확한 경계를 원본 영상과 오브젝트 영상의 이음매가 선명하고 불연속적인 경계선을 명확하게 표현하기 위한 응용 프로그램을 사용한다.
도 12a 내지 도 12c는 본 발명의 실시 예에 따른 영상편집 및 합성을 적용한 화면을 나타내는 예이다.
도 12a 내지 도 12c를 참조하면, 제어부(100)는 최종 오브젝트 영역을 다른 영상에서 편집 및 합성이 가능하도록 한 실시 예를 나타내는 화면 예이다. 예를 들어, 제어부(100)는 획득된 최종 오브젝트 영역(a)을 다른 영상(b)의 영역(1201)에 편집할 수 있다. 여기서, 제어부(100)는 편집하는 방법으로 최종 오브젝트 영역(a)을 복사하기 방법으로 획득하고, 다른 영상에 붙여넣기 방법을 사용하여 합성할 수 있다. 이 때, 제어부(100)는 편집된 영상(C)의 영역(1203)을 표시장치(114)에 나타내도록 제어할 수 있다.
여기서, 제어부(100)는 다른 영상으로 저장부(120)에 기 저장된 영상데이터 중에서 하나의 영상 데이터를 리드하고, 결정된 최종 오브젝트 영역을 이용하여 영상 편집 및 합성을 할 수 있다. 또한, 제어부(100)는 다른 휴대단말기로부터 영상 편집을 위한 영상 데이터를 전송받을 수 있다.
한편, 본 명세서와 도면에 개시 된 본 발명의 실시 예들은 본 발명의 기술내 용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.
도 1은 본 발명의 실시 예에 따른 휴대단말기의 개략적인 구성을 설명하기 위한 도면.
도 2는 본 발명의 실시 예에 따른 전체적인 과정을 설명하기 위한 도면.
도 3은 본 발명의 실시 예에 따른 터치 입력정보를 설명하기 위한 화면 예.
도 4는 본 발명의 실시 예에 따른 영상에 입력되는 경계선을 설명하기 위한 화면 예.
도 5는 본 발명의 실시 예에 따른 영상에 투명도 조절 채널을 마스킹 하는 과정을 설명하기 위한 화면 예.
도 6a 내지 도 6f는 본 발명의 실시 예에 따른 전체적인 과정을 설명하기 위한 화면 예.
도 7은 본 발명의 실시 예에 따른 영상에 경계선을 입력하는 과정을 설명하기 위한 도면.
도 8은 본 발명의 실시 예에 따른 최종 오브젝트 영역을 결정하는 과정을 설명하기 위한 도면.
도 9a 내지 도 9f는 본 발명의 실시 예에 따른 최종 오브젝트 영역을 결정하는 과정을 설명하기 위한 화면 예.
도 10은 본 발명의 실시 예에 따른 최종 오브젝트 영역을 후보정하는 과정을 설명하기 위한 도면.
도 11a 내지 도 11c는 본 발명의 실시 예에 따른 최종 오브젝트 영역을 후보 정하는 과정을 설명하기 위한 화면 예.
도 12a 내지 도 12c는 본 발명의 실시 예에 따른 영상편집 및 합성을 적용한 화면을 나타내는 예.

Claims (15)

  1. 휴대단말기의 영상편집 방법에 있어서,
    터치 인터페이스를 통해 상기 영상에 경계선을 표시하고, 상기 표시된 경계선에 따라 상기 영상을 미결정 영역, 오브젝트 영역 및 배경 영역으로 구분하는 과정과,
    상기 미결정 영역을 상기 미결정 영역의 주변 블록과의 색상비교로 상기 오브젝트 영역 혹은 배경 영역 중 어느 하나의 영역으로 정하여 최종 오브젝트 영역을 결정하는 것을 특징으로 하는 휴대단말기의 터치 인터페이스를 이용한 영상편집 방법.
  2. 제1항에 있어서,
    상기 구분하는 과정은
    기 설정한 두께를 가지는 반투명한 폐곡선으로 상기 경계선을 나타내는 것을 특징으로 하는 휴대단말기의 터치 인터페이스를 이용한 영상편집 방법.
  3. 제1항에 있어서,
    상기 구분하는 과정은
    상기 영상에 투명도 조절 채널을 마스킹 하여 상기 미결정 영역은 반투명한 영역으로, 상기 오브젝트 영역은 투명한 영역으로, 상기 배경 영역은 불투명한 영 역으로 나타내어 표시하는 것을 특징으로 하는 휴대단말기의 터치 인터페이스를 이용한 영상편집 방법.
  4. 제1항에 있어서,
    상기 최종 오브젝트 영역을 결정하는 과정은
    상기 영상을 유사한 색상을 가지는 블록 단위로 분할하여, 상기 영상의 미결정 영역을 탐색하는 과정과,
    상기 미결정 영역에 8방향으로 인접한 주변 블록을 순차적으로 탐색하고, 상기 주변 블록과 상기 미결정 영역의 색상을 비교하여 상기 미결정 영역의 상태를 결정하는 과정인 것을 특징으로 하는 휴대단말기의 터치 인터페이스를 이용한 영상편집 방법.
  5. 제1항에 있어서,
    상기 최종 오브젝트 영역을 결정하는 과정 후,
    상기 최종 오브젝트 영역에 포함된 오류를 후보정하는 과정을 더 포함하는 것을 특징으로 하는 휴대단말기의 터치 인터페이스를 이용한 영상 편집 방법.
  6. 제5항에 있어서,
    상기 후보정하는 과정은
    상기 터치 인터페이스를 통해 선택되는 블록을 상기 오브젝트 영역에 추가하 거나 삭제하는 것을 특징으로 하는 휴대단말기의 터치 인터페이스를 이용한 영상편집 방법.
  7. 제1항에 있어서,
    상기 최종 오브젝트 영역을 다른 영상에 합성시켜 편집하는 과정을 더 포함하는 것을 특징으로 하는 휴대단말기의 터치 인터페이스를 이용한 영상편집 방법.
  8. 휴대단말기의 영상편집 장치에 있어서,
    터치 인터페이스를 통해 상기 영상에 입력되는 경계선을 감지하여 표시하는 터치 스크린부; 및
    상기 표시된 경계선에 따라 상기 영상을 미결정 영역, 오브젝트 영역 및 배경 영역으로 구분하고, 상기 미결정 영역을 상기 미결정 영역의 주변 블록과의 색상비교로 상기 오브젝트 영역 혹은 배경 영역 중 어느 하나의 영역으로 정하여 최종 오브젝트 영역을 결정하는 제어부;를 포함하는 것을 특징으로 하는 휴대단말기의 터치 인터페이스를 이용한 영상편집 장치.
  9. 제8항에 있어서,
    상기 터치스크린은
    상기 경계선을 입력하기 위한 상기 터치 인터페이스의 감도를 조정하는 터치센서; 및
    기 설정된 두께를 가지는 반투명한 폐곡선으로 상기 경계선을 나타내는 표시장치;를 더 포함하는 것을 특징으로 하는 휴대단말기의 터치 인터페이스를 이용한 영상편집 장치.
  10. 제8항에 있어서,
    상기 제어부는
    상기 영상에 투명도 조절 채널을 마스킹 하여 상기 미결정 영역은 반투명한 영역으로, 상기 오브젝트 영역은 투명한 영역으로, 상기 배경 영역은 불투명한 영역으로 나타내어 표시하는 것을 특징으로 하는 휴대단말기의 터치 인터페이스를 이용한 영상편집 장치.
  11. 제8항에 있어서,
    상기 제어부는
    상기 영상을 유사한 색상을 가지는 블록 단위로 분할하고, 상기 영상의 미결정 영역을 탐색하는 것을 특징으로 하는 휴대단말기의 터치 인터페이스를 이용한 영상편집 장치.
  12. 제8항에 있어서,
    상기 제어부는
    상기 미결정 영역에 8방향으로 인접한 주변 블록을 순차적으로 탐색하고, 상 기 주변 블록과 상기 미결정 영역의 색상을 비교하여 상기 미결정 영역의 상태를 결정하는 것을 특징으로 하는 휴대단말기의 터치 인터페이스를 이용한 영상편집 장치.
  13. 제8항에 있어서,
    상기 제어부는
    상기 최종 오브젝트 영역에 포함된 오류를 후보정하는 것을 특징으로 하는 휴대단말기의 터치 인터페이스를 이용한 영상 편집 장치.
  14. 제8항에 있어서,
    상기 제어부는
    상기 터치 인터페이스를 통해 선택되는 블록을 상기 오브젝트 영역에 추가하거나 삭제하는 것을 특징으로 하는 휴대단말기의 터치 인터페이스를 이용한 영상편집 장치.
  15. 제8항에 있어서,
    상기 제어부는
    상기 최종 오브젝트 영역을 다른 영상에 합성시켜 편집하는 것을 특징으로 하는 휴대단말기의 터치 인터페이스를 이용한 영상편집 장치.
KR1020080066145A 2008-07-08 2008-07-08 휴대단말기의 터치 인터페이스를 이용한 영상편집 방법 및장치 KR20100006003A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020080066145A KR20100006003A (ko) 2008-07-08 2008-07-08 휴대단말기의 터치 인터페이스를 이용한 영상편집 방법 및장치
US12/497,568 US20100007675A1 (en) 2008-07-08 2009-07-03 Method and apparatus for editing image using touch interface for mobile device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080066145A KR20100006003A (ko) 2008-07-08 2008-07-08 휴대단말기의 터치 인터페이스를 이용한 영상편집 방법 및장치

Publications (1)

Publication Number Publication Date
KR20100006003A true KR20100006003A (ko) 2010-01-18

Family

ID=41504759

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080066145A KR20100006003A (ko) 2008-07-08 2008-07-08 휴대단말기의 터치 인터페이스를 이용한 영상편집 방법 및장치

Country Status (2)

Country Link
US (1) US20100007675A1 (ko)
KR (1) KR20100006003A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9524040B2 (en) 2012-03-08 2016-12-20 Samsung Electronics Co., Ltd Image editing apparatus and method for selecting area of interest
KR101881292B1 (ko) * 2017-02-27 2018-07-24 (주)진명아이앤씨 Uhd동영상의 스티칭 및 컷-아웃용 텔레스트레이터

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9141256B2 (en) 2010-09-24 2015-09-22 2236008 Ontario Inc. Portable electronic device and method therefor
KR20130019407A (ko) * 2010-09-24 2013-02-26 큐엔엑스 소프트웨어 시스템즈 리미티드 휴대용 전자 디바이스 및 그 제어 방법
WO2012037688A1 (en) 2010-09-24 2012-03-29 Research In Motion Limited Transitional view on a portable electronic device
US20120249595A1 (en) * 2011-03-31 2012-10-04 Feinstein David Y Area selection for hand held devices with display
US20130009989A1 (en) * 2011-07-07 2013-01-10 Li-Hui Chen Methods and systems for image segmentation and related applications
EP2544152A3 (en) * 2011-07-07 2013-02-20 HTC Corporation Management of multiple interface display layers
US8713482B2 (en) 2011-07-28 2014-04-29 National Instruments Corporation Gestures for presentation of different views of a system diagram
US9047007B2 (en) 2011-07-28 2015-06-02 National Instruments Corporation Semantic zoom within a diagram of a system
US8782525B2 (en) 2011-07-28 2014-07-15 National Insturments Corporation Displaying physical signal routing in a diagram of a system
JP5519020B2 (ja) * 2011-10-27 2014-06-11 京セラ株式会社 入力装置および入力装置の制御方法
KR20140073398A (ko) 2012-12-06 2014-06-16 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US10073543B2 (en) * 2014-03-07 2018-09-11 Htc Corporation Image segmentation device and image segmentation method
TWI546772B (zh) * 2015-11-18 2016-08-21 粉迷科技股份有限公司 影像疊層處理方法與系統
CN106775342A (zh) * 2015-11-25 2017-05-31 中兴通讯股份有限公司 基于压力感应技术的图片裁剪方法和装置
US10123052B2 (en) * 2016-11-18 2018-11-06 Mapbox, Inc. Elimination of artifacts from lossy encoding of digital images by color channel expansion

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5295235A (en) * 1992-02-14 1994-03-15 Steve Newman Polygon engine for updating computer graphic display employing compressed bit map data
US6721446B1 (en) * 1999-04-26 2004-04-13 Adobe Systems Incorporated Identifying intrinsic pixel colors in a region of uncertain pixels
US8050498B2 (en) * 2006-07-21 2011-11-01 Adobe Systems Incorporated Live coherent image selection to differentiate foreground and background pixels

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9524040B2 (en) 2012-03-08 2016-12-20 Samsung Electronics Co., Ltd Image editing apparatus and method for selecting area of interest
KR101881292B1 (ko) * 2017-02-27 2018-07-24 (주)진명아이앤씨 Uhd동영상의 스티칭 및 컷-아웃용 텔레스트레이터

Also Published As

Publication number Publication date
US20100007675A1 (en) 2010-01-14

Similar Documents

Publication Publication Date Title
KR20100006003A (ko) 휴대단말기의 터치 인터페이스를 이용한 영상편집 방법 및장치
US11237703B2 (en) Method for user-operation mode selection and terminals
WO2019233212A1 (zh) 文本识别方法、装置、移动终端以及存储介质
KR102013331B1 (ko) 듀얼 카메라를 구비하는 휴대 단말기의 이미지 합성 장치 및 방법
US8880338B2 (en) Portable electronic device, and method for operating portable electronic device
US20170083741A1 (en) Method and device for generating instruction
CN109101498B (zh) 翻译方法、装置及移动终端
CN108495045B (zh) 图像拍摄方法、装置、电子装置以及存储介质
CN104423581A (zh) 移动终端及其控制方法
KR20140110584A (ko) 증강 현실 제공 방법, 저장 매체 및 휴대 단말
WO2007086681A1 (en) Portable apparatus and method for inputing data with electronic pen and transmitting data
CN108391058B (zh) 图像拍摄方法、装置、电子装置及存储介质
CN107766548B (zh) 信息显示方法、装置、移动终端及可读存储介质
CN108958576B (zh) 内容识别方法、装置及移动终端
CN108646994B (zh) 信息处理方法、装置、移动终端及存储介质
US9014428B2 (en) Object detection using difference of image frames
CN110431563B (zh) 图像校正的方法和装置
WO2019201109A1 (zh) 文字处理方法、装置、移动终端及存储介质
US20130179845A1 (en) Method and apparatus for displaying keypad in terminal having touch screen
US20140270372A1 (en) Electronic device and method of operating the same
CN109710155B (zh) 一种信息处理方法及终端设备
CN109085982B (zh) 内容识别方法、装置及移动终端
KR101521910B1 (ko) 이동단말기의 키패드와 그 표시방법
CN106372076B (zh) 浏览器中网页切换方法及装置
CN110738185B (zh) 表单对象的识别方法、装置及存储介质

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid