KR101104730B1 - 동영상 내의 오브젝트 제어 방법 및 단말기 - Google Patents

동영상 내의 오브젝트 제어 방법 및 단말기 Download PDF

Info

Publication number
KR101104730B1
KR101104730B1 KR1020090106611A KR20090106611A KR101104730B1 KR 101104730 B1 KR101104730 B1 KR 101104730B1 KR 1020090106611 A KR1020090106611 A KR 1020090106611A KR 20090106611 A KR20090106611 A KR 20090106611A KR 101104730 B1 KR101104730 B1 KR 101104730B1
Authority
KR
South Korea
Prior art keywords
terminal
video
change
tilt
specific object
Prior art date
Application number
KR1020090106611A
Other languages
English (en)
Other versions
KR20110049549A (ko
Inventor
홍상우
유병철
김경진
서승교
임민주
김건오
양재모
박명순
강석훈
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Priority to KR1020090106611A priority Critical patent/KR101104730B1/ko
Publication of KR20110049549A publication Critical patent/KR20110049549A/ko
Application granted granted Critical
Publication of KR101104730B1 publication Critical patent/KR101104730B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412Digitisers structurally integrated in a display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/37Measurements
    • G05B2219/37376Inclination, gradient of machine base

Abstract

본 발명은 단말기에서 동영상 내의 오브젝트 제어 방법 및 단말기에 관한 것으로서, 단말기는 사용자의 요청에 따라 선택되는 동영상을 출력하고, 터치 신호에 의해 동영상에 포함되는 특정 오브젝트가 선택되면 특정 오브젝트가 제어 가능한 오브젝트인지 판단하고, 판단 결과 선택된 오브젝트가 제어 가능한 경우 단말기의 기울기 변화를 감지하고, 기울기가 변화하는 경우 기울기의 변화 정도를 분석하고, 분석 결과에 따라 시점을 변경하여 특정 오브젝트를 다시점으로 표시하는 것을 특징으로 한다.
이를 통해, 기울기 변화를 감지할 수 있는 단말기는 동영상 재생 중에 제어관련 메뉴나 아이콘을 띄우지 않고도 오브젝트를 제어하여 기울기 변화에 따라 다양한 시점 또는 각도에서 오브젝트를 표시할 수 있다.
단말기, 터치스크린, 동영상, 기울기, 오브젝트, 다시점

Description

동영상 내의 오브젝트 제어 방법 및 단말기{Terminal and method for control object into video content thereof}
본 발명은 동영상 내의 오브젝트 제어 방법 및 단말기에 관한 것으로서, 좀더 구체적으로는 터치스크린 인터페이스를 제공하는 단말기에서 동영상에 포함된 특정 오브젝트를 단말기의 기울기 변화에 따라 제어하여 다양한 시점으로 표시할 수 있는 기울기를 이용한 동영상 내의 오브젝트 제어 방법 및 단말기에 관한 것이다.
정보통신 기술의 발전에 따라 휴대폰이 상용화된 지는 이미 오래되었으며, 근래에는 MP3 플레이어, PMP(Portable Multimedia Player) 등 다양한 유형의 휴대용 멀티미디어 기기들도 젊은 사용자층을 중심으로 널리 사용되고 있다. 이와 같이 각종 단말기들의 보급이 늘면서 사용자의 요구는 점점 다양해지고 있고, 이를 충족시키기 위한 제조업체들의 경쟁은 갈수록 치열해지고 있다. 이에 따라 더 많은 기능을 더 편리하게 쓸 수 있는 단말기들이 지속적으로 개발되고 있으며, 각종 멀티미디어 기능, 무선인터넷 기능 등이 추가되면서 단말기의 동작환경은 점차 PC 수준으로 나아가고 있다.
단말기는 기본적으로 사용자가 간편하게 휴대할 수 있어야 하기 때문에 그 크기가 상대적으로 소형이다. 따라서 통상적으로 키패드(keypad)와 액정화면(LCD screen)으로 대표되는 입력장치와 출력장치의 크기 또한 제한적일 수밖에 없다. 이러한 제약 하에서 단말기에 다양하고 복잡한 기능을 부여함과 동시에 그 기능을 수행하기 위한 사용자의 접근성과 편의성을 향상시키려면, 이들을 고려한 사용자 인터페이스(user interface)의 개발이 필수적이다. 더구나 전통적인 단말기의 동작환경과 다른 PC 수준의 동작환경이 요구되면서 그에 적합한 사용자 인터페이스의 필요성은 더욱 커지고 있다.
이에 다양한 방식의 사용자 인터페이스가 개발되고 있는데, 그 중의 하나가 터치 인터페이스(touch interface)이다. 예를 들어, 기존의 키패드와 더불어 터치패드를 입력부에 채용하는 기술, 키패드 영역에 터치 센서를 장착하여 키패드 겸 터치패드를 형성하는 기술, 키패드를 완전히 없애고 터치스크린을 도입하는 기술 등이 그것이다.
이 중에서 터치스크린은 단말기와 사용자 사이에 입력 인터페이스 및 출력 인터페이스를 동시에 제공한다. 터치스크린은 기존의 키패드를 없앨 수 있으므로 표시 면적을 증가시킬 수 있고, 입력 측면에서도 사용자로 하여금 직관적인 조작이 가능하도록 하는 이점이 있다.
한편, 최근의 단말기들은 언제 어디서나 간편하게 동영상을 재생하여 감상할 수 있는 기능을 제공하고 있다. 그런데 종래의 터치스크린을 구비한 단말기는 제한적으로 2차원으로 동영상과 관련된 기능을 제공하고 있다. 이에 사용자는 동영상을 다시점(Multi view point 혹은 Multi angle) 모드로 시청이 불가능하다.
이에 따라 터치스크린 방식의 휴대단말기에서 동영상을 재생할 때 다양한 각도 또는 시점에 따라 구분된 화면을 사용자가 직관적으로 제어할 수 있는 기술에 대한 필요성이 대두되고 있다.
따라서 본 발명의 목적은 전술한 종래기술의 문제점을 해결하기 위한 것으로, 동영상을 재생하는 중에 제어관련 메뉴나 아이콘을 띄우지 않고, 기울기 변화를 감지할 수 있는 단말기를 통해 감지되는 기울기 변화에 따라 오브젝트를 다시점으로 구분하여 표시할 수 있는 동영상 내의 오브젝트 제어 방법 및 단말기를 제공하고자 한다.
상술한 바와 같은 본 발명의 목적을 달성하기 위한 단말기는 사용자의 요청에 따라 동영상을 표시하고, 터치 입력에 따른 터치 신호를 생성하는 터치스크린과, 단말기의 기울기를 감지하는 센서부 및 상기 터치 신호에 의해 상기 동영상에 포함되는 특정 오브젝트가 선택되면, 특정 오브젝트가 제어 가능한 오브젝트인지 판단하고, 상기 특정 오브젝트가 제어 가능한 경우 상기 단말기의 기울기가 변화하는지 감지하고, 상기 기울기가 변화하면 상기 기울기의 변화에 따라 시점을 변경하여 상기 특정 오브젝트를 표시하도록 제어하는 제어부를 포함하는 것을 특징으로 한다.
본 발명에 따른 상기 제어부는 상기 동영상을 재생하여 상기 터치스크린을 통해 출력하는 동영상 재생기 및 상기 센서부를 통해 감지되는 상기 단말기의 기울기를 분석하여 상기 기울기의 변화를 인식하는 기울기 인식부를 포함하는 것을 특징으로 한다.
본 발명에 따른 상기 특정 오브젝트에 대한 데이터를 저장하는 오브젝트 매핑 테이블과, 상기 특정 오브젝트가 포함된 동영상, 및 상기 기울기의 변화에 따라 대응하는 오브젝트의 영상을 저장하는 저장부를 더 포함하는 것을 특징으로 한다.
본 발명에 따른 목적을 달성하기 위한 동영상 내의 오브젝트 제어 방법은 단말기는 사용자의 요청에 따라 선택되는 동영상을 출력하는 출력단계와, 상기 단말기는 터치 신호에 의해 상기 동영상에 포함되는 특정 오브젝트가 선택되면, 상기 특정 오브젝트가 제어 가능한 오브젝트인지 판단하는 판단단계와, 상기 특정 오브젝트가 제어 가능한 경우, 상기 단말기는 상기 단말기의 기울기가 변화하는지 감지하는 감지단계와, 상기 기울기가 변화하면, 상기 단말기는 상기 기울기의 변화 정도를 분석하는 분석단계 및 상기 단말기는 상기 분석 결과에 따라 시점을 변경하여 상기 특정 오브젝트를 표시하는 표시단계를 포함하는 것을 특징으로 한다.
본 발명에 따른 상기 판단단계는 상기 단말기는 상기 터치 신호가 발생하는 위치를 판단하는 단계와, 상기 단말기는 상기 터치 신호가 발생하는 위치에 대응하는 오브젝트를 확인하는 단계 및 상기 단말기는 오브젝트 매핑 테이블에서 상기 확인된 오브젝트가 제어 가능한 오브젝트에 해당하는지 비교하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따른 상기 판단단계는 상기 확인 결과 상기 특정 오브젝트가 제어 불가능한 오브젝트인 경우, 상기 단말기는 경고 메시지를 출력하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명에 따른 상기 판단단계는 상기 확인 결과 상기 특정 오브젝트가 제어 불가능한 오브젝트인 경우, 상기 단말기는 다른 오브젝트의 선택 여부를 요청하는 단계와, 상기 단말기는 상기 다른 오브젝트의 선택이 요청되면 상기 선택된 다른 오브젝트가 제어 가능한 오브젝트인지 판단하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명에 따른 상기 감지단계는 상기 단말기가 시계 방향, 시계 반대 방향, 위쪽 방향 또는 아래쪽 방향으로의 회전하는 것을 감지하는 것을 특징으로 한다.
본 발명에 따른 상기 분석단계는 상기 단말기가 기울기의 초기값에서 기 설정된 임계값 이상으로 변화하는지 확인하는 단계와, 상기 기울기가 상기 임계값 이상으로 변화하면, 상기 단말기는 상기 기울기가 상기 초기값으로 리턴하는지 판단하는 단계 및 상기 기울기가 상기 초기값으로 리턴하는 경우, 상기 단말기는 상기 특정 오브젝트를 표시하기 위한 시점을 분석하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따른 상기 분석단계는 상기 단말기는 상기 기울기가 연속적으로 변화하는지 판단하는 단계와, 상기 기울기가 연속적으로 변화하면 상기 단말기는 상기 변화에 대응하는 시점을 구분하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명에 따른 상기 판단단계는 상기 기울기가 단계적으로 변화하면, 상기 단말기는 상기 변화에 대응하는 시점을 구분하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명에 따르면, 기울기 변화를 감지할 수 있는 단말기에서 동영상을 재생하는 중에 제어관련 메뉴나 아이콘을 띄우지 않고도 기울기 변화에 따라 오브젝트를 제어하여 다양한 시점 또는 각도에서 오브젝트를 표시할 수 있는 효과가 있다.
이하, 첨부 도면을 참조하여 본 발명의 실시 예를 보다 상세하게 설명하고자 한다. 실시 예를 설명함에 있어서 본 발명이 속하는 기술 분야에 잘 알려져 있고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 가급적 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 핵심을 흐리지 않고 더욱 명확히 전달하기 위함이다. 한편, 첨부 도면을 통틀어 동일하거나 대응하는 구성요소에는 동일한 참조번호를 부여한다.
본 발명은 터치스크린 인터페이스를 채택하고 있는 휴대단말기를 통해 동영상을 재생하는 중 사용자의 동작에 의해 발생하는 기울기 변화에 따라 동영상에 포함되는 특정 오브젝트를 제어하여 다시점으로 표시할 수 있는 기술이다.
본 발명의 실시 예에 따른 '오브젝트(Object)'는 동영상에 포함되어 화면상에 나타나는 여러 시각적 요소들 중에서 두드러지게 식별이 가능한 것을 의미하며, 오브젝트의 대표적인 예로는 인물, 동물, 집, 자동차, 비행기 등이 있다. 이러한 오브젝트들은 본 발명의 동영상 내에서 제어가 가능한 오브젝트와 그렇지 않은 오 브젝트로 구분되며, 이러한 구분은 단말기(10)에 미리 저장된다. 이에 대해서는 뒤에서 다시 구체적으로 설명할 것이다.
본 발명에 따른 단말기(100)는 예컨대 휴대폰, 스마트 폰(smart phone), PDA(personal digital assistant), DMB(digital multimedia broadcasting) 수신기와 같은 이동방송 수신기, MP3 플레이어(MP3 player)나 PMP(portable multimedia player)와 같은 멀티미디어 플레이어 등이다. 그러나 본 발명의 실시 예에 따른 단말기(100)는 이러한 예만으로 국한되는 것은 아니며, 기울기 변화를 감지할 수 있는 센서를 구비하고 동영상 재생이 가능한 전자기기라면 모두 본 발명이 적용 가능하다.
도 1 내지 도 4는 본 발명에 따른 실시 예에서 기울기 변화에 따라 오브젝트를 제어하여 다시점으로 표시하는 방법을 직관적으로 설명하기 위한 화면 예이다. 도 1 내지 도 4는 단지 이해를 돕기 위한 하나의 예일 뿐, 본 발명이 반드시 이러한 구성으로 한정되는 것은 아니다.
도 1에 도시된 바와 같이, 단말기(100)는 터치스크린(20)을 포함하며 터치스크린(20)을 통해 동영상(예컨대, 영화)이 재생 중이라 가정한다. 여기서, 단말기(100)는 재생 중인 동영상(72)을 터치스크린(20)에 표시하며, 동영상(72)에는 특정 오브젝트(71)가 포함되어 나타난다.
그런 다음, 도 2에 도시된 바와 같이, 단말기(100)는 동영상(72)이 표시되는 터치스크린(20)에 입력되는 터치 신호를 감지하고, 터치 신호가 발생한 터치 영역(73)에 해당되는 좌표값에 따라 상응하는 특정 오브젝트(71)를 확인한다. 이때, 단말기(100)는 터치 신호에 의해 선택되는 특정 오브젝트(71)가 제어 가능한 오브젝트인지 판단하고, 판단된 결과에 따라 단말기(100)의 기울기 변화를 분석하여 특정 오브젝트(71)가 다시점으로 표시될 수 있도록 제어할 수 있다.
이를 구체적으로 살펴보면, 도 3에 도시된 바와 같이 단말기(100)는 시계 방향, 시계 반대 방향, 위쪽 방향 또는 아래쪽 방향으로의 회전을 감지하여 기울기의 변화를 확인할 수 있다. 이때, 단말기(100)는 기울기가 초기값에서 기 설정되어 있는 특정 임계값 이상으로 변화하는지 판단한다. 그런 다음, 단말기(100)는 판단 결과 기울기가 초기값에서 기 설정되어 있는 특정 임계값 이상으로 변화하고 나서, 초기 값으로 리턴 되는지 확인한다. 여기서, 단말기(100)는 기울기가 초기값으로 리턴 되면, 특정 오브젝트(71)를 해당되는 시점으로 표시하기 위하여 기울기 변화를 분석한다. 예를 들어, 단말기(100)는 기울기 변화가 초기값에서 좌측으로 90도 변화하고, 다시 초기값으로 리턴 되면 선택된 오브젝트를 좌측으로 90도 회전하여 표시할 수 있다. 그러나 이는 이해를 돕기 위해 예시한 것일 뿐, 본 발명이 이에 국한되는 것은 아니다. 즉, 단말기(100)는 기울기 변화에 따라 대응하는 오브젝트를 다양한 화면으로 표시할 수 있음은 물론이다.
단말기(100)는 기울기 변화가 분석되면, 도 4에 도시된 바와 같이 기울기 변화에 따라 변화된 시점으로 특정 오브젝트(71)를 표시할 수 있다.
도 5는 본 발명의 실시 예에 따른 휴대단말기의 구성을 나타내는 블록도이다.
도 5를 참조하면, 단말기(100)는 통신부(10), 터치스크린(20), 저장부(30), 센서부(40), 오디오처리부(50) 및 제어부(60) 등으로 구성된다. 이때, 제어부(60)는 동영상 재생부(62)와 기울기 인식부(64)를 포함할 수 있다.
통신부(10)는 제어부(60)의 제어에 따라 데이터를 송신 및 수신한다. 이때, 통신부(10)는 송신되는 신호의 주파수를 상승변환 및 증폭하는 무선 주파수 송신부와, 수신되는 신호를 저잡음 증폭하고 주파수를 하강 변환하는 무선 주파수 수신부 등을 포함할 수 있다.
터치스크린(20)은 입력 인터페이스와 출력 인터페이스를 동시에 제공한다. 즉, 터치스크린(20)은 입력장치로서 터치감지부(22)를 구비하며, 표시장치로서 표시부(24)를 구비한다. 한편, 본 발명에 따른 단말기(100)는 터치스크린(20) 외에 통상적인 입력장치(예컨대 키패드나 휠 키 등의 각종 포인팅 입력장치)를 추가로 더 구비할 수 있다. 음성출력부(즉, 스피커)와 같이 통상적인 단말기(100)에 기본적으로 구비되는 구성요소는 설명 및 도시를 생략한다.
터치감지부(22)는 사용자의 터치 행위를 감지하고 그에 따른 입력신호를 생성하여 제어부(60)로 전달한다. 터치감지부(22)는 예컨대 표시부(24) 상에 장착되는 터치패널 또는 터치센서로서, 터치가 발생하면 그에 따른 물리량의 변화를 검출하여 전기신호로 변환한다.
표시부(24)는 제어부(60)의 제어 하에 단말기(100)의 각종 메뉴를 비롯하여 사용자가 입력한 정보 또는 사용자에게 제공하는 정보를 표시한다. 표시부(24)는 예컨대 액정표시장치(LCD, Liquid Crystal Display) 또는 그에 상응하는 다른 표시장치로 이루어질 수 있다.
저장부(30)는 단말기(100)의 기능과 관련된 각종 프로그램과 어플리케이션을 저장하며, 기능 수행에 필요한 데이터 및 기능 수행 중에 발생하는 데이터를 저장한다. 저장부(30)는 데이터를 일시 저장하는 하나 이상의 버퍼를 포함할 수 있으며, 별도의 외부저장매체를 더 포함할 수도 있다. 이러한 저장부(120)는 프로그램 영역과 데이터 영역을 포함한다. 특히, 프로그램 영역은 단말기를 부팅하는 운영체제(OS: Operating System), 사용자의 터치 신호에 의해 하나 이상의 동영상을 재생하는 프로그램, 기울기 변화를 인식하는 프로그램, 변화되는 기울기에 따라 다양한 시점으로 오브젝트를 표시하는 프로그램, 변화되는 기울기와 임계값을 비교하는 프로그램 및 기울기 변화의 연속성을 판단하는 프로그램 등이 저장될 수 있다.
또한, 데이터 영역은 단말기 사용에 따라 발생하는 데이터가 저장되는 영역으로서, 다양한 옵션 기능과 관련된 사용자 데이터들이 저장될 수 있다. 특히, 데이터 영역에는 동영상 및 기울기 변화에 따라 대응하는 오브젝트의 영상이 저장된다. 또한, 데이터 영역에는 기울기 변화를 확인할 수 있는 임계값이 저장된다. 여기서, 임계값은 기울기 변화를 인식할 수 있는 최소의 기울기이며, 예를 들어, 기울기가 변화하는 방향 별로 45도 각도 이상의 수치로 설정될 수 있다. 또한, 데이터 영역에는 각각의 동영상에 대하여 오브젝트 관련 데이터가 저장되는 오브젝트 매핑 테이블(32)이 DB화되어 저장된다. 이때, 오브젝트 매핑 테이블(32)은 동영상 내에 제어 가능한 오브젝트를 규정하고, 동영상 장면 별로 해당 장면에 포함된 오브젝트 및 그 좌표영역 정보를 포함한다. 다음 표 1은 동영상 AAA에 대한 오브젝트 매핑 테이블(124)의 예이다.
동영상 이름 AAA
제어가능 오브젝트 A_01, A_02, B_01, C_01, D_01, D_02, D_03
장면 포함된 오브젝트 오브젝트 좌표영역
S-001 A_01 X121~X129, Y87~Y115
B_01 X389~X456, Y104~Y125
S-002 A_01 X135~X148, Y36~Y90
A_02 X29~X79, Y248~Y276
C_01 X589~X792, Y204~Y254
S-003 A_02 X109~X131, Y269~Y301
C_01 X600~X762, Y279~Y302
D_01 X190~X234, Y309~Y361
S-004 D_01 X244~X278, Y311~Y389
D_02 X772~X790, Y155~Y190
D_03 X547~X588, Y401~Y442
표 1에 대하여 간단히 설명하면, 동영상 AAA에서 제어 가능한 오브젝트는 A_01, A_02, B_01, C_01, D_01, D_02, D_03으로 미리 정해져 있다. 오브젝트 매핑 테이블(32)에 규정되지 않은 오브젝트는 사용자가 선택하더라도 동영상 제어가 불가능하다. 장면 S-001에는 오브젝트 A_01, B_01이 포함되어 나타나며, 이들의 화면상 좌표영역은 각각 (X121~X129, Y87~Y115), (X389~X456, Y104~Y125)이다. 또한, 장면 S-001에서 장면 S-002로 바뀌면서 오브젝트 B_01은 사라지고 오브젝트 A_02와 C_01이 새로 등장한다. 표 1에서 좌표영역은 오브젝트마다 화면상에서 차지하고 있는 픽셀 범위를 의미한다. 표 1은 좌표영역을 사각형으로 단순화하여 예시하였지만, 좌표영역이 반드시 사각형만으로 한정되는 것은 아니며 다양한 변형이 가능하다.
오브젝트 매핑 테이블(32)은 제어 가능한 오브젝트가 어떤 것인지 규정하고 있고, 각 장면마다 어떤 오브젝트가 포함되어 있으며 그 좌표영역이 어떤지에 대한 정보를 포함하고 있다. 따라서 동영상 내의 오브젝트를 제어하기 위해 사용자가 특정 장면에서 특정 오브젝트를 터치하면, 후술할 제어부(60)는 오브젝트 매핑 테이블(32)을 참조하여 사용자가 선택한 오브젝트를 인식하고 그 오브젝트의 제어가능 여부를 판별하게 된다. 이에 대해서는 뒤에서 다시 설명한다.
센서부(40)는 3차원 공간에서 단말기(100)가 움직이는 방향과 정도를 감지하고, 그 결과를 제어부(60)에 전달하기 위하여 3축 가속도 센서를 구비할 수 있다. 또한, 센서부(40)는 절대 방위를 기준으로 단말기(100)가 어느 방향에 위치하는지를 감지하고, 그 결과를 제어부(60)에 전달하기 위하여 지자기 센서를 구비할 수 있다. 특히, 본 발명의 실시 예에 따른 센서부(40)는 사용자의 동작에 의해 발생하는 단말기(100)의 기울기 변화를 감지하여 제어부(60)로 해당되는 데이터를 전달할 수 있다.
오디오처리부(50)는 오디오 신호를 재생하거나 또는 마이크(MIC)로부터 입력되는 오디오 신호(예컨대, 사용자 음성)를 제어부(60)에 전달하는 기능을 수행한다. 이때, 오디오처리부(50)는 오디오 신호를 스피커(SPK)를 통해 가청음으로 변환하여 출력하고, 상기 마이크(MIC)로부터 수신되는 음성 등의 아날로그 신호를 디지털 신호로 변환하여 출력한다. 특히, 오디오 처리부(50)는 사용자의 요청에 따라 재생되는 동영상과 관련된 오디오 신호를 출력할 수 있다.
제어부(60)는 단말기의 전반적인 동작 및 내부 블록 간의 신호 흐름을 제어한다. 특히, 본 발명의 제어부(60)는 동영상 재생부(62)와 기울기 인식부(64)를 포함한다. 동영상 재생부(62)는 소프트웨어의 형태로 구현되며, 동영상 재생기능이 실행될 때 제어부(60)에 의해 활성화되어 저장부(30)에 저장된 동영상을 재생한다.
제어부(60)는 사용자의 요청에 따라 선택되는 동영상을 출력한다. 이때, 제어부(60)는 저장부(30)에 저장된 동영상 중에서 특정 동영상을 출력하고, 특정 동영상에는 사용자의 동작에 의해 변화되는 기울기에 따라 제어 가능한 오브젝트가 포함된다.
제어부(60)는 터치 신호에 따라 동영상 재생 중 특정 오브젝트가 선택되면, 특정 오브젝트가 제어 가능한 오브젝트 인지 판단한다. 여기서, 제어부(60)는 특정 오브젝트를 분석하기 위하여 저장부(30)의 오브젝트 매핑 테이블(32)에서 선택된 특정 오브젝트를 분석하는 단계를 수행할 수 있다. 만약, 제어부(60)는 선택된 특정 오브젝트가 제어 가능한 경우 기울기 변화가 발생하는지 확인하기 위하여 센서부(40)를 제어한다. 여기서, 제어부(40)는 센서부(40)를 통해 사용자 동작에 대한 단말기(100)의 기울기가 감지되면, 기울기의 변화를 분석하여 분석 결과에 따라 다시점에서 특정 오브젝트를 표시하도록 제어할 수 있다.
본 발명의 실시 예에 따른 동영상 내에 포함되는 오브젝트를 다양한 시점에서 표시하는 구체적인 설명은 후술되는 도 6에서 설명하기로 한다.
이하, 본 발명의 단말기를 이용한 오브젝트 제어 방법을 설명한다. 이하의 설명으로부터, 전술한 단말기(100)의 구성과 작용 역시 보다 명료해질 것이다. 도 6은 본 발명의 실시 예에 따른 기울기 변화에 따른 동영상의 오브젝트 제어 방법을 나타내는 흐름도이다.
도 6을 참조하면, 단말기(100)의 제어부(60)는 S81 단계에서 사용자의 요청에 따라 저장부(30)에 저장된 특정 동영상을 재생한다. 이에 따라 표시부(24)에는 재생 중인 동영상이 시각적으로 출력된다.
동영상 재생 중 제어부(60)는 S82 단계에서 특정 오브젝트가 선택됨을 인식할 수 있다. 이때, 제어부(60)는 특정 오브젝트를 선택하기 위한 신호로서, 사용자의 터치스크린(20) 터치 신호를 감지할 수 있다. 하지만, 특정 오브젝트를 선택하는 신호는 이에 한정된 것이 아니다. 즉, 특정 오브젝트를 선택하기 위한 신호는 방향키 이동을 통한 신호 등이 포함될 수 있다. 즉, 사용자가 터치스크린(20)을 터치하면, 터치감지부(22)는 이를 감지하여 입력신호를 생성하고 제어부(60)로 전송한다. 제어부(60)는 터치감지부(22)가 전송한 입력신호를 수신하여 터치 좌표를 추출한다.
이어서, 제어부(60)는 표 1에서 설명한 오브젝트 매핑 테이블(32)을 조회하여 터치 좌표가 터치 발생시의 장면에 포함된 오브젝트와 그 좌표영역에 속하는지를 판단한다. 표 1의 예를 들면, 사용자 터치가 장면 S-001에서 발생했고 추출된 터치 좌표가 (X123~X125, Y95~Y99)일 경우, 이 터치 좌표는 장면 S-001에서 오브젝트 A_01의 좌표영역 (X121~X129, Y87~Y115)에 속한다. 따라서 제어부(60)는 사용자가 오브젝트 A_01을 터치한 것으로 판단하게 된다.
특정 오브젝트가 선택되면, 제어부(60)는 S83 단계에서 사용자가 선택한 오브젝트가 제어가능 오브젝트인지 판별한다. 즉, 제어부(60)는 오브젝트 매핑 테이블(32)을 조회함으로써 사용자가 터치한 오브젝트가 오브젝트 매핑 테이블(32)에서 규정한 제어가능 오브젝트에 속하는지 확인한다. 여기서는 편의상 S82 단계와 S83 단계를 구별하여 설명하였지만, 제어부(60)는 S82 단계에서 터치 좌표 추출 후 오브젝트 매핑 테이블(32)의 조회를 통해 사용자가 오브젝트를 터치했는지, 터치한 오브젝트가 제어 가능한 것인지, 한번에 판단할 수 있다.
한편, 사용자가 터치한 오브젝트가 제어가능 오브젝트가 아니면, 제어부(60)는 S86 단계에서 표시부(24)를 통해 경고 메시지를 출력한다. 즉, 사용자가 동영상을 감상하면서 동영상에 포함된 수많은 오브젝트들 중 어떤 오브젝트가 제어가능한지 알 수 없으므로, 오브젝트 터치 시 사용자에게 시각적으로 피드백을 줌으로써 사용자 편의성을 증대시킨다. 예를 들어, 경고 메시지는 '다른 오브젝트를 선택해 주세요' 또는 '제어 가능한 오브젝트가 아닙니다'라는 문구를 팝업 메시지 형태로 표시할 수 있다. 그리고 나서, 제어부(60)는 S87 단계에서 오브젝트를 다시 선택하기 위한 신호가 감지되는지 판단한다. 이때, 제어부(60)는 특정 오브젝트를 다시 선택하기 위한 요청 신호가 감지되면, 특정 오브젝트를 선택할 수 있는 동영상 재생 화면을 제공할 수 있다. 하지만, 제어부(60)는 다른 오브젝트를 선택하기 위한 신호가 감지되지 않으면, 오류 신호로 인식하여 기능 수행을 종료할 수 있다.
사용자가 터치한 오브젝트가 제어가능 오브젝트이면, 제어부(60)는 S84 단계에서 기울기 변화가 감지되는지 판단한다. 여기서, 제어부(60)는 센서부(40)를 통해 감지되는 기울기 변화를 인식할 수 있다. 예를 들어, 제어부(60)는 단말기(100)가 시계 방향, 시계 반대 방향, 위쪽 방향 또는 아래쪽 방향으로 회전하는 것을 감지할 수 있다. 여기서, 제어부(60)는 센서부(40)의 자이로 센서를 통해 기울기의 변화 즉, 단말기의 각도, 방향 또는 절대 방위 등을 통해 기울기 변화를 구분할 수 있다.
기울기 변화가 발생하면, 제어부(60)는 S85 단계에서 기울기 변화를 분석한다. 이때, 제어부(60)는 기울기 변화의 정도를 분석할 수 있다. 여기서, 제어부(60)는 기울기가 초기값에서 기 설정된 임계값 이상으로 변화하는지 확인하고, 기울기가 기 설정된 임계값 이상으로 변화하고 나서, 초기값으로 리턴하는지 판단한다. 그런 다음, 제어부(60)는 판단된 결과에 따라 특정 오브젝트를 표시하기 위한 시점을 분석할 수 있다. 즉, 제어부(60)는 단말기(100)의 기울기가 초기값에서 임계값 이상으로 변화하고 나서, 다시 리턴 되면, 이를 특정 오브젝트를 다시점으로 표시하기 위한 신호로 판단할 수 있다. 이를 통해 단말기(100)는 사용자 입력에 대한 작동 오류를 줄일 수 있는 효과가 있다.
한편, 제어부(60)는 기울기 변화가 감지되지 않으면, 해당 기능을 수행한다. 여기서, 제어부(60)는 더블 터치 신호(Double) 또는 드래그 앤 드랍(Drag and Drop) 등에 대응하는 기 설정된 기능을 실행하도록 제어한다.
기울기 변화가 분석되면, 제어부(60)는 S89 단계에서 인식된 기울기에 대응하여 특정 오브젝트를 표시한다. 여기서, 제어부(60)는 다양한 방향과 시점에 따라 특정 오브젝트를 표시할 수 있다.
또한, 본 발명의 실시 예에서 제어부(60)는 기울기 변화가 연속적으로 발생하는지 판단할 수 있다. 이때, 제어부(60)는 연속적인 기울기 변화가 발생하면, 발생하는 변화에 따라 대응하는 오브젝트 표시 시점을 확인할 수 있다. 예를 들어, 제어부(60)는 초기 기울기(0도)에서 우측으로 기울기가 90도까지 연속적으로 기울기가 변화하면, 오브젝트가 표시되는 시점을 기울기 변화에 따라 초기 시점에서 우측으로 90도 변화하여 표시할 수 있다. 한편, 제어부(60)는 단계적인 기울기 변화가 발생하면, 발생하는 변화에 따라 대응하는 오브젝트 표시 시점을 확인할 수 있다. 예를 들어, 제어부(60)는 초기 기울기(0도)에서 우측으로 45도로 변화하고, 다시 우측으로 90도까지 단계적으로 변화하면, 오브젝트가 표시되는 시점을 기울기 변화에 따라 초기 시점에서 우측으로 45도 변환하여 표시한 후 다시 90도까지 변환하여 표시할 수 있다.
한편, 본 명세서와 도면에 개시된 본 발명의 실시 예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.
본 발명은 단말기에서 동영상 내의 오브젝트 제어 방법 및 단말기는 터치스크린 인터페이스를 제공하는 단말기에서 동영상에 포함된 특정 오브젝트를 사용자의 기울기 변화에 따라 제어할 수 있다. 이를 통해, 기울기 변화를 감지할 수 있는 단말기에서 동영상을 재생하는 중에 제어관련 메뉴나 아이콘을 띄우지 않고도 오브젝트를 제어하여 다양한 시점 또는 각도에서 오브젝트를 표시할 수 있다. 즉, 각종 휴대단말기, 이동통신단말, 무선단말 등에 유용하게 적용할 수 있다.
도 1은 본 발명의 실시 예에 따른 기울기 변화에 따라 오브젝트를 제어하여 다시점으로 표시하는 방법을 직관적으로 설명하기 위한 화면 예이다.
도 2는 본 발명의 실시 예에 따른 기울기 변화에 따라 오브젝트를 제어하여 다시점으로 표시하는 방법을 직관적으로 설명하기 위한 화면 예이다.
도 3은 본 발명의 실시 예에 따른 기울기 변화에 따라 오브젝트를 제어하여 다시점으로 표시하는 방법을 직관적으로 설명하기 위한 화면 예이다.
도 4는 본 발명에 따른 기울기 변화에 따른 동영상의 오브젝트 제어 방법을 직관적으로 설명하기 위한 화면 예이다.
도 5는 본 발명의 실시 예에 따른 휴대단말기의 구성을 나타내는 블록도이다.
도 6은 본 발명의 실시 예에 따른 기울기 변화에 따른 동영상의 오브젝트 제어 방법을 나타내는 흐름도이다.
<도면의 주요부분에 대한 설명>
10: 통신부 20: 터치스크린
22: 터치감지부 24: 표시부
30: 저장부 40: 센서부
50: 오디오처리부 60: 제어부
62: 동영상 재생부 64: 기울기 인식부
71: 오브젝트 72: 동영상
73: 터치 영역

Claims (11)

  1. 사용자의 요청에 따라 동영상을 표시하고, 터치 입력에 따른 터치 신호를 생성하는 터치스크린;
    단말기의 기울기를 감지하는 센서부; 및
    상기 터치 신호에 의해 상기 동영상에 포함되는 특정 오브젝트가 선택되면, 특정 오브젝트가 제어 가능한 오브젝트인지 판단하고, 상기 특정 오브젝트가 제어 가능한 경우 상기 단말기의 기울기가 변화하는지 감지하고, 상기 기울기가 변화하면 상기 기울기의 변화에 따라 시점을 변경하여 상기 특정 오브젝트를 표시하도록 제어하는 제어부;
    를 포함하는 것을 특징으로 하는 단말기.
  2. 제1항에 있어서, 상기 제어부는
    상기 동영상을 재생하여 상기 터치스크린을 통해 출력하는 동영상 재생기; 및
    상기 센서부를 통해 감지되는 상기 단말기의 기울기를 분석하여 상기 기울기의 변화를 인식하는 기울기 인식부;
    를 포함하는 것을 특징으로 하는 단말기.
  3. 제1항에 있어서,
    상기 특정 오브젝트에 대한 데이터를 저장하는 오브젝트 매핑 테이블과,
    상기 특정 오브젝트가 포함된 동영상, 및 상기 기울기의 변화에 따라 대응하는 오브젝트의 영상을 저장하는 저장부;
    를 더 포함하는 것을 특징으로 하는 단말기.
  4. 단말기는 사용자의 요청에 따라 선택되는 동영상을 출력하는 출력단계;
    상기 단말기는 터치 신호에 의해 상기 동영상에 포함되는 특정 오브젝트가 선택되면, 상기 특정 오브젝트가 제어 가능한 오브젝트인지 판단하는 판단단계;
    상기 특정 오브젝트가 제어 가능한 경우, 상기 단말기는 상기 단말기의 기울기가 변화하는지 감지하는 감지단계;
    상기 기울기가 변화하면, 상기 단말기는 상기 기울기의 변화 정도를 분석하는 분석단계; 및
    상기 단말기는 상기 분석 결과에 따라 시점을 변경하여 상기 특정 오브젝트를 표시하는 표시단계;
    를 포함하는 것을 특징으로 하는 동영상 내의 오브젝트 제어 방법.
  5. 제4항에 있어서, 상기 판단단계는
    상기 단말기는 상기 터치 신호가 발생하는 위치를 판단하는 단계;
    상기 단말기는 상기 터치 신호가 발생하는 위치에 대응하는 오브젝트를 확인하는 단계; 및
    상기 단말기는 오브젝트 매핑 테이블에서 상기 확인된 오브젝트가 제어 가능한 오브젝트에 해당하는지 비교하는 단계;
    를 포함하는 것을 특징으로 하는 동영상 내의 오브젝트 제어 방법.
  6. 제4항에 있어서, 상기 판단단계는
    상기 확인 결과 상기 특정 오브젝트가 제어 불가능한 오브젝트인 경우, 상기 단말기는 경고 메시지를 출력하는 단계;
    를 더 포함하는 것을 특징으로 하는 동영상 내의 오브젝트 제어 방법.
  7. 제4항에 있어서, 상기 판단단계는
    상기 확인 결과 상기 특정 오브젝트가 제어 불가능한 오브젝트인 경우, 상기 단말기는 다른 오브젝트의 선택 여부를 요청하는 단계와,
    상기 단말기는 상기 다른 오브젝트의 선택이 요청되면, 상기 선택된 다른 오브젝트가 제어 가능한 오브젝트인지 판단하는 단계;
    를 더 포함하는 것을 특징으로 하는 동영상 내의 오브젝트 제어 방법.
  8. 제4항에 있어서, 상기 감지단계는
    상기 단말기가 시계 방향, 시계 반대 방향, 위쪽 방향 또는 아래쪽 방향으로의 회전하는 것을 감지하는 것을 특징으로 하는 동영상 내의 오브젝트 제어 방법.
  9. 제4항에 있어서, 상기 분석단계는
    상기 단말기가 기울기의 초기값에서 기 설정된 임계값 이상으로 변화하는지 확인하는 단계;
    상기 기울기가 상기 임계값 이상으로 변화하면, 상기 단말기는 상기 기울기가 상기 초기값으로 리턴하는지 판단하는 단계; 및
    상기 기울기가 상기 초기값으로 리턴하는 경우, 상기 단말기는 상기 특정 오브젝트를 표시하기 위한 시점을 분석하는 단계;
    를 포함하는 것을 특징으로 하는 동영상 내의 오브젝트 제어 방법.
  10. 제9항에 있어서, 상기 분석단계는
    상기 단말기는 상기 기울기가 연속적으로 변화하는지 판단하는 단계와,
    상기 기울기가 연속적으로 변화하면, 상기 단말기는 상기 변화에 대응하는 시점을 구분하는 단계;
    를 더 포함하는 것을 특징으로 하는 동영상 내의 오브젝트 제어 방법.
  11. 제9항에 있어서, 상기 판단단계는
    상기 기울기가 단계적으로 변화하면, 상기 단말기는 상기 변화에 대응하는 시점을 구분하는 단계;
    를 더 포함하는 것을 특징으로 하는 동영상 내의 오브젝트 제어 방법.
KR1020090106611A 2009-11-05 2009-11-05 동영상 내의 오브젝트 제어 방법 및 단말기 KR101104730B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090106611A KR101104730B1 (ko) 2009-11-05 2009-11-05 동영상 내의 오브젝트 제어 방법 및 단말기

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090106611A KR101104730B1 (ko) 2009-11-05 2009-11-05 동영상 내의 오브젝트 제어 방법 및 단말기

Publications (2)

Publication Number Publication Date
KR20110049549A KR20110049549A (ko) 2011-05-12
KR101104730B1 true KR101104730B1 (ko) 2012-01-11

Family

ID=44360671

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090106611A KR101104730B1 (ko) 2009-11-05 2009-11-05 동영상 내의 오브젝트 제어 방법 및 단말기

Country Status (1)

Country Link
KR (1) KR101104730B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101254591B1 (ko) * 2011-07-19 2013-04-15 주식회사 원진 내부 영상 표시 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100605458B1 (ko) 2005-05-24 2006-07-28 주식회사 케이티프리텔 방향 및 기울기에 따라 변화하는 입체 사진을 제공하는이동통신 단말기 및 제공 방법
KR100630154B1 (ko) 2005-08-31 2006-10-02 삼성전자주식회사 지자기 센서를 이용하여 기울어짐 정도에 따라디스플레이를 제어하는 방법 및 그 이동 단말기
KR20070025316A (ko) * 2005-09-01 2007-03-08 삼성전자주식회사 영상 처리 방법, 장치 및 영상 정보를 기록한 정보저장매체
KR20080094355A (ko) * 2007-04-20 2008-10-23 엘지전자 주식회사 이동통신 단말기의 화면 표시 방법 및 이동통신 단말기

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100605458B1 (ko) 2005-05-24 2006-07-28 주식회사 케이티프리텔 방향 및 기울기에 따라 변화하는 입체 사진을 제공하는이동통신 단말기 및 제공 방법
KR100630154B1 (ko) 2005-08-31 2006-10-02 삼성전자주식회사 지자기 센서를 이용하여 기울어짐 정도에 따라디스플레이를 제어하는 방법 및 그 이동 단말기
KR20070025316A (ko) * 2005-09-01 2007-03-08 삼성전자주식회사 영상 처리 방법, 장치 및 영상 정보를 기록한 정보저장매체
KR20080094355A (ko) * 2007-04-20 2008-10-23 엘지전자 주식회사 이동통신 단말기의 화면 표시 방법 및 이동통신 단말기

Also Published As

Publication number Publication date
KR20110049549A (ko) 2011-05-12

Similar Documents

Publication Publication Date Title
US11681430B2 (en) Electronic device using auxiliary input device and operating method thereof
US10101874B2 (en) Apparatus and method for controlling user interface to select object within image and image input device
US9767338B2 (en) Method for identifying fingerprint and electronic device thereof
US9201521B2 (en) Storing trace information
US9465514B2 (en) Method and apparatus for providing a changed shortcut icon corresponding to a status thereof
KR101811219B1 (ko) 손가락 추적을 이용한 휴대 단말기 제어 방법 및 장치
US20150077362A1 (en) Terminal with fingerprint reader and method for processing user input through fingerprint reader
US20140365950A1 (en) Portable terminal and user interface method in portable terminal
KR102191972B1 (ko) 디스플레이 장치가 화면을 디스플레이 하는 방법 및 그 디스플레이 장치
US20140092306A1 (en) Apparatus and method for receiving additional object information
KR20130007956A (ko) 그래픽 오브젝트를 이용한 컨텐츠 제어 방법 및 장치
KR20140030671A (ko) 이동 단말에서의 잠금 해제 방법 및 이를 위한 이동 단말
US20140282204A1 (en) Key input method and apparatus using random number in virtual keyboard
US11354017B2 (en) Display method and mobile terminal
US10838596B2 (en) Task switching method and terminal
KR20150130188A (ko) 지문 인식을 이용한 휴대 단말장치의 제어 방법 및 그 휴대 단말 장치
US20140281962A1 (en) Mobile device of executing action in display unchecking mode and method of controlling the same
JP2021517319A (ja) 動画プレビュー方法及び電子デバイス
KR20140119546A (ko) 사용자 인터페이스 표시 방법 및 장치
US20110074829A1 (en) Mobile communication terminal including touch interface and method thereof
US20140348334A1 (en) Portable terminal and method for detecting earphone connection
KR20140110646A (ko) 사용자 단말 및 사용자 단말에서 화면 표시 방법
KR102106354B1 (ko) 전자장치에서 터치 입력을 이용한 동작 제어 방법 및 장치
KR101104730B1 (ko) 동영상 내의 오브젝트 제어 방법 및 단말기
US9766767B2 (en) Method and apparatus for entering text in portable terminal

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141218

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160105

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170103

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180105

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20191220

Year of fee payment: 9