KR20120027770A - 디스플레이 장치 및 그의 제어 방법 - Google Patents

디스플레이 장치 및 그의 제어 방법 Download PDF

Info

Publication number
KR20120027770A
KR20120027770A KR1020100089547A KR20100089547A KR20120027770A KR 20120027770 A KR20120027770 A KR 20120027770A KR 1020100089547 A KR1020100089547 A KR 1020100089547A KR 20100089547 A KR20100089547 A KR 20100089547A KR 20120027770 A KR20120027770 A KR 20120027770A
Authority
KR
South Korea
Prior art keywords
user
icon
pointer
signal
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020100089547A
Other languages
English (en)
Other versions
KR101781637B1 (ko
Inventor
김보미
박준식
손정훈
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020100089547A priority Critical patent/KR101781637B1/ko
Publication of KR20120027770A publication Critical patent/KR20120027770A/ko
Application granted granted Critical
Publication of KR101781637B1 publication Critical patent/KR101781637B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 디스플레이 장치 및 그의 제어 방법에 관한 것으로, 그 방법은 사용자의 동작을 인식하는 단계; 및 인식된 사용자의 동작에 따라 이동되는 포인터와 함께 사용자가 선택 가능한 기능을 나타내는 적어도 하나의 아이콘을 포인터에 인접하도록 표시하는 단계를 포함한다.

Description

디스플레이 장치 및 그의 제어 방법{Display apparatus and controlling method thereof}
본 발명은 디스플레이 장치의 동작을 제어하는 방법에 관한 것이다.
최근 디지털 방송 수신 장치(Digital Television)는 아날로그 또는 디지털 방싱의 방송 수신 기능 이외에도 전자 프로그램 가이드(Electronic Program Guide; EPG)의 수신, 양방향 통신 기능, 인터넷 접속 기능 등 다양한 기능들을 제공하게 되었다. 또한 디지털 방송 수신 장치는 홈네트워크 환경 또는 유비쿼터스(ubiquitous) 환경에서 서버의 기능까지 담당할 수 있게 되었다.
상기 디지털 방송 수신 장치 등과 같은 디스플레이 장치가 이러한 많은 기능들을 수행할 수 있게 됨에 따라, 사용자가 제어해야 할 사항들도 많아지고 복잡해지게 되었다. 따라서 기존의 적외선 통신 방식의 리모콘으로는 이러한 복잡한 기능들을 효율적으로 제어할 수 없으며, 기능 제어를 위해서는 사용자가 리모콘을 항상 휴대하여야 하는 문제점이 있다.
본 발명은 디스플레이 장치를 효율적으로 제어하는 방법을 제공하는 것을 목적으로 한다.
본 발명의 실시예에 따른 디스플레이 장치 제어 방법은, 사용자의 동작을 인식하여 디스플레이 장치를 제어하며, 사용자의 동작을 인식하는 단계; 및 상기 인식된 사용자의 동작에 따라 이동되는 포인터와 함께, 사용자가 선택 가능한 기능을 나타내는 적어도 하나의 아이콘을 상기 포인터에 인접하도록 표시하는 단계를 포함한다.
본 발명의 실시예에 따른 디스플레이 장치는, 사용자에 의해 수행되는 동작을 인식하는 동작 인식부; 상기 인식된 사용자의 동작에 따라 이동되는 포인터를 화면상에 표시하는 디스플레이부; 및 사용자가 선택 가능한 기능을 나타내는 적어도 하나의 아이콘이 상기 포인터에 인접하여 표시되도록 제어하며, 상기 포인터의 이동에 따라 선택된 아이콘에 대응되는 기능을 실행시키는 제어부를 포함한다.
한편, 상기 디스플레이 장치의 제어 방법은 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
본 발명의 실시예에 따르면, 종래의 리모콘 등과 같은 별도의 장치를 이용하지 아니하고 디스플레이 사용자의 동작을 인식하여 그에 대응되는 기능을 수행하도록 함으로써 사용자의 편의성을 향상시킬 수 있다.
또한, 사용자의 동작에 따라 이동되는 포인터에 인접하도록 디스플레이 장치의 특정 기능을 나타내는 아이콘의 위치를 가변하여 표시함으로써, 메뉴 선택이 용이하고 제어 오류 발생을 감소시킬 수 있다.
도 1은 본 발명의 실시예에 따른 디스플레이 장치의 간략한 구성을 나타내는 블록도이다.
도 2는 사용자의 동작을 인식하여 디스플레이 장치를 제어하는 방법을 설명하기 위한 도면이다.
도 3은 방송 채널 정보를 표시하는 방법에 대한 일실시예를 나타내는 도면이다.
도 4는 본 발명의 또 다른 실시예에 따른 디스플레이 장치의 구성을 나타내는 블록도이다.
도 5은 본 발명에 따른 디스플레이 장치의 제어 방법에 대한 제1 실시예를 나타내는 흐름도이다.
도 6 내지 도 12는 사용자의 동작 또는 그에 대응되는 디스플레이 장치의 기능을 표시하는 방법에 대한 실시예들을 나타내는 도면들이다.
도 13은 본 발명에 따른 디스플레이 장치의 제어 방법에 대한 제2 실시예를 나타내는 흐름도이다.
도 14 및 도 15는 특정 사용자에게 상기 디스플레이 장치에 대한 제어권을 부여하는 방법에 대한 실시예들을 나타내는 도면들이다.
도 16 및 도 17은 사용자의 동작에 따라 포인터(pointer)를 이동시켜 디스플레이 장치의 특정 기능을 실행하는 방법을 나타내는 도면들이다.
도 18은 본 발명에 따른 디스플레이 장치의 제어 방법에 대한 제3 실시예를 나타내는 흐름도이다.
도 19 내지 도 23은 포인터 주변에 가변 표시되는 아이콘을 이용해 디스플레이 장치의 기능을 실행시키는 방법에 대한 실시예를 나타내는 도면들이다.
도 24 내지 도 26은 상기 아이콘을 표시하는 방법에 대한 또 다른 실시예들을 나타내는 도면들이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예에 따른 디스플레이 장치 및 그의 제어 방법에 관하여 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 디스플레이 장치의 간략한 구성을 블록도로 도시한 것으로, 도시된 디스플레이 장치는 동작인식부(10), 제어부(20) 및 디스플레이부(30)를 포함할 수 있다.
예를 들어, 본 발명의 실시예에 따른 디스플레이 장치(100)는 기존의 전파 매체 외에도 각 가정에 연결되어 있는 인터넷 망을 이용하여 실시간 방송, COD(Contents on Demand), 게임, 뉴스, 화상 통신 등 다양한 종류의 컨텐츠 서비스를 사용자에게 제공할 수 있는 디지털 방송 수신 장치(Digital Television)일 수 있다.
상기 인터넷 망을 이용한 컨텐츠 서비스 제공의 예로서 IPTV(Internet Protocol TV)를 들 수 있다. 상기 IPTV는 초고속 인터넷 망을 이용하여 각종 정보 서비스, 동영상 컨텐츠 및 방송 등을 전송하여 사용자의 텔레비전에 제공하는 것을 말한다.
또한, 디스플레이 장치(100)는 상기 IPTV에서 한 단계 더 발전한 네트워크 TV 형태로서, 브로드밴드(broadband) TV, 웹 TV 등일 수 있으며, 상기 브로드밴드 TV 또는 웹 TV는 상기 IPTV와는 달리 다수의 컨텐츠 제공자가 존재하고, 사용자는 다수의 컨텐츠 제공자에게 개별 접속하여, 컨텐츠 제공자가 제공하는 다양한 VOD, 게임 등의 컨텐츠를 제공받을 수 있다.
도 1을 참조하면, 동작인식부(10)는 사용자의 동작, 예를 들어 사용자의 얼굴, 손, 다리 등의 의 신체적인 정보를 인식하며, 그를 위해 사용자의 영상을 촬영하기 위한 카메라 모듈을 구비할 수 있다.
예를 들어, 동작인식부(10)는 도 2에 도시된 바와 같이 디스플레이 장치(100)의 상단 등에 부착된 카메라 모듈(11)을 포함하여, 카메라 모듈(11)을 이용해 사용자(200)의 동작을 인식할 수 있다.
예를 들어, 동작인식부(10)는 디지털 카메라, CMOS 카메라, CCD(Charged Coupled Device) 카메라 등 영상 촬영이 가능한 다양한 장치나 피사체를 감지할 수 있는 각종 센서 장치 등을 포함할 수 있다.
본 발명의 일실시예에 따르면, 동작인식부(10)에 구비된 카메라 모듈은 사용자의 손 모양, 동작 등 손의 제스쳐(gesture)와 관련된 영상을 촬영하여, 사용자의 손 동작을 인식할 수 있다.
예를 들어, 동작인식부(10)는 상기 촬영된 사용자의 영상으로부터 사용자의 손 영역을 구분하며, 그를 위해 사용자 손의 색상 및 손 이외의 배경 색상을 구분하여 사용자의 손 영역을 추출할 수 있다.
또한, 동작인식부(10)는 상기와 같이 추출된 사용자의 손 영역을 이용하여, 사용자의 손 동작, 예를 들어 손의 형상 또는 움직임 등을 인식할 수 있다.
좀 더 구체적으로, 동작인식부(10)는 상기 사용자 손의 움직임을 미리 설정된 x, y, z축 상에서의 좌표 또는 벡터(vector)로 표현할 수 있다.
제어부(20)는 상기 동작인식부(10)에 인식된 사용자의 동작, 예를 들어 사용자의 손동작에 대응되는 디스플레이 장치(100)의 기능을 수행시킬 수 있다.
그를 위해, 사용자의 동작에 의해 수행 가능한 디스플레이 장치(100)의 복수 기능들에 대해 복수의 사용자 동작들이 각각 대응될 수 있으며, 그에 대한 정보, 예를 들어 해당 기능 및 그에 대응되는 사용자의 손동작에 대한 정보가 저장부(미도시)에 저장될 수 있다.
제어부(20)는 동작인식부(10)로부터 입력되는 사용자의 손동작 정보를 상기 저장부(미도시)에 저장된 정보와 비교하고, 일치하는 손동작 정보가 있는 경우 그에 대응되는 디스플레이 장치(100)의 기능을 수행시킬 수 있다.
예를 들어, 사용자(200)가 양손의 엄지와 검지를 벌려 서로 모아주는 형상의 손동작을 취하는 경우, 상기 사용자의 손동작은 디스플레이 장치(100)의 특정 기능, 예를 들어 채널 정보 표시 기능에 대응될 수 있다.
즉, 사용자(200)가 상기와 바와 같은 손동작을 취하는 경우, 동작인식부(10)는 상기 사용자의 손동작의 형상을 인식하여 그에 대한 정보를 제어부(20)로 출력하고, 제어부(20)는 상기 입력된 정보와 대응되는 기능, 즉 방송 채널 정보 표시 기능을 수행할 수 있다.
도 3은 방송 채널 정보를 표시하는 방법에 대한 일실시예를 도시한 것으로, 디스플레이 장치(100)의 화면(10)에 수신 가능한 복수의 방송 채널들, 즉 제1 내지 제12 채널 각각에 대응되는 정보가 표시될 수 있다.
상기 표시되는 방송 채널 정보는 해당 채널의 방송국 명칭, 채널 번호, 상기 채널에서 현재 또는 특정 시간대에 방송되는 컨텐츠의 명칭이나 내용 등을 문자 또는 영상의 형태로 포함할 수 있다.
본 발명의 일실시예로서, 디스플레이 장치(100)의 화면에 표시되는 복수의 방송 채널들에 대한 정보는 각 방송 채널의 영상에 대응되는 이미지, 보다 상세하게는 썸네일 이미지 또는 무비 클립(movie clip) 등을 포함하는 채널 브라우저(channel browser)로 제공될 수 있다.
사용자는 상기와 같이 화면 상에 표시된 방송 채널들에 대한 정보 중 어느 하나를 선택하여, 원하는 채널의 컨텐츠가 재생되도록 할 수 있다.
또한, 사용자(200)가 손바닥을 펼쳐 좌 또는 우로 이동시키는 손동작을 취하는 경우, 상기 사용자의 손동작은 디스플레이 장치(100)의 특정 기능, 예를 들어 채널 전환에 대응될 수 있다.
예를 들어, 사용자(200)가 손바닥을 디스플레이 장치(100)를 향해 펼친 후 우측으로 이동시키면 채널의 번호가 증가하고, 좌측으로 이동시키면 채널의 번호가 감소할 수 있다.
한편, 사용자(200)가 손바닥을 펼쳐 회전시키는 손동작을 취하는 경우, 상기 사용자의 손동작은 디스플레이 장치(100)의 특정 기능, 예를 들어 음성 출력 크기(volume) 조절에 대응될 수 있다.
예를 들어, 사용자(200)가 손바닥을 디스플레이 장치(100)를 향해 펼친 후 시계 방향으로 회전시키면 음성 출력 크기(volume)이 증가하고, 반시계 방향으로으로 이동시키면 음성 출력 크기가 감소할 수 있다.
그리고, 사용자(200)가 주먹을 쥐는 형상의 손동작을 취하는 경우, 상기 사용자의 손동작은 디스플레이 장치(100)의 특정 기능, 예를 들어 메뉴 선택 기능에 대응될 수 있다.
상기한 바와 같은 동작 이외에 제어부(20)는 디스플레이 장치(100)의 전체적인 동작을 제어하며, 예를 들어 디스플레이부(30)가 사용자에 의해 선택된 방송 채널 또는 다양한 컨텐츠들에 해당하는 영상을 표시하도록 제어할 수 있다.
상기 제어부(20) 및 디스플레이부(30)의 구성 및 동작에 대한 구체적인 설명은 이하 도 4를 참조하여 상세히 설명하기로 한다.
도 4는 본 발명의 또 다른 실시예에 따른 디스플레이 장치의 구성을 블록도로 도시한 것이다.
도 4를 참조하면, 디스플레이 장치(100)는 제1 튜너(120), 제2 튜너(125), 외부신호입력부(128), 제1 복조부(130), 제2 복조부(135), 아날로그/디지털 변환부(140), 인터페이스부(150), 제어부(20), 채널 브라우징 처리부(170), 저장부(175), 디스플레이부(30) 및 음성 출력부(185)를 포함할 수 있다.
제1 튜너(120)는 안테나를 통해 수신되는 RF (Radio Frequency) 방송 신호 중 사용자에 의해 선택된 채널에 해당하는 RF 방송 신호를 선택하고, 선택된 RF 방송 신호를 중간 주파수 신호 혹은 베이스 밴드 영상/음성신호로 변환한다.
예를 들어, 선택된 RF 방송 신호가 디지털방송 신호이면 디지털 IF 신호(DIF1)로 변환하고, 아날로그 방송 신호이면 아날로그 베이스 밴드 영상/음성신호(CVBS 1/SIF)로 변환한다. 즉, 제1 튜너(120)는 디지털방송 신호와 아날로그방송 신호를 처리할 수 있는 하이브리드 튜너일 수 있다. 제1 튜너(120)에서 출력되는 아날로그 베이스 밴드 영상/음성신호(CVBS 1/SIF)는 바로 제어부(20)로 입력되는 것도 가능하다.
또한, 제1 튜너(120)는 ATSC(Advanced Television Systems Committee) 방식에 따른 단일 캐리어의 RF 방송 신호 또는 DVB(Digital Video Broadcasting) 방식에 따른 복수 캐리어의 RF 방송 신호를 수신하는 것도 가능하다.
제2 튜너(125)는 제1 튜너(120)과 유사하게, 안테나를 통해 수신되는 RF (Radio Frequency) 방송 신호 중 사용자에 의해 선택된 채널에 해당하는 RF 방송 신호를 선택하고, 선택된 RF 방송 신호를 중간 주파수 신호 혹은 베이스 밴드 영상/음성신호로 변환한다.
한편, 제2 튜너(125)는 본 발명에서 안테나를 통해 수신되는 RF 방송 신호 중 채널기억 기능을 통해 기 저장된 모든 방송 채널의 해당하는 RF 방송 신호를 순차적/주기적으로 선택하여, 이를 중간 주파수 신호 혹은 베이스 밴드 영상/음성신호로 변환하는 것도 가능하다. 본 발명의 실시예에서는 기저장된 다른 채널의 영상도 화면의 적어도 일부에 썸 네일 형태로 도시하므로, 이에 따라 기저장된 모든 채널의 RF 방송 신호를 순차적/주기적으로 수신하는 것이 가능하다.
예를 들어, 제1 튜너(120)는 사용자가 선택한, 메인 RF 방송 신호를 중간 주파수 신호 혹은 베이스 밴드 영상/음성신호로 변환하고, 제2 튜너(125)는 메인 RF 방송 신호를 제외한 모든 RF 방송 신호(서브 RF 방송 신호) 또는 모든 RF 방송 신호를 순차적/주기적으로 선택하여, 이를 중간 주파수 신호 혹은 베이스 밴드 영상/음성신호로 로 변환하는 것이 가능하다.
제1 복조부(130)는 제1 튜너(120)에서 변환된 디지털 IF 신호(DIF 1)를 수신하여 복조 동작을 수행한다.
예를 들어, 제1 튜너(120)에서 출력되는 디지털 IF 신호(DIF 1)가 ATSC 방식인 경우, 제1 복조부(130)는 8-VSB (8-Vestigal Side Band) 복조를 수행한다. 또한, 제1 복조부(130)는 채널 복호화를 수행할 수도 있다.
이를 위해, 제1 복조부(130)는 트렐리스 디코더(Trellis decoder), 디인터리버(de-interleaver) 및 리드 솔로먼 디코더(Reed Solomon decoder) 등을 구비하여, 트렐리스 복호화, 디인터리빙(de-interleaving) 및 리드 솔로먼 복호화를 수행할 수 있다.
예를 들어, 제1 튜너(120)에서 출력되는 디지털 IF 신호(DIF 1)가 DVB 방식인 경우, 제1 복조부(130)는 COFDMA(Coded Orthogonal Frequency Division Modulation) 복조를 수행한다. 또한, 제1 복조부(130)는 채널 복호화를 수행할 수도 있다.
이를 위해, 제1 복조부(130)는 컨벌루션 디코더(convolution decoder), 디인터리버 및 리드-솔로먼 디코더 등을 구비하여, 컨벌루션 복호화, 디인터리빙 및 리드 솔로먼 복호화를 수행할 수 있다.
외부 신호 입력부(128)는 외부 장치와의 신호 입력 등을 수행한다. 이를 위해 외부신호입력부(128)는 A/V 입출력부 및 무선 통신부를 포함할 수 있다.
외부 신호 입력부(128)는 DVD(Digital Versatile Disk), 블루레이(Blu ray), 게임기기, 캠코더, 컴퓨터(노트북) 등과 같은 외부 장치와 연결되어 외부 입력 영상 신호, 외부 입력 음성 신호 및 외부 입력 데이터 신호를 디스플레이 장치(100) 내의 제어부(20)로 전달한다. 또한, 제어부(20) 내에서 처리된 영상 신호, 음성 신호 및 데이터 신호를 다른 외부 장치로 출력할 수 있다.
A/V 입출력부는 외부 장치와의 영상/음성 신호의 입/출력을 입력을 위해, 이더넷(Ethernet) 단자, USB 단자, CVBS(Composite Video Banking Sync) 단자, 컴포넌트 단자, S-비디오 단자(아날로그), DVI(Digital Visual Interface) 단자, HDMI(High Definition Multimedia Interface) 단자, RGB 단자, D-SUB 단자, IEEE 1394 단자, SPDIF 단자, 리퀴드(Liquid) HD 단자 등을 포함할 수 있다.
한편, 도면에서는 도시하지 않았지만, 외부 신호 입력부(128)를 통해 입력되는 다양한 입력 신호는 후술하는 채널 브라우징 처리부(170)에 입력되어 썸네일 영상추출 처리가 수행될 수 있다.
예를 들어, CVBS 단자 및 S-비디오 단자를 통해 입력되는 아날로그 신호는 상술한 바와 같이, 디지털 신호로 변환된 후 채널 브라우징 처리부(170)에 입력될 수 있다. 그 외의 다른 입력 단자를 통해 입력되는 디지털 신호는 아날로그/디지털 변환 없이, 채널 브라우징 처리부(170)에 바로 입력될 수 있다.
여기서, 외부 신호 입력부(128)에서 출력되는 디지털 신호는 스트림 신호일 수 있으며, 예를 들어, MPEG-2 규격의 영상 신호, 돌비(Dolby) AC-3 규격의 음성 신호 등이 다중화된 MPEG-2 TS(Transprt Stream)일 수 있다.
무선 통신부는 무선 인터넷 접속을 수행할 수 있다. 예를 들어, 무선 인터넷 접속을 위해, WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다.
또한, 무선 통신부는 다른 전자기기와 근거리 무선 통신을 수행할 수 있다. 예를 들어, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee) 등이 이용될 수 있다.
한편, 외부신호입력부(128)는 다양한 셋탑 박스와 상술한 각종 단자 중 적어도 하나를 통해 접속되어, 셋탑 박스와 입력/출력 동작을 수행할 수도 있다.
예를 들어, 셋탑 박스가, IP(internet Protocol) TV 용 셋탑 박스인 경우, 양방향 통신이 가능하도록, IPTV 용 셋탑 박스에서 신호 처리된 영상, 음성 및 데이터 신호를 제어부(20)로 전달할 수 있으며, 제어부(20)에서 처리된 신호들을 IPTV 용 셋탑 박스로 전달할 수도 있다.
한편, IPTV 용 셋탑 박스에서 신호 처리된 영상, 음성 및 데이터 신호는 채널 브라우징 처리부(170)를 거쳐 제어부(20)에서 처리되는 것도 가능하다.
한편, 상술한 IPTV는 전송네트워크의 종류에 따라 ADSL-TV, VDSL-TV, FTTH-TV 등을 포함하는 의미일 수 있으며, TV over DSL, Video over DSL, TV overIP(TVIP), Broadband TV(BTV) 등을 포함하는 의미일 수 있다. 또한, IPTV는 인터넷 접속이 가능한 인터넷 TV, 풀브라우징 TV를 포함하는 의미일 수도 있다.
제1 복조부(130)는 복조 및 채널 복호화를 수행하고, 스트림 신호(TS 1)를 출력할 수 있다. 이 때의 스트림 신호(TS 1)는 영상 신호, 음성 신호 및 데이터 신호가 다중화된 신호일 수 있다. 예를 들어, 스트림 신호(TS 1)는 MPEG-2 규격의 영상 신호, 돌비(Dolby) AC-3 규격의 음성 신호 등이 다중화된 MPEG-2 TS(Transprt Stream)일 수 있다. 구체적으로 MPEG-2 TS는 4 바이트(byte)의 헤더와 184 바이트의 페이로드(payload)를 포함할 수 있다.
스트림 신호(TS1)는 제어부(20)에 입력되어, 역다중화 및 신호 처리 등이 수행되게 된다. 본 발명의 실시예에서는 제어부(20)에 입력되기 전에, 채널 브라우징 처리부(170)에 입력되어 채널 브라우징을 위한 처리가 수행된다. 채널 브라우징 동작에 대해서는 후술한다.
한편, 상술한 제1 복조부(130)는 ATSC 방식과, DVB 방식에 따라 각각 별개로 구비되는 것이 가능하다. 즉, ATSC 복조부와, DVB 복조부로 구비되는 것이 가능하다.
제2 복조부(135)는 제2 튜너(125)에서 변환된 디지털 IF 신호(DIF 2)를 수신하여 복조 동작을 수행하고, 스트림 신호(TS 2)를 출력한다. 제2 복조부(135)의 동작은 상술한 제1 복조부(130)의 동작을 참조하여 생략한다.
한편, 제2 튜너(125)에서 출력되는 신호가 아날로그 베이스 밴드 영상신호(CVBS 2)인 경우, 아날로그/디지털 변환부(140)에서 디지털 신호로의 변환 작업이 필요하다.
아날로그/디지털 변환부(140)는 입력되는 아날로그 신호를 디지털 신호로 변환한다. 입력되는 신호가 영상 신호인 경우, 샘플링 및 양자화가 수행되어 디지털 영상 신호(DV)로 변환될 수 있다. 변환된 디지털 신호는 부호화되지 않은 신호일 수 있다. 변환된 디지털 영상 신호(DV)는 채널 브라우징 처리부(170)에 입력되어 처리되게 된다.
인터페이스부(150)는 사용자로부터의 입력 신호를 제어부(20)로 전달하거나, 제어부(20)로부터의 신호를 사용자에게 전달한다. 예를 들어, 인터페이스부(150)는 RF(Radio Frequency) 통신 방식, 적외선(IR) 통신 방식 등 다양한 통신 방식에 따라, 원격제어장치(200)로부터 전원 온/오프, 채널 선택, 화면 설정 등의 사용자 입력 신호를 수신하거나, 제어부(20)로부터의 신호를 원격제어장치(200)로 송신할 수 있다.
본 발명의 일실시예에 따르면, 인터페이스부(150)는 도 1 내지 도 3을 참조하여 설명한 바와 같은 동작인식부(10)를 포함하여 구성될 수 있으며, 그에 따라 사용자의 동작인 인식하여 그에 대한 정보를 제어부(20)로 출력할 수 있다.
제어부(20)는 입력되는 스트림을 역다중화하고 역다중화된 신호들을 신호 처리하여, 영상 및 음성 출력을 위한 신호를 생성하여 출력할 수 있다. 그 외 디스플레이 장치(100) 내의 전반적인 동작을 제어할 수 있다.
도면에서는 도시하지 않았지만, 제어부(20)는 역다중화부, 영상 처리부, 음성 처리부, 사용자 입력 신호 처리부 등을 포함할 수 있다.
제어부(20)는 입력되는 스트림 신호, 예를 들어 MPEG-2 TS 를 역다중화하여, 각각 영상 신호, 음성 신호 및 데이터 신호로 분리할 수 있다.
또한, 제어부(20)는 역다중화된 영상 신호의 영상 처리를 수행할 수 있다. 예를 들어, 역다중화된 영상 신호가 부호화된 영상 신호인 경우, 이를 복호화할 수 있다. 구체적으로, 역다중화된 영상 신호가 MPEG-2 규격의 부호화된 영상 신호인 경우, MPEG-2 디코더에 의해 복호화될 수 있다. 또한, 역다중화된 영상 신호가, DMB(Digital Multimedia Broadcasting) 방식 또는 DVB-H에 따른 H.264 규격의 부호화된 영상 신호인 경우, H.264 디코더에 의해 복호화될 수 있다.
또한, 제어부(20)는 영상 신호의 밝기(brightness), 틴트(Tint) 및 색조(Color) 조절 등을 처리할 수 있다.
제어부(20)에서 영상 처리된 영상 신호는 디스플레이부(30)로 입력되어 디스플레이 되게 된다. 또한, 외부 출력 장치와 연결된 외부 출력 단자로 입력되는 것도 가능하다.
또한, 제어부(20)는 역다중화된 음성 신호의 음성 처리를 수행할 수 있다. 예를 들어, 역다중화된 음성 신호가 부호화된 음성 신호인 경우, 이를 복호화할 수 있다. 구체적으로, 역다중화된 음성 신호가 MPEG-2 규격의 부호화된 음성 신호인 경우, MPEG-2 디코더에 의해 복호화될 수 있다.
또한, 역다중화된 음성 신호가 지상파 DMB(Digital Multimedia Broadcasting) 방식에 따른 MPEG 4 BSAC(Bit Sliced Arithmetic Coding) 규격의 부호화된 음성 신호인 경우, MPEG 4 디코더에 의해 복호화될 수 있다. 또한, 역다중화된 음성 신호가 위성 DMB 방식 또는 DVB-H에 따른 MPEG 2의 AAC(Advanced Audio Codec) 규격의 부호화된 음성 신호인 경우,AAC 디코더에 의해 복호화될 수 있다.
또한, 제어부(20)는 베이스(Base), 트레블(Treble), 음량 조절 등을 처리할 수 있다.
제어부(20)에서 처리된 음성 신호는 음성 출력부(185), 예를 들어 스피커로 입력되어 음성 출력되게 된다. 또한, 외부 출력 장치와 연결된 외부 출력 단자로 입력되는 것도 가능하다.
또한, 제어부(20)는 역다중화된 데이터 신호의 데이터 처리를 수행할 수 있다. 예를 들어, 역다중화된 데이터 신호가 부호화된 데이터 신호인 경우, 이를 복호화할 수 있다. 부호화된 데이터 신호는 각 채널에서 방영되는 방송프로그램의 시작시간, 종료시간 등의 방송정보를 포함하는 EPG(Electronic Progtam Guide) 정보일 수 있다.
예를 들어, EPG 정보는 ATSC방식인 경우, TSC-PSIP(ATSC-Program and System Information Protocol) 정보일 수 있으며, DVB 방식인 경우, DVB-SI(DVB-Service Information) 정보를 포함할 수 있다. ATSC-PSIP 정보 또는 DVB-SI 정보는 상술한 스트림, 즉 MPEG-2 TS의 헤더(4 byte)에 포함되는 정보일 수 있다.
또한, 제어부(20)는 OSD(On Screen Display) 처리를 수행할 수 있다. 구체적으로, 제어부(20)는 영상 처리된 영상 신호와, 데이터 처리된 데이터 신호 중 적어도 하나 및 원격제어장치(200)로부터의 사용자 입력신호에 기초하여, 디스플레이부(30)의 화면 상에 각종 정보를 그래픽(Graphic)이나 텍스트(Text)로 디스플레이하기 위한 신호를 생성할 수 있다. 상기 생성된 신호는 영상 처리된 영상 신호 및 데이터 처리된 데이터 신호와 함께, 디스플레이부(30)에 입력될 수 있다.
상기 그래픽 또는 텍스트 디스플레이를 위하여 생성된 신호는 디스플레이 장치(100)의 사용자 인터페이스 화면, 다양한 메뉴 화면, 위젯, 아이콘 등의 다양한 데이터를 포함할 수 있다.
채널 브라우징 처리부(170)는 수신되는 채널에 해당하는 방송 신호 및 외부 신호입력부(128)를 통해 입력되는 각종 입력 영상 신호 중 적어도 하나에 대해 브라우징 처리를 수행할 수 있다.
구체적으로, 복조부(130, 135)에서 복조 및 채널 복호화된 스트림 신호(TS 1 또는 TS 2)를 입력받거나, 외부입력신호입력부(128)에서의 스트림 신호를 입력받거나, 아날로그/디지털 변환부(140)에서 변환된 디지털 신호(DV)를 입력받아, 스트림 신호(TS 1, 또는 TS 2)를 역다중화하고, 역다중화된 영상 신호들 중 일부를 추출하고, 추출된 영상 신호를 포함하는 영상 신호를 기반으로 다중화하여 새로운 스트림 신호(TSa)를 출력할 수 있다. 예를 들어, 스트림 신호(TSa 또는 TSb)는 MPEG 2 TS 일 수 있다.
또한, 채널 브라우징 처리부(170)는 디스플레이부(30)에 표시되는 영상 신호 중 메인 영역에 표시되는 메인 영상 신호에 해당하는 메인 스트림 신호(TSb)는 별도의 처리없이 그대로 출력할 수 있으며, 디스플레이부(30)에 표시되는 영상 신호 중 서브 영역에 표시되는 서브 영상 신호에 해당하는 서브 스트림 신호(TSa)는 상술한 바와 같이 채널 브라우징 처리를 하여 출력할 수도 있다.
본 발명의 실시예에서는 채널 브라우징 처리부(170)를 통해 복수 채널의 방송 신호의 일부 영상을 추출하여 스트림 형태로 재부호화함으로써, 채널 목록을 디스플레이부(30)에 표시하는 경우, 복수 채널의 방송 신호 영상 중 적어도 일부를 썸네일(thumbnail) 형태로 화면 상에 도시할 수 있게 된다. 이에 따라, 사용자가 직관적으로 다른 채널에서 방송되는 내용을 알 수 있게 된다.
채널 브라우징 처리부(170)는 외부 신호 입력부(128)를 통해 입력되는 각종 외부 입력 영상의 일부 영상을 추출하여 스트림형태로 재부호화함으로써, 외부 입력 목록을 디스플레이부(30)에 표시하는 경우, 복수의 외부 입력 장치로부터의 외부 입력 영상 중 적어도 일부를 썸네일 형태로 화면 상에 도시할 수 있게 된다. 이에 따라, 사용자가 직관적으로 외부 입력 장치에서 입력되는 내용을 알 수 있게 된다.
한편, 채널 브라우징 처리부(170)는 상술한 채널의 방송 신호 영상 및 상술한 외부 입력 영상의 일부 영상을 추출하여 스트림 형태로 재부호화함으로써, 채널 목록 및 외부 입력 목록을 디스플레이부(30)에 표시하는 경우, 복수 채널의 방송 신호 영상 및 복수의 외부 입력 장치로부터의 외부 입력 영상 중 적어도 일부를 썸네일 형태로 화면 상에 도시할 수 있게 된다.
이에 따라 사용자가 직관적으로 복수의 채널 및 외부 입력 장치로부터 입력되는 내용을 알 수 있게 된다.
저장부(175)는 제어부(20) 내의 각 신호 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 신호 처리된 영상 신호, 음성 신호 및 데이터 신호를 저장할 수도 있다.
또한, 저장부(175)는 외부 신호 입력부(128)로부터 입력되는 영상, 음성 또는 데이터 신호의 임시 저장을 위한 기능을 수행할 수도 있다.
한편, 저장부(175)는 채널 기억 기능을 통해 해당하는 방송 채널을 저장할 수 있으며, 그를 위해 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, 롬(EEPROM 등) 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
도면에서는 저장부(175)가 제어부(20)와 별도로 마련되는 것으로 도시하나, 이에 한정되지 않으며, 제어부(20) 내에 포함되어 마련되는 것도 가능하다.
한편, 디스플레이 장치(100)는 저장부(175) 내에 저장되어 있는 파일(동영상 파일, 정지영상 파일, 음악 파일, 문서 파일 등)을 재생하여 사용자에게 제공할 수도 있다.
디스플레이부(30)는 제어부(20)에서 처리된 영상 신호, 데이터 신호, OSD 신호 또는 외부신호입력부(128)에서 수신되는 영상 신호, 데이터 신호 등을 각각 R,G,B 신호로 변환하여 구동 신호를 생성한다.
디스플레이부(30)는 PDP, LCD, OLED, 플렉시블 디스플레이부(flexible display), 3차원 디스플레이부(3D display)등 다양한 형태로 구현되는 것이 가능하다. 또한, 디스플레이부(30)는 터치 스크린으로 구성되어 출력 장치 이외에 입력 장치로 사용되는 것도 가능하다.
음성 출력부(185)는 제어부(20)에서 음성 처리된 신호, 예를 들어, 스테레오 신호, 3.1 채널 신호 또는 5.1 채널 신호를 입력 받아 음성으로 출력한다. 음성 출력부(185)로는 다양한 형태의 스피커로 구현되는 것이 가능하다.
한편, 도 4에서는 디스플레이 장치(100)가 2개의 튜너들(120, 125)를 포함하는 것으로 도시하였으나, 본 발명은 이에 한정되지 않으며, 1 개 또는 3 이상의 튜너를 포함하는 것도 가능하다.
상술한 디스플레이 장치(100)는 고정형으로서 ATSC 방식(8-VSB 방식)의 디지털 방송, DVB-T 방식(COFDM 방식)의 디지털 방송, ISDB-T 방식(BST-OFDM방식)의 디지털 방송 등 중 적어도 하나를 수신 가능한 디지털 방송 수신기일 수 있으며, 또한 이동형으로서 지상파 DMB 방식의 디지털 방송, 위성 DMB 방식의 디지털 방송, ATSC-M/H 방식의 디지털 방송, DVB-H 방식(COFDM 방식)의 디지털 방송, 미디어플로(Media Foward Link Only) 방식의 디지털 방송 등 중 적어도 하나를 수신 가능한 디지털 방송 수신기일 수 있다. 또한, 케이블, 위성통신, IPTV 용 디지털 방송 수신기일 수도 있다.
본 발명의 제1 실시예에 따르면, 인식된 사용자의 동작 또는 그에 대응되어 수행되는 디스플레이 장치의 기능에 대한 정보를 화면상의 인디케이터(indicator)를 이용해 표시함으로써, 디스플레이 장치에서 현재 수행되는 기능에 대한 직관적인 피드백(feedback)을 사용자에게 효율적으로 전달할 수 있으며, 그로 인해 사용자의 제어 동작을 효율적으로 유도하는 동시에 제어 오류 발생을 감소시킬 수 있다.
도 5는 본 발명에 따른 디스플레이 장치의 제어 방법에 대한 제1 실시예를 흐름도로 도시한 것으로, 도 6에 도시된 제어 방법을 도 1 및 도 4에 도시된 디스플레이 장치(100)의 구성과 결부시켜 설명하기로 한다.
도 5를 참조하면, 동작인식부(10)는 사용자의 제1 동작을 인식하고(S1 단계), 상기 인식된 사용자의 제1 동작에 대응하여 인디케이터(indicator)를 실행한다(S2 단계).
예를 들어, 상기 제1 동작은 사용자의 동작을 통해 디스플레이 장치(100)의 제어를 시작하기 위해 미리 설정된 동작일 수 있다.
도 6을 참조하면, 디스플레이 장치(100)의 전방, 예를 들어 동작인식부(10)에서 인식 가능한 디스플레이 장치(100)의 전방 특정 영역에 사용자(200)가 위치하는 경우, 디스플레이 장치(100)는 전원 대기 상태가 되어 화면에 상기 상태를 나타내는 영상이 표시될 수 있다.
또한, 사용자(200)가 디스플레이 장치(100)의 제어를 시작하기 위한 제1 동작, 예를 들어 도 7a에 도시된 바와 같이 한쪽 손을 드는 동작을 하는 경우, 동작인식부(10)는 상기 사용자(200)의 손을 드는 제1 동작을 인식할 수 있다.
그에 따라, 제어부(20)는 상기 인식된 제1 동작에 대응하여 디스플레이 장치(100)가 사용자(200)의 동작에 의해 제어될 수 있는 상태로 설정하고, 디스플레이 장치(100)의 현재 제어 상태를 나타내기 위한 인디케이터(300)가 화면상에 표시되도록 디스플레이부(30)를 제어할 수 있다.
예를 들어, 디스플레이부(30)는 제어부(20)의 제어를 받아, 화면의 하단에 동작인식부(10)를 통해 인식된 사용자의 동작 또는 그에 대응되는 디스플레이 장치(100)의 기능에 대한 정보를 표시하기 위한 인디케이터(300)를 표시할 수 있다.
상기와 같이 인디케이터가 실행된 후, 동작인식부(10)가 사용자의 제2 동작을 인식하면(S3 단계), 디스플레이부(30)는 인디케이터에 상기 인식된 제2 동작 또는 상기 제2 동작에 대응되는 디스플레이 장치(100)의 기능을 표시한다(S4 단계).
그 후, 제어부(20)는 상기 사용자(200)의 제2 동작에 대응되는 디스플레이 장치(100)의 기능을 수행시킬 수 있다.
상기 제2 동작은 사용자 동작에 의해 제어 가능한 디스플레이 장치(100)의 복수 기능들 중 어느 하나에 대응되는 것일 수 있다.
한편, 상기한 바와 같은 인디케이터(300)가 표시되는 위치 또는 방법은 변경 가능할 수 있다.
예를 들어, 도 7b에 도시된 바와 같이 인디케이터(300)는 디스플레이 장치(100)의 화면 내에 부화면으로 표시될 수 있다.
도 8 내지 도 12는 사용자의 손동작에 따라 디스플레이 장치(100)에서 수행되는 기능 및 디스플레이부(30)에서 표시되는 인디케이터 정보에 대한 실시예들을 도시한 것이다.
도 8을 참조하면, 사용자가 양손의 엄지와 검지를 서로 모으는 손동작을 취하는 경우, 디스플레이 장치(100)의 화면상에 상기한 바와 같은 복수의 채널들에 대한 정보 등을 표시하는 채널 브라우저 등이 표시되고, 인디케이터(300)는 상기 사용자의 손동작에 대응되는 기능인 채널 정보 표시를 시각적으로 나타내는 아이콘(301)을 표시할 수 있다.
상기와 같이, 사용자의 손동작에 대응되는 디스플레이 장치(100)의 기능 또는 현재 화면상에서 수행되는 기능에 대한 정보를 인디케이터(300)를 이용해 표시하여 사용자에게 피드백함으로써, 디스플레이 장치(100)의 제어를 위한 사용자의 올바른 손동작을 유도할 수 있으며, 잘못된 손동작 또는 인식에 따른 디스플레이 장치(100)의 오동작을 방지할 수 있다.
도 9를 참조하면, 사용자가 손바닥을 디스플레이 장치(100)의 화면을 향해 펼친 후 좌우로 이동시키는 손동작을 취하는 경우, 디스플레이 장치(100)의 화면상에 변경되는 채널의 영상이 표시되고, 인디케이터(300)는 상기 사용자의 손동작에 대응되는 기능인 채널 변경을 시각적으로 나타내는 아이콘(302)을 표시할 수 있다.
도 10을 참조하면, 사용자가 손바닥을 디스플레이 장치(100)의 화면을 향해 펼친 후 회전시키는 손동작을 취하는 경우, 디스플레이 장치(100)의 화면상에 변경되는 음성 출력 크기가 표시되고, 인디케이터(300)는 상기 사용자의 손동작에 대응되는 기능인 음성 출력 크기 조절을 시각적으로 나타내는 아이콘(303)을 표시할 수 있다.
도 11을 참조하면, 사용자가 손의 주먹을 쥐는 동작을 취하는 경우, 디스플레이 장치(100)의 화면상에 디스플레이 장치(100)의 여러 설정 또는 기능들을 변경할 수 있는 메뉴(menu)가 활성화되고, 인디케이터(300)는 상기 사용자의 손동작에 대응되는 기능인 메뉴 실행을 시각적으로 나타내는 아이콘(304)을 표시할 수 있다.
한편, 사용자(200)가 상기한 바와 같은 메뉴 화면상에서 검색(search)를 선택하는 경우, 도 12에 도시된 바와 같이 디스플레이 장치(100)는 검색을 위한 화면, 예를 들어 검색어 입력 등을 위한 키보드 영상을 표시하고, 인디케이터(300)는 상기 검색 실행을 시각적으로 나타내는 아이콘(305)을 표시할 수 있다.
또한, 상기한 바와 같은 인디케이터(300)는 디스플레이 장치(100)의 제어 가능한 복수의 기능들 각각에 대응되는 사용자의 동작들에 대한 정보를 표시할 수 있으며, 그에 따라 디스플레이 장치(100)의 제어를 위한 사용자의 손동작을 용이하게 유도할 수 있다.
한편, 인디케이터(300)는 미리 설정된 사용자의 손동작들을 시각적인 이미지로 표시할 수 있으며, 사용자가 특정 손동작을 취하는 경우 그에 대응되는 이미지가 하이라이트(highlight)되는 등의 방법을 이용하여 다른 이미지들과 구분될 수 있으며, 그에 따라 현재 디스플레이 장치(100)에서 수행되는 상황이 사용자에게 피드백될 수 있다.
또한, 인디케이터(300)는 미리 설정된 사용자의 손동작들을 텍스트(text)로 표시할 수 있으며, 사용자의 동작에 대한 인식 결과를 나타내는 피드백(feedback) 정보를 표시할 수 있다.
예를 들어, 사용자의 동작에 대응되는 디스플레이 장치(100)의 기능이 존재하는 경우, 즉 디스플레이 장치(100)의 제어를 위한 사용자의 동작이 올바른 경우, 인디케이터(300)는 특정 색, 예를 들어 빨간색을 가지는 아이콘을 표시할 수 있다.
반대로, 사용자의 동작에 대응되는 디스플레이 장치(100)의 기능이 존재하지 않는 경우, 즉 디스플레이 장치(100)의 제어를 위한 사용자의 동작이 올바르지 않은 경우, 인디케이터(300)는 상기 특정 색과 상이한 색상, 예를 들어 파란색을 가지는 아이콘을 표시할 수 있다.
본 발명의 제2 실시예에 따르면, 인식된 특정 사용자에게 동작을 통해 디스플레이 장치(100)를 제어할 수 있는 제어권을 부여하고, 상기 제어권을 가지지 않는 사용자에 의해서는 디스플레이 장치(100)가 제어되지 않도록 함으로써, 사용자의 일상적인 동작 등에 의해 디스플레이 장치(100)가 오동작하는 것을 방지하여, 디스플레이 장치(100)를 효율적으로 제어할 수 있다.
도 13은 본 발명에 따른 디스플레이 장치의 제어 방법에 대한 제2 실시예를 흐름도로 도시한 것으로, 도 13에 도시된 제어 방법을 도 1 및 도 4에 도시된 디스플레이 장치(100)의 구성과 결부시켜 설명하기로 한다.
도 13을 참조하면, 동작인식부(10)가 제1 사용자의 제1 동작을 인식하면(S400 단계), 제어부(20)는 상기 제1 사용자에게 제어권을 부여한다(S410 단계).
상기 제어권은 동작을 통해 디스플레이 장치(100)의 기능을 수행시킬 수 있는 권한이며, 디스플레이 장치(100)는 상기 제어권이 부여된 제1 사용자를 제외한 다른 사용자의 동작에 의해 제어되지 않을 수 있다.
한편, 상기 제1 동작은 상기한 바와 같은 제어권 부여를 위한 미리 설정된 동작일 수 있으며, 예를 들어 도 14에 도시된 바와 같이 디스플레이 장치(100)의 전방에 위치하는 제1 사용자(200)가 한쪽 손을 드는 상기 제1 동작을 함에 의해 제어권을 부여받을 수 있다.
그에 따라, 제어부(20)는 상기 인식된 제1 사용자(200)의 제1 동작, 즉 한쪽 손을 드는 동작에 대응하여 상기 제어권을 제1 사용자(200)에게 부여하고, 제1 사용자(200)를 제외한 다른 사용자들의 동작에 의해서는 디스플레이 장치(100)가 제어되지 않도록 할 수 있다.
도 15를 참조하면, 제1 사용자(200)가 도 14에 도시된 바와 같은 손을 드는 제1 동작을 통해 제어권을 획득한 경우, 제어권이 없는 제2 사용자(210)가 디스플레이 장치(100)를 제어하기 위한 동작을 취하면, 인디케이터(300)에 현재 동작하는 제2 사용자(210)는 제어권이 없어 디스플레이 장치(100)를 제어할 수 없음을 나타내는 아이콘(306)이 표시될 수 있다.
상기와 같이, 특정 사용자, 예를 들어 제1 사용자(200)에게 제어권이 부여되면, 미리 설정된 일정 조건이 만족되기 이전에는 제어권이 제1 사용자(200)에게 부여된 채로 잠금(lock) 상태가 될 수 있다.
따라서, 상기 일정 조건이 만족됨에 따라 제어권이 제1 사용자(200)로부터 회수되어 '자유(free)' 상태가 되기 이전까지는, 제2 사용자(210)는 제어권을 획득하지 못할 수 있다.
한편, 제어권을 가지고 있는 제1 사용자(200)가 디스플레이 장치(100)의 전방, 예를 들어 동작인식부(10)에서 인식 가능한 디스플레이 장치(100)의 전방 특정 영역으로부터 일정 시간 이상 벗어나 있는 경우, 제어권이 제1 사용자(200)로부터 회수되어 '자유(free)' 상태가 될 수 있다.
한편, 화면상에 표시된 인디케이터(300)는 현재 제어권이 어떠한 사용자에게도 부여되지 않은 '자유(free)' 상태임을 나타내는 아이콘(307)을 표시할 수 있다.
이 경우, 제2 사용자(210)는 제어권을 획득하기 위한 동작, 예를 들어 상기한 바와 같은 한쪽 손을 드는 등의 제1 동작을 수행함으로써, 현재 '자유(free)' 상태에 있는 제어권을 부여받을 수 있다.
또는, 상기 제어권이 '자유(free)' 상태이고, 디스플레이 장치(100) 전방 특정 영역에 어느 한 사용자, 예를 들어 제2 사용자(210)만이 위치하는 경우, 상기 제어권이 제2 사용자(210)에게 자동으로 부여될 수도 있다.
상기한 바와 같은 제1 사용자(200)에게 부여된 제어권이 회수되어 '자유(free)' 상태에 있게 되는 조건은 다양하게 설정가능하다.
또한, 제어권을 가지고 있는 제1 사용자(200)가 제어권을 '자유(free)' 상태로 되돌리기 위해 설정된 특정 동작, 예를 들어 제어하던 손을 내리는 동작을 일정 시간 이상 유지하고 있는 경우, 제어권이 제1 사용자(200)로부터 회수되어 '자유(free)' 상태가 될 수 있다.
디스플레이 장치(100) 등이 제어권 초기화 버튼을 구비할 수 있으며, 이 경우 제1 사용자(200)가 상기 초기화 버튼을 누름에 의해 상기한 바와 같이 제어권이 '자유(free)' 상태가 될 수도 있다.
또한, 상기와 같이 특정 사용자에게 부여된 제어권은 미리 설정된 조건 또는 동작에 의해 다른 사용자에게로 변경 또는 이양될 수 있으며, 그에 따라 리모콘 등의 별도의 장치를 구비하지 아니하고 복수의 사용자들이 용이하게 디스플레이 장치를 제어할 수 있다.
도 16 및 도 17은 사용자의 동작에 따라 포인터(pointer)를 이동시켜 디스플레이 장치의 특정 기능을 실행하는 방법을 도시한 것이다.
도 16을 참조하면, 디스플레이 장치(100)의 화면상에 포인터(pointer, 50)가 표시되며, 상기 포인터(50)는 동작 인식부(10)를 통해 인식된 사용자의 동작, 예를 들어 사용자의 손 움직임에 따라 그에 대응되도록 이동될 수 있다.
상기와 같이 포인터(50)가 사용자의 손 움직임에 따라 이동되며, 화면상의 특정 지점, 영역 또는 객체(object)를 지정할 수 있다.
한편, 디스플레이 장치(100) 화면상의 특정 위치, 예를 들어 화면의 하단에 사용자가 선택 가능한 디스플레이 장치의 기능들을 각각 나타내는 아이콘들(icons, 600 내지 640)이 표시될 수 있다.
예를 들어, 제1 아이콘(600)은 도 8을 참조하여 설명한 바와 같은 "채널 정보 표시" 기능을 나타내며, 제2 아이콘(610)은 도 9를 참조하여 설명한 바와 같은 "채널 변경" 기능을 나타내고, 제3 아이콘(620)는 도 10을 참조하여 설명한 바와 같은 "음성 출력 크기 조절" 기능을 나타낼 수 있다.
또한, 제4 아이콘(630)은 도 11을 참조하여 설명한 바와 같은 "메뉴 실행"을 나타내며, 제5 아이콘은 도 12를 참조하여 설명한 바와 같은 "검색" 기능을 나타낼 수 있다.
사용자는 손을 움직여 포인터(50)를 화면에 표시된 복수의 아이콘들(600 내지 640) 중 실행하고자 하는 기능에 대응되는 아이콘이 표시된 영역에 위치시킨 후 해당 아이콘을 선택할 수 있으며, 그에 따라 상기 선택된 아이콘에 대응되는 기능이 실행될 수 있다.
도 17을 참조하면, 사용자는 포인터(50)를 "음성 출력 크기 조절" 기능을 나타내는 제3 아이콘(620)이 표시된 영역으로 이동시켜 상기 제3 아이콘(620)을 선택할 수 있으며, 그에 따라 도 10에 도시된 바와 같이 상기 선택된 제3 아이콘(620)에 대응되는 "음성 출력 크기 조절" 기능이 실행될 수 있다.
본 발명의 실시예에 따르면, 상기한 바와 같은 디스플레이 장치의 특정 기능을 나타내는 아이콘을 고정된 위치, 예를 들어 화면의 하단에 표시하지 아니하고, 상기 포인터(50)에 인접하도록 위치를 가변시켜 표시할 수 있다.
포인터(50)의 위치와 상기 기능 아이콘(funtional icon)의 위치가 인접함에 따라, 특정 기능을 실행시키기 위해 사용자가 포인터(50)를 이동시키는 움직임이 최소화될 수 있으며, 그로 인해 사용자의 동작에 의한 제어 오류 발생을 감소시켜 사용자의 편의성을 향상시킬 수 있다.
도 18은 본 발명에 따른 디스플레이 장치의 제어 방법에 대한 제3 실시예를 흐름도로 도시한 것으로, 도 18에 도시된 제어 방법을 도 1 및 도 4에 도시된 디스플레이 장치(100)의 구성과 결부시켜 설명하기로 한다.
도 18을 참조하면, 디스플레이 장치(100)의 동작인식부(10)는 사용자의 동작을 인식하고(S500 단계), 제어부(20)는 상기 인식된 사용자의 동작에 따라 포인터(50)를 이동시킨다(S510 단계).
예를 들어, 도 16에 도시된 바와 같이 사용자가 한쪽 손을 들어 손바닥을 피는 동작을 취한 상태에서 손을 움직이면, 상기 손이 움직이는 방향에 맞추어 화면상에 표시된 포인터(50)가 이동할 수 있다.
그 후, 동작인식부(10)가 사용자의 제1 동작을 인식하면(S520 단계), 특정 기능을 나타내는 아이콘이 상기 포인터(50)에 인접하여 표시된다(S530 단계).
상기 사용자의 제1 동작은 상기 아이콘의 표시를 위해 미리 설정된 동작일 수 있으며, 사용자가 상기 설정된 제1 동작을 취함에 따라 사용자가 선택 가능한 디스플레이 장치(100)의 기능들을 나타내는 아이콘들이 포인터(50) 주변에 표시될 수 있다.
도 19를 참조하면, 사용자가 포인터(50)를 포인터(50)를 일정 시간 이상 이동시키지 않은 상태에서 상기 설정된 제1 동작, 예를 들어 주먹을 쥐는 동작을 취하는 경우, 디스플레이 장치(100)의 기능들을 각각 나타내는 아이콘들(600 내지 630)이 포인터(50)를 중심으로 일정 거리 내에 표시될 수 있다.
한편, 도 20에 도시된 바와 같이, 사용자가 상기 미리 설정된 제1 동작인 주먹을 쥐는 동작을 종료하면, 즉 손바닥을 다시 피면, 포인터(50) 주변에 표시되었던 아이콘들(600 내지 630)이 화면에서 사라질 수 있다.
또한, 사용자는 상기와 같이 손바닥을 핀 상태로 다시 손을 이동시키면, 그에 대응하여 포인터(50)가 화면상에서 이동할 수 있다.
도 21에 도시된 바와 같이, 포인터(50)가 이동된 후 사용자가 다시 주먹을 쥐는 제1 동작을 취하는 경우, 포인터(50) 주변에 다시 아이콘들(600 내지 630)이 표시될 수 있다.
즉, 사용자가 주먹을 쥐는 것과 같은 미리 설정된 제1 동작을 취함에 따라 표시되는 아이콘들(600 내지 630)의 위치는 고정되지 아니하고, 포인터(50)의 위치에 따라 가변되며 포인터(50)로부터 일정 거리 이내로 인접하게 표시될 수 있다.
도 22를 참조하면, 사용자는 포인터(50) 주변에 표시된 아이콘들(600 내지 630) 중 어느 하나를 선택하여, 상기 선택된 아이콘에 대응되는 기능을 실행시킬 수 있다.
예를 들어, 사용자가 상기 주먹을 쥐는 제1 동작을 취한 상태에서 손을 일정 방향으로 움직이면, 아이콘들(600 내지 630)이 화면에 표시된 채로 포인터(50)가 이동될 수 있다.
그에 따라, 사용자는 실행시키고자 하는 기능에 대응되는 아이콘이 표시된 영역으로 포인터(50)를 이동시켜, 해당 아이콘을 선택할 수 있다.
예를 들어, 사용자는 상기 주먹을 쥐는 제1 동작을 취한 상태에서 손을 움직여 포인터(50)를 "메뉴 실행" 기능을 나타내는 제4 아이콘(630)이 표시된 영역으로 이동시키고, 미리 설정된 제2 동작을 취하여 상기 제4 아이콘(630)에 대응되는 "메뉴 실행" 기능을 실행시킬 수 있다.
상기 사용자의 제2 동작은 포인터(50)가 위치하는 영역의 아이콘을 선택하여 해당 기능을 실행시키기 위해 미리 설정된 동작일 수 있다.
도 23을 참조하면, 사용자가 포인터(50)를 제4 아이콘(630)이 표시된 영역에 위치시킨 후 상기 미리 설정된 제2 동작인 손바닥을 펴는 동작을 취하면, 상기 제4 아이콘(630)에 대응되는 "메뉴 실행" 기능이 실행될 수 있다.
상기 제1, 2 동작은 각각 주먹을 쥐는 동작 및 손바닥을 펴는 동작 이외에 다양한 다른 동작으로 설정될 수 있으며, 예를 들어 사용자가 자신이 취하기 용이한 동작으로 변경할 수도 있다.
도 24 내지 도 26은 상기 아이콘을 표시하는 방법에 대한 또 다른 실시예들을 도시한 것이다.
도 24를 참조하면, 포인터(50) 주변에 표시되는 아이콘들(640, 641, 642, 643)은 사용 빈도가 높은 기능들, 즉 사용자가 선택 가능한 디스플레이 장치(100)의 복수의 기능들 중 과거 일정 기간 동안 사용자에 의해 가장 많이 실행된 소정 개수, 예를 들어 4개의 기능들을 각각 나타낼 수 있다.
한편, 도 25에 도시된 바와 같이, 사용자는 자신이 자주 사용하는 디스플레이 장치(100)의 기능들을 설정하여, 포인터(50) 주변에 아이콘들(650, 651, 652, 653)로 표시되도록 할 수 있다.
예를 들어, 사용자가 자주 사용하는 기능으로 "스크린 리모컨 활성화(Scree Remote" 기능, "검색(Search)" 기능 및 "홈 메뉴(Home Menu)" 기능을 선택하는 경우, 상기 기능들 각각에 대응되는 아이콘들(650, 651, 652)이 "나가기(Exit)" 아이콘(653)과 함께 포인터(50) 주변에 표시될 수 있다.
또한, 포인터(50) 주변에 표시되는 아이콘들의 개수는 사용자의 설정이나 표시 환경 등에 따라 변경될 수 있다.
예를 들어, 사용자가 상기 아이콘의 개수를 2개로 한정하여 설정하는 경우, 도 26에 도시된 바와 같이 포인터(50) 주변에 2 개의 아이콘들(641, 643)이 표시될 수 있다.
한편, 본 발명의 실시예에 따른 디스플레이 장치의 제어 방법은 상기와 같은 디스플레이 장치에 의해 수행되는 것에 한정되지 아니하며, 영상을 표시할 수 있는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(notebook computer), 디지털 방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션 등과 같은 다양한 장치들에 의해 수행될 수 있다.
또한, 상술한 본 발명에 따른 제어 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 제어 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (15)

  1. 사용자의 동작을 인식하여 디스플레이 장치를 제어하는 방법에 있어서,
    사용자의 동작을 인식하는 단계; 및
    상기 인식된 사용자의 동작에 따라 이동되는 포인터와 함께, 사용자가 선택 가능한 기능을 나타내는 적어도 하나의 아이콘을 상기 포인터에 인접하도록 표시하는 단계를 포함하는 디스플레이 장치 제어 방법.
  2. 제1항에 있어서,
    상기 아이콘이 표시되는 위치는 상기 포인터의 위치에 따라 가변되는 디스플레이 장치 제어 방법.
  3. 제1항에 있어서, 상기 표시 단계는
    상기 포인터를 중심으로 일정 거리 이내에 복수의 상기 아이콘들을 배치하는 디스플레이 장치 제어 방법.
  4. 제1항에 있어서, 상기 아이콘은
    채널(channel) 정보 표시, 채널 변경, 음성 출력 크기 조절, 메뉴 선택, 검색, 스크린 리모컨 활성화 및 종료를 포함하는 상기 디스플레이 장치의 기능들 중 어느 하나를 나타내는 디스플레이 장치 제어 방법.
  5. 제4항에 있어서, 상기 표시되는 적어도 하나의 아이콘은
    상기 디스플레이 장치의 기능들 중 사용 빈도수가 가장 높은 소정 개수의 기능을 나타내는 디스플레이 장치 제어 방법.
  6. 제1항에 있어서,
    상기 표시되는 아이콘의 개수 또는 상기 아이콘에 대응되는 기능은 사용자에 설정 가능한 디스플레이 장치 제어 방법.
  7. 제1항에 있어서,
    사용자로부터 상기 아이콘을 선택받는 단계; 및
    상기 선택된 아이콘에 대응되는 기능을 실행시키는 단계를 더 포함하는 디스플레이 장치 제어 방법.
  8. 제1항에 있어서,
    사용자가 상기 포인터를 일정 시간 이상 이동시키지 않은 상태에서 제1 동작을 취하는 경우, 상기 아이콘이 화면상에 표시되는 디스플레이 장치 제어 방법.
  9. 제8항에 있어서,
    사용자가 상기 제1 동작을 종료하는 경우, 상기 아이콘이 화면상에서 사라지는 디스플레이 장치 제어 방법.
  10. 제8항에 있어서,
    사용자가 상기 제1 동작을 취한 상태에서 상기 포인터를 상기 아이콘이 표시된 영역으로 이동시킨 후 제2 동작을 취하는 경우, 상기 아이콘에 대응되는 기능이 실행되는 디스플레이 장치 제어 방법.
  11. 사용자의 동작을 인식하여 제어 가능한 디스플레이 장치에 있어서,
    사용자에 의해 수행되는 동작을 인식하는 동작 인식부;
    상기 인식된 사용자의 동작에 따라 이동되는 포인터를 화면상에 표시하는 디스플레이부; 및
    사용자가 선택 가능한 기능을 나타내는 적어도 하나의 아이콘이 상기 포인터에 인접하여 표시되도록 제어하며, 상기 포인터의 이동에 따라 선택된 아이콘에 대응되는 기능을 실행시키는 제어부를 포함하는 디스플레이 장치.
  12. 제11항에 있어서, 상기 디스플레이부는
    상기 포인터를 중심으로 일정 거리 이내에 복수의 상기 아이콘들을 배치하여 표시하는 디스플레이 장치.
  13. 제11항에 있어서, 상기 제어부는
    사용자가 상기 포인터를 일정 시간 이상 이동시키지 않은 상태에서 제1 동작을 취하는 경우, 상기 아이콘이 화면상에 표시되도록 하는 디스플레이 장치.
  14. 제13항에 있어서, 상기 제어부는
    사용자가 상기 제1 동작을 취한 상태에서 상기 포인터를 상기 아이콘이 표시된 영역으로 이동시킨 후 제2 동작을 취하는 경우, 상기 아이콘에 대응되는 기능을 실행시키는 디스플레이 장치.
  15. 제1항 내지 제10항 중 어느 한 항에 기재된 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020100089547A 2010-09-13 2010-09-13 디스플레이 장치 및 그의 제어 방법 Active KR101781637B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100089547A KR101781637B1 (ko) 2010-09-13 2010-09-13 디스플레이 장치 및 그의 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100089547A KR101781637B1 (ko) 2010-09-13 2010-09-13 디스플레이 장치 및 그의 제어 방법

Publications (2)

Publication Number Publication Date
KR20120027770A true KR20120027770A (ko) 2012-03-22
KR101781637B1 KR101781637B1 (ko) 2017-09-25

Family

ID=46132853

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100089547A Active KR101781637B1 (ko) 2010-09-13 2010-09-13 디스플레이 장치 및 그의 제어 방법

Country Status (1)

Country Link
KR (1) KR101781637B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025075215A1 (ko) * 2023-10-04 2025-04-10 엘지전자 주식회사 디스플레이 장치 및 그 제어 방법

Also Published As

Publication number Publication date
KR101781637B1 (ko) 2017-09-25

Similar Documents

Publication Publication Date Title
US9204077B2 (en) Display device and control method thereof
US9167188B2 (en) Display device and control method thereof
US9591249B2 (en) Method for displaying contents information
KR101661981B1 (ko) 영상표시장치 및 그 동작방법
EP2290956A2 (en) Image display apparatus and method for operating the same
KR101586293B1 (ko) 영상표시장치 및 그 동작방법
KR20150005131A (ko) 영상표시장치 및 영상표시장치 동작방법
KR20110065935A (ko) 영상표시장치의 동작 방법
KR101736177B1 (ko) 디스플레이 장치 및 그의 제어 방법
KR20120028016A (ko) 디스플레이 장치 및 그의 제어 방법
KR101781637B1 (ko) 디스플레이 장치 및 그의 제어 방법
KR101740049B1 (ko) 디스플레이 장치 및 그의 제어 방법
KR101790342B1 (ko) 디스플레이 장치 및 그의 제어 방법
KR101590355B1 (ko) 영상표시장치 및 그 동작방법
KR101676881B1 (ko) 디스플레이 장치 및 그의 제어 방법
KR101669679B1 (ko) 디스플레이 장치 및 그의 제어 방법
KR101738165B1 (ko) 디스플레이 장치 및 그의 제어 방법
KR101635560B1 (ko) 영상표시장치 및 그 동작방법
KR102105459B1 (ko) 영상표시장치 및 영상표시장치 동작방법
KR20110058035A (ko) 영상표시장치 및 그 동작방법
KR101570098B1 (ko) 영상표시장치 및 그 동작방법
KR101588831B1 (ko) 영상표시장치 및 그 동작방법
KR101891614B1 (ko) 휴대 단말기 및 영상표시장치의 동작 방법
KR20110065074A (ko) 영상표시장치 및 그 동작 방법
KR20110064554A (ko) 영상표시장치 및 그 동작방법

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 9

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 9