KR20110049292A - 포인터 인터페이스 제공 방법 및 이를 적용한 디스플레이장치 - Google Patents

포인터 인터페이스 제공 방법 및 이를 적용한 디스플레이장치 Download PDF

Info

Publication number
KR20110049292A
KR20110049292A KR1020090106245A KR20090106245A KR20110049292A KR 20110049292 A KR20110049292 A KR 20110049292A KR 1020090106245 A KR1020090106245 A KR 1020090106245A KR 20090106245 A KR20090106245 A KR 20090106245A KR 20110049292 A KR20110049292 A KR 20110049292A
Authority
KR
South Korea
Prior art keywords
menu item
image
pointer
area
key code
Prior art date
Application number
KR1020090106245A
Other languages
English (en)
Other versions
KR101656099B1 (ko
Inventor
이진석
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020090106245A priority Critical patent/KR101656099B1/ko
Publication of KR20110049292A publication Critical patent/KR20110049292A/ko
Application granted granted Critical
Publication of KR101656099B1 publication Critical patent/KR101656099B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명의 실시 예에 따른 포인터 인터페이스 제공 방법은 적어도 하나 이상의 메뉴 항목이 포함된 영상이 디스플레이되는 단계; 상기 디스플레이되는 영상의 일 영역에 포인터가 표시되는 단계; 상기 포인터가 위치한 영역에 존재하는 메뉴 항목을 확인하는 단계; 및, 상기 확인된 메뉴 항목에 대응되는 키 코드를 발생하는 단계가 포함되어 이루어짐을 특징으로 한다.

Description

포인터 인터페이스 제공 방법 및 이를 적용한 디스플레이장치{Method for providing GUI by pointer and display apparatus thereof}
본 발명은 디스플레이장치에 관한 것으로, 특히 사용자 편의성을 증진시킬 수 있는 포인터 기반의 UI(User Interface)를 사용하는 디스플레이장치 및 그의 포인터 인터페이스 제공 방법에 관한 것이다.
디스플레이장치는 방송을 수신하여 디스플레이하기 위한 장치로서, 상기 디스플레이장치의 대표적인 것이 텔레비전이다.
상기 텔레비전의 사용자는 리모트컨트롤러를 이용하여 자신이 원하는 방송채널 등을 입력한다. 보다 구체적으로는, 리모트컨트롤러에 마련되어 있는 숫자-버튼들을 누르는 조작에 의해, 사용자는 자신이 원하는 방송채널 등을 입력할 수 있게 된다.
그러나, 상기와 같은 방송채널을 입력하기 위한 수단으로 마련된 숫자-버튼들로 인하여, 일반적으로 제공되는 리모트컨트롤러의 크기는 비교적 크다. 하지만, 사용자는 크기가 작은 리모트컨트롤러를 선호한다는 점을 고려할 때, 숫자-버튼들이 없는 리모트컨트롤러를 통해서도 자신이 원하는 방송채널 등을 입력할 수 있는 방안에 대한 모색이 요청된다.
본 발명에 따른 실시 예에서는, 숫자-버튼들이 없이도 자신이 원하는 명령을 입력할 수 있는 방안으로, 포인터를 이용하여 조작 가능한 UI 인터페이스를 제공할 수 있도록 한다.
제안되는 실시 예에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 제안되는 실시 예가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 실시 예에 따른 포인터 인터페이스 제공 방법은 적어도 하나 이상의 메뉴 항목이 포함된 영상이 디스플레이되는 단계; 상기 디스플레이되는 영상의 일 영역에 포인터가 표시되는 단계; 상기 포인터가 위치한 영역에 존재하는 메뉴 항목을 확인하는 단계; 및, 상기 확인된 메뉴 항목에 대응되는 키 코드를 발생하는 단계가 포함되어 이루어짐을 특징으로 한다.
또한, 본 발명의 실시 예에 따른 디스플레이장치는 적어도 하나 이상의 메뉴 항목으로 이루어진 제 1 영상에 사용자 조작에 의해 이동되는 포인터로 이루어진 제 2 영상을 부가하여 디스플레이하는 디스플레이부; 및 상기 포인터의 이동 위치에 대응되는 영역의 제 1 영상을 분석하여 상기 포인터가 위치한 영역에 존재하는 메뉴 항목을 파악하고, 상기 파악한 메뉴 항목에 대응되는 키 코드를 발생시키는 제어부가 포함되어 구성되는 것을 특징으로 한다.
본 발명에 따른 실시 예에 의하면, 포인터 기반으로 UI를 제공하는 디스플레이장치에서, 디스플레이 시스템에 국한된 사용자 메뉴뿐만 아니라, 특정 키 코드를 입력받아야 하는 데이터 방송 및 네트워크 서비스에서도 리모트컨트롤러의 키 대응 없이, 포인터를 통해 선택 조정 동작을 수행할 수 있도록 하여 사용자 편의성을 증진시킬 수 있는 효과가 있다.
제안되는 실시 예에 대해서 기술하여 본다.
이하에서는 본 발명의 구체적인 실시 예를 도면과 함께 상세히 설명하도록 한다. 그러나, 본 발명의 사상이 제시되는 실시 예에 제한된다고 할 수 없으며, 또 다른 구성요소의 추가, 변경, 삭제 등에 의해서 퇴보 적인 다른 발명이나, 본 발명 사상의 범위 내에 포함되는 다른 실시 예를 용이하게 제안할 수 있다.
본 발명에서 사용되는 용어는 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재하였으므로, 단순한 용어의 명칭이 아닌 용어가 가지는 의미로서 본 발명을 파악하여야 함을 밝혀 두고자 한다.
즉, 이하의 설명에 있어서, 단어 '포함하는'은 열거된 것과 다른 구성요소들 또는 단계들의 존재를 배제하지 않는다.
도 1은 본 발명의 실시 예에 따른 디스플레이장치의 구성을 나타낸 도면이 고, 도 2는 본 발명의 실시 예에 따른 리모트컨트롤러의 구성을 나타낸 도면이다.
즉, 본 발명의 실시 예에 따른 디스플레이 시스템은 영상을 디스플레이하는 디스플레이장치(100)와, 상기 디스플레이장치(100)를 조작하기 위한 리모트컨트롤러(200)로 구성된다.
도 1을 참조하면, 본 발명의 실시 예에 따른 디스플레이장치는 방송 수신부(110), 신호 처리부(120), GUI 생성부(130), 디스플레이부(140), 메모리부(150), 수신부(160) 및 제어부(170)를 포함하여 구성된다.
방송 수신부(110)는 외부로부터 방송 데이터를 수신하기 위한 수단으로써, 적어도 하나 이상의 수단을 통해 영상 프로그램을 수신하는 기능을 수행한다.
즉, 상기 방송 수신부(110)는 디지털 방송신호를 수신하는 디지털 튜너, 아날로그방송 신호를 수신하는 아날로그 튜너, 외부 기기가 연결되는 디지털 외부 신호 입력 단자 및 아날로그 외부 신호 입력 단자와, PVR(Personal Video Recorder) 및 DVR(Digital Video Recorder) 같은 디지털 녹화기일 수도 있다.
여기에서, 상기 디지털 신호 입력 단자는 디지털 케이블 방송 신호용 입력 단자 또는 DVD 같은 디지털 외부 재생기가 연결될 수 있는 단자이며, 상기 아날로그 외부 신호 입력 단자는 VCR 신호 입력 단자 또는 아날로그 케이블 방송 신호 입력 단자일 수 있다.
또한, 상기 디지털 튜너는 디지털 방송용 안테나를 통해 입력되는 디지털 방송 신호인 전송 스트림(Transport Stream) 들 중 사용자 선택에 의해 원하는 채널의 전송 스트림을 동조한다. 상기 아날로그 튜너는 아날로그 방송용 안테나를 통해 입력되는 아날로그 방송신호들인 영상 프로그램들 중 사용자 선택에 의해 원하는 채널의 영상 프로그램을 동조한다.
이에 따라, 상기 방송 데이터는 실시간 방송중인 아날로그 텔레비전 방송 프로그램, 디지털 방송 프로그램, 외부 재생기로부터 입력된 재생 프로그램, 녹화 프로그램 및 케이블 방송 프로그램을 모두 포함할 수 있다. 여기서, 상기 방송 데이터는 디지털 신호인 경우, 영상신호, 음성 신호 및 데이터 신호를 모두 포함하여, 아날로그 신호인 경우에는 영상신호와 음성신호만을 포함한다.
상기 방송 수신부(110)를 통해 수신된 방송 데이터는 방송 처리부(120)를 통해 신호처리된 후, 디스플레이부(140)를 통해 디스플레이된다.
이때, 방송 처리부(120)는 MPEG-2 디코더와, 방송 데이터를 디스플레이부(140)의 출력규격에 맞는 수직주파수, 해상도, 화면비율 등에 맞도록 변환하는 스케일러를 포함한다.
여기서, 디스플레이부(140)는 DLP(Digital Light Processing), LCD(Liquid Crystal Display), PDP(Plasma Display Panel), LED(Light Emitting Diode lamp) OLED(Organic Light Emitting Diodes) 등과 같이 다양한 유형의 디스플레이 모듈에 적용 가능하다.
GUI 생성부(130)는 상기 디스플레이장치의 사용 조건 등을 설정하기 위한 메뉴 화면을 생성하여, 상기 방송 수신부(110)를 통해 수신된 영상 데이터에 부가한다. 여기에서, 상기 GUI 생성부(130)는 상기 메뉴 화면을 OSD(On Screen Display) 형태로 생성하며, 상기 OSD 형태로 생성된 데이터는 문자 데이터 또는 그래픽 데이 터일 수 있다.
상기 문자 데이터는 사용자로부터 요청된 영상 프로그램의 수신이 가능하지 않음을 알리는 알림 메시지일 수 있다. 또한, 그래픽 데이터는 사용자 요청 조건을 입력하기 위한 리모트컨트롤러(200)의 포인터일 수 있다. 사용자는 상기 GUI 생성부(130)를 통해 생성된 포인터를 이용하여, 자신이 원하는 메뉴 항목을 선택함으로써, 상기 디스플레이장치의 사용 조건을 변경할 수 있다.
메모리부(150)는 디스플레이장치(100)의 동작에 관련된 소프트웨어, 디스플레이장치(100)의 동작 중에 발생하는 각종 데이터가 저장되어 있다.
상기 메모리부(150)는 EEPROM(Electrically Erasable Programmable Read-Only Memory)으로 구현되고, I2C방식에 따라 후술할 제어부(170)와 연결되는 것이 바람직하다. 또한, 상기 메모리부(150)에는 각종 메뉴항목이 갖는 고유의 패턴 정보가 저장되어 있다. 상기 메뉴 항목이 갖는 고유의 패턴 정보에 대해서는 하기에서 상세히 설명하기로 한다.
수신부(160)는 상기 리모트컨트롤러(200)를 통해 상기 디스플레이장치(100)의 조작을 위해 입력되는 신호를 수신하며, 상기 수신된 신호를 제어부(170)에 전달한다.
제어부(170)는 상기 디스플레이장치(100)의 전반적인 동작을 제어한다.
특히, 상기 제어부(170)는 상기 디스플레이부(140)를 통해 영상이 디스플레이되고 있는 상태에서, 상기 수신부(160)를 통해 특정 지점에 위치한 포인터의 선택(확인) 명령이 입력되면, 상기 포인터의 위치를 파악한다. 그리고, 상기 제어 부(170)는 상기 파악한 포인터 위치에 대응되는 영역에 존재하는 영상을 분석하여, 상기 포인터 위치에 대응되는 영상에 존재하는 메뉴 항목을 파악하고, 상기 파악한 메뉴 항목을 실행시키기 위한 키 코드를 발생한다.
상기 제어부(170)의 동작은 하기에서 더욱 상세히 설명하기로 한다.
도 2를 참조하면, 상기 리모트컨트롤러(200)는 이동 감지부(210), 송신부(220), 리모컨 제어부(230) 및 버튼 입력부(240)를 구비한다.
이동 감지부(210)는 사용자에 이한 리모컨(200) 앞면의 이동을 감지하고, 감지 결과를 후술할 리모컨 제어부(230)에 전달한다. 이동 감지부(210)는 예를 들어, 2축 자이로 센서를 이용하여 구현 가능하다.
버튼 입력부(240)는 전원-버튼, 채널-버튼, 볼륨-버튼, 선택-버튼 등이 마련된다.
리모컨 제어부(230)는 이동 감지부(210)로부터 전달받은 감지 결과를 통해 획득한 이동에 대한 정보(이동 방향, 이동 거리)를 송신부(220)를 통해 상기 디스플레이장치(100)에 전달한다. 특히, 상기 송신부(220)는 상기 리모트컨트롤러(200)의 이동 방향 및 이동 거리에 대한 정보를 상기 디스플레이장치(100)에 구비된 수신부(160)에 전달한다.
도 3 및 4는 도 2의 리모트컨트롤러(200)의 동작을 설명하기 위한 도면이다.
도면을 참조하면, 상기 리모트컨트롤러(200)로는 공간 리모컨이 사용된다.
상기 공간 리모컨은 디스플레이장치(100)로 명 명령을 입력할 수 있는 리모트컨트롤러(200) 종류 중 하나이다. 본 실시 예에서, 공간 리모컨은 디스플레이장 치(100)와 RF 통신규격에 따라 신호를 송수신한다.
도 3에 도시된 바와 같이, 디스플레이장치(100)에는 공간 리모컨(200)에 대응하는 포인터(300)가 표시될 수 있다. 사용자는 공간 리모컨(200)을 상하, 좌우, 앞뒤로 움직이거나 회전할 수 있다. 디스플레이장치(100)에 표시된 포인터(300)는 공간 리모컨(200)의 움직임에 대응한다.
도 4는 공간 리모컨(200)의 움직임에 대응하여 디스플레이장치(100)에 표시되는 포인터(300)가 움직이는 바를 도시하고 있다.
도 4에 도시된 바와 같이, 사용자가 공간 리모컨(200)을 왼쪽으로 이동시키면, 디스플레이장치(100)에 표시된 포인터(300)도 이에 대응하여 왼쪽으로 이동한다. 상기에서 설명한 바와 같이 상기 공간 리모컨(200)은 움직임을 판별할 수 있는 센서를 구비한다. 이에 따라, 상기 공간 리모컨(200)은 상기 센서를 통하여 감지된 움직임에 관한 정보를 디스플레이장치(100)로 전송한다. 디스플레이장치(100)는 공간 리모컨(200)의 움직임에 관한 정보로부터 공간 리모컨(200)의 동작을 판별하고 그에 대응하는 포인터(300)의 좌표값을 산출한다.
도 3 및 도 4는 공간 리모컨(200)의 상하, 좌우 또는 회전에 대응하여 디스플레이부(140)에 표시된 포인터(300)가 이동하는 예를 도시한다. 포인터(300)의 이동속도나 이동방향은 공간 리모컨(200)의 이동속도나 이동방향에 대응할 수 있다.
본 실시 예에서는 공간 리모컨(200)의 동작에 대응하여 디스플레이장치(100)에 표시되는 포인터가 이동하도록 설정되어 있다. 또 다른 예로, 공간 리모컨(200)의 동작에 대응하여 디스플레이장치(100)로 소정 명령이 입력되도록 설정될 수 있 다. 즉, 공간 리모컨(200)의 앞뒤로 움직일 경우 디스플레이장치(100)에 표시되는 영상의 크기가 확대되거나 축소될 수 있다. 따라서 본 실시 예는 본 발명의 권리범위를 제한하지 아니한다.
결론적으로, 상기 공간 리모컨(200) 앞면은 사용자에 의해 가상의 평면(Virtual Plane:VP) 상에서 이동된다. 즉, 상기 공간 리모컨(200) 앞면은 상기 가상의 평면상에서 사용자에 의해 상-방향, 하-방향, 좌-방향, 우-방향 또는 이들을 조합한 방향(예를 들면, 좌상-방향)dmfh 이동 가능하다. 즉, 상기 공간 리모컨(200) 앞면은 어느 방향으로도 이동 가능하다. 여기서, 상기 가상의 평면은 디스플레이 화면과 평행한 평면이다.
이에 따라, 공간 리모컨(200) 앞면이 가상의 평면상에서 이동되면, 디스플레이 화면에 표시된 포인터(300)는 공간 리모컨(200) 앞면이 이동한 방향과 동일한 방향으로 이동된다. 예를 들어, 사용자가 공간 리모컨(200) 앞면을 가상의 평면상에서 상-방향으로 이동시키면 포인터(300)도 상-방향으로 이동하게 되며, 사용자가 공간 리모컨(200) 앞면을 가상의 평면상에서 좌상-방향으로 이동시키면 포인터(300)도 좌상-방향으로 이동하게 된다.
이하, 본 발명의 실시 예에 따른 디스플레이장치의 포인터 인터페이스 제공 동작에 대해 상세히 설명하기로 한다.
도 5는 본 발명의 실시 예에 의해 형성되는 포인터 인터페이스의 일 예를 나타낸 도면이다.
도 5를 참조하면, 디스플레이부(140)에는 상기 방송 수신부(110)를 통해 수 신된 적어도 하나 이상의 메뉴 항목(510)이 포함된 제 1 영상이 표시되고, 상기 제 1 영상의 일 영역에는 상기 리모트컨트롤러(200)에 대응되는 포인터(520)가 표시된다.
여기에서, 상기 제 1 영상은 MHEG(Multimedia and Hypermedia information coding Experts Group) 규격 등의 데이터 방송이나, 네트워크를 통해 서비스되는 네트워크 서비스 방송임이 바람직하다.
일반적인 리모컨에는 상기 데이터 방송이나, 네트워크 서비스 방송에 대한 명령을 입력하기 위한 복수 개의 컬러 버튼이 구비된다. 또한, 상기 데이터 방송이나 네트워크 서비스 방송 화면에는 상기 복수 개의 컬러 버튼에 대한 메뉴 항목이 표시된다.
이때, 상기 표시되는 메뉴 항목은 비활성화된 메뉴 항목이며 이는 단순히 각각의 컬러 버튼에 할당된 메뉴 항목의 도움말을 제공해주기 위한 용도로 제공된다.
이에 따라, 사용자는 상기 화면에 표시되는 비활성화된 메뉴 항목을 보고, 그에 따라 리모컨에서 자신이 원하는 동작에 대한 컬러 버튼을 입력하게 된다.
그러나, 상기와 같은 공간 리모컨(200)에는 한정된 컬러 버튼이 구비되어 있으며, 이로 인해 상기와 같이 일반적인 리모컨에 구비된 컬러 버튼이 구비되지 않게 된다. 이에 따라, 공간 리모컨을 이용하는 사용자는 상기 데이터 방송이나, 네트워크 서비스 방송을 시청하고 있는 도중에 상기 다수의 컬러 버튼에 대응되는 동작을 수행하지 못하게 된다.
따라서, 본 발명의 실시 예에서는 데이터 방송이나, 네트워크 서비스 방송에 서와 같이 약속된 컬러 키-버튼만을 이용하여 수행할 수 동작을 상기 공간 리모컨(200)을 이용하여 수행할 수 있도록 한다.
본 발명의 실시 예에서는 상기와 같은 동작을 수행하는 위해 크게 2가지 실시 예가 제공된다.
제 1 실시 예로, 우선적으로 상기 제어부(170)는 상기 포인터(520)의 이동 위치를 감지하고, 특정 위치에서 상기 공간 리모컨(200)을 통해 확인-버튼이 입력되면, 상기 확인-버튼이 입력된 시점의 포인터 위치를 확인하다. 여기에서, 상기 포인터 위치는 X,Y 좌표값으로 확인된다.
그리고, 상기 제어부(170)는 상기 디스플레이부(140)를 통해 표시되는 제 1 영상에서, 상기 확인한 좌표값에 대응되는 영역을 분석하고, 상기 분석한 영역에 메뉴 항목이 존재하는지를 확인한다.
즉, 도 6에 도시된 바와 같이 상기 제 1 영상에 포함된 메뉴 항목(510)은 제 1 메뉴 항목(610), 제 2 메뉴 항목(620) 및 제 3 메뉴 항목(630)을 포함한다. 여기에서, 상기 제 1 메뉴 항목(610)은 Full Screen을 실행하기 위한 항목으로써, 상기 제 1 메뉴 항목에 대응되는 컬러 버튼, 즉 일반적인 리모컨에 구비된 빨간색의 컬러 버튼을 누르면 상기 Full Screen 동작이 수행된다.
또한, 상기 제 2 메뉴 항목(620)은 New Game을 실행하기 위한 항목으로써, 상기 제 2 메뉴 항목에 대응되는 컬러 버튼, 즉 일반적인 리모컨에 구비된 녹색의 컬러 버튼을 누르면 상기 New Game 동작이 실행된다.
또한, 상기 제 3 메뉴 항목(630)은 Back을 위한 항목으로써, 상기 제 3 메뉴 항목에 대응되는 컬러 버튼, 즉 일반적인 리모컨에 구비된 노란색의 컬러 버튼을 누르면 상기 Back 동작(이전 단계로 진입)이 수행된다.
그러나, 상기 공간 리모컨에는 상기와 같은 컬러 버튼이 구비되어 있지 않으며, 이에 따라 제어부(170)는 상기 각각의 메뉴 항목이 갖는 고유의 패턴 정보를 이용하여, 상기 포인터가 위치한 영역에 존재하는 메뉴 항목을 확인한다.
즉, 상기 제 1 메뉴 항목은 대부분 폰트나 해당 영역이 빨간 색으로 이루어져 있으며, 제 2 메뉴 항목은 녹색, 제 3 메뉴 항목은 노란색으로 이루어져 있다.
이에 따라, 상기 제 1 영상의 전체 영역에 대해 스트링 비교(String compare) 동작을 수행하게 되면, 상기 제 1 영상에서 제 1 메뉴 항목이 존재하는 위치, 제 2 메뉴 항목이 존재하는 위치 및 제 3 메뉴 항목이 존재하는 위치를 확인할 수 있게 된다. 여기에서, 상기 스트링 비교 동작은 본 발명이 속하는 기술 분야에서 이미 공지된 기술이므로, 이에 대한 상세한 설명은 생략한다.
즉, 상기 제어부(170)는 상기 확인한 포인터 위치 값에 대응되는 영역의 영상을 분석하고, 그에 따라 상기 포인터가 위치한 영역에 존재하는 메뉴 항목을 확인한다. 그리고, 상기 제어부(170)는 상기 포인터가 위치한 영역에 존재하는 메뉴 항목이 확인되면, 상기 메뉴 항목을 실행시키기 위한 키 코드를 출력하여, 상기 확인한 메뉴 항목 실행에 대응되는 동작이 이루어지도록 제어한다.
제 2 실시 예로, 상기 제어부(170) 도 7에 도시된 바와 같이 상기 디스플레이되는 메뉴 항목이 포함된 제 1 영상을 일정 개수의 영역으로 분할하고, 그에 따라 상기 분할된 영역별로 상기 스트링 비교 동작을 수행한다. 그리고, 상기 제어 부(170)는 상기 수행한 스트링 비교 동작에 따라 상기 분할된 각각의 영역에 존재하는 메뉴 항목을 파악한다.
즉, 도 7에 도시된 바와 같이, 상기 제 1 영상은 150개의 영역으로 분할되고, 상기 제어부(170)는 상기 분할된 150 개의 영역에 대해 스트링 비교 동작을 수행하여, 각각의 영역에 존재하는 메뉴 항목을 파악한다. 이에 따라, 상기 제어부(170)는 상기 분할된 150개의 영역 중 12개의 영역에 메뉴 항목이 존재하는 것을 파악할 수 있다.
그리고, 상기 제어부(170)는 도 8에 도시된 바와 같이, 상기 포인터가 위치하고, 리모트 컨트롤러(200)의 움직임에 따라 상기 포인터(520)가 이동하는 가상의 층(800)을 형성하고, 상기 형성한 가상의 층(800)을 상기 제 1 영상과 같이 150개의 영역으로 분할한다.
그리고, 상기 제어부(170)는 상기 가상의 층(800)의 분할 영역에서 상기 메뉴 항목이 존재하는 것으로 파악한 12개의 영역을 확인하고, 그에 따라 상기 12개의 영역에 대해서, 해당 영역에 존재하는 메뉴 항목에 대응되는 키 코드를 할당한다.
예를 들어, 상기 가상의 층(800)에서 제 1 영역(810)에 포함된 4개의 영역에는 제 1 메뉴 항목에 대응되는 키 코드가 할당되고, 제 2 영역(820)에 포함된 4개의 영역에는 제 2 메뉴 항목에 대응되는 키 코드가 할당되며, 제 3 영역(830)에 포함된 4개의 영역에는 제 3 메뉴 항목에 대응되는 키 코드가 할당된다.
그리고, 상기 제어부(170)는 상기 리모트컨트롤러(200)의 이동에 따라 상기 가상의 층(800)에서 상기 포인터를 이동시키고, 그에 따라 상기 가상의 층(800)의 특정 영역에서 선택-버튼이 입력되면, 상기 선택-버튼이 입력된 시점의 포인터 위치 영역을 확인하여, 상기 확인한 영역에 할당된 키 코드를 발생시킨다.
상기와 같이, 본 발명에 따른 실시 예에 의하면, 포인터 기반으로 UI를 제공하는 디스플레이장치에서, 디스플레이 시스템에 국한된 사용자 메뉴뿐만 아니라, 특정 키 코드를 입력받아야 하는 데이터 방송 및 네트워크 서비스에서도 리모트컨트롤러의 키 대응 없이, 포인터를 통해 선택 조정 동작을 수행할 수 있도록 하여 사용자 편의성을 증진시킬 수 있는 효과가 있다.
도 9는 본 발명의 제 1 실시 예에 따른 디스플레이장치의 포인터 인터페이스제공 방법을 단계별로 설명하기 위한 흐름도이다.
도 9를 참조하면, 포인터 인터페이스 제공 방법은 먼저, 방송 수신부(110)는 외부로부터 적어도 하나 이상의 메뉴 항목이 포함된 제 1 영상을 수신한다(100단계). 여기에서, 상기 방송 수신부(110)는 외부로부터 데이터 방송이 포함된 방송 신호를 수신하는 튜너일 수도 있고, 네트워크를 통해 제공되는 네트워크 방송을 수신하는 네트워크 인터페이스일 수도 있다.
신호 처리부(120)는 상기 수신된 제 1 영상을 디스플레이 가능하도록 신호처리한다. 그리고, GUI 생성부(130)는 사용자 조작을 위한 포인터를 생성하고, 그에 따라 상기 신호 처리된 제 1 영상이 상기 생성된 포인터가 포함되어 있는 제 2 영상을 부가한다(110단계).
디스플레이부(140)는 상기 제 1 영상에 포인터가 포함된 제 2 영상이 부가된 영상을 디스플레이한다(120단계).
제어부(170)는 상기 포인터가 디스플레이된 상태에서 사용자 조작에 따라 상기 포인터의 위치가 변경되었는지 여부를 판단한다(130단계). 즉, 상기 제어부(170)는 리모트컨트롤러(200)로부터 사용자 조작에 따른 상기 포인터의 변경 위치 정보가 수신되었는지 여부를 판단한다.
상기 제어부(170)는 상기 포인터의 위치가 변경되었다고 판단되면, 상기 리모트컨트롤러(200)를 통해 전송되는 위치 정보를 이용하여, 상기 포인터의 디스플레이 위치를 변경한다(140단계).
그리고, 상기 제어부(170)는 상기 리모트컨트롤러(200)를 통해 선택 명령에 대응되는 키 코드가 전송되었는지 여부를 판단한다(150단계).
상기 제어부(170)는 상기 리모트컨트롤러(200)를 통해 선택 명령에 대응되는 키 코드가 전송되면, 상기 키 코드가 전송된 시점에 위치한 상기 포인터의 위치 정보를 파악한다(160단계). 여기에서, 상기 파악한 포인터의 위치 정보는 좌표 정보(X,Y)임이 바람직하다.
상기 포인터의 위치 정보가 파악되었다면, 상기 제어부(170)는 제 1 영상에서 상기 파악된 위치에 대응되는 영역을 추출한다(160단계).
그리고, 상기 제어부(170)는 상기 추출한 영역을 분석하여, 상기 추출한 영역에 존재하는 메뉴 항목을 파악한다(170단계). 즉, 상기 제어부(170)는 상기 추출한 영역에 대해 스트링 비교 동작을 수행한다.
상기 추출한 영역의 분석이 완료되면, 상기 제어부(170)는 상기 추출한 영역 에 특정 메뉴 항목이 존재하는지 여부를 판단한다(180단계). 즉, 상기 제어부(170)는 상기 영역의 분석 결과 정보와, 각각의 메뉴 항목이 갖는 고유의 패턴 정보를 비교하고, 그에 따라 상기 분석 결과 정보와 일치하는 패턴 정보가 존재하는지 여부를 판단한다.
그리고, 상기 추출한 영역에 메뉴 항목이 존재하면, 상기 제어부(170)는 상기 메뉴 항목에 대응되는 키 코드를 출력한다(190단계). 즉, 상기 메뉴 항목을 실행시키기 위해서, 사용자는 일반적인 리모트 컨트롤러를 이용하여 상기 메뉴 항목에 대응되는 키 버튼을 입력해야 하며, 그에 따라 제어부는 상기 입력되는 키 버튼에 대응되는 키 코드 정보를 출력하여, 상기 메뉴 항목에 대응되는 동작이 실행되도록 한다. 이에 따라, 상기 제어부(170)는 상기 추출한 영역에 메뉴 항목이 존재하면, 상기 메뉴 항목을 실행시키기 위한 키 버튼이 입력되었다고 판단하며, 그에 따라 상기 입력된 키 버튼에 대응되는 키 코드를 출력한다.
도 10은 본 발명의 제 2 실시 예에 따른 디스플레이장치의 포인터 인터페이스 제공 방법을 단계별로 설명하기 위한 흐름도이다.
도 10을 참조하면, 포인터 인터페이스 제공 방법은 도 9를 참조하면, 포인터 인터페이스 제공 방법은 먼저, 방송 수신부(110)는 외부로부터 적어도 하나 이상의 메뉴 항목이 포함된 제 1 영상을 수신한다(200단계). 여기에서, 상기 방송 수신부(110)는 외부로부터 데이터 방송이 포함된 방송 신호를 수신하는 튜너일 수도 있고, 네트워크를 통해 제공되는 네트워크 방송을 수신하는 네트워크 인터페이스일 수도 있다.
그리고, 제어부(170)는 상기 수신된 제 1 영상을 일정 개수의 영역으로 분할한다(210단계). 즉, 상기 제어부(170)는 상기 수신된 제 1 영상을 도 7에 도시된 바와 같이 특정 개수의 영역으로 분할한다.
상기 제어부(170)는 상기 분할된 각각의 영역에 대응되는 영상을 분석하고(220단계), 그에 따라 상기 영상의 분석 결과에 따라 상기 각각의 분할 영역에 존재하는 메뉴 항목을 확인한다(230단계).
그리고, 상기 제어부(170)는 디스플레이 화면상에서 사용자 조작 위한 포인터가 표시될 가상의 층을 형성한다(240단계). 실질적으로 상기 가상의 층은 상기 디스플레이부(140)를 통해 디스플레이되는 영상과 동일한 층으로 이루어져 있지만, 보다 용이한 포인터 위치 검출을 위해 상기 디스플레이되는 영상과 별도로 이루어진 가상의 층을 형성시킨다.
상기 제어부(170)는 상기 제 1 영상의 분할 영역에 대응되게 상기 형성된 가상의 층을 일정 개수의 영역으로 분할한다(250단계). 즉, 상기 제 1 영상과, 상기 포인터가 표시될 가상의 층은 동일 조건에 의해 분할된다.
그리고, 상기 제어부(170)는 상기 확인한 제 1 영상의 각 분할 영역에 존재하는 메뉴 항목을 이용하여 상기 가상의 층의 각 분할 영역에 키 코드를 할당한다. 즉, 예를 들어 상기 제 1 영상의 3행 2열 영역에 제 1 메뉴 항목이 존재하는 경우, 상기 가상의 층의 3행 2열 영역에 상기 제 1 메뉴 항목을 실행시키기 위한 키 코드를 할당한다. 이에 따라, 상기 가상의 층의 각 분할 영역에는 키 코드가 할당되며, 상기 제 1 영상의 형태에 따라 상기 가상의 층에서 키 코드가 할당되지 않는 영역 도 존재하게 된다.
상기 제어부(170)는 상기 수신된 제 1 영상과, 상기 형성한 가상의 층에 포인터가 포함시켜, 디스플레이부(140)에 디스플레이시킨다(270단계).
그리고, 상기 제어부(170)는 상기 리모트컨트롤러(200)를 통해 선택 명령에 대응되는 키 코드가 전송되었는지 여부를 판단한다(280단계). 즉, 상기 제어부(170)는 상기 리모트컨트롤러(200)를 통해 선택 명령에 대응되는 키 코드가 전송되면, 상기 키 코드가 전송된 시점에 위치한 상기 포인터의 위치 정보를 파악하고, 상기 파악한 위치 정보에 대응되는 영역에 할당된 키 코드를 확인한다.
또한, 상기 제어부(170)는 상기 영역에 할당된 키 코드가 확인되었다면, 상기 확인된 키 코드를 출력하여, 상기 선택 명령이 입력된 지점에 존재하는 메뉴 항목을 실행시킨다(290단계).
이와 같이 본 발명에 따른 실시 예에 의하면, 포인터 기반으로 UI를 제공하는 디스플레이장치에서, 디스플레이 시스템에 국한된 사용자 메뉴뿐만 아니라, 특정 키 코드를 입력받아야 하는 데이터 방송 및 네트워크 서비스에서도 리모트컨트롤러의 키 대응 없이, 포인터를 통해 선택 조정 동작을 수행할 수 있도록 하여 사용자 편의성을 증진시킬 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
도 1은 본 발명의 실시 예에 따른 디스플레이장치의 구성을 나타낸 도면.
도 2는 본 발명의 실시 예에 따른 리모트컨트롤러의 구성을 나타낸 도면.
도 3 및 4는 도 2에 도시된 리모트컨트롤러의 동작을 설명하기 위한 도면
도 5는 본 발명의 실시 예에 의해 형성되는 포인터 인터페이스의 일 예를 나타낸 도면.
도 6은 본 발명의 실시 예에 따라 형성되는 메뉴 항목의 일 예를 나타낸 도면.
도 7 및 8은 본 발명의 실시 예에 따른 포인터 인터페이스 동작을 설명하기 위한 도면.
도 9는 본 발명의 제 1 실시 예에 따른 디스플레이장치의 포인터 인터페이스제공 방법을 단계별로 설명하기 위한 흐름도.
도 10은 본 발명의 제 2 실시 예에 따른 디스플레이장치의 포인터 인터페이스 제공 방법을 단계별로 설명하기 위한 흐름도.

Claims (14)

  1. 적어도 하나 이상의 메뉴 항목이 포함된 영상이 디스플레이되는 단계;
    상기 디스플레이되는 영상의 일 영역에 포인터가 표시되는 단계;
    상기 포인터가 위치한 영역에 존재하는 메뉴 항목을 확인하는 단계; 및,
    상기 확인된 메뉴 항목에 대응되는 키 코드를 발생하는 단계가 포함되어 이루어짐을 특징으로 하는 포인터 인터페이스 제공 방법.
  2. 제 1항에 있어서,
    상기 영상에 포함된 메뉴 항목은 비활성화된 메뉴 항목인 것을 특징으로 하는 포인터 인터페이스 제공 방법.
  3. 제 1항에 있어서,
    상기 영상은 데이터 방송과 관련된 메뉴 항목이 포함된 영상인 것을 특징으로 하는 포인터 인터페이스 제공 방법.
  4. 제 1항에 있어서,
    상기 영상은 네트워크 서비스와 관련된 메뉴 항목이 포함된 영상인 것을 특징으로 하는 포인터 인터페이스 제공 방법.
  5. 제 1항에 있어서,
    상기 메뉴 항목을 확인하는 단계는
    상기 포인터가 위치한 영역의 영상을 분석하는 단계와,
    각각의 메뉴 항목이 갖는 고유 패턴 정보를 이용하여, 상기 영상의 분석 결과에 대응되는 메뉴 항목을 확인하는 단계가 포함되어 이루어짐을 특징으로 하는 포인터 인터페이스 제공 방법.
  6. 제 1항에 있어서,
    상기 디스플레이되는 영상에 대응되게 상기 포인터 위치를 분석하기 위한 가상 층을 형성하는 단계; 및,
    상기 형성된 가상 층을 일정 개수의 영역으로 분할하고, 상기 분할된 영역별로 키 코드를 할당하는 단계가 더 포함되어 이루어지는 것을 특징으로 하는 포인터 인터페이스 제공 방법.
  7. 제 6항에 있어서,
    상기 키 코드를 할당하는 단계는
    상기 디스플레이되는 영상을 일정 개수의 영역으로 분할하고, 상기 분할된 영역별로 해당 영역에 존재하는 영상을 분석하는 단계와,
    각각의 메뉴 항목이 갖는 고유 패턴 정보를 기준으로 상기 영상의 각 분할 영역에 존재하는 메뉴항목을 확인하는 단계와,
    상기 영상의 분할 영역에 대응되게 상기 형성한 가상 층을 분할하는 단계와,
    상기 확인한 영상의 각 분할 영역에 존재하는 메뉴 항목을 이용하여, 상기 가상 층의 각 분할 영역에 키 코드를 할당하는 단계가 포함되어 이루어지는 것을 특징으로 하는 포인터 인터페이스 제공 방법.
  8. 제 7항에 있어서,
    상기 포인터는 상기 형성된 가상 층에 디스플레이되며,
    상기 발생되는 키 코드는 상기 가상 층에서 상기 포인터가 위치한 영역에 할당된 키 코드인 것을 특징으로 하는 포인터 인터페이스 제공 방법.
  9. 적어도 하나 이상의 메뉴 항목으로 이루어진 제 1 영상에 사용자 조작에 의해 이동되는 포인터로 이루어진 제 2 영상을 부가하여 디스플레이하는 디스플레이부; 및
    상기 포인터의 이동 위치에 대응되는 영역의 제 1 영상을 분석하여 상기 포인터가 위치한 영역에 존재하는 메뉴 항목을 파악하고, 상기 파악한 메뉴 항목에 대응되는 키 코드를 발생시키는 제어부가 포함되어 구성되는 것을 특징으로 하는 디스플레이장치.
  10. 제 9항에 있어서,
    상기 제 1 영상에 포함된 메뉴 항목은 비활성화된 메뉴 항목인 것을 특징으 로 하는 디스플레이장치.
  11. 제 9항에 있어서,
    상기 제어부는 각각의 메뉴 항목이 갖는 고유의 패턴 정보를 이용하여, 상기 포인터가 위치한 영역에 존재하는 메뉴 항목을 파악하는 것을 특징으로 하는 디스플레이장치.
  12. 제 9항에 있어서,
    상기 디스플레이되는 영상에는
    상기 포인터의 위치를 분석하기 위한 가상 층이 포함되어 형성되는 것을 특징으로 하는 디스플레이장치.
  13. 제 12항에 있어서,
    상기 제어부는 상기 가상 층을 다수의 영역으로 분할하고, 상기 분할된 영역별로 키 코드를 할당하는 것을 특징으로 하는 디스플레이장치.
  14. 제 13항에 있어서,
    상기 제어부는 상기 제 1 영상을 일정 개수의 영역으로 분할하여, 각 영역에 존재하는 메뉴항목을 확인하고, 상기 제 1 영상의 분할 영역별 메뉴 항목에 대응하여, 상기 가상 층의 각 분할 영역에 키 코드를 할당하는 것을 특징으로 하는 디스 플레이장치.
KR1020090106245A 2009-11-05 2009-11-05 포인터 인터페이스 제공 방법 및 이를 적용한 디스플레이장치 KR101656099B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090106245A KR101656099B1 (ko) 2009-11-05 2009-11-05 포인터 인터페이스 제공 방법 및 이를 적용한 디스플레이장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090106245A KR101656099B1 (ko) 2009-11-05 2009-11-05 포인터 인터페이스 제공 방법 및 이를 적용한 디스플레이장치

Publications (2)

Publication Number Publication Date
KR20110049292A true KR20110049292A (ko) 2011-05-12
KR101656099B1 KR101656099B1 (ko) 2016-09-08

Family

ID=44360450

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090106245A KR101656099B1 (ko) 2009-11-05 2009-11-05 포인터 인터페이스 제공 방법 및 이를 적용한 디스플레이장치

Country Status (1)

Country Link
KR (1) KR101656099B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016144044A1 (en) * 2015-03-10 2016-09-15 Samsung Electronics Co., Ltd. Remote controller and method for controlling screen of display apparatus

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000048040A (ja) * 1998-07-29 2000-02-18 Kai:Kk 表示画面上の特定の部分に概念的に情報を設定し、これを検索して表示する方法とこれを実施したプログラム
KR20010009419A (ko) * 1999-07-09 2001-02-05 구자홍 디지털 티브이의 메뉴 표시방법
KR20080074384A (ko) * 2007-02-08 2008-08-13 삼성전자주식회사 방송채널 선택용 gui 제공방법 및 이를 적용한방송수신장치
KR20080089822A (ko) * 2007-04-02 2008-10-08 삼성전자주식회사 사용자 입력장치의 공간상 이동에 기초한 사용자 명령수행방법 및 이를 적용한 영상기기

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000048040A (ja) * 1998-07-29 2000-02-18 Kai:Kk 表示画面上の特定の部分に概念的に情報を設定し、これを検索して表示する方法とこれを実施したプログラム
KR20010009419A (ko) * 1999-07-09 2001-02-05 구자홍 디지털 티브이의 메뉴 표시방법
KR20080074384A (ko) * 2007-02-08 2008-08-13 삼성전자주식회사 방송채널 선택용 gui 제공방법 및 이를 적용한방송수신장치
KR20080089822A (ko) * 2007-04-02 2008-10-08 삼성전자주식회사 사용자 입력장치의 공간상 이동에 기초한 사용자 명령수행방법 및 이를 적용한 영상기기

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016144044A1 (en) * 2015-03-10 2016-09-15 Samsung Electronics Co., Ltd. Remote controller and method for controlling screen of display apparatus

Also Published As

Publication number Publication date
KR101656099B1 (ko) 2016-09-08

Similar Documents

Publication Publication Date Title
CN109618206B (zh) 呈现用户界面的方法和显示设备
EP3319326B1 (en) Image display device and mobile terminal
US9715287B2 (en) Image display apparatus and method for operating the same
EP2428875B1 (en) Image display apparatus and method for operating the same
US9152244B2 (en) Image display apparatus and method for operating the same
CN100562081C (zh) 用于对频道进行诊断与编辑的图像信号接收器及其控制方法
KR100980741B1 (ko) 디스플레이 장치를 제어하기 위한 원격 제어 장치 및 원격 제어 방법
EP2257052A1 (en) Image display device and operation method therefor
CN103339956B (zh) 图像显示设备和操作图像显示设备的方法
KR20140147112A (ko) 매직 리모컨용 디지털 방송 수신기 및 이의 제어 방법
US9363570B2 (en) Broadcast receiving apparatus for receiving a shared home screen
KR102077672B1 (ko) 영상표시장치 및 영상표시장치 동작방법
KR20130019260A (ko) 휴대 단말기의 동작 방법
KR101656099B1 (ko) 포인터 인터페이스 제공 방법 및 이를 적용한 디스플레이장치
US11323763B2 (en) Display apparatus and method of operating the same
KR20100058334A (ko) 디스플레이장치, 디스플레이 시스템 및 디스플레이장치의 제어방법
KR20150057843A (ko) 영상표시장치 및 그 동작 방법
KR101982153B1 (ko) 디스플레이 장치 및 그 동작방법
KR20130081435A (ko) 디스플레이장치 및 그 제어방법
KR101656528B1 (ko) 스크린 리모컨 제공 방법 및 이를 적용한 디스플레이장치
KR20110062703A (ko) 디스플레이장치 및 그의 동작 방법
EP3396968B1 (en) Display apparatus and method of operating the same
KR101634807B1 (ko) 디스플레이장치 및 그의 암호 설정 방법
KR102645570B1 (ko) 사용자 입력에 기반하여 채널 조작 ui를 표시하는 디스플레이 장치 및 디스플레이 장치의 제어 방법
KR102104445B1 (ko) 방송수신장치, 및 그 동작방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant