KR100704622B1 - 멀티스트리밍 오디오 제어를 위한 사용자 인터페이스제공방법 및 장치 - Google Patents

멀티스트리밍 오디오 제어를 위한 사용자 인터페이스제공방법 및 장치 Download PDF

Info

Publication number
KR100704622B1
KR100704622B1 KR1020040077192A KR20040077192A KR100704622B1 KR 100704622 B1 KR100704622 B1 KR 100704622B1 KR 1020040077192 A KR1020040077192 A KR 1020040077192A KR 20040077192 A KR20040077192 A KR 20040077192A KR 100704622 B1 KR100704622 B1 KR 100704622B1
Authority
KR
South Korea
Prior art keywords
audio
panel
content
menu
multistreaming
Prior art date
Application number
KR1020040077192A
Other languages
English (en)
Other versions
KR20060028149A (ko
Inventor
이경주
김진형
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020040077192A priority Critical patent/KR100704622B1/ko
Priority to EP05108262A priority patent/EP1646168A3/en
Priority to US11/222,981 priority patent/US8099666B2/en
Priority to CNB2005101037771A priority patent/CN100351763C/zh
Publication of KR20060028149A publication Critical patent/KR20060028149A/ko
Application granted granted Critical
Publication of KR100704622B1 publication Critical patent/KR100704622B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/0202—Constructional details or processes of manufacture of the input device
    • G06F3/0219—Special purpose keyboards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/10537—Audio or video recording
    • G11B2020/10546—Audio or video recording specifically adapted for audio data
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B2020/10935—Digital recording or reproducing wherein a time constraint must be met
    • G11B2020/10953—Concurrent recording or playback of different streams or files

Abstract

멀티스트리밍 오디오 제어를 위한 사용자 인터페이스 제공방법 및 장치를 제공한다.
멀티스트리밍 오디오 제어를 위한 사용자 인터페이스 제공방법은 사용자로부터 콘텐츠의 팝업메뉴 실행 명령을 받으면 오디오 장치의 멀티스트리밍 모드가 활성화됐는지 판단하는 단계와, 멀티스트리밍 모드인 경우에 상기 콘텐츠의 팝업 메뉴에 각 오디오 패널의 재생 메뉴를 제공하는 단계와, 상기 사용자가 선택한 오디오 패널로 상기 콘텐츠를 재생시키는 단계를 포함한다.
멀티스트리밍, 오디오 패널, 핫키, 사용자 인터페이스

Description

멀티스트리밍 오디오 제어를 위한 사용자 인터페이스 제공방법 및 장치{Method and apparatus for providing user interface for multistreaming audio control}
도 1은 종전의 멀티스트리밍 오디오를 위한 하드웨어 구성을 보여주는 블록도이다.
도 2는 2개의 오디오 패널을 가진 컴퓨터 시스템의 구성을 보여주는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 멀티스트리밍 오디오의 사용자 인터페이스를 설치하는 과정을 보여주는 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 윈도우 팝업메뉴를 보여주는 도면이다.
도 5는 본 발명의 일 실시예에 따른 멀티스트리밍 오디오의 사용자 인터페이스의 동작을 보여주는 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 복수의 모니터를 위한 멀티스트리밍 오디오의 설정을 과정을 보여주는 흐름도이다.
도 7은 본 발명의 다른 실시예에 따른 멀티스트리밍 오디오의 사용자 인터페이스의 동작을 보여주는 흐름도이다.
도 8은 본 발명의 다른 실시예에 따라 키보드의 구성을 보여주는 블록도이 다.
도 9는 도 8의 키보드를 이용한 멀티스트리밍 오디오의 사용자 인터페이스의 동작을 보여주는 흐름도이다.
도 10은 본 발명의 일 실시예에 따른 콘텐츠 재생과정을 보여주는 흐름도이다.
본 발명은 멀티스티리밍 오디오에 관한 것으로서, 보다 상세하게는 멀티스트리밍 오디오를 위한 사용자 인터페이스에 관한 것이다.
디지털 기술과 멀티미디디어 기술의 발달이 발달하게 됨에 따라 사람들은 이전에 볼 수 없었던 고화질의 영상과 고음질의 오디오를 즐길 수 있게 되었다.
오디오 기술의 발전을 살펴보면 과거 모노 오디오에서 스테레오 오디오로, 스테레오 오디오에서 다채널 오디오로 발전하였다. 이에 따라 사람들은 더욱 원음에 가까운 오디오를 즐길 수 있게 되었다. 한편, 최근에는 멀티스트리밍 오디오 기술이 알려졌고, 이에 대한 연구가 활발하다.
최근에 인텔이 발표한 고선명 오디오(HD Audio)는 기존의 AC'97을 대신하여 만든 오디오 인터페이스로서, 멀티스트리밍에 대한 기능을 제공한다.
도 1은 고선명 오디오를 위한 컴퓨터의 구성을 보여주고 있다.
컴퓨터는 CPU(110)와 메모리 콘트롤러(120)와 메모리(130)와 고선명 오디오 콘트롤러(140)를 포함한다. CPU(110)와 메모리 콘트롤러(120)는 호스트 버스로 연결되어 있고, 메모리 콘트롤러(120)와 메모리(130)는 메모리 버스로 연결되어 있다. 메모리 콘트롤러(120)와 고선명 오디오 콘트롤러(140)는 시스템 버스, 예를 들면 PCI 버스로 연결되어 있다.
고선명 오디오 콘트롤러(140)는 오디오 버스를 통해 복수의 고선명 오디오 코덱들(150)과 연결되어 멀티스트리밍 오디오 서비스를 제공한다. 각 컨버터들(160)은 아날로그 오디오 신호를 디지털 오디오 신호로 변환하여 각 고선명 오디오 코덱들(150)에게 전달하거나, 각 고선명 오디오 코덱들(150)로부터 디지털 오디오 신호를 받아 아날로그 오디오 신호를 변환한다. 각 고선명 오디오 코덱들(150)은 디지털 오디오 신호를 디지털 압축방식으로 압축하거나, 압축된 디지털 오디오 데이터로부터 디지털 오디오 신호를 복원한다.
도 2는 2개의 오디오 패널을 가진 컴퓨터 시스템의 구성을 보여주는 블록도이다.
컴퓨터(200)는 두개의 오디오 패널을 갖고 있다. 프론트 패널(210)은 컴퓨터(200)의 케이스 앞쪽부분에 오디오 단자를 제공한다. 사용자는 이어폰 또는 헤드폰을 프론트 패널(210)에서 제공하는 오디오 단자에 연결하여 음악을 듣거나 뉴스를 청취할 때 사용할 수 있다. 리어 패널(220)은 컴퓨터(200)의 케이스 뒤쪽부분에 오디오 단자를 제공한다. 리어 패널(220)이 제공하는 오디오 단자에는 스피커가 연결되어 있다.
멀티스트리밍이 제공되므로 사용자는 프론트 패널(210)과 리어 패널(220) 중 에 어느 한쪽으로 재생된 오디오 파일을 청취할 수 있다. 예를 들면, 사용자는 리어 패널(220)에 연결된 스피커를 통해 영화속의 오디오를 출력하는 도중에 프론트 패널(210)에 연결된 헤드폰을 통해서 음악을 청취할 수도 있다.
이와 같이 멀티스트리밍을 즐기려면 대체적으로 복잡한 과정을 거쳐야 한다. 예를 들어, Windows를 OS로 사용하는 컴퓨터에서 사용자가 서로 다른 패널을 통해 콘텐츠를 실행시키려면 다음과 같은 복잡한 과정을 거쳐야 한다. 즉, 먼저 사용자는 제어판을 열고나서, 제어판창의 사운드 및 오디오 장치 아이콘을 마우스로 더블클릭하여 사운드 및 오디오 장치 등록정보창을 띄운다. 그리고 나서 사용자는 사운드 및 오디오 장치 등록정보창에서 오디오 탭을 마우스로 클릭한 후에, 오디오 탭에서 제공되는 메뉴들 중에서 소리재생 메뉴의 기본장치를 선택한다. 제공되는 기본장치는 리어 패널 오디오와 프론트 패널 오디오이다. 사용자가 콘텐츠를 리어 패널 오디오를 통해 듣고자 하면 리어 패널 오디오를 선택하고, 프론트 패널 오디오를 통해 듣고자 하면 프론트 패널 오디오를 선택한다. 이러한 복잡한 설정은 사용자가 멀티스트리밍을 사용하는데 장애가 될 수 있다.
본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 멀티스트리밍을 위한 편리한 사용자 인터페이스를 제공하는 방법과 장치를 제공하는 것이다.
본 발명의 목적은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이 다.
상기 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 멀티스트리밍 오디오 제어를 위한 사용자 인터페이스 제공방법은 사용자로부터 콘텐츠의 팝업메뉴 실행 명령을 받으면 오디오 장치의 멀티스트리밍 모드가 활성화됐는지 판단하는 단계와, 멀티스트리밍 모드인 경우에 상기 콘텐츠의 팝업 메뉴에 각 오디오 패널의 재생 메뉴를 제공하는 단계와, 상기 사용자가 선택한 오디오 패널로 상기 콘텐츠를 재생시키는 단계를 포함한다.
상기 목적을 달성하기 위하여, 본 발명의 다른 실시예에 따른 멀티스트리밍 오디오 제어를 위한 사용자 인터페이스 제공방법은 사용자로부터 콘텐츠의 팝업메뉴 실행 명령을 받으면 오디오 장치의 멀티스트리밍 모드가 활성화됐는지 판단하는 단계와, 멀티스트리밍 모드인 경우에 상기 콘텐츠의 팝업 메뉴에 각 오디오 패널의 재생 메뉴를 제공하는 단계와, 상기 사용자가 선택한 오디오 패널에 매핑된 모니터로 상기 콘텐츠의 재생 프로그램을 디스플레이하는 단계를 포함한다.
상기 목적을 달성하기 위하여, 본 발명의 또 다른 실시예에 따른 멀티스트리밍 오디오 제어를 위한 사용자 인터페이스 제공방법은 사용자가 콘텐츠 아이콘을 이용하여 콘텐츠의 재생명령을 하면 상기 콘텐츠 아이콘이 복수의 모니터 중 어느 모니터로 디스플레이되는지 확인하는 단계와, 상기 콘텐츠 아이콘이 디스플레이되는 모니터에 매핑된 오디오 패널을 확인하는 단계, 및 상기 오디오 패널로 상기 콘텐츠를 재생하는 단계를 포함한다.
상기 목적을 달성하기 위하여, 본 발명의 또 다른 실시예에 따른 멀티스트리밍 오디오 제어를 위한 사용자 인터페이스 제공방법은 사용자가 오디오 패널의 제어를 위한 핫키를 누르면 상기 핫키의 오디오 패널이 활성화 상태인지를 판단하는 단계와, 상기 선택된 핫키의 오디오 패널이 활성화 상태인 경우에 상기 선택된 핫키의 오디오 패널을 비활성화시키고, 상기 선택된 핫키의 오디오 패널이 비활성화 상태인 경우에 상기 선택된 핫키의 오디오 패널을 활성화시키는 단계를 포함한다.
상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 키보드는 복수의 키 버튼들과 오디오 패널의 제어를 위한 핫키 버튼을 포함하는 키 버튼 모듈과, 사용자가 상기 키 버튼 모듈의 키 버튼을 누르면 상기 누른 키 버튼에 매핑되는 키 신호를 생성하는 키보드 콘트롤러, 및 컴퓨터와 통신하기 위한 네트워크 인터페이스를 포함하며,상기 핫키 버튼으로부터 사용자의 스트로크를 받으면 상기 오디오 패널의 제어를 위한 핫키 신호를 상기 컴퓨터에 전달한다.
상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 컴퓨터 시스템은 오디오 패널의 제어를 위한 핫키 버튼을 포함하는 키 버튼을 포함하는 키보드와, 사용자가 오디오 패널의 제어를 위한 핫키를 누르면 상기 핫키의 오디오 패널이 활성화 상태인지를 판단하고, 상기 핫키의 오디오 패널이 활성화 상태인 경우에 상기 선택된 핫키의 오디오 패널을 비활성화시키고, 상기 선택된 핫키의 오디오 패널이 비활성화 상태인 경우에 상기 선택된 핫키의 오디오 패널을 활성화시키는 사용자 인터페이스를 포함한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있 다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범수를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이하의 실시예에서 두개의 오디오 패널(프론트 패널 및 리어 패널)을 갖는 멀티스트리밍 오디오를 중심으로 설명하지만 이는 예시적인 것으로서, 더 많은 오디오 패널을 갖는 경우도 본 발명의 기술적 사상에 포함되는 것으로 해석되야 한다.
도 3은 본 발명의 일 실시예에 따른 멀티스트리밍 오디오의 사용자 인터페이스를 설치하는 과정을 보여주는 흐름도이다.
먼저 멀티스트리밍 사용자 인터페이스 설치 프로그램을 실행시킨다(S310). 멀티스트리밍 사용자 인터페이스 설치 프로그램은 멀티스트리밍 사용자 인터페이스 설치 프로그램을 컴퓨터에 설치하도록 도와주는 프로그램을 의미한다.
멀티스트리밍 사용자 인터페이스 설치 프로그램은 멀티스트리밍 오디오를 지원하는 사운드 드라이버가 설치되었는지 여부를 판단한다(S320). 사운드 드라이버가 설치되어 있지 않은 경우에 사운드 드라이버를 컴퓨터에 설치한다(S330). 이 때 멀티스트리밍 사용자 인터페이스 설치 프로그램은 사운드 드라이버를 설치할 수 있도록 사용자를 도와준다. 일 실시예에 있어서, 멀티스트리밍 사용자 인터페이스 설치 프로그램은 "사운드 드라이버를 설치하시오"라는 메시지를 모니터에 디스플레이시켜 사용자가 사운드 드라이버를 설치할 수 있도록 한다. 다른 실시예에 있어서, 멀티스트리밍 사용자 인터페이스 설치 프로그램은 사운드 드라이버가 저장되어 있는 위치를 검색하여 사운드 드라이버를 직접 설치한다. 사운드 드라이버가 설치되어 있지 않은 경우에 S330 과정은 생략된다.
사운드 드라이버가 설치된 후에 멀티스트리밍 사용자 인터페이스 설치 프로그램은 사용자 인터페이스 드라이버를 하드디스크드라이브(이하, HDD라 함)에 복사한다. 그리고 나서 멀티스트리밍 사용자 인터페이스 설치 프로그램은 멀티스트리밍 사용자 인터페이스 드라이버를 레지스트리에 등록한다(S350).
설치된 멀티스트리밍 사용자 인터페이스가 제공하는 팝업 메뉴의 예는 도 4를 통해 설명한다.
도 4는 본 발명의 일 실시예에 따른 윈도우 팝업메뉴를 보여주는 도면이다.
사용자가 모니터상에서 마우스 커서(420)로 어느 한 콘텐츠 아이콘(410)을 선택하여 오른쪽 마우스 버튼을 클릭하면 컴퓨터 시스템(사용자 인터페이스)은 팝업 메뉴(430)를 사용자에게 제공된다. 그러나 이는 예시적인 것으로서, 마우스 버튼의 설정에 따라 팝업 메뉴(430)는 왼쪽 마우스 버튼을 클릭할 때 제공될 수도 있고, 제3의 버튼을 눌렀을 때 제공될 수도 있다. 도 4의 윈도우 팝업메뉴(430)는 한글 윈도우즈XP를 OS(Operating System)으로 갖는 컴퓨터의 모니터에 디스플레이 된 화면이다.
팝업 메뉴(430)에는 프론트 패널 재생메뉴(432)와 리어 패널 재생메뉴(434)가 제공된다. 사용자가 프론트 패널 재생메뉴(432)를 선택하면 콘텐츠 아이콘(410)에 매핑된 콘텐츠가 프론트 패널을 통해 재생된다. 즉, 오디오 신호는 프론트 패널에 전달된다. 사용자가 리어 패널 재생메뉴(424)를 선택하면 콘텐츠 아이콘(410)에 매핑된 콘텐츠가 리어 패널을 통해 재생된다. 다시 말하면, 오디오 신호는 리어 패널에 전달된다.
이와 같은 컴퓨터 시스템의 동작을 제공하는 멀티스트리밍 오디오의 사용자 인터페이스의 동작을 이하에서 설명한다.
도 5는 본 발명의 일 실시예에 따른 멀티스트리밍 오디오의 사용자 인터페이스의 동작을 보여주는 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 멀티스트리밍 오디오의 사용자 인터페이스의 동작을 보여주는 흐름도이다.
먼저 사용자가 콘텐츠를 선택한다(S510). 사용자는 콘텐츠 아이콘에 마우스 커서를 갖다댄 후에 마우스 오른쪽 버튼을 클릭하여 콘텐츠를 선택할 수 있다. 마우스 오른쪽 버튼을 누르면 콘텐츠에 관한 팝업 메뉴가 제공되는데, 사용자 인터페이스는 먼저 멀티스트리밍 모드인지를 판단한다(S520). 멀티스트리밍 모드가 아닐 경우에 사용자 인터페이스는 동작하지 않고 컴퓨터의 OS 또는 기타 프로그램이 제공하는 팝업메뉴가 디스플레이된다.
멀티스트리밍 모드일 경우에는 사용자 인터페이스는 팝업메뉴에 프론트 패널 재생 메뉴와 리어 패널 재생 메뉴를 제공한다(S530).
사용자가 마우스의 커서를 움직여 어느 한 재생 메뉴를 선택하면(S540), 사용자 인터페이스는 현재 설정되어 있는 오디오 패널의 재생 메뉴를 선택한 것인지 여부를 판단한다(S550). 예를 들면, 특별한 선택없이 콘텐츠를 재생시킬 때 프론트 패널로 출력되는 경우에 현재 패널은 프론트 패널이다. 사용자가 현재 패널의 재생 메뉴를 선택한 경우에 사용자 인터페이스는 컴퓨터 시스템이 현재 패널로 콘텐츠를 재생시키도록 한다(S560). 만일 현재 패널이 아닌 재생 메뉴를 선택한 경우에는 재생믹서를 변경하고(S570), 컴퓨터 시스템이 선택된 오디오 패널로 콘텐츠를 재생시키도록 한다(S560).
도 6은 본 발명의 일 실시예에 따른 복수의 모니터를 위한 멀티스트리밍 오디오의 설정을 과정을 보여주는 흐름도이다.
먼저 사용자가 모니터를 선택한다(S610). 사용자가 어느 한 모니터 아이콘에 오른쪽 마우스 버튼을 클릭하여 모니터를 선택할 수 있다.
사용자 인터페이스는 컴퓨터 시스템이 멀티스트리밍 모드인지를 판단하고(S620), 멀트스트리밍 모드가 아닌 경우에 멀티스트리밍 모드로 전환한다(S630).
멀티스트리밍 모드에서 사용자 인터페이스는 모니터에 매핑될 수 있는 오디오 패널 메뉴를 포함하는 팝업 메뉴를 제공한다. 예를 들어, 팝업 메뉴에는 프론트 패널 메뉴와 리어 패널 메뉴를 포함한다.
사용자는 제공된 팝업 메뉴에서 어느 한 오디오 패널 메뉴를 선택한다(S650). 사용자 인터페이스는 오디오 패널 메뉴에 의해 선택된 오디오 패널로 선 택된 모니터에 매핑되는 오디오 패널을 결정한다(S650).
모니터에 매핑되는 오디오 패널이 결정된 경우의 동작에 대해서는 도 7을 통해 설명한다.
도 7은 본 발명의 다른 실시예에 따른 멀티스트리밍 오디오의 사용자 인터페이스의 동작을 보여주는 흐름도이다.
본 실시예는 복수의 모니터를 사용하는 컴퓨터 시스템에 적용가능한 멀티스트리밍 오디오 사용자 인터페이스의 동작을 설명한다. 본 실시예에서 복수의 장소들에 대한 비디오 및 오디오 서비스를 제공할 때 유용하게 적용될 수 있다. 예를 들면, 2 장소에 대한 비디오 및 오디오 서비스를 위하여 프론트 패널과 프론트 패널에 매핑된 모니터는 어느 한 장소에 제공되고, 다른 장소에는 리어 패널과 리어 패널에 매핑된 모니터가 제공된다.
구체적으로 살펴보면, 콘텐츠 선택과정(S710)과 멀티스트리밍 모드 판단과정(S720)과 팝업메뉴에 프론트 패널 재생 메뉴와 리어 패널 재생 메뉴를 제공하는 과정(S730) 및 재생 메뉴 선택 과정(S740)은 도 5의 실시예와 동일한다.
사용자가 재생 메뉴를 선택하면, 사용자 인터페이스는 프론트 패널 재생 메뉴가 선택됐는지 여부를 판단한다(S750). 만일 프론트 패널 재생 메뉴가 선택되면 사용자 인터페이스는 컴퓨터 시스템이 프론트 모니터로 콘텐츠를 재생시키도록 한다(S760). 만일 리어 패널 재생 메뉴가 선택되면 사용자 인터페이스는 컴퓨터 시스템이 리어 모니터로 콘텐츠를 재생시키도록 한다(S770).
예를 들어 사용자가 영화 콘텐츠 아이콘에 마우스 커서를 갖다대고 마우스 오른쪽 버튼을 누르면 프론트 패널 재생 메뉴와 리어 패널 재생 메뉴가 화면에 디스플레이 된다. 사용자가 프론트 패널 재생 메뉴를 선택하면, 영화는 프론트 패널에 매핑된 모니터를 통해서 디스플레이되며, 프론트 패널을 통해 오디오 파일이 재생된다.
이와 같이 멀티스트리밍 오디오를 위한 사용자 인터페이스는 팝업메뉴 형태로 제공될 수도 있으나, 키보드를 통해 하드웨어로 제공될 수도 있다.
도 8은 본 발명의 다른 실시예에 따라 키보드의 구성을 보여주는 블록도이다.
도 8의 윗쪽 그림은 키보드(800)의 외관을 보여주고 있다. 키보드(800)에는 복수의 키 버튼들을 포함하고 있고, 멀티스트리밍 오디오 제어를 위한 핫키 버튼들(810, 820)을 포함하고 있다.
핫키(810)은 프론트 패널의 활성화여부를 결정하는데 사용되며, 핫키 버튼(820)은 리어 패널의 활성화여부를 결정하는데 사용된다. 한편 키보드는 각 오디오 패널의 활성화여부를 표시하는 오디오 패널 램프들(812, 822)을 더 포함할 수 있다. 예를 들어, 프론트 패널이 활성화상태이고 리어 패널이 비활성화상태이면 오디오 패널 램프(812)는 켜지고 오디오 패널 램프(822)는 꺼진다. 반대로 프론트 패널이 비활성화상태이고 리어 패널이 활성화상태이면 오디오 패널 램프(812)는 꺼지고 오디오 패널 램프(822)는 켜진다. 한편, 두 오디오 패널이 모두 활성화상태라면 오디오 패널 램프들(812, 822)은 모두 켜지고, 멀티스트리밍 모드가 비활성화상태이면 오디오 패널 램프들(812, 822)은 모두 꺼진다.
두개의 오디오 패널을 제어하기 위한 두개의 핫키 버튼을 포함하는 키보드는 예시적인 것으로서, 3개 이상의 오디오 패널를 제어하기 위한 핫키 버튼을 포함하는 키보드도 구현가능하다. 또한 핫키 버튼을 별도로 두지 않고 일반 키 버튼들의 조합을 통해 핫키 기능을 구현할 수 있다. 예를 들면, 윈도우즈 OS에서 Ctr과 Alt 및 Delete 키의 조합으로 재부팅을 하는 것과 마찬가지로 여러 키들의 조합으로 핫키 기능을 구현할 수도 있다.
키보드(800)는 키 버튼 모듈(842)와 키보드 센서(840)와 키보드 콘트롤러(830) 및 네트워크 인터페이스(860)를 포함한다. 키 버튼 모듈(842)은 복수의 키 버튼들과 핫키 버튼들을 포함한다. 사용자가 어느 키 버튼을 누르면 키보드 센서(840)는 이를 감지하고 키보드 콘트롤러(830)는 누른 키 버튼에 매핑되는 키 신호를 생성한다. 키 신호는 네트워크 인터페이스(860)를 통해 컴퓨터로 전달된다. 한편, 키보드(800)는 컴퓨터로부터 각 오디오 패널의 활성화여부에 대한 정보를 제공받아 LED(Light Emitting Diode) 모듈(850)로 각 오디오 패널의 활성화여부를 표시한다. 네트워크 인터페이스(860)는 유선방식으로 컴퓨터와 키보드(800)가 통신하게 할 수도 있지만, 무선방식도 가능하다.
이 상의 설명에서 모듈(module)이라는 용어는 소프트웨어 구성요소(software component) 또는 FPGA(field-programmable gate array) 또는 ASIC(application-specific integrated circ사용자 인터페이스t)과 같은 하드웨어 구성요소(hardware component)를 의미하며, 모듈은 어떤 역할들을 수행한다.
도 9는 도 8의 키보드를 이용한 멀티스트리밍 오디오의 사용자 인터페이스의 동작을 보여주는 흐름도이다.
먼저 사용자가 핫키를 선택한다(S910). 사용자는 키보드의 핫키 버튼을 눌러 핫키를 선택할 수도 있다.
사용자가 핫키를 선택하면, 사용자 인터페이스는 먼저 컴퓨터가 멀티스트리밍 모드에 있는지 여부를 판단한다(S920). 멀티스트리밍 모드에 있지 않은 경우에 사용자 인터페이스는 컴퓨터를 멀티스트리밍 모드로 전환한다(S930).
멀티스트리밍 상태에서 사용자 인터페이스는 선택된 핫키의 패널(핫키에 매핑된 오디오 패널)이 활성화상태인지를 판단한다(S940).
활성화상태인 경우에는 선택된 핫키의 패널을 비활성화시킨다(S950). 이 때 사용자 인터페이스는 키보드에서 핫키의 패널이 비활성화상태임을 표시할 수 있도록 핫키의 패널이 비활성화상태라는 정보를 키보드에 제공한다.
비활성화상태인 경우에는 선택된 핫키의 패널을 활성화시킨다(S960). 이 때 사용자 인터페이스는 키보드에서 핫키의 패널이 활성화상태임을 표시할 수 있도록 핫키의 패널이 활성화상태라는 정보를 키보드에 제공한다.
도 10은 본 발명의 일 실시예에 따른 콘텐츠 재생과정을 보여주는 흐름도이다.
사용자가 콘텐츠 아이콘을 더블클릭한다(S1010). 그러면 사용자 인터페이스는 듀얼 모니터 상태인지를 판단한다(S1020). 듀얼 모니터 상태가 아닌 경우에는 현재 패널(현재 설정되어 있는 오디오 패널)을 확인하고(S1070), 현재 패널로 콘텐츠를 재생한다(S1080).
듀얼 모니터 상태인 경우에 사용자 인터페이스는 모니터에 매핑되는 오디오 패널이 설정되었는지를 판단한다(S1030). 모니터에 매핑되는 오디오 패널이 설정되지 않은 상태라면 S1070과 S1080과정을 거친다. 모니터에 매핑되는 오디오 패널이 설정되어 있는 경우라면 콘텐츠 아이콘의 위치를 확인한다(S1040). 즉, 사용자 인터페이스는 콘텐츠 아이콘이 어떤 모니터에서 디스플레이되는지를 확인한다.
콘텐츠 아이콘의 위치를 확인한 사용자 인터페이스는 콘텐츠 아이콘이 디스플레이되는 모니터에 매핑된 오디오 패널을 확인한다(S1050). 그리고 나서 모니터에 매핑되는 오디오 패널로 콘텐츠를 재생한다(S1060). 예를 들어 모니터에 매핑된 오디오 패널이 프론트 패널인 경우에, 프론트 패널로 콘텐츠의 오디오를 재생한다.
본 명세서에 개시된 실시예와 도면에 의해 본 발명은 한정되지 않으며 그 발명의 기술사상 범위내에서 당업자에 의해 다양한 변형이 이루어질 수 있음은 물론이다.
본 발명의 실시예에 따르면, 복잡한 과정없이 사용자는 단순히 마우스를 클릭하거나 핫키를 누름으로써 멀티스트리밍 오디오를 제어할 수 있다. 또한, 본 발명의 실시예에 따르면 복수의 모니터를 포함하는 컴퓨터 시스템에서 모니터와 오디오 패널의 관계를 설정할 수 있다.

Claims (13)

  1. 사용자로부터 콘텐츠의 팝업메뉴 실행 명령을 받으면 오디오 장치의 멀티스트리밍 모드가 활성화됐는지 판단하는 단계;
    멀티스트리밍 모드가 활성화된 경우에 상기 콘텐츠의 팝업 메뉴에 각 오디오 패널의 재생 메뉴를 제공하는 단계; 및
    상기 사용자가 선택한 오디오 패널로 상기 콘텐츠를 재생시키는 단계를 포함하는 멀티스트리밍 오디오 제어를 위한 사용자 인터페이스 제공방법.
  2. 제1항에 있어서,
    상기 콘텐츠의 팝업 메뉴에는 두 개의 오디오 패널의 실행 메뉴가 제공되는, 멀티스트리밍 오디오 제어를 위한 사용자 인터페이스 제공방법.
  3. 제1항에 있어서,
    상기 재생시키는 단계에서 상기 선택된 오디오 패널이 현재 오디오 패널이 아닌 경우에 재생믹서를 선택된 패널로 변경한 후에 상기 콘텐츠를 재생하는, 멀티스트리밍 오디오 제어를 위한 사용자 인터페이스 제공방법.
  4. 사용자로부터 콘텐츠의 팝업메뉴 실행 명령을 받으면 오디오 장치의 멀티스트리밍 모드가 활성화됐는지 판단하는 단계;
    멀티스트리밍 모드가 활성화인 경우에 상기 콘텐츠의 팝업 메뉴에 각 오디오 패널의 재생 메뉴를 제공하는 단계;
    상기 사용자가 선택한 오디오 패널에 매핑된 모니터로 상기 콘텐츠의 재생 프로그램을 디스플레이하는 단계를 포함하는 멀티스트리밍 오디오 제어를 위한 사용자 인터페이스 제공방법.
  5. 제4항에 있어서,
    상기 콘텐츠의 팝업 메뉴에는 두개의 오디오 패널의 실행 메뉴가 제공되며 각 패널에는 하나의 모니터가 매핑된, 멀티스트리밍 오디오 제어를 위한 사용자 인터페이스 제공방법.
  6. 사용자가 콘텐츠 아이콘을 이용하여 콘텐츠의 재생명령을 하면 상기 콘텐츠 아이콘이 복수의 모니터 중 어느 모니터로 디스플레이되는지 확인하는 단계;
    상기 콘텐츠 아이콘이 디스플레이되는 모니터에 매핑된 오디오 패널을 확인하는 단계; 및
    상기 오디오 패널로 상기 콘텐츠를 재생하는 단계를 포함하는 멀티스트리밍 오디오 제어를 위한 사용자 인터페이스 제공방법.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 오디오 패널의 제어를 위한 핫키 버튼을 포함하는 키 버튼을 포함하는 키보드; 및
    상기 키보드로부터 상기 핫키 버튼에 대응하는 키신호가 전달되면 멀티스트리밍 모드가 활성화되었는지 판단하고, 상기 멀티스트리밍 모드가 활성화된 경우에 소정의 콘텐츠의 팝업 메뉴에 복수의 오디오 패널의 재생 메뉴를 제공하고, 사용자가 선택한 오디오 패널로 상기 콘텐츠를 재생시키는 컴퓨터를 포함하는 컴퓨터 시스템.
  12. 제11항에 있어서,
    상기 키보드는 오디오 패널의 활성화여부를 표시하는 오디오 패널 램프를 더 포함하는 컴퓨터 시스템.
  13. 제1항 내지 제6항 중 어느 한 항을 실행시키기 위한 컴퓨터로 읽을 수 있는 프로그램을 기록한 매체.
KR1020040077192A 2004-09-24 2004-09-24 멀티스트리밍 오디오 제어를 위한 사용자 인터페이스제공방법 및 장치 KR100704622B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020040077192A KR100704622B1 (ko) 2004-09-24 2004-09-24 멀티스트리밍 오디오 제어를 위한 사용자 인터페이스제공방법 및 장치
EP05108262A EP1646168A3 (en) 2004-09-24 2005-09-08 Method and apparatus for providing a user control interface in audio multistreaming
US11/222,981 US8099666B2 (en) 2004-09-24 2005-09-12 Method and apparatus for providing user interface for multistreaming audio control
CNB2005101037771A CN100351763C (zh) 2004-09-24 2005-09-23 提供用于多流音频控制的用户界面的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040077192A KR100704622B1 (ko) 2004-09-24 2004-09-24 멀티스트리밍 오디오 제어를 위한 사용자 인터페이스제공방법 및 장치

Publications (2)

Publication Number Publication Date
KR20060028149A KR20060028149A (ko) 2006-03-29
KR100704622B1 true KR100704622B1 (ko) 2007-04-10

Family

ID=36100299

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040077192A KR100704622B1 (ko) 2004-09-24 2004-09-24 멀티스트리밍 오디오 제어를 위한 사용자 인터페이스제공방법 및 장치

Country Status (4)

Country Link
US (1) US8099666B2 (ko)
EP (1) EP1646168A3 (ko)
KR (1) KR100704622B1 (ko)
CN (1) CN100351763C (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102630621B1 (ko) 2023-07-21 2024-01-29 이단우 멀티 스트리밍을 위한 타임 코드 동기화 시스템 및그 방법

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7000065B2 (en) * 2002-01-02 2006-02-14 Intel Corporation Method and apparatus for reducing power consumption in a memory bus interface by selectively disabling and enabling sense amplifiers
US8442311B1 (en) 2005-06-30 2013-05-14 Teradici Corporation Apparatus and method for encoding an image generated in part by graphical commands
US8453148B1 (en) 2005-04-06 2013-05-28 Teradici Corporation Method and system for image sequence transfer scheduling and restricting the image sequence generation
US8341624B1 (en) 2006-09-28 2012-12-25 Teradici Corporation Scheduling a virtual machine resource based on quality prediction of encoded transmission of images generated by the virtual machine
US8028040B1 (en) * 2005-12-20 2011-09-27 Teradici Corporation Method and apparatus for communications between a virtualized host and remote devices
US8230149B1 (en) 2007-09-26 2012-07-24 Teradici Corporation Method and apparatus for managing a peripheral port of a computer system
TW200951731A (en) * 2008-06-02 2009-12-16 First Int Computer Inc Changeable CPU module apparatus for a computer
KR101196410B1 (ko) * 2009-07-07 2012-11-01 삼성전자주식회사 Ｔｖ 설치타입에 기초한 자동 환경 설정방법 및 이를 적용한 ｔｖ
US20110099507A1 (en) * 2009-10-28 2011-04-28 Google Inc. Displaying a collection of interactive elements that trigger actions directed to an item
CA2779289A1 (en) * 2009-10-28 2011-05-19 Google Inc. Computer-to-computer communication
WO2013062578A1 (en) 2011-10-28 2013-05-02 Hewlett-Packard Development Company Report updated threshold level based on parameter
US10387104B2 (en) * 2015-06-07 2019-08-20 Apple Inc. Audio control for web browser
US10275116B2 (en) 2015-06-07 2019-04-30 Apple Inc. Browser with docked tabs
US10565446B2 (en) 2015-09-24 2020-02-18 Tobii Ab Eye-tracking enabled wearable devices
KR20180057693A (ko) 2015-09-24 2018-05-30 토비 에이비 눈 추적 가능한 웨어러블 디바이스들
KR101790429B1 (ko) * 2016-02-15 2017-10-26 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
US10739851B2 (en) 2016-04-29 2020-08-11 Tobii Ab Eye-tracking enabled wearable devices
US11353952B2 (en) 2018-11-26 2022-06-07 Tobii Ab Controlling illuminators for optimal glints

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020003785A (ko) * 2000-07-05 2002-01-15 이홍석 스피커출력신호전환기
JP2002369163A (ja) * 2001-06-05 2002-12-20 Nippon Telegr & Teleph Corp <Ntt> マルチストリーム出力時刻制御方法及びその制御装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5345550A (en) * 1992-12-23 1994-09-06 International Business Machines Corporation User-modifiable popup menus for object oriented behavior
US5542039A (en) 1993-03-05 1996-07-30 International Business Machines Corporation Control for scaled parameters
US5694563A (en) * 1994-12-13 1997-12-02 Microsoft Corporation Method and system for transferring data to common destinations using a common destination list
US5692058A (en) * 1995-03-02 1997-11-25 Eggers; Philip E. Dual audio program system
US5740436A (en) 1995-06-06 1998-04-14 Apple Computer, Inc. System architecture for configuring input and output devices of a computer
US6011495A (en) * 1997-04-03 2000-01-04 Silitek Corporation Multimedia keyboard structure
US6009519A (en) 1997-04-04 1999-12-28 Andrea Electronics, Corp. Method and apparatus for providing audio utility software for use in windows applications
US6081266A (en) * 1997-04-21 2000-06-27 Sony Corporation Interactive control of audio outputs on a display screen
US6611537B1 (en) * 1997-05-30 2003-08-26 Centillium Communications, Inc. Synchronous network for digital media streams
US6429903B1 (en) * 1997-09-03 2002-08-06 Colorgraphic Communications Corporation Video adapter for supporting at least one television monitor
US20020002039A1 (en) * 1998-06-12 2002-01-03 Safi Qureshey Network-enabled audio device
US6466581B1 (en) * 1998-08-03 2002-10-15 Ati Technologies, Inc. Multistream data packet transfer apparatus and method
JP3279271B2 (ja) 1998-11-09 2002-04-30 ヤマハ株式会社 楽音パラメータ設定装置
WO2001029642A1 (en) * 1999-10-18 2001-04-26 British Telecommunications Public Limited Company Personal mobile communication device
US6381314B1 (en) * 1999-12-23 2002-04-30 James Walinski Internet audio channel selection system
GB2359177A (en) 2000-02-08 2001-08-15 Nokia Corp Orientation sensitive display and selection mechanism
US7325199B1 (en) * 2000-10-04 2008-01-29 Apple Inc. Integrated time line for editing
GB2374772B (en) * 2001-01-29 2004-12-29 Hewlett Packard Co Audio user interface
US6957396B2 (en) * 2001-10-18 2005-10-18 Sony Corporation Graphic user interface for digital networks
AU2002251113A1 (en) * 2002-04-29 2003-11-17 Nokia Corporation Method and system for rapid navigation in aural user interface

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020003785A (ko) * 2000-07-05 2002-01-15 이홍석 스피커출력신호전환기
JP2002369163A (ja) * 2001-06-05 2002-12-20 Nippon Telegr & Teleph Corp <Ntt> マルチストリーム出力時刻制御方法及びその制御装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
1020020003785
14369163

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102630621B1 (ko) 2023-07-21 2024-01-29 이단우 멀티 스트리밍을 위한 타임 코드 동기화 시스템 및그 방법

Also Published As

Publication number Publication date
CN100351763C (zh) 2007-11-28
US20060069458A1 (en) 2006-03-30
EP1646168A2 (en) 2006-04-12
EP1646168A3 (en) 2011-11-02
CN1752914A (zh) 2006-03-29
US8099666B2 (en) 2012-01-17
KR20060028149A (ko) 2006-03-29

Similar Documents

Publication Publication Date Title
KR100704622B1 (ko) 멀티스트리밍 오디오 제어를 위한 사용자 인터페이스제공방법 및 장치
CN108605109B (zh) 显示装置和用于控制该显示装置的方法
US8063884B2 (en) Information processing apparatus, display control method, and program for controlling a display of the information processing apparatus based on an input received from a remote controller
CN111757171A (zh) 一种显示设备及音频播放方法
US6697941B2 (en) Portable computer with configuration switching control
CN111033610A (zh) 电子装置及语音识别方法
US20060023949A1 (en) Information-processing apparatus, information-processing method, recording medium, and program
WO2020259133A1 (zh) 录制热门片段方法、装置、电子设备和可读介质
US20130129109A1 (en) Method and apparatus for recognizing earphone in portable terminal
CN112437334A (zh) 一种显示设备
WO2022078065A1 (zh) 显示设备资源播放方法及显示设备
CN112506859B (zh) 一种维护硬盘数据的方法及显示设备
CN114095778A (zh) 一种应用级播放器的音频硬解码方法及显示设备
CN111836083A (zh) 显示设备及屏幕发声方法
KR20210025812A (ko) 전자장치, 디스플레이장치 및 그 제어방법
WO2022237463A1 (zh) 直播背景音处理方法、装置、设备、介质及程序产品
WO2022121778A1 (zh) 声音信息处理方法及装置、计算机存储介质、电子设备
CN112104950B (zh) 一种音量控制方法及显示设备
WO2021004047A1 (zh) 显示装置、音频播放方法
CN112702549B (zh) 一种声音输出方法和显示设备
CN113473220B (zh) 一种音效自动启动方法及显示设备
WO2023193643A1 (zh) 显示设备及用于显示设备的处理方法
JP4636142B2 (ja) 動画再生装置、動画再生方法およびプログラム
KR102037199B1 (ko) 컨텐츠 재생 어플리케이션 제공 방법 및 이를 이용하는 단말장치
US20240078193A1 (en) Output method and device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment
FPAY Annual fee payment
LAPS Lapse due to unpaid annual fee