KR102112522B1 - Apparatus and method for providing social network service using digital display - Google Patents
Apparatus and method for providing social network service using digital display Download PDFInfo
- Publication number
- KR102112522B1 KR102112522B1 KR1020130050822A KR20130050822A KR102112522B1 KR 102112522 B1 KR102112522 B1 KR 102112522B1 KR 1020130050822 A KR1020130050822 A KR 1020130050822A KR 20130050822 A KR20130050822 A KR 20130050822A KR 102112522 B1 KR102112522 B1 KR 102112522B1
- Authority
- KR
- South Korea
- Prior art keywords
- user
- service
- signal
- voice
- digital television
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
- H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/426—Internal components of the client ; Characteristics thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
디지털 텔레비전을 이용하여 소셜 네트워크 서비스를 제공하는 장치에 관한 것이다. 일 실시예에 따르면, 소셜 네트워크 서비스를 제공하는 장치는 디지털 텔레비전에 입력되는 외부 신호에서 사용자와 관련된 신호를 분리하는 신호분리부와,사용자의 요청에 따라 사용자와 하나 이상의 다른 사용자 사이에 제공될 서비스 종류를 결정하고, 그 결정된 서비스의 종류에 따라 분리된 사용자와 관련된 신호를 이용하여 서비스를 제공하는 서비스제공부를 포함할 수 있다.It relates to a device for providing a social network service using a digital television. According to an embodiment, a device for providing a social network service includes a signal separation unit for separating a signal related to a user from an external signal input to a digital television, and a service to be provided between the user and one or more other users at the user's request It may include a service providing unit for determining a type and providing a service by using a signal related to a separated user according to the determined type of service.
Description
디지털 텔레비전을 이용하여 소셜 네트워크 서비스를 제공하는 장치 및 방법에 관한 것이다.An apparatus and method for providing a social network service using digital television.
최근 SNS를 통해 온라인 상에서 사용자들끼리 의견을 교환하고 공유하는 트렌드가 생기면서 TV를 보면서 동일한 프로그램을 보는 다른 사용자와 채팅 그룹에서 실시간 통신을 하는 시스템이 관심을 받고 있다. 하지만, 일반적인 대부분의 시스템은 TV 시청 도중에 키보드 입력을 통해 화면으로 대화를 진행하는 방식이어서 사용자가 TV 시청에 집중할 수 없고 사용하는데 있어서도 많은 불편함이 있어 유용성이 크게 떨어진다. 또한, 일반적으로 TV를 이용하여 다수의 사용자와 통화를 하고자 할 때에는 TV 소리를 줄이고 다른 사용자와 통화를 해야하는 불편함이 존재하였다.Recently, as a trend of sharing and sharing opinions among users online through SNS has arisen, a system for real-time communication in a chat group with other users watching the same program while watching TV is attracting attention. However, most of the general systems have a method of conducting a conversation on the screen through a keyboard input while watching TV, so that the user cannot concentrate on watching TV and there is a lot of inconvenience in using it, and thus the usefulness is greatly reduced. In addition, in general, when a user wants to speak to a large number of users using a TV, there is an inconvenience in reducing the sound of the TV and having to speak to another user.
디지털 텔레비전에서 출력되는 음성 신호를 줄일 필요없이 디지털 텔레비전을 이용하여 다수의 사용자 간에 음성 통화, 영상 통화, 음성 메시지 및 영상 메시지 송수신 등의 소셜 네트워크 서비스를 제공하는 장치 및 방법이 제시된다.An apparatus and method are provided for providing social network services such as voice calls, video calls, voice messages and video messages between multiple users using digital television without the need to reduce the audio signal output from the digital television.
일 양상에 따르면, 디지털 텔레비전을 이용한 소셜 네트워크 서비스 제공 장치는, 디지털 텔레비전에 입력되는 외부 신호에서 사용자와 관련된 신호를 분리하는 신호분리부 및 사용자의 요청에 따라 사용자와 하나 이상의 다른 사용자 사이에 제공될 서비스 종류를 결정하고, 그 결정된 서비스의 종류에 따라 분리된 사용자와 관련된 신호를 이용하여 서비스를 제공하는 서비스제공부를 포함할 수 있다.According to an aspect, an apparatus for providing a social network service using a digital television may be provided between a user and one or more other users according to a user's request and a signal separation unit separating a signal related to the user from an external signal input to the digital television. It may include a service providing unit for determining a service type and providing a service by using a signal related to a separated user according to the determined service type.
이때, 사용자와 관련된 신호는 마이크를 통해 디지털 텔레비전에 입력되는 사용자의 음성 신호 및 카메라를 통해 디지털 텔레비전에 입력되는 사용자의 영상 신호 중의 하나 이상을 포함할 수 있다.In this case, the signal related to the user may include one or more of a user's voice signal input to the digital television through the microphone and a user's video signal input to the digital television through the camera.
신호분리부는 마이크를 통해 입력된 외부 음성 신호들 중에서 위상 및 진폭 정보 중의 하나 이상을 이용하여 사용자의 음성 신호를 분리할 수 있다.The signal separation unit may separate a user's voice signal by using one or more of phase and amplitude information among external voice signals input through a microphone.
이때, 서비스의 종류는 음성 통화, 영상 통화, 음성 메시지 송수신 및 영상 메시지 송수신 중의 하나 이상을 포함할 수 있다.At this time, the type of service may include one or more of a voice call, a video call, a voice message transmission and reception, and a video message transmission and reception.
서비스제공부는 디지털 텔레비전의 카메라를 통해 입력되는 사용자의 소정 동작 정보에 기초하여 서비스의 종류를 결정할 수 있다.The service providing unit may determine the type of service based on predetermined operation information of the user input through the camera of the digital television.
서비스제공부는 제공된 서비스의 내용을 디지털 텔레비전의 디스플레이에 출력할 수 있다.The service providing unit may output the contents of the provided service on a digital television display.
서비스제공부는 상기 디지털 텔레비전의 PIP(Picture In Picture) 기능을 이용하여 상기 디스플레이의 일부 영역에 상기 서비스의 내용을 출력하도록 할 수 있다.The service providing unit may use the picture in picture (PIP) function of the digital television to output the contents of the service to a portion of the display.
추가적인 양상에 따르면, 소셜 네트워크 서비스 제공 장치는 제공된 서비스의 목록 및 그 서비스의 내용을 저장하는 저장부를 더 포함하고, 서비스제공부는 사용자의 요청에 따라 저장된 서비스 목록을 디스플레이에 출력하고, 사용자가 그 출력된 서비스 목록 중에서 어느 하나를 선택하면 그 선택된 서비스의 내용을 디스플레이에 출력할 수 있다.According to a further aspect, the social network service providing apparatus further includes a storage unit for storing a list of provided services and contents of the service, and the service providing unit outputs a list of stored services according to a user's request on a display, and the user outputs the list If you select one of the list of services, the contents of the selected service can be displayed on the display.
일 양상에 따르면, 디지털 텔레비전을 이용한 소셜 네트워크 서비스 제공 방법은, 디지털 텔레비전에 입력되는 외부 신호에서 사용자와 관련된 신호를 분리하는 단계, 사용자의 요청에 따라 사용자와 하나 이상의 다른 사용자 사이에 제공될 서비스 종류를 결정하는 단계 및 결정된 서비스의 종류에 따라 분리된 사용자와 관련된 신호를 이용하여 서비스를 제공하는 단계를 포함할 수 있다.According to an aspect, a method for providing a social network service using a digital television includes: separating a signal related to a user from an external signal input to the digital television, a type of service to be provided between the user and one or more other users according to a user's request It may include the step of determining and providing the service using a signal related to the separated user according to the determined type of service.
이때, 사용자와 관련된 신호는 마이크를 통해 디지털 텔레비전에 입력되는 사용자의 음성 신호 및 카메라를 통해 디지털 텔레비전에 입력되는 사용자의 영상 신호 중의 하나 이상을 포함할 수 있다.In this case, the signal related to the user may include one or more of a user's voice signal input to the digital television through the microphone and a user's video signal input to the digital television through the camera.
신호 분리 단계는 마이크를 통해 입력된 외부 음성 신호들 중에서 위상 및 진폭 정보 중의 하나 이상을 이용하여 사용자의 음성 신호를 분리할 수 있다.In the signal separation step, a user's voice signal may be separated using at least one of phase and amplitude information among external voice signals input through a microphone.
서비스의 종류는 음성 통화, 영상 통화, 음성 메시지 송수신 및 영상 메시지 송수신 중의 하나 이상을 포함할 수 있다.The type of service may include one or more of voice calls, video calls, voice message transmission and reception, and video message transmission and reception.
서비스 종류 결정 단계는 디지털 텔레비전의 카메라를 통해 입력되는 사용자의 소정 동작 정보에 기초하여 서비스의 종류를 결정할 수 있다.The service type determining step may determine a service type based on predetermined operation information of a user input through a digital television camera.
서비스 제공 단계는 제공된 서비스의 내용을 디지털 텔레비전의 디스플레이에 출력하는 단계를 포함할 수 있다.The step of providing a service may include outputting the contents of the provided service on a digital television display.
서비스 제공 단계는 상기 디지털 텔레비전의 PIP(Picture In Picture) 기능을 이용하여 상기 디스플레이의 일부 영역에 상기 서비스의 내용을 출력하도록 할 수 있다.In the service providing step, contents of the service may be output to a partial area of the display by using a picture in picture (PIP) function of the digital television.
서비스 제공 단계는 사용자의 요청에 따라 저장된 서비스 목록을 디스플레이에 출력하는 단계 및 사용자가 그 출력된 서비스 목록 중에서 어느 하나를 선택하면 그 선택된 서비스의 내용을 디스플레이에 출력하는 단계를 포함할 수 있다.The service providing step may include outputting a list of stored services on a display according to a user's request and outputting the contents of the selected service on the display when the user selects one of the outputted service lists.
마이크를 통해 입력되는 외부 음성 신호에서 디지털 텔레비전에서 출력되는 음성 신호 등을 제외하고 사용자가 입력한 음성 신호만을 분리하여 이용함으로써 디지털 텔레비전의 스피커를 통해 출력되는 볼륨의 크기에 상관없이 깨끗한 품질의 음성 통화, 동영상 통화, 음성 메시지 및 동영상 메시지 등의 소셜 네트워크 서비스를 제공할 수 있다.By using only the audio signal input by the user, excluding the audio signal output from the digital television from the external audio signal input through the microphone, a clean voice call regardless of the volume of the volume output through the digital television speaker , Can provide social network services such as video calls, voice messages and video messages.
도 1은 일 실시예에 따른 디지털 텔레비전의 구성도이다.
도 2는 일 실시예에 따른 소셜 네트워크 서비스 제공 장치의 블록도이다.
도 3a 내지 도 3d는 사용자 음성 신호를 분리하는 방법을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 소셜 네트워크 서비스 제공 방법의 흐름도이다.1 is a block diagram of a digital television according to an embodiment.
2 is a block diagram of an apparatus for providing a social network service according to an embodiment.
3A to 3D are diagrams for explaining a method of separating a user voice signal.
4 is a flowchart of a method of providing a social network service according to an embodiment.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다. 기재된 기술의 이점 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
Details of other embodiments are included in the detailed description and drawings. The advantages and features of the described technology, and how to achieve them will become apparent with reference to the embodiments described below in detail in conjunction with the drawings. The same reference numerals refer to the same components throughout the specification.
이하, 디지털 텔레비전을 이용한 소셜 네트워크 서비스 제공 장치 및 방법의 실시예들을 도면들을 참고하여 자세히 설명하도록 한다.Hereinafter, embodiments of an apparatus and method for providing a social network service using a digital television will be described in detail with reference to the drawings.
도 1은 일 실시예에 따른 디지털 텔레비전의 구성도이다.1 is a block diagram of a digital television according to an embodiment.
도 1을 참조하면, 일 실시예에 따른 디지털 텔레비전(100)은 방송 신호를 수신하는 방송수신부(110)와, 수신된 방송 신호 중에서 디지털 음성 신호를 디코딩하는 디지털 음성 신호 디코딩부(120), 디코딩된 디지털 음성 신호를 스피커(131)를 통해 외부로 출력할 수 있도록 아날로그 음성 신호로 변환하는 아날로그 음성신호 변환부(130), 수신된 방송 신호 중에서 영상 신호를 출력하는 디스플레이(140), 마이크(151)를 통해 입력되는 외부 음성 신호를 디지털 음성 신호로 생성하는 디지털 음성 신호 생성부(150)와 카메라(161) 등을 통해 입력되는 영상 신호를 디지털 영상 신호로 생성하는 디지털 영상 신호 생성부(160)를 포함할 수 있다. Referring to FIG. 1, the
추가적인 양상에 따르면, 디지털 텔레비전(100)은 소셜 네트워크 서비스 제공 장치(200)를 포함할 수 있다. 소셜 네트워크 서비스 제공 장치(200)는 디지털 텔레비전을 시청하고 있는 사용자의 요청에 따라 각종 서비스를 제공하는 기능을 수행한다.According to a further aspect, the
예를 들어, 디지털 음성 신호 생성부(150) 또는 디지털 영상 신호 생성부(160)에서 생성된 디지털 음성 신호나 디지털 영상 신호를 이용하여 하나 이상의 다른 사용자(예: 친구, 학급 동료, 선생님, 부모, 형제 등)와 음성 통화, 영상 통화, 음성 메시지 및 영상 메시지 송수신 등의 서비스를 제공하고, 제공된 서비스의 내용을 디스플레이(140)에 출력하여 사용자에게 제공해줌으로써 디지털 텔레비전(100)을 시청하고 있는 사용자들이 자신들이 시청하고 있는 콘텐츠에 대하여 실시간으로 공유할 수 있도록 할 수 있다. For example, one or more other users (eg, friends, classmates, teachers, parents, etc.) using the digital audio signal or the digital video signal generated by the digital audio
한편, 일 실시예에 따른 디지털 텔레비전(100)은 상술한 각 구성들이 하나의 하드웨어 장치에 일체로서 구현되는 경우만을 한정하는 것은 아니며, 상술한 구성들의 적어도 일부가 별도의 하드웨어 장치에 구현되어 유무선 연결을 통해 유기적으로 동작하는 모든 경우를 포함하는 것으로 이해되어야 한다. 예를 들어, 일 실시예에 따른 디지털 텔레비전(100)은 스마트 TV, 셋톱박스가 연결된 아날로그 텔레비전, 디지털 방송 신호 수신기가 연결된 컴퓨터의 모니터 등을 포함할 수 있다. On the other hand, the
또한, 도 1에 도시된 바에 따르면, 스피커(131), 마이크(151) 및 카메라(161)는 디지털 텔레비전(100)과 별도로 도시되어 있으나 이는 하나의 예시에 불과하고, 스피커(131), 마이크(151) 및 카메라(161) 중에서 적어도 일부는 디지털 텔레비전(100)에 일체로 구현될 수 있다. 1, the
도 2는 일 실시예에 따른 소셜 네트워크 서비스 제공 장치의 블록도이다.2 is a block diagram of an apparatus for providing a social network service according to an embodiment.
이하, 도 1 및 도 2를 참조하여 일 실시예에 따른 소셜 네트워크 서비스 제공 장치(200)를 좀 더 상세히 설명한다. 전술한 바와 마찬가지로, 일 실시예에 따른 소셜 네트워크 서비스 제공 장치(200) 역시 디지털 텔레비전(100)에 탑재되어 일체로 구현되는 것이 가능하지만 필요에 따라서는 별도의 하드웨어 장치에 구현되어 유무선 연결을 통해 유기적으로 동작할 수도 있다.Hereinafter, a social network
소셜 네트워크 서비스 제공 장치(200)는 신호분리부(210),서비스제공부(220), 저장부(230) 및 네트워크통신부(240)를 포함할 수 있다. The social network
신호분리부(210)는 디지털 텔레비전(100)에 입력되는 외부 신호에서 사용자와 관련된 신호를 분리한다. 이때, 사용자와 관련된 외부 신호는 마이크(151)를 통해 입력되는 사용자의 음성 신호 및 카메라(161)를 통해 입력되는 사용자의 영상 신호 중의 하나 이상을 포함할 수 있다. The
예를 들어, 마이크(151)를 통해 디지털 텔레비전(100)에 입력되는 외부 음성 신호는 디지털 음성 신호 생성부(150)에 의해 디지털 신호로 생성된다. 이때, 외부 음성 신호에는 사용자가 마이크(151)를 통해 직접 입력한 음성 신호 외에도 아날로그 음성 신호 변환부(130)에서 변환되어 스피커(131)를 통해 출력되는 디지털 텔레비전(100)의 음성 신호를 포함할 수 있다. 따라서, 생성된 디지털 음성 신호 역시 사용자의 음성 신호와 디지털 텔레비전(100)의 음성 신호를 포함할 수 있으며, 신호분리부(210)는 이와 같이 디지털 음성 신호에서 사용자가 직접 입력한 사용자 음성 신호만을 분리할 수 있다. For example, an external voice signal input to the
또한, 카메라(161)를 통해 외부에서 영상 신호가 입력되어 디지털 영상 신호가 생성되면 그 디지털 영상 신호에서 사용자의 요청 또는 미리 정의된 기준에 따라 필요한 영상만을 분리하여 사용자와 관련된 새로운 영상 신호만을 분리할 수 있다. 예를 들어, 신호분리부(210)는 디지털 영상 신호 생성부(160)에서 생성된 디지털 영상 신호를 실시간으로 디스플레이(140)에 출력할 수 있으며, 사용자는 그 디지털 영상에서 필요한 부분을 선택하고, 확대, 축소 등의 편집 작업을 수행함으로써 선택된 부분에 대한 새로운 디지털 영상 신호를 생성함으로써 사용자와 관련된 신호로 분리할 수 있다.In addition, when an image signal is input from the outside through the
도 3a 내지 도 3d는 사용자 음성 신호를 분리하는 방법을 설명하기 위한 도면이다. 도 3a 내지 도 3d를 참조하여 외부 음성 신호에서 사용자의 음성 신호를 분리하는 방법을 좀 더 상세히 설명한다.3A to 3D are diagrams for explaining a method of separating a user voice signal. A method of separating the user's voice signal from the external voice signal will be described in more detail with reference to FIGS. 3A to 3D.
도 3a는 스피커(131)를 통해 M1의 진폭을 가지고 출력된 디지털 텔레비전(100)의 음성 신호의 파형을 도시한 것이다. 도 3b는 도 3a와 같이 스피커(131)를 통해 출력된 디지털 텔레비전(100)의 음성 신호가 마이크(151)의 감도와 같은 외부의 조건으로 인해 M2의 진폭과 t2의 위상차를 가지고 마이크(151)에 입력된 디지털 텔레비전(100)의 음성 신호의 파형을 도시한 것이다. 도 3c는 마이크(151)를 통해 디지털 텔레비전(100)의 음성 신호와 사용자의 음성 신호가 혼합되어 입력되는 파형의 일 예이다. 도 3d는 일반적인 사용자의 음성 신호의 파형을 도시한 것이다. FIG. 3A shows the waveform of the audio signal of the
신호분리부(210)는 도 3c와 같이 입력된 외부 음성 신호가 디지털 음성 신호 생성부(150)에 의해 디지털 음성 신호로 생성되면, 디지털 음성 신호 디코딩부(120)에 의해 디코딩된 디지털 텔레비전(100)의 음성 신호를 기초로 사용자의 음성 신호만을 분리할 수 있다. 예를 들어, 입력되는 외부 음성 신호에 포함된 사용자 음성 신호, 디지털 텔레비전(100)의 음성 신호 및 디지털 음성 신호 디코딩부(120)에 의해 디코딩된 음성 신호의 위상 및 진폭 정보 등을 이용하여 사용자의 음성 신호를 분리할 수 있다. 이때, 둘 이상의 음성 신호에서 어느 하나의 음성 신호를 분리하는 기술은 어느 하나로 한정되는 것이 아니며 이미 알려진 모든 기술 및 향후에 개발될 모든 음성 신호 분리 기술이 적용될 수 있으므로 자세한 설명은 생략한다. When the external voice signal input as shown in FIG. 3C is generated as a digital voice signal by the digital voice
다시, 도 1 및 도 2를 참조하면, 서비스제공부(220)는 사용자의 요청에 따라 사용자와 하나 이상의 다른 사용자 사이에 제공될 서비스 종류를 결정할 수 있다. 이때, 서비스 종류는 예를 들어 음성 통화, 영상 통화, 음성 메시지 송수신, 영상 메시지 송수신 등을 포함할 수 있다. 또한, 서비스 제공부(220)는 신호분리부(210)에서 사용자와 관련된 신호가 분리되면 그 사용자와 관련된 신호를 저장부(230)에 저장할 수 있다. 사용자의 요청에 따라 제공될 서비스 종류가 결정되면 그 서비스 종류에 따라 네트워크통신부(240)를 통해 다른 사용자와 실시간 음성 통화, 영상 통화, 음성 메시지 송수신 및 영상 메시지 송수신 기능 등을 제공할 수 있다.Referring back to FIGS. 1 and 2, the
음성 통화는 사용자가 디지털 텔레비전(100)을 시청하면서 실시간으로 다른 사용자와 콘텐츠 공유 등의 대화를 하고자 하는 경우에 신호분리부(210)에서 분리된 사용자 음성 신호를 실시간으로 다른 사용자에게 전송하고, 다른 사용자의 음성 신호를 실시간으로 수신하는 것을 의미한다. 영상 통화는 마찬가지로 신호분리부(210)에서 분리된 사용자 음성 신호 및 사용자 영상 신호를 다른 사용자에게 실시간으로 전송함으로써 화상 통화를 제공하는 기능이다. When a user wants to have a conversation such as sharing content with another user in real time while watching the
또한, 음성 메시지나 영상 메시지 송수신 서비스는 저장부(230)에 저장된 사용자와 관련된 신호 예컨대, 사용자의 음성 신호 또는 사용자의 영상 신호를 이용하여 전송할 메시지를 생성하고 사용자가 대화하고자 하는 다른 사용자에게 네트워크통신부(240)를 통해 전송할 수 있다. In addition, the voice message or video message transmission / reception service generates a message to be transmitted using a signal related to a user stored in the
추가적인 양상에 따르면, 소셜 네트워크 서비스 제공 장치(200)는 인터페이스부(미도시)를 더 포함할 수 있다. 인터페이스부(미도시)는 디스플레이(140)의 소정 영역에 각종 사용자의 요청을 입력받는 메뉴 정보를 제공할 수 있다. 또한, 서비스제공부(220)에 의해 제공된 각종 서비스의 내용을 출력할 수 있다. 또한, 인터페이스부(미도시)는 카메라(161)를 통해 입력되는 사용자의 영상 신호가 디지털 영상 신호로 생성되면 그 디지털 영상 신호를 분석하여 사용자가 미리 정의된 동작(예: 제스처)을 수행하는지를 판단할 수 있다. 또한, 인터페이스부(미도시)는 분리된 사용자의 음성 신호를 분석하여 사용자가 미리 정의된 음성 명령을 입력하는지를 판단할 수 있다. 사용자는 리모콘을 사용하여 직접 인터페이스부(미도시)를 제어할 수 있다. 또는 전술한 바와 같이 미리 정의된 소정 동작을 수행하거나 미리 정의된 음성 명령을 입력하여 인터페이스부(미도시)를 제어할 수 있다. According to an additional aspect, the social network
한편, 서비스제공부(220)는 인터페이스부(미도시)가 사용자가 미리 정의된 소정 동작을 수행하거나 또는 미리 정의된 소정 음성 명령을 입력한 것으로 판단하면 그 소정 동작 정보 또는 소정 음성 명령 정보를 기초로 대응되는 서비스의 종류를 결정하여 서비스를 제공할 수 있다. 예를 들어, 손을 이용하여 전화하는 동작을 하거나 음성으로 "음성 통화"를 입력하면 인터페이스부(미도시)는 그 동작이나 음성 명령을 분석하여 실시간 음성 통화를 요청하는 것으로 판단하고, 사용자에게 음성 통화를 할 다른 사용자의 목록을 디스플레이(140) 소정 영역에 출력할 수 있다. 사용자가 통화할 상대를 선택하면 서비스제공부(220)는 네트워크통신부(240)를 통해 그 사용자와 통화를 시도하여 통화가 이루어지도록 할 수 있다.On the other hand, when the
서비스제공부(220)는 제공되는 각종 서비스의 내용, 예컨대, 음성 또는 영상 통화 내용, 송수신한 음성 또는 영상 메시지 내용 등을 저장부(230)에 저장할 수 있다. 또한, 인터페이스부(미도시)에서 사용자의 요청을 수신하면, 사용자의 요청에 따라 그 서비스의 내용을 디스플레이(140)의 소정 영역에 출력하여 사용자에게 제공할 수 있다. The
예를 들어, 사용자가 다른 사용자와 음성 통화를 하는 경우 디지털 텔레비전(100)의 PIP(Picture In Picture) 기능을 이용하여 디스플레이(140)의 일부 영역에 그 음성 통화의 내용을 텍스트로 출력할 수 있으며, 사용자가 영상 통화를 수행하는 경우 디스플레이(140)의 일부 영역의 상단에는 상대방의 영상을 출력하고, 하단에는 대화 내용을 텍스트로 출력할 수 있다.For example, when a user makes a voice call with another user, the content of the voice call may be output as text on a portion of the
네트워크통신부(240)는 무선랜(WiFi), 3G 또는 4G 통신 등의 무선통신망 또는 케이블 연결을 통한 유선 통신망을 이용하여 다수의 사용자와 통신을 수행할 수 있다. The
도 4는 일 실시예에 따른 소셜 네트워크 서비스 제공 방법의 흐름도이다.4 is a flowchart of a method of providing a social network service according to an embodiment.
도 4는 도 2의 실시예에 따른 소셜 네트워크 서비스 제공 장치(200)에 의해 수행될 수 있다. 앞에서, 도 1 내지 도 3d를 참조하여, 소셜 네트워크 서비스 제공 장치(200)가 디지털 텔레비전(100)을 시청하고 있는 다수의 사용자들 간에 소셜 네트워크 서비스를 제공하는 방법을 상세히 설명하였으므로, 이하, 중복되는 설명을 피하기 위해 간단히 설명한다.4 may be performed by the social network
먼저, 디지털 텔레비전(100)에 입력되는 외부 신호에서 사용자와 관련된 신호를 분리할 수 있다(단계 410). 외부 음성 신호에는 사용자가 마이크(151)를 통해 직접 입력한 음성 신호 외에도 스피커(131)를 통해 출력되는 디지털 텔레비전(100)의 음성 신호가 포함될 수 있다. 따라서, 외부 음성 신호에서 사용자가 직접 입력한 사용자 음성 신호만을 사용자와 관련된 신호로서 분리할 수 있다. 이때, 전술한 바와 같이, 외부 음성 신호에 포함된 각 음성 신호들의 위상 및 진폭 정보에 기초하여 사용자의 음성 신호를 분리할 수 있다. 또한, 카메라(161)를 통해 외부에서 영상 신호가 입력되어 디지털 영상 신호가 생성되면 그 디지털 영상 신호에서 사용자의 요청 또는 미리 정의된 기준에 따라 필요한 영상만을 분리하여 사용자와 관련된 새로운 영상 신호만을 분리할 수 있다.First, a signal related to a user may be separated from an external signal input to the digital television 100 (step 410). The external voice signal may include a voice signal of the
그 다음, 사용자의 요청에 따라 사용자와 하나 이상의 다른 사용자 사이에 제공될 서비스 종류를 결정할 수 있다(단계 420). 사용자는 리모콘을 통한 직접 제어하거나, 미리 정의된 소정 동작이나 음성 명령 입력함으로써 디스플레이(140)의 소정 영역에 인터페이스 메뉴가 출력되도록 할 수 있으며, 출력된 메뉴에서 서비스 종류를 선택하거나 미리 정의된 소정 동작(예: 손으로 전화하는 동작)이나 소정 음성 명령을 입력함으로써 바로 제공받고자 하는 서비스 종류를 선택할 수도 있다.Then, a service type to be provided between the user and one or more other users may be determined according to the user's request (step 420). The user can directly control through a remote control, or input a predetermined operation or voice command to display an interface menu on a predetermined area of the
이후, 결정된 서비스의 종류에 따라 분리된 사용자와 관련된 신호를 이용하여 서비스를 제공할 수 있다(단계 430). 서비스의 종류에 따라 분리된 사용자의 음성 신호를 이용하여 다른 사용자와 음성 통화 서비스를 제공할 수 있으며, 사용자의 영상 신호가 입력된 음성 신호 및 영상 신호를 이용하여 영상 통화 서비스를 제공할 수 있다. 또한, 사용자가 특정 시점에 자신이 입력한 음성 신호를 메시지로 전송하도록 할 수 있다. Thereafter, a service may be provided using a signal related to the separated user according to the determined type of service (step 430). Depending on the type of service, a voice call service may be provided to another user using a separate user's voice signal, and a video call service may be provided using the voice signal and video signal input by the user. In addition, it is possible for a user to transmit a voice signal input by the user at a specific point in time as a message.
또한, 제공된 서비스의 내용을 디지털 텔레비전(100)의 디스플레이(140)에 출력할 수 있다. 이때, 디지털 텔레비전(100)의 PIP(Picture In Picture) 기능을 이용하여 디스플레이의 일부 영역에 서비스의 내용을 출력할 수 있다. 예를 들어, 제공된 서비스에 대한 목록을 디스플레이(140)에 출력하여 사용자가 선택하는 어느 하나의 서비스의 내용을 디스플레이(140)에 출력할 수 있다. 또한, 사용자가 음성 통화를 하는 경우 실시간으로 PIP기능을 이용하여 디스플레이의 일부 영역에 실시간 음성 통화 내용을 출력할 수 있으며, 영상 통화의 경우 디스플레이의 일부 영역에 상대방의 영상과 대화 내용이 동시에 출력되도록 할 수 있다.
In addition, the contents of the provided service can be output to the
한편, 본 실시 예들은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.Meanwhile, the present embodiments can be implemented in computer readable code on a computer readable recording medium. The computer-readable recording medium includes all kinds of recording devices in which data readable by a computer system are stored.
컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 실시예들을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tapes, floppy disks, optical data storage devices, etc., and also implemented in the form of carrier waves (for example, transmission via the Internet). Includes. In addition, the computer-readable recording medium can be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion. In addition, functional programs, codes, and code segments for implementing the embodiments can be easily inferred by programmers in the technical field to which the present invention pertains.
본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 개시된 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. Those of ordinary skill in the art to which the present disclosure pertains will appreciate that it may be implemented in other specific forms without changing the disclosed technical spirit or essential features. Therefore, it should be understood that the above-described embodiments are illustrative in all respects and not restrictive.
100: 디지털 텔레비전 110: 방송수신부
120: 디지털 음성 신호 디코딩부 130: 아날로그 음성 신호 변환부
131: 스피커 140: 디스플레이
150: 디지털 음성 신호 생성부 151: 마이크
160: 디지털 영상 신호 생성부 161: 카메라
200: 소셜 네트워크 서비스 제공 장치
210: 신호분리부 220: 서비스제공부
230: 저장부 240: 네트워크통신부100: digital television 110: broadcast receiving unit
120: digital audio signal decoding unit 130: analog audio signal conversion unit
131: speaker 140: display
150: digital voice signal generation unit 151: microphone
160: digital video signal generation unit 161: camera
200: a device for providing a social network service
210: signal separation unit 220: service providing unit
230: storage unit 240: network communication unit
Claims (16)
상기 디지털 텔레비전에 입력되는 외부 신호에서, 마이크를 통해 상기 디지털 텔레비전에 입력되는 사용자의 음성 신호 및 카메라를 통해 상기 디지털 텔레비전에 입력되는 영상 신호를 포함하는 사용자와 관련된 신호를 분리하는 신호분리부; 및
카메라를 통해 상기 디지털 텔레비전에 입력되는 사용자의 소정 동작 정보에 기초하여 상기 사용자와 다른 사용자 사이에 제공될 서비스 종류를 결정하고, 그 결정된 서비스의 종류에 따라 상기 분리된 사용자와 관련된 신호를 이용하여 상기 서비스를 제공하는 서비스제공부;를 포함하고,
상기 서비스 종류는
음성 통화, 영상 통화, 음성 메시지 송수신 및 영상 메시지 송수신을 포함하고,
상기 신호분리부는
상기 카메라를 통해 입력된 영상 신호에서 사용자가 소정 부분 선택 및 선택된 부분에 대한 편집 작업을 수행함에 따라 상기 선택된 부분에 대한 새로운 디지털 영상 신호를 생성하고,
상기 서비스 제공부는
상기 결정된 서비스 종류가 음성 통화인 경우, 상기 분리된 사용자와 관련된 신호 중의 사용자의 음성 신호를 상기 다른 사용자에게 전송하고, 상기 다른 사용자로부터 수신된 다른 사용자의 음성 신호를 상기 디지털 텔레비전의 디스플레이의 일부 영역에 텍스트로 출력하고, 상기 결정된 서비스 종류가 영상 통화인 경우, 상기 분리된 사용자와 관련된 신호 중의 분리된 사용자의 음성 신호 및 상기 새로운 디지털 영상 신호를 다른 사용자에게 전송하고, 상기 결정된 서비스 종류가 음성 메시지 송수신인 경우 상기 분리된 사용자의 음성 신호를 이용하여 전송할 메시지를 생성하여 다른 사용자에게 전송하고, 상기 결정된 서비스 종류가 영상 메시지 송수신인 경우 상기 새로운 디지털 영상 신호를 기초로 전송할 메시지를 생성하여 다른 사용자에게 전송하고,
상기 신호분리부는
상기 마이크를 통해 입력된 외부 음성 신호들 중에서 위상 및 진폭 정보 중의 하나 이상을 이용하여 상기 사용자의 음성 신호를 분리하는 소셜 네트워크 서비스 제공 장치.In the social network service providing apparatus using a digital television,
A signal separation unit for separating a signal related to a user including an audio signal of a user input to the digital television through a microphone and an image signal input to the digital television through a camera from an external signal input to the digital television; And
A service type to be provided between the user and another user is determined based on predetermined operation information of a user input to the digital television through a camera, and the signal associated with the separated user is used according to the determined service type. Includes a service providing unit for providing a service;
The above service types
Includes voice calls, video calls, sending and receiving voice messages, and sending and receiving video messages,
The signal separation unit
A new digital image signal is generated for the selected portion as the user selects a predetermined portion and edits the selected portion from the image signal input through the camera,
The service provider
When the determined service type is a voice call, a user's voice signal among signals related to the separated user is transmitted to the other user, and the voice signal of another user received from the other user is part of the display of the digital television. Output to text, and when the determined service type is a video call, transmits a separate user's voice signal and the new digital video signal among signals related to the separated user to another user, and the determined service type is a voice message In the case of transmission / reception, a message to be transmitted is generated and transmitted to another user using the voice signal of the separated user, and when the determined service type is transmission / reception of a video message, a message to be transmitted is generated based on the new digital video signal to another user Song and
The signal separation unit
A device for providing a social network service that separates the user's voice signal by using one or more of phase and amplitude information among external voice signals input through the microphone.
상기 디지털 텔레비전의 PIP(Picture In Picture) 기능을 이용하여 상기 디스플레이의 일부 영역에 상기 서비스의 내용을 출력하도록 하는 소셜 네트워크 서비스 제공 장치.The method of claim 1, wherein the service provider
A device for providing a social network service to output the contents of the service to a partial area of the display by using a picture in picture (PIP) function of the digital television.
제공된 서비스의 목록 및 그 서비스의 내용을 저장하는 저장부;를 더 포함하고,
상기 서비스제공부는
사용자의 요청에 따라 상기 저장된 서비스 목록을 디스플레이에 출력하고, 사용자가 그 출력된 서비스 목록 중에서 어느 하나를 선택하면 그 선택된 서비스의 내용을 디스플레이에 출력하는 소셜 네트워크 서비스 제공 장치.According to claim 1,
Further comprising; a storage unit for storing the list of services provided and the contents of the service,
The service provider
A device for providing a social network service that outputs the stored service list on a display according to a user's request, and outputs the content of the selected service on the display when the user selects one of the output service lists.
상기 디지털 텔레비전에 입력되는 외부 신호에서, 마이크를 통해 상기 디지털 텔레비전에 입력되는 사용자의 음성 신호 및 카메라를 통해 상기 디지털 텔레비전에 입력되는 영상 신호를 포함하는 사용자와 관련된 신호를 분리하는 단계;
카메라를 통해 상기 디지털 텔레비전에 입력되는 사용자의 소정 동작 정보에 기초하여 상기 사용자와 다른 사용자 사이에 제공될 서비스 종류를 결정하는 단계; 및
상기 결정된 서비스의 종류에 따라 상기 분리된 사용자와 관련된 신호를 이용하여 상기 서비스를 제공하는 단계;를 포함하고,
상기 서비스 종류는
음성 통화, 영상 통화, 음성 메시지 송수신 및 영상 메시지 송수신을 포함하고,
상기 신호를 분리하는 단계는
상기 카메라를 통해 입력된 영상 신호에서 사용자가 소정 부분 선택 및 선택된 부분에 대한 편집 작업을 수행함에 따라 상기 선택된 부분에 대한 새로운 디지털 영상 신호를 생성하고,
상기 서비스를 제공하는 단계는
상기 결정된 서비스의 종류가 음성 통화인 경우, 상기 분리된 사용자와 관련된 신호 중의 사용자의 음성 신호를 상기 다른 사용자에게 전송하고, 상기 다른 사용자로부터 수신된 다른 사용자의 음성 신호를 상기 디지털 텔레비전의 디스플레이의 일부 영역에 텍스트로 출력하고, 상기 결정된 서비스 종류가 영상 통화인 경우, 상기 분리된 사용자와 관련된 신호 중의 분리된 사용자의 음성 신호 및 상기 새로운 디지털 영상 신호를 다른 사용자에게 전송하고, 상기 결정된 서비스 종류가 음성 메시지 송수신인 경우 상기 분리된 사용자의 음성 신호를 이용하여 전송할 메시지를 생성하여 다른 사용자에게 전송하고, 상기 결정된 서비스 종류가 영상 메시지 송수신인 경우 상기 새로운 디지털 영상 신호를 기초로 전송할 메시지를 생성하여 다른 사용자에게 전송하고,
상기 신호 분리 단계는
상기 마이크를 통해 입력된 외부 음성 신호들 중에서 위상 및 진폭 정보 중의 하나 이상을 이용하여 상기 사용자의 음성 신호를 분리하는 소셜 네트워크 서비스 제공 방법.In the method of providing a social network service using a digital television,
Separating a signal related to a user including an audio signal of a user input to the digital television through a microphone and an image signal input to the digital television through a camera from an external signal input to the digital television;
Determining a service type to be provided between the user and another user based on predetermined operation information of the user input to the digital television through a camera; And
And providing the service using a signal related to the separated user according to the determined type of service.
The above service types
Includes voice calls, video calls, sending and receiving voice messages, and sending and receiving video messages,
Separating the signal is
A new digital image signal is generated for the selected portion as the user selects a predetermined portion and edits the selected portion from the image signal input through the camera,
Providing the service is
When the determined type of service is a voice call, the user's voice signal among signals related to the separated user is transmitted to the other user, and the voice signal of another user received from the other user is part of the display of the digital television. When the determined service type is a video call, the voice signal of the separated user and the new digital video signal among the signals related to the separated user are transmitted to another user, and the determined service type is voice. In the case of message transmission / reception, a message to be transmitted is generated and transmitted to another user using the voice signal of the separated user. to Transmit,
The signal separation step
A method of providing a social network service that separates the user's voice signal by using one or more of phase and amplitude information among external voice signals input through the microphone.
상기 디지털 텔레비전의 PIP(Picture In Picture) 기능을 이용하여 상기 디스플레이의 일부 영역에 상기 서비스의 내용을 출력하도록 하는 소셜 네트워크 서비스 제공 방법.The method of claim 9, wherein the service providing step
A method of providing a social network service to output the contents of the service to a partial area of the display using a picture in picture (PIP) function of the digital television.
사용자의 요청에 따라 저장된 서비스 목록을 디스플레이에 출력하는 단계; 및
사용자가 그 출력된 서비스 목록 중에서 어느 하나를 선택하면 그 선택된 서비스의 내용을 디스플레이에 출력하는 단계;를 포함하는 소셜 네트워크 서비스 제공 방법.
The method of claim 9, wherein the service providing step
Outputting a list of stored services according to a user's request on a display; And
And outputting the content of the selected service on the display when the user selects any one of the output service list.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130050822A KR102112522B1 (en) | 2013-05-06 | 2013-05-06 | Apparatus and method for providing social network service using digital display |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130050822A KR102112522B1 (en) | 2013-05-06 | 2013-05-06 | Apparatus and method for providing social network service using digital display |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20140131783A KR20140131783A (en) | 2014-11-14 |
KR102112522B1 true KR102112522B1 (en) | 2020-05-19 |
Family
ID=52453041
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020130050822A KR102112522B1 (en) | 2013-05-06 | 2013-05-06 | Apparatus and method for providing social network service using digital display |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102112522B1 (en) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100615642B1 (en) * | 2004-12-21 | 2006-08-25 | 주식회사 대우일렉트로닉스 | Conversation by telephone method using a television with speech recognition function |
KR100892095B1 (en) * | 2007-01-23 | 2009-04-06 | 삼성전자주식회사 | Apparatus and method for processing of transmitting/receiving voice signal in a headset |
KR101262700B1 (en) * | 2011-08-05 | 2013-05-08 | 삼성전자주식회사 | Method for Controlling Electronic Apparatus based on Voice Recognition and Motion Recognition, and Electric Apparatus thereof |
-
2013
- 2013-05-06 KR KR1020130050822A patent/KR102112522B1/en active IP Right Grant
Also Published As
Publication number | Publication date |
---|---|
KR20140131783A (en) | 2014-11-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102200226B1 (en) | Integration server, method and common device for providing service in response to voice command | |
US10235305B2 (en) | Method and system for sharing content, device and computer-readable recording medium for performing the method | |
US20160210105A1 (en) | Method, device and system for projection on screen | |
US11115227B2 (en) | Terminal and method for bidirectional live sharing and smart monitoring | |
KR102499124B1 (en) | Display apparatus and controlling method thereof | |
CN108322790A (en) | Wireless screen transmission method and device | |
CN105472309B (en) | Data transmission method, device and system | |
KR101890626B1 (en) | Mobile terminal, image display device and user interface providing method using the same | |
KR20100115487A (en) | Mobile terminal having projector and method for displaying data thereof | |
KR20160078024A (en) | Device and method thereof for transmitting/receiving video data | |
CN109753259B (en) | Screen projection system and control method | |
US20220021980A1 (en) | Terminal, audio cooperative reproduction system, and content display apparatus | |
JP2013168750A (en) | Television receiver | |
US10616724B2 (en) | Method, device, and non-transitory computer-readable recording medium for supporting relay broadcasting using mobile device | |
US9756396B2 (en) | Method and apparatus for providing broadcast service | |
KR102112522B1 (en) | Apparatus and method for providing social network service using digital display | |
CN107302710B (en) | Image display device and image display method | |
US9277248B1 (en) | System, method, and computer program for receiving device instructions from one user to be overlaid on an image or video of the device for another user | |
KR20150108546A (en) | personalization service method and system in television linkage wireless terminal | |
KR101982152B1 (en) | Method and apparatus for processing object for auxiliary service associated with broadcast service in Broadcast receiver | |
US20230179550A1 (en) | Display device and method for supporting communication between display devices | |
US9154729B2 (en) | Television receiving apparatus and control method for television receiving apparatus | |
JP2011081591A (en) | Information processing apparatus and system, computer program and recording medium | |
CN105765988A (en) | Image display apparatus, server, method for operating the image display apparatus, and method for operating the server | |
KR101317941B1 (en) | Device and method for performing connection for telecommunication service based on voice recognition, and method for generating audio data for the voice recognition |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E90F | Notification of reason for final refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
X091 | Application refused [patent] | ||
AMND | Amendment | ||
X701 | Decision to grant (after re-examination) | ||
GRNT | Written decision to grant |