KR20170084554A - 초고화질 영상 회의를 위한 장치 및 방법 - Google Patents

초고화질 영상 회의를 위한 장치 및 방법 Download PDF

Info

Publication number
KR20170084554A
KR20170084554A KR1020160003722A KR20160003722A KR20170084554A KR 20170084554 A KR20170084554 A KR 20170084554A KR 1020160003722 A KR1020160003722 A KR 1020160003722A KR 20160003722 A KR20160003722 A KR 20160003722A KR 20170084554 A KR20170084554 A KR 20170084554A
Authority
KR
South Korea
Prior art keywords
video
data
video conference
grid
grids
Prior art date
Application number
KR1020160003722A
Other languages
English (en)
Other versions
KR101834536B1 (ko
Inventor
최승환
김도영
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020160003722A priority Critical patent/KR101834536B1/ko
Priority to US15/220,613 priority patent/US9998710B2/en
Publication of KR20170084554A publication Critical patent/KR20170084554A/ko
Application granted granted Critical
Publication of KR101834536B1 publication Critical patent/KR101834536B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/152Multipoint control units therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/157Conference systems defining a virtual conference space and using avatars or agents

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

본 발명은 HD, FullHD 뿐만 아니라 UHD 영상회의를 제공함에 있어서 다지점 영상회의 처리 장치의 다양한 화면 레이아웃을 위한 비디오 믹싱 성능의 부하를 줄이고 사용자에게 다양한 화면 레이아웃에 대한 영상회의 비디오 영상을 제공하기 위하여, 다지점 영상회의 제어 장치에서 생성한 믹싱된 비디오에 대하여 참여 클라이언트에서 편집(cut, copy, paste, scaling, animating 등)을 통해 다양한 화면 레이아웃을 생성할 수 있는, 초고화질 영상 회의 시스템을 위한 장치 및 방법에 관한 것이다.

Description

초고화질 영상 회의를 위한 장치 및 방법{Apparatus and Method for Providing Ultra High Definition Video Conference}
본 발명은 초고화질 영상 회의 시스템에 관한 것으로서, 특히, 사용자에게 초고화질 영상회의 화면의 다양한 레이아웃을 제공할 수 있는 장치 및 방법에 관한 것이다.
현재, 종래의 다지점 영상회의 제어 장치(101)는, 도 1과 같이, 모든 영상회의 참여 클라이언트(102)로부터 송신되는 모든 비디오 정보를 믹싱하여 한 개의 비디오 정보로 생성하거나, 클라이언트(102)가 원하는 레이아웃으로 믹싱하여 여러 개의 비디오 정보를 생성해서, 해당 영상회의 비디오 영상을 일방적으로 각각의 클라이언트에게 전송하는 구조이다. 즉, 영상회의를 시청하는 사용자는 클라이언트(102)를 통해 보여지는 다지점 영상회의 제어 장치에서 만든 화면 레이아웃만을 수신하여 볼 수밖에 없고 영상회의 화면의 레이아웃 변경이 불가능하다.
그러나, 사용자 입장에서는 사용자의 환경 및 회의 성격에 따라서 영상회의 화면의 더 다양한 레이아웃을 원하고 있으며, 이것을 구현하기 위해서는 사용자 별로 다른 화면 레이아웃을 제공해주어야 한다. 이것을 위해서는 클라이언트별로 각각의 비디오 정보에 대한 믹싱을 수행해야 하는데, 비디오 정보 믹싱은 다지점 영상회의 제어 장치의 부하를 증가시키고, 회의에 참여할 수 있는 사용자의 수를 제한하는 문제점이 있다.
또한, 영상품질 기술의 발달과 사용자의 영상품질에 대한 요구증가로 초고화질(UHD : Ultra High Definition) 영상을 제공하는 다지점 영상회의 제어 장치에 있어서, 기존 HD(High-Definition) 또는 Full HD 에 비해서 처리해야 하는 정보가 많기 때문에 인코딩 및 디코딩의 성능이 더 증가한다. 결국, 다지점 영상회의 제어 장치의 성능이 낮으면 사용자에게 다양한 화면 레이아웃을 제공을 할 수 없고, 다지점 영상회의 제어 장치의 성능을 높이면 비용이 증가하는 문제점이 있다.
따라서, 본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은, HD, FullHD 뿐만 아니라 UHD 영상회의를 제공함에 있어서 다지점 영상회의 처리 장치의 다양한 화면 레이아웃을 위한 비디오 믹싱 성능의 부하를 줄이고 사용자에게 다양한 화면 레이아웃에 대한 영상회의 비디오 영상을 제공하기 위하여, 다지점 영상회의 제어 장치에서 생성한 믹싱된 비디오에 대하여 참여 클라이언트에서 편집(cut, copy, paste, scaling, animating 등)을 통해 다양한 화면 레이아웃을 생성할 수 있는, 초고화질 영상 회의 시스템을 위한 장치 및 방법을 제공하는 데 있다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.
먼저, 본 발명의 특징을 요약하면, 상기의 목적을 달성하기 위한 본 발명의 일면에 따른 영상 회의 시스템을 위한 클라이언트 단말에서의 영상회의 지원 장치는,복수의 격자들에 각각의 참여자 영상이 포함된 기본 격자 레이아웃 화면 데이터, 및 상기 기본 격자 레이아웃 화면 데이터에 적용된 상기 복수의 격자들에 대한 각각의 위치 정보를 수신하는 편집/렌더링 모듈; 및 편집 정보의 입력을 위한 입력 모듈을 포함하고, 상기 입력 모듈을 통해 입력된 상기 편집 정보에 응답하여, 상기 편집/렌더링 모듈은 상기 각각의 위치 정보에 따른 상기 기본 격자 레이아웃 화면 데이터의 각 격자 영상을 구분하고, 상기 각 격자 영상에 대하여 편집된 새로운 레이아웃 화면 데이터를 생성할 수 있다.
상기 편집 정보는, 상기 각 격자 영상에 대하여, 이동 배치, 복수 격자 영상 중 선택하여 화면 전체로 설정하기, 해당 격자 영상 삭제, 해당 격자 영상의 애니메이팅, 해당 격자 영상의 크기 설정, 해당 격자 영상 확대나 축소, 또는 해당 격자 영상의 복사와 복사된 해당 격자 영상의 붙이기를 위한 정보를 포함할 수 있다.
상기 영상회의 지원 장치는, 상기 참여자 영상에 대한 비디오 데이터의 인코딩 데이터를 외부의 다지점 영상회의 제어장치로 전송하기 위한 인코딩 모듈을 더 포함할 수 있다.
상기 영상회의 지원 장치는, 외부의 다지점 영상회의 제어장치로부터 상기 기본 격자 레이아웃 화면 데이터의 인코딩 데이터를 수신하여 디코딩함으로써, 디코딩된 데이터를 상기 기본 격자 레이아웃 화면 데이터로 제공하는 디코딩 모듈을 더 포함할 수 있다.
상기 편집/렌더링 모듈은, 하나 이상의 클라이언트 단말로부터 각각의 참여자 영상에 대한 비디오 데이터를 수신하여 상기 기본 격자 레이아웃 화면 데이터와 상기 복수의 격자들에 대한 각각의 위치 정보를 생성하는 다지점 영상회의 제어장치로부터, 상기 기본 격자 레이아웃 화면 데이터와 상기 복수의 격자들에 대한 각각의 위치 정보를 수신할 수 있다.
상기 다지점 영상회의 제어장치는, 상기 하나 이상의 클라이언트 단말로부터 수신된 상기 각각의 참여자 영상에 대한 인코딩된 비디오 데이터를 수신하여 디코딩하고 각각의 디코딩 데이터를 믹싱해 상기 기본 격자 레이아웃 화면 데이터를 생성하는 비디오 믹싱 모듈; 및 상기 비디오 믹싱 모듈에서 적용한 상기 복수의 격자들의 수에 따라 생성한 상기 복수의 격자들에 대한 각각의 위치 정보를 수신하여 상기 하나 이상의 클라이언트 단말로 전송하는 서버 프로토콜 모듈을 포함한다.
상기 영상회의 지원 장치는, 상기 서버 프로토콜 모듈로부터 수신하는 상기 복수의 격자들에 대한 각각의 위치 정보를 상기 편집/렌더링 모듈로 전송하는 클라이언트 프로토콜 모듈을 더 포함할 수 있다.
그리고, 본 발명의 다른 일면에 따른 영상 회의 시스템을 위한 클라이언트 단말에서의 영상회의 지원 방법은, 복수의 격자들에 각각의 참여자 영상이 포함된 기본 격자 레이아웃 화면 데이터, 및 상기 기본 격자 레이아웃 화면 데이터에 적용된 상기 복수의 격자들에 대한 각각의 위치 정보를 수신하는 단계; 및 사용자로부터 입력받는 편집 정보에 응답하여, 상기 각각의 위치 정보에 따른 상기 기본 격자 레이아웃 화면 데이터의 각 격자 영상을 구분하고 상기 각 격자 영상에 대하여 편집된 새로운 레이아웃 화면 데이터를 생성하는 단계를 포함한다.
상기 편집 정보는, 상기 각 격자 영상에 대하여, 이동 배치, 복수 격자 영상 중 선택하여 화면 전체로 설정하기, 해당 격자 영상 삭제, 해당 격자 영상의 애니메이팅, 해당 격자 영상의 크기 설정, 해당 격자 영상 확대나 축소, 또는 해당 격자 영상의 복사와 복사된 해당 격자 영상의 붙이기를 위한 정보를 포함할 수 있다.
상기 영상회의 지원 방법은, 상기 참여자 영상에 대한 비디오 데이터의 인코딩 데이터를 외부의 다지점 영상회의 제어장치로 전송하는 단계를 더 포함할 수 있다.
상기 영상회의 지원 방법은, 외부의 다지점 영상회의 제어장치로부터 상기 기본 격자 레이아웃 화면 데이터의 인코딩 데이터를 수신하여 디코딩함으로써, 디코딩된 데이터를 상기 기본 격자 레이아웃 화면 데이터로 제공하는 단계를 더 포함할 수 있다.
상기 수신하는 단계에서, 하나 이상의 클라이언트 단말로부터 각각의 참여자 영상에 대한 비디오 데이터를 수신하여 상기 기본 격자 레이아웃 화면 데이터와 상기 복수의 격자들에 대한 각각의 위치 정보를 생성하는 다지점 영상회의 제어장치로부터, 상기 기본 격자 레이아웃 화면 데이터와 상기 복수의 격자들에 대한 각각의 위치 정보를 수신할 수 있다.
상기 다지점 영상회의 제어장치는, 상기 하나 이상의 클라이언트 단말로부터 수신된 상기 각각의 참여자 영상에 대한 인코딩된 비디오 데이터를 수신하여 디코딩하고 각각의 디코딩 데이터를 믹싱해 상기 기본 격자 레이아웃 화면 데이터를 생성하는 비디오 믹싱 모듈; 및 상기 비디오 믹싱 모듈에서 적용한 상기 복수의 격자들의 수에 따라 생성한 상기 복수의 격자들에 대한 각각의 위치 정보를 수신하고 소정의 프로토콜에 따른 처리를 통하여 상기 하나 이상의 클라이언트 단말로 전송하는 서버 프로토콜 모듈을 포함한다.
상기 영상회의 지원 방법은, 클라이언트 프로토콜 모듈을 이용한 소정의 프로토콜에 따른 처리를 통하여 상기 서버 프로토콜 모듈로부터 상기 복수의 격자들에 대한 각각의 위치 정보를 수신하는 단계를 더 포함할 수 있다.
본 발명에 따른 초고화질 영상 회의 시스템을 위한 장치 및 방법에 따르면, 다지점 영상회의 제어 장치에서 생성한 믹싱된 비디오에 대하여 참여 클라이언트에서 편집(cut, copy, paste, scaling, animating 등)을 통해 다양한 화면 레이아웃을 생성하여 영상회의를 진행하도록 지원함으로써, 다지점 영상회의 처리 장치에서의 비디오 믹싱 성능의 부하 가중 없이 HD, FullHD 뿐만 아니라 UHD 영상회의에서 사용자에게 다양한 화면 레이아웃에 대한 영상회의 비디오 영상을 제공할 수 있다.
도 1은 종래의 영상 회의 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 다지점 영상회의 제어장치와 클라이언트 단말을 포함한 영상 회의 시스템의 동작 개념을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 다지점 영상회의 제어장치와 클라이언트의 단말의 구체적인 블록도이다.
도 4는 본 발명의 일 실시예에 따른 영상 회의 시스템의 동작 설명을 위한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 영상 회의 시스템에서 사용자에게 다양한 화면 레이아웃에 대한 영상회의 비디오 영상을 생성하는 개념을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 영상 회의 시스템의 구현 방법의 일례를 설명하기 위한 도면이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 2는 본 발명의 일 실시예에 따른 다지점 영상회의 제어장치(201)와 클라이언트 단말(202)를 포함한 영상 회의 시스템의 동작 개념을 설명하기 위한 도면이다.
다지점 영상회의 제어장치(201)와 클라이언트 단말(202)은 유선 인터넷 통신이나 WiFi, WiBro 등 무선 인터넷 통신, WCDMA, LTE 등 이동통신 또는 WAVE(Wireless Access in Vehicular Environment) 무선 통신 등을 지원하는 유무선 네트워크를 통해 연동할 수 있다. 클라이언트 단말(202)은 데스크탑 PC 기타 통신 전용 단말기 등 유선 단말을 포함하며, 이외에도 통신 환경에 따라 스마트폰, 음성/영상 전화 통화가능한 웨어러블 디바이스, 테블릿 PC, 노트북 PC, 등 무선 단말을 포함할 수 있다.
도 2에서, 예를 들어 하나의 클라이언트 단말(202)을 도시하였으나, 영상 회의가 진행되는 동안, 복수의 참여자는 각각의 클라이언트 단말(202)을 통해 영상회의를 진행할 수 있다. 초고화질 영상회의 진행을 지원하기 위하여 다지점 영상회의 제어장치(201)는 위와 같은 네트워크 상의 서버 형태로 구축될 수도 있고, 경우에 따라서는 각각의 클라이언트 단말(202) 내에 구비되도록 구현될 수도 있다.
영상 회의가 진행되는 동안, 참여자는 클라이언트 단말(202)에 구비되거나 연결된 마이크로 음성을 입력하고 클라이언트 단말(202)에 구비되거나 연결된 카메라를 통해 참여자 영상이 촬영되며, 이에 따른 영상 회의 참여자(들)에 대한 비디오 데이터와 참여자(들) 음성에 대한 오디오 데이터는, 다지점 영상회의 제어장치(201)로 전송된다.
다지점 영상회의 제어장치(201)는 영상 회의 참여자(들)에 대한 비디오/오디오 데이터를 영상 회의 참여자(들)의 클라이언트 단말(202)로 송수신하여 영상 회의가 이루어지도록 지원하며, 이에 따라 영상 회의 참여자(들)의 클라이언트 단말(202)은 다지점 영상회의 제어장치(201)로부터 수신한 비디오/오디오 데이터를 재생하여, 원격지에 있는 다른 단말(들) 간에 현장감 있는 영상회의가 이루어질 수 있다.
특히, 본 발명에서는, 다지점 영상회의 제어 장치(201)에서 생성하는 믹싱된 비디오(데이터)에 대하여 참여 클라이언트 단말(202)에서 편집(cut, copy, paste, scaling, animating 등)을 통해 다양한 화면 레이아웃을 생성하여 영상회의를 진행하도록 지원함으로써, 다지점 영상회의 처리 장치(201)에서의 비디오 믹싱 성능의 부하 가중 없이 HD, FullHD 뿐만 아니라 UHD 영상회의에서 사용자에게 다양한 화면 레이아웃에 대한 영상회의 비디오 영상을 제공할 수 있도록 하였다.
도 3은 본 발명의 일 실시예에 따른 다지점 영상회의 제어장치(201)와 클라이언트 단말의 영상회의 지원 장치(202)의 구체적인 블록도이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 다지점 영상회의 제어장치(201)는, 비디오 믹싱 모듈(211) 및 서버 프로토콜 모듈(212)을 포함하며, 또한, 본 발명의 일 실시예에 따른 클라이언트 단말의 영상회의 지원 장치(202)은, 인코딩 모듈(221), 디코딩 모듈(222), 클라이언트 프로토콜 모듈(223), 편집/렌더링 모듈(224), 및 입력 모듈(225)을 포함한다. 다지점 영상회의 제어장치(201) 및 클라이언트 단말(202)의 위와 같은 각 구성 요소는 하드웨어, 소프트웨어, 또는 이들의 결합으로 구현될 수 있다.
먼저, 영상 회의 시스템을 위한 다지점 영상회의 제어장치(201) 및 클라이언트 단말(202)의 위와 같은 각 구성 요소들의 동작에 대하여 간략히 설명한다.
다지점 영상회의 제어장치(201)에서, 비디오 믹싱 모듈(211)은 하나 이상의 클라이언트 단말로부터 수신된 각각의 참여자 영상에 대한 인코딩된 비디오 데이터를 수신하여 디코딩하고 각각의 디코딩 데이터를 믹싱해 복수의 격자들에 각각의 참여자 영상이 포함된 기본 격자 레이아웃 화면 데이터를 생성한다. 서버 프로토콜 모듈(212)은 비디오 믹싱 모듈(211)에서 적용한 상기 복수의 격자들의 수에 따라 생성한 상기 복수의 격자들에 대한 각각의 위치 정보를 수신하고, 소정의 송수신 프로토콜에 따른 처리를 수행하여 하나 이상의 클라이언트 단말로 전송한다.
클라이언트 단말(202)에서, 인코딩 모듈(221)은 상기 참여자 영상에 대한 비디오 데이터의 인코딩 데이터를 외부의 다지점 영상회의 제어장치(201)로 전송한다.
편집/렌더링 모듈(224)은 다지점 영상회의 제어장치(201)로부터 상기 기본 격자 레이아웃 화면 데이터, 및 상기 기본 격자 레이아웃 화면 데이터에 적용된 상기 복수의 격자들에 대한 각각의 위치 정보를 수신하여, 편집 정보의 입력을 위한 입력 모듈(225)을 통해 입력된 편집 정보에 응답하여, 상기 각각의 위치 정보에 따른 상기 기본 격자 레이아웃 화면 데이터의 각 격자 영상을 구분하고, 상기 각 격자 영상에 대하여 편집된 새로운 레이아웃 화면 데이터를 생성할 수 있다.
사용자는 입력 모듈(225)을 통해, 상기 각 격자 영상에 대하여, 이동 배치, 복수 격자 영상 중 선택하여 화면 전체로 설정하기, 해당 격자 영상 삭제(cut), 해당 격자 영상의 애니메이팅(animating), 해당 격자 영상의 크기 설정(scaling), 해당 격자 영상 확대나 축소, 또는 해당 격자 영상의 복사(copy)와 복사된 해당 격자 영상의 붙이기(paste)를 위한 정보 등의 편집 정보를 입력할 수 있다.
이때, 디코딩 모듈(222)은 외부의 다지점 영상회의 제어장치(201)로부터 상기 기본 격자 레이아웃 화면 데이터의 인코딩 데이터를 수신하여 디코딩함으로써, 디코딩된 데이터를 상기 기본 격자 레이아웃 화면 데이터로 제공할 수 있다. 또한, 클라이언트 프로토콜 모듈(223)은 서버 프로토콜 모듈(212)로부터 수신하는 상기 복수의 격자들에 대한 각각의 위치 정보를 소정의 송수신 프로토콜에 따른 처리를 수행하여 상기 편집/렌더링 모듈(224)로 전송할 수 있다.
도 4는 본 발명의 일 실시예에 따른 영상 회의 시스템의 동작 설명을 위한 흐름도이다.
먼저, 영상 회의에 참여하는 모든 클라이언트 단말(들)(202)은, 인코딩 모듈(221)을 통해 해당 참여자 영상(초고해상도 가능)에 대한 비디오 데이터를 소정의 인코딩 방식에 따라 인코딩하며, 인코딩된 비디오 데이터를 다지점 영상회의 제어장치(201)로 전송한다(F101).
다지점 영상회의 제어장치(201)에서는, 비디오 믹싱 모듈(211)이 클라이언트 단말(들)(202)로부터 수신한 각각의 인코딩된 비디오 데이터를 디코딩하고 각각의 디코딩 데이터를 믹싱(합성)하여 복수의 격자들에 각각의 참여자 영상이 포함된 기본 격자 레이아웃 화면 데이터와 상기 복수의 격자들에 대한 각각의 위치 정보(예, 각 모서리의 (x,y) 좌표값)를 생성(구성)한다(F102). 영상 회의에 참여한 클라이언트 단말들(202)의 수에 따라 비디오 믹싱 모듈(211)은 상기 복수의 격자들의 수를 결정할 수 있다. 예를 들어, 상기 복수의 격자들 각각은 그 수에 따라 미리 정해진 동일한 크기를 가지는 것이 바람직하지만, 이에 한정되는 것은 아니며 경우에 따라 기본 격자 화면(도 3의 G1 참조) 상에서 구분되는 위와 같은 격자들이 서로 다른 크기를 갖도록 미리 정해지는 것도 가능하다.
이와 같은 복수의 격자들에 각각의 참여자 영상이 포함된 기본 격자 레이아웃 화면 데이터를, 비디오 믹싱 모듈(211)은 소정의 인코딩 방식에 따라 인코딩하여, 클라이언트 단말(202)로 전송한다(F103). 이에 따라 클라이언트 단말(202)의 디코딩 모듈(222)은 기본 격자 레이아웃 화면 데이터를 수신하여 이를 디코딩하고, 디코딩한 데이터를 편집/렌더링 모듈(224)로 전송한다(F104).
한편, F102에서 생성한, 기본 격자 레이아웃 화면 데이터를 구성하도록 적용된 해당 복수의 격자들에 대한 각각의 위치 정보를, 비디오 믹싱 모듈(211)은 서버 프로토콜 모듈(212)로 전송한다(F105). 이에 따라 서버 프로토콜 모듈(212)은 해당 정보를 클라이언트 단말(202)로 전송하고(F106), 클라이언트 프로토콜 모듈(223)은 이를 수신하여 편집/렌더링 모듈(224)로 전송한다(F107).
이와 같이, 디코딩된 기본 격자 레이아웃 화면 데이터와 이에 적용된 해당 복수의 격자들에 대한 각각의 위치 정보를 수신한, 편집/렌더링 모듈(224)은, 상기 각각의 위치 정보에 따라 기본 격자 레이아웃 화면 데이터의 각 격자 영상을 구분하고, 입력 모듈(225)을 통하여 참여자 또는 사용자로부터 입력된 편집 정보에 따라, 상기 각 격자 영상에 대하여 크기, 위치, 격자 모양, 격자수, 효과 등이 편집된 새로운 레이아웃 화면 데이터를 생성할 수 있다(F108). 편집/렌더링 모듈(224)은 편집된 새로운 레이아웃 화면 데이터에 따라 도 5와 같이 다양한 화면 레이아웃에 대한 영상회의 비디오 영상이 디스플레이(장치)를 통해 출력되도록 할 수 있다(F109).
편집/렌더링 모듈(224)은 참여자 또는 사용자로부터 입력된 편집 정보, 예를 들어, 각 격자 영상의 이동 배치, 복수 격자 영상 중 선택하여 배경화면과 같이 화면 전체로 설정하기(도 5의 G2 참조), 해당 격자 영상 삭제(cut) (도 5의 G3 참조), 해당 격자 영상의 애니메이팅(animating)(도 5의 G4 참조), 각 격자 영상의 크기 설정이나 해당 격자 영상 확대 또는 축소(scaling) (도 5의 G5 참조) 등을 지원할 수 있으며, 이외에도 해당 격자 영상의 복사(copy)와 복사된 해당 격자 영상의 붙이기(paste) 등을 통하여 한 참여자에 대한 복수의 격자 영상이 포함되도록 할 수 있고, 이를 통해 편집의 편리성을 제공할 수도 있다. 애니메이팅(animating)(도 5의 G4 참조)은 3차원 효과를 위한 영상 처리로서, 도 5와 같이, 동일한 영상 복수개를 이용하여 뒤에서 앞으로 확대되는 해당 복수 영상을 일정 각도로 비틀면서 중첩시키는 3차원 효과를 통해 현재의 화자 등 특정 참여자를 구분하여 표시되게 할 수 있다.
도 6은 본 발명의 일 실시예에 따른 영상 회의 시스템의 구현 방법의 일례를 설명하기 위한 도면이다. 본 발명의 일 실시예에 따른 영상 회의 시스템의 다지점 영상회의 제어장치(201) 및 클라이언트 단말(202)는 하드웨어, 소프트웨어, 또는 이들의 결합으로 이루어질 수 있다. 예를 들어, 본 발명의 일 실시예에 따른 영상 회의 시스템의 다지점 영상회의 제어장치(201) 및 클라이언트 단말(202)는 도 6과 같은 컴퓨팅 시스템(1000)으로 구현될 수 있다.
컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다. 프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory) 및 RAM(Random Access Memory)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
상술한 바와 같이, 본 발명에 따른 초고화질 영상 회의 시스템에서는, 다수 참여자 영상에 대하여 믹싱된 비디오에 대하여 클라이언트 단말(202)에서 편집(cut, copy, paste, scaling, animating 등)을 통해 다양한 화면 레이아웃을 생성하여 영상회의를 진행하도록 지원함으로써, 다지점 영상회의 처리 장치에서의 비디오 믹싱 성능의 부하 가중 없이 HD, FullHD 뿐만 아니라 UHD 영상회의에서 사용자에게 다양한 화면 레이아웃에 대한 영상회의 비디오 영상을 제공할 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
다지점 영상회의 제어장치(201)
비디오 믹싱 모듈(211)
서버 프로토콜 모듈(212)
클라이언트(202)
인코딩 모듈(221)
디코딩 모듈(222)
클라이언트 프로토콜 모듈(223)
편집/렌더링 모듈(224)
입력 모듈(225)

Claims (14)

  1. 영상 회의 시스템을 위한 클라이언트 단말에서의 영상회의 지원 장치에 있어서,
    복수의 격자들에 각각의 참여자 영상이 포함된 기본 격자 레이아웃 화면 데이터, 및 상기 기본 격자 레이아웃 화면 데이터에 적용된 상기 복수의 격자들에 대한 각각의 위치 정보를 수신하는 편집/렌더링 모듈; 및
    편집 정보의 입력을 위한 입력 모듈을 포함하고,
    상기 입력 모듈을 통해 입력된 상기 편집 정보에 응답하여, 상기 편집/렌더링 모듈은 상기 각각의 위치 정보에 따른 상기 기본 격자 레이아웃 화면 데이터의 각 격자 영상을 구분하고, 상기 각 격자 영상에 대하여 편집된 새로운 레이아웃 화면 데이터를 생성하는 것을 특징으로 하는 영상회의 지원 장치.
  2. 제1항에 있어서,
    상기 편집 정보는, 상기 각 격자 영상에 대하여, 이동 배치, 복수 격자 영상 중 선택하여 화면 전체로 설정하기, 해당 격자 영상 삭제, 해당 격자 영상의 애니메이팅, 해당 격자 영상의 크기 설정, 해당 격자 영상 확대나 축소, 또는 해당 격자 영상의 복사와 복사된 해당 격자 영상의 붙이기를 위한 정보를 포함하는 것을 특징으로 하는 영상회의 지원 장치.
  3. 제1항에 있어서,
    상기 참여자 영상에 대한 비디오 데이터의 인코딩 데이터를 외부의 다지점 영상회의 제어장치로 전송하기 위한 인코딩 모듈
    을 더 포함하는 것을 특징으로 하는 영상회의 지원 장치.
  4. 제1항에 있어서,
    외부의 다지점 영상회의 제어장치로부터 상기 기본 격자 레이아웃 화면 데이터의 인코딩 데이터를 수신하여 디코딩함으로써, 디코딩된 데이터를 상기 기본 격자 레이아웃 화면 데이터로 제공하는 디코딩 모듈
    을 더 포함하는 것을 특징으로 하는 영상회의 지원 장치.
  5. 제1항에 있어서,
    상기 편집/렌더링 모듈은, 하나 이상의 클라이언트 단말로부터 각각의 참여자 영상에 대한 비디오 데이터를 수신하여 상기 기본 격자 레이아웃 화면 데이터와 상기 복수의 격자들에 대한 각각의 위치 정보를 생성하는 다지점 영상회의 제어장치로부터, 상기 기본 격자 레이아웃 화면 데이터와 상기 복수의 격자들에 대한 각각의 위치 정보를 수신하는 것을 특징으로 하는 영상회의 지원 장치.
  6. 제5항에 있어서,
    상기 다지점 영상회의 제어장치는, 상기 하나 이상의 클라이언트 단말로부터 수신된 상기 각각의 참여자 영상에 대한 인코딩된 비디오 데이터를 수신하여 디코딩하고 각각의 디코딩 데이터를 믹싱해 상기 기본 격자 레이아웃 화면 데이터를 생성하는 비디오 믹싱 모듈; 및
    상기 비디오 믹싱 모듈에서 적용한 상기 복수의 격자들의 수에 따라 생성한 상기 복수의 격자들에 대한 각각의 위치 정보를 수신하여 상기 하나 이상의 클라이언트 단말로 전송하는 서버 프로토콜 모듈
    을 포함하는 것을 특징으로 하는 영상회의 지원 장치.
  7. 제6항에 있어서,
    상기 영상회의 지원 장치는, 상기 서버 프로토콜 모듈로부터 수신하는 상기 복수의 격자들에 대한 각각의 위치 정보를 상기 편집/렌더링 모듈로 전송하는 클라이언트 프로토콜 모듈
    을 더 포함하는 것을 특징으로 하는 영상회의 지원 장치.
  8. 영상 회의 시스템을 위한 클라이언트 단말에서의 영상회의 지원 방법에 있어서,
    복수의 격자들에 각각의 참여자 영상이 포함된 기본 격자 레이아웃 화면 데이터, 및 상기 기본 격자 레이아웃 화면 데이터에 적용된 상기 복수의 격자들에 대한 각각의 위치 정보를 수신하는 단계; 및
    사용자로부터 입력받는 편집 정보에 응답하여, 상기 각각의 위치 정보에 따른 상기 기본 격자 레이아웃 화면 데이터의 각 격자 영상을 구분하고 상기 각 격자 영상에 대하여 편집된 새로운 레이아웃 화면 데이터를 생성하는 단계
    를 포함하는 것을 특징으로 하는 영상회의 지원 방법.
  9. 제8항에 있어서,
    상기 편집 정보는, 상기 각 격자 영상에 대하여, 이동 배치, 복수 격자 영상 중 선택하여 화면 전체로 설정하기, 해당 격자 영상 삭제, 해당 격자 영상의 애니메이팅, 해당 격자 영상의 크기 설정, 해당 격자 영상 확대나 축소, 또는 해당 격자 영상의 복사와 복사된 해당 격자 영상의 붙이기를 위한 정보를 포함하는 것을 특징으로 하는 영상회의 지원 방법.
  10. 제8항에 있어서,
    상기 참여자 영상에 대한 비디오 데이터의 인코딩 데이터를 외부의 다지점 영상회의 제어장치로 전송하는 단계
    를 더 포함하는 것을 특징으로 하는 영상회의 지원 방법.
  11. 제8항에 있어서,
    외부의 다지점 영상회의 제어장치로부터 상기 기본 격자 레이아웃 화면 데이터의 인코딩 데이터를 수신하여 디코딩함으로써, 디코딩된 데이터를 상기 기본 격자 레이아웃 화면 데이터로 제공하는 단계
    를 더 포함하는 것을 특징으로 하는 영상회의 지원 방법.
  12. 제8항에 있어서,
    상기 수신하는 단계에서,
    하나 이상의 클라이언트 단말로부터 각각의 참여자 영상에 대한 비디오 데이터를 수신하여 상기 기본 격자 레이아웃 화면 데이터와 상기 복수의 격자들에 대한 각각의 위치 정보를 생성하는 다지점 영상회의 제어장치로부터, 상기 기본 격자 레이아웃 화면 데이터와 상기 복수의 격자들에 대한 각각의 위치 정보를 수신하는 것을 특징으로 하는 영상회의 지원 방법.
  13. 제12항에 있어서,
    상기 다지점 영상회의 제어장치는, 상기 하나 이상의 클라이언트 단말로부터 수신된 상기 각각의 참여자 영상에 대한 인코딩된 비디오 데이터를 수신하여 디코딩하고 각각의 디코딩 데이터를 믹싱해 상기 기본 격자 레이아웃 화면 데이터를 생성하는 비디오 믹싱 모듈; 및
    상기 비디오 믹싱 모듈에서 적용한 상기 복수의 격자들의 수에 따라 생성한 상기 복수의 격자들에 대한 각각의 위치 정보를 수신하고 소정의 프로토콜에 따른 처리를 통하여 상기 하나 이상의 클라이언트 단말로 전송하는 서버 프로토콜 모듈
    을 포함하는 것을 특징으로 하는 영상회의 지원 방법.
  14. 제13항에 있어서,
    상기 영상회의 지원 방법은, 클라이언트 프로토콜 모듈을 이용한 소정의 프로토콜에 따른 처리를 통하여 상기 서버 프로토콜 모듈로부터 상기 복수의 격자들에 대한 각각의 위치 정보를 수신하는 단계
    를 더 포함하는 것을 특징으로 하는 영상회의 지원 방법.
KR1020160003722A 2016-01-12 2016-01-12 초고화질 영상 회의를 위한 장치 및 방법 KR101834536B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160003722A KR101834536B1 (ko) 2016-01-12 2016-01-12 초고화질 영상 회의를 위한 장치 및 방법
US15/220,613 US9998710B2 (en) 2016-01-12 2016-07-27 Apparatus and method for providing ultra high definition video conference

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160003722A KR101834536B1 (ko) 2016-01-12 2016-01-12 초고화질 영상 회의를 위한 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20170084554A true KR20170084554A (ko) 2017-07-20
KR101834536B1 KR101834536B1 (ko) 2018-03-05

Family

ID=59275043

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160003722A KR101834536B1 (ko) 2016-01-12 2016-01-12 초고화질 영상 회의를 위한 장치 및 방법

Country Status (2)

Country Link
US (1) US9998710B2 (ko)
KR (1) KR101834536B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022050625A1 (ko) * 2020-09-04 2022-03-10 네이버 주식회사 다중 라이브 송출 환경에서의 채널 간 심리스 전환 모드를 구현하는 방법, 시스템, 및 컴퓨터 판독가능한 기록 매체

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI644565B (zh) * 2017-02-17 2018-12-11 陳延祚 視訊影像處理方法及其相關系統
JP7377352B2 (ja) * 2020-01-16 2023-11-09 テンセント・テクノロジー・(シェンジェン)・カンパニー・リミテッド 複数メンバーでのインスタントメッセージング方法、システム、装置及び電子機器、並びにコンピュータプログラム
US11509864B1 (en) 2021-05-05 2022-11-22 Cisco Technology, Inc. Pre-composing graphical elements for use by a separate real-time media process
CN113923498A (zh) * 2021-09-30 2022-01-11 联想(北京)有限公司 一种处理方法及装置
CN114827523A (zh) * 2022-06-29 2022-07-29 长沙朗源电子科技有限公司 一种超高清视频会议的实现方法、系统、设备、存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100216601B1 (ko) 1996-12-11 1999-08-16 이계철 비디오 분할/합성 장치 및 그 제어 방법
KR100226450B1 (ko) 1996-12-19 1999-10-15 이계철 광대역 종합정보통신망 다지점 제어장치 내 압축코드 영역에서의화면분할 장치
JP4695474B2 (ja) * 2005-09-21 2011-06-08 株式会社東芝 合成映像制御装置、合成映像制御方法およびプログラム
KR101026033B1 (ko) 2009-03-26 2011-03-30 주식회사 케이티 Mcu와 연동된 영상 서비스 제공 방법 및 시스템
US8786667B2 (en) * 2011-04-26 2014-07-22 Lifesize Communications, Inc. Distributed recording of a videoconference in multiple formats
CN103718545B (zh) * 2011-07-29 2017-12-01 思科技术公司 用于修改由视频合成单元用来生成合成视频信号的布局的方法、设备及装置
KR20130087229A (ko) * 2012-01-27 2013-08-06 삼성전자주식회사 스케일러블 비디오를 선택적으로 디코딩하는 방법 및 장치
KR101951228B1 (ko) * 2012-10-10 2019-02-22 삼성전자주식회사 멀티 디스플레이 장치 및 그 촬상 방법
US9035995B2 (en) 2012-10-23 2015-05-19 Electronics And Telecommunications Research Institute Method and apparatus for widening viewing angle in video conferencing system
US20140375755A1 (en) 2013-06-24 2014-12-25 Electronics And Telecommunications Research Institute Apparatus and method for changing main screen based on distributed telepresence

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022050625A1 (ko) * 2020-09-04 2022-03-10 네이버 주식회사 다중 라이브 송출 환경에서의 채널 간 심리스 전환 모드를 구현하는 방법, 시스템, 및 컴퓨터 판독가능한 기록 매체

Also Published As

Publication number Publication date
US9998710B2 (en) 2018-06-12
US20170201719A1 (en) 2017-07-13
KR101834536B1 (ko) 2018-03-05

Similar Documents

Publication Publication Date Title
KR101834536B1 (ko) 초고화질 영상 회의를 위한 장치 및 방법
EP3556075B1 (en) Encoding optimization for obfuscated media
JP6022043B2 (ja) 重ねられたアニメーションを利用した複数のユーザによるメディアコンテンツの同時消費を促進すること
US20230229384A1 (en) Audio mixing for teleconferencing
JP6280215B2 (ja) ビデオ会議端末、セカンダリストリームデータアクセス方法およびコンピュータ記憶媒体
JP2022553019A (ja) リモート端末の没入型遠隔会議及びテレプレセンスのためのオーバーレイ処理のパラメータ
CN114979755A (zh) 投屏方法、装置、终端设备及计算机可读存储介质
CN114363696B (zh) 视频支持元素插入的显示处理方法、电子终端及存储介质
CN114187170B (zh) 图像特效包的生成方法、装置、设备及存储介质
KR20160099977A (ko) 영상회의 서비스를 위한 데이터 처리 장치 및 데이터 처리 방법
CN115606170A (zh) 用于沉浸式远程会议和远程呈现的多分组
JP6309004B2 (ja) ビデオ会議環境のためのビデオ表示変更
TW201913573A (zh) 圖像處理方法和裝置
JP6155909B2 (ja) 会議端末およびサーバー
JP7518195B2 (ja) テレコンファレンス及びリモートターミナル用のテレプレゼンスのための複数のオーディオミキシングゲインをシグナリングするための技術
US9392036B2 (en) Terminal device and communication system
CN114170341A (zh) 一种图像处理方法、装置、设备及介质
CN112308808A (zh) 一种图像处理方法、装置及电子设备
KR100955463B1 (ko) 3차원 스케일링 방식을 이용한 이미지변환모듈을 구비한 모바일단말 및 이를 이용한 이미지변환방법
KR102586860B1 (ko) 원격 단말들에 대한 몰입형 원격회의 및 텔레프레전스를 위한 상호작용 오버레이 취급
JP7399549B2 (ja) リモート端末向けの遠隔会議およびテレプレゼンスにおいてオーディオミキシングゲインをシグナリングする手法
JP6431301B2 (ja) 動画処理装置、方法、コンピュータプログラム
CN109074631B (zh) 显示内容的处理方法、装置和设备
CN115552358A (zh) 用于在用于远程终端的电话会议和远程呈现中进行视口共享时减轻晕动症的技术
KR20240132360A (ko) 메시에 대한 샘플링-기반 객관적 품질 평가 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]