KR101700821B1 - 스케일러블 원격화면 전송방법 및 그 장치 - Google Patents

스케일러블 원격화면 전송방법 및 그 장치 Download PDF

Info

Publication number
KR101700821B1
KR101700821B1 KR1020120091318A KR20120091318A KR101700821B1 KR 101700821 B1 KR101700821 B1 KR 101700821B1 KR 1020120091318 A KR1020120091318 A KR 1020120091318A KR 20120091318 A KR20120091318 A KR 20120091318A KR 101700821 B1 KR101700821 B1 KR 101700821B1
Authority
KR
South Korea
Prior art keywords
image
command
client terminal
remote screen
graphic
Prior art date
Application number
KR1020120091318A
Other languages
English (en)
Other versions
KR20140025112A (ko
Inventor
신일홍
윤장우
류원
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020120091318A priority Critical patent/KR101700821B1/ko
Priority to US13/837,122 priority patent/US20140055471A1/en
Publication of KR20140025112A publication Critical patent/KR20140025112A/ko
Application granted granted Critical
Publication of KR101700821B1 publication Critical patent/KR101700821B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/27—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving both synthetic and natural picture components, e.g. synthetic natural hybrid coding [SNHC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

스케일러블 원격화면 전송방법 및 그 장치가 개시된다. 본 발명의 일 실시 예에 따른 스케일러블 원격화면 전송방법은, 원격화면을 구성하는 이미지와 그래픽 명령어를 분리하는 단계와, 분리된 이미지를 스케일러블 비디오 인코더로 압축하는 단계와, 압축된 이미지와 분리된 그래픽 명령어를 클라이언트 단말에 전송하는 단계를 포함한다.

Description

스케일러블 원격화면 전송방법 및 그 장치 {Scalable remote screen providing method and apparatus}
본 발명은 미디어 융합 전달 기술에 관한 것으로, 보다 상세하게는 비디오 압축 및 전송 기술에 관한 것이다.
정보통신기술의 발달로 미디어 기술은 이미 다양하게 일상생활에서 사용되고 있다. 멀티미디어 코덱의 압축기술의 개발로 사용자들은 더욱 편리하게 동영상 서비스를 제공받고 있다. MPEG(Moving Picture Experts Group)에서 시작된 동영상 코덱의 발전은 근래의 H.264의 광범위한 사용과 스케일러블 비디오 코덱(Scalable Video Codec)의 다양성 지원 등으로 향후 동영상 코덱 시장을 점유할 것으로 예상된다. 오디오 코덱은 MP3(MPEG Audio Layer-3), AAC(Advanced Audio Coding) 등 다양한 형태가 혼재된 상황이다.
서버에서 단말로의 원격화면 전송을 위한 다양한 방법이 시도되고 있다. 그 중 클라우드 기술과 통신망 기술의 발달로 인해 씬 클라이언트(thin-client)나 제로 클라이언트(zero-client) 기반의 서비스를 활용하려는 시도가 있다. 단말이 Thin-zero client가 되려면 서버 측에서 상당한 계산을 수행하는 반면, 클라이언트 단말 단에서는 아주 단순한 계산만 수행한다. 원격 전송 프로토콜(Remote Desktop Protocol: RDP) 등의 기술은 그래픽 디바이스 인터페이스(Graphic device interface: GDI) 명령어인 그래픽 명령어(Graphic instruction)를 전송하므로 동영상 시청의 경우 막대한 전송량이 필요하다. Thin-client는 CPU 계산량의 부족 때문에 RDP 등을 이용한 비트맵(Bitmap) 전송을 제대로 처리하지 못하므로 사용자 입장에서 UI 입력과 출력 화면의 동기화 문제가 발생할 수 있다.
원격화면 전송 기술에 따르면, 사용자가 서버로 미리 클라이언트 단말의 해상도를 전송해서 고정된 화면 해상도를 갖는 원격화면을 전송받게 된다. 따라서 이동 환경이나 무선 환경 등에서 그 사용이 제약될 수 있다. 나아가, 현재의 원격화면 전송기술은 한 사용자에 초점을 맞추어 발전하고 있지만 교육, 회사간 협업 (3D 디자인), 화상회의 등의 다자간 참여 S/W의 경우 각 사용자는 하나의 세션을 통해 다자간 참여 S/W를 전송받아야 하므로 서버에 과부하가 걸릴 수 있다.
일 실시 예에 따라, 사용자의 네트워크 환경 의존성을 최소로 하는 스케일러블 비디오 코덱(scalable video codec) 기술과 그래픽 하이브리드(Graphic Hybrid) 기술을 활용하여 사용자에게 원격화면을 원활하게 제공할 수 있는 스케일러블 원격화면 전송방법 및 그 장치를 제안한다.
또한 스케일러블 비디오 코덱을 활용하여 서버가 제공하는 하나의 원격화면을 다양한 사용자가 공유하여 다중 참여형 S/W에서 서버의 부하와 사용자의 클라이언트 단말의 해상도나 제약조건을 제거하는 스케일러블 원격화면 전송방법 및 그 장치를 제안한다.
일 실시 예에 따르면, 서버가 클라이언트 단말에 원격화면을 전송하는 방법은, 원격화면을 구성하는 이미지와 그래픽 명령어를 분리하는 단계와, 분리된 이미지를 스케일러블 비디오 인코더로 압축하는 단계와, 압축된 이미지와 분리된 그래픽 명령어를 클라이언트 단말에 전송하는 단계를 포함한다.
분리하는 단계는, 원격화면을 구성하는 그래픽 디바이스 인터페이스 명령어를 분석하는 단계와, 분석 결과를 이용하여 그래픽 디바이스 인터페이스 명령어 중에 비트맵 이미지 명령어와 그래픽 명령어를 분리하는 단계를 포함할 수 있다.
분석하는 단계에서, 서버는 원격 전송 프로토콜 패킷을 분석하여 그래픽 디바이스 인터페이스 명령어를 획득한 후 이를 분석할 수 있다. 또한, 분석하는 단계에서, 애플리케이션 프로그래밍 인터페이스 후킹을 통해 그래픽 디바이스 인터페이스 명령어를 획득한 후 이를 분석할 수 있다.
압축하는 단계에서, 서버는 스케일러블 비디오 인코더를 통해 이미지를 가변되는 화면 해상도를 갖도록 압축함에 따라, 클라이언트 단말이 자신의 접속 환경에 최적화된 이미지를 전송받도록 할 수 있다.
추가 실시 예에 따르면, 압축된 이미지를 이미지 저장영역에 저장하는 단계와, 분리된 그래픽 명령어를 명령어 큐에 저장하는 단계를 포함하며, 전송하는 단계에서 서버는 이미지 저장영역에 저장된 이미지와 명령어 큐에 저장된 그래픽 명령어를 각각 클라이언트 단말에 전송할 수 있다.
전송하는 단계에서, 서버는 분리된 그래픽 명령어와 함께 클라이언트 단말이 서버에 접속한 시점에 생성된 타임스탬프 값을 전송할 수 있다.
전송하는 단계에서, 서버는 압축된 이미지와 분리된 그래픽 명령어를 대상으로 차별적으로 오류 보호를 수행한 후 전송할 수 있다.
다른 실시 예에 따라 클라이언트 단말이 서버로부터 원격화면을 수신하는 방법은, 서버에 접속하여 분리된 이미지와 그래픽 명령어를 각각 수신하는 단계와, 수신된 이미지를 스케일러블 비디오 디코더를 통해 디코딩하는 단계와, 디코딩된 이미지와 수신된 그래픽 명령어를 합성하여 원격화면을 재구성하는 단계를 포함한다.
추가 실시 예에 따르면, 디코딩된 이미지와 수신된 그래픽 명령어의 타이밍을 동기화하는 단계를 포함하며, 원격화면을 재구성하는 단계는. 타이밍이 동기화된 상태에서 수신된 그래픽 명령어를 클라이언트 단말의 그래픽 프로세서에 해당하는 명령어로 변환한 후 변환된 명령어를 디코딩된 이미지에 합성할 수 있다.
추가 실시 예에 따르면, 스케일러블 비디오 디코더를 통해 디코딩된 이미지를 스케일러를 통해 스케일링하는 단계를 포함하며, 원격화면을 재구성하는 단계는 스케일러를 통해 스케일링된 이미지를 수신된 그래픽 명령어와 합성하여 원격화면을 재구성할 수 있다. 이때, 스케일러를 통해 스케일링하는 단계는, 스케일러블 비디오 디코더를 통해 저 해상도로 디코딩된 이미지가 수신된 그래픽 명령어의 표시 좌표 및 크기와 일치하도록 저 해상도로 디코딩된 이미지를 원 해상도의 이미지로 스케일링할 수 있다.
추가 실시 예에 따르면, 그래픽 명령어를 스케일러를 통해 스케일링하는 단계를 포함하며, 원격화면을 재구성하는 단계는 스케일러를 통해 스케일링된 그래픽 명령어를 디코딩된 이미지와 합성하여 원격화면을 재구성할 수 있다. 이때, 스케일러를 통해 스케일링하는 단계는, 그래픽 명령어가 텍스트 명령어인 경우, 서버가 전송하는 원 화면의 해상도가 xh,yh 이고, 클라이언트 단말의 해상도가 xl,yl 이며, 텍스트 명령어의 좌표가 tx,ty 인 경우 ntx=tx×xl/xh, nty=ty×yl/yh의 관계로 좌표 및 크기정보를 스케일링할 수 있다.
다른 실시 예에 따른 서버는, 원격화면을 구성하는 그래픽 디바이스 인터페이스 명령어를 분석하여 이미지와 그래픽 명령어를 분리하는 명령어 분석부와, 명령어 분석부를 통해 분리된 이미지를 압축하는 스케일러블 비디오 인코더와, 명령어 분석부를 통해 분리된 그래픽 명령어와 스케일러블 비디오 인코더를 통해 압축된 이미지를 클라이언트 단말에 각각 전송하는 전송부를 포함한다.
일 실시 예에 따르면, 클라이언트 단말을 통해 서버에 접속한 사용자에게 원격화면을 원활하게 제공할 수 있다. 즉, 스케일러블 비디오 코덱 기술(scalable video codec) 기술과 그래픽 하이브리드(Graphic Hybrid) 기술을 활용하여 사용자의 접속 환경에 최적화된 원격화면을 제공할 수 있다.
나아가, 스케일러블 비디오 코덱을 활용하여 서버가 제공하는 하나의 원격화면을 다양한 사용자가 공유하여 다중 참여형 S/W에서 서버의 부하와 사용자의 클라이언트 단말의 해상도나 제약조건을 제거할 수 있다.
도 1은 본 발명이 적용되는 스케일러블 비디오 인코더(Scalable Video encoder)의 구성도,
도 2는 본 발명의 일 실시 예에 따른 원격화면 제공 시스템을 도시한 구성도,
도 3은 본 발명이 적용되는 원격화면의 구성도,
도 4는 본 발명의 일 실시 예에 따른 서버의 구성도,
도 5는 본 발명의 일 실시 예에 따른 서버의 명령어 분석 및 메모리 저장 방식을 설명하기 위한 참조도,
도 6은 본 발명의 일 실시 예에 따른 클라이언트 단말의 구성도,
도 7과 도 8은 본 발명의 다양한 실시 예에 따라 다양한 통신망이 혼재된 상황에서 클라이언트 단말의 원격화면 구성 예를 도시한 참조도,
도 9는 본 발명의 일 실시 예에 따라 다양한 클라이언트 단말의 접속 환경에 따른 원격화면 제공 예를 도시한 참조도,
도 10은 본 발명의 일 실시 예에 따른 서버의 원격화면 전송방법을 도시한 흐름도,
도 11은 본 발명의 일 실시 예에 따른 클라이언트 단말의 원격화면 수신방법을 도시한 흐름도이다.
이하에서는 첨부한 도면을 참조하여 본 발명의 실시 예들을 상세히 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명이 적용되는 스케일러블 비디오 인코더(Scalable Video encoder)의 구성도이다.
도 1을 참조하면, 스케일러블 비디오 인코더는 영상 원본(Original Video)(110) 및 약화된 영상(Decimated Video)(120)을 입력받으며, 상위 레이어 인코더(130), 하위(베이스) 레이어 인코더(140) 및 멀티플렉서(150)를 포함한다.
약화된 영상(120)은 영상 원본(110)이 다운샘플링(Downsampling)된 것이다. 즉, 일반적으로 약화된 영상(120)은 영상 원본(110)에 비해 낮은 해상도와 초당 프레임수(Frame Per Second: fps)를 갖는다.
상위 레이어 인코더(130)는 움직임 추정부(Motion Estimation Unit)(160), 움직임 코딩부(Motion Coding Unit)(162), 표준 업샘플링부(Normative Upsampling Unit)(160), 화면 내 예측부(Intra Prediction Unit)(172) 및 변형/엔트로피부(Transform/Entropy Unit)(174)를 포함한다. 하위 레이어 인코더(140)는 움직임 추정부(180), 움직임 코딩부(182), 화면 내 예측부(190) 및 변형/엔트로피부(192)를 포함한다.
우선, 하위 레이어 인코더(140)의 부 구성 요소들에 대해 설명한다. 움직임 추정부(180)는 약화된 영상(120)의 움직임을 추정한다. 추정된 움직임은 움직임 코딩부(182)에 의해 부호화된다. 움직임 추정부(180)에 의해 출력된 텍스처(texture)는 화면 내 예측부(190)에 입력되고, 화면 내 예측이 수행된다. 화면 내 예측이 수행된 결과는 변형/엔트로피부(192)에서 변형/엔트로피 부호화된다.
다음, 상위 레이어 인코더(130)의 부 구성 요소들에 대해 설명한다. 움직임 추정부(160)은 영상 원본(110)의 움직임을 추정한다. 추정된 움직임은 움직임 코딩부(162)에 의해 부호화된다. 표준 업샘플링부(170)는 하위 레이어 인코더(140)의 변형/엔트로피부(192)에서 출력된 디코드된 프레임들 및 영상 원본(110)을 입력받아 표준 업샘플링을 수행한다. 화면 내 예측부(172)는 움직임 추정부(180)에 의해 출력된 텍스처 및 표준 업샘플링부에서 출력된 업샘플링된 프레임들을 입력으로 받아, 입력에 대해 화면 내 예측을 수행한다. 업샘플링된 프레임들은 움직임 및 텍스처 등의 정보를 포함할 수 있다. 변형/엔트로피부(174)는 화면 내 예측부(172)에서 출력된 화면 내 예측이 수행된 결과를 변형/엔트로피 부호화한다.
멀티플렉서(150)는 움직임 코딩부(162), 변형/엔트로피부(174), 움직임 코딩부(182) 및 변형/엔트로피부(192)로부터 부호화된 결과를 입력으로 받아, 입력들에 대해 멀티플렉싱(Multiplexing)을 수행하여, SVC 비트스트림(Bit stream)을 출력한다.
스케일러블 비디오 코딩(scalable video coding) 방식은 영상신호를 인코딩함에 있어 최고의 화질로 인코딩하되, 그 결과로 생성된 픽처 시퀀스의 부분 시퀀스(시퀀스 전체에서 간헐적으로 선택된 프레임의 시퀀스)를 디코딩해 사용해도 저화질의 영상 표현이 가능하다. 그러나 컴퓨터 스크린(Computer screen) 화면의 경우 텍스트(text) 정보를 인코딩함에 있어 제약이 따른다.
예를 들어, 도 1에 도시된 바와 같이 영상을 약화(Decimation)시키면, 저대역 필터링(Lowpass filtering)을 거치게 되어 영상의 화질이 저하된다. 일반적인 비디오 화면의 경우는 사용자가 화질의 큰 차이를 느끼기는 힘들지만, 컴퓨터 스크린의 경우는 텍스트 정보를 필터링하면 화질이 저하된다. 또한 그래픽 명령어(Graphic instruction)인 직사각형(Rectangle), 타원(Ellipse) 등의 도형도 필터링하면 화질이 저하된다. 그러나 주로 비트맵(bitmap)으로 구성된 동영상 화면이나 사진 등의 이미지의 경우 사용자는 화질에 있어서 큰 차이를 느끼지 못한다. 따라셔, 본 발명은 화면을 구성하는 이미지와 그래픽 명령어를 분리하고, 분리된 이미지를 스케일러블 비디오 코딩 방식을 통해 압축한 후 압축된 이미지와 분리된 그래픽 명령어를 전송하는 기술을 통해 사용자에게 원격화면을 원활하게 제공하는 기술을 제안한다.
도 2는 본 발명의 일 실시 예에 따른 원격화면 제공 시스템(1)을 도시한 구성도이다.
도 2를 참조하면, 원격화면 제공 시스템(1)은 서버(2), 네트워크(3) 및 클라이언트 단말(4)을 포함한다.
원격화면 제공 시스템(1)은 클라이언트 단말(4)을 가능한 한 단순하게 구성하고, 모든 정보와 기능을 서버(2)에 둔다. 이때, 서버(2)는 서버(2)에 설치된 응용프로그램을 실행시키며, 실행결과 화면을 네트워크(3)를 통해 원격으로 클라이언트 단말(4)에 제공한다. 클라이언트 단말(4)은 다수 개일 수 있다.
본 발명은 서버(2)의 클라이언트 단말(4)로의 원격화면 전송에 있어서, 클라이언트 단말(4)의 네트워크 환경 의존을 최소로 하기 위하여, 스케일러블 비디오 코덱 기술과 그래픽 하이브리드 기술을 활용하여 클라이언트 단말(4) 사용자에게 원격화면을 원활하게 제공하는 기술에 관한 것이다.
즉, 서버(2)가 클라이언트 단말(4)에 원격화면을 제공하기 위해서, 원격화면을 구성하는 이미지와 그래픽 명령어를 분리한 후 스케일러블 비디오 인코더를 통해 이미지를 인코딩하며, 인코딩된 이미지와 그래픽 명령어를 클라이언트 단말(4)에 각각 전송한다. 서버(2)에 접속한 클라이언트 단말(4)은 서버(2)로부터 분리된 이미지와 그래픽 명령어를 각각 수신한다. 그리고, 수신된 이미지를 스케일러블 비디오 디코더를 통해 디코딩한 후 디코딩된 이미지와 그래픽 명령어를 합성하여 원격화면을 재구성하며 재구성된 원격화면을 사용자에게 표시한다.
도 3은 본 발명이 적용되는 원격화면(30)의 구성도이다.
도 3을 참조하면, 원격화면(30), 예를 들어 컴퓨터 화면은 이미지(32)와 그래픽 명령어(34)로 구성된다. 이미지(32)는 비트맵(bitmap) 형태로 구성될 수 있는데, 사진과 동영상 등을 표현하는 영역이다. 이미지(32)는 이미지의 좌표(x,y)와 크기(width, height), 픽셀(pixel)에 대한 정보 등을 포함한다. 그래픽 명령어(34)는 텍스트(Text) 명령어나 사각형(Rectangle), 타원(Ellipse) 등의 도형 명령어이다. 그래픽 명령어(34)에는 해당 명령어의 좌표(x,y)와 크기(width, height), 폰트(font), 컬러(color) 등의 OS(Operating System)에 종속되는 정보를 포함한다.
도 4는 본 발명의 일 실시 예에 따른 서버(2)의 구성도이다.
도 2와 도 4를 참조하면, 서버(2)는 명령어 분석부(20), 메모리(22), 스케일러블 비디오 인코더(24), 오류 보호부(26) 및 전송부(28)를 포함한다.
명령어 분석부(20)는 원격화면을 구성하는 그래픽 디바이스 인터페이스(Graphic Device Interface: 이하 DGI라 칭함) 명령어를 분석하여 이미지 명령어와 그래픽 명령어를 분리한다. 명령어 분석부(20)는 원격 전송 프로토콜(Remote Desktop Protocol: RDP) 패킷을 분석하여 DGI 명령어를 획득한 후 DGI 명령어를 분석함에 따라 이미지 명령어와 그래픽 명령어를 분리할 수 있다. 또는 명령어 분석부(20)는 애플리케이션 프로그래밍 인터페이스 후킹(hooking)을 통해 GDI 명령어를 획득한 후 이를 분석할 수도 있다.
메모리(22)는 분리된 이미지 명령어와 그래픽 명령어를 각각 저장한다. 일 실시 예에 따라, 이미지는 이미지 저장영역(220)에 저장되고, 그래픽 명령어는 명령어 큐(222)에 저장된다.
스케일러블 비디오 인코더(scalable video encoder)(24)는 명령어 분석부(20)를 통해 분리된 이미지를 압축한다. 예를 들어, 고 해상도의 비트스트림과 저 해상도의 비스스트림으로 이미지를 각각 압축한다. 압축 형태는 예를 들어 jpeg, mpeg 등의 모든 압축 포맷을 사용할 수 있다.
스케일러블 비디오 인코더(24)는 이미지가 가변되는 화면 해상도를 갖도록 압축함에 따라, 클라이언트 단말(4)이 자신의 접속 환경에 최적화된 이미지를 전송받도록 한다. 즉, 클라이언트 단말(4)이 이동 환경이나 무선 환경 등에 있더라도 스케일러블 비디오 인코더(24)를 활용하여 클라이언트 단말(4) 자신의 접속 환경에 적합한 원격화면을 전송받을 수 있다.
오류 보호부(Error Protection Unit)(26)는 이미지와 그래픽 명령어를 대상으로 차별적으로 오류 보호를 수행한다. 일반적으로 그래픽 명령어의 전송 요구량은 이미지에 비해서 낮기 때문에 여러 가지 오류 보호 방법을 사용할 수 있다. 일 실시 예에 따르면, 그래픽 명령어의 경우 제3 오류 보호부(264)가 높은 오류 보호(Strong Error protection)를 수행한다. 그리고, 이미지를 대상으로는 그래픽 명령어에 비하여 낮은 오류 보호를 수행한다. 가령, 제1 오류 보호부(260)가 스케일러블 비디오 인코더(24)를 통해 압축된 저 해상도의 비트스트림에 대해 중간 오류 보호(Moderate Error protection)를 수행하고, 제2 오류 보호부(262)가 고 해상도의 비트스트림에 대해 낮은 오류 보호(Low Error protection)를 수행한다. 이에 따라, 사용자는 중요한 텍스트 정보 등의 그래픽 명령어를 안정적으로 전송받기 때문에 정보의 전달 측면에서 효율성을 높일 수 있다.
전송부(28)는 이미지와 그래픽 명령어를 각각 클라이언트 단말(4)에 전송한다. 일 실시 예에 따라 전송부(28)는 그래픽 명령어와 함께 클라이언트 단말(4)이 서버(2)에 접속한 시점에 생성된 타임스탬프 값을 전송할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 서버(2)의 명령어 분석 및 메모리 저장 방식을 설명하기 위한 참조도이다.
도 4와 도 5를 참조하면, 명령어 분석부(20)는 원격화면에서 윈도우의 경우 GDI 명령어인 그래픽 명령어를 분석한다. 분석 결과, 이미지와 그래픽 명령어가 분리되면, 비트맵 이미지는 메모리의 이미지 저장 영역(220)에 저장하며, 텍스트(Text), 직사각형(Rectangle), 타원(Ellipse) 등의 그래픽 명령어는 메모리의 명령어 큐(queue)(222)에 저장한다. 그래픽 명령어는 일반적으로 표시할 좌표와 크기 정보 등을 포함한다. 그래픽 명령어의 경우 타임스탬프(time-stamp) 정보도 같이 저장될 수 있다. 타임스탬프는 클라이언트 단말(4)이 서버(2)에 접속한 시간을 0으로 두고 현재까지의 진행시간을 나타낸다.
도 6은 본 발명의 일 실시 예에 따른 클라이언트 단말(4)의 구성도이다.
도 6을 참조하면 클라이언트 단말(4)은 스케일러블 비디오 디코더(40), 명령어 큐(41), 동기화부(43) 및 합성부(44)를 포함한다.
스케일러블 비디오 디코더(scalable video decoder)(40)는 서버(2)로부터 분리된 이미지와 그래픽 명령어를 각각 수신하여, 수신된 이미지를 디코딩한다. 예를 들어, 서버(2)에서 jpeg 인코딩이 수행된 경우, 스케일러블 비디오 디코더(40)는 jpeg 디코딩 과정을 수행한다. 서버(2)로부터 수신된 그래픽 명령어는 명령어 큐(41)에 저장될 수 있다.
동기화부(43)는 디코딩된 이미지와 수신된 그래픽 명령어의 타이밍을 동기한다. 일 실시 예에 따라, 동기화부(43)는 서버(2)로부터 그래픽 명령어와 함께 수신한 타임스탬프 값에 따라 그래픽 명령어를 스케일러블 비디오 디코더(40)에서 디코딩된 이미지 화면(42)의 재생율(Refresh rate)에 맞추어 동기화한다.
합성부(44)는 디코딩된 이미지와 그래픽 명령어를 합성하여 원격화면을 재구성한다. 재구성된 원격화면은 사용자에게 디스플레이를 통해 출력된다. 일 실시 예에 따라, 합성부(44)는 동기화부(43)에 의해 타이밍이 동기화된 상태에서 그래픽 명령어를 클라이언트 단말(4)의 그래픽 프로세서에 해당하는 명령어로 변환한 후 변환된 명령어를 디코딩된 이미지에 합성한다.
도 7과 도 8은 본 발명의 다양한 실시 예에 따라 다양한 통신망이 혼재된 상황에서 클라이언트 단말(4)의 원격화면 구성 예를 도시한 참조도이다.
사용자는 유선망에 연결된 상황에서 안정된 전송속도를 보장받을 때 스케일러블 비디오 코덱을 통해 기설정한 최고의 해상도로 클라이언트 단말(4)을 통해 원격화면을 볼 수 있다. 그러나, 무선망이나 통신이 불안정하여 패킷의 손실이 심해지면 상대적으로 적은 전송량을 가지는 저 해상도의 비디오 패킷을 수신하여 클라이언트 단말(4)을 통해 원격화면을 볼 수 있다. 이때 그래픽 명령어는 원격화면의 최고 해상도에서 생성되어 클라이언트 단말(4)에 전송된 명령어이므로, 전송받은 이미지의 해상도에 맞게 스케일링하는 과정이 필요하다. 이하 도 7과 도 8을 참조로 다양한 실시 예에 따른 스케일링 방법에 대해 후술한다.
일 실시 예에 따르면, 도 7에 도시된 바와 같이 스케일러(45)는 스케일러블 비디오 디코더(40)를 통해 디코딩된 이미지를 스케일링한다. 즉, 스케일러(45)는 스케일러블 비디오 디코더(40)를 통해 저 해상도로 디코딩된 이미지가 그래픽 명령어의 표시 좌표 및 크기와 일치하도록 저 해상도로 디코딩된 이미지를 원 해상도의 이미지로 스케일링한다. 이 경우, 합성부(44)는 스케일러(45)를 통해 스케일링된 이미지를 명령어 처리부(46)에 의해 처리된 그래픽 명령어와 합성하여 원격화면을 재구성한다.
다른 실시 예에 따르면, 도 8에 도시된 바와 같이 명령어 스케일러(47)가 그래픽 명령어를 스케일링한다. 예를 들어, 명령어 스케일러(47)는 그래픽 명령어가 텍스트 명령어인 경우, 서버(2)가 전송하는 원 화면의 해상도가 xh,yh 이고, 클라이언트 단말(4)의 해상도가 xl,yl 이며, 텍스트 명령어의 좌표가 tx,ty 인 경우 ntx=tx×xl/xh, nty=ty×yl/yh의 관계로 좌표 및 크기정보를 스케일링한다. 위의 경우는 서버(2)에 접속하여 원격화면을 제공받는 클라이언트 단말(4)의 해상도가 변경되었을 때 쓰일 수 있다. 이때, 합성부(44)는 명령어 스케일러(47)를 통해 스케일링된 그래픽 명령어를 디코딩된 이미지와 합성하여 원격화면을 재구성한다.
도 9는 본 발명의 일 실시 예에 따라 다양한 클라이언트 단말의 접속 환경에 따른 원격화면 제공 예를 도시한 참조도이다.
도 9를 참조하면, 사용자들은 다양한 접속 환경에서 클라이언트 단말(4)을 통해 서버(2)에 접속하여 원격화면을 전송받을 수 있다. 예를 들어, 사용자는 이동 중에 클라이언트 단말(4a)을 통해 서버(2)에 접속할 수 있다. 또는 사용자는 저 해상도의 클라이언트 단말(4b)이나, 고 해상도의 클라이언트 단말(4c)을 통해 서버(2)에 접속할 수 있다.
본 발명에서 제안하는 스케일러블 비디오 코덱 방식과 그래픽 명령어 전송방식을 활용하여 서버(2)가 제공하는 하나의 원격화면을 다양한 사용자가 공유하여 사용할 수 있다. 또한 서버(2)에 다중 사용자 입력 처리 처리부(29)를 두어, 다중 사용자가 하나의 원격화면에 대해 제어를 할 수 있다.
도 10은 본 발명의 일 실시 예에 따른 서버(2)의 원격화면 전송방법을 도시한 흐름도이다.
도 2와 도 10을 참조하면, 서버(2)는 원격화면을 구성하는 이미지와 그래픽 명령어를 분리(1000)한다. 분리하는 단계(1000)에서, 서버(2)는 원격화면을 구성하는 GDI 명령어를 분석하고, 분석 결과를 이용하여 GDI 명령어 중에 비트맵 이미지 명령어와 그래픽 명령어를 분리할 수 있다.
이어서, 서버(2)는 분리된 이미지를 스케일러블 비디오 인코더로 압축한다(1010). 압축하는 단계(1010)에서 서버(2)는 스케일러블 비디오 인코더를 통해 이미지를 가변되는 화면 해상도를 갖도록 압축함에 따라, 클라이언트 단말(4)이 자신의 접속 환경에 최적화된 이미지를 제공받도록 한다.
이어서, 압축된 이미지와 분리된 그래픽 명령어를 클라이언트 단말(4)에 전송한다(1020). 전송하는 단계(1020)에서 서버(2)는 분리된 그래픽 명령어와 함께 클라이언트 단말(4)이 서버(2)에 접속한 시점에 생성된 타임스탬프 값을 전송할 수 있다. 나아가, 전송하는 단계(1020)에서 서버(2)는 압축된 이미지와 분리된 그래픽 명령어를 대상으로 차별적으로 오류보호를 수행한 후 전송할 수 있다.
도 11은 본 발명의 일 실시 예에 따른 클라이언트 단말(4)의 원격화면 수신방법을 도시한 흐름도이다.
도 2와 도 11을 참조하면, 클라이언트 단말(4)은 서버(2)에 접속하여 분리된 이미지와 그래픽 명령어를 각각 수신(1100)하고, 수신된 이미지를 스케일러블 비디오 디코더를 통해 디코딩한다(1110). 이어서, 클라이언트 단말(4)은 디코딩된 이미지와 수신된 그래픽 명령어를 합성하여 원격화면을 재구성(1120)하여 이를 디스플레이를 통해 사용자에게 출력한다.
디코딩 이후 디코딩된 이미지와 수신된 그래픽 명령어의 타이밍을 동기화하는 단계를 더 포함할 수 있는데, 원격화면 재구성 단계(1120)에서 클라이언트 단말(4)은 타이밍이 동기화된 상태에서 그래픽 명령어를 클라이언트 단말(4)의 그래픽 프로세서에 해당하는 명령어로 변환한 후 변환된 명령어를 디코딩된 이미지에 합성할 수 있다.
일 실시 예에 따르면, 클라이언트 단말(4)은 스케일러블 비디오 디코더를 통해 디코딩된 이미지를 스케일러를 통해 스케일링한다. 그리고, 원격화면을 재구성하는 단계(1120)에서, 스케일러를 통해 스케일링된 이미지를 그래픽 명령어와 합성하여 원격화면을 재구성한다. 다른 실시 예에 따르면, 클라이언트 단말(4)은 그래픽 명령어를 스케일러를 통해 스케일링한다. 그리고, 원격화면을 재구성하는 단계(1120)에서, 스케일러를 통해 스케일링된 그래픽 명령어를 디코딩된 이미지와 합성하여 원격화면을 재구성한다.
이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
1 : 원격화면 제공 시스템 2 : 서버
3 : 네트워크 4 : 클라이언트 단말
20 : 명령어 분석부 22 : 메모리
24 : 스케일러블 비디오 인코더 26 : 오류 보호부
28 : 전송부 29 : 다중 사용자 입력 처리부
40 : 스케일러블 비디오 디코더 41 : 명령어 큐
43 : 동기화부 44 : 합성부
45 : 스케일러 46 : 명령어 처리부
47 : 명령어 스케일러

Claims (18)

  1. 서버가 클라이언트 단말에 원격화면을 전송하는 방법에 있어서,
    원격화면을 구성하는 이미지와 그래픽 명령어를 분리하는 단계;
    상기 분리된 이미지를 스케일러블 비디오 인코더로 압축하는 단계; 및
    상기 압축된 이미지와 상기 분리된 그래픽 명령어를 상기 클라이언트 단말에 전송하는 단계; 를 포함하며,
    상기 분리하는 단계는,
    원격화면을 구성하는 그래픽 디바이스 인터페이스 명령어를 분석하는 단계; 및
    상기 분석 결과를 이용하여 그래픽 디바이스 인터페이스 명령어 중에 비트맵 이미지 명령어와 그래픽 명령어를 분리하는 단계;
    를 포함하는 것을 특징으로 하는 원격화면 전송방법.
  2. 삭제
  3. 제 1 항에 있어서, 상기 분석하는 단계는,
    원격 전송 프로토콜 패킷을 분석하여 그래픽 디바이스 인터페이스 명령어를 획득한 후 이를 분석하는 것을 특징으로 하는 원격화면 전송방법.
  4. 제 1 항에 있어서, 상기 분석하는 단계는,
    애플리케이션 프로그래밍 인터페이스 후킹을 통해 그래픽 디바이스 인터페이스 명령어를 획득한 후 이를 분석하는 것을 특징으로 하는 원격화면 전송방법.
  5. 제 1 항에 있어서, 상기 압축하는 단계는,
    상기 스케일러블 비디오 인코더를 통해 이미지를 가변되는 화면 해상도를 갖도록 압축함에 따라, 상기 클라이언트 단말이 자신의 접속 환경에 최적화된 이미지를 전송받도록 하는 것을 특징으로 하는 원격화면 전송방법.
  6. 제 1 항에 있어서,
    상기 압축된 이미지를 이미지 저장영역에 저장하는 단계; 및
    상기 분리된 그래픽 명령어를 명령어 큐에 저장하는 단계; 를 더 포함하며,
    상기 전송하는 단계는 상기 이미지 저장영역에 저장된 이미지와 상기 명령어 큐에 저장된 그래픽 명령어를 각각 상기 클라이언트 단말에 전송하는 것을 특징으로 하는 원격화면 전송방법.
  7. 서버가 클라이언트 단말에 원격화면을 전송하는 방법에 있어서,
    원격화면을 구성하는 이미지와 그래픽 명령어를 분리하는 단계;
    상기 분리된 이미지를 스케일러블 비디오 인코더로 압축하는 단계; 및
    상기 압축된 이미지와 상기 분리된 그래픽 명령어를 상기 클라이언트 단말에 전송하는 단계; 및
    상기 분리된 그래픽 명령어와 함께 상기 클라이언트 단말이 상기 서버에 접속한 시점에 생성된 타임스탬프 값을 전송하는 단계;
    를 포함하는 것을 특징으로 하는 원격화면 전송방법.
  8. 서버가 클라이언트 단말에 원격화면을 전송하는 방법에 있어서,
    원격화면을 구성하는 이미지와 그래픽 명령어를 분리하는 단계;
    상기 분리된 이미지를 스케일러블 비디오 인코더로 압축하는 단계; 및
    상기 압축된 이미지와 상기 분리된 그래픽 명령어를 대상으로 차별적으로 오류 보호를 수행한 후 상기 클라이언트 단말에 전송하는 단계;
    를 포함하는 것을 특징으로 하는 원격화면 전송방법.
  9. 클라이언트 단말이 서버로부터 원격화면을 수신하는 방법에 있어서,
    상기 서버에 접속하여 분리된 이미지와 그래픽 명령어를 각각 수신하는 단계;
    상기 수신된 이미지를 스케일러블 비디오 디코더를 통해 디코딩하는 단계;
    상기 디코딩된 이미지와 상기 수신된 그래픽 명령어의 타이밍을 동기화하는 단계; 및
    타이밍이 동기화된 상태에서 상기 디코딩된 이미지와 상기 수신된 그래픽 명령어를 합성하여 원격화면을 재구성하는 단계;
    를 포함하는 것을 특징으로 하는 원격화면 수신방법.
  10. 제 9 항에 있어서,
    상기 원격화면을 재구성하는 단계는 타이밍이 동기화된 상태에서 상기 수신된 그래픽 명령어를 상기 클라이언트 단말의 그래픽 프로세서에 해당하는 명령어로 변환한 후 변환된 명령어를 상기 디코딩된 이미지에 합성하는 것을 특징으로 하는 원격화면 수신방법.
  11. 클라이언트 단말이 서버로부터 원격화면을 수신하는 방법에 있어서,
    상기 서버에 접속하여 분리된 이미지와 그래픽 명령어를 각각 수신하는 단계;
    상기 수신된 이미지를 스케일러블 비디오 디코더를 통해 디코딩하는 단계;
    상기 스케일러블 비디오 디코더를 통해 디코딩된 이미지를 스케일러를 통해 스케일링하는 단계; 및
    상기 스케일러를 통해 스케일링된 이미지를 상기 수신된 그래픽 명령어와 합성하여 원격화면을 재구성하는 단계;
    를 포함하는 것을 특징으로 하는 원격화면 수신방법.
  12. 제 11 항에 있어서, 상기 스케일러를 통해 스케일링하는 단계는,
    상기 스케일러블 비디오 디코더를 통해 저 해상도로 디코딩된 이미지가 상기 수신된 그래픽 명령어의 표시 좌표 및 크기와 일치하도록 상기 저 해상도로 디코딩된 이미지를 원 해상도의 이미지로 스케일링하는 것을 특징으로 하는 원격화면 수신방법.
  13. 클라이언트 단말이 서버로부터 원격화면을 수신하는 방법에 있어서,
    상기 서버에 접속하여 분리된 이미지와 그래픽 명령어를 각각 수신하는 단계;
    상기 수신된 이미지를 스케일러블 비디오 디코더를 통해 디코딩하는 단계;
    상기 그래픽 명령어를 스케일러를 통해 스케일링하는 단계; 및
    상기 스케일러를 통해 스케일링된 그래픽 명령어를 상기 디코딩된 이미지와 합성하여 원격화면을 재구성하는 단계;
    를 포함하는 것을 특징으로 하는 원격화면 수신방법.
  14. 제 13 항에 있어서, 상기 스케일러를 통해 스케일링하는 단계는,
    그래픽 명령어가 텍스트 명령어인 경우, 상기 서버가 전송하는 원 화면의 해상도가 xh,yh 이고, 상기 클라이언트 단말의 해상도가 xl,yl 이며, 텍스트 명령어의 좌표가 tx,ty 인 경우 ntx=tx×xl/xh, nty=ty×yl/yh의 관계로 좌표 및 크기정보를 스케일링하는 것을 특징으로 하는 원격화면 수신방법.
  15. 삭제
  16. 씬 클라이언트 단말이 가상화 서버로부터 가상화 원격화면을 구성하는 그래픽 디바이스 인터페이스 명령어를 분석하여 이미지와 그래픽 명령어를 분리하는 명령어 분석부;
    상기 명령어 분석부를 통해 분리된 이미지를 압축하는 스케일러블 비디오 인코더; 및
    상기 명령어 분석부를 통해 분리된 그래픽 명령어와 상기 스케일러블 비디오 인코더를 통해 압축된 이미지를 클라이언트 단말에 각각 전송하는 전송부; 를 포함하며,
    상기 스케일러블 비디오 인코더는,
    상기 명령어 분석부를 통해 분리된 이미지를 가변되는 화면 해상도를 갖도록 압축함에 따라, 상기 클라이언트 단말이 자신의 접속 환경에 최적화된 이미지를 전송받도록 하는 것을 특징으로 하는 서버.
  17. 씬 클라이언트 단말이 가상화 서버로부터 가상화 원격화면을 구성하는 그래픽 디바이스 인터페이스 명령어를 분석하여 이미지와 그래픽 명령어를 분리하는 명령어 분석부;
    상기 명령어 분석부를 통해 분리된 이미지를 압축하는 스케일러블 비디오 인코더;
    상기 명령어 분석부를 통해 분리된 그래픽 명령어와 상기 스케일러블 비디오 인코더를 통해 압축된 이미지를 클라이언트 단말에 각각 전송하는 전송부; 및
    상기 압축된 이미지와 상기 분리된 그래픽 명령어를 대상으로 차별적으로 오류 보호를 수행하는 오류 보호부;
    를 포함하는 것을 특징으로 하는 서버.
  18. 씬 클라이언트 단말이 가상화 서버로부터 가상화 원격화면을 구성하는 그래픽 디바이스 인터페이스 명령어를 분석하여 이미지와 그래픽 명령어를 분리하는 명령어 분석부;
    상기 명령어 분석부를 통해 분리된 이미지를 압축하는 스케일러블 비디오 인코더;
    상기 명령어 분석부를 통해 분리된 그래픽 명령어와 상기 스케일러블 비디오 인코더를 통해 압축된 이미지를 클라이언트 단말에 각각 전송하는 전송부; 및
    다수의 클라이언트 단말이 상기 서버가 제공하는 하나의 원격화면을 공유하고 제어할 수 있도록 상기 다수의 클라이언트 단말로부터의 사용자 입력을 처리하는 다중 사용자 입력 처리부;
    를 포함하는 것을 특징으로 하는 서버.
KR1020120091318A 2012-08-21 2012-08-21 스케일러블 원격화면 전송방법 및 그 장치 KR101700821B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120091318A KR101700821B1 (ko) 2012-08-21 2012-08-21 스케일러블 원격화면 전송방법 및 그 장치
US13/837,122 US20140055471A1 (en) 2012-08-21 2013-03-15 Method for providing scalable remote screen image and apparatus thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120091318A KR101700821B1 (ko) 2012-08-21 2012-08-21 스케일러블 원격화면 전송방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20140025112A KR20140025112A (ko) 2014-03-04
KR101700821B1 true KR101700821B1 (ko) 2017-02-01

Family

ID=50147585

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120091318A KR101700821B1 (ko) 2012-08-21 2012-08-21 스케일러블 원격화면 전송방법 및 그 장치

Country Status (2)

Country Link
US (1) US20140055471A1 (ko)
KR (1) KR101700821B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101899262B1 (ko) 2017-11-14 2018-09-14 (주) 퓨전데이타 가상화 화면 최적화 시스템 및 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160071815A (ko) 2014-12-12 2016-06-22 한국전자통신연구원 중요도에 따른 원격 화면 전송 시스템 및 그 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6388679B1 (en) * 1998-12-29 2002-05-14 Intel Corporation Multi-resolution computer display system
US7376695B2 (en) * 2002-03-14 2008-05-20 Citrix Systems, Inc. Method and system for generating a graphical display for a remote terminal session
US8046698B1 (en) * 2002-03-29 2011-10-25 Graphics Properties Holdings, Inc. System and method for providing collaboration of a graphics session
US20060282855A1 (en) * 2005-05-05 2006-12-14 Digital Display Innovations, Llc Multiple remote display system
KR20060122663A (ko) * 2005-05-26 2006-11-30 엘지전자 주식회사 영상신호의 엔코딩 및 디코딩에서의 픽처 정보를 전송하고이를 이용하는 방법
US7899864B2 (en) * 2005-11-01 2011-03-01 Microsoft Corporation Multi-user terminal services accelerator
US8654134B2 (en) * 2008-12-08 2014-02-18 Microsoft Corporation Command remoting
KR101246596B1 (ko) * 2009-08-26 2013-03-25 에스케이플래닛 주식회사 서비스 영상 전송 시스템, 서버 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101899262B1 (ko) 2017-11-14 2018-09-14 (주) 퓨전데이타 가상화 화면 최적화 시스템 및 방법

Also Published As

Publication number Publication date
KR20140025112A (ko) 2014-03-04
US20140055471A1 (en) 2014-02-27

Similar Documents

Publication Publication Date Title
US20220239949A1 (en) An apparatus, a method and a computer program for video encoding and decoding
CN108781291B (zh) 空间可缩放视频编码
US9351028B2 (en) Wireless 3D streaming server
US8958474B2 (en) System and method for effectively encoding and decoding a wide-area network based remote presentation session
KR20190004280A (ko) 360도 비디오에 대한 하이브리드 그래픽들 및 픽셀 도메인 아키텍처
JP6333858B2 (ja) 複数の視覚コンポーネントを有する画面を共有するためのシステム、装置、および方法
KR20090125236A (ko) 정보 처리 장치 및 방법
KR20090126176A (ko) 정보 처리 장치 및 방법과, 프로그램
CN113557729B (zh) 视频码流解码方法、系统、装置和电子设备
JP2022513715A (ja) 無指向性媒体符号化及び復号のためのラップアラウンドパディングの方法
US11451836B2 (en) Techniques and apparatus for PCM patch creation using Morton codes
KR20130011994A (ko) 송신 장치, 수신 장치 및 그 송수신 방법
CN102158693A (zh) 自适应解码嵌入式视频比特流的方法及接收系统
US20210383574A1 (en) Method and apparatus for enhanced patch boundary identification for point cloud compression
KR101700821B1 (ko) 스케일러블 원격화면 전송방법 및 그 장치
KR20120062551A (ko) 디지털 비디오 송신 장치 및 방법, 디지털 비디오 수신 장치 및 방법, 디지털 비디오 송수신 시스템
Kim et al. Distributed video transcoding system for 8K 360° VR tiled streaming service
JP2004537931A (ja) シーンを符号化する方法及び装置
US11250594B2 (en) Method and apparatus for geometry smoothing by local geometry projection
KR102312668B1 (ko) 비디오 트랜스코딩 시스템
KR20100131061A (ko) 스테레오 영상 처리 장치 및 방법
Wu et al. Tunneling high-resolution color content through 4: 2: 0 HEVC and AVC video coding systems
US20240129578A1 (en) Method and apparatus for defining frames and timed referenced network abstraction layer (nals) structure in haptics signals
CN114667738A (zh) Mpd有效期到期处理模型
CN117242500A (zh) 用于使用边缘处理创建与ar设备和非ar设备共享的虚拟对话空间的装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant