KR20060025099A - 3차원그래픽-2차원비디오 인코딩 방법, 그래픽-비디오인코더, 3차원그래픽-2차원비디오 인코딩 시스템 및컴퓨터 판독 가능 매체 - Google Patents

3차원그래픽-2차원비디오 인코딩 방법, 그래픽-비디오인코더, 3차원그래픽-2차원비디오 인코딩 시스템 및컴퓨터 판독 가능 매체 Download PDF

Info

Publication number
KR20060025099A
KR20060025099A KR1020040085398A KR20040085398A KR20060025099A KR 20060025099 A KR20060025099 A KR 20060025099A KR 1020040085398 A KR1020040085398 A KR 1020040085398A KR 20040085398 A KR20040085398 A KR 20040085398A KR 20060025099 A KR20060025099 A KR 20060025099A
Authority
KR
South Korea
Prior art keywords
configuration information
graphics
depth value
dimensional
video encoding
Prior art date
Application number
KR1020040085398A
Other languages
English (en)
Other versions
KR101034966B1 (ko
Inventor
쳉젠
사카모토다카시
탄와이-티안
Original Assignee
휴렛-팩커드 디벨롭먼트 컴퍼니, 엘 피
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘 피 filed Critical 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘 피
Publication of KR20060025099A publication Critical patent/KR20060025099A/ko
Application granted granted Critical
Publication of KR101034966B1 publication Critical patent/KR101034966B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/27—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving both synthetic and natural picture components, e.g. synthetic natural hybrid coding [SNHC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics

Abstract

3차원그래픽-2차원비디오 인코딩 방법 및 디바이스. 적어도 하나의 3차원 객체를 나타내는 3차원 모델이 수신된다. 3차원 모델은 2차원 프레임으로 렌더링된다. 2차원 프레임의 구성 정보는 3차원 모델로부터 추출된다. 비트 스트림은 2차원 프레임 및 구성 정보에 기초하여 인코딩된다.

Description

3차원그래픽-2차원비디오 인코딩 방법, 그래픽-비디오 인코더, 3차원그래픽-2차원비디오 인코딩 시스템 및 컴퓨터 판독 가능 매체{A METHOD AND DEVICE FOR THREE-DIMENSIONAL GRAPHICS TO TWO-DIMENSIONAL VIDEO ENCODING}
도 1은 본 발명의 실시예에 따른 게임 관찰자 비디오 인코딩 및 이동 네트워크의 블록도,
도 2는 본 발명의 실시예에 따른 그래픽-비디오 인코더의 블록도,
도 3은 본 발명의 실시예에 따른 3차원그래픽-2차원비디오인코딩 프로세스 순서도,
도 4는 본 발명의 실시예에 따른 가중 인자 생성 프로세스 순서도,
도 5는 본 발명의 실시예에 따라, 2차원(2D) 평면상으로 투영된 예시적인 3차원(3D) 객체를 나타낸 도면이다.
도면의 주요 부분에 대한 부호의 설명
100: 이동 네트워크 102: 게임 플레이어
104: 코어 네트워크 106: 포털
108: 게임 서버 110: 그래픽-비디오 인코더
112: 이동 멀티캐스트 지원 114, 116: 관찰자
본 발명의 실시예는 비디오 인코딩 분야에 관한 것이다.
개인 휴대 정보 단말기(personal digital assistant: PDA) 및 셀룰러 전화기와 같은 다양한 이동 클라이언트는, 스트리밍 비디오 콘텐트를 표시하기 위한 디스플레이 스크린을 포함한다. 무선 네트워크(예를 들어, 3G 무선 네트워크)의 대역폭 확장으로, 스트리밍 비디오는 무선 미디어의 대다수를 점유할 것으로 믿어졌다. 그러나, 그 대신에 가장 빨리 성장한 애플리케이션은 3차원(3D) 그래픽 모델에 기초한 이동 네트워크 게임 분야였다. 예를 들어, 한국 및 일본과 같은 국가에서는, 이동 네트워크 게임의 이용이 대단히 증가하고 있어서, 이동 전자 디바이스를 사용한 이동 네트워크 게임에 액세스하고자 하는 상당한 요구(desire)가 존재한다.
이동 네트워크 게임은 실시간 대화(real-time interactivity)를 요구하여, 현재의 3G 무선 네트워크 실시간 메커니즘 상에서는, 데이터를 적시에 배달할 수 있는 용량에 대한 엄격한 요구(demand)를 정하고 있다. 또한, 일반적인 이동 클라이언트는 제한적인 컴퓨팅 리소스를 갖는 저전력 경량(lightweight) 디바이스이며, 일반적으로 고품질 그래픽에 필수적인 초당 수백만의 트라이앵글(triangle)을 렌더링할 수 없다. 그 결과, 현재의 이동 온라인 게임은, 일반적으로 그룹 크기 및 대 화(interaction) 면에서 제한적이며, 시각 품질(visual quality) 면에서 지나치게 간소하다.
이동 온라인 게임의 품질을 개선하기 위해서는, 무선 네트워크 기술의 기본적인 발전 및 이동 컴퓨팅 하드웨어의 과감한 속도 증가(speedup)가 요구된다. 그러나, 게임 관찰자는 계속 많아지고 있는 이동 클라이언트 사용자를 포함한다. 게임 관찰자는 액션을 구경하는 것에만 관심을 갖는 비참여자(non-participants)로서 네트워크에 액세스하는 사용자이다. 이들 네트워크 게임은 이동 네트워크 게임으로 한정되지는 않다. 예를 들어, 게임 관찰자는, 3D 그래픽을 렌더링(rendering)하기에 충분한 하드웨어를 갖고 있는 그들의 가정용 개인 컴퓨터로 네트워크 게임에 액세스할 수도 있다. 네트워크 게임이 충분히 발달함에 따라, 고도로 숙련된 플레이어는, 멀티캐스트 채널에서 단체(en masse)로 그들의 영웅의 액션을 충실하게 따르고 관찰하는 팬 기반을 얻는다.
현재, 이동 네트워크 게임 관찰자는 능동적인 게임 참여자와 같은 제한을 받고 있다. 구체적으로, 네트워크 게임을 관찰하기 위해서, 관찰자의 이동 클라이언트는 일반적으로 3D 그래픽을 표시하는 데 필수적인 하드웨어 요건을 충족해야 한다. 그러나, 상술한 바와 같이, 일반적인 이동 클라이언트는 3D 그래픽을 렌더링할 수 있는 하드웨어를 포함하지 않는다. 따라서, 이동 게임 관찰자는, 종종 보다 덜 생생하고 간소한 그래픽을 갖는 이동 온라인 게임을 보는 것으로 제한되기 때문에, 관찰자에게는 바람직하지 못하다.
본 명세서에서는, 본 발명의 다양한 실시예인 3차원그래픽-2차원비디오 인코딩 방법 및 디바이스에 대해 설명한다. 일 실시예에서는, 적어도 하나의 3차원 객체를 나타내는 3차원 모델이 수신된다. 3차원 모델은 2차원 프레임(frame)으로 렌더링된다. 2차원 프레임에 대한 구성 정보는 3차원 모델로부터 추출된다. 비트 스트립은 2차원 프레임 및 구성 정보로에 기초하여 인코딩된다.
본 명세서에 수록되어 일부를 구성하고 있는 첨부 도면은, 상세한 설명과 함께, 본 발명의 실시예를 예시하며, 본 발명의 원리를 설명하기 위한 것이다.
이제, 본 발명의 다양한 실시예에 대해 상세히 참조하여, 그 예는 첨부한 도면에서 설명된다. 본 발명이 이들 실시예와 결합하여 설명되고 있으나, 본 발명을 이들 실시예로 한정하고자 하는 것이 아님이 이해될 것이다. 반대로, 본 발명은, 첨부한 청구범위에 의해 정의된 바와 같은 본 발명의 사상 및 범주 내에 포함될 수도 있는 대안, 변경 및 등가를 포괄하고자 한다. 또한, 본 발명의 다음 상세한 설명에서는, 본 발명에 대한 완전한 이해를 제공하기 위해 많은 구체적인 세목이 설명된다. 예를 들어, 공지 방법, 과정, 소자 및 회로에 대해서는, 본 발명의 측면을 쓸데없이 불명료하게 하지 않기 위해서, 상세히 설명하지 않는다.
본 발명의 측면은, 일반적으로, 정보 및 인스트럭션을 처리하기 위한 프로세서, 정보 및 인스트럭션을 저장하기 위한 랜덤 액세스(휘발성) 메모리(RAM), 정지 (static) 정보 및 인스트럭션을 저장하기 위한 판독 전용(비휘발성) 메모리(ROM), 정보 및 인스트럭션을 저장하기 위한 자기 또는 광 디스크와 같은 데이터 저장 장치와 디스크 드라이브, 정보를 컴퓨터 사용자에게 표시하기 위한 디스플레이 디바이스와 같은 선택적인 사용자 출력 디바이스(예를 들어, 모니터), 정보 및 커맨드 선택에 관해 프로세서와 통신하기 위한 문자 숫자 식의 기능키를 포함하는 선택적인 사용자 입력 디바이스(예를 들어, 키보드), 및 사용자 입력 정보 및 커맨드 선택에 관해 프로세서와 통신하기 위한 커서 제어 디바이스와 같은 선택적인 사용자 입력 디바이스(예를 들어, 마우스)를 포함하는 컴퓨터 시스템으로 구현될 수도 있다.
도 1은 본 발명의 실시예에 따른 게임 관찰자 비디오 인코딩 및 이동 네트워크(100)(이하, 네트워크(100)라고 함)의 블록도를 나타낸다. 네트워크(100)는 코어 네트워크(104)와 이동 멀티캐스트 지원(112)을 포함한다. 코어 네트워크(104)는 게임 플레이어(102), 포털(106), 게임 서버(108) 및 그래픽-비디오 인코더(110)를 포함한다. 게임 플레이어(102)는 유선 또는 무선 커넥션을 이용하여 코어 네트워크(104)에 접속될 수도 있다. 일 실시예에서, 게임 플레이어는 포털(106)을 통해 온라인 게임에 인가(permission)를 얻어 등록한다. 그 후, 게임 플레이어(102)는 게임 서버(108)를 통해 서버-클라이언트 모델로 게임에 참여한다. 게임 서버(108)는 3차원(3D) 게임 플레이(예를 들어, 3D 모델을 이용하는 게임)를 게임 플레이어(102)에게 제공하도록 동작할 수 있다. 게임 서버(108)는 갱신된 게임 이벤트를 게임 플레이어(102) 및 그래픽-비디오 인코더(110)로 전송한다. 꽤 많은 게임 플레이어(102)가 코어 네트워크(104)에 액세스 할 수도 있음이 인식되어야 한다.
그래픽-비디오 인코더(그렌코더(grencoder)라고도 함)(110)는 갱신된 게임 이벤트를 인코딩된 비트 스트림으로 변환하는 컴퓨터 시스템이다. 일 실시예에서, 비트 스트림은 이동 멀티캐스트 지원(112)을 이용하여 관심 있는 게임 관찰자(114, 116)에게 스트리밍된다. 그러나, 데이터의 무선 송신을 보내는 임의의 방법 또는 기술이 사용될 수도 있음이 인식되어야 한다. 일 실시예에서, 이동 멀티캐스트 지원(112)은 3G 무선 표준을 이용하며, 패킷 관문 지원 노드(Gateway GPRS(General Packet Radio Service) Support Node: GGSN), 패킷 교환 지원 노드(Serving GPRS Support Node: SGSN), 다수의 UTRAN(UMTS(Universal Mobile Technology System) Terrestrial Radio Access Network) 노드, 및 비트 스트림을 관찰자(114) 및 관찰자(116)에게 송신하는 다수의 사용자 장비(UE)를 포함한다. 그러나, 임의의 무선 표준안이 사용될 수도 있음이 인식되어야 한다. 일 실시예에서, 사용자 장비는 이동 클라이언트이다. 일 실시예에서, 이동 클라이언트는 개인 휴대 정보 단말기이다. 다른 실시예에서, 이동 클라이언트는 셀룰러 전화기이다.
도 2는 본 발명의 실시예에 따른 그렌코더(110)의 블록도이다. 그렌코더(110)는 그래픽 렌더링 유닛(210), 구성 정보 추출기(220) 및 비디오 인코더(230)를 포함한다. 일 실시예에서, 그렌코더(110)는 3차원그래픽-2차원비디오 인코딩 프로세스를 수행하도록 동작할 수 있다.
그래픽 렌더링 유닛(210)은 서버(예를 들어, 도 1의 게임 서버(108))로부터 3D 모델을 수신한다. 그래픽 렌더링 유닛(210)은 3D 모델 객체의 3D 표현을 2D 평 면에 렌더링하여, 원시 2차원(2D) 프레임(215)을 생성한다. 렌더링은 또한 래스터화(rasterization)라고도 지칭된다. 일 실시예에서, 이것은 그래픽 렌더링 유닛(210)의 프레임 버퍼에서 수행된다.
구성 정보 추출기(220)는, 구성 정보(225)를 3D 모델로부터 추출하여 인코딩된 비트 스트림(235)의 시각 품질을 개선하도록 동작할 수 있다. 2D 프레임(215)을 생성하는 원래의 3D 모델(205)에 액세스함으로써, 그래픽 렌더링 유닛(210)은 인코딩 소스의 장면(scene) 구성 정보에 액세스한다. 일반적으로, 이 구성 정보는 비디오 인코더에 유용하다. 일 실시예에서, 구성 정보는 3D 모델(205) 객체의 깊이 값(depth values)을 포함한다. 객체의 깊이 값은, 어떤 객체가 카메라에 더 가깝고, 이 때문에, 어떤 객체가 폐색(occlude)되는지 어떤 것이 폐색되지 않는지를 알아내는 데 사용된다. 카메라에 더 가까운 객체도 관심 객체임을 가정함으로써, 깊이 값도 또한 관심 영역을 나타낸다. 구성 정보는, 다른 인자, 예를 들어, 움직임(motion), 텍스처(texture), 형상, 포그(fog), 조명(lighting) 및 그 밖의 의미 정보(semantic information)를 포함할 수 있으나, 이것으로 제한되지는 않음이 인식되어야 한다. 일 실시예에서, 구성 정보 추출기(220)는 구성 정보(225)를 비디오 인코더(230)로 송신하여 관심 영역의 시각 품질을 개선한다. 다른 실시예에서, 구성 정보 추출기(220)는 관심 영역을 식별하기 위해 구성 정보(225)에 기초하여 가중 인자(weighting factor)를 생성한다. 그 후, 가중 인자는 비디오 인코더(230)로 송신되어 관심 영역의 시각 품질을 개선한다.
비디오 인코더(230)는 인코딩된 비트 스트림(235)을 생성하기 위해 2D 프레 임(215) 및 구성 정보(225)를 수신한다. 구성 정보(225)는 2D 프레임(215)의 관심 영역을 식별하는 데 사용된다. 비디오 인코더(230)는 모드 선택 방법을 응용하여 더 많은 비트를 관심 영역에 할당하도록 구성되기 때문에, 인코딩된 비트 스트림(235)의 시각 품질을 개선한다. 이어서, 비트 스트림은 패킷화되어 관심있는 관찰자(예를 들어, 도 1의 게임 관찰자(114, 116))에게 전송된다. 비디오 인코더(230)는, 동영상 전문가 그룹(Moving Pictures Expert Group: MPEG) 비디오 인코더와 같은 임의의 표준에 따른 비디오 인코더일 수 있음이 인식되어야 한다.
도 3은 본 발명의 실시예에 따른 3차원그래픽-2차원비디오 인코딩 프로세스(300)의 순서도를 나타낸다. 일 실시예에서, 프로세스(300)는, 도 1 및 도 2의 그렌코더(110)와 같은 컴퓨터 판독 가능 및 컴퓨터 실행 가능 인스트럭션의 제어 하에, 프로세서 및 전기 소자(예를 들어, 컴퓨터 시스템)에 의해 실행된다. 구체적인 단계가 프로세스(300)에서 기술되고 있으나, 이러한 단계는 예시적인 것이다. 즉, 본 발명의 실시예는 도 3에 인용된 단계의 변형 또는 다양한 다른 단계를 수행하는 데 매우 적합하다.
단계(310)에서, 적어도 하나의 3D 객체를 나타내는 3D 모델이 수신된다. 일 실시예에서, 3D 모델은 서버(예를 들어, 도 1의 게임 서버(108))로부터 수신된다. 일 실시예에서, 3D 모델은 오픈지엘(OpenGL)을 따른다. 오픈지엘은 실리콘 그래픽사가 개시한 그래픽 산업 표준으로, 그래픽 프로그래머가 다양한 컴퓨팅 플랫폼에 대해 쉽게 컴파일되고 최적화될 수 있는 소프트웨어를 기록하게 할 수 있는 애플리케이션 프로그래밍 인터페이스(API) 세트를 제공한다. 다른 실시예에서, 3D 모델 은 오픈지엘 내장 시스템(ES), 즉, 이동 네트워크 게임에 필수적이라고 여겨지는 오픈지엘 API의 서브세트를 따른다. 실제 크기 오픈지엘보다 오픈지엘 ES를 사용하는 것은, 그래픽 사양을 지원하기 위한 하드웨어 제조자의 부담을 경감시키는 한편, 그들을 더 적은 API에 관해 특화시킬 수 있다.
단계(320)에서, 3D 모델은 2D 프레임으로 렌더링된다. 일 실시예에서, 임의의 표준 래스터화는 2D 프레임을 렌더링하는 데 사용될 수도 있다. 일 실시예에서, 2D 프레임은 소정 MPEG 인코더가 요구하는 16의 배수인 폭 및 높이를 갖는다.
단계(330)에서, 2D 프레임에 대한 구성 정보는 3D 모델로부터 추출된다. 일 실시예에서, 구성 정보는 2D 프레임의 픽셀에 대한 깊이 값을 나타내는 깊이 정보를 포함한다. 구성 정보는, 움직임 정보(예를 들어, 움직임 벡터), 텍스처 정보, 객체 형상 정보, 조명 정보, 포그 정보 및 의미 정보를 포함하지만, 이것으로 제한되지 않음이 인식되어야 한다. 단계(330)는 단계(320) 이전 또는 그 이후에 수행될 수 있음이 인식되어야 한다.
일 실시예에서, 깊이 정보가 추출되는 경우, 3D 객체가 2D 평면에 맵핑되는 래스터화 동안에, 각 픽셀의 깊이 값은 Z 버퍼 알고리즘을 이용하여 계산되어 객체 폐색을 결정할 수도 있다. 3D 객체가 오픈지엘 ES API에서 표현된다고 가정하면, API 래퍼(wrapper)는, 고유 API를 호출하기 이전에, 프레임 버퍼로부터 각 픽셀(j, k)의 제 1 추출 깊이 값 d(j, k)까지의 래스터화 이후, 특정 오픈지엘 ES API에 대해 기록된다. 이에 따라, 본 발명의 실시예는 오픈지엘 ES를 지원하는 임의의 이동 네트워크 게임 개발자에 의해 용이하게 채택될 수 있고, 게임 개발자는 그렌코 딩을 위한 깊이 값을 나타내기 위해서 그들의 게임 소프트웨어를 임의로 변경할 필요가 없다.
단계(340)에서, 가중 인자는 구성 정보에 기초하여 생성된다. 일 실시예에서, 가중 인자는 2D 프레임의 적어도 하나의 매크로블록에 대해 생성된다. 가중 인자는 비디오 인코딩 동안에 비트 할당을 어시스트하는 데 사용된다. 예를 들어, 가중 인자는 2D 프레임의 모든 매크로블록에 대해 생성될 수도 있다. 더 큰 가중 인자를 갖는 매크로블록은 관심 영역(예를 들어, 다른 매크로블록보다 더욱 중요한 블록)으로서 나타내어진다. 예를 들어, 사람의 화상을 나타내는 2D 프레임에서, 큰 가중 인자를 갖는 매크로블록은 사람(예를 들어, 전경(foreground))을 나타낼 수도 있지만, 더 작은 가중 인자를 갖는 매크로블록은 배경을 나타낼 수도 있다. 비디오 인코딩 동안에, 더 큰 비율의 비트는, 배경을 나타내는 매크로블록보다는 사람을 나타내는 매크로블록에 할당되어, 같은 수의 비트를 사용하는 2D 프레임의 뚜렷한 해상도를 개선할 수도 있다.
도 4는 본 발명의 실시예에 따른 가중 인자를 생성하는 프로세스의 순서도를 나타낸다. 일 실시예에서, 프로세스(400)는 도 1 및 도 2의 그렌코더(110)와 같은 컴퓨터 판독 가능 및 컴퓨터 실행 가능 인스트럭션의 제어 하에, 프로세서 및 전기 소자(예를 들어, 컴퓨터 시스템)에 의해 실행된다. 구체적인 단계가 프로세스(400)에서 기술되고 있으나, 이러한 단계는 예시적인 것이다. 즉, 본 발명의 실시예는 도 4에 인용된 단계의 변형 또는 다양한 다른 단계를 수행하는 데 매우 적합하다.
프로세스(400)의 단계(410)에서, 매크로블록의 평균 깊이 값이 매크로블록의 픽셀 깊이 값에 기초하여 결정된다. MPEG 용어(terminology)에서, 매크로블록은 16X16 픽셀인 픽셀 그룹이고, 2D 프레임/영상은 비병행(non-overlapping) 매크로블록으로 구성된다. 일 실시예에서, N개의 매크로블록(MB)의 그룹의 각 MB에 대한 하나의 코딩 모드가, 총 왜곡이 속도 제약(rate constraint)을 조건으로 하여 최소화되도록 선택된다. 예를 들어, 일련의 MB의 상호 의존성은 비디오 표준 h.263 버전 2(h.263+)에서 선형적으로 모델링되어, 가능하다면, 각 MBi, Ri() 및 Di()의 속도 및 왜곡이, MBi의 모드 mi 및 이전 MBi-1의 모드 mi-1에만 의존한다. 이와 같이, 모드 선택 문제는 다음 최적화와 같이 공식화될 수 있다.
Figure 112004048790613-PAT00001
여기서, h.263v2에 대해, 예측(P) 프레임에 대한 가능한 모드 세트 M은 M={INTRA, SKIP, INTER, INTER4}이며, Rs는 N개의 MB에 대한 비트 속도 제약이다.
원래의 제약 문제를 해결하는 대신에, 해당 라그랑지 연산자(Lagrangian) 또는 비제약 문제를 다음과 같이 해결하는 것이 관례이다.
Figure 112004048790613-PAT00002
여기서, λo는 주어진 값의 라그랑지 배수이다. 수학식 2에 대한 최적의 해(solution)
Figure 112004048790613-PAT00003
가
Figure 112004048790613-PAT00004
이도록 하는 λ가 존재한다면,
Figure 112004048790613-PAT00005
는 또한 수학식 1의 최적의 해가 된다는 것이 용이하게 보여질 수 있다. 양자화 파라미터 Q가 주어지면, 경험에 의해 적절한 λ가 발견될 수 있다는 것이 보여지고 있다. λ가 주어지면, 일반적으로, 수학식 2는 트렐리스를 통해 진행하고 트렐리스 내의 최단 경로를 찾아냄으로써 해결된다.
각 픽셀(j, k)의 유용한 깊이 값 d(j, k)가 주어지면, 각 MBi의 가중치 wi가 계산되어, 그 MBi에 대한 관심 레벨을 반영할 수 있다. wi가 주어지면, 다음의 수정된 라그랑지 연산이 해결될 수 있다.
Figure 112004048790613-PAT00006
여기서, 패널티 함수 λ(wi)Ri()의 엄격함(severity)을 제어하는 승수 λ(wi)는 현재, MBi의 가중치 wi에 의존한다. 이하에서 기술되는 바와 같이, 픽셀 깊이 값d(j, k)는 MB의 가중치 wi에 맵핑되어, 적절한 승수 함수 λ(wi)가 결정된다.
각 필셀(j, k)의 깊이 값 d(j, k)가 주어지면, 각 16X16 MBi의 가중치가 wi가 계산되어, 관심 MBi를 반영한다. 반대 깊이 값은 최대 깊이 값으로부터 픽셀 깊 이로의 스칼라 차이(scalar difference), 예를 들어, dmax-d(j, k)로서 정의된다. 일반적으로, 카메라에 더 가까운 객체의 표면(예를 들어, 큰 반대 깊이 값)은 더욱 많은 관찰자의 관심을 얻기 쉽다. 따라서, MB의 반대 깊이 값 평균은, MB의 객체 표면이 카메라에 얼마나 더 쉽게 가까워지는지에 대한 훌륭한 지표가 된다. 사실상, 픽셀의 반대 깊이 값 평균의 제곱은 카메라에 가까운 객체의 중요성을 강조하는 데 사용된다.
단계(420)에서, 매크로블록의 분산(variance) 깊이 값은 픽셀 깊이 값에 기초하여 결정된다. 객체의 에지(edge)는 보는 이들이 객체의 형상을 알아내고자 하는 경우에 종종 중요하다. MB의 객체 에지는 종종 픽셀 깊이 값의 분산에 반영된다.
예를 들어, 도 5에서 바닥부가 상부보다 카메라에 더 가까운 원뿔형 객체(510)를 고려한다. 도 5는 본 발명의 실시예에 따라, 2D 평면상에 투영된 예시적인 3D 객체(510)를 나타낸다. MB3 및 MB4가 큰 반대 깊이 값 평균을 갖는 반면, MB1 및 MB2는 큰 픽셀 깊이 값 분산을 갖는다.
상기 두 가지 고려 사항이 주어지면, wi가 MBi의 반대 깊이 값과 MB의 깊이 값 분산을 더한 값의 제곱과 같다는 공식이 사용된다.
다른 MB의 댓가에 비례하여 더 많은 비트가 관심 영역에 할당되는 범위를 제어하기 위해서, γ≥1은, 어떠한 MB도 비트 버젯(budget)의
Figure 112004048790613-PAT00007
몫(share)보다 더 많이 수신하도록 승수 인자로서 설정된다. 또한, 오프셋(offset) 가중치는 vi = wi + woff (woff는 오프셋 파라미터임)로 정의된다. 평균적으로, MBi는 비트 버젯의
Figure 112004048790613-PAT00008
몫(portion)을 수신하며, 여기서,
Figure 112004048790613-PAT00009
는 N개의 MB 오프셋 가중치의 평균이다. γ의 정의에 의하면 다음과 같다.
Figure 112004048790613-PAT00010
수학식 4의 부등식은 오프셋 파라미터 woff를 다음과 같이 정의함으로 충족된다.
Figure 112004048790613-PAT00011
여기서는,
Figure 112004048790613-PAT00012
이다.
이 비트 분포 방법을 이용하면, 버젯 Rs가 N개의 MB에 대해 완전히 배출된다.
Figure 112004048790613-PAT00013
단계(430)에서, 매크로블록의 가중 인자는 평균 깊이 값 및 분산 깊이 값에 기초하여 생성된다. 가중 인자는 또한 승수 함수 λ(wi)라고 지칭될 수도 있다.
λo는, 최적 해
Figure 112004048790613-PAT00014
가 수학식 1의 원래 제약 최적화의 Rs와 같거나 매우 가까운 동작 속도
Figure 112004048790613-PAT00015
을 갖도록, 수학식 2의 원래 라그랑지 연산 최적화에 대해 선험적으로 선택된다고 가정한다. 그 목적은, 이제, 수학식 3의 수정된 라그랑지 연산 최적화를 수행할 때, MBi의 각 가중치 wi가, 비트 버젯 Rs의 몫
Figure 112004048790613-PAT00016
을 사용하게 되는 승수 λ(wi)를 찾는 것이다. 이것은 수학식 3의 해
Figure 112004048790613-PAT00017
가 동작 속도
Figure 112004048790613-PAT00018
가 되는 것을 의미한다. 이 요건을 갖는 것은, λ에 대해 임의의 사전 유도된 공식이 우리의 수정된 속도 왜곡 최적화가 적용될 때와 동일한 의도된 동작 속도를 가질 것이라는 잇점을 갖는다.
맵핑 λ(wi)을 유도하기 위해서, λ의 이론적인 특징과 속도 R이 필요하다. 랑그랑지 승수 λ는 왜곡 속도 함수의 음의 기울기에 대응한다.
Figure 112004048790613-PAT00019
엔트로피 제약 스칼라 양자화에 대한 일반적인 고속 근사화 곡선은 다음과 같이 기록될 수 있다.
Figure 112004048790613-PAT00020
여기서, a 및 b는 속도 왜곡 함수를 파라미터화했던 제약이다. 그 때문에, λ는 R에 지수적으로 관련된다.
Figure 112004048790613-PAT00021
수학식 9의 한 가지 해석은, N개의 MB에 대한 동작 속도
Figure 112004048790613-PAT00022
를 달성하기 위해, 적절한 승수 λo가 수학식 9에 의해 발견된다는 것이다. 파라미터 a 및 b와, 의도된 속도
Figure 112004048790613-PAT00023
는 해결된 상태이다.
Figure 112004048790613-PAT00024
가 N개의 MB에 대해 평균적으로 MB당
Figure 112004048790613-PAT00025
의 비트를 소비한다는 것은 알려져 있다. 그 때문에, MBi에 대한 목표 사용
Figure 112004048790613-PAT00026
을 달성하기 위해서, λ(wi)는 동작 속도
Figure 112004048790613-PAT00027
이 되고 수학식 3에서 행해질 때에만 그것을 MBi에 적용하도록 발견되어, 그것은 평균적으로
Figure 112004048790613-PAT00028
를 소비한다.
N개의 MB에 대해
Figure 112004048790613-PAT00029
개의 비트를 소비하는 λ(wi)을 발견하기 위해서,
Figure 112004048790613-PAT00030
는 λo와 관련하여 해결되고 수학식 9에 대입된다.
Figure 112004048790613-PAT00031
Figure 112004048790613-PAT00032
는 수학식 9를 관찰하는 것으로부터 알려진다.
Figure 112004048790613-PAT00033
이고 α≥1인 경우에, 그 결과는 다음과 같다.
Figure 112004048790613-PAT00034
도 3으로 되돌아가면, 단계(350)에서, 비트 스트림은 2D 프레임 및 구성 정보에 기초하여 인코딩된다. 일 실시예에서, 비트 스트림은 비트 스트림의 매크로블록의 가중 인자(예를 들어, λ(wi))를 이용하여 인코딩된다. 그 후, 일 실시예에서, 비트 스트림은 이동 멀티캐스트 지원을 이용하여 관심있는 게임 관찰자에게 스트리밍된다.
본 발명의 각종 실시예는 3차원그래픽-2차원비디오 인코딩 방법 및 디바이스를 제공한다. 본 발명은, 이동 네트워크 게임 시퀀스를 많은 게임 관찰자에게 표준에 따른 비디오로 스트리밍하기 위한 방법 및 디바이스를 제공한다. 그렌코더는 3D 게임 그래픽을 입력으로 취하고, h.263+ 비디오 인코딩 동안에 컴퓨터 기능 수행 모드(intelligent mode) 선택을 수행함으로써 비디오의 관심 영역의 시각 품질을 증가시킨다. 관심 영역은, 래스터화 중에 3D 객체가 2D 표면에 투영될 때 이용할 수 있게 한 프레임 버퍼에서 픽셀의 구성 정보(예를 들어, 깊이 값)를 추출함으로써 식별된다.
본 발명의 실시예, 즉, 3차원그래픽-2차원비디오 인코딩을 위한 방법 및 디바이스가 이와 같이 설명된다. 본 발명이 특정한 실시예로 설명되고 있으나, 본 발명이 이러한 실시예로 제한되는 것으로 구성되는 것이 아니라, 다음의 청구범위에 따라 구성된다는 것이 인식되어야 한다.
본 발명에 따르면, 3D 객체를 2차원으로 표현하기 위한 3차원그래픽-2차원비디오 인코딩 방법이 제공되어, 네트워크 게임 관찰자의 이동 클라이언트가 3D 그래픽을 표시하는 데 필수적인 하드웨어 요건을 충족하지 않아도, 게임 관찰자가 이동 온라인 게임을 보는 것이 제한되지 않는다.

Claims (40)

  1. 적어도 하나의 3차원 객체를 나타내는 3차원 모델을 수신하는 단계와,
    상기 3차원 모델을 2차원 프레임으로 렌더링하는 단계와,
    상기 2차원 프레임에 대한 구성 정보를 상기 3차원 모델로부터 추출하는 단계와,
    비트 스트림을 상기 2차원 프레임 및 상기 구성 정보에 기초하여 인코딩하는 단계를 포함하는
    3차원그래픽-2차원비디오 인코딩 방법.
  2. 제 1 항에 있어서,
    상기 구성 정보에 기초하여, 상기 비트 스트림이 가중 인자를 사용하여 인코딩되도록 상기 가중 인자를 생성하는 단계를 더 포함하는
    3차원그래픽-2차원비디오 인코딩 방법.
  3. 제 2 항에 있어서,
    상기 가중 인자를 생성하는 단계는, 인코딩 파라미터를 선택하기 위해, 상기 2차원 프레임의 적어도 하나의 매크로블록에 적용되는
    3차원그래픽-2차원비디오 인코딩 방법.
  4. 제 3 항에 있어서,
    상기 구성 정보는 상기 매크로블록의 픽셀에 대한 깊이 값을 나타내는 깊이 정보를 포함하는
    3차원그래픽-2차원비디오 인코딩 방법.
  5. 제 4 항에 있어서,
    상기 가중 인자를 생성하는 상기 단계는
    상기 픽셀의 상기 깊이 값에 기초하여 상기 매크로블록에 대한 평균 깊이 값을 결정하는 단계와,
    상기 픽셀의 상기 깊이 값에 기초하여 상기 매크로블록에 대한 분산 깊이 값을 결정하는 단계와,
    상기 평균 깊이 값 및 상기 분산 깊이 값에 기초하여 상기 매크로블록에 대한 상기 가중 인자를 생성하는 단계를 포함하는
    3차원그래픽-2차원비디오 인코딩 방법.
  6. 제 1 항에 있어서,
    상기 구성 정보는 상기 2차원 프레임의 픽셀에 대한 움직임 벡터를 나타내는 움직임 정보를 포함하는
    3차원그래픽-2차원비디오 인코딩 방법.
  7. 제 1 항에 있어서,
    상기 구성 정보는 상기 2차원 프레임의 픽셀에 대한 텍스처를 나타내는 텍스처 정보를 포함하는
    3차원그래픽-2차원비디오 인코딩 방법.
  8. 제 2 항에 있어서,
    상기 비트 스트림을 이동 클라이언트로 송신하는 단계를 더 포함하는
    3차원그래픽-2차원비디오 인코딩 방법.
  9. 제 8 항에 있어서,
    상기 이동 클라이언트는 개인 휴대 정보 단말기(PDA)인
    3차원그래픽-2차원비디오 인코딩 방법.
  10. 제 8 항에 있어서,
    상기 이동 클라이언트는 셀룰러 전화기인
    3차원그래픽-2차원비디오 인코딩 방법.
  11. 3차원 모델을 2차원 프레임으로 렌더링하는 그래픽 렌더링 유닛과,
    상기 그래픽 렌더링 유닛에 연결되며, 상기 2차원 프레임에 대한 구성 정보를 상기 3차원 모델로부터 추출하는 구성 정보 추출기와,
    상기 그래픽 렌더링 유닛 및 상기 구성 정보 추출기에 연결되며, 비트 스트림을 상기 2차원 프레임 및 상기 구성 정보에 기초하여 인코딩하는 비디오 인코더를 포함하는
    그래픽-비디오 인코더.
  12. 제 11 항에 있어서,
    상기 구성 정보 추출기는 또한 가중 인자를 상기 구성 정보에 기초하여 생성하는
    그래픽-비디오 인코더.
  13. 제 12 항에 있어서,
    상기 구성 정보 추출기는 상기 2차원 프레임의 적어도 하나의 매크로블록에 대한 상기 가중 인자를 생성하는
    그래픽-비디오 인코더.
  14. 제 13 항에 있어서,
    상기 구성 정보는 상기 매크로블록의 픽셀에 대한 깊이 값을 나타내는 깊이 정보를 포함하는
    그래픽-비디오 인코더.
  15. 제 14 항에 있어서,
    상기 구성 정보 추출기는, 상기 픽셀의 상기 깊이 값에 기초한 상기 매크로블록에 대한 평균 깊이 값 및 상기 픽셀의 상기 깊이 값에 기초한 상기 매크로블록에 대한 분산 깊이 값에 기초하여, 상기 가중 인자를 생성하는
    그래픽-비디오 인코더.
  16. 제 11 항에 있어서,
    상기 구성 정보는 상기 2차원 프레임의 픽셀에 대한 움직임 벡터를 나타내는 움직임 정보를 포함하는
    그래픽-비디오 인코더.
  17. 제 11 항에 있어서,
    상기 구성 정보는 상기 2차원 프레임의 픽셀에 대한 텍스처를 나타내는 텍스처 정보를 포함하는
    그래픽-비디오 인코더.
  18. 제 11 항에 있어서,
    상기 비트 스트림은 이동 클라이언트로 송신되는
    그래픽-비디오 인코더.
  19. 제 18 항에 있어서,
    상기 이동 클라이언트는 개인 휴대 정보 단말기인
    그래픽-비디오 인코더.
  20. 제 18 항에 있어서,
    상기 이동 클라이언트는 셀룰러 전화기인
    그래픽-비디오 인코더.
  21. 3차원 그래픽을 생성하기 위한 서버와,
    그래픽-비디오 인코더를 포함하며,
    상기 그래픽-비디오 인코더는
    3차원 모델을 2차원 프레임으로 렌더링하는 그래픽 렌더링 유닛과,
    상기 그래픽 렌더링 유닛에 연결되며, 상기 2차원 프레임에 대한 구성 정보를 상기 3차원 모델로부터 추출하는 구성 정보 추출기와,
    상기 그래픽 렌더링 유닛 및 상기 구성 정보 추출기에 연결되며, 비트 스트림을 상기 2차원 프레임 및 상기 구성 정보에 기초하여 인코딩하는 비디오 인코더와,
    상기 비트 스트림을 수신하는 이동 클라이언트를 포함하는
    3차원그래픽-2차원비디오 인코딩 시스템.
  22. 제 21 항에 있어서,
    상기 구성 정보 추출기는 또한 가중 인자를 상기 구성 정보에 기초하여 생성하는
    3차원그래픽-2차원비디오 인코딩 시스템.
  23. 제 22 항에 있어서,
    상기 구성 정보 추출기는 상기 2차원 프레임의 적어도 하나의 매크로블록에 대한 상기 가중 인자를 생성하는
    3차원그래픽-2차원비디오 인코딩 시스템.
  24. 제 23 항에 있어서,
    상기 구성 정보는 상기 매크로블록의 픽셀에 대한 깊이 값을 나타내는 깊이 정보를 포함하는
    3차원그래픽-2차원비디오 인코딩 시스템.
  25. 제 24 항에 있어서,
    상기 구성 정보 추출기는, 상기 픽셀의 상기 깊이 값에 기초한 상기 매크로블록에 대한 평균 깊이 값 및 상기 픽셀의 상기 깊이 값에 기초한 상기 매크로블록에 대한 분산 깊이 값에 기초하여, 상기 가중 인자를 생성하는
    3차원그래픽-2차원비디오 인코딩 시스템.
  26. 제 21 항에 있어서,
    상기 구성 정보는 상기 2차원 프레임의 픽셀에 대한 움직임 벡터를 나타내는 움직임 정보를 포함하는
    3차원그래픽-2차원비디오 인코딩 시스템.
  27. 제 21 항에 있어서,
    상기 구성 정보는 상기 2차원 프레임의 픽셀에 대한 텍스처를 나타내는 텍스처 정보를 포함하는
    3차원그래픽-2차원비디오 인코딩 시스템.
  28. 제 21 항에 있어서,
    상기 이동 클라이언트는 개인 휴대 정보 단말기인
    3차원그래픽-2차원비디오 인코딩 시스템.
  29. 제 21 항에 있어서,
    상기 이동 클라이언트는 셀룰러 전화기인
    3차원그래픽-2차원비디오 인코딩 시스템.
  30. 제 21 항에 있어서,
    상기 서버는 게임 서버인
    3차원그래픽-2차원비디오 인코딩 시스템.
  31. 컴퓨터 시스템이 3차원그래픽-2차원비디오 인코딩 방법을 수행하게 하는 컴퓨터 판독 가능 프로그램 코드를 내장하는 컴퓨터 판독 가능 매체에 있어서,
    적어도 하나의 3차원 객체를 나타내는 3차원 모델을 수신하는 단계와,
    상기 3차원 모델을 2차원 프레임으로 렌더링하는 단계와,
    상기 2차원 프레임에 대한 구성 정보를 상기 3차원 모델로부터 추출하는 단계와,
    상기 2차원 프레임 및 상기 구성 정보에 기초하여 비트 스트림을 인코딩하는 단계를 포함하는
    컴퓨터 판독 가능 매체.
  32. 제 31 항에 있어서,
    상기 구성 정보에 기초하여, 상기 비트 스트림이 가중 인자를 이용하여 인코딩되도록, 상기 가중 인자를 생성하는 단계를 더 포함하는
    컴퓨터 판독 가능 매체.
  33. 제 32 항에 있어서,
    상기 가중 인자를 생성하는 상기 단계는, 인코딩 파라미터를 선택하기 위해, 상기 2차원 프레임의 적어도 하나의 매크로블록에 적용되는
    컴퓨터 판독 가능 매체.
  34. 제 33 항에 있어서,
    상기 구성 정보는 상기 매크로블록의 픽셀에 대한 깊이 값을 나타내는 깊이 정보를 포함하는
    컴퓨터 판독 가능 매체.
  35. 제 34 항에 있어서,
    상기 가중 인자를 생성하는 상기 단계는
    상기 픽셀의 상기 깊이 값에 기초하여 상기 매크로블록에 대한 평균 깊이 값을 결정하는 단계와,
    상기 픽셀의 상기 깊이 값에 기초하여 상기 매크로블록에 대한 분산 깊이 값을 결정하는 단계와,
    상기 평균 깊이 값 및 상기 분산 깊이 값에 기초하여 상기 매크로블록에 대한 상기 가중 인자를 생성하는 단계를 포함하는
    컴퓨터 판독 가능 매체.
  36. 제 31 항에 있어서,
    상기 구성 정보는 상기 2차원 프레임의 픽셀에 대한 움직임 벡터를 나타내는 움직임 정보를 포함하는
    컴퓨터 판독 가능 매체.
  37. 제 31 항에 있어서,
    상기 구성 정보는 상기 2차원 프레임의 픽셀에 대한 텍스처를 나타내는 텍스 처 정보를 포함하는
    컴퓨터 판독 가능 매체.
  38. 제 32 항에 있어서,
    상기 비트 스트림을 이동 클라이언트로 송신하는 단계를 더 포함하는
    컴퓨터 판독 가능 매체.
  39. 제 38 항에 있어서,
    상기 이동 클라이언트는 개인 휴대 정보 단말기인
    컴퓨터 판독 가능 매체.
  40. 제 38 항에 있어서,
    상기 이동 클라이언트는 셀룰러 전화기인
    컴퓨터 판독 가능 매체.
KR1020040085398A 2004-09-15 2004-10-25 3차원 그래픽을 2차원 비디오로 인코딩하는 방법과 그래픽-비디오 인코더 KR101034966B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/942,357 US7426304B2 (en) 2004-09-15 2004-09-15 Method and device for three-dimensional graphics to two-dimensional video encoding
US10/942,357 2004-09-15

Publications (2)

Publication Number Publication Date
KR20060025099A true KR20060025099A (ko) 2006-03-20
KR101034966B1 KR101034966B1 (ko) 2011-05-17

Family

ID=36034012

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040085398A KR101034966B1 (ko) 2004-09-15 2004-10-25 3차원 그래픽을 2차원 비디오로 인코딩하는 방법과 그래픽-비디오 인코더

Country Status (2)

Country Link
US (1) US7426304B2 (ko)
KR (1) KR101034966B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012086917A2 (ko) * 2010-12-24 2012-06-28 (주)케이티 클라우드 컴퓨팅 환경에서 게임 서비스 제공 방법, 클라우드 컴퓨팅 서버, 및 클라우드 컴퓨팅 시스템
KR101423915B1 (ko) * 2006-04-21 2014-07-29 삼성전자주식회사 3차원 그래픽을 이용한 온스크린 디스플레이 생성 방법 및장치

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100690391B1 (ko) * 2005-04-21 2007-03-09 임형수 주사바늘 없는 혈액투석용 션트 장치
US20070060346A1 (en) * 2005-06-28 2007-03-15 Samsung Electronics Co., Ltd. Tool for video gaming system and method
US20070060345A1 (en) * 2005-06-28 2007-03-15 Samsung Electronics Co., Ltd. Video gaming system and method
US7400329B2 (en) * 2005-06-28 2008-07-15 Samsung Electronics Co., Ltd. Graphics images system and method
US20070021203A1 (en) * 2005-06-28 2007-01-25 Samsung Electronics Co., Ltd. Mobile handset video game system and method
US20100325255A1 (en) * 2007-04-05 2010-12-23 Gene Cheung Data transmission system and method
US8290294B2 (en) * 2008-09-16 2012-10-16 Microsoft Corporation Dehazing an image using a three-dimensional reference model
US8619071B2 (en) * 2008-09-16 2013-12-31 Microsoft Corporation Image view synthesis using a three-dimensional reference model
US8723886B2 (en) * 2010-09-08 2014-05-13 Navteq B.V. Generating a multi-layered geographic image and the use thereof
US9984504B2 (en) * 2012-10-01 2018-05-29 Nvidia Corporation System and method for improving video encoding using content information
US10237563B2 (en) 2012-12-11 2019-03-19 Nvidia Corporation System and method for controlling video encoding using content information
US10242462B2 (en) 2013-04-02 2019-03-26 Nvidia Corporation Rate control bit allocation for video streaming based on an attention area of a gamer
CN104427291B (zh) 2013-08-19 2018-09-28 华为技术有限公司 一种图像处理方法及设备
WO2015104846A1 (en) * 2014-01-09 2015-07-16 Square Enix Holdings Co., Ltd. Method and system of creating and encoding video game screen images for transmission over a network
WO2023090959A1 (ko) * 2021-11-22 2023-05-25 주식회사 컬러버스 3차원 캐릭터 치환 시스템 및 방법
US20230319285A1 (en) * 2022-03-30 2023-10-05 Sony Group Corporation Machine learning based content-aware image frame encoding

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08235382A (ja) * 1995-02-24 1996-09-13 Hitachi Ltd ３次元コンピュータグラフィックス編集装置
US5745197A (en) * 1995-10-20 1998-04-28 The Aerospace Corporation Three-dimensional real-image volumetric display system and method
US6768774B1 (en) * 1998-11-09 2004-07-27 Broadcom Corporation Video and graphics system with video scaling
US6636222B1 (en) * 1999-11-09 2003-10-21 Broadcom Corporation Video and graphics system with an MPEG video decoder for concurrent multi-row decoding
US6853385B1 (en) * 1999-11-09 2005-02-08 Broadcom Corporation Video, audio and graphics decode, composite and display system
US6975324B1 (en) * 1999-11-09 2005-12-13 Broadcom Corporation Video and graphics system with a video transport processor
TWI222039B (en) * 2000-06-26 2004-10-11 Iwane Lab Ltd Information conversion system
JP2003006676A (ja) 2001-06-21 2003-01-10 Toppan Printing Co Ltd 二次元ｃｇ画像作成システム
JP2003346183A (ja) * 2002-05-28 2003-12-05 Canon Inc ３ｄコンテンツサービスシステム
US7145562B2 (en) * 2004-05-03 2006-12-05 Microsoft Corporation Integration of three dimensional scene hierarchy into two dimensional compositing system

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101423915B1 (ko) * 2006-04-21 2014-07-29 삼성전자주식회사 3차원 그래픽을 이용한 온스크린 디스플레이 생성 방법 및장치
WO2012086917A2 (ko) * 2010-12-24 2012-06-28 (주)케이티 클라우드 컴퓨팅 환경에서 게임 서비스 제공 방법, 클라우드 컴퓨팅 서버, 및 클라우드 컴퓨팅 시스템
WO2012086917A3 (ko) * 2010-12-24 2012-08-16 (주)케이티 클라우드 컴퓨팅 환경에서 게임 서비스 제공 방법, 클라우드 컴퓨팅 서버, 및 클라우드 컴퓨팅 시스템
KR101312268B1 (ko) * 2010-12-24 2013-09-25 주식회사 케이티 클라우드 컴퓨팅 환경에서 게임 서비스 제공 방법, 클라우드 컴퓨팅 서버, 및 클라우드 컴퓨팅 시스템
US9055066B2 (en) 2010-12-24 2015-06-09 Kt Corporation Apparatus and method for providing a game service in cloud computing environment

Also Published As

Publication number Publication date
KR101034966B1 (ko) 2011-05-17
US20060056717A1 (en) 2006-03-16
US7426304B2 (en) 2008-09-16

Similar Documents

Publication Publication Date Title
KR101034966B1 (ko) 3차원 그래픽을 2차원 비디오로 인코딩하는 방법과 그래픽-비디오 인코더
US10230565B2 (en) Allocation of GPU resources across multiple clients
JP5491517B2 (ja) ３次元コンピュータ生成仮想環境のビデオ表現を提供する方法及び装置
Shi et al. A survey of interactive remote rendering systems
JP5833599B2 (ja) プログラム、記録媒体及び符号化方式決定方法
US20180288363A1 (en) Methods and apparatuses for image processing to optimize image resolution and for optimizing video streaming bandwidth for vr videos
US11503313B2 (en) Systems and methods for rendering and pre-encoded load estimation based encoder hinting
US9984504B2 (en) System and method for improving video encoding using content information
Stengel et al. A distributed, decoupled system for losslessly streaming dynamic light probes to thin clients
JP4809025B2 (ja) ３次元グラフィクスから２次元ビデオへのエンコーディングのための方法および装置
KR20160015136A (ko) 클라우드 스트리밍 서비스 시스템, 스틸 이미지 압축 기법을 이용한 클라우드 스트리밍 서비스 방법 및 이를 위한 장치
CN113794887A (zh) 一种游戏引擎中视频编码的方法及相关设备
JP7304419B2 (ja) 送信装置、送信方法及びプログラム
Shi et al. Towards Full-scene Volumetric Video Streaming via Spatially Layered Representation and NeRF Generation
Sharrab et al. iHELP: a model for instant learning of video coding in VR/AR real-time applications
Tian et al. Quantization Parameter and Lagrange Multiplier Determination for Virtual Reality 360 Video Source Coding
TWI523673B (zh) 動畫配信伺服器、動畫播放裝置、控制方法、程式、及記錄媒體
TWI532005B (zh) An animation distribution server, an animation reproduction apparatus, a control method, a program, and a recording medium
CN116764188A (zh) 渲染方法及电子设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140502

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150504

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190430

Year of fee payment: 9