KR20100003518A - 게임기용 ｍｐｕ 및 3ｄ 그래픽 프로세서 - Google Patents

Abstract

게임기용 MPU와 3D 그래픽 프로세서가 원칩으로 이루어진 것으로, 차세대 휴대용 게임기에서 보다 나은 3D 그래픽을 요구하므로 이에 맞는 고속의 Geometric 엔진, 이를 위한 새로운 알고리즘, Geometric 엔진을 Fully Hardwired로 구현하는 구성을 마련한다.

상기와 같은 게임기용 MPU 및 3D 그래픽 프로세서를 이용하는 것에 의해, 모바일 환경으로 들어오면 그 제한점, 복잡성, 급속한 발전 속도, 디지털 컨버전스 경향 등의 영향으로 기존에 예측하기 어려운 다양한 기술을 개발할 수 있다.

게임기, MPU, 3D, 그래픽 프로세서, 모바일

Description

게임기용 ＭＰＵ 및 3Ｄ 그래픽 프로세서{MPU and 3D Graphics Processor of Portable Game Device}

본 발명은 게임기용 MPU 및 3D 그래픽 프로세서에 관한 것이다.

세계 최초로 CDMA 휴대 전화 서비스를 시작으로, 우리나라의 모바일 시장은 급팽창했으며, 이와 더불어, 모바일 기술도 급성장해 현재는 세계 IT 기술의 테스트 베드로 자리 잡고 있다. 또한, 이렇게 음성을 중심으로 한 초기 모바일 휴대폰 기기에서는 핵심 부품이 대부분 선진국의 수입품으로 구성되었지만, 카메라, 오디오, 비디오 기능 등 멀티미디어 기능이 휴대폰에 융합되면서 핵심 부품도 국산화율이 높아지고 있어, 그 간 메모리 이외의 부품시장에서 고전을 면치 못했던 우리나라의 모바일 IT 부품 기술이 도약 진입기에 있다. 하지만, 다음 몇 가지 점에서 모처럼 부품 시장의 활력을 위협하는 요소들이 존재한다.

① 게임 휴대폰의 고전 : 카메라 휴대폰을 시작으로 모뎀을 제외한 칩셋이 국산화에 성공하면서, 오디오, 비디오, 및 멀티미디어 국산화되어져 왔다. 이렇게 개발되어진 칩셋은 우리나라 휴대폰에 내장되면서 휴대폰 부품의 국산화율을 높여 가고 있다. 하지만, 멀티미디어 기능 중 유독, 3D 게임을 중심으로 한 그래픽만은 예외로 여겨져 왔다. 이는 그래픽은 원천적으로 많은 연산량을 요구하기 때문에 전용 그래픽 프로세서가 필요한데서 기인한다. 실제로, PC 시스템용 그래픽 프로세서를 생산하는 nVidia, ATI 등이 모바일용 그래픽 전용 프로세서를 개발하여, 우리나라의 휴대폰 기기에 모바일 그래픽 프로세서를 내장하려는 노력을 해왔으나 번번이 실패하고 있는 실정이다. 최근에는 한두 개의 그래픽 전용 프로세서를 채택한 휴대폰이 출시되고 있다.

② PSP 등 게임 전용 단말기의 활성화 : 휴대폰에서의 게임 응용이 주춤하고 있는 사이, 소니의 PlayStation의 포터블 버전인 PSP 가 출시되어 게임 포터블 기기의 큰 소비자군을 이루고 있다. 실제로 이 기기는 3D 게임이 소프트웨어에 의존하는 휴대폰 3D 게임과는 질적으로 차이가 나고 있으며, 바로 이점이 소비자의 호감을 사고 있다. 두 기기 간의 3D 게임의 질적 차이는 수백 MHz에서 동작하는 임베디드 프로세서에서 게임이 수행되고, 천만 polygon/sec 이상을 구가하는 전용 그래픽 프로세서를 내장했기 때문이다. 현재, 소니는 그래픽 프로세서와 MPU를 오픈 마켓(Open Market)이 아닌 자체 개발하여 조달하고 있다.

③ PMP, Navigator, PDA, MP3P의 진화 : 지난 한 해는 휴대폰 이외에 차량용 Navigator, PMP, PDA, MP3P가 독자적으로 시장을 넓혀 온 특징을 가지고 있다. 이 시장은 필연적으로 시장의 확대를 위해, 멀티미디어 기능을 내장하여 고급화하고 있는 동일한 특징을 가지고 있다. 이렇게 멀티미디어 기능의 추가는 고성능의 MPU와 그래픽 프로세서의 탑재를 요구하고 있다.

④ Wibro, HSDPA, Wi-Fi 단말 서비스 시작 : 이미 부산 APEC에서 시연에 성 공하였던, Wibro 휴대 인터넷 서비스는 올해 본격적인 서비스가 시작될 전망이다. 이를 위해, 사업자, 단말기 개발사, 부품 개발사 등이 개발에 매진하고 있다. 하지만, Wibro를 비롯한 HSDPA, Wi-Fi등은 음성 통신만이 아닌, 데이터 서비스가 기본이므로, 인터넷, 온라인 게임 등이 Killer Application으로 될 것으로 판단되어 진다. 이미, Wibro 게임 전용 단말기를 개발하는 회사도 있다. 이는 무선 모뎀뿐만 아니라, 고성능 MPU와 그래픽 프로세서도 기본 플랫폼으로 구성된다.

⑤ 모바일 방송 서비스의 시작 : 최근 세계 최초로 방송 서비스를 시작하는 DMB 방송을 필두로 모든 휴대 기기에 DMB 기능이 필수적 요소로 자리를 잡아가고 있다. 이러한 추세는 DMB용 휴대폰뿐만 아니라, PMP, Navigator, PDA, 게임 단말기 등에도 적용되고 있다.

⑥ 멀티미디어 Convergence : 휴대폰의 플랫폼의 제한적인 여건 때문에, 현재까지는 휴대폰이 개별적인 멀티미디어 기능이 탑재되고 발전되어 왔다. 하지만, 최근의 추세는 모든 멀티미디어 기능이 단일 기기에 통합되는 강한 추세가 있어, 모바일 기기에 내장되는 멀티미디어 부품도 모든 멀티미디어 기능을 지원해야 하는 당면 과제를 안고 있다. 실제로 소니의 PSP는 게임뿐만 아니라 비디오, 오디오까지 지원하고 있으며, 기기 간 네트워크를 통한 업그레이드를 시도하고 있다.

위와 같이 휴대폰 단말기에만 의존하여 발전해 왔던 멀티미디어 부품은, 이제 다른 영역의 모바일 기기의 통합 추세에 맞추어 진화 발전하여야 하며, 이러한 부품을 개발함으로써 우리나라에 모처럼 움트고 있는 멀티미디어 핵심 부품 기술을 이어갈 수 있다. 이에, 다음과 같은 목표로 본 발명을 수행하고자한다.

① 400MHz 이상의 고속 임베디드 프로세서를 기반으로 한 고성능 MPU, 전용 가속기를 기반으로 한 고성능 GPU를 개발하여 오디오, 비디오, 방송 등 다양한 멀티미디어 기능과 특히 3D 게임을 온라인 게임 수준으로 구현 가능케 함을 전체 과제 목표로 한다. 이 중 1차 년도에는 고성능 MPU와 GPU를 FPGA Emulation 보드에서 검증하는 것을 목표로 한다. 특히 GPU는 단일 칩 제작에 들어감으로써, 먼저 상용화하고자 한다. 그리고 검증되어진 MPU와 GPU를 단일 칩으로 개발하여 차세대 휴대 게임기 및 PMP, PDA에 상용화될 수 있는 경쟁력 있는 제품 개발을 과제 목표로 한다.

② 현재 진행되고 있는 모바일 단말기에서의 다양한 멀티미디어 요소의 물리적인 컨버전스를 뛰어 넘어 서로 융합 되어서 동작하는 화학적인 컨버전스를 구현하는 게임기의 핵심인 MPU와 GPU를 개발한다(MPEG-J 등의 국제 표준). 성능과 질적인 면에서 병목현상을 보이고 있는 하드웨어의 한계를 극복하는 개발도 병행한다.

③ 국내외의 모바일 그래픽 단말기 관련 다양한 표준화 단체에서 발표된 또는 발표할 예정인 표준 규격에 적극적으로 참여하고 주도하며 수용하여 국제 규격(Global Standard)에 맞는 게임기용 MPU+GPU 개발이 되도록 한다.

④ 각종 모바일 단말기의 필수적인 기능으로 사용되고 있는 멀티미디어 컨텐츠들을 재생 혹은 녹화하고, 최근 국내뿐만 아니라 세계적인 표준화 및 상용화가 가속화되고 있는 모바일 TV에 대응하기 위한 멀티미디어 엔진을 하드웨어적으로 설 계한다.

⑤ 특히 각종 멀티미디어 컨텐츠들을 다양한 형태의 모바일 기기에서 효과적으로 처리하기 위해 기존의 소프트웨어적인 방법을 배제하고 전용 하드웨어 엔진을 탑재함으로써 휴대성 향상 및 저 전력화에 크게 기여할 수 있도록 한다.

⑥ 세계 최초로 국내에서 상용화가 이루어진 지상파 DMB를 비롯하여 향후 전 세계적으로 가장 큰 동영상 서비스로 자리 잡을 수 있는 각종 표준의 모바일 TV(유럽 향 지상파 DMB, DVB-H, ISDB-T, 중국 향 지상파 DMB등)에 대응할 수 있는 방송 프로토콜 및 관련된 응용 소프트웨어들을 개발한다.

⑦ 인터넷 강국이며 세계적인 IT 제품의 테스트 베드로서의 한국의 위상이 높은 현 상황을 충분히 활용하는 것을 기반으로 3D 그래픽 가속 반도체, 멀티미디어 프로세서(Multimedia Processor), 게임단말기 시스템 및 서비스 그리고 운영체제 및 하드웨어 시스템이 상호 긴밀하게 협력하여 상용화 가능한 차세대 휴대 게임기를 반도체부터 직접 디자인하고 개발하는 일련의 라인을 구축함으로써 국산 온라인 휴대 게임기 기술과 상업적 경쟁력을 최고 수준으로 향상시킨다.

⑧ 목표하는 "게임 콘트롤 MPU"와 "그래픽 프로세서 GPU"가 내장되는 휴대 게임기에서, 고성능 온라인 PC 게임에 익숙해져 있는 눈이 높은 한국 사용자들도 만족시킬 수 있을 정도의 고급스럽고 화려한 온라인 2D/3D 그래픽(OpenGL ES 1.2/2.0 규격 구현, Flash Animation 가속), 비디오/오디오 컨텐츠를 복합적으로 표현해 주는 MPU+GPU one chip 개발로 국내 모바일 게임 단말기 업그레이드에 기폭제가 된다.

⑨ 무선 휴대인터넷 WiBro, HSDPA, Wi-Fi 등의 등장과 더불어 주요 동향이 될 것이라고 예상되는 유무선 연동 게임/Infotainment/Edutainment 컨텐츠를 원활하게 동작시키기 위해서는 PC에 비해 미약한 모바일 게임 단말기에 차세대 MPU+GPU one chip Upgrade 로 30M polygons/s의 질적 성능 향상을 이루어서 게임 단말기의 확산은 물론 컨텐츠 서비스 활성화를 주도한다.

따라서 게임기용 MPU 및 3D 그래픽 프로세서(GPU) 개발의 중요성은 다음과 같다.

가) 사회적 측면에서의 중요성

① 컨텐츠로 촉발된 IT 강국의 입지를 특화된 게임기 개발로 더욱 공고히 해야 할 기회

레드 오션으로 경쟁이 심한 PC 상에서의 게임산업이 블루 오션인 모바일 게임기로 이어진다고 예측되는 상황에서 국내에서는 모바일 게임에 많은 기대를 하고 있으나 콘솔과 모바일 게임기 등의 하드웨어를 일본, 미국 등에서 장악하고 있고 현 시점에서는 소니, 마이크로소프트, 닌텐도 등의 그늘에서 벗어날 수 없고 영화산업에 육박하는 게임산업의 거대 투자 경쟁에서도 선도국의 게임 컨텐츠 개발사를 따라갈 수 없는 것이 국내의 현실이다.

모바일 산업과 온라인 게임에서 우리나라에 다시 오기 힘든 호기를 고성능/고화질 MPU+GPU를 기반으로 하는 국내 모바일 게임기 플랫폼의 부재로 인하여 실기(失機)할지 아니면 재도약의 발판으로 삼을 수 있을지는 앞으로 몇 년 안에 결정될 것이다. 이러한 상황에 비추어 볼 때 휴대형 온라인 게임기 시장 진출과 동시에 차세대 휴대 게임기용 MPU+GPU 반도체 개발을 진행하는 것은 미래를 향한 의미 있는 도전이 될 것이다.

② 융합되는 모바일 기기의 핵심 부품에 대한 새로운 기회

휴대폰에서의 국산화율이 높아지고 있지만, 그 핵심 부품인 모뎀과 Application Processor 등 시스템의 중추 역할을 담당하는 핵심 부품까지 국산화하는 것은 몇 번의 개발 시도에도 불구하고 번번이 실패로 귀착되었다. 실패의 무시할 수 없는 원인은 원천 기술이 시스템에 적용되기 시작할 때, 핵심 부품이 개발되어 레퍼런스 모델로 시장을 선도하지 못했기 때문이다. 다른 멀티미디어 칩과 달리, 플랫폼 역할을 하는 MPU 등의 부품은 O/S, 소프트웨어, 개발환경, 개발되어진 컨텐츠의 호환성 등의 이유로 초기 시장진입이 부품 성공의 큰 열쇠가 된다. 다행히, 휴대폰 이후에, WiBro, HSDPA, Wi-Fi 서비스와 DMB 방송 서비스가 국내에서 선도적로 구현되고 있고, 여기에 온라인 게임 컨텐츠 업체가 모바일 게임으로 사업 확장을 꾀하기 때문에, 이 새로운 시장의 플랫폼에 해당하는 MPU와 GPU의 개발은 추후 휴대 인터넷 단말기의 명실상부한 부품 핵심 기술의 확보와 다른 IT 분야로서의 파급 효과가 막대할 것으로 예상되어 진다.

③ 휴대 게임 플랫폼과 그 핵심이 되는 "게임기용 MPU 및 3D 그래픽 프로세서(GPU) 개발

불과 10년 전까지만 해도 비디오 게임(콘솔 게임), PC 게임, 아케이드 게임이라는, 그래픽 하드웨어의 발달로 이룩된 게임 컨텐츠 시장에 우리나라는 주변에 머물러야 했고 선도국의 높은 벽을 실감해야 했다. 하지만, 인터넷과 함께 우리나 라는 온라인 게임에 있어서 게임 컨텐츠 강국으로서 자리 잡아 가고 있다. 하지만, 소니의 PlayStation이 게임 포터블 단말기인 PSP를 시장에 진입시킴으로서, 모바일 게임의 주도권을 빼앗길 위기에 있다. 다행히, WiBro, HSDPA, Wi-Fi 서비스를 중심으로 한 휴대 게임 단말기의 도래가 예상되는 만큼, 핵심 부품의 개발은 온라인 게임 컨텐츠 강국을 무선 인터넷 서비스에서도 이어갈 수 있는 초석이 될 수 있다.

④ 모바일 온라인게임 시대의 기회

일본의 PlayStation 게임 산업에 맞서, 네트웍 PC를 중심으로 온라인 게임 개발 업체는 세계 온라인 게임 시장을 주도하고 있다. PC을 중심으로 한 컨텐츠 개발이 이제, 휴대 인터넷 시대의 도래와 함께 모바일 컨텐츠로 무게 중심을 옮기려 하고 있다. 본 과제의 성공이 온라인 게임의 주도권을 이어 줄 수 있는 핵심적 역할을 할 것이며, IT 강국이라는 사회적 분위기도 이어갈 수 있다.

⑤ 국제 표준 제정, 구현 및 표준 서비스 주도

3D 그래픽과 비디오에 있어서 표준화 전쟁은 주로 선진국 주도로 진행되어 왔으나 현재 우리나라도 대기업이나 관련 연구기간 중심으로 적극적인 행보를 보이고 있으며 표준의 구현도 필수적인 요소가 되었다. 국제 기술 표준의 선도적 역할은 바로 그 나라의 기술 수준과 직접적인 연관 관계가 있을 뿐만 아니라, 자국의 기술 보호에도 크게 기여한다. 이런 차원에서 비디오 기술 표준은 MPEG2 이후에 우리나라의 기술력이 많이 반영되고 있는 모습이지만, 모바일 3D 그래픽 표준은 매우 미약한 상황이었다. 모바일 3D 그래픽 표준을 위한 Khronos 그룹에 적극 참여하여 영향력을 높혀 가고 있으며, 모바일 3D 그래픽 표준을 우리나라가 주도하기 위해 서, 한국정보통신기술협회(TTA) 후원하고 한국전자통신연구원(ETRI) 주관, "모바일 3D 표준화 포럼”을 결성하고 현재까지 두 종류의 TFT 활동에 핵심적, 적극적으로 참여하고 있다. 그 결실은 “Mobile 3D Profile in MPEG TFT" 활동으로 “MPEG-4 SNHC"에 ”Mobile 3D Compression Profile"을 제안해서 "Under the consideration" 단계 후 작년 최종 채택되었다. 이러한 표준의 주도는 본 발명에서도 적극 반영되어 표준의 주도권이 기술의 주도권으로 이어질 수 있다고 확신한다.

⑥ 방송, 통신의 융합

세계적으로 선두의 위치에 서있는 국내의 이동 통신 이후 방송, 통신 분야의 새로운 성장 동력으로 평가되는 기존의 고정형 아날로그 TV 라는 전통적인 개념을 벗어난 이동형 디지틀 TV라는 측면에서 그 의미가 매우 크다. 특히 2003년 중반 세계 최초로 국내의 지상파 및 위성 DMB 규격이 제정되고 2005년에 이르러 실제 상용화가 이루어지면서 이동 통신에 이어 mobile TV 분야에서도 세계를 선도하는 위치에 서게 되었다. 특히 지상파 DMB는 DAB라는 기존의 세계 표준에 근간을 둠으로 써 국내뿐만 아니라 세계적으로 사용되기에도 전혀 문제가 없는 “세계화 표준” 이라는데 그 의의가 크다. 더욱이 국내의 DMB 서비스를 위해 첨단의 동영상 표준이 H.264가 채택됨으로써 이를 구현하기 위한 기술 개발에서도 세계 시장을 선도하고 개척할 수 있는 유리한 위치에 설 수 있게 되었다. 특히 미래 방송, 통신 융합 시장의 핵심 기술로 떠오를 mobile TV에 사용되는 동영상 표준이 H.264로 대부분 결정됨에 따라 국내에서 선도적으로 개발되는 기술이 세계적인 표준의 기반 기술로 사용될 수 있다는 측면에서 그 이용도는 매우 크다고 할 수 있다.

⑦ 무선 인터넷의 이용 증가

기존의 인터넷에서 제공되고 서비스들은 그 동안 주도가 되어온 문자, 음성, 그림 등의 기본 단순형 콘텐츠로부터 동영상, 플래시, 게임 등 그 장르가 크게 확장되고 있는 상황이며 이러한 추세는 최근 각광받고 있는 무선 인터넷에서도 동일한 현상으로 나타나고 있다. 특히 무선 콘텐츠 시장은 이동 통신 정보 이용료 매출로 형성된다. 정보 이용료의 매출은 이동 통신사와 콘텐츠 제공업자가 1:9의 배분비율로 배분하여 콘텐츠 제공 업자는 정보 이용료 중의 90%의 수익을 얻게 된다. 무선 콘텐츠 이용료가 포함된 이동 통신 부가서비스의 2002년 총 매출규모는 1,139억원 정도인데 반해 2003년 11월까지의 정보 이용료는 3,840억원으로 연 평균 268%의 고도 성장이 이루어졌으며 이러한 추세는 향후에도 지속될 전망이다. 따라서 콘텐츠 제공 및 작성에 따른 시장의 급속한 성장과 새로운 콘텐츠 및 응용 분야의 개발, 그리고 이를 단말기에서 효과적으로 처리하기 위한 각종 관련 기술 개발이 기대되고 있다. 이러한 정보 이용 서비스는 무선 인터넷 포털, 게임 M-commerce, 기타 정보 제공 서비스를 포함하고 있으며, 좀더 진화한 형태로 GPS, 텔레메틱스와 같이 무선 인터넷이 가지는 고유한 특성을 이용한 위치 기반 서비스를 통해 사용자들의 관심을 끌어들이고 있다.

특히 이러한 컨텐츠들 중에서 W-CDMA의 도입과 함께 붐이 일기 시작한 각종 멀티미디어 컨텐츠 들은 실시간 TV 시청, 고성능의 3D 게임, 영화나 뮤직 비디오 등의 VOD 서비스와 연합하여 사용자들의 관심을 모았다. 그러나 최근 VOD 등의 서비스들은 그 상당한 잠재성에도 불구하고 서비스에 따르는 고가의 이용료 때문에 대중적인 시장을 확보하는 데는 실패했고, 이에 따라 각종 휴대 단말기에 탑재되는 기능으로는 선택사항이 된 실정이다. 그러나 2003년부터 지상파 및 위성 DMB가 도입되면서 각각 공중파 방송 컨텐츠의 무료 시청 혹은 유료화된 다양한 채널 선택이라는 장점을 기반으로 차세대 멀티미디어 컨텐츠 분야의 핵으로 대두되기 시작했고, 이에 따른 각종 AV 처리기술과 관련된 핵심 부품의 개발을 위한 촉진제가 될 예정이다. 따라서 본 발명에서 제시하고자하는 MPU+GPU 형태의 SoC는 이러한 차세대 멀티미디어 컨텐츠를 모두 효과적으로 수용할 수 있는 공통 platform을 구성한다는 측면에서 매우 중요하다.

나) 문화적 측면에서의 중요성

① Post-PC 시대의 주도는 휴대 단말기

개인용 컴퓨터라고 불리는 PC의 발전에 힘입어 전 세계는 유래 없는 PC 산업의 호황을 음미했지만 우리나라는 일부 메모리 등의 하드웨어 PC 생산 관련 산업을 제외하고는 주류에 들어갈 수 없었다. 이 틈에 중국계 그래픽 카드 업체인 NVidia와 ATI가 각각 미국, 캐나다로 본진을 옮기면서 현재의 PC그래픽 카드 시장을 장악하게 되었다. 한편 그 이후 국내의 초고속 인터넷과 휴대폰의 발전은 우리나라를 IT 강국으로 우뚝 서게 하였다. 특히 Post-PC를 대표하는 휴대폰 산업의 발전은 그에 수반하는 다양한 컨텐츠와 관련 산업으로의 파급효과가 지대하게 되었다.

② 차세대 휴대단말기를 주도하는 자가 컨텐츠 등의 다양한 파급효과도 획득

국내 초고속 인터넷 보급과 휴대폰 산업의 급성장이라는 하드웨어의 발달은 수많은 컨텐츠 개발과 인터넷 산업 및 문화 선도 그리고 휴대폰 문화의 발달이라는 필연적인 열매를 얻게 되었는데 이는 마치 오랜 시간 무차별적 서구 문명이라는 하드웨어에 단련된 우리나라가 이를 소화해서 소프트웨어적인 영화산업과 드라마를 발전시켜 아시아에서 한류를 꽃피우는 것과 유사하다고 하겠다.

이와 마찬가지로 게임에 있어서도 절대 무시할 수 없는 부분이 휴대 게임 단말기 플랫폼의 보유와 그를 위한 핵심 반도체 기술의 확보이다. 휴대폰에 있어서는 퀄컴(CDMA)과 여러 외국 회사(GSM)의 반도체를 사용해도 어느 정도 시스템 제품의 경쟁력으로 선전하고 있지만 휴대 게임기는 그 플랫폼을 소유하지 못하면 파생되는 산업의 모든 주도권을 놓치게 된다. 이미 닌텐도의 NDS와 소니의 PSP가 우리나라를 비롯한 전 세계 휴대 게임기 시장을 독식하고 있어서 아직은 초기 단계이긴 하지만 시간이 지날수록 전 세계는 물론 국내의 젊은이들은 문화적인 종속에서 벗어나기 어렵고 게임 컨텐츠 산업은 해외 거대 자본의 손에 잠식될 가능성이 크게 되었다.

③ 국내 Portable Media Player(PMP) 등장과 WiBro, HSDPA, Wi-Fi 휴대 게임기의 도래

휴대폰에서 충족되지 않는 화려한 멀티미디어가 국내 PMP 등의 등장으로 실현되면서 새로운 가능성이 도출되었고 WiBro 서비스를 세계 최초로 우리나라에서 구현하게 되면서 이를 응용할 수 있는 특화된 유무선 연동 휴대 게임 단말기의 등장과 성공을 예측하고 있다.

국내에서는 세계 최초로 WiBro 게임 단말기를 2008년 8월에 출시될 예정이고, 약 2년 후에는 기능과 성능이 향상되고 새로운 규격의 고화질 3D 그래픽과 음 악, 동영상 구현이 가능한 차세대 휴대 게임기를 국내 전문가들이 모여 기획하게 되었으며 그 핵심이 되는 MPU+GPU 반도체 설계를 본 발명자가 모여서 차별화된 기술로 구현하는 것을 이 제안서의 목표로 한다.

금년에 구현될 WiBro, HSDPA, Wi-Fi 휴대 게임기와 약 2년 후의 차세대 휴대 게임기의 등장은 우리나라의 세계적인 온라인 게임, Social Network, 1인 블로그의 성공을 고스란히 휴대 게임기에도 접목할 수 있는 초석이 됨과 동시에 게임기에도 한류의 바람을 불어 넣어서 그 근간이 되는 모바일 그래픽 반도체와 파생되는 컨텐츠 산업의 획기적인 성공을 담보 받을 수 있을 것이다.

④ 방송과 컨텐츠의 융합

본 발명에서 개발하고자 하는 부품은 게임, 멀티미디어 기능뿐만 아니라, 특히 DMB 등 방송도 저전력 하에 구현될 수 있도록 개발되기 때문에, 방송과 컨텐츠의 융합 측면에서도 큰 의미가 있다. 특히, 미국에서는 3D 애니메이션 업체와 방송사 간의 합병이 이루어지고 있는데, 이동 중 디지털 방송과 온라인 3D 컨텐츠는 사회적으로 많은 컨텐츠 가능성을 예고하고 있어, 새롭게 창출될 컨텐츠+방송 분야에서도 문화 자주권의 토대가 될 수 있다.

⑤ 능동형 방송 시대

향후 국내 IT 분야의 핵심 기술로 떠오를 DMB 중 특히 지상파DMB 표준에는 방송 서비스와 통신 서비스 사이의 연결 고리 역할을 담당할 수 있는 대화형 콘텐츠 표현 기술인 MPEG-4 BIFS(Binary Format for Scene)가 동영상 및 오디오 압축 기술과 함께 포함되어 있을 뿐만 아니라, 이를 이용해 표현되는 콘텐츠가 비디오 서비스와 함께 다중화되어 전송될 수 있도록 시스템이 구성되어 있다. 이를 이용하면 방송 서비스를 시청하는 시청자에게 시청 중인 프로그램과 관련된 통신 서비스에 대한 정보를 메뉴나 버튼, 아이콘 형태로 화면에 제공하여 사용자들이 한 화면을 통해 방송 서비스와 통신 서비스에 대해 이해하고 활용하는 것이 가능하다. 뿐만 아니라, 복잡한 단말기 조작 없이 방송 서비스와 통신 서비스 사이를 자유롭게 왕래할 수 있다. 이와 같이 지상파 DMB는 단순한 디지털 TV라는 수동적 서비스 개념을 넘어서서 사용자가 능동적으로 참여할 수 있는 수단을 제공하게 된다.

⑥ 향후 문화적 생활 패턴의 전이

현재 상황에서 IT관련된 모든 기술 및 서비스 환경의 발전 방향이 유비쿼터스 분야로 귀결되며 이러한 환경에서의 서비스 및 특징은 유비쿼터스 환경에서 가지 서비스 특징으로 우리나라 국민의 문화적 경향 분석에 의한 5 가지 특징과 서로 연관성이 있으며 이는 우리나라가 특히 각종 콘텐츠 분야에 강점이 있다는 것을 뜻한다. 첫째는 온라인 커뮤니케이션으로 세계적인 브로드밴드 네트워크 무선 네트워크 디지털 방송 등의 보급이 가속화 되어감에 따라 디지털 콘텐츠 서비스 소프트웨어 등 이 네트워크를 통하여 서로 연결되어 지역 시간 인종을 초월할 수 있어야 한다. 둘째는 로 Smart Interactivity 언제 어디서나 어떤 기기라도 콘텐츠나 서비스가 양방향으로 제공되어야 한다. 셋째는 개인화로 개인의 특성이나 기호 및 위치에 맞게 콘텐츠 서비스 등이 제공되고 소비되는 현상으로 이를 뒷받침하기 위해서는 지식 서비스 맞춤형 서비스 유비쿼터스 서비스 등이 제공되어야 한다. 넷째는 국제화 및 세계화로 인터넷상에 구현된 콘텐츠들을 별도의 어려움 없이 다국어화 국제 화가 가능하도록 하는 기술로서 국내의 다양한 문화 콘텐츠들을 다국어화 하는데 사용되고 다국어 콘텐츠들의 내용을 상호 동기화하고 관리하는데 사용되며 국내의 콘텐츠를 해외에 서비스 인터넷을 통해 배포하는데 사용한다. 다섯째는 오픈 소스로 개발 소프트웨어의 소스코드를 공개하여 자유로운 제작 재배포 등을 허용함으로써 누구나 싼 값에 사용할 수 있어 경제성이 우수하고 시스템 호환성 확보가 용이하고 일부 회사에 의한 독점이 불가능하여 다수의 개발자에 의해 기술의 혁신이 가능하다.

향후 우리가 접할 문화적 생활 패턴은 기존의 고정형 아나로그형, 집단형 매체로부터 이동형, 디지털형, 개인형 매체로 전이할 것으로 예상되며, 이러한 문화적 특징과 기술을 가장 효과적으로 결합해 놓은 형태가 휴대폰을 기반으로 하는 방송, 통신 융합형 휴대 멀티미디어 기기이다. 특히 위성 및 지상파 DMB가 도입됨에 따라서 다음과 같은 형태로의 문화적 생활 변화시키는데 크게 기여할 것으로 보인다. 첫째 서비스는 시간과 공간을 극복한 커뮤니케이션 환경을 저렴한 비용으로 제공함으로써 국민의 삶을 보다 안전하고 편리하게 할 것으로 기대된다. 특히 기상변화가 많고 국가 안보상의 위험성이 항상 존재하며 지하철의 대형 사고가 자주 발생하는 변화가 많은 현대 사회에서 이동 중의 긴급방송은 국민을 더욱 안전하고 편리하게 하는데 기여할 것이다. 둘째 저렴한 비용으로 이용자가 원하는 다양한 서비스를 제공할 수 있다. 특히 이동 중에 교통정보 여행정보 생활정보 및 각종 엔터테인먼트 콘텐츠를 이용자의 요구에 맞게 제공함으로 국민들의 삶을 보다 편리하고 윤택하게 할 것이다. 셋째, 서비스는 퍼스널 미디어로서의 개인이 각자의 다양한 취향대로 를 시청하는 사적 TV 공간을 창출할 수 있다. 기존 방송서비스는 수상기가 설치된 장소에서 집단적으로 시청하는 형태를 띄어왔으나 DMB를 통해 개개인의 보다 다양하고 세분화된 니즈를 충족시켜 연령별 계층별 정보격차 해소에 기여하고 사회의 다양성을 높이며 국민 편익을 증대 시키는 데에 기여할 것으로 기대된다.

따라서 이러한 추세에 접근하기 위한 보다 핵심적이고 중요한 기술이 멀티미디어와 게임의 기능에 충실하고 다양한 응용 분야로의 접근이 용이하도록 개발된 관련 SoC 부품들이고, 이런 측면에서 본 발명이 갖는 의미가 매우 크다고 볼 수 있다.

다) 경제적 측면에서의 중요성

① 시장 창출과 그 규모

WiBro, HSDPA, Wi-Fi 서비스는 데이터 전송 속도에 있어서 획기적인 증가를 가져올 수 있으며, 이는 다양한 멀티미디어 서비스가 하나의 단말기에서 수행됨을 의미한다. 더욱이 온라인에서 수행되는 모든 컨텐츠들에 대한 호환성이 담보되어야 하기 때문에 그에 부합하는 고성능 MPU 및 GPU은 필수적 요소로 예상된다. 또한, 통신, 인터넷, 방송의 통합 단말기 형태로 발전하기 때문에 그 중요성은 더욱더 커져 간다.

무선인터넷 서비스는 모바일 단말기를 통한 휴대용 인터넷에 큰 변화를 가져올 것이며, 높은 전송 속도로 인해 이동하면서 디지털 인터넷 TV를 시청할 수 있게 될 것이다. 또한, DMB 방송, 양방향 TV, 온라인 게임 등을 즐길 수 있으며, 휴대폰의 고유 기능인 음성 통신도 VoIP 서비스에 대한 수요 증가로 시장을 형성할 것이 라 보여져 그 잠재 시장은 휴대폰 시장 발전 이상으로 발전하리라 예견된다. 또한 Wibro, HSDPA는 유선 초고속/무선랜보다는 이동성에서 강점을 가지며, 이동 전화 무선인터넷보다 전송속도, 요금, 컨텐츠에서 확실한 우위에 있으며, 위성 DMB에 비행 양 방향성에서 강점을 가지고 있어서, 사업개시 이후 5년 시점에서 가입자 890만명, 매출 3조원 이상의 시장을 형성, 정체된 통신시장에 새로운 성장엔진 역할 기대되고 있다.

위와 같이 새로운 무선 인터넷 시대는 곧 무선 온라인 게임의 활성화를 의미한다. 이 시장은 현재 PC를 중심으로 한 온라인 게임 시장을 그대로 대체하여 확대 발전할 것이어서, 그 경제적 파급효과는 무한하다고 볼 수 있다. 그러므로 그 핵심 부품의 시장 규모는 기존의 휴대폰 중심에서 발전된 미디어 프로세서의 시장을 훨씬 능가하리라 판단된다.

② 게임 아이템 현금 거래액 규모(2005년)는 1조원으로 추산 등 게임산업 경제규모 확대

온라인 게임을 중심으로 한 사업 모델이 게임 컨텐츠 자체에 대한 수익에서 게임 아이템에 대한 사업으로 급변하여 성공적 시장 확대를 꾀하고 있다. 이를 테면 2001년 100억원에서 4년 만에 100배 증가(게임산업개발원 발표자료) 되었다. 이러한 사업모델이 휴대 단말기 시장에도 그대로 적용되리라 보며, 더 나아가 신규 사업 모델이 지속적으로 발굴되어 모바일 게임에 의한 경제적 생산성 창출 효과가 극대화되리라 예상된다.

디지털 제품뿐만 아니라 핵심부품 소재의 국산화도 크게 진전되고 있어서 LCD 패널, 메모리 소자, 카메라 모듈, MPEG 칩, DSP, HDD, DMB 수신칩, 스케일러칩, 배터리 등이 디지털 제품의 국산화율을 최대 약 83%까지 높이고 있다(산업자원부, 국회 산업자원위원회 제출 국정감사자료, 2005.9). 이처럼 일반 국가에서의 외국 대기업의 잠식이라는 상식을 깨고 국내 시장에서의 한국 기업이 활약하는 강점을 MPU, 3D 그래픽 프로세서와 휴대용 게임기에도 확산시키면 막대한 경제적 이익과 세계 시장 도전의 기회를 확보할 수 있다.

즉, PC 그래픽 반도체 시장에서 각각 중국계 미국, 캐나다 회사인 NVidia의 $2B (1993년~)과 ATI의 $2B (1985년~2004년)에 달하는 총 Revenue 달성을 부러워만하기 보다는 모바일이라는 새로운 영역과 WiBro, HSDPA, Wi-Fi 등의 무선인터넷 서비스 시작이라는 다시 오기 힘든 기회를 이용하여 세계 시장에서의 모바일 MPU+GPU 반도체 영역을 개척하는 일을 시작할 시기이다.

④ 국내 멀티미디어 관련 컨텐츠 서비스의 시장 규모

국내 멀티미디어 컨텐츠 시장은 인터넷 보급을 계기로 급격히 증가하게 되었다. 또한 멀티미디어 컨텐츠 시장의 확대는 동영상, 그래픽, 오디오 등 모든 분야에서 고르게 진행되고 있는 것이 특징이다. 이는 소비자의 컨텐츠에 대한 요구가 다양화, 고급화되고 있음을 반증하는 것으로서, 본 발명에서 개발되는 부품이 직접적으로 시장에서 사용되는 요건이기도 하다. 개발되어질 MPU와 GPU가 탑재될 휴대 게임 단말기에서는 다양한 멀티미디어가 PC 수준으로 연출이 가능하여, 컨텐츠 시장의 확대로 이어질 전망이며, 그 시장의 규모가 폭발적이리라 판단된다.

⑤ DMB 서비스의 관련 산업에 미치는 영향

본 발명에서 개발하려는 GPU와 MPU의 기능들은 특히 차세대 방송, 통신 융합 제품의 핵심적인 기능을 제공한다는 측면에서 이제 본격적인 시스템 혹은 단말기의 개발 경쟁에서 선도의 위치에 설 수 있는 기반이 될 수 있다. 특히, 방송, 통신 융합의 기능적 중심에 서있는 DMB는 단순하게 피동적인 위치에서의 소비자가 아니라 능동적이고 참여적인 양방향의 입장의 소비자가 될 수 있다는 측면에서 그에 따른 관련 산업에의 파장은 매우 클 것으로 예상된다. DMB서비스의 성공적인 시장진입은 전후방 산업활성화를 통하여 국민경제 성장에 크게 기여할 것으로 보인다. DMB서비스 시장은 2010년 1조 3,526억원 규모로 성장하고 DMB 단말기 시장은 약 1조 5,576억원 규모로 성장할 전망이다. 이에 따라 2005년부터 2010년 사이 6년간 총 14조 7천억원의 생산을 유발하며, 연 16만 3,600개의 일자리를 창출할 전망이다. 아울러 국내 시장에서의 성공경험을 발판 삼아 해외시장에 진출하면, 국내 기술표준의 확산과 더불어 새로운 수출전략형 산업으로 성장할 수 있을 것으로 기대된다. 다음 (표 1-6 ~ 8)은 국내의 DMB 관련 가입자 및 관련 서비스 전망과 이에 따른 국민 경제의 파급효과를 나타낸다.

본 발명을 수행하기에 앞서 다음에서 제약이 되는 요인들에 대해 설명하겠다.

먼저 1)~2)번은 지원 표준에 대해 간단히 살펴보았고, 3)~5)번에서는 구현에 있어서의 난제와 추가 고려해야할 기능을 정리하였다.

1) 새로운 모바일 3D 규격으로 등장하는 고화질 OpenGL ES 2.0 GPU 기술 적용

방대한 3D 계산과 작업을 실시간으로 수행하기 위해서 전용 그래픽 하드웨어를 사용하게 되었지만(OpenGL ES 1.x) 성능 향상을 얻은 대신 적지 않은 제어 수단을 포기해야 했다. 3D 그래픽 컨텐츠 개발자들이 고정된 하드웨어 함수 팔레트를 사용하는 것에는 질적인 향상에 있어서 한계가 있었다. 이때 Pixar의 PhotoRealistic RenderMan과 같은 오프라인 컴퓨터 소프트웨어 패키지들은 비록 실시간 처리가 아니었지만 놀라운 컴퓨터 특수 효과들로 영화와 텔레비전의 영상에 변혁을 주고 있었다. 오프라인 렌더링 시스템의 유연성과 일반성은 이전 세대에서는 찾을 수 없었던 3D 그래픽 하드웨어의 핵심적인 기능이다. 이를테면 이전에는 프로그래밍할 수 있다는 기능이 빠져있었다. 이러한 한계를 깨닫고 컴퓨터 그래픽 설계자들은 프로그래밍 가능한 기능을 전례가 없을 정도로 많이 허용하는 그래픽 하드웨어의 새로운 세대를 디자인하게 되었다. 결국 금세기 들어서 무어의 법칙에 따라 성능이 향상된 PC에서 고성능 3D 그래픽 카드를 장착하여 실시간으로 프로그래밍이 가능한 Shading 언어가 적용되었다. 세계적인 모바일 3D 표준화 그룹인 Khronos Group은 모바일 상에서도 High Quality의 3D 그래픽 성능을 구현할 수 있도록 Shading 언어로 프로그래밍이 가능한 OpenGL ES 2.0 표준안을 발표하였다. 현재 고정된 OpenGL ES 1.1 적용 제품만이 전 세계적으로 등장하기 시작하고 있고 부분적으로 일부 비표준 Shading 언어를 구현한 제품이 있기는 하지만 아직 OpenGL ES 2.0을 지원하는 제품이 출시되지는 않은 상태이다. OpenGL ES는 버전 1.x와 2.x 사이의 호환이 이루어지지 않기 때문에 이에 대한 고려가 필요하다.

2) 하드웨어 가속 Flash Animation (Flash Lite 2.0) 기술 적용

최근 아도비의 플래시(이전의 매크로미디어) 애니메이션에 대하여 모바일 단말기 개발사와 사용자의 요구가 높아지고 있다. 플래시 애니메이션은 현재 PC에서 웹 디자인에 압도적으로 많이 사용되는 기술로서 초기 확산에는 초고속 인터넷을 일찍부터 사용했던 한국의 많은 웹 디자이너들과 사용자들의 힘입은 바 크다. 프로그래밍을 잘 모르는 디자이너들도 교육용 게임이나 정보 전달을 위한 그래픽 디자인을 할 수 있어 많이 사용되고 있고, 그만큼 많은 컨텐츠가 축적되면서 지금도 계속 양산되고 있다. 초기의 실망적인 성능으로 불만이 많았던 모바일 단말기를 위한 Flash Lite 1.0 버전을 뒤로하고, 최근 2006년 1월 3일 Flash Lite 2.0 버전이 새로 출시되었는데 PC에서 사용되는 버전에 상당하는 다양한 기능을 지원하고 있다. 그러나 플래시 애니메이션 알고리즘은 근본적으로 소프트웨어로 구현되도록 설계되어 있어서 모바일 단말기에서 제대로 성능을 내기가 어렵고 강력한 성능의 PC 상에서도 많은 부하를 요구하고 있어 조금이라도 속도가 빠르고 복잡한 플래시 컨텐츠를 모바일 단말기 상에서 구현하는데 문제가 발생한다. 모바일 플래시 컨텐츠 제작자들이 가장 아쉬워하는 부분이다.

3) 차세대 휴대게임기에 최적한 고성능 MPU와 GPU Architecture 구현의 어려움

먼저 2년 후에 출시되는 제품에 대한 시장의 요구사항을 정확하게 파악하고, 예측하여 게임기용 MPU, 3D 그래픽 프로세서를 개발하여야 한다는 어려움을 시작으로 다음과 같은 구체적인 문제가 있다.

가) 빠른 처리 속도의 MPU 필요

① 3D 그래픽 게임이 잘 동작하기 위해서는 게임 엔진이 필요한데 고속의 GPU 또는 비디오 엔진 등에서는 할 수 없는 다양한 게임 로직을 운영하는 역할도 해야 한다. 이 부분은 MPU의 CPU Core가 책임져야 한다. 필요로 하는 게임로직은 Scene Graph, Animation, Networking, 스크립트 언어, 인공지능(퍼지, 신경망 등), 수학연산, 자원과 메모리 관리, 물리적 효과를 위한 계산, 게임 알고리즘, 게임 기법(집단 행동 등), 충돌 검출, 실시간 사실적 지형 생성 등이 있다. 경쟁력 있는 게임을 제작하기 위해서는 이와 같은 게임 로직을 고속으로 플레이할 수 있는 고성능 MPU를 필요로 한다.

② MPU에서는 게임 등의 음악, 효과음, 3D 사운드 등은 물론 다양한 주변 장치들을 컨트롤하고 필요 시 인터럽트 처리도 하여야 한다. 이러한 모든 기능을 원활히 지원하기 위해서는 Multi-Thread 동작이 필요하다.

나) GPU 구현의 문제점

① LCD 패널 크기의 증가 추세에 따른 문제

차세대 휴대게임기에 최적화된 GPU를 구현하는데 있어서 가장 큰 문제점은 LCD 패널의 크기가 커짐에 따른 것이다. 이로 인해 칩 내부에 LCD controller와 On-screen memory가 내장되어야 하고, 더 커진 프레임을 빠른 시간에 spanning하기 위해 Rendering 엔진의 다중 pipeline 구성이 필요하며 이는 메모리 밴드위스 문제를 야기시킨다.

② 메모리 밴드위스 확장에 대한 요구

앞서 언급한 LCD 패널 크기의 증가에 따른 메모리 밴드위스 문제 외에도 차세대 휴대게임기에서는 좀더 화려한 3D에 대한 욕구를 만족시키기 위해 더 빠른 처리 속도를 요하게 됨에 따라 컨텐츠 데이터 자체를 읽어 오는 속도에서부터 처리하는 시간까지 빠른 진행을 필요로 한다.

③ 휴대게임기의 전력소모에 대한 문제

휴대게임기라는 관점에서 볼 때 전력 소모에 대한 고려 또한 중요한 요소이다. 아무리 빠른 처리 속도를 지원하는 GPU라 하더라도 그 사용시간이 너무 짧거나 누설 전류가 많아 사용하지 않더라도 전력 소모가 많다면 기본적인 문제로 인해 사용이 불가하기 때문이다.

④ OpenGL ES 1.2와 2.0을 모두 지원해야 하는 문제

OpenGL ES 1.2와 2.0은 서로 호환되지 않는 표준이므로 이를 모두 지원하기 위해서는 서로 별개의 블록으로 설계되어야 한다. 단순히 두 개의 블록을 결합하는 방식으로는 칩 면적 등의 관점에서 문제가 될 수 있다.

⑤ GPU 칩 면적의 문제

앞서 언급한 LCD 패널 크기의 증가에 따라 지원해야 하는 프레임 크기와 Texture 크기도 증가하게 된다. 이는 사용해야 하는 메모리 또는 캐쉬의 크기 또한 증가해야 함을 의미하고 곧 칩 면적의 문제로 귀착된다.

⑥ Anti-alias flitering의 중요성 증가

작은 크기의 LCD에서는 그다지 문제가 되지 않았던 Alias 문제가 LCD 크기가 커짐에 따라 중요한 문제로 대두되고, 따라서 Anti-alias 지원의 중요성이 증가되 었다. 여러 가지 Anti-aliasing 알고리즘이 있으나 이 또한 칩 면적과 관련하여 최적화된 알고리즘을 선택, 구현해야 한다.

4) 2D/3D 그래픽과 비디오/오디오 영상의 화학적인 컨버전스 요구 등장

① 더 이상 비디오/오디오와 별개로 구현되는 그래픽은 차츰 그 경쟁력 측면에서 밀려나리라 생각된다. 이에 MPEG-J와 같은 제안이 등장하고 있는 시점이고 이는 그래픽과 비디오 등의 융합된 기능에 대한 요구가 등장함을 의미한다.

② 이러한 비디오/오디오와 그래픽의 융합은 단순히 영상과 이미지를 섞는다는 개념으로는 지원할 수 없다. 비디오 등과 그래픽이 동기를 맞출 수 있는 방안을 모색하는 것이 중요한 요소가 된다.

5) 효율적인 멀티미디어 엔진의 아키텍처 설계

일반적으로 동영상 압축, 복원과 같은 멀티미디어 컨텐츠를 처리하는 방법은 하드웨어적인 방법, 소프트웨어적인 방법, 그리고 이 두 가지를 결합한 방법들이 사용되고 있다. 하드웨어적인 방법은 매우 낮은 주파수에서 최적의 성능을 내도록 설계될 수 있으나 flexibility가 떨어진다는 단점이 있다. 소프트웨어적인 방법은 반대로 융통성이 매우 크나 이를 구현하기 위해 고성능의 범용 DSP혹은 CPU가 요구된다는 단점이 있다. 이 두 가지 방법의 융합된 방식은 두 방식의 장점을 이용하려고 하고 있으나, 실제 응용의 측면에서 활용도가 떨어지는 문제가 있다. 이에 대한 분석을 통해 아키텍처의 결정이 필요하다.

본 발명에서 개발하려는 멀티미디어 처리 엔진은 휴대용에 최적화될 수 있는 구조로 설계되어야 하는 동시에 H.264, MPEG-4, WMV등과 같은 multi CODEC을 지원할 수 있는 가능한 한 공통된 구조가 되어 그 효용성을 최대화해야 한다. 특히 DMB에서와 같이 동일한 응용 분야라 할지라도 프로파일(profile)과 레벨 등이 각각 다른 응용 분야에 공통으로 접근하기 위해서는 구조적 융통성이 크게 강조되어야 한다. 이를 위해서는 각종 동영상 CODEC의 공통분모를 찾아내고 각각에 대한 최적화 및 하드웨어 부분과 소프트웨어 부분에 대한 효율적인 분할이 이루어져야 한다. 이러한 과정의 예로 동영상 CODEC을 수행하기 위해 소프트웨어와 하드웨어의 역할 분담을 나타내고 있다.

본 발명에 따른 기술 개발에 의한 기대효과는 다음과 같다.

1) MPU+GPU one chip의 기대효과

가) OpenGL ES 1.2 규격의 30M polygons/sec 고성능 지원

현재 게임 휴대폰의 성능이 1 M polygons/sec 미만임을 고려해볼 때 무선인터넷에 연결되어서 유무선 연동 게임이 가능하게 되기에 충분한 성능이다. 특히 Wide VGA(800x480) 해상도의 넓은 화면은 PSP 등의 게임기보다 약 3배 정도의 더 크면서 LCD의 전체 크기는 큰 차이가 없기 때문에 매우 세밀한 3D 그래픽이 표현된다. 이러한 고성능 3D 그래픽지원의 MPU+GPU one chip은 휴대용 게임기는 물론 PDA, PMP, PMC(Portable Media Center), 등의 휴대용 단말기에 장착되어서 다양한 컨텐츠를 동작시킬 수 있다. 이는 우리나라의 모바일 산업과 무선인터넷 서비스 의 장점을 활용하여 모바일 그래픽 가속 반도체의 순수 국산 기술 개발과 상용화 성공을 이룰 수 있을 것이다.

나) 휴대 게임기용 3D 그래픽 프로세서의 새로운 규격 OpenGL ES 2.0 구현의 의미

PC에서 현재 고가로 판매되는 3D 그래픽 카드는 Shader를 지원하고 있고 대다수의 사용자들은 3D 게임을 즐기면서 자연스럽게 고화질의 Shader 지원 3D 컨텐츠에 익숙해지고 있다. 이러한 현상이 모바일 단말기에도 자연스럽게 이어질 것은 명확하므로 모바일 단말기나 휴대 게임기에서도 국내 기술로 Shading 지원의 OpenGL ES 2.0 규격 3D 그래픽 프로세서를 개발하지 못한다면 하드웨어적인 종속성을 면하기는 어려울 것이다.

다행히 급변하는 모바일 단말기의 기술적/제한적 특수성으로 인해 PC 그래픽 카드 시장을 장악하고 있는 외국 업체들도 100% 고객의 요구를 충족시켜주지 못하는 상황이 국내 업체로서는 기회가 되고 있다.

또한 PC 상에서의 그래픽 카드가 그러하듯이 모바일 단말기 상에서의 3D 가속 반도체에 대한 OpenGL ES 2.0 규격이 계속 확장, 발전할 것이므로 시작 단계인 OpenGL ES 2.0 Shading 언어 구현 기술력 확보는 필수적인 기반 기술이 될 것이다.

다) OpenVG 1.0 상에서 Flash Lite 2.0 애니메이션 구현의 의미

3D 게임 컨텐츠는 개발 기간이나 비용이 과중한 반면에 플래시 애니메이션은 프로그램 능력이 부족한 디자이너들도 양질의 플래시 컨텐츠를 쉽게 양산을 할 수 있다는 장점이 있다. 따라서 캐주얼한 게임이나 교육용, 광고, 멀티미디어 메시 지 등에서는 2D 벡터그래픽 형태가 이상적이고(PC의 웹 화면에서 애니메이션의 대부분은 플래시) 이를 휴대 게임기에서 저 전력, 고성능으로 가속시켜서 구현하는 모바일 MPU+GPU 솔루션은 최근에 휴대 단말기에서 증대될 전망이다.

현재 주로 소프트웨어 구현으로 KDDI, NTT DoCoMo, T-Mobile, Vodafone KK, Nokia, 삼성, 소니, 레인콤 등에서 채용하기 시작하였고 계속 늘어나고 있다.

Flash 애니메이션 단말기가 확대되는 이유를 IDC August 2005 (White Paper : Addressing Growing Handset Complexity with Software Solutions)에 위하면 i) 널리 쓰이고 검증된 개발환경, ii) 130만 이상의 플래시 개발자, iii) 검증된 휴대 단말기사의 적용, iv) 휴대 단말기 개발 중 언제든지 적용 가능 등을 들고 있다. PC에서 초고속 인터넷의 도움으로 플래시를 세계에서 가장 빨리 확산시켰던 한국이 다시 단말기에서도 그 결실을 얻을 수 있는 기회로 만들어야 할 것이다.

라) 차세대 휴대게임기에 최적한 고성능 MPU와 GPU Architecture 구현의 의미

상술한 바와 같이, MPU+GPU, 연결된 주변장치의 I/F에 대한 종합적인 통합 및 시스템 반도체 기술 구현은 많은 고려해야할 사항들이 있다. 즉, 다양한 게임로직과 사운드가 Multi-CPU, Multi-Thread로 동작하면서 동시에 휴대인터넷을 통해 전송되는 비디오가 플레이되는 시나리오에서도 아무런 무리 없이 최적의 상황으로 동작하는 휴대용 게임기/단말기 환경을 구축하는 것은 최고의 기술이다.

마) 2D/3D 그래픽과 Video 동영상의 화학적인 컨버전스 구현.

비디오 동영상이나 웹 브라우징 화면을 3D 그래픽의 한 요소로서 취급하여 입체적으로 배치하는 기능은 고속의 하드웨어 지원으로만 가능하다. 이는 TV에서 간혹 볼 수 있는 효과로서 고가의 방송장비를 사용해야 가능했던 기능이다. 특히 화면이 작은 모바일 디바이스에서는 가독성과 의미 해석의 연속/연결성을 높이기 위해 필수적으로 요구되는 유저 인터페이스(User Interface) 기능이다. 그 밖에 휴대용 게임기에서는 3D 게임에 비디오를 연결시켜서 자연스러운 3D + 비디오의 게임 영상을 만들 수 있어서 PC에서나 가능했던 한 차원 높은 게임 기술을 모바일 환경에서도 구현해 줄 수 있다. 다양한 기능이 컨텐츠 개발자의 상상하는 대로 구현될 수 있는 이러한 시스템이 MPU+GPU one chip 장착으로 제공된다면 시스템 반도체 기술은 물론 우리나라의 컨텐츠 산업도 다양한 사업기회를 창출할 수 있을 것이다.

2) 휴대 게임기의 경제적 기대 효과

가) X-Brand 예측

2005년 3월 정보통신부에 제출된 한국전자통신연구원(ETRI) 주관 “차세대 포터블게임 플랫폼 개발의 타당성 및 전략 연구”자료는 게임 산업과 관련된 산,학,연의 실무자들이 중심이 된 협력 위원회를 구성하여 여러 차례의 워크샵과 기술회의를 거쳐 만들어졌다. 그 내용 중에서 목표하는 휴대용 게임 단말기(코드명 : X-Brand)의 경제성 분석 내용을 인용하였다.

3) 멀티미디어 엔진 기술 개발에 따른 효과

MPEG-4를 기반으로 하는 멀티미디어 서비스의 네트워크 분야는 PSTN, 이동 통신망, CATV 망, 방송 등이 있으며, 하드웨어 분야는 ATM 교환기, DVD, 디지털 TV, STB, information appliance등이 있고 네트워크 대역폭의 발전에 힘입어 화상 회의, 홈 쇼핑, 원격 교육, 주문형 서비스가 이루어지고 있는 현황에 비추어보면 멀티미디어 산업 발전은 정보 통신 산업 발전과 그 궤도를 같이 한다고 할 수 있다. 특히 그 동안 각종 동영상 서비스의 표준으로 사용되었던 MPEG-4 기술들이 H.264 기반으로 전이되고 있는 상황에서 이와 관련된 핵심 기술 개발은 매우 중요하다.

본 발명을 통해 개발될 기술들은 MPEG-4와 H.264등을 하드웨어적으로 최적화한 방식에 의해 수행할 수 있는 엔진으로 향후 다가올 방송, 통신 융합 응용분야에서 공통적으로 사용될 수 있는 핵심기술들이다.

* 방송 분야 : 위성 DMB, 지상파 DMB, DVB-H, ISDB-T, DAB, DMB-T

* 통신 분야 : W-CDMA 양방향 통신, VOD 서비스, UMTS streaming service

한국형 지상파 DMB가 채택한 H.264 영상 압축 기술은 2005년 독일 베를린에서 열렸던 IFA 전시회에서 해외 유수의 기업이 기존 영상 압축 기술인 MPEG-2와 직접적인 비교를 통해서 그 우수성을 알렸던 바와 같이 앞선 기술을 채택하고 있으며, 현재 한국형 지상파 DMB와 전 세계에서 그 표준 채택을 위하여 경쟁하고 있는 중국의 DMB-T, 유럽 노키아의 DVB-H, 또한 일본의 ISDB-T도 H.264를 영상 압출기술 표준으로 채택하고 있다. 이렇듯, 이미 우리의 한국형 지상파 DMB는21세기 디지털 멀티미디어 방송기술의 한중간에 서있다고 자신할 수 있다. 또한, 여기에 수십 년간의 경험으로 방송 신기술과 국내 기업이 자체적으로 보유하고 있는 앞선 수신용 IC, 각종 차량용 혹은 휴대용 수신기 개발 및 생산기술을 통하여 세계 어느 경쟁기 술표준보다 앞서 사용자에게 전달이 가능하다. 나아가 정부와 민간이 함께 힘을 합쳐 이에 대한 홍보와 기술전파를 하고, 이에 대한 가시적인 성과가 지난 7월 유럽표준채택, 9월 멕시코 정부와 MOU 체결, 중국 뻬이징 사실상 한국형 지상파 DMB를 기술표준으로 선정 등의 쾌거를 통해서 나타나고 있다. 또한, 또 다른 국가에서 검토 중이거나, 다른 기술과 경합중이며 동시 채택이 되거나, 결국 한국형 지상파 DMB를 최종 채택할 것으로 예상된다.

가. 국내외 현황

1) 세계 기술현황

가) GPU 반도체

급속히 성장하는 휴대용 게임시장 점유 및 시장 확대를 위한 반도체, 단말기, 서비스 경쟁은 필연적이라고 할 수 있다. 닌텐도의 GameBoy(8bit CPU, Mono LCD)는 휴대용 게임기 시장에서 지배적인 힘을 발휘하여 하드웨어 누적 판매량이 2004년 3월까지 1억 5천만대 이상으로 집계됨에 따라 세계 비디오 게임시장 통틀어서 가장 많은 판매량을 기록하였다. 기타 N-Gage 등의 다양한 기능의 게임기들이 출시되었으나 게임 타이틀 부족, 특징 없는 게임 플레이 등으로 주목을 받지는 못하였다.

이때 전용게임기 형태에서 탈피하여 멀티미디어 기능이 첨부된 새로운 휴대용 게임기가 등장했으니, 소니의 PSP와 닌텐도의 Dual Screen이다. 닌텐도가 축적된 게임 타이틀을 기반으로 선전하고 있으나 차세대 모바일 디지털 기기로서의 소니의 야심이 표출된 PSP 시장도 서서히 확대되고 있고, 그 핵심 요소로서의 GPU의 발달은 실로 급진전하고 있는 상태이다.

* 소프트웨어 3D 단말기

향상된 CPU만을 이용 또는 DSP 등으로 일부 3D 기능을 향상시킨 PDA, PMP, 휴대폰에서의 3D 게임은 널리 퍼진 단말기로 인한 규모의 경제성 이외에는 2D와 분간이 안 되는 미약한 성능으로 인해 사용자들에게 크게 인식되지 못하고 있다. 주로 노키아 N-Gage 또는 QualComm의 MSM6100 이상의 ARM9 CPU 급에서 사용된다.

* 고정된 하드웨어 3D 그래픽 GPU : OpenGL (ES) 1.x 상당의 GPU

현재 ATI, NVidia, Intel, 르네상스, Qualcomm(MSM6550) 등이 휴대폰 및 PDA 등을 위하여 개발한 GPU들은 3D 그래픽과 비디오/오디오를 지원하고 있으나 휴대폰/PDA에서는 너무 느린 속도, 컨텐츠 부족 그리고 휴대폰 적용에 있어서는 반도체의 경제성 문제와 작은 화면의 휴대폰 상에서의 게임 효과 반감 등의 부작용으로 일부 출시되었으나, 실질적인 시장 확대가 이루어지고 있지 않은 상황이다. 넥서스칩스는 GiPump(tm) NX1004/NX1005/NX1008(NX1005+입체3D)를 발표하였고 속도 평가(SKT GIGA 테스트) 결과, NX1004(1.3M polygons/s)는 ATI, 르네상스, NVidia보다 빠르다고 알려져 있다(Intel의 PDA용 3D 그래픽 칩, Marathon은 스펙 상 속도가 느림). 그리고 넥서스칩스의 NX1005(5M polygons/s)는 SKT GIGA 테스트 결과 세계에서 유일하게 GIGA version 4를 만족하는 성능을 자랑하고 있다.

다만 소니 PSP에 적용된 GPU는 고성능의 Bandwidth/Processing 향상, Embedded Memory 용량 확대, 하드웨어 Floating Point 연산 지원, 고성능 CPU(MIPS R4000, ~333MHz), 90nm 소니 자체 공정, 동영상 지원 하드웨어 엔진, WQVGA(480x272) 화면 등의 채용으로 어느 정도 사용자들의 높아진 눈높이를 맞춰주고 있으며 현재 계속 판매량이 증대되고 있다.

* OpenGL ES 2.0의 Shading 언어를 지원하는 그래픽 프로세서

전 세계적으로 OpenGL ES 2.0 지원 GPU 제품이 아직 발표되지 않은 상태이다. 단지, 개발 중에 있는 것과 아직 칩(Chip)화 되지 않은 IP 존재에 대한 Press Release는 간혹 보여지는데 주요 회사들은 NVidia, ATI, BitBoys, Imagination Technologies 등이다. 그러나 저 전력의 모바일 특성에 대해서 준비되어 있지 않아서 비효율적인 아키텍처로 속도는 느린 편이다(최대 3.5 polygons/s 정도). 기타 소니도 PSP 다음 버전의 GPU에 대해서 OpenGL ES 2.0 Shading 언어 방식 지원을 고려하고 있다.

나) MPU 활용 중 멀티미디어 분야

각종 형태의 동영상을 제한된 송수신 환경 하에서 효과적으로 전달하기위해 개발되기 시작한 동영상 관련 표준들은 크게 양방향 통신의 개념에서 출발한 ITU-T라는 기관과 동영상 전문 그룹인 ISO/IEC 산하의 MPEG 단체에 의해 주도되었다. 세계적으로 이 두 단체는 각기 다른 환경에서 사용되기 위한 독자적인 표준을 개발해왔다. ITU-T 진영에서는 1990년대 초반 ISDN이 환경에서 양방향 화상 통신을 구현하기 위한 방법으로 H.261이라는 동영상 압축표준을 사용하였으며 이 표준은 이후에 ISDN보다 더 낮은 전송환경인 PSTN에서 사용하기 위한 H.263으로 발전하였다. 그리고 이 표준은 더욱 향상된 동영상 압축 기술을 부가하여 H.263+, H.263++, H.26L등으로 이어지는 고 압축율의 표준으로 발전하게 된다. 그리고 MPEG 진영에서 는 MPEG-1으로부터 시작된 재생 전용 동영상 표준을 발전시켜 현재의 HDTV에 사용되는 MPEG-2, 그리고 거의 모든 영역에 대한 포괄적 기술을 포함하고 있는 MPEG-4를 1990년대 후반에 제정한다. 아이러니컬하게도 이 두 단체의 목표는 결국 저 전송율 환경에서 가장 효과적인 동영상 압축 방법을 개발한다는 목표가 같게 되고, 이에 따라 1990년대 후반부터 통합 표준을 개발하고 2003년에 이르러 최종적으로 두 단체의 공통 표준인 H.264 혹은 MPEG-4 part10(AVC)을 제정하게 된다. 현존하는 모든 압축 기술을 망라한 기술이라고 일컬어지는 이 표준은 2003년 가을 세계 최초로 국내에서 위성 및 지상파 DMB 서비스를 위한 동영상 압축 표준으로 채택되면서 그 기술적 진가를 발휘하게 된다.

특히 H.264는 그 전신인 MPEG-4에 비해 최고 50% 정도 압축 효율이 향상되므로 휴대폰이나 인터넷에서 사용되는 각종 VOD 서비스와 멀티미디어 컨텐츠로 사용되던 MPEG-4 표준을 대신하여 세계적인 차세대 동영상 표준으로 크게 각광받을 예정이다. 다음은 세계적으로 채택되어 있거나 혹은 예정인 각종 응용 분야들이다.

* H.264 표준 채택 현황

The HD - DVD format of the DVD Forum

The Blu - ray Disc format of the Blu-Ray Disc Association (BDA)

The Digital Video Broadcast(DVB) standards body in Europe (2004)

The prime minister of France for receivers of HDTV and pay TV channels (2004)

The Advanced Television System Committee (ATSC) standards body in the United States

Mobile-segment terrestrial broadcast services of ISDB -T in Japan will use.(NHK, Tokyo Broadcast System (TBS), Nippon Television (NTV), TV Asahi, Fuji TV, TV Tokyo)

Direct broadcast satellite TV services will use the new standard, including :(New Corp./DirectTV, Echostar/Dish Network/Voom TV, Euro1080, Premiere, SkyB)

3 GPP has approved the inclusion of H.264/AVC as an optional feature in release 6

The Motion Imagery Standards Board (MISB) of the United States Department of Defence (DoD)

The Internet Streaming Media Alliance (ISMA 2.0 specifications)

ITU -T, ISO / IEC

* H.264 표준의 응용 분야

1. Entertainment video(1 - 8Mbps, higher latency)

Broadcast / satellite / cable / DVD / VoD / FS-VDSL / ...

DVB / ATSC / SCTE, DVD forum, DSL forum

2. Conversational H.32X services (under 1Mbps, low latency)

H.320 conversational

3GPP conversational H.324/M

h.323 conversational internet/unmanaged/best effort IP/RTP

3GPP conversational IP/RTP/SIP

3. Streaming services (lower bit rate, higher latency)

3GPP streaming IP/RTP/RTSP

Streaming IP/RTP/RTSP (without TCP fallback)

4. Other services

3GPP multimedia messaging services

Video mail

이러한 세계적 규격에 따르는 표준과는 별도로 개별적인 기업이나 기술 혹은 독자적인 기술을 채택하여 멀티미디어 컨텐츠를 제작하여 대중화를 시도하는 규격들이 있는데 마이크로소프트 사의 WMV/WMA, real audio, 애플사의 Quick Time, DivX, XviD, ASF등이 이에 속한다. MPEG 류의 세계적인 표준이 아니라는 제한점이 있음에도 불구하고 이러한 규격들은 이미 전 세계적으로 인터넷을 통한 급속한 확대에 힘입어 현재 개인용으로 사용되는 PMP등의 각종 멀티미디어 기기에서 널리 사용되고 있다.

멀티미디어 관련 기술들은 세계 표준화에 발맞추어 세계적인 기업들이 각각의 특징을 내세워 제품을 출시하고 있다. 특히 DMB 관련된 제품들은 그 시장이 매우 클 것으로 예상되고, 세계적으로 공히 사용될 수 있다는 점에서 크게 관심을 끌 고 있다. 더욱이 DMB에 관해서는 우리나라가 세계적으로도 test bed의 역할을 담당하고 있으므로 한국 시장을 공략하기 위한 전방위 공세를 취하고 있다. 현재까지 멀티미디어에 관련된 제품을 선보이고 있는 업체로는 TI, Renesas, Broadcom, ADI등의 SoC 설계 회사가 있고, DMB 관련된 멀티미디어 IP를 개발하여 국내에 공급하는 업체로는 Hantro, Atsana, Imagination 등이 있다.

특히 현재 개발 및 출시되고 있는 제품들은 향후 방송, 통신의 융합 제품을 목표로 하여 보다 다양한 멀티미디어 CODEC의 지원과 동시에 고성능의 CPU를 내장하는 기능을 포함하여 단일 칩으로 다양한 단말의 host 역할 혹은 coprocessor의 역할을 모두 수행할 수 있는 것이 특징이다. 또한 멀티미디어 관련 기능을 구현하기 위한 공정으로는 첨단의 기술을 적용함으로써 저 전력을 요구하는 각종 휴대용 기기에 효과적으로 대응할 수 있도록 하고 있다.

2) 국내 기술현황

가) GPU 반도체

국내에서는 3D 그래픽 가속 반도체에 대해서　OpenGL ES 1.1을 지원하는 NX1004/1005를 발표한 넥서스칩스 이외에는 일반적인 고속 CPU에 소프트웨어 3D 구현, 소프트웨어(ARM9) Geometric 엔진 / 하드웨어 Rendering 엔진으로 일부만 하드웨어로 구현(M 사), 일본의 IP(OpenGL ES 미지원)를 도입해서 반도체 구현(V 사), 국내에서는 가장 일찍 3D 가속칩을 시작하였으나 표준에 호환이 되지 않는(M 사) 등 미약한 성능의 3D 반도체만이 발표되어 있는 상태이다. 3D 그래픽 가속 반도체는 많은 양의 3D 행렬연산과 대용량 pixel 처리를 위해서는 모든 기능이 하드웨 어 파이프라인 또는 프로그래머블 GPU로 구성되어야 제 성능을 발휘하면서 저 전력의 모바일 필수 사항을 만족시킬 수 있다.

나) MPU 활용 중 멀티미디어 분야

DMB 분야의 S-DMB, T-DMB, DVB-H, ISDB-T는 현재 상용 서비스가 이루어지고 있으며, MediaFLO는 연내에 미국에서 상용화가 시작될 전망이다. 한국은 세계최초로 S-DMB와 T-DMB서비스를 사용화하였으며, S-DMB의 상용화 시기는 일본의 MBCO가 수개월 앞섰으나, 휴대폰형 수신 단말은 한국이 최초로 실시하였다. DVB-H는 2006년 6월 이탈이아에서 상용화되었다.

현재 개발하고 있는 제품들의 공통적인 특징은 다음과 같다.

* DMB 규격에 대응하기 위한 H.264 decoder

* camera interface

* USB, SD/MMC, NAND IF등이 주변 장치

* ARM926/946EJ를 기반으로 하는 CPU 내장

* 2D/3D graphic engine 탑재

* MPEG-4 SP CODEC 지원

* SDRAM MCP

4) 동일, 유사내용에 대하여 국내외 관련자들의 수행내용

가) GPU 반도체

소니 PSP GPU는 OpenGL ES 2.0 Shader 언어를 지원하지는 않지만 성능 면에서 본 발명에서 제안하는 MPU+GPU one chip과 유사하므로 기술하였다. 기타, 다른 회사의 OpenGL ES 2.0 지원의 GPU 제품 출시는 아직 알려지지 않았다.

본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위해 이루어진 것으로서, 휴대 게임기용 MPU/GPU의 원칩 개발을 제공하는 것이다.

상기 목적을 달성하기 위해 본 발명에 따른 처리장치는 게임기용 MPU와 3D 그래픽 프로세서가 원칩으로 이루어진 것을 특징으로 한다.

상술한 바와 같이, 본 발명에 따른 게임기용 MPU 및 3D 그래픽 프로세서에 의하면, 다음과 같은 효과가 얻어진다.

가. 기술적 측면

모바일 환경으로 들어오면 그 제한점, 복잡성, 급속한 발전 속도, 디지털 컨버전스 경향 등의 영향으로 기존에 예측하기 어려운 다양한 기술을 개발할 수 있다.

1) OpenGL ES 1.2 / 2.0 Shader 가속 반도체와 Shader Compiler 기술 확보

차세대 표준인 Shader 기반 OpenGL ES 2.0 지원의 3D 그래픽 프로세서 기술과 Shader Compiler 기술을 확보, 모바일 3D 그래픽 가속 반도체의 고화질 3D 영상 을 표현하여 국내는 물론 전 세계 모바일 그래픽 가속 프로세서의 요구에 대응할 수 있다.

2) OpenVG 1.0 기반의 Flash 애니메이션 가속 반도체 기술

전 세계 다양한 모바일 단말기가 아도비의 Flash Lite 2.0 적용을 활발하게 수용하는 시장 상황에서 컨텐츠 개발자들이 토로하는 속도가 느린 아쉬움 극복을 OpenVG 기반의 Flash 애니메이션 가속 반도체 기술에서 기대할 수 있다.

3) 차세대 휴대게임기에 최적한 고성능 MPU와 GPU Architecture 구현 기술

고성능의 그래픽, 비디오, 오디오 등도 결국 휴대용 게임기 안에서 최적의 성능을 발휘할 수 있도록 서로 조화롭게 어우러져야 한다. 이러한 Integration과 다양한 게임 기능을 효율적으로 빠르게 동작시키게 하는 시스템 기술은 휴대용 게임기의 관점에서 치밀하게 계획되어야 하고 실제 적용해서 테스트 및 Feed back을 반복해서 MPU+GPU one chip 개발의 완결성을 높여야 한다. 레인콤은 현재 휴대용 게임기 개발 및 게임 서비스를 최우선으로 진행하고 있고 이러한 실질적인 경험은 바로 이 제안서의 목표가 되는 차세대 휴대용 게임기용 MPU+GPU one chip 시스템 아키텍처에 그대로 녹아들어가는 소프트웨어/하드웨어 기술 확보를 기대할 수 있다.

4) 2D/3D 그래픽과 비디오/오디오 영상의 화학적인 컨버전스 기술

기존의 3D 그래픽과 비디오를 동시에 지원하는 반도체는 단지 물리적으로 결합하여서 별도로 움직이는 기능이지만 본 제안서에서는 비디오 영상이 3D 그래픽의 하나의 데이터로서 다양한 그래픽 효과를 표현해서 작은 화면에 더 절실하게 필요 한 사용자 중심의 User Interface를 구현할 수 있다. 이는 진정한 의미의 그래픽과 비디오의 화학적 컨버전스 기술 확보를 기대할 수 있다.

5) 휴대용 멀티미디어 단말기의 핵심적인 부품으로의 MPU

향후 전개될 각종 휴대용 멀티미디어 단말기의 핵심적인 부품으로 사용될 수 있을 것으로 기대된다. 특히 각종 동영상 처리를 위한 CODEC 처리 기술, 그리고 이들을 관리하기 위해 사용되는 ARM CPU 기반의 high performance platform 기술은 이들을 기반으로 확장될 각종 응용 SoC의 IP로도 활용될 수 있다는 점에서 그 의의가 크다. 멀티미디어 관련 기술 개발은 해당되는 표준에 가장 적합한 형태의 원천적인 알고리즘 개발로부터 이를 실제 최적의 논리 회로로 구현하는 기술, 그리고 이러한 엔진들을 효과적으로 운영하기 위한 드라이버 소프트웨어 등 그 개발 범위가 매우 크고 기능 요소들 마다 독창적인 기술이 포함되어야 한다. 따라서 이러한 관련 기술들의 자체적인 개발과 원천 기술 확보는 매우 중요하다. 이러한 기술 개발로 확보되는 내용은 다음과 같다.

* 각종 동영상 표준 CODEC의 처리를 위한 최적 알고리즘

- motion estimation, motion compensation, DCT/IDCT

- quantization/inverse quantization, VLC/VLD, error detection/concealment

* 동영상 압축, 복원을 위한 전처리 및 후처리 과정

- pre/post filtering

- image enhancement function

- color space conversion, LCD interface

- OSD, PIP, hardware cursor등 관련 부가 기능들

* 하드웨어 설계 기술

- 휴대용에 적합한 저 전력 회로 설계 기술

- 최적 형태의 ASIC화

* 멀티미디어 처리 성능향상을 위한 제반 기술

- high speed external memory access

- frame memory management & buffering techniques

- high speed CPU interface

일반적으로 동영상 컨텐츠들을 처리하기 위한 방법으로 많이 사용되고 있는 방법은 고성능의 DSP core 혹은 CPU core에 소프트웨어적으로 구현하는 것인데 이러한 방법으로는 관련 분야에 대한 대외 경쟁력이나 독자적인 고유 기술을 확보하기 어렵다. 반면에 전용 하드웨어 엔진을 개발하고 이를 ASIC화 하는 방법은 각종 형태의 제품에 IP 형태로 집적될 수 있고 독자적인 기술을 보호하고 최적의 성능을 갖추도록 함으로 써 그 부가가치가 매우 향상될 수 있다는 장점이 있다.

나. 경제 산업적 측면

우리나라는 메모리, LCD 등의 부품에서 세계 일류를 말하지만 PC의 핵심 시스템 반도체는 Intel의 CPU와 NVidia 등의 그래픽 프로세서로 자리매김 되어 있다. 휴대폰 개발의 선진국이라고 하지만 휴대폰 기술의 총아인 MPU Core는 외국 선진국 회사의 몫이다. 그러나 IT 강국의 장점과 빠른 시스템 디바이스의 제조 능력은 일 부 모바일 시스템 반도체의 성공을 가져오면서 우리나라도 성공 비즈니스 모델을 그릴 수 있게 되었다.

모바일 시스템 반도체 시장은 새로운 실리콘벨리의 신화가 창조될 수 있는 영역으로 진행되고 있다. 물론 거대한 시스템 반도체 업체도 모바일에 집중하려고 하지만 인터넷이라는 전 세계 네트워크가 연결되는 곳에서 중심에 서 있는 모바일 단말기용 시스템 칩은 그 특성상 IT 기술과 사용자의 요구를 절묘하게 조합하여 적재적소에 알맞은 시간에 등장해야 성공의 가능성이 커지게 된다.

세계의 테스트베드로서 각축장이 되고 있는 한국 시장에서의 승리는 곧 MPU+GPU one chip이 전 세계 시장으로 나아가는 절호의 기회가 될 것이고 한국 비메모리 시스템 반도체 역사의 새로운 획을 그을 수 있을 것이다.

다시 말해서 본 발명을 통해 개발되는 SoC 와 관련 핵심기술들은 향후 각종 멀티미디어 단말기의 핵심 컨텐츠로 자리 잡을 3D 그래픽과 동영상 처리를 매우 효과적으로 처리할 수 있다. 이러한 개념은 이제 다가올 post PC 시대를 맞이하여 필수적인 기능을 처리하기 위한 de facto로 사용될 것이며 이에 따른 산업, 경제적 파급효과는 매우 클 것으로 예상된다. 특히, 본격적인 서비스를 시작한 휴대형 이동 디지털방송인 DMB는 오는 2010년에는 총 1조4000억원의 서비스 시장과 1조3000억원의 단말기 시장을 창출할 것으로 기대된다. 세계 DMB단말기 시장도 중장기적으로 국내 시장의 약 30배 규모로 연간 50조원 이상의 시장이 형성될 것으로 전망된다. 소비자는 들고 다니는 새로운 방송 매체를 접할 수 있고 서비스 시장과 단말기 시장, 관련 방송 장비 시스템 시장, 방송영상콘텐츠 시장은 새로운 소비 시장을 창 출해 경제 활성화에 크게 기여할 것으로 예상된다. T- DMB는 세계 최초로 상용화의 길을 열어 각각 중국과 유럽의 기술 시장 진출도 기대된다. 반도체와 CDMA에 이어 국가 경쟁력을 강화하는 산업부문으로 자리 잡을 DMB는 일단 국내 소비자의 방송 시청행태에도 큰 변화를 불러올 것으로 보여 향후 새로운 사회, 문화적 키워드가 될 전망이다.

우리나라가 마련한 T- DMB 표준(T―DMB)이 유럽의 T- DMB 표준으로 선정이 되었으며 한국전자통신연구원(ETRI)은 "이번 성과에 따라 우리나라의 장비 업체나 솔루션 업체들은 2012년에 연간 30억 달러에 이를 것으로 예상되는 세계 T- DMB 시장에서 주도권을 확보할 수 있게 됐다"고 분석했다. 또한 ETRI는 7일 세계 DMB시장은 2005년부터 본격적으로 형성(3억 2500만 달러)돼 2006년 독일 월드컵과 2008년 베이징 올림픽 등의 국제적인 대형 이벤트 호재로 인해 연간 137% 성장세를 보여 2012년에는 년간 30억 달러의 대형 시장을 형성하게 될 것이라고 전망했다. 특히 ETRI는 "이번 13차 월드DAB 포럼 성과로 인해 우리나라 T- DMB 기술의 확산은 송신장비 및 단말 수출로 직결됨은 물론, DMB용 응용솔루션 및 양방향 콘텐츠의 수출로 이어져 세계 통신ㆍ방송 융합 시장에서의 지배력을 크게 높일 수 있을 것"이라며 "그 파급효과는 기하급수적으로 증가할 것"으로 내다봤다.

이하, 본 발명의 구성을 도면에 따라서 설명한다.

또한, 본 발명의 설명에 있어서는 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.

본 발명에 따른 핵심요소 및 접근방법은 다음과 같디.

1) 휴대 게임기용 GPU 관련 핵심 요소 및 접근방법

○ Geometric 엔진의 고속의 Data 처리 능력

○ Rendering 엔진의 다중 pipeline 지원

○ 휴대용 게임기에 최적화된 Anti-alias filter 알고리즘 개발 및 구현

○ OpenGL ES 1.2 target의 고성능 그래픽 pipeline 구현

○ OpenGL ES 2.0 target의 Vertex Shader/Fragment Shader 구현

○ Fixed pipeline과 Shader의 최적화된 융합 구조 구현

○ OpenVG target의 Vector 엔진 개발

○ MPEG과 그래픽의 화학적 컨버전스 기능 지원

○ Shading Language Compiler 개발

가) Geometric 엔진의 고속의 Data 처리 능력

* 차세대 휴대용 게임기에서는 보다 나은 3D 그래픽을 요구하므로 이에 맞는 고속의 Geometric 엔진을 개발하여야 하고 이를 위한 새로운 알고리즘의 개발이 필요. Geometric 엔진을 Fully Hardwired로 구현할 예정이고 새로운 처리 방식을 적용한다.

* Geometric 엔진의 동작을 크게 둘로 나누어 보면 먼저 Data fetch와 Transform/Lighting 등 실제 연산 수행으로 나눌 수 있다. 각각의 동작에 대한 해 결 방안의 모색 및 구현이 필요. 이중 Data fetch와 관련하여 DDR 메모리를 Stack으로 사용한다.

나) Rendering 엔진의 다중 pipeline 지원

* 고성능을 위해 Rendering 엔진이 동시에 여러 pixel을 spanning 할 수 있어야 하고 이는 LCD 패널 크기가 커지는 추세에서는 더욱 중요한 요소가 됨.

* Geometric 엔진과의 Pipelining 측면에 대한 고려도 반영.

* 다중 pipeline 지원과 Geometric 엔진과의 Pipelining 지원을 위해 embedded 1T-SRAM을 사용한다.

다) 휴대용 게임기에 최적화된 Anti-alias filter 알고리즘 개발 및 구현

* LCD panel의 크기 증가에 따라 Aliasing 문제는 간과할 수 없으며 이를 위한 최적화된 알고리즘의 개발이 필요. 칩의 면적 등을 고려하며 Super sampling 등의 알고리즘을 그대로 적용할 수는 없다. 최적화된 자체 알고리즘을 개발하고 이에 대한 성능을 분석한다.

라) OpenGL ES 1.2 target의 고성능 그래픽 pipeline 구현

* 차세대 휴대용 게임기에 맞도록 Fixed pipeline 구조에서는 고성능을 담보로 한 아키텍처를 설계한다.

마) OpenGL ES 2.0 target의 Vertex Shader/Fragment Shader 구현

* 차세대 휴대용 게임기의 그래픽 flexibility를 강화하기 위해 OpenGL ES 2.0을 지원하는 최적화된 Shader의 개발도 중요하다.

바) Fixed pipeline과 Shader의 최적화된 융합 구조 구현

* 두 가지 표준을 만족하는 pipeline이 최적으로 유합되도록 개발.

사) OpenVG target의 Vector 엔진 개발

* 차세대 휴대용 게임기에서는 플래쉬 지원 또한 중요한 이슈이며 이를 위한 엔진 개발에도 역점을 둔다. OpenVG 분석 및 기 개발된 자사 칩의 Vector 엔진을 업그레이드한다.

아) MPEG과 그래픽의 화학적 컨버전스 기능 지원

* 단순한 그래픽에서 벗어나 비디오와의 결합을 통해 그 활용 범위를 넓힐 수 있다.

* MPEG-J 등의 제안 분석과 기 개발된 자사 칩의 Hybrid 기능을 업그레이드하는 개념으로 접근한다.

자) Shading Language Compiler 개발

* OpenGL ES 2.0/Shading Language spec 분석/파악을 통해 개발한다. 개발된 Compiler는 게임 컨텐츠 Loading 시 실시간으로 Vertex/Fragment Shading source를 컴파일 후 실행하게 된다.

2) 휴대 게임기용 MPU 관련 핵심 요소 및 접근 방법

○ ARM11 기반의 멀티미디어 및 그래픽 처리를 위한 아키텍처 개발

○ 동영상 CODEC을 위한 최적화 알고리즘 개발

○ 동영상 CODEC에 따른 공통 하드웨어 개발

○ 기능 블록별 하드웨어 개발

○ FPGA 수준의 실장 검증

○ DMB 응용 프로토콜 개발

가) ARM11 기반의 멀티미디어 및 그래픽 처리를 위한 아키텍처 개발

* 기존의 ARM9 계열 구조를 탈피하여 high performance를 가능하게 하는 ARM11의 새로운 구조를 기반으로 고속의 처리가 가능한 bus architecture 개발

* ARM11의 high performance에 대응하기 위해 가장 효과적인 memory interface 개발(DDR등의 high speed interface를 통해 ARM CPU의 성능을 극대화 할 수 있는 방안 강구)

* 본 발명의 각 기능 블록들의 특성에 따라 coprocessor 혹은 AXI bus interface등 적합한 데이터 처리방식을 부여

나) 동영상 CODEC을 위한 최적화 알고리즘 개발

* 동영상 CODEC를 구성하기 위해 필요한 기능 블록들과 이를 효과적으로 처리하기 위한 원천기술인 각종 알고리즘에 대한 분석과 평가를 통해 개발하려는 용도에 가장 적합한 방식 개발 : Motion estimation, motion compensation, DCT/IDCT, INTRA/INTER prediction등 최신 CODEC에서 사용되는 각종 기능들을 알고리즘 수준에서부터 분석, 평가하여 하드웨어의 구조에 가장 적합한 방식을 도출하고 이에 따른 하드웨어를 자체 개발함.

* 이렇게 개발된 알고리즘을 기반으로 하드웨어와 소프트웨어가 담당해야 할 부분을 결정하고 이 역할 분담에 따른 성능 평가를 수행한다.

다) 동영상 CODEC에 따른 공통 하드웨어 개발

* MPEG-4, H.264등의 다양한 동영상 CODEC 들 중에서 공통으로 사용될 수 있 는 기능 블록을 추출하고 상위 소프트웨어의 제어에 의해 다용도로 사용될 수 있도록 하드웨어 개발

라) 기능 블록별 하드웨어 개발

* CODEC의 기능 블록에 대한 전용 하드웨어 개발

마) FPGA 수준의 실장 검증

* 개발된 하드웨어를 검증하기 위해 FPGA 상에서 구현하고 이를 hardware emulator처럼 응용하여 실장에서와 같은 상황을 재현함으로써 그 기능을 검증함.

* ARM11 기반의 하드웨어 플랫폼을 개발하고 전체적인 시스템 수준의 검증이 가능하도록 함

바) DMB 응용 프로토콜 개발

* 국내 지상파, 위성 DMB에 대응하기 위한 시스템 수준의 각종 프로토콜 개발

* 해외 mobile TV 시스템 대응을 위해 DVB-H, ISDB-T 중국향 DMB-T 시스템 프로토콜 개발

3) 휴대 게임기용 GPU 관련 멀티플랫폼 Porting과 컨텐츠 개발환경 소프트웨어 : 기 개발 완료 또는 개발 진행 중

넥서스칩스는 멀티플랫폼 Porting과 컨텐츠 개발을 위한 NXsdk with NXemulator, NXengine(or 3rdparty game engine), NXlibrary, NXdriver, NXboard, NXcamera 등의 전반적인 환경을 모두 지원하여 시스템 및 컨텐츠 개발자들의 원활하고 빠른 개발을 능동적으로 촉진시킨다.

가) NXsdk with NXemulator

NXsdk는 응용프로그램 개발을 위한 개발환경이다. NXsdk는 현재 WIPI 개발환경의 일부 기능을 제공한다. 에뮬레이터/문서/라이브러리/예제가 포함되어 있다.

나) NXengine

NXengine은 게임 컨텐츠를 개발하기 위한 게임 엔진으로서 OpenGL ES의 상위에서 동작하면서 컨텐츠 개발자들의 빠르고 화려한 게임 제작을 원활하게 지원한다.

유럽과 미국의 Mobile JAVA 3D 표준인 JSR-184로의 변환이 가능하여 상호 게임 컨텐츠 공유와 포팅이 쉽게 이루어진다.

다) 3rd party Game Engine

현재 가바플러스&WOW4M의 NF3D Works, 디지털아이의 QT3D 엔진이 포팅 되어 있고 기타 여러 타사의 3D 게임 엔진과도 각각 포팅 관련 진행 중.

라) NXlibrary

넥서스칩스 그래픽 가속칩을 가장 효율적으로 사용하기 위한 Library 제공

마) NXdriver

Multi platform OS(Linux, Symbian 등)에 맞는 Device Driver 프로그램 제공

바) NXboard

CDMA/GSM phone 개발환경은 물론 다양한 ARM7, ARM9 개발 board 경험 및 환경 지원

사) NXcamera

Camera phone 환경을 Full로 지원하는 Library와 API, 문서 등을 지원한다.

다음에 본 발명에 따른 혁신성과 독창성에 대해 설명한다,

1) 휴대 게임기용 GPU 개발 부문

기존 3D 그래픽 가속칩 구현의 축척된 노하우를 바탕으로 경제성과 구현 가능성의 trade-off을 감안한 고성능의 Graphic Processor를 개발한다.

① 먼저 OpenGL ES 1.2를 target으로 한 동작에 있어서 최대의 성능을 담보로 최적의 구조를 고려하고 있다. 이는 휴대용 게임기의 더 화려한 3D에 대한 욕구를 해결하기 위한 것으로 Fully Hardwired 방식의 Geometric 엔진과 Rendering 엔진을 기반으로 최대 15M polygons/s의 지원이 가능하다. 많은 경험을 바탕으로 성능 제한의 요소를 극복하기 위한 자체 알고리즘을 기 개발한 상태이며 관련 Software 개발도 진행 중에 있다. PC 그래픽 카드에서부터 Shrink 개념으로 접근해 오거나 ARM base의 Software 방식의 그래픽 가속기를 기반으로 접근해 온 경쟁사와는 달리 모바일/게임기 전용으로 최적화된 하드웨어 그래픽 가속기이므로 성능 면에서나 칩 크기, 소모 전력 등 많은 부분에서 우위를 점한다고 할 수 있다.

② 또한 OpenGL ES 2.0을 target으로 한 동작 지원에 있어서는 그 동안 많은 프로세서 개발의 경험을 가지고 현재 3D 그래픽 부분에서 최적의 명령어 집합 정의 및 Shader 구현한다.

③ 그리고 MPEG-J에서 진행 중인 동영상과 그래픽의 융합 기능을 본 발명에서 개발할 MPU와 GPU를 통해 지원한다.

④ OpenVG에 대한 지원을 구현한다.

2) 휴대 게임기용 MPU 개발 부문

멀티미디어 CODEC 엔진은 표준에서 제공하는 data flow를 어떤 방식으로 구현하는 가에 따라 그 성능이 크게 좌우 될 수 있다. 특히 대부분의 동영상 처리 엔진의 성능을 크게 좌우하는 것은 내부 혹은 외부 memory interface의 처리 방식이다. 이러한 외부 memory interface는 기본적으로 본 과제에서 수행하려는 ARM CPU 기반의 bus architecture와 밀접하게 연관될 수밖에 없다. 즉, CODEC 자체의 memory interface를 최적화 하는 동시에 ARM CPU와의 bus 구성을 어떻게 하는 가에 따라 그 성능이 크게 좌우될 수 있다는 것이다.

도 1은 ARM CPU를 기반으로 고성능의 동영상 압축, 복원을 위한 방법의 하나로서 video CODEC 관련 특허출원(명칭 : 멀티미디어 신호 처리를 위한 영상 복원 프로세서 (A moving picture decoding processor for multimedia signal processing)) 예를 나타낸다.

이러한 기술들을 이용하여 H.264 video CODEC processor (VENUS2/VENUS2.5), H.263 video/audio CODEC processor(JUPITER), MPEG-4 A/V CODEC processor(URANUS), 그리고 H.264 decoder(NEPTUNE)에 이르는 일련의 제품들을 개발하였다. 그리고 이렇게 개발된 제품들은 PSTN 혹은 IP 기반의 video phone, 각종 DMB 단말기, remote surveillance system, Home network solution 등의 동영상 압축 및 복원이 요구되는 분야에 다양하게 적용된다. 따라서 ARM CPU를 기반으로 하는 memory interface 설계 기술은 고 성능 멀티미디어 제품 개발의 핵심 기술이라 고 할 수 있다. 한편, 동영상 데이터의 압축 및 복원 과정을 위해서는 현재의 frame date에 해당되는 것과 이전 혹은 그 이전의 frame data 또한 필요로 하므로 이러한 각종 image frame data들을 어떻게 효과적으로 access하는가가 CODEC의 효율과 직결된다. 따라서 본 발명을 통해 이에 대한 집중적인 연구를 수행하고 최적의 memory access 방식을 개발한다. 도 2 및 도 3은 DMB 전용 칩 NEPTUNE에서 채택한 window memory access 방식과 이에 대한 성능 비교이다.

도 4는 본 발명에 따른 전체 블력 구성도이다.

① CPU Core 역할

CPU Core는 MPU의 핵심이 되는 프로세서 장치로서 차세대 휴대 게임기 구현을 위해 유연성 있게 프로그래밍할 수 있는 게임 엔진과 MPU/GPU를 콘트롤해야 하는 중요한 역할을 맡고 있다. 병목현상과 전력소모는 최소한으로 하면서 게임엔진의 역할인 인공지능, 물리적 연산, 게임 로직 구현 등의 게임 컨텐츠 개발자의 상상력을 최대한으로 발휘할 수 있도록 해야 한다. 본 발명에서는 개발 환경, 안정된 Foundry 등의 확보가 가능하면서 휴대 게임기의 특성에 잘 융합하는 ARM11 계열의 ARM1176으로 한다.

ARM1176은 VFU(Vector Floating Unit)를 가지고 있는 고성능 멀티프로세서이면서 모바일 환경에 맞는 TrustZone 기술과 적은 전력소모 IEM 기술을(ARM Intelligent Energy Manager : 0.30mW/MHz 정도의 적은 전력소모는 요구되는 성능을 역동적으로 예측해서 전압과 동작 주파수를 낮게 할 수 있는 IEM 기술로 가능하다.)를 가지고 있어 차세대 휴대용 게임기 MPU의 핵심 core로서 매우 적당하다.

특히, 고급 게임에 많이 사용되는 Game specific Algorithm 처리(Collision detection, Special effects, Rigid body motion, Bone animation)와 같이 많은 물리연산을 필요로 하는 게임들을 실시간으로 구현하기 위해서는 Floating Point 행렬 연산, SIMD media extension, DSP Extensions 등의 집중적인 연산이 필요하고 ARM11176구조는 이를 모바일 환경에서 가장 강력하게 지원한다.

그밖에 ARM1176은 Jazelle(R) Java acceleration, 각 CPU 마다의 Instruction/Data cache, Dual 64-bit AMBA 3 AXI bus를 지원해서 차세대 휴대용 게임기의 요구를 만족시킨다. 도 5는 ARM1176의 블록도이다.

(2) 고성능 GPU의 개발

OpenGL ES 1.2와 2.0 모두에 호환되는 GPU의 개발은 두 표준 각각을 지원하는 두 개의 pipeline을 최적의 융합된 구조로 구현함이 기본적인 요소이다. 이러한 요소와 같이 성능, 효율성, 유연성, 경제성 등을 바탕으로 다음과 같은 사항들이 우선적으로 고려되어야 한다. 이러한 각각의 측면에서 개발된 내용을 설명하면 다음과 같다.

① 고성능 GPU 개발의 우선 고려 사항

1-1) Host Data 전송 속도 한계에 따라 Buffer Object 방식을 사용해야 하고 이는 미리 칩 내의 DRAM에 Data를 저장하는 방식이다. 이러한 방식에서도 DRAM 사용에 따른 Data fetch 속도의 한계를 극복하기 위한 알고리즘을 개발한다. 3D Graphic 성능을 좌우하는 가장 기본적인 사항으로, 이러한 알고리즘이 없이 일반적으로 Data를 fetch하는 경우 이론적인 한계 성능을 넘지 못한다. 이론적 한계 성능 을 넘기 위한 알고리즘을 확보, 이를 기준으로 칩 전반의 성능 향상을 도모하였다.

1-2) 속도 제한 요소의 분석과 이를 지원하는 하드웨어 구현이 필수적이다. 예를 들어 매트릭스 생성부는 반드시 하드웨어로 구현/지원해야 한다. 이를 Host에서 계산하여 결과 매트릭스 값만을 제공해주는 방식의 경우 속도에서의 문제와 Host의 부담을 가중시키게 된다. 또한 Clipping 연산도 반드시 하드웨어로 구현이 되어야 하는 부분 중 하나이다. A사와 같이 Clipping check까지만 하드웨어에서 지원하고 Clipping 연산을 Host로 올려 수행하게 하는 구조는 그 연산 자체의 수행 속도는 제외하더라도 연산을 수행하기 위해 Host로 Data를 전송하는 시간과 연산 결과를 다시 Host로부터 받는 시간을 고려하면 너무 많은 낭비를 가져오게 된다. 3D 게임 등과 같은 경우 Clipping 좌표 공간을 넘어가는 폴리곤이 빈번하게 발생하게 되는데 그때마다 이러한 처리 시간 지연이 발생한다면 그 성능은 이러한 경우를 고려하지 않은 최대 성능과 확연한 차이를 가져오게 되고 최대 성능이 얼마든 의미 없는 값이 되어 버린다. 이렇듯 최대 성능을 내기 위해 반드시 하드웨어로 설계되어야 할 부분에 대한 분석과 구현이 필요하다. 하드웨어로 구현되어야 하는 부분을 분석, 이를 기준으로 Matrix 생성 및 Matrix stack 관리 부분 및 Clipping 부분 (view volume clipping 및 user clip plane 포함) 등을 하드웨어로 구현하였다.

1-3) 최적의 연산기 사용을 감안한 Multi-Rendering pipeline 지원이 필요하다. 최근 LCD panel의 크기가 점점 커지고 있는 추세는 3D Graphic pipeline 중 Rendering 단계의 부담이 점점 커짐을 의미한다. 따라서 독립적인 동작이 가능한 여러 개의 Rendering pipeline의 구현이 필수적이다. 똑같은 컨텐츠에 대해 QVGA LCD와 VGA LCD 각각에 디스플레이 해야 하는 경우를 비교하면 Geometric pipeline에서 걸리는 시간은 디스플레이 크기와 무관하므로 동일하다고 볼 수 있다. 그러나 Rendering pipeline의 경우 단순히 비교하면 VGA LCD를 지원하는 경우, QVGA의 경우에 비해 4배의 시간이 필요함을 알 수 있다. 그러므로 LCD 크기가 증가하는 추세에서는 그래픽 성능을 나타내는 지표 중 하나인 Pixel fill rate의 중요성이 증가한다고 볼 수 있다.

LCD size 측면을 고려하여 Pixel fill rate를 clock 당 2 pixels로 구현하였고 더 빠른 rencdering을 지원하기 위해 Early-z 라는 기능을 추가하였다.

1-4) LCD controller의 내장에 따른 규칙적인 on-screen memory 접근이 성능에 영향을 주지 않도록 고효율의 DRAM controller 설계 및 공유 구조 지원도 또한 LCD 크기가 증가하는 추세에서 중요한 요소 중 하나로 고려되어야 한다. 현재 QVGA까지는 LCD module 자체에 LCD controller가 내장되어 있고 따라서 그래픽 가속칩이 On-screen memory를 내장할 필요가 없었다. 그러나 LCD 크기가 커짐에 따라 LCD controller가 내장된 LCD module이 없음으로 인해 그래픽 가속칩에 On-screen frame memory와 LCD controller이 내장이 요구되었다. 별도의 On-screen memory를 둔다면 다른 블록의 동작에 영향을 주지 않으므로 문제될 것이 없으나 이렇듯 큰 크기의 On-screen memory를 별도로 내장한다는 것은 칩 개발에서 경제성 등을 고려할 때 커다란 문제가 된다. 따라서 다른 블록과 메모리를 공유하는 구조로 구현해야 하고 이러한 경우 On-screen memory 부분의 접근이 성능에 영향을 주지 않도록 하는 것이 중요하다.

여러 블록의 stack memory 접근을 arbitration하기 위한 구조를 효율적으로 지원함으로써 이러한 문제를 해결할 수 있었고 지원하는 LCD size도 SVGA로 확대, 구현하였다.

1-5) 모바일 폰 적용을 목적으로 하는 칩의 경우 소모 전력의 문제는 중요한 고려 사항 중 하나이다. 따라서 여러 단계의 Power saving mode의 지원이 필수적이다. 칩이 동작하는 경우의 전력 소모도 중요하나 칩이 동작하지 않는 경우의 누설 전력이 더 중요한 요소이다. 이런 경우 Deep power mode로 진입하여 칩에서 소모하는 전력을 50uA이하로 유지해야 한다.

Power switch를 사용하여 Bypass 동작 등의 경우 내부 사용되지 않는 블록에 대해 power 자체를 내릴 수 있도록 하였고 이외에 active 상태에서도 동작하지 않는 블록에 대해서는 clock을 콘트롤할 수 있도록 하는 dynamic clock control 지원이 가능하도록 하였다.

1-6) LCD 크기가 커짐에 따라 Anti-alias filtering이 중요한 요소이다. 기존에 작은 크기의 LCD panel에서는 간과하고 넘어갈 수 있었던 부분도 큰 크기의 LCD panel에서는 눈에 거슬릴 수 있다. 따라서 적절한 방식의 Anti-alias filtering을 지원해야 한다. 단, 이 부분도 성능에 영향을 주어서는 안된다. 또한 칩 크기 면에서의 고려도 중요하므로 모든 면을 고려한 알고리즘 개발이 필요하다.

위와 같은 항목들을 고려하여 칩을 아키텍처 설계 단계부터 적용하여야 한다. 칩의 전체적인 아키텍처를 우선 설명한 후, 각 블록의 내용을 자세히 설명한다.

② 3D 그래픽의 처리 속도 성능을 위한 아키텍처 구성

도 6은 본 발명에 따른 Graphic Processor Unit, 즉 그래픽 가속기의 구조이다.

2-1) 3D 그래픽의 처리 속도 지표와 의미 분석

3D 그래픽의 처리 속도와 관련된 성능을 언급하는데 주로 사용되는 것은 초당 Polygons 수와 Pixel fill rate이다. 먼저 초당 Polygons 수에 영향을 미치는 요소들을 살펴보면 첫 번째는 메모리로부터 얼마나 빨리 data를 읽어올 수 있는가라고 할 수 있다. 또한 이 요소는 하나의 메모리를 여러 블록에서 공유하는 구조에서는 더욱 중요한 요소이다. 하나의 블록에서 필요한 메모리 접근을 완료한 뒤에 다른 블록에서 접근하기 위해서는 각각의 블록에서 필요로 하는 동작이 빠르게 진행될 필요가 있기 때문이다. 두 번째는 하나의 삼각형을 처리하는데 걸리는 시간이 얼마나 짧게 가능한 지가 직접적인 성능 결정 요소가 된다. 이 요소는 Geometric 엔진에서 각종 변환과 lighting을 비롯한 각종 연산을 수행하는 시간과 Rendering 엔진에서 실제 spanning하는데 걸리는 시간을 포함한다. 이 요소와 함께 고려되어야 할 사항이 Geometric 엔진과 Rendering 엔진의 Pipelining 동작 지원 여부이다. Pipelining을 지원하면 Geometric 엔진과 Rendering 엔진의 처리 시간이 동일한 경우, 최대 2배의 속도 향상을 가져올 수 있기 때문이다. 다음 Pixel fill rate는 주로 Rendering 엔진과 관련된 것으로 대체로 clock 당 몇 개의 pixel을 write 할 수 있는 지를 나타내고 이는 Rendering 엔진의 동작 파이프의 개수와 관련된다. Pixel fill rate가 중요한 이유는 초당 Polygons/s가 빠르다 하더라도 실제 폴리곤을 spanning하는 부분에서 느리게 되면 빠르게 폴리곤을 계산한 Geometric 엔진에서 Rendering 엔진을 기다리며 낭비하게 되기 때문이다. 이러한 관점을 가지고 본 과제에서 고려하고 아키텍처를 살펴보면 도 6과 같다.

본 발명에 따른 성능 분석 및 지원 아키텍처 결정은 다음과 같다.

본 발명에서는 Polygons/s 성능과 관련된 첫 번째 요소인 빠른 Data fetch를 위해 도 6에 보이는 Stacked memory를 DDR 메모리 또는 SDRAM를 사용한다.

대신 SDRAM을 좀 더 효율적으로 콘트롤함으로써 필요한 성능 구현이 가능하도록 하였다. 그리고 두 번째 요소 중 하나인 Geometric 엔진과 Rendering 엔진의 Pipelining 동작 지원과 높은 Pixel fill rate 지원을 위해 texture memory와 frame memory를 embedded 1T-SRAM으로 사용한다. 이 부분에 있어서도 1T-SRAM의 사용 상 불안 요소를 감안하여 texture mamory는 일반 SRAM으로, frame memory는 eDRAM으로 구현하였다. 이러한 eDRAM의 사용으로 인해 0.13um 고정으로 변경하여야 했다. 0.13um의 경우 최대 동작 주파수가 100MHz로 제한되게 된다. 이러한 구조를 가지고 결과 성능을 분석해 보면 다음과 같다.

기존 넥서스칩스의 알고리즘에 따르면서 vertex만으로 구성된 1개의 작은 삼각형을 처리하는데 걸리는 시간은 이론적으로는 10.62 clock. 따라서 polygons/s는 133M/10.62 = 12.5M pps가 된다. 수정된 구조를 통해 분석한 결과 vertex만으로 구성된 1개의 작은 삼각형을 처리하는데 걸리는 시간은 10.0 clock, 따라서 polygons/s는 100MHz/10.0 = 10.0M pps가 된다. 또한 Geometric 엔진과 Rendering 엔진이 Pipelining을 지원하는 경우 Rendering 엔진에서 이전 폴리곤을 그리고 있 는 동안 Geometric 엔진에서 미리 다음 폴리곤을 준비할 수 있으므로 반복되는 clock의 수를 줄일 수 있고 Pipelining이 아닌 경우에 비해 최대 2배의 성능을 기대할 수 있다.

(3) 멀티미디어 관련 연구개발 내용

① 하드웨어적인 엔진 개발의 필요성

일반적으로 동영상 압축, 복원과 같은 멀티미디어 컨텐츠를 처리하는 방법은 하드웨어적인 방법, 소프트웨어적인 방법, 그리고 이 두 가지를 결합한 방법들이 사용되고 있다. 하드웨어적인 방법은 매우 낮은 주파수에서 최적의 성능을 내도록 설계될 수 있으나 flexibility가 떨어진다는 단점이 있다. 소프트웨어적인 방법은 반대로 융통성이 매우 크나 이를 구현하기 위해 고성능의 범용 DSP혹은 CPU가 요구된다는 단점이 있다.

이 두 가지 방법의 융합된 방식은 두 방식의 장점을 이용하려고 하고 있으나 실제 응용의 측면에서 활용도가 떨어지는 문제가 있다. 따라서 본 발명을 통해 상용화하려는 SoC 제품은 특히 휴대용 단말기에 최적화 되어야 한다는 측면에서 저 전력소비가 핵심적인 기술이므로 각종 멀티미디어 기능들을 모두 전용의 하드웨어 엔진을 사용해야 한다는 당위성이 있게 된다.

② ARM11 기반의 bus architecture 개발

기존의 ARM CPU들과는 달리 ARM11 시리즈는 다음과 같은 특성을 갖는다.

- dual 혹은 single로 사용할 수 있는 64bit data bus를 통해 고속의 데이터 처리가 가능하다.

- 선택적으로 vector floating point unit을 제공한다.

- ARM의 Jazelle, DSP extension을 제공한다.

- SIMD 형태의 media extension을 제공한다.

- dynamic voltage, frequency scaling 기능을 제공한다.

이와 같은 특성에 따라 본 발명에서는 다량의 멀티미디어 및 그래픽에 요구되는 데이터를 고속으로 처리하기 위해 최적의 형태를 갖는 bus architecture를 개발하고 이에 따른 각 기능 블록들의 ARM interface를 결정한다. 일반적으로 coprocessor interface는 그 연결이 단순하나 interface의 속도에 제한을 받을 수 있고, AXI 혹은 AHB에 연결되기 위한 구조는 interface protocol이 다소 복잡하고 설계에 어려움이 있으나 고속의 데이터 처리에 적합하다. 따라서 이러한 개별적 특성에 따라서 각 기능 블록의 연결 방식을 결정하고 이에 따라 세부 블록에 대한 개발을 진행한다. 도 7은 DMB 전용 AV decoder NEPTUNE에서 사용한 ARM920 기반의 bus architecture이다. 여기서 보면 H.264 decoding을 위해 소요되는 외부 메모리 엑세스를 최소화하고 host 의 역할을 수행하기 위해 필요한 memory bandwidth를 확보하기 위해 host memory interface와 video memory access를 물리적으로 분리하여 그 상관관계를 최소화 할 수 있도록 하였다. 이렇게 하면 bus가 분리되어야 한다는 단점이 있으나 host와 AV decoding이 독립적으로 운영될 수 있고, 최저 주파수에서 AV decoding 이 수행될 수 있게 되어 특히 저 전력을 목표로 하는 시스템에 효과적으로 사용될 수 있도록 하였다.

③ multimedia CODEC engine 개발

도 8은 대부분의 동영상 압축, 복원의 처리 과정에서 수행되는 공통적인 부분이다. 본 발명에서는 이렇게 CODEC 과정에 필요한 공통적인 기능 블록들을 알고리즘 수준에서부터 그 타당성을 검증하고 하드웨어로 개발 완료하는 것을 목표로 한다. 위의 과정에 사용되는 각 기능 블록들은 기본 기능은 유사하나 세부 기능에서는 표준에 따라 다를 수 있으므로 이를 고려하여 독립적인 블록으로 혹은 공통으로 사용할 수 있는 블록으로 구분하여 개발한다. 도 9는 이러한 CODEC을 구현할 수 있는 방식의 예를 보여 준다.

특히 알고리즘적인 측면에서 크게 영향을 받는 부분인 H.264에서의 motion estimation 과 같은 부분은 기존의 fast full search 혹은 hexagonal search 방식을 탈피하여 16 x 16 macro block으로부터 4 x 4 에 이르는 모든 경우의 수를 효과적으로 처리할 수 있는 새로운 방법을 개발한다. 또한 이 블록은 하드웨어적인 규모나 그 복잡성에 있어서 encoder의 가장 큰 부분을 차지하고, reference frame의 개수와 prediction mode에 따라서도 그 복잡도가 크게 좌우되므로 하드웨어를 최소화 하는 동시에 full search에 가장 근사한 방법을 고안하여 기타 MPEG-4에도 공통으로 사용될 수 있는 기반을 마련한다. 기본적으로는 motion vector 예측에 의한 fast search 방식을 개선하는 방향으로 추진한다. 또한 전체 CODEC의 규모 면에서 상당한 면적을 차지하는 DCT/IDCT 블록도 그 처리 방식에 따라 설계 결과는 크게 차이가 날 수 있다. 이를 위해서 분산연산(distributed arithmetic) 방식을 이용하거나 DCT/IDCT를 skip 할 수 있도록 motion estimation 단계에서 미리 이 결과를 예측하는 방식 등을 채택하고 있다. 도 10은 예측전 및 예측 후의 관계를 나타낸 다.

이런 방식과 과정을 통하여 CODEC의 나머지 기능 블록에 대한 개발을 진행한다.

④ FPGA evaluation board 개발

상기와 같은 방식에 의해 개발된 architecture와 multimedia engine들은 실장에서의 그 기능 검증을 위해 ARM11을 기반으로 하는 FPGA board로 개발되고 실제 multimedia sample들을 이용한 테스트를 거침으로써 SoC화를 준비한다. 다음 도 11은 본 발명을 통해 개발된 FPGA의 구성도이다. 기본적으로 ARM11 단품을 이용하여 host 기능을 수행하도록 하고, 본 발명을 통해 완성되는 multimedia engine은 그 규모에 따라서 FPGA1, 2에 나누어 탑재되도록 한다. 이때 multimedia CODEC의 검증은 실제 시각적인 효과를 볼 수 있어야 하므로 이를 확인하기 위한 pre processor 혹은 post processor를 거치도록 해야 하고, 특히 digital LCD와 같은 외부 출력 장치를 통해 그 기능을 검증할 수 있는 별도의 장치가 필요하다. 또한 DMB와 같은 방송 기능을 검증하기 위해 위성 혹은 지상파 DMB에 사용되는 수신 모듈(baseband + RF)을 탑재할 수 있도록 한다.

본 발명에서는 다음과 같은 어려움이 있었다. 65nm 공정의 사용상 어려움이 그 첫 번째이고 DDR memory의 stacking에 있어서 불안한 요소가 많음이 두 번째이다. 이로 인해 칩 전반의 동작 속도가 최대 100MHz로 제한되었다. 그로 인해 최대 성능에 있어서 11M pps로 제한되게 되었다. 단, pixel fill rate 측면에서는 clock 당 2 pixels를 구현하여 큰 사이즈의 LCD를 지원하기 위한 준비는 갖출 수 있도록 하였다. 개발하고자 하는 GPU의 구조상 속도 향상을 위해 내부 embedded frame memory를 필요로 하는데 이를 일반 SRAM으로 구현하는 것은 칩의 면적 상 문제가 됨으로 이를 해결하기 위한 현 상황의 두 가지 방법이 1T-SRAM을 사용하거나 eDRAM을 사용하는 것으로 고려되었다. 이중 1T-SRAM은 power라든지 이외 success story 측면의 검증 대상이 없음에 따라 불안한 요소가 있어 eDRAM으로 결정하였고 이 eDRAM IP는 90nm 공정에서는 지원 준비가 되어있지 않은 상황이어서 부득이 0.13um 공정을 채택할 수밖에 없었다. 이후 칩 개발 결과를 토대로 더 나은 process를 접근할 예정이다. 이러한 측면에서 stack memory의 결정에 있어서도 DDR보다는 SDR을 사용하는 것으로 결정하였고, 이를 기반으로 미리 성능을 분석한 결과 현재의 구조로 DDR을 지원하기 위해서는 더 많은 처리 블록이 필요하게 됨으로 면적에 있어서의 재고가 필요하게 된다.

Target LCD 측면에서는 개발 목표 상 WVGA(800x480)이었으나 시장 상황을 분석한 결과 SVGA(800x600)까지의 지원이 필요한 것으로 분석되어 SVGA까지 지원할 수 있도록 상향 조정하였다.

도 12는 MPU/IP/시스템을 기반으로 GPU를 Integration하는 작업이 수행을 나타낸다.

그 성능 및 기능은 다음과 같다.

* Fixed pipeline : 30M polygons/s

* Programmable pipeline : 5M polygons/s 이상

* 532M pixel fill rate @ 133 MHz (4 pixel/clock pixel rate)

* OpenGL ES 1.2 / 2.0 호환

* GIGA 2D

* OpenVG

* 고성능 Floating point 연산부 개발

* 고효율의 DRAM controller 개발

* Shading Language Compiler 개발

* 다양한 단계의 Power Saving mode 지원

* Target LCD : WVGA(800x480) resolution 지원

단, Core부의 지원 가능 resolution은 1024 x 1024

* LCD Controller 개발 : 최대 초당 60 frames/s 지원

* TV out 지원

* ARM11 기반의 high performance architecture 개발

- ARM11 기반의 high performance(400MHz급) 구현을 위한 function module interface 정의

- 멀티미디어 엔진 및 그래픽 엔진에 적합한 bus architecture 개발

- 상기 방식에 근거한 각종 주변장치 및 coprocessor, master들의 interface module화

- high speed DRAM(SDRAM/DDR) access를 위한 memory controller 개발

* Multimedia engine 및 하드웨어 드라이버 개발

- H.264 baseline 알고리즘 및 하드웨어 개발 (D1 기준 최대 30fps)

- MPEG-4 Advance simple profile 알고리즘 및 하드웨어 개발 (D1 기준 최대 30fps)

- 각 하드웨어 구동을 위한 driver 개발

- 동영상 처리를 위한 high speed memory access 방식 개발

- WMV, RM decoder 개발을 위한 기본 알고리즘 개발

- ARM11 + multimedia engine을 이용한 WMV, RM 구현

* 각종 방송용 프로토콜 개발

- 지상파, 위성 DMB 용 각종 프로토콜 개발(MPEG-2 TS, de-interleaver, RS decoder)

- 데이터 방송을 위한 각종 프로토콜개발 (BWS, SLS, DLS, BIFS)

- 해외 mobile TV 를 위한 각종 방송 프로토콜 개발(DVB-H, 중국향 DMB-T)

- AV synchronization 기술 개발

* 게임전용 확장명령어 개발 및 활용방안 연구개발

* 오디오 처리 (AAC, AAC+, MP3, BSAC, SBC, OGG, WMA, RA)

* 3D positional sound (doppler effect, sound mixer)

* Game specific algorithms 처리 (collision detection, bone animation, special effects, rigid body motion, etc)

* USB2.0 IP 도입하여 내장, camera module 개발하여 내장

* Motion Sensor, game control keypad, bluetooth 및 기타 게임관련 peripheral I/F 제공

* 65nm CMOS Technology

* 9.0mm x 9.0mm x 1.4mm 256 pin FBGA Package

* DDR MCP(Multi-Chip Package)

* Cellular phone, Smart phone, 게임기, 네비게이션 Applications

이상과 같이 MPU 부분과 GPU 부분의 One-chip화가 진행될 예정이고 특히 GPU 부분에 있어서는 성능의 한계점 분석을 통해 혁신적인 성능 향상을 도모하며, 이는 게임 엔진이 수행될 MPU와 One-chip됨에 따라 더욱 그 장점을 발휘할 수 있으리라 기대한다. 또한 MPEG과 그래픽의 융합 기능면에서도 더욱 세련된 기능 추가가 가능해질 것으로 생각한다.

본 발명에 따른 연구개발 내용은 다음과 같다.

(1) MPU와 GPU 간의 더욱 견고한 Interface 제공

ARM11 기반의 high performance architecture를 기반으로 FPGA로 성능 및 지원 기능에 대한 검증/실장 테스트를 통한 검증을 완료한 GPU를 결합하여 One-chip solution을 제공한다. MPU와 GPU 간의 더욱 견고한 Interface를 통해 동작 성능 향상과 세련된 기능 지원을 도모한다. MPU로부터 SRAM 방식의 Interface 신호를 받아 동작을 진행하던 GPU가 직접 AXI system Bus에 연결됨으로써 더 빠른 처리가 가능 해진다. 예를 들어 GPU내의 DDR 메모리 access와 같은 동작 수행 시 Two chip solution의 경우와는 비교할 수 없는 속도가 가능해지고 Buffer Object 지원을 위해 Data 전송을 하는 시간, 즉 게임 상의 Loading 시간과 같은 것이 월등히 줄어들게 된다. 이를 위해 GPU의 Host Interface는 AXI Bus Wrapper로 수정이 필요하게 되고 내부 처리 방식의 수정이 요구된다.

(2) 향상된 그래픽 성능 제시

GPU 내부 동작 분석을 통해 bottle-neck이 되는 부분의 고속화를 통해 속도 향상을 꾀한다. 또한 Rendering 엔진을 두 배로 구성하여 실제 Spanning 시간을 반으로 줄이는 작업을 수행한다. 이로써 평균 처리 속도를 최대 속도에 가깝도록 할 수 있다. 단, Rendering 엔진을 실제 두 배로 구현하지 않고 Timing sharing 방식을 통해 성능에 있어서만 두 배가 되도록 구현함이 중요한 요소이다.

(3) 향상된 저전력 설계 방안

GPU에서의 소모 전력 분석을 통해 Dynamic Power Saving을 적용, 소모 전력을 더욱 줄임을 기본으로 한다. MPU와의 One-chip화로 인해 소모 전력이 늘 수 있음을 감안하여 이에 대한 대책을 마련한다.

음성 통신이라는 시작한 휴대폰은 그 고유기능뿐만 아니라, 카메라, 오디오, 비디오, DMB 등 모든 멀티미디어 기능이 융합하는 방향으로 진화 발전하고 있다. 또한, 휴대폰 이외의 멀티미디어 단말기도 PSP, iRiver, iPod, 등을 중심으로 단일 기능에서 다양한 멀티미디어 기능이 통합되어 발전되고 있는 추세이다. 이렇게 한편, 플랫폼 단위로 제한적으로 발전되어 오던 모든 멀티미디어 기능은 2006년도에 시험 운용할 Wibro, HSDPA 서비스를 시작으로 기기 간 네트웍으로 연결되어, 명실상부한 통합 멀티미디어 단말기로 거듭날 예정이다. 특히, Wibro, HSDPA, Wi-Fi 단말기의 출현은 PC 중심으로 폭발적으로 성장하였던 온라인 게임이 Killer Application으로 자리 잡을 예정이다. 단말기에서의 PC 온라인 게임 수준의 게임이 연출되려면, 결국 게임 엔진이 수행되는 MPU의 성능과 그래픽 처리를 담당하는 GPU 성능 모두 크게 향상되어야만 가능하다.

통합되어진 멀티미디어 기능을 오디오, 비디오, 음성, 방송, 게임, 네트워크 등으로 나눌 수 있다. 멀티미디어, 게임, 방송, 네트워크 등의 기능을 모두 지원하는 MPU와 GPU를 성공적으로 개발하기 위해서는 다음과 같은 몇 가지 고려할 사항들이 존재한다.

① 응용의 호환성/유연성 : 모바일용 게임 단말기는 게임뿐만 아니라 네트웍을 이용한 음성, 오디오, 비디오, 방송, 데이터 통신, 인터넷 등 PC에서 수행되는 거의 모든 기능이 수행 가능하게 하는 응용 유연성을 담보해야 한다. 다시 말해, PC 온라인에서 통용되고 있는 다양한 오디오, 비디오, 음성, 인터넷 프로토콜 방식을 모두 지원해야 하며, 더 나아가 새롭게 출현될 CODEC 프로그램, 인터넷 프로토콜 등도 다운로드를 통하여 수행될 수 있도록 해야 한다. 이는 고성능의 프로세서 코어를 기반으로 하여, 대부분의 멀티미디어 CODEC 프로그램을 소프트웨어 방식으로 수행해야 함을 의미한다.

② 인터넷과 방송의 융합 : 디지털 방송 시작이 된 이후에 DMB 등 모바일 기기에서의 방송 서비스가 본격적으로 상용화되고 있다. 그러므로 방송 서비스를 지 원하기 위한 CODEC이 필수적으로 내장되어야 한다. 다른 응용과 달리, 방송은 사용자 수동적인 영역이기 때문에, 전력 소모와 품질에 매우 민감하다. 그러므로, 방송 서비스와 관련된 CODEC(H.264, MPEG4 등)은 하드웨어로 내장하여 전력 소모와 품질을 최소화하여야 한다.

③ 응용 동시성 : PC 환경에서와 같이 여러 가지 응용을 동시에 지원하여, 사용자의 편이성을 도모해야 한다. 이는 임베디드 프로세서의 고성능과 함께 Multi Thread, 병렬 처리 등을 요구하고 있다. 현재 이러한 기능이 모바일 임베디드 프로세서로서 가능한 IP는 ARM11 등이 있다.

④ 그래픽 성능 : 기존 모바일 기기는 각자 영역에서 발전한 기능을 충실히 수행하여 왔을 뿐만 아니라, 모바일용 그래픽 프로세서가 존재하지 않았기 때문에, 게임 컨텐츠를 위한 그래픽 처리를 소프트웨어로 수행하였다. 이는 게임 등 그래픽 관련 컨텐츠 발전을 매우 제한하는 요소였다. PC 수준의 그래픽 처리를 위해서는 그래픽 카드에 준하는 그래픽 성능이 모바일 기기에서도 필요하며, 이는 그래픽 전용 프로세서의 필요성으로 이어진다.

⑤ 그래픽 품질 : 모바일 기기의 디스플레이 사이즈가 획기적으로 대형화됨이 예상된다. 과거 QCIF, QVGA 크기의 디스플레이가 이제는 WQVGA, VGA, WVGA, 등으로 커져가고 있는 추세이다. 디스플레이 크기에 맞게 그래픽의 품질도 고급화가 되어야 하며, 이는 그래픽 처리를 보다 세밀하게 수행하게 하는 Shader 의 내장이 필수적이다.

⑥ 저전력 : 모든 모바일 기기의 공통된 사항으로서, 본 과제에서는 MPU, GPU의 고성능화와 저전력 소모가 달성된다. 높은 동작 주파수에 근거한 고성능 프로세서는 항상 전력소모와 Trade-off 관계에 있어, 모바일용 MPU 개발 시, 신중히 고려해야할 부분이다. 성능과 전력 소모란 기준에서 모두 이점을 담보하기 위해서는 모든 개발 단계에서 연구가 필요하지만, 공정 측면에서 90nm 공정 사용은 필수적이라고 판단되어 진다.

⑦ 소형화 : 모바일 기기는 항상 소형화의 과제를 푸는 방향으로 발전되어 왔다. 소형화라는 추세는 부품에서도 예외일 수 없기 때문에, MPU와 GPU 개발 시, 게이트 수와 메모리, 사용하는 공정, 패키지.등, 관계 되는 각 개발 단계에서 신중을 기해야 한다.

이상 본 발명자에 의해서 이루어진 발명을 상기 실시예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시예에 한정되는 것은 아니고 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.

도 1은 도 1은 ARM CPU를 기반으로 고성능의 동영상 압축, 복원을 위한 방법의 하나로서 video CODEC 예를 나타내는 도면,

도 2 및 도 3은 DMB 전용 칩 NEPTUNE에서 채택한 window memory access 방식과 이에 대한 성능 비교도.

도 4는 본 발명에 따른 전체 블력 구성도.

도 5는 ARM1176의 블록도,

도 6은 본 발명에 따른 Graphic Processor Unit, 즉 그래픽 가속기의 구조도,

도 7은 DMB 전용 AV decoder NEPTUNE에서 사용한 ARM920 기반의 버스 구조도,

도 8은 대부분의 동영상 압축, 복원의 처리 과정에서 수행되는 공통적인 부분을 나타내는도면,

도 9는 CODEC을 구현할 수 있는 방식의 예를 나타내는 도면,

도 10은 예측전 및 예측 후의 관계를 나타낸 도면,

도 11은 본 발명을 통해 개발된 FPGA의 구성도,

도 12는 MPU/IP/시스템을 기반으로 GPU를 Integration하는 작업이 수행을 나타낸 도면.

Claims (1)

1. 게임기용 MPU와 3D 그래픽 프로세서가 원칩으로 이루어진 것을 특징으로 하는 처리장치.

Images