KR101842108B1 - 실시간 상호작용이 가능한 확장형 다중 디스플레이 기반 4k 이상의 초고해상도 임베디드 시스템 - Google Patents

Abstract

본 발명은 실시간 상호작용이 가능한 확장형 다중 디스플레이 기반 4K 이상의 초고해상도 임베디드 시스템에 관한 것으로, 더욱 상세하게는 분산 처리를 통한 실시간 랜더러 개발 및 물리 기반의 조명 및 재질 적용으로 실사 수준의 렌더링 구현하도록 한 실시간 랜더러와, 4K 출력을 위한 Client 개발로 NVIDIA TK1 이상의 칩셋 및 TCP/IP를 활용하여 디코딩 성능 향상 및 실시간 영상 수신 기능을 가진 임베디드 기기로 구성된다.
본 발명에 따르면, 기존 다중 디스플레이 솔루션 대비 표현형태, 경제적 차별성, 솔루션 형태, 운영형태 등 네 가지 측면에 있어서 장점이 있으며, 또한 기술적 측면, 경제적·산업적 측면, 사회적 측면 등 세 가지 측면에서의 효과를 기대할 수 있다.

Description

실시간 상호작용이 가능한 확장형 다중 디스플레이 기반 4K 이상의 초고해상도 임베디드 시스템{MORE THAN 4K ULTRA-HIGH RESOLUTION EMBEDDED SYSTEM BASED ON EXTENDED MULTI-DISPALY AVAINLABLE FOR REAL-TIME INTERACTION}

본 발명은 실시간 상호작용이 가능한 확장형 다중 디스플레이 기반 4K 이상의 초고해상도 임베디드 시스템에 관한 것으로, 더욱 상세하게는 분산 처리를 통한 실시간 랜더러 개발 및 물리 기반의 조명 및 재질 적용으로 실사 수준의 렌더링 구현하도록 한 실시간 랜더러와, 4K 출력을 위한 Client 개발로 NVIDIA TK1 이상의 칩셋 및 TCP/IP를 활용하여 디코딩 성능 향상 및 실시간 영상 수신 기능을 가진 임베디드 기기로 구성된 새로운 방식의 실시간 상호작용이 가능한 확장형 다중 디스플레이 기반 4K 이상의 초고해상도 임베디드 시스템에 관한 것이다.

최근 도심 거리나 버스 정류장, 지하철 승강장, 그리고 백화점 전자매장에 옥외광고 디지털 사이니지 간판을 많이 볼 수 있고, 그 중에서 다수 대의 영상표시기기를 연결하고 하나의 영상을 확대시키거나 축소하여 화면에 디스플레이 할 수 있는 멀티비전은 멀티비전이 설치된 곳을 왕래하는 사람들로 하여금 흥미와 관심을 유발시키고 있으며, 최근 도심 거리나 버스 정류장, 지하철 승강장, 그리고 백화점 전자매장에 옥외광고 디지털 사이니지 간판을 많이 볼 수 있다.

멀티비전이란, 하나의 영상을 확대시키거나 축소할 수 있고 이것을 다수대의 영상표시기기 등 영상출력수단을 연결하여 디스플레이 하는 시스템을 말하며, 이와 같은 멀티비전 시스템은 최근 각광받는 디지털 사이니지용 스크린을 이용한 광고, 전시 홍보에 널리 사용되며 N-스크린 서비스와 같이 다양한 스크린 단말에서의 연동 서비스로서 활용될 수 있다.

또한, 기술적 제약이나 비용의 한계를 넘는 크기의 영상을 표현하기 위해서, 상기 제약 및 한계를 넘지 않는 크기의 영상표시장치들을 모아서 배치하고 전체 영상의 각 부분들을 분할한 뒤 각각의 장치를 통해서 표시하는 시스템이다.

도 1에 도시된 바와 같이, 멀티비전은 옥외광고를 표시하는 디지털 사이니지 서비스 형태나 멀티비전 감시 보안 관제 서비스 외에도 원격 멀티 화상 회의를 위한 멀티비전 시스템으로도 활용될 수 있으며, 최근에 고가의 디스플레이를 여러 대 연동하여 하나의 커다란 디스플레이로 활용할 수 있는 것은 디스플레이 가격이 과거 수년 전에 비해 많이 저렴해지고 이를 제어하는 중앙 통제 서버의 프로세싱 능력과 기술이 발전하여 시스템 비용이 절감될 수 있었기 때문이다.

이러한 멀티비전 시스템은 그 통제 제어 방식에 따라 구분할 수 있으며, 중앙제어식, 독립 제어식, 영상 분할 분배식으로 구분 할 수 있다.

도 2에 도시된 바와 같이, 첫 번째 중앙제어식은 영상 신호 공급부에서 영상 신호를 공급하면 멀티비전 제어부에서는 하나 이상의 영상표시기기가 n×n 형태로 배열되어 구성된 멀티비전의 각각의 영상 표시기기의 화면에 디스플레이가 될 수 있도록 하나 이상의 영상표시기기에 각각 연결되어 있은 형태이다.

상기의 첫 번째 중앙 제어식은 각 디스플레이마다 제어기가 달려 있지 않아 멀티비전 시스템의 규모가 커져 장소가 협소할 경우 장치의 설치가 비효율적이며, 제작비용이 많이 소요된다. 고해상도의 영상(1,920×1,080 pixel)을 초고해상도(3,840×2,160 pixel)의 최대 표시 해상도를 가진 대화면에 표시하게 되면, 상기 고해상도의 영상은 초고해상도에 대응되게 확대되어 영상표시기기에 표시됨에 따라 보간 등의 처리과정을 거쳐야 하고 이로 인해 영상의 품질과 선명도가 저하되는 문제점이 있다.

도 3에 도시된 바와 같이, 두 번째 독립제어식은 멀티비전 제어부를 거치지 않고 각 디스플레이 모듈이 독자적으로 자신의 부분 화면을 입력신호에서 추출 및 표시하여 전체화면을 구성하는 멀티비전 시스템으로서, 하나 이상의 디스플레이가 n×n 형태로 배열되어 구성된 멀티비전부에서는 확대 또는 축소 등의 기 설정된 영역만을 캡처하여 각기 내장된 분배기를 통해 다른 영상표시기기로 곧바로 출력된다.

상기 두 번째 독립 제어식은 중앙 제어식이 가지고 있는 초고해상도를 디스플레이 시에 고유의 영상 품질과 선명도가 저하될 수 있다. 전기적 영상 신호를 만들어 내는 장치 및 이를 분배하는 하드웨어 장치의 성능에 제약으로 유효한 전체화면 크기는 개별표시장치화면 크기의 십여 배 이내로 제한된다. 이 또한 시간 지연 방지에 대한 고려가 없기 때문에 네트워크 통신 중에 발생하는 시간 지연 등으로 영상 불일치가 발생 할 수 있는 문제점이 있다.

도 4에 도시된 바와 같이 세 번째 방식은 영상 분할 분배식으로 좀 더 세부적으로 구성되며, 영상 전송 모듈로 분할 생성 공급하는데, 그 이유는 디코딩이 필요한 영상신호는 제어부를 거쳐 스위칭부로 전달되고 디코딩이 필요 없는 영상 신호는 스위칭부로 직접 전달되어 각 연결 슬롯들을 거쳐 영상 신호 처리기가 내장된 각 영상전송 모듈들로 전송되는 구조를 가지기 때문이다. 이때, 하나 이상의 디스플레이기가 n×n 형태로 배열되어 구성된 멀티비전부는 영상 신호 공급부 출력 규격과 멀티비전부로 입력되는 규격이 서로 상이한 경우 전송을 위해 컨버터를 사용하기도 한다.

상기 세 번째 영상 분할 분배식은 유선 케이블이 n×n으로 연결됨으로 멀티비전 시스템의 규모가 커지면 장치 설치가 비효율적이며 각 셋톱박스의 내부 지연 요소들과 영상 신호 공급부와 셋톱박스 간의 네트워크 통신 중에 발생하는 시간 지연 등에 대한 고려가 없으므로 영상의 불일치가 발생할 수 있는 문제점이 있다.

한편, 디스플레이는 인간의 눈을 통해 다양한 정보를 전달하는 영상표시 장치로서 일반적으로 빛을 활용하여 정보를 전달하는 장치들로 지칭한다. 최근 도심 거리나 버스 정류장, 지하철 승강장, 그리고 백화점 전자매장에 옥외광고 디지털 사이니지 간판을 많이 볼 수 있으나 이러한 멀티비전을 구축하기 위해서는 여러 제약이 있으며, 고가의 장비가 필요한 실정이다.

도 5에 도시된 바와 같이, 본격적인 디스플레이 기술이라 할 수 있는 음극선관(Cathod ray tuba : CRT)에서부터 가장 흔하게 볼 수 있는 액정디스플레이(Liquid crystal display : LCD)와 최근에는 3D 및 플랙서블 디스플레이 기술까지 발전해왔다.

그리고, TV 방송 시청과 더불어 인터넷, 개인 미디어 기기들을 통한 영상 콘텐츠의 소비가 지속적으로 증가하고 있고, 특히 영상기기 및 영상데이터의 저장/전송 기술의 발전으로 인해 고화질 영상의 획득 및 저장이 용이해 지면서 소비 또한 많이 늘어나고 있다.

또한, 실감성과 몰입감을 제공하는 고품질의 고해상도 콘텐츠에 대한 수요가 날로 증가하고 있으며, 응용 분야는 방송은 물론 영화와 디지털 사이니지 분야까지 확대되고 있는 추세이며, 일반적으로 고해상도라고 하면 4K(3,840×2,160 혹은 4,096×2,160) 이상의 해상도를 말하고, 머지않은 장래에 8K(7,680×4,320 혹은 8,192×4,320) 해상도를 지원하는 각종 제품들이 출시될 것으로 예상된다.

한편, 제작 시스템은 프로젝트 단위로 콘텐츠와 화면 설정을 관리하는 프로젝트 매니저, 디스플레이 장치를 통해 출력될 콘텐츠의 스케줄을 관리하는 스케줄러, 콘텐츠를 저장하고 데이터베이스를 관리하는 콘텐츠 매니저, 화면의 출력 레이아웃을 설정하고 편집할 수 있는 디스플레이 레이아웃, 단말 장치의 현재 상태와 네트워크 상태를 감시 할 수 있는 모니터링, 그리고 인코더를 구동할 수 있는 인코딩 모듈로 구성된다.

이러한 고해상도 다중 디스플레이 서비스를 제공하기 위한 주요 기술은 CUDA를 이용한 고해상도의 콘텐츠를 제작, 획득하는 기술 및 콘텐츠를 압축/복원하는 코덱 기술, 콘텐츠를 재현할 수 있는 고해상도 디스플레이 장치 기술, 콘텐츠를 관리, 재생하는 기술 및 콘텐츠를 분배, 전송하는 네트워크 기술 등이 필요하다.

도 6에 도시된 바와 같이, CUDA ("Compute Unified Device Architecture", 쿠다)는 그래픽 처리 장치(GPU)에서 수행하는 (병렬 처리) 알고리즘을 C 프로그래밍 언어를 비롯한 산업 표준 언어를 사용하여 작성하는 GPGPU 기술로서, CUDA는 엔비디아가 개발해오고 있으며 이 아키텍처를 사용하려면 엔비디아 GPU와 특별한 스트림 처리 드라이버가 필요하며, CUDA는 G8X GPU로 구성된 지포스 8 시리즈급 이상에서 동작하고, CUDA는 CUDA GPU 안의 명령셋과 대용량 병렬 처리 메모리에 접근할 수 있도록 한다.

CUDA의 가장 큰 장점은 개발자가 보다 쉽고 직관적으로 GPU를 프로그래밍 할 수 있도록 확장된 형태의 C언어를 지원한다는 것이며, 그렇기 때문에 C언어에 익숙한 개발자라면 GPGPU 프로그래밍을 위해 따로 쉐이딩 언어를 익힐 필요가 없다.

그리고, CUDA는 병렬 연산을 위한 프로그래밍 단위로 커널(kernel), 그리드(grid), 블록(block) 및 스레드(thread)를 제공하며, 이 중 스레드는 연산이 병렬 처리되는 기본단위이다. 블록은 서로 의사소통이 가능한 스레드들의 집합이며, 같은 커널을 실행시키는 블록들이 모여서 그리드를 이루고, 커널은 병렬 처리해야 할 연산을 담은 함수로서, GPU가 호출하는 기본적인 프로그램을 담고 있는 단위이다.

CUDA의 큰 특징은 공유 메모리(shared memory)의 사용에 있으며, 이 공유 메모리는 온칩(On-chip) 메모리로서 로컬 메모리나 글로벌 메모리 같은 장치 메모리(device memory)에 접근하는 것보다 훨씬 빨리 접근할 수 있다. 공유 메모리는 동일 블록내의 스레드들이 공유하며, CUDA는 이 공유 메모리를 이용해 데이터 접근 시간을 단축시킴으로써 기존의 CPU 보다 연산을 더 빨리 처리할 수 있다.

한편, 도 7에 도시된 바와 같이, 디지털 사이니지는 네트워크로 원격 제어할 수 있는 디스플레이를 공공장소 및 상업공간에 설치해 정보·엔터테인먼트·광고 등을 전달하는 미디어로서, 디지털 사이니지를 TV·PC·휴대폰에 이어 제4의 스크린 미디어로 부르는 이유이며, 종이와 포스터로 일반 대중에게 전달하던 것을 IT로 구현한 것이며, 단순히 디지털 정보를 보여주는 디지털 정보 디스플레이(DID)가 아니라 소프트웨어, 하드웨어, 콘텐츠, 네트워크 기술 등 다양한 IT 기술과 융합되어 양방향 커뮤니케이션이 가능한 정보매체이다.

과거 디지털 사이니지 기반 콘텐츠의 대부분은 단순히 정보를 보여주는 형태였으나 IT 기술의 발달에 따라 사용자 상황에 맞는 정보, 3D 콘텐츠 혹은 양방향 서비스가 지원되는 지능화된 형태로 발전 중에 있다.

한편, 도 8에 도시된 바와 같이, 다양한 디지털 디스플레이를 통해 각종 콘텐츠와 메시지를 제공하는 옥·내외의 디지털 미디어로서 기능을 주로 하고 있으나 시간, 장소, 목적에 맞는 정보 및 서비스를 제공하는 형태로 변화하고 있으며, 아파트 또는 빌딩 등 건물 내부 엘리베이터, 지하철 역사, 버스 정류장, 주요 공공장소 등 유동인구가 많은 곳에 주로 설치되고 있고, 단방향의 콘텐츠 제공이 주를 이루나 사용자와 양방향으로 소통하는 형식으로 진화하고 있다.

현재 디지털 사이니지는 설치 장소에 따라 아웃도어형과 인도어형으로 분류되며, 노출 형태에 따라 단순 노출형(One Way)과 참여형(Interactive)으로 구분되어 지며, 도 9 및 도 10에 도시된 바와 같이 디지털 사이니지 기술이 현실에 적용되고 있다.

<기존 광고판과 디지털 사이니지의 비교>

구 분	기존 광고판	디지털 사이니지
콘텐츠 표현	텍스트, 그래픽	애니, 비디오, 인터렉티브 등
콘텐츠 소스	대부분 대기업, 사용자 개제	누구나 가능
멀티콘텐츠 사용	잘 사용되지 않으며 복잡함	어느 콘텐츠나 가능
업데이트 비용 및 주기	고가비용 발생, 10일 주기	저가, 수초 단위로 가능
콘텐츠 depth	콘텐츠에 맞춤	무한함
이용자 분석	수동	자동
사용자 상호작용	가끔 모바일 가능	터치, 제스처, 모바일, 웹 등

<디지털 사이니지의 특성>

특성	내 용
모바일·웹 연동	·유무선 네트워크 기술을 이용하기 때문에 장소에 구애받지 않고, 대중매체와 개인 미디어의 기능을 모두 수행할 수 있음. ·스마트폰이 대중화되면서 페이스북 트위터 등 SNS를 비롯한 모바일 서비스 웹과 연동할 수 있어 시너지가 증가하고 있음
인터렉션	·단순한 광고판이 아니라 근거리 무선통신(NFC)등을 이용할 경우 쌍방향 커뮤니케이션 가능. ·터치스크린 등 디스플레이 기술이 발전하면서 사용자와 터치, 제스처 등 컨텐츠 자체의 인터렉션이 강화되고 있음.
개인화	·애니메이션, 비디오, 상호작용 IT 기술 등을 통해 컨텐츠를 표현하기 때문에 날씨 등 생활 밀착형 정보부터 뉴스, 열차 시간표와 같은 웹 정보까지 기존의 컨텐츠보다 유연. ·RIFD와 안면 인식기술 등 소비자 인식 기술이 적용되는 흐름이 강세이며, 친밀하고 개인화된 컨텐츠와 서비스 모델이 증가하고 있음
융합	·디지털 사이니지용 100인치 이상 디스플레이를 주로 생산하고 있어 대형화된 풀 HD 이상의 해상도로 구축되기 때문에 고해상도의 대용량 컨텐츠 사용가능 ·단일화면 뿐 아니라 여러 개의 스크린을 연결한 멀티비전으로도 활용 가능
효과측정	·기존과 달리 업데이트 주기가 수초 단위이며, 이용자도 자동으로 분석할 수 있음
요약	·디지털 사이니지는 초기 광고·마케팅 미디어에서 정보제공, 공공서비스 엔터테인먼트 등 종합 서비스 미디어로 진화하며 신사업영역을 창출하는 융합정보 광고서비스 시스템

다음으로, 도 11에 도시된 바와 같이, 임베디드 시스템이란 군사, 산업기기, 통신장비, 가전기기, 자동차 전용기기 등 다양한 응용에 사용될 수 있는 다른 시스템에 포함되는 부분 시스템(단일 제품이 아닌)으로, 급격히 증가하는 기능 및 구성의 복잡도를 줄이고 중복활용이 가능하여 개발기간 단축이 용이한 유연한 구조를 갖춘 하드웨어 및 소프트웨어가 결합된 플랫폼이라 정의할 수 있으며, 시스템은 크게 임베디드 운영체제, 미들웨어, 보안시스템, 기본/공통 응용 소프트웨어 및 개발도구 등으로 구성된다.

도 12에 도시된 바와 같이, 현재 우리가 일상생활에서 사용하는 각종전자기기나 정보 기기의 거의 대부분이 임베디드 시스템이다. 예를 들어, 전기밥솥은 임베디드 시스템의 예로서 좋은 사례로, 밥솥을 사용할 때, 밥짓기 모드(최근에는 현미 모드, 신속 밥짓기 모드 등)를 선택하고 스타트 버튼을 눌러 조작을 하며, 조작의 순서나 모드의 판별, 모드별 온도나 시간 제어는 밥솥에 “내장된(Embedded)”전용 시스템이 하고 있다.

도 13에 도시된 바와 같이, 임베디드 시스템의 구성은 대표적인 분야로 다양한 시스템을 지원하는 운영체제와 센서 네트워크를 위한 초소형 운영체제, 대부분의 임베디드 시스템에서 공동으로 사용할 수 있는 그래픽 시스템, 플래시 메모리 파일시스템과 데이터베이스 관리시스템(DBMS), 멀티칩 지원 기술 등을 포함한다.

한편, 임베디드 소프트웨어(Embedded Software)란, 개인용 컴퓨터 이외 전자 기기의 임베디드 시스템에 내장(embedded)되어 제품에 요구되는 특정한 기능을 구현할 수 있도록 하는 소프트웨어를 말하며, 일상에서 쉽게 접하는 휴대폰, 텔레비전, 세탁기, 엘리베이터 등의 제품 안에 내장된 시스템에서 하드웨어를 제외한 나머지 부분이라고 말할 수 있다. 임베디드 소프트웨어에는 임베디드 운영체제(OS), 미들웨어, 응용 프로그램, 소프트웨어 개발 도구 등이 포함되며, 임베디드 OS로는 팜 운영체제(PalmOS), 마이크로소프트사의 WinCE, 오픈 소스 기반의 임베디드 리눅스 등이 있다.

한편, 임베디드 운영체제(OS, Operating System)란, 컴퓨터의 하드웨어와 소프트웨어를 제어하여, 사용자가 컴퓨터를 쓸 수 있게 만들어주는 프로그램을 말하며, 이 프로그램은 하드웨어와 응용프로그램간의 인터페이스 역할을 하면서 CPU, 주 기억장치, 입출력장치 등의 컴퓨터 자원을 관리한다. 즉, 인간과 컴퓨터간의 상호작용을 제공함과 동시에 컴퓨터의 동작을 구동(booting)하고 작업의 순서를 정하며 입출력 연산을 제어하며, 또 프로그램의 실행을 제어하며 데이터와 파일의 저장을 관리하는 기능을 한다.

한편, 실시간 운영체제(RTOS, Real Time Operating System)란, RTOS는 임베디드 시스템이 가지는 특성 중 실시간적인 요소를 충족하기 위해서 나온 운영체제라고 할 수 있다. 즉 RTOS는 임베디드 시스템의 근간이 되는 운영체제이며, 일반 운영체제들이 수행하는 데스크 스케줄링, 데스크간의 통신, 메모리 관리, I/O, 인터럽트 등 이러한 요소들을 RTOS도 같이 지원한다. 일반 OS와 차이점을 두자면 시간제약에 차이, 신뢰성, 범용성과 특수성 정도이며, 예를 들어, 윈도우 운영체제에서 어떤 프로그램을 실행하였는데 어느 때는 빨리 실행되고, 어느 때는 늦게 실행된다고 해서 큰 문제될 것은 없다.

혹, 수행하는 프로그램이 잘못 수행되어 시스템이 다운되는 경우가 발생할 수도 있으며, RTOS 환경 하에서 실행되는 작업들은 정해진 시간이 큰 문제가 될 수 있다. 그 시스템이 응답이 없거나 다운되면, 그 피해는 막심함에 따라 임베디드 시스템이 가지는 정해진 시간 내에 수행하는 능력, 신뢰성은 일반 OS보다 가혹하게 지켜져야 하는 규약과도 같다. 또한, 일반 운영체제(예를 들어 리눅스, 유닉스, 윈도우)들은 PC환경에서 여러 가지 작업들을 수행할 수 있으나, RTOS는 작업환경이 임베디드 시스템으로 제한을 받으며, 그 시스템 또한 보통 한 가지 목적으로 개발되어 있으며, RTOS 역시 그 한 가지 목적을 위해 최적화되어 있다.

한편, 커널(Kernel)이란, 운영체제(OS) 중 가장 집중적으로 사용되는 부분으로서, 주 기억 장치에 상주하며, 시스템의 초기화와 끼어들기를 처리하기 위한 특별한 프로세스들과 프로세스 모니터로 구성되고, 프로세스들 사이의 환경 교환과 새 프로세스를 생성해 내는 모듈도 포함한다. 또한, 데이터베이스 관리 시스템(DBMS)에서 자료보안에 필요한 부호들을 따로 모아 둠으로써 자료 보안을 단순화하는 부분이며, 커널의 HAL(Hardware Abstraction Layer)은 다양한 하드웨어를 운영체제가 관리하기 위해 추상화하여 제공하는 계층이다.

한편, 미들웨어(Middleware)란, 좁은 범위로는 한 기업에 설치된 다양한 하드웨어, 네트워크 프로토콜, 응용프로그램, 근거리통신망 환경, PC 환경 및 운영체제의 차이를 메워주는 소프트웨어를 말한다. 즉, 복잡한 환경에서 응용 프로그램과 운영환경 간에 원만한 통신을 이룰 수 있게 해주는 소프트웨어로서, 기존에 구축된 독립적인 다른 기종의 시스템들을 하나의 네트워크로 연결하고자 하는 SI(System Integration)기법이 등장하면서 기존의 집중식 컴퓨팅은 급격히 분산 컴퓨팅(distributed computing)으로 변화하였다.

분산 컴퓨팅은 초고속정보통신망 등 통신망의 구축이 확산됨에 따라 그 중요성이 부각되고 있지만, 이를 실현하기 위해서는 서로 다른 운영체제와 서버 프로그램과의 호환성뿐만 아니라 이종의 통신 프로토콜을 사용하는 네트워크 간의 접속, 네트워크 자원에 대한 접근, 그리고 시스템을 연결해 단일한 사용자 환경으로 만들어 주는 것이 필수적이며, 이처럼 분산 컴퓨팅 환경을 구축하는데 발생하는 여러 문제점들을 해결하기 위해 등장한 소프트웨어가 미들웨어이다.

임베디드 시스템의 특징은 실시간 처리 지원, 높은 신뢰성, 최적화 기술 지원, 특정 시스템 전용, 네트워크 및 멀티미디어 처리 기능 지원, 다양한 솔루션과 개발 도구 등이 있으며, 각 특징에 대한 구체적인 내용은 아래와 같다.

먼저, 실시간 처리 지원이란, 실시간 처리가 지원되지 않으면 큰 손실이나 위험을 초래할 수 있는 비행제어 시스템 및 항법 시스템 등에서 실시간 처리를 지원한다.

다음으로, 높은 신뢰성이란, 원자력 발전, 항공기 및 미사일 제어 등과 같은 S/W 오작동이나 불시의 작동 중지 등으로 심각한 결과를 초래할 수 있는 시스템에서 고도의 신뢰성을 가진다.

다음으로, 최적화 기술 지원이란, 임베디드 시스템은 크기, 가격 및 발열 등을 이유로 제한된 H/W 자원으로 구성되기 때문에 임베디드 S/W는 경량화, 저전력 지원, 자원의 효율적 관리 등의 측면에서 H/W에 최적화되는 기술을 지원한다.

다음으로, 특정 시스템 전용이란, 범용 데스크탑 또는 서버에서 실행되는 패키지 S/W와는 달리 특정 시스템의 실행을 목적으로 개발되는 S/W이다.

다음으로, 네트워크 및 멀티미디어 처리 기능 지원이란, 임베디드 시스템들이 단독형 시스템뿐만 아니라 유무선 네트워크를 통해 연결될 수 있어야 하고, 멀티미디어 정보를 처리하는 기술이 필요한 디지털 TV, PDA, 및 스마트폰 등과 같은 임베디드 시스템을 지원한다.

마지막으로, 다양한 솔루션과 개발 도구란, 다양한 기종과 규격의 마이크로프로세서에 최적화된 별도의 솔루션이 동시에 제공되어야 하며, 고난도의 임베디드 S/W application을 빠르고 안정되게 개발할 수 있다.

그러나 이러한 멀티비전을 구축하기 위해서는 여러 가지 제약이 있으며, 고가의 장비가 필요한 실정이며, 위에 언급한 현재 멀티비전을 구현하는 방식들의 장점을 흡수하고 단점을 보완하는 연구 및 시스템 개발의 필요성이 증대하고 있다.

등록특허 10-0881459 공개특허 10-2014-0134536 공개특허 10-2014-0050522 등록특허 10-1122104 공개특허 10-2012-0018864 등록특허 10-1443327

본 발명은 실시간 상호작용이 가능한 확장형 다중 디스플레이 기반 4K 이상의 초고해상도 임베디드 시스템에 관한 것으로, 더욱 상세하게는 분산 처리를 통한 실시간 랜더러 개발 및 물리 기반의 조명 및 재질 적용으로 실사 수준의 렌더링 구현하도록 한 실시간 랜더러와, 4K 출력을 위한 Client 개발로 NVIDIA TK1 이상의 칩셋 및 TCP/IP를 활용하여 디코딩 성능 향상 및 실시간 영상 수신 기능을 가진 임베디드 기기로 구성된 새로운 방식의 실시간 상호작용이 가능한 확장형 다중 디스플레이 기반 4K 이상의 초고해상도 임베디드 시스템를 제공하는 것을 목적으로 한다.

본 발명의 바람직한 일실시예에 따르면, 분산 처리를 통한 실시간 랜더러 개발 및 물리 기반의 조명 및 재질 적용으로 실사 수준의 렌더링 구현하도록 한 실시간 랜더러와, 4K 출력을 위한 Client 개발로 NVIDIA TK1 이상의 칩셋 및 TCP/IP를 활용하여 디코딩 성능 향상 및 실시간 영상 수신 기능을 가진 임베디드 기기로 구성된 임베디드 시스템에 있어서, 다중디스플레이 서버(100); 분산 렌더러(200); 미디어플레이어 클라이언트(300); 하드웨어(400); 테스트 모듈(500);을 포함하여 구성된 것을 특징으로 한다.

본 발명의 다른 실시예에 따르면, 상기 다중디스플레이 서버(100)는 미디어플레이어 클라이언트와 다중디스플레이 서버와의 통신을 위한 프로토콜 및 스트리밍 전송 모듈을 포함하며, 구체적으로 스트리밍 전송 모듈 및 최적화, 미디어클라이언트 동기화를 위한 모듈, 사용자 입력에 대한 상호작용의 처리를 위한 데이터 수신 및 처리 모듈을 포함하는 것을 특징으로 한다.

본 발명의 다른 실시예에 따르면, 상기 분산 렌더러(200)는 3D 오브젝트 가시화를 위한 오브젝트 로더 및 OpenGL 기반 가시화 엔진을 포함하여 구성되며, 구체적으로 분산 렌더링을 위한 OpenGL 기반 가시화 엔진 및 스트리밍 전송을 위한 영상 인코더를 포함하여 구성되는 것을 특징으로 한다.

본 발명의 다른 실시예에 따르면, 상기 미디어플레이어 클라이언트(300)는 임베디드 시스템에서 최적화된 미디어플레이어 모듈 및 다중디스플레이 서버에서 전송된 스트리밍 미디어 수신 모듈을 포함하며, 구체적으로 다중디스플레이어 서버에서 전송된 스트리밍 미디어 수신 모듈 최적화 및 사용자 입력에 대한 정보를 전송하기 위한 상호작용 송신 모듈, 스트리밍으로 수신된 미디어 플레이어를 포함하여 구성되는 것을 특징으로 한다.

본 발명의 다른 실시예에 따르면, 상기 하드웨어(400)는 미디어플레이어 클라이언트를 위한 임베디드 기기로 구성되는 것을 특징으로 한다.

본 발명의 다른 실시예에 따르면, 상기 테스트 모듈(500)는 안정화 테스트를 시험하기 위한 시뮬레이션 모듈로서, 상기 다중디스플레이 서버, 분산 렌더러, 미디어플레이어 클라이언트를 성능 지표에 맞게 통합 테스트 수행 및 안정화 작업을 실시하는 것을 특징으로 한다.

한편 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있으며, 특정 실시예들은 상세한 설명에서 구체적으로 설명한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해서 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

또한 본 발명에서 사용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, “포함하다”또는 “가지다” 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 발명에 따른 실시간 상호작용이 가능한 확장형 다중 디스플레이 기반 4K 이상의 초고해상도 임베디드 시스템은 기존 다중 디스플레이 솔루션 대비 표현형태, 경제적 차별성, 솔루션 형태, 운영형태 등 네 가지 측면에 있어서 아래와 같은 장점이 있다.

첫째, 표현형태에 있어서, 기존 솔루션은 4K UHD영상 표출 어렵고 비정형 또는 Artistic Lay-out 구현이 어려운 문제점이 있으나, 본 발명은 실시간으로 4K UHD영상을 자유롭게 구현이 가능하며 디스플레이의 배열 방식, 혼용된 사이즈, 회전 등 모두 지원 가능하다.

둘째, 경제적 차별성에 있어서, 기존 솔루션은 디스플레이 추가, 교체가 어려우며 많은 비용이 발생하는 문제점이 있으나, 본 발명은 적은 비용으로 디스플레이 추가 및 교체가 용이한 장점이 있다.

셋째, 솔루션 형태에 있어서, 기존 솔루션은 운용 콘텐츠포맷이 제한되고(동영상 위주), 제작된 콘텐츠를 단순 송출하는 H/W인 반면, 본 발명은 자체 렌더팜을 이용하여 다양한 콘텐츠영상의 제공이 가능하며 최적화 된 S/W와 H/W를 함께 제공하는 통합 솔루션인 차이점이 있다.

넷째, 운영형태에 있어서, 기존 솔루션은 일방적인 콘텐츠제공, 디스플레이와 운영 서버간 거리가 제한되는 문제점이 있으나, 본 발명은 상호 작용을 통하여 맞춤 콘텐츠 제공이 가능하며 디스플레이와 운영 서버 간 거리 제약이 없는 장점이 있다.

한편, 본 발명은 아래와 같이 기술적 측면, 경제적·산업적 측면, 사회적 측면 등 세 가지 측면에서의 효과를 기대할 수 있다.

<기술적 측면>

디지털 사이니지(Digital Signage)는 네트워크와 연결된 디스플레이(키오스크ㆍ패널ㆍ건물외벽ㆍ홀로그램 등)로 옥내외 대중공간에서 광고를 포함한 각종 정보를 보여주는 디지털 미디어이며, 현재 디지털 사이니지는, IT·콘텐츠 기술과의 융합을 통해 양방향 커뮤니케이션이 가능한 매체로 한 단계 업그레이드, 즉 시간·장소·목적 등 사용자 상황에 맞는 정보와 서비스를 제공 하고 있으나, 앞으로의 디지털 사이니지는 여러 스마트기술을 접목하여 새로운 방향으로 진화하고 있다.

즉, 각종 센서 및 인식 기술, 다른 시스템과의 연동 등을 적용해 시청자와의 인터랙션이 강화됨으로써 새로운 서비스를 유도하는 양방향화, 터치·모션·무게·온도 등 센싱, RFID·QR코드·바코드 연동 등 요소 기술, 패밀리 레스토랑에서 고객이 테이블에 설치된 터치스크린을 통해 구성품·토핑·소스·크기 등을 여러 번 시험 결합해보며 자동 주문하는 상황이 예상 적용될 수 있다.

그리고, 독립적으로 운영되던 사이니지가 점차 유무선 통신을 통해 사람-휴 대기기-웹-자동차 등 여러 외부객체와 연결되는 네트워크화, 3G·4G, WiFi, Bluetooth 등 다양한 통신망 이용하는 요소 기술, 클라우드 컴퓨팅이 활성화되면, 극단적으로는 디지털 사이니지가 하나의 플랫폼 역할을 할 수도 있으며, 즉 스마트폰·개인PC 없이도 사이니지가 설치된 어느 곳에서든 이들 기기 역할 가능한 상황이 예상 적용될 수 있다.

그리고, 시청자의 반응·성향 등 개인에 대한 분석뿐만 아니라 네트워크를 통해 주변 상황을 인지하고 이를 반영할 수 있게 되는 상황인지, 각종 센싱, 안면·음성 등 생체인식, 행동인식 및 패턴분석, 인공지능이 지원되는 요소 기술, 수상한 행동을 하는 사람·차량 감지(예 : 미국 보스턴 마라톤 테러 용의자 검거에 기여), 지하철 이상 행동자를 감별해냄으로써 선제 대응 가능한 상황이 예상 적용될 수 있다.

그리고, 사이니지는 1차적으로 불특정 다수가 대상이지만, 한편으로 양방향화·네트워크화 등으로 정보 수집·분석이 용이해지면서 각종 개인 맞춤형 서비스가 가능해지는 개인화, 쇼핑몰에 설치된 사이니지가 스마트폰을 통해 고객을 식별한 후 구매성향·과거 웹검색 키워드에 기반해 추천상품·할인쿠폰 등의 정보를 고객의 폰으로 자동전송하며, 사이니지가 개인 또는 군중의 특성을 인지 맞춤형 광고투시하는 상황이 예상 적용될 수 있다.

그리고, 사각형·평면 위주의 디스플레이 패널이 점차 형태·크기·소재 면에서 다양화, 또한 초고화질, 홀로그램, 가상·증강현실, 오감기술 등의 활용으로 실제 환경과 같거나 증강된 환경을 구현해 이용자의 몰입감 극대화하는 실감화, 투명·반투명·신축성·곡면형 패널, 멀티터치스크린, 레이저 광원 등 다양한 디스플레이 소재를 요소 기술로 하여, 미술관·박물관에서 인공지능을 갖춘, 사람형태의 홀로그램이 도슨트(Docent, 전시를 설명하는 안내인)역활을 하며 정보 제공 및 관람객과 대화, 고객이 광고를 지나 때 향수가 뿌려지는 실감형 사이니지 상황이 예상 적용될 수 있다.

이와 같은 디지털 사이니지의 발전방향에 맞추어 본 발명에 따른 솔루션을 통해 앞으로의 디지털 사이니지의 표본이 될 것으로 기대할 수 있다.

<경제적·산업적 측면>

디지털 사이니지는 ① 디스플레이 및 각종 제어를 위한 하드웨어(HW), ② 이를 구동하는 소프트웨어(SW)와 솔루션, ③ 단방·양방 통신을 가능케 하는 네트워크, ④ 이들을 아우르는 시스템통합, ⑤ 광고를 포함해 내용이 되는 콘텐츠 등 5개 산업이 융합되어 구현됨에 따라 다면적 융복합 특성으로 경제적으로 막대한 유발 효과를 가지고 있다.

그리고, 산업조직 면에서는, 수직 계열화된 산업구조보다는 여러 산업에 걸친 대기업·대기업 계열사·중소기업들이 수평적 융합 산업 생태계를 구성하며, 제품화 과정상 디지털 사이니지가 형태·기능 등 개별 수요에 맞춰 다양하게 구축되기 때문에, 각 필요에 따른 시장 참여자들 간 직거래 및 협업이 가능하다.

그리고, 디지털 사이니지 산업 10억원 생산 증가가 타 산업에서 유발하는 간접생산액은 24억4,000만원으로, 직간접 총 생산유발액이 34억4,000만원에 달하며, 전 산업에 미치는 생산유발효과는 1차금속 40.7억원, 화학 37.0억원, 운송장비 36.9억원, 전기·전자 36.7억원, 정밀 33.1억원, 섬유 31.9억원, 석유 30.1억원, 건설 29.5억원, 통신·방송 23.9억원, 부동산·사업서비스업 18억원에 이른다.

고용 역시 디지털 사이니지 산업에서 직접적으로 2.9명, 타산업에서 간접적으로 9.6명 등 총 12.5명의 일자리를 유발하며(10억원 생산당 취업유발인원 기준), 특히 직접효과에 대한 간접효과의 비율인 간접유발률이 3.3배에 달해 높은 파급영향을 보여준다.

<사회적 측면>

디지털 사이니즈의 발전으로 사회적 경제활동 비용이 절약되며, 친환경적 도구를 사용함에 따라 환경오염이 감소될 수 있으며 정보를 디지털화 하여 제공하므로 간판의 크기가 작아져 이를 통해 쾌적한 문화적 도시환경을 조성할 수 있으며, 즉시적인 정보 제공이 가능하여 대국민 홍보나 재난으로부터 국민을 보호할 수 있는 안전 시설물로서의 역할이 가능하다.

하나의 패널에 여러 정보를 담을 수 있어 불필요한 사인시설물의 수를 줄이고 미디어 아트 등의 제공을 통해 세련된 도시미관을 조성할 수 있는 환경 개선의 역할 또한 가능하며, 지하철, 공항, 버스 등의 정보안내판은 자체적인 효용성 외에도 실시간으로 정보를 통제할 수 있어 위기 상황에서 재난 경보시스템으로 활용이 가능하다.

또한, 기존 간판을 정비하고 새롭게 설치한 미디어폴과 미디어파사드 등의 디지털 시설물은 도시환경을 보다 세련되게 하고 소비자의 문화적 체험을 유도할 수 있다는 점에서 사회적으로도 큰 의미가 있다.

도 1은 종래의 멀티비전 기술을 설명하기 위한 참고도,
도 2는 중앙제어식 멀티비전을 설명하기 위한 참고도,
도 3은 독립 제어식 멀티비전을 설명하기 위한 참고도,
도 4는 영상 분할 분배식 멀티비전을 설명하기 위한 참고도,
도 5는 디스플레이 기술의 변천 과정을 설명하기 위한 참고도,
도 6은 CUDA 처리 흐름을 설명하기 위한 참고도,
도 7은 디지털 사이니지의 정의를 설명하기 위한 참고도,
도 8은 각 시대에 따른 사이니지의 발전 흐름을 설명하기 위한 참고도,
도 9는 서울역 미디어 파사드(아웃도어형)를 나타내는 참고도,
도 10은 서울 지하철 행선 안내기(인도어형)를 나타내는 참고도,
도 11은 임베디드 시스템 개념을 설명하기 위한 참고도,
도 12는 전기밥솥 임베디드 시스템 활용을 나타내는 참고도,
도 13은 임베디드 시스템 구성요소를 설명하기 위한 참고도,
도 14는 기존의 다중 디스플레이 시스템의 한계점을 나타내는 참고도,
도 15는 프로젝터의 문제점을 설명하기 위한 참고도,
도 16은 LED 전광판의 문제점을 설명하기 위한 참고도,
도 17 및 도 18은 은 CUDA 프로세서를 활용한 병렬화 기술을 설명하기 위한 참고도,
도 19 내지 도 22는 OpenGL을 활용한 3D Graphics 가시화 기술을 설명하기 위한 참고도,
도 23 및 도 24는 본 발명의 일실시예에 따른 임베디드 시스템을 나타내는 참고도,
도 25는 본 발명을 사업화하기 위한 추진전략을 설명하는 참고도,
도 26 및 도 27은 본 발명의 사업화 추진전략을 설명하기 위한 순서도,
도 28 및 도 29는 본 발명의 사업화 사례를 설명하기 위한 참고도이다.

이하에서는, 첨부된 도면을 참조하여 본 발명을 상세하게 설명하기로 한다.

도 14 내지 도 16을 참조하면, 기존에는 디스플레이 장치에 영상을 띄우기 위해서 프로젝터나 LED전광판을 사용하였으나, 아래와 같은 여러 가지 문제점이 있다.

먼저, 프로젝터는 빛에 약하여 밝은 실내나 야외 등에서는 영상표현이 약화되며, 액정과 필터청소 등 세부적인 관리가 지속적으로 필요하여 관리의 번거로움이 있으며, 열화현상으로 인한 성능저하 및 영상의 불균형 발생함에 따라 프로젝터의 수명이 짧고, 프로젝터를 이용하기 위해서는 투사거리 이상 유지가 필요함에 따라 넓은 설치 공간이 요구되어진다.

다음으로, LED 전광판은 낮은 해상도로 인해 고해상도 표현이 제한적이며 고해상도 콘텐츠이용 불가능하고, 가시거리가 존재하여 요구되는 가시거리보다 가까운 곳에서는 해상도가 현저히 낮으며, 높은 초기비용으로 인해 LED 전광판 구축 시 많은 비용이 발생한다.

본 발명은 위와 같은 기존의 다중 디스플레이 기술이 갖고 있는 문제점을 개선하고, 프로젝터 및 LED 전광판의 단점을 보완할 수 있는 초고해상도 다중 디스플레이 솔루션을 제공한다.

물을 시뮬레이션 하기 위해서는 많은 수의 입자들을 계산해야 하는데 많은 수의 입자들의 계산을 GPU를 이용하여 병렬화할 수 있다. 이러한 병렬화 기술은 본 과제에서 고품질 렌더링을 위해 필요한 기반기술로서, 본 발명에 의한 고품질 렌더링은 많은 수의 광선을 추적하여 영상을 만들게 되는데 이때 광선을 추적하는데 있어서 많은 양의 계산이 필요하게 된다. 상기 병렬화 기술을 이용하여 많은 양의 광선 추적 계산을 고속화할 수 있게 된다.

도 19 내지 도 22를 참조하면, SPH로 계산된 많은 양의 입자들을 OpenGL을 이용하여 실시간으로 가시화 하는 기술이 나타나 있으며, 많은 양의 입자들을 실시간으로 가시화 하기 위해서 OpenGL의 Shader를 이용하여 고속화 하여야 한다.

상기 OpenGL을 이용한 가시화와 Shader 기술은 본 발명의 기반이 되는 기술로서, OpenGL은 범용 그래픽 라이브러리로 임베디드 시스템에 가장 적합한 그래픽 라이브러리이며, 또한 Shader 기술은 본 과제에서 하고자 하는 고품질 렌더링을 고속화하기 위한 기반 기술이다.

한편, 본 발명에 따르면, 클라우드 서비스가 기반이 되는 임베디드 기기(CUDA)와 다중 디스플레이를 위한 S/W(인코더, 디코더, 랜더러)를 지원하며, 또한 실시간 랜더링 및 상호작용이 가능한 다중 디스플레이 기반 초고해상도 임베디드 솔루션을 제공하게 된다.

그리고, 본 발명에 따른 S/W의 싱크 프로그램을 통해 초고해상도 영상을 상영 시에 영상 불일치가 발생하지 않고, CUDA GPGPU가 내장된 임베디드 기기를 통해 여타 프로그램보다 빠른 연산속도가 가능하여 실시간 렌더링 및 상호작용이 가능하여 소비자가 실시간으로 제품에 대한 이미지와 정보를 볼 수 있다.

그리고, 멀티비전을 구축하기 위해서는 디스플레이를 제외하고도 고가의 장비들로 구성되기 때문에 예산이 많이 소요되지만, 본 발명에 따른 시스템은 디스플레이에 장착하는 임베디드 기기와 네트워크를 연결해주는 허브만으로 구축이 가능하여 적은 비용으로 멀티비전 구축이 가능하여 실시간 랜더링 및 상호작용이 가능한 다중 디스플레이 기반 초고해상도 임베디드 시스템을 제공할 수 있다.

이때, 렌더링의 FPS의 퀄리티는 크게 오브젝트의 수, 출력 해상도의 크기 등으로 좌우되며, 오브젝트는 정점(Vertex)과 삼각망(Polygon)으로 구성되는데 고화질 렌더링에서 중요시 되는 것은 단순히 많은 숫자의 오브젝트 보다는 1개의 모델을 좀 더 현실적으로 표현하는 것이 중요하고, 그에 따라 좀 더 현실적인 렌더링 및 본 과제가 목표로 하는 렌더링을 위한 스펙을 삼각망의 개수로 기준을 설정하였다.

이때, Streaming Server 는서 버 시스템을 이용하여 1~4 개의 FHD 미디어의 인코딩 및 전송 성능을 평가하는 항목이며, Parallel Renderer 는 분산 렌더링된 FHD 미디어의 프레임을 평가하는 항목이며, Network Communication 은 서버/클라이언트간의 미디어 통신 지연율을 평가하는 항목이다.

그리고, Display Client 는 전송된 FHD 미디어 수신 및 디코딩/출력을 평가하는 항목이며, Network Interactive 는 서버/클라이언트간 상호작용 통신 지연율을 평가하는 항목이며, S/W Synchronization 은 클라이언트간 화면 동기화 지연 성능을 평가하는 항목이다.

다음으로 본 발명은, 다중디스플레이 서버, 분산 렌더러, 미디어플레이어 클라이언트 및 이를 위한 하드웨어와 테스트 모듈로 구성된다.

먼저, 상기 다중디스플레이 서버는 미디어플레이어 클라이언트와 다중디스플레이 서버와의 통신을 위한 프로토콜 및 스트리밍 전송 모듈을 포함하며, 구체적으로 스트리밍 전송 모듈 및 최적화, 미디어클라이언트 동기화를 위한 모듈, 사용자 입력에 대한 상호작용의 처리를 위한 데이터 수신 및 처리 모듈을 포함한다.

다음으로, 상기 분산 렌더러는 3D 오브젝트 가시화를 위한 오브젝트 로더 및 OpenGL 기반 가시화 엔진을 포함하여 구성되며, 구체적으로 분산 렌더링을 위한 OpenGL 기반 가시화 엔진 및 스트리밍 전송을 위한 영상 인코더를 포함하여 구성된다.

다음으로, 상기 미디어플레이어 클라이언트는 임베디드 시스템에서 최적화된 미디어플레이어 모듈 및 다중디스플레이 서버에서 전송된 스트리밍 미디어 수신 모듈을 포함하며, 구체적으로 다중디스플레이어 서버에서 전송된 스트리밍 미디어 수신 모듈 최적화 및 사용자 입력에 대한 정보를 전송하기 위한 상호작용 송신 모듈, 스트리밍으로 수신된 미디어 플레이어를 포함하여 구성된다.

마지막으로, 상기 하드웨어는 미디어플레이어 클라이언트를 위한 임베디드 기기로 구성되며 상기 테스트 모듈은 안정화 테스트를 시험하기 위한 시뮬레이션 모듈로서, 상기 다중디스플레이 서버, 분산 렌더러, 미디어플레이어 클라이언트를 성능 지표에 맞게 통합 테스트 수행 및 안정화 작업을 실시하게 된다.

한편, 본 발명은 임베디드 기기(CUDA)와 다중 디스플레이를 위한 S/W(인코더,디코더,랜더러) 및 실시간 랜더링과 상호작용이 가능한 다중디스플레이 기반 초고해상도 임베디드 솔루션을 제공하며, 구체적으로 다중디스플레이에 부착되는 임베디드 기기 및 실시간 렌더링을 위한 랜더러, 다중디스플레이를 위한 S/W(인코더,디코더,랜더러)를 포함하여 구성된다.

한편, 본 발명을 이용한 사업화 전략에 따르면, 자동차 오프라인 매장, 명품 매장(가방, 시계, 의류 등), 면세점, 백화점, 대형 마트, 모델하우스, 리모델링에도 적용 가능하다.

구체적으로, 기존 자동차 오프라인 매장은 업주가 자동차 전시공간을 확보하여 전시할 차를 직접 구매하는 영업 형태임. 이와 같은 형태는 초기 구축비용이 매우 많이 들어가며, 이미 유럽에서는 이러한 디스플레이를 활용한 오프라인 매장이 2012년도부터 적용되어 사용 중에 있으나 아직까지는 이미지 퀄리티가 낮고(2K) 시스템 구축비용이 높으며 관리가 어려워 극소수 매장에만 적용한 상태이므로, 본 발명을 적용하게 되면 초기 구축비용이 적을 뿐만 아니라 관리도 매우 쉬워 다수의 매장에 시스템을 적용 가능한 장점이 있다.

그리고, 명품 매장(가방, 시계, 의류 등)의 경우, 본 발명은 은 모델링 데이터를 고품질 렌더링을 통해 실사에 근접한 이미지를 사용자에게 제공 가능하므로 다양한 고가의 명품 제품을 디스플레이로 전시할 수 있다.

<고객니즈 분석>

항목	세부설명
컨텐츠 관리	동영상(avi, wmv, mpg, 등), 플래쉬(swf), 이미지, PowerPoint, 웹페이지, 스트리밍 컨텐츠 등 컨텐츠 등록, 삭제 기능. 등록된 컨텐츠 파일 미리보기 기능. (PowerPoint는 MS Office PowerPoint 뷰어를 이용하거나, 자연스러운 표출(화면분할등)을 위해 자체 프로그램 내에서 표출 지원). 폴더별 컨텐츠 관리 기능. 컨텐츠 관리를 위한 썸네일, 태그, 검색 기능. 컨텐츠 등록 시 해상도, 파일크기, Play 시간 등 속성 자동 등록기능. 텍스트 화면 구성 편집 툴 기능. 스크롤 자막의 폰트, 크기, 배경색, 스크롤 속도 등 속성 편집 기능. 컨텐츠에 현재 시간, 실시간 환율, 현재 날씨, 현재 날짜를 표현해야 하므로 컨텐츠 요구에 대한 화면 표시 기능. 여러 대 플레이어 PC가 구현 컨텐츠 sync 기능
단말기 관리	단말기 등록, 수정, 삭제 기능. 그룹별로 단말기 관리 기능. 네트워크를 통한 단말기 상태 실시간 모니터링 기능(대시보드 표출) (ON/OFF상태, 에러발생, 실행 스케줄, 실행 중인 컨텐츠, 출력 해상도, 하드디스크 사용량, 메모리 사용량, 단말기 IP등). TV제조사 제공 API를 이용한 TV on/off, 입력신호 전환, 채널 변경, 볼륨제어 등 TV제어 기능. 단말기별 / 그룹별 스케줄 설정 기능. 단말기 사운드 볼륨 조절 기능. 단말기 Power ON/OFF 제어 기능. 스케줄 전송 시 영상 출력 대상 컨텐츠 파일 자동 배포 기능. 단말기로 컨텐츠 파일 수동 배포 기능. 단말기에 네트워크 카메라 설치 시 카메라 영상보기 기능. 단말기로 원격제어 기능. 일자 별, 로그 종류별 로그 검색 기능. 장애 발생 시 관리자 통보 기능.
화면 표출	동영상, 오디오 파일, 플래쉬, 이미지, 텍스트, 웹, TV, 스트리밍 컨텐츠 방영 기능(단 TV 및 스트리밍은 별도 필요 기반 환경에 대한 사전 협의). 다양한 화면분할 기능. 화면분할 비율을 사용자가 변경 기능 제공. 표출된 컨텐츠의 재생기기, 재생 횟수 등의 정보 확인 및 저장 기능. 관리자가 원하는 위치에 스크롤 자막 출력 기능. 동영상 위로 사용자가 Manager PC에서 입력한 TEXT 문구가 표출되는 기능. 배경이 투명한 플래시 컨텐츠를 동영상 위로 표출 할 수 있는 기능.
스케줄 관리	작성된 스케줄의 장면 미리보기 기능. 시간별, 요일별, 요일별 시간, 기간별 스케줄링 기능. 스케줄 작성 시 기존 작성된 항목을 복사/붙여넣기 기능. 스케줄 별 외부저장장치(USB Memory 등)로 내보내기(백업) 기능. (네트워크 장애 시 수동으로 스케줄 업데이트 기능 지원)
사용자 구성	다양한 컨텐츠를 사용자 임의로 배치하여 새로운 화면 구성 기능. 화면 구성을 위한 Grid 기능 제공. 사용자 편의를 위한 Drag & Drop 방식.
지원가능 컨텐츠	동영상 표출 : .wmv, .avi, .mp4 등 다양한 형식의 영상 플레이 가능 (동영상 코덱에 따라 플레이에 제한이 있을 수 있음). 파워포인트 : 정품 라이선스 제공 시 기본 기능 모두 가능하며 미 제공 시 전체화면으로 .ppt 파일만 가능. 오디오파일 : 설정된 장면마다 배경 음악 설정이 가능. 플래쉬 : .swf, .exe 지원 가능. 이미지 : .bmp, .gif, .jpg 등 (단 애니메이션 GIF는 제외). 웹 : URL 방식. 스크롤 자막 : 사용자 입력내용. 기타 : 스트리밍, USB Cam, TV. (단 TV 및 스트리밍은 별도 필요 기반 환경에 대해 사전 협의)".
수동 업데이트	네트웍 장애 시 USB메모리를 통한 스케줄 업데이트 기능.
기능	4K급 고화질 영상 재생 시 딜레이 없음. 연결재생 기능 : 각 파일 전환 시 지연 없음(화면 전환 시 블랙화면에 의한 단절이 없어야 함). 동영상 위로 사용자가 Manager PC에서 입력한 TEXT 문구가 표출되는 기능. 배경이 투명한 플래시 컨텐츠를 동영상 위로 표출 할 수 있는 기능. 저작권 문제가 없는 전국, 주간 날씨 정보 표출. 저작권 문제가 없는 TEXT 뉴스 정보 표출.
기타	방송시간 설정에 따른 OFF 기능.

다음으로, 본 발명의 사업화 전략에 따른 수익 모델에 의하면, 본 발명은 최종적으로 임베디드 기기와 이 기기에 포함될 영상처리 S/W, 렌더링 S/W, 관리 S/W를 패키지로 제공되어지며, S/W 컨텐츠 산업의 특성상 개발이 완료된 후 판매가 이루어지면 타 제조업과 달리 영업이익률이 매우 높아 매출 규모만 늘릴 수 있다면 큭 수익을 남길 수 있다.

그리고, BMW코리아 신사업부서와 접촉을 통해 인터렉티브 기능이 포함된 멀티디스플레이 매장 구축에 대한 니즈를 정확히 파악하고 있으며 납품을 위한 준비를 진행할 수 있고, 이러한 노하우를 축적하여 수입차 딜러사와 협업하여 전국 수입자동차 오프라인 매장에 영업을 통해 매출 규모를 더욱 확대할 수 있다. 또한, 납품 후 1년 무상유지보수 기간이 지나면 총 납품 규모의 일부분(10%~18% 예상)을 유지보수 비용으로 받아 안정적인 Cash Cow를 확보할 수 있을 것으로 예상된다.

한편, 고객이 본 발명을 패키지로 구매하는 것을 부담스러워 할 경우 국내 주요 데이터센터와 협업하여 고객은 데이터센터로부터 당사가 개발한 S/W를 클라우드 방식으로 서비스 받고 임베디드 기기는 무상 지원 받으며 과금은 사용한 만큼만 비용을 지불하는 방식으로도 사용할 수도 있다. (예시 : 최소3년약정 계약, 임베디드기기 무상지원, S/W는 월정액으로 과금)

한편, 본 발명의 사업화 추진 전략에 따른 제품 판매 전략에 의하면, 현재 국내에서도 그림과 같이 자동차 오프라인 매장에 실제 차가 아닌 디스플레이로 매장을 시범 운영 중 인 곳이 있으며, 코엑스에 운영 중인 현대 모터 스튜디오 디지털 매장으로 이곳은 디스플레이를 통해 실제 차량과 같은 크기의 차와 색깔 등을 볼 수 없고 다만 대형화면에 실시간렌더링이 아닌 미리 만들어진 이미지 및 동영상을 통해 디스플레이가 되며, 실제 색과의 차이가 있어 매장 내에 실제 색깔을 볼 수 있는 소품이 준비 되어 있다.

상기와 같은 매장의 구축비용이 높은 이유는 고화질디스플레이(UHD) 장치 1개당 1개의 고가의 워크스테이션, 별도의 렌더팜 서버가 필요하여 렌더팜 서버실 및 서버실 온도조절 설비가 필요하므로 초기 구축비용이 높으나, 본 발명을 적용하면 실제 자동차 크기의 디스플레이 장치를 설치할 공간만 확보되면 오프라인 매장을 구축할 수 있고, 또한, 전시할 차를 구입할 필요가 없이 영상을 통해 전시함으로 브랜드가 보유한 모든 차량을 전시하는 효과가 있음. 따라서 초기 구축비용이 기존 방식보다 매우 낮은 장점이 있다.

또한, 렌더팜이 필요 없게 되므로 렌더팜 서버실 및 서버실 온도 조절 장치를 구축하지 않아도 됨으로 비용이 큰 폭으로 감소되며, 기존 고화질디스플레이 장치당 1대의 고가의 워크스테이션 대신 본 R&D로 개발하고자 하는 약30만 원 정도의 임베디드 장치와 관리 솔루션만 필요하므로 구축비용이 최소 1/10 이하 수준으로 적어질 것으로 판단된다.

따라서, 기본적인 사업전략은 수입차 딜러사들(코오롱모터스, 한독모터스 등) 및 해외 자동차 브랜드 한국 지사들(BMW코리아, 아우디코리아, 벤츠 코리아 등) 접촉하여 현재 추세에 따라 늘어나고 있는 수입차 점유율 증가를 가속화 시킬 수 있는 새로운 영업 모델을 제시함으로서 고객을 확보하고 그와 동시에 현대, 기아차 포함 국내 완성차 제조사들과 접촉하여 감소되고 있는 점유율을 안정적으로 방어할 수 있는 방법 제시를 통해 고객을 확보를 극대화함으로써, 양방향 영업을 통해 다수의 고객을 단기간 내에 확보 가능 할 것으로 예상되어진다.

한편, 면세점, 백화점 및 명품 매장(온/오프라인 병행) 등의 경우, 공산품 등을 포함하여 전 세계의 물품 구매 패턴은 직접구매에서 온라인 구매의 형태로 변화함에 따라, 배송 수단 등의 발전을 통해 바쁜 현대인들의 수고를 덜어주고 편의가 증대되고 있다.

물품 구매 패턴 변화의 직접적인 이유는 판매자의 고정비 등을 효율적으로 조정하여 이윤을 추구하기 위함이며, 이에 따라 각 기업은 점포 수를 줄이고 온라인 구매시스템을 구축하여 효율적인 판매구조를 개선할 수 있다.

일례로 그림과 같이 국내 대형할인마트 홈플러스는 지하철 역사에 상품사진을 붙여놓고 QR코드를 통해 상품을 구매할 수 있는 캠페인을 진행했음. 이를 통해 국내 점유율 1위인 이마트를 넘어서는 소기의 목적을 달성한 바 있음.

이것이 시사하는 바는 이미 물품 구매 패턴이 단순화되고 있음을 나타내는 반증이며, 그러나 홈플러스가 진행한 캠페인은 사업성의 한계가 있으며 그 이유는 다음과 같다. 첫째, 단순 이미지 배치 형식으로 상품 품목의 변화와 가격의 변동에 따라 이미지를 변경해야 한다.

둘째, 물품의 정확한 상태를 파악하는데 한계가 있으며, 단순 이미지만을 표현해내기 때문에, 상품에 어떠한 하자가 있는지 파악하기 어려움에 따라, 실제로도 온라인 구매 물품이 사진과 실물의 불일치로 구매자의 원성을 사는 경우가 비일비재한다.

이는 이미지 자체의 부정확함도 있지만, 구매자의 디스플레이의 표현력에 문제가 있는 경우도 많아 책임소재를 가려내기 어려운 것이 실정이며, 하지만 본 발명을 이용하면, 상품 및 가격 변동에 있어 유연한 대처가 가능하고, 변경 내용을 실시간 렌더링을 통해 즉각적인 수정이 가능하다. 또한, 구매자가 실제 상품을 확대/축소 및 앞, 뒤, 위, 아래 면을 초고해상도 화질(4K이상) 확인함으로써 이상여부를 사전에 체크할 수 있는 장점이 있다.

우선 국내 대형할인마트의 매출이 부진한 특정 지점의 웹사이트 등에 당사의 기술력을 적용하여 시장성과 사업성을 극대화 할 수 있으며, 이후 지점의 특정 매장의 크기를 최소화하고, 당사의 기술력이 접목된 디스플레이만을 배치하고, 이를 통해 주문 및 배송이 가능하도록 할 수 있다.

또한, 당사의 기술력을 적용한 사업분야는 광범위하고 제한적인 요소가 없어 상기와 같이 공산품 등의 업종에 우선 적용한 후, 순차적으로 주얼리, 패션, 명품 매장 등 다양한 산업군에 적용하여 안정적인 매출을 달성할 수 있을 것으로 예상되어진다.

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.

100 : 다중디스플레이 서버
200 : 분산 렌더러
300 : 미디어플레이어 클라이언트
400 : 하드웨어
500 : 테스트 모듈

Claims (6)

1. 분산 처리를 통한 실시간 렌더러 개발 및 물리 기반의 조명 및 재질 적용으로 실사 수준의 렌더링 구현하도록 한 실시간 렌더러와, 4K 출력을 위한 Client 개발로 NVIDIA TK1 이상의 칩셋 및 TCP/IP를 활용하여 디코딩 성능 향상 및 실시간 영상 수신 기능을 가진 임베디드 기기로 구성된 임베디드 시스템에 있어서,
   다중디스플레이 서버(100);
   분산 렌더러(200);
   미디어플레이어 클라이언트(300);
   하드웨어(400);
   테스트 모듈(500);을 포함하여 구성되되,
   상기 분산 렌더러(200)는 3D 오브젝트 가시화를 위한 오브젝트 로더 및 분산 렌더링을 위한 OpenGL 기반 가시화 엔진을 포함하고,
   상기 실사 수준의 렌더링은 광선 추적 계산을 통해 구현되고,
   GPU(Graphics Processing Unit)를 이용한 병렬화 기술을 통해 상기 광선 추적 계산을 고속화하는 것을 특징으로 하는 실시간 상호작용이 가능한 확장형 다중 디스플레이 기반 4K 이상의 초고해상도 임베디드 시스템
   
2. 제 1 항에 있어서,
   상기 다중디스플레이 서버(100)는 미디어플레이어 클라이언트와 다중디스플레이 서버와의 통신을 위한 프로토콜 및 스트리밍 전송 모듈을 포함하며, 구체적으로 스트리밍 전송 모듈, 미디어클라이언트 동기화를 위한 모듈, 사용자 입력에 대한 상호작용의 처리를 위한 데이터 수신 및 처리 모듈을 포함하는 것을 특징으로 하는 실시간 상호작용이 가능한 확장형 다중 디스플레이 기반 4K 이상의 초고해상도 임베디드 시스템
   
3. 제 1 항에 있어서,
   상기 분산 렌더러(200)는 스트리밍 전송을 위한 영상 인코더를 포함하여 구성되는 것을 특징으로 하는 실시간 상호작용이 가능한 확장형 다중 디스플레이 기반 4K 이상의 초고해상도 임베디드 시스템
   
4. 제 1 항에 있어서,
   상기 미디어플레이어 클라이언트(300)는 임베디드 시스템에서 최적화된 미디어플레이어 모듈 및 다중디스플레이 서버에서 전송된 스트리밍 미디어 수신 모듈을 포함하며, 구체적으로 다중디스플레이어 서버에서 전송된 스트리밍 미디어 수신 모듈 및 사용자 입력에 대한 정보를 전송하기 위한 상호작용 송신 모듈, 스트리밍으로 수신된 미디어 플레이어를 포함하여 구성되는 것을 특징으로 하는 실시간 상호작용이 가능한 확장형 다중 디스플레이 기반 4K 이상의 초고해상도 임베디드 시스템
   
5. 제 1 항에 있어서,
   상기 하드웨어(400)는 미디어플레이어 클라이언트를 위한 임베디드 기기로 구성되는 것을 특징으로 하는 실시간 상호작용이 가능한 확장형 다중 디스플레이 기반 4K 이상의 초고해상도 임베디드 시스템
   
6. 제 1 항에 있어서,
   상기 테스트 모듈(500)는 안정화 테스트를 시험하기 위한 시뮬레이션 모듈로서, 상기 다중디스플레이 서버, 분산 렌더러, 미디어플레이어 클라이언트를 성능 지표에 맞게 통합 테스트 수행 및 안정화 작업을 실시하는 것을 특징으로 하는 실시간 상호작용이 가능한 확장형 다중 디스플레이 기반 4K 이상의 초고해상도 임베디드 시스템

Images