KR102348429B1 - 멀티 프로젝터 영상 정합을 위한 영상분배및변환장치 및 이를 이용한 영상 정합 방법 - Google Patents

멀티 프로젝터 영상 정합을 위한 영상분배및변환장치 및 이를 이용한 영상 정합 방법 Download PDF

Info

Publication number
KR102348429B1
KR102348429B1 KR1020200006634A KR20200006634A KR102348429B1 KR 102348429 B1 KR102348429 B1 KR 102348429B1 KR 1020200006634 A KR1020200006634 A KR 1020200006634A KR 20200006634 A KR20200006634 A KR 20200006634A KR 102348429 B1 KR102348429 B1 KR 102348429B1
Authority
KR
South Korea
Prior art keywords
image data
digital image
projector
address
buffer
Prior art date
Application number
KR1020200006634A
Other languages
English (en)
Other versions
KR20210081210A (ko
Inventor
김진헌
Original Assignee
서경대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서경대학교 산학협력단 filed Critical 서경대학교 산학협력단
Priority to PCT/KR2020/010552 priority Critical patent/WO2021132832A1/ko
Publication of KR20210081210A publication Critical patent/KR20210081210A/ko
Application granted granted Critical
Publication of KR102348429B1 publication Critical patent/KR102348429B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/317—Convergence or focusing systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43632—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H04N21/43635—HDMI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3188—Scale or resolution adjustment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

본 발명은 멀티 프로젝터 영상 정합을 위한 영상정합장치 및 이를 이용한 영상 정합 방법에 관한 것이다.
본 발명에서는 복수 개 프로젝터를 사용하여 대화면에 투사하는 멀티 프로젝터 융합 시스템의 투사 영상 조정을 위해 영상을 하나 혹은 둘 이상의 파노라마 HDMI 비디오 신호를 입력받아 이를 기반으로 영상을 디지털화하여 처리한 후 복수의 HDMI 신호를 생성하는 것을 특징으로 하는 멀티 프로젝터 영상 정합을 위한 영상정합장치 및 이를 이용한 영상 정합 방법이 개시된다.
본 발명은 스케일러블 구조를 채택하여 프로젝터의 수가 증가하면 장치의 내부 구성요소를 그만큼 증설하면 되기 때문에 확장에 용이하다.

Description

멀티 프로젝터 영상 정합을 위한 영상분배및변환장치 및 이를 이용한 영상 정합 방법{IMAGE DISTRIBUTION AND CONVERSION DEVICE FOR MULTI-PROJECTOR IMAGE ALIGNMENT AND ALIGNING METHOD USING THE SAME}
본 발명은 멀티 프로젝터 영상 정합을 위한 영상분배및변환장치 및 이를 이용한 영상 정합 방법에 관한 것으로서, 복수 개 멀티 프로젝터를 사용하여 투사하는 방식으로서 인접한 프로젝터가 투사하는 영역을 촬영하는 카메라를 구비하고, 카메라로부터 입력되는 영상을 분석하여 각 프로젝터에 투사되는 영상 영역을 보정하는 멀티 프로젝터 영상 정합을 위한 영상분배및변환장치 및 이를 이용한 영상 정합 방법에 관한 것이다.
미디어 콘텐츠에 대한 대중화에 힘입어 이를 대형 스크린에 투사하여 사람들의 현장감과 몰입감을 극대화하는 수요가 점점 증가하고 있다. 실내 놀이공원, 전시장, 박물관, 공연 무대에 여러 대의 프로젝터를 파노라마 대형 스크린에 투사하여 극적 효과를 유도할 수 있는 기술의 개발 수요가 점차 증대되고 있는 상황이다. 복수 개 프로젝터를 사용하면 단순히 평면적인 단조로운 영상을 재생하는 데 그치지 않고 투사 방향과 프로젝터의 콘텐츠의 다양화에 따라 여러 가지 실감효과를 구현하는데 활용할 수 있다.
복수 개 프로젝터를 대형 파노라마 스크린에 투사할 때 복수 개 프로젝터의 영상이 적절하게 조화를 이루도록 설치하더라도 운영 중에 생기는 진동으로 프로젝터의 조정이 미세하게 어긋나게 되는 경우 영상간 간격이 벌어지거나 중첩되어 나타기도 하고 시간이 지남에 따라 프로젝터 간의 색감, 대조비, 조도 등이 불일치하여 전체적으로 보면 실감 효과가 감소되는 문제점이 있다. 이를 해소하기 위해 미소한 문제가 생겨도 이때마다 조정 작업을 다시 수행하기 위해 전시 중단, 비용 소요 등의 문제가 발생할 수 있었다.
한국공개특허 제10-2016-0031966호 (2016.03.23. 공개) 한국공개특허 제10-2016-0031967호 (2016.03.23. 공개)
본 발명은 중앙처리장치에 미치는 부하를 최소화하면서 복수 대 카메라로부터 입력되는 카메라영상데이터를 분석하고 하드웨어 방식으로 빠른 처리 시간 내에 복수 개 프로젝터가 각각 디스플레이하여야 하는 HDMI 신호를 생성하여 제공하는 멀티 프로젝터 영상 정합을 위한 영상분배및변환장치 및 이를 이용한 영상 정합 방법을 제공하는 것을 목적으로 한다.
본 발명의 상기 목적은 파노라마 스크린에 투사하는 N개(N은 2 이상의 자연수) 프로젝터와, 스크린에 투사된 영상을 촬영하여 카메라영상데이터로 출력하는 복수 개 카메라와, 카메라영상데이터를 분석하여 각 프로젝터가 투사할 영상을 정합시키기 위한 매핑정보를 출력하는 영상분석및제어장치와, 원본 HDMI 신호를 출력하는 콘텐츠재생장치 및 매핑정보에 따라 상기 원본 HDMI 신호를 디지털영상데이터로 변환한 후 HDMI신호로 인코딩하여 프로젝터에 전송하는 영상분배및변환장치를 갖는 영상정합장치에 있어서, 영상분배및변환장치는 원본 HDMI 신호를 분배하여 N개 분배된 HDMI 신호로 출력하는 입력HDMI분배기(Input HDMI Distributer)와, N개 프로젝터에 각각 대응되는 영상변환모듈을 포함하고, 각 영상변환모듈은 분배된 HDMI 신호를 디코딩하여 디지털영상데이터로 변환하는 HDMI디코더와, 변환된 디지털영상데이터를 저장하는 콘텐츠버퍼와, 콘텐츠버퍼의 주소에 대한 포인터를 저장하는 매핑룩업테이블과, 프로젝터에 디스플레이될 디지털영상데이터를 저장하는 디스플레이버퍼 및 매핑룩업테이블의 주소를 증가시키면서 참조하여 상기 콘텐츠버퍼의 주소를 파악하고, 콘텐츠버퍼의 주소를 이용하여 콘텐츠버퍼에 저장된 디지털영상데이터를 읽은 후 스케일링 처리 후 디스플레이버퍼에 쓰는(write) 작업을 하드웨어적 방식으로 반복 수행하는 제2DMA로직부를 포함하는 것을 특징으로 하는 멀티 프로젝터 영상 정합을 위한 영상분배및변환장치에 의해서 달성 가능하다.
제2DMA로직부는 매핑정보에 따라 상기 콘텐츠버퍼에 저장된 디지털영상데이터를 변환하기 위한 스케일링값을 저장하는 스케일링레지스터와, 디스플레이버퍼에 쓰여질 주소 및 디지털영상데이터를 입력받은 후, 디스플레이버퍼에 쓰여질 주소에 따라 스케일링값을 선택하고 선택된 스케일링값에 따라 콘텐츠버퍼에 저장된 디지털영상데이터를 스케일링값을 이용하여 변환한 후 출력하는 논리연산유니트 및 매핑룩업테이블의 주소를 증가시키면서 참조하여 콘텐츠버퍼의 주소를 파악하고, 주소를 이용하여 콘텐츠버퍼에 저장된 디지털영상데이터를 읽은 후 논리연산유니트에 전송하고, 논리연산유니트로부터 출력되는 스케일링 처리된 디지털영상데이터를 디스플레이버퍼에 쓰기하는 제2DMA로 구성되는 것이 바람직하다.
또한, 각 영상변환모듈에는 HDMI디코더로부터 출력되는 디지털영상데이터를 콘텐츠버퍼로 쓰는(write) 제1DMA와, 프로젝터에 적합하게 정합된 디지털영상데이터를 인코딩하는 HDMI인코더 및 디스플레이버퍼에 저장된 디지털영상데이터를 HDMI인코더로 전송하는 제3DMA를 더 구비하는 것을 특징으로 한다.
본 발명의 상기 목적은 콘텐츠재생장치로부터 입력되는 원본 HDMI 신호를 N개(N은 2 이상의 자연수) 프로젝터를 사용하여 파노라마 스크린으로 정합시켜 투사하고 이를 복수 개 카메라를 이용하여 촬영하여 영상을 정합하는 멀티 프로젝터 영상 정합을 위한 영상정합장치에서 프로젝트 영상을 정합하는 방법으로서, 복수 개 카메라에 의해 촬영된 영상을 캘리브레이션하는 제1단계와, 캘리브레이션된 카메라영상데이터를 이용하여 각 프로젝터가 투사하는 영역을 파악하는 제2단계와, 복수 개 프로젝터로 출력 가능한 최대 화면를 결정하고, 최대 화면을 형성하기 위해 각 프로젝터가 투사해야 하는 영역을 계산하는 제3단계와, 제2단계에서 파악된 각 프로젝터가 투사하는 영역을 상기 제3단계에서 계산된 각 프로젝터가 투사하는 영역으로 변환하는 영상 처리를 하기 위한 매핑정보를 생성하는 제4단계와, 콘텐츠재생장치로부터 입력되는 상기 원본 HDMI 신호를 분배하여 N 개 분배된 HDMI 신호로 출력하는 제5단계와, 분배된 HDMI 신호를 디코딩하여 디지털영상데이터로 변환하는 제6단계와, 변환된 디지털영상데이터를 콘텐츠버퍼에 저장하고, 매핑정보를 이용하여 상기 콘텐츠버퍼의 주소에 대한 포인터를 매핑룩업테이블에 저장하는 제7단계와, 매핑룩업테이블의 주소를 증가시키면서 참조하여 상기 콘텐츠버퍼의 주소를 파악하고, 상기 파악된 콘텐츠버퍼의 주소를 이용하여 상기 콘텐츠버퍼에 저장된 디지털영상데이터를 읽은 후 매핑정보를 이용하여 스케일링 처리 후 디스플레이버퍼에 쓰는(write) 작업을 하드웨어적 방식으로 반복 수행하는 제8단계를 포함하는 것을 특징으로 하는 영상정합장치에서 프로젝트 영상을 정합하는 방법에 의해서도 달성 가능하다.
앞서 설명한 제8단계는 매핑룩업테이블의 주소를 증가시키면서 참조하여 상기 콘텐츠버퍼의 주소를 파악하는 제8-1단계와, 파악된 콘텐츠버퍼의 주소에 저장된 디지털영상데이터를 읽는 제8-2단계와, 디스플레이버퍼에 쓰여질 주소에 따라 상기 스케일링레지스터에 저장된 스케일링값을 선택하고 상기 제8-2단계에서 읽은 디지털영상데이터를 상기 선택된 스케일링값을 이용하여 변환한 후 출력하는 제8-3단계 및 제8-3단계에서 출력되는 디지털영상데이터를 상기 디스플레이버퍼에 쓰는 제8-4단계로 세분화 되어 수행될 수 있다.
추가적으로 콘텐츠버퍼에 저장된 디지털영상데이터를 인코딩하여 상기 각 프로젝터로 전송하는 제9단계를 더 포함하는 것이 좋다.
본 발명에 따른 멀티 프로젝터 영상 정합을 위한 영상분배및변환장치 및 이를 이용한 영상 정합 방법에서는 스케일러블(scarable) 구조를 채택하여 프로젝터의 수가 증가하면 영상분배및변환장치를 구성하는 영상변환모듈을 추가로 증설하면 되기 때문에 확장에 용이하다.
또한 본 발명에 따른 멀티 프로젝터 영상 정합을 위한 영상분배및변환장치 및 이를 이용한 영상 정합 방법은 영상 변화를 위해 고가의 GPU(Graphic Processing Unit)를 채택하지 않고 매핑룩업테이블(LUT, Look Up Table)을 적용하며, 매핑룩업테이블이 프로젝터마다 독립적으로 분리된 구조를 갖고 있기 때문에 프로젝터의 증가에 대해 제한을 받지 않는 장점이 있다.
본 발명에 따른 멀티 프로젝터 영상 정합을 위한 영상분배및변환장치 및 이를 이용한 영상 정합 방법은 전체 시스템 구성 중 일부는 손쉽게 활용 가능한 개인용 컴퓨터와 라즈베리 파이와 같은 경제적인 임베디드 시스템으로 구현 가능하며, 본 발명의 주요장치인 영상분배및변환장치는 FPGA(Field Programmable Gate Array)를 이용하면 적은 비용으로 구현가능하다.
본 발명에서는 기하학적 변환을 위한 파라미터 생성(매핑정보)은 오프라인(off-line)으로 수행하고 이 변환을 실시간으로 처리하는 제2DMA로직부를 이용함으로써 복잡한 연산을 하드웨어 방식으로 단순화하였기 때문에 중앙처리장치(CPU)의 부하가 대폭 경감되는 장점이 있다.
또한 종래의 방식에 비해 경량화된 중앙처리장치의 채택이 가능하고 중앙처리장치들이 관련된 메모리 접근이 자유롭게 분산되는 구조를 채택하고 있기 때문에 남는 중앙처리장치의 자원을 추가적인 영상처리에 집중할 수 있어 더욱 효과적인 영상 처리를 도모할 수 있다.
도 1은 본 발명에 따른 일 실시예로서 멀티 프로젝터 영상 정합을 위한 영상정합장치의 구성도.
도 2는 본 발명에 따른 일 실시예인 영상정합장치를 구성하는 영상분배및변환장치의 구성도.
도 3은 본 발명에 따른 일 실시예인 영상정합장치를 구성하는 제2DMA로직부의 매핑 동작 처리 과정을 설명하는 구성도.
도 4는 본 발명에 따른 일 실시예인 영상정합장치를 구성하는 영상분석및제어장치의 구성도.
도 5는 영상 정합 전 세 개의 프로젝터를 이용하여 파노라마 스크린에 투사하는 상태를 나타내는 개념도.
도 6은 영상 정합 후 세 개의 프로젝터를 이용하여 파노라마 스크린에 투사하는 상태를 나타내는 개념도.
도 7은 본 발명에 따른 영상 정합 과정을 간단히 설명하는 흐름도.
도 8은 카메라를 이용하여 인식된 보정전 프로젝터 10a에 의해서 투사된 영역과 프로젝터 10b에 의해서 투사된 영역을 각각 파란색과 붉은 색으로 표시한 설명도.
도 9는 프로젝터(10a)에서 보정 전 투사 영역과 영상 변환 후 보정 후 투사 영역을 함께 도시한 도면.
본 발명에서 사용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 본 명세서에서, "~ 상에 또는 ~ 상부에" 라 함은 대상 부분의 위 또는 아래에 위치함을 의미하는 것이며, 반드시 중력 방향을 기준으로 상 측에 위치하는 것을 의미하는 것은 아니다. 또한, 영역, 판 등의 부분이 다른 부분 "상에 또는 상부에" 있다고 할 때, 이는 다른 부분 "바로 상에 또는 상부에" 접촉하여 있거나 간격을 두고 있는 경우뿐 아니라 그 중간에 또 다른 부분이 있는 경우도 포함한다.
또한, 본 명세서에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.
또한, 본 명세서에서, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 발명에 따른 영상정합장치는 게임, 동영상 등의 파노라마 콘텐츠를 재생하는 콘텐츠재생장치와, 콘텐츠재생장치로부터 입력되는 원본 HDMI 신호를 복수 개 프로젝터의 각 화면 구성에 적절하게 변환하여 복수 개 프로젝터로 인코더된 HDMI 신호로 나누어 송출해주는 영상분배및변환장치와, 스크린에 투사된 영상을 분석하고 각 프로젝터를 제어하기 위한 제어 파라미터(매핑정보)를 생성해내는 영상분석및제어제어장치로 구성된다. 본 발명을 구성하는 영상분석및제어장치는 현재 투사하고 있는 스크린 영상을 카메라를 통해 실시간으로 촬영하여 카메라영상데이터로 취득하고 취득된 복수 개 카메라영상데이터로부터 키스톤(keystone), 출력범위, 스케일링, 대조비제어, 칼라 밸런싱, 및 이웃 프로젝터의 중첩 부분에 대한 블렌딩(blending) 조정 등에 필요한 정보를 연산하고, 이를 매핑정보로 영상분배및변환장치로 제공한다. 영상분배및변환장치는 해당되는 매핑정보를 이용하여 원본 HDMI 신호를 복수 개 DMA를 이용하여 하드웨어 방식으로 보정한 후, 보정된 HDMI 신호를 인코딩하여 각 프로젝터에 전송함으로써 전체적으로 복수 개 프로젝터가 투사하는 영상들이 실시간으로 조화롭게 투사되도록 한다.
이하에서, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예, 장점 및 특징에 대하여 상세히 설명하도록 한다.
도 1은 본 발명에 따른 일 실시예로서 멀티 프로젝터 영상 정합을 위한 영상정합장치의 구성도이다. 영상정합장치(100)는 파노라마 스크린(90), 복수 개 프로젝터(10), 복수 개 카메라(20), 콘텐츠재생장치(30), 영상분배및변환장치(50) 및 영상분석및제어장치(70)로 구성된다.
파노라마 스크린(90)은 복수 개 투사기에서 투사하는 영상이 맺히는 스크린이다. 복수 개 프로젝터(10)는 인코딩된 HDMI 신호를 입력받은 후 이로부터 영상을 생성한 후 투사하는 장치이다. 카메라(20)는 복수 개 투사기와 동일한 수만큼의 복수 개로 구비되며, 관련된 투사기가 투사하는 영역보다 조금 더 많은 영역을 촬영한 카메라영상데이터를 영상분석및제어장치(70)로 입력하는 장치이다. 프로젝터(10)가 N('N'은 2이상의 자연수)개로 구성된다면 카메라(20)도 N개로 구성된다. 도 1에서는 세 대의 프로젝터(10) 및 세 대의 카메라(20)로 구성한 실시예이다. 카메라 설치 갯수는 투사기의 갯수보다 한 개 적은 수만큼 구비할 수 있음은 물론이다. 예를 들어 도 1의 구성을 세 대의 프로젝터(10) 및 두 대의 카메라(20)로 구성하는 것은 해당 분야의 기술자는 손쉽게 가능한 것이다.
콘텐츠재생장치(30)는 비디오 게임, 동영상 등의 소스파일을 원본 HDMI 신호로 재생하는 장치이다. 예를 들어, 콘텐츠재생장치(30)는 유니티, 미디어 플레이어를 PC에서 재생하는 것으로 구현할 수 있다. 콘텐츠재생장치(30)로부터 출력되는 원본 HDMI 신호는 스크린을 구성하는 하나의 대형 영상 HDMI 신호 혹은 복수 개 소형 화면용 HDMI 신호로 구성될 수 있다.
영상분배및변환장치(50)는 콘텐츠재생장치(30)로부터 입력되는 원본 HDMI 신호를 프로젝터(10) 갯수에 해당하는 복수 개 HDMI 신호를 만들어 분배하며, 원본 HDMI 신호를 디지털로 변환하고, 영상분석및제어장치로부터 입력되는 매핑정보를 이용하여 각 프로젝터에 디스플레이될 HDMI 신호로 인코딩하여 제공하는 장치이다.
영상분석및제어장치(70)는 프로젝터(10)를 통해 다양한 테스트 패턴을 투사하도록 하고, 이를 카메라(20)를 통해 카메라영상데이터로 입력받은 후 프로젝터의 왜곡과 겹침, 색감, 조도 등을 파악하여 각 프로젝터(10)를 정합시키기 위한 제어 파라미터(매핑정보)를 산출하여 영상분배및변환장치(50)로 제공하는 장치이다.
영상정합장치(100)를 구성하는 프로젝터(10), 카메라(20), 콘텐츠재생장치(30), 영상분배및변환장치(50) 및 영상분석및제어장치(70)는 네트워크로 연결되어 트리거 신호를 비롯한 여러 제어 정보와 상태 정보를 공유하게 구성된다.
도 2는 본 발명에 따른 일 실시예인 영상정합장치를 구성하는 영상분배및변환장치의 구성도이다. 영상분배및변환장치(50)는 하나의 입력HDMI분배기와 N개의 영상변환모듈로 구성된다. 신호의 흐름에 따라 각 구성부의 역할을 설명하기로 한다.
영상분석및제어장치(70)로부터 전송되는 매핑정보(mapping information)는 네트워크콘트롤러(Network Controller)를 통해 입력된다. 매핑정보를 이용하여 매핑룩업테이블(mapping LUT) 및 후술하는 스케일링레지스터를 초기화한다. 관련된 매핑정보는 내부의 시리얼콘트롤러(Serial Controller)를 통해 해당 영상변환모듈로 전달된다. 매핑정보는 초기화 과정이나 이상이 발견되어 재 조정작업에서만 필요한 정보이기 때문에 반드시 실시간으로 전달될 필요는 없다. 즉, 매핑룩업테이블(mapping LUT) 및 스케일링레지스터의 초기화를 통하여 프로젝터(10)의 실질적 투사범위, 화면 크기 등을 한 번 설정하면 외부의 충격이나 온도 특성에 의해 이상이 발생될 때까지 매핑룩업테이블을 다시 셋팅할 필요는 없다. 따라서 실시간으로 처리하기 보다는 예를 들어, 하루에 한 번씩 주기적으로 영상분석및제어장치(70)로부터 전송되는 매핑정보(mapping information)를 이용하여 오프라인 상으로 매핑룩업테이블 및 스케일링레지스터를 재 조정하는 작업을 거쳐도 무방하다는 의미이다.
카메라로 촬영한 카메라영상데이터를 이용하여 영상분석및제어장치는 매핑정보를 생성한다. 이러한 매핑정보는 오프라인 상에서 영상변환모듈의 네트워크콘트롤러로 입력된 후, 다시 시리얼콘트롤러를 통해서 각 영상변환모듈로 전송된다. 각 영상변환모듈은 전송받은 매핑정보를 이용하여 매핑룩업테이블(Mapping LUT) 및 스케일링레지스터를 갱신하게 된다.
제2DMA로직부는 도 3에 도시된 바와 같이 매핑룩업테이블(Mapping LUT)을 이용하여 콘텐츠버퍼(content buffer)에 저장된 각 프로젝터가 디스플레이할 디지털영상데이터의 저장 위치를 찾은 후, 이를 변환한 후 디스플레이버퍼에 쓰기(write) 동작을 저장하는 동작을 반복하게 된다.
도 3을 보다 상세히 설명하면, 제2DMA로직부는 매핑룩업테이블의 (0,0) 위치에 저장된 포인터를 이용하여 콘텐츠버퍼의 주소를 파악하고, 해당 콘텐츠버퍼에 저장된 디지털영상데이터를 읽은 후 스케일링 처리 후 (0,0) 디스플레이버퍼에 쓰기(write) 동작하고, 다음으로 매핑룩업테이블의 (1,0) 위치에 저장된 포인터를 이용하여 콘텐츠버퍼의 주소를 파악하고, 해당 콘텐츠버퍼에 저장된 디지털영상데이터를 읽은 후 스케일링 처리 후 (1,0) 디스플레이버퍼에 쓰기(write) 동작하는 등 매핑룩업테이블 참조하여 콘텐츠버퍼에 저장된 디지털영상데이터를 스케일링 및 연산한 후 디스플레이버퍼에 쓰는 동작을 반복적으로 하드웨어 방식으로 진행하는 것이다.
즉, 제2DMA로직부는 사전에 초기화된 매핑 룩업테이블의 내용을 주소를 증가시키면서 참조하여 해당 콘텐츠버퍼의 주소를 읽어가면서 변환된 주소의 콘텐츠버퍼에 저장된 디지털영상데이터를 디스플레이버퍼에 써 넣은 동작을 반복하여 수행하게 된다. 이때 디지털영상데이터에 대한 스케일링 및 연산 작업을 수행할 수 있어서 실시간으로 디지털영상데이터 변환도 수행된다.
제2DMA로직부는 스케일링레지스터, 논리연산유니트 및 제2DMA로 구성된다.
스케일링레지스터는 입력되는 매핑정보에 따라 콘텐츠버퍼에 저장된 디지털영상데이터를 변환하기 위한 스케일링값(scaling factor)을 저장하는 레지스터이다. 후술하는 바와 같이 이웃하는 프로젝터가 상호 중첩 투사하는 영역을 투사하는 영역과 그렇지 않은 영역(비중첩 투사 영역)은 화소 처리(스케일링 처리)를 달리하여야 한다. 예를 들어 중첩 투사하는 영역에 해당하는 디지털영상데이터는 블렌딩 작업 처리가 필요하며, 비중첩 투사 영역에 해당하는 디지털영상데이터는 명도 및 색상 조정 작업 처리가 필요하다. 이러한 영역 구분에 따른 스케일링값이 스케일링레지스터에 저장된다.
논리연산유니트는 디지털영상데이터를 입력받으면 디스플레이버퍼에 쓰여질 주소에 따라 상기 스케일링값을 선택하고 선택된 스케일링값에 따라 상기 콘텐츠버퍼에 저장된 디지털영상데이터를 변환한 후 출력하는 구성부이다. 논리연산유니트는 디스플레이버퍼에 쓰여질 주소를 이용하여 중첩 투사 영역에 해당되는 화소인지 비중첩 투사 영역에 해당되는 화소인지 여부를 판별하고, 이에 적합한 스케일링값을 스케일링레지스터에서 선택하는 것이다.
제2DMA는 매핑룩업테이블의 주소를 증가시키면서 참조하여 콘텐츠버퍼의 주소를 파악하고, 주소를 이용하여 콘텐츠버퍼에 저장된 디지털영상데이터를 읽은 후 논리연산유니트에 전송하고, 논리연산유니트로부터 출력되는 스케일링 처리된 디지털영상데이터를 디스플레이버퍼의 해당 주소에 쓰기하는 DMA이다.
제3DMA는 디스플레이버퍼의 내용을 버스를 통해 읽은 후 이를 HDMI인코더로 입력시켜 인코딩된 HDMI신호를 해당 프로젝터로 출력되도록 구현하였다.
매핑룩업테이블(Mapping LUT)에는 화면의 (x,y) 지점에 디스플레이 할 화소 정보가 실제로는 콘텐츠버퍼(Contents Buffer)의 어느 곳에 있는지의 주소 정보가 저장되어 있다.
입력HDMI분배기(Input HDMI Distributer)는 콘텐츠재생장치(30)로부터 입력되는 HDMI 신호를 복수 개 영상변환모듈에 동일하게 공급하는 구성부이다.
영상변환모듈의 개수는 프로젝터의 개수에 따라 스케일러블(scalable)하게 증감할 수 있다. 각 영상변환모듈에 입력된 HDMI 신호는 HDMI디코더(HDMI Decoder)를 통해 디지털영상데이터로 변환된다. 디지털영상데이터는 연결된 제1DMA(Direct Memory Access)에 의해 메모리의 콘텐츠버퍼(Content Buffer) 영역에 저장된다. DMA는 내부에 메모리 전송 지점의 위치를 프로그램으로 설정하는 레지스터를 가지고 있으며 디지털영상데이터를 중앙처리장치(CPU)보다 메모리 접근의 우선권을 가지고 끊임없이 복사하는 동작을 무한 반복한다.
본 발명에서 제안하는 제1DMA, 제2DMA로직부 및 제3DMA는 중앙처리장치(CPU)와 버스를 공유하는 구조를 가지기 때문에 시스템 구성이 단순하며 중앙처리장치의 사전 설정에 의해 미리 정해 놓은 동작(메모리 접근)을 무한 반복 실행한다. 따라서 DMA가 메모리 접근을 하는 동안 중앙처리장치는 여유롭게 추가적인 영상처리 작업을 수행할 수 있다.
도 3은 본 발명에 따른 일 실시예인 영상정합장치를 구성하는 제2DMA로직부의 매핑 동작 처리 과정을 설명하는 구성도이다. R×C(Row × Column)는 화면의 해상도를 나타내는 것으로서, R(Row)은 화면의 행 해상도를 나타내며, C(Column)는 화면의 열의 해상도를 나타낸다. 도 3에 도시된 바와 같이 제2DMA로직부는 매핑룩업테이블(mapping LUT)의 정보에 따라 콘텐츠버퍼(Content Buffer)의 내용을 읽어 디스플레이버퍼(Display Buffer) 영역에 복사해 넣는 작업을 수행한다. 매핑룩업테이블(mapping LUT)에는 디스플레이될 좌표의 디지털영상데이터가 콘텐츠버퍼(Content Buffer)의 어느 위치에 있는지를 알려주는 포인터가 저장되어 있다. 포인터 정보는 영상분석및제어장치(70)가 기하학적 변환 과정을 통해 산출한 데이터로서 초기화 과정에서 네트워크를 통해 영상분배및변환장치의 중앙처리장치가 기록한 것이다.
제2DMA로직부는 매핑룩업테이블(Mapping LUT)의 포인터를 읽어 이것이 지시하는 콘텐츠버퍼(content Buffer)의 해당 주소에서 화소값(디지털영상데이터)를 읽어 낸 후 이를 기반으로 스케일링레지스터(Scaling Register)에 저장된 값 및 H/W 논리연산유니트(Arithmatic Unit)를 이용하여 새로운 값으로 변환(스케일링 처리)하여 디스플레이버퍼에 넣는다. 이때 매핑룩업테이블의 주소에 저장된 포인터로 억세스되는 콘텐츠버퍼에 저장된 디지털영상테이터는 동일한 주소의 디스플레이버퍼로 저장된다. 도 3에 도시된 예와 같이 (0,0) 매핑룩업테이블 주소와 관련된 (0,1) 콘텐츠버퍼 주소에 저장된 디지털영상데이터(Content)는 스케일링 변환된 후 (0,0) 디스플레이버퍼에 쓰여지는 것이다.
이 과정은 일단 초기화가 이루어지면 중앙처리장치의 개입없이도 전체 과정이 하드웨어 방식으로 이루어진다. 화소(디지털영상데이터) 값 변환 과정은 두 프로젝터의 투사 영역이 겹치는 부분에 대해 두 영상의 블렌딩(blending) 작업에서 특히 필요하며, 나머지 영역에 대해서는 명도, 색상 조정에 활용된다.
스케일링레지스터(Scaling Register)는 영상분배및변환장치로부터 입력받은 매핑정보를 이용하여 콘텐츠버퍼에 저장된 디지털영상데이터에 대한 스케일링값(scaling factor)을 저장한다. 예를 들어 설명하면, 이웃하는 두 개의 프로젝터가 중첩 투사하는 영역을 처리하기 위해서 스케일링레지스터(Scaling Register)에는 중첩 투사되는 화면 영역에 해당하는 디지털영상데이터를 가중 평균 기반의 블렌딩 작업 처리에 필요한 스케일링값이 저장되고, 비중첩 투사 영역에는 명도 및 색상 조정 작업을 위한 스케일링값이 저장되는 것이다. 중첩 투사 영역의 시작 위치와 종료 위치에 관한 정보는 영상분석및제어장치로부터 전송되는 매핑정보에 포함되어 있다. 따라서, 영상분배및변환장치를 초기화하는 과정에서 매핑정보에 포함되어 있는 중첩 투사 영역의 시작 위치와 종료 위치에 관한 정보가 논리연산유니트에 설정된다. 또한 부속되는 논리연산유니트(Arithmetic Unit)는 콘텐츠버퍼에 저장된 디지털영상데이터(화소값)이 전달되면 디스플레이버퍼에 쓰일 좌표정보에 따라 스케일링레지스터에 저장된 스케일링값을 선택하고 해당 스케일링값에 따라 콘텐츠버퍼에 저장된 디지털영상데이터를 변환한 후 출력한다.
즉, 본 발명에서는 각 프로젝터에 적합한 영상의 기하학적 변환을 위해 미리 만들어둔 매핑룩업테이블을 이용하고, 매핑룩업테이블에 저장된 포인터를 읽은 후 콘텐츠버퍼에 저장된 화소 값을 읽는다. 이렇게 읽은 화소값을 스케일링레지스터및논리연산유니트를 이용하여 적합하게 변환한 후 디스플레이버퍼에 쓰는(write) 동작을 제안하는 변형 DMA 방식(제2DMA로직부)으로 구현함으로써 하드웨어 방식으로 실시간으로 빠르게 수행할 수 있다. 해당 DMA 장치는 쓰는 동작을 수행할 때 자체의 프로그래머블한 레지스터 및 연산자를 통해 화소 값을 변경하는 것도 가능하다. 이러한 DMA로직부 구조는 FPGA(Field Programmable Gate Array) 등의 프로그래머블 소자를 사용하여 실제 상황에서 구현 가능하다.
전술한 바와 같이 각 프로젝터에 디스플레이 되어야 하는 적합한 HDMI 데이터 매핑 작업이 매핑룩업테이블(Mapping LUT)과 복수 개 DMA를 통해 하드웨어 방식으로 수행하기 때문에 중앙처리장치의 부담없이 GPU(Graphic Processing Unit)과 같은 전용 연산 장치 없이도 실시간으로 처리할 수 있는 장점이 있다.
제3DMA는 기하학적 변환이 이루어진 디스플레이버퍼(Display Buffer)의 영상 데이터를 읽은 후 HDMI인코더(HDMI Encoder)로 보낸다. HDMI인코더(HDMI Encoder)는 HDMI 신호로 인코딩한 후 이를 해당 프로젝터로 전송한다. 각 DMA와 중앙처리장치는 상호 우선권 배정 알고리즘으로 메모리의 소유 권한을 지니며 중앙처리장치가 가장 낮은 순위의 메모리 점유권을 갖도록 배정되어 있다.
이때 중앙처리장치는 단순 데이터 전송뿐만 아니라 영상의 화질 개선, 색감조정, 명도 조정, 블렌딩 작업 등 지역적 혹은 전역적 처리를 추가로 수행할 수 있다. 본 발명에서 제안하는 스케일러블 구조는 프로젝터마다 중앙처리장치와 메모리가 별도로 배정되어 있고, 각 영상변환모듈은 활당된 프로젝터의 필요한 영역만을 담당하기 때문에 프로젝터의 개수 증가가 메모리 대역폭과 중앙처리장치의 처리 역량에 제한되지 않는 장점이 있다.
도 4는 본 발명에 따른 일 실시예인 영상정합장치를 구성하는 영상분석및제어장치의 구성도이다. 영상분석및제어장치(70)는 다수의 카메라(20)로부터 영상을 입력받아 그 영상을 이용하여 각 프로젝터(10)에서 출력할 영상의 내용을 조정하는 파라미터(매핑정보)를 생성한다. 영상분석및제어장치(70)는 USB/네트워크 콘트롤러(USB/Network Controller)를 통해서 카메라(20)로부터 카메라영상데이터를 입력받은 후 중앙처리장치는 이를 이용하여 매핑정보를 생성한다. 생성된 매핑정보는 네트워크콘트롤러(Network Controller)를 통해 영상분배및변환장치(50)로 전송된다. 영상분석및제어장치(70)의 세부 구성 및 처리 알고리듬은 본 발명의 대상이 아니므로 상세하게 설명하지 않기로 한다.
도 5는 영상 정합 전 세 개의 프로젝터를 이용하여 파노라마 스크린에 투사하는 상태를 나타내는 개념도이다. 도 5에 도시된 바와 같이 세 개의 프로젝터(10a, 10b, 10c)를 이용하여 파노라마 스크린을 투사하면 영상 정합 전에는 이웃하는 프로젝터에서 투사되는 영상의 일부는 정합을 위해 중첩하여 투사한다. 도 5에서 프로젝터(10a)를 기준으로 설명하면 프로젝터(10a)는 A영역에 걸쳐 스크린(90)에 투사하고 있으며, 이중 B영역에는 프로젝터(10a) 단독으로 투사하고 'A영역 - B영역'에서는 프로젝터(10a) 및 프로젝터(10b)에서 같은 영역을 동시에 부드러운 정합을 위하여 중첩하여 투사하며, 이 영역을 중첩 투사 영역이라 하였다. 프로젝터 10c의 경우도 좌측 일부분을 프로젝터 10b가 투사하는 영역을 중첩하여 투사한다. 이 같은 상황에서 가장 바람직한 실질적 파노라마 투사 영역은 검은 색 테두리(90)라 할 수 있다. 카메라는 각 투사 화면의 최대 범위를 상회하는 영역을 촬영하여 영상분석및제어장치에 전송한다.
도 6은 영상 정합 후 세 개의 프로젝터를 이용하여 파노라마 스크린에 투사하는 실질적 투사 화면을 보이는 개념도이다. 영상 정합 후에는 도 6에 도시된 바와 같이 중첩하여 투사하는 영역을 최소화하면서 중첩되면서 투사하는 영역에서 이웃하는 프로젝터가 투사하는 영상이 일치되도록 왜곡을 보정하여 투사하도록 하는 것이다.
도 7은 본 발명에 따른 영상 정합 과정을 간단히 설명하는 흐름도이다. 도 1과 같은 영상 정합 장치를 이용하여 카메라로부터 출력되는 카메라영상데이터를 캘리브레이션하여 왜곡을 제거한다(S710). 카메라는 광각 렌즈 등을 이용하여 영상이 촬영되므로 실제 영상을 왜곡시켜 출력되어 카메라에 의해 촬영된 영상은 캘리브레이션할 필요가 있다. 다음 단계에서 각 카메라로부터 출력되고 캘리브레이션된 카메라영상데이터를 분석하여 각 프로젝터가 투사하는 영역을 파악한다(S720).
이후 복수 개 프로젝터로 출력 가능한 최대 화면을 결정하고, 최대 화면을 구성하기 위해 각 프로젝트가 실질적으로 투사할 영역을 계산한다(S730). 도 8은 카메라를 이용하여 인식된 보정 전 및 보정 후 프로젝터 10a에 의해서 투사된 영역과 프로젝터 10b에 의해서 투사된 영역을 각각 파란색과 붉은 색 실선 및 파선으로 표시한 설명도이다. 두 개의 프로젝터(10a, 10b)를 이용하여 나타낼 수 있는 최대 화면은 검은 색 사각 실선으로 도시하였다. 도 8에 도시된 바와 같이 두 대의 프로젝터(10a, 10b)에 의해 투사되는 영역의 범위 내에서 두 대의 프로젝터(10a, 10b)가 왜곡없이 형성할 수 있는 최대 화면(검정 사각형)이 결정된다. 도 8에서 파란색 실선은 보정 전 프로젝터 10a에 의해서 투사된 영역을 나타내며, 파란색 파선은 보정 후 프로젝터 10a에 의해서 투사되어야 하는 영역을 나타낸 것이며, 붉은색 실선은 보정 전 프로젝터 10b에 의해서 투사된 영역을 나타내며, 붉은색 파선은 보정 후 프로젝터 10b에 의해서 투사되어야 하는 영역을 나타낸 것이다. 도 8에서는 설명의 편의상 두 대의 프로젝터에 의해서 투사되는 영상만을 대상으로 두 대의 프로젝터로 형성할 수 있는 최대 화면 및 각 프로젝터가 투사하는 보정 전 투사 영역을 도시한 것이다. 동일한 원리로 세 대 또는 그 이상의 프로젝터를 이용하는 투사 장치에 확장하여 적용할 수 있음은 물론이다.
다음으로 각 프로젝터의 보정전 투사 영역을 보정 후 투사 영역으로 변환하기 위한 영상 변환하기 위한 매핑정보를 생성하고, 해당 매핑정보를 영상분배및변환장치로 업로드하게 된다(S740). 도 9는 프로젝터(10a)에서 보정 전 투사 영역과 영상 변환 후 보정 후 투사 영역을 함께 도시한 예이다.
S750 단계 이후 도 2, 도 3 및 해당 설명 부분에 기재한 바와 같이 DMA 기반의 매핑변환을 통하여 하드웨어적으로 영상 출력을 수행하게 된다(S750). 이를 갖단히 설명하면, 콘텐츠재생장치로부터 입력되는 원본 HDMI 신호를 분배하여 N 개 분배된 HDMI 신호로 출력하고, 분배된 HDMI 신호를 디코딩하여 디지털영상데이터로 변환한 후, 변환된 디지털영상데이터를 콘텐츠버퍼에 저장하고, 매핑정보를 이용하여 콘텐츠버퍼의 주소에 대한 포인터를 매핑룩업테이블에 저장한 후, 매핑룩업테이블를 이용하여 콘텐츠버퍼의 주소를 파악하고, 주소를 이용하여 콘텐츠버퍼에 저장된 디지털영상데이터를 읽은 후 디스플레이버퍼에 쓰는(write) 작업을 하드웨어적 방식(제2DMA로직부에서 수행)으로 반복 수행함으로써 프로젝터 영상 정합을 수행하게 된다.
도 7에 제시된 S710 단계에서 S740 단계는 영상분석및제어장치에서 수행되는 단계로서, 반드시 실시간으로 수행될 필요가 없는 단계들이며, S750 단계는 영상분배및변환장치에서 수행되며 지금까지 설명한 바와 같이 DMA를 이용하여 하드웨어적으로 중앙처리장치에 부담을 주지 않으면서 실시간으로 처리되는 과정이다.
상기에서 본 발명의 바람직한 실시예가 특정 용어들을 사용하여 설명되었지만 그러한 용어는 오로지 본 발명을 명확히 설명하기 위한 것일 뿐이며, 본 발명의 실시예 및 기술된 용어는 다음의 청구범위의 기술적 사상 및 범위로부터 이탈되지 않고서 여러가지 변경 및 변화가 가해질 수 있는 것은 자명한 일이다. 이와 같이 변형된 실시예들은 본 발명의 사상 및 범위로부터 개별적으로 이해되어져서는 안되며, 본 발명의 청구범위 안에 속한다고 해야 할 것이다.
10, 10a, 10b, 10c: 프로젝터
20: 카메라
30: 콘텐츠재생장치
50: 영상분배및변환장치
70: 영상분석및제어장치
90: 스크린
100: 영상정합장치

Claims (6)

  1. 파노라마 스크린에 투사하는 N개(N은 2 이상의 자연수) 프로젝터와, 상기 스크린에 투사된 영상을 촬영하여 카메라영상데이터로 출력하는 복수 개 카메라와, 상기 카메라영상데이터를 분석하여 각 프로젝터가 투사할 영상을 정합시키기 위한 매핑정보를 출력하는 영상분석및제어장치와, 원본 HDMI 신호를 출력하는 콘텐츠재생장치 및 상기 원본 HDMI 신호를 디지털영상데이터로 변환하고 상기 매핑정보에 따라 디지털영상데이터를 처리한 후 HDMI신호로 인코딩하여 상기 프로젝터에 전송하는 영상분배및변환장치를 갖는 영상정합장치에 있어서, 상기 영상분배및변환장치는
    상기 원본 HDMI 신호를 분배하여 N개 분배된 HDMI 신호로 출력하는 입력HDMI분배기(Input HDMI Distributer)와,
    상기 N개 프로젝터에 각각 대응되는 영상변환모듈을 포함하고,
    상기 각 영상변환모듈은
    상기 분배된 HDMI 신호를 디코딩하여 디지털영상데이터로 변환하는 HDMI디코더와,
    상기 변환된 디지털영상데이터를 저장하는 콘텐츠버퍼와,
    상기 콘텐츠버퍼의 주소에 대한 포인터를 저장하는 매핑룩업테이블과,
    상기 프로젝터에 디스플레이될 디지털영상데이터를 저장하는 디스플레이버퍼 및
    상기 매핑룩업테이블의 주소를 증가시키면서 참조하여 상기 콘텐츠버퍼의 주소를 파악하고, 상기 콘텐츠버퍼의 주소를 이용하여 상기 콘텐츠버퍼에 저장된 디지털영상데이터를 읽은 후 스케일링 처리 후 상기 디스플레이버퍼에 쓰는(write) 작업을 하드웨어적 방식으로 반복 수행하는 제2DMA로직부를 포함하는 것을 특징으로 하는 멀티 프로젝터 영상 정합을 위한 영상분배및변환장치.
  2. 제1항에 있어서, 상기 제2DMA로직부에는
    상기 매핑정보에 따라 상기 콘텐츠버퍼에 저장된 디지털영상데이터를 변환하기 위한 스케일링값을 저장하는 스케일링레지스터와,
    디지털영상데이터를 입력받은 후, 상기 디스플레이버퍼에 쓰여질 주소에 따라 상기 스케일링값을 선택하고 상기 콘텐츠버퍼에 저장된 디지털영상데이터를 상기 선택된 스케일링값을 이용하여 변환한 후 출력하는 논리연산유니트 및
    상기 매핑룩업테이블의 주소를 증가시키면서 참조하여 상기 콘텐츠버퍼의 주소를 파악하고, 상기 주소를 이용하여 상기 콘텐츠버퍼에 저장된 디지털영상데이터를 읽은 후 상기 논리연산유니트에 전송하고, 상기 논리연산유니트로부터 출력되는 스케일링 처리된 디지털영상데이터를 상기 디스플레이버퍼에 쓰기하는 제2DMA가 포함되는 것을 특징으로 하는 멀티 프로젝터 영상 정합을 위한 영상분배및변환장치.
  3. 제2항에 있어서,
    상기 각 영상변환모듈에는
    상기 HDMI디코더로부터 출력되는 디지털영상데이터를 상기 콘텐츠버퍼로 쓰는(write) 제1DMA와,
    상기 프로젝터에 정합된 디지털영상데이터를 인코딩하는 HDMI인코더 및
    상기 디스플레이버퍼에 저장된 디지털영상데이터를 상기 HDMI인코더로 전송하는 제3DMA를 더 구비하는 것을 특징으로 하는 멀티 프로젝터 영상 정합을 위한 영상분배및변환장치.
  4. 콘텐츠재생장치로부터 입력되는 원본 HDMI 신호를 N개(N은 2 이상의 자연수) 프로젝터를 사용하여 파노라마 스크린으로 정합시켜 투사하고 이를 복수 개 카메라를 이용하여 촬영하여 영상을 정합하는 멀티 프로젝터 영상 정합을 위한 영상정합장치에서 프로젝트 영상을 정합하는 방법으로서,
    복수 개 카메라에 의해 촬영된 영상을 캘리브레이션하는 제1단계와,
    캘리브레이션된 카메라영상데이터를 이용하여 각 프로젝터가 투사하는 영역을 파악하는 제2단계와,
    복수 개 프로젝터로 출력 가능한 최대 화면를 결정하고, 상기 최대 화면을 형성하기 위해 각 프로젝터가 투사해야 하는 영역을 계산하는 제3단계와,
    상기 제2단계에서 파악된 각 프로젝터가 투사하는 영역을 상기 제3단계에서 계산된 각 프로젝터가 투사하는 영역으로 변환하는 영상 처리를 하기 위한 매핑정보를 생성하는 제4단계와,
    상기 콘텐츠재생장치로부터 입력되는 상기 원본 HDMI 신호를 분배하여 N 개 분배된 HDMI 신호로 출력하는 제5단계와,
    상기 분배된 HDMI 신호를 디코딩하여 디지털영상데이터로 변환하는 제6단계와,
    상기 변환된 디지털영상데이터를 콘텐츠버퍼에 저장하고, 상기 매핑정보를 이용하여 상기 콘텐츠버퍼의 주소에 대한 포인터를 매핑룩업테이블에 저장하는 제7단계와,
    상기 매핑룩업테이블의 주소를 증가시키면서 참조하여 상기 콘텐츠버퍼의 주소를 파악하고, 상기 콘텐츠버퍼의 주소를 이용하여 상기 콘텐츠버퍼에 저장된 디지털영상데이터를 읽은 후 상기 매핑정보를 이용하여 스케일링 처리 후 디스플레이버퍼에 쓰는(write) 작업을 하드웨어적 방식으로 반복 수행하는 제8단계를 포함하는 것을 특징으로 하는 영상정합장치에서 프로젝트 영상을 정합하는 방법.
  5. 제4항에 있어서,
    상기 영상정합장치에는 상기 매핑정보에 따라 상기 콘텐츠버퍼에 저장된 디지털영상데이터를 변환하기 위한 스케일링값을 저장하는 스케일링레지스터가 더 구비되고,
    상기 제8단계는
    상기 매핑룩업테이블의 주소를 증가시키면서 참조하여 상기 콘텐츠버퍼의 주소를 파악하는 제8-1단계와,
    상기 파악된 콘텐츠버퍼의 주소에 저장된 디지털영상데이터를 읽는 제8-2단계와,
    상기 디스플레이버퍼에 쓰여질 주소에 따라 상기 스케일링레지스터에 저장된 스케일링값을 선택하고 상기 제8-2단계에서 읽은 디지털영상데이터를 상기 선택된 스케일링값을 이용하여 변환한 후 출력하는 제8-3단계 및
    상기 제8-3단계에서 출력되는 디지털영상데이터를 상기 디스플레이버퍼에 쓰는 제8-4단계를 포함하는 것을 특징으로 하는 영상정합장치에서 프로젝트 영상을 정합하는 방법.
  6. 제4항 또는 제5항에 있어서, 상기 제8단계 이후에 수행되는 단계로서
    상기 콘텐츠버퍼에 저장된 디지털영상데이터를 인코딩하여 상기 각 프로젝터로 전송하는 제9단계를 더 포함하는 것을 특징으로 하는 영상정합장치에서 프로젝트 영상을 정합하는 방법.
KR1020200006634A 2019-12-23 2020-01-17 멀티 프로젝터 영상 정합을 위한 영상분배및변환장치 및 이를 이용한 영상 정합 방법 KR102348429B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2020/010552 WO2021132832A1 (ko) 2019-12-23 2020-08-10 멀티 프로젝터 영상 정합을 위한 영상분배및변환장치 및 이를 이용한 영상 정합 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20190173303 2019-12-23
KR1020190173303 2019-12-23

Publications (2)

Publication Number Publication Date
KR20210081210A KR20210081210A (ko) 2021-07-01
KR102348429B1 true KR102348429B1 (ko) 2022-01-10

Family

ID=76860348

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200006634A KR102348429B1 (ko) 2019-12-23 2020-01-17 멀티 프로젝터 영상 정합을 위한 영상분배및변환장치 및 이를 이용한 영상 정합 방법

Country Status (1)

Country Link
KR (1) KR102348429B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023229495A1 (ru) * 2022-05-25 2023-11-30 Евгений Александрович СОЛОВЬЕВ Дисплей обратной проекции

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2570187B2 (ja) * 1994-07-15 1997-01-08 日本電気株式会社 Ｄｍａ転送装置および方法
KR20160031966A (ko) 2014-09-15 2016-03-23 한국과학기술원 멀티 프로젝션 시스템 및 이의 프로젝터 보정 방법
KR102328020B1 (ko) * 2015-04-03 2021-11-17 한국전자통신연구원 하나의 룩업 테이블을 이용한 파노라마 영상 출력 시스템 및 방법

Also Published As

Publication number Publication date
KR20210081210A (ko) 2021-07-01

Similar Documents

Publication Publication Date Title
US8102332B2 (en) Intensity scaling for multi-projector displays
US11381802B2 (en) Methods and apparatus for capturing images of an environment
US6802614B2 (en) System, method and apparatus for ambient video projection
US6536907B1 (en) Aberration compensation in image projection displays
US20070030452A1 (en) Image adaptation system and method
US8401339B1 (en) Apparatus for partitioning and processing a digital image using two or more defined regions
CN108536405B (zh) 用于数据处理系统的显示控制器及其操作方法
JP2005006341A (ja) パノラマ画像形成器
KR102348429B1 (ko) 멀티 프로젝터 영상 정합을 위한 영상분배및변환장치 및 이를 이용한 영상 정합 방법
WO2021132832A1 (ko) 멀티 프로젝터 영상 정합을 위한 영상분배및변환장치 및 이를 이용한 영상 정합 방법
JP2020503760A (ja) リアルタイムレンダリング効率を改善させた映像管理システム及びその方法
WO2019075349A1 (en) CREATION OF PANORAMIC PROJECTIONS OF MULTIPLE CAMERAS
JP2006074805A (ja) マルチプロジェクション映像表示装置
CN114449236A (zh) 投影装置与其投影画面校正方法
CN109417614A (zh) 高分辨率内容回放包
JP2005039849A (ja) 映像表示システム
JP2004282712A (ja) 調整装置
JP5676924B2 (ja) 投影装置及び投影方法
TW201516553A (zh) 顯示裝置與應用其之顯示方法
JP5387276B2 (ja) 画像処理装置及び画像処理方法
CN108668116B (zh) 投影控制方法、装置和投影机
US20210084254A1 (en) Panoramic picture in picture video
JP2004282711A (ja) 投射表示装置
JP6040217B2 (ja) 投影装置及び投影方法
US20210084268A1 (en) Image processing device, image processing method, program, and projection system

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant