KR20070103347A

KR20070103347A - Contents dispaly on large screen with 360 degrees panoramic camera

Info

Publication number: KR20070103347A
Application number: KR1020070099550A
Authority: KR
Inventors: 이제성
Original assignee: 이제성
Priority date: 2007-10-03
Filing date: 2007-10-03
Publication date: 2007-10-23

Abstract

A method for displaying an image, which is taken by a 360 degrees panoramic camera, with high resolution and a wide viewing angle are provided to allow a user to construct a desired image space directly on a screen image. Image contents are photographed by a 360 degrees panoramic camera. The image contents provide high resolution and a wide viewing angle. The image contents are divided into multi-channel areas and processed suitably for a screen area. The image contents are displayed on a large-sized screen having high resolution and providing a wide viewing angle by using a multiple projector expanded in horizontal and vertical directions. The screen area is divided into several sections, and different 360 degree panorama contents are projected on the sections.

Description

High resolution wide viewing angle large display method using image content of 360 degree panoramic camera {Contents dispaly on large screen with 360 degrees panoramic camera}

{고해상도 광시야각 카메라촬영 및 다채널 디스플레이, 영상처리 기술}{High resolution wide viewing angle camera photography, multi-channel display, image processing technology}

최근의 대형디스플레이의 경향은 글로벌 가전사에 의해 100인치급 평판 디스플레이 장치가 개발되는 등 점차 풀HD급 이상의 고해상도와 대형화 추세에 있다. 또한 평면 스크린의 한계를 극복하기 위해 유연성을 갖는 휘어짐이 가능한 스크린과 곡면 모니터가 개발되고 있다. Recently, the trend of large displays is gradually increasing in high resolution and larger than full HD, such as 100-inch flat panel display devices developed by global home appliances. In addition, flexible and flexible screens and curved monitors have been developed to overcome the limitations of flat screens.

이에 사람의 눈에 넓은 광시야각을 제공하고 실감있는 컨텐츠 표현이 가능한 초고화질의 디스플레이 기술이 요구되고 있다. 이러한 추세에서 고화질의 360도 전방향 파노라마 촬영용 카메라로 제작된 컨텐츠를 이용하여 360도에 가까운 광시야각을 제공하는 스크린화면 표현을 통해 마치 촬영 현장에 있는 것과 같은 높은 실감을 제공하는 새로운 시도가 본 발명의 아이디어이다. Accordingly, there is a demand for an ultra high definition display technology that provides a wide viewing angle to the human eye and enables realistic content expression. In this trend, a new attempt to provide a high sensation as if being on a shooting scene is achieved through a screen display that provides a wide viewing angle close to 360 degrees using contents produced by a high quality 360 degree omnidirectional panoramic camera. Is the idea.

본 발명은 기존 많은 연구들이 이루어지고 있는 몰입형 실감영상 디스플레이와 관 련된 연구 분야의 하나이다. 360도 파노라마 촬영용 카메라로 제작한 컨텐츠의 대형디스플레이 투사 방법이란 사람이 촬영 현장에 있는 것과 같은 현장감을 제공하기 위한 최적의 디스플레이 표현에 관한 것이다. The present invention is one of the research fields related to the immersive sensory image display in which many studies have been made. Projection of a large display of content produced by a 360-degree panoramic camera is directed to an optimal display representation for providing a realistic feeling as if a person is in a shooting scene.

유사한 방법의 CAVE시스템은 전,후,좌,우,상,하단의 6개면을 영상으로 표현하여 사람에게 몰입감을 제공하고자한 방식이지만, 사람의 시점에 따른 왜곡면 보정 처리의 어려움으로 인해 3차원 영상의 경우 효과적이며, 2D영상의 경우 실제감 표현이 힘들다. 또한 그래픽스 영상이 아닌 실제환경의 카메라 촬영 영상을 CAVE 스크린 화면에 표현하는 것은 불가능하다. The CAVE system of similar method is to provide immersion to the person by expressing the six faces of front, back, left, right, top, and bottom as images, but due to the difficulty of the distortion correction process according to the viewpoint of the person It is effective in the case of video, and it is difficult to express real feeling in case of 2D image. In addition, it is impossible to express the camera shot image of the real environment other than the graphic image on the CAVE screen.

반면, 360도 파노라마 카메라는 5개 이상의 카메라로 촬영된 영상을 합성하여 하나의 대형 이미지를 만드는 원리를 가지는 것으로, 카메라와 디스플레이용 장치를 1대 1로 대응시켜 표현하기에 용이하다. 본 발명은 이러한 360도 카메라와 다채널 프로젝션 시스템을 이용하여 사람에게 몰입감과 실제감을 제공하고자 한다. 또한 사용자가 원하는 형태의 이미지 공간을 직접 구성할 수 있는 인터렉티브 환경을 제공하는 발명이다. On the other hand, the 360-degree panoramic camera has a principle of making a single large image by synthesizing images captured by five or more cameras, and it is easy to express a camera and a display device in a one-to-one correspondence. The present invention aims to provide immersion and realism to a person using such a 360 degree camera and a multi-channel projection system. In addition, the present invention provides an interactive environment in which a user can directly configure an image space in a desired form.

기존의 고해상도와 광시야각, 대형 디스플레이에 대한 연구들이 많은 진보를 이루었지만 영상컨텐츠는 3D 컴퓨터 그래픽스 영상이나 2D 사진 이미지에 의존해왔다. 또한 스크린화면의 경우 평면이나 꺽인 화면, 진보한 CAVE 정방형 화면, 1대의 프로젝터에 어안렌즈를 장착한 저해상도의 대형 돔 화면이 대세를 이루고 있으며, 일부 군용 전투기와 장갑차와 같은 시뮬레이터 장치 및 자동차와 선박업체의 선행디자인설계 과정에 곡면 스크린을 이용하여 그래픽스 영상을 투사한 사례들이 있다. 하지만 현재까지 현장감이 느껴지는 실감 동영상 컨텐츠를 이용한 고해상도 광시야각, 대형 디스플레이의 방법은 제시되지 못하고 있다. Although many studies on high resolution, wide viewing angle, and large display have made progress, image content has been relied on 3D computer graphics images or 2D photographic images. In the case of the screen, a flat or angled screen, an advanced CAVE square screen, and a low-resolution large dome screen with a fisheye lens mounted on one projector are prevalent. There is a case of projecting a graphic image using a curved screen in the previous design design process. However, until now, a high-resolution wide viewing angle and a large display method using realistic video content with a sense of realism have not been presented.

본 발명에서는 360도 파노라마 카메라 촬영 기술, 다채널 고해상도 디스플레이 표현기술, 영상처리 기술을 응용하여 고해상도 광시야각, 대형 디스플레이 스크린 화면을 구현함으로써 사용자에게 몰입감과 실제감을 제공하고자 한다. 또한 사용자가 원하는 형태의 이미지 공간을 스크린 화면상에서 직접 구성할 수 있는 인터렉티브 환경을 제공하는 발명이다. In the present invention, by applying a 360-degree panoramic camera shooting technology, multi-channel high-resolution display representation technology, image processing technology to implement a high-resolution wide viewing angle, a large display screen screen to provide immersion and realism to the user. In addition, the present invention provides an interactive environment that allows a user to directly configure an image space in a desired form on a screen screen.

단조로운 벽면 인테리어를 디지털 기술을 이용하여 다양한 형태의 표현이 가능해져 서 건축물, 사무실, 가정, 매장 인테리어, 전시공간, 행사장, 관광안내, 엔트테인먼트, 보안관재시설, 교육시설 등을 위한 이미지 공간을 효과적으로 연출할 수 있어 응용분야가 다양하다. By using digital technology, the monotonous wall interior can be expressed in various forms, effectively creating an image space for architecture, offices, homes, store interiors, exhibition spaces, event halls, tour guides, entertainment, security facilities, educational facilities, etc. It can produce a variety of applications.

360도 파노라마 카메라는 카메라의 촬영지점에서 수평축으로 360도 영역을 커버할 뿐만아니라 상단에 위치한 카메라를 통해 상단 이미지를 제공함으로써, 평면, 꺽인화면, CAVE형, 원통형, 원뿔형, 터널형, 돔형 등의 모든 형태의 스크린화면에 실감 동영상 컨텐츠를 고해상도 광시야각, 대형 화면으로 디스플레이할 수 있다. 360-degree panoramic camera not only covers the 360-degree area on the horizontal axis from the camera's shooting point, but also provides the top image through the camera located at the top, so that the flat, angled, cave, cylindrical, cone, tunnel, dome, etc. Realistic video content can be displayed on a wide screen with high resolution wide viewing angles on all types of screen screens.

360도 파노라마 카메라로 촬영한 영상컨텐츠를 다채널 고해상도 영상처리 및 디스플레이 표현기술을 이용하여 광시야각으로 디스플레이 함으로써 사용자에게 몰입감과 실제감을 제공할 수 있다. 또한 광시야각 대형스크린에 하나의 360도 파노라마 컨텐츠를 이용하여 전체 스크린 화면을 구성할 뿐아니라, 광시야각 스크린을 몇개의 영역으로 나누어 각각의 영역에 서로다른 360도 파노라마 컨텐츠를 투사하는 다중공간 개별영상 디스플레이의 구현이 가능하다. 이 영역에 디스플레이 되는 영상컨텐츠는 각각 마우스나 조이스틱, 레이저포인터와 같은 사용자의 인터렉티브 장치와 연동함으로써, 사용자가 원하는 형태의 이미지 공간을 스크린 화면상에서 직접 구성할 수 있는 인터렉티브 환경을 제공할 수 있다.By using the multi-channel high-resolution image processing and display expression technology, image content shot with a 360-degree panoramic camera can be displayed at a wide viewing angle to provide immersion and realism to the user. In addition, the whole screen screen is composed using a single 360-degree panoramic content on a wide-view angle large screen, and a multi-space individual image that projects a wide 360-degree panoramic content in each area by dividing the wide-view angle screen into several areas. Implementation of the display is possible. The image contents displayed in this area can be linked with the user's interactive device such as a mouse, a joystick, or a laser pointer, thereby providing an interactive environment in which the user can directly configure an image space of a desired shape on the screen.

도면 1.Drawing 1.

360도 파노라마 카메라로 영상컨텐츠를 촬영하는 단계와 영상처리기술을 이용해 이미지를 합성, 가공, 분할하는 단계 및 다채널 영상 디스플레이를 위한 영상서버장치로 각 프로젝션 디스플레이 장치에 1:1로 대응되는 영상을 제공하는 단계 및 다채널 프로젝션 장치를 통해 각 채널별 이미지를 투사하는 단계로 이루어진 고해상도 광시야각 대형 디스플레이 표현방법 및 장치A video server device for capturing video content with a 360-degree panoramic camera, synthesizing, processing, and segmenting images using image processing technology, and multi-channel video display. High resolution wide viewing angle large display representation method and device comprising the steps of providing and projecting an image for each channel through a multi-channel projection device

도면 2.Drawing 2.

광시야각 대형스크린을 몇개의 영역으로 나누어 각각의 영역에 서로다른 360도 파노라마 컨텐츠를 투사하는 다중공간 개별영상 디스플레이 표현방법의 예시로써, 270도 원통형 스크린을 3개의 영역으로 나눠서 각각의 영역에 서로다른 3개의 360도 파노라마 영상컨텐츠를 디스플레이하는 표현방법 An example of a multi-space individual image display representation that divides a wide viewing angle large screen into several areas and projects different 360-degree panoramic contents in each area. The 270-degree cylindrical screen is divided into three areas and different in each area. Expression method to display three 360-degree panoramic image content

Claims

In producing and expressing realistic video contents that provide immersion and realism on all types of screen screens such as flat, angled screen, CAVE type, cylindrical type, cone type, tunnel type and dome type,

Capturing a wide viewing angle high resolution image content with a 360 degree panoramic camera;

An image processing step of dividing the photographed high resolution image content into a multi-channel region and processing the screen to fit the screen region;

A representation step of displaying on a high-resolution wide viewing angle large screen screen by using multiple projectors extended in a horizontal and vertical direction;

System

In the display expression technology of claim 1, not only the entire screen screen using a 360-degree panoramic content on a wide viewing angle large screen, but also divided the wide viewing angle screen into several areas, each of which is different 360 degrees Representation method of multi-space individual image display for projecting panorama contents.

In the multi-space individual image display representation method of claim 2, by linking each 360-degree panoramic sensory image content with a user's interactive device such as a mouse, joystick, laser pointer, the image space of the user's desired shape on the screen screen Multi-space individual image display method that provides an interactive environment that can be configured directly.

In order to display high resolution wide viewing angle and the entire area of a large screen screen as a seamless panoramic image, non-linear distortion correction (Won-Line Distortion Correction) warping the image of each projection area according to the screen shape, and then each projection Image representation method to display in wide viewing angle and high resolution image by providing a seamless screen at the connection part between projection screens through brightness and color correction steps for overlapping areas