KR20150103528A - The apparatus and method of camera placement and display for free viewpoint video capture - Google Patents

The apparatus and method of camera placement and display for free viewpoint video capture Download PDF

Info

Publication number
KR20150103528A
KR20150103528A KR1020140025081A KR20140025081A KR20150103528A KR 20150103528 A KR20150103528 A KR 20150103528A KR 1020140025081 A KR1020140025081 A KR 1020140025081A KR 20140025081 A KR20140025081 A KR 20140025081A KR 20150103528 A KR20150103528 A KR 20150103528A
Authority
KR
South Korea
Prior art keywords
view image
unit
smart camera
circular frame
hemispherical
Prior art date
Application number
KR1020140025081A
Other languages
Korean (ko)
Other versions
KR101556741B1 (en
Inventor
박구만
김미소
양지희
박상일
Original Assignee
서울과학기술대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울과학기술대학교 산학협력단 filed Critical 서울과학기술대학교 산학협력단
Priority to KR1020140025081A priority Critical patent/KR101556741B1/en
Publication of KR20150103528A publication Critical patent/KR20150103528A/en
Application granted granted Critical
Publication of KR101556741B1 publication Critical patent/KR101556741B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams

Abstract

The present invention provides an apparatus and method for forming a hemispherical smart camera for providing a realistic free viewpoint image. The present invention is to solve problems: that telepresence and immersion are reduced since it is hard to acquire a free viewpoint image of an upper and lower portion of an object to be photographed, as a conventional free viewpoint image acquisition apparatus is configured with an image system based on a square camera arrangement; that installation time and costs are increased as additional supporting frames should be installed since the square camera arrangement is configured by 50 to 100 cameras; and that transmission of a free viewpoint image in real time is difficult due to a system overload caused by a large amount of calculation when matching distance and correcting the image. To this end, the apparatus of the present invention comprises: a hemisphere frame (100); a smart camera unit (200); and a multi-view image acquisition control module (300). Smart cameras are arranged in a hemispherical shape, thus it is possible to acquire a multi-view image for a front surface portion and an upper end of an object to be photographed, and movements of every object. Therefore, a client can be provided with a realistic free viewpoint image which gives immersion, a stereoscopic effect, and a real feeling, enabling the client to feel like being in the spot, which are improved 70% compared to a conventional art. In addition, the smart camera unit formed in a fork shape can be remotely controlled by each identification ID in the multi-view image acquisition control module, and can continuously photograph movements of the object to be photographed in a panorama form, thereby decreasing the amount of calculation necessary for matching distance and correcting the image to equal to or less than 60% compared to the conventional art. Accordingly, as both inner side and outer side of a cylinder are used as a display in a cylindrical display unit, an image from a viewpoint of an audience and an image from a viewpoint of a player can be provided.

Description

실감형 자유시점 영상 제공을 위한 반구형 스마트 카메라 형성 장치 및 방법{THE APPARATUS AND METHOD OF CAMERA PLACEMENT AND DISPLAY FOR FREE VIEWPOINT VIDEO CAPTURE}BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a hemispherical smart camera forming apparatus and method for providing a real-

본 발명은 스마트카메라를 반구형으로 배치함으로서 촬영대상물 객체의 전면부, 상단, 전체 물체들의 움직임에 대한 다시점 영상을 획득할 수 있어 클라이언트에게 현장에 있는 듯한 몰입감과 입체감, 현실감을 줄 수 있는 실감형 자유시점 영상 제공을 위한 반구형 스마트 카메라 형성 장치 및 방법에 관한 것이다.
By arranging a smart camera in a hemispherical shape, it is possible to acquire a multi-view image of the movement of the front, top, and all objects of the object to be photographed, thereby realizing a sense of immersion, And to a hemispherical smart camera forming apparatus and method for providing free-view-point images.

고선명 털레비전(HDTV) 이후, 차세대 디스플레이로서 3D 입체 텔레비전이 널리 연구되고 있다. 입체 텔레비전의 초기 방식으로 양안시차를 이용하는 방법들이 제시되었으나, 이 방식은 관찰자가 어느 정도의 입체감은 느낄 수 있으나 사람이 실제 어떤 사물을 볼 때와 같은 생동감 및 현실감을 느끼기에는 부족하다. Since high-definition television (HDTV), 3D stereoscopic television has been widely studied as a next generation display. Although stereoscopic television is used as an initial method of using binocular parallax, this method is not enough for the observer to feel a certain degree of stereoscopic feeling, but to feel the same feeling of life and reality as when a person actually looks at an object.

이러한 단점을 극복하기 위해, 2개 이상의 카메라로부터 획득된 다시점 영상을 이용하여 디스플레이함으로써, 보다 생동감 있는 입체 영상을 표현하는 연구가 많이 진행되고 있다.In order to overcome such disadvantages, many studies have been made to display a more realistic stereoscopic image by displaying multi-view images obtained from two or more cameras.

다시점 영상처리에 사용되는 동영상 스트림은 일반적으로 시점당 1개의 카메라를 이용하여 얻어지며, 다시점 카메라 배열방식에는 일직선(in-line) 형태의 평행(parrel) 카메라 배열, 원형(radical) 카메라 배열 등이 있다. The video stream used for the multi-view image processing is generally obtained by using one camera per viewpoint, and the multi-view camera arrangement method includes an in-line parallel paral camera arrangement, a radical camera array .

그런데, 원형 카메라 배열의 경우, 각기 다른 카메라로부터 얻어진 다시점 영상을 하나의 스크린에 디스플레이할 때 시점 왜곡이 일어날 수 있다.However, in the case of the circular camera array, viewpoint distortion may occur when multi-view images obtained from different cameras are displayed on one screen.

이러한 문제는 평행 카메라 배열 방식으로 해결할 수 있으나, 평행 배열의 경우 상하의 입체감을 표시하기 어려운 문제점이 있었다. Such a problem can be solved by a parallel camera arrangement method, but there is a problem that it is difficult to display a vertical three-dimensional feeling in a parallel arrangement.

그래서, 최근에는 정사각형 형태의 정방형 카메라 배열에 의한 다시점 신호처리및 디스플레이 장치가 연구되고 있다.Therefore, in recent years, a multi-viewpoint signal processing and display device using a square camera array has been studied.

3D 입체 텔레비전용 다시점 비디오 시스템을 구현하기 위해서는, 송신부에서 다양한 배열 형태를 취하는 카메라로부터 획득된 영상을 전송하고, 수신부에서는 전송된 데이터를 바탕으로 디스플레이를 수행한다. In order to realize a multi-viewpoint video system for 3D stereoscopic television, an image obtained from a camera having various arrangements is transmitted by a transmitter, and a receiver performs display based on transmitted data.

종래특허로서, 국내등록특허공보 제10-0590025호에서는 다시점 정방향 카메라 배열에 기반한 다시점 영상의 일부로부터 중간 영상을 합성하는 장치로 이루어지고. 합성하고자 하는 중간 영상과 이에 이웃하는 세 개의 참조 영상이 중첩하는 영역을 확인하는 거리매칭 수단과, 상기 중첩 영역에서 상기 참조 영상 간의 차분 영상이 존재하는 블록에 대하여 블록 매칭을 수행하는 블록매칭 수단과, 상기 블록 매칭 결과에 따라 상기 중첩 영역의 영상을 보정하는 영상보정 수단과, 상기 보정된 중첩 영역을 통합하여 중간 영상을 합성하는 영상합성 수단을 포함하는 다시점 정방향 카메라 배열에 기반한 중간영상합성 장치가 제시된 바 있으나,As a conventional patent, Korean Patent Registration No. 10-0590025 comprises an apparatus for synthesizing an intermediate image from a part of a multi-view image based on a multi-view camera array. A block matching means for performing block matching on a block in which the difference image exists between the reference images in the overlapping region, An intermediate image synthesizing unit based on a multi-viewpoint forward camera arrangement including image correction means for correcting an image of the overlapping region according to a result of the block matching, and image synthesizing means for synthesizing the corrected overlapping regions, However,

이는 단지 정방형 카메라 배열을 기반으로 한 영상 시스템으로 구성됨으로서, 촬영대상물의 상단 및 후단 부위의 자유시점영상획득이 어려워, 현장에 있는 듯한 현장감과 몰입감이 떨어지는 문제점이 있었다.This is because it is constituted by a video camera system based on a square camera array. Thus, it is difficult to acquire free view images of the upper and rear portions of the object to be photographed.

또한, 정방향 카메라 배열이 50개~100개로 구축되기 때문에 별도의 지지프레임이 설치되어야 하므로, 설치시간과 비용이 많이 들고, 거리매칭과 영상보정시 연산량이 많아 시스템 과부하가 걸려서 실시간 자유시점영상 전송이 어려운 문제점이 있었다.
In addition, since the forward camera array is constructed from 50 to 100, a separate support frame must be installed. Therefore, installation time and cost are increased, and the system is overloaded due to a large amount of computation during distance matching and image correction. There was a difficult problem.

국내등록특허공보 제10-0590025호Korean Patent Registration No. 10-0590025

상기의 문제점을 해결하기 위해 본 발명에서는 스마트카메라를 반구형으로 배치함으로서 촬영대상물 객체의 전면부, 상단, 전체 물체들의 움직임에 대한 다시점 영상을 획득할 수 있어 클라이언트에게 현장에 있는 듯한 몰입감과 입체감, 현실감을 줄 수 있는 실감형 자유시점영상을 제공시킬 수 있고, 삼지창형상으로 이루어진 스마트 카메라부를 다시점 영상획득제어모듈에서 식별ID별로 원격제어할 수 있으며, 원통형디스플레이부에서 원통의 안쪽과 바깥쪽 모두 디스플레이로 활용함으로써 관객입장에서의 영상과 선수입장에서의 영상을 제공할 수 있는 실감형 자유시점 영상 제공을 위한 반구형 스마트 카메라 형성 장치 및 방법을 제공하는데 그 목적이 있다.
In order to solve the above problems, according to the present invention, by arranging the smart camera in a hemispherical shape, it is possible to acquire multi-view images of the movement of the front, top, and all objects of the object to be captured, A real-time free-view image that can give a sense of reality can be provided, and a smart camera unit having a trident shape can be remotely controlled for each ID by a multi-view image acquisition control module. In the cylindrical display unit, And to provide a hemispherical smart camera forming apparatus and method for providing a real-time free-view image capable of providing images from the viewpoints of viewers and viewers on the players' side.

상기의 목적을 달성하기 위해 본 발명에 따른 실감형 자유시점 영상 제공을 위한 반구형 스마트 카메라 형성 장치는According to another aspect of the present invention, there is provided a hemispherical smart camera forming apparatus for providing a real-

특정공간의 내부 천장에 연결되어 촬영대상물을 중심으로 상단방향으로 에워싸는 층상구조의 반구형상으로 형성되고, 스마트 카메라부가 격자점을 이루며 설치되어 외압에 의해 흔들리지 않도록 지지하는 반구형 프레임(100)과, A hemispherical frame 100 which is connected to an inner ceiling of a specific space and is formed into a hemispherical shape of a layered structure that surrounds an object to be photographed in an upper direction around the object to be photographed and supports the smart camera so as to form a grid point,

반구형 프레임에 위치되고, 다시점 영상획득제어모듈의 제어신호에 따라 구동되어, 모터를 이용해 전기적 팬(Pan : 수평방향), 틸트(Tilt : 수직 방향), 줌(Zoom : 광학적 줌 배율) 조정을 하면서 촬영대상물을 초광각렌즈를 통해 다시점 영상(Multiview)으로 촬영한 후, 근거리통신망으로 연결된 다시점 영상획득제어모듈쪽으로 촬영한 다시점 영상을 전송시키는 스마트 카메라부(200)와,And is driven in accordance with the control signal of the multi-view image acquisition control module so that the electric fan (Pan) (horizontal direction), tilt (vertical direction) and zoom (optical zoom magnification) A smart camera unit 200 for photographing an object to be photographed by a multi-view through an ultra-wide angle lens and transmitting a multi-view image photographed to a multi-view image acquisition control module connected to a local area network,

스마트 카메라부와 근거리통신망으로 연결되어 스마트 카메라부의 전체적인 구동을 제어시키고, 스마트 카메라부로부터 다시점 영상을 수신받아 스마트 카메라부에 부여한 식별ID별로 촬영한 다시점 영상을 획득한 후, 3D모델링객체와 파노라마 배경을 결합한 실감형 자유시점영상을 생성시켜 원통형디스플레이부로 전송시키는 다시점 영상획득제어모듈(300)로 구성됨으로서 달성된다.
The system controls the overall operation of the smart camera unit connected to the smart camera unit and the LAN, acquires multi-view images from the smart camera unit, acquires multi-view images taken by the IDs assigned to the smart camera unit, And a multi-view image acquisition control module 300 for generating a real-view free-view image combined with a panoramic background and transmitting the real-view free-view image to the cylindrical display unit.

이상 설명한 바와 같이, 본 발명에서는 클라이언트에게 기존보다 70% 향상된 현장에 있는 듯한 몰입감과 입체감, 현실감을 줄 수 있는 실감형 자유시점영상을 제공시킬 수 있고, 삼지창형상으로 이루어진 스마트 카메라부를 다시점 영상획득제어모듈에서 식별ID별로 원격제어할 수 있으며, 촬영대상물 객체의 움직임을 파노라마 형태로 연속촬영할 수 있어, 거리매칭 및 영상보정시 필요한 연산량을 기존에 비해 60% 이하로 떨어뜨릴 수 있으며, 원통형디스플레이부에서 원통의 안쪽과 바깥쪽 모두 디스플레이로 활용함으로써 관객입장에서의 영상과 선수입장에서의 영상을 제공할 수 있고, 실감형 디스플레이를 통한 가상체험서비스, 광고서비스를 제공할 수 있는 좋은 효과가 있다.
As described above, according to the present invention, it is possible to provide a real-time free-view image capable of giving a client a sense of immersion, three-dimensional feeling, and realistic feeling that is 70% more improved than the existing one, and a smart camera unit having a tri- The control module can remotely control by the identification ID, and the movement of the object to be imaged can be continuously photographed in a panoramic shape, so that the calculation amount required for distance matching and image correction can be reduced to 60% It is possible to provide images both in terms of viewers and players, and to provide a virtual experience service and an advertisement service through a realistic display, by utilizing both inside and outside of the cylinder as a display.

도 1은 본 발명에 따른 실감형 자유시점 영상 제공을 위한 반구형 스마트 카메라 형성 장치(1)의 구성요소를 도시한 구성도,
도 2는 본 발명에 따른 실감형 자유시점 영상 제공을 위한 반구형 스마트 카메라 형성 장치 중 반구형 프레임의 구성요소를 도시한 구성도,
도 3은 본 발명에 따른 스마트 카메라부가 3개가 하나의 세트를 갖는 삼지창배열로 형성된 것을 도시한 일실시예도,
도 4는 본 발명에 따른 실감형 자유시점 영상 제공을 위한 반구형 스마트 카메라 형성 장치 중 스마트 카메라부의 구성요소를 도시한 블럭도,
도 5는 본 발명에 따른 다시점 영상획득제어모듈의 구성요소를 도시한 블럭도,
도 6은 본 발명에 따른 스마트 카메라부의 외형 구성요소를 도시한 일실시예도,
도 7은 본 발명에 따른 원통형디스플레이부를 통해 실감형 자유시점영상을 원통형 안쪽과 바깥쪽에서 표출시키는 것을 도시한 일실시예도,
도 8은 본 발명에 따른 실감형 자유시점 영상 제공을 위한 반구형 스마트 카메라 형성 방법을 도시한 순서도.FIG. 1 is a block diagram showing the components of a hemispherical smart camera forming apparatus 1 for providing a real-time free-view image according to the present invention.
FIG. 2 is a block diagram illustrating a hemispherical frame of a hemispherical smart camera forming apparatus for providing a real-time free-view image according to the present invention.
Figure 3 is an illustration of an embodiment in which three smart camera portions according to the present invention are formed in a triangular arrangement with one set,
4 is a block diagram illustrating components of a smart camera unit of a hemispherical smart camera forming apparatus for providing a real-view free-view image according to the present invention.
5 is a block diagram illustrating components of a multi-view image acquisition control module according to the present invention.
FIG. 6 is a view showing an embodiment of the external appearance of the smart camera unit according to the present invention,
FIG. 7 is a view showing an embodiment of displaying a real-view free-view image through a cylindrical display unit according to the present invention on a cylindrical inner side and an outer side,
8 is a flowchart illustrating a method of forming a hemispherical smart camera for providing a real-time free-view image according to the present invention.

이하, 본 발명에 따른 바람직한 실시예를 도면을 첨부하여 설명한다.Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings.

도 1은 본 발명에 따른 실감형 자유시점 영상 제공을 위한 반구형 스마트 카메라 형성 장치(1)의 구성요소를 도시한 구성도에 관한 것으로, 이는 반구형 프레임(100), 스마트 카메라부(200), 다시점 영상획득제어모듈(300)로 구성된다.
FIG. 1 is a block diagram illustrating components of a hemispherical smart camera forming apparatus 1 for providing a real-view free-view image according to the present invention, which includes a hemispherical frame 100, a smart camera unit 200, Point image acquisition control module 300.

먼저, 본 발명에 따른 반구형 프레임(100)에 관해 설명한다.First, the hemispherical frame 100 according to the present invention will be described.

상기 반구형 프레임(100)는 특정공간의 내부 천장에 연결되어 촬영대상물을 중심으로 상단방향으로 에워싸는 층상구조의 반구형상으로 형성되고, 스마트 카메라부가 격자점을 이루며 설치되어 외압에 의해 흔들리지 않도록 지지하는 역할을 한다.The hemispherical frame 100 is formed in a hemispherical shape of a layered structure that is connected to an inner ceiling of a specific space and surrounds an object to be imaged in an upper direction around the object to be photographed. The smart camera is installed to form a lattice point, .

이는 도 2에 도시한 바와 같이, 반구형 본체(110), 제1 원형프레임(120), 제2 원형프레임(130), 제3 원형프레임(140), 반호형프레임(150)으로 구성된다.
2, it comprises a hemispherical main body 110, a first circular frame 120, a second circular frame 130, a third circular frame 140, and a half frame 150.

상기 반구형 본체(110)는 반구형상을 이루어져, 특정공간의 천장 일측에 고정되어 외압으로부터 흔들리지 않도록 지지하는 역할을 한다.
The hemispherical main body 110 has a hemispherical shape and is fixed to one side of a ceiling of a specific space to support it from external pressure so as not to be shaken.

상기 제1 원형프레임(120)은 반구형 본체의 하단부위에 위치되고, 촬영대상물을 중심으로 에워싸면서 수평방향의 원형구조로 형성되어 촬영대상물의 하단 둘레 부위를 다시점영상으로 촬영하도록 스마트카메라부를 설치시키는 역할을 한다.
The first circular frame 120 is positioned on the lower end of the hemispherical main body and is formed into a circular structure in a horizontal direction surrounding the object to be photographed to set up a smart camera unit for photographing the lower- .

상기 제2 원형프레임(130)은 반구형 본체의 중단부위에 위치되고, 제1 원형프레임의 직경보다 0.2~0.5배 크기로 이루어져 촬영대상물의 상단 둘레 부위를 다시점영상으로 촬영하도록 스마트카메라부를 설치시키는 역할을 한다.
The second circular frame 130 is positioned at an intermediate position of the hemispherical main body and has a size 0.2 to 0.5 times larger than the diameter of the first circular frame so that a smart camera unit is installed to photograph the upper peripheral portion of the object to be photographed in multi- It plays a role.

상기 제3 원형프레임(140)은 반구형 본체의 상단부위에 위치되고, 제2 원형프레임의 직경보다 0.2~0.5배 크기로 이루어져 촬영대상물의 꼭지점 둘레 부위를 다시점영상으로 촬영하도록 스마트 카메라부를 설치시키는 역할을 한다.
The third circular frame 140 is located at the upper end of the hemispherical main body and is 0.2 to 0.5 times larger than the diameter of the second circular frame so that the smart camera unit is installed to photograph the periphery of the vertex of the object to be photographed in multi- It plays a role.

상기 반호형프레임(150)은 제1 원형프레임, 제2 원형프레임, 제3 원형프레임사이에 세로방향으로 호형구조를 이루며 연결되어, 제1 원형프레임, 제2 원형프레임, 제3 원형프레임이 외압에 의해 흔들리지 않도록 지지하는 역할을 한다.
The semi-hoop frame 150 is connected to the first circular frame, the second circular frame, and the third circular frame so as to have an arcuate configuration in the longitudinal direction, so that the first circular frame, the second circular frame, So as not to be shaken.

본 발명에 따른 제1 원형프레임(120), 제2 원형프레임(130), 제3 원형프레임(140), 반호형프레임(150)은 내구성이 강하고, 가벼운 알루미늄합금재질로 이루어진다.
The first circular frame 120, the second circular frame 130, the third circular frame 140, and the half frame 150 according to the present invention are made of a lightweight aluminum alloy material having high durability.

다음으로, 본 발명에 따른 스마트 카메라부(200)에 관해 설명한다.Next, the smart camera unit 200 according to the present invention will be described.

상기 스마트 카메라부(200)는 반구형 프레임에 위치되고, 다시점 영상획득제어모듈의 제어신호에 따라 구동되어, 모터를 이용해 전기적 팬(Pan : 수평방향), 틸트(Tilt : 수직 방향), 줌(Zoom : 광학적 줌 배율) 조정을 하면서 촬영대상물을 초광각렌즈를 통해 다시점 영상(Multiview)으로 촬영한 후, 근거리통신망으로 연결된 다시점 영상획득제어모듈쪽으로 촬영한 다시점 영상을 전송시키는 역할을 한다.The smart camera unit 200 is positioned in a hemispherical frame and is driven in accordance with a control signal of the multi-view image acquisition control module to generate electric pan (horizontal), tilt (vertical), zoom Zoom: Multiplexing the object to be photographed through the ultra-wide angle lens while adjusting the optical zoom magnification, and then transmitting the multi-view image photographed to the multi-view image acquisition control module connected to the local area network.

이는 도 4에 도시한 바와 같이, 카메라본체(210), 카메라식별ID설정부(220), 초광각렌즈부(230), 팬틸트모터부(240), 구동드라이버부(250), OSD(On Screen Display)부(260), 마이컴부(270), 근거리무선통신모듈(280)로 구성된다.
4, a camera body 210, a camera identification ID setting unit 220, an ultra-wide angle lens unit 230, a pan tilt motor unit 240, a driving driver unit 250, an OSD A display unit 260, a microcomputer 270, and a short-range wireless communication module 280.

첫째, 본 발명에 따른 카메라본체(210)에 관해 설명한다.First, the camera body 210 according to the present invention will be described.

상기 카메라본체(210)는 직사각형 박스로 이루어져, 외압으로부터 각 기기를 보호하고 지지하는 역할을 한다.The camera body 210 is a rectangular box, and protects and supports each device from external pressure.

이는 헤드 선단부에 초광각렌즈부(230)가 형성되고, 후단 일측에 OSD(On Screen Display)부(260)가 형성되며, 내부공간에 카메라식별ID설정부(220), 팬틸트모터부(240), 구동드라이버부(250), 마이컴부(270), 근거리무선통신모듈(280)가 포함되어 구성된다.
An OSD (On Screen Display) unit 260 is formed on a rear end of the head, a camera identification ID setting unit 220, a pan tilt motor unit 240, A driving driver 250, a microcomputer 270, and a short-range wireless communication module 280. The short-

둘째, 본 발명에 따른 카메라식별ID설정부(220)에 관해 설명한다.Second, the camera identification ID setting unit 220 according to the present invention will be described.

상기 카메라식별ID설정부(220)는 카메라본체에 고유의 식별ID를 부여해서 설정시키는 역할을 한다.The camera identification ID setting unit 220 assigns a unique ID to the camera body and sets the ID.

이는 숫자와 영문으로 이루어진 식별ID로 구성된다.
It consists of ID and ID.

셋째, 본 발명에 따른 초광각렌즈부(230)에 관해 설명한다.Third, the ultra-wide angle lens unit 230 according to the present invention will be described.

상기 초광각렌즈부(230)는 카메라본체의 선단 헤드부에 위치되어, 120도~170도의 화각을 갖으면서, 촬영대상물을 촬영시키는 역할을 한다.The ultra-wide angle lens unit 230 is positioned at the head end of the camera body, and has a viewing angle of 120 to 170 degrees to photograph an object to be photographed.

이는 줌 기능이 없는 고정형, 수동 줌, 전동 줌 중 어느 하나가 선택되어 구성된다.This is done by selecting one of fixed type, manual zoom and motorized zoom without zoom function.

본 발명에서는 전동 줌으로 구성된다. In the present invention, an electric zoom is used.

상기 전동 줌의 경우 마이컴부로부터 전송된 줌 명령에 따라 작은 스텝모터로 초광각렌즈부를 해당 배율이 되도록 움직인다. In the case of the electric zoom, the ultra-wide angle lens unit is moved with a small step motor so as to have a magnification according to the zoom command transmitted from the microcomputer unit.

이때 촬영대상물 객체의 거리에 따라 초점이 맞지 않을 수 있으므로 초점조절형 구동 모터로 초광각 렌즈부를 움직여 초점을 조절하는 오토 포커스(Auto Focus)기능이 부가되어 구성된다.
In this case, since the focus may not be adjusted depending on the distance of the object to be photographed, an auto focus function for adjusting the focus by moving the ultra-wide angle lens unit with the focus adjustment type driving motor is added.

넷째, 본 발명에 따른 팬틸트모터부(240)에 관해 설명한다.Fourth, a description will be given of the pan tilt motor unit 240 according to the present invention.

상기 팬틸트모터부(240)는 초광각렌즈부 후단 일측에 연결되어 초광각렌즈부를 움직여 원하는 팬 및 틸트 각도로 구동시키는 역할을 한다.The pan-tilt motor unit 240 is connected to a rear end of the super-wide-angle lens unit to move the super-wide-angle lens unit to a desired pan and tilt angle.

이는 스텝(Step) 모터, AC모터, BLDC 모터 중 어느 하나가 선택되어 구성된다.
This is configured by selecting either a stepping motor, an AC motor, or a BLDC motor.

다섯째, 본 발명에 따른 구동드라이버부(250)에 관해 설명한다.Fifth, the driving driver unit 250 according to the present invention will be described.

상기 구동드라이버부(250)는 마이컴부의 제어신호에 따라 구동되어, 카메라본체의 전기적 팬(Pan : 수평방향), 틸트(Tilt : 수직 방향), 줌(Zoom : 광학적 줌 배율)을 조정시키는 역할을 한다.
The driving driver unit 250 is driven in response to a control signal of the microcomputer to adjust an electric fan (pan) (horizontal direction), a tilt (vertical direction), and a zoom (optical zoom ratio) do.

여섯째, 본 발명에 따른 OSD(On Screen Display)부(260)에 관해 설명한다.Sixth, the OSD (On Screen Display) unit 260 according to the present invention will be described.

상기 OSD(On Screen Display)부(260)는 마이컴부로부터 메뉴나 정보를 전달받아 내장된 폰트로 디스플레이시키는 역할을 한다.The OSD (On Screen Display) unit 260 receives a menu or information from the microcomputer and displays the menu or the information in a built-in font.

이는 클라이언트가 선택할 수 있는 설정 메뉴나 시간, 위치, 경보 상태 등과 같은 정보들을 비디오 신호에 오버레이시켜 표시하도록 구성된다.
This is configured to overlay the video signal with information such as a setting menu, a time, a position, an alarm status, etc., which the client can select.

일곱째, 본 발명에 따른 마이컴부(270)에 관해 설명한다.Seventh, the microcomputer unit 270 according to the present invention will be described.

상기 마이컴부(270)는 카메라식별ID설정부, 초광각렌즈부, 팬틸트모터부, 구동드라이버부, OSD부와 연결되어, 각 기기의 전반적인 동작을 제어하고, 다시점영상획득제어부의 제어신호에 따라 구동되어, 다시점 영상 촬영한 후, 촬영된 다시점 영상을 다시점 영상획득제어모듈로 전송시키도록 제어하는 역할을 한다.The microcomputer unit 270 is connected to the camera identification ID setting unit, the ultra-wide angle lens unit, the pan tilt motor unit, the driving driver unit, and the OSD unit to control the overall operation of each device, And controls to transmit the photographed multi-view image to the multi-view image acquisition control module.

이는 고속의 원칩 마이크로 프로세서 8비트, 16비트 또는 네트워크 모듈별 디바이스 연결 수량에 따라 32비트 마이크로프로세서로 구성된다.
It consists of a high-speed one-chip microprocessor 8-bit, 16-bit or a 32-bit microprocessor depending on the number of devices connected per network module.

여덟째, 본 발명에 따른 근거리무선통신모듈(280)에 관해 설명한다.Eighth, a short range wireless communication module 280 according to the present invention will be described.

상기 근거리무선통신모듈(280)은 다시점 영상획득제어모듈와 마이컴부를 근거리통신망으로 연결시켜, 다시점영상획득제어부로부터 전달된 제어신호를 마이컴부로 전송시키고, 이에 따라 응답신호로서 다시점 영상획득신호를 다시점영상획득제어부로 전송시키는 역할을 한다.The short-range wireless communication module 280 connects the multi-view image acquisition control module and the microcomputer unit to a local area network, transmits the control signal transmitted from the multi-view image acquisition control unit to the microcomputer, To the multi-view image acquisition control unit.

이는 지그비통신, 블루투스통신, 적외선통신 중 어느 하나가 선택되어 구성된다.
This is configured by selecting any one of Zigbee communication, Bluetooth communication, and infrared communication.

또한, 본 발명에 따른 스마트 카메라부(200)는 도 3에 도시한 바와 같이, 촬영대상물을 중심으로 반구형 프레임의 제1 원형프레임, 제2 원형프레임, 제3 원형프레임 상에 3개가 하나의 세트를 갖는 삼지창배열로 형성되어 파노라마 구조로 다시점 영상을 촬영시키도록 구성된다.As shown in FIG. 3, the smart camera unit 200 according to the present invention includes a first circular frame, a second circular frame, and a third circular frame of three hemispherical frames, So as to photograph a point image again in a panoramic structure.

이처럼, 삼지창배열로 스마트 카메라부가 구성됨으로서, 다시점 영상획득제어모듈에서 식별ID별로 원격제어할 수 있고, 촬영대상물 객체의 움직임을 파노라마 형태로 연속촬영할 수 있어, 거리매칭 및 영상보정시 필요한 연산량을 기존에 비해 60% 이하로 떨어뜨릴 수 있는 효과가 있다.
In this way, the smart camera unit can be remotely controlled by the identification ID in the multi-view image acquisition control module and the movement of the object to be imaged can be continuously photographed in the panoramic form by the smart camera unit as the trident array, It has the effect of dropping below 60% compared with the existing one.

다음으로, 본 발명에 따른 다시점 영상획득제어모듈(300)에 관해 설명한다.Next, the multi-view image acquisition control module 300 according to the present invention will be described.

상기 다시점 영상획득제어모듈(300)는 스마트 카메라부와 근거리통신망으로 연결되어 스마트 카메라부의 전체적인 구동을 제어시키고, 스마트 카메라부로부터 다시점 영상을 수신받아 스마트 카메라부에 부여한 식별ID별로 촬영한 다시점 영상을 획득한 후, 3D모델링객체와 파노라마 배경을 결합한 실감형 자유시점영상을 생성시켜 원통형디스플레이부로 전송시키는 역할을 한다.The multi-view image acquisition control module 300 is connected to the smart camera unit through a local area network to control the overall operation of the smart camera unit, receives multi-view images from the smart camera unit, After acquiring the point image, a realistic free-view image combining the 3D modeling object and the panoramic background is generated and transmitted to the cylindrical display unit.

이는 3D 객체모델링부(310), 파노라마 영상모델링부(320), 실감형 자유시점영상제어부(330), 영상전송부(340)로 구성된다.
The 3D object modeling unit 310 includes a 3D modeling unit 310, a panorama image modeling unit 320, a real-time free viewpoint image control unit 330, and a video transmission unit 340.

상기 3D 객체모델링부(310)는 스마트 카메라부에서 전달된 다시점영상을 수신받아, 다시점영상에서 움직이는 객체와 배경을 분할시켜 객체만을 추출시키고, 각 뷰(View)당 추출된 객체들의 크기를 서로 동일한 크기로 설정시킨 후, 추출된 객체들의 3D정보를 추출해서 3D 객체를 생성시키는 역할을 한다.
The 3D object modeling unit 310 receives the multi-view image transmitted from the smart camera unit, extracts only the object by dividing the moving object and the background in the multi-view image, and determines the size of the extracted objects per view After setting the same size to each other, 3D information of the extracted objects is extracted to create a 3D object.

상기 파노라마 영상모델링부(320)는 스마트 카메라부에서 전달된 다시점영상을 수신받아, 다시점영상에서 움직이는 객체와 배경을 분할시켜 배경만을 추출시키고, 각 뷰(View)당 추출된 배경들의 특징점을 추출한 후, 영상 재정렬과 정합, 색상보정을 통해 파노라마 영상을 생성시키는 역할을 한다.
The panorama image modeling unit 320 receives the multi-view image transmitted from the smart camera unit, extracts only the background by dividing the moving object and background in the multi-view image, and extracts the feature points of the extracted backgrounds per view After the extraction, it plays a role of creating a panoramic image through image reordering, matching, and color correction.

상기 실감형 자유시점영상제어부(330)는 3D 객체모델링부(310), 파노라마 영상모델링부(320)와 연결되어, 3D모델링객체와 파노라마 배경을 결합하여 실감형 자유시점영상을 생성시킨 후, 영상송출부를 통해 원통형디스플레이부로 전송시키는 역할을 한다.
The real-view free-view image controller 330 is connected to the 3D object modeling unit 310 and the panorama image modeling unit 320 to combine the 3D modeling object and the panoramic background to generate a real-time free-view image, And transmits the data to the cylindrical display unit through the transmission unit.

상기 영상전송부(340)는 실감형 자유시점영상제어부를 통해 생성된 실감형 자유시점영상을 원통형디스플레이부로 전송시키는 역할을 한다.
The video transmission unit 340 transmits the real-time free-view image generated through the real-time free-view image controller to the cylindrical display unit.

또한, 본 발명에 따른 원통형디스플레이부(400)는 도 7에 도시한 바와 같이, 실감형 자유시점영상을 원통형 안쪽과 바깥쪽에서 표출시키는 역할을 한다.In addition, as shown in FIG. 7, the cylindrical display unit 400 according to the present invention plays a role of displaying the real-view type free-view image on the inside and the outside of the cylindrical shape.

이는 복수개의 플렉시블디스플레이부(410)가 서로 연결되어 원통형상으로 형성되고, 원통의 안쪽과 바깥쪽에 모두 자유시점영상을 표출시키도록 트윈구조로 플렉시블디스플레이부가 형성되어 구성된다.
The flexible display units 410 are connected to each other to form a cylindrical shape, and a flexible display unit is formed in a twin structure so that a free view image is displayed on both the inside and the outside of the cylinder.

이하, 본 발명에 따른 실감형 자유시점 영상 제공을 위한 반구형 스마트 카메라 형성 장치의 구체적인 동작과정에 관해 설명한다.
Hereinafter, a specific operation of the hemispherical smart camera forming apparatus for providing real-time free-view images according to the present invention will be described.

먼저, 반구형 프레임의 제1 원형프레임, 제2 원형프레임, 제3 원형프레임 상에 스마트 카메라부를 3개가 하나의 세트를 갖는 삼지창배열로 설치한다(S10).
First, three smart camera units are installed on the first circular frame, the second circular frame, and the third circular frame of the hemispherical frame in a triangular array having one set (S10).

다음으로, 다시점 영상획득제어모듈의 제어하에 제어하고자 하는 스마트 카메라부를 식별ID별로 스마트 카메라부의 위치와 방향을 팬,틸트,줌으로 조정하면서 촬영대상물 객체를 중심으로 설정시킨다(S20).
Next, the smart camera unit to be controlled under the control of the multi-view image acquisition control module is set with the object to be photographed as the center, while adjusting the position and direction of the smart camera unit by the identification ID by pan, tilt and zoom (S20).

다음으로, 다시점 영상획득제어모듈의 제어하에 스마트 카메라부가 구동되어 촬영대상물을 초광각렌즈를 통해 다시점 영상(Multiview)으로 촬영한 후, 근거리통신망으로 연결된 다시점 영상획득제어모듈쪽으로 촬영한 다시점 영상을 전송시킨다(S30).
Next, the smart camera section is driven under the control of the multi-view image acquisition control module to photograph the object to be photographed by the multi-view through the ultra-wide angle lens, and then to the multi-view image acquisition control module connected to the local area network (S30).

다음으로, 다시점 영상획득제어모듈에서 스마트 카메라부로부터 다시점 영상을 수신받아 스마트 카메라부에 부여한 식별ID별로 촬영한 다시점 영상을 획득한 후, 3D모델링객체와 파노라마 배경을 결합한 실감형 자유시점영상을 생성시켜 원통형디스플레이부로 전송시킨다(S40).
Next, the multi-view image acquisition control module receives the multi-view image from the smart camera module and obtains the multi-view image captured by the identification ID assigned to the smart camera module. Then, the multi- And transmits the generated image to the cylindrical display unit (S40).

끝으로, 원통형디스플레이부가 다시점 영상획득제어모듈로부터 전송된 실감형 자유시점영상을 수신받아 원통형 안쪽과 바깥쪽에서 표출시킨다(S50).
Finally, the cylindrical display unit receives the real-time free-view image transmitted from the multi-view image acquisition control module and displays it on the inside and the outside of the cylinder (S50).

1 : 반구형 스마트 카메라 형성 장치 100 : 반구형 프레임
110 : 반구형 본체 120 : 제1 원형프레임
130 : 제2 원형프레임 140 : 제3 원형프레임
150 : 반호형프레임 200 : 스마트 카메라부
300 : 다시점 영상획득제어모듈1: hemispherical smart camera forming apparatus 100: hemispherical frame
110: hemispherical body 120: first circular frame
130: second circular frame 140: third circular frame
150: Semi frame 200: Smart camera part
300: Multi-view image acquisition control module

Claims (6)

특정공간의 내부 천장에 연결되어 촬영대상물을 중심으로 상단방향으로 에워싸는 층상구조의 반구형상으로 형성되고, 스마트 카메라부가 격자점을 이루며 설치되어 외압에 의해 흔들리지 않도록 지지하는 반구형 프레임(100)과,
반구형 프레임에 위치되고, 다시점 영상획득제어모듈의 제어신호에 따라 구동되어, 모터를 이용해 전기적 팬(Pan : 수평방향), 틸트(Tilt : 수직 방향), 줌(Zoom : 광학적 줌 배율) 조정을 하면서 촬영대상물을 초광각렌즈를 통해 다시점 영상(Multiview)으로 촬영한 후, 근거리통신망으로 연결된 다시점 영상획득제어모듈쪽으로 촬영한 다시점 영상을 전송시키는 스마트 카메라부(200)와,
스마트 카메라부와 근거리통신망으로 연결되어 스마트 카메라부의 전체적인 구동을 제어시키고, 스마트 카메라부로부터 다시점 영상을 수신받아 스마트 카메라부에 부여한 식별ID별로 촬영한 다시점 영상을 획득한 후, 3D모델링객체와 파노라마 배경을 결합한 실감형 자유시점영상을 생성시켜 원통형디스플레이부로 전송시키는 다시점 영상획득제어모듈(300)로 구성되는 것을 특징으로 하는 실감형 자유시점 영상 제공을 위한 반구형 스마트 카메라 형성 장치.
A hemispherical frame 100 which is connected to an inner ceiling of a specific space and is formed into a hemispherical shape of a layered structure that surrounds an object to be photographed in an upper direction around the object to be photographed and supports the smart camera so as to form a grid point,
And is driven in accordance with the control signal of the multi-view image acquisition control module so that the electric fan (Pan) (horizontal direction), tilt (vertical direction) and zoom (optical zoom magnification) A smart camera unit 200 for photographing an object to be photographed by a multi-view through an ultra-wide angle lens and transmitting a multi-view image photographed to a multi-view image acquisition control module connected to a local area network,
The system controls the overall operation of the smart camera unit connected to the smart camera unit and the LAN, acquires multi-view images from the smart camera unit, acquires multi-view images taken by the IDs assigned to the smart camera unit, And a multi-view image acquisition control module (300) for generating a real-view free-view image combined with a panoramic background and transmitting the real-view free-view image to a cylindrical display unit.
제1항에 있어서, 상기 반구형 프레임(100)은
반구형상을 이루어져, 특정공간의 천장 일측에 고정되어 외압으로부터 흔들리지 않도록 지지하는 반구형 본체(110)와,
반구형 본체의 하단부위에 위치되고, 촬영대상물을 중심으로 에워싸면서 수평방향의 원형구조로 형성되어 촬영대상물의 하단 둘레 부위를 다시점영상으로 촬영하도록 스마트카메라부를 설치시키는 제1 원형프레임(120)과,
반구형 본체의 중단부위에 위치되고, 제1 원형프레임의 직경보다 0.2~0.5배 크기로 이루어져 촬영대상물의 상단 둘레 부위를 다시점영상으로 촬영하도록 스마트카메라부를 설치시키는 제2 원형프레임(130)과,
반구형 본체의 상단부위에 위치되고, 제2 원형프레임의 직경보다 0.2~0.5배 크기로 이루어져 촬영대상물의 꼭지점 둘레 부위를 다시점영상으로 촬영하도록 스마트 카메라부를 설치시키는 제3 원형프레임(140)과,
제1 원형프레임, 제2 원형프레임, 제3 원형프레임사이에 세로방향으로 호형구조를 이루며 연결되어, 제1 원형프레임, 제2 원형프레임, 제3 원형프레임이 외압에 의해 흔들리지 않도록 지지하는 반호형프레임(150)으로 구성되는 것을 특징으로 하는 실감형 자유시점 영상 제공을 위한 반구형 스마트 카메라 형성 장치.
2. The method of claim 1, wherein the hemispherical frame (100)
A hemispherical main body 110 having a hemispherical shape and fixed to one side of a ceiling of a specific space so as to prevent it from being shaken from an external pressure,
A first circular frame 120 positioned on the lower end of the hemispherical main body and having a circular structure horizontally surrounding the object to be photographed and installing a smart camera unit to photograph the lower end of the object, ,
A second circular frame 130 located at an intermediate portion of the hemispherical main body and having a size 0.2 to 0.5 times larger than the diameter of the first circular frame to mount the smart camera unit to capture the upper peripheral portion of the object,
A third circular frame 140 positioned at the upper end of the hemispherical main body and having a size 0.2 to 0.5 times larger than the diameter of the second circular frame to mount the smart camera unit to capture the periphery of the vertex of the object,
The first circular frame, the second circular frame, and the third circular frame are connected to each other in an arcuate shape in the longitudinal direction between the first circular frame, the second circular frame, and the third circular frame, And a frame (150). The apparatus for forming a hemispherical smart camera for providing a real-time free-view image.
제1항에 있어서, 상기 스마트 카메라부(200)는
직사각형 박스로 이루어져, 외압으로부터 각 기기를 보호하고 지지하는 카메라본체(210)와,
카메라본체에 고유의 식별ID를 부여해서 설정시키는 카메라식별ID설정부(220)와,
카메라본체의 선단 헤드부에 위치되어, 120도~170도의 화각을 갖으면서, 촬영대상물을 촬영시키는 초광각렌즈부(230)와,
초광각렌즈부 후단 일측에 연결되어 초광각렌즈부를 움직여 원하는 팬 및 틸트 각도로 구동시키는 팬틸트모터부(240)와,
마이컴부의 제어신호에 따라 구동되어, 카메라본체의 전기적 팬(Pan : 수평방향), 틸트(Tilt : 수직 방향), 줌(Zoom : 광학적 줌 배율)을 조정시키는 구동드라이버부(250)와,
마이컴부로부터 메뉴나 정보를 전달받아 내장된 폰트로 디스플레이시키는 OSD(On Screen Display)부(260)와,
카메라식별ID설정부, 초광각렌즈부, 팬틸트모터부, 구동드라이버부, OSD부와 연결되어, 각 기기의 전반적인 동작을 제어하고, 다시점영상획득제어부의 제어신호에 따라 구동되어, 다시점 영상 촬영한 후, 촬영된 다시점 영상을 다시점 영상획득제어모듈로 전송시키도록 제어하는 마이컴부(270)와,
다시점 영상획득제어모듈와 마이컴부를 근거리통신망으로 연결시켜, 다시점영상획득제어부로부터 전달된 제어신호를 마이컴부로 전송시키고, 이에 따라 응답신호로서 다시점 영상획득신호를 다시점영상획득제어부로 전송시키는 근거리무선통신모듈(280)로 구성되는 것을 특징으로 하는 실감형 자유시점 영상 제공을 위한 반구형 스마트 카메라 형성 장치.
The system of claim 1, wherein the smart camera unit (200)
A camera body 210 which is made of a rectangular box and protects and supports each device from external pressure,
A camera identification ID setting unit 220 for assigning and setting a unique identification ID to the camera body,
An ultra-wide-angle lens unit 230 which is located at the head end of the camera body and has an angle of view of 120 to 170 degrees,
A pan tilt motor unit 240 connected to a rear end of the ultra-wide angle lens unit to drive the ultra-wide angle lens unit at a desired pan and tilt angle,
A driving driver unit 250 which is driven in accordance with a control signal of the microcomputer and adjusts an electric fan (Pan) (horizontal direction), a tilt (vertical direction), and a zoom (Zoom: optical zoom magnification)
An on-screen display (OSD) unit 260 for receiving a menu or information from the microcomputer and displaying the menu or information in an embedded font,
A camera identification ID setting unit, an ultra-wide angle lens unit, a pan / tilt motor unit, a driving driver unit, and an OSD unit to control the overall operation of each device and is driven in accordance with the control signal of the multi- The microcomputer 270 controls the multi-view image acquisition control module to transmit the multi-view image to the multi-view image acquisition control module,
The multi-view image acquisition control module and the microcomputer unit are connected to each other through a local area network, and the control signal transmitted from the multi-view image acquisition control unit is transmitted to the microcomputer unit. As a result, And a wireless communication module (280). The device for forming a hemispherical smart camera for providing a real-time free-view image.
제1항에 있어서, 상기 스마트 카메라부(200)는
촬영대상물을 중심으로 반구형 프레임의 제1 원형프레임, 제2 원형프레임, 제3 원형프레임 상에 3개가 하나의 세트를 갖는 삼지창배열로 형성되어 파노라마 구조로 다시점 영상을 촬영시키도록 구성되는 것을 특징으로 하는 실감형 자유시점 영상 제공을 위한 반구형 스마트 카메라 형성 장치.
The system of claim 1, wherein the smart camera unit (200)
The first circular frame, the second circular frame, and the third circular frame of the hemispherical frame with the object to be photographed as a triangular array having one set of three, so that the point image is photographed in the panoramic structure Shaped smart camera for providing a real-time free-view image.
제1항에 있어서, 상기 원통형디스플레이부는
복수개의 플렉시블디스플레이부가 서로 연결되어 원통형상으로 형성되고, 원통의 안쪽과 바깥쪽에 모두 자유시점영상을 표출시키도록 트윈구조로 플렉시블디스플레이부가 형성되는 것을 특징으로 하는 실감형 자유시점 영상 제공을 위한 반구형 스마트 카메라 형성 장치.
The display device according to claim 1, wherein the cylindrical display unit
A flexible display unit is formed in a twin structure so that a plurality of flexible display units are connected to each other to form a cylindrical shape and a free view image is displayed on both inside and outside of the cylinder. Camera forming device.
반구형 프레임의 제1 원형프레임, 제2 원형프레임, 제3 원형프레임 상에 스마트 카메라부를 3개가 하나의 세트를 갖는 삼지창배열로 설치하는 단계(S10)와,
다시점 영상획득제어모듈의 제어하에 제어하고자 하는 스마트 카메라부를 식별ID별로 스마트 카메라부의 위치와 방향을 팬,틸트,줌으로 조정하면서 촬영대상물 객체를 중심으로 설정시키는 단계(S20)와,
다시점 영상획득제어모듈의 제어하에 스마트 카메라부가 구동되어 촬영대상물을 초광각렌즈를 통해 다시점 영상(Multiview)으로 촬영한 후, 근거리통신망으로 연결된 다시점 영상획득제어모듈쪽으로 촬영한 다시점 영상을 전송시키는 단계(S30)와,
다시점 영상획득제어모듈에서 스마트 카메라부로부터 다시점 영상을 수신받아 스마트 카메라부에 부여한 식별ID별로 촬영한 다시점 영상을 획득한 후, 3D모델링객체와 파노라마 배경을 결합한 실감형 자유시점영상을 생성시켜 원통형디스플레이부로 전송시키는 단계(S40)와,
원통형디스플레이부가 다시점 영상획득제어모듈로부터 전송된 실감형 자유시점영상을 수신받아 원통형 안쪽과 바깥쪽에서 표출시키는 단계(S50)로 이루어지는 것을 특징으로 하는 실감형 자유시점 영상 제공을 위한 반구형 스마트 카메라 형성 방법.
(S10) installing three smart camera parts in a triangular arrangement having one set on the first circular frame, the second circular frame and the third circular frame of the hemispherical frame,
(S20) of setting a center of the object to be photographed, while adjusting the position and direction of the smart camera unit by the identification ID by pan, tilt and zoom under the control of the multi-view image acquisition control module,
The smart camera section is driven under the control of the multi-view image acquisition control module, and the object is photographed by the multi-view through the ultra-wide angle lens, and then the multi-view image captured by the multi-view image acquisition control module connected to the local area network is transmitted (S30)
The multi-view image acquisition control module receives the multi-view image from the smart camera section and obtains the multi-view image captured by the identification ID assigned to the smart camera section, and generates a real-view free-view image combining the 3D modeling object and the panoramic background To a cylindrical display unit (S40)
And a step (S50) of receiving the sensation-free-view image transmitted from the multi-view image acquisition control module and displaying the sensed-free-view image on the inside and the outside of the cylindrical display unit. .
KR1020140025081A 2014-03-03 2014-03-03 The apparatus and method of camera placement and display for free viewpoint video capture KR101556741B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140025081A KR101556741B1 (en) 2014-03-03 2014-03-03 The apparatus and method of camera placement and display for free viewpoint video capture

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140025081A KR101556741B1 (en) 2014-03-03 2014-03-03 The apparatus and method of camera placement and display for free viewpoint video capture

Publications (2)

Publication Number Publication Date
KR20150103528A true KR20150103528A (en) 2015-09-11
KR101556741B1 KR101556741B1 (en) 2015-10-02

Family

ID=54243709

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140025081A KR101556741B1 (en) 2014-03-03 2014-03-03 The apparatus and method of camera placement and display for free viewpoint video capture

Country Status (1)

Country Link
KR (1) KR101556741B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109982047A (en) * 2019-04-04 2019-07-05 郑州和光电子科技有限公司 A method of flight monitoring panorama fusion display
CN109982049A (en) * 2019-04-04 2019-07-05 郑州和光电子科技有限公司 A kind of panorama fusion display & control system and aobvious prosecutor method
KR20200028788A (en) * 2018-09-07 2020-03-17 네이버랩스 주식회사 Fixing device for sensing image
US11579746B2 (en) 2020-12-31 2023-02-14 Korea Institute Of Science And Technology Dynamic image capturing apparatus and method using arbitrary viewpoint image generation technology

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3044258B2 (en) * 1990-10-22 2000-05-22 東ソー株式会社 Resin composition

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200028788A (en) * 2018-09-07 2020-03-17 네이버랩스 주식회사 Fixing device for sensing image
CN109982047A (en) * 2019-04-04 2019-07-05 郑州和光电子科技有限公司 A method of flight monitoring panorama fusion display
CN109982049A (en) * 2019-04-04 2019-07-05 郑州和光电子科技有限公司 A kind of panorama fusion display & control system and aobvious prosecutor method
CN109982049B (en) * 2019-04-04 2020-10-13 郑州和光电子科技有限公司 Panorama fusion display control system
CN109982047B (en) * 2019-04-04 2021-02-02 郑州和光电子科技有限公司 Flight monitoring panorama fusion display method
US11579746B2 (en) 2020-12-31 2023-02-14 Korea Institute Of Science And Technology Dynamic image capturing apparatus and method using arbitrary viewpoint image generation technology

Also Published As

Publication number Publication date
KR101556741B1 (en) 2015-10-02

Similar Documents

Publication Publication Date Title
US11924394B2 (en) Methods and apparatus for receiving and/or using reduced resolution images
US11575876B2 (en) Stereo viewing
CA2949005C (en) Method and system for low cost television production
EP3189657B1 (en) Method and apparatus for transmitting and/or playing back stereoscopic content
US10681276B2 (en) Virtual reality video processing to compensate for movement of a camera during capture
EP2408191A1 (en) A staging system and a method for providing television viewers with a moving perspective effect
KR101556741B1 (en) The apparatus and method of camera placement and display for free viewpoint video capture
KR101329057B1 (en) An apparatus and method for transmitting multi-view stereoscopic video
US9479761B2 (en) Document camera, method for controlling document camera, program, and display processing system
US9258546B2 (en) Three-dimensional imaging system and image reproducing method thereof
KR20160102845A (en) Flight possible omnidirectional image-taking camera system
WO2017092369A1 (en) Head-mounted device, three-dimensional video call system and three-dimensional video call implementation method
US11388378B2 (en) Image processing apparatus, image processing method and projection system
KR101966632B1 (en) The apparatus and method for free view point video streaming service
US20200019045A1 (en) Stereoscopic camera system
WO2019038885A1 (en) Information processing device and image output method
KR20140030498A (en) Image processing method of focusing segments based on weights

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180903

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190902

Year of fee payment: 5