KR101790994B1 - 360-degree video implementing system based on rotatable 360-degree camera - Google Patents
360-degree video implementing system based on rotatable 360-degree camera Download PDFInfo
- Publication number
- KR101790994B1 KR101790994B1 KR1020160073606A KR20160073606A KR101790994B1 KR 101790994 B1 KR101790994 B1 KR 101790994B1 KR 1020160073606 A KR1020160073606 A KR 1020160073606A KR 20160073606 A KR20160073606 A KR 20160073606A KR 101790994 B1 KR101790994 B1 KR 101790994B1
- Authority
- KR
- South Korea
- Prior art keywords
- degree
- image
- module
- subject
- photographing
- Prior art date
Links
Images
Classifications
-
- H04N5/225—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H04N5/232—
-
- H04N5/23245—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
회전 가능한 360도 카메라 기반의 360도 영상 구현 시스템이 개시된다. 본 발명의 다양한 실시예에 따른 360도 영상 구현 시스템은 피사체의 움직임에 따라 회전 가능하도록 구성되고, 상기 피사체를 촬영하여 상기 피사체와 배경 이미지가 포함된 촬영 영상을 생성하는 360도 촬영 모듈; 및 상기 360도 촬영 모듈의 회전에 따라 상기 촬영 영상에서 이동된 배경 이미지를 트래킹하고, 상기 배경 이미지가 상기 촬영 영상의 소정 영역내에 고정되어 노출되도록 상기 트래킹 결과를 기반으로 상기 촬영 영상을 가공하여 360도 영상을 생성하는 영상처리 모듈을 포함할 수 있다.A 360 degree imaging system based on a rotatable 360 degree camera is disclosed. The 360 degree imaging system according to various embodiments of the present invention includes a 360 degree photographing module configured to be rotatable in accordance with the movement of a subject and generating an image including the subject and a background image by photographing the subject; And tracking the background image moved in the photographed image according to the rotation of the 360 degree photographing module and processing the photographed image based on the tracking result so that the background image is fixedly exposed within a predetermined area of the photographed image, And an image processing module for generating an image.
Description
본 발명의 다양한 실시예들은 360도 카메라 기반의 360도 영상 구현 시스템에 관한 것으로서, 보다 구체적으로 360도 촬영 영상을 구현하는 과정에서 발생하는 왜곡 현상을 방지하기 위한 기술에 관한 것이다.Various embodiments of the present invention relate to a 360-degree camera-based 360-degree imaging system, and more particularly, to a technique for preventing distortion occurring in the process of implementing a 360-degree shot image.
최근 복수의 카메라를 이용하여 360도 방향으로 촬영을 하는 파노라마 촬영 기술이 점차 늘어나고 있다. 이러한 360도 영상은 영상 재생중에 사용자가 보고 싶은 방향이나 지점을 선택해 감상할 수 있는 파노라마 영상을 말한다.2. Description of the Related Art In recent years, panoramic photographing techniques for photographing in a 360-degree direction using a plurality of cameras are gradually increasing. Such a 360 degree image refers to a panorama image which can be viewed and appreciated by a user in a direction or a point that the user desires to view during image reproduction.
이러한 360도 영상 기술의 도입에 따라 관련 전자 기기도 점차 양산되고 있는 실정이다. 예를 들어, 가상의 공간에서 깊이를 가진 파노라마 입체 영상을 보는 것이 가능한 헤드 마운트 디스플레이(Head Mounted Display, HMD) 또는 스마트 글라스(예: 구글 글라스™) 등이 점차 시장에 도입되고 있다.With the introduction of 360-degree imaging technology, related electronic devices are being mass-produced. For example, a head mounted display (HMD) or smart glass (for example, Google Glass ™), which allows viewing panoramic stereoscopic images with depth in a virtual space, is gradually being introduced into the market.
그러나, 현재 360도 촬영 영상에서의 치명적인 단점으로 이미지 스티칭 에러 현상을 들 수 있다. 복수개의 카메라로 360도 공간을 촬영한 복수의 영상을 후처리 작업을 통해 하나의 360도 영상으로 결합하는 과정을 스티칭 과정이라고 하는데, 이러한 스티칭 과정에서 왜곡된 부분이 발생하는 현상을 스티칭 에러 현상이라고 한다. However, a fatal disadvantage in the 360-degree photographed image is image stitching error phenomenon. A process of combining a plurality of images photographed with a plurality of cameras in a 360-degree space into a 360-degree image through a post-processing operation is called a stitching process. A phenomenon in which a distorted portion occurs in such a stitching process is called a stitching error phenomenon do.
보다 자연스럽고 리얼한 360 영상을 얻기 위해서, 360도 영상기술의 보급과 함께 상기 스티칭 에러 현상을 방지하는 기술의 도입이 요구되고 있다. In order to obtain a more natural and realistic 360 image, introduction of a technology for preventing the above-mentioned stitching error phenomenon with the spread of 360-degree image technology is required.
스티칭 에러 현상은 촬영된 영상의 후처리 작업을 통해 소프트웨어적으로 이루어지는 것이 대부분이다. 그러나, 촬영 후에야 이루어지는 스티칭 작업은 왜곡된 이미지를 완벽하게 보정하기에는 한계가 있다. 결국, 이러한 한계점은 영상 퀄리티의 저해라는 문제점으로 이어진다.Most of the stitching error phenomenon occurs in software through post-processing of photographed images. However, the stitching operation that is performed after the photographing has a limitation in perfectly correcting the distorted image. Ultimately, this limitation leads to the problem of image quality deterioration.
한편, 스티칭 에러 현상은 화면과 화면이 이어지는 부분에서 발생하는 스티칭 라인을 포함하는데, 이러한 스티칭 라인은 특정 카메라의 화각(angle of view) 범위에 피사체가 벗어나는 경우 발생하게 된다.On the other hand, the stitching error phenomenon includes a stitching line that occurs in a portion where a screen and a screen are connected. Such a stitching line occurs when a subject is out of an angle of view range of a specific camera.
본 발명의 다양한 실시예는 상기와 같은 문제점을 해결하기 위해 안출된 것으로서, 회전 가능한 카메라 모듈을 이용하여 패닝 방식으로 피사체를 촬영함으로써 스티칭 에러를 원천적이고 보다 완벽하게 방지하는 방법을 제공함에 그 목적이 있다.Various embodiments of the present invention have been devised to solve the problems as described above. It is an object of the present invention to provide a method of preventing stitching errors more precisely and more completely by photographing a subject in a panning manner using a rotatable camera module have.
본 발명의 다양한 실시예에 따른 360도 영상 구현 시스템은 피사체의 움직임에 따라 회전 가능하도록 구성되고, 상기 피사체를 촬영하여 상기 피사체와 배경 이미지가 포함된 촬영 영상을 생성하는 360도 촬영 모듈; 및 상기 360도 촬영 모듈의 회전에 따라 상기 촬영 영상에서 이동된 배경 이미지를 트래킹하고, 상기 배경 이미지가 상기 촬영 영상의 소정 영역내에 고정되어 노출되도록 상기 트래킹 결과를 기반으로 상기 촬영 영상을 가공하여 360도 영상을 생성하는 영상처리 모듈을 포함할 수 있다.The 360 degree imaging system according to various embodiments of the present invention includes a 360 degree photographing module configured to be rotatable in accordance with the movement of a subject and generating an image including the subject and a background image by photographing the subject; And tracking the background image moved in the photographed image according to the rotation of the 360 degree photographing module and processing the photographed image based on the tracking result so that the background image is fixedly exposed within a predetermined area of the photographed image, And an image processing module for generating an image.
본 발명의 다양한 실시예에 따른 360도 영상 구현 시스템에서, 상기 360도 촬영 모듈은, 상기 피사체의 움직임을 감지하는 센서부; 복수의 카메라를 포함하며, 상기 피사체 및 배경 이미지를 촬영하는 360도 카메라 모듈; 및 상기 센서부에서 감지된 피사체의 움직임에 따라 상기 360도 카메라 모듈을 회전시키는 회전 구동부를 포함할 수 있다. 이 경우, 상기 360도 촬영 모듈은 상기 360도 촬영 모듈을 지지하는 지지부를 더 포함할 수 있다.In the 360-degree imaging system according to various embodiments of the present invention, the 360-degree photographing module may include: a sensor unit for sensing movement of the subject; A 360 degree camera module that includes a plurality of cameras and captures the subject and background image; And a rotation driving unit for rotating the 360 degree camera module according to the motion of the subject sensed by the sensor unit. In this case, the 360-degree photographing module may further include a support for supporting the 360-degree photographing module.
본 발명의 다양한 실시예에 따른 360도 영상 구현 시스템에서, 상기 360도 촬영 모듈은 상기 센서부에 의해 감지된 상기 피사체가 촬영 영상의 중심을 포함하는 소정 영역에 위치하도록 상기 피사체를 따라 회전할 수 있다. 이 경우, 상기 촬영 영상의 중심을 포함하는 소정 영역은 상기 360도 카메라 모듈에 포함된 카메라의 화각(angle of view) 범위 또는 미리 설정된 범위에서 상기 360도 촬영 모듈이 상기 피사체를 촬영함으로써 결정될 수 있다.In the 360-degree imaging system according to various embodiments of the present invention, the 360-degree photographing module can rotate along the subject so that the subject sensed by the sensor unit is located in a predetermined region including the center of the photographed image have. In this case, a predetermined area including the center of the photographed image may be determined by photographing the subject by the 360-degree photographing module in an angle of view range of the camera included in the 360-degree camera module or in a preset range .
본 발명의 다양한 실시예에 따른 360도 영상 구현 시스템에서, 상기 영상처리 모듈은, 미리 설정된 기준에 따라 상기 배경 이미지에 포함된 특정 픽셀의 좌표를 확인하고, 상기 촬영 영상에서 각 배경 이미지의 특정 픽셀 좌표를 확인함으로써 상기 배경 이미지를 트래킹할 수 있다. 이 경우, 상기 영상처리 모듈은 상기 확인된 각 배경 이미지의 특정 픽셀 좌표를 기반으로 상기 특정 픽셀 좌표의 변화를 역트래킹하고, 역트래킹된 값을 기반으로 상기 촬영 영상을 가공할 수 있다.In the 360-degree image processing system according to various embodiments of the present invention, the image processing module checks the coordinates of a specific pixel included in the background image according to a preset reference, The background image can be tracked by confirming the coordinates. In this case, the image processing module may reverse-track the change of the specific pixel coordinates based on the specific pixel coordinates of each of the identified background images, and process the photographed image based on the inversely-tracked value.
본 발명의 다양한 실시예에 따른 360도 영상 구현 시스템에서, 상기 영상처리 모듈은, 상기 촬영 영상에서 상기 피사체를 마스킹 처리한 후 상기 촬영 영상을 가공할 수 있다.In the 360-degree image processing system according to various embodiments of the present invention, the image processing module may process the photographed image after masking the subject in the photographed image.
본 발명의 다양한 실시예에 따른 360도 영상 구현 시스템에서, 상기 영상처리 모듈은, 상기 360도 촬영 모듈 내에서 애플리케이션으로 구현되거나, 상기 360도 촬영 모듈과 통신 연결되는 별도의 서버로 구현될 수 있다.In the 360 degree imaging system according to various embodiments of the present invention, the image processing module may be implemented as an application in the 360 degree photographing module or as a separate server communicatively connected to the 360 degree photographing module .
본 발명의 다양한 실시예에 따른 360도 영상 구현 시스템에서, 상기 360도 촬영 모듈은 패닝 방식으로 회전될 수 있다.In a 360 degree imaging system according to various embodiments of the present invention, the 360 degree imaging module may be rotated in a panning manner.
본 발명의 다양한 실시예에 따라 회전 가능한 360도 촬영 모듈을 통해 피사체를 추적하여 촬영하고, 촬영 영상을 관찰자의 시점으로 다시 가공함으로써 촬영 단계에서부터 스티칭 에러 현상을 원천적으로 방지할 수 있다는 효과가 있다. According to various embodiments of the present invention, there is an effect that the stitching error phenomenon can be prevented from the photographing step by tracking the subject through the rotatable 360 degree photographing module and processing the photographed image back to the viewpoint of the observer.
도 1은 본 발명의 다양한 실시예에 따른 360도 영상 구현 시스템의 구성도이다.
도 2는 본 발명의 다양한 실시예에 따른 360도 촬영 모듈의 예시도이다.
도 3은 본 발명의 다양한 실시예에 따른 360도 촬영 모듈이 패닝 방식으로 피사체를 촬영하는 개념도이다.
도 4는 본 발명의 다양한 실시예에 따른 영상처리 모듈의 예시도이다.
도 5는 본 발명의 다양한 실시예에 따른 360도 영상 구현 시스템에서 360도 영상의 구현 동작을 나타내는 흐름도이다.
도 6은 본 발명의 다양한 실시예에 따라 촬영된 촬영 영상을 관찰자의 시점으로 바라본 예시도이다.1 is a block diagram of a 360 degree imaging system in accordance with various embodiments of the present invention.
Figure 2 is an illustration of a 360 degree imaging module in accordance with various embodiments of the present invention.
3 is a conceptual diagram illustrating a 360-degree photographing module photographing a subject in a panning manner according to various embodiments of the present invention.
4 is an illustration of an image processing module according to various embodiments of the present invention.
5 is a flow diagram illustrating an implementation of a 360 degree image in a 360 degree imaging system in accordance with various embodiments of the present invention.
FIG. 6 is an exemplary view of a photographed image photographed according to various embodiments of the present invention as viewed from an observer's viewpoint.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. Advantages and features of the present invention and methods of achieving them will become apparent with reference to the embodiments described in detail below. The present invention may, however, be embodied in many different forms and should not be construed as being limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. Is provided to fully convey the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless defined otherwise, all terms (including technical and scientific terms) used herein may be used in a sense commonly understood by one of ordinary skill in the art to which this invention belongs. In addition, commonly used predefined terms are not ideally or excessively interpreted unless explicitly defined otherwise.
이하, 첨부 도면을 참조하여 360도 영상 구현 시스템(10)에 대해 설명하도록 한다. Hereinafter, a 360-degree image implementing system 10 will be described with reference to the accompanying drawings.
도 1은 본 발명의 다양한 실시예에 따른 360도 영상 구현 시스템(10)의 구성도이다.1 is a block diagram of a 360 degree imaging system 10 in accordance with various embodiments of the present invention.
도면에 도시된 바와 같이, 본 발명의 실시예에 따른 360도 영상 구현 시스템(10)은 360도 촬영 모듈(100) 및 영상처리 모듈(200)를 포함할 수 있다. 도 1에 따른 실시예에서, 영상처리 모듈(200)는 360도 촬영 모듈(100)과 별개로 도시되어 있으나 이에 한정하는 것은 아니며, 영상처리 모듈(200)는 360도 촬영 모듈 내에 포함되는 프로그램(예: 애플리케이션) 또는 하나의 모듈로 구성될 수도 있다. 뿐만 아니라, 이러한 영상처리 모듈(200)는 360도 촬영 모듈(100)과 통신 연결되어 360도 영상을 생성하는 별도의 서버로 구현될 수도 있다.As shown in the figure, the 360-degree imaging system 10 according to an embodiment of the present invention may include a 360-
먼저, 360도 촬영 모듈(100)은 피사체를 촬영함으로써 촬영 영상을 생성하는 기능을 수행할 수 있다. 다양한 실시예에 따르면, 이러한 360도 촬영 모듈(100)은 피사체를 따라 회전 가능하도록 구성될 수 있다. First, the 360
예를 들어, 도 1에 도시된 바와 같이, 360도 촬영 모듈(100)은 세이프티 존 내에서 피사체가 촬영되도록 회전이 가능하다. 세이프티 존은 피사체가 360도 촬영 모듈(100)의 화각 범위를 벗어남으로써 스티칭 에러가 발생되는 현상을 방지하기 위해 설정된 촬영 영역이다. 이러한 세이프티 존은 360도 촬영 모듈(100)의 카메라 화각 스펙에 따라 결정될 수 있으나, 이에 한정하는 것은 아니며 미리 설정된 촬영 범위로 결정될 수도 있다.For example, as shown in FIG. 1, the 360-
다음으로, 영상처리 모듈(200)는 360도 촬영 모듈(100)에 의해 생성된 촬영 영상을 수집하고, 관찰자의 시점에 맞추어 촬영 영상을 가공할 수 있다. Next, the
예를 들어 도 6을 참조하면, 360도 촬영 모듈(100)이 피사체를 촬영하는 도중(601 화면) 피사체(s)가 오른쪽으로 이동하는 경우, 602화면과 같이 360도 촬영 모듈(100)은 피사체(s)를 추적하기 위해 시계방향으로 회전한다. 그러면, 카메라의 시점(즉, 관찰자의 시점)에서는 마치 배경 이미지(B)가 왼쪽으로 이동하는 것으로 인식될 수 있다. 이러한 현상을 보정하기 위해, 영상처리 모듈(200)는 후술할 영상 가공 작업을 수행할 수 있다.For example, referring to FIG. 6, when the subject s moves to the right while the 360
도 2는 본 발명의 다양한 실시예에 따른 360도 촬영 모듈(100)의 예시도이다. 360도 촬영 모듈(100)의 동작을 설명하기 위해 도 3을 참고하여 설명하도록 한다. 도 3은 본 발명의 다양한 실시예에 따른 360도 촬영 모듈(100)이 패닝 방식으로 피사체를 촬영하는 개념도이다.2 is an exemplary diagram of a 360
도면에 도시되는 바와 같이, 360도 촬영 모듈(100)은 센서부(110), 360도 카메라 모듈(120), 회전 구동부(130) 및 지지부(140)를 포함할 수 있다. 이러한 도 2의 360도 촬영 모듈(100)의 구성은 예시적인 것이며, 본 발명의 실시예가 특정 형태로 한정하는 것은 아니다. The 360
또한, 도시되어 있지 않으나, 360도 촬영 모듈(100)은 촬영 및 전원공급의 제어와 관련된 동작을 제어하는 제어부(예: 프로세서), 촬영된 영상을 별도로 저장하는 저장부(예: 메모리) 및 촬영된 영상을 영상처리 모듈(200)로 전달하기 위한 회로(예: 버스) 또는 유/무선 통신 모듈을 포함할 수 있다.Although not shown, the 360-
센서부(110)는 360도 카메라 모듈(120)의 상부에 포함되거나 연결될 수 있으며, 피사체의 움직임을 감지하기 위한 적어도 하나의 센서를 포함할 수 있다.The sensor unit 110 may include or be connected to the upper portion of the 360 degree camera module 120 and may include at least one sensor for sensing movement of the subject.
한정되지 않는 실시예로서, 센서부(110)는 움직임 감지 센서, 신체 감지 센서, 동체인식 센서, 도플러 센서 또는 제스처 센서 등을 포함할 수 있으며 자체적인 제어 프로세서를 포함할 수 있다. As a non-limiting example, the sensor unit 110 may include a motion detection sensor, a body detection sensor, a body recognition sensor, a Doppler sensor, a gesture sensor, or the like, and may include an own control processor.
본 발명의 실시예에서, 센서부(110)는 피사체의 움직임을 감지하여 감지 신호를 발생하고, 발생된 감지 신호를 360도 촬영 모듈(100)의 제어부로 전송하거나 자체 프로세서에서 감지 신호를 확인할 수 있다.In the embodiment of the present invention, the sensor unit 110 senses the movement of the subject to generate a detection signal, and transmits the generated detection signal to the control unit of the 360-
다음으로, 360도 카메라 모듈(120)은 복수의 카메라 및 이들을 고정시키는 하우징을 포함할 수 있다. 이 경우, 각 카메라는 하드웨어 스펙 또는 미리 설정된 화각을 가질 수 있다. 그리고, 360도 카메라 모듈(120)은 각각의 카메라에서 촬영된 영상을 영상처리 모듈(200)로 전송할 수 있다.Next, the 360 degree camera module 120 may include a plurality of cameras and a housing for fixing them. In this case, each camera may have a hardware specification or a preset angle of view. The 360-degree camera module 120 can transmit images photographed by the respective cameras to the
다음으로, 회전 구동부(130)는 360도 카메라 모듈(120)을 회전시키는 기능을 수행할 수 있다. 이를 위해, 회전 구동부(130)는 모터와 같은 형태로 구현될 수 있으나 이에 한정하는 것은 아니다. 본 발명의 실시예에서, 회전 구동부(130)는 센서부(110)를 통해 감지된 감지 신호에 기반하여 360도 카메라 모듈(120)을 회전시킬 수 있다.Next, the
다음으로, 지지부(140)는 360도 촬영 모듈(100)을 지지하는 기능을 수행할 수 있다.Next, the supporting part 140 can perform a function of supporting the 360
도 3을 참조하면, 도 2와 같은 구성의 360도 촬영 모듈(100)은 피사체(s)가 움직이는 경우 센서부(110)를 통해 피사체의 움직임을 감지하고, 세이프티 존에 피사체가 위치하도록 회전 구동부(130)가 360도 카메라 모듈(120)을 회전시킬 수 있다. Referring to FIG. 3, the 360-
이 경우, 360도 촬영 모듈(100)은 센서부(110)에 의해 감지된 피사체가 촬영 영상의 소정 영역에 위치하도록 회전(예: 패닝)할 수 있다. 즉, 움직이는 피사체가 세이프티 존 내에 위치하도록 하기 위해, 360도 촬영 모듈(100)은 촬영되는 영상의 중심(예: 중심점)을 포함하는 소정 영역 내에 상기 피사체가 위치하도록 구동될 수 있다. In this case, the 360-
상기와 같은 도 2의 360도 촬영 모듈(100)의 구성에 의해, 움직이는 피사체를 자동으로 추적하여 세이프티 존 내에서 피사체를 촬영함으로써 스티칭 에러와 같은 현상을 사전에 방지할 수 있다.With the structure of the 360-
도 4는 본 발명의 다양한 실시예에 따른 영상처리 모듈(200)의 예시도이다.Figure 4 is an illustration of an
도면에 도시되는 바와 같이, 본 발명의 다양한 실시예에 따른 영상처리 모듈(200)는 통신부(210), 제어부(220), 정보 수집부(221), 정보 가공부(225) 및 저장부(230)를 포함할 수 있다. The
먼저, 통신부(210)는 360도 촬영 모듈(100)에서 촬영된 영상을 수집할 수 있고, 유선 또는 무선통신 모듈로 구현될 수 있다. 뿐만 아니라, 360도 촬영 모듈(100)과 영상처리 모듈(200)가 하나의 모듈로 구성되는 경우, 통신부(210)는 360도 촬영 모듈(100)과 영상처리 모듈(200)간의 신호를 전달하는 회로(예: 버스)로 구현될 수 있다.First, the
다음으로, 제어부(220)는 영상처리 모듈(200)의 전원공급 제어 등과 같은 전반적인 동작 및 영상처리 모듈(200)의 내부 구성 간의 신호 흐름을 제어하고 데이터를 처리하는 데이터 처리 기능을 수행할 수 있다. 제어부(220)는 적어도 하나의 프로세서를 포함할 수 있다. Next, the
다음으로, 정보 수집부(221)는 통신부(210)를 제어하여 360도 촬영 모듈(100)로부터 촬영 영상을 수신할 수 있다. 이러한 정보 수집부(221)는 수신된 촬영 영상을 제어부(220), 영상 가공부(225) 또는 저장부(230)로 전달할 수 있다.Next, the
다음으로, 영상 가공부(225)는 360도 촬영 모듈(100)이 회전함에 따라 촬영된 영상을 관찰자의 시점에서 재생되도록 촬영 영상을 가공함으로써 360도 영상을 구현할 수 있다. 이러한 영상 가공부(225)의 구체적인 동작은 도 5를 통해 구체적으로 설명하도록 한다.Next, the
저장부(230)는 제어부(220), 영상처리 모듈(200) 또는 360도 영상 구현 시스템(10)의 다른 구성요소들로부터 수신되거나 생성된 데이터를 저장할 수 있다. 저장부(230)는 예를 들어, 메모리(memory), 캐시(cash), 버퍼(buffer) 등을 포함할 수 있다. The
다양한 실시예에 따르면, 저장부(230)는 정보 DB(231) 및 컨텐츠 DB(235)를 포함할 수 있다. 이러한 정보 DB(231) 및 컨텐츠 DB(235)는 저장부(230)상에서 구분되는 것으로 도시되어 있으나, 이에 한정하지 않으며, 하나의 모듈로서 구성될 수도 있다.According to various embodiments, the
정보 DB(231)는 정보 수집부(221)를 통해 수집된 정보들을 저장할 수 있다. 그리고, 정보 DB(231)는 360도 촬영 모듈(100)의 하드웨어/소프트웨어 정보(예: 카메라의 하드웨어/소프트웨어 정보)를 저장할 수 있다.The
컨텐츠 DB(235)는 촬영 영상을 저장하거나, 360도 영상을 구현하는데 필요한 컨텐츠를 저장하거나, 구현된 360도 영상을 저장할 수 있다.The
전술한 정보 수집부(221) 및 영상 가공부(225)는 영상처리 모듈(200)의 제어부(220)의 각 기능을 논리적으로 또는 기능적으로 분류한 구성일 수 있다. 따라서, 정보 수집부(221), 영상 가공부(225) 및 제어부(220)는 하나의 모듈로서 구성될 수도 있다.The
또한, 영상처리 모듈(200)의 기능은 저장부(230, 예: 메모리)에 저장된 루틴, 명령어(instruction) 또는 프로그램의 형태로 구현될 수 있다. 예를 들어, 영상처리 모듈(200)은 애플리케이션으로 구현될 수 있고, 이러한 애플리케이션 형태의 영상처리 모듈(200)은 360도 촬영 모듈(100)과 별도로 또는 하나의 모듈로 구성될 수 있다. In addition, the functions of the
뿐만 아니라, 이러한 루틴, 명령어 또는 프로그램은 컴퓨터로 읽을 수 있는 저장매체에도 저장될 수 있다. 저장매체는 컴퓨터 시스템에 의하여 읽혀질 수 있도록 프로그램 및 데이터가 저장되는 모든 종류의 저장매체를 포함한다. 그 예로는, 롬(Read Only Memory), 램(Random Access Memory), CD(Compact Disk), DVD(Digital Video Disk)-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치, 플래쉬 메모리 장치 등이 포함될 수 있다. 또한, 이러한 저장매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. In addition, such routines, instructions or programs may also be stored on a computer readable storage medium. The storage medium includes all kinds of storage media in which programs and data are stored so that they can be read by a computer system. Examples include ROMs (Read Only Memory), Random Access Memory, CD (Compact Disk), DVD (Digital Video Disk) -ROM, magnetic tape, floppy disk, optical data storage device, . Such storage medium may also be distributed over a networked computer system so that computer readable code can be stored and executed in a distributed manner.
도 5는 본 발명의 다양한 실시예에 따른 360도 영상 구현 시스템(10)에서 360도 영상의 구현 동작을 나타내는 흐름도이다. 도 5에서 설명되는 내용 중 다른 도면에서 설명된 내용과 중복되는 사항은 생략될 수 있다.Figure 5 is a flow diagram illustrating the implementation of a 360 degree image in a 360 degree imaging system 10 in accordance with various embodiments of the present invention. Items overlapping with those described in the other drawings among the contents described in FIG. 5 may be omitted.
먼저, S510 단계에서, 360도 촬영 모듈(100)은 움직이는 피사체의 촬영 영상을 수집할 수 있다. 그리고, 360도 촬영 모듈(100)은 영상처리 모듈(200)로 촬영 영상을 전달할 수 있다. 이 경우, 촬영 영상은 복수의 카메라에 의해 촬영된 복수의 영상일 수 있으며, 각각의 영상에는 각 영상을 식별할 수 있는 식별 정보가 포함될 수 있다.First, in step S510, the 360
다음으로, S530 단계에서 영상처리 모듈(200)은 촬영 영상을 트래킹할 수 있고, S550 단계에서 배경 이미지를 역트래킹할 수 있다. 그리고, S570 단계에서 영상처리 모듈(200)은 배경 이미지가 고정되도록 촬영 영상을 가공하여 360도 영상을 구현할 수 있다.Next, in step S530, the
구체적으로, 영상처리 모듈(200)은 360도 촬영 모듈(100)의 회전에 따라 상기 촬영 영상에서 이동된 배경 이미지를 트래킹할 수 있다. 즉, 도 6과 같이 360도 촬영 모듈(100)은 움직이는 피사체를 추적하여 촬영하므로, 상대적으로 피사체를 제외한 배경 이미지가 피사체의 이동 방향과 반대 방향으로 이동하는 형태로 촬영이 된다. In detail, the
이를 보정하기 위해, 영상처리 모듈(200)은 배경 이미지를 트래킹하는 작업을 수행할 수 있다.To correct this, the
몇몇 실시예에 따르면, 먼저 영상처리 모듈(200)은 촬영 영상에서 이동된 배경 이미지 중 미리 설정된 조건에 해당하는 특정 픽셀을 선정할 수 있다. 미리 설정된 조건은 예컨대, 소정 밝기 값, 소정 해상도 값, 소정 명암 값 이상의 조건일 수 있으나 이에 한정하는 것은 아니다.According to some embodiments, first, the
이어서, 영상처리 모듈(200)은 촬영 영상에서 상기 특정 픽셀이 이동된 변화 값을 확인할 수 있다. 예를 들어, 영상처리 모듈(200)은 촬영 영상을 구성하는 복수의 프레임 상에서 상기 특정 픽셀의 좌표 값을 각각 확인할 수 있다. 한정되지 않는 예로서, 영상 가공부(225)는 피사체가 이동하기 전 촬영된 배경 이미지의 좌표와 상기 각 프레임 상에서 확인된 특정 픽셀의 좌표 값과의 차이를 확인할 수 있다. Then, the
상기와 같은 작업에 의해, 영상처리 모듈(200)은 배경 이미지가 상대적으로 얼마만큼 이동되는 것처럼 촬영되었는지를 트래킹할 수 있다.By the above operation, the
다음으로, 영상처리 모듈(200)은 트래킹 결과를 기반으로 촬영 영상(예: 배경 이미지)를 역트래킹함으로써 촬영 영상을 보정할 수 있다. 예를 들어, 영상처리 모듈(200)은 각 프레임마다 확인된 특정 픽셀의 좌표 값과 피사체가 이동하기전 배경 이미지의 특정 픽셀의 좌표 값과의 차이를 확인할 수 있고, 각각의 차이가 보상되도록 피사체와 배경 이미지를 구성함으로써 360도 영상을 생성할 수 있다. Next, the
또한, 영상처리 모듈(200)은 상기와 같은 촬영 영상의 트래킹 및 역트래킹을 통한 촬영 영상의 보정 작업과 함께, 이전 또는 이후의 단계로서, 촬영 영상에서 피사체를 마스킹 처리할 수 있다. 피사체의 스티칭 에러를 방지하기 위해 카메라를 회전시키는 경우, 피사체의 스티칭 에러는 방지될 수 있으나 움직이는 피사체를 제외한 나머지 영상 부분의 퀄리티가 떨어질 수 있다. 이러한 경우에는 퀄리티가 좋은 1장의 이미지를 만들기 위해 피사체에 마스킹을 씌워 영상 가공 작업을 수행할 수 있다.In addition, the
전술한 도면들과 각 실시예에 의해서, 촬영 단계에서부터 스티칭 에러 현상을 원천적으로 방지하여 보다 완벽한 360도 영상을 구현할 수 있다.With the above-described drawings and embodiments, it is possible to prevent a stitching error phenomenon from a photographing step, thereby realizing a more complete 360-degree image.
본 발명의 다양한 실시예에 사용된 용어 “모듈”또는 “~부”는, 예를 들어, 하드웨어, 소프트웨어 또는 펌웨어(firmware) 중 하나 또는 둘 이상의 조합을 포함하는 단위(unit)를 의미할 수 있다. “모듈” 또는 “~부”는 예를 들어, 유닛(unit), 로직(logic), 논리 블록(logical block), 부품(component) 또는 회로(circuit) 등의 용어와 바꾸어 사용(interchangeably use)될 수 있다. “모듈” 또는“~부”는 일체로 구성된 부품의 최소 단위 또는 그 일부가 될 수 있고, 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수도 있다. “모듈” 또는“~부”는 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들면, 본 발명의 다양한 실시예에 따른 “모듈” 또는“~부”는, 알려졌거나 앞으로 개발될, 어떤 동작들을 수행하는 ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays) 또는 프로그램 가능 논리 장치(programmable-logic device) 중 적어도 하나를 포함할 수 있다. The term " module " or " part " as used in various embodiments of the present invention may mean a unit comprising one or a combination of two or more of, for example, hardware, software or firmware . &Quot; Module " or " to " may be used interchangeably with terms such as, for example, unit, logic, logical block, component or circuit, . The term " module " or " part " may be a minimum unit or a part of an integrally constructed part, or may be a minimum unit or a part thereof performing one or more functions. &Quot; Modules " or " parts " may be implemented mechanically or electronically. For example, a " module " or " part " in accordance with various embodiments of the present invention may be implemented as an application-specific integrated circuit (ASIC) chip, FPGAs (field- ) Or a programmable-logic device.
10: 360도 영상 구현 시스템 100: 360도 촬영 모듈
200: 영상처리 모듈10: 360 degree imaging system 100: 360 degree imaging module
200: image processing module
Claims (10)
피사체의 움직임에 따라 회전 가능하도록 구성되고, 상기 피사체를 촬영하여 상기 피사체와 배경 이미지가 포함된 촬영 영상을 생성하는 360도 촬영 모듈; 및
상기 360도 촬영 모듈의 회전에 따라 상기 촬영 영상에서 이동된 배경 이미지를 트래킹하고, 상기 배경 이미지가 상기 촬영 영상의 소정 영역내에 고정되어 노출되도록 상기 트래킹 결과를 기반으로 상기 촬영 영상을 가공하여 360도 영상을 생성하는 영상처리 모듈; 을 포함하고,
상기 360도 촬영 모듈은,
상기 피사체의 움직임을 감지하는 센서부;
복수의 카메라를 포함하며, 상기 피사체 및 배경 이미지를 촬영하는 360도 카메라 모듈; 및
상기 센서부에서 감지된 피사체의 움직임에 따라 상기 360도 카메라 모듈을 회전시키는 회전 구동부를 포함하고,
상기 360도 촬영 모듈은 상기 센서부에 의해 감지된 상기 피사체가 촬영 영상의 중심을 포함하는 소정 영역에 위치하도록 상기 피사체를 따라 회전하고,
상기 영상처리 모듈은,
미리 설정된 기준에 따라 상기 배경 이미지에 포함된 특정 픽셀의 좌표를 확인하고, 상기 촬영 영상에서 각 배경 이미지의 특정 픽셀 좌표를 확인함으로써 상기 배경 이미지를 트래킹하는, 360도 영상 구현 시스템.As a 360 degree image implementation system,
A 360 degree photographing module configured to be rotatable in accordance with a movement of a subject and photographing the subject to generate a photographing image including the subject and a background image; And
Wherein the background image is tracked in accordance with the rotation of the 360 degree photographing module and the photographing image is processed based on the tracking result so that the background image is fixedly exposed within a predetermined area of the photographing image, An image processing module for generating an image; / RTI >
The 360 degree photographing module includes:
A sensor unit for sensing movement of the subject;
A 360 degree camera module that includes a plurality of cameras and captures the subject and background image; And
And a rotation driving unit for rotating the 360-degree camera module according to the motion of the subject sensed by the sensor unit,
The 360 degree photographing module rotates along the subject so that the subject sensed by the sensor unit is positioned in a predetermined area including the center of the photographed image,
The image processing module includes:
Wherein the background image is tracked by identifying coordinates of a particular pixel included in the background image according to a preset reference and identifying specific pixel coordinates of each background image in the captured image.
상기 360도 촬영 모듈은,
상기 360도 촬영 모듈을 지지하는 지지부를 더 포함하는 360도 영상 구현 시스템.The method according to claim 1,
The 360 degree photographing module includes:
And a support for supporting the 360 degree imaging module.
상기 촬영 영상의 중심을 포함하는 소정 영역은,
상기 360도 카메라 모듈에 포함된 카메라의 화각(angle of view) 범위 또는 미리 설정된 범위에서 상기 360도 촬영 모듈이 상기 피사체를 촬영함으로써 결정되는, 360도 영상 구현 시스템.The method according to claim 1,
Wherein the predetermined region including the center of the photographed image includes:
Wherein the 360 degree photographing module is determined by photographing the subject in an angle of view range of the camera included in the 360 degree camera module or in a preset range.
상기 영상처리 모듈은,
상기 확인된 각 배경 이미지의 특정 픽셀 좌표를 기반으로 상기 특정 픽셀 좌표의 변화를 역트래킹하고, 역트래킹된 값을 기반으로 상기 촬영 영상을 가공하는, 360도 영상 구현 시스템.The method according to claim 1,
The image processing module includes:
Inverse tracking a change in the particular pixel coordinates based on the identified pixel coordinates of each identified background image and processing the captured image based on the inversely tracked value.
상기 영상처리 모듈은,
상기 촬영 영상에서 상기 피사체를 마스킹 처리한 후 상기 촬영 영상을 가공하는, 360도 영상 구현 시스템.The method according to claim 1,
The image processing module includes:
And masking the subject on the photographed image and processing the photographed image.
상기 영상처리 모듈은,
상기 360도 촬영 모듈 내에서 애플리케이션으로 구현되거나,
상기 360도 촬영 모듈과 통신 연결되는 별도의 서버로 구현되는 것을 특징으로 하는, 360도 영상 구현 시스템. The method according to claim 1,
The image processing module includes:
Or may be implemented as an application within the 360 degree capture module,
And a separate server communicatively connected to the 360 degree photographing module.
상기 360도 촬영 모듈은 패닝 방식으로 회전되는, 360도 영상 구현 시스템.The method according to claim 1,
Wherein the 360 degree imaging module is rotated in a panning manner.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160073606A KR101790994B1 (en) | 2016-06-14 | 2016-06-14 | 360-degree video implementing system based on rotatable 360-degree camera |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160073606A KR101790994B1 (en) | 2016-06-14 | 2016-06-14 | 360-degree video implementing system based on rotatable 360-degree camera |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101790994B1 true KR101790994B1 (en) | 2017-10-27 |
Family
ID=60300525
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020160073606A KR101790994B1 (en) | 2016-06-14 | 2016-06-14 | 360-degree video implementing system based on rotatable 360-degree camera |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101790994B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109838658A (en) * | 2017-11-29 | 2019-06-04 | 珀斯特传媒有限公司 | Video camera assembles device and its control method and the panoramic shooting system using video camera assembly device |
KR102320398B1 (en) | 2020-05-07 | 2021-11-01 | 심재권 | Camera rotating apparatus |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101467529B1 (en) * | 2012-09-19 | 2014-12-05 | 유남구 | Wearable system for providing information |
-
2016
- 2016-06-14 KR KR1020160073606A patent/KR101790994B1/en active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101467529B1 (en) * | 2012-09-19 | 2014-12-05 | 유남구 | Wearable system for providing information |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109838658A (en) * | 2017-11-29 | 2019-06-04 | 珀斯特传媒有限公司 | Video camera assembles device and its control method and the panoramic shooting system using video camera assembly device |
KR102320398B1 (en) | 2020-05-07 | 2021-11-01 | 심재권 | Camera rotating apparatus |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3373236B1 (en) | Image processing system, image generation apparatus, and image generation method | |
EP3545686B1 (en) | Methods and apparatus for generating video content | |
CN111160172B (en) | Parking space detection method, device, computer equipment and storage medium | |
EP3627821B1 (en) | Focusing method and apparatus for realizing clear human face, and computer device | |
US20130250040A1 (en) | Capturing and Displaying Stereoscopic Panoramic Images | |
JP4776690B2 (en) | Method and apparatus for reducing motion distortion in digital imaging | |
KR102155895B1 (en) | Device and method to receive image by tracking object | |
US8902299B2 (en) | Electronic device and method for automatically adjusting viewing angle of 3D images | |
US20110304688A1 (en) | Panoramic camera and method for capturing panoramic photos | |
US20130329003A1 (en) | Video camera positioning system and control method thereof | |
CN106131397A (en) | A kind of method that multi-medium data shows and electronic equipment | |
CN108198199B (en) | Moving object tracking method, moving object tracking device and electronic equipment | |
CN101877764A (en) | Camera system and method for carrying out assisted drawing by utilizing same | |
US11558557B2 (en) | Generation of enhanced panoramic visual content | |
JP6098873B2 (en) | Imaging apparatus and image processing apparatus | |
US20190098250A1 (en) | Information processing apparatus, imaging apparatus, information processing method, and recording medium | |
KR101705558B1 (en) | Top view creating method for camera installed on vehicle and AVM system | |
US9088720B2 (en) | Apparatus and method of displaying camera view area in portable terminal | |
US20150249793A1 (en) | Rotation stabilization | |
KR101790994B1 (en) | 360-degree video implementing system based on rotatable 360-degree camera | |
US8194147B2 (en) | Image presentation angle adjustment method and camera device using the same | |
US8064655B2 (en) | Face image detection device, face image detection method and imaging apparatus | |
US20210027439A1 (en) | Orientation adjustment of objects in images | |
WO2021180294A1 (en) | Imaging device and method for efficient capture of stationary objects | |
WO2015141185A1 (en) | Imaging control device, imaging control method, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
GRNT | Written decision to grant |