KR20190002279A

KR20190002279A - Method for determining the best condition for filming and apparatus for performing the method

Info

Publication number: KR20190002279A
Application number: KR1020180031287A
Authority: KR
Inventors: 김용국; 조성래; 김용진; 김준세
Original assignee: 링크플로우 주식회사
Priority date: 2018-03-19
Filing date: 2018-03-19
Publication date: 2019-01-08

Abstract

The present invention relates to an optimal situation determination photographing method and an apparatus for performing the same. The optimal situation determination photographing method comprises the steps of: determining whether a current photographing situation satisfies an optimal photographing situation condition by an omnidirectional image processing apparatus; and generating an omnidirectional image for satisfying a condition by photographing an image by the omnidirectional image processing apparatus when the current photographing situation satisfies the optimal photographing situation condition. The optimal photographing situation condition can include a slope condition of the omnidirectional image processing apparatus.

Description

TECHNICAL FIELD [0001] The present invention relates to an imaging method and an apparatus for performing the method,

본 발명은 최적 상황 판단 촬상 방법 및 이러한 방법을 수행하는 장치에 관한 것이다. 보다 상세하게는 영상 처리 장치가 최적 상황에 있을 때 촬상을 하도록 제어함으로써 최적의 영상만을 사용자에게 제공하기 위한 방법 및 장치에 관한 것이다.The present invention relates to an optimal situation determination imaging method and an apparatus for performing such a method. And more particularly, to a method and an apparatus for providing only an optimal image to a user by controlling the image processing apparatus to perform imaging in an optimal situation.

전방향(omnidirectional) 영상 시스템은 특정 시점을 기준으로 모든 방향(360도)의 영상 정보를 기록할 수 있는 영상 시스템을 일컫는다. 기존의 영상 시스템에 비해 매우 넓은 시야각(field-of-view)의 영상을 얻을 수 있기 때문에 근래 들어 컴퓨터 비전, 이동 로봇 등의 연구 분야와 더불어 감시 시스템, 가상 현실 시스템, PTZ(pan-tilt-zoom) 카메라, 영상 회의와 같은 실용 분야에 이르기까지 그 응용의 폭이 점점 더 넓어지고 있다.An omnidirectional imaging system refers to an imaging system capable of recording image information in all directions (360 degrees) based on a specific point in time. Since the field-of-view image can be obtained in comparison with the conventional image system, it has recently been applied to a field of view such as a computer vision, a mobile robot, a surveillance system, a virtual reality system, a pan-tilt-zoom ) Applications such as cameras and video conferencing are becoming more and more widespread.

전방향 영상을 얻기 위해 다양한 방법이 사용될 수 있다. 예를 들어, 단일 시점(single view point)를 만족하는 광축(optical axis)를 기준으로 하나의 카메라를 회전시키면서 얻은 영상을 접합하여 전방향 영상이 생성될 수 있다. 또는 복수의 카메라를 환형 구조로 배열하여 각각의 카메라에서 얻은 영상을 조합하는 방법이 사용될 수도 있다. 사용자는 다양한 전방향 영상 처리 장치(또는 전방향 영상 처리 카메라, 360도 카메라)를 사용하여 전방향 영상을 생성할 수 있다.Various methods can be used to obtain omni-directional images. For example, an omnidirectional image may be generated by joining an image obtained by rotating one camera with respect to an optical axis satisfying a single view point. Or a method of arranging a plurality of cameras in an annular structure and combining images obtained from the respective cameras may be used. The user can generate omni-directional images using various omni-directional image processing apparatuses (or omnidirectional image processing cameras, 360 degree cameras).

전방향 영상 장치가 흔들릴 경우, 전방향 영상 촬상 장치에 의해 생성된 영상 중 일부는 흔들리는 영상일 수 있다. 따라서, 사용자에게 최적의 영상을 제공하기 위한 방법이 개시된다.When the omni-directional imaging device is shaken, some of the images generated by the omni-directional imaging device may be shaken. Therefore, a method for providing an optimal image to a user is disclosed.

본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.It is an object of the present invention to solve all the problems described above.

또한, 본 발명은, 전방향 영상 처리 장치가 최적 상황에 있을 때 촬상을 하도록 제어함으로써 최적의 영상만을 사용자에게 제공하는 것을 다른 목적으로 한다.Another object of the present invention is to provide only an optimal image to a user by controlling the omni-directional image processing apparatus to perform imaging when the omni-directional image processing apparatus is in an optimum condition.

또한, 본 발명은, 전방향 영상 처리 장치에 의해 최적 상황에서 촬상된 최적 영상을 기반으로 자연스러운 전방향 영상을 생성하여 사용자에게 제공하는 것을 다른 목적으로 한다.Another object of the present invention is to generate a natural omnidirectional image based on an optimal image picked up in an optimal situation by an omnidirectional image processing apparatus and to provide it to a user.

상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.In order to accomplish the above object, a representative structure of the present invention is as follows.

본 발명의 일 태양에 따르면, 최적 상황 판단 촬상 방법은 전방향 영상 처리 장치가 현재 촬영 상황이 최적 촬영 상황 조건을 만족하는지 여부를 결정하는 단계와 상기 현재 촬영 상황이 상기 최적 촬영 상황 조건을 만족하는 경우, 상기 전방향 영상 처리 장치가 영상 촬상을 수행하여 조건 만족 전방향 영상을 생성하는 단계를 포함할 수 있되, 상기 최적 촬영 상황 조건은 상기 전방향 영상 처리 장치의 기울기 조건을 포함할 수 있다.According to one aspect of the present invention, an optimum situation determination imaging method includes the steps of: determining whether an omnidirectional image processing apparatus satisfies an optimum imaging situation condition, and determining whether the current imaging state satisfies the optimal imaging situation condition In this case, the omnidirectional image processing apparatus may perform imaging to generate a condition-satisfying omnidirectional image. The optimal imaging condition may include an inclination condition of the omnidirectional image processing apparatus.

본 발명의 다른 태양에 따르면, 최적 상황 판단 촬상을 수행하는 전방향 영상 처리 장치는 외부 장치와 통신을 수행하기 위해 구현된 통신부와 상기 통신부와 동작 가능하게(operatively) 연결된 프로세서를 포함할 수 있되, 상기 프로세서는 현재 촬영 상황이 최적 촬영 상황 조건을 만족하는지 여부를 결정하고, 상기 현재 촬영 상황이 상기 최적 촬영 상황 조건을 만족하는 경우, 영상 촬상을 수행하여 조건 만족 전방향 영상을 생성하도록 구현될 수 있되, 상기 최적 촬영 상황 조건은 상기 전방향 영상 처리 장치의 기울기 조건을 포함할 수 있다.According to another aspect of the present invention, an omnidirectional image processing apparatus for performing optimum situation determination imaging may include a communication unit implemented to perform communication with an external device and a processor operatively connected to the communication unit, The processor may be configured to determine whether the current shooting condition satisfies an optimal shooting condition condition and to perform image imaging if the current shooting condition satisfies the optimal shooting situation condition to generate a conditionally satisfactory omnidirectional image The optimal scene condition may include a tilt condition of the omnidirectional image processing apparatus.

본 발명에 의하면, 전방향 영상 처리 장치가 최적 상황에 있을 때 촬상을 하도록 제어함으로써 최적의 영상만을 사용자에게 제공할 수 있다.According to the present invention, it is possible to provide only an optimal image to a user by controlling the omnidirectional image processing apparatus to perform imaging when the omnidirectional image processing apparatus is in an optimum state.

또한, 본 발명에 의하면, 전방향 영상 처리 장치에 의해 최적 상황에서 촬상된 최적 영상을 기반으로 자연스러운 전방향 영상을 생성하여 사용자에게 제공할 수 있다. According to the present invention, it is possible to generate a natural omni-directional image based on an optimal image picked up in an optimal situation by the omni-directional image processing apparatus and to provide it to a user.

도 1은 본 발명의 실시예에 따른 전방향 영상 처리 장치를 나타낸 개념도이다.
도 2는 본 발명의 실시예에 따른 전방향 영상 처리 장치에 위치한 복수의 영상 촬상부의 특성을 나타낸 개념도이다.
도 3은 본 발명의 실시예에 따른 복수의 영상 촬상부의 촬상선을 나타낸 개념도이다.
도 4는 본 발명의 실시예에 따른 복수의 영상 촬상부의 촬상선을 나타낸 개념도이다.
도 5는 본 발명의 실시예에 따른 최적 상환 판단 촬상 방법을 나타낸 개념도이다.
도 6은 본 발명의 실시예에 따른 최적 촬영 상황을 설정하는 방법을 나타낸 개념도이다.
도 7은 본 발명의 실시예에 따른 최적 촬영 상황을 설정하는 방법을 나타낸 개념도이다.
도 8은 본 발명의 실시예에 따른 전방향 영상 생성 방법을 나타낸 개념도이다.
도 9는 본 발명의 실시예에 따른 전방향 영상 생성 방법을 나타낸 개념도이다.
도 10은 본 발명의 실시예에 따른 전방향 영상 처리 장치의 동작을 나타낸 개념도이다.1 is a conceptual diagram illustrating an omni-directional image processing apparatus according to an embodiment of the present invention.
FIG. 2 is a conceptual diagram illustrating the characteristics of a plurality of image pickup units positioned in an omni-directional image processing apparatus according to an embodiment of the present invention.
3 is a conceptual diagram showing an image pickup line of a plurality of image pickup units according to an embodiment of the present invention.
4 is a conceptual diagram showing imaging lines of a plurality of image sensing units according to an embodiment of the present invention.
5 is a conceptual diagram showing an optimum re-charge determination imaging method according to an embodiment of the present invention.
FIG. 6 is a conceptual diagram illustrating a method of setting an optimal shooting situation according to an embodiment of the present invention.
FIG. 7 is a conceptual diagram illustrating a method of setting an optimal shooting situation according to an embodiment of the present invention.
8 is a conceptual diagram illustrating an omnidirectional image generation method according to an embodiment of the present invention.
9 is a conceptual diagram illustrating an omnidirectional image generation method according to an embodiment of the present invention.
10 is a conceptual diagram illustrating an operation of an omni-directional image processing apparatus according to an embodiment of the present invention.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여 지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.The following detailed description of the invention refers to the accompanying drawings, which illustrate, by way of illustration, specific embodiments in which the invention may be practiced. These embodiments are described in sufficient detail to enable those skilled in the art to practice the invention. It should be understood that the various embodiments of the present invention are different, but need not be mutually exclusive. For example, the specific shapes, structures, and characteristics described herein may be implemented by changing from one embodiment to another without departing from the spirit and scope of the invention. It should also be understood that the location or arrangement of individual components within each embodiment may be varied without departing from the spirit and scope of the present invention. Therefore, the following detailed description is not to be taken in a limiting sense, and the scope of the present invention should be construed as encompassing the scope of the appended claims and all equivalents thereof. In the drawings, like reference numbers designate the same or similar components throughout the several views.

이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 바람직한 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.Hereinafter, various embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention.

이하, 본 발명의 실시예의 영상 처리 장치는 전방향 영상 처리 장치를 포함할 수 있다. 전방향 영상 처리 장치는 전방향(또는 360도 영상)을 촬상할 수 있는 전방향 카메라(360도 카메라)를 포함할 수 있다.Hereinafter, the image processing apparatus of the embodiment of the present invention may include an omni-directional image processing apparatus. The omni-directional image processing apparatus may include an omni-directional camera (360-degree camera) capable of imaging omni-directional (or 360-degree images).

또한, 이하, 본 발명의 실시예에서 개시되는 영상 정보, 동영상 정보는 전방향 영상(또는 360도 영상)을 포함할 수 있다.Hereinafter, the image information and moving image information disclosed in the embodiments of the present invention may include an omni-directional image (or a 360-degree image).

도 1은 본 발명의 실시예에 따른 전방향 영상 처리 장치를 나타낸 개념도이다.1 is a conceptual diagram illustrating an omni-directional image processing apparatus according to an embodiment of the present invention.

도 1에서는 전방향 영상 처리 장치의 구조가 개시된다.1, a structure of an omnidirectional image processing apparatus is disclosed.

도 1을 참조하면, 전방향 영상 처리 장치(100)는 웨어러블 구조로 사용자의 목에 걸 수 있는 목걸이와 유사한 형상일 수 있다. 전방향 영상 처리 장치(100)는 도 1에서와 같이 일면의 개방된 목걸이의 형상일 수도 있고, 일면이 개방되지 않은 목걸이의 형상일 수도 있다. 이하, 본 발명의 실시예에서는 전방향 영상 처리 장치(100)가 일면이 개방된 U자 형상을 가지는 것으로 가정한다. 이러한 U자 형상의 전방향 영상 처리 장치(100)는 사용자의 목에 웨어러블 장치(wearable device) 형태로 걸려 전방향 영상을 촬영할 수 있다.Referring to FIG. 1, the omnidirectional image processing apparatus 100 may have a wearable structure similar to a necklace that can be hung on a user's neck. The omnidirectional image processing apparatus 100 may have a shape of an open necklace on one side or a shape of a necklace on one side as shown in FIG. Hereinafter, in the embodiment of the present invention, it is assumed that the omnidirectional image processing apparatus 100 has a U-shape with one side open. The omni-directional omni-directional image processing apparatus 100 can be hung on a user's neck in the form of a wearable device to take omni-directional images.

본 발명의 실시예에서는 설명의 편의상 전방향 영상 처리 장치(100)가 목걸이 형태(또는 일면이 개방된 목걸이 형태, U자 형태)로서 사용자의 목에 걸리는 경우가 가정된다. 하지만, 전방향 영상 처리 장치(100)는 단순히 사용자의 목에 거는 형태가 아닐 수도 있다. 예를 들어, 전방향 영상 처리 장치(100)는 걸거나/부착 가능한 다양한 형태로 사용자의 다른 신체 부위 또는 외부 물체(또는 객체)/장치/구조물 등에 설치되어 전방향 영상을 획득할 수도 있다.In the embodiment of the present invention, it is assumed that the omnidirectional image processing apparatus 100 is hooked on the neck of a user as a necklace (or a necklace-shaped, U-shaped opening). However, the omnidirectional image processing apparatus 100 may not be merely a form hanging on the user's neck. For example, the omni-directional image processing apparatus 100 may be installed in other body parts or external objects (or objects) / devices / structures of the user in various forms that can be hooked / attached to obtain omni-directional images.

사용자는 웨어러블 장치로서 구현된 전방향 영상 처리 장치(100)를 목에 걸고 양손이 자유로운 상태에서 전방향 영상의 생성하기 위한 복수의 영상을 획득할 수 있다.The user can acquire a plurality of images for creating an omnidirectional image in a state where both hands are free from the omnidirectional image processing apparatus 100 implemented as a wearable device.

전방향 영상 처리 장치(100)는 복수개의 영상 촬상부를 포함할 수 있다. 복수개의 영상 촬상부 각각은 전방향 영상 처리 장치에 특정 간격(또는 미리 설정된 간격)으로 위치하여 화각/촬상선에 따른 영상을 개별적으로 촬상할 수 있다. 복수개의 영상 촬상부 각각의 위치는 전방향 영상 처리 장치(100)에서 고정적일 수도 있으나, 복수개의 영상 촬상부 각각은 이동 가능하고, 복수개의 영상 촬상부 각각의 위치는 변할 수도 있다.The omnidirectional image processing apparatus 100 may include a plurality of image pickup units. Each of the plurality of image sensing units may be positioned at a predetermined interval (or a predetermined interval) in the omnidirectional image processing apparatus to separately capture images corresponding to the angle of view / image sensing line. Although the position of each of the plurality of image pickup units may be fixed in the omnidirectional image processing apparatus 100, each of the plurality of image pickup units may be movable, and the position of each of the plurality of image pickup units may be changed.

예를 들어, 전방향 영상 처리 장치(100)는 3개의 영상 촬상부를 포함할 수 있고, 3개의 영상 촬상부는 일정한 화각(field of view)(예를 들어, 120도~180도)으로 전방향 영상을 촬상할 수 있다. 3개의 영상 촬상부는 영상 촬상부1(110), 영상 촬상부2(120), 영상 촬상부3(130)일 수 있다.For example, the omnidirectional image processing apparatus 100 may include three image pickup units, and the three image pickup units may have a field of view (for example, 120 to 180 degrees) Can be picked up. The three image capturing units may be the image capturing unit 1 (110), the image capturing unit 2 (120), and the image capturing unit 3 (130).

이하, 설명의 편의상 3개의 영상 촬상부가 전방향 영상 처리 장치(100)에 포함된 구조가 개시된다. 하지만, 3개가 아닌 복수개(예를 들어, 2, 4, 5, 6개 등)의 영상 촬상부가 전방향 영상 처리 장치(100)에 포함되어, 전방향 영상을 촬상할 수도 있고, 이러한 형태도 본 발명의 권리 범위에 포함된다.Hereinafter, a structure in which three image pickup sections are included in the omnidirectional image processing apparatus 100 is described for convenience of explanation. However, a plurality of image pickup units (for example, 2, 4, 5, 6, etc.) other than three may be included in the omnidirectional image processing apparatus 100 to capture an omnidirectional image, And are included in the scope of the invention.

영상 촬상부1(110), 영상 촬상부2(120) 및 영상 촬상부3(130)은 화각에 따라 영상을 촬상할 수 있다. 동일한 시간 자원 상에서 영상 촬상부1(110)에 의해 영상1이 생성되고, 영상 촬상부2(120)에 의해 영상2가 생성되고, 영상 촬상부3(130)에 의해 영상3이 생성될 수 있다. 영상 촬상부1(110), 영상 촬상부2(120), 영상 촬상부3(130) 각각의 화각은 120도 이상일 수 있고, 영상1, 영상2 및 영상3에서는 중첩된 촬상 영역이 존재할 수 있다. 이후, 전방향 영상 처리 장치(100)에 의해 동일한 시간 자원 상에서 촬상된 영상1 및 영상2 및 영상3을 스티칭/보정하여 전방향 영상이 생성될 수 있다. 복수의 영상에 대한 스티칭 및/또는 보정 절차는 전방향 영상 처리 장치 자체에서 수행될 수도 있고, 전방향 영상 처리 장치(100)와 통신 가능한 사용자 장치(스마트 폰)을 기반으로 수행될 수도 있다. 즉, 생성된 복수 영상에 대한 추가적인 영상 처리 절차들은 전방향 영상 처리 장치(100) 및/또는 다른 영상 처리 장치(스마트폰, PC(personal computer) 등)에 의해 수행될 수도 있다.The image capturing unit 1 (110), the image capturing unit 2 (120), and the image capturing unit 3 (130) can capture an image according to the angle of view. The image 1 is generated by the image capturing unit 1 110 on the same time resource, the image 2 is generated by the image capturing unit 2 120, and the image 3 is generated by the image capturing unit 3 130 . The view angles of the image capturing unit 1 110, the image capturing unit 2 120 and the image capturing unit 3 130 may be 120 degrees or more and overlapping image regions may exist in the images 1, 2, . Thereafter, the omnidirectional image can be generated by stitching / correcting the image 1, the image 2, and the image 3 picked up on the same time resource by the omnidirectional image processing apparatus 100. The stitching and / or correction procedure for a plurality of images may be performed by the omni-directional image processing apparatus itself or may be performed based on a user apparatus (smart phone) capable of communicating with the omni-directional image processing apparatus 100. That is, the additional image processing procedures for the generated multiple images may be performed by the omnidirectional image processing apparatus 100 and / or another image processing apparatus (smart phone, personal computer, etc.).

이하, 전방향 영상 처리 장치의 구체적인 특징 및 전방향 영상 생성 방법이 구체적으로 개시된다.Hereinafter, specific features of the omnidirectional image processing apparatus and omnidirectional image generating method are specifically disclosed.

도 2는 본 발명의 실시예에 따른 전방향 영상 처리 장치에 위치한 복수의 영상 촬상부의 특성을 나타낸 개념도이다.FIG. 2 is a conceptual diagram illustrating the characteristics of a plurality of image pickup units positioned in an omni-directional image processing apparatus according to an embodiment of the present invention.

도 2에서는 U자형의 전방향 영상 처리 장치에 위치한 복수개의 영상 촬상부의 특징이 개시된다. 도 2에서 개시되는 영상 촬상부의 위치는 예시적인 것이다. 복수의 영상 촬상부 각각은 전방향 영상의 생성을 위한 복수의 영상을 촬상하기 위해 전방향 영상 처리 장치 상의 다양한 위치에 위치할 수 있다.2, features of a plurality of image pickup units positioned in a U-shaped omni-directional image processing apparatus are disclosed. The position of the image pickup section disclosed in Fig. 2 is an exemplary one. Each of the plurality of image pickup units may be located at various positions on the omnidirectional image processing apparatus to pick up a plurality of images for generating omni-directional images.

도 2의 상단에서는 전방향 영상 처리 장치의 후면부가 개시된다.At the top of Fig. 2, the rear portion of the omnidirectional image processing apparatus is started.

전방향 영상 처리 장치에 포함된 영상 촬상부1(210) 및 영상 촬상부2(220)는 전방향 영상 처리 장치에서 곡률이 존재하는 휘어진 부분에 위치할 수 있다. 구체적으로 사용자가 웨어러블 장치로서 전방향 영상 처리 장치를 목에 거는 경우, 목의 뒷부분과 접촉되는 휘어진 영역에 영상 촬상부1(210) 및 영상 촬상부2(220)가 위치할 수 있다. 예를 들어, U자형의 전방향 영상 처리 장치의 최대 곡률 지점(예를 들어, U자형의 중간 부분)을 기준으로 영상 촬상부1(210) 및 영상 촬상부2(220)가 일정 거리 상에 위치할 수 있다.The image pickup unit 1 210 and the image pickup unit 2 220 included in the omnidirectional image processing apparatus may be located in a curved portion where the curvature exists in the omnidirectional image processing apparatus. Specifically, when the user wears the omnidirectional image processing apparatus as a wearable apparatus, the image pickup unit 1 210 and the image pickup unit 220 can be positioned in the bent region contacting the back of the neck. For example, when the image pickup unit 1 210 and the image pickup unit 220 are positioned at a certain distance on the basis of a maximum curvature point (for example, a U-shaped middle portion) of the U-shaped omni-directional image processing apparatus Can be located.

영상 촬상부1(210)은 사용자의 시선(line of sight) 방향을 기준으로 후면 좌측 사각 영역을 포함하는 영역을 촬상할 수 있다. 영상 촬상부2(220)는 사용자의 시선을 기준으로 후면 우측 사각 영역을 포함하는 영역을 촬상할 수 있다. 구체적으로 영상 촬상부1(210)은 제1 화각을 가지고, 제1 화각에 해당하는 영역에 대한 촬상을 수행할 수 있다. 영상 촬상부2(220)는 제2 화각을 가지고, 제2 화각에 해당하는 영역에 대한 촬상을 수행할 수 있다. 예를 들어, 제1 화각 및 제2 화각은 120~180도일 수 있다.The image capturing unit 210 may capture an area including a left rear rectangular area on the basis of a line of sight direction of the user. The image capturing unit 2 (220) can capture an area including a rear right square area on the basis of the user's line of sight. Specifically, the image pickup section 210 (210) has a first angle of view and can perform image pickup with respect to an area corresponding to the first angle of view. The image pickup section 2 (220) has a second angle of view, and can perform imaging with respect to an area corresponding to the second angle of view. For example, the first angle of view and the second angle of view may be 120 to 180 degrees.

영상 촬상부1(210) 및 영상 촬상부2(220)에 의한 촬상이 수행될 경우, 제1 화각과 제2 화각에 의해 중첩되는 제1 중첩 영역(215)이 발생할 수 있다. 이후 중첩 영역을 고려한 스티칭을 기반으로 전방향 영상이 생성할 수 있다.When the imaging by the image pickup unit 1 210 and the image pickup unit 220 is performed, a first overlapping area 215 overlapping with the first view angle and the second view angle may occur. Then, the omnidirectional image can be generated based on the stitching considering the overlap area.

도 2의 하단에서는 전방향 영상 처리 장치의 전면부가 개시된다.2, the front side of the omnidirectional image processing apparatus is started.

전방향 영상 처리 장치의 전면부에는 영상 촬상부3(230)이 위치할 수 있다. 구체적으로 영상 촬상부3(230)은 전방향 영상 처리 장치의 말단부(U자형의 끝(말단) 부분)에 위치할 수 있다. 사용자가 전방향 영상 처리 장치를 웨어러블 장치로서 목에 거는 경우, U자형의 전방향 영상 처리 장치의 말단 부분은 사용자의 전면 방향(사용자의 시선이 바라보는 방향)에 위치할 수 있다. 전방향 영상 처리 장치는 제1 말단부와 제2 말단부를 포함하고, 영상 촬상부3(230)은 제1 말단부와 제2 말단부 중 하나의 말단부에 위치할 수 있다.The image sensing unit 3 230 may be positioned on the front of the omnidirectional image processing apparatus. Specifically, the image capturing unit 3 230 may be located at the distal end (the end portion of the U-shape) of the omnidirectional image processing apparatus. When the user places the omnidirectional image processing apparatus on the neck as a wearable apparatus, the distal end portion of the U-shaped omnidirectional image processing apparatus may be positioned in the front direction of the user (the direction in which the user's gaze is viewed). The omnidirectional image processing apparatus may include a first end portion and a second end portion, and the image pickup portion 3 230 may be located at one end portion of the first end portion and the second end portion.

영상 촬상부3(230)은 사용자의 시선의 방향과 동일한 방향으로 촬상을 수행하여 사용자의 시선에 해당하는 영역에 대한 촬상을 수행할 수 있다.The image capturing unit 3 230 may perform image capturing in the same direction as the direction of the user's gaze and perform image capturing of an area corresponding to the user's gaze.

구체적으로 영상 촬상부3(230)은 제3 화각을 가지고, 제3 화각에 해당하는 영역에 대한 촬상을 수행할 수 있다. 예를 들어, 제3 화각은 120도~180도일 수 있다. 영상 촬상부3(230)에 의한 촬상이 수행될 경우, 영상 촬상부1(210)의 제1 화각과 영상 촬상부3(230)의 제3 화각에 의한 제2 중첩 영역(225)이 발생할 수 있다. 영상 촬상부3(230)에 의한 촬상이 수행될 경우, 영상 촬상부2(220)의 제2 화각과 영상 촬상부3(230)의 제3 화각에 의한 제3 중첩 영역(235)이 발생할 수 있다.More specifically, the image pickup section 3 230 has a third angle of view, and can perform imaging with respect to an area corresponding to the third angle of view. For example, the third angle of view may be between 120 and 180 degrees. When the image pickup by the image pickup section 3 230 is performed, the first overlap angle 225 of the image pickup section 1 210 and the third overlap angle 225 of the image pickup section 3 230 may occur have. When the imaging by the imaging unit 3 230 is performed, the second angle of view of the imaging unit 2 (220) and the third angle of overlap 235 of the imaging angle of the imaging unit 3 (230) have.

목에 거는 웨어러블 장치의 구조상 목에 전방향 영상 처리 장치가 걸리는 경우, 영상 촬상부1(210), 영상 촬상부2(220)는 지면을 기준으로 영상 촬상부3(230)보다 상대적으로 높은 곳에 위치할 수 있다. 또한, 영상 촬상부3(230)은 한쪽 말단부에만 위치하게 된다.When the omnidirectional image processing apparatus is hooked on the neck of the wearable apparatus, the image pickup unit 1 210 and the image pickup unit 2 220 are positioned at a relatively higher position than the image pickup unit 3 230 Can be located. Further, the image pickup section 3 (230) is located at only one end portion.

기존의 전방향 영상 처리 장치에서는 동일한 높이에 위치한 복수개의 영상 촬상부가 일정한 각도를 가지고 구현되는데 반하여 본 발명의 실시예에 따른 전방향 영상 처리 장치는 복수의 영상 촬상부 간의 각도도 다르고 위치한 높이도 서로 다를 수 있다. 따라서, 복수의 영상 촬상부 각각에 의해 생성된 복수의 영상에 대한 제1 중첩 영역(215), 제2 중첩 영역(225) 및 제3 중첩 영역(235)의 크기/형태가 서로 다를 수 있다.In the conventional omni-directional image processing apparatus, a plurality of image pickup units positioned at the same height are implemented with a certain angle, whereas the omnidirectional image processing apparatus according to the embodiment of the present invention has different angles between the plurality of image pickup units, can be different. Therefore, the sizes / shapes of the first overlapping area 215, the second overlapping area 225, and the third overlapping area 235 may be different from each other for a plurality of images generated by each of the plurality of image pickup units.

이후, 제1 중첩 영역(215)/제2 중첩 영역(225)/제3 중첩 영역(235)을 고려한 영상 촬상부1(210), 영상 촬상부2(220) 및 영상 촬상부3(230) 각각에 의해 생성된 영상1, 영상2 및 영상 3에 대한 영상 처리 절차(스티칭/보정 등)을 기반으로 전방향 영상이 생성될 수 있다. The image pickup unit 1 210, the image pickup unit 2 220 and the image pickup unit 3 230 taking the first overlapping area 215, the second overlapping area 225 and the third overlapping area 235 into consideration, An omnidirectional image can be generated based on image processing procedures (stitching / correction, etc.) for the image 1, the image 2, and the image 3 generated by each.

제1 화각, 제2 화각, 제3 화각의 크기는 동일하게 설정될 수도 있지만, 서로 다르게 설정될 수도 있고 이러한 실시예 또한 본 발명의 권리 범위에 포함된다. The sizes of the first angle of view, the second angle of view, and the angle of the third angle of view may be set to be the same, but they may be set differently, and these embodiments are also included in the scope of the present invention.

도 3은 본 발명의 실시예에 따른 복수의 영상 촬상부의 촬상선을 나타낸 개념도이다.3 is a conceptual diagram showing an image pickup line of a plurality of image pickup units according to an embodiment of the present invention.

도 3에서는 전방향 영상 처리 장치에 설치된 복수의 영상 촬상부 각각의 촬상선이 개시된다. 지면을 X축과 Z축이 이루는 XZ 평면과 평행하다고 가정하는 경우, 촬상선은 X축/Y축/Z축으로 표현되는 공간 상에서 전방향 영상 처리 장치에 포함된 복수의 영상 촬상부 각각의 렌즈의 중앙을 수직으로 관통하는 선으로 정의될 수 있다.In Fig. 3, an image pickup line of each of a plurality of image pickup units provided in the omnidirectional image processing apparatus is started. When the ground is assumed to be parallel to the X-Z plane formed by the X-axis and the Z-axis, the image capturing lines are arranged on the space represented by the X-axis / Y-axis / Z- As shown in Fig.

기존의 전방향 영상 처리 장치는 동일한 높이에 복수의 영상 촬상부를 일정한 각도(예를 들어, 120도)로 구현될 수 있다. 이러한 경우, 기존의 전방향 영상 처리 장치에 포함된 복수의 영상 촬상부의 복수의 촬상선은 지면(또는 XZ 평면)에 평행하고 복수의 촬상선 간에 일정한 각도(예를 들어, 120도)를 가지는 복수의 선일 수 있다.Conventional omni-directional image processing apparatuses can be implemented with a plurality of image pickup units at the same height at a certain angle (for example, 120 degrees). In this case, a plurality of imaging lines of the plurality of image pickup units included in the conventional omni-directional image processing apparatus are arranged in parallel to the ground (or XZ plane) and have a plurality of (for example, 120 degrees) .

본 발명의 실시예에 따른 전방향 영상 처리 장치는 전술한 바와 같이 복수의 영상 촬상부의 높이(또는 복수의 영상 촬상부의 구현된 위치) 및 복수의 영상 촬상부 간의 각도(또는 촬상선 간에 이루는 각도)가 촬상시에 서로 다를 수 있다. 따라서, 본 발명의 실시예에 따른 전방향 영상 처리 장치의 촬상선의 특성은 기존의 전방향 영상 처리 장치의 촬상선의 특성과는 차이가 있다.As described above, the omnidirectional image processing apparatus according to the embodiment of the present invention is configured so that the heights of the plurality of image pickup units (or the positions at which the plurality of image pickup units are implemented) and the angles between the plurality of image pickup units May differ from each other at the time of imaging. Therefore, the characteristics of the imaging lines of the omni-directional image processing apparatus according to the embodiment of the present invention are different from those of the imaging lines of the conventional omni-directional image processing apparatus.

도 3에서 표현되는 복수의 영상 촬상부 각각의 촬상선은 웨어러블 디바이스의 특성으로 인한 복수의 영상 촬상부 각각의 촬상선 간의 특성(예를 들어, 높이, 각도)의 차이를 보여주기 위한 예시일 수 있다. 또한, 도 3에서 표현되는 촬상선은 전방향 영상 처리 장치를 착용한 사용자에 의한 움직임이 없거나 전방향 영상 처리 장치가 특정 상태에서 고정된 경우의 촬상선일 수 있다.The image pickup lines of each of the plurality of image pickup units shown in Fig. 3 are illustrative examples for showing the difference (e.g., height, angle) between the pickup lines of each of the plurality of image pickup units due to the characteristics of the wearable device have. 3 may be an imaging line in the case where there is no movement by a user wearing the omnidirectional image processing apparatus or when the omnidirectional image processing apparatus is fixed in a specific state.

도 3의 상단은 영상 촬상부1(310) 및 영상 촬상부2(320)의 촬상선을 개시한다.The top of Fig. 3 starts imaging lines of the image sensing unit 1 (310) and the image sensing unit 2 (320).

영상 촬상부1(310) 및 영상 촬상부2(320)는 영상 촬상부3(330)보다 상대적으로 높은 위치에 구현될 수 있다. 전방향 영상 처리 장치를 착용한 사용자의 서있는 방향이 Y축 방향이라고 가정하는 경우, 목에 거는 웨어러블 디바이스의 구조상 전방향 영상 촬상 장치에서 영상 촬상부1(310) 및 영상 촬상부2(320)가 위치한 곡률을 가지는 부분(U자에서 곡선/중앙 부분)이 상대적으로 올라가고 영상 촬상부3(330)이 위치한 다리 부분(U자에서 말단 부분)이 상대적으로 아래로 내려갈 수 있다.The image pickup unit 1 310 and the image pickup unit 2 320 can be implemented at a relatively higher position than the image pickup unit 3 330. In the case where the user wearing the omnidirectional image processing apparatus is assumed to be in the Y-axis direction, the image pickup unit 1 310 and the image pickup unit 2 320 in the omnidirectional image pickup apparatus structured to wear on the neck The curved portion (curve / central portion in the U-shape) relatively rises and the leg portion (the end portion in the U-shape) where the image pickup portion 3 330 is located can be relatively lowered.

예를 들어, 영상 촬상부1(310)의 촬상선1(315)은 XZ 평면과 평행하되, Y축의 좌표 a에서 X축과 제1 각도1, Y축과 제2 각도, Z축과 제3 각도를 가질 수 있다. For example, the image pickup line 1 315 of the image pickup unit 1 310 is parallel to the XZ plane, and has a first angle 1 with the X axis at the coordinate a of the Y axis, a second angle with the Y axis, It can have an angle.

영상 촬상부2(320)의 촬상선2(325)는 XZ 평면과 평행하되, Y축의 지점 a에서 X축과 제4 각도, Y축과 제5 각도, Z축과 제6 각도를 가질 수 있다.The image pickup line 2 325 of the image pickup unit 2 320 may have a fourth angle with the X axis at the point a in the Y axis, a fifth angle with the Y axis, and a sixth angle with the Z axis in parallel with the XZ plane .

도 3의 하단을 참조하면, 영상 촬상부3(330)의 촬상선3(335)은 XZ 평면과 평행하고, Y축의 좌표 b에서 X축과 제7 각도, Y축과 제8 각도, Z축과 제9 각도를 가질 수 있다. b는 a보다 작은 값일 수 있다. 영상 촬상부3(330)의 촬상선3(335)은 XZ 평면과 평행하고 사용자의 시선과 동일하게 전면(예를 들어, XY 평면과 수직한 방향)을 바라보도록 구현될 수 있다.3, the image pickup line 3 (335) of the image pickup section 3 (330) is parallel to the XZ plane, and has a seventh angle with the X axis at the coordinate b of the Y axis, an eighth angle with the Y axis, And a ninth angle. b may be a value less than a. The imaging line 3 335 of the image sensing unit 3 330 may be configured to be parallel to the XZ plane and to look at the entire surface (for example, a direction perpendicular to the XY plane) as the user's line of sight.

즉, 촬상선1(315) 및 촬상선2(325)는 Y 축을 기준으로 동일한 높이를 가지고, 촬상선3(335)은 Y 축을 기준으로 촬상선1 및 촬상선2보다 상대적으로 낮은 위치에 위치할 수 있다. 도 3에서 개시된 촬상선1(315), 촬상선2(325) 및 촬상선3(335)은 서로 다른 특성을 가지는 촬상선에 대한 하나의 예시이고, 다른 다양한 촬상선이 정의되고 전방향 영상이 촬상될 수 있다.That is, the imaging line 1 (315) and the imaging line 2 (325) have the same height with respect to the Y axis and the imaging line 3 (335) is located at a position relatively lower than the imaging line 1 and the imaging line 2 can do. The imaging line 1 315, the imaging line 2 325, and the imaging line 3 335 disclosed in FIG. 3 are examples of imaging lines having different characteristics, and various other imaging lines are defined and an omni-directional image Can be picked up.

도 4는 본 발명의 실시예에 따른 복수의 영상 촬상부의 촬상선을 나타낸 개념도이다.4 is a conceptual diagram showing imaging lines of a plurality of image sensing units according to an embodiment of the present invention.

도 4에서는 도 3과 다른 복수의 영상 촬상부의 촬상선이 개시된다. 마찬가지로 도 4에서도 지면이 X축과 Z축이 이루는 XZ 평면과 평행하다고 가정한다. In Fig. 4, imaging lines of a plurality of image pickup units different from those in Fig. 3 are started. Similarly, in FIG. 4, it is assumed that the paper surface is parallel to the XZ plane formed by the X axis and the Z axis.

도 4의 상단은 영상 촬상부1(410) 및 영상 촬상부2(420)의 촬상선을 개시한다.4, the image pickup lines of the image pickup section 1 (410) and the image pickup section 2 (420) are started.

영상 촬상부1(410) 및 영상 촬상부2(420)는 영상 촬상부3(430)보다 상대적으로 높은 위치에 구현될 수 있다. 마찬가지로, 사용자가 서있는 방향이 Y축 방향이라고 가정하는 경우, 목에 거는 웨어러블 디바이스의 구조상 전방향 영상 촬상 장치는 영상 촬상부1(410) 및 영상 촬상부2(420)가 위치한 곡률을 가지는 부분(U자에서 곡선 부분)이 상대적으로 올라가고 영상 촬상부3(430)이 위치한 다리 부분(U자에서 말단 부분)이 상대적으로 아래로 내려간 형태로 영상을 촬상할 수 있다.The image pickup unit 1 410 and the image pickup unit 2 420 may be positioned at a relatively higher position than the image pickup unit 3 430. Likewise, when it is assumed that the direction in which the user is standing is the Y-axis direction, the constructional omnidirectional image pickup device of the wearable device hanging on the neck has a curved portion ( The curved portion in the U-shape) relatively rises and the leg portion (the end portion in U-shape) where the image pickup unit 3 430 is located can be relatively downwardly captured.

예를 들어, 영상 촬상부1(410)의 촬상선1(415)은 XZ 평면과 평행하되, Y 축의 좌표 a에서 X축과 제1 각도1, Y축과 제2 각도, Z축과 제3 각도를 가질 수 있다. For example, the image pickup line 1 415 of the image pickup unit 1 (410) is parallel to the XZ plane, and has a first angle 1 with the X axis at the coordinate a of the Y axis, a second angle with the Y axis, It can have an angle.

영상 촬상부2(420)의 촬상선2(415)는 XZ 평면과 평행하되, Y 축의 좌표 a에서 X축과 제4 각도, Y축과 제5 각도, Z축과 제6 각도를 가질 수 있다. The imaging line 2 415 of the image sensing unit 2 420 may have a fourth angle with the X axis, a fifth angle with the Y axis, and a sixth angle with the Z axis in the coordinate a of the Y axis, parallel to the XZ plane .

도 4의 하단은 영상 촬상부3(430)의 촬상선을 개시한다.The lower end of Fig. 4 starts the image pickup line of the image pickup section 3 (430).

영상 촬상부3(430)의 촬상선3(435)는 XZ 평면과 평행하지 않을 수 있고, Y 축의 좌표 b를 시작 지점으로 하여 X축과 제7 각도, Y축과 제8 각도, Z축과 제9 각도를 가질 수 있다. The image pickup line 3 435 of the image pickup section 3 430 may not be parallel to the XZ plane and the x-axis and the seventh angle, the y-axis and the eighth angle, and the Z- It may have a ninth angle.

영상 촬상부3(430)은 전방향 영상 처리 장치의 말단부에 위치하기 때문에 촬상선은 XZ 평면과 평행하지 않고, XZ 평면과 일정한 각도(예를 들어, 0~30도)를 가질 수 있다.Since the image capturing unit 3 430 is located at the distal end of the omnidirectional image processing apparatus, the image capturing line is not parallel to the XZ plane and can have a certain angle (for example, 0 to 30 degrees) with the XZ plane.

즉, 촬상선1(415) 및 촬상선2(425)는 Y 축을 기준으로 동일한 높이를 가지고, 촬상선3(435)은 Y 축을 기준으로 촬상선1(415) 및 촬상선2(425) 보다 상대적으로 낮은 위치에 위치할 수 있다. 또한, 촬상선 1(415) 및 촬상선2(425)는 XZ 평면과 평행하나, 촬상선3(435)은 XZ 평면과 평행하지 않을 수 있다.That is, the imaging line 1 415 and the imaging line 2 425 have the same height with respect to the Y axis, and the imaging line 3 435 has the same height as the imaging line 1 415 and the imaging line 2 425 It can be located at a relatively low position. The imaging line 1 415 and the imaging line 2 425 are parallel to the XZ plane, but the imaging line 3 435 may not be parallel to the XZ plane.

본 발명의 다른 실시예로, 예를 들어, 영상 촬상부1의 촬상선1은 XZ 평면과 제1' 각도를 이루고 Y 축의 좌표 a를 시작 지점으로 하여 X축과 제1 각도1, Y축과 제2 각도, Z축과 제3 각도를 가질 수 있다. 또한, 영상 촬상부2의 촬상선2는 XZ 평면과 제1' 각도를 이루고 Y 축의 좌표 a를 시작 지점으로 하여 X축과 제4 각도, Y축과 제5 각도, Z축과 제6 각도를 가질 수 있다. 영상 촬상부3의 촬상선3는 XZ 평면과 제2' 각도를 이루고 Y 축의 좌표 b를 시작 지점으로 하여 X축과 제7 각도, Y축과 제8 각도, Z축과 제9 각도를 가질 수 있다.In another embodiment of the present invention, for example, the image pickup line 1 of the image pickup section 1 forms a first angle with the XZ plane, and the coordinate a of the Y axis as a starting point, A second angle, and a third angle with the Z axis. The image pickup line 2 of the image pickup section 2 forms a first angle with the XZ plane and has a fourth angle with the X axis, a fifth angle with the Y axis, and a sixth angle with the Z axis with the coordinate a of the Y axis as the starting point Lt; / RTI > The image pickup line 3 of the image pickup section 3 forms a second angle with the XZ plane and has the seventh angle with the X axis and the eighth angle with the X axis and the ninth angle with the Z axis with the coordinate b of the Y axis as the starting point have.

본 발명의 또 다른 실시예로, 예를 들어, 영상 촬상부1의 촬상선1은 XZ 평면과 제1' 각도를 이루고 Y 축의 좌표 a를 시작 지점으로 하여 X축과 제1 각도1, Y축과 제2 각도, Z축과 제3 각도를 가질 수 있다. 또한, 영상 촬상부2의 촬상선2는 XZ 평면과 제2' 각도를 이루고 Y 축의 좌표 a를 시작 지점으로 하여 X축과 제4 각도, Y축과 제5 각도, Z축과 제6 각도를 가질 수 있다. 영상 촬상부3의 촬상선3는 XZ 평면과 제3' 각도를 이루고 Y 축의 좌표 b를 시작 지점으로 하여 X축과 제7 각도, Y축과 제8 각도, Z축과 제9 각도를 가질 수도 있다.In another embodiment of the present invention, for example, the image pickup line 1 of the image pickup section 1 forms a first angle with the XZ plane, and the coordinate a of the Y axis as a starting point, And a third angle with the Z axis. The image pickup line 2 of the image pickup unit 2 forms a second angle with the XZ plane and has a fourth angle with the X axis, a fifth angle with the X axis, and a sixth angle with the Z axis with the coordinate a of the Y axis as the starting point Lt; / RTI > The image pickup line 3 of the image pickup section 3 forms a third angle with the XZ plane and has the seventh angle with the X axis and the eighth angle with the X axis and the ninth angle with the Z axis with the coordinate b of the Y axis as the starting point have.

즉, 복수의 영상 촬상부 각각의 촬상선이 기존의 동일한 Y 축 지점에서 지면과 동일한 각도를 가지는 영상 처리 장치와 다르게 본 발명의 실시예에 따른 전방향 영상 처리 장치는 복수의 영상 촬상부 각각의 촬상선이 서로 다른 Y 축 지점에서 위치하고, 지면(또는 XZ 평면)과 서로 다른 각도를 가질 수 있다.In other words, the image processing apparatus according to the embodiment of the present invention is different from the image processing apparatus in which the image pickup lines of the plurality of image pickup sections have the same angle as the ground at the same Y-axis point, The imaging lines are located at different Y-axis points and can have different angles from the ground (or XZ plane).

전방향 영상 처리 장치가 웨어러블 장치(wearable device)인 경우, 전방향 영상 처리 장치가 흔들리는 상황에서 흔들리는 영상을 촬상하거나, 전방향 영상 처리 장치가 기울어져 있을 때 기울어진 영상을 촬상하게 된다. When the omnidirectional image processing apparatus is a wearable device, the omnidirectional image processing apparatus captures an image shaken when the omnidirectional image processing apparatus is shaken or an oblique image when the omnidirectional image processing apparatus is inclined.

전방향 영상 처리 장치가 웨어러블 장치로 구현되는 경우, 착용하고 있는 전방향 영상 처리 장치의 촬상 위치, 촬상 결과를 확인할 수 있는 프리뷰(preview)가 없는 이상 촬상되는 영상에 대해 실시간으로 확인하고 보정하기가 어렵다.In the case where the omnidirectional image processing apparatus is implemented as a wearable apparatus, it is possible to check and correct the image to be imaged in real time in the absence of a preview that can confirm the image pickup position and image pickup result of the omni- it's difficult.

사용자가 목에 전방향 영상 처리 장치를 착용하고 전방향 영상을 촬상하는 경우, 사용자의 이동에 따라 전방향 영상 처리 장치가 상하좌우로 움직이게 된다. 이러한 전방향 영상 처리 장치의 움직임으로 인해 전방향 영상의 흔들림, 전방향 영상의 블러(blur) 등이 발생할 수 있다. 전방향 영상의 흔들림, 전방향 영상의 블러는 전방향 영상을 보는 사람의 피로감을 증가시키게 된다.When the user wears the omnidirectional image processing apparatus on the neck and picks up the omnidirectional image, the omnidirectional image processing apparatus moves vertically and horizontally as the user moves. Due to the movement of the omnidirectional image processing apparatus, blurring of the omnidirectional image and blur of the omnidirectional image may occur. The blur of the omnidirectional image and the blur of the omnidirectional image increase the fatigue of the person watching the omnidirectional image.

본 발명에서는 이러한 문제점을 해결하기 위해 사용자의 전방향 영상 촬상 결과에 대한 실시간 확인 없이도 센서 등을 이용하여 전방향 영상 처리 장치의 자세와 위치 정보를 확인하고, 촬상 동작을 수행할 수 있다. 이러한 방법을 통해 전방향 영상 처리 장치가 관심 지점(POI: Point Of Interest) 상에 있거나 전방향 영상 처리 장치의 자세가 최적인 경우, 전방향 영상 처리 장치의 촬상이 수행될 수 있다.In order to solve such a problem, in the present invention, the posture and position information of the omnidirectional image processing apparatus can be confirmed using a sensor or the like without performing real-time confirmation of the omnidirectional image pickup result of the user, and the imaging operation can be performed. In this way, if the omni-directional image processing apparatus is on a point of interest (POI) or the posture of the omni-directional image processing apparatus is optimal, imaging of the omni-directional image processing apparatus can be performed.

즉, 전방향 영상 처리 장치가 촬영 상황을 인지하여 촬영 상황이 설정된 조건을 만족하는 경우 촬상을 수행함으로써 사용자의 확인 없이도 최적의 전방향 영상이 획득될 수 있다. That is, when the omnidirectional image processing device recognizes the shooting situation and the shooting condition satisfies the set condition, the optimum omni-directional image can be obtained without performing the user's confirmation by performing the imaging.

도 5는 본 발명의 실시예에 따른 최적 상환 판단 촬상 방법을 나타낸 개념도이다.5 is a conceptual diagram showing an optimum re-charge determination imaging method according to an embodiment of the present invention.

도 5에서는 전방향 영상 처리 장치의 현재 촬영 상황이 설정된 최적 촬영 상황을 만족하는 경우 촬상을 수행하기 위한 방법이 개시된다.5 shows a method for performing imaging when the current shooting situation of the omnidirectional image processing apparatus satisfies the set optimal shooting condition.

도 5를 참조하면, 전방향 영상 처리 장치는 전방향 영상 처리 장치의 현재 촬영 상황 정보를 획득하기 위한 센서를 포함할 수 있다.Referring to FIG. 5, the omnidirectional image processing apparatus may include a sensor for acquiring current photographing situation information of the omnidirectional image processing apparatus.

예를 들어, 전방향 영상 처리 장치는 전방향 영상 처리 장치의 기울기에 대한 인지를 위한 기울기 센서, 전방향 영상 처리 장치의 흔들림(또는 움직임)에 대한 인지를 위한 흔들림 탐지 센서(또는 움직임 센서), 전방향 영상 처리 장치의 위치에 대한 인지를 위한 위치 센서 등이 전방향 영상 처리 장치에 포함될 수 있다.For example, the omni-directional image processing apparatus includes a tilt sensor for recognizing the tilt of the omnidirectional image processing apparatus, a shake detecting sensor (or motion sensor) for recognizing the shaking motion of the omnidirectional image processing apparatus, And a position sensor for recognizing the position of the omnidirectional image processing apparatus may be included in the omnidirectional image processing apparatus.

전방향 영상 처리 장치의 촬상 동작을 위한 최적 촬영 상황이 미리 정의되어 있고, 전방향 영상 처리 장치의 현재 촬영 상황이 최적 촬영 상황을 만족하였을 경우에만 전방향 영상 처리 장치가 촬상을 수행하고, 조건 만족 전방향 영상(500)을 생성할 수 있다. 전방향 영상 처리 장치가 흔들림이 없이 정지되어 있는 상황과 같이 전방향 영상 처리 장치가 미리 설정된 최적 촬영 상황을 만족하였을 경우, 전방향 영상 처리 장치는 자동 또는 수동으로 촬영에 들어갈 수 있다.The optimum imaging condition for the imaging operation of the omnidirectional image processing apparatus is defined in advance and only when the current imaging condition of the omnidirectional image processing apparatus satisfies the optimum imaging condition, the omni-directional image processing apparatus performs imaging, Directional image 500 can be generated. When the omnidirectional image processing apparatus satisfies the predetermined optimum shooting situation as in the case where the omnidirectional image processing apparatus is stopped without shaking, the omnidirectional image processing apparatus can automatically or manually take the image.

구체적으로 사용자의 목에 거는 전방향 영상 처리 장치는 사용자의 시선이 임계 각도 내에 위치한 경우, 전방향 영상 처리 장치에 포함되는 복수의 영상 촬상부가 최적의 영상을 얻기 위한 촬상 각도를 가질 수 있도록 구현될 수 있다. 전방향 영상 처리 장치는 사용자의 시선이 임계 각도 내에 위치한 경우, 전방향 영상 처리 장치에 포함된 복수의 영상 촬상부가 최적 촬상 각도임을 진동 또는 소리(예를 들어, 비프음)와 같은 신호를 통해 사용자에게 알리고, 사용자의 설정에 따라 자동 또는 수동으로 촬상을 수행하여 조건 만족 전방향 영상(500)를 생성할 수 있다. 전방향 영상 처리 장치는 초당 120프레임을 촬상할 수 있고, 초당 촬상된 120 프레임 중 조건을 만족하는 프레임을 기반으로 조건 만족 전방향 영상이 생성될 수 있다.More specifically, the omnidirectional image processing apparatus placed on the user's neck can be implemented so that a plurality of image pickup units included in the omnidirectional image processing apparatus can have an imaging angle for obtaining an optimal image when the user's line of sight is located within a critical angle . The omnidirectional image processing apparatus may be configured such that when a user's line of sight is located within a critical angle, the plurality of image pickup units included in the omnidirectional image processing apparatus are optimal image pickup angles, through a signal such as vibration or sound (for example, Directional image 500 can be generated by performing automatic or manual image capturing according to the setting of the user. The omnidirectional image processing apparatus can capture 120 frames per second, and a conditionally satisfactory omnidirectional image can be generated based on a frame satisfying the condition among the 120 frames captured per second.

예를 들어, 전방향 영상 처리 장치를 목에 착용하고 뛰는 경우, 전방향 영상 처리 장치의 기울기 값이 계속적으로 변할 수 있다. 전방향 영상 처리 장치는 흔들리는 도중에 특정한 최적 촬영 조건으로 설정된 기울기값을 만족하는 타이밍에 촬상되어 조건 만족 전방향 영상(500)을 생성할 수 있다.For example, when the omnidirectional image processing apparatus is worn on the neck, the inclination value of the omnidirectional image processing apparatus may continuously change. The omnidirectional image processing apparatus can capture the condition-satisfying omnidirectional image 500 at a timing that satisfies a tilt value set to a specific optimal shooting condition during shaking.

또한, 전방향 영상 처리 장치의 흔들림 정도를 센싱하여 촬상 설정값(예를 들어, 셔터 스피드)을 변화시킬 수 있고, 센싱된 흔들림 값이 일정 임계값 이상인 경우, 전방향 영상의 촬상이 중단될 수도 있다.In addition, it is possible to change the imaging setting value (for example, the shutter speed) by sensing the degree of shake of the omnidirectional image processing apparatus, and if the sensed shaking value is equal to or greater than a predetermined threshold value, have.

이러한 전방향 영상 처리 장치의 동작을 통해 사용자의 자유로운 행동에도 불구하고, 최적 촬영 상황에서 전방향 영상이 획득될 수 있다. 이러한 전방향 영상 처리 장치의 최적 촬영 상황에 대한 판단이 수행되는 경우, 전방향 영상 처리 장치에 의해 촬상된 전방향 영상은 흔들림이 적고 일정한 화각 범위를 벋어나지 않을 수 있다.Through the operation of the omnidirectional image processing apparatus, the omnidirectional image can be obtained in the optimal shooting situation despite the user's free action. When the determination of the optimum shooting situation of the omnidirectional image processing apparatus is performed, the omnidirectional image imaged by the omnidirectional image processing apparatus may have less blurring and a certain range of angle of view may not be obtained.

전방향 영상 처리 장치의 최적 촬영 상황에 대한 설정은 사용자에 의해 수행될 수 있다. 전방향 영상 처리 장치가 끊김 없이 전방향 영상을 생성하기를 원하는 경우, 전방향 영상 처리 장치가 최적 촬영 상황으로 판단될 수 있는 조건의 범위를 상대적으로 넓게 설정할 수 있다. 반대로 흔들림이 적거나 일정한 화각 범위를 촬상한 전방향 영상을 획득하고자 하는 경우, 전방향 영상 처리 장치가 최적 촬영 상황으로 판단할 수 있는 조건의 범위를 상대적으로 좁게 설정할 수 있다. The setting of the optimum shooting situation of the omnidirectional image processing apparatus can be performed by the user. If the omnidirectional image processing apparatus desires to generate omnidirectional images seamlessly, it is possible to set a relatively wide range of conditions under which the omnidirectional image processing apparatus can be judged to be the optimum shooting condition. On the contrary, when it is desired to acquire an omnidirectional image in which there is little fluctuation or a certain angle of view range, it is possible to set a relatively narrow range of conditions that the omnidirectional image processing apparatus can determine as the optimum shooting condition.

최적 촬상 상황 조건은 전방향 영상 처리 장치의 기울기, 전방향 영상 처리 장치의 위치 등을 고려하여 설정될 수 있다.The optimal imaging condition can be set in consideration of the inclination of the omnidirectional image processing apparatus, the position of the omnidirectional image processing apparatus, and the like.

본 발명의 실시예에 따르면, 최적 촬상 상황 조건을 만족하지 못하는 경우에도 전방향 영상이 생성될 수 있다. 최적 촬상 상황 조건을 만족하는 조건 만족 전방향 영상(500)과 최적 촬상 상황 조건을 만족하지 못하는 조건 불만족 전방향 영상(550)이 구분되고 영상 후처리 과정을 통해 최종 전방향 영상이 생성될 수도 있다. 최종 전방향 영상은 조건 만족 전방향 영상(500)만으로 생성되거나, 조건 만족 전방향 영상(500) 및 편집된 조건 불만족 전방향 영상(550)을 기반으로 생성될 수 있다. According to the embodiment of the present invention, an omni-directional image can be generated even when the optimal imaging condition condition is not satisfied. It is possible to distinguish the condition-satisfied omnidirectional image 500 that satisfies the optimal imaging condition and the condition-unsatisfactory omnidirectional image 550 that does not satisfy the optimal imaging condition, and the final omnidirectional image may be generated through the image post- . The final omnidirectional image may be generated with only the conditional omnidirectional image 500 or based on the conditional omnidirectional image 500 and the edited condition unsatisfactory omnidirectional image 550.

최적 상황 판단 촬상을 수행하는 전방향 영상 처리 장치는 외부 장치(예를 들어, 영상 처리 서버 등)와 통신을 수행하기 위해 구현된 통신부와 통신부와 동작 가능하게(operatively) 연결된 프로세서를 포함할 수 있다. 프로세서는 후술할 최적 상황 판단 기반의 영상 촬상/영상 처리 동작을 수행할 수 있다. 영상 처리 동작은 전방향 영상 처리 장치가 아닌 다른 외부 장치에 의해 수행될 수도 있고 이러한 실시예 또한 본 발명의 권리 범위에 포함된다.An omnidirectional image processing apparatus for performing an optimum situation determination imaging may include a processor operatively connected to a communication unit and a communication unit implemented to perform communication with an external device (for example, an image processing server, etc.) . The processor can perform an image capturing / image processing operation based on an optimal situation determination, which will be described later. The image processing operation may be performed by an external device other than the omni-directional image processing device, and such embodiments are also included in the scope of the present invention.

전술한 바와 같이 프로세서는 현재 촬영 상황이 최적 촬영 상황 조건을 만족하는지 여부를 결정하고, 현재 촬영 상황이 최적 촬영 상황 조건을 만족하는 경우, 영상 촬상을 수행하여 조건 만족 전방향 영상(500)을 생성하도록 구현될 수 있다. 최적 촬영 상황 조건은 전방향 영상 처리 장치의 기울기 조건을 포함할 수 있다. As described above, the processor determines whether the current shooting situation satisfies the optimal shooting situation condition, and if the current shooting situation satisfies the optimal shooting situation condition, the processor performs the image imaging to generate the conditionally satisfactory omnidirectional image 500 . &Lt; / RTI > The optimum shooting condition condition may include the inclination condition of the omnidirectional image processing apparatus.

프로세서는 기울기 센서에 의해 측정된 기울기 값이 기울기 조건을 기반으로 설정된 임계 기울기 범위에 포함되는 경우, 조건 만족 전방향 영상(500)을 생성하도록 구현될 수 있다. 전방향 영상 처리 장치는 움직임 센서를 더 포함하고, 최적 촬영 상황 조건은 상기 전방향 영상 처리 장치의 움직임 조건을 더 포함할 수 있다. The processor can be implemented to generate the conditionally satisfactory omnidirectional image 500 if the slope value measured by the tilt sensor is included in a threshold slope range set based on the slope condition. The omni-directional image processing apparatus may further include a motion sensor, and the optimal imaging condition may further include a motion condition of the omnidirectional image processing apparatus.

또한, 프로세서는 움직임 센서에 의해 측정된 움직임 속도가 움직임 조건을 기반으로 설정된 움직임 속도 내에 포함되는 경우, 조건 만족 전방향 영상(500)을 생성하도록 구현될 수 있다. In addition, the processor may be implemented to generate a conditionally satisfactory omnidirectional image 500 if the motion velocity measured by the motion sensor is included within a motion velocity set based on the motion condition.

프로세서는 조건 만족 전방향 영상(500)을 결합하여 최종 전방향 영상을 생성하도록 구현될 수 있다. 또는 프로세서는 현재 촬영 상황이 최적 촬영 상황 조건을 만족하지 않는 경우, 영상 촬상을 수행하여 조건 불만족 전방향 영상(550)을 생성하고, 조건 만족 전방향 영상(500) 및 조건 불만족 전방향 영상(550)을 기반으로 한 영상 보간을 통해 최종 전방향 영상을 생성할 수 있다.The processor may be implemented to combine the conditionally-satisfied omnidirectional images 500 to produce a final omnidirectional image. Alternatively, if the current shooting condition does not satisfy the optimal shooting situation condition, the processor generates the condition unsatisfactory omnidirectional image 550 by performing the image pickup, and outputs the condition satisfaction omnidirectional image 500 and the condition unsatisfactory omnidirectional image 550 ), It is possible to generate the final omnidirectional image.

도 6은 본 발명의 실시예에 따른 최적 촬영 상황을 설정하는 방법을 나타낸 개념도이다.FIG. 6 is a conceptual diagram illustrating a method of setting an optimal shooting situation according to an embodiment of the present invention.

도 6에서는 전방향 영상 처리 장치의 최적 촬영 상황을 설정하기 위한 방법이 개시된다. 특히, 최적 촬영 상황 중 기울기 값을 설정하기 위한 방법이 개시된다.In Fig. 6, a method for setting an optimum shooting situation of an omnidirectional image processing apparatus is disclosed. In particular, a method for setting a slope value in an optimal shooting situation is disclosed.

도 6을 참조하면, 최적 촬영 상황은 기울기 조건을 포함할 수 있다. 전술한 바와 같이 전방향 영상 처리 장치는 사용자의 목에 거는 형태로 착용될 수 있다. 사용자의 아래를 보거나 위를 보는 동작으로 인해 목의 각도가 변하는 경우, 전방향 영상 처리 장치의 기울기도 함께 변화될 수 있다.Referring to FIG. 6, the optimal shooting condition may include a tilt condition. As described above, the omni-directional image processing apparatus can be worn in the form of hanging on the user's neck. When the angle of the neck changes due to the operation of viewing the user's lower side or viewing the upper side, the inclination of the omnidirectional image processing apparatus can also be changed.

사용자는 전방향 영상 처리 장치를 착용하고, 전방향 영상 처리 장치의 최적 촬영 상황으로서 기울기 조건이 설정될 수 있다. 전방향 영상 처리 장치는 설정된 기울기 조건을 만족하는 경우 조건 만족 전방향 영상을 생성할 수 있다.The user wears the omnidirectional image processing apparatus and the tilting condition can be set as the optimum shooting condition of the omnidirectional image processing apparatus. The omnidirectional image processing apparatus can generate a conditionally satisfactory omnidirectional image when the set tilt condition is satisfied.

기울기 조건은 전방향 영상 처리 장치의 하나의 기울기 값일 수도 있고, 하나의 기울기 값을 기준으로 -임계 각도(640)~+임계 각도(620)의 범위의 기울기 범위일 수도 있다.The slope condition may be one slope value of the omnidirectional image processing apparatus or may be a slope range of a range of a critical angle 640 to a critical angle 620 based on one slope value.

사용자는 다양한 방법으로 기울기 조건을 설정할 수 있다.The user can set the tilt condition in various ways.

전방향 영상 처리 장치는 사용자 장치(600)로 전방향 영상 정보를 전송할 수 있고, 사용자 장치의 디스플레이 상에서 전방향 영상 정보가 출력될 수 있다. 사용자가 정면을 응시할 경우, 기울기에 대한 정보가 사용자 장치를 통해 출력될 수 있다.The omnidirectional image processing apparatus can transmit the omnidirectional image information to the user apparatus 600 and the omnidirectional image information can be output on the display of the user apparatus. If the user stare straight ahead, information about the tilt can be output through the user device.

예를 들어, 사용자는 전방향 영상이 출력되는 사용자 장치(600)의 화면을 확인하면서 위를 보는 동작/아래를 보는 동작을 통해 전방향 영상 처리 장치의 기울기를 변화시킬 수 있다. 사용자는 전방향 영상의 변화를 고려하여 허용 가능한 범위의 전방향 영상 처리 장치의 기울기 값을 사용자의 실제 동작을 기반으로 사용자 장치(600)를 통해 설정할 수 있다. 설정된 기울기 값은 전방향 영상 처리 장치로 전달되고, 전방향 영상 처리 장치는 설정된 기울기 값을 기반으로 전방향 영상을 촬상할 수 있다.For example, the user can change the slope of the omnidirectional image processing apparatus through an operation of looking up / looking down while confirming a screen of the user device 600 outputting the omnidirectional image. The user can set the inclination value of the omnidirectional image processing apparatus within an allowable range through the user apparatus 600 based on the actual operation of the user in consideration of the change of the omnidirectional image. The set slope value is transmitted to the omnidirectional image processing apparatus, and the omnidirectional image processing apparatus can capture the omnidirectional image based on the set slope value.

도 7은 본 발명의 실시예에 따른 최적 촬영 상황을 설정하는 방법을 나타낸 개념도이다.FIG. 7 is a conceptual diagram illustrating a method of setting an optimal shooting situation according to an embodiment of the present invention.

도 7에서는 전방향 영상 처리 장치의 최적 촬영 상황을 설정하기 위한 방법이 개시된다. 특히, 최적 촬영 상황 중 위치 값을 설정하기 위한 방법이 개시된다.In Fig. 7, a method for setting an optimum shooting situation of an omnidirectional image processing apparatus is disclosed. In particular, a method for setting a position value during an optimal shooting situation is disclosed.

도 7을 참조하면, 최적 촬영 상황은 전방향 영상 처리 장치의 위치에 대한 조건을 포함할 수 있다.Referring to FIG. 7, the optimal shooting condition may include a condition for a position of the omni-directional image processing apparatus.

예를 들어, 전방향 영상 처리 장치가 임계 시간 내에 사용자의 임계 거리의 이동이 있을 경우에만 조건 만족 전방향 영상을 생성하도록 최적 촬상 상황 조건이 설정될 수 있다.For example, the optimal imaging situation condition may be set so that the conditional satisfaction omni-directional image is generated only when the omnidirectional image processing apparatus has movement of the user's critical distance within the threshold time.

전방향 영상 처리 장치를 통해 전방향 영상을 촬영하는 경우가 가정될 수 있다. 사용자가 정지한 경우, 동일한 위치에서 전방향 영상이 계속 촬상될 수 있다. 따라서, 동일한 위치에서의 계속적인 전방향 영상의 촬상을 제한하기 위해 전방향 영상 처리 장치가 임계 시간 내에 사용자의 임계 거리의 이동이 있을 경우에만 조건 만족 전방향 영상을 생성하도록 최적 촬영 상황이 설정될 수 있다. 예를 들어, 2초를 기준으로 전방향 영상 처리 장치의 위치가 1m 이상 변화된 경우에만 전방향 영상 처리 장치가 조건 만족 전방향 영상을 생성할 수 있다.It can be assumed that an omnidirectional image is photographed through an omnidirectional image processing apparatus. When the user stops, the omni-directional image can be continuously captured at the same position. Therefore, in order to limit the imaging of the continuous omnidirectional image at the same position, the optimum shooting situation is set so that the omnidirectional image processing apparatus generates the condition satisfaction omni-directional image only when there is movement of the user's critical distance within the critical time . For example, an omnidirectional image processing apparatus can generate a conditionally satisfactory omnidirectional image only when the position of the omnidirectional image processing apparatus is changed by 1 m or more based on 2 seconds.

사용자가 제1 지점(710)에서 제2 지점(720)을 통해 제3 지점(730)으로 이동하는 경우, 사용자가 제2 지점에서 일시 정지를 한 경우가 가정될 수 있다. 제2 지점(720)에서 임계 시간 동안 임계 거리의 이동이 없다면, 임계 시간 이후 일시적으로 전방향 영상의 촬상이 중단될 수 있다.If the user moves from the first point 710 to the third point 730 via the second point 720, it can be assumed that the user has paused at the second point. If there is no movement of the critical distance during the critical time at the second point 720, imaging of the omnidirectional image may be temporarily interrupted after the threshold time.

도 8은 본 발명의 실시예에 따른 전방향 영상 생성 방법을 나타낸 개념도이다.8 is a conceptual diagram illustrating an omnidirectional image generation method according to an embodiment of the present invention.

도 8에서는 최적 촬영 상황을 만족하는 조건 만족 전방향 영상을 편집하여 최종 전방향 영상을 생성하기 위한 방법이 개시된다.8 illustrates a method for generating a final omnidirectional image by editing a conditionally satisfactory omnidirectional image satisfying an optimal photographing situation.

도 8을 참조하면, 최적 촬영 상황을 만족하는 조건 만족 전방향 영상만으로 최종 전방향 영상을 생성하는 경우가 가정된다.Referring to FIG. 8, it is assumed that the final omni-directional image is generated using only the conditionally satisfactory omnidirectional image satisfying the optimal photographing condition.

본 발명의 실시예에 따르면, 복수의 조건 만족 전방향 영상이 생성된 전체 시간 구간이 복수의 하위 시간 구간으로 분할되고 복수의 조건 만족 전방향 영상 각각이 복수의 하위 시간 구간 상에 매칭될 수 있다. 이후, 필요에 따라 시간 구간에 대한 정보를 고려한 영상 보간을 통해 최종 전방향 영상이 생성될 수 있다.According to an embodiment of the present invention, a total time interval in which a plurality of conditionally satisfying omnidirectional images are generated may be divided into a plurality of lower time intervals, and each of the plurality of conditionally satisfying omnidirectional images may be matched on a plurality of lower time intervals . Thereafter, a final omnidirectional image can be generated through image interpolation considering information on a time interval as necessary.

예를 들어, 시간 순서대로 생성된 조건 만족 전방향 영상 간의 간격 중 가장 작은 시간 간격이 하위 시간 구간의 간격으로 설정될 수 있다.For example, the smallest time interval among the intervals of the conditionally satisfying omnidirectional images generated in time order may be set as the interval of the lower time interval.

조건 만족 전방향 영상이 5개(조건 만족 전방향 영상1(810) 내지 조건 만족 전방향 영상5(850))이 10초 동안 순차적으로 생성될 수 있다. 조건 만족 전방향 영상2(820)와 조건 만족 전방향 영상3(830) 간의 시간 간격이 가장 작은 시간 간격일 수 있고, 조건 만족 전방향 영상2(820)와 조건 만족 전방향 영상3(830) 간의 시간 간격은 1초일 수 있다.Five conditionally satisfying omnidirectional images (conditionally satisfying omnidirectional image 1 810 to conditional omnidirectional image 5 850) can be sequentially generated for 10 seconds. The time interval between the conditional satisfaction omni-directional image 2 (820) and the conditional satisfaction omni-directional image 3 (830) may be the shortest time interval, and the condition satisfaction omni-directional image 2 (820) May be 1 second.

이러한 경우, 10초의 전체 시간 구간이 1초 간격으로 10개의 하위 시간 구간(하위 시간 구간1 내지 하위 시간 구간10)으로 분할될 수 있다.In this case, a total time interval of 10 seconds may be divided into 10 lower time intervals (lower time interval 1 to lower time interval 10) at intervals of 1 second.

5개의 조건 만족 전방향 영상의 생성 시간이 고려되어 10개의 하위 시간 구간 각각에 5개의 조건 만족 전방향 영상 각각이 10개의 하위 시간 구간 중 하나의 하위 시간 구간에 대응될 수 있다.The generation time of five conditionally satisfactory omnidirectional images is considered, so that each of the five conditionally satisfactory omnidirectional images in each of the ten lower temporal sections can correspond to one lower temporal section of the ten lower temporal sections.

예를 들어, 조건 만족 전방향 영상1(810)이 하위 시간 구간 1에 대응되고, 조건 만족 전방향 영상2(820)가 하위 시간 구간 3에 대응되고, 조건 만족 전방향 영상3(830)이 하위 시간 구간4에 대응되고, 조건 만족 전방향 영상4(840)가 하위 시간 구간6에 대응되고, 조건 만족 전방향 영상5(850)가 하위 시간 구간8에 대응될 수 있다. For example, if the conditionally satisfying omnidirectional image 1 810 corresponds to the lower time interval 1, the conditionally satisfying omnidirectional image 2 820 corresponds to the lower time interval 3, The conditionally satisfying omnidirectional image 4 840 corresponds to the lower temporal interval 6, and the conditional satisfying omnidirectional image 5 850 corresponds to the lower temporal interval 8, respectively.

대응되는 조건 만족 전방향 영상이 없는 하위 시간 구간의 전방향 영상은 가장 인접한 하위 시간 구간에 대응되는 조건 만족 전방향 영상 또는 인접한 하위 시간 구간에 대응되는 복수의 조건 만족 전방향 영상의 조합을 기반으로 보간될 수 있다. Directional image of a lower time interval without a corresponding conditional omni-directional image is based on a combination of a plurality of conditional omnidirectional images corresponding to a conditionally satisfying omnidirectional image or an adjacent lower time interval corresponding to the closest lower time interval Can be interpolated.

예를 들어, 하위 시간 구간2에 대응되는 전방향 영상은 조건 만족 전방향 영상1(810) 또는 조건 만족 전방향 영상2(820)를 기반으로 보간되거나, 조건 만족 전방향 영상1(810) 및 조건 만족 전방향 영상2(820)를 기반으로 보간될 수 있다. For example, an omni-directional image corresponding to the lower time interval 2 may be interpolated based on the conditionally satisfying omnidirectional image 1 810 or the conditionally satisfying omnidirectional image 2 820, And can be interpolated based on the conditionally satisfying omnidirectional image 2 (820).

하위 시간 구간 5에 대응되는 전방향 영상은 조건 만족 전방향 영상3(830) 또는 조건 만족 전방향 영상4(840)로 보간되거나, 조건 만족 전방향 영상3(830) 및 조건 만족 전방향 영상4(840)를 기반으로 보간될 수 있다. The omni-directional image corresponding to the lower temporal interval 5 is interpolated by the condition-satisfaction omni-directional image 3 830 or the condition-satisfaction omni-directional image 4 840, or the condition-satisfaction omni-directional image 3 830 and the condition- (840). &Lt; / RTI >

하위 시간 구간 9 및 하위 시간 구간 10에 대응되는 전방향 영상은 조건 만족 전방향 영상5(850)를 기반으로 보간될 수 있다.The omni-directional images corresponding to the lower time interval 9 and the lower time interval 10 can be interpolated based on the conditional satisfaction omni-directional image 5 (850).

이러한 방식의 인접한 조건 만족 전방향 영상을 기반으로 한 보간을 통해 복수의 하위 시간 구간 각각에 대응되는 복수의 전방향 영상 각각이 결정될 수 있다. 시간의 순서를 고려한 복수의 전방향 영상을 조합으로 최종 전방향 영상이 생성될 수 있다. Each of the plurality of omni-directional images corresponding to each of the plurality of lower time intervals can be determined through interpolation based on the adjacent conditionally satisfying omnidirectional image in this manner. A final omnidirectional image can be generated by combining a plurality of omnidirectional images considering the order of time.

시간에 다른 전방향 영상의 생성이 필요하지 않은 경우, 조건 만족 전방향 영상만의 조합을 기반으로 최종 전방향 영상이 생성될 수도 있다.If it is not necessary to generate another omni-directional image at the time, a final omni-directional image may be generated based on the combination of only the condition-satisfying omni-directional images.

도 9는 본 발명의 실시예에 따른 전방향 영상 생성 방법을 나타낸 개념도이다.9 is a conceptual diagram illustrating an omnidirectional image generation method according to an embodiment of the present invention.

도 9에서는 최적 촬영 상황을 만족하는 조건 만족 전방향 영상 및/또는 최적 촬영 상황을 만족하지 않는 조건 불만족 전방향 영상을 편집하여 최종 전방향 영상을 생성하기 위한 방법이 개시된다.9 illustrates a method for generating a final omnidirectional image by editing a conditional satisfactory omnidirectional image satisfying an optimum photographing condition and / or a condition unsatisfactory omnidirectional image not satisfying an optimal photographing situation.

도 9를 참조하면, 조건 불만족 전방향 영상에 대한 정보도 고려하여 최종 전방향 영상이 생성될 수 있다.Referring to FIG. 9, a final omnidirectional image can be generated considering information on the condition unsatisfactory omnidirectional image.

도 8에서 개시된 바와 마찬가지로 하위 시간 구간이 1초이고, 조건 만족 전방향 영상이 5개(조건 만족 전방향 영상1(910) 내지 조건 만족 전방향 영상 5(950)), 조건 불만족 전방향 영상이 5개(조건 불만족 전방향 영상1(915) 내지 조건 불만족 전방향 영상 5(955))가 10초 동안 생성되는 경우가 가정될 수 있다.8, the lower time interval is 1 second, the condition satisfaction omni-directional image is 5 (the condition satisfaction omni-directional image 1 (910) to the condition satisfaction omni-directional image 5 (950)), the condition unsatisfactory omnidirectional image It can be assumed that five (condition-unsatisfactory omnidirectional image 1 (915) to condition-unsatisfactory omnidirectional image 5 (955)) are generated for 10 seconds.

(하위 시간 구간1, 조건 만족 전방향 영상1(910)), (하위 시간 구간2, 조건 불만족 전방향 영상1(915)), (하위 시간 구간3, 조건 만족 전방향 영상2(920)), (하위 시간 구간4, 조건 만족 전방향 영상3(930)), (하위 시간 구간5, 조건 불만족 전방향 영상2(925)), (하위 시간 구간6, 조건 만족 전방향 영상4(940)), (하위 시간 구간7, 조건 불만족 전방향 영상3(935)), (하위 시간 구간8, 조건 만족 전방향 영상5(950)), (하위 시간 구간9, 조건 불만족 전방향 영상4(945)), (하위 시간 구간10, 조건 불만족 전방향 영상5(955))일 수 있다.(Lower temporal interval 1, conditional satisfaction omnidirectional image 1 910), (lower temporal interval 2, condition unsatisfactory omnidirectional image 1 915), (lower temporal interval 3, conditional omnidirectional image 2 920) (Lower temporal interval 4, conditional satisfaction omnidirectional image 3 (930)), (lower temporal interval 5, condition unsatisfactory omnidirectional image 2 (925)), (lower temporal interval 6, ), (Lower time interval 7, condition unsatisfactory forward direction image 3 (935)), (lower time interval 8, condition satisfaction omnidirectional image 5 (950)), (lower time interval 9, condition unsatisfactory omnidirectional image 4 ), (Lower temporal interval 10, condition unsatisfactory forward direction image 5 (955)).

이러한 경우, 조건 불만족 전방향 영상에 대응되는 하위 시간 구간에서의 전방향 영상은 인접한 조건 만족 전방향 영상뿐만 아니라, 조건 불만족 전방향 영상도 추가적으로 고려하여 결정될 수 있다.In this case, the omnidirectional image in the lower time interval corresponding to the condition unsatisfactory omnidirectional image may be determined by taking into account not only the adjacent conditional omnidirectional image but also the condition unsatisfactory omnidirectional image.

예를 들어, 조건 불만족 전방향 영상 중 조건 만족 전방향 영상의 화각과 중첩되는 영역의 이미지는 최종 전방향 영상의 생성을 위해 활용될 수 있다. 사용자가 목을 굽히는 동작으로 인해 조건 불만족 전방향 영상이 생성되었다면, 조건 불만족 전방향 영상에서 일부의 영역은 조건 불만족 전방향 영상에 대응되는 하위 시간 구간에서의 전방향 영상을 예측하기 위해 활용될 수 있다.For example, an image of a region that overlaps with an angle of view of a conditional unsatisfactory omnidirectional image in a conditional unsatisfactory omnidirectional image can be utilized for generating a final omnidirectional image. Unsatisfactory condition due to bending of user's neck If the omnidirectional image is generated, the condition is unsatisfactory. In some omnidirectional images, the condition is unsatisfactory. It can be used to predict omnidirectional image in the lower time interval corresponding to the omnidirectional image. have.

하위 시간 구간2에 대응되는 전방향 영상은 조건 만족 전방향 영상1(910), 조건 만족 전방향 영상2(920) 및 조건 불만족 전방향 영상1(915)의 일부 영역을 고려하여 보간을 통해 생성될 수 있다. 조건 불만족 전방향 영상1(915)의 일부 영역은 조건 만족 전방향 영상1(910), 조건 만족 전방향 영상2(920)와 중첩되는 화각을 가지는 영역이거나, 조건 불만족 전방향 영상1(915)에서 객체가 보다 명확하게 촬상된 영역일 수 있다. An omnidirectional image corresponding to the lower time interval 2 is generated by interpolation considering a partial region of the condition satisfaction omni image 1 (910), condition satisfaction omni image 2 (920) and condition unsatisfactory omni image 1 (915) . The conditional unsatisfactory omnidirectional image 1 915 is a region having an angle of view overlapping with the conditional omnidirectional image 1 910 and the conditional satisfying omnidirectional image 2 920, The object may be a more clearly imaged region.

예를 들어, 움직이는 객체가 존재하는 경우, 보다 정확한 하위 시간 구간2에 대응되는 전방향 영상 상에서 위치를 결정하기 위해 조건 불만족 전방향 영상1(915)의 일부 영역 상에 객체 존재 여부가 판단하고, 하위 시간 구간2 상에서 객체의 위치가 보다 정확하게 결정될 수 있다. For example, if there is a moving object, the presence or absence of an object on a partial area of the conditional unsatisfactory forward direction image 1 915 is determined to determine the position on the forward direction image corresponding to the more accurate lower time interval 2, The position of the object on the lower time interval 2 can be determined more accurately.

도 10은 본 발명의 실시예에 따른 전방향 영상 처리 장치의 동작을 나타낸 개념도이다.10 is a conceptual diagram illustrating an operation of an omni-directional image processing apparatus according to an embodiment of the present invention.

도 10에서는 전방향 영상 처리 장치의 기울기 값을 기반으로 전방향 영상 처리 장치의 영상 촬상부의 동작을 제어하기 위한 방법이 개시된다.10, a method for controlling the operation of the image pickup unit of the omnidirectional image processing apparatus based on the slope value of the omnidirectional image processing apparatus is disclosed.

도 10을 참조하면, 전방향 영상 처리 장치에 의해 센싱된 기울기 값을 기반으로 전방향 영상 처리 장치에 포함되는 영상 촬상부(1000)의 렌즈의 각도가 변화될 수 잇다. Referring to FIG. 10, the angle of the lens of the image pickup unit 1000 included in the omnidirectional image processing apparatus may be changed based on the tilt value sensed by the omnidirectional image processing apparatus.

예를 들어, 영상 촬상부(1000)의 촬상선이 임계 각도 범위에 있을 수 있도록 전방향 영상 처리 장치의 기울기 값이 변화된 경우, 영상 촬상부(1000)의 렌즈가 구동되어 렌즈의 촬상선 방향을 변화시킬 수 있다. For example, when the tilt value of the omnidirectional image processing apparatus is changed so that the image pickup line of the image pickup unit 1000 may be within the critical angle range, the lens of the image pickup unit 1000 is driven, Can be changed.

예를 들어, 전방향 영상 처리 장치에서 제1 방향으로 10도의 기울기 변화가 발생된 경우, 영상 촬상부(1000)의 렌즈의 촬상선도 제1 방향의 반대 방향인 제2 방향으로 순간적으로 촬상선의 각도를 10도 변화시킬 수 있다. For example, when an inclination change of 10 degrees in the first direction is generated in the omnidirectional image processing apparatus, the imaging line of the lens of the image pickup unit 1000 is instantaneously moved in the second direction, which is the direction opposite to the first direction, Can be changed by 10 degrees.

이러한 방법을 통해 촬상선이 일정 범위의 임계 각도 범위 내에서 유지될 수 있고, 생성된 전방향 영상에서 흔들림이 보정될 수 있다.In this way, the imaging line can be maintained within a certain range of critical angles, and the shaking can be corrected in the generated omnidirectional image.

이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.The embodiments of the present invention described above can be implemented in the form of program instructions that can be executed through various computer components and recorded in a computer-readable recording medium. The computer-readable recording medium may include program commands, data files, data structures, and the like, alone or in combination. The program instructions recorded on the computer-readable recording medium may be those specifically designed and configured for the present invention or may be those known and used by those skilled in the computer software arts. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROM and DVD, magneto-optical media such as floptical disks, medium, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code, such as those generated by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware device may be modified into one or more software modules for performing the processing according to the present invention, and vice versa.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, Those skilled in the art will appreciate that various modifications and changes may be made thereto without departing from the scope of the present invention.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.Accordingly, the spirit of the present invention should not be construed as being limited to the above-described embodiments, and all ranges that are equivalent to or equivalent to the claims of the present invention as well as the claims .

Claims

The optimal situation determination method includes:
Determining whether an omni-directional image processing apparatus satisfies an optimal shooting situation condition; And
And if the current photographing condition satisfies the optimal photographing situation condition, the omnidirectional image processing apparatus performs image capturing to generate a conditionally satisfactory omnidirectional image,
Wherein the optimum shooting situation condition includes a tilt condition of the omnidirectional image processing apparatus.