KR20190002281A - Method for removing processing target object in image and apparatus for performing the method - Google Patents
Method for removing processing target object in image and apparatus for performing the method Download PDFInfo
- Publication number
- KR20190002281A KR20190002281A KR1020180040649A KR20180040649A KR20190002281A KR 20190002281 A KR20190002281 A KR 20190002281A KR 1020180040649 A KR1020180040649 A KR 1020180040649A KR 20180040649 A KR20180040649 A KR 20180040649A KR 20190002281 A KR20190002281 A KR 20190002281A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- processed
- processing apparatus
- area
- angle
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 136
- 238000000034 method Methods 0.000 title claims abstract description 56
- 238000003384 imaging method Methods 0.000 claims abstract description 60
- 238000012805 post-processing Methods 0.000 claims abstract description 30
- 238000010586 diagram Methods 0.000 description 24
- 238000004891 communication Methods 0.000 description 6
- 238000003672 processing method Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G06T5/006—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Studio Devices (AREA)
Abstract
Description
본 발명은 영상에서 처리 대상 객체를 제거하는 방법 및 이러한 방법을 수행하는 장치에 관한 것이다. 보다 상세하게는 영상 처리 장치에 의해 촬상되는 동영상 정보에서 불필요하게(또는 부적절하게) 포함된 객체를 영상 후처리를 통해 제거하는 영상 처리 방법 및 장치에 관한 것이다.The present invention relates to a method for removing an object to be processed from an image and an apparatus for performing such a method. And more particularly, to an image processing method and apparatus for eliminating an object unnecessarily (or improperly) included in moving image information captured by a video processing apparatus through post-image processing.
전방향(omnidirectional) 영상 시스템은 특정 시점을 기준으로 모든 방향(360도)의 영상 정보를 기록할 수 있는 영상 시스템을 일컫는다. 기존의 영상 시스템에 비해 매우 넓은 시야각(field-of-view)의 영상을 얻을 수 있기 때문에 근래 들어 컴퓨터 비전, 이동 로봇 등의 연구 분야와 더불어 감시 시스템, 가상 현실 시스템, PTZ(pan-tilt-zoom) 카메라, 영상 회의와 같은 실용 분야에 이르기까지 그 응용의 폭이 점점 더 넓어지고 있다.An omnidirectional imaging system refers to an imaging system capable of recording image information in all directions (360 degrees) based on a specific point in time. Since the field-of-view image can be obtained in comparison with the conventional image system, it has recently been applied to a field of view such as a computer vision, a mobile robot, a surveillance system, a virtual reality system, a pan-tilt-zoom ) Applications such as cameras and video conferencing are becoming more and more widespread.
전방향 영상을 얻기 위해 다양한 방법이 사용될 수 있다. 예를 들어, 단일 시점(single view point)를 만족하는 광축(optical axis)를 기준으로 하나의 카메라를 회전시키면서 얻은 영상을 접합하여 전방향 영상이 생성될 수 있다. 또는 복수의 카메라를 환형 구조로 배열하여 각각의 카메라에서 얻은 영상을 조합하는 방법이 사용될 수도 있다. 사용자는 다양한 전방향 영상 처리 장치(또는 전방향 영상 처리 카메라, 360도 카메라)를 사용하여 전방향 영상을 생성할 수 있다.Various methods can be used to obtain omni-directional images. For example, an omnidirectional image may be generated by joining an image obtained by rotating one camera with respect to an optical axis satisfying a single view point. Or a method of arranging a plurality of cameras in an annular structure and combining images obtained from the respective cameras may be used. The user can generate omni-directional images using various omni-directional image processing apparatuses (or omnidirectional image processing cameras, 360 degree cameras).
전방향 영상 처리 장치에 의해 전방향 영상이 생성될 경우, 불필요하게(또는 부적절하게) 촬상된 객체가 존재할 수 있고, 이러한 불필요하게(또는 부적절하게) 촬상된 객체에 대한 후처리가 필요하다.When an omnidirectional image is generated by an omnidirectional image processing apparatus, unnecessarily (or improperly) captured objects may exist, and such unnecessary (or improperly) captured objects may require post-processing.
본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.It is an object of the present invention to solve all the problems described above.
또한, 본 발명은, 전방향 영상 처리 장치에 의해 촬상된 전방향 영상에서, 불필요하게(또는 부적절하게) 촬상된 객체를 처리 대상 객체로서 결정하고, 처리 대상 객체를 전방향 영상에서 영상 후처리를 통해 처리하는 것을 목적으로 한다.In addition, the present invention is a method for determining an object that is unnecessarily (or inappropriately) picked up as an object to be processed in an omnidirectional image picked up by an omnidirectional image processing apparatus, It is intended to process through.
또한, 본 발명은, 전방향 영상에서 처리 대상 객체에 대한 영상 후처리 이후에 영상 보간을 통해 처리 대상 객체의 제거 이후에도 자연스러운 전방향 영상을 생성하는 것을 다른 목적으로 한다.Another object of the present invention is to generate a natural omni-directional image even after removal of an object to be processed through image interpolation after image post-processing for an object to be processed in an omnidirectional image.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.In order to accomplish the above object, a representative structure of the present invention is as follows.
본 발명의 일 태양에 따르면, 영상에서 처리 대상 객체를 제거하는 방법은 영상 처리 장치가 상기 영상에서 상기 처리 대상 객체를 결정하는 단계와 상기 영상 처리 장치가 상기 처리 대상 객체에 대한 영상 후처리를 수행하는 단계를 포함할 수 있되, 상기 처리 대상 객체는 촬상이 의도되지 않은 객체일 수 있다. According to an aspect of the present invention, there is provided a method of removing an object to be processed from an image, the method comprising: an image processing apparatus determining the object to be processed in the image; and an image post- The object to be processed may be an object for which imaging is not intended.
본 발명의 다른 태양에 따르면, 영상에서 처리 대상 객체를 제거하는 영상 처리 장치는 외부 장치와의 통신을 위한 통신부와 상기 통신부와 동작 가능하게(operatively) 연결된 프로세서를 포함하되, 상기 프로세서는 상기 영상에서 상기 처리 대상 객체를 결정하고, 상기 처리 대상 객체에 대한 영상 후처리를 수행하도록 구현될 수 이상기 처리 대상 객체는 촬상이 의도되지 않은 객체일 수 있다.According to another aspect of the present invention, an image processing apparatus for removing an object to be processed from an image includes a communication unit for communication with an external device and a processor operatively connected to the communication unit, The object to be processed, which can be implemented to determine the object to be processed and perform image post-processing on the object to be processed, may be an object for which imaging is not intended.
본 발명에 의하면, 전방향 영상 처리 장치에 의해 촬상된 전방향 영상에서, 불필요하게(또는 부적절하게) 촬상된 객체를 처리 대상 객체로서 결정하고, 처리 대상 객체를 전방향 영상에서 영상 후처리를 통해 처리할 수 있다.According to the present invention, an object unnecessarily (or inappropriately) picked up in an omnidirectional image picked up by an omnidirectional image processing apparatus is determined as a processing object, and the object to be processed is subjected to post- Can be processed.
또한, 본 발명에 의하면, 전방향 영상에서 처리 대상 객체에 대한 영상 후처리 이후에 영상 보간을 통해 처리 대상 객체의 제거 이후에도 자연스러운 전방향 영상을 생성할 수 있다.In addition, according to the present invention, it is possible to generate a natural omni-directional image even after removal of an object to be processed through image interpolation after image post-processing for an object to be processed in an omnidirectional image.
도 1은 본 발명의 실시예에 따른 전방향 영상 처리 장치를 나타낸 개념도이다.
도 2는 본 발명의 실시예에 따른 전방향 영상 처리 장치에 위치한 복수의 영상 촬상부의 특성을 나타낸 개념도이다.
도 3은 본 발명의 실시예에 따른 복수의 영상 촬상부의 촬상선을 나타낸 개념도이다.
도 4는 본 발명의 실시예에 따른 복수의 영상 촬상부의 촬상선을 나타낸 개념도이다.
도 5는 본 발명의 실시예에 따른 처리 대상 객체에 대한 영상 처리 방법을 나타낸 개념도이다.
도 6은 본 발명의 실시예에 따른 판단 대상 영역을 결정하는 방법을 나타낸 개념도이다.
도 7은 본 발명의 실시예에 따른 판단 대상 영역을 결정하는 방법을 나타낸 개념도이다.
도 8은 본 발명의 실시예에 따른 처리 대상 객체 결정 방법을 나타낸 개념도이다.
도 9는 본 발명의 실시예에 따른 처리 대상 객체에 대한 영상 후처리 방법을 나타낸 개념도이다.
도 10은 본 발명의 실시예에 따른 처리 대상 객체에 대한 영상 후처리 방법을 나타낸 개념도이다.
도 11은 본 발명의 실시예에 따른 처리 대상 객체에 대한 영상 후처리 방법을 나타낸 개념도이다.
도 12는 본 발명의 실시예에 따른 전방향 영상 처리 장치의 동작을 나타낸 개념도이다.1 is a conceptual diagram illustrating an omni-directional image processing apparatus according to an embodiment of the present invention.
FIG. 2 is a conceptual diagram illustrating the characteristics of a plurality of image pickup units positioned in an omni-directional image processing apparatus according to an embodiment of the present invention.
3 is a conceptual diagram showing an image pickup line of a plurality of image pickup units according to an embodiment of the present invention.
4 is a conceptual diagram showing imaging lines of a plurality of image sensing units according to an embodiment of the present invention.
5 is a conceptual diagram illustrating an image processing method for an object to be processed according to an embodiment of the present invention.
6 is a conceptual diagram illustrating a method of determining a determination subject area according to an embodiment of the present invention.
7 is a conceptual diagram illustrating a method for determining a determination subject area according to an embodiment of the present invention.
8 is a conceptual diagram illustrating a method of determining an object to be processed according to an embodiment of the present invention.
9 is a conceptual diagram illustrating an image post-processing method for an object to be processed according to an embodiment of the present invention.
10 is a conceptual diagram illustrating an image post-processing method for an object to be processed according to an embodiment of the present invention.
11 is a conceptual diagram illustrating an image post-processing method for an object to be processed according to an embodiment of the present invention.
12 is a conceptual diagram illustrating an operation of an omni-directional image processing apparatus according to an embodiment of the present invention.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여 지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.The following detailed description of the invention refers to the accompanying drawings, which illustrate, by way of illustration, specific embodiments in which the invention may be practiced. These embodiments are described in sufficient detail to enable those skilled in the art to practice the invention. It should be understood that the various embodiments of the present invention are different, but need not be mutually exclusive. For example, the specific shapes, structures, and characteristics described herein may be implemented by changing from one embodiment to another without departing from the spirit and scope of the invention. It should also be understood that the location or arrangement of individual components within each embodiment may be varied without departing from the spirit and scope of the present invention. Therefore, the following detailed description is not to be taken in a limiting sense, and the scope of the present invention should be construed as encompassing the scope of the appended claims and all equivalents thereof. In the drawings, like reference numbers designate the same or similar components throughout the several views.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 바람직한 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.Hereinafter, various embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention.
이하, 본 발명의 실시예의 영상 처리 장치는 전방향 영상 처리 장치를 포함할 수 있다. 전방향 영상 처리 장치는 전방향(또는 360도 영상)을 촬상할 수 있는 전방향 카메라(360도 카메라)를 포함할 수 있다.Hereinafter, the image processing apparatus of the embodiment of the present invention may include an omni-directional image processing apparatus. The omni-directional image processing apparatus may include an omni-directional camera (360-degree camera) capable of imaging omni-directional (or 360-degree images).
또한, 이하, 본 발명의 실시예에서 개시되는 영상 정보, 동영상 정보는 전방향 영상(또는 360도 영상)을 포함할 수 있다.Hereinafter, the image information and moving image information disclosed in the embodiments of the present invention may include an omni-directional image (or a 360-degree image).
도 1은 본 발명의 실시예에 따른 전방향 영상 처리 장치를 나타낸 개념도이다.1 is a conceptual diagram illustrating an omni-directional image processing apparatus according to an embodiment of the present invention.
도 1에서는 전방향 영상 처리 장치의 구조가 개시된다.1, a structure of an omnidirectional image processing apparatus is disclosed.
도 1을 참조하면, 전방향 영상 처리 장치(100)는 웨어러블 구조로 사용자의 목에 걸 수 있는 목걸이와 유사한 형상일 수 있다. 전방향 영상 처리 장치(100)는 도 1에서와 같이 일면의 개방된 목걸이의 형상일 수도 있고, 일면이 개방되지 않은 목걸이의 형상일 수도 있다. 이하, 본 발명의 실시예에서는 전방향 영상 처리 장치(100)가 일면이 개방된 U자 형상을 가지는 것으로 가정한다. 이러한 U자 형상의 전방향 영상 처리 장치(100)는 사용자의 목에 웨어러블 장치(wearable device) 형태로 걸려 전방향 영상을 촬영할 수 있다.Referring to FIG. 1, the omnidirectional
본 발명의 실시예에서는 설명의 편의상 전방향 영상 처리 장치(100)가 목걸이 형태(또는 일면이 개방된 목걸이 형태, U자 형태)로서 사용자의 목에 걸리는 경우가 가정된다. 하지만, 전방향 영상 처리 장치(100)는 단순히 사용자의 목에 거는 형태가 아닐 수도 있다. 예를 들어, 전방향 영상 처리 장치(100)는 걸거나/부착 가능한 다양한 형태로 사용자의 다른 신체 부위 또는 외부 물체(또는 객체)/장치/구조물 등에 설치되어 전방향 영상을 획득할 수도 있다.In the embodiment of the present invention, it is assumed that the omnidirectional
사용자는 웨어러블 장치로서 구현된 전방향 영상 처리 장치(100)를 목에 걸고 양손이 자유로운 상태에서 전방향 영상의 생성하기 위한 복수의 영상을 획득할 수 있다.The user can acquire a plurality of images for creating an omnidirectional image in a state where both hands are free from the omnidirectional
전방향 영상 처리 장치(100)는 복수개의 영상 촬상부를 포함할 수 있다. 복수개의 영상 촬상부 각각은 전방향 영상 처리 장치에 특정 간격(또는 미리 설정된 간격)으로 위치하여 화각/촬상선에 따른 영상을 개별적으로 촬상할 수 있다. 복수개의 영상 촬상부 각각의 위치는 전방향 영상 처리 장치(100)에서 고정적일 수도 있으나, 복수개의 영상 촬상부 각각은 이동 가능하고, 복수개의 영상 촬상부 각각의 위치는 변할 수도 있다.The omnidirectional
예를 들어, 전방향 영상 처리 장치(100)는 3개의 영상 촬상부를 포함할 수 있고, 3개의 영상 촬상부는 일정한 화각(field of view)(예를 들어, 120도~180도)으로 전방향 영상을 촬상할 수 있다. 3개의 영상 촬상부는 영상 촬상부1(110), 영상 촬상부2(120), 영상 촬상부3(130)일 수 있다.For example, the omnidirectional
이하, 설명의 편의상 3개의 영상 촬상부가 전방향 영상 처리 장치(100)에 포함된 구조가 개시된다. 하지만, 3개가 아닌 복수개(예를 들어, 2, 4, 5, 6개 등)의 영상 촬상부가 전방향 영상 처리 장치(100)에 포함되어, 전방향 영상을 촬상할 수도 있고, 이러한 형태도 본 발명의 권리 범위에 포함된다.Hereinafter, a structure in which three image pickup sections are included in the omnidirectional
영상 촬상부1(110), 영상 촬상부2(120) 및 영상 촬상부3(130)은 화각에 따라 영상을 촬상할 수 있다. 동일한 시간 자원 상에서 영상 촬상부1(110)에 의해 영상1이 생성되고, 영상 촬상부2(120)에 의해 영상2가 생성되고, 영상 촬상부3(130)에 의해 영상3이 생성될 수 있다. 영상 촬상부1(110), 영상 촬상부2(120), 영상 촬상부3(130) 각각의 화각은 120도 이상일 수 있고, 영상1, 영상2 및 영상3에서는 중첩된 촬상 영역이 존재할 수 있다. 이후, 전방향 영상 처리 장치(100)에 의해 동일한 시간 자원 상에서 촬상된 영상1 및 영상2 및 영상3을 스티칭/보정하여 전방향 영상이 생성될 수 있다. 복수의 영상에 대한 스티칭 및/또는 보정 절차는 전방향 영상 처리 장치 자체에서 수행될 수도 있고, 전방향 영상 처리 장치(100)와 통신 가능한 사용자 장치(스마트 폰)을 기반으로 수행될 수도 있다. 즉, 생성된 복수 영상에 대한 추가적인 영상 처리 절차들은 전방향 영상 처리 장치(100) 및/또는 다른 영상 처리 장치(스마트폰, PC(personal computer) 등)에 의해 수행될 수도 있다.The image capturing unit 1 (110), the image capturing unit 2 (120), and the image capturing unit 3 (130) can capture an image according to the angle of view. The
이하, 전방향 영상 처리 장치의 구체적인 특징 및 전방향 영상 생성 방법이 구체적으로 개시된다.Hereinafter, specific features of the omnidirectional image processing apparatus and omnidirectional image generating method are specifically disclosed.
도 2는 본 발명의 실시예에 따른 전방향 영상 처리 장치에 위치한 복수의 영상 촬상부의 특성을 나타낸 개념도이다.FIG. 2 is a conceptual diagram illustrating the characteristics of a plurality of image pickup units positioned in an omni-directional image processing apparatus according to an embodiment of the present invention.
도 2에서는 U자형의 전방향 영상 처리 장치에 위치한 복수개의 영상 촬상부의 특징이 개시된다. 도 2에서 개시되는 영상 촬상부의 위치는 예시적인 것이다. 복수의 영상 촬상부 각각은 전방향 영상의 생성을 위한 복수의 영상을 촬상하기 위해 전방향 영상 처리 장치 상의 다양한 위치에 위치할 수 있다.2, features of a plurality of image pickup units positioned in a U-shaped omni-directional image processing apparatus are disclosed. The position of the image pickup section disclosed in Fig. 2 is an exemplary one. Each of the plurality of image pickup units may be located at various positions on the omnidirectional image processing apparatus to pick up a plurality of images for generating omni-directional images.
도 2의 상단에서는 전방향 영상 처리 장치의 후면부가 개시된다.At the top of Fig. 2, the rear portion of the omnidirectional image processing apparatus is started.
전방향 영상 처리 장치에 포함된 영상 촬상부1(210) 및 영상 촬상부2(220)는 전방향 영상 처리 장치에서 곡률이 존재하는 휘어진 부분에 위치할 수 있다. 구체적으로 사용자가 웨어러블 장치로서 전방향 영상 처리 장치를 목에 거는 경우, 목의 뒷부분과 접촉되는 휘어진 영역에 영상 촬상부1(210) 및 영상 촬상부2(220)가 위치할 수 있다. 예를 들어, U자형의 전방향 영상 처리 장치의 최대 곡률 지점(예를 들어, U자형의 중간 부분)을 기준으로 영상 촬상부1(210) 및 영상 촬상부2(220)가 일정 거리 상에 위치할 수 있다.The
영상 촬상부1(210)은 사용자의 시선(line of sight) 방향을 기준으로 후면 좌측 사각 영역을 포함하는 영역을 촬상할 수 있다. 영상 촬상부2(220)는 사용자의 시선을 기준으로 후면 우측 사각 영역을 포함하는 영역을 촬상할 수 있다. 구체적으로 영상 촬상부1(210)은 제1 화각을 가지고, 제1 화각에 해당하는 영역에 대한 촬상을 수행할 수 있다. 영상 촬상부2(220)는 제2 화각을 가지고, 제2 화각에 해당하는 영역에 대한 촬상을 수행할 수 있다. 예를 들어, 제1 화각 및 제2 화각은 120~180도일 수 있다.The
영상 촬상부1(210) 및 영상 촬상부2(220)에 의한 촬상이 수행될 경우, 제1 화각과 제2 화각에 의해 중첩되는 제1 중첩 영역(215)이 발생할 수 있다. 이후 중첩 영역을 고려한 스티칭을 기반으로 전방향 영상이 생성할 수 있다.When the imaging by the
도 2의 하단에서는 전방향 영상 처리 장치의 전면부가 개시된다.2, the front side of the omnidirectional image processing apparatus is started.
전방향 영상 처리 장치의 전면부에는 영상 촬상부3(230)이 위치할 수 있다. 구체적으로 영상 촬상부3(230)은 전방향 영상 처리 장치의 말단부(U자형의 끝(말단) 부분)에 위치할 수 있다. 사용자가 전방향 영상 처리 장치를 웨어러블 장치로서 목에 거는 경우, U자형의 전방향 영상 처리 장치의 말단 부분은 사용자의 전면 방향(사용자의 시선이 바라보는 방향)에 위치할 수 있다. 전방향 영상 처리 장치는 제1 말단부와 제2 말단부를 포함하고, 영상 촬상부3(230)은 제1 말단부와 제2 말단부 중 하나의 말단부에 위치할 수 있다.The image sensing unit 3 230 may be positioned on the front of the omnidirectional image processing apparatus. Specifically, the image capturing unit 3 230 may be located at the distal end (the end portion of the U-shape) of the omnidirectional image processing apparatus. When the user places the omnidirectional image processing apparatus on the neck as a wearable apparatus, the distal end portion of the U-shaped omnidirectional image processing apparatus may be positioned in the front direction of the user (the direction in which the user's gaze is viewed). The omnidirectional image processing apparatus may include a first end portion and a second end portion, and the image pickup portion 3 230 may be located at one end portion of the first end portion and the second end portion.
영상 촬상부3(230)은 사용자의 시선의 방향과 동일한 방향으로 촬상을 수행하여 사용자의 시선에 해당하는 영역에 대한 촬상을 수행할 수 있다.The image capturing unit 3 230 may perform image capturing in the same direction as the direction of the user's gaze and perform image capturing of an area corresponding to the user's gaze.
구체적으로 영상 촬상부3(230)은 제3 화각을 가지고, 제3 화각에 해당하는 영역에 대한 촬상을 수행할 수 있다. 예를 들어, 제3 화각은 120도~180도일 수 있다. 영상 촬상부3(230)에 의한 촬상이 수행될 경우, 영상 촬상부1(210)의 제1 화각과 영상 촬상부3(230)의 제3 화각에 의한 제2 중첩 영역(225)이 발생할 수 있다. 영상 촬상부3(230)에 의한 촬상이 수행될 경우, 영상 촬상부2(220)의 제2 화각과 영상 촬상부3(230)의 제3 화각에 의한 제3 중첩 영역(235)이 발생할 수 있다.More specifically, the image pickup section 3 230 has a third angle of view, and can perform imaging with respect to an area corresponding to the third angle of view. For example, the third angle of view may be between 120 and 180 degrees. When the image pickup by the image pickup section 3 230 is performed, the
목에 거는 웨어러블 장치의 구조상 목에 전방향 영상 처리 장치가 걸리는 경우, 영상 촬상부1(210), 영상 촬상부2(220)는 지면을 기준으로 영상 촬상부3(230)보다 상대적으로 높은 곳에 위치할 수 있다. 또한, 영상 촬상부3(230)은 한쪽 말단부에만 위치하게 된다.When the omnidirectional image processing apparatus is hooked on the neck of the wearable apparatus, the
기존의 전방향 영상 처리 장치에서는 동일한 높이에 위치한 복수개의 영상 촬상부가 일정한 각도를 가지고 구현되는데 반하여 본 발명의 실시예에 따른 전방향 영상 처리 장치는 복수의 영상 촬상부 간의 각도도 다르고 위치한 높이도 서로 다를 수 있다. 따라서, 복수의 영상 촬상부 각각에 의해 생성된 복수의 영상에 대한 제1 중첩 영역(215), 제2 중첩 영역(225) 및 제3 중첩 영역(235)의 크기/형태가 서로 다를 수 있다.In the conventional omni-directional image processing apparatus, a plurality of image pickup units positioned at the same height are implemented with a certain angle, whereas the omnidirectional image processing apparatus according to the embodiment of the present invention has different angles between the plurality of image pickup units, can be different. Therefore, the sizes / shapes of the first overlapping
이후, 제1 중첩 영역(215)/제2 중첩 영역(225)/제3 중첩 영역(235)을 고려한 영상 촬상부1(210), 영상 촬상부2(220) 및 영상 촬상부3(230) 각각에 의해 생성된 영상1, 영상2 및 영상 3에 대한 영상 처리 절차(스티칭/보정 등)을 기반으로 전방향 영상이 생성될 수 있다. The
제1 화각, 제2 화각, 제3 화각의 크기는 동일하게 설정될 수도 있지만, 서로 다르게 설정될 수도 있고 이러한 실시예 또한 본 발명의 권리 범위에 포함된다. The sizes of the first angle of view, the second angle of view, and the angle of the third angle of view may be set to be the same, but they may be set differently, and these embodiments are also included in the scope of the present invention.
도 3은 본 발명의 실시예에 따른 복수의 영상 촬상부의 촬상선을 나타낸 개념도이다.3 is a conceptual diagram showing an image pickup line of a plurality of image pickup units according to an embodiment of the present invention.
도 3에서는 전방향 영상 처리 장치에 설치된 복수의 영상 촬상부 각각의 촬상선이 개시된다. 지면을 X축과 Z축이 이루는 XZ 평면과 평행하다고 가정하는 경우, 촬상선은 X축/Y축/Z축으로 표현되는 공간 상에서 전방향 영상 처리 장치에 포함된 복수의 영상 촬상부 각각의 렌즈의 중앙을 수직으로 관통하는 선으로 정의될 수 있다.In Fig. 3, an image pickup line of each of a plurality of image pickup units provided in the omnidirectional image processing apparatus is started. When the ground is assumed to be parallel to the X-Z plane formed by the X-axis and the Z-axis, the image capturing lines are arranged on the space represented by the X-axis / Y-axis / Z- As shown in Fig.
기존의 전방향 영상 처리 장치는 동일한 높이에 복수의 영상 촬상부를 일정한 각도(예를 들어, 120도)로 구현될 수 있다. 이러한 경우, 기존의 전방향 영상 처리 장치에 포함된 복수의 영상 촬상부의 복수의 촬상선은 지면(또는 XZ 평면)에 평행하고 복수의 촬상선 간에 일정한 각도(예를 들어, 120도)를 가지는 복수의 선일 수 있다.Conventional omni-directional image processing apparatuses can be implemented with a plurality of image pickup units at the same height at a certain angle (for example, 120 degrees). In this case, a plurality of imaging lines of the plurality of image pickup units included in the conventional omni-directional image processing apparatus are arranged in parallel to the ground (or XZ plane) and have a plurality of (for example, 120 degrees) .
본 발명의 실시예에 따른 전방향 영상 처리 장치는 전술한 바와 같이 복수의 영상 촬상부의 높이(또는 복수의 영상 촬상부의 구현된 위치) 및 복수의 영상 촬상부 간의 각도(또는 촬상선 간에 이루는 각도)가 촬상시에 서로 다를 수 있다. 따라서, 본 발명의 실시예에 따른 전방향 영상 처리 장치의 촬상선의 특성은 기존의 전방향 영상 처리 장치의 촬상선의 특성과는 차이가 있다.As described above, the omnidirectional image processing apparatus according to the embodiment of the present invention is configured so that the heights of the plurality of image pickup units (or the positions at which the plurality of image pickup units are implemented) and the angles between the plurality of image pickup units May differ from each other at the time of imaging. Therefore, the characteristics of the imaging lines of the omni-directional image processing apparatus according to the embodiment of the present invention are different from those of the imaging lines of the conventional omni-directional image processing apparatus.
도 3에서 표현되는 복수의 영상 촬상부 각각의 촬상선은 웨어러블 디바이스의 특성으로 인한 복수의 영상 촬상부 각각의 촬상선 간의 특성(예를 들어, 높이, 각도)의 차이를 보여주기 위한 예시일 수 있다. 또한, 도 3에서 표현되는 촬상선은 전방향 영상 처리 장치를 착용한 사용자에 의한 움직임이 없거나 전방향 영상 처리 장치가 특정 상태에서 고정된 경우의 촬상선일 수 있다.The image pickup lines of each of the plurality of image pickup units shown in Fig. 3 are illustrative examples for showing the difference (e.g., height, angle) between the pickup lines of each of the plurality of image pickup units due to the characteristics of the wearable device have. 3 may be an imaging line in the case where there is no movement by a user wearing the omnidirectional image processing apparatus or when the omnidirectional image processing apparatus is fixed in a specific state.
도 3의 상단은 영상 촬상부1(310) 및 영상 촬상부2(320)의 촬상선을 개시한다.The top of Fig. 3 starts imaging lines of the image sensing unit 1 (310) and the image sensing unit 2 (320).
영상 촬상부1(310) 및 영상 촬상부2(320)는 영상 촬상부3(330)보다 상대적으로 높은 위치에 구현될 수 있다. 전방향 영상 처리 장치를 착용한 사용자의 서있는 방향이 Y축 방향이라고 가정하는 경우, 목에 거는 웨어러블 디바이스의 구조상 전방향 영상 촬상 장치에서 영상 촬상부1(310) 및 영상 촬상부2(320)가 위치한 곡률을 가지는 부분(U자에서 곡선/중앙 부분)이 상대적으로 올라가고 영상 촬상부3(330)이 위치한 다리 부분(U자에서 말단 부분)이 상대적으로 아래로 내려갈 수 있다.The
예를 들어, 영상 촬상부1(310)의 촬상선1(315)은 XZ 평면과 평행하되, Y축의 좌표 a에서 X축과 제1 각도1, Y축과 제2 각도, Z축과 제3 각도를 가질 수 있다. For example, the
영상 촬상부2(320)의 촬상선2(325)는 XZ 평면과 평행하되, Y축의 지점 a에서 X축과 제4 각도, Y축과 제5 각도, Z축과 제6 각도를 가질 수 있다.The image pickup line 2 325 of the image pickup unit 2 320 may have a fourth angle with the X axis at the point a in the Y axis, a fifth angle with the Y axis, and a sixth angle with the Z axis in parallel with the XZ plane .
도 3의 하단을 참조하면, 영상 촬상부3(330)의 촬상선3(335)은 XZ 평면과 평행하고, Y축의 좌표 b에서 X축과 제7 각도, Y축과 제8 각도, Z축과 제9 각도를 가질 수 있다. b는 a보다 작은 값일 수 있다. 영상 촬상부3(330)의 촬상선3(335)은 XZ 평면과 평행하고 사용자의 시선과 동일하게 전면(예를 들어, XY 평면과 수직한 방향)을 바라보도록 구현될 수 있다.3, the image pickup line 3 (335) of the image pickup section 3 (330) is parallel to the XZ plane, and has a seventh angle with the X axis at the coordinate b of the Y axis, an eighth angle with the Y axis, And a ninth angle. b may be a value less than a. The imaging line 3 335 of the image sensing unit 3 330 may be configured to be parallel to the XZ plane and to look at the entire surface (for example, a direction perpendicular to the XY plane) as the user's line of sight.
즉, 촬상선1(315) 및 촬상선2(325)는 Y 축을 기준으로 동일한 높이를 가지고, 촬상선3(335)은 Y 축을 기준으로 촬상선1 및 촬상선2보다 상대적으로 낮은 위치에 위치할 수 있다. 도 3에서 개시된 촬상선1(315), 촬상선2(325) 및 촬상선3(335)은 서로 다른 특성을 가지는 촬상선에 대한 하나의 예시이고, 다른 다양한 촬상선이 정의되고 전방향 영상이 촬상될 수 있다.That is, the imaging line 1 (315) and the imaging line 2 (325) have the same height with respect to the Y axis and the imaging line 3 (335) is located at a position relatively lower than the
도 4는 본 발명의 실시예에 따른 복수의 영상 촬상부의 촬상선을 나타낸 개념도이다.4 is a conceptual diagram showing imaging lines of a plurality of image sensing units according to an embodiment of the present invention.
도 4에서는 도 3과 다른 복수의 영상 촬상부의 촬상선이 개시된다. 마찬가지로 도 4에서도 지면이 X축과 Z축이 이루는 XZ 평면과 평행하다고 가정한다. In Fig. 4, imaging lines of a plurality of image pickup units different from those in Fig. 3 are started. Similarly, in FIG. 4, it is assumed that the paper surface is parallel to the XZ plane formed by the X axis and the Z axis.
도 4의 상단은 영상 촬상부1(410) 및 영상 촬상부2(420)의 촬상선을 개시한다.4, the image pickup lines of the image pickup section 1 (410) and the image pickup section 2 (420) are started.
영상 촬상부1(410) 및 영상 촬상부2(420)는 영상 촬상부3(430)보다 상대적으로 높은 위치에 구현될 수 있다. 마찬가지로, 사용자가 서있는 방향이 Y축 방향이라고 가정하는 경우, 목에 거는 웨어러블 디바이스의 구조상 전방향 영상 촬상 장치는 영상 촬상부1(410) 및 영상 촬상부2(420)가 위치한 곡률을 가지는 부분(U자에서 곡선 부분)이 상대적으로 올라가고 영상 촬상부3(430)이 위치한 다리 부분(U자에서 말단 부분)이 상대적으로 아래로 내려간 형태로 영상을 촬상할 수 있다.The
예를 들어, 영상 촬상부1(410)의 촬상선1(415)은 XZ 평면과 평행하되, Y 축의 좌표 a에서 X축과 제1 각도1, Y축과 제2 각도, Z축과 제3 각도를 가질 수 있다. For example, the
영상 촬상부2(420)의 촬상선2(415)는 XZ 평면과 평행하되, Y 축의 좌표 a에서 X축과 제4 각도, Y축과 제5 각도, Z축과 제6 각도를 가질 수 있다. The imaging line 2 415 of the image sensing unit 2 420 may have a fourth angle with the X axis, a fifth angle with the Y axis, and a sixth angle with the Z axis in the coordinate a of the Y axis, parallel to the XZ plane .
도 4의 하단은 영상 촬상부3(430)의 촬상선을 개시한다.The lower end of Fig. 4 starts the image pickup line of the image pickup section 3 (430).
영상 촬상부3(430)의 촬상선3(435)는 XZ 평면과 평행하지 않을 수 있고, Y 축의 좌표 b를 시작 지점으로 하여 X축과 제7 각도, Y축과 제8 각도, Z축과 제9 각도를 가질 수 있다. The image pickup line 3 435 of the image pickup section 3 430 may not be parallel to the XZ plane and the x-axis and the seventh angle, the y-axis and the eighth angle, and the Z- It may have a ninth angle.
영상 촬상부3(430)은 전방향 영상 처리 장치의 말단부에 위치하기 때문에 촬상선은 XZ 평면과 평행하지 않고, XZ 평면과 일정한 각도(예를 들어, 0~30도)를 가질 수 있다.Since the image capturing unit 3 430 is located at the distal end of the omnidirectional image processing apparatus, the image capturing line is not parallel to the XZ plane and can have a certain angle (for example, 0 to 30 degrees) with the XZ plane.
즉, 촬상선1(415) 및 촬상선2(425)는 Y 축을 기준으로 동일한 높이를 가지고, 촬상선3(435)은 Y 축을 기준으로 촬상선1(415) 및 촬상선2(425) 보다 상대적으로 낮은 위치에 위치할 수 있다. 또한, 촬상선 1(415) 및 촬상선2(425)는 XZ 평면과 평행하나, 촬상선3(435)은 XZ 평면과 평행하지 않을 수 있다.That is, the
본 발명의 다른 실시예로, 예를 들어, 영상 촬상부1의 촬상선1은 XZ 평면과 제1' 각도를 이루고 Y 축의 좌표 a를 시작 지점으로 하여 X축과 제1 각도1, Y축과 제2 각도, Z축과 제3 각도를 가질 수 있다. 또한, 영상 촬상부2의 촬상선2는 XZ 평면과 제1' 각도를 이루고 Y 축의 좌표 a를 시작 지점으로 하여 X축과 제4 각도, Y축과 제5 각도, Z축과 제6 각도를 가질 수 있다. 영상 촬상부3의 촬상선3는 XZ 평면과 제2' 각도를 이루고 Y 축의 좌표 b를 시작 지점으로 하여 X축과 제7 각도, Y축과 제8 각도, Z축과 제9 각도를 가질 수 있다.In another embodiment of the present invention, for example, the
본 발명의 또 다른 실시예로, 예를 들어, 영상 촬상부1의 촬상선1은 XZ 평면과 제1' 각도를 이루고 Y 축의 좌표 a를 시작 지점으로 하여 X축과 제1 각도1, Y축과 제2 각도, Z축과 제3 각도를 가질 수 있다. 또한, 영상 촬상부2의 촬상선2는 XZ 평면과 제2' 각도를 이루고 Y 축의 좌표 a를 시작 지점으로 하여 X축과 제4 각도, Y축과 제5 각도, Z축과 제6 각도를 가질 수 있다. 영상 촬상부3의 촬상선3는 XZ 평면과 제3' 각도를 이루고 Y 축의 좌표 b를 시작 지점으로 하여 X축과 제7 각도, Y축과 제8 각도, Z축과 제9 각도를 가질 수도 있다.In another embodiment of the present invention, for example, the
즉, 복수의 영상 촬상부 각각의 촬상선이 기존의 동일한 Y 축 지점에서 지면과 동일한 각도를 가지는 영상 처리 장치와 다르게 본 발명의 실시예에 따른 전방향 영상 처리 장치는 복수의 영상 촬상부 각각의 촬상선이 서로 다른 Y 축 지점에서 위치하고, 지면(또는 XZ 평면)과 서로 다른 각도를 가질 수 있다.In other words, the image processing apparatus according to the embodiment of the present invention is different from the image processing apparatus in which the image pickup lines of the plurality of image pickup sections have the same angle as the ground at the same Y-axis point, The imaging lines are located at different Y-axis points and can have different angles from the ground (or XZ plane).
본 발명의 실시예에 따른 웨어러블 전방향 영상 처리 장치는 촬영을 원하는 피사체를 자유롭게 특정하기 어려운 점이 있을 뿐 아니라, 신체 부위에 대한 불필요한 촬영 가능성이 존재한다. 도 4의 처리 대상 객체(450)와 같이 신체 부위에 대한 촬영 가능성이 존재한다.The wearable omni-directional image processing apparatus according to the embodiment of the present invention has a difficulty in freely specifying a subject desired to be photographed, and there is a possibility of unnecessary photographing of a body part. There is a possibility of photographing a body part like the object 450 in Fig.
예를 들어, 전방향 영상 처리 장치의 촬영시 전방향 영상 처리 장치에 근접한 신체 부위가 촬영될 수 있다. 전방향 영상 장치가 머리 근처에 위치한다면, 머리카락 등에 대한 이미지가 촬상된 전방향 영상에 포함되고, 전방향 영상 장치가 목에 거는 형태라면, 주로 턱과 어깨에 대한 이미지가 촬상된 전방향 영상에 포함될 수 있다.For example, when the omni-directional image processing apparatus is photographed, a body part close to the omni-directional image processing apparatus can be photographed. If the omnidirectional imaging device is located near the head, if the image of the hair or the like is included in the captured omnidirectional image and if the omnidirectional imaging device is in the neck, the omnidirectional image .
전방향 영상에 촬상된 신체 일부가 포함되는 경우, 전방향 영상의 감상시 방해가 될 수 있다. 따라서, 전방향 영상에서 불필요하게(또는 부적절하게) 포함된 객체(예를 들어, 신체 부위)를 판단하여 자동으로 제외하는 기능, 유효한 촬영 영역을 지정하여 촬영함으로써 감상자가 보다 고품질의 촬영 결과물을 감상할 수 있는 기능이 전방향 영상 처리 장치에 구현될 필요가 있다.If a part of the body captured in the omnidirectional image is included, it may interfere with appreciation of the omnidirectional image. Therefore, the function of judging and automatically excluding objects (for example, body parts) unnecessarily (or improperly) included in the omnidirectional image, or by designating a valid shooting region and photographing the object, It is necessary that a function that can be implemented in the omnidirectional image processing apparatus is implemented.
이하, 본 발명의 실시예에서 전방향 영상에 불필요하게(또는 부적절하게) 포함된 객체는 처리 대상 객체라는 용어로 표현될 수 있다. 유효한 촬영 영역은 처리 대상 객체를 포함하는 촬영 영역을 제외한 영역일 수 있다.Hereinafter, in an embodiment of the present invention, an object unnecessarily (or inappropriately) included in an omnidirectional image may be expressed by the term " object to be processed ". The effective shooting region may be a region other than the shooting region including the object to be processed.
처리 대상 객체에 대한 판단 및 처리는 전방향 영상 처리 장치 또는 전방향 영상 처리 장치로부터 전방향 영상 정보를 수신하여 처리하는 별도의 외부 장치에 의해 수행될 수 있다. 이하, 처리 대상 객체에 대한 판단하고 영상 후처리를 수행하는 장치는 영상 처리 장치라는 용어로 표현될 수 있다. 영상 처리 장치는 전방향 영상 처리 장치 및/또는 외부 장치를 포함할 수 있다.The determination and processing of the object to be processed may be performed by a separate external device that receives and processes the omnidirectional image information from the omnidirectional image processing apparatus or the omnidirectional image processing apparatus. Hereinafter, an apparatus for determining an object to be processed and performing an image post-processing may be expressed by the term image processing apparatus. The image processing apparatus may include an omnidirectional image processing apparatus and / or an external apparatus.
영상에서 처리 대상 객체를 처리하는 영상 처리 장치는 외부 장치와의 통신을 위한 통신부와 통신부와 동작 가능하게(operatively) 연결된 프로세서를 포함할 수 있다. 프로세서는 이하, 본 발명에서 후술할 처리 대상 객체에 대한 영상 처리를 수행할 수 있다. An image processing apparatus for processing an object to be processed in an image may include a communication unit for communication with an external device and a processor operatively connected to the communication unit. The processor can perform image processing on an object to be processed, which will be described later in the present invention.
또한, 이하, 본 발명의 실시예에서는 설명의 편의상 전방향 영상에서 처리 대상 객체를 제거하는 방법이 개시되나, 전방향 영상이 아닌 일반 영상에서 처리 대상 객체를 제거하는 방법에도 본 발명이 사용될 수 있고, 이러한 실시예 또한, 본 발명의 권리에 포함된다.Hereinafter, a method for removing an object to be processed from an omnidirectional image is disclosed in the embodiments of the present invention. However, the present invention can also be applied to a method for removing an object to be processed from a general image rather than an omnidirectional image , These embodiments are also included in the scope of the present invention.
이하, 처리 대상 객체에 대한 판단 방법 및 처리 대상 객체에 대한 영상 후처리 방법이 구체적으로 개시된다. Hereinafter, a determination method for an object to be processed and an image post-processing method for the object to be processed are specifically disclosed.
도 5는 본 발명의 실시예에 따른 처리 대상 객체에 대한 영상 처리 방법을 나타낸 개념도이다.5 is a conceptual diagram illustrating an image processing method for an object to be processed according to an embodiment of the present invention.
도 5를 참조하면, 처리 대상 객체의 존재 여부를 판단하기 위해 전방향 영상 내에서 판단 대상 영역이 결정될 수 있다(단계 S500).Referring to FIG. 5, a determination target region may be determined in an omnidirectional image to determine whether an object to be processed exists (Step S500).
판단 대상 영역은 전방향 영상 상에서 처리 대상 객체의 존재 여부를 판단하기 위한 영역일 수 있다. 다른 표현으로 판단 대상 영역은 전방향 영상 내에서 전방향 영상 처리 장치에 의해 촬상이 의도되지 않은 처리 대상 객체를 포함하는 영역일 수 있다.The determination target region may be an area for determining the presence or absence of the processing target object on the omnidirectional image. In other words, the determination target area may be a region including an object to be processed which is not intended to be imaged by the omnidirectional image processing apparatus in the omnidirectional image.
판단 대상 영역은 다양한 방법을 기반으로 결정될 수 있다. 판단 대상 영역은 미리 설정되거나, 촬상 거리를 기반으로 결정되거나, 학습에 의해 결정될 수 있다. 판단 대상 영역의 결정 방법은 후술된다. 미리 판단 대상 영역이 설정되고, 판단 대상 영역 내에 처리 대상 객체가 존재하는지 여부가 빠르게 판단될 수 있다.The region to be judged can be determined based on various methods. The determination subject area may be set in advance, or may be determined based on the imaging distance, or may be determined by learning. The determination method of the determination target area will be described later. It is possible to quickly determine whether a judgment object area is set and whether a processing object exists in the judgment object area.
판단 대상 영역 내에서 처리 대상 객체의 존재 여부가 판단될 수 있다(단계 S510).The presence or absence of the object to be processed can be determined in the determination target area (step S510).
처리 대상 객체는 전방향 영상에서 불필요하게(또는 부적절하게) 촬상된 객체일 수 있다. 전술한 바와 같이 전방향 영상 처리 장치가 웨어러블 장치인 경우, 사용자의 특정 신체 부위(턱, 어깨 등)가 불필요하게(또는 부적절하게) 촬상되어 전방향 영상에 포함될 수 있다. 다른 표현으로 처리 대상 객체는 촬상이 의도되지 않은 객체일 수 있다.The object to be processed may be an object that is captured unnecessarily (or improperly) in a forward image. As described above, when the omnidirectional image processing apparatus is a wearable apparatus, a specific body part (jaw, shoulder, etc.) of the user may be unnecessarily (or improperly) picked up and included in the omnidirectional image. In other words, the object to be processed may be an object for which imaging is not intended.
처리 대상 객체는 미리 설정된 신체 부위이거나 영상 촬상부의 위치를 기준으로 임계 거리 이하에서 근접해서 촬상되는 객체일 수 있다. 예를 들어, 턱이나 어깨와 같은 부위는 영상 촬상부의 위치를 기준으로 임계 거리 이하의 근접한 거리에서 촬상될 수 있고, 이렇게 임계 거리 이하의 근접한 거리에서 촬상된 객체는 처리 대상 객체로 결정될 수 있다. The object to be processed may be a predetermined body part or an object that is imaged close to or below a critical distance based on the position of the image pickup unit. For example, a part such as a chin or a shoulder can be picked up at a close distance equal to or less than a critical distance based on the position of the image pickup unit, and an object picked up at a distance not exceeding the critical distance can be determined as a processing object.
또는 처리 대상 객체는 영상 촬상부의 위치를 기준으로 임계 거리 이하에서 근접 촬상되어 초점이 맞지 않는 객체일 수도 있다. Alternatively, the object to be processed may be an object which is imaged close-up at a critical distance or less based on the position of the image pickup unit and is out of focus.
처리 대상 객체에 대한 영상 후처리가 수행될 수 있다(단계 S520). An image post-process for the object to be processed can be performed (step S520).
판단 대상 영역 내에 처리 대상 객체가 존재하는 경우, 처리 대상 객체에 대한 영상 후처리가 수행될 수 있다.If there is an object to be processed in the determination target area, the image post-processing may be performed on the object to be processed.
구체적으로 전방향 영상은 복수의 프레임을 포함하고, 복수의 프레임 중 처리 대상 객체를 포함하는 프레임에 대해 후처리가 수행될 수 있다. 구체적으로 처리 대상 객체가 제거되거나 처리 대상 객체가 다른 프레임의 영상 정보, 처리 대상 객체를 포함하는 프레임의 주변 영상 정보를 기반으로 보간될 수 있다. 영상 후처리 방법은 구체적으로 후술된다.Specifically, the forward direction image includes a plurality of frames, and a post-process may be performed on a frame including the object to be processed among a plurality of frames. Specifically, the object to be processed may be removed or the object to be processed may be interpolated based on the surrounding image information of the frame including the image information of the other frame and the object to be processed. The image post-processing method will be described in detail later.
판단 대상 영역 내에 처리 대상 객체가 존재하는지 않는 경우, 처리 대상 객체에 대한 추가의 영상 후처리 없이 전방향 영상이 제공될 수 있다.If the object to be processed does not exist in the judgment object area, an omnidirectional image can be provided without additional post-processing of the object to be processed.
또한, 본 발명의 실시예에 따르면, 판단 대상 영역에 대한 결정없이 전방향 영상에서 직접적으로 처리 대상 객체의 존재 여부를 판단 후 처리 대상 객체에 대한 영상 후처리가 수행될 수도 있다. 즉, 전방향 영상에서 별도의 영역의 설정없이 처리 대상 객체의 존재 여부를 판단하고, 처리 대상 객체에 대한 영상 후처리가 수행될 수 있다.Also, according to the embodiment of the present invention, the post-processing of the object to be processed may be performed after determining whether or not the object to be processed exists directly in the omnidirectional image without determining the determination object area. That is, the presence or absence of the object to be processed can be determined without setting a separate region in the forward direction image, and image post-processing can be performed on the object to be processed.
도 6은 본 발명의 실시예에 따른 판단 대상 영역을 결정하는 방법을 나타낸 개념도이다.6 is a conceptual diagram illustrating a method of determining a determination subject area according to an embodiment of the present invention.
도 6에서는 전방향 영상에서 처리 대상 객체에 대한 탐색을 위한 판단 대상 영역을 결정하는 방법이 개시된다.FIG. 6 illustrates a method for determining a determination target area for searching for a processing object in an omni-directional image.
도 6을 참조하면, 사용자가 전방향 영상 처리 장치를 목에 착용한 경우, 전방향 영상 처리 장치에 의해 처리 대상 객체(예를 들어, 사용자의 어깨 영역 이미지)(600)가 촬상될 수 있다. 즉, 전방향 영상은 처리 대상 객체(600)를 포함할 수 있다.Referring to FIG. 6, when the user wears the omnidirectional image processing apparatus on his neck, the omnidirectional image processing apparatus can pick up an object 600 (e.g., a shoulder region image of the user). That is, the omnidirectional image may include the
판단 대상 영역(650)은 전방향 영상 내에서 전방향 영상 처리 장치에 의해 촬상이 의도되지 않은 처리 대상 객체(600)를 포함하는 영역일 수 있다. 다른 표현으로 판단 대상 영역(650)은 전방향 영상 내에서 처리 대상 객체(600)의 존재 여부를 판단하기 위한 영역으로 정의될 수도 있다. 즉, 판단 대상 영역(650)은 전방향 영상 내에서 처리 대상 객체(600)가 존재하는지 여부를 판단하기 위해 미리 정의된 영역일 수도 있다.The determination target area 650 may be an area including the
또는, 판단 대상 영역(650)은 현재 전방향 영상 처리 장치를 기반으로 촬상하고자 하는 관심 영역에서 벋어난 영역(또는 아웃 오브 포커스(out of focus) 영역)일 수 있다. 관심 영역은 전방향 영상 처리 장치의 초점이 맞는 영역이거나 촬상되는 전방향 영상의 중심을 기준으로 한 일정 범위의 영역일 수 있다. 또는 판단 대상 영역(650)은 전방향 영상의 촬상 중심에 위치한 객체와 관련도가 낮은 배경 영역일 수 있다.Alternatively, the determination subject region 650 may be a region (or an out of focus region) extracted from a region of interest to be imaged based on the current omni-directional image processing apparatus. The region of interest may be a focused region of the omnidirectional image processing apparatus or a range of regions based on the center of the omni-directional image to be imaged. Alternatively, the determination subject area 650 may be a background area having a low degree of association with an object positioned at an imaging center of the omnidirectional image.
또는 판단 대상 영역(650)은 촬상 거리가 임계 거리(예를 들어, 30cm)보다 가까운 영역일 수 있다. 촬상 거리는 전방향 영상 처리 장치의 영상 촬상부와 객체 간의 거리일 수 있다. 예를 들어, 전술한 본 발명의 실시예에서 개시된 전방향 영상 처리 장치와 같이 전방향 영상 처리 장치가 목에 위치하는 경우, 전방향 영상 처리 장치를 착용한 사용자의 어깨가 임계 거리 이내의 촬상 거리에 위치할 수 있고, 임계 거리 이내의 촬상 거리에 해당하는 영역은 판단 대상 영역으로 결정될 수 있다.Alternatively, the determination subject area 650 may be an area where the imaging distance is closer to a critical distance (for example, 30 cm). The imaging distance may be the distance between the imaging unit and the object of the omnidirectional image processing apparatus. For example, when an omnidirectional image processing apparatus such as the omnidirectional image processing apparatus disclosed in the above-described embodiments of the present invention is located on the neck, the shoulder of a user wearing the omnidirectional image processing apparatus may have an imaging distance And an area corresponding to the imaging distance within the critical distance may be determined as the determination subject area.
도 7은 본 발명의 실시예에 따른 판단 대상 영역을 결정하는 방법을 나타낸 개념도이다.7 is a conceptual diagram illustrating a method for determining a determination subject area according to an embodiment of the present invention.
도 7에서는 전방향 영상에서 처리 대상 이미지를 포함하는 판단 대상 영역을 결정하기 위한 방법이 개시된다. 도 7에서는 특히, 학습(learning)을 기반으로 판단 대상 영역을 결정하는 방법이 개시된다.In Fig. 7, a method for determining a determination target area including an image to be processed in an omnidirectional image is disclosed. In Fig. 7, a method for determining a determination target area based on learning is disclosed.
도 7을 참조하면, 전방향 영상 처리 장치의 구조를 고려할 때, 계속적으로 전방향 영상의 특정 영역 상에 사용자의 특정 신체 부위(예를 들어, 어깨)가 촬상될 가능성이 높을 수 있다. 이러한 경우, 전방향 영상 상에서 사용자의 특정 신체 부위의 이미지가 위치할 가능성이 높은 영역이 판단 대상 영역(700)으로 설정될 수 있다.Referring to FIG. 7, in consideration of the structure of the omni-directional image processing apparatus, there is a high possibility that a specific body part (for example, a shoulder) of the user is continuously imaged on a specific area of the omni-directional image. In this case, an area where the image of the user's specific body part is highly likely to be located on the omnidirectional image may be set as the determination object area 700. [
사용자의 어깨 이미지가 위치할 가능성이 높은 영역이 판단 대상 영역(700)으로 미리 설정될 수도 있고, 사용자의 어깨 이미지가 위치할 가능성이 높은 영역에 대한 학습을 통해 판단 대상 영역(700)이 설정될 수 있다.An area in which a user's shoulder image is likely to be located may be set in advance in the determination target area 700 or a determination target area 700 is set through learning about an area in which a user's shoulder image is likely to be positioned .
예를 들어, 전방향 영상 처리 장치에 의해 촬상된 전방향 영상들이 수집되고, 수집된 전방향 영상 내에서 처리 대상 객체로서 존재하는 어깨 이미지에 대한 학습이 수행될 수 있다. 이러한 경우, 처리 대상 객체가 존재하는 판단 대상 영역(700)이 학습을 통해 적응적으로 변화될 수 있다. 전방향 영상들에게 처리 대상 객체의 위치에 대한 학습이 수행되고, 처리 대상 객체가 존재할 수 있는 가능성이 임계 퍼센티지 이상인 영역이 판단 대상 영역(700)으로 결정될 수 있다.For example, omnidirectional images captured by the omnidirectional image processing apparatus are collected, and learning about a shoulder image existing as a processing object in the collected omnidirectional image can be performed. In this case, the determination target area 700 in which the processing object exists may be adaptively changed through learning. It is possible to determine the region where the possibility of existence of the object to be processed is higher than the threshold percentage is determined as the judgment object region 700. [
도 8은 본 발명의 실시예에 따른 처리 대상 객체 결정 방법을 나타낸 개념도이다.8 is a conceptual diagram illustrating a method of determining an object to be processed according to an embodiment of the present invention.
도 8에서는 전방향 영상의 판단 대상 영역에서 처리 대상 객체를 결정하기 위한 방법이 개시된다.In FIG. 8, a method for determining an object to be processed in a determination object region of an omnidirectional image is disclosed.
도 8을 참조하면, 처리 대상 객체(840)는 미리 설정될 수 있다. 전술한 바와 같이 전방향 영상 처리 장치가 웨어러블 장치인 경우, 특정 신체 부위(턱, 어깨 등)가 처리 대상 객체(840)로서 촬상될 수 있다.Referring to FIG. 8, the
전방향 영상에서 처리 대상 객체(840)가 위치할 가능성이 있는 판단 대상 영역 또는 전체 전방향 영상 영역에서 처리 대상 객체(840)의 존재 여부가 판단될 수 있다. 전방향 영상에서 처리 대상 객체(840)가 존재하는 경우, 영상 후처리를 통해 처리 대상 객체(840)가 제거되거나 처리 대상 객체(840)가 처리 대상 객체(840)를 포함하는 프레임의 주변 영상 정보 및/또는 다른 프레임의 영상 정보를 기반으로 보간될 수 있다. 영상 후처리 방법은 구체적으로 후술된다.The presence or absence of the
판단 대상 영역에 처리 대상 객체(840)가 존재하는지 여부에 대한 결정을 위해 처리 대상 객체(840)에 대한 템플릿 이미지가 기준 처리 대상 이미지(800)로서 미리 저장되어 있을 수 있다. 처리 대상 객체 이미지가 전방향 처리 장치의 구조로 인해 불필요하게 촬상되는 사용자의 턱, 어깨 등에 대한 이미지인 경우, 기준 처리 대상 이미지(800)는 전방향 영상에서 불필요하게 촬상되는 사용자의 턱, 어깨 등에 대한 이미지를 판별하기 위한 기준이 되는 이미지일 수 있다.The template image for the
기준 처리 대상 이미지(800)와 촬상된 전방향 영상에 포함되는 판단 대상 객체 이미지(820) 간의 비교를 기반으로 판단 대상 객체가 처리 대상 객체(840)인지 여부가 판단될 수 있다.It can be determined whether the determination target object is the
예를 들어, 판단 대상 영역에 객체1, 객체2, 객체3이 존재하는 경우, 객체1, 객체2, 객체3이 판단 대상 객체이고, 객체1, 객체2, 객체3 각각의 이미지는 판단 대상 객체 이미지(820)일 수 있다.For example, when
판단 대상 객체 이미지(820)와 기준 처리 대상 이미지(800) 간의 유사도(또는 매칭도)가 분석되고, 유사도가 높은 경우 판단 대상 객체가 처리 대상 객체로 결정될 수 있다.The degree of similarity (or degree of matching) between the judgment object object image 820 and the reference processing object image 800 is analyzed. If the degree of similarity is high, the judgment object can be determined as the processing object.
본 발명의 실시예에 따르면, 처리 대상 객체에 대한 학습도 수행될 수 있다. 전술한 바와 같이 전방향 영상에 포함되는 처리 대상 객체에 대한 계속적인 학습을 통해 기준 처리 대상 이미지(800)가 업데이트될 수 있고, 처리 대상 객체에 대한 판단의 정확도가 증가될 수 있다.According to the embodiment of the present invention, learning on the object to be processed can also be performed. As described above, the reference image to be processed 800 can be updated through continuous learning of the object to be processed included in the omnidirectional image, and the accuracy of determination of the object to be processed can be increased.
처리 대상 객체(840)에 대해 미리 설정되어 있지 않은 경우, 아래와 같은 이미지가 판단 대상 객체로 설정될 수 있다.If the object to be processed 840 is not set in advance, the following image may be set as the determination target object.
예를 들어, 판단 대상 객체는 1) 판단 대상 영역에서 임계 시간 동안 존재하는 객체 2) 판단 대상 영역에서 반복적으로 나타나는 객체 또는 3) 전방향 영상 처리 장치의 촬상 위치의 이동에도 불구하고 판단 대상 영역에서 임계 시간 동안 존재하거나 판단 대상 영역에서 반복적으로 나타나는 객체, 4) 전방향 영상에서 임계 시간 동안 존재하는 객체, 5) 전방향 영상에서 반복적으로 나타나는 객체 또는 6) 전방향 영상 처리 장치의 촬상 위치의 이동에도 불구하고 전방향 영상에서 임계 시간 동안 존재하거나 반복적으로 나타나는 객체일 수 있다.For example, the object to be judged may be 1) an object which exists for a predetermined time in the judgment subject area, 2) an object which repeatedly appears in the judgment subject area, or 3) An object that exists during the critical time or appears repeatedly in the area to be judged, 4) an object that exists during the threshold time in the omnidirectional image, 5) an object that repeatedly appears in the omnidirectional image, or 6) But may be an object that exists or appears repeatedly in the omnidirectional image for a critical period of time.
위와 같은 판단 대상 객체가 존재하는 경우, 전방향 영상 촬상을 수행한 사용자에게 해당 객체에 대한 후처리 여부에 대한 판단을 요청할 수 있다. If there is an object to be judged as described above, the user who has performed the omnidirectional image capturing can request the judgment of whether the object is post-processed.
예를 들어, 사용자의 머리카락, 사용자의 턱 이미지가 판단 대상 객체로서 판단된 경우, 사용자의 머리카락, 사용자의 턱 이미지에 대한 영상 후처리를 수행할 것인지에 대한 확인을 사용자에게 요청할 수 있다. 사용자로부터 해당 객체에 대한 영상 후처리가 요청되는 경우, 객체에 대한 영상 후처리를 수행할 수 있다.For example, when the hair of the user and the jaw image of the user are determined as the determination object, the user may be asked to confirm whether to perform the image post-processing on the user's hair and the jaw image of the user. If the post-processing of the object is requested from the user, the post-processing of the object can be performed.
도 9는 본 발명의 실시예에 따른 처리 대상 객체에 대한 영상 후처리 방법을 나타낸 개념도이다.9 is a conceptual diagram illustrating an image post-processing method for an object to be processed according to an embodiment of the present invention.
도 9에서는 처리 대상 객체에 대한 영상 후처리 방법이 개시된다. 특히 처리 대상 객체가 포함되는 대상 프레임의 주변 영상 정보를 기반으로 처리 대상 객체가 포함되는 영상 영역에 대한 보간을 수행하는 방법이 개시된다.9, an image post-processing method for an object to be processed is disclosed. In particular, a method for performing interpolation on an image region including a processing object based on peripheral image information of a target frame including an object to be processed is disclosed.
도 9를 참조하면, 처리 대상 객체를 포함하는 영역에 대한 별도의 영상 보간을 통해 전방향 영상이 생성될 수도 있다. 처리 대상 객체를 포함하는 프레임은 보간 대상 프레임(900)이라는 용어로 표현되고, 처리 대상 객체를 포함하는 영상 보간을 수행할 영역은 보간 대상 영역(920)이라는 용어로 표현될 수 있다.Referring to FIG. 9, an omnidirectional image may be generated through separate image interpolation for an area including an object to be processed. The frame including the object to be processed is represented by the term of the object frame 900 and the region for performing the image interpolation including the object to be processed may be expressed by the term of the object region 920. [
구체적으로 대상 프레임의 주변 픽셀 정보를 기반으로 영상 보간을 수행하여 후처리 전방향 영상이 생성될 수도 있다.Specifically, a post-processing all-directional image may be generated by performing image interpolation based on surrounding pixel information of a target frame.
보간 대상 프레임(900)의 보간 대상 영역(920)이 처리 대상 객체를 포함하는 경우, 보간 대상 영역(920)의 외곽 영역(940)에 위치한 픽셀 정보를 기반으로 보간 대상 영역(920)에 대한 영상 보간이 수행될 수 있다. 예를 들어, 외곽 영역(940)은 보간 대상 영역(920)의 외곽선을 기준으로 처리 대상 객체의 중심 방향의 반대 방향으로 n(여기서 n은 자연수)개 픽셀이 위치한 영역이거나, 영역의 외곽선을 기준으로 처리 대상 객체의 중심 방향의 반대 방향으로 일정 거리에 위치한 픽셀을 포함하는 영역일 수 있다.When the interpolation object area 920 of the interpolation object frame 900 includes the object to be processed, the interpolation object area 920 is selected based on the pixel information located in the outer area 940 of the interpolation object area 920 Interpolation can be performed. For example, the outer area 940 may be an area where n pixels (where n is a natural number) are located in the opposite direction of the center of the object to be processed with respect to the outline of the interpolation object area 920, A region including pixels located at a certain distance in a direction opposite to the center direction of the object to be processed.
외곽 영역(940)에 위치한 픽셀 정보를 기반으로 한 보간 대상 영역(920)에 대한 보간은 다양한 방법을 기반으로 수행될 수 있다.The interpolation of the interpolation object area 920 based on the pixel information located in the outer area 940 can be performed based on various methods.
보간 대상 영역(920)은 복수의 하위 보간 대상 영역으로 분할되고, 복수의 하위 보간 대상 영역 각각은 가장 인접한 외곽 영역의 픽셀 정보(휘도 정보, 색차 정보 등)를 기반으로 보간될 수 있다.The interpolation subject area 920 is divided into a plurality of sub-interpolation subject areas, and each of the plurality of sub-interpolation subject areas can be interpolated based on pixel information (luminance information, chrominance information, etc.) of the nearest outer area.
보간 정확도를 높이기 위해 복수의 하위 보간 대상 영역의 분할은 외곽 영역(940)의 픽셀 특성을 고려하여 수행될 수 있다. 예를 들어, 외곽 영역(940)의 픽셀 특성의 변화 정도를 고려하여 복수의 하위 보간 대상 영역의 분할이 수행될 수 있다. 구체적으로 외곽 영역(940)에 포함된 픽셀의 휘도 정보 및 색차 정보의 변화 정도를 고려하여 변화도가 일정 임계 변화도 이상인지 여부를 판단하여 외곽 영역(940)에 대한 분할이 수행될 수 있다. 이러한 분할을 통해 보간 정확도가 향상될 수 있다.The division of a plurality of lower interpolation target areas may be performed in consideration of pixel characteristics of the outer area 940 in order to increase interpolation accuracy. For example, the division of a plurality of sub-interpolation subject areas may be performed in consideration of the degree of change of the pixel characteristics of the outer area 940. [ Specifically, it is determined whether or not the degree of change is equal to or greater than a predetermined threshold change degree in consideration of the brightness information of the pixels included in the outer region 940 and the degree of change of the color difference information, and the division on the outer region 940 may be performed. This division can improve interpolation accuracy.
도 10은 본 발명의 실시예에 따른 처리 대상 객체에 대한 영상 후처리 방법을 나타낸 개념도이다.10 is a conceptual diagram illustrating an image post-processing method for an object to be processed according to an embodiment of the present invention.
도 10에서는 처리 대상 객체에 대한 영상 후처리 방법이 개시된다. 도 10에서는 특히 처리 대상 객체를 포함하는 대상 프레임을 기준으로 이전 프레임의 영상 정보를 고려하여 처리 대상 객체가 포함되는 영상 영역을 보간하는 방법이 개시된다.In Fig. 10, an image post-processing method for an object to be processed is disclosed. FIG. 10 illustrates a method of interpolating an image region including an object to be processed in consideration of image information of a previous frame based on a target frame including an object to be processed.
도 10을 참조하면, 제n 프레임이 보간 대상 프레임(1000)이고, 보간 대상 영역(1020)은 처리 대상 객체를 포함할 수 있다. 참조 프레임(1050)인 제n-a 프레임(여기서 a는 자연수)은 보간 대상 프레임(1000)의 영상 후처리를 위해 참조되는 프레임일 수 있다. 참조 프레임(1050)은 보간 대상 프레임(1000)의 생성 시점을 기준으로 임계 시간 내에 생성된 프레임일 수 있다. 또는 참조 프레임(1050)은 보간 대상 프레임(1000)의 디코딩/인코딩을 위해 참조되는 프레임이거나, 영상 특성 정보의 유사도가 상대적으로 높은 프레임일 수도 있다. 참조 프레임(1050)에 포함되는 참조 영역의 영상 정보를 기반으로 보간 대상 영역(1020)에 대한 보간이 수행될 수 있다.Referring to FIG. 10, an n-th frame is an
설명의 편의상 하나의 참조 프레임(1050), 참조 영역(1070)을 개시하나, 참조 프레임, 참조 영역은 복수개일 수 있고, 복수개의 참조 프레임의 영상 정보가 보간 대상 프레임(1000)에 대한 보간을 위해 활용될 수도 있다.For convenience of explanation, one
참조 프레임(1050)은 보간 대상 프레임(1000)의 영상 정보를 고려하여 결정될 수 있다. 참조되는 프레임의 영상 정보와 보간 대상 프레임의 영상 정보 간의 유사도가 높지 않은 경우, 보간시 영상의 이질감은 더욱 커질 수 있다. 이러한 경우, 참조 영역을 기반으로 한 영상 보간 절차는 수행되지 않을 수 있다.The
참조 프레임(1050)을 결정하기 위해 유사도가 판별되는 프레임은 참조 후보 프레임이라는 용어로 표현될 수 있다. 참조 후보 프레임은 보간 대상 영역(1020)과 대응되는 참조 후보 영역을 포함할 수 있다. 보간 대상 프레임 간의 유사도를 기반으로 참조 후보 프레임이 참조 프레임(1050)으로 결정되고, 참조 후보 영역이 참조 영역(1070)으로 결정될 수 있다.A frame in which the degree of similarity is determined to determine the
참조 후보 프레임의 영상 정보와 보간 대상 프레임(1000)의 영상 정보 간의 유사도는 참조 후보 프레임의 참조 후보 영역의 외곽 영역의 픽셀 특성 정보 및 보간 대상 영역(1020)의 외곽 영역의 픽셀 특성 정보를 기반으로 결정될 수 있다. 구체적으로 참조 후보 영역의 외곽 영역의 픽셀 특성 정보(예를 들어, 휘도 정보, 색차 정보)와 보간 대상 영역(1020)의 외곽 영역의 픽셀 특성 정보(예를 들어, 휘도 정보, 색차 정보) 간의 유사도가 결정될 수 있다.The similarity between the image information of the reference candidate frame and the image information of the
전술한 바와 같이 외곽 영역은 보간 대상 영역(1020)의 외곽선을 기준으로 처리 대상 객체의 중심의 반대 방향으로 n(여기서 n은 자연수)개 픽셀이 위치한 영역이거나, 영역의 외곽선을 기준으로 처리 대상 객체의 중심의 반대 방향으로 일정 거리에 위치한 픽셀을 포함하는 영역일 수 있다.As described above, the outer area is an area in which n pixels (where n is a natural number) are positioned in the opposite direction of the center of the object to be processed with respect to the outline of the object to be interpolated 1020, And a pixel located at a certain distance in the opposite direction of the center of the pixel.
보간 대상 영역(1020)의 픽셀 특성 정보와 참조 후보 영역의 픽셀 특성 정보에 대한 비교를 통해 유사도를 결정할 수 있다. 또는 보간 대상 영역(1020)의 외곽 영역을 복수의 제1 하위 외곽 영역으로 분할하고, 참조 후보영역의 후보 외곽 영역을 복수의 제2 하위 외곽 영역으로 분할하고, 복수의 제1 하위 외곽 영역 각각과 복수의 제2 하위 외곽 영역 각각을 대응하여 픽셀 특성 정보에 대한 비교를 통해 유사도를 결정할 수도 있다. 유사도가 임계 유사도 이상인 경우, 참조 후보 프레임은 참조 프레임(1050)으로 결정되고, 참조 후보 영역은 참조 영역(1070)으로 결정될 수 있다.The degree of similarity can be determined by comparing the pixel characteristic information of the
참조 영역(1070)에 위치한 영상 정보를 기반으로 한 보간 대상 영역(1020)에 대한 보간은 다양한 방법을 기반으로 수행될 수 있다.The interpolation of the
참조 영역에 위치한 영상 정보가 보간 대상 영역(1020)의 영상 정보로서 활용될 수 있다. 또는 보간 대상 영역(1020)은 복수의 하위 보간 대상 영역으로 분할되고, 복수의 하위 보간 대상 영역 각각은 가장 인접한 외곽 영역의 픽셀 정보(휘도 정보, 색차 정보 등)를 기반으로 보간될 수 있다. 보간 정확도를 높이기 위해 복수의 하위 보간 대상 영역의 분할은 외곽 영역의 픽셀 특성을 고려하여 수행될 수 있다. 예를 들어, 외곽 영역의 픽셀 특성의 변화 정도를 고려하여 복수의 하위 보간 대상 영역의 분할이 수행될 수 있다. The image information located in the reference area can be utilized as the image information of the
도 9에서 개시된 보간 대상 프레임의 영상 정보를 기반으로 보간 대상 영역에 대한 보간을 수행하는 방법 및 도 10에서 참조 영역의 영상 정보를 기반으로 영상 보간을 수행하는 방법은 조합되어 사용될 수도 있다.A method of interpolating the interpolation object area based on the image information of the interpolation object frame shown in FIG. 9 and a method of performing the image interpolation based on the image information of the reference area in FIG. 10 may be used in combination.
예를 들어, 보간 대상 영역(1020)의 외곽 영역에 위치한 픽셀 정보, 참조 영역(1070)의 픽셀 정보를 모두 고려하여 보간 대상 영역에 대한 보간이 수행될 수 있다. 구체적으로 보간 대상 영역(1020) 중 중심 부분은 참조 영역(1070)의 픽셀 정보를 고려하여 보간되고, 보간 대상 영역(1020) 중 중심 부분을 제외한 외곽 부분은 보간 대상 영역(1020)의 외곽 영역에 위치한 픽셀 정보를 고려하여 보간될 수 있다.For example, interpolation can be performed on the interpolation object area in consideration of both the pixel information located in the outer area of the
또는 보간 없이 처리 대상 객체를 포함하는 영역에 대한 삭제가 수행될 수 있다. 보간 없이 처리 대상 객체를 포함하는 영역에 대한 대한 삭제가 수행되는 영역은 제거 대상 영역일 수 있다. 예를 들어, 전방향 영상 중 일정 영역에 계속적으로 사용자의 어깨 이미지가 촬상되는 경우, 어깨 이미지를 처리 대상 객체로 결정하고, 어깨 이미지를 포함하는 영역(또는 어깨 이미지를 포함하는 영역을 포함하는 제거 대상 영역)을 제거하여 후처리 전방향 영상이 생성될 수도 있다. 제거 대상 영역은 일정 범위의 화각에 해당하는 영역일 수도 있고, 제거 대상 영역은 전방향 영상 상에서 제거될 수 있다. Alternatively, deletion may be performed for an area including the object to be processed without interpolation. The area to be deleted for the area including the object to be processed without interpolation may be the removal object area. For example, when a shoulder image of a user is continuously captured in a certain area of an omnidirectional image, the shoulder image is determined as the object to be processed, and the area including the shoulder image (or the area including the shoulder image Processing area may be removed to generate a post-processing omnidirectional image. The removal target area may be an area corresponding to a range of view angles, and the removal target area may be removed on an omni-directional image.
도 11은 본 발명의 실시예에 따른 처리 대상 객체에 대한 영상 후처리 방법을 나타낸 개념도이다.11 is a conceptual diagram illustrating an image post-processing method for an object to be processed according to an embodiment of the present invention.
도 11에서는 처리 대상 객체에 대한 판단 방법이 개시된다.In Fig. 11, a determination method for an object to be processed is disclosed.
도 11을 참조하면, 프레임 별로 처리 대상 객체의 존재 여부를 판단하는 것은 영상 후처리 프로세싱에 대한 부담일 수 있다. 따라서, 특정 프레임에 대한 처리 대상 객체의 판단 결과를 기반으로 특정 프레임의 이후 프레임에 대해서는 특정 프레임의 판단 결과를 활용하여 처리 대상 객체에 대한 추가 판단이 수행될 수 있다.Referring to FIG. 11, the determination of the presence or absence of an object to be processed for each frame may be a burden on image post-processing. Therefore, based on the determination result of the object to be processed for the specific frame, further determination can be performed on the object to be processed using the determination result of the specific frame for the subsequent frame of the specific frame.
구체적으로 전술한 방법을 기반으로 제1 프레임(1100)에 처리 대상 객체가 존재하는 것으로 결정될 수 있다. 제1 프레임(1100)에 처리 대상 객체가 존재하는 경우, 제1 프레임 이후 촬상 프레임(1150)에도 처리 대상 객체가 지속적으로 또는 반복적으로 나타날 가능성이 높다. 따라서, 제1 프레임 이후 촬상 프레임(1150)에 대한 처리 대상 객체의 존재 여부의 판단은 제1 프레임(1100)에 존재하는 처리 대상 객체를 기반으로 수행될 수 있다.Specifically, it can be determined that the object to be processed exists in the first frame 1100 based on the above-described method. In the case where the object to be processed exists in the first frame 1100, there is a high possibility that the object to be processed continuously or repeatedly appears in the image frame 1150 after the first frame. Accordingly, the determination of the presence or absence of the object to be processed for the image frame 1150 after the first frame may be performed based on the object to be processed existing in the first frame 1100.
제1 프레임(1100)에 존재하는 처리 대상 객체의 특성 정보를 추출하고, 처리 대상 객체의 특성 정보와 유사한 특성 정보를 가지는 객체가 제1 프레임 이후 촬상 프레임(1150)에 존재하는지 여부가 판단될 수 있다. 즉, 제1 프레임(1100)의 처리 대상 객체 이미지가 하나의 기준으로 설정되고, 이후 제1 프레임 이후 촬상 프레임(1150)에 대해서는 제1 프레임(1100)의 처리 대상 객체 이미지와의 유사도를 기반으로 처리 대상 객체가 존재하는지 여부가 결정될 수 있다.It is possible to determine whether or not an object having characteristic information similar to the characteristic information of the object to be processed exists in the imaging frame 1150 after the first frame by extracting characteristic information of the object to be processed existing in the first frame 1100 have. That is, the object image to be processed of the first frame 1100 is set as a reference, and thereafter, based on the similarity of the first frame 1100 to the object image of the processing object 1100 with respect to the image frame 1150 after the first frame It can be determined whether or not the object to be processed exists.
즉, 제1 프레임 이후 촬상 프레임(1150)에 대해서는 개별적인 프레임에 대한 처리 대상 객체의 존재 여부 판단이 수행되지 않고, 제1 프레임(1100)의 처리 대상 객체의 존재 여부에 대한 추적을 통해 처리 대상 객체가 이후 프레임에 포함되어 있는지 여부가 결정될 수 있다. 처리 대상 객체의 존재 여부에 대한 추적은 객체의 이동 벡터를 기반으로 수행되거나, 설정된 판단 대상 영역 내에서 수행될 수 있다.That is, for the first frame and after the first frame 1150, it is not determined whether or not the object to be processed exists for the individual frame. Instead, the first frame 1100 is traced for existence of the object to be processed, Lt; / RTI > is included in a subsequent frame may be determined. The tracking of the presence or absence of the object to be processed may be performed based on the motion vector of the object, or may be performed in the set determination region.
도 12는 본 발명의 실시예에 따른 전방향 영상 처리 장치의 동작을 나타낸 개념도이다.12 is a conceptual diagram illustrating an operation of an omni-directional image processing apparatus according to an embodiment of the present invention.
도 12에서는 전방향 영상 처리 장치의 동작이 개시된다.12, the operation of the omnidirectional image processing apparatus is started.
도 12를 참조하면, 전술한 바와 같이 전방향 영상 처리 장치(1200)는 복수의 영상 촬상부(1250)를 포함할 수 있다.Referring to FIG. 12, the omnidirectional
복수의 영상 촬상부(1250) 각각의 렌즈부는 하드웨어를 기반으로 물리적인 구동이 가능하여 특정 방향의 화각(또는 촬상선의 각도)이 조절 가능하거나, 소프트웨어를 기반으로 특정 방향의 화각(또는 촬상선의 각도)이 조절 가능할 수 있다.The lens unit of each of the plurality of
본 발명의 실시예에 따르면, 전방향 영상 처리 장치(1200)는 처리 대상 객체에 대한 판단 결과 정보를 피드백받을 수 있다. 전방향 영상 처리 장치(1200)는 처리 대상 객체에 대한 판단 결과 정보를 기반으로 변화시킬 특정 방향의 화각(또는 촬상선의 각도)에 대한 정보(이하, 구동 제어 정보)를 결정하여 복수의 영상 촬상부(1250) 각각의 구동을 제어할 수 있다.According to the embodiment of the present invention, the omnidirectional
또는 처리 대상 객체에 대한 판단 결과 정보를 기반으로 변화시킬 특정 방향의 화각(또는 촬상선의 각도)에 대한 정보(이하, 구동 제어 정보)가 결정될 수 있고, 전방향 영상 처리 장치(1200)는 피드백된 구동 제어 정보를 기반으로 복수의 영상 촬상부(1250) 각각의 구동을 제어할 수 있다.(Hereinafter, drive control information) for the angle of view (or the angle of the imaging line) in a specific direction to be changed based on the determination result information on the object to be processed may be determined, and the omni- It is possible to control the driving of each of the plurality of
전방향 영상 내에서 처리 대상 객체의 위치가 결정되고, 처리 대상 객체의 위치를 기반으로 구동 제어 정보가 결정될 수 있다. 구동 제어 정보는 전방향 영상 내에서 처리 대상 객체를 제외하고 촬상하기 위한 화각에 대한 정보를 포함할 수 있다.The position of the object to be processed is determined in the omnidirectional image, and the drive control information can be determined based on the position of the object to be processed. The drive control information may include information on an angle of view for imaging except for the object to be processed in the omnidirectional image.
전방향 영상 내에서 처리 대상 객체를 제외하고 촬상하기 위한 제1 화각이 결정되고, 제1 화각에 대한 정보가 1차 구동 제어 정보로서 전방향 영상 처리 장치(1200)로 전송될 수 있다.A first angle of view for imaging the object to be processed is determined in the omnidirectional image and information about the first angle of view can be transmitted to the omnidirectional
1차 구동 제어 정보를 기반으로 전방향 영상 처리 장치(1200)의 영상 촬상부(1250)가 화각을 변경할 수 있다. 1차 구동 제어 정보를 기반으로 변경된 화각에 따라 촬상된 전방향 영상이 처리 대상 객체를 포함하는지 여부가 추가적으로 판단될 수 있다. 전방향 영상이 처리 대상 객체를 포함하는 경우, 추가적인 구동 제어를 위한 2차 구동 제어 정보가 생성되고, 전방향 영상 처리 장치(1200)로 전송될 수 있다.The
즉, 이러한 피드백 방식을 통한 화각 조정을 통해 전방향 영상 처리 장치(1200)에 의해 촬상되는 영상이 처리 대상 객체를 포함하지 않게 하거나 처리 대상 객체가 보이는 영역을 최대한 감소시킬 수 있다.That is, the image captured by the omnidirectional
전방향 영상 처리 장치(1200)에 대한 화각 조정을 수행함에 있어서 조정되는 화각의 범위를 제한하여 과도한 화각 조정으로 인해 영상이 줄어들지 않도록 할 수도 있다. 예를 들어, 제한 또는 조정되는 화각의 범위가 큰 경우, 전방향 영상의 일부 화각에 대한 촬상이 되지 않을 수 있다. 따라서, 조정 가능한 화각의 범위를 설정하고, 조정 가능한 화각의 범위를 벋어나서 조정되지 않도록 화각이 설정될 수도 있다.It is possible to restrict the range of the angle of view to be adjusted in performing the angle of view adjustment for the omnidirectional
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.The embodiments of the present invention described above can be implemented in the form of program instructions that can be executed through various computer components and recorded in a computer-readable recording medium. The computer-readable recording medium may include program commands, data files, data structures, and the like, alone or in combination. The program instructions recorded on the computer-readable recording medium may be those specifically designed and configured for the present invention or may be those known and used by those skilled in the computer software arts. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROM and DVD, magneto-optical media such as floptical disks, medium, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code, such as those generated by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware device may be modified into one or more software modules for performing the processing according to the present invention, and vice versa.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, Those skilled in the art will appreciate that various modifications and changes may be made thereto without departing from the scope of the present invention.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.Accordingly, the spirit of the present invention should not be construed as being limited to the above-described embodiments, and all ranges that are equivalent to or equivalent to the claims of the present invention as well as the claims .
Claims (1)
영상 처리 장치가 상기 영상에서 상기 처리 대상 객체를 결정하는 단계; 및
상기 영상 처리 장치가 상기 처리 대상 객체에 대한 영상 후처리를 수행하는 단계를 포함하되,
상기 처리 대상 객체는 촬상이 의도되지 않은 객체인 것을 특징으로 하는 방법.A method of removing an object to be processed from an image includes:
The image processing apparatus determining the object to be processed in the image; And
And performing image post-processing on the object to be processed by the image processing apparatus,
Wherein the object to be processed is an object for which imaging is not intended.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180040649A KR20190002281A (en) | 2018-04-06 | 2018-04-06 | Method for removing processing target object in image and apparatus for performing the method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180040649A KR20190002281A (en) | 2018-04-06 | 2018-04-06 | Method for removing processing target object in image and apparatus for performing the method |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020170082441A Division KR101856546B1 (en) | 2017-06-29 | 2017-06-29 | Method for removing processing target object in image and apparatus for performing the method |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20190002281A true KR20190002281A (en) | 2019-01-08 |
Family
ID=65021402
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180040649A KR20190002281A (en) | 2018-04-06 | 2018-04-06 | Method for removing processing target object in image and apparatus for performing the method |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20190002281A (en) |
-
2018
- 2018-04-06 KR KR1020180040649A patent/KR20190002281A/en active Application Filing
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101856546B1 (en) | Method for removing processing target object in image and apparatus for performing the method | |
US10848662B2 (en) | Image processing device and associated methodology for determining a main subject in an image | |
US10666856B1 (en) | Gaze-directed photography via augmented reality feedback | |
US7853050B2 (en) | System and method for operation without touch by operators | |
US9736356B2 (en) | Photographing apparatus, and method for photographing moving object with the same | |
JP2007074033A (en) | Imaging apparatus and control method thereof, computer program, and storage medium | |
US10419670B2 (en) | Omnidirectional image capturing method and apparatus performing the method | |
JP2011166305A (en) | Image processing apparatus and imaging apparatus | |
CN106210699B (en) | Information processing unit, the control method of information processing unit and image processing system | |
KR101856547B1 (en) | Method for processing of signal of user and apparatus for performing the method | |
KR101810671B1 (en) | Method for generating direction information of omnidirectional image and device for performing the method | |
KR101843336B1 (en) | Method for determining the best condition for filming and apparatus for performing the method | |
KR102178990B1 (en) | Method for generating direction information of omnidirectional image and device for performing the method | |
KR20190002281A (en) | Method for removing processing target object in image and apparatus for performing the method | |
US10783853B2 (en) | Image provision device, method and program that adjusts eye settings based on user orientation | |
KR102213308B1 (en) | Method for shooting omnidirectional image and device for performing the method | |
KR20190002279A (en) | Method for determining the best condition for filming and apparatus for performing the method | |
KR20190002282A (en) | Method for processing of signal of user and apparatus for performing the method | |
JP7134260B2 (en) | Information processing equipment | |
US20240054749A1 (en) | Information processing device and information processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A107 | Divisional application of patent |