WO2020138784A1 - 360도 영상의 수평 수직 보정을 위한 장치 및 방법 - Google Patents

360도 영상의 수평 수직 보정을 위한 장치 및 방법 Download PDF

Info

Publication number
WO2020138784A1
WO2020138784A1 PCT/KR2019/017657 KR2019017657W WO2020138784A1 WO 2020138784 A1 WO2020138784 A1 WO 2020138784A1 KR 2019017657 W KR2019017657 W KR 2019017657W WO 2020138784 A1 WO2020138784 A1 WO 2020138784A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
degree
horizontal
degree image
sampled
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2019/017657
Other languages
English (en)
French (fr)
Inventor
이승용
전준호
정진웅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
POSTECH Research and Business Development Foundation
Original Assignee
POSTECH Research and Business Development Foundation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by POSTECH Research and Business Development Foundation filed Critical POSTECH Research and Business Development Foundation
Publication of WO2020138784A1 publication Critical patent/WO2020138784A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity

Definitions

  • the present invention relates to an apparatus and method for processing a 360-degree image, and more particularly, to an apparatus and method for horizontal and vertical correction of a distorted 360-degree image.
  • a 360-degree video is currently playing a very important role in supplying and receiving this content.
  • the 360-degree video is a video that captures all views at the same time as well as up, down, left, and right, and the attraction of this 360 video is realism.
  • the present invention has been devised to solve the above-described conventional problems, and its purpose is to provide an apparatus and method for minimizing the inconvenience of a 360-degree video viewer by accurately and easily correcting and correcting the horizontal and vertical of a 360-degree video. Is to do.
  • an apparatus for processing horizontal and vertical correction of a 360-degree image includes: an image extraction unit for extracting a down-sampling image of a preset size from a 360-degree image input at a preset angular interval; A rotation degree determination unit configured to determine an inclination degree of an image based on a preset straight line by analyzing each down-sampled image extracted by the image extraction unit according to a preset algorithm; And a 360-degree image processing unit that performs horizontal and vertical correction of the 360-degree image using the inclination degree of each down-sampled image determined by the rotation degree determination unit.
  • a method of horizontally and vertically correcting a 360-degree image includes: extracting a down-sampling image having a predetermined size from a 360-degree image at preset angular intervals; Determining an inclination degree of an image based on a predetermined straight line through analysis of each down-sampling image extracted in the step by a preset algorithm; And performing horizontal and vertical correction of the 360-degree image using the inclination degree of each down-sampled image determined in the step.
  • FIG. 1 is a functional block diagram of an image processing apparatus according to an embodiment of the present invention
  • FIG. 2 is a diagram illustrating a 360-degree image processed by the image processing apparatus of FIG. 1 in a spherical form
  • FIG. 3 is a view showing the position of the down-sampled 2D image in a state where the FIG. 2 is laid out on a plane
  • FIG. 4 is a view for explaining a mathematical model between a 2D image downsampled according to FIGS. 2 and 3 and a 360 degree image
  • FIG. 7 is a view showing a state in which four down-sampling images are extracted from FIG. 6,
  • FIG. 8 is a view showing a state in which the 360-degree image of FIG. 6 is corrected through tilt correction
  • FIG. 9 is a diagram showing a 360-degree image for machine learning and an area to extract a down-sampling image from the image
  • FIG. 10 is an example of down-sampling images extracted from FIG. 9 for machine learning
  • FIG. 11 is a control flow diagram of an image processing apparatus according to an embodiment of the present invention.
  • each embodiment according to the present invention is only one example to help understanding of the present invention, and the present invention is not limited to these embodiments.
  • the present invention may be composed of a combination of at least one or more of individual components, individual functions, or individual steps included in each embodiment.
  • the horizontal and vertical correction device for a 360-degree image (hereinafter referred to as an “image processing apparatus”) performs a function of analyzing and correcting a 360-degree image, in particular, a 360-degree image is a problem in photography If the horizontal and vertical images are taken incorrectly due to the back, it performs the function of correcting them properly.
  • FIG. 1 An example of a functional block of the image processing apparatus 100 is as illustrated in FIG. 1.
  • the image processing apparatus 100 includes an image input unit 110, an image extraction unit 120, a rotation degree determination unit 130, a 360 degree image processing unit 140, and a rotation degree learning unit 150 It may be configured to include.
  • the image input unit 110 performs a function of receiving a 360-degree image to be corrected as described above.
  • a communication module is provided to receive a 360-degree image from the outside, or a previously provided storage unit ( It may perform a role of extracting and receiving a 360-degree image from (not shown).
  • the 360-degree image may correspond to each frame of a 360 video for VR experience.
  • FIG. 2 An example in which the 360-degree image input to the image input unit 110 is shaped as a spherical shape is as illustrated in FIG. 2.
  • the blue circle represents the actual plane
  • the blue vertical axis represents the vertical axis of the actual shooting location
  • the red circle represents the horizontal plane of the captured image
  • the red straight line represents the vertical axis of the captured image.
  • the image processing apparatus 100 performs a function of finding such a blue circle and a blue vertical axis from a 360-degree image and adjusting or correcting the corresponding 360 image to match the corresponding blue plane and vertical axis.
  • the image extraction unit 120 performs a function of extracting a'down-sampling image' having a predetermined size from a 360-degree image input to the image input unit 110 at a predetermined angle interval.
  • the down-sampling image corresponds to a kind of 2D image, that is, a flat image, from which a part of a 360-degree image is extracted.
  • the image extraction unit 120 selects a reference vector at preset angular intervals along a virtual plane (for example, a ground plane) that includes a central point of a 360-degree image, and the preset angle is centered on each reference vector.
  • the downsampling image can be extracted by projecting the image corresponding to the top, bottom, left, and right fields of view (FOVs).
  • FOVs fields of view
  • FIG. 3 is a view showing a down-sampling image extracted by angle in a state in which a 360-degree image is spread like a world map.
  • the horizon of the real world is curved like a blue curve.
  • the image extraction unit 120 downsamples the 2D plane images while following the center line of the 360-degree image, that is, the red straight line. In this downsampling image, the horizon is either turned up or down, as seen in the four small squares.
  • the rotation degree determination unit 130 performs a function of determining the degree of inclination of the image based on a preset straight line through analysis of each down-sampled image extracted by the image extraction unit 120 according to a preset algorithm. do.
  • the rotation degree determination unit 130 may determine the rotation degree of the image, that is, the degree of inclination, by using the degree to which the horizontal lines of the four down-sampled images in FIG. 3 are rotated.
  • FIG. 4 compares the specific small square downsampled in FIG. 3 with the real world.
  • alpha is the longitude of the downsampled model and beta ⁇ is the inclined angle of the 2D image.
  • alpha A reference longitude called alpha was set and expressed using a displacement called delta alpha. If this is mathematically modeled, it is modeled as in the formula of FIG. 5.
  • the rotation angle (ie, beta) of the 360-degree image can be determined by simply finding the rotation angle of the downsampled 2D plane images.
  • 6 and 7 are examples using actual 360-degree images.
  • FIG. 6 is a view showing a state in which a 360-degree image is unfolded as shown in FIG. 3 and a specific state of a region from which a down-sampling image is to be extracted.
  • FIG. 7 is a diagram illustrating a state in which the down-sampling image region of FIG. 6 is extracted to determine a degree of inclination with the ground plane.
  • a kind of machine learning system may be used when the degree of rotation determination unit 130 determines the degree of inclination for each down-sampling image (for example, the degree of inclination with respect to a straight line corresponding to a horizontal plane).
  • the rotation degree determination unit 130 may determine the inclination degree for each down-sampling image extracted by the image extraction unit 120 using the machine learning system built by machine learning.
  • the machine learning system is constructed to determine the degree of inclination for each down-sampling image through machine learning of countless images.
  • the machine learning system may be using a deep learning model called ResNet.
  • ResNet34 model may be used.
  • the existing ResNet model it was a model for solving the problem of what object is contained in the image called Image Classification.
  • the inclined angle of the image can be estimated as a number by modifying the last stage of the existing model. It can be made.
  • the correct dataset is required, but the dataset can also be extracted using a 360-degree image that is not skewed (that is, without distortion).
  • FIG. 9 shows a 360-degree image in which a horizontal line is properly aligned.
  • a down-sampled image is extracted from a 360-degree image in which the aforementioned distortion occurs (ie, the horizontal line does not fit properly)
  • the image is located in the center line of the 360-degree image.
  • 2D images were down-sampled, there is rotational distortion in the actual 360-degree image, so 2D images in a random range distorted clockwise and counterclockwise from a random range slightly above and slightly below are extracted to generate multiple (one For example, 2D images (down sampling images) of 1 million or more may be extracted.
  • the necessary machine learning system in this embodiment can be constructed.
  • the rotation degree determination unit 130 uses such a machine learning system, and each downsampling image extracted by the image extraction unit 120 is inclined with respect to a preset straight line (eg, a horizontal line) (eg, tilted as an example) Angle).
  • a preset straight line eg, a horizontal line
  • Angle e.g., tilted as an example
  • the 360-degree image processing unit 140 performs a function of performing horizontal and vertical correction of the 360-degree image using the inclination degree of each down-sampled image determined by the rotation degree determination unit 130.
  • the 360-degree image processing unit 140 calculates the degree of inclination of the 360-degree image based on the maximum value of the inclined angle of each down-sampled image determined by the rotation degree determination unit 130, and each down-sampled image After determining the tilting direction of the 360-degree image based on the inclined angle change pattern of, the horizontal and vertical correction of the 360-degree image may be performed using the tilting degree of the 360-degree image and the tilting direction of the 360-degree image.
  • the technology itself for rotating or changing a 360-degree image by a predetermined angle corresponds to a known technology.
  • a machine learning system that determines an inclined angle (for example, an inclination based on a horizontal line or a vertical line) of the down-sampling image It is assumed to be included or configured to receive results in conjunction with this.
  • the image processing apparatus 100 extracts a down-sampling image for each angle at a predetermined interval from the 360 image (step S3).
  • the image processing apparatus 100 may extract a total of six down-sampling images at 60-degree intervals based on a horizontal plane.
  • the horizontal and vertical sizes of each extracted down-sampled image may be determined in advance.
  • the image processing apparatus 100 analyzes each down-sampling image using the above-described machine learning system to determine an inclined angle (step S5).
  • the image processing apparatus 100 calculates the inclination angle of the original 360-degree image based on the maximum value of the inclined angle (step S7), and further downsampling.
  • the tilting direction of the 360-degree image is selected based on the pattern of changing the inclined angle of the images (step S9).
  • the inclined angle of the down-sampled image is expressed as an angle of -90 degrees to 90 degrees
  • the direction of the tilt of the 360-degree image is confirmed by checking the shape of the sign (positive or negative) of the inclined angle of the down-sampled image. Can judge. This is apparent with reference to FIGS. 2 to 8 described above.
  • the image processing apparatus 100 may correct and convert the original image, that is, the 360 degree image, using the determined tilt angle and the tilt direction of the 360 degree image (step S11).
  • a 360-degree video is generated by combining them, so that VR experiencers using the 360-degree video can experience a virtual reality without refusal.
  • the process of performing each of the above-described embodiments may be performed by a program or an application stored in a predetermined recording medium (for example, a computer readable).
  • the recording medium includes both electronic recording media such as random access memory (RAM), magnetic recording media such as a hard disk, and optical recording media such as a compact disk (CD).
  • the program stored in the recording medium may be executed on hardware such as a computer or a smartphone to perform each of the above-described embodiments.
  • the functional blocks of the image processing apparatus 100 according to the present invention described above may be implemented by such a program or application.
  • the distortion (tilt occurrence) of a 360-degree image can be corrected or corrected easily and accurately, for example, inconvenience of customers using a virtual reality (VR) service using a 360-degree image. Can be minimized.
  • VR virtual reality
  • the existing methods performed horizontal and vertical correction of the image by finding edge straight lines in the 360-degree image itself and finding the vanishing point through their distribution.
  • the present invention by applying the distribution of how the downsampled 2D images are rotated to the mathematical model without estimation of the vanishing point, it is possible to more accurately correct the 360 degree image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

360도 영상의 수평 수직 보정을 위한 장치 및 방법을 개시한다. 360도 영상의 수평 수직 보정을 하는 방법은, 360도 영상으로부터 기 설정된 각도 간격마다 기 설정된 크기의 다운 샘플링 이미지를 추출하는 단계와; 상기 단계에서 추출한 각각의 다운 샘플링 이미지를 기 설정된 알고리즘에 따른 분석을 통해 기 설정된 직선을 기준으로 한 이미지의 기울어진 정도를 판단하는 단계와; 상기 단계에서 판단된 각각의 다운 샘플링 이미지의 기울어진 정도를 이용하여 상기 360도 영상의 수평 수직 보정을 수행하는 단계로 이루어진다.

Description

360도 영상의 수평 수직 보정을 위한 장치 및 방법
본 발명은 360도 영상을 처리하기 위한 장치 및 방법에 관한 것으로, 보다 상세하게는 왜곡된 360도 영상의 수평 수직 보정을 위한 장치 및 방법에 관한 것이다.
최근 가상현실(Virtual Reality, VR)에 기반한 각종 장치 및 서비스가 제공되고 있다.
예를 들어, VR을 즐길 수 있는 각종 헤드 마운트 디스플레이가 출시되고 있는데, 이런 하드웨어보다 VR의 현실화에 더 중요한 것은 이 헤드셋으로 즐길 콘텐츠이다.
이 콘텐츠 수급에 현재 굉장히 중요한 역할을 하는 것이 바로 360도 동영상이다.
360도 동영상은 상하 좌우는 물론 앞뒤 방향까지, 모든 시야를 동시에 담은 영상으로서, 이러한 360 동영상의 매력은 현실감이다.
즉, 스마트폰, VR HMD(Virtual Reality Head Mount Display) 기기로 360도 동영상을 보면 시점을 자유자재로 변경할 수 있고 영상 확대 및 축소도 가능하다. 운동 경기나 콘서트 현장, 여행지의 360도 동영상을 보면 흡사 사용자가 그 곳에 있는 듯한 현실감을 느낄 수 있는 것이다.
최근에는 이러한 360도를 촬영하는 카메라들이 개발됨에 따라 전문가 수준의 지식이 없는 일반 소비자들도 쉽게 360도 영상을 얻을 수 있게 되었다.
그러나 360도 카메라의 경우 보통 손에 들고 찍게 되는데, 카메라의 세로축이 지면과 수직하지 않게 되어 영상에 왜곡이 생기는 경우가 많다.
이렇게 왜곡된 영상을 상술한 HMD와 같은 VR 장비들을 이용하여 감상하게 되면 넘어질 거 같은 느낌을 주어 사용자를 불편하게 하거나 어지럽게 만든다.
따라서 360도 영상의 수평 정합 보정은 사용자 경험을 증대시키기 위해 필수적이어서 이를 해결하는 방안들이 여럿 제시된 바 있다.
그러나 기존 방법들은 360도 영상 자체에서 직선들을 추출하여 수평 보정을 하게 되는데, 이 방법들의 경우에는 자연경관이나 복잡한 물체가 많은 장면의 경우 수평 보정이 이루어 지지 않는 문제점이 있다.
즉, 종래의 방식들에 의하면 360도 영상의 수평 수직을 제대로 보정하기 위한 과정이 번거롭거나 그 교정이 정확히 이루어지지 않는 문제점이 있다.
(선행특허문헌 1) 한국공개특허 제10-2018-0088005호
본 발명은 상기한 종래의 문제점을 해결하기 위해 안출된 것으로서, 그 목적은 360도 영상의 수평 수직을 정확하고 용이하게 보정 및 교정하여 360도 영상 시청자의 불편을 최소화하도록 하기 위한 장치 및 방법을 제공하는 것이다.
상기한 목적을 달성하기 위해 본 발명에 따른 360도 영상의 수평 수직 보정을 처리하는 장치는, 입력된 360도 영상으로부터 기 설정된 각도 간격마다 기 설정된 크기의 다운 샘플링 이미지를 추출하는 이미지 추출부와; 상기 이미지 추출부에서 추출한 각각의 다운 샘플링 이미지를 기 설정된 알고리즘에 따른 분석을 통해 기 설정된 직선을 기준으로 한 이미지의 기울어진 정도를 판단하는 회전 정도 판단부와; 상기 회전 정도 판단부에서 판단된 각각의 다운 샘플링 이미지의 기울어진 정도를 이용하여 상기 360도 영상의 수평 수직 보정을 수행하는 360도 영상 처리부를 포함하여 구성된다.
또, 상기한 목적을 달성하기 위해 본 발명에 따른 360도 영상의 수평 수직 보정을 하는 방법은, 360도 영상으로부터 기 설정된 각도 간격마다 기 설정된 크기의 다운 샘플링 이미지를 추출하는 단계와; 상기 단계에서 추출한 각각의 다운 샘플링 이미지를 기 설정된 알고리즘에 따른 분석을 통해 기 설정된 직선을 기준으로 한 이미지의 기울어진 정도를 판단하는 단계와; 상기 단계에서 판단된 각각의 다운 샘플링 이미지의 기울어진 정도를 이용하여 상기 360도 영상의 수평 수직 보정을 수행하는 단계를 포함하여 이루어진다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 장치의 기능 블록도이고,
도 2는 도 1의 영상 처리 장치가 처리하는 360도 영상을 구 형태로 도식화하여 나타낸 도면이고,
도 3은 도 2를 평면상에 펼쳐 놓은 상태에서 다운샘플링된 2D 이미지들의 위치를 나타내 도면이고,
도 4는 도 2 및 도 3에 따라 다운샘플링된 2D 이미지와 360도 영상 간의 수학적 모델을 설명하기 위한 도면이고,
도 5는 도 4를 참조하여 도출한 수식이고,
도 6은 실제 왜곡이 발생한(기울어진 상태로 촬영된) 360도 영상의 일 예이고,
도 7은 도 6에서 4 개의 다운 샘플링 이미지를 추출한 상태를 나타낸 도면이고,
도 8은 도 6의 360도 영상을 기울기 보정을 통해 바로잡은 상태를 나타낸 도면이고,
도 9 기계 학습을 위한 360도 영상과 그 영상에서 다운 샘플링 이미지를 추출할 영역을 나타낸 도면이고,
도 10은 기계 학습을 위해 도 9로부터 추출한 다운 샘플링 이미지들의 일 예이고,
도 11은 본 발명의 일 실시예에 따른 영상 처리 장치의 제어흐름도이다.
이하에서는 첨부도면을 참조하여 본 발명에 대해 상세히 설명한다.
이하 본 발명에 따른 각 실시예는 본 발명의 이해를 돕기 위한 하나의 예에 불과하고, 본 발명이 이러한 실시예에 한정되는 것은 아니다. 특히 본 발명은 각 실시예에 포함되는 개별 구성, 개별 기능, 또는 개별 단계 중 적어도 어느 하나 이상의 조합으로 구성될 수 있다.
특히, 편의상 청구 범위의 일부 청구항에는 '(a)'와 같은 알파벳을 포함시켰으나, 이러한 알파벳이 각 단계의 순서를 규정하는 것은 아니다.
본 발명의 일 실시예에 따른 360도 영상의 수평 수직 보정 장치(이하, "영상 처리 장치"라고 함)는 360도 영상을 분석하여 교정하는 기능을 수행하는 것으로서, 특히 360도 영상이 촬영상의 문제 등으로 인해 수평과 수직이 제대로 맞지 않게 촬영된 경우 이를 제대로 교정 처리하는 기능을 수행한다.
이러한 영상 처리 장치(100)의 기능 블록의 일 예는 도 1에 도시된 바와 같다.
동 도면에 도시된 바와 같이 영상 처리 장치(100)는 영상 입력부(110), 이미지 추출부(120), 회전 정도 판단부(130), 360도 영상 처리부(140), 회전 정도 학습부(150)를 포함하여 구성될 수 있다.
여기서 영상 입력부(110)는 상술한 바와 같이 교정 처리될 360도 영상을 입력받는 기능을 수행하는 것으로서, 예를 들어 통신 모듈을 구비하여 외부로부터 360도 영상을 수신하거나, 또는 기 구비된 저장부(미 도시함)로부터 360도 영상을 추출하여 입력받는 역할을 수행할 수 있다.
본 실시예에서 360도 영상은 VR 체험을 위한 360 동영상의 각 프레임에 해당할 수 있다.
이처럼 영상 입력부(110)에 입력되는 360도 영상이 구형으로 형상화되는 일 예는 도 2에 도시된 바와 같다.
도 2에서 파란색 원이 실제 지평면을, 파란색 세로축이 실제 촬영된 장소의 수직축을 의미하고, 빨간색 원이 촬영된 영상의 수평면을, 빨간색 직선이 촬영된 영상의 수직축을 의미한다.
본 실시예에 따른 영상 처리 장치(100)는 이러한 파란색 원과 파란색 세로축을 360도 이미지로부터 찾아내어 해당 360 영상을 해당 파란색 지평면 및 세로축에 일치되도록 조정 또는 교정하는 기능을 수행하는 것이다.
이미지 추출부(120)는 영상 입력부(110)에 입력된 360도 영상으로부터 기 설정된 각도 간격마다 기 설정된 크기의 '다운 샘플링 이미지'를 추출하는 기능을 수행한다.
여기서 다운 샘플링 이미지는 360도 영상의 일부를 추출한 일종의 2D 이미지 즉, 평면 이미지에 해당하는 것이다.
예를 들어 이미지 추출부(120)는 360도 영상의 중심점을 포함하는 가상 평면(예를 들어 지평면)을 따라 기 설정된 각도 간격으로 기준 벡터를 선정하고, 각각의 기준 벡터를 중심으로 기 설정된 각도의 상하 좌우 FOV(Field of View)에 해당하는 영상을 프로젝션 시켜 다운 샘플링 이미지를 추출할 수 있다.
즉, 360도 영상의 경우에는 촬영한 순간의 모든 방향이 담겨 있기 때문에 중심을 지정하고 주위 FoV를 얼마나 샘플링할지 정하면 2D 평면 영상으로 다운샘플링이 가능하고(다운 샘플링 이미지 추출), 이는 지구본 표면에 종이를 두고 지구 중심에서 지구 표면을 종이로 투영시키는 것과 같다.
도 3은 360도 영상을 세계지도와 같이 펼쳐놓은 상태에서 각도별 추출된 다운 샘플링 이미지를 나타낸 도면이다.
도 3에서 실제 세계의 지평선은 파란색 곡선과 같이 휘어져 있는 것을 볼 수 있는데, 이미지 추출부(120)는 360도 영상의 중심선 즉 빨간색 직선을 따라가면서 2D 평면 영상들로 다운샘플링을 하게 되고, 도 3에서는 이러한 다운 샘플링 이미지 4개의 작은 사각형에서 볼 수 있는 것처럼 지평선이 돌아가 있거나, 위아래에 있게 된다.
한편, 회전 정도 판단부(130)는 이미지 추출부(120)에서 추출한 각각의 다운 샘플링 이미지를 기 설정된 알고리즘에 따른 분석을 통해 기 설정된 직선을 기준으로 한 이미지의 기울어진 정도를 판단하는 기능을 수행한다.
즉, 회전 정도 판단부(130)는 앞서 설명한 바와 같이 도 3의 4 개의 다운 샘플링 이미지의 지평선이 돌아가 있는 정도를 이용하여 이미지의 회전 정도 즉, 기울어진 정도를 판단할 수 있는 것이다.
이러한 결과를 수학적 모델로 표현하면 도 4와 같음을 알 수 있다.
도 4는 도 3에서 다운샘플링된 특정 작은 사각형을 실제 세계와 비교한 것이다.
여기서 alpha는 해당 다운샘플링된 모델이 가지는 경도(longitude)이고 beta^는 해당 2D 영상의 기울어진 각도이다.
alpha라는 기준 동경을 설정하고 Delta alpha라는 변위를 사용하여 표현하였는데, 이를 수학적으로 모델링하면 도 5의 수식과 같이 모델링이 된다.
이러한 수식을 살펴보면, 결국 다운샘플링된 2D 평면 영상들의 회전각을 알아내기만 하면 360도 영상의 회전각(즉, beta)을 판단할 수 있음을 알 수 있다.
도 6과 도 7은 실제 360도 영상을 이용한 예이다.
도 6은 360도 영상을 도 3과 같이 펼쳐놓은 상태와 그로부터 다운 샘플링 이미지를 추출할 영역을 특정한 상태를 나타낸 도면이다.
도 6의 360도 영상을 보면 촬영된 영상의 수평선이 실제 수평선과 일치하지 않고 왜곡되어 있음을 알 수 있다.
이러한 것은 예를 들어 360도 촬영 카메라가 지평면과 정확하게 수평을 이루지 않은 상태에서 피사체를 촬영하는 경우 발생할 수 있다.
도 7은 도 6의 다운 샘플링 이미지 영역을 추출하여 지평면과의 기울어진 정도를 판별하는 상태를 나타낸 도면이다.
회전 정도 판단부(130)가 각각의 다운 샘플링 이미지에 대한 기울어진 정도(예를 들어 수평면에 대응되는 직선에 대해 기울어진 정도)를 판단함에 있어서 일종의 기계 학습 시스템을 이용할 수도 있다.
즉, 회전 정도 판단부(130)는 기계 학습에 의해 구축된 기계 학습 시스템을 이용하여 이미지 추출부(120)에서 추출한 각각의 다운 샘플링 이미지에 대한 기울어진 정도를 판단할 수 있는 것이다.
여기서 기계 학습 시스템은 무수히 많은 이미지에 대한 기계 학습을 통해 각 다운 샘플링 이미지에 대한 기울어진 정도를 판별할 수 있도록 구축된 것으로서, 예를 들어 기계 학습 시스템은 ResNet 이라는 딥러닝 모델을 이용하는 것일 수 있는데, 특히 ResNet34 모델을 이용한 것일 수 있다.
즉, 기존 ResNet 모델의 경우에는 Image Classification이라는 영상에 어떤 피사체가 담겨져 있는가 라는 문제를 풀기 위한 모델이었는데, 본 실시예에서는 이러한 기존 모델의 마지막 단을 수정하여 영상의 기울어진 각도를 숫자로 추정할 수 있도록 만든 것일 수 있다.
이러한 모델이 기계 학습 하도록 하기 위해서는 올바른 데이터셋이 필요한데, 기울어지지 않은(즉, 왜곡이 발생하지 않은) 360도 영상을 이용하여 데이터셋이 추출될 수도 있다.
예를 들어 도 9에는 수평선을 제대로 맞춘 360도 영상이 도시되었는데, 앞서 설명한 왜곡이 발생한(즉, 수평선이 제대로 맞지 않은) 360도 영상으로부터 다운 샘플링 이미지를 추출하는 경우에는 360도 영상의 중심선에 있는 2D 영상만 다운 샘플링 하였으나, 실제 360도 영상에는 회전 왜곡이 존재하므로 약간 위, 약간 아래의 랜덤 범위에서 시계방향, 반시계방향으로 틀어진 랜덤 범위의 2D 영상들을 추출하여 도 10과 같이 다수의(일 예로 100만장 이상)의 2D 영상들(다운 샘플링 이미지)이 추출되도록 하면 된다.
도 10과 같이 생성된 각 2D 영상들(다운 샘플링 이미지)을 이용하여 회전각 추정 모델에 대해 기계 학습을 시키면 되면 본 실시예에서 필요한 기계 학습 시스템이 구축될 수 있는 것이다.
따라서 회전 정도 판단부(130)는 이러한 기계 학습 시스템을 이용하여, 앞서 이미지 추출부(120)에서 추출한 각각의 다운 샘플링 이미지가 기 설정된 직선(일 예로 수평선)에 대해 기울어진 정도(일 예로 기울어진 각도)를 판단할 수 있는 것이다.
물론, 이러한 딥러닝에 기반한 처리 과정은 일 예에 불과하고, 딥러닝을 사용하지 않고도 각 다운 샘플링 이미지 상에서의 회전각(일 예로 수평선에 대해서 기울어진 각도)만 알 수 있는 방식이라면, 모두 본 발명에 포함될 수 있다.
한편, 360도 영상 처리부(140)는 회전 정도 판단부(130)에서 판단된 각각의 다운 샘플링 이미지의 기울어진 정도를 이용하여 360도 영상의 수평 수직 보정을 수행하는 기능을 수행한다.
예를 들어 360도 영상 처리부(140)는 회전 정도 판단부(130)에서 판단된 각각의 다운 샘플링 이미지의 기울어진 각도 중 최댓값을 기초로 360도 영상의 기울임 정도를 산출하고, 각각의 다운 샘플링 이미지의 기울어진 각도 변화 패턴을 기초로 360도 영상의 기울임 방향을 판단한 후, 그 360도 영상의 기울임 정도와 360도 영상의 기울임 방향을 이용하여 360도 영상의 수평 수직 보정을 수행할 수 있다.
360도 영상을 소정의 각도만큼 회전 또는 변경시키는 기술 그 자체는 공지된 기술에 해당하므로 보다
이하에서는 도 11을 참조하여 본 발명의 일 실시예에 따른 영상 처리 장치(100)의 전체적인 제어 흐름을 설명한다.
본 실시예를 설명함에 있어서, 영상 처리 장치(100)에는 다운 샘플링 이미지가 입력되는 경우 해당 다운 샘플링 이미지의 기울어진 각도(예를 들어 수평선 또는 수직선을 기준으로 기울어진 정도)를 판단하는 기계 학습 시스템이 포함되거나 이와 연동하여 결과를 수신하도록 구성되어 있다고 가정한다.
360도 영상이 입력되면(단계 S1) 영상 처리 장치(100)는 그 360 영상으로부터 기 설정된 간격의 각도별 다운 샘플링 이미지를 추출한다(단계 S3). 예를 들어 영상 처리 장치(100)는 수평면을 기준으로 60도 간격으로 총 6개의 다운 샘플링 이미지를 추출할 수 있다.
이때 추출되는 각 다운 샘플링 이미지의 가로 세로 크기는 미리 정해져 있을 수 있다.
이어서 영상 처리 장치(100)는 상술한 기계 학습 시스템을 이용하여 각각의 다운 샘플링 이미지를 분석하여 기울어진 각도를 판단한다(단계 S5).
이렇게 각각의 다운 샘플링 이미지에 대한 기울어진 각도가 판단이 되면, 영상 처리 장치(100)는 그 기울어진 각도의 최대치를 기초로 원 360도 영상의 기울임 각도를 산정하고(단계 S7), 또한 다운 샘플링 이미지들의 기울어진 각도의 변화 패턴을 기초로 360도 영상의 기울임 방향을 선정한다(단계 S9).
예를 들어 다운 샘플링 이미지의 기울어진 각도를 -90도 ~ 90도 의 각도로 나타내는 경우, 그 다운 샘플링 이미지의 기울어진 각도의 부호(양수, 음수)가 변하는 형태를 확인하여 360도 영상의 기울임 방향을 판단할 수 있다. 이는 앞서 설명한 도 2 내지 도 8을 참조하면 자명하다.
이어서 영상 처리 장치(100)는 판단된 360도 영상의 기울임 각도와 기울임 방향을 이용하여 원 영상 즉, 360도 영상을 교정 및 변환시킬 수 있다(단계 S11).
이처럼 360도 동영상의 각 프레임인 360도 영상이 교정 및 변환된 후에, 이를 조합하여 360도 동영상을 생성하게 되면, 360도 동영상을 이용한 VR 체험자들에게 거부감 없는 가상 현실 체험을 할 수 있도록 할 수 있다.
한편, 상술한 각 실시예를 수행하는 과정은 소정의 기록 매체(예를 들어 컴퓨터로 판독 가능한)에 저장된 프로그램 또는 애플리케이션에 의해 이루어질 수 있음은 물론이다. 여기서 기록 매체는 RAM(Random Access Memory)과 같은 전자적 기록 매체, 하드 디스크와 같은 자기적 기록 매체, CD(Compact Disk)와 같은 광학적 기록 매체 등을 모두 포함한다.
이때, 기록 매체에 저장된 프로그램은 컴퓨터나 스마트폰 등과 같은 하드웨어 상에서 실행되어 상술한 각 실시예를 수행할 수 있다. 특히, 상술한 본 발명에 따른 영상 처리 장치(100)의 기능 블록 중 적어도 어느 하나는 이러한 프로그램 또는 애플리케이션에 의해 구현될 수 있다.
이상 설명한 바와 같이 본 발명에 따르면, 360도 영상의 왜곡(기울어짐 발생)을 정확하게 용이하게 교정 또는 바로잡을 수 있어서, 예를 들어 360 영상을 이용하여 가상현실(VR) 서비스를 이용하는 고객들의 불편을 최소화시킬 수 있다.
특히, 기존에 존재하는 방법들은 360도 영상 그 자체에서 edge 직선들을 찾아내고 이들의 분포를 통해 소실점을 찾아내는 방법으로 영상의 수평 수직 보정을 진행하였으나. 본 발명에 따르면 이러한 소실점의 추정 없이 다운샘플링된 2D 영상들이 어떻게 회전되어 있는지에 대한 분포를 수학적 모델에 적용함으로써, 360도 영상을 보다 정확하게 교정할 수 있는 효과가 있다.

Claims (10)

  1. 360도 영상의 수평 수직 보정을 하는 방법에 있어서,
    (a) 360도 영상으로부터 기 설정된 각도 간격마다 기 설정된 크기의 다운 샘플링 이미지를 추출하는 단계와;
    (b) 상기 (a) 단계에서 추출한 각각의 다운 샘플링 이미지를 기 설정된 알고리즘에 따른 분석을 통해 기 설정된 직선을 기준으로 한 이미지의 기울어진 정도를 판단하는 단계와;
    (c) 상기 (b) 단계에서 판단된 각각의 다운 샘플링 이미지의 기울어진 정도를 이용하여 상기 360도 영상의 수평 수직 보정을 수행하는 단계를 포함하는 것을 특징으로 하는 360도 영상의 수평 수직 보정 방법.
  2. 제1항에 있어서,
    상기 (b) 단계에서는 기계 학습에 의해 구축된 기계 학습 시스템을 이용하여 상기 (a) 단계에서 추출한 각각의 다운 샘플링 이미지에 대한 기울어진 정도를 판단하는 것을 특징으로 하는 360도 영상의 수평 수직 보정 방법.
  3. 제1항에 있어서,
    상기 (a) 단계에서는 상기 360도 영상의 중심점을 포함하는 가상 평면을 따라 기 설정된 각도 간격으로 기준 벡터를 선정하고, 각각의 기준 벡터를 중심으로 기 설정된 각도의 상하 좌우 FOV에 해당하는 영상을 프로젝션 시켜 다운 샘플링 이미지를 추출하는 것을 특징으로 하는 360도 영상의 수평 수직 보정 방법.
  4. 제1항에 있어서,
    상기 (b) 단계에서는 기 설정된 직선을 기준으로 한 각각의 다운 샘플링 이미지의 기울어진 각도를 판단하고,
    상기 (c) 단계에서는 상기 (b) 단계에서 판단된 각각의 다운 샘플링 이미지의 기울어진 각도 중 최댓값을 기초로 상기 360도 영상의 기울임 정도를 산출하고, 상기 다운 샘플링 이미지의 기울어진 각도 변화 패턴을 기초로 상기 360도 영상의 기울임 방향을 판단하며, 상기 360도 영상의 기울임 정도와 상기 360도 영상의 기울임 방향을 이용하여 상기 360도 영상의 수평 수직 보정을 수행하는 것을 특징으로 하는 360도 영상의 수평 수직 보정 방법.
  5. 제1항 내지 제4항 중 어느 한 항의 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.
  6. 하드웨어와 결합되어 제1항 내지 제4항 중 어느 한 항의 방법을 실행시키기 위하여 컴퓨터 판독 가능 기록 매체에 저장된 응용 프로그램.
  7. 360도 영상의 수평 수직 보정을 처리하는 장치 있어서,
    입력된 360도 영상으로부터 기 설정된 각도 간격마다 기 설정된 크기의 다운 샘플링 이미지를 추출하는 이미지 추출부와;
    상기 이미지 추출부에서 추출한 각각의 다운 샘플링 이미지를 기 설정된 알고리즘에 따른 분석을 통해 기 설정된 직선을 기준으로 한 이미지의 기울어진 정도를 판단하는 회전 정도 판단부와;
    상기 회전 정도 판단부에서 판단된 각각의 다운 샘플링 이미지의 기울어진 정도를 이용하여 상기 360도 영상의 수평 수직 보정을 수행하는 360도 영상 처리부를 포함하는 것을 특징으로 하는 360도 영상의 수평 수직 보정 장치.
  8. 제7항에 있어서,
    상기 회전 정도 판단부는 기계 학습에 의해 구축된 기계 학습 시스템을 이용하여 상기 이미지 추출부에서 추출한 각각의 다운 샘플링 이미지에 대한 기울어진 정도를 판단하는 것을 특징으로 하는 360도 영상의 수평 수직 보정 장치.
  9. 제7항에 있어서,
    상기 이미지 추출부는 상기 360도 영상의 중심점을 포함하는 가상 평면을 따라 기 설정된 각도 간격으로 기준 벡터를 선정하고, 각각의 기준 벡터를 중심으로 기 설정된 각도의 상하 좌우 FOV에 해당하는 영상을 프로젝션 시켜 다운 샘플링 이미지를 추출하는 것을 특징으로 하는 360도 영상의 수평 수직 보정 장치.
  10. 제7항에 있어서,
    상기 회전 정도 판단부는 기 설정된 직선을 기준으로 한 각각의 다운 샘플링 이미지의 기울어진 각도를 판단하고,
    상기 360도 영상 처리부는 상기 회전 정도 판단부에서 판단된 각각의 다운 샘플링 이미지의 기울어진 각도 중 최댓값을 기초로 상기 360도 영상의 기울임 정도를 산출하고, 상기 각각의 다운 샘플링 이미지의 기울어진 각도 변화 패턴을 기초로 상기 360도 영상의 기울임 방향을 판단하며, 상기 360도 영상의 기울임 정도와 상기 360도 영상의 기울임 방향을 이용하여 상기 360도 영상의 수평 수직 보정을 수행하는 것을 특징으로 하는 360도 영상의 수평 수직 보정 장치.
PCT/KR2019/017657 2018-12-28 2019-12-13 360도 영상의 수평 수직 보정을 위한 장치 및 방법 Ceased WO2020138784A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0172761 2018-12-28
KR1020180172761A KR102192433B1 (ko) 2018-12-28 2018-12-28 360도 영상의 수평 수직 보정을 위한 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2020138784A1 true WO2020138784A1 (ko) 2020-07-02

Family

ID=71127154

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/017657 Ceased WO2020138784A1 (ko) 2018-12-28 2019-12-13 360도 영상의 수평 수직 보정을 위한 장치 및 방법

Country Status (2)

Country Link
KR (1) KR102192433B1 (ko)
WO (1) WO2020138784A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2611764B (en) 2021-10-08 2025-02-05 Samsung Electronics Co Ltd Method, system and apparatus for image orientation correction

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140075545A (ko) * 2012-12-11 2014-06-19 한국전자통신연구원 회전체의 회전 특성 측정 방법 및 장치
US20170294049A1 (en) * 2016-04-08 2017-10-12 Visbit Inc. View-Aware 360 Degree Video Streaming

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10681327B2 (en) 2016-09-20 2020-06-09 Cyberlink Corp. Systems and methods for reducing horizontal misalignment in 360-degree video
KR20180088005A (ko) 2017-01-26 2018-08-03 고범준 Ｖｒ 영상 저작 도구 및 ｖｒ 영상 저작 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140075545A (ko) * 2012-12-11 2014-06-19 한국전자통신연구원 회전체의 회전 특성 측정 방법 및 장치
US20170294049A1 (en) * 2016-04-08 2017-10-12 Visbit Inc. View-Aware 360 Degree Video Streaming

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ANDREA K; CHRISTINE LEITNER; HERBERT LEITOLD; ALEXANDER PROSSER: "Advances in Databases and Information Systems", vol. 11365, part 13 26 May 2019, SPRINGER INTERNATIONAL PUBLISHING, Perth, Australia, ISBN: 3-319-10403-9, article JEON JUNHO; JUNG JINWOONG; LEE SEUNGYONG: "Deep Upright Adjustment of 360 Panoramas Using Multiple Roll Estimations", pages: 199 - 214, XP047508268, DOI: 10.1007/978-3-030-20873-8_13 *
EUNBIN HONG , JUMBO JEON , SUNGHYUN CHO , SEUNGYONG LEE: "Deep Learning based Photo Horizon Collection", KOREA COMPUTER GRAPHICS SOCIETY, vol. 23, no. 3, 14 July 2017 (2017-07-14), pages 95 - 103, XP055722902, ISSN: 1975-7883, DOI: 10.15701/kegs.2017.23.9.95 *
JUNG, JINWOONG ET AL.: "Upright Adjustment of 360 Spherical Panoramas", 2017 IEEE VIRTUAL REALITY (VR), 18 March 2017 (2017-03-18), Los Angeles , CA , USA, pages 251 - 252, XP033083930, DOI: 10.1109/VR.2017.7892271 *
YU-CHUAN SU , KRISTEN GRAUMAN: "Learning Spherical Convolution for Fast Features from 360° Imagery", 31ST CONFERENCE ON NEURAL INFORMATION PROCESSING SYSTEMS (NIPS 2017), 1 January 2017 (2017-01-01), Long Beach, CA , USA, pages 1 - 11, XP055722895 *

Also Published As

Publication number Publication date
KR20200082305A (ko) 2020-07-08
KR102192433B1 (ko) 2020-12-17

Similar Documents

Publication Publication Date Title
US10057562B2 (en) Generating intermediate views using optical flow
CN108289220B (zh) 虚拟图像处理方法、图像处理系统及存储介质
WO2020111426A1 (en) Method and system of presenting moving images or videos corresponding to still images
CN108174240B (zh) 基于用户位置的全景视频播放方法和系统
CN109936737B (zh) 可穿戴设备的测试方法及系统
WO2013043019A2 (ko) 고정된 카메라로 운동하는 피사체를 촬영하고 그 촬영 이미지에 기초하여 피사체의 실제의 운동 궤적의 투사 이미지를 획득하기 위한 방법 및 시스템
CN110533780A (zh) 一种图像处理方法及其装置、设备和存储介质
WO2011031026A2 (ko) 배경 이미지를 이용한 3차원 아바타 서비스 제공 시스템 및 방법
CN104427230B (zh) 增强现实的方法和增强现实的系统
WO2018101652A1 (ko) 실감형 미디어 영상을 제공하는 장치
WO2012115347A2 (ko) 파노라마 이미지를 생성하기 위한 방법, 사용자 단말 장치 및 컴퓨터 판독 가능한 기록 매체
US11812154B2 (en) Method, apparatus and system for video processing
WO2017043795A1 (ko) 가상현실영상 전송방법, 재생방법 및 이를 이용한 프로그램
WO2020009543A1 (en) Electronic device for capturing media using a bendable display and method thereof
JP7192526B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN107317998A (zh) 全景视频图像融合方法及装置
CN107197135A (zh) 一种视频生成方法、播放方法及视频生成装置、播放装置
CN109785390A (zh) 一种用于图像矫正的方法和装置
CN109685721A (zh) 全景画面拼接方法、装置、终端及对应的存储介质
WO2022045779A1 (en) Restoration of the fov of images for stereoscopic rendering
EP3695593A1 (en) Creating multi-camera panoramic projections
WO2021025375A1 (en) Apparatus and method for efficient regularized image alignment for multi-frame fusion
WO2018092992A1 (ko) 룩업테이블 기반의 실시간 파노라마 영상 제작 시스템 및 이를 이용한 실시간 파노라마 영상 제작 방법
WO2020036414A1 (ko) 가상 현실 컨텐츠를 제공하는 서버, 방법 및 사용자 단말
WO2020171257A1 (ko) 영상 처리 방법 및 그 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19904426

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19904426

Country of ref document: EP

Kind code of ref document: A1