KR102280169B1 - 영상을 처리하는 방법 및 장치 - Google Patents

영상을 처리하는 방법 및 장치 Download PDF

Info

Publication number
KR102280169B1
KR102280169B1 KR1020170028544A KR20170028544A KR102280169B1 KR 102280169 B1 KR102280169 B1 KR 102280169B1 KR 1020170028544 A KR1020170028544 A KR 1020170028544A KR 20170028544 A KR20170028544 A KR 20170028544A KR 102280169 B1 KR102280169 B1 KR 102280169B1
Authority
KR
South Korea
Prior art keywords
rotation information
image
processing apparatus
regions
image processing
Prior art date
Application number
KR1020170028544A
Other languages
English (en)
Other versions
KR20180101950A (ko
Inventor
윤성욱
김도완
이재경
김용규
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170028544A priority Critical patent/KR102280169B1/ko
Priority to EP18763298.9A priority patent/EP3547250A4/en
Priority to US16/476,485 priority patent/US11107193B2/en
Priority to PCT/KR2018/002566 priority patent/WO2018164425A1/ko
Publication of KR20180101950A publication Critical patent/KR20180101950A/ko
Application granted granted Critical
Publication of KR102280169B1 publication Critical patent/KR102280169B1/ko

Links

Images

Classifications

    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H04N5/23238—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

360도 영상에 포함된 복수의 영역 각각에 대한 회전 정보를 획득하고, 복수의 영역 각각의 회전 정보를 기초로, 360도 영상의 촬영 시 발생된 촬영 장치의 움직임을 나타내는 대표 회전 정보를 결정하며, 결정된 대표 회전 정보에 기초하여 영상의 왜곡을 보정하는 영상을 처리하는 방법이 개시된다.

Description

영상을 처리하는 방법 및 장치 {Method and apparatus for processing an image}
개시된 실시예는 영상을 처리하는 방법 및 영상을 처리하는 장치에 관한 것이다.
사용자에게 가상 현실을 체험할 수 있는 환경을 제공하기 위해, 다양한 기술 들이 개발되고 있다. 예를 들어, 피사체가 전방위에서 촬영된 360도 영상을 HMD(Head Mounted Display) 등의 디바이스를 통해 시청할 경우, 사용자는 가상 현실을 체험할 수 있다. 하지만, 360도 영상의 경우, 영상을 촬영하는 과정에서 촬영자 또는 외부 환경의 요인으로 인해 카메라의 흔들림이 발생할 수 있으며, 이는 가상 현실을 체험하는 사용자에게 의도하지 않은 움직임으로 인식되어, 가상 현실에 대한 몰입감을 저해하거나 어지러움 등의 불편함을 발생시킬 수 있다.
특히, 360도 영상의 경우 컨텐츠 특성에 따른 왜곡이 심하고, 1대 이상의 카메라로 촬영되어 기존의 단일 카메라 촬영 영상의 움직임 추정 기술을 적용할 경우, 부정확한 움직임 값이 추정될 수 있다. 따라서, 360도 영상의 왜곡을 보정하기 위한 기술의 개발이 필요한 실정이다.
일 실시예에 따라 360도 영상 촬영 시, 촬영 장치의 흔들림 등의 외부 환경으로 인해 발생될 수 있는 왜곡을 보정하는 영상을 처리하는 방법 및 장치가 제공된다.
일 실시예에 따른 영상을 처리하는 방법은, 360도 영상에 포함된 복수의 영역 각각에 대한 회전 정보를 획득하는 단계; 복수의 영역 각각의 회전 정보를 기초로, 360도 영상의 촬영 시 발생된 촬영 장치의 흔들림을 나타내는 대표 회전 정보를 결정하는 단계; 및 결정된 대표 회전 정보에 기초하여 영상의 왜곡을 보정하는 단계를 포함할 수 있다.
일 실시예에 따른 영상을 처리하는 방법은, 360도 영상을 기 설정된 다각형의 각 면에 맵핑(mapping)하는 단계; 및 다각형의 각 면에 맵핑된 영상으로부터 복수의 영역을 획득하는 단계를 더 포함할 수 있다.
일 실시예에 따른 영상을 처리하는 방법은, 360도 영상을 기 설정된 개수에 따라 복수의 영역으로 분할하는 단계를 더 포함할 수 있다.
일 실시예에 따른 영상을 처리하는 방법에 있어서, 대표 회전 정보를 결정하는 단계는, 복수의 영역 각각에 대한 회전 정보의 평균값 또는 중간값을 산출하여 대표 회전 정보를 결정할 수 있다.
일 실시예에 따른 영상을 처리하는 방법에 있어서, 대표 회전 정보를 결정하는 단계는, 복수의 영역 각각의 회전 정보의 분포에 따라, 적어도 일부 영역의 회전 정보를 선택하는 단계; 및 선택된 적어도 일부 영역의 회전 정보로부터 대표 회전 정보를 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 영상을 처리하는 방법에 있어서, 선택하는 단계는, 복수의 영역 중, 회전 정보의 분포에서 밀도가 높은 회전 정보를 갖는 영역을 선택할 수 있다.
일 실시예에 따른 영상을 처리하는 방법에 있어서, 대표 회전 정보를 결정하는 단계는, 복수의 영역 각각의 회전 정보를 기 설정된 가중치에 따라 조합하여, 대표 회전 정보를 결정할 수 있다.
일 실시예에 따른 영상을 처리하는 방법에 있어서, 가중치는, 360도 영상에 포함된 객체의 분포 비율에 따라 결정될 수 있다.
일 실시예에 따른 영상을 처리하는 방법에 있어서, 대표 회전 정보를 결정하는 단계는, 360도 영상에 포함된 적어도 하나의 객체를 식별하는 단계; 식별된 적어도 하나의 객체의 특성 및 분포 중 적어도 하나에 기초하여 복수의 영역 중 일부를 선택하는 단계; 및 선택된 영역의 회전 정보로부터 대표 회전 정보를 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 영상을 처리하는 장치는, 360도 영상을 획득하는 입력부; 및 360도 영상에 포함된 복수의 영역 각각에 대한 회전 정보를 획득하고, 복수의 영역 각각의 회전 정보를 기초로, 360도 영상의 촬영 시 발생된 촬영 장치의 흔들림을 나타내는 대표 회전 정보를 결정하며, 결정된 대표 회전 정보에 기초하여 상기 영상의 왜곡을 보정하는 프로세서를 포함할 수 있다.
도 1은 일 실시예에 따라 영상을 처리하는 방법을 설명하기 위한 개념도이다.
도 2는 일 실시예에 따라 영상을 처리하는 방법을 설명하기 위한 흐름도이다.
도 3은 일 실시예에 따른 영상 처리 장치가 복수의 영역의 회전 정보를 기초로 대표 회전 정보를 결정하는 방법을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 영상 처리 장치가 복수의 영역의 회전 정보의 분포도를 기초로 대표 회전 정보를 결정하는 방법을 설명하기 위한 흐름도이다.
도 5는 일 실시예에 따른 영상 처리 장치가 복수의 영역의 회전 정보의 분포도를 기초로 대표 회전 정보를 결정하는 방법을 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 영상 처리 장치가 360도 영상에 포함된 객체의 식별 결과 및 복수의 영역의 회전 정보를 기초로 대표 회전 정보를 결정하는 방법을 설명하기 위한 흐름도이다.
도 7은 일 실시예에 따른 영상 처리 장치가 360도 영상에 포함된 객체의 분포 및 복수의 영역의 회전 정보를 기초로 대표 회전 정보를 결정하는 방법을 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 영상 처리 장치가 360도 영상에 포함된 객체의 특성 및 복수의 영역의 회전 정보를 기초로 대표 회전 정보를 결정하는 방법을 설명하기 위한 도면이다.
도 9 및 도 10은 일 실시예에 따라 영상을 처리하는 장치의 블록도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 일 실시예에 따라 영상을 처리하는 방법을 설명하기 위한 개념도이다.
도 1을 참고하면, 영상을 처리하는 장치(100, 이하 영상 처리 장치)는 360도 영상을 획득할 수 있다. 여기에서, 360도 영상은 360도 전 방위의 영상으로서, 피사체(10)를 여러 각도에서 촬영한 결과 획득된 복수의 영상(30)으로부터 생성될 수 있다. 360도 영상은 360도의 전 시선 방향에서의 피사체(10)의 영상을 포함할 수 있다. 이에 따라, 사용자는 360도 영상을 통해, 사용자가 선택한 방향이나 사용자의 시선 방향의 피사체의 영상을 시청할 수 있다.
한편, 촬영 장치(20)에서 피사체(10)를 촬영하는 경우, 촬영 장치(20)의 움직임으로 인해 영상에 왜곡이 발생할 수 있다. 특히, 360도 영상의 경우 복수의 촬영 장치로부터 촬영됨에 따라, 촬영 장치(20)의 움직임으로 인해 영상의 왜곡이 발생될 확률이 보다 높아질 수 있다.
일 실시예에 따른 영상 처리 장치(100)는 촬영 장치(20)의 움직임으로 인해 발생될 수 있는 360도 영상의 왜곡을 보정하기 위해, 360도 영상에 포함된 복수의 영역 각각의 회전 정보를 기초로 360도 영상의 회전 정보를 결정할 수 있다. 이하에서는, 설명의 편의상 360도 영상에 포함된 복수의 영역들을 기초로 산출된 360도 영상의 회전 정보를 대표 회전 정보로 설명하도록 한다.
예를 들어, 영상 처리 장치(100)는 360도 영상을 복수의 영역으로 분할할 수 있다. 또한, 영상 처리 장치(100)는 복수의 영역 각각의 회전 정보를 획득할 수 있다. 다른 예에 따라, 영상 처리 장치(100)는 360도 영상을 다각형의 각 면에 맵핑할 수 있다. 여기에서, 각 면에 맵핑된 영상이 전술한 복수의 영역 각각에 대응될 수 있다. 영상 처리 장치(100)는 360도 영상을 다각형의 각 면에 맵핑함으로써, 360도 영상에서 폴(pole) 주변에 발생하는 왜곡의 영향을 줄일 수 있다.
한편, 영상 처리 장치(100)는 결정된 대표 회전 정보를 기초로 360도 영상의 왜곡을 보정할 수 있다. 또한, 영상 처리 장치(100)는 보정된 360도 영상(40)을 디스플레이 상에 출력할 수도 있다. 영상 처리 장치(100)는 사용자의 시선 방향 등을 감지하여, 보정된 360도 영상(40) 내에서, 감지된 사용자의 시선 방향에 대응되는 영역을 출력할 수 있다. 다만, 이는 일 실시예일 뿐, 영상 처리 장치(100)에 디스플레이가 구비되지 않거나, 디스플레이가 구비된 외부 디바이스가 존재하는 경우, 영상 처리 장치(100)는 외부 디바이스에 보정된 360도 영상(40)을 전송할 수도 있다.
한편, 일 실시예에 따른 영상 처리 장치(100)는 다양한 형태로 구현될 수 있다. 예를 들어, 본 명세서에서 기술되는 영상 처리 장치(100)는 스마트 폰(smart phone), 스마트 글래스(Smart Glass), HMD(Head Mounted Display) 등이 있을 수 있으나, 이는 일 실시예일 뿐, 영상 처리 장치(100)가 이에 한정되는 것은 아니다.
도 2는 일 실시예에 따라 영상을 처리하는 방법을 설명하기 위한 흐름도이다.
단계 S210에서, 영상 처리 장치는 360도 영상에 포함된 복수의 영역 각각에 대한 회전 정보를 획득할 수 있다.
영상 처리 장치는 360도 영상을 획득할 수 있다. 예를 들어, 영상 처리 장치는 촬영 장치 또는 서버 등의 외부 장치로부터 360도 영상을 수신할 수 있다.
일 실시예에 따른 영상 처리 장치는 360도 영상을 기 설정된 개수에 따라 복수의 영역으로 분할할 수 있다. 예를 들어, 영상 처리 장치는 360도 영상을 6개의 영역으로 분할할 수 있다. 다만, 이는 일 실시예일 뿐, 분할되는 영역의 개수가 전술한 예에 한정되는 것은 아니다. 영상 처리 장치는 360도 영상의 왜곡 보정 결과에 따라, 보정의 정확도를 높이기 위해, 360도 영상이 분할되는 영역의 개수를 증가시킬 수 있다.
한편, 다른 실시예에 따라 영상 처리 장치는 360도 영상을 다각형에 맵핑할 수 있다. 360도 영상이 ERP(projection) 형태인 경우, 영상 처리 장치는 각 영역에서 획득되는 회전 정보의 오차를 최소화하기 위해 다각형에 맵핑할 수 있다. 예를 들어, 영상 처리 장치는 360도 영상을 육면체의 각 면에 맵핑할 수 있다. 다만, 이는 일 실시예일 뿐, 360도 영상이 맵핑되는 다각형이 전술한 예에 한정되는 것은 아니다. 영상 처리 장치는 360도 영상의 왜곡 보정 결과에 따라, 보정의 정확도를 높이기 위해, 360도 영상이 맵핑되는 다각형의 면수를 증가시킬 수 있다.
또한, 영상 처리 장치는 복수의 영역 각각에서 적어도 하나의 특징점을 추출할 수 있다. 예를 들어, 영상 처리 장치는 복수의 영역 각각에 포함된 픽셀값을 기초로 결정된 에지, 코너(corner), 얼룩(blob) 및 능선(ridges) 중 적어도 하나에 기초하여 복수의 영역 각각의 특징점을 추출할 수 있다. 다만, 이는 일 실시예일 뿐, 복수의 영역 각각에서 특징점을 추출하는 방법이 전술한 예에 한정되는 것은 아니다.
영상 처리 장치는 복수의 360도 영상에 대해, 추출된 특징점의 위치를 추적할 수 있다. 영상 처리 장치는 추적 결과를 기초로 복수의 영역 각각에 대한 회전 정보를 획득할 수 있다. 여기에서, 회전 정보는 Yaw, Pitch, Roll 각도 중 적어도 하나를 기초로 나타낼 수 있다.
단계 S220에서, 영상 처리 장치는 복수의 영역 각각의 회전 정보를 기초로 360도 영상 촬영 시 발생된 촬영 장치의 흔들림을 나타내는 대표 회전 정보를 결정할 수 있다.
일 실시예에 따른 영상 처리 장치는 복수의 영역 각각에 대한 회전 정보의 평균값 또는 중간값으로 360도 영상의 대표 회전 정보를 결정할 수 있다. 다른 실시예에 따른 영상 처리 장치는 복수의 영역 각각의 회전 정보의 분포에 따라 360도 영상의 대표 회전 정보를 결정할 수 있다. 예를 들어, 영상 처리 장치는 분포도가 임계값 이상인 회전 정보를 갖는 영역들의 평균값 또는 분포도가 가장 높은 회전 정보로 대표 회전 정보를 결정할 수 있다.
또한, 또 다른 실시예에 따라 영상 처리 장치는 복수의 영역 각각의 회전 정보를 기 설정된 가중치에 따라 조합하여, 360도 영상의 대표 회전 정보를 결정할 수 있다. 영상 처리 장치는 360도 영상에 포함된 객체의 분포 비율에 따라 가중치를 결정할 수 있다. 예를 들어, 영상 처리 장치는 객체의 분포 비율이 높은 영역의 회전 정보에 대한 가중치를 객체의 분포 비율이 낮은 영역의 회전 정보에 대한 가중치 보다 상대적으로 낮게 설정할 수 있다. 다른 예에 따라, 영상 처리 장치는 이동 객체의 분포 비율이 높은 영역의 회전 정보에 대한 가중치를 이동 객체의 분포 비율이 낮은 영역의 회전 정보에 대한 가중치 보다 상대적으로 낮게 설정할 수 있다. 다만, 이는 일 실시예일 뿐, 가중치를 결정하는 방법이 전술한 예에 한정되는 것은 아니다.
또 다른 실시예에 따라 영상 처리 장치는 360도 영상에 포함된 적어도 하나의 객체의 특성 및 분포 중 적어도 하나에 따라 복수의 영역의 회전 정보로부터 대표 회전 정보를 결정할 수 있다. 이에 대해서는, 도 8을 참고하여 구체적으로 후술하도록 한다.
단계 S230에서, 영상 처리 장치는 결정된 대표 회전 정보에 기초하여 360도 영상의 왜곡을 보정할 수 있다.
일 실시예에 따른 영상 처리 장치는 결정된 대표 회전 정보에 따라 360도 영상을 평탄화(smoothness)하여, 360도 영상의 왜곡을 보정할 수 있다. 영상 처리 장치는 360도 영상에 포함된 복수의 영역으로부터 복수의 회전 정보를 이용하여 대표 회전 정보를 결정함으로써 360도 영상 촬영 시 발생된 촬영 장치의 움직임 예측의 정확도를 높일 수 있다.
도 3은 일 실시예에 따른 영상 처리 장치가 복수의 영역의 회전 정보를 기초로 대표 회전 정보를 결정하는 방법을 설명하기 위한 도면이다.
도 3을 참고하면, 영상 처리 장치는 360도 영상(300)으로부터 복수의 영역(310, 320, 330, 340, 350, 360)을 획득할 수 있다. 예를 들어, 영상 처리 장치는 360도 영상(300)을 분할하거나 360도 영상(300)을 육면체의 각 면에 맵핑시킴으로써, 복수의 영역(310, 320, 330, 340, 350, 360)을 획득할 수 있다.
또한, 영상 처리 장치는 복수의 영역(310, 320, 330, 340, 350, 360) 각각의 회전 정보를 획득할 수 있다. 여기에서, 회전 정보는 복수의 영역(310, 320, 330, 340, 350, 360) 각각으로부터 추출된 특징점을 복수의 360도 영상에 대해 추적한 결과에 따라 생성될 수 있다.
한편, 영상 처리 장치는 복수의 영역(310, 320, 330, 340, 350, 360)의 회전 정보로부터 대표 회전 정보를 산출하기 위해, 복수의 영역(310, 320, 330, 340, 350, 360)의 회전 정보를 클러스터링(clustering) 할 수 있다. 일 실시예에 따른 영상 처리 장치는 복수의 영역(310, 320, 330, 340, 350, 360)의 회전 정보를 클러스터링 하기에 앞서, 회전 정보의 분포를 확인할 수 있다.
도 3을 참고하면, 제 1 영역(310), 제 2 영역(320), 제 3 영역(330), 제 4 영역(340), 제 5 영역(350) 및 제 6 영역(360)으로부터 획득된 제 1 회전 정보(312), 제 2 회전 정보(322), 제 3 회전 정보(332), 제 4 회전 정보(342), 제 5 회전 정보(352) 및 제 6 회전 정보(362)의 분포를 확인할 수 있다.
일 실시예에 따른 영상 처리 장치는 회전 정보의 분포에 따라, 제 2 회전 정보(322), 제 3 회전 정보(332) 및 제 6 회전 정보(362)를 동일한 그룹으로 클러스터링 할 수 있다.
한편, 영상 처리 장치는 회전 정보의 분포를 기초로 복수의 영역(310, 320, 330, 340, 350, 360) 중 일부를 선택하여 대표 회전 정보를 결정하거나, 회전 정보의 분포에 따라 복수의 영역(310, 320, 330, 340, 350, 360)의 회전 정보를 조합하는 가중치를 결정할 수도 있다. 이에 대해서는 도 5를 참고하여 보다 구체적으로 후술하도록 한다.
도 4는 일 실시예에 따른 영상 처리 장치가 360도 영상에 포함된 복수의 영역 각각의 회전 정보의 분포도를 기초로 대표 회전 정보를 결정하는 방법을 설명하기 위한 흐름도이다.
단계 S410에서, 영상 처리 장치는 360도 영상에 포함된 복수의 영역 각각에 대한 회전 정보를 획득할 수 있다.
한편, 단계 S410은 도 2를 참고하여 전술한 단계 S210과 대응될 수 있다.
단계 S420에서, 영상 처리 장치는 복수의 영역 각각의 회전 정보의 분포도를 산출할 수 있다.
일 실시예에 따라 영상 처리 장치에서 획득된 복수의 영역 각각의 회전 정보는 Yaw, Pitch, Roll 각도 중 적어도 하나를 기초로 나타낼 수 있다. 영상 처리 장치는 각각의 회전 정보가 갖는 값을 기초로 회전 정보의 분포도를 산출할 수 있다. 영상 처리 장치는 산출된 분포도에 따라, 가장 높은 비중을 차지하는 회전 정보의 값 또는 가장 높은 비중의 회전 정보가 획득된 영역 등에 관한 정보를 획득할 수 있다.
단계 S430에서, 영상 처리 장치는 복수의 영역 각각의 회전 정보의 분포에 따라 적어도 일부 영역의 회전 정보를 선택할 수 있다.
일 실시예에 따른 영상 처리 장치는 복수의 영역 각각의 회전 정보 중 분포도 내에서 밀도가 높은 회전 정보를 갖는 일부 영역을 선택할 수 있다. 예를 들어, 영상 처리 장치는 특정 회전 값이 밀집되어 있는 경우, 특정 회전 값을 갖는 영역 또는 특정 회전 값을 기준으로 임계 범위 내의 회전 값을 갖는 영역을 선택할 수 있다. 다만, 이는 일 실시예일 뿐, 영상 처리 장치가 회전 정보의 분포에 따라 일부 영역을 선택하는 방법이 전술한 예에 한정되는 것은 아니다.
단계 S440에서, 영상 처리 장치는 선택된 적어도 일부 영역의 회전 정보로부터 대표 회전 정보를 결정할 수 있다.
일 실시예에 따른 영상 처리 장치는 선택된 적어도 일부 영역의 회전 정보의 평균값 또는 중간값으로 대표 회전 정보를 결정할 수 있다. 또한, 다른 실시예에 따라 분포도 내에서 밀도가 가장 높은 영역이 선택된 경우, 영상 처리 장치는 선택된 영역의 회전 정보를 대표 회전 정보로 결정할 수 있다. 또 다른 실시예에 따라, 영상 처리 장치는 선택된 적어도 일부 영역의 회전 정보의 평균값과 가장 가까운 값을 갖는 회전 정보를 대표 회전 정보로 결정할 수도 있다.
단계 S450에서, 영상 처리 장치는 결정된 대표 회전 정보에 기초하여 360도 영상의 왜곡을 보정할 수 있다.
한편, 단계 S450은 도 2를 참고하여 전술한 단계 S230과 대응될 수 있다.
도 5는 일 실시예에 따른 영상 처리 장치가 360도 영상에 포함된 복수의 영역 각각의 회전 정보의 분포도를 기초로 대표 회전 정보를 결정하는 방법을 설명하기 위한 도면이다.
도 5를 참고하면, 영상 처리 장치는 복수의 영역 각각의 회전 정보의 분포도를 산출할 수 있다. 한편, 본 실시예의 분포도는 도 3의 분포도와 동일한 것으로 가정한다.
일 실시예에 따른 영상 처리 장치는 산출된 분포도에 따라, 밀도가 높은 회전 정보를 선택할 수 있다. 예를 들어, 영상 처리 장치는 서로 유사한 값을 갖는 제 2 회전 정보(522), 제 3 회전 정보(532) 및 제 6 회전 정보(530)를 선택할 수 있다. 영상 처리 장치는 선택된 회전 정보(570)의 평균값 또는 중간값으로 대표 회전 정보를 결정할 수 있다. 다만, 이는 일 실시예일 뿐, 영상 처리 장치는 선택된 회전 정보(570)의 평균값과 가장 가까운 값을 갖는 회전 정보를 대표 회전 정보로 결정할 수도 있다.
한편, 영상 처리 장치에서 복수의 영역 각각의 회전 정보를 분포도에 따라 클러스터링 한 결과, 밀도가 유사한 복수의 클러스터가 결정될 수도 있다.
일 실시예에 따른 영상 처리 장치는 밀도가 유사한 복수의 클러스터가 존재하는 경우 , 복수의 클러스터 각각에 대응되는 영역에 포함된 이동 객체의 비율을 기초로 복수의 클러스터 중 어느 하나를 선택할 수 있다. 예를 들어, 영상 처리 장치는 복수의 클러스터 중 이동 객체의 비율이 낮은 클러스터를 선택할 수 있다. 영상 처리 장치는 선택된 클러스터에 포함된 회전 정보를 기초로 대표 회전 정보를 결정할 수 있다.
다른 실시예에 따라, 영상 처리 장치는 밀도가 유사한 복수의 클러스터가 존재하는 경우, 복수의 클러스터 각각에 대응되는 영역에 포함된 이동 객체의 비율을 기초로 복수의 클러스터 각각에 대한 가중치를 결정할 수 있다. 예를 들어, 영상 처리 장치는 이동 객체의 비율이 낮은 클러스터에 대한 가중치를 상대적으로 높게 설정할 수 있다. 영상 처리 장치는 결정된 가중치에 기초하여, 복수의 클러스터 각각의 회전 정보를 조합할 수 있다.
또 다른 실시예에 따라, 영상 처리 장치는 밀도가 유사한 복수의 클러스터가 존재하는 경우, 복수의 클러스터 각각의 분산을 산출하여, 상대적으로 군집화 정도가 높은 클러스터를 선택할 수 있다. 다만, 이는 일 실시예일 뿐, 영상 처리 장치는 군집화 정도에 따라 복수의 클러스터 각각의 가중치를 결정할 수도 있다. 도 6은 일 실시예에 따른 영상 처리 장치가 360도 영상에 포함된 객체의 식별 결과 및 복수의 영역의 회전 정보를 기초로 대표 회전 정보를 결정하는 방법을 설명하기 위한 흐름도이다.
단계 S610에서, 영상 처리 장치는 360도 영상에 포함된 복수의 영역 각각에 대한 회전 정보를 획득할 수 있다.
한편, 단계 S610은 도 2를 참고하여 전술한 단계 S210과 대응될 수 있다.
단계 S620에서, 영상 처리 장치는 360도 영상에 포함된 적어도 하나의 객체를 식별할 수 있다. 여기에서, 객체란 360도 영상에 포함된 피사체로서 사람, 자동차, 식물, 동물 및 건물 등을 포함할 수 있다. 또한, 설정에 따라 영상 처리 장치는 강, 산, 하늘 등의 배경 또한 객체로서 식별할 수 있다.
한편, 일 실시예에 따른 영상 처리 장치는 객체의 위치 및 객체의 개수 등을 식별할 수 있다. 다른 실시예에 따른 영상 처리 장치는 객체의 위치 및 객체의 개수 뿐만 아니라 객체의 종류를 식별할 수 있다. 예를 들어, 영상 처리 장치는 객체가 건물, 동상 등의 고정 객체인지 또는 동물, 사람 등의 이동 객체인지 여부를 식별할 수 있다.
단계 S630에서, 영상 처리 장치는 식별된 적어도 하나의 객체의 특성 및 분포 중 적어도 하나에 기초하여 복수의 영역 중 일부를 선택할 수 있다. 여기에서, 객체의 특성은 객체의 종류, 객체의 이동 여부 등을 포함할 수 있다.
일 실시예에 따른 영상 처리 장치는 객체의 밀도가 상대적으로 낮은 위치한 영역을 선택할 수 있다. 다른 실시예에 따라, 영상 처리 장치는 360도 영상에 포함된 복수의 객체 중에서 고정 객체가 위치한 영역을 선택할 수도 있다. 다만, 이는 일 실시예일 뿐, 영상 처리 장치가 식별된 적어도 하나의 객체의 특성 및 분포 중 적어도 하나에 기초하여 영역을 선택하는 방법이 전술한 예에 한정되는 것은 아니다.
단계 S640에서, 영상 처리 장치는 선택된 영역의 회전 정보로부터 대표 회전 정보를 결정할 수 있다.
일 실시예에 따른 영상 처리 장치는 복수의 영역이 선택된 경우, 선택된 복수의 영역의 회전 정보의 평균값 또는 중간값으로 대표 회전 정보를 결정할 수 있다. 또한, 다른 실시예에 따라, 영상 처리 장치는 선택된 영역의 회전 정보의 평균값과 가장 가까운 값을 갖는 회전 정보를 대표 회전 정보로 결정할 수도 있다. 또 다른 실시예에 따라 영상 처리 장치는 하나의 영역이 선택된 경우, 선택된 영역의 회전 정보를 대표 회전 정보로 결정할 수 있다.
단계 S650에서, 영상 처리 장치는 결정된 대표 회전 정보에 기초하여 360도 영상의 왜곡을 보정할 수 있다.
한편, 단계 S650은 도 2를 참고하여 전술한 단계 S230과 대응될 수 있다.
도 7은 일 실시예에 따른 영상 처리 장치가 360도 영상에 포함된 객체의 분포 및 복수의 영역의 회전 정보를 기초로 대표 회전 정보를 결정하는 방법을 설명하기 위한 도면이다.
도 7을 참고하면, 영상 처리 장치는 360도 영상(700)으로부터 복수의 영역(710, 720, 730, 740, 750, 760)을 획득할 수 있다. 예를 들어, 영상 처리 장치는 360도 영상(700)을 분할하거나 360도 영상(700)을 육면체의 각 면에 맵핑시킴으로써, 복수의 영역(710, 720, 730, 740, 750, 760)을 획득할 수 있다.
또한, 영상 처리 장치는 복수의 영역(710, 720, 730, 740, 750, 760) 각각의 회전 정보를 획득할 수 있다. 여기에서, 회전 정보를 획득하는 방법은 도 2 및 도 3을 참고하여 전술한 방법과 대응될 수 있다.
한편, 일 실시예에 따른 영상 처리 장치는 360도 영상(700)에 포함된 복수의 객체(771, 773, 775, 777)를 식별할 수 있다. 또한, 영상 처리 장치는 360도 영상에서 복수의 객체(771, 773, 775, 777)가 위치한 지점을 식별하여, 복수의 객체(771, 773, 775, 777) 각각의 위치를 확인할 수 있다.
영상 처리 장치는 360도 영상(700)에 포함된 복수의 객체(771, 773, 775, 777)의 위치에 따라 복수의 영역(710, 720, 730, 740, 750, 760) 중 일부를 선택할 수 있다. 예를 들어, 영상 처리 장치는 복수의 영역(710, 720, 730, 740, 750, 760) 중 포함된 객체의 개수가 적은 제 3 영역(730) 및 제 4 영역(740)을 선택할 수 있다. 한편, 영상 처리 장치는 제 1 영역(710)과 같이 객체가 포함되지 않아, 특징점을 추적하여 회전 정보를 획득하기 어려운 영역은 제외시킬 수 있다. 또한, 영상 처리 장치는 제 2 영역(720), 제 5 영역(750) 및 제 6 영역(760)과 같이 객체가 밀집되어 있는 영역 또한 제외시킬 수 있다. 객체가 밀집되어 있는 경우, 객체의 움직임으로 인해, 해당 영역의 회전 정보가 불명확할 수 있어 영상 처리 장치는 객체가 밀집되어 있는 영역을 제외시킬 수 있다.
한편, 영상 처리 장치는 선택된 제 3 영역(730) 및 제 4 영역(740)의 회전 정보의 평균값 또는 중간값으로 대표 회전 정보를 결정할 수 있다. 또한, 다른 실시예에 따라, 영상 처리 장치는 선택된 제 3 영역(730) 및 제 4 영역(740)의 회전 정보의 평균값과 가장 가까운 값을 갖는 회전 정보를 대표 회전 정보로 결정할 수도 있다.
도 8은 일 실시예에 따른 영상 처리 장치가 360도 영상에 포함된 객체의 식별 정보 및 복수의 영역의 회전 정보를 기초로 대표 회전 정보를 결정하는 방법을 설명하기 위한 도면이다.
도 8을 참고하면, 영상 처리 장치는 360도 영상(800)으로부터 복수의 영역(810, 820, 830, 840, 850, 860)을 획득할 수 있다. 예를 들어, 영상 처리 장치는 360도 영상(800)을 분할하거나 360도 영상(800)을 육면체의 각 면에 맵핑시킴으로써, 복수의 영역(810, 820, 830, 840, 850, 860)을 획득할 수 있다.
또한, 영상 처리 장치는 복수의 영역(810, 820, 830, 840, 850, 860) 각각의 회전 정보를 획득할 수 있다. 여기에서, 회전 정보를 획득하는 방법은 도 2 및 도 3을 참고하여 전술한 방법과 대응될 수 있다.
한편, 일 실시예에 따른 영상 처리 장치는 360도 영상(800)에 포함된 복수의 객체(871, 873, 875, 877, 879)를 식별할 수 있다. 예를 들어, 영상 처리 장치는 360도 영상에서 복수의 객체(871, 873, 875, 877, 879)의 위치 및 복수의 객체(871, 873, 875, 877, 879)의 특성을 식별할 수 있다. 여기에서, 특성에는 객체의 종류 및 객체의 이동 여부 등이 포함될 수 있다.
영상 처리 장치는 360도 영상(800)에 포함된 복수의 객체(871, 873, 875, 877, 879)를 이동 객체 및 고정 객체로 분류할 수 있다. 예를 들어, 영상 처리 장치는 복수의 객체(871, 873, 875, 877, 879) 중 고정 객체에 해당하는 건물인 제 1 객체(871), 이동 객체에 해당하는 사람들인 제 2 객체(873), 제 3 객체(875), 제 4 객체(877) 및 제 5 객체(879)로 분류할 수 있다.
일 실시예에 따른 영상 처리 장치는 복수의 영역(810, 820, 830, 840, 850, 860) 중에서, 이동 객체가 위치하지 않는 영역인 제 1 영역(810)을 선택할 수 있다. 영상 처리 장치는 제 1 영역(810)의 회전 정보를 360도 영상(800)의 대표 회전 정보로 결정할 수 있다.
다만, 이는 일 실시예일 뿐, 영상 처리 장치는 복수의 영역(810, 820, 830, 840, 850, 860) 중 객체의 중첩으로 인해 가려짐이 발생되는 영역은 제외하고, 다른 영역을 선택할 수 있다.
한편, 영상 처리 장치는 선택된 영역의 회전 정보의 평균값 또는 중간값으로 대표 회전 정보를 결정할 수 있다. 또한, 다른 실시예에 따라, 영상 처리 장치는 선택된 영역의 회전 정보의 평균값과 가장 가까운 값을 갖는 회전 정보를 대표 회전 정보로 결정할 수도 있다.
도 9 및 도 10은 일 실시예에 따라 영상을 처리하는 장치(900)의 블록도이다.
도 9에 도시된 바와 같이, 일 실시예에 따른 영상을 처리하는 장치(900)는, 입력부(910) 및 프로세서(920)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 영상을 처리하는 장치(900)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 영상을 처리하는 장치(900)는 구현될 수 있다.
예를 들어, 도 10에 도시된 바와 같이, 일 실시예에 따른 영상을 처리하는 장치(900)는, 입력부(910) 및 프로세서(920) 이외에 출력부(930), 통신부(940), 센싱부(950) 및 메모리(960)를 더 포함할 수도 있다.
이하 상기 구성요소들에 대해 차례로 살펴본다.
입력부(910)는 360도 영상을 획득할 수 있다. 예를 들어, 입력부(910)는 외부의 디바이스로부터 360도 영상을 획득할 수 있다. 한편, 영상을 처리하는 장치(900)와 외부의 디바이스가 무선 네트워크를 통해 연결되어 있는 경우, 후술할 통신부(940)를 통해 360도 영상이 획득될 수도 있다.
프로세서(920)는, 통상적으로 영상을 처리하는 장치(900)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(920)는, 메모리(960)에 저장된 프로그램들을 실행함으로써, 입력부(910), 출력부(930), 통신부(940), 센싱부(950) 및 메모리(960) 등을 전반적으로 제어할 수 있다.
프로세서(920)는 360도 영상에 포함된 복수의 영역 각각에 대한 회전 정보를 획득할 수 있다. 예를 들어, 프로세서(920)는 360도 영상에 포함된 복수의 영역 각각에서 적어도 하나의 특징점을 추출할 수 있다. 프로세서(920)는 복수의 360도 영상에 대해, 추출된 특징점의 위치를 추적할 수 있다. 프로세서(920)는 추적 결과를 기초로 복수의 영역 각각에 대한 회전 정보를 획득할 수 있다.
프로세서(920)는 복수의 영역 각각의 회전 정보를 기초로, 360도 영상의 촬영 시 발생된 촬영 장치의 움직임을 나타내는 대표 회전 정보를 결정할 수 있다. 또한, 프로세서(920)는 결정된 대표 회전 정보에 기초하여 360도 영상의 왜곡을 보정할 수 있다.
일 실시예에 따른 프로세서(920)는 360도 영상을 기 설정된 다각형의 각 면에 맵핑(mapping)할 수 있다. 또한, 프로세서(920)는 다각형의 각 면에 맵핑된 영상으로부터 복수의 영역을 획득할 수 있다. 한편, 다른 실시예에 따른 프로세서(920)는 360도 영상을 기 설정된 개수에 따라 복수의 영역으로 분할할 수도 있다.
프로세서(920)는 복수의 영역 각각에 대한 회전 정보의 평균값 또는 중간값을 산출하여 대표 회전 정보를 결정할 수 있다.
또한, 다른 예에 따라 프로세서(920)는 복수의 영역 각각의 회전 정보의 분포를 기초로 대표 회전 정보를 결정할 수 있다. 프로세서(920)는 복수의 영역 각각의 회전 정보의 분포를 기초로 복수의 영역 중 적어도 일부 영역의 회전 정보를 선택할 수 있다. 예를 들어, 프로세서(920)는 복수의 영역 중, 회전 정보의 분포에서 밀도가 높은 회전 정보를 갖는 영역을 선택할 수 있다. 프로세서(920)는 선택된 적어도 일부 영역의 회전 정보로부터 대표 회전 정보를 결정할 수 있다.
프로세서(920)는 복수의 영역 각각의 회전 정보를 기 설정된 가중치에 따라 조합하여, 대표 회전 정보를 결정할 수 있다.
또한, 프로세서(920)는 360도 영상에 포함된 적어도 하나의 객체를 식별하고, 식별된 적어도 하나의 객체의 특성 및 분포 중 적어도 하나에 기초하여 복수의 영역 중 일부를 선택할 수 있다. 프로세서(920)는 선택된 영역의 회전 정보로부터 대표 회전 정보를 결정할 수 있다.
출력부(930)는, 오디오 신호 또는 비디오 신호(예를 들어, 360도 영상) 또는 진동 신호의 출력을 위한 것으로, 이에는 디스플레이부(931)와 음향 출력부(932), 진동 모터(933) 등이 포함될 수 있다.
디스플레이부(931)는 영상을 처리하는 장치(900)에서 처리되는 정보를 표시 출력한다. 예를 들어, 디스플레이부(931)는, 프로세서(920)에서 왜곡이 보정된 360도 영상을 표시할 수 있다.
한편, 디스플레이부(931)와 터치패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이부(931)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 디스플레이부(931)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다.
음향 출력부(932)는 통신부(150)로부터 수신되거나 메모리(170)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부(122)는 디바이스(100)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음, 알림음)과 관련된 음향 신호를 출력한다. 이러한 음향 출력부(122)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
진동 모터(933)는 진동 신호를 출력할 수 있다. 예를 들어, 진동 모터(933)는 오디오 데이터 또는 비디오 데이터(예컨대, 360도 영상 등)의 출력에 대응하는 진동 신호를 출력할 수 있다. 또한, 진동 모터(933)는 터치스크린에 터치가 입력되는 경우 진동 신호를 출력할 수도 있다.
통신부(940)는, 디바이스(100)와 외부 디바이스 또는 디바이스(100)와 서버 간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(940)는, 근거리 통신부(941) 및 이동 통신부(942)를 포함할 수 있다.
근거리 통신부(short-range wireless communication unit)(941)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부(942)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
센싱부(950)는, 영상을 처리하는 장치(900)의 상태 또는 영상을 처리하는 장치(900) 주변의 상태를 감지하고, 감지된 정보를 프로세서(920)로 전달할 수 있다.
센싱부(950)는, 지자기 센서(Magnetic sensor)(951), 가속도 센서(Acceleration sensor)(952), 온/습도 센서(953), 적외선 센서(954), 자이로스코프 센서(955), 위치 센서(예컨대, GPS)(956), 기압 센서(957), 근접 센서(958), 및 RGB 센서(illuminance sensor)(959) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.
메모리(960)는, 프로세서(920)의 처리 및 제어를 위한 프로그램을 저장할 수도 있고, 입/출력되는 데이터들(예컨대, 복수의 영역의 회전 정보, 대표 회전 정보 및 360도 영상)을 저장할 수도 있다.
메모리(960)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 영상을 처리하는 장치(900)는 인터넷(internet)상에서 메모리(960)의 저장 기능을 수행하는 웹 스토리지(web storage) 또는 클라우드 서버를 운영할 수도 있다.
메모리(960)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(961), 터치 스크린 모듈(962), 알림 모듈(963) 등으로 분류될 수 있다.
UI 모듈(961)은, 360도 영상을 보정하거나 출력하는데 특화된 UI, GUI 등을 제공할 수 있다. 터치 스크린 모듈(962)은 사용자의 터치 스크린 상의 터치 제스처를 감지하고, 터치 제스처에 관한 정보를 프로세서(920)로 전달할 수 있다. 본 발명의 일 실시예에 따른 터치 스크린 모듈(962)은 터치 코드를 인식하고 분석할 수 있다. 터치 스크린 모듈(962)은 컨트롤러를 포함하는 별도의 하드웨어로 구성될 수도 있다.
터치스크린의 터치 또는 근접 터치를 감지하기 위해 터치스크린의 내부 또는 근처에 다양한 센서가 구비될 수 있다. 터치스크린의 터치를 감지하기 위한 센서의 일례로 촉각 센서가 있다. 촉각 센서는 사람이 느끼는 정도로 또는 그 이상으로 특정 물체의 접촉을 감지하는 센서를 말한다. 촉각 센서는 접촉면의 거칠기, 접촉 물체의 단단함, 접촉 지점의 온도 등의 다양한 정보를 감지할 수 있다.
또한, 터치스크린의 터치를 감지하기 위한 센서의 일례로 근접 센서가 있다.
근접 센서는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 사용자의 터치 제스처에는 탭, 터치&홀드, 더블 탭, 드래그, 패닝, 플릭, 드래그 앤드 드롭, 스와이프 등이 있을 수 있다.
알림 모듈(963)은 영상을 처리하는 장치(900)의 이벤트 발생을 알리기 위한 신호를 발생할 수 있다. 이벤트의 예로는 360도 영상 수신 알림, 360도 영상 출력 알림 등이 있다. 알림 모듈(963)은 디스플레이부(931)를 통해 비디오 신호 형태로 알림 신호를 출력할 수도 있고, 음향 출력부(932)를 통해 오디오 신호 형태로 알림 신호를 출력할 수도 있고, 진동 모터(933)를 통해 진동 신호 형태로 알림 신호를 출력할 수도 있다.
본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
도면에 도시된 실시 예들에서 참고부호를 기재하였으며, 실시 예들을 설명하기 위하여 특정 용어들을 사용하였으나, 특정 용어에 의해 본 발명이 한정되는 것은 아니며, 실시 예는 당업자에 있어서 통상적으로 생각할 수 있는 모든 구성 요소들을 포함할 수 있다.
실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 실시 예는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 또한, 실시예는 동종의 또는 서로 다른 종류의 코어들, 서로 다른 종류의 CPU들을 채용할 수도 있다. 본 발명에의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 실시 예는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단”, “구성”과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
실시 예에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 실시 예의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
실시 예의 명세서(특히 특허청구범위에서)에서 “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 실시 예에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 실시 예에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 실시 예들이 한정되는 것은 아니다. 실시 예에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 실시 예를 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 실시 예의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

Claims (19)

  1. 360도 영상에 포함된 복수의 영역 각각에 대한 회전 정보를 획득하는 단계;
    상기 360도 영상에 포함된 적어도 하나의 객체를 식별하는 단계;
    상기 식별된 적어도 하나의 객체의 특성 및 분포 중 적어도 하나에 기초하여 상기 복수의 영역 중 일부를 선택하는 단계;
    상기 선택된 일부의 영역의 회전 정보를 기초로, 상기 360도 영상의 촬영 시 발생된 촬영 장치의 움직임을 나타내는 대표 회전 정보를 결정하는 단계; 및
    상기 결정된 대표 회전 정보에 기초하여 상기 360도 영상의 왜곡을 보정하는 단계를 포함하는, 영상을 처리하는 방법.
  2. 제 1항에 있어서,
    상기 360도 영상을 기 설정된 다각형의 각 면에 맵핑(mapping)하는 단계; 및
    상기 다각형의 각 면에 맵핑된 영상으로부터 상기 복수의 영역을 획득하는 단계를 더 포함하는, 영상을 처리하는 방법.
  3. 제 1항에 있어서,
    상기 360도 영상을 기 설정된 개수에 따라 상기 복수의 영역으로 분할하는 단계를 더 포함하는 영상을 처리하는 방법.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 360도 영상을 획득하는 입력부; 및
    360도 영상에 포함된 복수의 영역 각각에 대한 회전 정보를 획득하고, 상기 360도 영상에 포함된 적어도 하나의 객체를 식별하고, 상기 식별된 적어도 하나의 객체의 특성 및 분포 중 적어도 하나에 기초하여 상기 복수의 영역 중 일부를 선택하며, 상기 선택된 영역의 회전 정보를 기초로, 상기 360도 영상의 촬영 시 발생된 촬영 장치의 움직임을 나타내는 대표 회전 정보를 결정하며, 상기 결정된 대표 회전 정보에 기초하여 상기 360도 영상의 왜곡을 보정하는 프로세서를 포함하는, 영상을 처리하는 장치.
  11. 제 10항에 있어서, 상기 프로세서는,
    상기 360도 영상을 기 설정된 다각형의 각 면에 맵핑(mapping)하고, 상기 다각형의 각 면에 맵핑된 영상으로부터 상기 복수의 영역을 획득하는, 영상을 처리하는 장치.
  12. 제 10항에 있어서, 상기 프로세서는,
    상기 360도 영상을 기 설정된 개수에 따라 상기 복수의 영역으로 분할하는, 영상을 처리하는 장치.
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 제 1항 내지 제 3항 중 어느 하나의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020170028544A 2017-03-06 2017-03-06 영상을 처리하는 방법 및 장치 KR102280169B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020170028544A KR102280169B1 (ko) 2017-03-06 2017-03-06 영상을 처리하는 방법 및 장치
EP18763298.9A EP3547250A4 (en) 2017-03-06 2018-03-05 METHOD AND DEVICE FOR PROCESSING AN IMAGE
US16/476,485 US11107193B2 (en) 2017-03-06 2018-03-05 Method and apparatus for processing image
PCT/KR2018/002566 WO2018164425A1 (ko) 2017-03-06 2018-03-05 영상을 처리하는 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170028544A KR102280169B1 (ko) 2017-03-06 2017-03-06 영상을 처리하는 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20180101950A KR20180101950A (ko) 2018-09-14
KR102280169B1 true KR102280169B1 (ko) 2021-07-21

Family

ID=63447912

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170028544A KR102280169B1 (ko) 2017-03-06 2017-03-06 영상을 처리하는 방법 및 장치

Country Status (4)

Country Link
US (1) US11107193B2 (ko)
EP (1) EP3547250A4 (ko)
KR (1) KR102280169B1 (ko)
WO (1) WO2018164425A1 (ko)

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100614004B1 (ko) 2004-11-19 2006-08-21 주식회사 일리시스 자동화된 360°파노라마 이미지 생성 방법
KR100919247B1 (ko) 2008-03-12 2009-09-30 중앙대학교 산학협력단 파노라마 영상 생성장치 및 방법, 그리고 이를 이용한 객체추적장치 및 방법
KR101185589B1 (ko) * 2008-11-14 2012-09-24 (주)마이크로인피니티 움직임 감지를 통한 사용자 명령 입력 방법 및 디바이스
US9563105B1 (en) 2013-04-10 2017-02-07 Ic Real Tech Inc. Screw coupler enabling direct secure fastening between communicating electronic components
JP6157238B2 (ja) 2013-06-25 2017-07-05 オリンパス株式会社 画像処理装置、画像処理方法及び画像処理プログラム
KR102282458B1 (ko) 2015-03-23 2021-07-27 한화테크윈 주식회사 영상안정화장치 및 방법
US10136063B2 (en) 2013-07-12 2018-11-20 Hanwha Aerospace Co., Ltd Image stabilizing method and apparatus
KR20150011938A (ko) 2013-07-24 2015-02-03 한국전자통신연구원 멀티-카메라 플랫폼 기반으로 캡쳐된 파노라마 영상의 안정화 방법 및 장치
KR102234376B1 (ko) * 2014-01-28 2021-03-31 엘지이노텍 주식회사 카메라 시스템, 캘리브레이션 장치 및 캘리브레이션 방법
JP6465553B2 (ja) 2014-02-25 2019-02-06 キヤノン株式会社 撮像装置およびその制御方法
KR102317820B1 (ko) 2015-08-12 2021-10-26 삼성전자주식회사 이미지 처리 방법 및 이를 지원하는 전자장치
CN105681674A (zh) 2016-03-21 2016-06-15 南通大学 基于机械稳像和电子稳像的稳像方法及复合式稳像系统
JP6668170B2 (ja) * 2016-06-07 2020-03-18 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法、およびコンピュータプログラム
KR102536945B1 (ko) * 2016-08-30 2023-05-25 삼성전자주식회사 영상 표시 장치 및 그 동작방법
KR102455382B1 (ko) 2018-03-02 2022-10-18 엘지전자 주식회사 이동단말기 및 그 제어 방법

Also Published As

Publication number Publication date
US11107193B2 (en) 2021-08-31
EP3547250A1 (en) 2019-10-02
US20200020080A1 (en) 2020-01-16
KR20180101950A (ko) 2018-09-14
WO2018164425A1 (ko) 2018-09-13
EP3547250A4 (en) 2019-12-04

Similar Documents

Publication Publication Date Title
US9406137B2 (en) Robust tracking using point and line features
US10506172B2 (en) Camera setting adjustment based on predicted environmental factors and tracking systems employing the same
KR102385024B1 (ko) 카메라 및 자이로스코프의 융합을 이용한 5차원 (5d) 비디오 안정화 장치 및 방법
ES2869438T3 (es) Captura de imágenes asistida por rastreador
EP2851880B1 (en) Method, system and storage medium for controlling an image capture device, in particular of a door station
US9892336B2 (en) Detection devices and methods for detecting regions of interest
US9105104B2 (en) Image processing apparatus,image processing method, and program
KR102566998B1 (ko) 이미지 선명도를 결정하기 위한 장치 및 방법
US11070729B2 (en) Image processing apparatus capable of detecting moving objects, control method thereof, and image capture apparatus
US9536161B1 (en) Visual and audio recognition for scene change events
KR20160103398A (ko) 이미지의 품질 측정 방법 및 장치
US11782572B2 (en) Prioritization for presentation of media based on sensor data collected by wearable sensor devices
CN113711268A (zh) 一种将散景效果应用于图像的电子装置及其控制方法
US9946957B2 (en) Method, apparatus, computer program and system for image analysis
JP2017129904A (ja) 情報処理装置、情報処理方法、及び記録媒体
KR102458938B1 (ko) 선수 추적 방법, 선수 추적 장치 및 선수 추적 시스템
CN116235506A (zh) 用于提供图像的方法和支持该方法的电子装置
US10713480B2 (en) Information processing device and information processing method
KR20160134428A (ko) 이미지를 처리하는 전자 장치 및 그 제어 방법
JP5651659B2 (ja) 物体検出システムおよびプログラム
KR102280169B1 (ko) 영상을 처리하는 방법 및 장치
KR20140103043A (ko) 전자 장치, 전자 장치를 동작하는 방법 및 컴퓨터 판독 가능한 기록 매체
KR102544972B1 (ko) 선수 추적 방법, 선수 추적 장치 및 선수 추적 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant