KR102498383B1 - 전방위 3d 영상의 필터링을 위한 대표 프레임 추출 방법 - Google Patents

Abstract

본 발명의 일 실시예에 따른 전자장치에 의한 전방위 3D 영상의 필터링을 위한 대표 프레임 추출 방법은, 전방위 3D 영상에서 미리 설정된 시간 간격으로 프레임을 추출하고 다운사이징 하여 전처리 하는 단계; 각 프레임의 RGB 데이터를 추출하고, n-1번째 프레임과 n번째 프레임의 RGB 벡터값을 비교하여 임계값 이상의 변위량을 갖는 프레임을 1차 선정하는 단계; 전방위 3D 영상에서 미리 설정된 시야각을 기준으로 객체 추출영역을 설정하고, 딥러닝 기술을 이용하여 각 프레임의 객체 추출영역에서 객체를 추출하여 객체 추출 정보를 생성하는 단계; 및 차 선정된 프레임들 중 상기 객체 추출 정보의 비교 결과에 따라 대표 프레임을 선정하는 단계를 포함하는 것을 특징으로 한다.

Description

전방위 3D 영상의 필터링을 위한 대표 프레임 추출 방법{METHOD REPRESENTATIVE FRAME EXTRACTION METHOD FOR FILTERING OF 3D IMAGES AND APPARATUSES OPERATING THE SAME}

본 발명은 전방위 3D 영상의 필터링을 위한 대표 프레임 추출 방법 및 이를 수행하는 장치에 관한 것이다.

최근 5G가 서비스됨에 따라 5G의 대표적인 서비스인 실감형 360 미디어가 각 이동통신사 미디어플랫폼을 통해 제작 및 배포되고 있다. 하지만 온라인 환경에서 대량으로 불법복제 및 유통되고 있어 저작권 침해가 발생 되고 있다. 현재 불법복제를 판단하는 필터링 기술은 온라인에서 유통되는 동영상, 음악, 게임 등이 저작권자의 허락을 받지 않는 불법복제 여부를 판별함으로써 불법복제의 유통을 차단하는 기술이다. 이러한 필터링 기술은 기본적으로 콘텐츠를 인식하기 위한 방법으로 고유의 특성이 될 수 있는 특징정보를 추출하고 불법 유통되는 콘텐츠의 특징정보와 비교하여 동일한 콘텐츠 여부를 판별하는 과정을 포함한다. 그러나 실감형 360 미디어는 전방위의 이미지를 렌더링하는 과정에서 복수개의 카메라에 의해 촬영된 영상이 한 개의 이미지에 저장되므로, 기존 영상보다 고품질, 초대용량으로 영상의 크기가 크다. 따라서, 기존방식으로 이미지 처리할 경우 영상인식 속도가 느려지는 문제가 있다.

한편, 실감형 360 미디어는 전방위 3D 영상을 인코딩하기 위하여 다양한 프로젝션방식을 사용하여 영상을 압축하게 된다. 이때, 구형 좌표계로 표현된 영상 프레임이 평면으로 전환되면서 프로젝션 방법에 따라 다양한 변형 왜곡이 발생하게 된다. 이러한 실감형 360 미디어의 특징은 기존에 이용되고 있는 필터링 기술을 적용할 수 없으므로 실감형 360 미디어에서 적용할 수 있는 필터링 기술이 요구된다.

상기의 문제점을 해결하기 위해 본 발명에서는 실감형 360 미디어의 필터링 기술을 적용하기 위하여, 실감형 360 미디어의 프레임에서 각각 RGB의 데이터를 추출하여 RGB 벡터를 추출하는 방법과 객체 정보를 추출하는 방법으로 모든 데이터를 추출할 필요 없이 동일 장면(Scene)에 대표되는 프레임인 대표 프레임 선정 방법을 제안한다.

그러나 본 발명의 목적은 상기에 언급된 사항으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 전자장치에 의한 전방위 3D 영상의 필터링을 위한 대표 프레임 추출 방법은 전방위 3D 영상에서 미리 설정된 시간 간격으로 프레임을 추출하고 다운사이징 하여 전처리 하는 단계; 각 프레임의 RGB 데이터를 추출하고, n-1번째 프레임과 n번째 프레임의 RGB 벡터값을 비교하여 임계값 이상의 변위량을 갖는 프레임을 1차 선정하는 단계; 전방위 3D 영상에서 미리 설정된 시야각을 기준으로 객체 추출영역을 설정하고, 딥러닝 기술을 이용하여 각 프레임의 객체 추출영역에서 객체를 추출하여 객체 추출 정보를 생성하는 단계; 및 1차 선정된 프레임들 중 상기 객체 추출 정보의 비교 결과에 따라 대표 프레임을 선정하는 단계를 포함하는 것을 특징으로 한다.

일 실시예에서, 상기 전처리하는 단계는, 다운사이징된 프레임을 구형으로 3D 렌더링 한 후, 영상의 프로젝션 왜곡을 보정하는 것을 특징으로 한다.

일 실시예에서, 상기 추출된 객체 추출영역은 60°~120°의 y축 좌표를 갖는 중간 영역인 것을 특징으로 한다.

일 실시예에서, 상기 프레임을 1차 선정하는 단계는 수학식 1에 따라 변위량을 계산하는 것을 특징으로 한다.

[수학식 1]

여기서, DM은 변위량이고, i는 현재 프레임, i-1은 이전 프레임, BP는 4개의 픽셀을 그룹화한 번들 픽셀이다.

일 실시예에서, 상기 객체 추출 정보는 객체의 카테고리, 키워드, 객체의 좌표데이터, 피처 포인트를 포함하는 것을 특징으로 한다.

일 실시예에서, 상기 객체 추출 정보의 비교 결과에 따라 대표 프레임을 선정하는 단계는, 각 프레임의 피처 포인트가 미리 설정된 범위 내에 있으면 유사한 프레임이라고 판정하여 그룹화하고, 그룹화된 프레임 중 하나의 대표 프레임을 선정하는 것을 특징으로 한다.

본 발명의 다른 실시예에서 전자장치는 전방위 3D 영상에서 미리 설정된 시간 간격으로 프레임을 추출하고 다운사이징 하여 전처리를 수행하는 전처리부; 각 프레임의 RGB 데이터를 추출하고, n-1번째 프레임과 n번째 프레임의 RGB 벡터값을 비교하여 임계값 이상의 변위량을 갖는 프레임을 1차 선정하는 프레임 1차 선정부; 전방위 3D 영상에서 미리 설정된 시야각을 기준으로 객체 추출영역을 설정하고, 딥러닝 기술을 이용하여 각 프레임의 객체 추출영역에서 객체를 추출하여 객체 추출 정보를 생성하는 객체 추출 정보 생성부; 및 1차 선정된 프레임들 중 상기 객체 추출 정보의 비교 결과에 따라 대표 프레임을 선정하는 대표 프레임 선정부를 포함한다.

본 발명에 따른 실감형 360 영상의 필터링 기술에 적용가능한 대표 프레임을 빠르게 선정할 수 있다.

도 1은 본 발명의 일 실시예에 따른 전방위 3D 영상의 필터링을 위한 대표 프레임 추출 방법을 설명하는 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 전자장치의 구성을 설명하기 위한 블럭도이다.
도 3은 본 발명의 일 실시예에 따라 미리 설정된 시간 단위로 추출된 프레임의 일 예이다.
도 4는 본 발명의 일 실시예에 따른 프레임의 다운사이징을 설명하는 예시도이다.
도 5는 본 발명의 일 실시예에 따른 프레임의 왜곡 보정을 설명하기 위한 예시도이다.
도 6은 본 발명의 일 실시예에 따라 시야각에 따른 영상 캡처를 설명하기 위한 개념도이다.
도 7은 본 발명의 일 실시예에 따라 시야각에 따라 캡처된 영상의 일 예를 도시한 도면이다.
도 8는 본 발명의 일 실시예에 따른 RGB 데이터 추출을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 RGB 데이터 추출 방법의 일 예를 나타낸 도면이다.
도 10은 본 발명의 일 실시예에 따른 프레임당 추출된 RGB 벡터를 설명하는 그래프이다.
도 11은 본 발명의 일 실시예에 따라 1차 선별되는 프레임의 일 예를 설명하는 그래프이다.
도 12는 본 발명의 일 실시예에 따른 RGB 벡터에 의해 다른 프레임이라고 선정된 일 예이다.
도 13은 본 발명의 일 실시예에 따라 선정된 최종 대표 프레임의 일 예이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면을 참조하여 상세하게 설명하도록 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재 항목들의 조합 또는 복수의 관련된 기재 항목들 중의 어느 항목을 포함한다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 포함한다고 할때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있다는 것을 의미한다.

본 발명의 상세한 설명에 앞서, 본 발명에서 설명하는 Faster R-CNN 알고리즘은 기존 기법인 Selective Search 기법과는 다르게, Region Proposal Network를 사 용하여 CNN을 통해 생성된 Feature Map을 통해 n*n 크기의 sliding Window로 256차원 또는 512차 원의 feature vector를 생성한다. 이를 기반으로 후 정보영역에 대한 4개의 box 좌표 값을 산출하여 관심 영역을 만들어 내고 마지막으로 Fully Connection Layer를 적용하여 객체를 검출한다.

또한, 본 발명에서 설명하는 K-NN 알고리즘은 최근접 이웃 알고리즘으로써 k개의 가장 가까운 이웃을 이용하여 데이터 집합에 있는 표본 간의 유사도에 따라 라벨이 붙지 않는 표본들을 직관적으로 분류하는 방법이다. 데이터의 흐름과 분포와 어떤 측정법에 사용하는지에 따라 결과 값이 매우 달라지며, 대부분 유클리드거리 측정을 사용하여 유사도를 측정한다.

이하, 첨부된 도면을 참조하여 본 발명의 일 실시예에 대해 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 전방위 3D 영상의 필터링을 위한 대표 프레임 추출 방법을 설명하는 흐름도이고, 도 2는 본 발명의 일 실시예에 따른 전자장치의 구성을 설명하기 위한 블럭도이다.

이하, 도 2의 전자장치에 의해 수행되는 전방위 3D 영상의 필터링을 위한 대표 프레임 추출 방법을 도 1 및 도 2를 참조하여 설명한다.

도 1을 참조하면, 먼저, 단계 S110에서 전처리부(110)는 전방위 3D 영상에서 전처리를 수행하여 다음 단계를 위한 데이터셋을 생성한다.

일 실시예에서 전처리부는 미리 설정된 시간 간격으로 프레임을 추출하고 다운사이징 한다. 전방위 3D 영상 즉, 실감형 360 영상에서 미리 설정된 시간 단위 예컨대 1초 단위로 프레임(I-frmae)을 추출한다.

도 3은 본 발명의 일 실시예에 따라 미리 설정된 시간 단위로 추출된 프레임의 일 예이고 도 4는 본 발명의 일 실시예에 따른 프레임의 다운사이징을 설명하는 예시도이고, 도 5는 본 발명의 일 실시예에 따른 프레임의 왜곡 보정을 설명하기 위한 예시도이다.

도 3을 참조하면, 실감형 360 영상은 카메라를 임의의 장소에 고정시켜 촬영하기 때문에 동일 장면(Scene)에서 배경은 거의 동일한 것을 확인할 수 있다.

일 실시예에서 프레임 추출을 위해 OpenCV FFmpeg lib를 이용할 수 있으나, 이에 한정하는 것은 아니다.

실감형 360 영상에서 해상도를 변형하거나 화면 비율을 변형하는 경우 영상의 색상 정보가 변경되는 현상이 발생할 수 있다. 때문에 도 4와 같이, 추출된 프레임에 대하여 원본과 동일한 비율의 크기로 프레임을 다운사이징 한다.

다음, 다운사이징된 프레임에 대한 왜곡을 보정한다. 이로써, 인식률이 향상될 수 있다.

일 실시예에서, 도 5를 참조하면, 평면의 실감형 360 미디어 프레임을 구형으로 3D 렌더링한 후 각 각도에 따라 캡처를 진행한다. 캡처된 프레임들을 조합하여 하나의 프레임으로 변환하고, 영상의 프로젝션 왜곡을 동일하게 보정하고 구형 좌표계에서 발생한 왜곡을 최소화 시킨다.

다시 도 1로 되돌아와서, 다음 단계 S120에서, 1차 선정부(120)는 왜곡이 보정된 프레임에서 RGB 데이터를 추출하고, n-1번째 프레임과 n번째 프레임의 RGB 벡터값을 비교하여 임계값 이상의 변위량을 갖는 프레임을 1차 선정한다.

이 때 시야각에 따라 중간으로 분할된 구역의 프레임만을 이용할 수 있다. 시야각에 따라 중간으로 분할된 구역은 왜곡이 적고 중요한 장면이 위, 아래와 비교하여 집중되는 특징을 보이기 때문이다.

도 6은 본 발명의 일 실시예에 따라 시야각에 따른 영상 캡처를 설명하기 위한 개념도이고, 도 7은 본 발명의 일 실시예에 따라 시야각에 따라 캡처된 영상의 일 예를 도시한 도면이다.

도 6을 참조하면, 구형으로 랜더링된 이미지에서 시야각에 따라, 아래(bottom), 중간(middle), 위(top)부분으로 분할하여 캡처한다.

시야각을 x축을 90°도 간격으로 y축을 60°도 간격으로 캡처하며, 각 시야각에 따라 캡처되는 좌표는 표 1과 같이 나타낼 수 있다.

[표 1]

표 1과 같이 시야각에 따라 캡쳐되는 좌표를 표 2와 같이 픽셀로 표시할 수 있다.

[표 2]

도 7에 도시한 바와 같이, 유의미한 60°~120°의 y축 좌표를 갖는 중간 영역에서, 각 프레임의 RGB 데이터를 추출하고, n-1번째 프레임과 n번째 프레임의 RGB 벡터값을 비교하여 임계값 이상의 변위량을 갖는 프레임을 1차 선정할 수 있다.

도 8는 본 발명의 일 실시예에 따른 RGB 데이터 추출을 설명하기 위한 도면이고, 도 9는 본 발명의 일 실시예에 따른 RGB 데이터 추출 방법의 일 예를 나타낸 도면이다.

도 8을 참조하면, 전처리 과정에서 캡처된 프레임에서 RGB 데이 터를 추출하기 위한 영역으로 중앙 부분 4개를 이용하여 데이터를 추출한다.

프레임에서 추출한 각 RGB 데이터에서 가장 큰 값만 각 픽셀의 대표값으로 선정한다. 대표값에 따라 R：00, G：01, B：10과 같이 2bit의 데이터로 표시하며 4개의 픽셀을 하나로 묶어 1Byte의 값으로 표시한다. 하나의 큰 픽셀로 다시 생성된 4개의 픽셀은 2차원 배열의 형태로 좌표를 설정한다. 각 배열에서는 추출된 RGB 데이터의 대표값으로 선정한다. 도 9를 참조하면, 예를 들어, 4개의 픽셀에서 대표되는 값이 순서대로 R, G, R, B이면 00010010으로 1Byte의 값으로 표시할 수 있다. 이렇게 각각 RGB 벡터를 추출하며, 하나의 프레임에서 25.6Kbyte의 값이 추출된다.

일 실시예에서, 추출된 RGB 벡터를 이용하여 변위량을 계산하고, 미리 설정된 임계값 이상의 프레임만을 1차 선정한다.

일 실시예에서, 이전 프레임(n번째 프레임)과 다음 프레임(n+1번째 프레임)의 RGB 벡터를 비교하여 변위량을 계산한다. 변위량은 수학식 1에 의해 계산할 수 있다.

[수학식 1]

여기서, DM은 변위량, i는 현재 프레임, i-1은 이전 프레임, BP는 번들 픽셀(Bundle Pixel)의 약자로 도 5의 (a)와 같이 4개의 픽셀을 하나로 묶었다는 것을 의미한다.

이와 같이 계산된 변위량에서 이전 프레임과 현재 프레임을 비교하여 유사한 프레임인지 다른 프레임인지 수학식 2의 임계값 계산을 통해 판단할 수 있다

[수학식 2]

여기서, CV는 Critical Value의 약자로 임계값을 말하며, lf는 마지막 프레임을 뜻하며, 임계값은 이전 프레임 변위량에서 현재 프레임 변위량을 뺀 절대값이다.

다시 도 1로 되돌아가서 단계 S130에서 객체 추출 정보 생성부(130)는 전방위 3D 영상에서 미리 설정된 시야각을 기준으로 객체 추출영역을 설정하고, 딥러닝 기술을 이용하여 각 프레임의 객체 추출영역에서 객체를 추출하여 객체 추출 정보를 생성한다.

단계 S120에서, 생성된 RGB 벡터의 정보는 사람의 눈으로 볼 때 같은 색상이라고 하더라도 실제 추출되는 벡터값이 상이하므로, RGB 데이터만으로 대표값을 선정할 때의 오류를 보상하기 위해, 객체 정보를 이용하여 이중으로 판단한다.

일 실시예에서, 딥러닝을 기술인 Faster R-CNN 알고리즘을 통해 객체 정보를 추출할 수 있다. 실감형 360도 영상에서 대표 프레임을 선정하기 위해 1초당 하나씩 추출되는 모든 프레임에서 딥러닝 기술인 Faster R-CNN 알고리즘을 이용하여 추출되는 객체 정보를 추출한다. 추출되는 객체 정보는 표 3에 나타낸 바와 같이, 객체의 카테고리, 키워드, 객체의 좌표데이터, 피처 포인트를 포함할 수 있다.

[표 3]

각 프레임에서 추출되는 모든 객체에 고유의 객체 번호를 부여한다. 객체는 두 가지 키워드를 부여하는데 카테고리와 키워드이다. 카테고리는 식물, 동물, 과일 등과 같은 항목이며, 키워드는 카테고리가 과일일 경우 바나나, 딸기 등과 같은 항목이다.

일 실시예에서, 객체 추출은 Faster R-CNN 알고리즘을 이용하여 생성될 수 있으나, 이에 한정하는 것은 아니다.

좌표데이터는 픽셀을 기준으로 추출된 x좌표와 y좌표에 기초하여 생성된다. 일 실시예에서, 좌표데이터는 Faster R-CNN 알고리즘을 이용하여 생성될 수 있으나, 이에 한정하는 것은 아니다. 객체 정보를 추출할 때 바운딩 박스로 추출되는데, 바운딩 박스의 왼쪽 상단을 x좌표, 오른쪽 하단을 y좌표로 추출하고 K-Nearest Neighbor 알고리즘을 이용한 특징정보를 추출하며, 특징정보의 단위는 숫자로 추출될 수 있다.

Faster R-CNN 알고리즘에 의해 학습하기 위해서는 먼저 데이터셋 수집이 우선된다.

딥러닝 기반으로 객체 특징정보를 추출하기 위해 사전에 객체 정보를 학습하여야 한다. 일 실시예에서, 학습 자료는 Image-Net에서 제공하는 데이터셋을 이용하여 학습하였으며, 동물, 식물, 사람 등을 포함한 1,000개의 카테고리로 데이터셋을 수집하고, 추출되는 객체에 대해 표 3의 메타데이터 항목을 기준으로 객체 정보를 추출한다.

도 1의 단계 S140에서, 대표 프레임 선정부(140)는 1차 선정된 프레임들 중 상기 객체 추출 정보의 비교 결과에 따라 대표 프레임을 선정한다.

일 실시예에서, 표 1의 메타데이터에서 비교하는 특징정보는 먼저 Location(x, y)를 비교하여 일치하면 피처 포인트(Feature Point)를 비교하여 대표 프레임을 선정한다.

이하, 도 2의 전자장치의 대표 프레임 선정 방법의 일 예를 도 9 내지 도 13을 참조하여 상세히 설명한다.

도 10은 본 발명의 일 실시예에 따른 프레임당 추출된 RGB 벡터를 설명하는 그래프이고, 도 11은 본 발명의 일 실시예에 따라 1차 선별되는 프레임의 일 예를 설명하는 그래프이다.

도 10을 참조하면, 일 실시예에서, 1초에 1프레임씩 60개의 프레임을 추출한다. 임계값은 각 2진수로 되어 있는 모든 데이터를 10진수로 변환하여 계산한다.

프레임 추출을 위한 RGB 벡터의 임계값은 이전 프레임과 현재 프레임에서 수학식 2로 추출한 임계값을 뺀 결과가 이전 대비 미리 설정된 기준 예컨대 25% 이상인 프레임을 1차로 선정한다.

도 12는 본 발명의 일 실시예에 따른 RGB 벡터에 의해 다른 프레임이라고 선정된 일 예이고, 도 13은 본 발명의 일 실시예에 따라 선정된 최종 대표 프레임의 일 예이다.

도 11을 참조하면, 이전 대비 미리 설정된 기준 25% 이상이 서로 상이한 프레임은 총 10개가 추출되는 것을 확인 할 수 있다.

이렇게 1차로 선정된 프레임으로 객체의 피처 포인트를 비교하여 최종 대표 프레임으로 선정한다. 도 12를 참조하면 1차로 추출된 프레임의 패턴은 임계 값에서 이전 대비 미리 설정된 기준 25% 이상 값이 상이한 프레임으로 선정되었으나, 육안으로 확인해 볼 때 같은 프레임임을 확인할 수 있다.

도 11의 일 실시예에 따라 추출된 각 프레임의 피처 포인트의 일 예를 표 4에 나타내었다.

도 11에서의 ③, ⑤, ⑦과 같이 어떠한 피처 포인트도 추출할 수 없는 프레임은 대표 프레임이 될 수 없으므로 삭제한다. 이와 같이 어떠한 피처 포인트가 0인 값은 장면 전환 되면서 화면이 검게 되었다가 다른 장면으로 전환되는 등의 화면일 수 있다.

도 11과 표 4를 참조하면, 프레임 ①, ②와 프레임 ⑧, ⑨, ⑩이 각각 같은 프레임은 피처 포인트가 미리 설정된 범위내에 존재하는 바, 서로 유사한 프레임임을 확인할 수 있다. 서로 유사한 프레임내에서는 제일 앞의 프레임을 대표 프레임으로 할 수 있으나 이에 한정하는 것은 아니다. 예를 들어, 제일 뒤의 프레임 또는 피처 포인트가 가장 큰 프레임을 대표 프레임으로 선정할 수 있다. 따라서, 유사 프레임 그룹인 프레임 ①, ②, ⑧, ⑨, ⑩ 중 대표 프레임은 프레임 ①일 수 있다.

다시 말하면, 피처 포인트에 기초하여 미리 설정된 범위 내에 있는 피처 포인트를 갖는 프레임들을 유사 프레임으로 그룹화하고, 그룹화된 유사 프레임 내에서 하나의 대표 프레임을 선정할 수 있다.

전술한 방법에 따라 최종 대표 프레임은 도 13과 같이 선정될 수 있다.

전술한 바와 같이 본 발명의 일 실시예에 따른 전방위 3D 영상의 필터링을 위한 대표 프레임 추출 방법에 의해

이와 같이 미리 설정된 시간 단위로 영상을 추출하여 특징정보를 저장하게 되면 객체가 이동하는 경로를 색상의 변화 값으로 추정 할 수 있다.

본 발명의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.

한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.

상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 를 포함한다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

110 : 전처리부
120 : 프레임 1차 선정부
130 : 객체 추출 정보 생성부
140 : 대표 프레임 선정부

Claims (14)

1. 전자장치에 의한 전방위 3D 영상의 필터링을 위한 대표 프레임 추출 방법으로서,
   전방위 3D 영상에서 미리 설정된 시간 간격으로 프레임을 추출하고 다운사이징 하여 전처리 하는 단계;
   각 프레임의 RGB 데이터를 추출하고, n-1번째 프레임과 n번째 프레임의 RGB 벡터값을 비교하여 임계값 이상의 변위량을 갖는 프레임을 1차 선정하는 단계;
   여기서, 상기 프레임을 1차 선정하는 단계는 수학식 1에 따라 변위량을 계산하며;
   [수학식 1]
   

   

   
   (DM은 변위량이고, i는 현재 프레임, i-1은 이전 프레임, BP는 4개의 픽셀을 그룹화한 번들 픽셀)
   전방위 3D 영상에서 미리 설정된 시야각을 기준으로 객체 추출영역을 설정하고, 딥러닝 기술을 이용하여 각 프레임의 객체 추출영역에서 객체를 추출하여 객체 추출 정보를 생성하는 단계; 및
   1차 선정된 프레임들 중 상기 객체 추출 정보의 비교 결과에 따라 대표 프레임을 선정하는 단계
   를 포함하는 전방위 3D 영상의 필터링을 위한 대표 프레임 추출 방법.
   
2. 제1항에 있어서,
   상기 전처리하는 단계는,
   다운사이징된 프레임을 구형으로 3D 렌더링 한 후, 영상의 프로젝션 왜곡을 보정하는 것을 특징으로 하는 전방위 3D 영상의 필터링을 위한 대표 프레임 추출 방법.
   
3. 제1항에 있어서,
   상기 추출된 객체 추출영역은 60°~120°의 y축 좌표를 갖는 중간 영역인 것을 특징으로 하는 전방위 3D 영상의 필터링을 위한 대표 프레임 추출 방법.
   
4. 삭제
5. 제1항에 있어서,
   상기 객체 추출 정보는 객체의 카테고리, 키워드, 객체의 좌표데이터, 피처 포인트를 포함하는 것을 특징으로 하는 전방위 3D 영상의 필터링을 위한 대표 프레임 추출 방법.
   
6. 제5항에 있어서,
   상기 피처 포인트는 상기 객체 추출 영역에 K-Nearest Neighbor 알고리즘을 적용하여 생성되는 것을 특징으로 하는 전방위 3D 영상의 필터링을 위한 대표 프레임 추출 방법.
   
7. 제5항에 있어서,
   상기 객체 추출 정보의 비교 결과에 따라 대표 프레임을 선정하는 단계는,
   각 프레임의 피처 포인트가 미리 설정된 범위 내에 있으면 유사한 프레임이라고 판정하여 그룹화하고, 그룹화된 프레임 중 하나의 대표 프레임을 선정하는 것을 특징으로 하는 전방위 3D 영상의 필터링을 위한 대표 프레임 추출 방법.
   
8. 전방위 3D 영상에서 미리 설정된 시간 간격으로 프레임을 추출하고 다운사이징 하여 전처리를 수행하는 전처리부;
   각 프레임의 RGB 데이터를 추출하고, n-1번째 프레임과 n번째 프레임의 RGB 벡터값을 비교하여 임계값 이상의 변위량을 갖는 프레임을 1차 선정하는 프레임 1차 선정부;
   전방위 3D 영상에서 미리 설정된 시야각을 기준으로 객체 추출영역을 설정하고, 딥러닝 기술을 이용하여 각 프레임의 객체 추출영역에서 객체를 추출하여 객체 추출 정보를 생성하는 객체 추출 정보 생성부; 및
   1차 선정된 프레임들 중 상기 객체 추출 정보의 비교 결과에 따라 대표 프레임을 선정하는 대표 프레임 선정부를 포함하며,
   상기 프레임 1차 선정부는 수학식 1에 따라 변위량을 계산하며,
   [수학식 1]
   

   

   
   여기서, DM은 변위량이고, i는 현재 프레임, i-1은 이전 프레임, BP는 4개의 픽셀을 그룹화한 번들 픽셀인 전자장치.
   
9. 제8항에 있어서,
   상기 전처리부는,
   다운사이징된 프레임을 구형으로 3D 렌더링 한 후, 영상의 프로젝션 왜곡을 보정하는 것을 특징으로 하는 전자장치.
   
10. 제8항에 있어서,
    상기 추출된 객체 추출영역은 60°~120°의 y축 좌표를 갖는 중간 영역인 것을 특징으로 하는 전자장치.
    
11. 삭제
12. 제8항에 있어서,
    상기 객체 추출 정보는 객체의 카테고리, 키워드, 객체의 좌표데이터, 피처 포인트를 포함하는 것을 특징으로 하는 전자장치.
    
13. 제12항에 있어서,
    상기 피처 포인트는 상기 객체 추출 영역에 K-Nearest Neighbor 알고리즘을 적용하여 생성되는 것을 특징으로 하는 전자장치.
    
14. 제12항에 있어서,
    상기 대표 프레임 선정부는 각 프레임의 피처 포인트가 미리 설정된 범위 내에 있으면 유사한 프레임이라고 판정하여 그룹화하고, 그룹화된 프레임 중 하나의 대표 프레임을 선정하는 것을 특징으로 하는 전자장치.
    
    
    
    

Images