KR102225753B1 - 딥러닝 기반 파노라마 영상의 품질 평가 방법 및 그 장치 - Google Patents

딥러닝 기반 파노라마 영상의 품질 평가 방법 및 그 장치 Download PDF

Info

Publication number
KR102225753B1
KR102225753B1 KR1020200108413A KR20200108413A KR102225753B1 KR 102225753 B1 KR102225753 B1 KR 102225753B1 KR 1020200108413 A KR1020200108413 A KR 1020200108413A KR 20200108413 A KR20200108413 A KR 20200108413A KR 102225753 B1 KR102225753 B1 KR 102225753B1
Authority
KR
South Korea
Prior art keywords
error
image
binary mask
stitching
distortion
Prior art date
Application number
KR1020200108413A
Other languages
English (en)
Inventor
이종원
하야트 울라
Original Assignee
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단 filed Critical 세종대학교산학협력단
Priority to KR1020200108413A priority Critical patent/KR102225753B1/ko
Application granted granted Critical
Publication of KR102225753B1 publication Critical patent/KR102225753B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

딥러닝 기반 스티치된 파노라마 영상의 품질 평가 방법 및 그 장치가 개시된다. 딥러닝 기반 스티치된 파노라마 영상의 품질 평가 방법은, (a) 스티치된 파노라마 영상을 고정 크기 패치로 각각 분할하는 단계; (b) 상기 분할된 각 패치를 학습된 스티칭 오류 세그먼테이션 모델에 각각 적용하여 왜곡된 영역을 각각 추출한 후 상기 각각의 왜곡된 영역에 대한 이진 마스크 맵을 생성하는 단계; 및 (c) 상기 이진 마스크 맵을 이용하여 상기 스티치된 파노라마 영상에 대한 영상 품질을 도출하는 단계를 포함한다.

Description

딥러닝 기반 파노라마 영상의 품질 평가 방법 및 그 장치{Deep learning-based panorama image quality evaluation method and device}
본 발명은 딥러닝 기반 파노라마 영상의 품질 평가 방법 및 그 장치에 관한 것이다.
가상 현실(VR) 기술 발전은 군사 훈련을 위한 실감나는 전장 시뮬레이션, 생산 부분에 대한 가상 지원, 고급 사용자 인터페이스를 통한 몰입형 대화식 사용자 경험 등 다양한 작업에 대한 시뮬레이션 및 상호 작용 기술을 크게 발전시켰다. 이러한 가상현실 등에 사용되는 몰입형 콘텐츠는 주변을 360도 수평 FoV를 가지며 180도 수직 FoV를 가지는 파노라마 영상 시퀀스이다.
이러한 파노라마 콘텐츠의 경우 사소한 시각적 아티팩트(artifact)는 몰입형 미디어 및 가상현실 사용자의 전반적인 사용자 경험에 크게 영향을 미친다. 따라서, 가상현실 및 360도 비디오를 생성하기 전에 파노라마 콘텐츠의 품질을 검증하는 과정이 필요하다.
종래의 방법으로는 FR-SIQA(Full-Reference stitched image quality assessment)와 NR-SIQA(No-reference stitched image quality assessment) 기법이 존재한다. 그러나, FR-SIQA 방법은 방대한 양의 기준 스티치 영상을 필요로 하며, 실시간으로 사용하기 비실용적이다.
또한, NR-SIQA는 특정 왜곡을 지역화(localize)하는 것이 불가능하며, 특정 스티칭 왜곡을 획득하기 위해 계산적으로 매우 복잡한 문제가 있다.
본 발명은 딥러닝 기반 스티치된 파노라마 영상의 품질 평가 방법 및 그 장치를 제공하기 위한 것이다.
또한, 본 발명은 스티칭 왜곡 분할을 기반으로 스티치 영상 품질을 평가할 수 있으며, 실시간 품질 평가가 가능한 딥러닝 기반 스티치된 파노라마 영상의 품질 평가 방법 및 그 장치를 제공하기 위한 것이다.
또한, 본 발명은 시차 에러, 블랜딩 에러 및 블러 에러를 캡처하고, 왜곡된 특정 영역을 추출하여 개별 처리가 가능한 딥러닝 기반 스티치된 파노라마 영상의 품질 평가 방법 및 그 장치를 제공하기 위한 것이다.
본 발명의 일 측면에 따르면, 딥러닝 기반 스티칭을 통해 생성된 파노라마 영상의 품질 평가 방법이 제공된다.
본 발명의 일 실시예에 따르면, (a) 스티치된 파노라마 영상을 고정 크기 패치로 각각 분할하는 단계; (b) 상기 분할된 각 패치를 학습된 스티칭 오류 세그먼테이션 모델에 각각 적용하여 왜곡된 영역을 각각 추출한 후 상기 각각의 왜곡된 영역에 대한 이진 마스크 맵을 생성하는 단계; 및 (c) 상기 이진 마스크 맵을 이용하여 상기 스티치된 파노라마 영상에 대한 영상 품질을 도출하는 단계를 포함하는 딥러닝 기반 스티치된 파노라마 영상의 품질 평가 방법이 제공될 수 있다.
상기 이진 마스크 맵은, 배경, 시차 왜곡 에러, 블랜딩 왜곡 에러 및 블러 왜곡 에러 각각에 대한 예측 결과를 기반으로 픽셀값을 이진화하여 생성될 수 있다.
상기 배경에 대한 픽셀값의 픽셀 레이블은 상기 시차 왜곡 에러, 상기 블랜딩 왜곡 에러 및 상기 블러 왜곡 에러의 픽셀 레이블과 역관계를 가지도록 형성될 수 있다.
상기 (b) 단계는, 상기 각 패치를 통합하여 세그먼트화된 스티치 영상을 더 생성하되, 상기 (c) 단계는, 상기 이진 마스크 맵을 이용하여 상기 세그먼트화된 스티치 영상에서 왜곡된 영역의 픽셀수를 도출한 후 상기 왜곡된 영역의 픽셀수를 이용하여 상기 영상 품질을 도출할 수 있다.
상기 스티칭 오류 세그먼테이션 모델은, 스티칭 에러 분류 손실, 바운드 박스 회귀 손실 및 마스크 예측 손실을 고려하여 학습될 수 있다.
상기 스티칭 오류 세그먼테이션 모델은, 복수의 스티칭 에러 분류기를 포함하되, 각 스티칭 에러 분류기는 기학습된 가중치를 기반으로 선택적으로 특정 스티칭 에러 분류기에 대한 가중치 파라미터를 회귀 학습할 수 있다.
본 발명의 다른 측면에 따르면, 딥러닝 기반 스티치된 파노라마 영상의 품질 평가를 위한 장치가 제공된다.
본 발명의 일 실시예에 따르면, 적어도 하나의 명령어를 저장하는 메모리; 및 상기 메모리에 저장된 명령어를 실행하는 프로세서를 포함하되, 상기 명령어는, (a) 스티치된 파노라마 영상을 고정 크기 패치로 각각 분할하는 단계; (b) 상기 분할된 각 패치를 학습된 스티칭 오류 세그먼테이션 모델에 각각 적용하여 왜곡된 영역을 각각 추출한 후 상기 각각의 왜곡된 영역에 대한 이진 마스크 맵을 생성하는 단계; 및 (c) 상기 이진 마스크 맵을 이용하여 상기 스티치된 파노라마 영상에 대한 영상 품질을 도출하는 단계를 수행하는 것을 특징으로 하는 장치가 제공될 수 있다.
본 발명의 일 실시예에 따른 딥러닝 기반 스티치된 파노라마 영상의 품질 평가 방법 및 그 장치를 제공함으로써, 스티칭 왜곡 분할을 기반으로 스티치 영상 품질을 평가할 수 있으며, 실시간 품질 평가가 가능한 이점이 있다.
또한, 본 발명은 시차 에러, 블랜딩 에러 및 블러 에러를 캡처하고, 왜곡된 특정 영역을 추출하여 개별 처리가 가능한 이점이 있다.
도 1은 본 발명의 일 실시예에 따른 딥러닝 기반 스티치된 파노라마 영상의 품질 평가 방법을 나타낸 순서도.
도 2는 본 발명의 일 실시예에 따른 스티칭 오류 세그먼테이션 모델의 세부 구조를 도시한 도면.
도 3은 본 발명의 일 실시예에 따른 입력 영상을 각각의 패치로 분할한 일 예를 도시한 도면.
도 4는 본 발명의 일 실시예에 따른 세그먼트화된 스티치 영상을 도시한 도면.
도 5는 본 발명의 일 실시예에 따른 이진 마스크 맵에서 개별 이진 마스크를 단편화한 일 예를 도시한 도면.
도 6은 본 발명의 일 실시예에 따른 개별 이진 마스크를 이용하여 왜곡된 영역을 추출한 일 예를 도시한 도면.
도 7은 본 발명의 일 실시예에 따른 장치의 내부 구성을 개략적으로 도시한 블록도.
본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 딥러닝 기반 스티치된 파노라마 영상의 품질 평가 방법을 나타낸 순서도이며, 도 2는 본 발명의 일 실시예에 따른 스티칭 오류 세그먼테이션 모델의 세부 구조를 도시한 도면이고, 도 3은 본 발명의 일 실시예에 따른 입력 영상을 각각의 패치로 분할한 일 예를 도시한 도면이며, 도 4는 본 발명의 일 실시예에 따른 세그먼트화된 스티치 영상을 도시한 도면이고, 도 5는 본 발명의 일 실시예에 따른 이진 마스크 맵에서 개별 이진 마스크를 단편화한 일 예를 도시한 도면이며, 도 6은 본 발명의 일 실시예에 따른 개별 이진 마스크를 이용하여 왜곡된 영역을 추출한 일 예를 도시한 도면이다.
단계 110에서 장치(100)는 훈련 데이터 세트를 이용하여 스티칭 오류 세그먼테이션 모델을 학습한다.
스티칭 오류 세그먼테이션 모델을 학습하는 방법에 대해 우선 상세히 설명하기로 한다.
스티칭 오류 세그먼테이션 모델의 상세 구조는 도 2에 도시된 바와 같다. 본 발명의 일 실시예에 따른 스티칭 오류 세그먼테이션 모델은 R-CNN 기반 모델로 왜곡된 영역을 검출하고, 검출된 왜곡 영역을 분석하여 왜곡 에러에 따라 분류하여 학습하며, 이진 마스크를 생성할 수 있다.
스티칭 오류 세그먼테이션 모델은 훈련 데이터 세트를 이용하여 기학습된 가중치를 기반으로 특정 에러에 대한 분류(classification) 모델을 학습할 수 있다. 본 발명의 일 실시예에 따르면 스티칭 오류 세그먼테이션 모델은 시차 에러, 블랜딩 에러 및 블러 에러 각각에 대한 훈련 데이터 세트를 이용하여 각각의 에러에 대해 세분화된 분류 모델을 선택적으로 학습할 수 있다.
또한, 본 발명의 일 실시예에 따른 스티칭 오류 세그먼테이션 모델은 ResNet50과 Resnet101를 포함하며, 서로 다른 두가지 백본 CNN을 기반으로 학습될 수 있다.
스티칭 오류 세그먼테이션 모델의 각각의 구성에 대해 간략하게 설명하기로 한다.
본 발명의 일 실시예에 따르면 스티칭 오류 세그먼테이션 모델은 특징 추출부(210), 왜곡 영역 검출부(215), 분류부(220) 및 마스크 생성부(230)를 포함하여 구성된다.
특징 추출부(210)는 스티칭 파노라마 영상에 대한 특징 벡터를 추출하여 특징맵을 출력하기 위한 수단이다.
왜곡 영역 검출부(215)는 특징맵을 이용하여 스티칭 왜곡이 있는 영역을 검출하기 위한 수단이다. 즉, 왜곡 영역 검출부(215)는 특징맵을 분석하여 스티칭 오류가 있는 관심 영역을 검출하고, 검출된 관심 영역을 분할한다.
분류부(220)는 분할된 관심 영역을 학습하여 스티칭 에러를 왜곡 종류에 따라 분류 학습하기 위한 수단이다. 분류부(220)는 복수의 분류기를 포함하며, 각각의 분류기는 각각의 스티치 왜곡 분류에 매핑될 수 있다. 따라서, 분류부(220)는 가중치를 활용하여 분할된 관심 영역에 대한 특정 분류기의 브랜치만 선택적으로 학습할 수 있다.
마스크 생성부(225)는 분할된 관심영역에 대한 마스크를 생성하기 위한 수단이다. 이때, 마스크 생성부(225)는 복수의 콘볼루션 연산을 통해 분할된 관심 영역을 통합하여 이진 마스크 맵을 생성할 수 있다.
본 발명의 일 실시예에 따르면 스티칭 오류 세그먼테이션 모델은 스티칭 에러를 분할하기 위해 스티칭 에러 왜곡 분류 손실, 바운드 박스 회귀 손실 및 마스크 예측 손실을 고려한 조인트 손실 함수(joint loss function)가 최소가 되도록 학습될 수 있다.
조인트 손실 함수는 수학식 1과 같이 나타낼 수 있다.
Figure 112020090353387-pat00001
여기서,
Figure 112020090353387-pat00002
는 분류 손실을 나타내고,
Figure 112020090353387-pat00003
는 바운드 박스 회귀 손실을 나타내며,
Figure 112020090353387-pat00004
는 마스크 예측 손실을 나타낸다.
분류 손실은 수학식 2를 이용하여 계산될 수 있다.
Figure 112020090353387-pat00005
여기서,
Figure 112020090353387-pat00006
는 분류 개수를 나타내고,
Figure 112020090353387-pat00007
는 i번째 관심 영역의 예측 확률을 나타낸다. 여기서,
Figure 112020090353387-pat00008
는 전경이면 양수로 예측되고, 배경이면 음수로 예측된다. 또한,
Figure 112020090353387-pat00009
는 i번째 관심 영역의 실제 확률을 나타내며, 전경 영역이면 1이고 배경 영역이면 0으로 설정될 수 있다.
바운드 박스 회귀 손실은 수학식 3을 이용하여 계산될 수 있다.
Figure 112020090353387-pat00010
여기서,
Figure 112020090353387-pat00011
는 관찰 특징맵에서의 픽셀 수를 나타내고,
Figure 112020090353387-pat00012
는 평탄화 함수(smoothing function)
Figure 112020090353387-pat00013
를 나타내며,
Figure 112020090353387-pat00014
는 예측된 관심 영역의 변환 및 스케일링 파라미터를 나타내고,
Figure 112020090353387-pat00015
는 실제 관심 영역의 변환 및 스케일링 파라미터를 나타낸다.
또한, 마스크 예측 손실은 수학식 4와 같이 계산될 수 있다.
Figure 112020090353387-pat00016
Figure 112020090353387-pat00017
는 m x m 왜곡 영역을 나타내고,
Figure 112020090353387-pat00018
는 왜곡 영역 m x m내 (i,j) 좌표에서 실제 라벨을 나타내고,
Figure 112020090353387-pat00019
는 k번째 분류에 대해 (i,j) 좌표에서 예측된 라벨을 나타낸다.
본 발명의 일 실시예에서는 4개의 분류를 이용하는 것을 가정하여 설명하기로 한다. 4개의 분류는 배경, 시차 왜곡 에러, 블랜딩 왜곡 에러 및 블러 왜곡 에러이며, 각각의 라벨은 편의상 0, 1, 2, 3으로 설정하기로 한다.
예를 들어, 포지티브 예측에 대해 블랜딩 왜곡 에러 마스크에 대한 픽셀 라벨은
Figure 112020090353387-pat00020
이며, 시차 왜곡 에러 마스크 픽셀 라벨은
Figure 112020090353387-pat00021
이다.
반면, 네거티브 예측에 대해 블러 왜곡 에러 마스크를 위한 픽셀 라벨은
Figure 112020090353387-pat00022
이고, 블랜딩 왜곡 에러 마스크에 대한 픽셀 라벨은
Figure 112020090353387-pat00023
이다. 배경 분류에 대한 픽셀 라벨 예측은 전경 분류 예측에 대한 역 관계를 가진다. 예를 들어, (i,j)에서 관찰 픽셀이 배경 픽셀이면
Figure 112020090353387-pat00024
이고, 관찰 픽셀이 스티칭 에러 분류 중 어느 하나의 전경 픽셀이면
Figure 112020090353387-pat00025
일 수 있다.
단계 115에서 장치(100)는 스티치된 파노라마 영상을 전처리하여 고정된 크기를 가지는 복수의 패치로 각각 분할한다.
스티치된 파노라마 영상 특성상 일반 2D 영상과 비교하여 FoV(Field of View)가 넓기 때문에 원래 해상도로 스티칭 오류 세그먼테이션 모델에 적용할 수 없다.
따라서, 장치(100)는 스티치된 파노라마 영상을 고정된 크기를 가지는 복수의 패치로 각각 분할할 수 있다. 예를 들어, 장치(100)는 스티치된 파노라마 영상을 m x n x c 고정 크기를 갖는 패치로 각각 분할할 수 있다. 여기서, m과 n은 각각 높이 및 너비를 나타내며, c는 채널을 나타낸다. 본 발명의 일 실시예에서는 m과 n은 각각 256이며, c는 3인 것을 가정하기로 한다.
도 3에는 스티치된 파노라마 영상을 고정된 크기를 가지는 복수의 패치로 각각 분할한 일 예가 도시되어 있다. 분할되는 패치의 크기는 구현 방법에 따라 달라질 수도 있음은 당연하다.
단계 120에서 장치(100)는 분할된 각각의 패치를 스티칭 오류 세그먼테이션 모델에 적용하여 왜곡된 영역의 위치를 캡쳐하고, 캡처된 왜곡된 영역을 각각 복수의 콘볼루션 레이어를 통해 콘볼루션 연산하여 각각의 왜곡된 영역에 대한 이진 마스크 맵을 생성한다.
예를 들어, 스티칭 오류 세그먼테이션 모델은 각각의 패치를 검사하여 왜곡된 영역을 추출을 각각 추출하고, 왜곡된 영역의 캡처된 위치는 복수의 콘볼루션 레이어에서 처리되어 향상(enhance)되며, 콘볼루션 레이어에서 향상된 왜곡된 영역의 위치/관심 영역은 각각의 캡처된 왜곡된 영역에 대한 이진 마스크 생성에 이용될 수 있다.
모든 패치들이 통합되어 최종 세그먼트화된 스티치 영상을 생성할 수 있다. 여기서, 최종 세그먼트화된 스티치 영상은 각각의 패치들이 통합되며, 각각의 이진 마스크 맵이 통합될 수 있다. 세그먼트화된 스티치 영상에서 왜곡된 영역은 각 이진 마스크에 의해 특정될 수 있다.
도 4에는 세그먼트화된 스티치 영상의 일 예가 도시되어 있다. 도 4에서 보여지는 바와 같이, 세그먼트화된 스티치 영상은 각 패치를 통합하고, 이진 마스크 맵이 중첩된 형태일 수 있다.
단계 125에서 장치(100)는 이진 마스크 맵을 이용하여 스티치된 파노라마 영상에 대한 영상 품질을 도출한다.
이에 대해 보다 상세히 설명하기로 한다.
이진 마스크 맵은 왜곡된 영역을 모두 포함하는 전체 이진 마스크일 수 있다. 또한, 이미 전술한 바와 같이, 이진 마스크 맵은 배경 영역에 대한 정보를 포함하며, 시차 왜곡 에러, 블랜딩 왜곡 에러 및 블러 왜곡 에러 각각의 왜곡 영역에 대한 정보를 포함한다.
장치(100)는 이진 마스크 맵을 이용하여 세그먼트화된 스티치 영상에서 왜곡된 타겟 영역을 각각 추출한 후 해당 왜곡된 타겟 영역에 대한 픽셀수를 도출할 수 있다.
이어, 장치(100)는 세그먼트화된 스티치 영상의 전체 픽셀수와 왜곡된 타겟 영역의 픽셀수를 이용하여 영상 품질을 도출할 수 있다. 즉, 장치(100)는 이진 마스크 맵을 기초로 각각의 왜곡된 영역에 각각에 대한 개별 이진 마스크로 단편화한다.
도 5에는 이진 마스크 맵을 기초로 왜곡된 영역을 단편화하기 위한 개별 이진 마스크를 생성한 일 예가 도시되어 있다.
왜곡된 영역에 각각에 대한 개별 이진 마스크로 단편화한 후 개별 이진 마스크를 이용하여 각각의 개별 왜곡된 타겟 영역을 추출하여 픽셀수를 각각 도출할 수 있다. 이어, 장치(100)는 개별 왜곡된 타겟 영역의 픽셀수를 모두 합산하여 왜곡된 영역 전체에 대한 픽셀수를 도출할 수 있다. 개별 이진 마스크를 이용하여 왜곡된 영역을 추출한 일 예가 도 6에 도시되어 있다.
예를 들어, 수학식 5를 이용하여 영상 품질이 도출될 수 있다.
Figure 112020090353387-pat00026
여기서,
Figure 112020090353387-pat00027
는 l번째 영역을 나타내고, i와 j는 특정 왜곡된 영역의 각각 i번째 행(row)과 j번째 열(column)를 나타내며, W와 H는 세그먼트화된 스티치 영상의 너비와 높이를 나타낸다. 또한, n은 이미지에서 분할된 왜곡된 영역의 수를 나타내고 r과 c는 왜곡된 영역의 너비와 높이를 표시한다.
도 7은 본 발명의 일 실시예에 따른 장치의 내부 구성을 개략적으로 도시한 블록도이다.
도 7을 참조하면, 본 발명의 일 실시예에 따른 장치(100)는 전처리부(710), 학습부(715), 왜곡 영역 검출부(720), 품질 평가부(725), 메모리(730) 및 프로세서(735)를 포함하여 구성된다.
전처리부(710)는 스티치된 파노라마 영상을 고정된 크기를 가지는 복수의 패치로 분할하기 위한 수단이다.
학습부(715)는 훈련 데이터 세트를 이용하여 스티칭 오류 세그먼테이션 모델을 학습하기 위한 수단이다.
학습부(715)는 훈련 데이터 세트를 이용하여 스티칭 오류 세그먼테이션 모델을 학습함에 있어, 스티칭 에러 분류 손실, 바운드 박스 회귀 손실 및 마스크 예측 손실을 고려하여 스티칭 오류 세그먼테이션 모델을 학습시킬 수 있다. 또한, 학습부(715)는 스티칭 오류 세그먼테이션 모델에 포함된 복수의 분류기를 학습함에 있어 복수의 분류기 전체를 대상으로 가중치 파라미터를 조절하여 학습하는 것이 아니라, 특정 분류기에 대해서만 회귀 학습을 통해 가중치 파라미터를 조절할 수 있다.
스티칭 오류 세그먼테이션 모델은 도 1 내지 도 6을 참조하여 설명한 바와 같이, 입력 영상에 대한 특징맵을 추출하고, 특징맵을 이용하여 스티칭 왜곡이 있는 영역을 검출하여 분할한 후 분할된 관심 영역을 스티칭 에러 분류 종류에 따라 분류 학습될 수 있다. 이때, 스티칭 오류 세그먼테이션 모델은 스티칭 에러 분류에 따른 분류기만 선택적으로 가중치를 조절하도록 회귀 학습될 수 있다.
스티칭 오류 세그먼테이션 모델의 세부 구조는 도 2에 도시된 바와 같다.
왜곡 영역 검출부(720)는 학습된 스티칭 오류 세그먼테이션 모델에 각각의 패치를 입력하여 스티칭 에러(왜곡)이 있는 영역에 대한 이진 마스크 맵을 생성한다. 여기서, 이진 마스크 맵은 배경, 시차 왜곡 에러, 블랜딩 왜곡 에러 및 블러 왜곡 에러 각각의 예측에 따른 픽셀값을 이진화하여 생성될 수 있다.
배경에 따른 픽셀값의 레이블은 시차 왜곡 에러, 블랜딩 왜곡 에러 및 블러 왜곡 에러의 픽셀 레이블 생성과는 역관계를 가지도록 이진화될 수 있다. 이를 통해, 이진 마스크 맵은 전체 배경에 대해 시차 왜곡 에러, 블랜딩 왜곡 에러 및 블러 왜곡 에러에 대한 정보만을 포함하게 된다.
왜곡 영역 검출부(720)는 각 패치를 통합하여 세그먼트화된 스티치 영상을 생성할 수 있다. 여기서, 세그먼트화된 스티치 영상에 이진 마스크 맵을 중첩할 수 있다.
품질 평가부(725)는 이진 마스크 맵을 이용하여 스티치된 파노라마 영상에서 왜곡이 존재하는 영역에 대한 픽셀수를 도출한 후 이를 기반으로 영상 품질을 도출할 수 있다.
보다 상세하게 품질 평가부(725)는 이진 마스크 맵을 이용하여 개별 왜곡된 영역 추출을 위한 개별 이진 마스크로 단편화할 수 있다. 이어, 품질 평가부(725)는 개별 이진 마스크를 이용하여 세그먼트화된 스티치 영상에서 왜곡이 존재하는 영역만 선택적으로 추출하여 픽셀수를 도출할 수 있다.
품질 평가부(725)는 각각의 개별 이진 마스크에 상응하여 도출된 픽셀수와 전체 세그먼트화된 스티치 영상의 픽셀수를 이용하여 영상 품질을 도출할 수 있다. 이를 통해, 품질 평가부(725)는 스티치된 파노라마 영상 전체 중 왜곡이 존재하는 픽셀수를 정확하게 인지하여 영상 품질을 도출할 수 있다.
메모리(730)는 본 발명의 일 실시예에 따른 딥러닝 기반 스티치된 파노라마 영상의 품질 평가 방법을 수행하기 위해 필요한 명령어를 저장한다.
프로세서(735)는 본 발명의 일 실시예에 따른 장치(100)의 내부 구성 요소들(예를 들어, 전처리부(710), 학습부(715), 왜곡 영역 검출부(720), 품질 평가부(725), 메모리(730) 등)을 제어하기 위한 수단이다.
본 발명의 실시 예에 따른 장치 및 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100: 장치
710: 전처리부
715: 학습부
720: 왜곡 영역 검출부
725: 품질 평가부
730: 메모리
735: 프로세서

Claims (10)

  1. (a) 스티치된 파노라마 영상을 고정 크기 패치로 각각 분할하는 단계;
    (b) 상기 분할된 각 패치를 학습된 스티칭 오류 세그먼테이션 모델에 각각 적용하여 왜곡된 영역을 각각 추출한 후 상기 각각의 왜곡된 영역에 대한 이진 마스크 맵을 생성하는 단계; 및
    (c) 상기 이진 마스크 맵을 이용하여 상기 스티치된 파노라마 영상에 대한 영상 품질을 도출하는 단계를 포함하되,
    상기 스티칭 오류 세그먼테이션 모델은,
    복수의 스티칭 에러 분류기를 포함하되, 각 스티칭 에러 분류기는 기학습된 가중치를 기반으로 선택적으로 특정 스티칭 에러 분류기에 대한 가중치 파라미터를 회귀 학습하는 것을 특징으로 하는 딥러닝 기반 스티치된 파노라마 영상의 품질 평가 방법.
  2. 제1 항에 있어서,
    상기 이진 마스크 맵은,
    배경, 시차 왜곡 에러, 블랜딩 왜곡 에러 및 블러 왜곡 에러 각각에 대한 예측 결과를 기반으로 각각의 이진 마스크를 생성한 후 통합하여 생성되는 것을 특징으로 하는 딥러닝 기반 스티치된 파노라마 영상의 품질 평가 방법.
  3. 제2항에 있어서,
    상기 배경에 대한 픽셀값의 픽셀 레이블은 상기 시차 왜곡 에러, 상기 블랜딩 왜곡 에러 및 상기 블러 왜곡 에러의 픽셀 레이블과 역관계를 가지도록 형성되는 것을 특징으로 하는 딥러닝 기반 스티치된 파노라마 영상의 품질 평가 방법.
  4. 제1 항에 있어서,
    상기 (b) 단계는,
    상기 각 패치를 통합하여 세그먼트화된 스티치 영상을 더 생성하되,
    상기 (c) 단계는,
    상기 이진 마스크 맵을 이용하여 상기 세그먼트화된 스티치 영상에서 왜곡된 영역의 픽셀수를 도출한 후 상기 왜곡된 영역의 픽셀수를 이용하여 상기 영상 품질을 도출하는 것을 특징으로 하는 딥러닝 기반 스티치된 파노라마 영상의 품질 평가 방법.
  5. 제1 항에 있어서,
    상기 스티칭 오류 세그먼테이션 모델은,
    스티칭 에러 분류 손실, 바운드 박스 회귀 손실 및 마스크 예측 손실을 고려하여 학습되는 것을 특징으로 하는 딥러닝 기반 스티치된 파노라마 영상의 품질 평가 방법.
  6. 삭제
  7. 제1 항 내지 제5 항 중 어느 하나의 항에 따른 방법을 수행하기 위한 프로그램 코드를 기록한 컴퓨터로 판독 가능한 기록매체.
  8. 적어도 하나의 명령어를 저장하는 메모리; 및
    상기 메모리에 저장된 명령어를 실행하는 프로세서를 포함하되,
    상기 명령어는,
    (a) 스티치된 파노라마 영상을 고정 크기 패치로 각각 분할하는 단계;
    (b) 상기 분할된 각 패치를 학습된 스티칭 오류 세그먼테이션 모델에 각각 적용하여 왜곡된 영역을 각각 추출한 후 상기 각각의 왜곡된 영역에 대한 이진 마스크 맵을 생성하는 단계; 및
    (c) 상기 이진 마스크 맵을 이용하여 상기 스티치된 파노라마 영상에 대한 영상 품질을 도출하는 단계를 수행하되,
    상기 스티칭 오류 세그먼테이션 모델은,
    복수의 스티칭 에러 분류기를 포함하되, 각 스티칭 에러 분류기는 기학습된 가중치를 기반으로 선택적으로 특정 스티칭 에러 분류기에 대한 가중치 파라미터를 회귀 학습하는 것을 특징으로 하는 장치.
  9. 제8 항에 있어서,
    상기 이진 마스크 맵은,
    배경, 시차 왜곡 에러, 블랜딩 왜곡 에러 및 블러 왜곡 에러 각각에 대한 예측 결과를 기반으로 픽셀값을 이진화하여 생성되는 것을 특징으로 하는 장치.
  10. 제8 항에 있어서,
    상기 (b) 단계는,
    상기 각 패치를 통합하여 세그먼트화된 스티치 영상을 더 생성하되,
    상기 (c) 단계는,
    상기 이진 마스크 맵을 이용하여 상기 세그먼트화된 스티치 영상에서 왜곡된 영역의 픽셀수를 도출한 후 상기 왜곡된 영역의 픽셀수를 이용하여 상기 영상 품질을 도출하는 것을 특징으로 하는 장치.
KR1020200108413A 2020-08-27 2020-08-27 딥러닝 기반 파노라마 영상의 품질 평가 방법 및 그 장치 KR102225753B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200108413A KR102225753B1 (ko) 2020-08-27 2020-08-27 딥러닝 기반 파노라마 영상의 품질 평가 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200108413A KR102225753B1 (ko) 2020-08-27 2020-08-27 딥러닝 기반 파노라마 영상의 품질 평가 방법 및 그 장치

Publications (1)

Publication Number Publication Date
KR102225753B1 true KR102225753B1 (ko) 2021-03-09

Family

ID=75179861

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200108413A KR102225753B1 (ko) 2020-08-27 2020-08-27 딥러닝 기반 파노라마 영상의 품질 평가 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR102225753B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114926461A (zh) * 2022-07-19 2022-08-19 湖南工商大学 一种全盲屏幕内容图像质量评价方法
US20230086807A1 (en) * 2021-09-17 2023-03-23 Adobe Inc. Segmented differentiable optimization with multiple generators
CN116563210A (zh) * 2023-03-21 2023-08-08 安徽中新云谷数字技术有限公司 一种虚拟现实图像质量评价方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110169964A1 (en) * 2008-09-22 2011-07-14 Fujitsu Limited Quality index value calculation method, information processing apparatus, video delivery system, and non-transitory computer readable storage medium
KR101789513B1 (ko) * 2016-07-11 2017-10-26 주식회사 인피니트헬스케어 디지털 병리 시스템의 이미지 품질 평가 방법
KR20180115646A (ko) * 2017-04-13 2018-10-23 재단법인 경북아이티융합 산업기술원 비전 카메라를 이용한 비드 인식 장치 및 그 방법
KR101951610B1 (ko) * 2018-12-21 2019-02-22 세종대학교산학협력단 파노라마 이미지의 스티칭 오류의 종류 판단 방법 및 이를 수행하는 단말 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110169964A1 (en) * 2008-09-22 2011-07-14 Fujitsu Limited Quality index value calculation method, information processing apparatus, video delivery system, and non-transitory computer readable storage medium
KR101789513B1 (ko) * 2016-07-11 2017-10-26 주식회사 인피니트헬스케어 디지털 병리 시스템의 이미지 품질 평가 방법
KR20180115646A (ko) * 2017-04-13 2018-10-23 재단법인 경북아이티융합 산업기술원 비전 카메라를 이용한 비드 인식 장치 및 그 방법
KR101951610B1 (ko) * 2018-12-21 2019-02-22 세종대학교산학협력단 파노라마 이미지의 스티칭 오류의 종류 판단 방법 및 이를 수행하는 단말 장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230086807A1 (en) * 2021-09-17 2023-03-23 Adobe Inc. Segmented differentiable optimization with multiple generators
CN114926461A (zh) * 2022-07-19 2022-08-19 湖南工商大学 一种全盲屏幕内容图像质量评价方法
CN116563210A (zh) * 2023-03-21 2023-08-08 安徽中新云谷数字技术有限公司 一种虚拟现实图像质量评价方法及系统
CN116563210B (zh) * 2023-03-21 2023-12-08 安徽中新云谷数字技术有限公司 一种虚拟现实图像质量评价方法及系统

Similar Documents

Publication Publication Date Title
KR102225753B1 (ko) 딥러닝 기반 파노라마 영상의 품질 평가 방법 및 그 장치
US10936911B2 (en) Logo detection
Zhang et al. Ensnet: Ensconce text in the wild
CN109684925B (zh) 一种基于深度图像的人脸活体检测方法及设备
CN105960657B (zh) 使用卷积神经网络的面部超分辨率
CN103914676B (zh) 一种在人脸识别中使用的方法和装置
US8379994B2 (en) Digital image analysis utilizing multiple human labels
CN111488789A (zh) 用于基于图像分析的监视的行人检测方法及装置
CN111950424B (zh) 一种视频数据处理方法、装置、计算机及可读存储介质
US8588518B2 (en) Superpixel-boosted top-down image recognition methods and systems
US11853892B2 (en) Learning to segment via cut-and-paste
Zeng et al. Reference-based defect detection network
Pham et al. Road damage detection and classification with yolov7
KR20230038086A (ko) 영상 데이터에 포함된 얼굴 및 신체 비식별화 방법 및 이를 수행하기 위한 장치
CN111046755A (zh) 字符识别方法、装置、计算机设备和计算机可读存储介质
KR102223754B1 (ko) 객체 이미지 개선 방법 및 장치
KR102405428B1 (ko) 이미지 스티칭 방법 및 장치
KR20200010658A (ko) 동일인 인식 방법, 이를 이용하는 컴퓨팅 시스템, 및 프로그램
JP6892844B2 (ja) 情報処理装置、情報処理方法、透かし検出装置、透かし検出方法、及びプログラム
KR102026280B1 (ko) 딥 러닝을 이용한 씬 텍스트 검출 방법 및 시스템
CN113628349B (zh) 基于场景内容自适应的ar导航方法、设备及可读存储介质
CN111626244B (zh) 图像识别方法、装置、电子设备和介质
CN110298229B (zh) 视频图像处理方法及装置
CN116415019A (zh) 虚拟现实vr图像识别方法及装置、电子设备、存储介质
JP7144384B2 (ja) オブジェクト検出装置、方法及びプログラム

Legal Events

Date Code Title Description
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant