KR101589725B1 - 이동물체에서 획득한 영상에서의 프레임 간 영상 보간 방법 - Google Patents

이동물체에서 획득한 영상에서의 프레임 간 영상 보간 방법 Download PDF

Info

Publication number
KR101589725B1
KR101589725B1 KR1020140097656A KR20140097656A KR101589725B1 KR 101589725 B1 KR101589725 B1 KR 101589725B1 KR 1020140097656 A KR1020140097656 A KR 1020140097656A KR 20140097656 A KR20140097656 A KR 20140097656A KR 101589725 B1 KR101589725 B1 KR 101589725B1
Authority
KR
South Korea
Prior art keywords
image
motion vector
frame
interpolation
correction
Prior art date
Application number
KR1020140097656A
Other languages
English (en)
Inventor
김희수
Original Assignee
엘아이지넥스원 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘아이지넥스원 주식회사 filed Critical 엘아이지넥스원 주식회사
Priority to KR1020140097656A priority Critical patent/KR101589725B1/ko
Application granted granted Critical
Publication of KR101589725B1 publication Critical patent/KR101589725B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Abstract

본 발명은 프레임 간 영상 보간 방법에 관한 것이다. 본 발명은 고속으로 이동하는 이동물체에서 획득되는 동영상에 대하여, 이동물체의 진행정보를 고려하여 움직임 추정을 수행하고, 추정된 움직임의 정확도를 검증 및 수정하고, 상기 추정된 움직임 정보를 이용하여 프레임 간 영상을 보간함으로써, 이동물체에서 획득되는 영상을 입력받아 동작하는 이동물체의 표적 추적 장치의 성능을 향상시키고, 이동물체를 제어하는 사용자가 시청하는 영상의 화질을 개선하고, 기존 일반 시청용 디스플레이 시스템과 비교하였을 때 연산량이 감소되면서도 우수한 프레임 간 영상 보간 효과를 가지는, 이동물체에서 획득한 영상에서의 프레임 간 영상 보간 방법을 제공한다.

Description

이동물체에서 획득한 영상에서의 프레임 간 영상 보간 방법{Method for inter-frame image interpolation in video recorded on moving object}
본 발명은 프레임 간 영상 보간 방법에 관한 것이다.
무인기나 미사일 등 고속으로 이동하는 비행체 등의 물체에서 획득되는 동영상의 경우, 고속으로 이동하는 소형의 이동물체에서 영상을 촬영하여야 하는 제약이 있다. 따라서 제한된 하드웨어 사양과 전송환경 등 여러 가지 자원 상의 한계로 인하여, 영상의 부호화 및 저장과 전송에 있어서 여러 가지 제약이 존재한다. 그리고 그 결과 촬영 영상의 프레임율도 일정 수치 이하로 제한될 수 있다. 그러나 이처럼 비행체에서 촬영되는 동영상에서 프레임율이 일정 수치 이하로 떨어지게 되는 경우, 획득된 영상의 화질이 열화됨은 물론, 획득된 영상을 이용하여 비행체의 표적을 추적하는 장치의 성능에도 부정적인 영향을 주는 문제점이 있다.
또한 기존의 연산량이 과다한 일반 시청용 디스플레이 시스템에서 사용되는 프레임 간 영상 보간 기술은 비행체를 비롯한 이동물체에 탑제되는 동영상 처리 시스템의 크기와 무게 및 자원 상의 제약으로 인하여 바로 적용되기 어렵다는 문제점이 있다.
본 발명이 이루고자 하는 과제는, 고속으로 이동하는 이동물체에서 획득되는 동영상에 대하여, 이동물체의 진행정보를 고려하여 움직임 추정을 수행하고, 추정된 움직임의 정확도를 검증 및 수정하고, 상기 추정된 움직임 정보를 이용하여 프레임 간 영상을 보간함으로써, 이동물체에서 획득되는 영상을 입력받아 동작하는 이동물체의 표적 추적 장치의 성능을 향상시키고, 이동물체를 제어하는 사용자가 시청하는 영상의 화질을 개선하고, 기존 일반 시청용 디스플레이 시스템과 비교하였을 때 연산량이 감소되면서도 우수한 프레임 간 영상 보간 효과를 가지는, 이동물체에서 획득한 영상에서의 프레임 간 영상 보간 방법을 제공하는 데 있다.
상기 과제의 해결을 위하여 본 발명의 일 유형에 따른 이동물체에서 획득한 영상에서의 프레임 간 영상 보간 방법은, 카메라가 구비된 물체에서 촬영된 영상과 상기 물체가 이동함에 따른 물체이동정보를 입력받고, 상기 물체이동정보를 이용하여 상기 영상에서의 움직임벡터를 산출하는 움직임벡터산출 단계; 상기 움직임벡터산출 단계에서 산출된 움직임벡터를 주변의 영상블록들의 움직임벡터 정보를 이용하여 수정하는 움직임벡터수정 단계; 및 상기 움직임벡터수정 단계에서 수정된 움직임벡터를 이용하여, 상기 영상에 대하여 상기 영상의 프레임 간에 삽입될 프레임 간 보간영상을 생성하는 영상보간 단계를 포함할 수 있다.
여기서, 상기 움직임벡터산출 단계는 상기 영상에서 움직임벡터를 산출하려는 대상 프레임을 정하고, 상기 대상 프레임 내에서 움직임벡터를 산출하는 단위가 되는 일정한 크기의 대상 블록을 설정하고, 상기 대상 블록 별로 상기 대상 프레임과 상기 대상 프레임의 이전 프레임 간의 움직임벡터를 산출하는 것을 특징으로 할 수 있다.
여기서, 상기 움직임벡터산출 단계는, 상기 물체이동정보를 이용하여, 상기 물체가 이동함에 따라 상기 영상의 좌표가 이동하는 정보인 영상좌표 이동정보를 산출하고, 상기 영상좌표 이동정보를 이용하여 상기 대상 블록의 움직임벡터를 산출하는 것을 특징으로 할 수 있다.
여기서, 상기 움직임벡터산출 단계는, 상기 대상 블록 별로 상기 이전 프레임에서 탐색영역을 설정하고, 상기 탐색영역 내에서 상기 대상 블록과 가장 유사한 영상신호 값을 가지는 영상블록을 찾아 상기 대상 블록의 움직임벡터를 산출하는 것을 특징으로 할 수 있다.
여기서, 상기 움직임벡터산출 단계는, 상기 영상좌표 이동정보를 이용하여, 상기 대상 블록의 좌표를 기준으로 상기 탐색영역이 설정될 위치를 산출하는 것을 특징으로 할 수 있다.
여기서, 상기 움직임벡터수정 단계는, 상기 움직임벡터산출 단계에서 상기 대상 블록 별로 산출한 움직임벡터를, 상기 대상 블록 주변으로 일정한 크기의 수정영역을 설정하고, 상기 수정영역 내의 영상블록들의 움직임벡터 정보와, 상기 수정영역 내의 영상블록들의 움직임벡터들을 이용하여 예측한 영상의 정보를 이용하여, 수정하는 것을 특징으로 할 수 있다.
여기서, 상기 움직임벡터수정 단계는, 상기 수정영역 내의 영상블록들의 각 움직임벡터를 수정후보 움직임벡터로 하고, 상기 수정후보 움직임벡터 중, 상기 수정후보 움직임벡터의 길이가 상기 수정영역 내의 움직임벡터들의 길이 중 극값에 해당하지 아니하고, 상기 수정후보 움직임벡터의 상기 수정영역 내 발생 빈도수가 일정 정도보다 작지 아니하고, 상기 수정후보 움직임벡터를 이용하여 상기 대상 프레임과 상기 이전 프레임으로부터 상기 프레임 간 보간영상이 삽입될 중간 시점 프레임의 영상블록을 각각 추정하고 상기 각각 추정된 영상블록 간의 차분값의 크기가 일정한 정도보다 크지 아니한 기준을 만족하는, 상기 수정후보 움직임벡터를 선택하여, 상기 대상 블록의 움직임벡터를 상기 선택된 수정후보 움직임벡터로 수정하는 것을 특징으로 할 수 있다.
여기서, 상기 영상보간 단계는, 상기 프레임 간 보간영상에서 영상을 보간할 기본 단위가 되는 일정한 크기의 영상블록인 보간블록을 설정하고, 상기 보간블록에 대하여, 상기 움직임벡터수정 단계에서 수정된 움직임벡터를 이용하여, 상기 대상 프레임과 상기 이전 프레임으로부터 양방향으로 상기 프레임 간 보간영상이 삽입될 중간 시점 프레임에서의 영상블록을 각각 추정하고, 상기 대상 프레임으로부터 추정된 상기 중간 시점 프레임에서의 영상블록과 상기 이전 프레임으로부터 추정된 상기 중간 시점 프레임에서의 영상블록의 평균을 계산하여, 상기 프레임 간 보간영상의 각 상기 보간블록을 생성하는 것을 특징으로 할 수 있다.
상기 이동물체에서 획득한 영상에서의 프레임 간 영상 보간 방법은 상기 영상보간 단계에서 보간된 상기 프레임 간 보간영상에 존재하는 오류를 수정하는 오류수정 단계를 더 포함할 수 있다.
여기서, 상기 오류수정 단계는, 상기 프레임 간 보간영상에 존재하는 오류영역을 검출하고, 상기 검출된 오류영역의 영상신호를 수정하고, 상기 수정된 오류영역과 주변 영역 간의 경계를 부드럽게 처리하는 것을 특징으로 할 수 있다.
본 발명에 따른 이동물체에서 획득한 영상에서의 프레임 간 영상 보간 방법은, 고속으로 이동하는 비행체를 비롯한 이동물체에서 획득된 영상을 입력받아 동작하는 이동물체의 표적 추적 장치의 성능을 향상시키고, 이동물체를 제어하는 사용자가 시청하는 영상의 화질을 개선하고, 기존 일반 시청용 디스플레이 시스템과 비교하였을 때 연산량이 감소되면서도 우수하게 프레임 간 영상을 보간하는 성능 개선 효과가 있다.
도1은 본 발명의 일 실시예에 따른 이동물체에서 획득한 영상에서의 프레임 간 영상 보간 방법을 나타내는 흐름도이다.
도2은 본 발명에 따른 이동물체에서 획득한 영상에서의 프레임 간 영상 보간 방법 중 움직임벡터산출 단계의 동작 원리를 설명하기 위한 참고도이다.
도3는 본 발명에 따른 이동물체에서 획득한 영상에서의 프레임 간 영상 보간 방법 중 움직임벡터산출 단계의 동작을 설명하기 위한 참고도이다.
도4는 본 발명에 따른 이동물체에서 획득한 영상에서의 프레임 간 영상 보간 방법 중 영상보간 단계의 동작을 설명하기 위한 참고도이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
도1은 본 발명의 일 실시예에 따른 이동물체에서 획득한 영상에서의 프레임 간 영상 보간 방법을 나타내는 흐름도이다.
본 발명의 일 실시예에 따른 이동물체에서 획득한 영상에서의 프레임 간 영상 보간 방법은 움직임벡터산출 단계(S100), 움직임벡터수정 단계(S200), 영상보간 단계(S300)를 포함할 수 있다. 여기서 이동물체에서 획득한 영상에서의 상기 프레임 간 영상 보간 방법은 필요에 따라 오류수정 단계(S400)를 더 포함할 수 있다.
움직임벡터산출 단계(S100)는 카메라가 구비된 물체에서 촬영된 영상과 상기 물체가 이동함에 따른 물체이동정보를 입력받고, 상기 물체이동정보를 이용하여 상기 영상에서의 움직임벡터를 산출한다.
움직임벡터수정 단계(S200)는 움직임벡터산출 단계(S100)에서 산출된 움직임벡터를 주변의 영상블록들의 움직임벡터 정보를 이용하여 수정한다.
영상보간 단계(S300)는 움직임벡터수정 단계(S200)에서 수정된 움직임벡터를 이용하여, 상기 영상에 대하여 상기 영상의 프레임 간에 삽입될 프레임 간 보간영상을 생성한다.
이하에서는 움직임벡터산출 단계(S100), 움직임벡터수정 단계(S200), 영상보간 단계(S300), 오류수정 단계(S400)의 각 동작에 대하여 보다 상세히 설명한다.
움직임벡터산출 단계(S100)는 상기 영상에서 움직임벡터를 산출하려는 대상 프레임을 정하고, 상기 대상 프레임 내에서 움직임벡터를 산출하는 단위가 되는 일정한 크기의 대상 블록을 설정하고, 상기 대상 블록 별로 상기 대상 프레임과 상기 대상 프레임의 이전 프레임 간의 움직임벡터를 산출하는 것이 바람직하다.
여기서 움직임벡터산출 단계(S100)는 상기 물체이동정보를 이용하여, 상기 물체가 이동함에 따라 상기 영상의 좌표가 이동하는 정보인 영상좌표 이동정보를 산출하고, 상기 영상좌표 이동정보를 이용하여 상기 대상 블록의 움직임벡터를 산출할 수 있다.
여기서 상기 물체가 이동하는 경우, 상기 물체가 이동함에 따라 상기 물체에 부착되어 상기 영상을 촬영하는 카메라도 이동하게 된다. 그런데 상기 물체 자체의 좌표 이동과 상기 카메라가 촬영하는 영상의 좌표 이동 간에는, 좌표계의 상이함에 따른 차이가 발생한다. 따라서 움직임벡터산출 단계(S100)는 상기 물체의 좌표와 상기 영상의 좌표 간에 좌표 변환 절차를 통하여, 상기 물체이동정보를 변환하여 상기 영상좌표 이동정보를 산출하는 것이 바람직하다.
여기서 상기 물체이동정보는 상기 물체가 3차원 공간에서 이동하는 정보를 나타내는 이동물체 진행벡터를 포함하고, 상기 영상좌표 이동정보는 상기 카메라가 이동함에 따라 같이 이동하는 영상의 좌표이동을 나타내는 영상좌표 진행벡터를 포함하는 것이 바람직하다.
여기서 상기 영상좌표 진행벡터는 하기 수학식 1과 같이 상기 이동물체 진행벡터를 이용하여 산출할 수 있다.
Figure 112014072519519-pat00001
(여기서
Figure 112014072519519-pat00002
,
Figure 112014072519519-pat00003
,
Figure 112014072519519-pat00004
는 각 3차원 좌표계의 인덱스이고,
Figure 112014072519519-pat00005
는 상기 영상좌표 진행벡터이고,
Figure 112014072519519-pat00006
는 상기 이동물체 진행벡터이고,
Figure 112014072519519-pat00007
는 좌표 간 변환 함수이다.)
여기서 움직임벡터산출 단계(S100)는 상기 대상 블록 별로 상기 이전 프레임에서 탐색영역을 설정하고, 상기 탐색영역 내에서 상기 대상 블록과 가장 유사한 영상신호 값을 가지는 영상블록을 찾아 상기 대상 블록의 움직임벡터를 산출할 수 있다.
여기서 움직임벡터산출 단계(S100)는 상기 영상좌표 이동정보를 이용하여, 상기 대상 블록의 좌표를 기준으로 상기 탐색영역이 설정될 위치를 산출할 수 있다.
도2는 움직임벡터산출 단계(S100)의 원리를 설명하기 위한 참고도이다.
예를 들어 도2의 (a)와 같이 상기 물체가 좌상측 방향으로 움직이게 되는 경우 상기 물체에 부착되어 있는 상기 카메라도 좌상측 방향으로 움직이게 되고, 그 결과 상기 카메라에서 촬영하는 영상은 상대적으로 그 반대 방향인 우하측 방향으로 움직이게 된다. 따라서 도2의 (a)의
Figure 112014072519519-pat00008
프레임에서 좌상단에 있었던 물체는 그 다음 프레임인
Figure 112014072519519-pat00009
프레임에서 우하측으로 이동하게 된다. 도2의 (b)는 상기 물체가 우상측으로 이동할 경우의 또 다른 예이다. 특별히 주변의 물체들과 비교하였을 때 상대적으로 고속으로 이동하는 무인기나 미사일 등의 비행체와 같은 이동물체에 있어서는, 이동물체의 이동 방향에 따라 이동물체에서 획득된 영상 내의 각 객체들이 이동할 확률이 높다. 따라서
Figure 112014072519519-pat00010
프레임을 움직임벡터를 산출하고자 하는 상기 대상 프레임으로 하고,
Figure 112014072519519-pat00011
을 상기 이전 프레임이라 할 때,
Figure 112014072519519-pat00012
에서 설정되는 상기 탐색영역은 상기 물체가 진행하는 방향을 고려하여 설정하는 것이 바람직하다.
도3은 움직임벡터산출 단계(S100)가 상기 물체이동정보에 따라 산출되는 상기 영상좌표 이동정보를 이용하여 상기 탐색영역을 설정하는 동작을 설명하기 위한 참고도이다.
예를 들어 도3에서는 상기 물체가 좌상측으로 진행함에 따라 상기 카메라에서 획득되는 상기 영상의 좌표도 이동하게 된다. 따라서 상기 이전 프레임
Figure 112014072519519-pat00013
에서 설정할 상기 탐색영역은 상기 대상 프레임
Figure 112014072519519-pat00014
의 상기 대상 블록의 위치를 기준으로 좌상측 방향으로 편향되도록 설정하는 것이 바람직하다.
여기서 상기 탐색영역은 하기 수학식 2와 같이 설정되고, 상기 대상 블록의 움직임벡터는 하기 수학식 3과 같이 산출될 수 있다. 여기서 하기 수학식 2와 같이 설정되는 상기 탐색영역 내의 각 영상블록과 상기 대상 블록 간의 좌표 차이가 상기 대상 블록의 움직임벡터의 후보가 되고, 상기 대상 블록의 움직임벡터의 후보들 중 하기 수학식 3을 충족하는 움직임벡터가 최종 선정되는 상기 대상 블록의 움직임벡터가 된다.
Figure 112014072519519-pat00015
(여기서
Figure 112014072519519-pat00016
는 상기 대상 블록의 수평좌표 위치이고,
Figure 112014072519519-pat00017
는 상기 대상 블록의 수직좌표 위치이고,
Figure 112014072519519-pat00018
,
Figure 112014072519519-pat00019
는 상기 탐색영역의 범위를 나타내는 인덱스이고,
Figure 112014072519519-pat00020
는 상기 영상좌표 이동정보 중 수평좌표 방향의 영상좌표 진행벡터이고,
Figure 112014072519519-pat00021
는 상기 영상좌표 이동정보 중 수직좌표 방향의 영상좌표 진행벡터이고,
Figure 112014072519519-pat00022
,
Figure 112014072519519-pat00023
,
Figure 112014072519519-pat00024
는 일정한 크기의 상수이다.)
Figure 112014072519519-pat00025
(여기서
Figure 112014072519519-pat00026
는 상기 대상 블록의 움직임벡터이고,
Figure 112014072519519-pat00027
는 상기 대상 블록의 후보 움직임벡터이고,
Figure 112014072519519-pat00028
는 일정한 크기를 가지는 영상블록이고,
Figure 112014072519519-pat00029
는 영상블록
Figure 112014072519519-pat00030
의 위치를 나타내는 기준 좌표이고,
Figure 112014072519519-pat00031
은 영상블록
Figure 112014072519519-pat00032
의 프레임 인덱스이다. 여기서
Figure 112014072519519-pat00033
는 상기 탐색영역 내의 영상블록과 상기 대상 블록 간의 좌표 차이로써, 상기 대상 블록의 움직임벡터의 후보가 된다.)
이하에서는 움직임벡터수정 단계(S200)에 대하여 상술한다.
움직임벡터수정 단계(S200)는, 움직임벡터산출 단계(S100)에서 상기 대상 블록 별로 산출한 움직임벡터를, 상기 대상 블록 주변으로 일정한 크기의 수정영역을 설정하고, 상기 수정영역 내의 영상블록들의 움직임벡터 정보와, 상기 수정영역 내의 영상블록들의 움직임벡터들을 이용하여 예측한 영상의 정보를 이용하여, 수정할 수 있다.
여기서 움직임벡터수정 단계(S200)는, 상기 수정영역 내의 영상블록들의 각 움직임벡터를 수정후보 움직임벡터로 하고, 상기 수정후보 움직임벡터 중, 상기 수정후보 움직임벡터의 길이가 상기 수정영역 내의 움직임벡터들의 길이 중 극값에 해당하지 아니하고, 상기 수정후보 움직임벡터의 상기 수정영역 내 발생 빈도수가 일정 정도보다 작지 아니하고, 상기 수정후보 움직임벡터를 이용하여 상기 대상 프레임과 상기 이전 프레임으로부터 상기 프레임 간 보간영상이 삽입될 중간 시점 프레임의 영상블록을 각각 추정하고 상기 각각 추정된 영상블록 간의 차분값의 크기가 일정한 정도보다 크지 아니한, 기준을 만족하는 상기 수정후보 움직임벡터를 선택하여, 상기 대상 블록의 움직임벡터를 상기 선택된 수정후보 움직임벡터로 수정하는 것이 바람직하다.
여기서 움직임벡터수정 단계(S200)는, 하기 수학식 4와 같이 상기 대상 블록의 움직임벡터를 수정할 수 있다.
Figure 112014072519519-pat00034
(여기서
Figure 112014072519519-pat00035
는 움직임벡터수정 단계(S100)에서 수정된 움직임벡터이고,
Figure 112014072519519-pat00036
는 상기 수정영역이고,
Figure 112014072519519-pat00037
는 상기 수정후보 움직임벡터이고,
Figure 112014072519519-pat00038
는 상기 수정후보 움직임벡터
Figure 112014072519519-pat00039
의 길이가 상기 수정영역 내의 움직임벡터들의 길이 중 극값에 해당하는지 여부를 나타내는 비용함수이고,
Figure 112014072519519-pat00040
는 상기 수정후보 움직임벡터
Figure 112014072519519-pat00041
를 이용하여 상기 대상 프레임과 상기 이전 프레임으로부터 상기 중간 시점 프레임의 영상블록을 각각 추정하고 상기 각각 추정된 영상블록 간의 차분값의 크기를 나타내는 비용함수이고,
Figure 112014072519519-pat00042
는 상기 수정부호 움직임벡터
Figure 112014072519519-pat00043
가 상기 수정영역 내에서 발생한 빈도수를 나타내는 함수이고,
Figure 112014072519519-pat00044
,
Figure 112014072519519-pat00045
,
Figure 112014072519519-pat00046
는 일정한 크기의 상수이다.)
여기서 상기
Figure 112014072519519-pat00047
는 하기 수학식 5와 같이 산출하고, 상기
Figure 112014072519519-pat00048
는 하기 수학식 6과 같이 산출하는 것이 바람직하다.
Figure 112014072519519-pat00049
Figure 112014072519519-pat00050
(여기서
Figure 112014072519519-pat00051
는 영상블록의 위치를 나타내는 기준 좌표이고,
Figure 112014072519519-pat00052
는 움직임벡터이고,
Figure 112014072519519-pat00053
은 프레임의 인덱스이고,
Figure 112014072519519-pat00054
는 인덱스가
Figure 112014072519519-pat00055
이 되는 프레임에서
Figure 112014072519519-pat00056
좌표를 기준으로 일정크기를 가지는 영상블록이다.)
즉 움직임벡터수정 단계(S200)는 상기 수정영역 내의 영상블록들의 움직임벡터들을 상기 수정후보 움직임벡터라고 지칭할 때, 상기 수정후보 움직임벡터들 중에서, 상기 수정후보 움직임벡터의 길이 값이 상기 수정영역 내의 움직임벡터들 중에서 극값을 가지지 않고, 상기 수정후보 움직임벡터들 사이에서 움직임벡터의 발생 빈도수가 일정한 정도 보다 작은 값을 가지지 않고, 또한 상기 수정후보 움직임벡터를 이용하여 상기 대상 프레임과 상기 이전 프레임으로부터 각각 움직임 추정을 하여 얻어진 영상블록 간의 차분값이 일정한 정도 보다 큰 값을 가지지 않는 움직임벡터를 선택하여, 이러한 움직임벡터를 상기 대상 블록의 움직임벡터로 수정하는 것이 바람직하다. 상기 수학식 4 내지 수학식 6과 같은 비용함수는 위와 같은 기준을 충족시키기 위하여 설계된 비용함수이고, 각 비용함수에 곱해지는 상수들의 값을 조절함에 따라 비용함수들 간의 비중을 조절할 수 있다.
이하에서는 영상보간 단계(S300)에 대하여 상술한다.
영상보간 단계(S300)는, 상기 프레임 간 보간영상에서 영상을 보간할 기본 단위가 되는 일정한 크기의 영상블록인 보간블록을 설정하고, 상기 보간블록에 대하여, 움직임벡터수정 단계(S200)에서 수정된 움직임벡터를 이용하여, 상기 대상 프레임과 상기 이전 프레임으로부터 양방향으로 상기 프레임 간 보간영상이 삽입될 중간 시점 프레임에서의 영상블록을 각각 추정하고, 상기 대상 프레임으로부터 추정된 상기 중간 시점 프레임에서의 영상블록과 상기 이전 프레임으로부터 추정된 상기 중간 시점 프레임에서의 영상블록의 평균을 계산하여, 상기 프레임 간 보간영상의 각 상기 보간블록을 생성할 수 있다.
도4는 영상보간 단계(S300)의 동작을 설명하기 위한 참고도이다. 도4의
Figure 112014072519519-pat00057
은 상기 프레임 간 보간영상으로, 상기 대상 프레임인
Figure 112014072519519-pat00058
와 상기 이전 프레임인
Figure 112014072519519-pat00059
으로부터 움직임벡터수정 단계(S200)에서 수정된 움직임벡터를 이용하여 양 프레임 간에 보간되는 영상이다. 이와 같이 기존의 프레임들 사이에 보간된 프레임이 삽입됨으로, 본래 동영상의 프레임율이 증가하게 된다.
여기서 영상보간 단계(S300)는, 하기 수학식 7과 같이 상기 프레임 간 보간영상 내의 각 상기 보간블록을 생성하여, 상기 프레임 간 보간영상을 생성하는 것이 바람직하다.
Figure 112014072519519-pat00060
(여기서
Figure 112014072519519-pat00061
는 상기 프레임 간 보간영상 내의 상기 보간블록의 위치를 나타내는 기준 좌표이고,
Figure 112014072519519-pat00062
는 움직임벡터수정 단계(S200)에서 수정된 움직임벡터이고,
Figure 112014072519519-pat00063
는 프레임의 인덱스이고,
Figure 112014072519519-pat00064
는 인덱스가
Figure 112014072519519-pat00065
이 되는 프레임에서
Figure 112014072519519-pat00066
좌표를 기준으로 일정크기를 가지는 영상블록이다. 여기서
Figure 112014072519519-pat00067
는 상기 프레임 간 보간영상을 지칭하고,
Figure 112014072519519-pat00068
는 상기 대상 프레임으로부터 추정된 중간 시점 프레임에서의 영상블록을 지칭하고,
Figure 112014072519519-pat00069
는 상기 이전 프레임으로부터 추정된 중간 시점 프레임에서의 영상블록을 지칭한다.)
오류수정 단계(S400)는 영상보간 단계(S300)에서 보간된 상기 프레임 간 보간영상에 존재하는 오류를 수정한다. 이때 상기 오류영역에는 프레임 간 보간으로 인하여 발생한 블록오류(block artifact) 등의 오류가 존재하고, 오류수정 단계(S400)는 이와 같은 오류들을 수정한다. 여기서 오류수정 단계(S400)는, 상기 프레임 간 보간영상에 존재하는 오류영역을 검출하고, 상기 검출된 오류영역의 영상신호를 수정하고, 상기 수정된 오류영역과 수정되지 아니한 주변 영역 간의 경계를 부드럽게 처리하는 것이 바람직하다.
이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.
또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 상세한 설명에서 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
S100 : 움직임벡터산출 단계
S200 : 움직임벡터수정 단계
S300 : 영상보간 단계
S400 : 오류수정 단계

Claims (10)

  1. 프레임 간 영상 보간 방법에 있어서,
    카메라가 구비된 물체에서 촬영된 영상과 상기 물체가 이동함에 따른 물체이동정보를 입력받고, 상기 물체이동정보를 이용하여 상기 영상에서의 움직임벡터를 산출하되, 상기 영상에서 움직임벡터를 산출하려는 대상 프레임을 정하고, 상기 대상 프레임 내에서 움직임벡터를 산출하는 단위가 되는 일정한 크기의 대상 블록을 설정하고, 상기 대상 블록 별로 상기 대상 프레임과 상기 대상 프레임의 이전 프레임 간의 움직임벡터를 산출하는 움직임벡터산출 단계;
    상기 움직임벡터산출 단계에서 산출된 움직임벡터를 주변의 영상블록들의 움직임벡터 정보를 이용하여 수정하되, 상기 움직임벡터산출 단계에서 상기 대상 블록 별로 산출한 움직임벡터를, 상기 대상 블록 주변으로 일정한 크기의 수정영역을 설정하고, 상기 수정영역 내의 영상블록들의 움직임벡터 정보와, 상기 수정영역 내의 영상블록들의 움직임벡터들을 이용하여 예측한 영상의 정보를 이용하여 수정하는 움직임벡터수정 단계; 및
    상기 움직임벡터수정 단계에서 수정된 움직임벡터를 이용하여, 상기 영상에 대하여 상기 영상의 프레임 간에 삽입될 프레임 간 보간영상을 생성하는 영상보간 단계를 포함하고,
    상기 움직임벡터수정 단계는, 상기 수정영역 내의 영상블록들의 각 움직임벡터를 수정후보 움직임벡터로 하고, 상기 수정후보 움직임벡터 중, 상기 수정후보 움직임벡터의 길이가 상기 수정영역 내의 움직임벡터들의 길이 중 극값 해당하지 아니하고, 상기 수정후보 움직임벡터의 상기 수정영역 내 발생 빈도수가 일정 정도보다 작지 아니하고, 상기 수정후보 움직임벡터를 이용하여 상기 대상 프레임과 상기 이전 프레임으로부터 상기 프레임 간 보간영상이 삽입될 중간 시점 프레임의 영상블록을 각각 추정하고 상기 각각 추정된 영상블록 간의 차분값의 크기가 일정한 정도보다 크지 아니한 기준을 만족하는, 상기 수정후보 움직임벡터를 선택하여, 상기 대상 블록의 움직임벡터를 상기 선택된 수정후보 움직임벡터로 수정하는 것을 특징으로 하는 이동물체에서 획득한 영상에서의 프레임 간 영상 보간 방법.
  2. 삭제
  3. 제1항에 있어서, 상기 움직임벡터산출 단계는,
    상기 물체이동정보를 이용하여, 상기 물체가 이동함에 따라 상기 영상의 좌표가 이동하는 정보인 영상좌표 이동정보를 산출하고, 상기 영상좌표 이동정보를 이용하여 상기 대상 블록의 움직임벡터를 산출하는 것을 특징으로 하는 이동물체에서 획득한 영상에서의 프레임 간 영상 보간 방법.
  4. 제3항에 있어서, 상기 움직임벡터산출 단계는,
    상기 대상 블록 별로 상기 이전 프레임에서 탐색영역을 설정하고, 상기 탐색영역 내에서 상기 대상 블록과 가장 유사한 영상신호 값을 가지는 영상블록을 찾아 상기 대상 블록의 움직임벡터를 산출하는 것을 특징으로 하는 이동물체에서 획득한 영상에서의 프레임 간 영상 보간 방법.
  5. 제4항에 있어서, 상기 움직임벡터산출 단계는,
    상기 영상좌표 이동정보를 이용하여, 상기 대상 블록의 좌표를 기준으로 상기 탐색영역이 설정될 위치를 산출하는 것을 특징으로 하는 이동물체에서 획득한 영상에서의 프레임 간 영상 보간 방법.
  6. 삭제
  7. 삭제
  8. 제1항에 있어서, 상기 영상보간 단계는,
    상기 프레임 간 보간영상에서 영상을 보간할 기본 단위가 되는 일정한 크기의 영상블록인 보간블록을 설정하고, 상기 보간블록에 대하여,
    상기 움직임벡터수정 단계에서 수정된 움직임벡터를 이용하여, 상기 대상 프레임과 상기 이전 프레임으로부터 양방향으로 상기 프레임 간 보간영상이 삽입될 중간 시점 프레임에서의 영상블록을 각각 추정하고, 상기 대상 프레임으로부터 추정된 상기 중간 시점 프레임에서의 영상블록과 상기 이전 프레임으로부터 추정된 상기 중간 시점 프레임에서의 영상블록의 평균을 계산하여, 상기 프레임 간 보간영상의 각 상기 보간블록을 생성하는 것을 특징으로 하는 이동물체에서 획득한 영상에서의 프레임 간 영상 보간 방법.
  9. 제1항 또는 제3항 내지 제5항 또는 제8항 중 어느 하나의 항에 있어서,
    상기 영상보간 단계에서 보간된 상기 프레임 간 보간영상에 존재하는 오류를 수정하는 오류수정 단계를 더 포함하는 것을 특징으로 하는 이동물체에서 획득한 영상에서의 프레임 간 영상 보간 방법.
  10. 제9항에 있어서, 상기 오류수정 단계는, 상기 프레임 간 보간영상에 존재하는 오류영역을 검출하고, 상기 검출된 오류영역의 영상신호를 수정하고, 상기 수정된 오류영역과 주변 영역 간의 경계를 부드럽게 처리하는 것을 특징으로 하는 이동물체에서 획득한 영상에서의 프레임 간 영상 보간 방법.
KR1020140097656A 2014-07-30 2014-07-30 이동물체에서 획득한 영상에서의 프레임 간 영상 보간 방법 KR101589725B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140097656A KR101589725B1 (ko) 2014-07-30 2014-07-30 이동물체에서 획득한 영상에서의 프레임 간 영상 보간 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140097656A KR101589725B1 (ko) 2014-07-30 2014-07-30 이동물체에서 획득한 영상에서의 프레임 간 영상 보간 방법

Publications (1)

Publication Number Publication Date
KR101589725B1 true KR101589725B1 (ko) 2016-01-28

Family

ID=55310004

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140097656A KR101589725B1 (ko) 2014-07-30 2014-07-30 이동물체에서 획득한 영상에서의 프레임 간 영상 보간 방법

Country Status (1)

Country Link
KR (1) KR101589725B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040108053A (ko) * 2003-06-16 2004-12-23 삼성전자주식회사 움직임 벡터 생성 장치 및 방법
KR20080032741A (ko) * 2006-10-10 2008-04-16 삼성전자주식회사 디스플레이장치 및 그 제어방법
KR20090037716A (ko) * 2007-10-12 2009-04-16 삼성전자주식회사 블록 샘플링을 이용한 영상의 움직임 추정 시스템 및 방법.
JP2009200985A (ja) * 2008-02-25 2009-09-03 Hitachi Ltd 映像処理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040108053A (ko) * 2003-06-16 2004-12-23 삼성전자주식회사 움직임 벡터 생성 장치 및 방법
KR20080032741A (ko) * 2006-10-10 2008-04-16 삼성전자주식회사 디스플레이장치 및 그 제어방법
KR20090037716A (ko) * 2007-10-12 2009-04-16 삼성전자주식회사 블록 샘플링을 이용한 영상의 움직임 추정 시스템 및 방법.
JP2009200985A (ja) * 2008-02-25 2009-09-03 Hitachi Ltd 映像処理装置

Similar Documents

Publication Publication Date Title
US10404917B2 (en) One-pass video stabilization
EP2698766B1 (en) Motion estimation device, depth estimation device, and motion estimation method
KR101342284B1 (ko) 적응적 움직임 검색 범위
US8942506B2 (en) Image processing apparatus, image processing method, and program
KR101830804B1 (ko) 적응 필터링을 이용한 디지털 이미지 안정화 방법
US9300940B2 (en) Method and apparatus for converting 2-dimensional image into 3-dimensional image by adjusting depth of the 3-dimensional image
JP7151488B2 (ja) 移動物体検出装置、移動物体検出方法及びプログラム
US8204124B2 (en) Image processing apparatus, method thereof, and program
US20120093231A1 (en) Image processing apparatus and image processing method
US20150264385A1 (en) Frame interpolation device, frame interpolation method, and recording medium
US20160078598A1 (en) Image processor and image processing method
KR101033243B1 (ko) 객체 추적 방법 및 장치
JP2011141710A (ja) 奥行推定装置、奥行推定方法および奥行推定プログラム
US10846826B2 (en) Image processing device and image processing method
KR101806453B1 (ko) 무인 비행체 충돌 회피를 위한 이동 객체 검출 장치 및 방법
KR101589725B1 (ko) 이동물체에서 획득한 영상에서의 프레임 간 영상 보간 방법
KR20080066486A (ko) 움직임 벡터 추정 장치 및 방법
KR20090037716A (ko) 블록 샘플링을 이용한 영상의 움직임 추정 시스템 및 방법.
KR101919879B1 (ko) 사용자 인터랙션 정보 기반 깊이 정보 영상 보정 장치 및 방법
US9369707B2 (en) Global motion vector estimation
KR101589727B1 (ko) 이동물체 취득 영상에서의 프레임율 향상 장치
KR20130135460A (ko) 색상 차이를 사용한 깊이 영상 보간 장치 및 방법
KR101574205B1 (ko) 프레임 율 변환을 위한 움직임 정보 추정 방법 및 그 장치
CN113873099B (zh) 一种输电通道视频稳像方法、设备及介质
US11533451B2 (en) System and method for frame rate up-conversion of video data

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191219

Year of fee payment: 5