KR101589727B1 - 이동물체 취득 영상에서의 프레임율 향상 장치 - Google Patents

이동물체 취득 영상에서의 프레임율 향상 장치 Download PDF

Info

Publication number
KR101589727B1
KR101589727B1 KR1020140097657A KR20140097657A KR101589727B1 KR 101589727 B1 KR101589727 B1 KR 101589727B1 KR 1020140097657 A KR1020140097657 A KR 1020140097657A KR 20140097657 A KR20140097657 A KR 20140097657A KR 101589727 B1 KR101589727 B1 KR 101589727B1
Authority
KR
South Korea
Prior art keywords
image
motion vector
moving object
frame
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020140097657A
Other languages
English (en)
Inventor
김희수
Original Assignee
엘아이지넥스원 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘아이지넥스원 주식회사 filed Critical 엘아이지넥스원 주식회사
Priority to KR1020140097657A priority Critical patent/KR101589727B1/ko
Application granted granted Critical
Publication of KR101589727B1 publication Critical patent/KR101589727B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Abstract

본 발명은 고속으로 이동하는 비행체를 비롯한 이동물체에서 취득되는 영상에서의 프레임율 향상 장치에 관한 것이다. 본 발명은 이동물체에서 촬영되어 부호화되는 동영상에 대하여 이동물체의 진행정보를 고려하여 움직임 추정을 수행하고, 추정된 움직임의 정확도를 검증 및 교정하고, 상기 추정된 움직임 정보를 이용하여 프레임간 영상을 보간하여 이동물체 취득 영상의 프레임율을 향상시킴으로써, 이동물체 취득 영상을 입력받아 동작하는 이동물체의 표적 추적 장치의 성능을 향상시키고, 이동물체를 제어하는 사용자가 시청하는 이동물체 취득 영상의 화질을 개선하고, 기존 일반 시청용 디스플레이 시스템과 비교하였을 때 연산량이 감소되면서도 우수한 프레임율 향상 효과를 가지는, 이동물체 취득 영상에서의 프레임율 향상 장치를 제공한다.

Description

이동물체 취득 영상에서의 프레임율 향상 장치{Apparatus for frame rate up conversion in video recorded on moving object}
본 발명은 영상의 프레임율 향상 장치에 관한 것이다.
동영상이 일정한 프레임율 이하로 상영이 되는 경우, 동영상을 시청하는 사람은 영상의 불연속성과 깨짐 현상을 인지할 수 있기 때문에 시각적인 피로함을 느끼게 된다. 이는 인간의 눈이 충분히 빠른 속도로 즉 일정 수치 이상의 프레임율로 상영되는 동영상에 대하여는 동영상의 각 프레임들 간의 영상의 차이를 잘 인지하지 못하나, 일정 수치 이하의 프레임율로 상영되는 동영상에 대하여는 영상의 각 프레임들의 불연속성을 인지할 수 있기 때문이다.
따라서 초당 보다 많은 프레임을 부호화한 영상이 보다 우수한 화질을 가지게 된다. 그러나 동영상 부호화에 있어서는 제한된 저장 용량 및 제한된 전송 대역폭으로 인하여, 주어진 자원에 따라 동영상 부호화 프레임율을 일정 수치 이하로 한정할 수밖에 없는 상황이 발생한다. 그리고 이와 같이 제한된 프레임율로 부호화된 동영상을 그대로 복호화하여 시청하게 되는 경우, 시청자는 상술한 바와 같이 프레임간 영상의 불연속성을 인지함으로 인하여 시청에 불편함을 겪게 된다.
이러한 문제점을 해결하기 위하여 동영상의 프레임율을 증가시키는 프레임율 증가 기술(Frame Rate Up Conversion)이 사용되고 있다.
한편 무인기나 미사일 등 비행체에서 촬영되는 동영상의 경우, 고속으로 비행하는 소형의 비행체에서 영상을 촬영하여야 하는 제약이 있다. 따라서 제한된 하드웨어 사양과 전송환경 등 여러 가지 자원 상의 한계로 인하여, 영상의 부호화 및 저장과 전송에 있어서 여러 가지 제약이 존재한다. 그리고 그 결과 촬영 영상의 프레임율도 일정 수치 이하로 제한되게 될 수 있다. 그러나 이처럼 비행체에서 촬영되는 동영상에서 프레임율이 일정 수치 이하로 떨어지게 되는 경우, 취득된 영상의 화질이 열화됨은 물론, 취득된 영상을 이용하여 비행체의 표적을 추적하는 장치의 성능에도 부정적인 영향을 주는 문제점이 있다.
또한 위와 같은 비행체를 비롯한 이동물체에 탑재되는 동영상 처리 시스템의 경우 크기와 무게 및 자원에 제약이 존재하는 바, 위와 같은 동영상의 프레임율 제약으로 인한 성능 열화를 개선하기 위한 프레임율 증가 기술을 사용함에 있어서, 기존의 연산량이 과다한 일반 시청용 디스플레이 시스템에서 사용되는 프레임율 증가 기술을 적용하기에는 현실적인 어려움이 존재한다.
본 발명이 이루고자 하는 과제는, 고속으로 이동하는 비행체를 비롯한 이동물체에서 촬영되어 부호화되는 동영상에 대하여 이동물체의 진행정보를 고려하여 움직임 추정을 수행하고, 추정된 움직임의 정확도를 검증 및 교정하고, 상기 추정된 움직임 정보를 이용하여 프레임간 영상을 보간하여 이동물체에서 취득된 영상의 프레임율을 향상시킴으로써, 이동물체 취득 영상을 입력받아 동작하는 이동물체의 표적 추적 장치의 성능을 향상시키고, 이동물체를 제어하는 사용자가 시청하는 이동물체 취득 영상의 화질을 개선하고, 기존 일반 시청용 디스플레이 시스템과 비교하였을 때 연산량이 감소되면서도 우수한 프레임율 향상 효과를 가지는, 이동물체 취득 영상에서의 프레임율 향상 장치를 제공하는 데 있다.
상기 과제의 해결을 위하여 본 발명의 일 유형에 따른 이동물체 취득 영상에서의 프레임율 향상 장치는, 이동물체의 이동 정보인 이동물체 진행정보와 이동물체에서 촬영되어 취득되는 영상인 이동물체 취득 영상을 입력받고, 상기 이동물체 취득 영상에서 움직임벡터를 산출하려고 하는 대상 프레임 내의 일정한 크기로 구분되어진 대상 블록들에 대하여, 상기 이동물체 진행정보와 상기 이동물체 취득 영상을 이용하여, 상기 대상 프레임과 상기 대상 프레임의 이전 프레임 간의 움직임벡터를 산출하는 움직임추정부; 상기 움직임추정부에서 산출된 상기 대상 블록의 움직임벡터를 교정하는 움직임벡터교정부; 및 상기 움직임벡터교정부에서 교정된 움직임벡터를 이용하여, 상기 이동물체 취득 영상에서 상기 대상 프레임과 상기 이전 프레임 간의 중간 시점 프레임에 해당하는 프레임 간 보간영상을 생성하는 영상보간부를 포함할 수 있다.
일 실시예에 있어서, 상기 움직임추정부는, 상기 이동물체 진행정보를 이용하여, 상기 이동물체 취득 영상의 좌표 이동에 관한 정보인 영상좌표 진행정보를 산출하고, 상기 영상좌표 진행정보를 이용하여 상기 대상 블록의 움직임벡터를 산출하는 것을 특징으로 할 수 있다.
일 실시예에 있어서, 상기 움직임추정부는, 상기 영상좌표 진행정보를 이용하여, 상기 이동물체 취득 영상 중 상기 이전 프레임에서 상기 대상 블록의 움직임벡터를 산출하기 위한 탐색영역을 설정하고, 상기 설정된 탐색영역 내에서 상기 대상 블록과 대응하는 영상블록을 탐색하여, 상기 대상 블록의 움직임벡터를 산출하는 것을 특징으로 할 수 있다.
일 실시예에 있어서, 상기 움직임추정부는, 상기 대상 블록의 위치에서 상기 영상좌표 진행정보를 고려하여 일정 거리만큼 이동된 위치를 기준점으로 하여 상기 이전 프레임에서 일정한 크기의 상기 탐색영역을 설정하고, 상기 탐색영역 내에서 상기 대상 블록과 가장 유사한 영상신호 값을 가지는 영상블록을 찾고, 상기 찾아진 영상블록과 상기 대상 블록 간의 좌표차를 계산하여, 상기 대상 블록의 움직임벡터를 산출하는 것을 특징으로 할 수 있다.
일 실시예에 있어서, 상기 움직임벡터교정부는, 상기 움직임추정부에서 상기 대상 블록 별로 산출한 움직임벡터를, 상기 대상 블록 주변으로 일정한 크기의 교정영역을 설정하고, 상기 교정영역 내의 영상블록들의 움직임벡터 정보와, 상기 교정영역 내의 영상블록들의 움직임벡터들을 이용하여 예측한 영상의 정보를 이용하여, 교정하는 것을 특징으로 할 수 있다.
일 실시예에 있어서, 상기 움직임벡터교정부는, 상기 교정영역 내의 영상블록들의 각 움직임벡터를 교정후보 움직임벡터로 하고, 상기 교정후보 움직임벡터 중, 상기 교정후보 움직임벡터의 길이가 상기 교정영역 내의 움직임벡터들의 길이 중 극값에 해당하지 아니하고, 상기 교정후보 움직임벡터의 상기 교정영역 내 발생 빈도수가 일정 정도보다 작지 아니하고, 상기 교정후보 움직임벡터를 이용하여 상기 대상 프레임과 상기 이전 프레임으로부터 상기 중간 시점 프레임의 영상블록을 각각 추정하고 상기 각각 추정된 영상블록 간의 차분값의 크기가 일정한 정도보다 크지 아니한, 상기 교정후보 움직임벡터를 선택하여 상기 대상 블록의 교정된 움직임벡터로 하는 것을 특징으로 할 수 있다.
일 실시예에 있어서, 상기 영상보간부는, 상기 프레임 간 보간영상에서 영상을 보간할 기본 단위가 되는 일정한 크기의 영상블록인 보간블록을 설정하고, 상기 보간블록에 대하여, 상기 움직임벡터교정부에서 교정된 움직임벡터를 이용하여, 상기 대상 프레임과 상기 이전 프레임으로부터 양방향으로 상기 중간 시점 프레임에서의 영상블록을 각각 추정하고, 상기 대상 프레임으로부터 추정된 상기 중간 시점 프레임에서의 영상블록과 상기 이전 프레임으로부터 추정된 상기 중간 시점 프레임에서의 영상블록의 평균을 계산하여, 상기 프레임 간 보간영상의 각 상기 보간블록을 생성하는 것을 특징으로 할 수 있다.
일 실시예에 있어서, 본 발명의 일 유형에 따른 이동물체 취득 영상에서의 프레임율 향상 장치는 상기 영상보간부에서 보간된 상기 프레임 간 보간영상에 존재하는 오류를 수정하는 오류수정부를 더 포함할 수 있다.
일 실시예에 있어서, 상기 오류수정부는, 상기 프레임 간 보간영상에 존재하는 오류영역을 검출하고, 상기 검출된 오류영역의 영상신호를 교정하고, 상기 교정된 오류영역과 교정되지 아니한 주변 영역 간의 경계를 부드럽게 처리하는 것을 특징으로 할 수 있다.
본 발명에 따른 이동물체 취득 영상에서의 프레임율 향상 장치는, 고속으로 이동하는 비행체를 비롯한 이동물체에서 취득된 영상을 입력받아 동작하는 이동물체의 표적 추적 장치의 성능을 향상시키고, 이동물체를 제어하는 사용자가 시청하는 이동물체 취득 영상의 화질을 개선하고, 기존 일반 시청용 디스플레이 시스템과 비교하였을 때 연산량이 감소되면서도 우수하게 프레임율을 향상시키는 성능 개선 효과가 있다.
도1은 본 발명의 일 실시예에 따른 이동물체 취득 영상에서의 프레임율 향상 장치를 나타내는 블록도이다.
도2은 본 발명에 따른 이동물체 취득 영상에서의 프레임율 향상 장치 중 움직임추정부의 동작 원리를 설명하기 위한 참고도이다.
도3는 본 발명에 따른 이동물체 취득 영상에서의 프레임율 향상 장치 중 움직임추정부의 동작을 설명하기 위한 참고도이다.
도4는 본 발명에 따른 이동물체 취득 영상에서의 프레임율 향상 장치 중 영상보간부의 동작을 설명하기 위한 참고도이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
도1은 본 발명의 일 실시예에 따른 이동물체 취득 영상에서의 프레임율 향상 장치를 나타내는 블록도이다.
본 발명의 일 실시예에 따른 이동물체 취득 영상에서의 프레임율 향상 장치는 움직임추정부(100), 움직임벡터교정부(200), 영상보간부(300), 오류수정부(400)를 포함할 수 있다. 상기 실시예는 본 발명에 따른 최적의 실시예이고, 오류수정부(400)는 필요에 따라 생략될 수 있다. 이하에서는 상기 최적의 실시예에 대하여 보다 상세히 설명한다.
움직임추정부(100)는 이동물체의 이동 정보인 이동물체 진행정보와 이동물체에서 촬영되어 취득되는 영상인 이동물체 취득 영상을 입력받고, 상기 이동물체 취득 영상에서 움직임벡터를 산출하려고 하는 대상 프레임 내의 일정한 크기로 구분되어진 대상 블록들에 대하여, 상기 이동물체 진행정보와 상기 이동물체 취득 영상을 이용하여, 상기 대상 프레임과 상기 대상 프레임의 이전 프레임 간의 움직임벡터를 산출한다.
움직임벡터교정부(200)는 움직임추정부(100)에서 산출된 상기 대상 블록의 움직임벡터를 교정한다.
영상보간부(300)는 움직임벡터교정부(200)에서 교정된 움직임벡터를 이용하여, 상기 이동물체 취득 영상에서 상기 대상 프레임과 상기 이전 프레임 간의 중간 시점 프레임에 해당하는 프레임 간 보간영상을 생성한다.
이하에서는 움직임추정부(100)와 움직임벡터교정부(200)와 영상보간부(300)와 오류수정부(400)의 각 동작에 대하여 보다 상세히 설명한다.
움직임추정부(100)는 상기 이동물체 진행정보를 이용하여, 상기 이동물체 취득 영상의 좌표 이동에 관한 정보인 영상좌표 진행정보를 산출하고, 상기 영상좌표 진행정보를 이용하여 상기 대상 블록의 움직임벡터를 산출할 수 있다.
여기서 상기 이동물체가 이동하는 경우, 상기 이동물체가 이동함에 따라 상기 이동물체에 부착되어 상기 이동물체 취득 영상을 촬영하는 카메라도 이동하게 된다. 그런데 상기 이동물체 자체의 좌표 이동과 상기 카메라가 촬영하는 이동물체 취득 영상의 좌표 이동 간에는, 좌표계의 상이함에 따른 차이가 발생한다. 따라서 움직임추정부(100)는 상기 이동물체의 좌표와 상기 이동물체 취득 영상의 좌표 간에 좌표 변환 절차를 통하여, 상기 이동물체 진행정보를 변환하여 상기 영상좌표 진행정보를 산출하는 것이 바람직하다.
여기서 상기 이동물체 진행정보는 상기 이동물체가 3차원 공간에서 이동하는 정보를 나타내는 이동물체 진행벡터를 포함하고, 상기 영상좌표 진행정보는 상기 카메라가 이동함에 따라 같이 이동하는 이동물체 취득 영상의 좌표이동을 나타내는 영상좌표 진행벡터를 포함하는 것이 바람직하다.
여기서 상기 영상좌표 진행벡터는 하기 수학식 1과 같이 상기 이동물체 진행벡터를 이용하여 산출할 수 있다.
Figure 112014072519665-pat00001
(여기서
Figure 112014072519665-pat00002
,
Figure 112014072519665-pat00003
,
Figure 112014072519665-pat00004
는 각 3차원 좌표계의 인덱스이고,
Figure 112014072519665-pat00005
는 상기 영상좌표 진행벡터이고,
Figure 112014072519665-pat00006
는 상기 이동물체 진행벡터이고,
Figure 112014072519665-pat00007
는 좌표 간 변환 함수이다.)
여기서 움직임추정부(100)는 상기 영상좌표 진행정보를 이용하여, 상기 이동물체 취득 영상 중 상기 이전 프레임에서 상기 대상 블록의 움직임벡터를 산출하기 위한 탐색영역을 설정하고, 상기 설정된 탐색영역 내에서 상기 대상 블록과 대응하는 영상블록을 탐색하여, 상기 대상 블록의 움직임벡터를 산출할 수 있다.
여기서 움직임추정부(100)는 상기 대상 블록의 위치에서 상기 영상좌표 진행정보를 고려하여 일정 거리만큼 이동된 위치를 기준점으로 하여 상기 이전 프레임에서 일정한 크기의 상기 탐색영역을 설정하고, 상기 탐색영역 내에서 상기 대상 블록과 가장 유사한 영상신호 값을 가지는 영상블록을 찾고, 상기 찾아진 영상블록과 상기 대상 블록 간의 좌표차를 계산하여, 상기 대상 블록의 움직임벡터를 산출할 수 있다.
도2는 움직임추정부(100)의 원리를 설명하기 위한 참고도이다.
예를 들어 도2의 (a)와 같이 상기 이동물체가 좌상측 방향으로 움직이게 되는 경우 상기 이동물체에 부착되어 있는 상기 카메라도 좌상측 방향으로 움직이게 되고, 그 결과 상기 카메라에서 촬영하는 영상은 상대적으로 그 반대 방향인 우하측 방향으로 움직이게 된다. 따라서 도2의 (a)의
Figure 112014072519665-pat00008
프레임에서 좌상단에 있었던 물체는 그 다음 프레임인
Figure 112014072519665-pat00009
프레임에서 우하측으로 이동하게 된다. 도2의 (b)는 상기 이동물체가 우상측으로 이동할 경우의 또 다른 예이다. 특별히 주변의 물체들과 비교하였을 때 상대적으로 고속으로 이동하는 무인기나 미사일 등의 비행체와 같은 이동물체에 있어서는, 이동물체의 이동 방향에 따라 이동물체에서 취득된 영상 내의 각 객체들이 이동할 확률이 높다. 따라서
Figure 112014072519665-pat00010
프레임을 움직임벡터를 산출하고자 하는 상기 대상 프레임으로 하고,
Figure 112014072519665-pat00011
을 상기 이전 프레임이라 할 때,
Figure 112014072519665-pat00012
에서 설정되는 상기 탐색영역은 상기 이동물체가 진행하는 방향을 고려하여 설정하는 것이 바람직하다.
도3은 움직임추정부(100)가 상기 이동물체 진행정보에 따라 산출되는 상기 영상좌표 진행정보를 이용하여 상기 탐색영역을 설정하는 동작을 설명하기 위한 참고도이다.
예를 들어 도3에서는 상기 이동물체가 좌상측으로 진행함에 따라 상기 카메라에서 취득되는 상기 이동물체 취득 영상의 좌표도 이동하게 된다. 따라서 상기 이전 프레임
Figure 112014072519665-pat00013
에서 설정할 상기 탐색영역은 상기 대상 프레임
Figure 112014072519665-pat00014
의 상기 대상 블록의 위치를 기준으로 좌상측 방향으로 편향되도록 설정하는 것이 바람직하다.
여기서 상기 탐색영역은 하기 수학식 2와 같이 설정되고, 상기 대상 블록의 움직임벡터는 하기 수학식 3과 같이 산출될 수 있다. 여기서 하기 수학식 2와 같이 설정되는 상기 탐색영역 내의 각 영상블록과 상기 대상 블록 간의 좌표 차이가 상기 대상 블록의 움직임벡터의 후보가 되고, 상기 대상 블록의 움직임벡터의 후보들 중 하기 수학식 3을 충족하는 움직임벡터가 최종 선정되는 상기 대상 블록의 움직임벡터가 된다.
Figure 112014072519665-pat00015
(여기서
Figure 112014072519665-pat00016
는 상기 대상 블록의 수평좌표 위치이고,
Figure 112014072519665-pat00017
는 상기 대상 블록의 수직좌표 위치이고,
Figure 112014072519665-pat00018
,
Figure 112014072519665-pat00019
는 상기 탐색영역의 범위를 나타내는 인덱스이고,
Figure 112014072519665-pat00020
는 상기 영상좌표 진행정보 중 수평좌표 방향의 영상좌표 진행벡터이고,
Figure 112014072519665-pat00021
는 상기 영상좌표 진행정보 중 수직좌표 방향의 영상좌표 진행벡터이고,
Figure 112014072519665-pat00022
,
Figure 112014072519665-pat00023
,
Figure 112014072519665-pat00024
는 일정한 크기의 상수이다.)
(여기서
Figure 112014072519665-pat00026
는 상기 대상 블록의 움직임벡터이고,
Figure 112014072519665-pat00027
는 상기 대상 블록의 후보 움직임벡터이고,
Figure 112014072519665-pat00028
는 일정한 크기를 가지는 영상블록이고,
Figure 112014072519665-pat00029
는 영상블록
Figure 112014072519665-pat00030
의 위치를 나타내는 기준 좌표이고,
Figure 112014072519665-pat00031
은 영상블록의 프레임 인덱스이다. 여기서
Figure 112014072519665-pat00032
는 상기 탐색영역 내의 영상블록과 상기 대상 블록 간의 좌표 차이로써, 상기 대상 블록의 움직임벡터의 후보가 된다.)
이하에서는 움직임벡터교정부(200)에 대하여 상술한다.
움직임벡터교정부(200)는, 움직임추정부(100)에서 상기 대상 블록 별로 산출한 움직임벡터를, 상기 대상 블록 주변으로 일정한 크기의 교정영역을 설정하고, 상기 교정영역 내의 영상블록들의 움직임벡터 정보와, 상기 교정영역 내의 영상블록들의 움직임벡터들을 이용하여 예측한 영상의 정보를 이용하여, 교정할 수 있다.
여기서 움직임벡터교정부(200)는, 상기 교정영역 내의 영상블록들의 각 움직임벡터를 교정후보 움직임벡터로 하고, 상기 교정후보 움직임벡터 중, 상기 교정후보 움직임벡터의 길이가 상기 교정영역 내의 움직임벡터들의 길이 중 극값에 해당하지 아니하고, 상기 교정후보 움직임벡터의 상기 교정영역 내 발생 빈도수가 일정 정도보다 작지 아니하고, 상기 교정후보 움직임벡터를 이용하여 상기 대상 프레임과 상기 이전 프레임으로부터 상기 중간 시점 프레임의 영상블록을 각각 추정하고 상기 각각 추정된 영상블록 간의 차분값의 크기가 일정한 정도보다 크지 아니한, 상기 교정후보 움직임벡터를 선택하여 상기 대상 블록의 교정된 움직임벡터로 하는 것이 바람직하다.
여기서 움직임벡터교정부(200)는, 하기 수학식 4와 같이 상기 교정된 움직임벡터를 선택할 수 있다.
Figure 112014072519665-pat00033
(여기서
Figure 112014072519665-pat00034
는 상기 교정된 움직임벡터이고,
Figure 112014072519665-pat00035
는 상기 교정영역이고,
Figure 112014072519665-pat00036
는 상기 교정후보 움직임벡터이고,
Figure 112014072519665-pat00037
는 상기 교정후보 움직임벡터
Figure 112014072519665-pat00038
의 길이가 상기 교정영역 내의 움직임벡터들의 길이 중 극값에 해당하는지 여부를 나타내는 비용함수이고,
Figure 112014072519665-pat00039
는 상기 교정후보 움직임벡터
Figure 112014072519665-pat00040
를 이용하여 상기 대상 프레임과 상기 이전 프레임으로부터 상기 중간 시점 프레임의 영상블록을 각각 추정하고 상기 각각 추정된 영상블록 간의 차분값의 크기를 나타내는 비용함수이고,
Figure 112014072519665-pat00041
는 상기 교정부호 움직임벡터
Figure 112014072519665-pat00042
가 상기 교정영역 내에서 발생한 빈도수를 나타내는 함수이고,
Figure 112014072519665-pat00043
,
Figure 112014072519665-pat00044
,
Figure 112014072519665-pat00045
는 일정한 크기의 상수이다.)
여기서 상기
Figure 112014072519665-pat00046
는 하기 수학식 5와 같이 산출하고, 상기
Figure 112014072519665-pat00047
는 하기 수학식 6과 같이 산출하는 것이 바람직하다.
Figure 112014072519665-pat00048
Figure 112014072519665-pat00049
(여기서
Figure 112014072519665-pat00050
는 영상블록의 위치를 나타내는 기준 좌표이고,
Figure 112014072519665-pat00051
는 움직임벡터이고,
Figure 112014072519665-pat00052
는 프레임의 인덱스이고,
Figure 112014072519665-pat00053
는 인덱스가
Figure 112014072519665-pat00054
이 되는 프레임에서
Figure 112014072519665-pat00055
좌표를 기준으로 일정크기를 가지는 영상블록이다.)
즉 움직임벡터교정부(200)는 상기 교정영역 내의 영상블록들의 움직임벡터들을 상기 교정후보 움직임벡터라고 지칭할 때, 상기 교정후보 움직임벡터들 중에서, 상기 교정후보 움직임벡터의 길이 값이 상기 교정영역 내의 움직임벡터들 중에서 극값을 가지지 않고, 상기 교정후보 움직임벡터들 사이에서 움직임벡터의 발생 빈도수가 일정한 정도 보다 작은 값을 가지지 않고, 또한 상기 교정후보 움직임벡터를 이용하여 상기 대상 프레임과 상기 이전 프레임으로부터 각각 움직임 추정을 하여 얻어진 영상블록 간의 차분값이 일정한 정도 보다 큰 값을 가지지 않는 움직임벡터를 선택하여, 이러한 움직임벡터를 상기 대상 블록의 움직임벡터로 설정하는 것이다. 상기 수학식 4 내지 수학식 6 과 같은 비용함수는 위와 같은 기준을 충족시키기 위하여 설계된 비용함수이고, 각 비용함수에 곱해지는 상수들의 값을 조절함에 따라 비용함수들 간의 비중을 조절할 수 있다.
이하에서는 영상보간부(300)에 대하여 상술한다.
영상보간부(300)는, 상기 프레임 간 보간영상에서 영상을 보간할 기본 단위가 되는 일정한 크기의 영상블록인 보간블록을 설정하고, 상기 보간블록에 대하여, 움직임벡터교정부(200)에서 교정된 움직임벡터를 이용하여, 상기 대상 프레임과 상기 이전 프레임으로부터 양방향으로 상기 중간 시점 프레임에서의 영상블록을 각각 추정하고, 상기 대상 프레임으로부터 추정된 상기 중간 시점 프레임에서의 영상블록과 상기 이전 프레임으로부터 추정된 상기 중간 시점 프레임에서의 영상블록의 평균을 계산하여, 상기 프레임 간 보간영상의 각 상기 보간블록을 생성할 수 있다.
도4는 영상보간부(300)의 동작을 설명하기 위한 참고도이다. 도4의
Figure 112014072519665-pat00056
은 상기 프레임 간 보간영상으로, 상기 대상 프레임인
Figure 112014072519665-pat00057
와 상기 이전 프레임인
Figure 112014072519665-pat00058
으로부터 상기 교정된 움직임벡터를 이용하여 양 프레임 간에 보간되는 영상이다. 이와 같이 기존의 프레임들 간에 보간된 프레임이 삽입됨으로, 본래 동영상의 프레임율이 증가하게 된다.
여기서 영상보간부(300)는, 하기 수학식 7과 같이 상기 프레임 간 보간영상 내의 각 상기 보간블록을 생성하여, 상기 프레임 간 보간영상을 생성하는 것이 바람직하다.
Figure 112014072519665-pat00059
(여기서
Figure 112014072519665-pat00060
는 상기 프레임 간 보간영상 내의 상기 보간블록의 위치를 나타내는 기준 좌표이고,
Figure 112014072519665-pat00061
는 움직임벡터교정부(200)에서 교정된 움직임벡터이고,
Figure 112014072519665-pat00062
은 프레임의 인덱스이고,
Figure 112014072519665-pat00063
는 인덱스가
Figure 112014072519665-pat00064
이 되는 프레임에서
Figure 112014072519665-pat00065
좌표를 기준으로 일정크기를 가지는 영상블록이다. 여기서
Figure 112014072519665-pat00066
는 상기 프레임 간 보간영상을 지칭하고,
Figure 112014072519665-pat00067
는 상기 대상 프레임으로부터 추정된 중간 시점 프레임에서의 영상블록을 지칭하고,
Figure 112014072519665-pat00068
는 상기 이전 프레임으로부터 추정된 중간 시점 프레임에서의 영상블록을 지칭한다.)
오류수정부(400)는 영상보간부(300)에서 보간된 상기 프레임 간 보간영상에 존재하는 오류를 수정한다. 이때 상기 오류영역에는 프레임 간 보간으로 인하여 발생한 블록오류(block artifact) 등의 오류가 존재하고, 오류수정부(400)는 이와 같은 오류들을 수정한다. 여기서 오류수정부(400)는, 상기 프레임 간 보간영상에 존재하는 오류영역을 검출하고, 상기 검출된 오류영역의 영상신호를 교정하고, 상기 교정된 오류영역과 교정되지 아니한 주변 영역 간의 경계를 부드럽게 처리하는 것이 바람직하다.
이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.
또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 상세한 설명에서 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
100 : 움직임추정부
200 : 움직임벡터교정부
300 : 영상보간부
400 : 오류수정부

Claims (9)

  1. 프레임율 향상 장치에 있어서,
    이동물체의 이동 정보인 이동물체 진행정보와 이동물체에서 촬영되어 취득되는 영상인 이동물체 취득 영상을 입력받고, 상기 이동물체 취득 영상에서 움직임벡터를 산출하려고 하는 대상 프레임 내의 일정한 크기로 구분되어진 대상 블록들에 대하여, 상기 이동물체 진행정보와 상기 이동물체 취득 영상을 이용하여, 상기 대상 프레임과 상기 대상 프레임의 이전 프레임 간의 움직임벡터를 산출하는 움직임추정부;
    상기 움직임추정부에서 산출된 상기 대상 블록의 움직임벡터를 교정하되, 상기 움직임추정부에서 상기 대상 블록 별로 산출한 움직임벡터를 상기 대상 블록 주변으로 일정한 크기의 교정영역을 설정하고 상기 교정영역 내의 영상블록들의 움직임벡터 정보와 상기 교정영역 내의 영상블록들의 움직임벡터들을 이용하여 예측한 영상의 정보를 이용하여 교정하는 움직임벡터교정부; 및
    상기 움직임벡터교정부에서 교정된 움직임벡터를 이용하여, 상기 이동물체 취득 영상에서 상기 대상 프레임과 상기 이전 프레임 간의 중간 시점 프레임에 해당하는 프레임 간 보간영상을 생성하는 영상보간부를 포함하고,
    상기 움직임벡터교정부는, 상기 교정영역 내의 영상블록들의 각 움직임벡터를 교정후보 움직임벡터로 하고, 상기 교정후보 움직임벡터 중, 상기 교정후보 움직임벡터의 길이가 상기 교정영역 내의 움직임벡터들의 길이 중 극값에 해당하지 아니하고, 상기 교정후보 움직임벡터의 상기 교정영역 내 발생 빈도수가 일정 정도보다 작지 아니하고, 상기 교정후보 움직임벡터를 이용하여 상기 대상 프레임과 상기 이전 프레임으로부터 상기 중간 시점 프레임의 영상블록을 각각 추정하고 상기 각각 추정된 영상블록 간의 차분값의 크기가 일정한 정도보다 크지 아니한, 상기 교정후보 움직임벡터를 선택하여 상기 대상 블록의 교정된 움직임벡터로 하는 것을 특징으로 하는 이동물체 취득 영상에서의 프레임율 향상 장치.
  2. 제1항에 있어서, 상기 움직임추정부는,
    상기 이동물체 진행정보를 이용하여, 상기 이동물체 취득 영상의 좌표 이동에 관한 정보인 영상좌표 진행정보를 산출하고, 상기 영상좌표 진행정보를 이용하여 상기 대상 블록의 움직임벡터를 산출하는 것을 특징으로 하는 이동물체 취득 영상에서의 프레임율 향상 장치.
  3. 제2항에 있어서, 상기 움직임추정부는,
    상기 영상좌표 진행정보를 이용하여, 상기 이동물체 취득 영상 중 상기 이전 프레임에서 상기 대상 블록의 움직임벡터를 산출하기 위한 탐색영역을 설정하고, 상기 설정된 탐색영역 내에서 상기 대상 블록과 대응하는 영상블록을 탐색하여, 상기 대상 블록의 움직임벡터를 산출하는 것을 특징으로 하는 이동물체 취득 영상에서의 프레임율 향상 장치.
  4. 제3항에 있어서, 상기 움직임추정부는,
    상기 대상 블록의 위치에서 상기 영상좌표 진행정보를 고려하여 일정 거리만큼 이동된 위치를 기준점으로 하여 상기 이전 프레임에서 일정한 크기의 상기 탐색영역을 설정하고, 상기 탐색영역 내에서 상기 대상 블록과 가장 유사한 영상신호 값을 가지는 영상블록을 찾고, 상기 찾아진 영상블록과 상기 대상 블록 간의 좌표차를 계산하여, 상기 대상 블록의 움직임벡터를 산출하는 것을 특징으로 하는 이동물체 취득 영상에서의 프레임율 향상 장치.
  5. 삭제
  6. 삭제
  7. 제1항에 있어서, 상기 영상보간부는,
    상기 프레임 간 보간영상에서 영상을 보간할 기본 단위가 되는 일정한 크기의 영상블록인 보간블록을 설정하고, 상기 보간블록에 대하여,
    상기 움직임벡터교정부에서 교정된 움직임벡터를 이용하여, 상기 대상 프레임과 상기 이전 프레임으로부터 양방향으로 상기 중간 시점 프레임에서의 영상블록을 각각 추정하고, 상기 대상 프레임으로부터 추정된 상기 중간 시점 프레임에서의 영상블록과 상기 이전 프레임으로부터 추정된 상기 중간 시점 프레임에서의 영상블록의 평균을 계산하여, 상기 프레임 간 보간영상의 각 상기 보간블록을 생성하는 것을 특징으로 하는 이동물체 취득 영상에서의 프레임율 향상 장치.
  8. 제1항 내지 제4항 또는 제7항 중 어느 하나의 항에 있어서,
    상기 영상보간부에서 보간된 상기 프레임 간 보간영상에 존재하는 오류를 수정하는 오류수정부를 더 포함하는 것을 특징으로 하는 이동물체 취득 영상에서의 프레임율 향상 장치.
  9. 제8항에 있어서, 상기 오류수정부는, 상기 프레임 간 보간영상에 존재하는 오류영역을 검출하고, 상기 검출된 오류영역의 영상신호를 교정하고, 상기 교정된 오류영역과 주변 영역 간의 경계를 부드럽게 처리하는 것을 특징으로 하는 이동물체 취득 영상에서의 프레임율 향상 장치.
KR1020140097657A 2014-07-30 2014-07-30 이동물체 취득 영상에서의 프레임율 향상 장치 Active KR101589727B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140097657A KR101589727B1 (ko) 2014-07-30 2014-07-30 이동물체 취득 영상에서의 프레임율 향상 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140097657A KR101589727B1 (ko) 2014-07-30 2014-07-30 이동물체 취득 영상에서의 프레임율 향상 장치

Publications (1)

Publication Number Publication Date
KR101589727B1 true KR101589727B1 (ko) 2016-01-28

Family

ID=55310005

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140097657A Active KR101589727B1 (ko) 2014-07-30 2014-07-30 이동물체 취득 영상에서의 프레임율 향상 장치

Country Status (1)

Country Link
KR (1) KR101589727B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024158129A1 (ko) * 2023-01-25 2024-08-02 삼성전자주식회사 전자 장치 및 그 영상 처리 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005012799A (ja) * 2003-06-16 2005-01-13 Samsung Electronics Co Ltd ブロックに基いた動き補償装置および方法
KR20090068977A (ko) * 2007-12-24 2009-06-29 중앙대학교 산학협력단 로봇 기반 입체 디스플레이 장치 및 방법
JP2009200985A (ja) * 2008-02-25 2009-09-03 Hitachi Ltd 映像処理装置
KR20100027703A (ko) * 2008-09-03 2010-03-11 삼성전자주식회사 정밀 움직임 예측을 기반으로 한 프레임 보간 장치 및 그 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005012799A (ja) * 2003-06-16 2005-01-13 Samsung Electronics Co Ltd ブロックに基いた動き補償装置および方法
KR20090068977A (ko) * 2007-12-24 2009-06-29 중앙대학교 산학협력단 로봇 기반 입체 디스플레이 장치 및 방법
JP2009200985A (ja) * 2008-02-25 2009-09-03 Hitachi Ltd 映像処理装置
KR20100027703A (ko) * 2008-09-03 2010-03-11 삼성전자주식회사 정밀 움직임 예측을 기반으로 한 프레임 보간 장치 및 그 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024158129A1 (ko) * 2023-01-25 2024-08-02 삼성전자주식회사 전자 장치 및 그 영상 처리 방법

Similar Documents

Publication Publication Date Title
US10404917B2 (en) One-pass video stabilization
US8942506B2 (en) Image processing apparatus, image processing method, and program
US9092875B2 (en) Motion estimation apparatus, depth estimation apparatus, and motion estimation method
US10244164B1 (en) Systems and methods for image stitching
US9898803B2 (en) Image processing apparatus, image processing method, and recording medium storing image processing program
US10789765B2 (en) Three-dimensional reconstruction method
US20200126290A1 (en) Image processing apparatus, image processing method and storage medium
US20120120264A1 (en) Method and apparatus for video stabilization by compensating for view direction of camera
US20110242339A1 (en) Image processing apparatus, image processing method, and image processing program
KR102141290B1 (ko) 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및 기억 매체
US10846826B2 (en) Image processing device and image processing method
US20120274855A1 (en) Image processing apparatus and control method for the same
US20120106639A1 (en) Motion-compensated temporal filtering based on variable filter parameters
KR102074555B1 (ko) 비디오 처리를 위한 블록 기반 정적 영역 검출
JPWO2018139461A1 (ja) 移動物体検出装置、移動物体検出方法及び記憶媒体
JP2007181674A (ja) ブロック整合及び動き補償補間を利用した映像形成方法
US20140204228A1 (en) Information processing device, information processing method, and imaging device
US8644555B2 (en) Device and method for detecting movement of object
KR101806453B1 (ko) 무인 비행체 충돌 회피를 위한 이동 객체 검출 장치 및 방법
US9305336B2 (en) Apparatus and method for estimating noise
JP2014219795A (ja) 画像処理装置、画像処理回路及び画像処理方法
JP2017207818A (ja) 画像処理装置、画像処理方法、プログラム
JP5627498B2 (ja) 立体画像生成装置及び方法
KR101760463B1 (ko) 깊이 지도 보정 방법 및 그 장치
KR101589725B1 (ko) 이동물체에서 획득한 영상에서의 프레임 간 영상 보간 방법

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

FPAY Annual fee payment

Payment date: 20191219

Year of fee payment: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 9

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 10

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 11

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 11

R18 Changes to party contact information recorded

Free format text: ST27 STATUS EVENT CODE: A-5-5-R10-R18-OTH-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000