KR101597915B1 - 화상 처리 장치 및 화상 처리 방법 - Google Patents

화상 처리 장치 및 화상 처리 방법 Download PDF

Info

Publication number
KR101597915B1
KR101597915B1 KR1020140185697A KR20140185697A KR101597915B1 KR 101597915 B1 KR101597915 B1 KR 101597915B1 KR 1020140185697 A KR1020140185697 A KR 1020140185697A KR 20140185697 A KR20140185697 A KR 20140185697A KR 101597915 B1 KR101597915 B1 KR 101597915B1
Authority
KR
South Korea
Prior art keywords
image
map
movement amount
pixel
deformed
Prior art date
Application number
KR1020140185697A
Other languages
English (en)
Other versions
KR20150107580A (ko
Inventor
타카시 오오타
Original Assignee
오므론 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 오므론 가부시키가이샤 filed Critical 오므론 가부시키가이샤
Publication of KR20150107580A publication Critical patent/KR20150107580A/ko
Application granted granted Critical
Publication of KR101597915B1 publication Critical patent/KR101597915B1/ko

Links

Images

Classifications

    • G06T3/18—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/44—Morphing

Abstract

적은 처리량 및 메모리 소비량으로 화상의 변형을 행할 수가 있는 화상 처리 장치를 제공한다. 입력된 화상의 적어도 일부를 변형하는 화상 처리 장치로서, 입력 화상을 취득하는 화상 취득 수단과, 상기 입력 화상에 포함되는, 변형 대상의 오브젝트를 특정하는 오브젝트 특정 수단과, 2차원 평면에서의 화소의 이동량을 정의한 맵인 이동량 맵을 기억하는 맵 기억 수단과, 상기 이동량 맵을, 상기 변형 대상의 오브젝트의 형상에 맞추어서 변형시키는 맵 변형 수단과, 상기 변형 후의 이동량 맵에 의거하여, 상기 오브젝트에 대응하는 화소의 이동량을 결정하고, 당해 화소를 이동시킴으로써 화상의 변형을 행하는 화상 변형 수단을 갖는다.

Description

화상 처리 장치 및 화상 처리 방법{IMAGE PROCESSING APPARATUS AND IMAGE PROCESSING METHOD}
본 발명은, 화상의 일부를 변형시키는 화상 처리 장치에 관한 것이다.
근래, 피사체를 보다 아름답게 찍기 위한 기능을 탑재한 디지털 카메라나, 촬영된 화상을 보다 아름답게 가공하는 기능을 갖는 소프트웨어가 보급되어 있다. 이와 같은 기능의 하나로, 화상의 일부를 변형시키는 기능이 있다. 당해 기능을 이용하면, 예를 들면, 사진에 찍혀진 인물의 얼굴이나 입을 작게 보정하거나, 목을 크게 보정하거나 할 수 있다.
화상의 일부를, 당해 화상을 감상하는 사람에게 위화감을 주지 않도록 변형시키는 방법에 관해, 다양한 수법이 개발되어 있다. 예를 들면, 특허 문헌 1에 기재된 화상 변형 장치에서는, 화상 중의 보정하고 싶은 영역(예를 들면 사람의 얼굴 등)을 그리드로 분할하고, 그리드마다 화소의 이동량이나 이동 방향을 산출함으로써 화상의 변형을 행하고 있다.
특허 문헌 1 : 일본국 특허 제5240795호 공보
특허 문헌 1에 기재된 장치에서는, 메모리 공간에 화상 데이터를 일단 전개(展開)하고, 3차원 스플라인 보간을 이용하여 그리드마다 보정의 정도를 산출함으로써 화상의 변형 처리를 행하고 있다. 한편, 화상을 변형시키는 기능을 휴대전화 등의 포터블 디바이스에 탑재하는 경우, 메모리 용량이나 처리 속도의 제한에 의해, 대량의 데이터를 전개하여 복잡한 연산을 행하는 것이 곤란한 경우가 많다.
본 발명은 상기한 과제를 고려하여 이루어진 것으로, 적은 처리량 및 메모리 소비량으로 화상의 변형을 행할 수가 있는 화상 처리 장치를 제공하는 것을 목적으로 한다.
본 발명에 관한 화상 처리 장치는, 화상의 적어도 일부를 변형시킴으로써, 당해 화상에 포함되는 대상물(이하, 오브젝트)을 소망하는 형상으로 변형시키는 장치이다.
구체적으로는, 본 발명의 제1의 양태에 관한 화상 처리 장치는,
입력된 화상의 적어도 일부를 변형하는 화상 처리 장치로서, 입력 화상을 취득하는 화상 취득 수단과, 상기 입력 화상에 포함되는, 변형 대상의 오브젝트를 특정하는 오브젝트 특정 수단과, 2차원 평면에서의 화소의 이동량을 정의한 맵인 이동량 맵을 기억하는 맵 기억 수단과, 상기 이동량 맵을, 상기 변형 대상의 오브젝트의 형상에 맞추어서 변형시키는 맵 변형 수단과, 상기 변형 후의 이동량 맵에 의거하여, 상기 오브젝트에 대응하는 화소의 이동량을 결정하고, 당해 화소를 이동시킴으로써 화상의 변형을 행하는 화상 변형 수단을 갖는 것을 특징으로 한다.
오브젝트 특정 수단은, 화상에 포함되는 변형 대상의 오브젝트를 특정하는 수단이다. 변형 대상의 오브젝트란, 예를 들면, 피사체가 인간의 얼굴인 경우, 얼굴 전체라도 좋고, 목이나 입 등이라도 좋다. 또한, 변형 대상의 오브젝트는, 인간의 얼굴 이외라도 좋다. 또한, 변형 대상의 오브젝트는, 자동적으로 검출되어도 좋고, 유저에 의해 지정되어도 좋다.
이동량 맵은, 화소의 이동량을 정의한 2차원의 맵이다. 본 발명에 관한 화상 처리 장치는, 맵 변형 수단이, 이동량 맵을 오브젝트의 형상에 맞추어서 변형시키고, 변형 후의 이동량 맵에 의거하여 화소의 이동량을 결정한다. 이러한 구성에 의하면, 복잡한 연산을 행하지 않고도, 맵과 화소와의 대응 관계를 결정할 뿐으로, 오브젝트를 변형시키기 위해 필요한 화소의 이동량을 구할 수 있다. 즉, 화상의 변형을 행하기 위한 처리 비용을 낮게 억제할 수 있다.
또한, 본 발명에 관한 화상 처리 장치는, 상기 변형 대상의 오브젝트에 관해, 화소를 이동시키는 방향을 설정하는 이동 방향 설정 수단을 또한 가지며, 상기 화상 변형 수단은, 상기 설정된 방향으로 대상의 화소를 이동시키는 것을 특징으로 하여도 좋다.
이동 방향 설정 수단에 의해, 화소를 이동시키는 방향을 설정함으로써, 오브젝트의 변형 방법을 지정할 수 있다. 예를 들면, 「인물의 얼굴에 대응하는 화소를, 얼굴의 중심을 향하여 이동시킨다」고 한 경우, 피사체로서 찍혀져 있는 인물의 얼굴을 작게 보정할 수 있다. 화소를 이동시키는 방향은, 유저로부터 취득하여도 좋고, 자동적으로 결정되도록 하여도 좋다. 예를 들면, 오브젝트의 중심점을 추정하고, 당해 중심점을 향하여 화소를 이동시키도록 하여도 좋다.
또한, 상기 오브젝트 특정 수단은, 변형 대상의 오브젝트에 대응하는 제어점(制御点)을 추출하고, 상기 맵 변형 수단은, 상기 제어점의 위치에 의거하여, 상기 이동량 맵을 변형시키는 것을 특징으로 하여도 좋다.
제어점이란, 변형을 행하는 오브젝트의 형상을 특징시키는 점이고, 전형적으로는, 오브젝트의 에지나 코너를 나타내는 점이지만, 이것으로 한정되지 않는다. 제어점을 이용함으로써, 변형 대상의 오브젝트의 형상에 보다 맞는 형상으로 이동량 맵을 변형시킬 수 있다.
또한, 상기 화상 변형 수단은, 상기 변형 후의 이동량 맵과, 상기 변형 대상의 오브젝트와의 위치맞춤을 행하고, 화소에 대응하는 이동량을 결정하는 것을 특징으로 하여도 좋다.
변형 후의 이동량 맵과, 변형 대상의 오브젝트와의 위치를 맞춤으로써, 이동시켜야 할 화소와 그 이동량을 대응시킬 수 있다. 또한, 화상이 갖는 화소 피치와, 맵의 피치가 일치하지 않는 경우, 어느 하나를 확대 또는 축소함으로써 피치를 일치시키도록 하여도 좋다.
또한, 상기 이동 방향 설정 수단은, 상기 화상상(畵像上)에 목표점을 설정함으로써 화소를 이동시키는 방향을 설정하고, 상기 이동량 맵은, 상기 목표점에 대응하는 점의 좌표를 갖고 있고, 상기 화상 변형 수단은, 상기 목표점을 이용하여, 변형 후의 이동량 맵과, 상기 변형 대상의 오브젝트와의 위치맞춤을 행하는 것을 특징으로 하여도 좋다.
이동량 맵의 형상과, 변형 대상의 오브젝트의 형상은 반드시는 일치하지 않고. 그래서, 이동량 맵과 오브젝트와의 위치를 맞추기 위한 공통의 좌표로서, 목표점을 이용할 수 있다.
또한, 상기 맵 기억 수단은, 복수의 변형 대상의 오브젝트의 종류 및/또는 복수의 변형 방법에 대응하는 복수의 이동량 맵을 기억하고 있고, 상기 맵 변형 수단 및 화상 변형 수단은, 복수의 이동량 맵 중, 변형 대상의 오브젝트의 종류 및/또는 변형 방법에 대응하는 이동량 맵을 선택하여 처리를 행하는 것을 특징으로 하여도 좋다.
이와 같이, 맵 기억 수단에, 오브젝트의 종류 또는 형상, 변형의 방법마다 각각 대응하는 복수의 이동량 맵을 기억시키고, 적합한 이동량 맵을 사용하여 처리를 행하도록 하여도 좋다. 이와 같이 함으로써, 보다 자연스러운 변형 결과를 얻을 수 있다.
또한, 본 발명은, 상기 수단의 적어도 일부를 포함하는 화상 처리 장치로서 특정할 수 있다. 또한, 본 발명은, 화상 처리 방법으로서 특정할 수도 있다. 또한, 본 발명은, 컴퓨터에 상기 화상 처리 방법을 실행시키는 프로그램으로서 특정할 수도 있다. 상기 처리나 수단은, 기술적인 모순이 생기지 않는 한에 있어서, 자유롭게 조합시켜서 실시할 수 있다.
본 발명에 의하면, 적은 처리량 및 메모리 소비량으로 화상의 변형을 행할 수가 있는 화상 처리 장치를 제공할 수 있다.
도 1은 실시 형태에 관한 촬상 장치의 시스템 구성도.
도 2는 제1의 실시 형태에서 사용하는 이동량 맵의 예.
도 3은 변형을 행하는 대상 화상의 예.
도 4는 제어점과 목표점의 배치 위치를 도시한 도면.
도 5는 이동량 맵의 변형 방법을 설명하는 제1의 도면.
도 6은 이동량 맵의 변형 방법을 설명하는 제2의 도면.
도 7은 이동량 맵의 변형 방법을 설명하는 제3의 도면.
도 8은 화소의 이동 방법을 설명하는 도면.
도 9는 제1의 실시 형태에 관한 촬상 장치의 처리 플로 차트.
도 10은 제2의 실시 형태에서 사용하는 이동량 맵의 예.
(제1의 실시 형태)
이하, 본 발명의 바람직한 실시 형태에 관해 도면을 참조하면서 설명한다.
제1의 실시 형태에 관한 촬상 장치는, 촬영한 화상으로부터 사람의 얼굴을 검출하고, 당해 얼굴이나, 얼굴에 포함되는 기관(器官)의 사이즈를 보정하는 기능을 갖는 촬상 장치이다. 예를 들면, 피사체인 인물의 얼굴이나 입의 사이즈를 작게 보정할 수 있다. 도 1은, 제1의 실시 형태에 관한 촬상 장치(10)의 시스템 구성도이다.
촬상 장치(10)는, 촬상부(11), 추출부(12), 이동량 맵 기억부(13), 화상 변형부(14), 입출력부(15), 메모리(16)로 구성된다.
촬상부(11)는, 화상을 촬상하는 수단이고, 전형적으로는, 광학계와 촬상 소자, 및 그 인터페이스로 이루어진다. 화상을 촬상할 수 있으면, 촬상부(11)는 어떠한 기기로 구성되어 있어도 좋다.
추출부(12)는, 촬상부(11)에 의해 촬상된 화상으로부터, 변형을 행하는 대상(이하, 오브젝트)을 추출하는 수단이다. 구체적으로는, 화상 중으로부터 인물의 얼굴이 포함되는 영역을 특정한 다음, 당해 영역에 포함되는, 눈이나 입 등의 기관에 대응하는 특징점을 추출한다. 추출한 특징점은, 기관과 대응시켜서 기억된다.
이동량 맵 기억부(13)는, 화소의 이동량을 정의한 2차원의 맵(이동량 맵)을 기억하는 수단이다.
도 2는, 이동량 맵 기억부(13)에 기억된 이동량 맵의 예이다. 맵(201)의 각 격자에 쓰여진 수치는, 화소의 이동량을 나타내는 값이다. 본 실시 형태에서는, 화소의 이동량을 나타내는 값으로서 픽셀수(數)를 이용하지만, 이동량은 특정한 단위로 한정되지 않는다. 예를 들면, 이동량에 비례한 계수라도 좋다.
맵(201)의 중앙에 위치한 검은원(黑丸)은, 화소를 이동시키는 목표가 되는 점(이하, 목표점)이다. 목표점은, 각 화소의 이동 방향을 결정하기 위해 이용되는 점이다. 구체적으로는, 본 실시 형태에서는, 각 화소의 이동 방향은 당해 화소의 위치로부터 목표점을 향하는 방향으로서 결정된다. 또한, 맵(201) 중의 점선(202)은, 이동량의 피크를 도형으로 묘화하는 것이다(이하, 이동량 피크). 즉, 맵(201)은, 「원주의 부근에 있는 화소를 원의 중심을 향하여 이동시킨다」라는 변형에 대응하는 맵이다. 맵(201)은, 2차원 배열로 표시된 이동량과, 목표점의 좌표로 구성된다.
또한, 이동량 피크는, 이동량 맵을 변형할 때에 이용된다. 이동량 피크에 관한 정보는, 이동량 맵 자체에 갖게 하여도 좋고, 이동량의 배열로부터 그때마다 구하도록 하여도 좋다.
화상 변형부(14)는, 추출부(12)가 추출한 특징점과, 이동량 맵 기억부(13)에 기억된 이동량 맵에 의거하여, 화상을 구성하는 화소의 이동량과 이동 방향을 결정한 다음, 화상의 변형을 행하는 수단이다. 구체적인 방법에 관해서는 후술한다.
또한, 입출력부(15)는, 유저가 행한 입력 조작을 접수하고, 유저에 대해 정보를 제시하는 수단이다. 구체적으로는, 터치 패널과 그 제어 수단, 액정 디스플레이와 그 제어 수단으로 구성된다. 터치 패널 및 액정 디스플레이는, 본 실시 형태에서는 1개의 터치 패널 디스플레이로 이루어진다.
메모리(16)는, 변형을 행한 후의 화상을 기억하는 수단이다. 메모리(16)는, 플래시 메모리 등의 불휘발 메모리라도 좋고, 고정 디스크 드라이브 등이라도 좋다.
이상에 설명한 각 수단의 제어는, 제어 프로그램을 CPU 등의 처리 장치가 실행함에 의해 실현된다. 또한, 당해 제어 기능은, FPGA(Field Programmable Gate Array)나 ASIC(Application Specific Integrated Circuit) 등에 의해 실현되어도 좋고, 이들의 조합에 의해 실현되어도 좋다.
다음에, 촬영 화상을 변형하는 방법에 관해 설명한다.
도 3은, 촬상부(11)에 의해 촬영된 화상의 예이다. 제1의 실시 형태에 관한 촬상 장치(10)는, 촬영 화상으로부터 인물의 입을 검출하고, 당해 입의 사이즈를 작게 보정하는 기능을 갖는 촬상 장치이다. 도 3에 도시한 화상을 이용하여, 촬영 화상을 변형하는 방법에 관해 설명한다.
(1) 변형 대상 오브젝트의 특정 처리
최초에, 추출부(12)가 행하는 처리에 관해 설명한다. 추출부(12)는, 촬상부(11)가 촬영한 화상으로부터 얼굴을 검출하고, 변형을 행하는 오브젝트를 특정하는 처리를 행한다. 구체적으로는, 이하의 4개의 스탭을 실행한다. 또한, 화상의 취득은 완료하고 있는 것으로 한다.
(1-1) 얼굴 영역의 검출
최초의 스탭으로서, 우선, 취득한 화상으로부터, 얼굴이 존재하는 영역(얼굴 영역(301))을 검출한다. 화상에 포함되는 얼굴을 검출하는 방법은 공지의 것이기 때문에, 상세한 설명은 생략한다.
(1-2) 얼굴에 포함되는 기관의 검출
다음에, 검출한 얼굴 영역(301)의 내부로부터, 눈, 코, 입이라는 기관을 검출한다. 검출 대상의 기관은, 얼굴에 포함되는 것이면, 어떤 기관이라도 좋다. 예를 들면, 눈꼬리, 눈시울, 입꼬리점(口端点), 턱, 관자놀이 등이라도 좋다. 또한, 얼굴 자체를 검출 대상으로 하여도 좋고, 복수의 기관을 검출하도록 하여도 좋다. 본 예에서는, 입을 대상으로 하여 변형 처리를 행하기 때문에, 입이 존재하는 영역(입 영역(302))을 추출한다.
또한, 기관의 검출에는, 공지의 수법을 이용할 수 있다. 예를 들면, 템플레이트 화상에 의한 패턴 매칭을 이용하여도 좋고, 명암의 차에 의한 패턴 매칭을 이용하여도 좋다. 또한, 특징점을 추출하고, 당해 특징점의 위치 관계에 의거하여 기관을 특정하여도 좋다.
(1-3) 제어점의 배치
다음에, 추출부(12)가, 추출한 입 영역(302)에 제어점을 배치한다. 제어점이란, 변형을 행할 때의 기준이 되는 점이고, 대상 기관의 형상을 특징시키는 점인 것이 바람직하다. 예를 들면, 대상 기관이 눈이나 입인 경우, 외연(外緣)을 검출한 다음, 제어점을 당해 외연상에 배치하면 좋다. 또한, 기관의 코너(예를 들면 눈꼬리나 눈시울, 입술의 양끝 등)를 검출하여 제어점을 배치하도록 하여도 좋다.
도 4는, 입 영역(302)을 확대한 도면이다. 여기서는, 도 4에 도시한 제어점(401A 내지 D)을 배치하는 것으로 한다. 또한, 기관을 검출할 때에 특징점을 추출하고 있는 경우, 당해 특징점의 위치를 제어점의 위치로 하여도 좋다.
(1-4) 목표점의 배치
다음에, 추출부(12)가, 화상상에 목표점을 배치한다. 목표점이란, 화상을 변형시킬 때의, 화소의 이동 방향을 나타내는 점이다. 본 실시 형태에서는, 화상에 포함되는 인물의 입을 작게 보정하기 위해, 부호 402로 나타낸 바와 같이, 목표점을 입의 중심에 배치한다. 이와 같이 함으로써, 입에 대응하는 화소를 입의 중심 방향으로 이동시킬 수 있고, 결과로서, 입의 사이즈를 작게 보정할 수 있다.
또한, 목표점의 위치는, 제어점의 위치 관계에 의거하여 구하도록 하여도 좋다. 예를 들면, 제어점(401A 내지 D)을 통과하는 타원의 중심을 목표점으로 하여도 좋다. 또한, 기관을 검출할 때에 특징점을 추출하고 있는 경우, 당해 특징점의 위치에 의거하여 목표점의 위치를 결정하여도 좋다. 예를 들면, 대상의 기관이 눈인 경우, 눈동자의 중심에 목표점을 설정하도록 하여도 좋다.
또한, 전술한 예에서는, 추출부(12)가, 인물의 입이 포함되는 영역을 자동으로 추출하여, 제어점 및 목표점의 배치를 행하도록 하였지만, 제어점 및 목표점의 배치는, 유저가 수동으로 행하도록 하여도 좋다. 또한, 제어점과 목표점의 어느 한쪽, 또는 양쪽을 수동으로 배치하도록 하여도 좋다. 제어점이나 목표점을 수동으로 배치하는 경우, 터치 패널 디스플레이에 화상을 표시하고, 소망하는 위치를 지정할 수 있도록 하여도 좋다. 또한, 소망하는 기관만을 유저가 지정하고, 지정된 기관에 관해서만, 제어점이나 목표점의 배치를 행하도록 하여도 좋다.
(2) 화상의 변형 처리
다음에, 화상 변형부(14)가 행하는 처리에 관해 설명한다. 화상 변형부(14)는, 이동량 맵에 의거하여, 촬영 화상을 변형하는 처리를 행한다. 구체적으로는, 이하의 4개의 스탭을 실행한다.
(2-1) 제어점과 목표점에 의거한 이동량 맵의 변형
우선, 이동량 맵 기억부(13)에 기억된 이동량 맵을 취득하고, 당해 이동량 맵을, 변형 대상의 기관에 적합한 형상으로 변형한다.
도 2에 도시한 맵(201)은, 정원(正圓)에 대응한 오브젝트를 변형하기 위한 맵이지만, 변형을 행하는 대상인 입은 정원이 아니다. 그래서, 맵(201)의 형상을 변형함으로써, 입의 형상에 매치시키는 처리를, 이하의 순서에 의해 행한다.
우선, 배치한 제어점을 전부 통과하는 타원을 생성한다. 도 4의 예인 경우, 도 5와 같이, 제어점(401A 내지 D)을 통과하는 타원(501)이 생성된다.
다음에, 생성한 타원의 장경(長徑)(LX)과 단경(LY)을 취득하고, 맵(201)에서의 이동량 피크(202)의 직경(DP로 한다)과의 비율을 각각 구한다. 그리고, 이 결과 얻어진 비율에 의해, 맵(201)을 X방향 및 Y방향으로 축소시킨다. 예를 들면, LX/DP가 0.9이고, LY/DP가 0.6이였던 경우, 맵(201)을 X방향으로 90%, Y방향으로 60% 축소시킨다. 이 처리에 의해, 맵(201)은, 도 6에 도시한 맵(601)일 것인 형상이 된다.
또한, 본 예에서는 제어점을 통과하는 타원을 생성하였지만, 타원으로 한하지 않고, 제어점의 전부 또는 일부를 통과하는 임의의 곡선 또는 직선을 생성하도록 하여도 좋다. 또한, 이동량 맵을, 변형 대상의 기관의 형상과 맞출 수 있으면, 예시한 방법과는 다른 방법을 이용하여 변형을 행하여도 좋다.
(2-2) 이동량 맵의 위치맞춤
다음에, 변형 후의 이동량 맵과, 변형을 행하는 화상과의 위치맞춤을 행한다. 구체적으로는, 맵(601)이 갖고 있는 목표점과, 화상에 설정된 목표점의 좌표를 일치시키고, 맵(601)의 해상도를, 화상의 해상도와 일치시킨다. 해상도의 변경은, 예를 들면 바이리니어 샘플링이나, 니어리스트 네이버 샘플링, 선형 보간 등, 기지의 방법으로 행할 수 있다. 도 7은, 맵(601)의 해상도를, 화상의 해상도와 일치시킨 후의 예이다. 또한, 이동량이, 본 실시 형태와 같이 화소로 정의되어 있는 경우에는, 맵의 변형이나 해상도의 변경에 응하여, 이동량의 값을 보정하여도 좋다.
이와 같은 처리를 행하면, 변형을 행하는 화상과, 이동량 맵에 정의된 이동량이 화소 단위로 대응한 상태가 된다. 즉, 변형 대상의 화상이 갖는 화소를 얼마만큼 움직이면 좋은가라는 정보를 얻을 수 있다.
(2-3) 이동량 맵을 사용한, 대상 화상의 화소의 이동
다음에, 이동량 맵을 사용하여, 대상 화상의 화소를 이동시키는 처리를 행한다. 구체적으로는, 변형을 행하는 대상 화상의 화소 하나하나에 관해, 이동량 맵에 의해 이동량이 할당되어 있는지를 판정하고, 당해 이동량을 이용하여 화소의 이동을 행한다.
도 8은, 화소의 이동 방법을 설명하는 도면이다. 여기서는, 화소(801)에 「5」라는 이동량이 할당되어 있고, 화소(802)에 「3」이라는 이동량이 할당되어 있는 것으로 한다. 우선, 화소(801)에 관해 설명한다. 화상 변형부(14)는, 처리 대상의 화소인 화소(801)와 목표점을 직선으로 연결하고, 당해 직선상에 있으며, 처리 대상의 화소보다도 바깥쪽에 있는 화소의 화소치를 취득한다. 본 예에서는, 5화소분의 거리만큼 떨어져 바깥쪽에 위치하는 점(803)에 대응하는 화소치를 취득하고, 변경 후의 화소(801)에 대응하는 화소치로 한다. 또한, 화소(802)에 대해 처리를 행하는 경우, 3화소분의 거리만큼 떨어져서 바깥쪽에 위치하는 점(804)에 대응하는 화소치를 취득하고, 변경 후의 화소(802)에 대응하는 화소치로 한다.
또한, 이동량이 0인 경우, 원래의 화소치가 사용된다.
이와 같은 처리를 전 화소에 대해 행하면, 변형 후의 화상을 생성할 수 있다.
또한, 변형 후의 화상은, 신규로 메모리 영역을 확보하고 나서 생성하여도 좋고, 기존의 화상에 대해 화소치를 재기록함으로써 생성하여도 좋다. 후자의 방법을 이용하는 경우, 후에 당해 화소가 참조되는지의 여부를 고려하면서 화소의 처리순을 결정되면 좋다.
또한, 화소치를 취득하는 대상의 점(803) 및 점(804)은, 반드시는 특정한 화소에 대응하지 않는 경우가 있다(화소와 화소의 중간에 위치하는 경우 등). 이와 같은 경우, 주변의 화소로부터 화소치를 보간함에 의해 화소치를 취득한다. 보간 처리는, 예를 들면 바이리니어 보간 등의 기지의 방법에 의해 행할 수 있다.
또한, 화소의 이동은, 예시한 방법으로 한정되지 않고, 다른 공지의 모핑 수법을 이용하여 행하도록 하여도 좋다.
다음에, 이상에 설명하는 기능을 실현하기 위한 처리 플로 차트에 관해 설명한다.
도 9는, 제1의 실시 형태에 관한 촬상 장치(10)가 행하는 처리의 플로 차트이다. 당해 처리는, 유저의 조작(예를 들면, 화상을 촬상한 조작)에 의해 시작된다.
우선, 스탭 S11에서, 촬상부(11)가 화상을 촬상한다.
다음에, 스탭 S12에서, 추출부(12)가, 촬영한 화상으로부터, 사람의 얼굴이 포함되는 영역(얼굴 영역)을 검출하고, 당해 얼굴 영역에 포함되는 기관(본 실시 형태에서는 입)을 검출한다. 본 스탭에서는, (1-1) 및 (1-2)에서 설명한 처리가 행하여진다. 또한, 얼굴이나 기관의 판별은, 패턴 매칭 등을 이용하여 행하여도 좋고, 복수의 특징점을 검출한 다음, 당해 특징점의 위치 관계를 이용하여 행하여도 좋다.
스탭 S13에서는, 추출부(12)가, 대상의 기관에 대해 제어점과 목표점을 배치한다. 본 스탭에서는, (1-3) 및 (1-4)에서 설명한 처리가 행하여진다. 본 실시 형태에서는, 입의 외연에 제어점을 4개 배치하고, 입의 중심에 목표점을 배치한다.
다음에, 스탭 S14에서, 화상 변형부(14)가, 이동량 맵 기억부(13)로부터 이동량 맵을 취득하고, 설정된 제어점에 의거하여 변형을 행한 다음, 위치맞춤을 행한다. 본 스탭에서는, (2-1) 및 (2-2)에서 설명한 처리가 행하여진다.
다음에, 스탭 S15에서, 화상 변형부(14)가, 변형 후의 이동량 맵을 사용하여 대상 화상에 포함되는 화소를 이동시켜서, 변형 후의 화상을 생성한다. 본 스탭에서는, (2-3)에서 설명한 처리가 행하여진다. 변형 후의 화상은, 메모리(16)에 격납되고, 유저에게 제공된다.
이상 설명한 바와 같이, 제1의 실시 형태에 관한 촬상 장치는, 화상의 변형을 행할 때에, 미리 기억된 이동량 맵을 변형시킴으로써, 화소의 이동량과 이동 방향을 결정된다. 종래의 수법에서는, 화소나 그리드라는 이동 대상마다 보정의 정도를 산출하기 때문에, 복잡한 계산을 행할 필요가 있지만, 본 실시 형태에 관한 촬상 장치에서는, 단순한 처리로 화상의 변형을 행할 수가 있기 때문에, 보다 적은 처리량으로 화상의 변형을 실현할 수 있다. 또한, 화소의 참조 의존 관계가 단순하기 때문에 처리 순서를 궁리함으로써, 버퍼링용의 메모리를 이용하지 않고도, 변형 후의 화상을 취득할 수 있다.
(제2의 실시 형태)
제1의 실시 형태에서는, 이동량 맵 기억부(13)에 단일한 이동량 맵을 기억시켰다. 이에 대해, 제2의 실시 형태는, 이동량 맵 기억부(13)에 복수의 이동량 맵을 기억시키고, 대상에 적합한 이동량 맵을 선택하여 화상 변형 처리를 행하는 실시 형태이다.
제2의 실시 형태에 관한 촬상 장치의 구성은, 제1의 실시 형태와 마찬가지이기 때문에, 상세한 설명은 생략하고, 상위점만을 설명한다.
제2의 실시 형태에서는, 변형 대상의 오브젝트의 종류나, 변형의 방법마다 각각 대응하는 복수의 이동량 맵을, 이동량 맵 기억부(13)에 기억시킨다. 본 실시 형태에서는, 도 2에 도시한 맵(201)에 더하여, 도 10에 도시한 맵(1001)을 이동량 맵 기억부(13)에 기억시키는 예를 이용하여 설명한다. 맵(1001)은, 「수평 방향으로 위치한 화소를 중심선(1002)의 방향으로 끌어당긴다」라는 변형에 대응하는 이동량 맵이다. 즉, 맵(1001)의 각 격자에 쓰여진 수치는, 중심선(1002)의 수직선에 따라 각 화소를 중심선(1002)에 접근하는 이동의 양을 나타내는 값이다. 맵(1001)을 사용한 변형에 의해, 예를 들면, 입의 횡방향의 사이즈는 그대로이고 입술을 얇게 한다라는 효과를 얻을 수 있다.
제2의 실시 형태는, 스탭 S13에서, 추출부(12)가 목표점을 배치하는 대신에, 유저가, 입출력부(15)(터치 패널)를 통하여 화소의 이동 방향을 지정한다. 여기서는, 화소의 이동 방향으로서, 점 또는 직선을 묘화(描畵)에 의해 지정하는 것으로 한다. 또한, 점이 지정된 경우의 이동 방향은 당해점을 향하는 방향이고, 직선이 지정된 경우의 이동 방향은 당해 직선과 수직한 방향이다. 유저에 의한 지정은, 변형 방법의 지정으로 간주할 수도 있다.
스탭 S14에서는, 제1의 실시 형태에서 설명하는 처리에 더하여, 기억된 복수의 이동량 맵으로부터 사용하는 맵을 선택하는 처리가 추가된다. 예를 들면, 유저에 의해 점이 지정된 경우, 맵(201)을 선택하고, 직선이 지정된 경우, 맵(1001)을 선택한다.
이동량 맵을 변형하는 처리는, 제1의 실시 형태와 마찬가지이지만, 화소의 이동 방향으로서 직선(이하, 목표선)이 지정된 경우, 당해 목표선의 방향에 응하여, 맵(1001)을 회전하는 처리를 부가하여도 좋다. 또한, 도 10의 예인 경우, 이동량 피크는 부호 1003 및 1004로 도시한 직선에 의해 표시된다. 당해 이동량 맵을 변형할 때의 변형량은, 당해 이동량 피크가, 화상 중에 배치된 제어점과 겹쳐지는 값으로 하여도 좋다. 또한, 이동량 맵의 위치맞춤은, 제1의 실시 형태에서는 목표점을 이용하여 행하였지만, 제2의 실시 형태에서는, 목표선을 이용하여 행한다.
이와 같이, 제2의 실시 형태에서는, 오브젝트의 변형 방법에 응하여 복수의 이동량 맵으로부터, 사용하는 이동량 맵을 선택한다. 이에 의해, 복수의 변형 방법을 유저가 선택할 수 있게 된다.
또한, 제2의 실시 형태에서는, 화소의 이동 방향이 점에 의해 지정된 경우와, 직선에 의해 지정된 경우로, 사용한 이동량 맵을 전환하였지만, 사용하는 이동량 맵은 다른 방법에 의해 선택하여도 좋다. 예를 들면, 변형의 강(强)함을 유저에게 지정시키고, 당해 강함에 응하여 다른 이동량 맵을 선택하도록 하여도 좋다. 또한, 변형 대상의 오브젝트를 선택할 수 있는 경우, 선택된 오브젝트의 종류나 형상에 응하여, 적합한 이동량 맵을 선택하도록 하여도 좋다.
(변형례)
상기한 실시 형태는 어디까지나 한 예이고, 본 발명은 그 요지를 일탈하지 않는 범위 내에서 적절히 변경하여 실시하고 팔다.
예를 들면, 실시 형태의 설명에서는, 촬상부를 갖는 촬상 장치를 예로 설명을 행하였지만, 화상은 반드시 카메라를 통하여 취득할 필요는 없고, 예를 들면, 장치의 외부로부터 유선 또는 무선 네트워크를 통하여 취득하도록 하여도 좋다. 또한, 디스크 드라이브나 플래시 메모리 등의 기억 장치에 기억된 화상을 취득하도록 하여도 좋다. 이와 같이, 본 발명은, 입력된 화상을 변형하는 화상 처리 장치로서 실시하여도 좋다. 또한, 화상 처리 소프트웨어로서 실시하여도 좋다.
또한, 실시 형태의 설명에서는, 인간의 얼굴을 검출하고, 얼굴에 포함되는 기관을 축소시키는 예를 들었지만, 변형 대상은 반드시 사람의 얼굴이 아니라도 좋다. 또한, 실시 형태의 설명에서는, 화소를 이동시키는 목표를 맵의 중심측에 배치함으로써, 오브젝트를 축소시키는 예를 들었지만, 화소를 이동시키는 목표를 맵의 외측에 배치함으로써, 오브젝트를 확대시키도록 하여도 좋다. 또한, 목표점은 맵의 중심측에 배치한 채로, 이동량을 부(負)의 값으로 함으로써 오브젝트를 확대하도록 하여도 좋다.
또한, 실시 형태의 설명에서는, 이동량 맵의 예로서, 맵(201) 및 맵(1001)을 들었지만, 이동량 맵은, 화소의 이동량과 이동 방향을 정의할 수 있으면, 다른 어떤 형식이라도 좋다. 또한, 화소를 이동시키는 방향은, 점이나 선 이외로 정의하여도 좋다.
본 발명은 적은 처리량 및 메모리 소비량으로 화상의 변형을 행할 수가 있는 화상 처리 장치를 제공할 수 있다.
10 : 촬상 장치
11 : 촬상부
12 : 추출부
13 : 이동량 맵 기억부
14 : 화상 변형부
15 : 입출력부
16 : 메모리

Claims (8)

  1. 입력된 화상의 적어도 일부를 변형하는 화상 처리 장치로서,
    입력 화상을 취득하는 화상 취득 수단과,
    상기 입력 화상에 포함되는, 변형 대상의 오브젝트를 특정하는 오브젝트 특정 수단과,
    2차원 평면에서의 화소의 이동량을 정의한 맵인 이동량 맵을 기억하는 맵 기억 수단과,
    상기 이동량 맵을, 상기 변형 대상의 오브젝트의 형상에 맞추어서 변형시키는 맵 변형 수단과,
    상기 변형 후의 이동량 맵에 의거하여, 상기 오브젝트에 대응하는 화소의 이동량을 결정하고, 당해 화소를 이동시킴으로써 화상의 변형을 행하는 화상 변형 수단을 갖는 것을 특징으로 하는 화상 처리 장치.
  2. 제1항에 있어서,
    상기 변형 대상의 오브젝트에 관해, 화소를 이동시키는 방향을 설정하는 이동 방향 설정 수단을 또한 가지며,
    상기 화상 변형 수단은, 상기 설정된 방향으로 대상의 화소를 이동시키는 것을 특징으로 하는 화상 처리 장치.
  3. 제2항에 있어서,
    상기 오브젝트 특정 수단은, 변형 대상의 오브젝트에 대응하는 제어점을 추출하고,
    상기 맵 변형 수단은, 상기 제어점의 위치에 의거하여, 상기 이동량 맵을 변형시키는 것을 특징으로 하는 화상 처리 장치.
  4. 제2항 또는 제3항에 있어서,
    상기 화상 변형 수단은, 상기 변형 후의 이동량 맵과, 상기 변형 대상의 오브젝트와의 위치맞춤을 행하고, 화소에 대응하는 이동량을 결정하는 것을 특징으로 하는 화상 처리 장치.
  5. 제4항에 있어서,
    상기 이동 방향 설정 수단은, 상기 화상상에 목표점을 설정함으로써 화소를 이동시키는 방향을 설정하고,
    상기 이동량 맵은, 상기 목표점에 대응하는 점의 좌표를 갖고 있고,
    상기 화상 변형 수단은, 상기 목표점을 이용하여, 변형 후의 이동량 맵과, 상기 변형 대상의 오브젝트와의 위치맞춤을 행하는 것을 특징으로 하는 화상 처리 장치.
  6. 제1항에 있어서,
    상기 맵 기억 수단은, 복수의 변형 대상의 오브젝트의 종류 및/또는 복수의 변형 방법에 대응하는 복수의 이동량 맵을 기억하고 있고,
    상기 맵 변형 수단 및 화상 변형 수단은, 복수의 이동량 맵 중, 변형 대상의 오브젝트의 종류 및/또는 변형 방법에 대응하는 이동량 맵을 선택하여 처리를 행하는 것을 특징으로 하는 화상 처리 장치.
  7. 입력된 화상의 적어도 일부를 변형하는 화상 처리 장치가 행하는 화상 처리 방법으로서,
    입력 화상을 취득하는 화상 취득 스탭과,
    상기 입력 화상에 포함되는, 변형 대상의 오브젝트를 특정하는 오브젝트 특정 스탭과,
    2차원 평면에서의 화소의 이동량을 정의한 맵인 이동량 맵을, 상기 변형 대상의 오브젝트의 형상에 맞추어서 변형시키는 맵 변형 스탭과,
    상기 변형 후의 이동량 맵을 사용하여, 상기 오브젝트에 대응하는 화소의 이동량을 결정하고, 당해 화소를 이동시킴으로써 화상의 변형을 행하는 화상 변형 스탭을 포함하는 것을 특징으로 하는 화상 처리 방법.
  8. 입력된 화상의 적어도 일부를 변형하는 화상 처리 장치에,
    입력 화상을 취득하는 화상 취득 스탭과,
    상기 입력 화상에 포함되는, 변형 대상의 오브젝트를 특정하는 오브젝트 특정 스탭과,
    2차원 평면에서의 화소의 이동량을 정의한 맵인 이동량 맵을, 상기 변형 대상의 오브젝트의 형상에 맞추어서 변형시키는 맵 변형 스탭과,
    상기 변형 후의 이동량 맵을 사용하여, 상기 오브젝트에 대응하는 화소의 이동량을 결정하고, 당해 화소를 이동시킴으로써 화상의 변형을 행하는 화상 변형 스탭을 실행시키는 것을 특징으로 하는 화상 처리 프로그램이 기억된 기억 매체.
KR1020140185697A 2014-03-13 2014-12-22 화상 처리 장치 및 화상 처리 방법 KR101597915B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014050718A JP6311372B2 (ja) 2014-03-13 2014-03-13 画像処理装置および画像処理方法
JPJP-P-2014-050718 2014-03-13

Publications (2)

Publication Number Publication Date
KR20150107580A KR20150107580A (ko) 2015-09-23
KR101597915B1 true KR101597915B1 (ko) 2016-02-25

Family

ID=52146364

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140185697A KR101597915B1 (ko) 2014-03-13 2014-12-22 화상 처리 장치 및 화상 처리 방법

Country Status (5)

Country Link
US (1) US9898800B2 (ko)
EP (1) EP2919187B1 (ko)
JP (1) JP6311372B2 (ko)
KR (1) KR101597915B1 (ko)
CN (1) CN104915919B (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10558342B2 (en) * 2016-07-28 2020-02-11 Troy Plota Automated pixel shifting within a digital image
US10621469B2 (en) * 2016-07-28 2020-04-14 Troy Plota Automated pixel shifting within a video file
GB201818759D0 (en) * 2018-11-16 2019-01-02 Anthropics Tech Limited Method of modifying digital images
CN111460871B (zh) * 2019-01-18 2023-12-22 北京市商汤科技开发有限公司 图像处理方法及装置、存储介质
CN110009559B (zh) * 2019-03-19 2023-07-07 北京迈格威科技有限公司 图像处理方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009237627A (ja) 2008-03-25 2009-10-15 Seiko Epson Corp 画像処理方法、画像処理装置、画像処理プログラムおよび印刷装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3197047B2 (ja) 1992-02-26 2001-08-13 三菱レイヨン株式会社 欠陥検査装置
US5687259A (en) * 1995-03-17 1997-11-11 Virtual Eyes, Incorporated Aesthetic imaging system
JP2919428B2 (ja) * 1997-04-10 1999-07-12 日本電気株式会社 画像変形装置
JP3442366B2 (ja) * 2000-02-29 2003-09-02 株式会社ソニー・コンピュータエンタテインメント キャラクタ表示方法およびエンタテインメント装置
US8555164B2 (en) * 2001-11-27 2013-10-08 Ding Huang Method for customizing avatars and heightening online safety
US20080174795A1 (en) * 2007-01-23 2008-07-24 Accenture Global Services Gmbh Reshaping an image to thin or fatten a face
JP2009009296A (ja) * 2007-06-27 2009-01-15 Noritsu Koki Co Ltd 顔画像変形方法とこの方法を実施する顔画像変形装置
JP5229910B2 (ja) * 2008-08-08 2013-07-03 株式会社メイクソフトウェア 画像処理装置、画像出力装置、画像処理方法及びコンピュータプログラム
JP4862934B2 (ja) 2008-11-28 2012-01-25 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
US8207971B1 (en) * 2008-12-31 2012-06-26 Lucasfilm Entertainment Company Ltd. Controlling animated character expressions
JP2010170184A (ja) * 2009-01-20 2010-08-05 Seiko Epson Corp 顔画像における特徴部位の位置の特定
JP5240795B2 (ja) * 2010-04-30 2013-07-17 オムロン株式会社 画像変形装置、電子機器、画像変形方法、および画像変形プログラム
US9049355B2 (en) * 2012-09-21 2015-06-02 Htc Corporation Methods for image processing of face regions and electronic devices using the same
CN102999929A (zh) * 2012-11-08 2013-03-27 大连理工大学 一种基于三角网格化的人物图像瘦脸处理方法
KR102013928B1 (ko) * 2012-12-28 2019-08-23 삼성전자주식회사 영상 변형 장치 및 그 방법
CN103208133B (zh) * 2013-04-02 2015-08-19 浙江大学 一种图像中人脸胖瘦的调整方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009237627A (ja) 2008-03-25 2009-10-15 Seiko Epson Corp 画像処理方法、画像処理装置、画像処理プログラムおよび印刷装置

Also Published As

Publication number Publication date
JP2015176251A (ja) 2015-10-05
EP2919187A3 (en) 2016-01-13
EP2919187B1 (en) 2023-10-25
CN104915919B (zh) 2018-08-28
EP2919187A2 (en) 2015-09-16
US20150262327A1 (en) 2015-09-17
JP6311372B2 (ja) 2018-04-18
KR20150107580A (ko) 2015-09-23
US9898800B2 (en) 2018-02-20
CN104915919A (zh) 2015-09-16

Similar Documents

Publication Publication Date Title
JP6244655B2 (ja) 画像処理装置および画像処理方法
KR101597915B1 (ko) 화상 처리 장치 및 화상 처리 방법
CN110809786B (zh) 校准装置、校准图表、图表图案生成装置和校准方法
US20160295108A1 (en) System and method for panoramic imaging
JP6685827B2 (ja) 画像処理装置、画像処理方法及びプログラム
US10915998B2 (en) Image processing method and device
KR20200023651A (ko) 미리보기 사진 블러링 방법 및 장치 및 저장 매체
EP2477152A1 (en) Image processing device, image processing method, image processing program, and recording medium
KR20150113889A (ko) 화상처리장치, 화상처리방법 및 기억매체
US8965105B2 (en) Image processing device and method
US10169891B2 (en) Producing three-dimensional representation based on images of a person
WO2012172817A1 (en) Image stabilization apparatus, image stabilization method, and document
US11283987B2 (en) Focus region display method and apparatus, and storage medium
CN105120172A (zh) 一种移动终端前后置摄像头拍照方法及移动终端
JP5822545B2 (ja) 画像処理装置、画像処理装置の制御方法、およびプログラム
US11361455B2 (en) Systems and methods for facilitating the identifying of correspondences between images experiencing motion blur
CN112733773A (zh) 一种对象检测方法、装置、计算机设备和存储介质
CN110832851B (zh) 图像处理装置、图像变换方法
JP2005316958A (ja) 赤目検出装置および方法並びにプログラム
JP2014102713A (ja) 顔構成部抽出装置、顔構成部抽出方法及びプログラム
US10970901B2 (en) Single-photo generating device and method and non-volatile computer-readable media thereof
CN115086625A (zh) 投影画面的校正方法、装置、系统、校正设备和投影设备
JP6711428B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP7443965B2 (ja) 情報処理装置、補正方法、プログラム
JP2018064280A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190201

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200205

Year of fee payment: 5