KR101339193B1 - 카메라 플랫폼 시스템 - Google Patents

카메라 플랫폼 시스템 Download PDF

Info

Publication number
KR101339193B1
KR101339193B1 KR1020127017143A KR20127017143A KR101339193B1 KR 101339193 B1 KR101339193 B1 KR 101339193B1 KR 1020127017143 A KR1020127017143 A KR 1020127017143A KR 20127017143 A KR20127017143 A KR 20127017143A KR 101339193 B1 KR101339193 B1 KR 101339193B1
Authority
KR
South Korea
Prior art keywords
image
axis
angle
camera
degrees
Prior art date
Application number
KR1020127017143A
Other languages
English (en)
Other versions
KR20120089365A (ko
Inventor
히로시 타키자와
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20120089365A publication Critical patent/KR20120089365A/ko
Application granted granted Critical
Publication of KR101339193B1 publication Critical patent/KR101339193B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/18Signals indicating condition of a camera member or suitability of light
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/56Accessories
    • G03B17/561Support related camera accessories
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/02Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with scanning movement of lens or cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Accessories Of Cameras (AREA)

Abstract

카메라 플랫폼 시스템(1)은, 피사체를 촬영해서 촬영 영상을 생성하는 카메라(11)와, 상기 카메라를, 팬 축 주위에서 및 틸트 축 주위에서 회전시키는 카메라 플랫폼(12,13)과, 촬영 영상에 의거하여 표시 영상을 생성하는 영상처리기(4,5,6)를 갖는다. 영상처리기는, 카메라가 소정각도 위치를 통과해서 틸트 축 주위에서 회전할 때에, 상기 소정각도 위치에 있어서 촬영 영상을 팬 축 주위에서 0도보다 크고 180도보다 작은 각도만큼 회전시켜서 형성된 영상에 해당하는 제1 표시 영상을 생성한 후, 촬영 영상을 팬 축 주위에서 180도 회전시켜서 형성된 영상에 해당하는 제2 표시 영상을 생성한다.

Description

카메라 플랫폼 시스템{CAMERA PLATFORM SYSTEM}
본 발명은, 카메라의 팬(pan) 회전 및 틸트(tilt) 회전이 가능한 카메라 플랫폼 시스템에 관한 것이다.
감시 카메라 등의 천정 매달기 타입의 카메라 플랫폼 시스템에 있어서, 정면에서 접근해오는 피사체를 틸트 회전 카메라에 의해 추적하면서 촬영할 때에, 카메라의 바로 아래의 위치를 통과한 후에 얻어진 영상중의 피사체는, 어떠한 영상처리도 행해지면 거꾸로 뒤집어진다. 이 때문에, 카메라의 틸트 각도가 미리 설정된 각도(예를 들면, 카메라가 바로 아래 방향을 향하는 90도)가 되면, 촬영 영상을 180도 반전 처리해서 피사체의 상하를 정확하게 표시하는 기능이 장비되는 경우가 많다.
일본국 공개특허공보 특개 2003-289466호에는, 촬영 영상을 일단 축적하는 메모리를 구비하고, 카메라의 천정에 대한 틸트 각도가 90도 이상일 경우에, 상기 메모리로부터의 촬영 영상의 판독 방법을 변경하여서 정상의 상하 관계를 갖도록 반전 처리된 표시 영상을 생성하는 방법이 개시되어 있다.
그렇지만, 일본국 공개특허공보 특개 2003-289466호에서 개시된 방법에서는, 카메라의 틸트 회전 방향이 변화되지 않는 사실에도 불구하고, 반전 처리에 의해 표시 영상중의 피사체의 진행 방향이 갑자기 변화되므로, 피사체를 관찰하는 유저가 조작에 불안을 느끼거나 위화감을 갖는다.
또한, 카메라의 바로 아래의 위치에서 피사체가 왔다갔다하면, 피사체의 진행 방향을 결정할 수 없어, 상기 피사체를 추적하기 위한 조작에 혼란을 일으키기도 한다.
본 발명은, 표시 영상중에 있어서의 피사체의 진행 방향의 변화의 부자연스러움을 저감하고, 피사체를 추적하기 위한 조작의 혼란을 막기 위해 카메라 플랫폼 시스템을 제공한다.
본 발명의 일 국면으로서의 카메라 플랫폼 시스템은, 피사체를 촬영해서 촬영 영상을 생성하는 카메라와, 상기 카메라를, 팬 축 및 틸트 축 주위에서 회전시키는 카메라 플랫폼과, 상기 촬영 영상에 의거하여 표시 영상을 생성하는 영상처리기를 구비한다. 영상처리기는, 카메라가 소정각도 위치를 통과해서 상기 틸트 축 주위에서 회전할 때에, 상기 소정각도 위치에 있어서 상기 촬영 영상을 0도보다 크고 180도보다 작은 각도만큼 회전시켜서 형성된 영상에 해당하는 제1 표시 영상을 생성한 후, 상기 촬영 영상을 180도 회전시켜서 형성된 영상에 해당하는 제2 표시 영상을 생성한다.
본 발명의 다른 국면으로서의 카메라 플랫폼 시스템은, 피사체를 촬영하는 촬영 렌즈; 및 상기 촬영 렌즈를, 수직방향으로 수직한 제1축 주위에서 회전시켜서 상기 촬영 렌즈의 광축과 상기 수직방향과의 경사각을 변경하는 제1구동기구와, 상기 촬영 렌즈 및 상기 제1구동기구를 상기 제1축과 수직한 제2축 주위에서 회전시키는 제2구동기구를 포함하는 카메라 플랫폼을 구비한다. 상기 시스템은, 경사각을 변경할 때에, 상기 경사각이 제1 각도에 도달한 것에 따라, 상기 경사각이 상기 제1 각도에 도달하기 전에 얻어진 촬영 영상을 0도보다 크고 180도보다 작은 각도만큼 회전시켜서 형성된 영상에 해당하는 제1 표시 영상을 생성하고, 상기 경사각이 상기 제1 각도와는 다른 제2 각도에 도달한 것에 따라, 상기 경사각이 상기 제1 각도에 도달하기 전에 얻어진 상기 촬영 영상을 180도 회전시켜서 형성된 영상에 해당하는 제2 표시 영상을 생성하도록 구성된, 영상처리기를 구비한다.
본 발명의 또 다른 특징들 및 국면들은, 첨부된 도면들을 참조하여 다음의 예시적 실시예들의 설명으로부터 명백해질 것이다.
도 1은, 본 발명의 실시예 1인 카메라 플랫폼 시스템의 개략적인 구성을 도시한 도면이다.
도 2a 내지 2d는, 실시예 1에 있어서의 피사체, 카메라 플랫폼 시스템, 및 모니터 표시와의 관계를 도시한 도면이다.
도 3a 및 3b는, 실시예 1에 있어서의 화상 메모리의 제어동작을 설명하는 도면이다.
도 4는, 실시예 1에 있어서의 화면표시의 천이를 설명하기 위한 흐름도다.
도 5는, 실시예 1에 있어서의 카메라 플랫폼 시스템과 모니터 표시 회전각도와의 관계를 도시한 도면이다.
도 6은, 실시예 1에 있어서의 화소 보간방법을 설명하는 도면이다.
도 7a 및 7b는, 실시예 2에 있어서의 피사체의 모니터 표시를 도시한 도면이다.
도 8a 내지 8c는, 실시예 3에 있어서의 피사체의 모니터 표시를 도시한 도면이다.
이하, 본 발명의 예시적 실시예에 대해서 첨부도면을 참조하면서 설명한다.
도 1은, 본 발명의 실시예 1인 카메라 플랫폼 시스템의 구성을 나타낸다. 도 2a 내지 2d는, 실시예 1에 있어서의 카메라 플랫폼 시스템과 그 틸트 각도에 좌우되는 모니터 표시 영상간의 관계를 나타낸다.
도 1에 있어서, 참조번호 1은 피사체를 촬영해서 촬영 영상을 생성하는 카메라와, 상기 카메라가 팬 축 주위에서의 팬 회전 및 틸트 축 주위에서의 틸트 회전을 행할 수 있는 카메라 플랫폼으로 구성된, 카메라 플랫폼 시스템이다. 참조번호 PA는 팬 축(제2축)이며, 참조번호 TA는 틸트 축(제1축)이다. 틸트 축TA는, 수직방향에 수직한 축이며, 촬영 렌즈(11)의 광축의 경사각과 상기 틸트 회전에 의한 상기 경사각을 변경 가능하다. 팬 축PA는, 상기 틸트 축TA에 수직한 축이다. 상기 실시예에서, "팬 회전"이란, 촬영 영상을 횡방향으로 이동시키는 카메라의 회전운동을 의미하고, "틸트 회전"이란, 상기 촬영 영상을 상하방향으로 이동시키는 카메라의 회전운동을 의미한다. "횡방향" 및 "상하방향"이란, 영상을 표시할 때의 방향을 의미한다.
카메라 플랫폼 시스템(1)의 팬 회전 및 틸트 회전은, 도면에 나타내지 않은 리모트 콘트롤러나 LAN등의 네트워크를 통한 원격조작에 의해 제어된다.
피사체로부터의 광은 촬영 렌즈(11)를 통과하여, CCD센서나 CMOS센서 등의 촬상소자(2) 위에 피사체상을 형성한다. 촬상소자(2)는, 피사체상을 광전변환해서 촬상신호를 출력한다. GBR분리회로(3)는 촬상소자(2)로부터의 촬상신호를 G(초록), B(파랑), R(빨강)의 색신호로 분리한다. 화상신호처리 회로(4)는, G, B, R의 색신호(아날로그 신호)를 디지털 신호로 변환한 후, 상기 디지털 신호에 각종 신호 처리를 행하고, 영상신호 (이하, 촬영 영상이라고 한다)를 생성한다. 촬영 영상을 구성하는 적어도 1개의 프레임 화상은, 화상 메모리(6)에 일시적으로 기록된다. 화상 메모리(6)의 어드레스 발생 제어나 타이밍 제어는, 연산처리회로(이하, CPU라고 한다)(5)가 행한다.
CPU(5)는, 화상 메모리(6)에 대하여 프레임 화상의 기록 및 판독 제어를 행한다. 화상신호처리 회로(4)는, 화상 메모리(6)로부터 판독된 프레임 화상을, 소정의 출력 형식으로 변환한 후, 영상출력 단자(7)로부터 도면에 나타내지 않은 모니터에 출력한다. 화상신호처리 회로(4), CPU(5) 및 화상 메모리(6)에 의해 영상처리기가 구성된다.
이렇게 해서, 프레임 화상이 순차로 모니터에 출력되어서 출력 영상이 표시된다. 출력 영상은, 카메라에 의한 촬영을 한 상태의 촬영 영상(화상 메모리(6)에 기록된 프레임 화상)에 대하여 후술하는 판독 제어의 결과로서 얻어진 영상이며, 촬영 영상과 같아도 되거나, 다른 영상이어도 된다.
CPU(5)는, 틸트(T)구동부(제1구동기구)(12) 및 팬(P)구동부(제2구동기구)(13)의 제어나, 촬영 렌즈(11)의 줌(Z) 및 포커스(F)의 제어를 행한다. 구체적으로는, CPU(5)는, 도면에 나타내지 않은 리모트 콘트롤러 등으로부터 보내진 P/T/Z/F 제어 데이터를, 통신 단자(8)를 통해 수신한다. 그리고, CPU(5)는, 상기 제어 데이터에 따라, P구동부(13) 및 T구동부(12)에 P/T제어신호를 출력하고, 촬영 렌즈(11)에 Z/F제어신호를 출력한다. P구동부(13) 및 T구동부(12)는, P/T제어신호에 따라 카메라 플랫폼의 팬 회전 및 틸트 회전을 행한다. 촬영 렌즈(11)는, Z/F제어신호에 따라 줌 및 포커스 동작을 행한다.
참조번호 14는 틸트 각도 검출기이며, 카메라 플랫폼의 설치 기준(본 실시예에서는 천정면)에 대한 틸트 각도를 검출하여, 상기 틸트 각도에 대응한 각도 데이터를 CPU(5)에 출력한다.
화상 메모리(6)의 제어에 대해서 상세하게 설명한다. 도 3a에 나타나 있는 바와 같이, 촬영 영상(프레임 화상)의 유효 화소수를, 수평방향으로 1920으로 가정하고, 수직방향으로 1080으로 가정해서, G, B, R의 화소 데이터를 각각 10bit로 한다. 화면의 좌상단으로부터 매초 필요 프레임수의 데이터를 얻는 주기로 샘플링하고, 화소수에 관련되게 만들어서 발생시킨 기록 어드레스(간단하게는, 1920×1080×프레임수)에 대응시켜서 1프레임이상의 GBR화소 데이터를 화상 메모리(6)에 기록한다. 데이터의 폭은 30bit다. 유효 화소수, 발생된 어드레스, 데이터 폭 및 CPU의 개수등의 하드웨어의 제약에 따라 구성을 변경하는 것은 가능하다.
다음에, 카메라 플랫폼 시스템(1)의 회전에 대응한 화상 메모리(6)의 제어에 관하여 설명한다. 도 2a에 나타나 있는 바와 같이, 카메라 플랫폼 시스템(1)은, P구동부(13)의 베이스부가 천정에 부착되어 그 천정으로부터 매달려 있다. 본 실시예에서는, 카메라 플랫폼 시스템(1)이 이동하는 피사체(21, 23, 25)를 추적해서 틸트 회전하고, 틸트 각도(경사각)가 0도로부터, 도중에 바로 아래 위치를 통과해서 180도로 변화되는 경우에 관하여 설명한다.
틸트 각도가 0도로부터 제1 설정 각도(제1 각도)로서의 85도까지의 사이에 있는 경우, 화상 메모리(6)로부터의 판독을 기록 순으로, 즉 순서적 판독을 행한다. 이에 따라 피사체의 출력 영상(26)이, 모니터에 표시된다. 이후, 출력 영상(26)과 같은 촬영 영상과 같은 (회전하지 않는) 출력 영상을 비회전 영상이라고 한다.
틸트 각도가 제2 설정 각도(제2 각도)인 95도와 180도 사이인 경우에, 화상 메모리(6)로부터의 순서적 판독에서는 피사체를 영상 30과 같이 상하 거꾸로 표시된다. 그러므로, 기록순과는 반대의 순, 구체적으로는 기록된 1080번째 라인의 1920번째 화소로부터 1번째 라인의 1번째 화소로의 방향으로 판독을 행한다. 이에 따라, 촬영 영상(영상30)을 팬 축 주위에서180도 회전시킨, 즉 상하를 반전시킨 영상에 해당하는, 출력 영상(제2 표시 영상)(35)을 얻는다. 이후, 출력 영상 35와 같이 촬영 영상에 대하여 180도회전한 영상에 해당하는 출력 영상을 180도 회전 영상이라고 한다.
그리고, 카메라 플랫폼 시스템(1)의 바로 아래부근인 틸트 각도가 85도 내지 95도의 범위(소정각도 위치)에서는, 촬영 영상(영상28)을 팬 축 주위에서 90도 회전시켜서 형성된 영상에 해당하는 출력 영상(제1 표시 영상)(33)을 얻도록 화상 메모리(6)로부터의 판독을 행한다.
구체적으로는, 도 3b에 나타나 있는 바와 같이, 화상 메모리(6)에 기록한 1080번째 라인의 421화소 데이터를 선두로 해서, 다음에 1079번째 라인의 421화소 데이터를 판독하고, 최후에 1번째 라인의 1500화소 데이터를 판독한다. 이후, 출력 영상 33과 같이 촬영 영상에 대하여 90도 회전한 영상에 해당하는 출력 영상을, 90도 회전 영상이라고 한다.
화상신호처리 회로(4)에서는, 1∼1080번째 라인에 화소 데이터가 존재하지 않는 1∼420번째 화소와 1501∼1920번째 화소의 표시 위치를 흑 레벨 등의 고정의 데이터로 설정한다. 그리고, 화상 메모리(6)로부터 판독한 유효 데이터를, HD-SDI등의 적당한 출력 형식으로 출력해서 모니터에 출력한다.
도 4의 흐름도는, CPU(5)에 의해 행해진 틸트 각도 검출기(14)에 의한 검출 각도θ에 따라 영상표시 처리(화상 메모리(6)로부터의 판독 제어)를 나타낸다. 틸트 각도 검출기(14)에 의한 각도 검출 및 검출 각도θ에 따른 영상표시 처리는, 프레임마다 행해진다.
처리가 시작하면, CPU(5)는, 단계S101에 있어서, 틸트 각도 검출기(14)에 의한 검출 각도θ이 제1 설정 각도인 85도 상인가 아닌가를 판별한다. 검출 각도θ이 85도 상인 경우에는, 즉, 검출 각도θ이 85도에 도달하는 것에 따라, 단계S102에 진행되고, 85도보다 작은 경우에는 단계S103에 진행된다.
단계S102에서는, CPU(5)는, 틸트 각도 검출기(14)에 의한 검출 각도θ이 제2 설정 각도인 95도 이상인가 아닌가를 판별한다. 검출 각도θ이 95도 이상인 경우에는, 즉, 검출 각도θ이 95도에 도달하는 것에 따라 단계S105에 진행되고, 95도보다 작은 경우에는, 단계S104에 진행된다.
단계S103에서는, CPU(5)는, 비회전 영상을 모니터에 표시한다. 단계S104에서는, CPU(5)는, 90도 회전 영상을 모니터에 표시한다. 단계S105에서는, CPU(5)는, 180도 회전 영상을 모니터에 표시한다.
단계S103∼단계S105의 처리에 의해 모니터에 표시된 출력 영상이 전환되지만, 상기 영상을 전환하기 위해서, 제1 설정 각도와 제2 설정 각도에 대하여 히스테리시스 각도 h도가 설정되어 있다. 히스테리시스 각도 h도는, 표시 영상을 부드럽게 전환하기 위해서 설정된 각도이며, 제1 설정 각도와 제2 설정 각도간의 차이보다 작은 각도로 설정된다.
검출 각도θ이 180도로부터 0도의 방향으로 변화되는 경우에는, "제1 설정 각도-h도"와 "제2 설정 각도-h도"가 영상 전환이 이루어진 각도가 된다.
본 실시예에서는, 비회전영상과 180도 회전 영상과의 사이에 90도 회전 영상을 표시하는 경우에 관하여 설명한다. 그러나, 90도회전 영상의 전후로, 0도로부터 180도까지의 범위의 각도에서 90도이외의 각도만큼 촬영 영상을 팬 축 주위에서 회전시켜서 형성된 영상에 해당하는 출력 영상을, 비회전영상과 180도 회전 영상과의 사이에 표시되어도 좋다. 이에 따라, 보다 위화감이 적은 영상을 전환할 수 있다.
구체적으로는, 도 2c의 비회전영상 31과 90도 회전 영상 33과의 사이에, 틸트 각도 검출기(14)에 의한 검출 각도θ이 85도인 경우에 따라, 도 2d에 나타나 있는 바와 같이, 촬영 영상을 팬 축 주위에서 45도 회전시켜서 형성된 영상에 해당하는 45도 회전 영상 32를 표시한다. 또한, 90도 회전 영상 33과 180도 회전 영상 35와의 사이에, 검출 각도θ이 95도인 경우에 따라, 촬영 영상을 팬 축 주위에서 135도 회전시켜서 형성된 영상에 해당하는 135도 회전 영상 34를 표시한다.
도 5는, 이 경우의 카메라 플랫폼 시스템(1)의 틸트 각도(검출 각도θ)와 모니터에 출력된 촬영 영상에 대한 회전각도와의 관계를 나타낸다. 도 5에서는, 히스테리시스 각도 h도가 생략되어 있다.
종래는, 카메라 플랫폼 시스템(1)의 바로 아래 위치를 통과할 때에 갑자기 비회전 영상으로부터 180도 회전 영상으로 전환된다. 그러나, 본 실시예에서는, 180도 회전 영상이 표시되기 전에 카메라 플랫폼 시스템(1)의 바로 아래부근에서 서서히 팬 축 주위에서의 회전각도가 증가하는 출력 영상을 표시한다.
틸트 각도의 변화 방향이 180도로부터 0도의 방향인 경우에는, 180도 회전 영상으로부터, 카메라 플랫폼 시스템(1)의 바로 아래부근에서 서서히 팬 축 주위에서의 회전각도가 감소하는 출력 영상이 표시된 후에, 비회전영상이 표시된다.
도 2d에 나타낸 45도 회전 영상 32와 135도 회전 영상 34는, 전술한 단순한 화상 메모리(6)로부터의 판독 어드레스의 변경으로만 실현될 수 없다. 그러나, 표시 화소위치의 화소 데이터를 화상 메모리에 기록한 데이터로부터 회전했을 경우에 얻어진 인접 화소 데이터 값과 화소간 거리에 의거하여 계산해서 보간함으로써, 45도 회전 영상 32와 135도 회전 영상 34를 생성할 수 있다.
예를 들면, 도 6에 나타나 있는 바와 같이, 화소s를 중심으로 한 팬 축 주위에서의 회전 영상을 얻기 위해서는, 화상 메모리(6)에 기록한 화상 데이터를 화상 메모리(6) 위에서 회전시켜, 카메라 플랫폼 시스템(1)으로부터의 출력시에 필요한 화소P의 데이터를 보간한다. 화소P에 인접한 회전후의 4화소의 데이터 값을 p11, p12, p21, p22라고 하면, 이것들의 값을 화상 메모리(6)로부터 CPU(5)에 로딩하고, 선형보간에 의한 다음식을 사용한 연산을 행함으로써 화소P의 화소 데이터를 얻을 수 있다. 화소간 거리는 1이라고 한다(하나의 포지티브 픽셀).
P=p11(1-d1)(1-d2)+p12(1-d1)d2
+p21·d1(1-d2)+p22·d1·d2
위 식에서, d1 및 d2는 화소P로부터 회전된 4화소까지 서로 직교하는 2개의 방향으로의 거리다.
본 실시예에서는, 논 인터레이스(non-interlace) 방식에 관하여 설명했지만, 프레임 처리가 삽입되는 것 이외는, 인터레이스 방식의 기본적인 생각은 상기 논 인터레이스 방식과 같다.
화소보간의 방법에 있어서는, 예로서 든 4개의 인접한 화소 보간의 방법에 한정되지 않지만, 다중 화소에 의한 고차의 보간이나 앞 프레임의 데이터를 이용해도 좋다.
또한, 연산 처리 시간을 짧게 하기 위해서, 복수의 화상 메모리를 사용한 병렬처리를 행하여도 좋다.
추가로, 상기 실시예에서 설명한 각 각도(45도, 90도, 135도, 180도, 85도, 95도) 및 다른 수치는 예에 지나지 않고, 다른 각도나 수치를 설정해도 좋다.
상기 실시예에서는, 팬 축 주위에서 촬영 영상을 회전한 경우를 설명하였지만, 상기 팬 축은 정확한 팬 축이 될 필요가 없고, 상기 촬영 영상은, 상술한 틸트 각도의 85도 내지 95도의 범위에 해당하는 상기 정확한 팬 축과 관련하여 0도 내지 50도의 범위에서 경사진 축 주위에서 회전되어도 좋다. 상기 촬영 영상을 회전시키는 중심축으로서, 상기 영상이 위화감 없이 회전되는 경우에 어떠한 축 주위에서도 회전되어도 된다. 그렇지만, 상기 호전 중심축은, 촬영 영상의 일점을 지나가고 영상의 중앙과 이동하는 피사체가 보이는 영역과의 사이에(보다 바람직하게는, 상기 영상의 중심과 상기 이동하는 피사체의 중력 중심 위치 사이, 또는 상기 이동하는 피사체의 중력 중심의 위치에) 위치 결정된 축인 것이 바람직하다. 상기 회전 중심에서는, 아래에 설명된 실시예들에 마찬가지로 적용된다.
실시예 1에서는, 팬 축 주위에서의 영상의 회전중심을 영상의 중앙이라고 하는 경우에 관하여 설명했지만, 도 7a에 나타낸 출력 영상 41, 43, 45로서, 이동하는 피사체가 영상 중심에 존재하지 않는 경우도 상정된다.
이 경우, 촬영 영상내에서 이동하는 피사체가 존재하는 영역(바람직하게는 그 영역의 중심위치)을 검출하는 검출 기능을 CPU(5)에 갖게 함으로써 도 7b에 나타나 있는 바와 같이 피사체가 존재하는 영역을 회전중심으로 한 회전 영상을 얻는 것이 가능해진다.
이동하는 피사체가 존재하는 영역을 검출하는 기능은, 예를 들면 아래와 같이 실현될 수 있다. 현재 프레임과 이전 프레임과의 화상 데이터의 차분에 의거하여 피사체의 움직임량을 CPU(5)로 산출한다. 그리고, 상기 움직임량을, CPU(5)에 로딩된 틸트 각도 검출기(14)의 출력에 의해 얻어진 틸트 각도 변화량과 비교하여, 움직임량이 적은 영역을, 추적된 이동 피사체로서 결정하여서 상기 이동하는 피사체의 영역(한층 더, 그 영역의 중심)을 구할 수 있다.
이렇게 해서 얻어진 상기 이동하는 피사체의 영역을 중심으로 하여, 실시예 1과 마찬가지로, 카메라 플랫폼 시스템의 바로 아래부근에서 90도 회전 영상 48(한층 더, 45도 및 135도 회전 영상)을 표시한다. 즉, 비회전영상 46, 90도 회전 영상 48 및 180도 회전 영상 50을 순차적으로 모니터에 표시한다. 이에 따라, 비회전 영상 46으로부터 갑자기 180도 회전 영상 50으로 출력 영상이 전환되는 위화감이 있는 표시와, 영상중의 사람이 갑자기 좌우로 이동하는 위화감이 있는 표시를 회피할 수 있다.
실시예 1,2에서는, 각 회전 영상을 화상 메모리(6)로부터의 판독 제어(화상처리)만으로 생성한 경우에 관하여 설명했다. 그러나, 촬영 렌즈(11)의 동작을 추가함으로써 보다 양호한 효과를 이룰 있다.
예를 들면, 실시예 1에 있어서, 촬영 렌즈(11)는, CPU(5)로부터의 지시에 의해 이전의 줌 상태로부터 광각측의 줌 상태로 광학 줌 동작을 행한다. 이에 따라, 모니터상에서는, 피사체가 영상 중심에 가까이 가기 때문에, 실시예 2에서 설명한 피사체 영역을 중심으로 한 회전 영상 생성 방법과 동일한 효과를 기대할 수 있다. 더욱이, 광각측으로 광학 줌 동작을 행하여서 주위의 풍경도 표시되므로, 팬 축 주위에서의 회전 처리를 행하고 있는 것이 보다 명확해진다.
도 8a는, 카메라 플랫폼 시스템(1)의 바로 아래부근에 있어서, 촬영 렌즈(11)가 광각측으로 광학 줌 동작(이하, 렌즈 줌이라고 한다)만을 행하는 경우에 모니터에 표시된 출력 영상(61, 62, 63)을 나타낸다.
카메라 플랫폼 시스템(1)의 바로 아래부근에 있어서 광각측으로 렌즈 줌이 행해지면, 출력 영상 63에 나타나 있는 바와 같이 영상중의 피사체는 작아지지만, 피사체의 주변의 넓은 범위를 갖는 영상이 표시된다.
실시예 1,2에 있어서는, 90도 회전 영상을 표시할 때에 화상 데이터가 없는 주변범위에서는 흑색 등의 고정 데이터를 표시했다. 그러나, 도 8b에 나타나 있는 바와 같이, 전자 줌 동작에 의해 비회전영상 66이나 180도 회전 영상 70내에서의 피사체의 크기에 따라 피사체(90도 회전 영상의 일부)를 확대함으로써 주변범위에도 영상이 존재하는 90도 회전 영상 68을 표시할 수 있다.
전자 줌 동작에서는, 실시예 1에서 설명한 화소 데이터 보간과 마찬가지로 확대율에 따라 CPU(5)로 화소간 거리를 산출하고, 피사체를 중심으로 해서 잘라내기 표시를 행하는데 필요한 위치의 데이터를 상기 4개의 인접 화소 데이터에 근거하여 생성한다. 도 8b에 나타낸 90도 회전 영상 68은, 도 8a의 출력 영상 63의 피사체를 중심으로 한 부분을 잘라 내서 팬 축 주위에서 90도 회전시킨 후, 전자 줌 동작에 의해 확대 처리해서 생성된 영상이다.
도 8c는, 카메라 플랫폼 시스템의 틸트 각도, 전자 줌의 확대율, 및 렌즈 줌 상태와의 관계를 나타낸다. 렌즈 줌 상태와 화각간의 관계는 테이블화해서 CPU(5)에 기억되어도 좋거나, 렌즈 줌 동작 직전의 피사체의 크기를 메모리에 기억하여서, 거의 같은 크기의 피사체 영상을 얻도록 줌 배율을 제어해도 좋다.
추가로, 영상 전환을 보다 위화감 적게 행하기 위해서는, 피사체의 이동 속도를 검출하여, 상기 이동 속도에 따라, 회전 영상을 표시하는 틸트 각도나 비회전영상과 180도 회전 영상과의 사이에 표시되는 회전 영상수를 변경해도 좋다. 피사체의 이동 속도가 빠르면(제1 속도보다 빠른 제2 속도이면), 얕은 틸트 각도(예를 들면 85도보다 작은 틸트 각도)로부터 회전 영상을 표시하거나, 회전 영상수를 감소시키는 경우에도, 상기 위화감이 생기기 어렵다. 또한, 피사체의 이동 속도가 느리면(제1 속도이면), 카메라 플랫폼 시스템의 바로 아래부근에서의 회전 영상수가 증가함에 따라 위화감이 생기기 어렵다.
피사체의 이동 속도의 검출 기능은, CPU(5)가, 틸트 각도 검출기(14)의 출력의 단위시간당의 변화량에 의거하여 이동 속도를 산출함으로써 실현 가능하다.
또한, 카메라 플랫폼 시스템(1)은, 원격 제어에 의해 입력된 팬 지시 신호에 따라 팬 회전하는 조작 기능을 갖지만, 카메라 플랫폼 시스템(1)의 바로 아래부근에 있어서 회전 영상의 표시 처리중에 입력된 팬 지시 신호는 무시하여도 좋다. 달리 말하면, 팬 지시 신호가 입력되는 경우도 팬 회전을 행하지 않아도 된다. 이에 따라, 회전 영상의 생성 처리가 늦어지거나, 상기 처리를 위한 회로 규모가 커지거나 하는 것을 회피할 수 있다.
또한, 상기 각 실시예에서는, 카메라 플랫폼에 내장된 CPU(5), 화상 메모리(6) 및 화상신호처리 회로(4)를 사용해서 회전 영상을 생성하는 경우에 관하여 설명했지만, 이것들을 카메라 플랫폼의 외부에 설치해서 회전 영상을 생성해도 좋다. 이 경우도, 카메라 플랫폼 외부에 설치된 CPU, 화상 메모리 및 화상신호처리 회로를 포함해서 카메라 플랫폼 시스템이 구성된다.
본 발명을 예시적 실시예들을 참조하여 기재하였지만, 본 발명은 상기 개시된 예시적 실시예들에 한정되지 않는다는 것을 알 것이다. 아래의 청구항의 범위는, 모든 변형, 동등한 구조 및 기능을 포함하도록 아주 넓게 해석해야 한다.
본 출원은, 여기서 전체적으로 참고로 포함된, 2010년 1월 06일에 제출된 일본국 특허출원번호 2010-000890의 이점을 청구한다.
표시 영상중에 있어서의 피사체의 진행 방향의 변화의 부자연스러움을 저감한 카메라 플랫폼 시스템을 제공할 수 있다.

Claims (8)

  1. 피사체를 촬영해서 촬영 영상을 생성하는 카메라;
    상기 카메라를, 팬(pan) 축 및 틸트 축 주위에서 회전시키는 카메라 플랫폼; 및
    상기 촬영 영상에 의거하여 표시 영상을 생성하는 영상처리기를 구비하고,
    상기 영상처리기는, 카메라가 소정각도 위치를 통과해서 상기 틸트 축 주위에서 회전할 때에, 상기 소정각도 위치에 있어서 상기 촬영 영상을 0도보다 크고 180도보다 작은 각도만큼 회전시켜서 형성된 영상에 해당하는 제1 표시 영상을 생성한 후, 상기 촬영 영상을 180도 회전시켜서 형성된 영상에 해당하는 제2 표시 영상을 생성하는, 카메라 플랫폼 시스템.
  2. 제 1 항에 있어서,
    상기 영상처리기는, 상기 촬영 영상내에 있어서 이동 피사체를 검출하는 검출 기능을 갖고, 상기 이동 피사체를 검출할 때, 상기 이동 피사체를 검출한 위치를 지나는 상기 촬영 영상을 회전시켜서 형성된 영상에 해당하는 상기 제1 및 제2 표시 영상을 생성하는, 카메라 플랫폼 시스템.
  3. 제 1 항에 있어서,
    상기 영상처리기는, 상기 소정각도 위치에 있어서, 상기 카메라의 광각측에의 광학 줌 동작 또는 상기 촬영 영상의 일부를 확대하는 전자 줌 동작을 행해서 상기 제1 표시 영상을 생성하는, 카메라 플랫폼 시스템.
  4. 제 1 항에 있어서,
    상기 영상처리기는, 상기 촬영 영상내에 있어서 이동 피사체의 이동 속도를 검출하는 검출 기능을 갖고, 상기 이동 속도가 제1 속도보다 빠른 제2 속도일 때에 상기 제1 표시 영상으로서 생성되는 영상수를 증가시키는, 카메라 플랫폼 시스템.
  5. 제 1 항에 있어서,
    상기 카메라 플랫폼은, 상기 카메라 플랫폼에 입력된 팬 지시 신호에 따라 상기 팬 축 주위에서 회전하는 조작 기능을 갖고,
    상기 카메라 플랫폼은, 상기 제1 표시 영상이 표시되어 있을 때, 상기 팬 지시 신호가 입력되는 경우에도 상기 팬 축 주위에서 회전을 행하지 않는, 카메라 플랫폼 시스템.
  6. 제 1 항에 있어서,
    상기 팬 축과 상기 틸트 축 양쪽은, 상기 카메라가 갖는 광학계의 광축에 대하여 수직한, 카메라 플랫폼 시스템.
  7. 피사체를 촬영하는 촬영 렌즈;
    상기 촬영 렌즈를, 수직방향으로 수직한 제1축 주위에서 회전시켜서 상기 촬영 렌즈의 광축과 상기 수직방향과의 경사각을 변경하는 제1구동기구와, 상기 촬영 렌즈 및 상기 제1구동기구를 상기 제1축과 수직한 제2축 주위에서 회전시키는 제2구동기구를 포함하는 카메라 플랫폼; 및
    상기 경사각을 변경할 때에, 상기 경사각이 제1 각도에 도달한 것에 따라, 상기 경사각이 상기 제1 각도에 도달하기 전에 얻어진 촬영 영상을 0도보다 크고 180도보다 작은 각도만큼 회전시켜서 형성된 영상에 해당하는 제1 표시 영상을 생성하고, 상기 경사각이 상기 제1 각도와는 다른 제2 각도에 도달한 것에 따라, 상기 경사각이 상기 제1 각도에 도달하기 전에 얻어진 상기 촬영 영상을 180도 회전시켜서 형성된 영상에 해당하는 제2 표시 영상을 생성하도록 구성된 영상처리기를 구비한, 카메라 플랫폼 시스템.
  8. 제 7 항에 있어서,
    상기 제1축과 상기 제2축 양쪽은, 상기 카메라가 갖는 광학계의 광축에 대하여 수직한, 카메라 플랫폼 시스템.
KR1020127017143A 2010-01-06 2010-12-24 카메라 플랫폼 시스템 KR101339193B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2010-000890 2010-01-06
JP2010000890A JP5235910B2 (ja) 2010-01-06 2010-01-06 カメラ雲台システム
PCT/JP2010/007506 WO2011083547A1 (en) 2010-01-06 2010-12-24 Camera platform system

Publications (2)

Publication Number Publication Date
KR20120089365A KR20120089365A (ko) 2012-08-09
KR101339193B1 true KR101339193B1 (ko) 2013-12-10

Family

ID=44305293

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127017143A KR101339193B1 (ko) 2010-01-06 2010-12-24 카메라 플랫폼 시스템

Country Status (8)

Country Link
US (1) US9185281B2 (ko)
JP (1) JP5235910B2 (ko)
KR (1) KR101339193B1 (ko)
CN (1) CN102771121A (ko)
DE (1) DE112010005086T5 (ko)
GB (1) GB2489361A (ko)
RU (1) RU2520574C2 (ko)
WO (1) WO2011083547A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5537044B2 (ja) * 2008-05-30 2014-07-02 キヤノン株式会社 画像表示装置及びその制御方法、コンピュータプログラム
WO2012132531A1 (ja) * 2011-03-25 2012-10-04 日本電気株式会社 映像処理システムと映像処理方法、映像処理装置及びその制御方法と制御プログラムを格納した記憶媒体
JP5987428B2 (ja) * 2012-04-10 2016-09-07 セイコーエプソン株式会社 装置
JP5925059B2 (ja) * 2012-06-12 2016-05-25 キヤノン株式会社 撮像制御装置、撮像制御方法及びプログラム
CN105450918B (zh) 2014-06-30 2019-12-24 杭州华为企业通信技术有限公司 一种图像处理方法和摄像机
JP6540948B2 (ja) * 2015-03-27 2019-07-10 株式会社富士通ゼネラル カメラシステム
CN104853078B (zh) * 2015-05-27 2020-02-07 周毅 一种模块式广播级高清摄像机
CN104967827A (zh) * 2015-07-03 2015-10-07 北京旷视科技有限公司 一种摄像装置及其控制方法
EP3346695A4 (en) * 2015-09-03 2019-04-10 Sony Corporation VIDEO PROCESSING DEVICE, VIDEO PROCESSING METHOD, AND PROGRAM
US10827930B2 (en) * 2016-02-26 2020-11-10 Niramai Health Analytix Pvt Ltd Privacy booth for breast cancer screening
CN105872339A (zh) * 2016-05-31 2016-08-17 广州宝镜智能科技有限公司 带有摄像头的终端
JP6994901B2 (ja) * 2017-10-24 2022-01-14 キヤノン株式会社 制御装置、制御方法、及びプログラム
WO2020073334A1 (zh) * 2018-10-12 2020-04-16 北京小米移动软件有限公司 扩展内容显示方法、装置、系统及存储介质
US11849206B1 (en) * 2022-02-23 2023-12-19 Amazon Technologies, Inc. Systems and methods for automated object identification and tracking

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10271364A (ja) * 1997-03-26 1998-10-09 Matsushita Electric Works Ltd 監視カメラ装置
JP2003289466A (ja) 2003-03-27 2003-10-10 Matsushita Electric Ind Co Ltd カメラ装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000083188A (ja) 1998-09-03 2000-03-21 Matsushita Electric Ind Co Ltd 監視カメラ装置
JP2000209575A (ja) * 1999-01-11 2000-07-28 Star Micronics Co Ltd 監視カメラ装置
JP2001069496A (ja) 1999-08-31 2001-03-16 Matsushita Electric Ind Co Ltd 監視カメラ装置及び監視カメラの制御方法
JP2001086375A (ja) * 1999-09-09 2001-03-30 Matsushita Electric Ind Co Ltd 回転台付カメラ
US6762755B2 (en) * 2000-10-16 2004-07-13 Pixel Science, Inc. Method and apparatus for creating and displaying interactive three dimensional computer images
JP4469113B2 (ja) * 2001-07-10 2010-05-26 ティーオーエー株式会社 監視方法及び監視装置
JP4063604B2 (ja) * 2002-07-17 2008-03-19 興和株式会社 監視カメラ装置
JP3807415B2 (ja) * 2004-06-25 2006-08-09 松下電器産業株式会社 監視カメラ装置
JP2006352736A (ja) * 2005-06-20 2006-12-28 Victor Co Of Japan Ltd 監視カメラ装置
US8279283B2 (en) 2005-11-18 2012-10-02 Utc Fire & Security Americas Corporation, Inc. Methods and systems for operating a video surveillance system
JP4977419B2 (ja) 2006-08-10 2012-07-18 三洋電機株式会社 監視カメラ
JP5108323B2 (ja) * 2007-02-14 2012-12-26 パナソニック株式会社 監視カメラ及び監視カメラ制御方法
EP1981263B1 (en) * 2007-04-13 2019-04-03 Axis AB Supporting continuous pan rotation in a pan-tilt camera
JP5426080B2 (ja) * 2007-06-19 2014-02-26 株式会社コナミデジタルエンタテインメント 走行玩具システム
JP5137197B2 (ja) 2008-06-20 2013-02-06 万能工業株式会社 ポジションスイッチ装置
RU83675U1 (ru) * 2008-10-03 2009-06-10 Закрытое Акционерное Общество "Голлард" Система видеомониторинга

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10271364A (ja) * 1997-03-26 1998-10-09 Matsushita Electric Works Ltd 監視カメラ装置
JP2003289466A (ja) 2003-03-27 2003-10-10 Matsushita Electric Ind Co Ltd カメラ装置

Also Published As

Publication number Publication date
US9185281B2 (en) 2015-11-10
WO2011083547A1 (en) 2011-07-14
GB2489361A (en) 2012-09-26
KR20120089365A (ko) 2012-08-09
DE112010005086T5 (de) 2012-11-15
US20120218378A1 (en) 2012-08-30
RU2520574C2 (ru) 2014-06-27
JP2011142419A (ja) 2011-07-21
JP5235910B2 (ja) 2013-07-10
CN102771121A (zh) 2012-11-07
RU2012128444A (ru) 2014-02-20
GB201212039D0 (en) 2012-08-22

Similar Documents

Publication Publication Date Title
KR101339193B1 (ko) 카메라 플랫폼 시스템
JP2011142419A5 (ko)
JP4912117B2 (ja) 追跡機能付き撮像装置
US7256817B2 (en) Following device
US7697025B2 (en) Camera surveillance system and method for displaying multiple zoom levels of an image on different portions of a display
KR101795603B1 (ko) 디지털 촬영 장치 및 그 제어방법
JP3253478B2 (ja) 映像記録装置
JP4565909B2 (ja) カメラ
JP5492651B2 (ja) 撮影装置、パノラマ撮影方法
US20130265473A1 (en) Imaging apparatus, focus control method, and program
JP5724057B2 (ja) 撮像装置
GB2347575A (en) Synthesizing a zoomed out image using several overlapping images
KR100664811B1 (ko) 프라이버시 마스크 표시 제어 방법 및 장치
JP2007049266A (ja) 画像撮像装置
JP2004088558A (ja) モニタリングシステムおよび方法並びにプログラムおよび記録媒体
JP2012253451A (ja) 撮像装置及びプログラム
JP6124703B2 (ja) 撮像装置およびその制御方法
JP2005175852A (ja) 撮影装置及び撮影装置の制御方法
EP3595287A1 (en) Capturing video content with at least two cameras of a multi-camera rig
JP2000032337A (ja) 画像合成装置
JP6124684B2 (ja) 撮像装置、その制御方法、および制御プログラム
JPH03117278A (ja) 撮影装置
US9106899B2 (en) Image pickup apparatus
JP6234103B2 (ja) ズーム制御装置、ズーム制御装置の制御方法、ズーム制御装置の制御プログラムおよび記憶媒体
WO2020202684A1 (ja) 画像処理装置と画像処理方法およびプログラムと撮像装置

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161124

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171124

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181126

Year of fee payment: 6