KR101695251B1 - 원격으로 카메라 ｆｐｇａ 배열을 변경하기 위한 시스템 및 카메라 제어 방법 - Google Patents

Abstract

본 발명은 원격으로 FPGA 배열을 변경하기 위한 시스템 및 방법 및 이를 포함하는 카메라 시스템에 관한 것으로, 본 발명의 일 실시예에 따르면, 원격으로 카메라에 내장된 FPGA 보드의 배열 정보를 수신하는 통신부; 상기 FPGA 보드에 상기 배열 정보를 기록하는 저장부; 를 포함하는 원격 FPGA 배열 변경 시스템이 제공된다.

Description

원격으로 카메라 ＦＰＧＡ 배열을 변경하기 위한 시스템 및 카메라 제어 방법 {SYSTEM FOR RECONFIGURING FPGA REMOTELY AND METHOD FOR CONTROLLING CAMERA}

본 발명은 원격으로 카메라 FPGA 배열을 변경하기 위한 시스템 및 방법과, 이를 포함하는 카메라 시스템에 관한 것이다.

일반적인 카메라 시스템은 오프 칩(off chip)으로 설계하여, 하나의 하드웨어 플랫폼에 대하여 하나의 특정 목적에 대해서만 사용할 수 있는 카메라 시스템이 생산되었다. 예를 들어, CCTV와 같이 특정 목적을 가진 카메라에 대해서는 그 목적에 대응하는 ISP(Image Signal Processor) 알고리즘이 초기 생산 과정에서 FPGA 칩에 기록되었다.

종래 한국 등록특허 제0962987호에 따르면, 광학식 모션 캡처를 위하여 카메라에 부착된 FPGA 보드를 사용하여 FPGA 보드에서 처리된 이미지를 호스트 컴퓨터 측의 무선 랜으로 무선 통신에 의해 전송하는 발명이 개시되어 있다.

본 발명은 내장된 FPGA 보드에서 ISP(Image Signal Processing)을 행하는 카메라를 포함하는 시스템에서, 상기 FPGA 보드의 배열 정보를 원격으로 수신하여 상기 ISP를 변경할 수 있는 시스템을 제공하는 것을 일 목적으로 한다.

본 발명은 카메라에 내장된 FPGA 보드에서 ISP 기능 및 통신 기능을 수행하고, FPGA 보드의 배열 변경으로 카메라의 하드웨어 및 소프트웨어 설정을 원격으로 변경할 수 있는 것을 다른 목적으로 한다.

상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.

본 발명의 일 실시예에 따르면, 원격으로 카메라에 내장된 FPGA 보드의 배열 정보를 수신하는 통신부;

상기 FPGA 보드에 상기 배열 정보를 기록하는 저장부;

를 포함하는 원격 FPGA 배열 변경 시스템이 제공된다.

본 발명에 있어서, 상기 배열 정보는 상기 카메라의 ISP(Image Signal Processor) 정보를 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 FPGA 보드에 기존의 ISP 정보가 저장되어 있는 경우, 상기 수신한 배열 정보로 상기 FPGA 보드에 교체하여 기록하는 것을 특징으로 한다.

본 발명에 있어서, 상기 배열 정보는 상기 카메라의 유지 보수 정보를 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 배열 정보를 상기 메모리에 기록하기 전 상기 배열 정보의 오류를 검사하는 것을 특징으로 한다.

본 발명에 있어서, 상기 ISP 배열 정보는 이더넷(ethernet network)를 통해 수신하는 것을 특징으로 한다.

본 발명에 있어서, 상기 배열 정보와 상기 FPGA 보드에 저장된 기존의 배열 정보를 비교하여, 상기 기존의 배열 정보에서 변경된 부분만 기록하는 것을 특징으로 한다.

본 발명에 있어서, 상기 FPGA 보드에 기록된 배열 정보를 이용하여 영상 처리를 행하는 영상 처리부;를 더 포함하는 것을 특징으로 한다.

본 발명의 다른 실시예에 따르면, 원격으로 카메라에 내장된 FPGA 보드의 배열 정보를 수신하는 단계;

상기 FPGA 보드에 상기 배열 정보를 기록하는 단계;

를 포함하는 원격 FPGA 배열 변경 방법을 제공한다.

본 발명에 있어서, 상기 배열 정보는 상기 카메라의 ISP(Image Signal Processor) 정보를 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 FPGA 보드에 기존의 ISP 정보가 저장되어 있는 경우, 상기 수신한 배열 정보로 상기 FPGA 보드에 교체하여 기록하는 것을 특징으로 한다.

본 발명에 있어서, 상기 배열 정보는 카메라의 유지 보수 정보를 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 배열 정보를 상기 메모리에 기록하기 전 상기 배열 정보의 오류를 검사하는 것을 특징으로 한다.

본 발명에 있어서, 상기 ISP 배열 정보는 이더넷(ethernet network)를 통해 수신하는 것을 특징으로 한다.

본 발명에 있어서, 상기 배열 정보와 상기 FPGA 보드에 저장된 기존의 배열 정보를 비교하여, 상기 기존의 배열 정보에서 변경된 부분만 기록하는 것을 특징으로 한다.

본 발명에 있어서, 상기 FPGA 보드에 기록된 배열 정보를 이용하여 영상 처리를 행하는 단계;를 더 포함하는 것을 특징으로 한다.

본 발명의 다른 실시예에 따르면, 촬상 소자와 상기 촬상 소자를 이용하여 얻은 이미지를 영상 처리하여 네트워크로 전송하는 FPGA 보드를 포함하는 카메라;

상기 FPGA 보드의 배열 정보를 생성하는 호스트 장치;

를 포함하는 카메라 시스템에 있어서,

상기 카메라는 상기 호스트 장치로부터 상기 FPGA의 배열 정보를 수신하여 상기 FPGA 보드의 ISP(Image Signal Processor)의 설정을 변경하는 것을 특징으로 하는 카메라 시스템이 제공된다.

본 발명에 있어서, 상기 배열 정보는 상기 카메라의 유지 보수에 관련된 정보를 포함하는 것을 특징으로 한다.

본 발명의 다른 실시예에 따르면, 카메라에 내장된 FPGA 보드의 배열 정보를 생성하는 단계;

상기 FPGA 보드의 ISP(Image Signal Processor)를 변경하고자 하는 경우, 상기 ISP에 관련된 생성된 상기 배열 정보를 네트워크를 통해 수신하는 단계;

수신한 상기 배열 정보를 FPGA 보드에 업데이트하는 단계;

상기 FPGA 보드를 사용하여 영상 처리를 행하는 단계;

를 포함하는 카메라 제어 방법이 제공된다.

본 발명의 다른 실시예에 따르면, 상기 배열 정보는 상기 카메라의 유지 보수에 관련된 정보를 포함하는 것을 특징으로 한다

본 발명에 의하면, 카메라에 내장된 FPGA 보드에서 ISP(Image Signal Processing)을 행하고, FPGA 보드의 배열 정보를 원격으로 수신하여 상기 ISP를 원격으로 변경할 수 있다.

본 발명에 의하면 카메라에 내장된 FPGA 보드에서 ISP 기능 및 통신 기능을 수행하고, FPGA 배열의 변경으로 카메라의 하드웨어 및 소프트웨어 설정을 원격으로 변경할 수 있다.

도 1은 본 발명의 일 실시 예에 따른 원격 FPGA 배열 변경 시스템을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 일 실시 예에 따른 원격 FPGA 배열 변경 시스템이 사용되는 카메라를 나타내는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 FPGA 보드의 내부 구성을 나타낸 도면이다.
도 4는 카메라의 용도에 따라 다른 ISP의 영상 처리 과정을 개략적으로 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따라 원격으로 FPGA 보드의 배열을 변경하는 방법을 나타내는 순서도이다.
도 6은 본 발명의 일 실시예에 따라 통신부를 갖는 FPGA 보드를 포함하는 카메라의 동작을 순서도로 나타낸 도면이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.

이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시 예에 따른 원격 FPGA 배열 변경 시스템을 개략적으로 나타낸 도면이다.

도 1을 참조하면, 복수 개의 카메라들(100)이 네트워크(200)를 통해 호스트 장치(300)와 데이터를 주고받고 있다. 구체적으로, 카메라들(100)은 통신 채널(DCOM)을 통하여 호스트 장치(300)와 통신하면서, 영상 데이터 채널(DIMA)을 통하여 라이브 뷰 동영상 데이터를 호스트 장치(300)에 전달한다. 물론 복수 개의 카메라가 아닌 한 개의 카메라만 호스트 장치(300)와 통신할 수도 있고, 한 개의 카메라 또는 복수 개의 카메라들이 복수 개의 호스트 장치(300)들과 통신할 수도 있는 등 다양한 변형이 가능함은 물론이다. 여기서 통신 채널(DCOM) 및 영상 데이터 채널(DIMA)을 형성하는 네트워크(200)는 유선 또는 무선으로 데이터나 명령을 송수신할 수 있는 모든 수단이 될 수 있다. 예를 들어, 네트워크(200)는 케이블을 통하여 유선으로 카메라(100)와 호스트 장치(300)를 연결할 수도 있으며, 무선 랜 등을 사용하여 무선으로 카메라(100)와 호스트 장치(300)를 연결할 수도 있다. 바람직하게는, 네트워크(200)는 이더넷(ethernet) 네트워크와 같은 근거리 통신망(local area network)일 수 있다.

도 1에서는 호스트 장치(300)가 컴퓨터와 유사한 형태를 갖는 것으로 도시하고 있으나 본 실시 예에 따른 카메라(100)가 도 1에 도시된 것과 같은 호스트 장치(300)와만 통신할 수 있는 것은 아니며, 디스플레이 화면을 갖는 장치라면 어떠한 것이든 가능함은 물론이다. 예를 들어, 호스트 장치(300)로 개인용 컴퓨터 등이 사용될 수도 있을 것이다. 호스트 장치(300)는 필요에 따라 카메라(100)로부터의 라이브 뷰 동영상을 저장할 수도 있다.

본 발명에서, 호스트 장치(300)는 카메라(100) 내부의 후술할 FPGA 보드(140)에 탑재된 이미지 신호 처리 장치(Image Signal Processor, 이하 'ISP'라 한다) 설정을 변경하기 위한 배열(configuration) 파일을 생성할 수 있다. 즉, 본 발명의 일 실시예에서 호스트 장치(300)는 네트워크(200)를 통해 원격으로 카메라(100)의 ISP 설정을 변경할 수 있다.

도 2는 본 발명의 일 실시 예에 따른 원격 FPGA 배열 변경 시스템이 사용되는 카메라를 나타내는 블록도이다.

도 2를 참조하면, 본 실시 예에 따른 카메라(100)는, 렌즈부(110), 촬상소자(111), 촬상소자 제어부(112), 드라이버(113), 모터(114), 사전 처리부(120), 압축 신장부(121), ROM(131), RAM(132), 메모리 콘트롤러(133), 카메라 메모리(134), FPGA 보드(140), 카메라 디스플레이부(150), 카메라 통신부(160), 카메라 조작부(170) 등을 포함할 수 있다.

렌즈부(110)는 외부의 광 정보를 촬상소자(111)에 결상시키는 광학계 시스템으로, 피사체로부터의 광을 촬상소자(111)까지 투과시킨다. 렌즈부(110)는 초점거리를 변화시키는 줌 렌즈, 초점을 조절하는 포커스 렌즈 등의 렌즈군과 투과하는 광량을 조절하는 조리개 등으로 이루어진다.

렌즈부(110)에 포함되는 줌 렌즈, 조리개, 포커스 렌즈 등은 드라이버(113)로부터 구동신호를 인가받은 모터(114)에 의해 구동된다.

촬상소자(111)는 광전변환소자의 일례로서, 렌즈부(110)를 투과하여 입사된 영상광을 촬상하여 전기신호로 변환하는 광전 변환이 가능한 복수의 소자로 구성된다. 각 소자는 입사된 빛에 따른 전기신호를 생성하여 영상신호를 생성한다. 이때, 촬상소자(11)는 촬상소자 제어부(112)로부터의 타이밍 신호에 따라서 미리 설정된 주기로 프레임 영상을 촬상하여 영상신호를 주기적으로 생성한다. 촬상소자(111)는 CCD(charge coupled device) 센서, CMOS(complementary metal oxide semiconductor) 센서 등을 적용할 수 있다. 촬상소자(111)는 광전변환 및 Analog/Digital 변환에 의하여 생성한 디지털 신호를 사전 처리부(120)로 출력한다.

촬상소자 제어부(112)는 타이밍 신호를 생성하고, 타이밍 신호에 동기하여 상기 촬상소자(111)가 촬상하도록 제어한다.

사전 처리부(120)는 촬상소자(111)로부터 출력된 디지털 신호에 대해 처리를 하여 영상처리가 가능하게 되는 영상신호를 생성한다. 사전 처리부(120)는, 영상신호를 FPGA 보드(140)로 출력한다. 또한, 사전 처리부(120)는 RAM(132)으로의 영상 데이터의 읽기 및 쓰기를 제어한다.

압축 신장부(121)는 압축 처리 전의 영상신호를 수신하여, 예를 들면 MPEG, ACI, MOV, ASD 등의 압축 형식으로 영상신호를 압축 처리한다. 압축 신장부(121)는 압축 처리로 생성한 영상 데이터를 포함하는 영상 파일을 메모리 콘트롤러(133)로 전송한다. 또는 압축 신장부(121)는 영상 파일을 카메라 통신부(160)에 입력하고, 카메라 통신부(160)를 통하여 카메라(110)를 제어하는 메인 서버(300) 등으로 전송할 수도 있다. 또한 압축 신장부(121)는 카메라 디스플레이부(150)를 구비하는 경우, 카메라 메모리(134)에 저장된 영상 파일을 추출한 후 신장 처리를 수행하여 카메라 디스플레이부(150)에서 재생될 수 있도록 한다.

ROM(read only memory, 131)은 촬영 조건 등과 관련된 사용자의 설정 데이터가 저장될 수 있다. 또한 ROM(131)은 FPGA(140)에서 카메라(100)를 제어하기 위하여 사용하는 알고리즘이 저장될 수 있다. 이러한 ROM(131)으로는 EEPROM(electrically erasable and programmable read only memory) 등이 사용될 수 있다.

RAM(random access memory, 132)은 사전 처리부(120)에서 출력된 영상신호, FPGA 보드(140)에서 신호 처리 과정에서 생성되는 데이터 등, 각종 데이터를 일시적으로 저장하는 부분이다. RAM(132)으로 DRAM(dynamic RAM)을 사용할 수 있다.

메모리 컨트롤러(133)는 카메라 메모리(134)로의 영상 데이터의 기입, 또는 상기 카메라 메모리(134)에 기록된 영상 데이터나 설정 정보 등의 독출을 제어한다. 카메라 메모리(134)는, 예를 들면 광디스크(CD, DVD, 블루레이 디스크 등), 광자기 디스크, 자기 디스크, 반도체 기억 매체 등으로서, 촬영된 영상 데이터를 기록한다. 상기 영상 데이터는 압축 신장부(121)에서 생성된 영상 파일에 포함된 것일 수 있다. 메모리 콘트롤러(133), 카메라 메모리(134)는 카메라(100)로부터 착탈 가능하게 구성되어도 좋다. 그러나 메모리 콘트롤러(133) 및 카메라 메모리(134)는 카메라(100)에 반드시 설치되어야 하는 것은 아니며, 카메라(100)가 네트워크(200)를 통하여 메인 서버(300)에 연결된 카메라 등일 경우에는 카메라(100)를 제어하는 메인 서버(300) 측에 영상 데이터 등을 저장하기 위한 서버 메모리(350)가 구비될 수 있을 것이다. 이때, 영상 데이터 등은 카메라 통신부(160)에 의하여 네트워크(200)를 통하여 카메라(100)로부터 메인 서버(300)로 전송될 수 있을 것이다.

다음으로, FPGA(field programmable gate array) 보드(140)는 본 발명의 일 실시예에서 카메라(100)에 내장되어 각종 카메라 설정을 저장 및 변경하고, ISP를 사용하여 영상 처리를 행하며, 호스트 장치(300)로부터 배열 정보를 다운받아 ISP를 변경 할 수 있다. 본 발명에서, 카메라(100)는 FPGA 보드(140)를 장착함으로써, 촬상 대상으로부터 얻은 이미지 데이터를 네트워크(200)를 통해 호스트 장치(300) 컴퓨터에서 처리하는 것이 아니라 후처리된 이미지를 호스트 장치(300)에 바로 전송할 수 있다.

본 발명의 FPGA보드(140)는 카메라에 내장된 현장 프로그램가능 게이트 어레이로서, 프로그래머블 논리 요소와 프로그래밍가능 내부선이 포함된 반도체 소자를 말한다. 그리고, 프로그래머블 논리 요소는 AND, OR, XOR, NOT, 더 복잡한 디코더나 계산기능의 조합 기능 같은 기본적인 논리 게이트의 기능을 복재하여 프로그래밍할 수 있다. 또한, 본 발명의 FPGA 보드(140)는 프로그래밍가능 논리 요소에 간단한 플립플롭이나 더 완벽한 메모리 블록으로 된 메모리 요소도 포함할 수 있다. 이러한 논리블록과 내부선은 제조공정 이후에 프로그램, 즉 FPGA 보드(140)의 배열(configuration)을 새로이 기록하거나 변경할 수 있어서 필요로 되는 어떠한 논리기능이라도 수행할 수 있게 된다.

특히, 본 발명의 일 실시예에 카메라(100)에 포함된 FPGA 보드(140)의 프로그램은 네트워크(200)를 통해 호스트 장치(300)에서 전송된 배열 정보를 통해 변경될 수 있다. 이에 의해, 카메라(100)는 생산 당시 설정되었던, 예를 들어 열상 카메라용 기능, 감시 카메라용 기능 등에 국한되지 않고 다양하게 그 용도를 변경할 수 있다. FPGA 보드(140) 내부의 상세한 구성에 대해서는 아래의 도 3에서 후술하기로 한다.

카메라 디스플레이부(150)는 촬영된 영상이나 촬영되어 카메라 메모리(134)에 저장된 영상, 또는 압축 신장부(121)에서 신장 처리된 영상 등을 표시한다. 또한 카메라 디스플레이부(150)는 카메라(100)의 제어를 위한 각종 설정 화면 등이 표시될 수 있다.

카메라 통신부(160)는 카메라(100)에서 촬영된 라이브 뷰 영상이나 촬영되어 카메라 메모리(134)에 저장된 영상을 유선 또는 무선 네트워크(200)를 통하여 외부 장치, 예를 들어 호스트 장치(300)로 전송한다. 또한 카메라 통신부(160)는 네트워크(200)를 통하여 호스트 장치(300)로부터 전송되는 각종 명령 신호를 수신한다. 특히, 본 발명의 일 실시예에서 카메라 통신부(160)는 호스트 장치(300)로부터 FPGA 보드(140)의 배열 정보를 다운로드 할 수 있다.

카메라 조작부(170)는, 예를 들면 카메라(100)에 설치된 각종 버튼이나 레버 등을 포함하며, 사용자에 의한 조작에 기초하여 조작신호를 FPGA 보드(140) 등에 전송한다. 그러나 카메라 조작부(170)는 카메라(100)에 반드시 설치되어야 하는 것은 아니며, 카메라(100)가 네트워크(200)로 연결된 카메라 등일 경우에는 카메라(100)를 제어하는 메인 서버(300) 측에 서버 조작부(330)를 구비하고, 이를 통하여 인가되는 신호를 통하여 카메라(100)의 동작을 제어할 수도 있을 것이다.

도 3은 본 발명의 일 실시예에 따른 FPGA 보드의 내부 구성을 나타낸 도면이다.

도 3을 참조하면, 본 발명의 FPGA 보드는 제어부(141), 통신부(142), 저장부(143), 영상 처리부(144)를 포함한다. 본 발명의 일 실시예에 따르면, FPGA 보드(140)는 배열 정보를 업데이트함으로써 원격으로 카메라(100)의 소프트웨어 뿐만 아니라 하드웨어 설정을 변경할 수 있으므로, 원격으로 FPGA 보드(140)의 배열을 변경하여 카메라의 영상 처리 방법, 즉 ISP의 설정을 변경할 수 있다.

제어부(141)는, 프로그램에 의해 연산처리장치 및 제어장치로서 기능하고, 카메라(100) 내에 설치된 각 구성요소의 처리를 제어한다. 본 발명의 일 실시예에서, 제어부(141)는 제어 기능을 수행하는 하나 이상의 CPU 장치로 구성될 수 있다. 제어부(141)는, 예를 들면 포커스 제어나 노출 제어에 기초하여 드라이버(113)로 신호를 출력하여 모터(114)를 구동시킨다. 또한, 제어부(141)는 카메라 조작부(170)로부터의 신호에 기초하여 카메라(100)의 각 구성요소를 제어한다. 또, 본 실시 예에서는, 제어부(141)가 하나의 CPU로 이루어진 구성일 수 있고, 신호계의 명령과 조작계의 명령을 별도의 CPU에서 행하는 등 복수의 CPU로 구성되어도 된다.

다음으로, 통신부(142)는 FPGA 보드(140)와 카메라(100) 내부의 다른 기기들간의 통신을 수행한다. 특히, 통신부(142)는 카메라 통신부(160)가 호스트 장치(300)로부터 수신한 배열 정보를 후술할 저장부(143)가 FPGA 보드에 적용할 수 있도록 전달하는 역할을 한다. 도 2 및 도 3에서는 비록 통신부(142)가 카메라 통신부(160)와는 별개로 FPGA 보드(140) 내에 내장된 것으로 표시되었지만, 본 발명의 다른 실시예에서는 통신부(142)가 카메라 통신부(160)의 역할까지 겸하여 직접 호스트 장치(300)와 네트워크(200)를 통해 통신할 수 있다. 또한, 본 발명의 일 실시예에서 통신부(142)는 FPGA 보드(140) 내에 내장된 이더넷 컨트롤러(ethernet controller)로서 기능할 수 있다.

다음으로, 저장부(143)는 통신부(142)가 호스트 장치(300)로부터 원격으로 수신한 ISP에 관련된 배열 정보를 FPGA 보드(140)에 기록하는 역할을 한다. 본 발명의 일 실시예에서, 저장부(143)는 FPAG 보드(140) 내의 SRAM(Static RAM)에 배열 정보를 저장할 수 있다. 본 발명에서 FPGA 보드(140)는 프로그래밍 하기 위한 연결 스위치 점이 SRAM 셀에 의해 조정되고 연결점을 제어하기 위한 배열 정보가 SRAM 셀에 저장된다. 이와 같은 SRAM은 휘발성(Volatile) 소자이므로 배열 정보는 전원이 꺼지면 그 정보가 유실되지만, 전원이 인가된 상태에서도 배열 정보를 기록할 수 있으므로 저장부(143)는 이러한 점을 활용하여 다운받은 배열 정보를 사용하여 FPGA 보드(140)의 ISP 기능을 저장 또는 변경할 수 있다.

기존의 카메라에 내장된 ISP는 생산시 한번 적용되면 그 설정을 바꿀 수 없어 카메라의 용도를 변경하기 위해서는 카메라의 하드웨어를 교체해야 하는 불편함이 있었다. 이에 반해, 본 발명의 일 실시예에 따르면, 저장부(143)는 FPGA 보드(140) 내에 저장된 ISP를 네트워크(200)를 통해 전송된 배열 정보를 사용하여 업데이트할 수 있다. 따라서 카메라 하드웨어의 변경 없이도 원격으로 카메라(100) ISP를 변경할 수 있어 사용자의 편의성을 증가시킬 수 있다.

도 4는 카메라의 용도에 따라 서로 다른 ISP의 영상 처리 과정을 개략적으로 나타낸 도면이다.

도 4의 (a), (b), (c)는 각각 다른 기능을 가진 ISP의 이미지 신호 처리 과정을 나타낸 블록도를 나타낸다. (a)는 범용 카메라의 ISP, (b)는 CCTV용 카메라의 ISP, (c)는 열상 카메라의 ISP이다.

도 4의 (a)에서 볼 수 있는 바와 같이, 범용 카메라의 ISP는 Black Level Adjustment, Noise Reduction, White Balance, CFA Interpolation, Color Correction, Gamma Correction, Edge Enhance, Contrast Enhance, Color Enhance, False Chroma Suppression 과정을 통해 이미지를 처리한다. 각 과정의 구체적인 영상 처리 방법은 종래의 기술을 참조할 수 있다.

다음으로, 도 4의 (b)에서 볼 수 있는 바와 같이 CCTV용 카메라의 ISP는 8Bit Bayer Data, Color Interpolation to 24bit RGB, Color Correction, RG Gain Control By AWB, Gamma Correction, Color Space Conversion, Histogram Equalization, Edge Enhance, YCbCr 4:2:2 Format output 과정을 통해 이미지를 처리한다. 마찬가지로, 각 과정의 구체적인 영상처리 방법은 종래의 기술을 참조할 수 있다.

마지막으로, 도 4의 (c)에서 볼 수 있는 바와 같이 열상 카메라의 ISP는 NUC, Defect Correction, DAE, VGA Controller, ANDR, Edge Enhance, Gamma Enhance, Contrast Enhance, OSD Font, ITU656 Encoder 과정을 통해 이미지를 처리한다. 마찬가지로, 각 과정의 구체적인 영상처리 방법은 종래의 기술을 참조할 수 있다.

도 4에서 볼 수 있는 바와 같이, 카메라의 용도에 따라 ISP는 차이가 있으며, 기존에는 서로 다른 ISP를 적용하기 위하여 카메라 하드웨어를 변경하는 작업이 필요했다. 이에 반해, 본 발명의 일 실시예에서는 원격으로 ISP의 설정을 포함하는 배열 정보를 호스트 장치(300)로부터 다운로드하여 FPGA 보드(140)에 기록할 수 있다. 즉, 도 4의 (a)와 같은 일반 카메라의 ISP가 FPGA 보드(140)에 적용되어 있는 경우에도, 저장부(143)는 호스트 장치(300)로부터 CCTV용 ISP를 적용한 배열 정보를 다운받아 FPGA 보드(140)에 업데이트함으로써 카메라의 ISP를 CCTV 용으로 변경할 수 있다.

또한, 본 발명의 다른 실시예에서, 저장부(143)는 배열 정보를 다운로드하여 기존의 ISP에서 변경된 부분만을 FPGA 보드(140)에 기록할 수 있다. 예를 들어, 도 4의 (a)에서 점선으로 표시된 CFA Interpolation 등의 기능은 다른 용도의 ISP에서도 사용될 수 있다. 이 경우, 저장부(143)는 점선으로 표시된 공통 사용 기능은 제외하고 실선으로 표시된 변경 기능만을 타 ISP에 적용되는 기능으로 대체할 수 있다.

또한, 저장부(143)는 배열 정보를 영상 처리부(143)에 제공하기 전 배열 정보에 오류가 있는지 유무를 검사할 수 있다. 추가적으로, 저장부가 FPGA 보드(140)에 저장하는 배열 정보는 ISP에 관련된 것 뿐만이 아니라 카메라(100)의 유지 보수에 관련된 것일 수 있다. 예를 들어, FPAG 보드(140)의 특정 구성에 있어 오류가 있다고 감지되면, 호스트 장치(100)로부터 보수에 관한 배열 파일을 다운받아 FPGA 보드(140)의 배열을 변경할 수 있다.

다음으로, 영상 처리부(144)는 사전 처리부(120)로부터 영상 신호를 받아 FPGA 보드(140)에 기록된 ISP를 토대로 영상을 처리한다. 보다 구체적으로, 영상 처리부(144)는 WB 제어값, γ값, 윤곽 강조 제어값 등에 기초하여 영상 처리된 영상신호를 생성한다. 영상 처리된 영상신호는 압축 신장부(121)에 인가될 수 있다. 영상 처리부(144)는 상술한 바와 같이 ISP의 종류에 따라 서로 다른 방법으로 영상을 처리한다. 추가적으로, 영상 처리된 영상신호는 라이브 뷰 영상으로 사용될 수 있으며, RAM(132)을 거쳐서 카메라 디스플레이부(150)로 전송될 수도 있다.

도 5는 본 발명의 일 실시예에 따라 원격으로 FPGA 보드의 배열을 변경하는 방법을 나타내는 순서도이다.

먼저, 호스트는 카메라의 ISP에 관련된 FPGA 보드의 배열 정보를 생성한다(S11).

다음으로, 카메라 내의 FPGA 보드는 생성된 배열 정보를 호스트로부터 네트워크를 통해 수신한다(S12).

다음으로, 배열 정보를 수신한 FPGA 보드는 배열 정보가 올바른지 여부를 검사한다(S13).

다음으로, 수신한 배열 정보를 FPGA 보드에 업데이트하여 카메라의 ISP를 변경한다(S14).

마지막으로, 변경된 ISP를 사용하여 이미지 센서가 얻은 영상을 처리한다(S15).

도 6은 본 발명의 일 실시예에 따라 통신부를 갖는 FPGA 보드를 포함하는 카메라의 동작을 순서도로 나타낸 도면이다.

먼저, 도 6을 참조하면, 카메라의 FPGA 보드는 이미지 센서의 이미지 센서의 드라이버에 클락(clock)을 공급한다(S21).

다음으로, 이미지 센서는 촬상된 이미지 데이터를 FPGA 보드에 저장한다(S22).

이 과정에서, FPGA 보드에 이상이 있는지를 점검하여(S23), 호스트 장치로부터 FPGA 보드의 유지 또는 보수를 위한 배열 정보를 전송받아 FPGA 보드에 저장할 수 있다(S24).

다음으로, FPGA 보드의 ISP를 변경하고자 하는 경우, ISP에 관련된 생성된 배열 정보를 네트워크를 통해 수신한다(S25).

다음으로, 수신한 배열 정보를 FPGA 보드에 업데이트하여 카메라의 ISP를 변경한다(S26).

마지막으로, ISP를 사용하여 영상 처리한 촬상 영상을 카메라 디스플레이에 제공하거나 네트워크를 통해 호스트 장치에 제공한다(S27).

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.

100 감시 카메라 200 네트워크
300 호스트 장치 111 렌즈부
111 촬상소자 112 촬상소자 제어부
113 드라이버 114 모터
120 사전 처리부 121 압축 신장부
131 ROM 132 RAM
133 메모리 컨트롤러 134 카메라 메모리
140 FPGA 보드 141 제어부
142 통신부 143 저장부
144 영상 처리부 150 카메라 디스플레이부
160 카메라 통신부 170 카메라 조작부

Claims (20)

1. 카메라에 내장된 FPGA 보드의 배열 정보를 원격으로 수신하는 통신부;
   상기 FPGA 보드에 상기 배열 정보를 기록하는 저장부; 및
   상기 FPGA 보드에 기록된 상기 배열 정보를 이용하여 영상 처리를 행하는 영상 처리부;를 포함하고,
   상기 저장부는 상기 배열 정보와 상기 FPGA 보드에 저장된 기존의 배열 정보를 비교하여, 상기 기존의 배열 정보에서 변경된 부분만 기록하는 것을 특징으로 하는 원격 FPGA 배열 변경 시스템.
2. 제1항에 있어서,
   상기 배열 정보는 상기 카메라의 ISP(Image Signal Processor) 정보를 포함하는 것을 특징으로 하는 원격 FPGA 배열 변경 시스템.
3. 제1항에 있어서,
   상기 카메라는, 범용 카메라이고,
   상기 배열 정보는, Black Level Adjustment, Noise Reduction, White Balance, CFA Interpolation, Color Correction, Gamma Correction, Edge Enhance, Contrast Enhance, Color Enhance, 및 False Chroma Suppression 과정을 통해 이미지를 처리하는 상기 범용 카메라의 ISP 정보를 포함하고,
   상기 기존의 배열 정보에서 변경된 부분은, 상기 Black Level Adjustment, 상기 Noise Reduction, 상기 White Balance, 상기 Color Enhance, 및 상기 False Chroma Suppression 과정 중 적어도 하나의 과정을 통해 이미지를 처리하는 ISP 정보인, 원격 FPGA 배열 변경 시스템.
4. 제1항에 있어서,
   상기 배열 정보는 상기 카메라의 유지 보수 정보를 포함하는 것을 특징으로 하는 원격 FPGA 배열 변경 시스템.
5. 제1항에 있어서,
   상기 배열 정보를 상기 저장부에 기록하기 전 상기 배열 정보의 오류를 검사하는 것을 특징으로 하는 원격 FPGA 배열 변경 시스템.
6. 제2항에 있어서,
   상기 ISP 정보는 이더넷(ethernet network)를 통해 수신하는 것을 특징으로 하는 원격 FPGA 배열 변경 시스템.
7. 제1항에 있어서,
   상기 카메라는, CCTV용 카메라이고,
   상기 배열 정보는, 8Bit Bayer Data, Color Interpolation to 24bit RGB, Color Correction, RG Gain Control By AWB, Gamma Correction, Color Space Conversion, Histogram Equalization, Edge Enhance, 및 YCbCr 4:2:2 Format output 과정을 통해 이미지를 처리하는 상기 CCTV용 카메라의 ISP 정보를 포함하고,
   상기 기존의 배열 정보에서 변경된 부분은, 상기 8Bit Bayer Data, 상기 RG Gain Control By AWB, 상기 Color Space Conversion, 상기 Histogram Equalization, 및 상기 YCbCr 4:2:2 Format output 과정 중 적어도 하나의 과정을 통해 이미지를 처리하는 ISP 정보인, 원격 FPGA 배열 변경 시스템.
8. 제1항에 있어서,
   상기 카메라는, 열상 카메라이고,
   상기 배열 정보는, NUC, Defect Correction, DAE, VGA Controller, ANDR, Edge Enhance, Gamma Enhance, Contrast Enhance, OSD Font, ITU656 Encoder 과정을 통해 이미지를 처리하는 상기 열상 카메라의 ISP 정보를 포함하고,
   상기 기존의 배열 정보에서 변경된 부분은, 상기 NUC, 상기 Defect Correction, 상기 DAE, 상기 VGA Controller, 상기 ANDR, 상기 OSD Font, 상기 ITU656 Encoder 과정 중 적어도 하나의 과정을 통해 이미지를 처리하는 ISP 정보인, 원격 FPGA 배열 변경 시스템.
9. 삭제
10. 삭제
11. 삭제
12. 삭제
13. 삭제
14. 삭제
15. 삭제
16. 삭제
17. 삭제
18. 삭제
19. 카메라에 내장된 FPGA 보드의 배열 정보를 생성하는 단계;
    상기 FPGA 보드의 ISP(Image Signal Processor)를 변경하고자 하는 경우, 상기 ISP에 관련된 생성된 상기 배열 정보를 네트워크를 통해 수신하는 단계;
    수신한 상기 배열 정보를 상기 FPGA 보드에 업데이트하는 단계;
    상기 FPGA 보드를 사용하여 영상 처리를 행하는 단계;
    를 포함하고,
    상기 업데이트하는 단계는, 상기 배열 정보와 상기 FPGA 보드에 저장된 기존의 배열 정보를 비교하여, 상기 기존의 배열 정보에서 변경된 부분만 기록하는 것을 특징으로 하는 카메라 제어 방법.
20. 제19항에 있어서,
    상기 배열 정보는 상기 카메라의 유지 보수에 관련된 정보를 포함하는 것을 특징으로 하는 카메라 제어 방법.

Images