KR20190079574A - 촬상장치, 화상 처리장치, 제어방법 및 기억매체 - Google Patents

촬상장치, 화상 처리장치, 제어방법 및 기억매체 Download PDF

Info

Publication number
KR20190079574A
KR20190079574A KR1020180170002A KR20180170002A KR20190079574A KR 20190079574 A KR20190079574 A KR 20190079574A KR 1020180170002 A KR1020180170002 A KR 1020180170002A KR 20180170002 A KR20180170002 A KR 20180170002A KR 20190079574 A KR20190079574 A KR 20190079574A
Authority
KR
South Korea
Prior art keywords
image
unit
light imaging
visible light
section
Prior art date
Application number
KR1020180170002A
Other languages
English (en)
Inventor
오사무 요니시
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20190079574A publication Critical patent/KR20190079574A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19617—Surveillance camera constructional details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • H04N5/2258—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N3/00—Scanning details of television systems; Combination thereof with generation of supply voltages
    • H04N3/10—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical
    • H04N3/12—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by switched stationary formation of lamps, photocells or light relays
    • H04N3/122—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by switched stationary formation of lamps, photocells or light relays using cathode rays, e.g. multivision
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/006—Pseudo-stereoscopic systems, i.e. systems wherein a stereoscopic effect is obtained without sending different images to the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/04—Systems for the transmission of one television signal, i.e. both picture and sound, by a single carrier
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/12—Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal
    • H04N7/127—Systems in which different parts of the picture signal frequency band are individually processed, e.g. suppressed, transposed

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

촬영 상황에 따라 판단 결과가 변한다고 하는 이유로 인해, 적외광 영상, 가시광 영상과 합성 영상 중 어느 것이 감시 용도에 바람직한지를 유저가 판단하는 것이 곤란할 경우에, 촬상장치는, 적외광 화상에 있어서의 물체의 검지 결과와 가시광 화상에 있어서의 물체의 검지 결과에 근거하여, 적외광 화상, 가시광 화상과 합성 화상 중 적어도 1개를 출력한다.

Description

촬상장치, 화상 처리장치, 제어방법 및 기억매체{IMAGE CAPTURING APPARATUS, IMAGE PROCESSING APPARATUS, CONTROL METHOD, AND STORAGE MEDIUM}
본 발명은 2개 이상의 촬상 유닛을 갖는 촬상장치에 의한 영상 분배기술에 관한 것이다.
최근, 감시 용도로 사용되는 네트워크 카메라 중에서, 야간 및/또는 강우와 강설 등의 악조건하에서의 촬영이 가능한 적외광을 이용한 모델이 증가하고 있다. 경비 용도로 수많은 네트워크 카메라가 이용되고 있고, 이들 네트워크 카메라 중에는, 적외광 카메라와 가시광 카메라의 양쪽을 구비하고 있는 모델도 존재한다.
적외광 카메라는, 물체로부터 방사되고 있는 적외선을 전용 센서가 검출하게 하고, 그 적외선의 검출 데이터를 화상처리함으로써, 시각적으로 확인할 수 있는 영상을 생성한다. 적외광 카메라는 다음과 같은 장점을 갖는다. 적외광 카메라는 광원을 필요로 하지 않고, 비나 안개 등의 영향을 받기 어렵다. 또한, 적외광 카메라는 원거리에서의 감시에 적합하다. 한편, 적외광 카메라는, 적외광 카메라가 일반적인 가시광 카메라에 비해 해상도가 낮아, 색 및 문자 등의 모양을 촬상하는 것에 적합하지 않다는 결점도 갖고 있다.
최근에는, 적외광 카메라에 의해 검출한 물체의 형태를 잘라내고 잘라낸 형태를 가시광 영상과 합성하여 영상을 생성하는 기술이 사용되었다.
그러나, 상기한 바와 같은 이안 네트워크 카메라에 의해 전송할 영상 데이터가 복수 종류 존재할 경우에, 적외선 영상과 가시 영상의 양쪽을 전송하면 전송 대역이 압박을 받을 수도 있다. 그 때문에, 일본국 특허 제6168024호 공보에서는, 가시 영상의 콘트라스트가 낮은 부분과 적외선 영상을 합성해서 합성된 영상을 분배하는 방법이 개시되어 있다.
그러나, 적외광 영상과 가시광 영상과 합성 영상 중 어느 것이 감시 용도에 더 바람직할지는, 변하는 촬영 상황에 따라, 유저가 판단할 필요가 있기 때문에, 유저가 이것을 판단하는 것이 곤란할 경우가 있다. 일본국 특허 제6168024호 공보에 기재된 방법은, 감시 용도로서 바람직한 영상의 판단에 대해서, 유저를 보조할 수 없다.
본 발명의 일면에 따르면, 적외광 촬상부와 가시광 촬상부를 구비한 촬상장치는, 상기 적외광 촬상부에 의해 얻어진 제1 화상 및 상기 가시광 촬상부에 의해 얻어진 제2 화상의 적어도 한쪽으로부터 물체를 검지하도록 구성된 검지부와, 상기 제1 및 제2 화상에 근거하여 합성 화상을 생성하도록 구성된 합성부와, 상기 검지부에 의한 검지 결과에 근거하여, 상기 제1 화상, 상기 제2 화상 및 상기 합성 화상 중 적어도 1개를 네트워크 경유로 클라이언트 장치에 출력하도록 구성된 출력부를 구비한다. 상기 검지부는, 상기 적외광 촬상부에 의해 얻어진 상기 제1 화상으로부터 물체를 검지하도록 구성된 제1 검지부와, 상기 가시광 촬상부에 의해 얻어진 상기 제2 화상으로부터 물체를 검지하도록 구성된 제2 검지부를 구비한다.
카메라에 의해 촬상된 영상의 촬상 상태에 근거하여, 적외광 영상, 가시광 영상과 합성 영상 중에서, 감시 용도에 적합한 영상을 판단하기 쉽게 하는 것이 가능하게 된다.
본 발명의 또 다른 특징은 첨부도면을 참조하여 주어지는 이하의 실시형태의 상세한 설명으로부터 명백해질 것이다.
도 1은 네트워크 카메라의 외관을 나타내는 모식도다.
도 2a는 네트워크 카메라 시스템의 개략 구성을 나타내는 모식도다. 도 2b는 네트워크 카메라 시스템의 하드웨어 구성을 도시한 개략도다.
도 3은 네트워크 카메라의 개략 구성을 나타내는 블록도다.
도 4는 분배 영상 판정 처리를 나타내는 흐름도다.
도 5는 학습 기구와 연계한 네트워크 카메라의 개략 구성을 나타내는 모식도다.
도 6은 기계학습에 의한 판정 결과의 예를 나타낸 모식도다.
도 7은 검지 레벨 판정의 규칙을 나타내는 모식도다.
도 8은 분배 영상 판정 처리를 나타내는 흐름도다.
도 9는 분배 영상 판정 처리를 나타내는 흐름도다.
도 10은 적외광 영상에 있어서의 물체 검지 결과의 예를 나타낸 모식도다.
이하에서, 도면을 참조하면서 본 실시형태에 대해 설명한다.
도 1에서, 네트워크 카메라(100)는, 가시광을 촬상하기 위한 렌즈(미도시)와 상보성 금속 산화물 반도체(CMOS) 센서 등의 촬상소자(미도시)를 구비하는 경통부 101과, 적외광을 촬상하기 위한 렌즈와 촬상소자를 구비하는 경통부 102을 갖고 있다. 네트워크 카메라(100)는, 촬상 에어리어를 수평방향(도 1의 팬 방향(104)) 및 연직방향(도 1의 틸트 방향(103))으로 이동시키기 위한 구동부(미도시)를 구비한다. 렌즈와 경통은 착탈가능하여도 된다.
도 2a는, 네트워크 카메라(100)를 포함하는 네트워크 카메라 시스템의 모식도다. 네트워크 카메라(100)와 클라이언트 장치(110)는, 네트워크 카메라(100)와 클라이언트 장치(110)가 네트워크(120)를 거쳐 서로 통신가능하도록 접속되어 있다. 클라이언트 장치(110)는, 네트워크 카메라(100)에 대하여, 각종 코맨드를 네트워크 경유로 송신한다. 네트워크 카메라(100)는, 이들 코맨드에 대한 리스폰스를 클라이언트 장치(110)에 송신한다. 코맨드의 예로서는, 네트워크 카메라(100)의 촬영 화각을 변경하기 위한 팬-틸트-줌 제어(PTZ 제어) 코맨드와, 네트워크 카메라(100)의 촬영 모드, 분배 모드, 및 화상처리/검지 기능의 적어도 1개를 조정하기 위한 파라미터 설정 코맨드가 있다. PTZ 제어 코맨드, 파라미터 설정 코맨드, 및 네트워크 카메라(100)에 의해 이용 가능한 기능을 취득하기 위한 케이퍼빌리티(capability) 취득 코맨드는 Open Network Video Interface Forum(ONVIF) 규격에 따른 프로토콜에 따라 통신하여도 된다.
도 2b는, 클라이언트 장치(110) 및 네트워크 카메라(100)의 하드웨어 구성을 도시한 개략도다. 중앙처리장치(CPU) 201은 클라이언트 장치(110)를 제어하는 중앙처리장치이다. 하드디스크 드라이브(HDD)(202)는, CPU 201이 클라이언트 장치(110)를 제어하기 위한 프로그램과 파라미터를 기억하는 대용량의 기억장치(2차 기억장치)이다. 프로그램과 파라미터가 반드시 HDD에 기억될 필요는 없다. 이와 달리, 반도체 드라이브(SSD) 및 플래시 메모리 등의 다양한 기억매체를 이용해도 된다. 랜덤 액세스 메모리(RAM) 203은, CPU 201이 HDD(202)로부터 판독한 프로그램을 전개하고, CPU 201이 후술하는 처리를 실행하기 위한 메모리다. 또한, RAM 203은, 1차 기억장치로서 각종 처리의 대상이 되는 데이터와 파라미터를 일시기억하기 위한 기억영역으로서 사용되는 일도 있다.
인터페이스(IF) 204는, 네트워크(120)를 거쳐 Transmission Control Protocol/Internet Protocol(TCP/IP), Hypertext Transfer Protocol(HTTP), 또는 ONVIF 등의 프로토콜에 따라, 네트워크 카메라(100)와 통신을 행한다. IF 204는, 네트워크 카메라(100)로부터의 영상 데이터, 검지 물체 정보의 메타 데이터와, 전술한 리스폰스를 수신하고, 네트워크 카메라(100)에 전술한 각종의 코맨드를 송신한다.
표시장치(205)는, 영상 데이터에 따른 영상을 표시하는 디스플레이 등의 표시 디바이스다. 클라이언트 장치(110)의 하우징은 표시장치(205)와 일체이어도 된다. 유저 인터페이스(UI)(206)는, 키보드 및 마우스 등의 입력장치이거나, 조이스틱이나 음성입력장치이어도 된다.
클라이언트 장치(110)로서, 일반적인 퍼스널컴퓨터(PC))를 이용할 수 있다. 클라이언트 장치(110)는, CPU 201이 HDD(202)에 유지하고 있는 프로그램 코드를 판독해서 판독된 프로그램을 실행함으로써, 물체를 검지하는 기능을 설정하기 위한 그래픽 유저 인터페이스(GUI)를 제공할 수 있다. 실시형태에서는, CPU 201이 처리를 행하는 가정에서 설명하고 있다. 이와 달리, CPU 201의 처리 중 적어도 일부를 전용의 하드웨어에 의해 행하여도 된다. 예를 들면, 표시장치(205)에 GUI와 영상 데이터를 표시하는 처리는 그래픽 처리 유닛(GPU)에서 행해도 된다. HDD(202)로부터 프로그램 코드를 판독해서 판독된 프로그램을 RAM 203에 전개하는 처리는 전송 장치로서 기능하는 직접 메모리 액세스(DMA)에 의해 행해도 된다.
다음에, 네트워크 카메라(100)의 하드웨어 구성을 설명한다. CPU 210은 네트워크 카메라(100)를 총괄 제어하는 중앙처리장치다. 판독 전용 메모리(ROM)(211)는, CPU 210이 네트워크 카메라(100)를 제어하기 위한 프로그램을 기억한다. 네트워크 카메라(100)는, ROM(211) 이외에 HDD(202)와 동등한 2차 기억장치를 구비하여도 된다. RAM 212는, CPU 210이 ROM(211)으로부터 판독된 프로그램을 전개하고, CPU 210이 처리를 실행하기 위한 메모리다. 또한, RAM 212는, 일시 기억 메모리로서 네트워크 카메라(100)에 있어서의 각종 처리의 대상이 되는 데이터를 일시 기억하기 위한 기억영역으로서도 사용된다.
IF 213은, 네트워크(120)를 거쳐 TCP/IP, HTTP 또는 ONVIF의 프로토콜에 따라, 클라이언트 장치(110)와 통신을 행한다. IF 213은, 클라이언트 장치(110)에 영상 데이터, 검지 물체의 메타 데이터나 전술한 리스폰스를 송신하거나, 클라이언트 장치(110)로부터 전술한 각종 코맨드를 수신한다.
촬영 디바이스(214)는, 라이브 영상을 동화상 및 정지 화상으로서 촬영하는 비디오카메라 등의 촬영 디바이스다. 네트워크 카메라(100)의 하우징과 촬영 디바이스(214)의 하우징은 일체이어도 되고, 별체이어도 된다.
다음에, 도 3을 참조하여, 네트워크 카메라(100)의 각 기능 구성에 대해 설명한다.
가시광 촬상부(301)는, 렌즈 및 촬상소자를 포함하는 촬상부(3011)와, 화상처리부(3012), 얼굴 검지부(3013), 패턴 검지부(3014)를 구비한다. 가시광 촬상부(301)는, 피사체의 촬상 및 각종의 화상처리와 검지 처리를 행한다.
화상처리부(3012)는, 촬상부(3011)에 의해 촬상된 화상신호에 대하여, 후단의 검지 처리를 행하기 위해서 필요한 화상처리를 행하여, 화상 데이터("가시광 화상", 또는 "가시광 영상"으로도 부른다)를 생성한다. 예를 들면, 후단의 검지 처리에서 형상 특징에 근거하여 매칭할 경우에는, 화상처리부(3012)는 2진수 처리를 하거나, 피사체의 엣지를 추출하는 처리를 한다. 또한, 후단의 검지 처리에서 색 특징에 근거하여 검지할 경우에는, 화상처리부(3012)는 사전에 추정한 광원의 색온도나 렌즈의 색미에 근거하여 색보정을 하거나, 역광보정이나 블러링 보정을 위한 도징(dodging) 처리를 한다. 또한, 화상처리부(3012)가 촬상된 화상신호의 휘도성분에 근거하여 히스토그램 처리를 행하고, 촬상된 화상이 노출과다이거나 노출부족인 부분을 포함하는 경우에는, 화상처리부(3012)는 촬상부(3011)와 연동해서 high-dynamic-range(FDR) 촬상을 하여도 된다. HDR 촬상으로서, 촬상부(3011)의 노출을 바꾸어서 촬상한 복수매의 화상을 합성하는 일반적인 기술을 이용할 수 있다.
얼굴 검지부(3013)는, 화상처리부(3012)로부터 보내진 화상 데이터를 해석하여, 영상 내의 물체에 사람의 얼굴로서 인식할 수 있는 부분이 존재하는지 아닌지를 판정한다. "얼굴 검지"는, 화상으로부터 임의의 부분을 추출하고, 그 추출된 부분 화상과 사람의 얼굴을 구성하는 특징적인 부분을 나타내는 패턴 화상을 대조(매칭)함으로써, 화상 내에 얼굴이 존재하는지를 판정하는 처리다. 특징 부분의 예로서, 눈과 코의 상대 위치, 볼 뼈와 턱의 형태를 들 수 있다. 또한, 패턴 화상 대신에 패턴 특징(예를 들어, 눈과 코의 상대 위치와, 볼 뼈와 턱의 형태)을 유지해 두고, 부분 화상으로부터 추출한 특징과 비교함으로써, 부분 화상과 패턴 특징을 매칭하여도 된다.
패턴 검지부(3014)는, 화상처리부(3012)로부터 보내진 화상 데이터를 해석하여, 영상 내의 물체에 색이나 문자정보 등의 패턴을 인식할 수 있는 부분이 존재하는지 아닌지를 판정한다. "패턴 검지"는, 화상중의 임의의 부분을 추출하고, 어떤 특정한 문자나 마크 등의 레퍼런스 화상(또는 레퍼런스 특징)과 비교하여, 추출된 부분이 레퍼런스 화상과 일치하는지 아닌지를 판정하는 처리를 말한다. 해상감시와 국경감시를 예로 들면, 레퍼런스 화상의 예로는 검지한 물체의 보디에 표기되어 있는 문자나, 표시된 국기의 색 또는 모양을 들 수 있다.
적외광 촬상부(302)는, 렌즈 및 촬상소자를 포함하는 촬상부(3021)와, 화상처리부(3022) 및 물체 검지부(3023)를 구비한다. 적외광 촬상부(302)는, 피사체의 촬상 및 필요한 화상처리와 검지 처리를 행한다.
화상처리부(3022)는, 촬상부(3021)에 의해 촬상된 신호를, 시인 가능한 화상으로 변환하는 신호 처리를 행하여, 화상 데이터(적외광 화상 또는 적외광 영상)를 생성한다.
물체 검지부(3023)는, 화상처리부(3022)로부터 보내진 화상 데이터를 해석하여, 영상 내에 배경과 다른 물체가 존재하는지 아닌지를 판정한다. 예를 들면, 물체 검지부(3023)는, 물체가 찍히지 않고 있는 상황에서 촬상한 화상을 배경화상으로서 참조한다. 그후, 배경 화상과 검지 처리의 대상인 촬상 화상과의 차분에 근거하여, 물체 검지부(3023)는, 차분이 소정의 임계값보다 크고 차분 영역이 소정의 크기 이상인 부분을 전경으로서 추출한다. 또한, 차분 영역의 외접 사각형이 사람, 차량이나, 선박에 대응하는 애스팩트 비를 갖는 경우에, 물체 검지부(3023)는 물체의 종별을 검출하여도 된다. 또한, 물체 검지부(3023)는, 배경 차분과 함께 프레임간 차분을 실행함으로써, 동체와 정지체를 구별할 수 있도록 하여도 된다. 배경 차분에 의해 검출한 영역이 프레임간 차분에 의해 얻어진 차분 영역을 소정의 비율 이상 포함하면, 이 영역은 동체로서 구별된다. 그렇지 않으면, 이 영역은 정지체로서 구별된다.
네트워크 영상 처리부(303)는, 분배할 영상 데이터를 결정하는 영상 판정부(3031), 가시광 영상에 적외광 영상을 합성하는 처리를 행하는 합성 처리부(3032)와, 영상 데이터를 네트워크(120)에 분배하기 위한 영상압축 처리를 행하는 인코더(3033)를 구비하고 있다.
합성 처리부(3032)는, 영상 판정부(3031)를 사용하여 합성 화상 데이터(합성 화상 또는 합성 영상)를 생성한다. 예를 들면, 가시광 영상의 시인성이 나쁘다고 판단되었을 경우, 합성 처리부(3032)는, 적외광 영상에서 검지한 물체의 디테일(형상과 텍스처 등)을 잘라내서 잘라낸 디테일을 가시광 영상의 대응하는 위치에 중첩하는 합성 처리를 행한다. 영상 판정부(3031)에 의한 판정 처리의 상세한 것은 후술한다. 합성 처리부(3032)예 의한 합성 처리에 사용되는 기술의 예로서, 가시광 영상의 콘트라스트비가 낮은 부분에 적외선 영상의 같은 위치의 화상을 중첩해서 가시광 영상과 적외선 영상을 합성하는 수법과, 가시광 영상의 배경화상에 적외선 영상의 전경을 중첩해서 가시광 영상과 적외선 영상을 합성하는 수법을 들 수 있다. 가시광 영상의 배경과, 적외선 영상의 전경이 강조되도록 가시광 영상과 적외선 영상을 합성할 수 있으면, 알파 합성을 사용해도 된다.
인코더(3033)는, 영상 판정부(3031)에 의해 결정한 영상 데이터를 압축하는 처리를 행하고, IF 213을 거쳐 네트워크(120)에 영상 데이터를 송출한다. 영상 데이터를 압축하는 방법으로서는, Joint Photographic Experts Group(JPEG), Moving Picture Experts Group phase 4(MPEG04), H.264, 또는 High Efficiency Video Coding(HEVC) 등의 기존의 압축 방법을 이용하면 된다.
도 3의 가시광 촬상부(301)와 적외광 촬상부(302) 각각이 화상처리부와 검지부를 전용의 하드웨어로서 구비하고 있어도 된다. 이와 달리, 이들 구성은 CPU 210이 RAM 212의 프로그램 코드를 실행함으로써 실현되어도 된다. 네트워크 영상 처리부(303)에서는, 영상 판정부(3031), 합성 처리부(3032) 및 인코더(3033)가, CPU 210이 RAM 212의 프로그램 코드를 실행함으로써 실현가능하다. 단, 검지 처리와 압축 처리 등의 구성이 전용의 하드웨어로서 구비하고 있으면, CPU 210의 부하를 분산할 수 있다.
다음에, 도 4를 참조해서, 영상 판정부(3031)에 의해 분배 영상을 결정하는 처리에 대해 설명한다. 최초에, 스텝 S401에서, 영상 판정부(3031)는, 물체 검지부(3023)로부터 적외광 영상에 있어서의 물체 검지 결과를 취득한다. 다음에, 스텝 S402에서, 영상 판정부(3031)는 취득한 물체 검지 결과를 해석하여, 적외광 영상에서 물체 검지부(3023)가 물체를 검지하고 있는지 아닌지를 판단한다.
영상 판정부(3031)는, 스텝 S402에서 물체가 검지되지 않고 있는 경우에는(스텝 S402에서 No), 스텝 S408에서 적외광 영상을 분배 영상으로서 판정한다. 이것은, 적외광 영상을 감시용으로서 다른 영상보다도 우선적으로 이용하는 것이 다음과 같은 이유로 바람직하기 때문이다. 적외광 영상의 특성으로서, 야간이나 악천후시에 얻어지는 가시광 영상에 있어서의 적외광 영상의 검출 정밀도가 악조건 아래에서도 떨어지기 어렵다. 또한, 가시광 영상에 비해, 자외광 영상에서는 원거리의 물체 검출이 가능하다.
한편, 스텝 S402에서 물체가 검지되는 경우에는(스텝 S402에서 Yes), 스텝 S403에서, 영상 판정부(3031)는, 얼굴 검지부(3013)로부터 얼굴 검지 결과를 취득하고, 패턴 검지부(3014)로부터 패턴 검지 결과를 취득한다. 그리고, 영상 판정부(3031)는, 스텝 S404에서, 취득한 검지 결과에 근거하여, 얼굴이 검출되는지 아닌지를 판정한다. 더구나, 스텝 S405에서, 영상 판정부(3031)는, 패턴이 검출되는지 아닌지를 판정한다.
스텝 S404에서 얼굴이 검지되거나(스텝 S404에서 Yes), 또는 스텝 S405에서 패턴이 검지되면(스텝 S405에서 Yes)인 경우, 스텝 S407로 처리가 진행된다. 스텝 S407에서, 영상 판정부(3031)는, 가시광 영상을 분배 영상으로서 결정한다. 이것은, 얼굴 검지가 가능한 영상을 클라이언트 장치(110)에 분배함으로써 클라이언트 장치(110)에서 얼굴 인증 처리에 이용 가능하게 되거나, 또는 패턴 검지가 가능한 영상을 클라이언트 장치(110)에 분배함으로써 클라이언트 장치(110)에서 더욱 방대한 사전을 사용하여 물체의 특정을 할 수 있기 때문이다.
한편, 스텝 S404에서 얼굴이 검지되지 않고(스텝 S404에서 No) 또한, 스텝 S405에서 패턴이 검지되지 않는(스텝 S405에서 No) 경우, 스텝 S406에서, 영상 판정부(3031)는, 합성 영상을 분배 영상으로서 결정한다. 이것은 가시광 영상에서 시인가능한 배경 부분과, 물체의 위치를 함께 확인할 수 있기 때문이다. 실제로 유저가 육안으로 물체를 확인하기 위해, 표시장치(205)에 표시되는 분배 영상을 참조할 때, 가시광 영상의 배경과 적외광 영상의 전경이 강조되도록 가시광 영상과 적외광 영상을 합성하여 얻어진 합성 영상은 감시 목적으로 유리하다.
전술한 것과 같이, 본 실시형태에 따르면, 물체의 검지 결과에 근거하여 감시에 적합한 영상 종별을 판정해서 클라이언트 장치(110)에 전송함으로써, 유저가 감시에 바람직한 영상 종별을 판단해서 전환할 필요가 없으므로, 편리성이 향상된다. 또한, 감시에 바람직하지 않은 영상 데이터가 분배되지 않게 제어할 수 있다. 따라서, 효율적인 감시를 행하는 것이 가능해 진다.
또한, 네트워크 카메라는 설치 장소에 따라서는 복수의 종별 중에서 1개의 영상밖에 전송할 수 없을 경우가 있다. 이 경우는, 예를 들면, 네트워크 카메라 주위에 건물이나 가로등 등이 없는 깊은 산속이나 해안선 근처에 설치된 네트워크 카메라에 해당한다. 이러한 장소에서는, 영상을 전송하기 위한 인프라스트럭처가 정비되어 있지 않기 때문에, 충분한 전송 대역을 확보할 수 없는 경우가 많다. 단, 적외광 영상과 가시광 영상 중 한쪽만 전송할 수 있으며, 항상 적외광 영상을 분배하는 경우, 촬영 조건이 좋을 때에 얼굴 인증이나 물체 특정 기능을 실현할 수 없다. 또한, 항상 가시광 영상을 분배하면, 촬영 조건이 나쁠 경우에 물체 검지를 할 수 없다, 상기한 실시형태에 따르면, 기상조건에 영향을 받기 어려운 감시에 적합한 영상을, 대용량의 데이터 전송을 할 수 없는 설정 장소에서도 분배할 수 있다.
또한, 적외광 영상에 물체가 있는 것이 검지된 경우에도, 적외광 영상을 가시광 영상으로 전환해야 하는지의 판단이 어려울 경우가 있다. 또한, 일반적으로, 적외광 영상보다 가시광 영상 쪽이 고해상도이고, 또한 압축 효율이 나쁜 일이 많기 때문에, 네트워크를 거쳐 전송할 가시광 영상의 데이터량이 많아지는 경향이 있다. 따라서, 감시 효과를 기대할 수 없으면, 적외광 영상을 가시광 영상으로 전환하지 않는 것이 데이터 전송량의 관점에서는 바람직할 수도 있다.
이와 같은 경우에, 물체 판정 처리에 기계학습을 적용하여, 형태나 크기 등의 특징을 기초로 물체의 종류를 판정한다. 그후, 특정한 검지 레벨 이상의 물체가 특정되는 경우에만, 적외광 영상을 가시광 영상으로 전환하여도 된다. "검지 레벨"은, 물체를 감시해야 할 정도를 나타낸다.
또한, "기계학습"이란, 특정한 샘플 데이터로부터 반복적으로 학습을 행하고, 특정한 샘플 데이터에 잠재하는 특징을 찾아내고, 학습 결과를 새로운 데이터에 적용시킴으로써, 그 발견된 특징에 따라서 장래를 예측할 수 있게 하는 알고리즘이다. TensorFlow, TensorFlow Lite, 또는 Caffe2 등의 기존의 알고리즘을 사용하여도 된다. 이후의 설명에서는, 도 1 내지 도 4와 유사한 기능을 갖는 구성이나 단계는 동일한 부호를 붙이며, 도 1 내지 도 4와 유사한 구성이나 기능은 설명을 생략한다.
도 5를 참조하여, 본 실시형태에 따른 네트워크 카메라(100)의 구성과 기능에 대해 설명한다. 기계학습부(504)(추정부)는, 학습 데이터에 근거한 물체 판정 결과를 생성하는 기계학습 처리부(5041)와, 물체 판정 결과를 기초로 검지 레벨을 판정하는 검지 레벨 판정부(5042)를 구비하고 있다.
도 6 및 도 7을 참조하여, 기계학습을 이용한 검지 레벨 판정 처리에 대해서 설명한다. 야간이나 시인성이 나쁜 환경에서의 판정에는 적외광 영상을 사용하고, 시인성이 높은 환경에서의 판정에는 가시광 영상을 사용하기 때문에, 기계학습에 근거한 판정에 적외광 영상과 가시광 영상의 양쪽을 사용한다. 또한, 검출하려는 물체는 감시 용도나 설치 장소에 따라 다르다. 본 실시형태에서는 해상감시를 예로 들어 설명한다.
기계학습 처리부(5041)는, 해상에서 검출되는 물체 및 선박의 특징을 학습하여 얻어진 데이터를 미리 준비해 두고, 가시광 촬상부(301) 또는 적외광 촬상부(302)로부터 입력된 영상에 대하여 기계학습처리를 행한다. 기계학습에 근거하여, 물체의 종류를 판정하여 얻어진 처리 결과의 일례를 도 6에 나타낸다. 입력 영상에 복수의 물체가 찍히고 있는 경우가 있기 때문에, 식별한 종류의 물체의 각각에 물체 번호(또는 물체 신원(ID))를 할당한다. 그리고, 기계학습 처리부(5041)는, 물체 번호마다의 판정 결과가 판정 결과와 일치할 확률(정확도 또는 우도)을 산출한다.
검지 레벨 판정부(5042)는, 기계학습 처리부(5041)에 의한 판정 결과를 기초로, 검지 레벨을 결정한다. 도 7은 물체의 종류의 판정 결과에 근거하여 검지 레벨을 결정하기 위한 규칙을 나타낸 테이블을 나타낸다. 도 6의 판정 결과는, 기계학습 처리부(5041)에 의해 일반선박으로서 판정된 물체를 포함한다. 이 때문에, 검지 레벨 판정부(5042)는 검지 레벨을 4로 결정한다.
다음에, 도 8을 참조해서, 영상 판정부(3031)에 의한 분배 영상 결정 처리에 대해 설명한다.
최초에, 스텝 S801에서, 영상 판정부(3031)는 기계학습부(504)로부터 검지 레벨을 취득한다.
검지 레벨이 2 이하인 경우(스텝 S802에서 Yes), 스텝 S408에서, 영상 판정부(3031)는 적외광 영상을 분배 영상으로서 결정한다. 이것은, 검지 레벨이 2 이하인 경우, 물체를 선박으로서 특정할 수 없어, 데이터량이 많은 가시광 영상을 송신할 필요가 없기 때문이다. 다음에, 검지 레벨이 3 이상인 경우에는(스텝 S802에서 No), 스텝 S403에서, 영상 판정부(3031)는 얼굴 검지부(3013)로부터 검지 결과를 취득하고, 또한 패턴 검지부(3014)로부터 패턴 검지 결과를 취득한다.
검지 결과로서, 얼굴이 검지되거나(스텝 S404에서 Yes), 또는 패턴이 검지되는 경우(스텝 S405에서 Yes), 스텝 S407에서, 영상 판정부(3031)는 가시광 영상을 분배 영상으로서 결정한다. 얼굴이 검지되지 않고(스텝 S404에서 No), 패턴이 검지되지 않는 경우(스텝 S405에서 No), 스텝 S406에서, 영상 판정부(3031)는, 합성 영상을 분배 영상으로 결정한다.
이상과 같이, 도 5의 구성에 따르면, 기계학습을 이용해서 결정한 검지 레벨을 분배 영상 판정에 사용함으로써, 클라이언트 장치(110)에서의 보다 효율적인 감시 업무를 행할 수 있다.
또한, 도 9에 나타낸 것과 같이, 네트워크 영상 처리부(303)에 의해 분배 영상이 결정된 후, 비트 레이트 저감 처리를 해도 된다. 스텝 S901에서, 영상 판정부(3031)는, 분배 영상을 가시광 영상, 적외 영상 및 합성 영상 중에서 결정한 후에, 적외광 영상으로부터 취득한 검지 결과에 포함되는 물체 정보(검출 위치와 검출 사이즈)에 근거하여 흥미 영역(Region Of Interest) ROI을 설정한다. 그후, 인코더(3033)는 ROI 이외의 영역에 대해 비트 레이트 저감 처리를 행한다. 비트 레이트 저감 처리는, 인코더(3033)가 ROI의 압축율보다도 ROI 이외의 영역의 압축율이나 양자화 파라미터를 크게 하거나, ROI의 압축율보다도 ROI 이외의 영역에서 이산 코사인 변환(DCT) 변환을 수반하는 압축에 있어서 고주파성분을 커트하는 비율을 크게 하는 것으로 실현할 수 있다.
도 10은 물체 검지부(3023)로부터 취득할 수 있는 물체 정보의 예다. 물체 검지부(3023)는 검출한 물체마다 물체 번호를 할당하고, 물체 번호마다의 영상 내의 위치 좌표(화상의 좌측위를 원점으로 하고 수평방향의 픽셀수를 X, 연직방향의 픽셀수를 Y로 한다)와 물체 사이즈(X방향의 픽셀수 및 Y방향의 픽셀수)를 생성한다.
인코더(3033)는, 취득한 물체 번호의 위치 좌표와 물체 사이즈를 기초로, 사각형 영역을 설정하고, 사각형 영역외 부분의 비트 레이트를 저감하는 처리를 행한다. 또한, 인코더(3033)는, 영상 판정부(3031)를 사용하여, 분배 대상 이외의 종별의 영상에 대해 고압축 처리를 실시하고, 저비트 레이트에서 분배 대상으로서 한 종별의 영상과 함께 분배 대상 이외의 종별의 영상을 분배하여도 된다. 상기한 설명에서는 얼굴 검지부(3013)를 예로 들어 설명하고 있다. 이와 달리, 인체(상반신, 전신 또는 전신의 일부)를 검지하는 기능을 사용해도 된다.
상기한 설명에서는, 네트워크 카메라(100)의 내부에서 분배 영상을 결정하는 예에 대해 설명했다. 이와 달리, 네트워크 카메라(100)가 네트워크 카메라(100)에 접속한 클라이언트 장치(110)에 대하여 적외광 촬상 영상과 가시광 촬상 영상을 전송하고, 클라이언트 장치(110)가 출력할 영상을 선택해도 된다.
이 경우에는, 클라이언트 장치(110)의 CPU 201이 소정의 프로그램을 실행시킴으로써, 영상 판정부(3031) 및 합성 처리부(3032)로서 기능시키면 된다.
또한, 얼굴 검지부(3013), 패턴 검지부(3014) 및 물체 검지부(3023)도 클라이언트 장치(110)의 CPU 201에 의해 실현시켜도 된다. 또한, 기계학습부(504)를 클라이언트 장치(110)의 CPU 201에 의해 실행시키는 구성을 취해도 된다.
또한, 클라이언트 장치(110)가 영상 판정부(3031)에 의해 선택한 종별의 영상만을 표시장치(205)에 표시해도 되고, 또는 복수의 종별의 영상을 표시하고 있을 때에 영상 판정부(3031)에 의해 선택한 종별의 영상을 강조하거나 이 영상을 팝업시켜도 된다. 본 명세서에 있어서, "검지"와 "검출"은 같은 의미를 가지며, 검사하는 것에 의해 찾아내는 것을 의미한다.
또한, 본 발명은, 이하의 처리를 실행함으로써도 실현된다. 즉, 전술한 실시형태의 기능을 실현하는 소프트웨어(프로그램)를, 네트워크 또는 각종 기억매체를 거쳐서 시스템 또는 장치에 공급하고, 그 시스템 또는 장치의 컴퓨터(또는 CPU나 마이크로프로세서 유닛(MPU) 등)가 프로그램을 판독해서 실행하는 처리다.
기타 실시형태
본 발명의 실시형태는, 본 발명의 전술한 실시형태(들)의 1개 이상의 기능을 수행하기 위해 기억매체('비일시적인 컴퓨터 판독가능한 기억매체'로서 더 상세히 언급해도 된다)에 기록된 컴퓨터 실행가능한 명령(예를 들어, 1개 이상의 프로그램)을 판독하여 실행하거나 및/또는 전술한 실시예(들)의 1개 이상의 기능을 수행하는 1개 이상의 회로(예를 들어, 주문형 반도체 회로(ASIC)를 포함하는 시스템 또는 장치의 컴퓨터나, 예를 들면, 전술한 실시형태(들)의 1개 이상의 기능을 수행하기 위해 기억매체로부터 컴퓨터 실행가능한 명령을 판독하여 실행함으로써, 시스템 또는 장치의 컴퓨터에 의해 수행되는 방법에 의해 구현될 수도 있다. 컴퓨터는, 1개 이상의 중앙처리장치(CPU), 마이크로 처리장치(MPU) 또는 기타 회로를 구비하고, 별개의 컴퓨터들의 네트워크 또는 별개의 컴퓨터 프로세서들을 구비해도 된다. 컴퓨터 실행가능한 명령은, 예를 들어, 기억매체의 네트워크로부터 컴퓨터로 주어져도 된다. 기록매체는, 예를 들면, 1개 이상의 하드디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 분산 컴퓨팅 시스템의 스토리지, 광 디스크(콤팩트 디스크(CD), 디지털 다기능 디스크(DVD), 또는 블루레이 디스크(BD)TM 등), 플래시 메모리소자, 메모리 카드 등을 구비해도 된다.
본 발명은, 상기한 실시형태의 1개 이상의 기능을 실현하는 프로그램을, 네트워크 또는 기억매체를 개입하여 시스템 혹은 장치에 공급하고, 그 시스템 혹은 장치의 컴퓨터에 있어서 1개 이상의 프로세서가 프로그램을 읽어 실행하는 처리에서도 실행가능하다. 또한, 1개 이상의 기능을 실현하는 회로(예를 들어, ASIC)에 의해서도 실행가능하다.
예시적인 실시형태들을 참조하여 본 발명을 설명하였지만, 본 발명이 이러한 실시형태에 한정되지 않는다는 것은 자명하다. 이하의 청구범위의 보호범위는 가장 넓게 해석되어 모든 변형, 동등물 구조 및 기능을 포괄하여야 한다.

Claims (18)

  1. 적외광 촬상부와 가시광 촬상부를 구비한 촬상장치로서,
    상기 적외광 촬상부에 의해 얻어진 제1 화상 및 상기 가시광 촬상부에 의해 얻어진 제2 화상의 적어도 한쪽으로부터 물체를 검지하도록 구성된 검지부와,
    상기 제1 및 제2 화상에 근거하여 합성 화상을 생성하도록 구성된 합성부와,
    상기 검지부에 의한 검지 결과에 근거하여, 상기 제1 화상, 상기 제2 화상 및 상기 합성 화상 중 1개를 네트워크 경유로 클라이언트 장치에 선택적으로 출력하도록 구성된 출력부를 구비하고,
    상기 검지부는, 상기 적외광 촬상부에 의해 얻어진 상기 제1 화상으로부터 물체를 검지하도록 구성된 제1 검지부와, 상기 가시광 촬상부에 의해 얻어진 상기 제2 화상으로부터 물체를 검지하도록 구성된 제2 검지부를 구비한 촬상장치.
  2. 제 1항에 있어서,
    상기 출력부는, 상기 제1 검지부가 상기 제1 화상으로부터 물체를 검지하지 않는 경우에, 상기 제1 화상을 상기 클라이언트 장치에 출력하는 촬상장치.
  3. 제 1항에 있어서,
    상기 출력부는, 상기 제2 검지부가 상기 제2 화상으로부터 소정의 특징을 검지하는 경우에, 상기 제2 화상을 상기 클라이언트 장치에 출력하는 촬상장치.
  4. 제 1항에 있어서,
    상기 출력부는, 상기 제2 검지부가 상기 제2 화상으로부터 소정의 특징을 검지하지 않는 경우에, 상기 합성 화상을 상기 클라이언트 장치에 출력하는 촬상장치.
  5. 제 1항에 있어서,
    상기 제1 및 제2 화상으로부터 기계학습을 이용해서 검지 물체를 추정하도록 구성된 추정부를 더 구비하고,
    상기 출력부는, 상기 추정부에 의해 추정한 물체의 검지 레벨과 상기 제2 검지부에 의한 검지 결과에 근거하여, 상기 제1 화상, 상기 제2 화상 및 상기 합성 화상 중 적어도 1개를 출력하는 촬상장치.
  6. 제 1항에 있어서,
    상기 적외광 촬상부에 의해 얻어진 상기 제1 화상으로부터 검지된 물체에 근거하여, 상기 가시광 촬상부에 의해 얻어진 상기 제2 화상에 흥미 영역을 설정하도록 구성된 설정부를 더 구비하고,
    상기 출력부는, 상기 제2 화상 및 상기 합성 화상 중 적어도 1개의 상기 흥미 영역 밖의 부분의 비트 레이트를 저감시켜, 상기 제2 화상 및 상기 합성 화상 중 적어도 1개를 출력하는 촬상장치.
  7. 제 1항에 있어서,
    상기 합성부는, 상기 제1 화상으로부터 검지된 물체를 잘라내고, 잘라낸 물체를 상기 제2 화상의 대응하는 위치에 중첩하는 촬상장치.
  8. 제 1항에 있어서,
    상기 합성부는, 상기 제2 화상의 콘트라스트가 낮은 부분에 상기 제1 화상을 합성하는 촬상장치.
  9. 적외광 촬상부와 가시광 촬상부를 구비한 촬상장치와 네트워크를 거쳐 통신하는 화상 처리장치로서,
    상기 적외광 촬상부에 의해 얻어진 제1 화상 및 상기 가시광 촬상부에 의해 얻어진 제2 화상을 수신하도록 구성된 수신부와,
    상기 제1 화상에 있어서의 물체의 검지 결과와 상기 제2 화상에 있어서의 물체의 검지 결과에 근거하여, 상기 제1 화상, 상기 제2 화상, 및 상기 제1 화상과 상기 제2 화상을 합성하여 얻어진 합성 화상 중 적어도 1개를 출력하도록 구성된 출력부를 구비한 화상 처리장치.
  10. 제 9항에 있어서,
    상기 제1 및 제2 화상으로부터 기계학습을 이용해서 검지 물체의 종류를 추정하도록 구성된 추정부를 더 구비하고,
    상기 출력부는, 상기 추정부에 의해 추정한 물체에 근거하여, 상기 제1 화상, 상기 제2 화상 및 상기 합성 화상 중 적어도 1개를 출력하는 화상 처리장치.
  11. 적외광 촬상부와 가시광 촬상부를 구비한 촬상장치를 제어하는 제어방법으로서,
    상기 적외광 촬상부에 의해 얻어진 제1 화상 및 상기 가시광 촬상부에 의해 얻어진 제2 화상의 적어도 한쪽으로부터 물체를 검지하는 단계와,
    상기 제1 및 제2 화상에 근거하여 합성 화상을 생성하는 단계와,
    검지 결과에 근거하여, 상기 제1 화상, 상기 제2 화상 및 상기 합성 화상 중 1개를 선택적으로 네트워크 경유로 클라이언트 장치에 출력하는 단계를 포함하는 촬상장치의 제어방법.
  12. 제 11항에 있어서,
    상기 적외광 촬상부에 의해 얻어진 상기 제1 화상으로부터 물체를 검지하는 단계와, 상기 가시광 촬상부에 의해 얻어진 상기 제2 화상으로부터 물체를 검지하는 단계를 더 포함하고,
    검지 결과에 근거하여, 상기 제1 화상, 상기 제2 화상 및 상기 합성 화상 중 적어도 1개를 출력하는 촬상장치의 제어방법.
  13. 제 12항에 있어서,
    상기 제1 화상으로부터 물체가 검지되지 않는 경우에, 상기 제1 화상을 상기 클라이언트 장치에 출력하는 촬상장치의 제어방법.
  14. 제 12항에 있어서,
    상기 제2 화상으로부터 소정의 특징이 검지되는 경우에, 상기 제2 화상을 상기 클라이언트 장치에 출력하는 촬상장치의 제어방법.
  15. 제 12항에 있어서,
    상기 제2 화상으로부터 소정의 특징이 검지되지 않는 경우에, 상기 합성 화상을 상기 클라이언트 장치에 출력하는 촬상장치의 제어방법.
  16. 적외광 촬상부와 가시광 촬상부를 구비한 촬상장치와 네트워크를 거쳐 통신하는 화상 처리장치를 제어하는 제어방법으로서,
    상기 적외광 촬상부에 의해 얻어진 제1 화상 및 상기 가시광 촬상부에 의해 얻어진 제2 화상을 수신하는 단계와,
    상기 제1 화상에 있어서의 물체의 검지 결과와 상기 제2 화상에 있어서의 물체의 검지 결과에 근거하여, 상기 제1 화상, 상기 제2 화상, 및 상기 제1 화상과 상기 제2 화상을 합성하여 얻어진 합성 화상 중 적어도 1개를 출력하는 단계를 포함하는 화상 처리장치의 제어방법.
  17. 적외광 촬상부와 가시광 촬상부를 구비한 컴퓨터를,
    상기 적외광 촬상부에 의해 얻어진 제1 화상 및 상기 가시광 촬상부에 의해 얻어진 제2 화상의 적어도 한쪽으로부터 물체를 검지하도록 구성된 검지부와,
    상기 제1 및 제2 화상에 근거하여 합성 화상을 생성하도록 구성된 합성부와,
    상기 검지부에 의한 검지 결과에 근거하여, 상기 제1 화상, 상기 제2 화상 및 상기 합성 화상 중 적어도 1개를 네트워크 경유로 클라이언트 장치에 출력하도록 구성된 출력부로서 기능시키는 컴퓨터에 의해 판독가능한 프로그램이 기억된 비일시적인 컴퓨터 판독가능한 기억매체.
  18. 적외광 촬상부와 가시광 촬상부를 구비한 촬상장치와 통신하는 컴퓨터를,
    상기 적외광 촬상부에 의해 얻어진 제1 화상 및 상기 가시광 촬상부에 의해 얻어진 제2 화상을 수신하도록 구성된 수신부와,
    상기 제1 화상에 있어서의 물체의 검지 결과와 상기 제2 화상에 있어서의 물체의 검지 결과에 근거하여, 상기 제1 화상, 상기 제2 화상, 및 상기 제1 및 제2 화상을 합성하여 얻어진 합성 화상 중 적어도 1개를 출력하도록 구성된 출력부로서 기능시키는 컴퓨터에 의해 판독가능한 프로그램이 기억된 비일시적인 컴퓨터 판독가능한 기억매체.
KR1020180170002A 2017-12-27 2018-12-27 촬상장치, 화상 처리장치, 제어방법 및 기억매체 KR20190079574A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017251719A JP2019118043A (ja) 2017-12-27 2017-12-27 撮像装置、画像処理装置、制御方法およびプログラム
JPJP-P-2017-251719 2017-12-27

Publications (1)

Publication Number Publication Date
KR20190079574A true KR20190079574A (ko) 2019-07-05

Family

ID=65003113

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180170002A KR20190079574A (ko) 2017-12-27 2018-12-27 촬상장치, 화상 처리장치, 제어방법 및 기억매체

Country Status (7)

Country Link
US (1) US20190199898A1 (ko)
EP (1) EP3506228A1 (ko)
JP (1) JP2019118043A (ko)
KR (1) KR20190079574A (ko)
CN (1) CN109981943A (ko)
BR (1) BR102018076367A2 (ko)
RU (1) RU2018145742A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210050707A (ko) * 2019-10-29 2021-05-10 오토아이티(주) 색상 및 온도 정보 기반의 객체 검출 장치 및 방법

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11800206B2 (en) 2019-07-08 2023-10-24 Calumino Pty Ltd. Hybrid cameras
JP7314680B2 (ja) * 2019-07-23 2023-07-26 東洋製罐株式会社 画像データ処理システム、無人航空機、画像データ処理方法、及びプログラム
US11748991B1 (en) * 2019-07-24 2023-09-05 Ambarella International Lp IP security camera combining both infrared and visible light illumination plus sensor fusion to achieve color imaging in zero and low light situations
FR3099976B1 (fr) * 2019-08-12 2021-07-09 Sagemcom Broadband Sas Caméra réseau munie d’un capot de privatisation
JP7289921B2 (ja) * 2019-08-29 2023-06-12 富士フイルム株式会社 撮像装置、撮像装置の動作方法、及びプログラム
CN112333625A (zh) * 2019-11-05 2021-02-05 重庆邮电大学 一种基于Tensorflow的室内指纹定位方法
CN113542573A (zh) * 2020-04-14 2021-10-22 华为技术有限公司 一种拍照方法和电子设备
JP7528637B2 (ja) 2020-08-26 2024-08-06 株式会社Ｊｖｃケンウッド 機械学習装置及び遠赤外線撮像装置
JPWO2022163544A1 (ko) * 2021-01-26 2022-08-04
JPWO2023286359A1 (ko) * 2021-07-12 2023-01-19
WO2023112349A1 (ja) * 2021-12-16 2023-06-22 古野電気株式会社 物標監視装置、物標監視方法、及びプログラム
WO2023156825A1 (en) * 2022-02-18 2023-08-24 Uab "Yukon Advanced Optics Worldwide" A portable digital nightvision device with extended dynamic range and method using the same

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000155177A (ja) * 1998-11-20 2000-06-06 Nikon Corp 人体検知装置および人体検知方法
US6829391B2 (en) * 2000-09-08 2004-12-07 Siemens Corporate Research, Inc. Adaptive resolution system and method for providing efficient low bit rate transmission of image data for distributed applications
US7471334B1 (en) * 2004-11-22 2008-12-30 Stenger Thomas A Wildlife-sensing digital camera with instant-on capability and picture management software
US20080129844A1 (en) * 2006-10-27 2008-06-05 Cusack Francis J Apparatus for image capture with automatic and manual field of interest processing with a multi-resolution camera
US8243797B2 (en) * 2007-03-30 2012-08-14 Microsoft Corporation Regions of interest for quality adjustments
US8749635B2 (en) * 2009-06-03 2014-06-10 Flir Systems, Inc. Infrared camera systems and methods for dual sensor applications
US8837855B2 (en) * 2009-11-16 2014-09-16 Verizon Patent And Licensing Inc. Image compositing via multi-spectral detection
US9835564B2 (en) * 2012-06-08 2017-12-05 SeeScan, Inc. Multi-camera pipe inspection apparatus, systems and methods
US20140040173A1 (en) * 2012-08-02 2014-02-06 Video Inform Ltd. System and method for detection of a characteristic in samples of a sample set
JP2014238731A (ja) * 2013-06-07 2014-12-18 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理システム、および画像処理方法
EP3164990B1 (en) * 2014-04-08 2020-03-04 UdiSense Inc. Systems and methods for configuring baby monitor cameras to provide uniform data sets for analysis
JP6168024B2 (ja) 2014-10-09 2017-07-26 株式会社Ｊｖｃケンウッド 撮影画像表示装置、撮影画像表示方法および撮影画像表示プログラム
JP6275333B2 (ja) * 2015-05-21 2018-02-07 富士フイルム株式会社 赤外線撮像装置および赤外線撮像装置による信号補正方法
US10547829B2 (en) * 2016-06-16 2020-01-28 Samsung Electronics Co., Ltd. Image detecting device and image detecting method using the same

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210050707A (ko) * 2019-10-29 2021-05-10 오토아이티(주) 색상 및 온도 정보 기반의 객체 검출 장치 및 방법

Also Published As

Publication number Publication date
US20190199898A1 (en) 2019-06-27
RU2018145742A (ru) 2020-06-25
BR102018076367A2 (pt) 2019-07-16
JP2019118043A (ja) 2019-07-18
EP3506228A1 (en) 2019-07-03
CN109981943A (zh) 2019-07-05
RU2018145742A3 (ko) 2020-06-25

Similar Documents

Publication Publication Date Title
KR20190079574A (ko) 촬상장치, 화상 처리장치, 제어방법 및 기억매체
US11501535B2 (en) Image processing apparatus, image processing method, and storage medium for reducing a visibility of a specific image region
WO2019085792A1 (en) Image processing method and device, readable storage medium and electronic device
US9396399B1 (en) Unusual event detection in wide-angle video (based on moving object trajectories)
US10163027B2 (en) Apparatus for and method of processing image based on object region
US20160142680A1 (en) Image processing apparatus, image processing method, and storage medium
WO2015146230A1 (ja) 映像表示装置および映像表示システム
CN107862659B (zh) 图像处理方法、装置、计算机设备及计算机可读存储介质
CN107993209B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN108141568B (zh) Osd信息生成摄像机、合成终端设备及共享系统
JP6833415B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US8798369B2 (en) Apparatus and method for estimating the number of objects included in an image
US10713797B2 (en) Image processing including superimposed first and second mask images
WO2017100696A1 (en) Dynamic frame rate controlled thermal imaging systems and methods
US11019251B2 (en) Information processing apparatus, image capturing apparatus, information processing method, and recording medium storing program
JP5215775B2 (ja) ホワイトバランス制御装置およびそれを用いた撮像装置並びにホワイトバランス制御方法
WO2006010910A1 (en) Apparatus and method for capturing and transmitting images of a scene
WO2016063595A1 (ja) 画像処理装置、画像処理方法及びプログラム
CN111542858B (zh) 动态图像解析装置、系统、方法、以及存储介质
JP3625442B2 (ja) 物体検出方法及び物体検出装置並びに物体検出プログラム
CN112241735A (zh) 一种图像处理方法、装置及系统
KR102474697B1 (ko) 촬상 장치 및 영상 처리 방법
JP6727894B2 (ja) 処理装置、処理方法、及びプログラム
JP2022148303A (ja) 監視カメラ、画像処理方法、およびプログラム
JP7034690B2 (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right