KR20190041929A - 화상 처리장치, 화상 처리방법 및 비일시적인 컴퓨터 판독가능한 기억매체 - Google Patents

화상 처리장치, 화상 처리방법 및 비일시적인 컴퓨터 판독가능한 기억매체 Download PDF

Info

Publication number
KR20190041929A
KR20190041929A KR1020180120823A KR20180120823A KR20190041929A KR 20190041929 A KR20190041929 A KR 20190041929A KR 1020180120823 A KR1020180120823 A KR 1020180120823A KR 20180120823 A KR20180120823 A KR 20180120823A KR 20190041929 A KR20190041929 A KR 20190041929A
Authority
KR
South Korea
Prior art keywords
image
area
moving body
mask
mask image
Prior art date
Application number
KR1020180120823A
Other languages
English (en)
Other versions
KR102333532B1 (ko
Inventor
카즈나리 이와모토
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20190041929A publication Critical patent/KR20190041929A/ko
Application granted granted Critical
Publication of KR102333532B1 publication Critical patent/KR102333532B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/12—Formatting, e.g. arrangement of data block or words on the record carriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19663—Surveillance related processing done local to the camera
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19686—Interfaces masking personal details for privacy, e.g. blurring faces, vehicle license plates
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

화상으로부터 검출한 동체의 영역이 상기 화상 내의 고정 영역과 겹칠 경우에, 상기 동체의 영역에 묘화할 제1 마스크 화상을, 상기 고정 영역에 묘화할 제2 마스크 화상 위에 중첩할 것인지 아닌지를, 상기 동체의 영역의 화상 특징량에 근거해서 판단한다. 이 판단 결과에 따라 제1 마스크 화상의 묘화를 제어한다.

Description

화상 처리장치, 화상 처리방법 및 비일시적인 컴퓨터 판독가능한 기억매체{IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND NON-TRANSITORY COMPUTER-READABLE STORAGE MEDIUM}
본 발명은, 화상 처리장치, 화상 처리방법 및 비일시적인 컴퓨터 판독가능한 기억매체에 관한 것으로, 특히 화상 위에 마스크 화상을 묘화하기 위한 기술에 관한 것이다.
종래부터, 시큐리티와 프라이버시를 고려하여, 화상 위의 특정한 영역에 마스크 화상을 중첩하는 기술이 알려져 있다. 이후에서는, 전술한, 화상 위의 특정한 영역에 중첩하는 마스크 화상을 고정 마스크로 기재한다.
화상 위에 동체가 존재할 경우, 이 동체의 프라이버시를 고려하여, 화상 위의 동체가 존재하는 영역에 마스크 화상을 중첩하는 기술이 알려져 있다. 이후에서는, 전술한, 동체에 중첩하는 마스크 화상을 동체 마스크로 기재한다.
예를 들면, 일본국 특개 2010-186507호 공보에는, 작업 현장의 영상을 분배할 때, 작업원의 프라이버시를 고려할 목적으로, 사람이 계속해서 존재하는 영역에 고정 마스크를 중첩하는 처리를 행하고, 사람이 이동하는 영역에는 동체 마스크를 중첩하는 처리를 행하는 방법이 개시되어 있다.
그렇지만, 상기한 일본국 특개 2010-186507호 공보에 개시된 종래기술에서는, 고정 마스크를 중첩한 영역에 있어서 작업원의 상태를 확인할 수 없다고 하는 과제가 있었다. 따라서, 예를 들면, 고정 마스크를 중첩한 영역에서 작업을 행하고 있는 작업원이 쓰러져 있어도, 영상의 감시자는 이 상황을 알아차릴 수 없다. 이 경우, 상기 영역에 고정 마스크 대신에 동체 마스크를 적용함으로써, 상기한 문제를 해결할 수 있다. 그렇지만, 고정 마스크는, 작업원의 프라이버시를 고려하는 것 뿐만 아니라, 시큐리티 및 프라이버시를 고려하여, 작업 현장에 존재하는, 동체 이외의 물체를 감추는 역할을 한다. 이 때문에, 전체 작업 현장에 동체 마스크를 적용할 수 없을 가능성이 있다.
본 발명은 이러한 문제를 고려하여 이루어진 것으로, 화상 위의 고정 영역에 마스크 화상을 묘화해도, 이 고정 영역 내의 동체를 확인 가능하게 하기 위한 기술을 제공한다.
본 발명의 일면에 따르면, 화상으로부터 검출한 동체의 영역이 상기 화상 내의 고정 영역과 겹칠 경우에, 상기 동체의 영역에 묘화할 제1 마스크 화상을, 상기 고정 영역에 묘화할 제2 마스크 화상 위에 중첩할 것인지 아닌지를, 상기 동체의 영역의 화상 특징량에 근거해서 판단하도록 구성된 판단부와, 상기 판단부에 의해 얻어진 판단 결과에 따라 상기 제1 마스크 화상의 묘화를 제어하도록 구성된 제어부를 구비한 화상 처리장치가 제공된다.
본 발명의 또 다른 일면에 따르면, 화상 처리장치가 행하는 화상 처리방법으로서, 화상으로부터 검출한 동체의 영역이 상기 화상 내의 고정 영역과 겹칠 경우에, 상기 동체의 영역에 묘화할 제1 마스크 화상을, 상기 고정 영역에 묘화할 제2 마스크 화상 위에 중첩할 것인지 아닌지를, 상기 동체의 영역의 화상 특징량에 근거해서 판단하는 단계와, 상기 판단단계에서 얻어진 판단 결과에 따라 상기 제1 마스크 화상의 묘화를 제어하는 단계를 포함하는 화상 처리방법이 제공된다.
본 발명의 또 다른 일면에 따르면, 컴퓨터를, 화상으로부터 검출한 동체의 영역이 상기 화상 내의 고정 영역과 겹칠 경우에, 상기 동체의 영역에 묘화할 제1 마스크 화상을, 상기 고정 영역에 묘화할 제2 마스크 화상 위에 중첩할 것인지 아닌지를, 상기 동체의 영역의 화상 특징량에 근거해서 판단하도록 구성된 판단부와, 상기 판단부에 의해 얻어진 판단 결과에 따라 상기 제1 마스크 화상의 묘화를 제어하도록 구성된 제어부로서 기능시키기 위한 컴퓨터 프로그램을 격납한 비일시적인 컴퓨터 판독가능한 기억매체가 제공된다.
본 발명의 또 다른 특징은 (첨부도면을 참조하여 주어지는) 이하의 실시형태의 상세한 설명으로부터 명백해질 것이다.
도 1은, 시스템의 구성예를 도시한 블록도이다.
도 2a 및 도 2b는, 촬상장치(110) 및 클라이언트 장치(120)의 하드웨어 구성 예를 나타낸 블록도이다.
도 3a 및 도 3b는, 촬상장치(110) 및 클라이언트 장치(120)의 기능 구성 예를 나타낸 블록도이다.
도 4는, 클라이언트 장치(120)가 행하는 처리의 흐름도이다.
도 5a 및 도 5b는, 촬상 화상의 일례를 도시한 도면이다.
도 6a 및 도 6b는, 촬상 화상의 일례를 도시한 도면이다.
도 7은, 클라이언트 장치(120)가 행하는 처리의 흐름도이다.
도 8은, 촬상 화상의 일례를 도시한 도면이다.
도 9는, 촬상 화상의 일례를 도시한 도면이다.
도 10은, 촬상 화상의 일례를 도시한 도면이다.
도 11은, 촬상 화상의 일례를 도시한 도면이다.
이하, 첨부도면을 참조하여, 본 발명의 실시형태에 대해 설명한다. 이때, 이하에서 설명하는 실시형태는, 본 발명을 구체적으로 실시한 경우의 일례를 나타낸 것으로, 청구범위에 기재한 구성의 구체적인 실시예의 한 개이다.
[제1 실시형태]
실시형태 1에서는, 화상으로부터 검출한 동체의 영역이 상기 화상 내의 고정 영역과 겹칠 경우에, 상기 동체의 영역에 묘화할 제1 마스크 화상을, 상기 고정 영역에 묘화할 제2 마스크 화상 위에 중첩할 것인지 아닌지를, 상기 동체의 영역의 화상 특징량에 근거해서 판단한다. 본 실시형태는, 이 판단 결과에 따라 제1 마스크 화상의 묘화를 제어한다.
우선, 본 실시형태에 따른 시스템의 구성 예에 대해서, 도 1을 참조하여 설명한다. 도 1에 나타낸 것과 같이, 본 실시형태에 따른 시스템은, 촬상장치(110), 클라이언트 장치(120), 입력장치(130), 표시장치(140)를 가진다.
우선, 촬상장치(110)에 대해 설명한다. 촬상장치(110)는 네트워크 카메라 등의 촬상장치이다. 이 장치는, 클라이언트 장치(120)에 의해 설정된 자세 및 화각 등의 촬상 파라미터에 따라, 실공간의 동화상 혹은 정지화상을 촬상한다. 촬상장치(110)에 의해 촬상된 동화상 혹은 정지화상은, 네트워크(150)를 거쳐 클라이언트 장치(120)에 대하여 송신된다.
다음에, 네트워크(150)에 대해 설명한다. 네트워크(150)는, Ethernet(등록상표) 등의 통신 규격을 만족하는 복수의 라우터, 스위치, 케이블 등으로 구성된다. 본실시형태에서는, 네트워크(150)의 통신 규격, 규모, 구성은, 촬상장치(110)와 클라이언트 장치(120) 사이의 통신을 행할 수 있는 것이면 특별히 한정되지 않는다. 예를 들면, 네트워크(150)는, 인터넷, 유선 LAN(Local Area Network), 무선 LAN, WAN(Wide Area Network) 등에 의해 구성되어도 된다.
다음에, 클라이언트 장치(120)에 대해 설명한다. 클라이언트 장치(120)는, 퍼스널컴퓨터, 서버장치, 태블릿 장치 등의 화상 처리장치로서 기능하는 장치다. 클라이언트 장치(120)는, 촬상장치(110)로부터 네트워크(150)를 거쳐 동화상 혹은 정지화상을 촬상 화상으로서 수신한다. 촬상장치(110)가 동화상이 송신하는 경우에는, 클라이언트 장치(120)는, 동화상을 구성하는 각 프레임의 화상을 촬상 화상으로서 수신한다. 한편, 촬상장치(110)가 정지화상을 송신하는 경우에는, 클라이언트 장치(120)는 정지화상을 촬상 화상으로서 수신한다.
클라이언트 장치(120)는, 수신한 촬상 화상으로부터 동체 검출을 행하여, 동체의 영역(동체 영역)의 화상 특징량을 추출한다. 클라이언트 장치(120)는, 상기 동체 영역이 상기 촬상 화상 내의 고정 영역과 겹칠 경우에, 상기 동체 영역에 묘화할 제1 마스크 화상을, 상기 고정 영역에 묘화할 제2 마스크 화상 위에 중첩할 것인지 아닌지를, 상기 화상 특징량에 근거해서 판단한다. 클라이언트 장치(120)는, 상기 촬상 화상 위의 동체 영역에 제1 마스크 화상을 묘화하고, 고정 영역에는 제2 마스크 화상을 묘화한다. 클라이언트 장치(120)는, 그 묘화처리를 상기 판단의 결과에 따라 제어하고, 상기 제어후의 촬상 화상을 표시장치(140)에 표시한다.
다음에, 입력장치(130)에 대해 설명한다. 입력장치(130)는, 키보드, 마우스, 터치패널 등의 유저 인터페이스를 구비한다. 유저가 입력장치(130)를 조작함으로써 각종의 지시를 클라이언트 장치(120)에 대하여 입력할 수 있다.
다음에, 표시장치(140)에 대해 설명한다. 표시장치(140)는, CRT, 액정 디스플레이 등에 의해 구성된다. 표시장치(140)는, 클라이언트 장치(120)에 의해 얻어진 처리 결과를 화상, 문자 등으로 표시할 수 있다. 도 1에서는, 클라이언트 장치(120), 입력장치(130), 표시장치(140)가 별개의 장치인 것을 나타내고 있다. 그러나, 이들 장치의 구성은 이것에 한정되지 않는다. 예를 들면, 이들 장치를 1개의 장치로 일체화되어도 된다. 이와 달리, 클라이언트 장치(120)와 표시장치(140)를 일체화시켜도 되고, 또는 입력장치(130)와 표시장치(140)를 일체화시켜도 된다. 이와 달리, 클라이언트 장치(120)와 촬상장치(110)를 일체화시켜도 된다.
다음에, 촬상장치(110)의 하드웨어 구성 예에 대해서, 도 2a의 블럭도를 참조하여 설명한다. 이때, 도 2a에 나타낸 구성은, 촬상장치(110)에 적용가능한 구성의 일례에 지나지 않고, 적절히 변형 및 변경이 가능하다.
CPU(211)은, 주 기억장치(212)에 격납되어 있는 컴퓨터 프로그램과 데이터를 사용해서 처리를 실행한다. 이 처리에 따라, CPU(211)은, 촬상장치(110) 전체의 동작 제어를 행하는 동시에, 촬상장치(110)가 행하는 처리로서 후술하는 각 처리를 실행 혹은 제어한다. 예를 들면, CPU(211)은, 주 기억장치(212)에 격납되어 있는 컴퓨터 프로그램 및 데이터를 사용해서 처리를 실행함으로써, 도 3a에 나타낸 각 기능부, 즉 촬상 제어부(311), 신호 처리부(312), 구동 제어부(313), 통신 제어부(314)의 기능을 실현한다. 이들의 각 기능부에 대해서는 후술한다.
주 기억장치(212)는, RAM(Random Access Memory) 등의 기억장치다. 주 기억장치(212)는, 보조 기억장치(213)로부터 로드된 컴퓨터 프로그램 및 데이터, 촬상부(215)에 의해 얻어진 촬상 화상, 네트워크 I/F(216)를 거쳐 클라이언트 장치(120)로부터 수신한 각종의 데이터를 격납하기 위한 에어리어를 가진다. 주 기억장치(212)는, CPU(211)가 각종의 처리를 실행할 때에 사용하는 워크 에어리어를 더 가진다. 이렇게 주 기억장치(212)는, 각종의 에어리어를 적절히 제공할 수 있다.
보조 기억장치(213)는, HDD(Hard Disk Drive)), ROM(Read Only Memory), SSD(Solid State Drive) 등의 대용량 정보 기억장치다. 보조 기억장치(213)에는, OS(오퍼레이팅 시스템)과, 촬상장치(110)가 행하는 처리로서 후술하는 각 처리를 CPU(211)에게 실행시키기 위한 컴퓨터 프로그램 및 데이터가 보존되어 있다. 보조 기억장치(213)에는, 네트워크 I/F(216)를 거쳐 클라이언트 장치(120)로부터 수신한 데이터(예를 들면, 상기한 촬상 파라미터)가 더 보존된다. 보조 기억장치(213)에 보존되어 있는 컴퓨터 프로그램과 데이터는, CPU(211)에 의한 제어에 따라서 적절히 주 기억장치(212)에 로드되어, CPU(211)에 의해 처리된다.
구동부(214)는, 클라이언트 장치(120)로부터 수신한 촬상 파라미터에 근거하여 촬상부(215)를 구동하여, 촬상부(215)의 자세(촬상 방향), 화각 등을 제어한다. 구동부(214)에 의한 제어 대상은 특정한 대상에 한정되지 않는다. 이와 같은 제어 대상은, 촬상부(215)의 자세 및 화각이거나, 이들 중에서 어느 한쪽이거나, 그 밖의 대상(예를 들면, 촬상부(215)의 위치)이어도 된다. 또한, 촬상부(215)의 위치, 자세, 화각 등은 고정될 필요는 없다. 그 경우는, 구동부(214)는 설치하지 않아도 된다.
촬상부(215)는, 촬상 소자와 광학계를 가지고, 광학계의 광축과 촬상 소자의 교점을 촬상 중심으로 해서 피사체의 상을 촬상 소자 위에 결상한다. 이와 같은 촬상 소자로는, CMOS(Complementary Metal-Oxide Semiconductor) 및 CCD(Charged Coupled Device)를 들 수 있다. 네트워크 I/F(216)는, 촬상장치(110)가 네트워크(150)를 거쳐 클라이언트 장치(120)와의 사이의 데이터 통신을 행하기 위해서 이용하는 인터페이스다.
다음에, 클라이언트 장치(120)의 하드웨어 구성 예에 대해서, 도 2b의 블럭도를 참조하여 설명한다. 이때, 도 2b에 나타낸 구성은, 클라이언트 장치(120)에 적용가능한 구성의 일례에 지나지 않고, 적절히 변형 및 변경이 가능하다.
CPU(221)은, 주 기억장치(222)에 격납되어 있는 컴퓨터 프로그램 및 데이터를 사용해서 처리를 실행함으로써, 클라이언트 장치(120) 전체의 동작 제어를 행하는 동시에, 클라이언트 장치(120)가 행하는 처리로서 후술하는 각 처리를 실행 혹은 제어한다. 예를 들면, CPU(221)은, 주 기억장치(222)에 격납되어 있는 컴퓨터 프로그램 및 데이터를 사용해서 처리를 실행함으로써, 도 3b의 각 기능부의 기능을 실현한다. 도 3b의 각 기능부에 대해서는 후술한다.
주 기억장치(222)는, RAM(Random Access Memory) 등의 기억장치다. 주 기억장치(222)는, 보조 기억장치(223)로부터 로드된 컴퓨터 프로그램 및 데이터, 네트워크 I/F(226)를 거쳐 촬상장치(110)로부터 수신한 각종의 데이터(예를 들면, 촬상 화상)를 격납하기 위한 에어리어를 가진다. 주 기억장치(222)는, CPU(221)이 각종의 처리를 실행할 때에 사용하는 워크 에어리어를 더 가진다. 이렇게 주 기억장치(222)는, 각종의 에어리어를 적절히 제공할 수 있다.
보조 기억장치(223)는, HDD(Hard Disk Drive)), ROM(Read Only Memory), SSD(Solid State Drive) 등의 대용량 정보 기억장치다. 보조 기억장치(223)에는, OS(오퍼레이팅 시스템)과, 클라이언트 장치(120)가 행하는 처리로서 후술하는 각 처리를 CPU(221)에게 실행시키기 위한 컴퓨터 프로그램 및 데이터가 보존되어 있다. 보조 기억장치(223)에는, 네트워크 I/F(226)를 거쳐 촬상장치(110)로부터 수신한 각종의 데이터(예를 들면, 촬상 화상)가 더 보존된다. 보조 기억장치(223)에 보존되어 있는 컴퓨터 프로그램 및 데이터는, CPU(221)에 의한 제어에 따라서 적절히 주 기억장치(222)에 로드되어, CPU(221)에 의해 처리된다.
입력 I/F(224)는, 입력장치(130)를 클라이언트 장치(120)에 접속하기 위한 인터페이스다. 출력 I/F(225)는, 표시장치(140)를 클라이언트 장치(120)에 접속하기 위한 인터페이스다. 네트워크 I/F(226)는, 클라이언트 장치(120)가 네트워크(150)를 거쳐 촬상장치(110)와의 사이의 데이터 통신을 행하기 위해서 이용하는 인터페이스다.
다음에, 촬상장치(110)의 기능 구성 예에 대해서 도 3a의 블럭도를 참조하여 설명한다. 도 3a에 나타낸 각 기능부는 하드웨어 또는 소프트웨어(컴퓨터 프로그램)로 구현해도 된다. 후자의 경우, 이 컴퓨터 프로그램은 보조 기억장치(213)에 보존된다. CPU(211)은 주어진 컴퓨터 프로그램을 필요에 따라 주 기억장치(212)에 로드해서 실행함으로써 대응하는 기능부의 기능을 실현한다.
촬상 제어부(311)는, 촬상부(215)의 촬상동작을 제어하여, 상기 촬상부(215)에 의해 촬상된 동화상 혹은 정지화상을 촬상 화상으로서 취득한다.
신호 처리부(312)는, 촬상 제어부(311)가 취득한 동화상 혹은 정지화상에 대하여 부호화 처리를 행한다. 촬상 제어부(311)가 정지화상을 취득했을 경우에는, 신호 처리부(312)는 상기 정지화상에 대하여, JPEG(Joint Photographic Experts Group) 등의 부호화 방식을 사용해서 부호화를 행한다. 한편, 촬상 제어부(311)가 동화상을 취득했을 경우에는, 신호 처리부(312)는 상기 동화상에 대하여, H.264/MPEG-4 AVC(이하에서는, H.264로 칭한다), HEVC(High Efficiency Video Coding) 등의 부호화 방식을 사용해서 부호화를 행한다. 이와 달리, 신호 처리부(312)는, 미리 설정된 복수의 부호화 방식 중에서, 예를 들면, 촬상장치(110)의 조작부(미도시)를 거쳐 유저에 의해 선택된 부호화 방식을 사용해서 동화상이나 정지화상에 대하여 부호화를 행하여도 된다.
구동 제어부(313)는, 클라이언트 장치(120)로부터 수신한 촬상 파라미터에 근거하여 촬상부(215)를 구동하여, 촬상부(215)의 자세(촬상 방향), 화각 등을 제어한다. 상기한 바와 같이, 촬상부(215)의 자세(촬상 방향), 화각 등은 고정이어도 된다.
통신 제어부(314)는, 신호 처리부(312)에 의해 처리된 동화상 혹은 정지화상(부호화 완료)을, 네트워크 I/F(216)를 거쳐 클라이언트 장치(120)에 대하여 송신한다. 통신 제어부(314)는, 네트워크 I/F(216)를 거쳐, 클라이언트 장치(120)로부터 송신된 촬상장치(110)에 대한 제어 명령(촬상 파라미터를 포함한다) 등을 더 수신한다.
다음에, 클라이언트 장치(120)의 기능 구성 예에 대해서 도 3b의 블럭도를 참조하여 설명한다. 도 3b에 나타낸 각 기능부는 하드웨어 또는 소프트웨어(컴퓨터 프로그램)로서 구현해도 된다. 후자의 경우, 이 컴퓨터 프로그램은 보조 기억장치(223)에 보존된다. CPU(221)은 주어진 컴퓨터 프로그램을 필요에 따라 주 기억장치(222)에 로드해서 실행함으로써 대응하는 기능부의 기능을 실현한다.
취득부(321)는, 유저가 입력장치(130)를 조작함으로써 입력한 각종의 지시를 취득한다. 통신 제어부(322)는, 촬상장치(110)로부터 송신된 동화상 또는 정지화상(부호화 완료)을 네트워크 I/F(226)를 거쳐 취득한다. 통신 제어부(322)는, 촬상장치(110)에의 제어 명령을, 네트워크 I/F(226)를 거쳐 촬상장치(110)에 대하여 송신한다.
화상 취득부(323)는, 통신 제어부(322)가 촬상장치(110)로부터 수신한 동화상 혹은 정지화상을 취득해서 화상을 복호한다. 이때, 촬상장치(110)가 동화상/정지화상을 항상 부호화할 필요는 없으며, 부호화하지 않고 동화상 혹은 정지화상을 클라이언트 장치(120)에 대하여 송신해도 된다. 이 경우, 화상 취득부(323)는 통신 제어부(322)가 촬상장치(110)로부터 수신한 동화상 혹은 정지화상을 복호하지 않고 취득한다.
검출부(324)는, 화상 취득부(323)가 취득한 동화상 혹은 정지화상으로부터 동체의 검출을 행한다. 평가부(325)는, 촬상 화상으로부터 검출한 동체의 영역이 촬상 화상 내의 고정 영역과 겹칠 경우에, 동체의 영역에 묘화할 제1 마스크 화상을, 상기 고정 영역에 묘화할 제2 마스크 화상 위에 중첩할 것인지 아닌지를, 동체의 영역의 화상 특징량에 근거해서 판단한다.
여기에서, 이 고정 영역이 미리 설정되어 있는 것으로 가정한다. 예를 들면, 유저가 입력장치(130)를 조작해서 촬상 화상 위에 있어서의 고정 영역을 규정하는 정보(고정 영역 정보)를 입력해서, 이 정보를 보조 기억장치(223)에 보존하고 있어도 된다. 고정 영역 정보로서 다양한 정보를 생각할 수 있으며, 고정 영역의 좌측 상측 모퉁이 및 우측 하측 모퉁이의 위치를 고정 영역 정보로 설정하거나, 고정 영역의 좌측 상측 모퉁이의 위치와 고정 영역의 세로 및 가로의 사이즈를 고정 영역 정보로 설정해도 된다. 이 시스템을 적용하는 현장에 있어서, 촬상 화상에 있어서 숨기고 싶은 물체가 미리 결정되어 있는 것으로 가정한다. 이 경우, 시스템을 가동시켜서 촬상 화상을 취득하고, 상기 촬상 화상에 있어서 숨기고 싶은 물체의 검출 처리를 행하고, 상기 검출한 물체가 숨겨지는 영역을 고정 영역으로서 구해도 된다. 이렇게, 고정 영역의 설정 방법은 특정한 설정 방법에 한정되지 않는다.
묘화부(326)는, 촬상 화상 위의 동체의 영역에 제1 마스크 화상을 묘화하고, 상기 촬상 화상 위의 고정 영역에는 제2 마스크 화상을 묘화한다. 이 묘화처리는, 평가부(325)에 의해 얻어진 판단 결과에 따라 제어한다. 표시 제어부(327)는, 묘화부(326)에 의한 묘화처리된 촬상 화상을 표시장치(140)에게 표시시킨다.
다음에, 클라이언트 장치(120)가, 촬상장치(110)에 의해 얻어진 촬상 화상 위의 고정 영역 및 동체 영역에 마스크 화상을 묘화해서 표시장치(140)에게 결과적으로 얻어진 화상 표시시키기 위해서 행하는 처리에 대해서, 이 처리의 흐름도를 도시한 도 4를 참조하여 설명한다. 이때, 도 4의 흐름도에 따른 처리는, 촬상장치(110)에 의해 얻어진 1매의 촬상 화상에 관한 처리다. 촬상장치(110)가 동화상을 구성하는 각 프레임의 화상(촬상 화상)을 클라이언트 장치(120)에 대하여 송신할 경우, 클라이언트 장치(120)는, 각각의 프레임의 화상(촬상 화상)에 대해서 도 4의 흐름도에 근거하여 처리를 행한다. 이하에서는 설명을 간단하게 하기 위해서, 촬상장치(110)가 동화상 혹은 정지화상을 부호화하지 않고 송신한 것으로 가정한다.
스텝 S400에서는, CPU(221)은, 네트워크 I/F(226)를 거쳐 촬상장치(110)로부터 수신한 촬상 화상(동화상을 구성하는 각 프레임의 화상 혹은 정지화상)을 주 기억장치(222)에 기억한다.
스텝 S401에서는, CPU(221)은, 스텝 S400에서 주 기억장치(222)에서 취득한 촬상 화상으로부터 동체를 검출하고, 검출한 동체의 영역을 동체 영역으로서 추출한다. 스텝 S400에서 취득한 촬상 화상의 일례를 도 5a 및 도 5b에 나타낸다. 도 5a의 촬상 화상(500)은, 동체인 작업원(501, 502, 503)이 포함되어 있는 촬상 화상의 일례다. 도 5b의 촬상 화상(510)은, 동체를 포함하지 않는 촬상 화상의 일례다. 스텝 S400에 있어서 도 5a의 촬상 화상(500)을 취득했을 경우, 스텝 S401에서는 CPU(221)은 촬상 화상(500)으로부터 작업원(501, 502, 503)을 검출하게 된다.
본 실시형태에서는 촬상 화상으로부터 동체를 검출하기 위해서 배경 차분을 사용한다. 즉, 본 실시형태는, 미리 취득해 둔 배경 화상과, 스텝 S400에서 주 기억장치(222)에서 취득하고 기억된 촬상 화상에서 대응하는 위치에 있는 화소들 사이의 휘도값의 차분을 계산하고, 차분이 임계값을 넘은 화소로 이루어진 영역을 동체 영역으로 판단한다. 그러나, 촬상 화상으로부터 동체를 검출하기 위한 방법은 배경 차분에 한정되지 않고, 다른 주지의 방법을 사용해도 된다. 예를 들면, 본 실시형태에서는 휘도값을 사용했지만, RGB 값을 3차원의 좌표로서 취급하고, 차분으로서 배경 화상의 RGB값과 촬상 화상의 RGB값의 거리를 측정해도 된다. 또한, 배경 차분 대신에, 예를 들면, 옵티컬 플로우와 같이 화상 내의 각 좌표의 이동 방향을 계산해서 동체를 검출할 수 있다.
스텝 S402에서, CPU(221)은, 동체 영역이 고정 영역과 겹칠 경우, 상기 동체 영역에 묘화할 제1 마스크 화상(동체 마스크)을, 상기 고정 영역에 묘화할 제2 마스크 화상(고정 마스크) 위에 중첩할 것인지 아닌지를 판단하는 판단 처리를 행한다. 본실시형태에서는, 동체 영역은 항상 고정 영역과 겹친다. 이 경우, 스텝 S402에서는, CPU(221)는 제2 마스크 화상 위에 제1 마스크 화상을 중첩할 것인지 아닌지를 판단하게 된다.
본 실시형태에서는, CPU(221)는, 이 판단 처리에 동체 영역의 화상 특징량을 사용한다. 상기 화상 특징량이 소정의 조건을 만족하고 있을 경우에는, CPU(221)는, 제2 마스크 화상 위에 제1 마스크 화상을 중첩하는 것으로 판단한다. 한편, 동체 영역의 화상 특징량이 소정의 조건을 만족하지 않고 있을 경우에는, CPU(221)는, 제2 마스크 화상 위에 제1 마스크 화상을 중첩하지 않는 것으로 판단한다. 이때, 스텝 S402에 있어서의 판단의 기준으로서 사용하는 값은 동체 영역의 화상 특징량에 한정되지 않는다.
이 경우, 동체 영역의 화상 특징량으로서 다양한 특징량 중에서 한개를 사용할 수 있다. 예를 들면, 동체 영역의 화상 특징량으로서, 상기 동체 영역의 면적(동체 영역을 구성하는 화소의 수), 동체 영역을 둘러싸는 사각형 영역의 면적, 상기 사각형 영역의 세로 길이 및/또는 가로 길이 등을 적용할 수 있다. 동체 영역/사각형 영역의 사이즈가 소정의 사이즈 이상(예를 들어, 면적이 소정 면적 이상이거나, 세로 길이 및/또는 가로 길이가 소정 길이 이상)이면, CPU(221)는, 화상 특징량이 소정의 조건을 만족하고 있는 판단하여, 제2 마스크 화상 위에 제1 마스크 화상을 중첩하는 것으로 판단한다. 한편, 동체 영역/사각형 영역의 사이즈가 소정의 사이즈 미만(예를 들어, 면적이 소정 면적 미만이거나, 세로 길이 및/또는 가로 길이가 소정 길이 미만)이면, CPU(221)는, 화상 특징량이 소정의 조건을 만족하지 않고 있는 것으로 판단하여, 제2 마스크 화상 제1 마스크 화상을 중첩하지 않는 것으로 판단한다.
이러한 판단 처리에 따르면, 예를 들면, 촬상 화상에 노이즈 등의 미소한 동체만 존재할 때, 상기 미소한 물체를 제1 마스크 화상을 묘화해야 할 동체로서 검출하는 것을 방지하는 것이 가능하게 된다. 그렇지만, 이것에 한정되지 않는다. 예를 들면, 미소한 동체 만을 제1 마스크 화상의 묘화 대상으로 설정해도 된다.
스텝 S402에 있어서의 판단의 결과, 동체 영역의 화상 특징량이 소정의 조건을 만족하고 있을 경우에는, CPU(221)는, 제1 마스크 화상을 제2 마스크 화상 위에 중첩하는 것으로 판단한다. 그후, 처리는 스텝 S403으로 진행한다. 한편, 동체 영역의 화상 특징량이 소정의 조건을 만족하지 않고 있을 경우에는, CPU(221)는, 제1 마스크 화상을 제2 마스크 화상 위에 중첩하지 않는 것으로 판단한다. 그후, 처리는 스텝 S405로 진행한다.
스텝 S403에서는, CPU(221)은, 스텝 S400에서 취득한 촬상 화상에 있어서의 고정 영역에 제2 마스크 화상을 묘화한다. 스텝 S404에서는, CPU(221)은, 스텝 S400에서 취득한 촬상 화상에 있어서의 동체 영역에 제1 마스크 화상을 묘화한다.
스텝 S405에서는, CPU(221)은, 스텝 S400에서 취득한 촬상 화상에 있어서의 동체 영역에 제1 마스크 화상을 묘화한다. 스텝 S406에서는, CPU(221)은, 스텝 S400에서 취득한 촬상 화상에 있어서의 고정 영역에 제2 마스크 화상을 묘화한다.
스텝 S407에서는, CPU(221)은, 스텝 S403 및 스텝 S404, 혹은 스텝 S405 및 스텝 S406에 의한 묘화처리에 의해서 얻어진 촬상 화상을, 출력 I/F(225)를 거쳐 표시장치(140)에 대하여 출력한다. 이때, 스텝 S403 및 S404에 의한 묘화처리, 혹은 스텝 S405 및 S406에 의한 묘화처리에 의해서 얻어진 촬상 화상의 출력처는 특정한 출력처에 한정되지 않는다. 예를 들면, CPU(221)은, 네트워크 I/F(226)를 거쳐 외부의 장치에 촬상 화상을 송신해도 된다.
이때, 스텝 S401에 있어서의 동체 검출의 결과, 촬상 화상으로부터 동체를 검출할 수 없었을 경우에는, 동체 영역은 존재하지 않기 때문에, CPU(221)은, 촬상 화상에는 제1 마스크 화상을 묘화하지 않고, 제2 마스크 화상을 묘화한다.
이때, 상기한 설명에서는 제1 마스크 화상 및 제2 마스크 화상에 대해서는 언급하지 않았지만, 제1 마스크 화상은, 동체 영역의 형상을 가지는 화상이거나, 동체를 둘러싸는 사각형 영역의 형상을 가지는 화상이어도 된다. 제2 마스크 화상은, 고정 영역을 둘러싸는 형상을 가지는 화상이다. 그러나, 이들 마스크 화상에 적용가능한 화상은 특정한 화상에 한정되지 않는다. 예를 들면, 소정의 패턴으로 채워진 화상, 예를 들면, 도트나 보더 패턴, 또는 한가지 색으로 채워진 화상을 제1 및 제2 마스크 화상으로서 사용해도 된다. 이와 달리, 예를 들면, 특정의 타이밍에서 취득된 촬상 화상, 또는 미리 보조 기억장치(223)에 등록되어 있는 화상을 제1 및 제2의 마스크 화상으로서 사용해도 된다. 이와 달리, 촬상 화상과 제1 및 제2의 마스크 화상을 알파 브랜드하여 촬상 화상에 제1 및 2 마스크 화상을 묘화해도 된다. 또한, 제1 마스크 화상과 제2 마스크 화상은 같은 마스크 화상이 아니어도 되고, 같은 묘화방법에 의해 묘화되지 않아도 된다.
스텝 S400에서 취득한 촬상 화상으로부터 복수의 동체 영역을 추출시에, CPU(221)은, 각각의 동체 영역에 대해서 스텝 S402 내지 S406의 처리를 행한다.
도 6a는 스텝 S400에 있어서 취득한 촬상 화상이 도 5a의 촬상 화상(500)인 경우에, 스텝 S407에 있어서 표시장치(140)에 출력되어 표시되는 촬상 화상의 일례를 나타낸다. 작업원(501, 502, 503)의 각각의 화상 특징량은 소정의 조건을 만족하므로, CPU(221)는 우선 촬상 화상(500)의 고정 영역에 제2 마스크 화상(604)을 묘화하고, 그후, 작업원(501, 502, 503)의 각각의 영역에 제1 마스크 화상(601, 602, 603)을 묘화한다. 이러한 처리에 의해 얻어지는 화상이 촬상 화상(600)이다.
도 6b는 스텝 S400에 있어서 취득한 촬상 화상이 도 5b의 촬상 화상(510)인 경우에, 스텝 S407에 있어서 표시장치(140)에 출력되어 표시되는 촬상 화상의 일례를 나타낸다. 촬상 화상(510)에는 동체가 존재하지 않으므로, CPU(221)는 제1 마스크 화상을 묘화하지 않고 촬상 화상(500)의 고정 영역에 제2 마스크 화상(604)을 묘화한다. 이러한 처리에 의해 얻어지는 화상이 촬상 화상(610)이다.
[제2 실시형태]
제2 실시형태를 포함하여, 이하의 각 실시형태와 제1 실시형태와의 차분에 대해 설명하고, 이하에서 특별히 언급하지 않는 한 이들 사이의 나머지 부분은 같은 것으로 간주한다. 제2 실시형태에서는, 먼저 고정 영역에 제2 마스크 화상을 묘화하고, 그후, 촬상 화상에 포함되어 있는 어떤 동체에 대해서 제1 마스크 화상을 묘화할 것인지를 결정한다. 제1 마스크 화상을 묘화하는 것으로 결정한 동체에 대해서 제1 마스크 화상을 묘화한다.
클라이언트 장치(120)가, 촬상장치(110)에 의해 얻어진 촬상 화상 위의 고정 영역 및 동체 영역에 마스크 화상을 묘화해서 표시장치(140)에 결과적으로 얻은 화상을 표시시키기 위해서 행하는 처리에 대해서, 이 처리의 흐름도를 도시한 도 7을 참조하여 설명한다. 이때, 도 7의 흐름도에 따른 처리는, 촬상장치(110)에 의해 얻어진 1매의 촬상 화상에 관한 처리다. 촬상장치(110)가 동화상을 구성하는 각 프레임의 화상(촬상 화상)을 클라이언트 장치(120)에 대하여 송신할 경우, 클라이언트 장치(120)는, 각각의 프레임의 화상(촬상 화상)에 대해서 도 7의 흐름도에 따른 처리를 행한다.
스텝 S700에서는, CPU(221)은, 네트워크 I/F(226)를 거쳐 촬상장치(110)로부터 수신한 촬상 화상(동화상을 구성하는 각 프레임의 화상 혹은 정지화상)을 주 기억장치(222)에 기억한다. 도 8은 스텝 S700에서 취득한 촬상 화상의 일례를 나타낸다. 도 8의 촬상 화상(800)에는, 동체인 작업원(801, 802, 803, 804)과, 동체인 대상물(805)이 포함되어 있다. 대상물(805)은, 작업자의 작업에 의해 발생한 동체이며, 예를 들면, 화이트 보드 위에 그려진 도형 패턴이나 문자 세트이다. 스텝 S700에서는 CPU(221)은, 이하에서 사용하는 변수 i를 1로 초기화한다.
도 7로 되돌아가, 스텝 S701에서는, CPU(221)은, 스텝 S700에서 취득한 촬상 화상으로부터, 상기한 스텝 S401과 같은 방법으로 동체를 검출하고, 상기 검출한 동체의 영역을 동체 영역으로서 추출한다. 이때, CPU(221)은, 추출한 각각의 동체 영역에 대하여 고유의 식별 번호를 할당한다. 본실시형태에서는, 촬상 화상으로부터 N(N은 2 이상의 정수)개의 동체 영역을 추출하고, 추출한 각각의 동체 영역에 고유의 인덱스(1 내지 N)가 할당된다. 이하에서는, 인덱스=j(1≤j≤N)가 할당된 동체 영역을 동체 영역 j로 부르는 경우가 있다.
스텝 S702에서는, CPU(221)은, 스텝 S700에서 취득한 촬상 화상에 있어서의 고정 영역에 제2 마스크 화상을 묘화한다. 스텝 S703에서, CPU(221)은, 인덱스=1 내지 N의 각각에 대응하는 동체 영역을 규정하는 정보(예를 들면, 각각의 동체 영역을 구성하는 화소군의 위치 정보)와, 상기 동체 영역의 화상 특징량을 등록한 리스트를 주 기억장치(222)에 작성한다.
스텝 S704에서는, CPU(221)은, 스텝 S703에 있어서 주 기억장치(222)에 작성한 리스트에 있어서 인덱스=I에 대응하는 동체 영역을 규정하는 정보를 판독한다.
스텝 S705에 있어서, CPU(221)은 우선, 스텝 S704에서 판독한 정보가 규정하는 동체 영역의 일부 혹은 전부가 고정 영역과 겹쳐 있는지 아닌지를 판단한다. 이 판단의 결과, 동체 영역의 일부 혹은 전부가 고정 영역과 겹치지 않고 있으면, 처리는 스텝 S707로 진행한다. 한편, 동체 영역의 일부 혹은 전부가 고정 영역과 겹쳐 있을 경우에는, CPU(221)은, 인덱스=I에 대응하는 동체 영역의 화상 특징량이 소정의 조건을 만족하지 아닌지를 판단한다. "화상 특징량이 소정의 조건을 만족시킬 경우" 또는 "화상 특징량이 소정의 조건을 만족하지 않을 경우"에 대해서는 제1 실시형태에서 설명한 것과 동일한 처리가 행해진다.
스텝 S705에서 얻어진 판단의 결과가, 인덱스=i에 대응하는 동체 영역의 화상 특징량이 소정의 조건을 충족시키는 것으로 나타내는 경우에는, CPU(221)는 인덱스=i에 대응하는 동체 영역에 제1 마스크 화상을 묘화하는 것으로 판단한다. 그후, 처리는 스텝 S706으로 진행한다. 인덱스=i에 대응하는 동체 영역의 화상 특징량이 소정의 조건을 만족하지 않고 있을 경우에, CPU(221)는 인덱스=i에 대응하는 동체 영역에 제1 마스크 화상을 묘화하지 않는 것으로 판단한다. 그후, 처리는 스텝 S707로 진행한다. 스텝 S706에서는, CPU(221)은, 스텝 S704에서 판독한 정보가 규정하는 동체 영역에 제1 마스크 화상을 묘화한다.
스텝 S707에서는, CPU(221)은, 변수 i의 값=N인지 아닌지를 판단한다. 이 판단의 결과가, 변수 i의 값=N을 나타내면, CPU(221)는 리스트에 등록되어 있는 모든 동체 영역에 대해서 스텝 S705 및 S706의 처리를 행했다고 판단한다. 그후, 처리는 스텝 S709로 진행한다. 변수 i의 값<N이면, CPU(221)는 리스트에 등록되어 있는 동체 영역의 일부가 스텝 S705 및 S706의 처리를 겪지 않았다고 판단한다. 그후, 처리는 스텝 S708로 진행한다.
스텝 S708에서는, CPU(221)은, 변수 i의 값을 1만큼 증분하고, 리스트에 등록되어 있는 다음의 동체 영역에 대해서 스텝 S705 이후의 처리를 행한다. 그리고, 처리는 스텝 S705로 되돌아간다. 스텝 S709에서는, CPU(221)은, 스텝 S708까지의 처리에 의해 얻어진 촬상 화상을, 출력 I/F(225)를 거쳐 표시장치(140)에 대하여 출력한다.
도 9는 스텝 S700에 있어서 취득한 촬상 화상이 도 8의 촬상 화상(800)인 경우에, 스텝 S709에 있어서 표시장치(140)에 출력되어 표시되는 촬상 화상의 일례를 나타낸다. 우선, CPU(221)는 촬상 화상(800)의 고정 영역에 제2 마스크 화상(905)을 묘화한다. 작업원(801, 802, 803, 804)의 각각의 화상 특징량이 소정의 조건을 만족하므로, CPU(221)는 작업원(801, 802, 803, 804)의 각각의 영역에 제1 마스크 화상(901, 902, 903, 904)을 묘화한다. 대상물(805)의 화상 특징량은 소정의 조건을 만족하지 않으므로, CPU(221)는 상기 대상물(805)에는 제1 마스크 화상을 묘화하지 않았다. 이것은, CPU(2211)가, 대상물(805)이 화이트 보드 위의 문자 세트나 도형 패턴이고 사이즈가 작기 때문에, 대상물(805)의 화상 특징량(여기에서는 사이즈)이 소정의 조건을 만족하지 않는다고 판단하기 때문이다. 이러한 처리에 의해 얻어지는 화상이 촬상 화상(900)이다.
[제3 실시형태]
제3 실시형태는 도 7의 흐름도에 있어서, 스텝 S705에서 사용하는 동체 영역의 화상 특징량으로서 동체 영역에 둘러싸인 동체의 각 부위의 굵기를 사용하고, 스텝 S706에서는 굵은 부위에 대해서 제1 마스크 화상을 묘화하는 점이 제2 실시형태와 다르다. 이하에서는 제2 실시형태와 제3 실시형태와의 차이에 대해서 중점적으로 설명한다.
스텝 S705에 있어서, CPU(221)은, 동체 영역의 일부 혹은 전부가 고정 영역과 겹치고 있을 경우에는, 상기 동체 영역에 둘러싸인 동체의 각 부위가, 화상 특징량인 소정의 굵기 이상의 굵기를 갖는지 아닌지를 판단한다. 동체를 구성하는 부위는, 동체가 사람일 경우에는, 머리, 몸체, 팔, 손, 발에 대응한다. 화상 내의 영역으로부터 각각의 부위를 인식하기 위한 기술에 대해서는, 화상 인식 처리 등의 주지의 기술이 있다. 또한, 부위의 굵기를 구하기 위한 다양한 방법이 있고, 사용되는 방법은 특정한 방법에 한정되지 않는다. 예를 들면, 부위의 위치(부위의 중심 위치, 부위를 둘러싸는 사각형 영역의 네 귀퉁이의 위치들 중에서 어느 한개 등)를 중심으로 한 소영역을 설정하고, 상기 소영역에 대한 상기 부위의 비율을 상기 부위의 굵기로서 구한다. 동체 영역에 들러싸인 동체의 각 부위가 굵기가 소정의 굵기 이상인 적어도 한 개의 부위를 포함한다는 조건이 만족된 경우에는, 처리는 스텝 S706으로 진행한다. 이 조건이 만족되지 않은 경우에는, 처리는 스텝 S707로 진행한다.
이때, 스텝 S705에서는, 미리 굵은 것으로 판단하는 소영역 화상을 학습한 검출기를 작성해 두고, 이 검출기를 동체 영역에 적용함으로써 검출된 부위를 "굵은 부위"라고 판단해도 된다. 이 경우, "굵은 부위"로 판단된 부위가 1개 이상 존재했을 경우에는, 처리는 스텝 S706으로 진행한다.
CPU(221)는 동체 영역에 대하여 웨이브렛 변환을 행하여, 특정한 주파수에서 반응하는 영역을 굵은 부위의 영역이라고 판단해도 된다. 이 경우, "굵은 부위의 영역"으로 판단된 영역이 1개 이상 존재하면, 처리는 스텝 S706으로 진행한다.
CPU(221)는, 동체 영역에 대하여 모폴로지를 사용한 세선의 제거 처리를 행하여, 제거되지 않고 남아 있는 부위를 "굵은 부위"로 판단해도 된다. 이 경우, "굵은 부위"로 판단된 부위가 1개 이상 존재했을 경우에는, 처리는 스텝 S706으로 진행한다. 스텝 S706에서는, CPU(221)은, 소정의 굵기보다 큰 굵기를 갖는 부위(굵은 부위로 판단된 부위)에 제1 마스크 화상을 묘화한다.
도 10은 본 실시형태에 있어서 스텝 S700에서 취득되는 촬상 화상의 일례를 나타낸다. 도 10에 나타낸 것과 같이, 촬상 화상(1000)에는, 동체인 작업원(1001)과, 작업자의 작업에 의해 발생한 동체이며 화이트 보드 위에 그려진 도형 패턴이나 문자 세트인 대상물(1002)(작업원(1001)의 일부)이 포함되어 있다.
도 11은, 스텝 S700에 있어서 취득한 촬상 화상이 도 10의 촬상 화상(1000)이었을 경우에, 스텝 S709에 있어서 표시장치(140)에 출력되어 표시되는 촬상 화상의 일례를 나타낸다. 우선, 촬상 화상(1000)의 고정 영역에는 제2 마스크 화상(1102)이 묘화된다. 도 11을 참조하면, 시큐리티를 감안하여, 촬상 화상(1000) 상의 화이트 보드의 영역을 고정 영역으로 설정하고 있다. CPU(221)는, 작업원(1001)의 각 부위 중 소정의 굵기 이상인 부위(굵은 부위로 판단된 부위)에 제1 마스크 화상(1101)을 묘화한다.
한편, 대상물(1002)의 굵기가 소정의 굵기 미만이기 때문에, 대상물(1002)의 영역에는 제1 마스크 화상은 묘화되지 않는다. 이러한 처리에 의해 얻어지는 화상이 촬상 화상(1100)이다.
상기한 바와 같이, 동체 영역의 화상 특징량으로서 다양한 특징량 중에서 한개가 생각된다. 예를 들면, 동체 영역 내의 색을 상기 동체 영역의 화상 특징량으로서 사용해도 된다. 예를 들면, 동체 영역을 구성하는 화소의 R, B, G의 평균 화소값을 구하면, CPU(221)는, 구해진 R, G, B의 각각의 평균값이 소정의 값을 넘고 있었을 경우에는, 상기 동체 영역의 화상 특징량이 소정의 조건을 충족시키고 있다고 판단해도 된다.
이와 달리, 동체가 움직인 기간을 화상 특징량으로서 사용해도 된다. 또한, 촬상 화상으로부터 검출한 동체 중에서, "마스크 화상을 묘화해야 할 동체로서 미리 지정되어 있었던 지정 동체"(예를 들면, 인체) 만을 스텝 S402(S702) 이후의 대상으로 설정해도 된다.
촬상 화상은 항상 촬상장치(110)로부터 취득할 필요는 없다. 예를 들면, 기록된 동화상 혹은 정지화상을 기록한 메모리 장치(예를 들어, 보조 기억장치 213이나 보조 기억장치 223)로부터, 상기 동화상의 각 프레임의 화상 혹은 상기 정지화상을 촬상 화상으로서 취득해도 된다.
화상 특징량이 소정의 조건을 만족시켰을 경우에 행해지는 처리와, 화상 특징량이 소정의 조건을 만족하지 않았을 경우에 행해지는 처리의 순서를 반대로 해도 된다. 이러한 조건 분기에서 설정된 조건을 적절히 변경해도 된다. 이상에서 설명한 각 실시형태의 일부 혹은 전부를 적절히 조합하여도 된다. 또한, 이상에서 설명한 각 실시형태의 일부 혹은 전부를 선택적으로 사용해도 된다.
기타 실시형태
본 발명의 실시형태는, 본 발명의 전술한 실시형태(들)의 1개 이상의 기능을 수행하기 위해 기억매체('비일시적인 컴퓨터 판독가능한 기억매체'로서 더 상세히 언급해도 된다)에 기록된 컴퓨터 실행가능한 명령(예를 들어, 1개 이상의 프로그램)을 판독하여 실행하거나 및/또는 전술한 실시예(들)의 1개 이상의 기능을 수행하는 1개 이상의 회로(예를 들어, 주문형 반도체 회로(ASIC)를 포함하는 시스템 또는 장치의 컴퓨터나, 예를 들면, 전술한 실시형태(들)의 1개 이상의 기능을 수행하기 위해 기억매체로부터 컴퓨터 실행가능한 명령을 판독하여 실행함으로써, 시스템 또는 장치의 컴퓨터에 의해 수행되는 방법에 의해 구현될 수도 있다. 컴퓨터는, 1개 이상의 중앙처리장치(CPU), 마이크로 처리장치(MPU) 또는 기타 회로를 구비하고, 별개의 컴퓨터들의 네트워크 또는 별개의 컴퓨터 프로세서들을 구비해도 된다. 컴퓨터 실행가능한 명령은, 예를 들어, 기억매체의 네트워크로부터 컴퓨터로 주어져도 된다. 기록매체는, 예를 들면, 1개 이상의 하드디스크, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 분산 컴퓨팅 시스템의 스토리지, 광 디스크(콤팩트 디스크(CD), 디지털 다기능 디스크(DVD), 또는 블루레이 디스크(BD)TM 등), 플래시 메모리소자, 메모리 카드 등을 구비해도 된다.
본 발명은, 상기한 실시형태의 1개 이상의 기능을 실현하는 프로그램을, 네트워크 또는 기억매체를 개입하여 시스템 혹은 장치에 공급하고, 그 시스템 혹은 장치의 컴퓨터에 있어서 1개 이상의 프로세서가 프로그램을 읽어 실행하는 처리에서도 실행가능하다. 또한, 1개 이상의 기능을 실현하는 회로(예를 들어, ASIC)에 예시적인 실시형태들을 참조하여 본 발명을 설명하였지만, 본 발명이 이러한 실시형태에 한정되지 않는다는 것은 자명하다. 이하의 청구범위의 보호범위는 가장 넓게 해석되어 모든 변형, 동등물 구조 및 기능을 포괄하여야 한다.

Claims (11)

  1. 화상으로부터 검출한 동체의 영역이 상기 화상 내의 고정 영역과 겹칠 경우에, 상기 동체의 영역에 묘화할 제1 마스크 화상을, 상기 고정 영역에 묘화할 제2 마스크 화상 위에 중첩할 것인지 아닌지를, 상기 동체의 영역의 화상 특징량에 근거해서 판단하도록 구성된 판단부와,
    상기 판단부에 의해 얻어진 판단 결과에 따라 상기 제1 마스크 화상의 묘화를 제어하도록 구성된 제어부를 구비한 화상 처리장치.
  2. 제 1항에 있어서,
    상기 판단부는, 상기 화상 특징량이 소정의 조건을 만족하고 있으면, 상기 제1 마스크 화상을 상기 제2 마스크 화상 위에 중첩하는 것으로 판단하고, 상기 화상 특징량이 소정의 조건을 만족하지 않고 있으면, 상기 제1 마스크 화상을 상기 제2 마스크 화상 위에 중첩하지 않는 것으로 판단하는 화상 처리장치.
  3. 제 1항에 있어서,
    상기 판단부는, 상기 동체의 영역이 상기 고정 영역과 겹치지 않고 있으면, 상기 제1 마스크 화상을 상기 제2 마스크 화상 위에 중첩하지 않는 것으로 판단하는 화상 처리장치.
  4. 제 1항에 있어서,
    상기 제어부는, 상기 판단부가 상기 제1 마스크 화상을 상기 제2 마스크 화상 위에 중첩하는 것으로 판단한 경우에, 상기 제2 마스크 화상을 상기 고정 영역에 묘화한 후 상기 제1 마스크 화상을 상기 동체의 영역에 묘화하는 화상 처리장치.
  5. 제 1항에 있어서,
    상기 제어부는, 상기 판단부가 상기 제1 마스크 화상을 상기 제2 마스크 화상 위에 중첩하지 않는 것으로 판단한 경우에, 상기 제1 마스크 화상을 상기 동체의 영역에 묘화한 후 상기 제2 마스크 화상을 상기 고정 영역에 묘화하는 화상 처리장치.
  6. 제 1항에 있어서,
    상기 제어부는, 상기 화상의 상기 고정 영역에 상기 제2 마스크 화상을 묘화한 후, 상기 화상으로부터 검출된 동체의 영역들 중에서, 상기 판단부가 상기 제1 마스크 화상을 상기 제2 마스크 화상 위에 중첩하는 것으로 판단한 동체의 영역에 상기 제1 마스크 화상을 묘화하는 화상 처리장치.
  7. 제 1항에 있어서,
    상기 제어부는, 상기 화상의 상기 고정 영역에 상기 제2 마스크 화상을 묘화한 후, 상기 화상으로부터 검출된 동체의 영역들 중에서, 상기 판단부가 상기 제1 마스크 화상을 상기 제2 마스크 화상 위에 중첩하는 것으로 판단한 동체의 일부의 영역에 상기 제1 마스크 화상을 묘화하는 화상 처리장치.
  8. 제 1항에 있어서,
    촬상장치에 의해 촬상된 촬상 화상을 상기 화상으로서 취득하도록 구성된 유닛을 더 구비한 화상 처리장치.
  9. 제 1항에 있어서,
    상기 고정 영역은 상기 화상에서 유저에 의해 지정된 영역인 화상 처리장치.
  10. 화상 처리장치가 행하는 화상 처리방법으로서,
    화상으로부터 검출한 동체의 영역이 상기 화상 내의 고정 영역과 겹칠 경우에, 상기 동체의 영역에 묘화할 제1 마스크 화상을, 상기 고정 영역에 묘화할 제2 마스크 화상 위에 중첩할 것인지 아닌지를, 상기 동체의 영역의 화상 특징량에 근거해서 판단하는 단계와,
    상기 판단단계에서 얻어진 판단 결과에 따라 상기 제1 마스크 화상의 묘화를 제어하는 단계를 포함하는 화상 처리방법.
  11. 컴퓨터를,
    화상으로부터 검출한 동체의 영역이 상기 화상 내의 고정 영역과 겹칠 경우에, 상기 동체의 영역에 묘화할 제1 마스크 화상을, 상기 고정 영역에 묘화할 제2 마스크 화상 위에 중첩할 것인지 아닌지를, 상기 동체의 영역의 화상 특징량에 근거해서 판단하도록 구성된 판단부와,
    상기 판단부에 의해 얻어진 판단 결과에 따라 상기 제1 마스크 화상의 묘화를 제어하도록 구성된 제어부로서 기능시키기 위한 컴퓨터 프로그램을 격납한 비일시적인 컴퓨터 판독가능한 기억매체.
KR1020180120823A 2017-10-13 2018-10-11 화상 처리장치, 화상 처리방법 및 비일시적인 컴퓨터 판독가능한 기억매체 KR102333532B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2017-199712 2017-10-13
JP2017199712A JP7071086B2 (ja) 2017-10-13 2017-10-13 画像処理装置、画像処理方法及びコンピュータプログラム

Publications (2)

Publication Number Publication Date
KR20190041929A true KR20190041929A (ko) 2019-04-23
KR102333532B1 KR102333532B1 (ko) 2021-12-01

Family

ID=63787715

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180120823A KR102333532B1 (ko) 2017-10-13 2018-10-11 화상 처리장치, 화상 처리방법 및 비일시적인 컴퓨터 판독가능한 기억매체

Country Status (5)

Country Link
US (1) US10713797B2 (ko)
EP (1) EP3471398A1 (ko)
JP (1) JP7071086B2 (ko)
KR (1) KR102333532B1 (ko)
CN (1) CN109671136B (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3640903B1 (en) * 2018-10-18 2023-12-27 IDEMIA Identity & Security Germany AG Signal dependent video surveillance
KR102637119B1 (ko) * 2018-10-25 2024-02-15 삼성전자주식회사 냉장고 안의 객체에 관한 정보를 제공하는 방법 및 시스템
CN110300118B (zh) * 2019-07-09 2020-09-25 联想(北京)有限公司 流媒体处理方法、装置及存储介质
CN113448427B (zh) * 2020-03-24 2023-09-12 华为技术有限公司 设备控制方法、装置及系统
CN111654700B (zh) * 2020-06-19 2022-12-06 杭州海康威视数字技术股份有限公司 一种隐私遮蔽处理方法、装置、电子设备及监控系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009124618A (ja) * 2007-11-19 2009-06-04 Hitachi Ltd カメラ装置、画像処理装置
KR20100121764A (ko) * 2009-05-11 2010-11-19 엘지전자 주식회사 감시용 카메라와 마스크 생성 제어방법
JP2017098879A (ja) * 2015-11-27 2017-06-01 パナソニックＩｐマネジメント株式会社 モニタリング装置、モニタリングシステムおよびモニタリング方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009124510A (ja) * 2007-11-15 2009-06-04 Canon Inc 表示制御装置及びその方法、プログラム、記録媒体
JP5070231B2 (ja) 2009-02-12 2012-11-07 株式会社日立製作所 記録媒体、アドレス生成及び検出方法、再生及び記録装置
JP5304532B2 (ja) * 2009-08-20 2013-10-02 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
JP5555044B2 (ja) * 2010-04-28 2014-07-23 キヤノン株式会社 カメラ制御装置及びカメラシステム
JP2012078900A (ja) * 2010-09-30 2012-04-19 Nec Corp 情報保護装置、情報保護方法およびプログラム
JP5408156B2 (ja) * 2011-02-24 2014-02-05 三菱電機株式会社 監視用画像処理装置
US9111346B2 (en) * 2011-09-13 2015-08-18 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and recording medium
JP5825121B2 (ja) * 2012-01-31 2015-12-02 株式会社Ｊｖｃケンウッド 画像処理装置、画像処理方法、画像処理プログラム
JP5707562B1 (ja) * 2014-05-23 2015-04-30 パナソニックＩｐマネジメント株式会社 モニタリング装置、モニタリングシステムおよびモニタリング方法
JP5938808B2 (ja) * 2014-07-28 2016-06-22 パナソニックＩｐマネジメント株式会社 モニタリング装置、モニタリングシステムおよびモニタリング方法
JP5988225B2 (ja) * 2015-02-25 2016-09-07 パナソニックＩｐマネジメント株式会社 モニタリング装置およびモニタリング方法
JP6618766B2 (ja) * 2015-10-27 2019-12-11 株式会社デンソーテン 画像処理装置および画像処理方法
EP3319041B1 (en) * 2016-11-02 2022-06-22 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
JP6931290B2 (ja) * 2017-03-03 2021-09-01 キヤノン株式会社 画像生成装置およびその制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009124618A (ja) * 2007-11-19 2009-06-04 Hitachi Ltd カメラ装置、画像処理装置
KR20100121764A (ko) * 2009-05-11 2010-11-19 엘지전자 주식회사 감시용 카메라와 마스크 생성 제어방법
JP2017098879A (ja) * 2015-11-27 2017-06-01 パナソニックＩｐマネジメント株式会社 モニタリング装置、モニタリングシステムおよびモニタリング方法

Also Published As

Publication number Publication date
CN109671136A (zh) 2019-04-23
US20190114783A1 (en) 2019-04-18
US10713797B2 (en) 2020-07-14
JP7071086B2 (ja) 2022-05-18
KR102333532B1 (ko) 2021-12-01
CN109671136B (zh) 2023-10-03
JP2019075660A (ja) 2019-05-16
EP3471398A1 (en) 2019-04-17

Similar Documents

Publication Publication Date Title
KR102333532B1 (ko) 화상 처리장치, 화상 처리방법 및 비일시적인 컴퓨터 판독가능한 기억매체
US11501535B2 (en) Image processing apparatus, image processing method, and storage medium for reducing a visibility of a specific image region
US11100655B2 (en) Image processing apparatus and image processing method for hiding a specific object in a captured image
KR102277048B1 (ko) 미리보기 사진 블러링 방법 및 장치 및 저장 매체
EP3506228A1 (en) Image capturing apparatus, image processing apparatus, control method, and program
US10863113B2 (en) Image processing apparatus, image processing method, and storage medium
JP2019114821A (ja) 監視システム、装置、方法およびプログラム
US11765312B2 (en) Image processing apparatus, image processing apparatus control method, and non-transitory computer-readable storage medium
US11019251B2 (en) Information processing apparatus, image capturing apparatus, information processing method, and recording medium storing program
JP2013066016A (ja) 輪郭抽出システム、輪郭抽出装置及び輪郭抽出プログラム
US20120105444A1 (en) Display processing apparatus, display processing method, and display processing program
US20160267356A1 (en) Image processing apparatus and image processing method of performing image segmentation
KR102339710B1 (ko) 영상 정보 표시 방법 및 전자 장치
KR102497593B1 (ko) 정보 처리장치, 정보 처리방법 및 기억매체
JP7195782B2 (ja) 情報処理装置、制御方法及びプログラム
JP2018092507A (ja) 画像処理装置、画像処理方法及びプログラム
JP6997449B2 (ja) 画像処理装置、画像処理方法、プログラム
JP2016220148A (ja) 制御装置、制御方法、システム
JP2019125058A (ja) 画像処理装置、撮影装置、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right