JP6587435B2 - 画像処理装置、情報処理方法及びプログラム - Google Patents

画像処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
JP6587435B2
JP6587435B2 JP2015130081A JP2015130081A JP6587435B2 JP 6587435 B2 JP6587435 B2 JP 6587435B2 JP 2015130081 A JP2015130081 A JP 2015130081A JP 2015130081 A JP2015130081 A JP 2015130081A JP 6587435 B2 JP6587435 B2 JP 6587435B2
Authority
JP
Japan
Prior art keywords
image
image data
image processing
region
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015130081A
Other languages
English (en)
Other versions
JP2017017431A (ja
Inventor
矢野　光太郎
光太郎 矢野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015130081A priority Critical patent/JP6587435B2/ja
Priority to EP16176009.5A priority patent/EP3113112A1/en
Priority to US15/192,633 priority patent/US10163027B2/en
Priority to CN201610481690.6A priority patent/CN106326832B/zh
Priority to KR1020160080520A priority patent/KR101984496B1/ko
Publication of JP2017017431A publication Critical patent/JP2017017431A/ja
Application granted granted Critical
Publication of JP6587435B2 publication Critical patent/JP6587435B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19606—Discriminating between target movement or movement in an area of interest and other non-signicative movements, e.g. target movements induced by camera shake or movements of pets, falling leaves, rotating fan
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/1961—Movement detection not involving frame subtraction, e.g. motion detection on the basis of luminance changes in the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)

Description

本発明は、画像処理装置、情報処理方法及びプログラムに関する。
近年、監視カメラの普及が進んでいる。これに伴い、公共の場において監視カメラで撮影した映像に映っている個人の容姿を他人が容易に見ることができ、プライバシーの観点から問題となっている。したがって、監視カメラ映像の人物部分をぼかしたり、禁止エリアに侵入した人物のみ表示して他の人物はぼかしたりするようなニーズは高い。また、監視カメラに止まらず、例えば、公共の場での放送映像においてもアナウンサーだけ表示して他の人物はぼかしたりするようなニーズもある。
このようなカメラ映像におけるプライバシーを保護する方法として、特許文献１では、映像中の人物領域を、背景画像を用いて抽出し、ぼかし処理を行う方法が提案されている。また、特許文献２では、映像中の顔領域を顔検出処理によって抽出し、予め登録しておいた顔画像との照合を行うことによって特定人物のみ表示する方法が提案されている。また、特許文献３では、映像中の人物の異常行動を認識して、異常行動を行った人物のみ表示する方法が提案されている。
特開２００８−１９１８８４号公報 特開２００４−６２５６０号公報 特開２０１１−１３０２０３号公報
Dalal and Triggs. Histograms of Oriented Gradients for Human Detection. IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2005
しかしながら、特許文献１に示されている方法では、背景画像とカメラ映像とを比較して人物領域を抽出しているので、映像中に人以外の動物体が映っていたり、背景の変化があったりする場合には人とそれ以外の部分との区別ができない問題がある。また、特許文献２に示されている方法では、顔の認証に失敗すると保護したい部分が表示されてしまう問題がある。また、特許文献３に示されている方法においても、異常でない行動を異常行動と誤認識してしまうと保護したい部分が表示されてしまう問題がある。
本発明は、特定領域に存在する物体領域を抽出して表示する技術を提供することを目的とする。これにより、例えば、特定の位置の人物を表示し、他の人物のプライバシーを保護することができる。
そこで、本発明の画像処理装置は、画像データを取得する画像データ取得手段と、前記画像データに対応する距離情報を取得する距離情報取得手段と、前記画像データから所定の物体の位置を検出する検出手段と、前記検出手段により検出された前記画像データにおける位置と、前記距離情報とに基づいて、前記位置が検出された前記所定の物体のうち特定の三次元領域の外部に存在する所定の物体を判定する判定手段と、前記判定手段により前記特定の三次元領域の外部に存在すると判定された前記所定の物体の物体領域を前記画像データから抽出する抽出手段と、抽出された前記特定の三次元領域の外部に存在すると判定された前記所定の物体の物体領域の画像データを加工する画像処理を実行する画像処理手段と、を有する。
本発明によれば、特定領域に存在する物体領域を抽出して表示する技術を提供することができる。
画像処理装置のハードウェア構成の一例を示す図である。 画像処理装置のソフトウェア構成の一例を示す図である。 情報処理の一例を示すフローチャートである。 画像取得部で取得される画像データの一例を示す図である。 距離画像の一例を示す図である。 画像データに対応する物体検出結果の一例を示す図である。 領域設定部で設定された特定領域の一例を示す図である。 背景画像の一例を示す図である。 合成マップの一例を示す図である。 画像合成結果の一例を示す図である。
以下、本発明の実施形態について図面に基づいて説明する。
＜実施形態１＞
図１は、画像処理装置１００のハードウェア構成の一例を示す図である。
図１において、ＣＰＵ１０１は、システムバス１０４に接続された各種デバイスの制御を行う。
ＲＯＭ１０２は、ＢＩＯＳのプログラムやブートプログラムを記憶する。
ＲＡＭ１０３は、ＣＰＵ１０１の主記憶装置として使用される。
キーボードコントローラ（ＫＢＣ）１０５は、マウス等のポインティングデバイス（ＰＤ）１０９や、キーボード（ＫＢ）１１０からの情報等の入力に係る処理を行う。
表示制御部（ＣＲＴＣ）１０６は、内部にビデオメモリを有し、ＣＰＵ１０１からの指示に従ってそのビデオメモリに描画すると共に、ビデオメモリに描画されたイメージデータをビデオ信号としてＣＲＴ１１１に出力する。なお、図１において表示装置としてＣＲＴ１１１を例示しているが、液晶表示装置等、その表示装置の種類は問わない。
ディスクコントローラ（ＤＫＣ）１０７は、ハードディスク（ＨＤＤ）１１２へのアクセスを行う。
ネットワークインタフェースカード（ＮＩＣ）１０８は、ネットワークに接続し、ネットワークを介しての情報通信を行うものである。
なお、ＨＤＤ１１２には、ＯＳのプログラムやＯＳ上で動作する各種アプリケーションのプログラム等が格納される。ＨＤＤ１１２は、記憶領域の一例である。
上記構成において、画像処理装置１００の電源がＯＮになると、ＣＰＵ１０１は、ＲＯＭ１０２に格納されたブートプログラムに従って、ＨＤＤ１１２からＯＳのプログラムをＲＡＭ１０３に読み込み、処理を実行することによって、各装置の機能を実現する。
つまり、画像処理装置１００のＣＰＵ１０１がプログラムに基づき処理を実行することによって、画像処理装置１００のソフトウェア構成及び後述するフローチャートの処理が実現される。
図２は、画像処理装置１００のソフトウェア構成の一例を示す図である。
画像処理装置１００は、ソフトウェア構成として、以下の機能構成を含む。即ち、画像処理装置１００は、画像取得部２１０及び２２０、距離画像取得部２００、領域設定部３００、物体検出部４００、物体領域抽出部５００、背景画像記憶部６００、合成マップ生成部７００、画像処理部８００、結果出力部９００を含む。
画像取得部２１０は、カメラ等の撮影部により撮影された画像データを取得する。画像取得部２２０は、前記撮影部とは異なる撮影部により撮影された画像データを取得する。ここで画像取得部２１０及び２２０が取得する画像データはＲＧＢの画像データである。
距離画像取得部２００は、画像取得部２１０及び２２０で取得された画像データから画像取得部２１０で取得された画像データの夫々の画素に対応する距離情報取得を実行し、この距離情報を画素値とする距離画像を取得する。
領域設定部３００は、画像取得部２１０で取得された画像データの画像中の特定領域を設定する。
物体検出部４００は、画像取得部２１０で取得された画像データから物体位置を検出する。物体検出部４００は、画像データから物体位置を検出する際に距離画像取得部２００で取得された距離画像を利用する。本実施形態では物体検出部４００で検出する物体は人物である。
物体領域抽出部５００は、距離画像取得部２００で取得された距離画像を用いて物体検出部４００で検出した物体のうち領域設定部３００で設定された特定領域内に存在する物体と特定領域外に存在する物体とを区別して物体領域を抽出する。
背景画像記憶部６００は、予め画像取得部２１０で取得された人物の映っていない背景のみの画像データ（以下、背景画像と称す）をＲＡＭ１０３又はＨＤＤ１１２等に記憶する。
合成マップ生成部７００は、物体領域抽出部５００で抽出された物体領域を用いて画像取得部２１０で取得された画像データと背景画像記憶部６００に記憶されている背景画像とを合成するための合成マップを生成する。ここで、合成マップとは画素毎に２つの画像データを合成する合成比率を表すマップである。
画像処理部８００は、物体領域抽出部５００で抽出された物体領域を用いて画像取得部２１０で取得された画像データと背景画像記憶部６００に記憶されている背景画像とを合成する。
結果出力部９００は、画像処理部８００で合成した画像データをＣＲＴ１１１等に表示する。
以下、本実施形態の情報処理を図３に示すフローチャートに従って説明する。
Ｓ１００において、画像取得部２１０及び２２０は、撮影された画像データを取得する。画像取得部２１０及び２２０は、取得した画像データを、夫々、ＲＡＭ１０３又はＨＤＤ１１２等のメモリに記憶する。画像取得部２１０で取得された画像データの例を図４に示す。なお、ここで画像取得部２１０及び２２０が取得する画像データの撮影シーンはほぼ重複するように視野が調整されている。Ｓ１００の処理は、画像データ取得の処理の一例である。
Ｓ２００において、距離画像取得部２００は、画像取得部２１０と画像取得部２２０とで取得された画像データから画像取得部２１０で取得された画像データの夫々の画素に対応する距離画像を取得する。本実施形態においては、距離画像取得部２００は、ステレオマッチングの原理に基づいて距離画像取得を行う。即ち、距離画像取得部２００は、画像取得部２１０で取得された画像データの夫々の画素に対応する画像取得部２２０で取得された画像データの画素位置をパターンマッチングによって求め、視差ずれ量の２次元分布を距離画像として得る。距離画像取得部２００における距離画像の取得はこの方法だけに依らず、例えば、投光された符号化パターンに基づき距離画像を得るパターン投光方式や、光の飛行時間を基に距離を測るＴｉｍｅ−Ｏｆ−Ｆｌｉｇｈｔ方式に依ってもよい。距離画像取得部２００は、取得した距離画像をＲＡＭ１０３又はＨＤＤ１１２等のメモリに記憶する。図４に示した画像データに対応する距離画像取得部２００で取得された距離画像の例を図５に示す。図５で濃い画素値の画素ほど、距離が近いことを表す。
Ｓ３００において、物体検出部４００は、画像取得部２１０で取得された画像データから物体位置を検出する。物体検出部４００は、画像から物体位置を検出する方法として、非特許文献１で報告されている方法を用いることができる。非特許文献１で示されている方法は、画像から画素値の勾配方向のヒストグラムを抽出し、それを特徴量（ＨＯＧ特徴量）として画像中の部分領域が人物か否かを判定するものである。即ち、物体検出部４００は、画素値の勾配の方向という特徴量によって人体の輪郭を表現し、人物を認識することができる。また、本実施形態ではＳ２００において距離画像を取得しているので、物体検出部４００は、距離画像からも人の輪郭を識別する特徴量を抽出するようにし、ＨＯＧ特徴量と合せて人物か否かを判定するようにする。画像から物体位置を検出する際に物体検出部４００が距離画像を用いることで人の輪郭をより正確に捉えることができる。なお、本実施形態では人物を対象として物体検出を行うようにしたが、人物以外を対象とすることもできる。この場合、物体検出部４００は、検出対象とする物体を識別するような特徴量との照合を行うようにすればよい。物体検出部４００は検出した物体の位置座標を出力する。図４に示した画像データに対応する物体検出結果の例を図６に示す。図６では、検出した人体の位置を矩形Ｒ１〜Ｒ５で示している。
Ｓ４００において、まず、物体領域抽出部５００は、物体検出部４００で検出された物体のうち予め領域設定部３００で設定された特定領域内に存在する物体と特定領域外に存在する物体とを区別して物体領域を抽出する。領域設定部３００で設定された特定領域を図７に示す。例えば、図７のＲで示したような領域に相当する物体を撮影シーンに配置し、距離画像取得部２００により距離画像を取得する。そして、領域設定部３００は、距離画像中の物体に相当する三次元空間上の領域を特定領域として設定する。まず、物体領域抽出部５００は、物体検出部４００で検出された物体位置（図６の例ではＲ１〜Ｒ５）に対応する距離データを距離画像から取得し、その三次元座標から領域設定部３００で設定された特定領域内か否かを判定する。例えば、図６に示した検出結果ではＲ１に示した物体位置が図７に示した領域Ｒ内にあると判定される。この際、画像中の二次元位置関係だけでは例えば図６のＲ１の領域で検出された人物の背後に人物が存在した場合も同様に領域内として判定されてしまう。その結果、Ｒ１の領域で検出された人物との区別がつかなくなる。本実施形態では、物体領域抽出部５００は、距離画像を利用して三次元の位置関係で特定領域内か否かを判定しているのでＲ１の領域で検出された人物の背後に人物が存在した場合でも区別することができる。そして、物体領域抽出部５００は、特定領域外の物体に相当する検出結果（即ち、図６に示したＲ２〜Ｒ５）に対応した距離画像中の画像領域（図５の破線矩形）から距離データのエッジ位置に基づいて夫々人物の輪郭を抽出する。そして、物体領域抽出部５００は、抽出した輪郭に対応する画像取得部２１０で取得された画像データ中の輪郭位置から物体領域を抽出する。ここで物体領域抽出部５００が出力する物体領域は輪郭を表す画像上の座標値でもよいし、座標値をベクトル表現したものでもよい。また、領域内を'１'、領域外を'０'とした２値画像でもよい。
Ｓ５００において、画像処理部８００は、物体領域抽出部５００で抽出された物体領域を用いて画像取得部２１０で取得された画像データと背景画像記憶部６００に記憶されている背景画像とを合成する。背景画像記憶部６００に記憶されている背景画像の例を図８に示す。この背景画像は事前に人物が存在しない状態で、画像取得部２１０で取得された画像データである。まず、合成マップ生成部７００は、物体領域抽出部５００で抽出された物体領域を用いて画像取得部２１０で取得された画像データと背景画像記憶部６００に記憶されている背景画像とを合成するための合成マップを生成する。合成マップは、例えば、物体領域抽出部５００で抽出した物体領域を'１'、それ以外を'０'とした２値画像に対して'１'の画素に対して実数値ｋ（但し、０≦ｋ＜１）、'０'の画素に対して実数値１の値を割り当てたマップである。合成マップの例を図９に示す。図９中、白い領域の値は１で、灰色の領域の値はｋである。画像処理部８００は、合成マップ生成部７００が生成した合成マップを用いて画像取得部２１０で取得された画像データと背景画像とを合成する。ここで、画像取得部２１０で取得された画像データの画素（ｉ，ｊ）における画素値をＰA（ｉ，ｊ）、背景画像の画素値をＰB（ｉ，ｊ）、合成マップの値をα（ｉ，ｊ）とすると合成後の画素値Ｐ（ｉ，ｊ）は（式１）のようになる。
Ｐ（ｉ，ｊ）＝α（ｉ，ｊ）×ＰA（ｉ，ｊ）＋（１−α（ｉ，ｊ））×ＰB（ｉ，ｊ）・・・（式１）
即ち、物体領域抽出部５００で抽出された物体領域以外の領域においては画像取得部２１０で取得された画像データがそのまま合成され、物体領域抽出部５００で抽出された物体領域では背景画像と比率ｋ：（１−ｋ）で合成される。ここで、ｋ＝０の場合は特定領域外の人物は背景画像に置き換えられることになる。また、ｋの値を０．１等の適当に小さな値に設定することで、特定領域外の人物を半透明化して表示し、場所は分かるが個人の特定はできないような画像を表示することができる。図４に示した画像データに対応する画像合成結果の例を図１０に示す。
なお、本実施形態では特定領域外の人物を半透明化するようにしたが、反対に特定領域内の人物のみ半透明化するようにしてもよい。この場合、Ｓ４００の処理において領域設定部３００で設定された特定領域内の物体に相当する検出結果（図６の例ではＲ１）に対応した物体領域を抽出するようにする。
また、画像処理部８００は、特定領域外の人物を半透明化するのではなく、ぼかすことによってプライバシー保護を行うこともできる。この場合、画像処理部８００は、Ｓ５００の処理において背景画像との画像合成処理を行う代わりに、合成マップの値を用いて画像取得部２１０で取得された画像データにぼかし処理を行えばよい。
Ｓ６００において、結果出力部９００は、画像処理部８００で合成した画像データを表示する。Ｓ６００の処理は、処理結果を出力する処理の一例である。
ＣＰＵ１０１は、Ｓ１００からＳ６００までの処理を取得された画像データ毎に繰り返して行う。
以上説明したように、本実施形態では、取得された画像中から物体位置を検出し、距離画像を用いて検出した物体のうち特定領域内に存在する物体と特定領域外に存在する物体とを区別して物体領域を抽出するようにした。これにより、入力画像中の特定の物体とその他の物体との領域を区別して異なる画像処理を施すことができる。
よって、特定の位置の人物を表示し、他の人物のプライバシーを保護する技術を提供することができる。
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではない。例えば、上述した実施形態では、ＣＰＵ１０１がプログラムに基づき処理を実行することにより、図２に示したようなソフトウェア構成が実現されるものとして説明を行った。しかし、図２に示した各部の全て又は一部をハードウェア構成として画像処理装置に実装してもよい。
１００ 画像処理装置
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ

Claims (10)

  1. 画像データを取得する画像データ取得手段と、
    前記画像データに対応する距離情報を取得する距離情報取得手段と、
    前記画像データから所定の物体の位置を検出する検出手段と、
    前記検出手段により検出された前記画像データにおける位置と、前記距離情報とに基づいて、前記位置が検出された前記所定の物体のうち特定の三次元領域の外部に存在する所定の物体を判定する判定手段と、
    前記判定手段により前記特定の三次元領域の外部に存在すると判定された前記所定の物体の物体領域を前記画像データから抽出する抽出手段と、
    抽出された前記特定の三次元領域の外部に存在すると判定された前記所定の物体の物体領域の画像データを加工する画像処理を実行する画像処理手段と、
    を有する画像処理装置。
  2. 前記検出手段は、前記画像データの画像特徴と前記距離情報とに基づいて前記画像データから前記所定の物体の位置を検出する請求項１記載の画像処理装置。
  3. 前記画像処理手段は、前記物体領域に対して前記画像データと背景画像とを合成する画像処理を実行する請求項１又は２記載の画像処理装置。
  4. 前記画像処理手段は、前記物体領域の各画素位置において前記画像データの画素値と前記背景画像の画素値とを所定の比率で合成する画像処理を実行する請求項３記載の画像処理装置。
  5. 前記画像データ取得手段が、物体の映っていない画像データを前記背景画像として取得する請求項３又は４記載の画像処理装置。
  6. 前記画像処理手段により実行された画像処理の処理結果を出力する出力手段を更に有する請求項１乃至５何れか１項記載の画像処理装置。
  7. 前記特定の三次元領域を設定する設定手段を更に有する請求項１乃至６何れか１項記載の画像処理装置。
  8. 前記抽出手段は、前記検出手段により検出された前記所定の物体の位置と前記距離情報とに基づいて、前記所定の物体の輪郭を抽出し、前記輪郭に基づいて前記物体領域を抽出する請求項１乃至７何れか１項記載の画像処理装置。
  9. 画像処理装置が実行する情報処理方法であって、
    画像データを取得する画像データ取得ステップと、
    前記画像データに対応する距離情報を取得する距離情報取得ステップと、
    前記画像データから所定の物体の位置を検出する検出ステップと、
    前記検出ステップにより検出された前記画像データにおける位置と、前記距離情報とに基づいて、前記位置が検出された前記所定の物体のうち特定の三次元領域の外部に存在する所定の物体を判定する判定ステップと、
    前記判定ステップにより前記特定の三次元領域の外部に存在すると判定された前記所定の物体の物体領域を前記画像データから抽出する抽出ステップと、
    抽出された前記特定の三次元領域の外部に存在すると判定された前記所定の物体の物体領域の画像データを加工する画像処理を実行する画像処理ステップと、
    を含む情報処理方法。
  10. コンピュータを、請求項１乃至８何れか１項記載の画像処理装置の各手段として機能させるためのプログラム。
JP2015130081A 2015-06-29 2015-06-29 画像処理装置、情報処理方法及びプログラム Active JP6587435B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2015130081A JP6587435B2 (ja) 2015-06-29 2015-06-29 画像処理装置、情報処理方法及びプログラム
EP16176009.5A EP3113112A1 (en) 2015-06-29 2016-06-23 Apparatus for and method of processing image based on object region
US15/192,633 US10163027B2 (en) 2015-06-29 2016-06-24 Apparatus for and method of processing image based on object region
CN201610481690.6A CN106326832B (zh) 2015-06-29 2016-06-27 基于物体区域处理图像的装置及方法
KR1020160080520A KR101984496B1 (ko) 2015-06-29 2016-06-28 물체 영역에 근거하여 화상을 처리하는 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015130081A JP6587435B2 (ja) 2015-06-29 2015-06-29 画像処理装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2017017431A JP2017017431A (ja) 2017-01-19
JP6587435B2 true JP6587435B2 (ja) 2019-10-09

Family

ID=56235674

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015130081A Active JP6587435B2 (ja) 2015-06-29 2015-06-29 画像処理装置、情報処理方法及びプログラム

Country Status (5)

Country Link
US (1) US10163027B2 (ja)
EP (1) EP3113112A1 (ja)
JP (1) JP6587435B2 (ja)
KR (1) KR101984496B1 (ja)
CN (1) CN106326832B (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6494253B2 (ja) * 2014-11-17 2019-04-03 キヤノン株式会社 物体検出装置、物体検出方法、画像認識装置及びコンピュータプログラム
JP6587435B2 (ja) * 2015-06-29 2019-10-09 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム
CN107230226A (zh) * 2017-05-15 2017-10-03 深圳奥比中光科技有限公司 人体关联关系的判断方法、装置及存储装置
JP7084795B2 (ja) * 2017-09-07 2022-06-15 キヤノン株式会社 画像処理装置、画像提供装置、それらの制御方法及びプログラム
JP6690622B2 (ja) * 2017-09-26 2020-04-28 カシオ計算機株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
CN107941273B (zh) * 2017-11-15 2022-01-18 国网湖南省电力公司检修公司 一种带电作业安全预警方法和装置
RU2744699C1 (ru) * 2017-12-14 2021-03-15 Кэнон Кабусики Кайся Устройство формирования, способ формирования и программа для трехмерной модели
JP6977667B2 (ja) * 2018-06-01 2021-12-08 日本電信電話株式会社 物体らしさ推定装置、方法、およびプログラム
KR102574895B1 (ko) * 2018-06-12 2023-09-05 한화비전 주식회사 패닝 및 틸팅 제어가 되는 카메라의 프라이버시 마스크 최적화방법 및 프라이버시 마스크 최적화가 적용된 촬상장치
US11527265B2 (en) 2018-11-02 2022-12-13 BriefCam Ltd. Method and system for automatic object-aware video or audio redaction
WO2020255226A1 (ja) * 2019-06-17 2020-12-24 日本電信電話株式会社 物体らしさ推定装置、物体らしさ推定方法、及び物体らしさ推定プログラム
JP7004116B2 (ja) * 2019-07-19 2022-01-21 三菱電機株式会社 表示処理装置、表示処理方法及びプログラム
TWI749370B (zh) * 2019-09-16 2021-12-11 緯創資通股份有限公司 臉部辨識方法及其相關電腦系統
WO2022130849A1 (ja) * 2020-12-14 2022-06-23 日本電気株式会社 画像処理装置、画像処理方法および非一時的なコンピュータ可読媒体

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0591504A (ja) * 1991-09-30 1993-04-09 Nippon Telegr & Teleph Corp <Ntt> 映像通信装置
JPH05265547A (ja) * 1992-03-23 1993-10-15 Fuji Heavy Ind Ltd 車輌用車外監視装置
JPH07154777A (ja) * 1993-11-30 1995-06-16 Matsushita Electric Ind Co Ltd 画像処理装置およびテレビ電話装置
JP2842437B2 (ja) 1997-05-30 1999-01-06 日本電気株式会社 画像合成装置
JP4036051B2 (ja) 2002-07-30 2008-01-23 オムロン株式会社 顔照合装置および顔照合方法
WO2004015987A1 (ja) * 2002-08-09 2004-02-19 Sharp Kabushiki Kaisha 画像合成装置、画像合成方法、画像合成プログラム、および画像合成プログラムを記録した記録媒体
JP2008056078A (ja) * 2006-08-31 2008-03-13 Denso Corp 車両用空調装置
JP4672680B2 (ja) 2007-02-05 2011-04-20 日本電信電話株式会社 画像処理方法、画像処理装置、画像処理プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体
US8280115B2 (en) * 2007-10-30 2012-10-02 Canon Kabushiki Kaisha Image processing apparatus and image processing method
JP2009124618A (ja) * 2007-11-19 2009-06-04 Hitachi Ltd カメラ装置、画像処理装置
DE102008007199A1 (de) * 2008-02-01 2009-08-06 Robert Bosch Gmbh Maskierungsmodul für ein Videoüberwachungssystem, Verfahren zur Maskierung von selektierten Objekten sowie Computerprogramm
JP2010193227A (ja) * 2009-02-19 2010-09-02 Hitachi Kokusai Electric Inc 映像処理システム
JP5574692B2 (ja) 2009-12-17 2014-08-20 キヤノン株式会社 映像情報処理方法及びその装置
JP5665401B2 (ja) * 2010-07-21 2015-02-04 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
KR101405410B1 (ko) 2010-10-20 2014-06-24 고려대학교 산학협력단 객체 검출 장치 및 시스템
JP2012175528A (ja) * 2011-02-23 2012-09-10 Panasonic Corp 映像端末装置、映像通信システム、及び映像通信方法
KR101237966B1 (ko) * 2011-03-16 2013-02-27 삼성테크윈 주식회사 피사체의 마스킹을 제어하는 감시 시스템 및 그 방법
JP5763965B2 (ja) * 2011-05-11 2015-08-12 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US9062980B2 (en) * 2011-11-22 2015-06-23 Hitachi, Ltd. Autonomous mobile system
KR20130102743A (ko) * 2012-03-08 2013-09-23 엘지전자 주식회사 프라이버시 마스크 표시를 제어하는 감시 시스템 및 그 방법
KR101890589B1 (ko) 2012-03-12 2018-09-28 한화에어로스페이스 주식회사 사생활 보호 영상 처리 시스템 및 방법
WO2013137534A1 (en) * 2012-03-12 2013-09-19 Samsung Techwin Co.,Ltd. System and method for processing image to protect privacy
SG11201407749TA (en) * 2012-05-24 2014-12-30 Hitachi Ltd Image analysis device, image analysis system, and image analysis method
KR101466374B1 (ko) * 2013-05-03 2014-12-01 딕스비전 주식회사 저비용으로 사생활 보호 및 관심 강조 기능을 구비하는 통합 관제 시스템 및 방법
JP6456405B2 (ja) * 2015-01-16 2019-01-23 株式会社日立製作所 ３次元情報算出装置、３次元情報算出方法、および自律移動装置
CN104680525B (zh) * 2015-02-12 2017-05-10 南通大学 基于Kinect深度图像的人体摔倒自动检测方法
CN104794722A (zh) * 2015-04-30 2015-07-22 浙江大学 利用单个Kinect计算着装人体三维净体模型的方法
JP6587435B2 (ja) * 2015-06-29 2019-10-09 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム
US10445612B2 (en) * 2015-10-26 2019-10-15 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
JP6732522B2 (ja) * 2016-05-02 2020-07-29 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP6910772B2 (ja) * 2016-09-08 2021-07-28 キヤノン株式会社 撮像装置、撮像装置の制御方法およびプログラム

Also Published As

Publication number Publication date
KR101984496B1 (ko) 2019-05-31
JP2017017431A (ja) 2017-01-19
CN106326832A (zh) 2017-01-11
US10163027B2 (en) 2018-12-25
CN106326832B (zh) 2020-05-19
KR20170002308A (ko) 2017-01-06
EP3113112A1 (en) 2017-01-04
US20160379078A1 (en) 2016-12-29

Similar Documents

Publication Publication Date Title
JP6587435B2 (ja) 画像処理装置、情報処理方法及びプログラム
US10701332B2 (en) Image processing apparatus, image processing method, image processing system, and storage medium
JP7122815B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US10002463B2 (en) Information processing apparatus, information processing method, and storage medium, for enabling accurate detection of a color
US9747493B2 (en) Face pose rectification method and apparatus
JP2023052914A (ja) 生体検知装置、生体検知方法、および、生体検知プログラム
KR20190001066A (ko) 얼굴 인증 방법 및 장치
JP4597391B2 (ja) 顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体
WO2016107638A1 (en) An image face processing method and apparatus
US10489640B2 (en) Determination device and determination method of persons included in imaging data
KR20190053602A (ko) 얼굴 인증 방법 및 장치
US10235607B2 (en) Control device, control method, and computer program product
KR20160057867A (ko) 디스플레이 장치 및 그에 의한 이미지 처리 방법
KR20170092533A (ko) 얼굴 포즈 교정 방법 및 장치
KR101509213B1 (ko) 개인 구매정보 기반의 인터렉티브 미러 시스템을 이용하는 방법
KR20210069404A (ko) 라이브니스 검사 방법 및 라이브니스 검사 장치
JP2011076255A (ja) ジェスチャ認識装置、ジェスチャ認識方法、およびジェスチャ認識プログラム
KR20160068186A (ko) 증강 현실 컨텐츠 제공 장치 및 방법
KR20160046399A (ko) 텍스쳐 맵 생성 방법 및 장치와 데이터 베이스 생성 방법
JP2008139941A (ja) 画像処理装置、画像処理方法、および画像処理プログラム
KR102483647B1 (ko) 라이브니스 검증 방법 및 장치
US20240265689A1 (en) Information processing apparatus, information processing method, and storage medium
JP2018013854A (ja) 追跡装置および追跡方法
JP6762544B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP6598828B2 (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180621

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190328

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190416

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190613

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190813

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190910

R151 Written notification of patent or utility model registration

Ref document number: 6587435

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151