JP7122350B2 - トランスコーディングをしないポストマスキング - Google Patents

トランスコーディングをしないポストマスキング Download PDF

Info

Publication number
JP7122350B2
JP7122350B2 JP2020154217A JP2020154217A JP7122350B2 JP 7122350 B2 JP7122350 B2 JP 7122350B2 JP 2020154217 A JP2020154217 A JP 2020154217A JP 2020154217 A JP2020154217 A JP 2020154217A JP 7122350 B2 JP7122350 B2 JP 7122350B2
Authority
JP
Japan
Prior art keywords
image
frame
video
image region
image frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020154217A
Other languages
English (en)
Other versions
JP2021064936A5 (ja
JP2021064936A (ja
Inventor
ヴィクトル エドパルム，
ソン ユアン，
Original Assignee
アクシス アーベー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アクシス アーベー filed Critical アクシス アーベー
Publication of JP2021064936A publication Critical patent/JP2021064936A/ja
Publication of JP2021064936A5 publication Critical patent/JP2021064936A5/ja
Application granted granted Critical
Publication of JP7122350B2 publication Critical patent/JP7122350B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/467—Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、ビデオエンコーディングの分野に関する。特に、本発明は、ビデオカメラにより撮像されたビデオストリーム上にプライバシマスキングを提供する方法及びシステムに関する。
ビデオカメラは、様々な環境をモニタリングするために、屋内及び屋外の双方での多くの異なるアプリケーションにて使用される。撮像されたシーンを描く画像は、オペレータ又はガードなどにより監視される場合がある。特定のシチュエーションにおいて、例えば、パーソナルインテグリティの利益のために、画像の一部を除外する必要がある場合など、撮像された画像の一部を、別の部分とは異なって扱わなければならない場合がある。例えば、警察官により装着されるものといった、身体装着式カメラ（ｂｏｄｙ ｗｏｒｎ ｃａｍｅｒａ又はＢＷＣ）の場合では、ＢＷＣにより記録されたシーンにおいて、顔やライセンスプレートなどを隠すことが望ましい場合がある。
そのような例では、１つ又はそれ以上のプライバシマスクが、画像のそれらのエリアに適用されてよい。典型的には、プライバシマスクはしばしば、オーバーレイとして画像に適用される。いくつかのプライバシマスクは、不透明なエリア（例えば、均一に黒いエリア）の形態をとる。一方、他のプライバシマスクは、ピクシレーションの形態をとる。ここでは、プライバシマスク内側の画像は、ピクシレーションブロックに分割され、ピクシレーションブロック内のピクセルのすべてには、同じ値、一般的には、ピクシレーションブロック内のピクセルのいくつか又はすべての平均値、が与えられる。これらのアプローチの双方では、しかし、画像の、プライバシマスクエリア内側が、「塊状」に見える。これは、美的な視点から、とても好適なものとは言えない。他のタイプのプライバシマスクもある。例えば、不明瞭化するプライバシマスクは、美的な視点から、より好適なものとなる。しかし、これらの技術は、現在、ＢＷＣなどの特定のデバイス上に実装する際に、過剰な電力を必要とする。したがって、プライバシマスキング技術を改善する必要がある。
上記を鑑み、本発明の目的はしたがって、上記の問題を克服するか、又は少なくとも軽減することである。特に、本発明の目的は、ビデオストリームをトランスコーディングすることを必要とせずに、プライバシマスクをビデオストリーム上に提供する技術を提供することである。この目的及び他の目的は、請求項１に記載の方法と、請求項１０に記載のエンコーダシステムと、請求項１２に記載のコンピュータプログラム製品と、請求項１４に記載のデジタル記憶媒体と、により達成される。
第１の態様によると、この目的及び他の目的は、コンピュータシステムにおける、プライバシマスクをビデオストリーム上に提供する方法により、完全に、又は、少なくとも部分的に、達成される。この方法は、
モニタリングカメラから受信したビデオにおいて、そのビデオ内に、プライバシマスクを適用すべき、少なくとも１つのイメージ領域を選択することと、
少なくとも１つのイメージ領域を含むビデオにおけるいずれのイメージフレームに対して、
イメージフレームに対して、非表示イメージフレームを示すフラグを設定することと、
非表示イメージフレームを参照する、前方予測されたイメージフレームを挿入することであって、前方予測されたイメージフレームにおいて、少なくとも１つのイメージ領域を曖昧にすることにより、少なくとも１つのイメージ領域を表すコーディングユニットが、プライバシマスクをまとめて提供する、非表示イメージフレームを参照する、前方予測されたイメージフレームを挿入することと、を含む。
この方法は、ビデオをトランスコーディングすることを必要としないポストマスキングのための、非常に便利なソリューションを提供する。そのようなソリューションは、例えば、一般データ保護規則（Ｇｅｎｅｒａｌ Ｄａｔａ Ｐｒｏｔｅｃｔｉｏｎ Ｒｅｇｕｌａｔｉｏｎ又はＧＤＰＲ）又は同様のものを理由として、顔（又は、ライセンスプレートなど）のすべてを不明瞭にすることが必要な場合があるＢＷＣに特に有益である。
加えて、この方法は、リバーシブルプロセスを提供し、画像のプライバシマスクが適用された部位の「アンマスキング（ｕｎｍａｓｋｉｎｇ）」を、それが必要となる場合に、後に行うことができるようになっている。これは、例えば、法的なことを理由としてあり得る、又は、ある人々が、プライバシマスクが適用されたバージョンのビデオのみを見ることが許され、一方で他の人々が、マスクされていないバージョンのビデオにアクセスすべきシチュエーションの場合がある。
別の利点としては、プライバシマスキングは、カメラ自体にではなく、メインユニットにて行うことができる、ということが挙げられる。これは、カメラが複雑なものとならないようにし、この技術を、ＢＷＣに対して、又は、各種の理由により、小型とする又は複雑でなくする必要があり得る他のカメラに対して、特に有益にする。
この方法を使用することはまた、コストのかかるビデオのトランスコーディングをも回避する。トランスコーディングを回避することはまた、特定のカメラにてビデオが実際に撮像されてエンコードされたことを容易に証明できるという利点がある。これは、ＢＷＣなどの、カメラが容易に携帯可能であり、撮像されたビデオが続いて、法的なコンテキストにおける証拠の目的に使用され得るケースに、特に重要となる場合がある。
１つの実施形態によると、前方予測されたイメージフレームにおいて、少なくとも１つのイメージ領域外のエリアを表すコーディングユニットは、スキップブロックとして設定される。スキップブロックは、ピクセルの、インターモードにてエンコードされたブロックである。これは、参照フレームにおける、ピクセルの対応するブロックを参照する。この対応するブロックから、イメージコンテンツが完全にコピーされるべきである。スキップブロックを使用することはしたがって、いずれのマスクされていないエリアを、オリジナルの画像におけるそれらとまったく同じままにすることができる。加えて、スキップブロックをエンコーディングすることは、必要とするデータが非常に少なく、これは、画像を効率的にエンコードする方法を提供する。
１つの実施形態によると、少なくとも１つのイメージ領域を選択することは、ユーザにより行われる。これは、どの対象がマスクされるべきであるかの正確かつ精密な選択を可能にする。例えば、数人の個人の顔のみがマスクされるべきであり、一方で他の個人の顔は視認可能であるべきシチュエーションがある。そのような選択を人がすることは、イメージアルゴリズムがそのようにすることと比較して、より効率的である。
１つの実施形態によると、少なくとも１つのイメージ領域を選択することは、対象検出技術を使用して自動的に行われる。これは、画像における、駐車場内にあるたくさんの自動車のライセンスプレートのすべて、又は、赤い上着を着用しているいずれの個人など、特定が容易なたくさんの対象を選択する効率的な方法を提供し得る。特定の実施形態では、対象検出技術による自動選択が可能であり、これは続いて、上述するように、人であるオペレータにより検証される。これは、有益なシナジー効果を可能とし得る。
１つの実施形態によると、前方予測されたイメージフレームにおいて、少なくとも１つのイメージ領域を表すコーディングユニットが配置され、コーディングユニットについての人工的な動きベクトルを導入することにより曖昧さを提供し、これにより、少なくとも１つのイメージ領域を不明瞭にさせる。動きベクトルを使用することは、実装がシンプルであり、構成される各種の動きのパターン及び程度のために可能であり、これにより、異なる程度に不明瞭化することを達成する。
１つの実施形態によると、前方予測されたイメージフレームにおいて、少なくとも１つのイメージ領域を表すコーディングユニットが配置され、少なくとも１つのイメージ領域におけるコーディングユニットを取り換えることにより曖昧さを提供する。これは、マスクされている対象を、それを不明瞭化するのではなく、完全に「拭い去る」効果を有する。これは、その「拭い去る」効果が、「不明瞭化する」効果よりも、所望される特定の状況において有益となり得る。
１つの実施形態によると、前方予測されたイメージフレームにおいて、少なくとも１つのイメージ領域を表すコーディングユニットが配置され、コーディングユニットを、非表示イメージフレームから取得されたイメージデータが選択的に不明瞭にされているイントラブロックと取り換えることにより曖昧さを提供し、これにより、少なくとも１つのイメージ領域を不明瞭にさせる。これは、不明瞭化することの、さらに別の代替案であり、マスクされた対象を、会社のロゴ、スマイリーフェイス、漫画のキャラクター、又は、眼前の特定の状況のセットに依存し得る何らかの場合などの他のものと完全に取り換えることが所望される場合に使用できる。
１つの実施形態によると、モニタリングカメラは、身体装着式カメラ（ｂｏｄｙ ｗｏｒｎ ｃａｍｅｒａ又はＢＷＣ）である。この方法を使用することは、有する演算能力が限られている、ＢＷＣなどの小型のカメラ、及び、法の執行を理由として、又は、記録したビデオの特定のエリアを「アンマスク（ｕｎｍａｓｋ）」する続いての必要性、のどちらかの、特別なプライバシの懸念があり得る場合に、特に有益である。
１つの実施形態によると、ビデオは、次のフォーマット、すなわち、高効率ビデオコーディング（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、バーサタイルビデオコーディング（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、エッセンシャルビデオコーディング（Ｅｓｓｅｎｔｉａｌ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、ＶＰ９、及びＡＶ１、の内の１つにてエンコードできる。つまり、本発明に係る本方法は、幅広い標準エンコーディングフォーマットに適用でき、したがって、デコーディングのためのいずれの特別なカスタム機器を必要としない。
第２の態様によると、本発明は、プライバシマスクをビデオストリーム上に提供するエンコーダシステムに関する。エンコーダシステムは、ドッキングステーションと、エンコーダと、を含む。ドッキングステーションは、モニタリングカメラからビデオを受信するよう構成されている。エンコーダは、
ビデオ内に、プライバシマスクを適用すべき、少なくとも１つのイメージ領域を選択し、
少なくとも１つのイメージ領域を含むビデオにおけるいずれのイメージフレームに対して、
イメージフレームに対して、非表示イメージフレームを示すフラグを設定し、
非表示イメージフレームを参照する、前方予測されたイメージフレームを挿入し、前方予測されたイメージフレームにおいて、少なくとも１つのイメージ領域を曖昧にすることにより、少なくとも１つのイメージ領域を表すコーディングユニットが、プライバシマスクをまとめて提供する、というように構成されている。
第３の態様によると、本発明は、プライバシマスクをビデオストリーム上に提供するコンピュータプログラムに関する。コンピュータプログラムは、
モニタリングカメラから受信したビデオにおいて、そのビデオ内に、プライバシマスクを適用すべき、少なくとも１つのイメージ領域を選択することと、
少なくとも１つのイメージ領域を含むビデオにおけるいずれのイメージフレームに対して、
イメージフレームに対して、非表示イメージフレームを示すフラグを設定することと、
非表示イメージフレームを参照する、前方予測されたイメージフレームを挿入することであって、前方予測されたイメージフレームにおいて、少なくとも１つのイメージ領域を曖昧にすることにより、少なくとも１つのイメージ領域を表すコーディングユニットが、プライバシマスクをまとめて提供する、非表示イメージフレームを参照する、前方予測されたイメージフレームを挿入することと、に対応する命令を含む。
第４の態様によると、本発明は、そのようなコンピュータプログラムを保存するデジタル記憶媒体に関する。
第２、第３、及び第４の態様は一般的に、第１の態様と同じ特徴及び利点を有してよい。本発明は更に、特に明白に言及していない限り、すべての可能な特徴の組み合わせに関連することに留意されたい。
本発明の、上記及び更なる目的、特徴、並びに利点は、添付図面を参照しての、本発明の好適な実施形態の、以下に記載する例示的且つ非限定の詳細説明を通して良好に理解される。ここでは、同様のコンポーネントには同じ参照番号が用いられる。
図１は、１つの実施形態に係る、プライバシマスクをビデオストリーム上に提供する方法１００のフローチャートを示す。 図２は、１つの実施形態に係る、図１の方法１００を適用する前の写真のグループ（ｇｒｏｕｐ ｏｆ ｐｉｃｔｕｒｅｓ又はＧＯＰ）の概略図を示す。 図３は、１つの実施形態に係る、図１の方法１００を適用した後のＧＯＰの概略図を示す。
異なる図面内の同様の参照記号は、同様の要素を示す。
本発明を、添付図面を参照して以下に更に詳細に説明する。ここでは、本発明の実施形態を示す。以下に開示するシステム及びデバイスは、作動中のものとして説明される。
本発明の各種の実施形態は、プライバシマスクをビデオストリーム上に提供する技術に関連する。以下は、実際の実装の一例であり、本発明の一般的な要点を読み手がよく理解できるようにするために提供される。異なる実施形態のさらなる実装の詳細がこれに続く。
この使用例では、ＢＷＣがビデオを撮像し、続いて、ドッキングステーションに置かれ、ドッキングステーションがＢＷＣのビデオをメインユニットにダウンロードすることを想定する。メインユニットは、このビデオをデコードし、分析を行い、マスクされる必要がある対象に対応するイメージエリアを探す。どのようなタイプの対象がマスクされるべきであるかは、例えば、眼前の特定の使用ケースに基づいて判定されるが、典型的には、そのような対象は、顔、ライセンスプレート、及び、他の特定情報を含む場合がある。
そのような対象を含むＩフレームは、例えば、フレームを非表示としてタグ付けするために、フレームのヘッダを変更することや、フラグをフレームに対して設定することにより、非表示に変更される。続いて、非表示Ｉフレームを参照する新たなＰフレームが挿入される。新たなＰフレームは、マスクされるエリア（例えば、顔領域）を除き、スキップブロックを全体に有する。換言すると、ビデオを視聴する際に、そのような新たなＰフレームは、マスクされるエリア内を除き、非表示の、参照されたＩフレームが示すものと同一の画像を示す。
マスクされるエリアについては、いくつかの異なるオプションが利用可能である。１つの代替案としては、動きベクトルを使用して顔を曖昧にすることが挙げられる。動きのパターン及び程度は、不明瞭化を異なるレベルにて達成するよう構成可能とできる。このアプローチの利点は、実装がシンプルであり、必要とするオーバーヘッドが非常に小さいということである。別の代替例としては、マスクされるエリアが選択的に不明瞭にされているＩブロックを挿入することが挙げられる。さらに別の代替案では、ある種の完全に異なるイメージ情報を含むＩブロックを挿入できる。したがって、使用できる多くのバリエーションがあり、それらはすべて、不透明な、又は、画素化されたプライバシマスクを通して現在利用可能なものと比較して、より美的に好適なものと言えるプライバシマスクを提供する。各種の実施形態を、さらに詳細に説明する。しかし、まず、従来のビデオコーディングの概要を説明する。ここでは、各種の実施形態の実装の一般的なコンテキストを提供し、Ｉフレーム及びＰフレームのコンセプトを説明する。
多くのデジタルビデオエンコーディングシステムでは、ビデオフレームのシーケンスの一時的な圧縮に、次の２つの主なモードが使用される：イントラモード及びインターモード。イントラモードでは、輝度チャネル及びクロミナンスチャネル（又は、いくつかの場合では、ＲＧＢ又はバイエル（Ｂａｙｅｒ）データ）が、単一のフレームの所与のチャネルにおけるピクセルの空間的冗長性を、予測、転換、及び、エントロピー符号化を介して利用することにより、エンコードされる。エンコードされたフレームは、イントラフレームと呼ばれる（「Ｉフレーム」とも呼ばれる）。イントラフレームは基本的に、エンコードされるイメージフレームにおける情報のみを使用してエンコードされたイメージフレームである。Ｉフレーム内では、ピクセルのブロック、これらは、Ｉブロック、マクロブロック、コーディングユニット、又は、コーディングツリーユニットとも呼ばれる、は、イントラモードにてエンコードされる。つまり、それらは、同じイメージフレーム内の同様のブロックを参照してエンコードされる、又は、参照するものがまったくない状態で、そのままエンコードされる。エンコードされるイメージフレームに対して取得されたイメージデータのすべてから、イントラフレームが計算されると、それは時にフルフレームとも呼ばれる。
反対に、インターモードは、個別のフレーム間の一時的な冗長性を利用し、動き補正予測技術に依存する。これは、ピクセルの選択されたブロックに対して、１つのフレームから別のフレームへと、ピクセルにおける動きをエンコーディングすることにより、１つ又はそれ以上前のフレームから、フレームの各部分を予測する。エンコードされたフレームは、インターフレーム、差分フレーム、Ｐフレーム（前方予測されたフレーム）と呼ばれ、これらは、前のフレームをデコーディング順に参照できる、又は、Ｂフレーム（双方向に予測されたフレーム）と呼ばれ、これらは、２つ又はそれ以上前にデコードされたフレームを参照でき、予測に使用するフレームの、いずれの任意の表示順関係を有することができる。Ｐフレーム内では、ピクセルのブロックは、インターモードにてエンコードされる、つまり、それらは、先にデコードされた画像における同様のブロックを参照してエンコードされることを意味する、又は、イントラモードにてエンコードされる、つまり、それらは、同じイメージフレーム内の同様のブロックを参照してエンコードされる、若しくは、参照するものがない状態で、そのままエンコードされることを意味する、のどちらかであってよい。別の言い方をすれば、インターフレームには、前の（及び、任意に、後の）イメージフレームにおける一時的な冗長情報の利点がある。
このタイプのコーデック（圧縮標準）を実装するエンコーダは、典型的には、所定の数のインターフレームが続くイントラフレームを生成し、続いて、同じ数のインターフレームが続く新たなイントラフレームを生成する。１つのイントラフレームと多くのインターフレームのセットは、写真のグループ（ｇｒｏｕｐ ｏｆ ｐｉｃｔｕｒｅｓ又はＧＯＰ）と呼ばれる。イメージフレームは、典型的には、それらが取得又は表示された順序と同じ順序にてエンコード及びデコードされるが、必ずしもそのようにされる必要はない。唯一の固有の制限としては、参照フレームの用に供するフレームは、それを参照として使用する他のフレームがエンコードされ得る前にデコードされなければならない、ということが挙げられる。監視又はモニタリングのアプリケーションでは、エンコーディングは一般的に、リアルタイムにて行われる。これは、多くの実際のアプローチは、イメージフレームを、それらが取得されて表示された順序と同じ順序にてエンコード及びデコードすることを意味する。なぜなら、それらはさもなければ、所望しないレイテンシーとなるからである。多くのインターフレームが続くイントラフレームのシーケンスの長さはしばしば、写真のグループの長さ（ＧＯＰの長さ）と呼ばれる。Ｈ．２６５などの、いくつかの圧縮標準について、ＧＯＰの長さは、エンコーディング中に調整できる。
図１は、１つの実施形態に係る、プライバシマスクをビデオストリーム上に提供する方法１００のフローチャートを示す。図１に見ることができるように、方法１００は、ステップ１０２にて、カメラにより撮像され、ある種のドッキングステーションなどを通して、メインユニットにダウンロードされたビデオにより開始する。これは、ＢＷＣなどの従来のカメラと、従来のダウンローディング技術と、を使用して行うことができる。これらは当業者によく知られており、したがって、ここではそれらを詳細に説明しない。
次に、ステップ１０４にて、ダウンロードされたビデオストリームに対して画像分析が行われ、マスクされる対象を検出する。上述するように、そのような対象は、例えば、顔、ライセンスプレート、又は、プライバシ（若しくは、他の理由）を目的として隠すべき、他のタイプの特定情報を含んでよい。画像における対象検出のための多くの既知の技術があり、これらをこのコンテキストにおいて適用できる。いくつかは、輝度勾配ヒストグラム（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）、サポーティングベクトルマシン（Ｓｕｐｐｏｒｔｉｎｇ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）、ローカルバイナリパターン（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎｓ）などの古典的な方法を含む。モバイルネット（Ｍｏｂｉｌｅｎｅｔ）などの、ニューラルネットワークに基づく方法もまた、利用可能である。他の方法として、差分時間での前景抽出（ｆｏｒｅｇｒｏｕｎｄ ｅｘｔｒａｃｔｉｏｎ ｗｉｔｈ ｄｉｆｆｅｒｅｎｔｉａｔｅｄ ｔｉｍｅ ｄｕｒａｔｉｏｎ）が挙げられる。
画像分析は、マスクされるエリアを判定する１つの方法にすぎないことに留意されたい。いくつかの実装では、エリアは、カメラ監視システムの、人であるオペレータにより判定されて（又は、調整されて）よいが、実際の使用シナリオにおいて、これはあまり一般的ではない。
典型的には、マスクされるエリアは、Ｉフレームにおけるコーディングユニットのセットとして特定される。これらのコーディングユニットは、続いて、以下に説明するように、新たなＰフレームを作成する際に使用される。上述するように、新たなＰフレームを作成する際に、プライバシマスクを適用する多くの様々な方法がある。１つの実施形態では、動きベクトルが使用され、マスクされる対象を曖昧にする。動きのパターン及び程度は、不明瞭化を異なる程度にて達成するために、各種の実施形態にて構成可能とできる。動きベクトルは、ランダムに生成できる、イメージコンテンツに基づいて適応的に判定できる、又は、マスクされるエリア内にて、イメージデータのスクランブリングを合理的な程度にて与えることが証明されている、あらかじめ定められたパターンにしたがって生成できる。このアプローチでの利点は、その実装がシンプルであり、本質的にいずれのオーバーヘッドなく行うことができるということである。
別の実施形態では、選択された量の不明瞭化を有するコーディングユニットを挿入できる。これは、マスクされている対象を、それを不明瞭化するのではなく、完全に「拭い去る」効果を有する。これらの動作は、典型的には、ＢＷＣからビデオがダウンロードされて保存される、ドッカーステーションなどのメインユニットにより行われる。
さらに別の実施形態では、マスクを表すコーディングユニットは、完全に異なる画像情報と取り換えることができる。例えば、コーディングユニットは、前の段落にて説明したそれらと同様の技術を使用して、スマイリーフェイス、花、又は、いくつかの他のタイプの任意の画像により、取り換えることができる。実際面での視点から、動きベクトルを挿入することは、演算リソースの観点から、最もコスト効率のよいアプローチであり、典型的には、最も美的に好適な代替案でもある。なぜなら、ビデオは、特定のエリアが不明瞭となっている、「通常の」ビデオのように見えるからである。コードブロック及び任意の画像を挿入することを含む本実施形態は、典型的には、演算リソースの観点から、その実装が幾分、より割高であり、幾分、美的に好適なものとはあまり言えない画像を結果として提供する場合もあるため、実際の実装では、動きベクトルの実施形態が使用される可能性がより高い場合がある。
次に、ステップ１０６にて、マスクされる対象を含むＩフレームが、非表示フレームとなるよう設定される。当業者によく知られているように、Ｈ．２６５エンコーディング標準（及び、ＧｏｏｇｌｅのＶＰ１０などの、他のより新しいエンコーディング標準）内では、例えば、フレームは、「非表示（ｎｏ－ｄｉｓｐｌａｙ）」とタグ付けできる。これは、このフレームが、ユーザに対して表示されないことを意味する。Ｈ．２６５では、例えば、タグ付けは、スライスヘッダにおいてｐｉｃ_ｏｕｔｐｕｔ_ｆｌａｇをフォルス（ｆａｌｓｅ）に設定する、又は、ＳＥＩヘッダにおいてｎｏ_ｄｉｓｐｌａｙフラグをトゥルー（ｔｒｕｅ）に設定することにより、行うことができる。
次に、ステップ１０８にて、プライバシマスクを含む新たなＰフレームがビデオストリームに挿入され、Ｉフレームを先に参照した、ＧＯＰにおけるいずれの既存のＰフレームが、新たに挿入されたＰフレームを参照するよう変更される。つまり、リバイスされたＧＯＰでは、Ｐフレームのすべてが、したがって、マスクが適用された画像を含む。マスクを形成するコーディングユニット外のエリアは、典型的には、非表示Ｉフレームを参照して、スキップブロックとして符号化される。当業者によく知られているように、スキップブロックは、ピクセルの、インターモードにてエンコードされたブロックである。これは、参照フレームにおける、ピクセルの対応するブロックを参照する。この対応するブロックから、イメージコンテンツが完全にコピーされるべきである。つまり、マスクされたエリアを除き、新たなＰフレームのコンテンツは、非表示Ｉフレームのそれと同一である。これにより、プロセス１００が終了する。この技術を使用することの大きな利点は、エンコードされたビデオストリームを、エンコーダにより使用されるビデオコーディングフォーマットをサポートする標準ビデオストリームデコーダによりデコードできることである。なぜなら、上記の方法は、そのようなビデオコーディングフォーマットの標準に準拠しているからである。
さらなる利点は、Ｉフレームのイメージデータは依然としてＧＯＰに含まれているが、非表示フレームとしてタグ付けされているため、もとの取得されたイメージデータのすべてはエンコードされたビデオストリームに含まれており、それらは、必要であれば、カスタムデコーダにより後に取得できることである。いくつかの実施形態では、Ｉフレームに対するフラグを、非表示フレームに以後設定されないように、シンプルに変更することにより、マスクされたデータのすべてを取得できる。他の実施形態では、マスクされたデータのサブセットのみが取得されてよい。例えば、画像が１０人の顔を含み、それらの内の１つのみがマスクされないようにすべきシチュエーションを想定する。そのようなシチュエーションでは、新たに挿入されたＰフレームを、代わりに、１人の顔がマスクされておらず、他の９人の顔がマスクされたままとなっている別のＰフレームと取り換えることができる。
図２及び図３は、本発明の各種の実施形態に係る本方法の概念図を提供する。図２に見ることができるように、カメラにより撮像されたビデオシーケンスの一部であるＧＯＰは、Ｉフレーム２０２を含み、これには、３つのＰフレーム２０４から２０８が続き、これらの３つすべては、Ｉフレーム２０２に戻ってこれを参照する。Ｉフレームは、歩いている人を含む。イメージプロセッシングでは、この歩いている人が、プライバシを理由としてビデオにおいてマスクされるべきであることを判定する。
図３は、図１の方法１００を適用することを通して生成された、結果として変更されたＧＯＰを示す。変更されたＧＯＰでは、Ｉフレーム３０２が、図２のＩフレーム２０２に対応するが、これは現在、非表示フレームとしてタグ付けされている。新たなＰフレーム３０３が挿入されており、このＰフレームでは、この歩いている人が、以後視認できないようにマスクされている。残りのＰフレーム３０４から３０８は、図２のＰフレーム２０４から２０８に対応する。これらは現在、Ｉフレーム３０２の代わりに、新たなＰフレーム３０３を参照する。したがって、この歩いている人はまた、これらのフレームにおいてもマスクされている。ここに見られるように、ＧＯＰ（及び、したがってビデオストリーム）のサイズは、新たなＰフレーム（単一又は複数）の追加により幾分大きくなるが、このサイズの増大は、どちらかといえばわずかであり、ビデオに対する保存要件には、いずれの大きな影響がない。
ここに説明する本発明の各種の実施形態には、イントラフレームと、後続のインターフレームと、を有するＧＯＰ構造を使用する、いずれのエンコーディングスキームを使用できる。このスキームの例としては、高効率ビデオコーディング（ＨＥＶＣ／Ｈ．２６５）、バーサタイルビデオコーディング（ＶＶＣ）、エッセンシャルビデオコーディング（ＥＶＣ）、ＶＰ９、及びＡＶ１が挙げられ、これらのすべては、当業者によく知られている。
エンコーダは、したがって、上述するように、ビデオストリームをエンコードするよう適合されている。エンコーダは、ビデオ撮像デバイスに直接設けられてよい、又は、ビデオストリームのイメージデータを受信するよう、有線又は無線接続を通してビデオ撮像デバイスに接続されてよい。エンコーダは、あらかじめ計算された動きベクトルを取得するメモリを含むことができる、又は、これに接続することができる。エンコーダは、画像変換を計算する、及び／又は、画像変換からサンプルとしての動きベクトルを計算するプロセッシングユニットを含むことができる。代替的に又は追加的に、エンコーダは、そのような画像変換及び／又は動きベクトルを計算又は判定するよう適合された個別の計算ユニットからの画像変換及び／又は動きベクトルを受信するよう適合され得る。
エンコーダは、典型的には、上述するように、受信したイメージデータをエンコーディングする、１つ又はいくつかのプロセッシングユニット（例えば、中央処理ユニット（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ又はＣＰＵ））を含む。ＣＰＵは、例えば、コンピュータ可読記憶媒体からインストールされた、ＣＰＵにより実行されると、上記の実施形態のいずれのエンコーディング方法を実施するよう適合された命令を有するソフトウェアを走らせるよう適合され得る。エンコーダは、さらに、エンコードされたビデオストリームを、無線又は有線にて、エンコードされたビデオストリームをデコードするよう適合されたデコーダに、（例えば、インターネットを介して）送信するよう適合されてよい。
ここに開示するシステム（例えば、エンコーダ）及び方法は、ソフトウェア、ファームウェア、ハードウェア、又はそれらの組み合わせとして実装できる。ハードウェアの実装では、上記説明にて引用される機能ユニット間又はコンポーネント間でのタスクの分割は、物理ユニットへの分割に必ずしも対応しない。それどころか、１つの物理コンポーネントは、複数の機能を行うことができ、１つのタスクは、いくつかの物理コンポーネントにより共同で実施されてよい。
特定のコンポーネント又はすべてのコンポーネントは、デジタル信号プロセッサ又はマイクロプロセッサにより実行されるソフトウェアとして実装されてよく、又は、ハードウェアとして実装されてよく、若しくは特定用途向け集積回路として実装されてよい。そのようなソフトウェアは、コンピュータ記憶媒体（又は、非一時的媒体）及び通信媒体（又は、一時的媒体）を含んでよい、コンピュータ可読媒体上に配布されてよい。当業者に知られているように、コンピュータ記憶媒体という用語は、コンピュータ可読命令、データ構造、プログラムモジュール、又は他のデータなどの情報の保存のためのいずれの方法又は技術にて実装される揮発性及び不揮発性の双方の、リムーバブル及び非リムーバブルの双方の媒体を含む。コンピュータ記憶媒体は、ランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ又はＲＡＭ）、読み出し専用メモリ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ又はＲＯＭ）、電気的消去可能・プログラム可能ＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ又はＥＥＰＲＯＭ）、フラッシュメモリ、又は他のメモリ技術、コンパクトディスクＲＯＭ（ｃｏｍｐａｃｔ ｄｉｓｃ（ＣＤ）－ＲＯＭ）、デジタルバーサタイルディスク（ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｋ又はＤＶＤ）、又は他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ、又は他の磁気ストレージデバイス、又は、所望する情報の保存に使用でき、コンピュータによりアクセスできるいずれの他の媒体、を含むが、これらに限定しない。
図中のフローチャート及びブロック図は、本発明の様々な実施形態に係る、システム、方法、及び、コンピュータプログラム製品の可能な実装のアーキテクチャ、機能、及び、作動を示す。これに関して、フローチャート又はブロック図内のそれぞれのブロックは、規定される論理的機能（単一又は複数）を実施する、１つ又はそれ以上の実行可能命令を含むモジュール、セグメント、又は、命令の部位を表してよい。いくつかの代替的実装では、ブロック内に記される機能は、図に記す順序を外れて実施されてよい。例えば、連続して示す２つのブロックは実際に、実質的に同時に実行されるか、又は、関連する機能によっては、これらのブロックが時に反対の順序にて実行されてよい。なお、ブロック図及び／又はフローチャートの図示のそれぞれのブロック、及び、ブロック図及び／又はフローチャートの図示内のブロックの組み合わせは、規定の機能又は作用を行う、又は、専用ハードウェア及びコンピュータ命令の組み合わせを実現する、専用のハードウェアに基づくシステムによっても実装できる。
当業者であれば、上記の実施形態を多くの方法にて変更でき、上記の実施形態に示すような、本発明の利点を依然として使用できることが理解されるであろう。例えば、補助フレームと、補助フレームを補完するフレームと、をエンコーディングする順序は、いずれの適切な方法にて変更できる。例えば、ＧＯＰ内の補助フレームのすべては、エンコードされたビデオストリームにおいて、エンコードされた補助フレームと組み合わされる補助フレームを参照するインターエンコードされたフレームを含む前に、はじめにエンコードされてよい。本発明は従って、ここに示す実施形態に限定されるべきではなく、特許請求の範囲によってのみ定義されるべきである。更に、当業者が理解するように、ここに示す実施形態は組み合わせることも可能である。

Claims (8)

  1. プライバシマスクをビデオストリーム上に提供する方法であって、
    ビデオ内に、プライバシマスクを適用すべき、少なくとも１つのイメージ領域を選択することと、
    前記少なくとも１つのイメージ領域を含む前記ビデオにおけるイメージフレームに対して、
    Iフレームを非表示イメージフレーム（３０２）として示すように、前記イメージフレームに対してフラグを設定することと、
    前記非表示イメージフレーム（３０２）を参照する、前方予測されたイメージフレーム（３０３）を挿入することであって、前記少なくとも１つのイメージ領域を表すコーディングユニットは、前記少なくとも１つのイメージ領域外のエリアを表すコーディングユニットとは異なって処理され、前記少なくとも１つのイメージ領域を表す前記コーディングユニットが曖昧にされて、前記プライバシマスクをまとめて形成し、前記少なくとも１つのイメージ領域外のエリアを表す前記コーディングユニットが、前記非表示イメージフレーム（３０２）を参照するスキップブロックとして設定されるようになっている、前記前方予測されたイメージフレーム（３０３）を挿入することと、
    前記非表示イメージフレーム（３０２）及び前記前方予測されたイメージフレーム（３０３）の双方を含むビデオストリームを出力することと、を含む、方法。
  2. 前記少なくとも１つのイメージ領域を選択することは、ユーザにより行われる、請求項１に記載の方法。
  3. 前記少なくとも１つのイメージ領域を選択することは、対象検出技術を使用して自動的に行われる、請求項１に記載の方法。
  4. 前記前方予測されたイメージフレーム（３０３）において、前記少なくとも１つのイメージ領域を表す前記コーディングユニットは、前記コーディングユニットについての人工的な動きベクトルを導入することにより曖昧さを提供し、これにより前記少なくとも１つのイメージ領域を不明瞭にさせるように配置される、請求項１から請求項３のいずれか一項に記載の方法。
  5. 前記ビデオは、次のフォーマット、すなわち、高効率ビデオコーディング（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、バーサタイルビデオコーディング（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、エッセンシャルビデオコーディング（Ｅｓｓｅｎｔｉａｌ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、ＶＰ９、及びＡＶ１、の内の１つにてエンコードされる、請求項１から請求項４のいずれか一項に記載の方法。
  6. プライバシマスクをビデオストリーム上に提供するエンコーダシステムであって、
    ビデオを受信するよう構成されているドッキングステーションと、
    エンコーダであって、
    前記ビデオ内に、プライバシマスクを適用すべき、少なくとも１つのイメージ領域を選択し、
    前記少なくとも１つのイメージ領域を含む前記ビデオにおけるイメージフレームに対して、
    Iフレームを非表示イメージフレーム（３０２）として示すように、前記イメージフレームに対してフラグを設定し、
    前記非表示イメージフレーム（３０２）を参照する、前方予測されたイメージフレーム（３０３）を挿入し、前記少なくとも１つのイメージ領域を表すコーディングユニットは、前記少なくとも１つのイメージ領域外のエリアを表すコーディングユニットとは異なって処理され、前記少なくとも１つのイメージ領域を表す前記コーディングユニットが曖昧にされて、前記プライバシマスクをまとめて形成し、前記少なくとも１つのイメージ領域外のエリアを表す前記コーディングユニットが、前記非表示イメージフレーム（３０２）を参照するスキップブロックとして設定されるようになっており、
    前記非表示イメージフレーム（３０２）及び前記前方予測されたイメージフレーム（３０３）の双方を含むビデオストリームを出力するよう構成されているエンコーダと、を含む、エンコーダシステム。
  7. プライバシマスクをビデオストリーム上に提供するコンピュータプログラムであって、
    ビデオ内に、プライバシマスクを適用すべき、少なくとも１つのイメージ領域を選択することと、
    前記少なくとも１つのイメージ領域を含む前記ビデオにおけるイメージフレームに対して、
    Iフレームを非表示イメージフレーム（３０２）として示すように、前記イメージフレームに対してフラグを設定することと、
    前記非表示イメージフレーム（３０２）を参照する、前方予測されたイメージフレーム（３０３）を挿入することであって、前記少なくとも１つのイメージ領域を表すコーディングユニットは、前記少なくとも１つのイメージ領域外のエリアを表すコーディングユニットとは異なって処理され、前記少なくとも１つのイメージ領域を表す前記コーディングユニットが曖昧にされて、前記プライバシマスクをまとめて形成し、前記少なくとも１つのイメージ領域外のエリアを表す前記コーディングユニットが、前記非表示イメージフレーム（３０２）を参照するスキップブロックとして設定されるようになっている、前記前方予測されたイメージフレーム（３０３）を挿入することと、
    前記非表示イメージフレーム（３０２）及び前記前方予測されたイメージフレーム（３０３）の双方を含むビデオストリームを出力することと、に対応するプログラム命令を含む、プライバシマスクをビデオストリーム上に提供するコンピュータプログラム。
  8. 請求項７に記載のコンピュータプログラムを含む、デジタル記憶媒体。
JP2020154217A 2019-09-20 2020-09-15 トランスコーディングをしないポストマスキング Active JP7122350B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP19198671.0A EP3796655B1 (en) 2019-09-20 2019-09-20 Video privacy mask in forward predicted video frame
EP19198671 2019-09-20

Publications (3)

Publication Number Publication Date
JP2021064936A JP2021064936A (ja) 2021-04-22
JP2021064936A5 JP2021064936A5 (ja) 2021-12-09
JP7122350B2 true JP7122350B2 (ja) 2022-08-19

Family

ID=68051626

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020154217A Active JP7122350B2 (ja) 2019-09-20 2020-09-15 トランスコーディングをしないポストマスキング

Country Status (4)

Country Link
US (1) US11076156B2 (ja)
EP (1) EP3796655B1 (ja)
JP (1) JP7122350B2 (ja)
CN (1) CN112543327B (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3340624B1 (en) * 2016-12-20 2019-07-03 Axis AB Encoding a privacy masked image
US11277557B1 (en) 2020-04-06 2022-03-15 The Government of the United States of America, as represented by the Secretary of Homeland Security Privacy-aware capture and device
EP3989537B1 (en) * 2020-10-23 2023-05-03 Axis AB Alert generation based on event detection in a video feed
EP4231638A1 (en) * 2022-02-17 2023-08-23 Axis AB Encoding of a video stream including an overlay
EP4387228A1 (en) * 2022-12-15 2024-06-19 Axis AB Method and device for combining image data from two or more encoded image frames

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018137730A (ja) 2016-12-20 2018-08-30 アクシス アーベー プライバシーマスクされた画像を符号化すること
JP2019097157A (ja) 2017-10-18 2019-06-20 アクシス アーベー 補助フレームをサポートするビデオコーディングフォーマットでビデオストリームを符号化するための方法およびエンコーダ

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7702103B2 (en) * 2002-10-25 2010-04-20 Nagra France Device for the transformation of MPEG 2-type multimedia and audiovisual contents into secured contents of the same type
US8098904B2 (en) 2008-03-31 2012-01-17 Google Inc. Automatic face detection and identity masking in images, and applications thereof
US9940525B2 (en) * 2012-11-19 2018-04-10 Mace Wolf Image capture with privacy protection
US20150086175A1 (en) * 2013-09-25 2015-03-26 Mobile-Vision, Inc. Integrated video and audio recording and transmission
EP2874396A1 (en) 2013-11-15 2015-05-20 Everseen Ltd. Method and system for securing a stream of data
EP3021583B1 (en) * 2014-11-14 2019-10-23 Axis AB Method of identifying relevant areas in digital images, method of encoding digital images, and encoder system
CN106162182B (zh) * 2015-03-25 2019-08-30 杭州海康威视数字技术股份有限公司 一种视频编码码流的播放控制方法及系统
US10979704B2 (en) * 2015-05-04 2021-04-13 Advanced Micro Devices, Inc. Methods and apparatus for optical blur modeling for improved video encoding
WO2016180486A1 (en) * 2015-05-12 2016-11-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Composite scalable video streaming
CN105812921B (zh) * 2016-04-26 2019-12-03 Tcl海外电子（惠州）有限公司 控制媒体信息播放的方法及终端
JP6817602B2 (ja) 2016-10-07 2021-01-20 パナソニックＩｐマネジメント株式会社 監視映像解析システム、監視映像解析方法及び監視映像解析プログラム
US20180225476A1 (en) * 2017-02-03 2018-08-09 Siracusano Automated image editing system
EP3499870B1 (en) * 2017-12-14 2023-08-23 Axis AB Efficient blending using encoder
EP3591972A1 (en) * 2018-07-02 2020-01-08 Axis AB Method and system for encoding video with overlay

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018137730A (ja) 2016-12-20 2018-08-30 アクシス アーベー プライバシーマスクされた画像を符号化すること
JP2019097157A (ja) 2017-10-18 2019-06-20 アクシス アーベー 補助フレームをサポートするビデオコーディングフォーマットでビデオストリームを符号化するための方法およびエンコーダ

Also Published As

Publication number Publication date
US11076156B2 (en) 2021-07-27
EP3796655B1 (en) 2021-11-03
US20210092387A1 (en) 2021-03-25
EP3796655A1 (en) 2021-03-24
JP2021064936A (ja) 2021-04-22
CN112543327A (zh) 2021-03-23
CN112543327B (zh) 2022-04-15

Similar Documents

Publication Publication Date Title
JP7122350B2 (ja) トランスコーディングをしないポストマスキング
US10277901B2 (en) Encoding a video stream having a privacy mask
CN111741289B (zh) 处理立方体面图像的方法和装置
KR102067199B1 (ko) 비디오를 인코딩하기 위한 방법 및 인코더 시스템
JP6964647B2 (ja) オブジェクトのプライバシが保護されるイメージフレームのシーケンスをエンコーディング及びデコーディングする方法及びデバイス
KR20200003715A (ko) 오버레이로 비디오를 인코딩하기 위한 방법 및 시스템
JP6573673B2 (ja) 高フレームレート−低フレームレート伝送技術
EP2536143B1 (en) Method and a digital video encoder system for encoding digital video data
CN112543330B (zh) 模糊隐私遮蔽的编码方法、系统及存储介质
US10798418B2 (en) Method and encoder for encoding a video stream in a video coding format supporting auxiliary frames
JP6707334B2 (ja) リアルタイム符号化のための方法及び装置
US10049436B1 (en) Adaptive denoising for real-time video on mobile devices
CN114531528B (zh) 用于视频处理的方法和图像处理设备
US20210090413A1 (en) Using a skip block mask to reduce bitrate from a monitoring camera
US20220129680A1 (en) Alert generation based on event detection in a video feed
CN116188603A (zh) 图像处理方法和装置
Takada et al. Improvement of 8K UHDTV picture quality for H. 265/HEVC by global zoom estimation
JP2018129688A (ja) 映像符号化装置、映像符号復号システム、及び映像符号化プログラム
CN116614630A (zh) 对包括叠层的视频流进行编码
Yang Screen Content Coding in HEVC: Mixed Raster Content with Matching Pursuit
KR20180104218A (ko) 효과적인 영상 부/복호화를 위한 인루프 필터 정보 전송 방법 및 장치
KR20190027405A (ko) 전방향 카메라에서 효과적인 영상 패딩 방법 및 장치
JP2017147749A (ja) 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211028

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211028

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20211028

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220518

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220808

R150 Certificate of patent or registration of utility model

Ref document number: 7122350

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150