JP5919365B2 - 映像要約方法および装置 - Google Patents

映像要約方法および装置 Download PDF

Info

Publication number
JP5919365B2
JP5919365B2 JP2014248048A JP2014248048A JP5919365B2 JP 5919365 B2 JP5919365 B2 JP 5919365B2 JP 2014248048 A JP2014248048 A JP 2014248048A JP 2014248048 A JP2014248048 A JP 2014248048A JP 5919365 B2 JP5919365 B2 JP 5919365B2
Authority
JP
Japan
Prior art keywords
rate
frame
trajectory
moving
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014248048A
Other languages
English (en)
Other versions
JP2015115955A (ja
Inventor
▲揚▼ ▲劉▼
▲揚▼ ▲劉▼
馨▲ユ▼ 杜
馨▲ユ▼ 杜
棟 王
棟 王
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2015115955A publication Critical patent/JP2015115955A/ja
Application granted granted Critical
Publication of JP5919365B2 publication Critical patent/JP5919365B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S358/00—Facsimile and static presentation processing
    • Y10S358/907—Track skippers, i.e. "groove skippers"

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、映像分野に関する。特定的には、映像要約方法および装置に関する。
社会の公安の分野では、映像監視システムは、社会秩序を維持し、かつ、行政を強化する重要な部分である。現在のところ、監視システムは、銀行、ショッピングモール、バス停留所、地下駐車場、および交差点のような公共の場に広く適用されている。多くの手動によるサポートが現実の監視業務において依然として必要とされる。監視カメラは、１日当たり２４時間の連続モニタリングを実行するときに大量の映像データを生成する。この事例では、監視映像から証拠を見つけ出すことが必要とされる場合、このことは、多大な労力、時間、および物的資源を消費することが避けられず、非常に効率が低い原因となり、事例を解決するための最良の機会を失うことにつながることさえある。その結果、映像監視システムでは、映像事象の再生時間は、映像を要約することにより短縮され、取り出されるべき対象物は、フィルタリングのため対象物を分類することにより素早く閲覧され、ロックされる。それによって、監視効率を著しく改善し、このことは、警察が事件解決を加速し、そして、大きな事件および重大な事件を解決する効率を改善するのを支援するために極めて重要である。従来技術は、映像要約方法を提供する。入力映像ストリーム内のシーン情報を解析し、シーン情報から前景情報を抽出することにより、シーン情報内の対象物情報は、獲得された前景情報のクラスタ解析を実行することにより取得され、さらに対応する要約映像が生成される。生成された要約映像において、画像の単一のフレームは、入力映像中の異なったフレームにおいて獲得された対象物情報を含む。従来技術は、フレーム単位で要約を実行し、要約映像が単一の方式で表示されることの原因となり、異なった軌跡の異なった表現が反映される可能性はない。
要約映像が単一の方式で表示されるという問題を解決するために、映像要約方法および装置が本発明の実施形態において提供される。技術的解決策は、以下のとおりである。
第１の態様によれば、本発明は、映像要約方法を提供し、本方法は：
原映像から少なくとも２つの移動対象物および少なくとも２つの移動対象物の移動軌跡を抽出するステップと、
少なくとも２つの移動軌跡の間で時空間冗長度を計算し、時空間冗長度に従って移動軌跡の要約率を決定するステップと、
移動軌跡の要約率に従って移動対象物の移動軌跡を要約するステップと、
を含む。
第１の態様に関連して、第１の態様の第１の可能な実施方式では、原映像は、少なくとも１つの映像セグメントを含み、少なくとも２つの移動軌跡の間で時空間冗長度を計算し、時空間冗長度に従って移動軌跡の要約率を決定するステップの前に、本方法は、さらに：
少なくとも１つの映像セグメントから、移動対象物の開始フレームおよび終了フレームの時点に対応する１つ以上の時間座標値と、移動対象物の移動軌跡が通過した空間座標値とを獲得するステップと、を含み、
少なくとも２つの移動軌跡の間で時空間冗長度を計算し、時空間冗長度に従って移動軌跡の要約率を決定するステップは、特には：
移動対象物の開始フレームおよび終了フレームに対応する時間座標値に従って移動対象物の間で時間的衝突確率を計算するステップと、
移動対象物の移動軌跡が通過した空間座標値に従って移動軌跡の間で空間的交差確率を計算するステップと、
時間的衝突確率および空間的交差確率に従って移動軌跡の時空間冗長度を取得するステップと、
時空間冗長度に従って移動軌跡の要約率を決定するステップと、
を含む。
第１の態様の第１の可能な実施方式に関連して、第１の態様の第２の可能な実施方式では、本方法は：
以下の式：
を使用することによって時間的衝突確率を計算により取得するステップと、
以下の式：
を使用することによって空間的交差確率を計算により取得するステップと、
以下の式：
を使用することによって空間的交差確率および時間的衝突確率の合計を計算により取得するステップと、
以下の式：
を使用することによって時空間冗長度を計算により取得するステップと、
を含み、ここで、ｆは、原映像が時間またはフレーム単位でセグメント化された後に取得されたｆ番目の映像セグメントを示し、ｔｉ，ｎは、ｆ番目の映像セグメント内部のｉ番目の移動軌跡上のｎ番目の移動対象物の移動期間を示し、ｔｉ，ｎは、ｎ番目の移動対象物の寿命以下であり、寿命は、移動対象物の開始フレームの時点と終了フレームの時点との間の期間であり、Ｗ（ｆ）は、時間的衝突確率および空間的交差確率の感度調整関数を示す。
第１の態様、および、第１の態様の第１の可能な実施方式または第１の態様の第２の可能な実施方式のいずれかに関連して、第１の態様の第３の可能な実施方式では、移動軌跡の要約率に従って移動対象物の移動軌跡を要約するステップは：
移動軌跡の要約率に従って、移動軌跡のフレームを変わらないまま維持し、移動軌跡の原フレームレートを変化させるステップ、または、
移動軌跡の要約率に従って、移動軌跡の原フレームレートを変わらないまま維持し、移動軌跡のフレームを削減するステップ、または、
移動軌跡の要約率に従って、移動軌跡のフレームを削減し、移動軌跡の原フレームレートを変化させるステップ、を含む。
第１の態様の第３の可能な実施方式に関連して、第１の態様の第４の可能な実施方式では、移動軌跡の要約率に従って、移動軌跡のフレームを変わらないまま維持し、移動軌跡の原フレームレートを変化させることは：
移動軌跡の要約率に従って移動軌跡のフレームレートの変化値を取得し、フレームレートの変化値に従ってフレームレートを増加させることにより移動軌跡に対する加速を実行する。
第１の態様の第４の可能な実施方式に関連して、第１の態様の第５の可能な実施方式では、移動軌跡の要約率に従って、移動軌跡の原フレームレートを変わらないまま維持し、移動軌跡のフレームを削減することは：
移動軌跡の要約率に従って移動軌跡のフレームの変化値を取得し、フレームの変化値に従ってフレームを削減することにより移動軌跡に対する加速を実行することを含む。
第１の態様の第５の可能な実施方式に関連して、第１の態様の第６の可能な実施方式では、移動軌跡の要約率に従って、移動軌跡のフレームを削減し、移動軌跡の原フレームレートを変化させることは：
移動軌跡の要約率に従って移動軌跡のフレームレートの変化値およびフレームの変化値を取得し、フレームレートの変化値およびフレームの変化値に従って、フレームレートを変化させ、フレームを削減することにより、移動軌跡に対する加速を実行すること
を含む。
第１の態様、または、第１の態様の第１の可能な実施方式から第６の可能な実施方式のうちのいずれか１つに関連して、第１の態様の第７の可能な実施形態では、移動軌跡の要約率に従って移動対象物の移動軌跡を要約した後、本方法は：
関心領域を設定し、要約率の値域の範囲内で、関心領域内の移動軌跡に関して、カスタマイズされたレート変化を実行すること、または、
要約率に従って移動対象物の移動軌跡のレートを変化させること
をさらに含む。
第２の態様によれば、本発明の実施形態は、映像要約装置を提供し、本装置は：
原映像から少なくとも２つの移動対象物および少なくとも２つの移動対象物の移動軌跡を抽出するように構成されている抽出ユニットと、
抽出ユニットによって抽出された少なくとも２つの移動軌跡の間で時空間冗長度を計算し、時空間冗長度に従って移動軌跡の要約率を決定するように構成されている計算ユニットと、
計算ユニットによって決定された移動軌跡の要約率に従って移動対象物の移動軌跡を要約するように構成されている要約ユニットと、
を含む。
第２の態様に関連して、第２の態様の第１の可能な実施方式では、原映像は、少なくとも１つの映像セグメントを含み、抽出ユニットは、移動対象物の開始フレームおよび終了フレームに対応する時間座標値と移動対象物の移動軌跡が通過した空間座標値とを獲得するように構成され、
計算ユニットは：
移動対象物の開始フレームおよび終了フレームに対応する時間座標値に従って、移動対象物の間で時間的衝突確率を計算するように構成されている時間的衝突確率計算サブユニットと、
移動対象物の移動軌跡が通過した空間座標値に従って、移動軌跡の間で空間的交差確率を計算するように構成されている空間的交差確率計算サブユニットと、
時間的衝突確率および空間的交差確率に従って、移動軌跡の時空間冗長度を取得するように構成されている時空間冗長度獲得サブユニットと、
時空間冗長度に従って、移動軌跡の要約率を決定するように構成されている要約率獲得サブユニットと、
をさらに含む。
第２の態様の第１の可能な実施方式に関連して、第２の態様の第２の可能な実施方式では、時間的衝突確率計算サブユニットは、以下の式：
を使用することにより移動対象物の間で時間的衝突確率を計算し、
空間的交差確率計算サブユニットは、以下の式：
を使用することにより移動対象物の間で空間的交差確率を計算し、
時空間冗長度獲得サブユニットは：
以下の式：
を使用することにより移動軌跡の間で空間的交差確率および時間的衝突確率の合計を計算する空間的交差確率および時間的衝突確率の合計計算補助サブユニットを含み、
時空間冗長度獲得補助サブユニットは、以下の式：
を使用することにより移動軌跡の間で時空間冗長度を計算し、ここで、ｆは、原映像が時間またはフレーム単位でセグメント化された後に取得されたｆ番目の映像セグメントを示し、ｔｉ，ｎは、ｆ番目の映像セグメント内部のｉ番目の移動軌跡上のｎ番目の移動対象物の移動期間を示し、ｔｉ，ｎは、ｎ番目の移動対象物の寿命以下であり、寿命は、移動対象物の開始フレームの時点と終了フレームの時点との間の期間であり、Ｗ（ｆ）は、時間的衝突確率および空間的交差確率の感度調整関数を示す。
第２の態様、第２の態様の第１の可能な実施方式、および第２の態様の第２の可能な実施方式に関連して、第２の態様の第３の可能な実施方式では、要約ユニットは：
移動軌跡の要約率に従って、移動軌跡のフレームを変わらないまま維持し、移動軌跡の原フレームレートを変化させるように構成されている第１のレート変化サブユニット、または、
移動軌跡の要約率に従って、移動軌跡の原フレームレートを変わらないまま維持し、移動軌跡のフレームを削減するように構成されている第２のレート変化サブユニット、または、
移動軌跡の要約率に従って、移動軌跡のフレームを削減し、移動軌跡の原フレームレートを変化させるように構成されている第３のレート変化サブユニット、
を含む。
第２の態様の第３の可能な実施方式に関連して、第２の態様の第４の可能な実施形式では、第１のレート変化サブユニットは、特には、移動軌跡の要約率に従って、移動軌跡のフレームレートの変化値を取得し、フレームレートの変化値に従ってフレームレートを増加させることにより移動軌跡に対する加速を実行するように構成されている。
第２の態様の第４の可能な実施方式に関連して、第２の態様の第５の可能な実施方式では、第２のレート変化サブユニットは、特には、移動軌跡の要約率に従って、移動軌跡のフレームの変化値を取得し、フレームの変化値に従ってフレームを削減することにより移動軌跡に対する加速を実行するように構成されている。
第２の態様の第５の可能な実施形式に関連して、第２の態様の第６の可能な実施方式では、第３のレート変化サブユニットは、特には、移動軌跡の要約率に従って移動軌跡のフレームレートの変化値およびフレームの変化値を取得し、フレームレートの変化値およびフレームの変化値に従って、フレームレートを変化させ、フレームを削減することにより、移動軌跡に対する加速を実行するように構成されている。
第２の態様の第１から第６の可能な実施方式のうちのいずれか１つに関連して、第２の態様の第７の可能な実施方式では、本装置は：
関心領域を設定することにより、関心領域内の移動軌跡上で、要約率の値域の範囲内でカスタマイズされたレート変化を実行するように構成されているカスタマイズ型レート変化サブユニット、または、
要約率に従って移動対象物の移動軌跡のレートを変化させるように構成されている自動レート変化サブユニット
をさらに含む。
本発明の実施形態において提供された映像要約方法および装置によれば、移動対象物および移動軌跡が原映像から抽出され、軌跡の間で時空間冗長度が計算される。すなわち、移動軌跡の間の時空間冗長度は、時間的および空間的に、移動軌跡の重畳する確率に基づいて取得される。その結果、異なった移動軌跡の要約率は、別々に取得され、異なった移動軌跡のレートは、異なった要約率に従って別々に変化させられ、それによって、異なった軌跡の異なった表現を反映し、要約結果の表示方式を多様化する。さらに、場合によっては、上記説明に基づいて、ユーザのための関心領域を設定することにより、ユーザが関心をもっている対象物のレートまたは領域が削減することができ、それによって、ユーザが徹底した観察を行うことを可能にさせ、対象物の追跡の情報完全性を確保する。
本発明の実施形態における技術的解決策をより明瞭に説明するために、以下に、実施形態を説明するため必要とされる添付図面を簡単に紹介する。当然ながら、以下の説明中で添付図面は、本発明の単なるいくつかの実施形態を示し、当業者は、創造的な努力をしなくても、これらの添付図面から他の図面をなお依然として導き出すことができる。
本発明の実施形態１に従った、映像要約方法のフローチャートである。 本発明の実施形態１に従った、映像要約方法においてセグメント単位で原映像を撮り直す実施図である。 本発明の実施形態２に従った、映像要約装置の構成ブロック図である。 本発明の実施形態２に従った、映像要約装置における計算ユニットの構成ブロック図である。 本発明の実施形態２に従った、映像要約装置における要約ユニットの構成ブロック図である。
以下に、本発明の実施形態における添付図面を参照して本発明の実施形態における技術的解決策を明瞭かつ完全に説明する。当然ながら、説明された実施形態は、本発明の実施形態の全部ではなく単に一部である。創造的な努力をすることなく本発明の実施形態に基づいて当業者によって達成されたすべての他の実施形態は、当然に本発明の保護範囲に含まれる。
実施形態１
図１に示されるように、本発明の本実施形態は、映像要約方法を提供し、本方法は、以下のステップを含む：
Ｓ１０１：原映像から少なくとも２つの移動対象物および少なくとも２つの移動対象物の移動軌跡を抽出する。
具体的なアプリケーションシナリオでは、原映像から移動対象物および移動対象物の移動軌跡を抽出することは、移動対象物セグメンテーション技術に関係する。すなわち、映像の前景および背景は、セグメント化される。映像中で背景から前景を分離することは、前景または背景の独立した処理を実現し易くする。本明細書において、前景とは、移動対象物および移動対象物の軌跡のことを指し、本明細書において、背景とは、移動対象物または移動対象物の軌跡ではない対象物のことを指す。前景が背景から分離された後、取得された背景は、背景光増強および背景識別のような様々な方法で処理され得る。背景が処理された後、前景、すなわち、移動対象物および移動対象物の軌跡が追加することができ、これは、背景とは独立した処理である。同様に、前景が背景から分離された後、前景、すなわち、対象物および対象物の軌跡が独立に処理され、その後、背景が追加される、ということもある。本実施形態において提供された技術的解決策において、セグメンテーションを用いて取得された前景、すなわち、移動対象物および移動対象物の軌跡は、独立に処理され、異なった移動対象物および異なった移動対象物の軌跡は、層毎に重ね合わされる。
しかし、移動対象物セグメンテーションが実施される前に、移動対象物および移動対象物の軌跡を取得するために、移動対象物検出および追跡が最初に実行される必要がある。具体的な実施プロセスにおいて、移動対象物検出および追跡を実施するために使用され得る多くの方法が存在し、移動対象物検出および移動対象物追跡の技術は、移動対象物および移動対象物の移動軌跡を抽出するために組み合わされる。たとえば、フレーム差分法および背景モデリング法は、移動対象物検出において使用され得る。平均シフト（ｍｅａｎ ｓｈｉｆｔ）法および長期追跡アルゴリズム（ｌｏｎｇ ｔｅｒｍ ｔｒａｃｋｉｎｇ）のような追跡技術は、移動対象物追跡において使用され得る。原映像から移動対象物および移動対象物の移動軌跡を抽出することにより、移動対象物の開始フレームおよび終了フレームの時点に対応する時間座標と、移動軌跡が通過した空間座標の系列とが取得される。
Ｓ１０２：少なくとも２つの移動軌跡の間で時空間冗長度を計算し、時空間冗長度に従って移動軌跡の要約率を決定する。
ステップ１０１において原映像から取得された異なった移動対象物および異なった移動対象物の移動軌跡に従って、軌跡の時間的衝突確率は、移動軌跡の一方での移動対象物の開始フレームおよび終了フレームの時点に対応する時間座標が他の移動対象物の開始フレームおよび終了フレームの時点に対応する時間座標と重畳する確率に従って取得される。時間的衝突確率は、移動軌跡上の移動対象物の寿命が移動軌跡上の他の移動対象物の寿命と重なる確率であり、この移動対象物の寿命は、移動対象物の開始フレームおよび終了フレームの時点に従って取得される。
ステップＳ１０１において原映像から取得された異なった移動対象物および異なった移動対象物の移動軌跡に従って、軌跡の空間的交差確率は、移動対象物のうちの１つが空間で通過した軌跡上で取得された空間座標の系列が他の移動対象物のうちの１つが空間で通過した軌跡上で取得された空間座標の系列と重畳する確率に従って取得される。空間的交差確率は、移動軌跡上の移動対象物が他の移動軌跡と交差する確率である。
すなわち、時間的衝突確率は、時間的衝突が移動軌跡上の複数の移動対象物の間で起こる事例では、１つの移動軌跡に基づいて解析される。移動軌跡上に移動対象物が１つしか存在しないとき、時間的衝突確率はゼロである。空間的交差確率は、空間的交差が異なった移動軌跡の間で起こる事例では、異なった移動軌跡に基づいて解析される。すべての移動対象物が１つの移動軌跡を共用するとき、空間的交差確率はゼロである。
同じ移動対象物に基づいて取得された空間的交差確率および時間的衝突確率は、互いに独立している。移動軌跡の空間的交差確率および時間的衝突確率の合計は、２つの独立した確率を組み合わせることにより取得され得る。空間的交差確率および時間的衝突確率の合計は、移動軌跡と他の移動軌跡との間に存在する相対的な時空間冗長度、すなわち、要約され得るフレームと全フレームとの比率、すなわち、移動軌跡の相対的な要約率を推定／獲得するために使用され得る。要約率は、要約映像中に格納されたデータの量と原映像中に格納されたデータの量との比率である。
Ｓ１０３：移動軌跡の要約率に従って移動対象物の移動軌跡を要約する。
Ｓ１０２で取得された移動軌跡の要約率、すなわち、要約され得るフレームと全フレームとの比率に従って、移動軌跡のレートが変化させられる。特には、大きい時空間冗長度は、軌跡の大きい要約率を示す。異なった移動軌跡の異なった要約率を獲得するために移動対象物の異なった移動軌跡を別々に解析することにより、異なった移動軌跡のレートが異なった移動軌跡の要約率に従って別々に変化させられることが実施することができ、少なくとも他の移動対象物と相対的な１つの移動対象物の移動レートが変化させられ、レート可変移動軌跡の空間的位置およびレート変化速度が取得される。
本発明の本実施形態では、移動軌跡間の時空間冗長度は、時間および空間における移動軌跡の重畳する確率に基づいて取得される。その結果、異なった移動軌跡の要約率は、別々に取得され、異なった移動軌跡のレートは、異なった要約率に従って別々に変化させられ、それによって、異なった軌跡の異なった表現を反映し、要約結果の表示方式を多様化する。具体的な事例を用いることにより、以下は、本発明において提供された軌跡の時間的圧縮に基づく映像要約方法を説明する。
本発明における軌跡の時間的圧縮に基づく映像要約方法におけるステップＳ１０１の具体的な実施プロセスは、以下を含んでよい。
具体的な実施プロセスでは、原映像全体から移動対象物および移動軌跡を抽出することが、多数の移動対象物および移動軌跡を同時に取得することがある。この問題は、特に、多数の人々および車両が存在する繁華街における監視映像の場合には、より明白である。その結果、選択自由な実施方式として、原映像から移動対象物および移動対象物の移動軌跡を抽出する上記ステップは、以下のステップ：
ａ． 少なくとも２つの映像セグメントを取得するために原映像上でセグメンテーションを実行するステップ
を含んでよい。
場合によっては、セグメンテーションは、時間または他の方式に基づくことがある。その上、異なったセグメンテーション方式が異なった環境における監視映像のため選択され得る。たとえば、多種多様の移動対象物が存在する繁華街における監視映像の場合、セグメンテーション中に選択されたセグメント長は、比較的短くてもよい。このように、同時に取得された移動対象物および移動対象物の軌跡は、比較的適切な範囲内にあり、この期間内の時空間冗長度の解析は、より正確であり、得られる効果がより明瞭であり、それによって、観察者の警戒を実現し易くする。
ｂ． 少なくとも２つの映像セグメントから映像セグメント選択し、映像セグメントから移動対象物および移動対象物の移動軌跡を抽出する。
本発明における軌跡の時間的圧縮に基づく映像要約方法におけるステップＳ１０２の具体的な実施プロセスは、以下のとおりである。
原映像のセグメンテーションと、上記ステップにおいて１つの映像セグメントから取得された異なった移動対象物および移動軌跡とに従って、軌跡の時間的衝突確率は、映像セグメント内の移動軌跡上の移動対象物の開始フレームおよび終了フレームの時点に対応する時間座標が映像セグメント内の他の移動対象物の開始フレームおよび終了フレームの時点に対応する時間座標と重畳する確率に従って取得される。時間的衝突確率は、移動軌跡上の移動対象物の寿命が移動軌跡上の他の移動対象物の寿命と重なる確率であり、この移動対象物の寿命は、移動対象物の開始フレームおよび終了フレームの時点に従って取得される。
原映像のセグメンテーションと、上記ステップにおいて１つの映像セグメントから取得された異なった移動対象物および移動軌跡とに従って、軌跡の空間的交差確率は、映像セグメント内の移動対象物が空間内で通過した軌跡上で取得された空間座標の系列が映像セグメント内の他の移動対象物が空間内で通過した軌跡上で取得された空間座標の系列と重畳する確率に従って取得される。空間的交差確率は、移動軌跡上の移動対象物が他の移動軌跡と交差する確率である。
同じ映像セグメント内の同じ移動対象物に基づいて取得された空間的交差確率および時間的交差確率は、互いに独立している。移動軌跡の空間的交差確率および時間的衝突確率の合計は、２つの独立した確率を組み合わせることにより取得され得る。空間的交差確率および時間的衝突確率の合計は、移動軌跡と他の移動軌跡との間に存在する相対的な時空間冗長度、すなわち、要約され得るフレームと全フレームとの比率、すなわち、移動軌跡の相対的な要約率である。
具体的には、Ｔｒａｃｋ（ｔｉ，ｎ，ｉ，ｎ）は、映像セグメント内の移動軌跡（ｆ番目の映像セグメント）、すなわち、ｉ番目の移動軌跡上のｎ番目の対象物がｔｉ，ｎ期間に通過する軌跡を示すために使用され、Ｐｄｉ，ｎ（ｆ）は、ｉ番目の軌跡以外の他の移動軌跡がｆ番目の映像セグメント内部のｉ番目の軌跡上のｎ番目の対象物と交差する確率、すなわち、空間的交差確率を示すために使用され、Ｐｔｉ，ｎ（ｆ）は、ｉ番目の軌跡を格納する原映像セグメント内のｔｔ，ｎ期間を除く期間中に現れる移動対象物がｔｔ，ｎ期間中にｉ番目の軌跡上のｎ番目の対象物と衝突する確率、すなわち、時間的衝突確率を示すために使用される。
具体的には、少なくとも２つの移動軌跡の間で時空間冗長度を計算し、時空間冗長度に従って移動軌跡の要約率を決定することは、以下を含んでよい。
図２に示されるように、映像セグメント内のすべての対象物の軌跡（ｆ番目の映像セグメントが一例として使用される）は、原映像がセグメント化された後、開始時に揃えられ、抽出された移動軌跡の時空間冗長度は、以下の式を使用して計算される。
空間的交差は、異なった移動軌跡が空間的に互いに交差する事例であり、空間的交差確率は、具体的に：
として表現され得る。
異なった移動軌跡は、空間的に相互に交差するだけであり、時間的に互いに衝突しないので、時間的衝突は、同じ移動軌跡上の異なった移動対象物が互いに衝突する事例であり、時間的衝突確率は、具体的に：
として表現することができ、式中、ｆは、原映像が時間またはフレーム単位でセグメント化された後に取得されたｆ番目の映像セグメントを示し、ｔｉ，ｎは、ｆ番目の映像セグメント内部のｉ番目の移動軌跡上のｎ番目の移動対象物の移動期間を示し、ｔｉ，ｎは、ｎ番目の移動対象物の寿命以下であり、ｆ番目の映像セグメント内部のｉ番目の軌跡上のすべての対象物の寿命は、ｆ番目の映像セグメント内部のｉ番目の軌跡上のすべての対象物の寿命の合計であり、寿命は、移動対象物の開始フレームの時点と終了フレームの時点との間の期間である。上記式中の項は、Ｓ１０１における原映像内の移動軌跡の寿命の範囲内の時間座標および空間座標から取得することができ、上記２つの確率は、互いに独立しているので、軌跡Ｔｒａｃｋ（ｔｉ，ｎ，ｉ，ｎ）に対して、交差確率および衝突確率の合計は：
である。
結論として、以下の軌跡最適化関数：
が軌跡Ｔｒａｃｋ（ｔｉ，ｎ，ｉ，ｎ）の時空間冗長度を示すために設定され得る。
Ｗ（ｆ）は、時間的衝突確率および空間的交差確率の感度調整関数を示し、この関数は、ｆ番目の映像セグメント内部の軌跡の数の非増加関数に対して設定され得る。たとえば、Ｗ（ｆ）の値は、０．５であること、または０より大きく、かつ、１より小さいことがあり、これは、経験的な値である。当然ながら、より大きい時空間冗長度Ｏｉ，ｎ（ｆ）は、軌跡Ｔｒａｃｋ（ｔｉ，ｎ，ｉ，ｎ）のより大きい要約の程度、すなわち、時空間冗長度Ｏｉ，ｎ（ｆ）の値が要約率の値であるので、より大きい要約率を示す。
その後、移動軌跡の要約率が時空間冗長度に従って決定される。
上記ステップにおいて取得された移動軌跡の要約率、すなわち、要約され得るフレームと全フレームとの比率に従って、具体的には、より大きい時空間冗長度は、軌跡のより大きい要約率を示す。異なった移動軌跡の要約率に従って、異なった移動軌跡の比率は、別々に変化させられ、少なくとも他の移動対象物と相対的な移動対象物の移動レートは、変化させられ、レート可変移動軌跡の空間的位置およびレート変化速度が取得される。具体的な実施プロセスでは、移動軌跡のレートを変化させることは、少なくとも以下のアプローチを使用することにより実施され得る。アプローチ１）原表示フレームレートを変化させる。すなわち、表示フレームレートは、原映像の表示フレームレートと一致することなく、この表示フレームレートは、２つの状況に分類され得る：状況ａ．フレームレートを増加させる。すなわち、表示フレームレートが原映像の表示フレームレートより高いという前提で、本事例では、加速は、軌跡のフレームを変わらないまま維持することによって軌跡の表示レートをさらに増加させることにより、または、指定された軌跡のフレームを削減することにより実行することができ、減速は、指定された軌跡の表示レートを増加させることにより実施され得る。状況ｂ．フレームレートを削減する。すなわち、表示フレームレートが原映像の表示フレームレートより低いという前提で、本事例では、加速は、軌跡のフレームを削減することにより実施することができ、減速は、軌跡のフレームを変わらないまま維持する、もしくは、指定された軌跡のフレームを増加させることにより実施され得る。アプローチ２）原表示フレームレートを維持する。すなわち、表示フレームレートが原映像の表示フレームレートと一致したまま維持するという前提で、指定された軌跡の表示レートの加速は、指定された軌跡のフレームを削減することにより実施することができ、指定された軌跡の表示レートの減速は、軌跡のフレームを増加させることにより実施され得る。
選択自由な実施方式として、移動軌跡のレートを変化させる上記アプローチ１）に基づいて、移動軌跡のフレームは、変わらないまま維持され、移動軌跡の原フレームレートは、変化させられ、移動軌跡のフレームレートの変化値は、移動軌跡の要約率に従って取得することができ、加速は、フレームレートの変化値に従ってフレームレートを増加させることにより移動軌跡に対して実行される。具体的には、移動軌跡の要約率は、移動軌跡のフレームレートの変化値に正比例している。すなわち、原フレームレートに基づいて、より大きい要約率がより大きい変化レートの変化を示し、より小さい要約率は、フレームレートのより小さい変化を示す。前提は、レート変化が原フレームレートに基づいてすべて加速であり、加速振幅にわずかに違いがある、ということである。
別の選択自由な実施方式として、移動軌跡のレートを変化させる上記アプローチ２）に基づいて、移動軌跡の原フレームレートは、変わらないまま維持され、移動軌跡のフレームが削減され、移動軌跡のフレームの変化値は、移動軌跡の要約率に従って取得することができ、加速は、フレームの変化値に従ってフレームを削減することにより移動軌跡に対して実行される。具体的には、移動軌跡の要約率は、移動軌跡のフレームの変化値に正比例する。すなわち、原フレームに基づいて、より大きい要約率は、フレームのより大きい変化を示し、より小さい要約率は、フレームのより小さい変化を示す。前提は、フレーム変化が原フレームに基づいてすべて減少であり、減速振幅にわずかに違いがある、ということである。
さらに別の選択自由な実施方式として、移動軌跡のレートを変化させる上記アプローチ１）に基づいて、移動軌跡のフレームは、削減され、移動軌跡の原フレームレートは、変化させられ、フレームレートの変化値および移動軌跡のフレームの変化値は、移動軌跡の要約率に従って取得することができ、加速は、フレームレートの変化値に従ってフレームレートを変化させることにより移動軌跡に対して実行され、加速は、フレームの変化値に従ってフレームを削減することにより移動軌跡に対して実行される。具体的には、移動軌跡の要約率は、移動軌跡のフレームレートの変化値に正比例し、移動軌跡の要約率は、移動軌跡のフレームの変化値に正比例する。すなわち、原フレームレートに基づいて、より大きい要約率は、フレームレートのより大きい変化を示し、より小さい要約率は、フレームレートのより小さい変化を示す。前提は、レート変化が原フレームレートに基づいて全て加速であり、加速振幅差にわずかに違いがある、ということである。その上、原フレームに基づいて、より大きい要約率は、フレームのより大きい変化を示し、より小さい要約率は、フレームのより小さい変化を示す。前提は、フレーム変化が原フレームに基づいてすべて減少であり、減少振幅にわずかに違いがある、ということである。
上記実施方式のうちのいずれか１つに基づいて、場合によっては、ユーザは、要約映像内で関心領域を設定することがある。たとえば、現実環境において、警察は、要約映像を警戒するとき、１つ以上の対象物に関心をもつことがある。本事例では、関心のある対象物の再生レートを遅くするために、カスタマイズされたレート変化が１つ以上の関心のある対象物の移動軌跡に対して実行され得る。すなわち、調整が原映像の表示レートと要約映像の表示レートとの間で行われる。本事例では、他の移動軌跡は、それでもなお、他の移動軌跡の要約率に従って最大の程度まで要約され得る。すなわち、他の移動対象物は、比較的速いレートで移動する。本実施方式では、関心のある領域に関して減速を実行することにより、関心のある領域は、それによって、より優れた動的な細部表示効果を獲得する。上述のとおり、具体的な減速解決策は、表示フレームレートを削減することによって、または、フレームを増加させることによって実施され得る。
場合によっては、ユーザは、関心領域を設定しない場合もある。この事例では、すべての移動軌跡は、移動軌跡の対応する時空間冗長度に従って取得された要約率に従って要約される。すなわち、すべての移動対象物は、かなり最速のレートで移動する。すなわち、異なった軌跡の表示レートは、異なった要約率に従って調整されるので、その結果、時空間表示の均一効果が確保されることを前提として、映像要約結果の表示時間が合理的、かつ、効率的に圧縮されることが実施される。
移動軌跡の時空間冗長度は、本発明の本実施形態において、移動軌跡の時間的かつ空間的に重畳する確率に基づいて取得される。その結果、異なった移動軌跡の要約率は、別々に取得され、異なった移動軌跡のレートは、異なった要約率に従って別々に変化させられ、それによって、異なった軌跡の異なった表現を反映し、要約結果の表示方式を多様化する。その上、ユーザが関心をもっている対象物または領域に関してさらなる減速を実行することにより、ユーザは、徹底した観察を行い、それによって、対象物の軌跡の情報完全性を確保する。
実施形態２
図３に示されるように、本発明の本実施形態は、映像要約装置２００を提供し、本装置は：
原映像から少なくとも２つの移動対象物および少なくとも２つの移動対象物の移動軌跡を抽出するように構成されている抽出ユニット２０１と、
抽出ユニットによって抽出された少なくとも２つの移動軌跡の間で時空間冗長度を計算し、時空間冗長度に従って移動軌跡の要約率を決定するように構成されている計算ユニット２０２と、
計算ユニット２０２によって決定された、移動軌跡の要約率に従って移動対象物の移動軌跡を要約するように構成されている要約ユニット２０３と、
を含む。
特定のアプリケーションシナリオでは、抽出ユニット２０１によって原映像から移動対象物および移動対象物の移動軌跡を抽出することは、移動対象物セグメンテーション技術に関係する。すなわち、映像の前景および背景がセグメント化される。映像中の背景から前景を分離することは、前景または背景の独立したプロセスを実現し易くする。本明細書において、前景とは、移動対象物および移動対象物の軌跡のことを指し、本明細書において、背景とは、移動対象物または移動対象物の軌跡ではない対象物のことを指す。前景が背景から分離された後、取得された背景は、背景光増強および背景識別のような様々な方法で処理され得る。背景が処理された後、前景、すなわち、移動対象物および移動対象物の軌跡が追加することができ、これは、背景とは独立した処理である。同様に、前景が背景から分離された後、前景、すなわち、対象物および対象物の軌跡が独立に処理され、その後、背景が追加される、ということもある。本実施形態において提供された技術的解決策において、セグメンテーションのアプローチによって取得された前景、すなわち、移動対象物および移動対象物の軌跡は、独立に処理され、異なった移動対象物および異なった移動対象物の軌跡は、層毎に重ね合わされる。
しかし、移動対象物セグメンテーションが実施される前に、移動対象物および移動対象物の軌跡を取得するために、移動対象物検出および追跡が最初に実行される必要がある。具体的な実施プロセスにおいて、移動対象物検出および追跡を実施するために使用され得る多くの方法が存在し、移動対象物検出および移動対象物追跡の技術は、移動軌跡を獲得するために組み合わされ、それによって、移動対象物および移動対象物の移動軌跡を抽出する。たとえば、フレーム差分法および背景モデリング法は、移動対象物検出において使用され得る。平均シフト（ｍｅａｎ ｓｈｉｆｔ）法および長期追跡アルゴリズム（ｌｏｎｇ ｔｅｒｍ ｔｒａｃｋｉｎｇ、ＴＬＤ）のような追跡技術は、移動対象物追跡において使用され得る。原映像から移動対象物および移動対象物の移動軌跡を抽出することにより、移動対象物の開始フレームおよび終了フレームの時点に対応する時間座標と、移動軌跡が通過した空間座標の系列とが取得される。
具体的な実施プロセスでは、原映像全体から移動対象物および移動軌跡を抽出することは、多数の移動対象物および移動軌跡を同時に取得することがある。この問題は、特に、多数の人々および車両が存在する繁華街における監視映像の場合、より明白である。その結果、選択自由な実施方式として、抽出ユニット２０１は、時間またはフレーム単位で原映像をセグメント化した後に、少なくとも２つの映像セグメントを取得するように構成され得る。
抽出ユニット２０１は、少なくとも２つの映像セグメントから１つの映像セグメントを選択し、映像セグメントから移動対象物および移動対象物の移動軌跡を抽出するように構成されている。
具体的には、原映像は、時間または他の方式に基づいてセグメント化され得る。その上、異なったセグメンテーション方式が異なった環境における監視映像のため選択され得る。たとえば、多種多様の移動対象物が存在する繁華街における監視映像の場合、セグメンテーション中に選択されたセグメント長は、比較的短い、ということがある。このようにして、同時に取得された移動対象物および移動対象物の軌跡は、比較的適切な範囲内にあり、この期間内の時空間冗長度の解析は、より正確であり、取得された効果は、より明瞭であり、それによって、観察者の警戒を実現し易くする。
場合によっては、抽出ユニット２０１は、抽出された移動対象物の開始フレームおよび終了フレームに対応する時間座標値と、移動対象物の移動軌跡が通過した空間座標値とを獲得するようにさらに構成されている。
さらに、場合によっては、図４に示されるように、計算ユニット２０２は：
移動対象物の開始フレームおよび終了フレームに対応する時間座標値に従って、移動対象物の間で時間的衝突確率を計算するように構成されている時間的衝突確率計算サブユニット２０２ａと、
移動対象物の移動軌跡が通過した空間座標値に従って、移動軌跡の間で空間的交差確率を計算するように構成されている空間的交差確率計算サブユニット２０２ｂと、
時間的衝突確率および空間的交差確率に従って移動軌跡の時空間冗長度を取得するように構成されている時空間冗長度獲得サブユニット２０２ｃと、
時空間冗長度に従って、移動軌跡の要約率を決定するように構成されている要約率獲得サブユニット２０２ｄと、を含む。
時間的衝突確率計算サブユニット２０２ａは、以下の式：
を使用することによって移動対象物の間で時間的衝突確率を計算する。
空間的交差確率計算ユニット２０２ｂは、以下の式：
を使用することによって移動対象物の間で空間的交差確率を計算する。
時空間冗長度獲得サブユニットは、以下の式：
を使用することによって移動軌跡の間で空間的交差確率および時間的衝突確率の合計を計算する空間的交差確率および時間的衝突確率の合計計算補助サブユニットと、
以下の式：
を使用することによって移動軌跡の間で時空間冗長度を計算する時空間冗長度獲得補助サブユニットと、を含む。
ここで、ｆは、原映像が時間またはフレーム単位でセグメント化された後に取得されたｆ番目の映像セグメントを示し、ｔｉ，ｎは、ｆ番目の映像セグメント内部のｉ番目の移動軌跡上のｎ番目の移動対象物の移動期間を示し、ｔｉ，ｎは、ｎ番目の移動対象物の寿命以下であり、寿命は、移動対象物の開始フレームの時点と終了フレームの時点との間の期間であり、Ｗ（ｆ）は、時間的衝突確率および空間的交差確率の感度調整関数を示す。
抽出ユニット２０１は、抽出を用いて、原映像から異なった移動対象物および異なった移動対象物の移動軌跡を抽出し、抽出ユニット２０１は、移動軌跡のうちの１つ以上の移動対象物の開始フレームおよび終了フレームの時点に対応する時間座標を抽出する。計算ユニット２０２は、抽出ユニット２０１によって抽出された、移動軌跡のうちの１つの上の移動対象物の開始フレームおよび終了フレームの時点に対応する時間座標が他の移動対象物の開始フレームおよび終了フレームの時点に対応する時間座標と重畳する確率に従って軌跡の時間的衝突確率を取得する。時間的衝突確率は、移動軌跡上の移動対象物の寿命が移動軌跡上の他の移動対象物の寿命と重なる確率であり、移動対象物の寿命は、移動対象物の開始フレームおよび終了フレームの時点に従って取得される。
抽出ユニット２０１は、抽出を用いて、原映像から異なった移動対象物および異なった移動対象物の移動軌跡を抽出し、抽出ユニット２０１は、移動対象物のうちの１つが空間的に通過した軌跡上で取得された空間座標の系列と、他の移動対象物が空間的に通過した軌跡上の空間座標の系列とを抽出する。計算ユニット２０２は、計算・抽出ユニット２０１によって抽出され、移動対象物のうちの１つが空間的に通過した軌跡上で取得された空間座標の系列が他の移動対象物が空間的に通過した軌跡上で取得された空間座標の系列と重なる確率に従って軌跡の空間的交差確率を取得する。空間的交差確率は、移動軌跡上の移動対象物が他の移動軌跡と交差する確率である。
すなわち、時間的衝突確率は、時間的衝突が移動軌跡上で複数の移動対象物の間で起こる事例において１つの移動軌跡に基づいて解析される。移動軌跡上に移動軌跡が１つしか存在しない場合、時間的衝突確率は、ゼロである。空間的交差確率は、空間的交差が異なった移動軌跡の間で起こる事例において異なった移動軌跡に基づいて解析される。すべての移動対象物が１つの移動軌跡を共用するとき、空間的交差確率は、ゼロである。
同じ移動対象物に基づいて取得された空間的交差確率および時間的衝突確率は、互いに独立している。計算ユニット２０２内の時空間冗長度獲得サブユニットは、２つの独立した確率を組み合わせることにより移動軌跡の空間的交差確率および時間的衝突確率の合計を取得することがあり、移動軌跡と他の移動軌跡との間に存在する相対的な時空間冗長度、すなわち、要約され得るフレームと全フレームとの比率、すなわち、移動軌跡の相対的な要約率を推定／獲得するために空間的交差確率および時間的衝突確率の合計を使用することがある。
計算によって計算ユニット２０２により取得された移動軌跡の要約率に従って、移動軌跡のレートが変化させられる。要約率は、要約され得るフレームと全フレームとの比率である。具体的には、より大きい時空間冗長度は、軌跡のより大きい要約率を示す。異なった移動軌跡の異なった要約率を獲得するために移動対象物の異なった移動軌跡を別々に解析することにより、異なった移動軌跡のレートが異なった移動軌跡の要約率に従って別々に変化させられることが実施することができ、少なくとも他の移動対象物と相対的な１つの移動対象物の移動レートが変化させられ、レート可変移動軌跡の空間位置およびレート変化速度が取得される。
具体的な実施プロセスでは、移動軌跡のレートを変化させることは、少なくとも以下のアプローチを使用することにより実施され得る。アプローチ：１）原表示フレームレートを変化させる。すなわち、表示フレームレートは、原映像と一致することがなく、このことは、２つの状況に分類され得る。状況ａ：フレームレートを増加させる。すなわち、表示フレームレートが原映像の表示フレームレートより高いという前提で、この事例では、加速は、軌跡のフレームを変わらないまま維持する、または、指定された軌跡のフレームを削減することにより、軌跡の表示レートをさらに増加させるために実行することができ、減速は、指定された軌跡のフレームを増加させることにより実施され得る。状況ｂ：フレームレートを削減する。すなわち、表示フレームレートが原映像の表示フレームレートより低いという前提で、本事例では、加速は、軌跡のフレームを削減することにより実施することができ、減速は、軌跡のフレームを変わらないまま維持する、または、指定された軌跡のフレームを増加させることにより実施され得る。アプローチ：２）原表示フレームレートを維持する。すなわち、再生フレームレートが原映像と一致した状態を維持するという前提で、加速は、指定された軌跡のフレームを削減することにより、指定された軌跡の表示レートを加速するために実行することができ、減速は、軌跡のフレームを増加させることにより、指定された軌跡の表示レートを減速するために実行され得る。
具体的には、上記のいくつかのレート変化アプローチに基づいて、図５に示された要約ユニット２０３は：
移動軌跡の要約率に従って、移動軌跡のフレームを変わらないまま維持し、移動軌跡の原フレームレートを変化させるように構成されている第１のレート変化サブユニット、または、
移動軌跡の要約率に従って、移動軌跡の原フレームレートを変わらないまま維持し、移動軌跡のフレームを削減するように構成されている第２のレート変化サブユニット、または、
移動軌跡の要約率に従って、移動軌跡のフレームを削減し、移動軌跡の原フレームレートを変化させるように構成されている第３のレート変化サブユニット、
を含んでよい。
さらに場合によっては、第１のレート変化サブユニットは、移動軌跡の要約率に従って移動軌跡のフレームレートの変化値を取得し、フレームレートの変化値に従ってフレームレートを増加させることにより移動軌跡に対する加速を実行する。具体的には、移動軌跡の要約率は、移動軌跡のフレームレートの変化値に正比例する。すなわち、原フレームレートに基づいて、より大きい要約率は、フレームレートのより大きい変化を示し、より小さい要約率は、フレームレートのより小さい変化を示す。前提は、レート変化が原フレームレートに基づいてすべて加速であり、加速振幅にわずかに違いがある、ということである。第２のレート変化サブユニットは、移動軌跡の要約率に従って移動軌跡のフレームの変化値を取得し、フレームの変化値に従って移動軌跡に対するフレームを削減することにより加速を実行する。具体的には、移動軌跡の要約率は、移動軌跡のフレームの変化値に正比例している。すなわち、原フレームに基づいて、より大きい要約率は、フレームのより大きい変化を示し、より小さい要約率は、フレームのより小さい変化を示す。前提は、フレーム変化が原フレームに基づいてすべて減少であり、減少振幅にわずかに違いがある、ということである。第３のレート変化サブユニットは、移動軌跡の要約率に従って移動軌跡のフレームレートの変化値およびフレームの変化値を取得し、フレームレートの変化値およびフレームの変化値に従って、移動軌跡のフレームレートを変化させ、フレームを削減することにより加速を実行する。具体的には、移動軌跡の要約率は、移動軌跡のフレームレートの変化値に正比例し、移動軌跡の要約率は、移動軌跡のフレームの変化値に正比例している。すなわち、原フレームレートに基づいて、より大きい要約率は、フレームレートのより大きい変化を示し、より小さい要約率は、フレームレートのより小さい変化を示す。前提は、レート変化が原フレームレートに基づいてすべて加速であり、加速振幅にわずかに違いがある、ということである。その上、原フレームに基づいて、より大きい要約率は、フレームのより大きい変化を示し、より小さい要約率は、フレームのより小さい変化を示す。前提は、フレーム変化が原フレームに基づいてすべて減少であり、減少振幅にわずかに違いがある、ということである。
上記装置において、場合によっては、要約ユニット２０３は：
関心領域を設定することにより、関心領域内の移動軌跡上で、要約率の値域の範囲内でカスタマイズされたレート変化を実行するように構成されているカスタマイズ型レート変化サブユニット、または、
要約率に従って移動軌跡のレートを変化させるように構成されている自動レート変化サブユニット
をさらに含んでよい。
ユーザは、カスタマイズ型レート変化サブユニットを使用することにより要約映像内に関心領域を設定することがある。たとえば、現実の環境では、警察官は、要約映像を警戒しているときに１つ以上の対象物に関心をもつことがある。この事例では、関心のある対象物の再生レートを遅くするために、カスタマイズされたレート変化は、関心のある１つ以上の対象物の移動軌跡に対して実行され得る。すなわち、調整が原映像の表示レートと要約映像の表示レートとの間で行われる。本事例では、他の移動軌跡は、それでもなお他の移動軌跡の要約率に従って最大の程度まで要約され得る、すなわち、他の移動対象物は、比較的高速レートで移動する。本実施方式では、関心領域に関して減速を実行することにより、関心領域は、それによって、より優れた動的な細部表示効果を獲得する。上述のとおり、具体的な減速解決策は、表示フレームレートを削減することによって、または、フレームを増加させることによって実施され得る。
場合によっては、ユーザが、自動レート変化サブユニットを使用することにより、関心領域を設定しないとき、すべての移動軌跡が移動軌跡の対応する時空間冗長度に従って取得された要約率に従って要約される。すなわち、すべての移動対象物は、比較的高速レートで移動する。すなわち、異なった軌跡の表示レートは、異なった要約率に従って調整されるので、その結果、時空間表示の均一効果が確保されることを前提として、映像要約結果の表示時間が合理的、かつ、効率的に圧縮されることが実施される。
移動軌跡の時空間冗長度は、本発明の本実施形態において、移動軌跡の時間的かつ空間的に重畳する確率に基づいて取得される。その結果、異なった移動軌跡の要約率は、別々に取得され、異なった移動軌跡のレートは、異なった要約率に従って別々に変化させられ、それによって、異なった軌跡の異なった表現を反映し、要約結果の表示方式を多様化する。その上、ユーザが関心をもっている対象物または領域に関してさらなる減速を実行することにより、ユーザは、徹底した観察を行い、それによって、対象物の軌跡の情報完全性を確保する。
２０１ 抽出ユニット
２０２ 計算ユニット
２０２ａ 時間的衝突確率計算サブユニット
２０２ｂ 空間的交差確率計算サブユニット
２０２ｃ 時空間冗長度冗長度獲得サブユニット
２０２ｄ 要約率獲得ユニット
２０３ 要約ユニット
２０３ａ 第１のレート変化サブユニット
２０３ｂ 第２のレート変化サブユニット
２０３ｃ 第３のレート変化サブユニット

Claims (11)

  1. 少なくとも２つの移動対象物、および、前記少なくとも２つの移動対象物の移動軌跡を原映像から抽出するステップと、
    前記少なくとも２つの前記移動軌跡の間で時空間冗長度を計算して、前記時空間冗長度に従って、前記移動軌跡の要約率を決定するステップと、
    前記移動軌跡の前記要約率に従って、前記移動対象物の前記移動軌跡を要約するステップと、
    を含み、
    前記原映像は、少なくとも１つの映像セグメントを含む、
    映像要約方法であって、
    前記少なくとも２つの前記移動軌跡の間で時空間冗長度を計算して、前記時空間冗長度に従って、前記移動軌跡の要約率を決定するステップの以前に、
    前記方法は、さらに、
    前記少なくとも１つの映像セグメントから、前記移動対象物の開始フレームおよび終了フレームの時点に対応する１つ以上の時間座標値と、前記移動対象物の前記移動軌跡が通過した空間座標値とを獲得するステップと、を含み、
    前記少なくとも２つの前記移動軌跡の間で時空間冗長度を計算して、前記時空間冗長度に従って、前記移動軌跡の要約率を決定するステップは、特には、
    前記移動対象物の前記開始フレームおよび前記終了フレームに対応する前記時間座標値に従って、前記移動対象物の間で時間的衝突確率を計算する段階と、
    前記移動対象物の前記移動軌跡が通過した前記空間座標値に従って、前記移動軌跡の間で空間的交差確率を計算する段階と、
    前記時間的衝突確率および前記空間的交差確率に従って、前記移動軌跡の前記時空間冗長度を取得する段階と、
    前記時空間冗長度に従って、前記移動軌跡の前記要約率を決定する段階と、
    を含み、
    前記方法は、
    以下の式を使用して、計算により前記時間的衝突確率を取得するステップと、
    以下の式を使用して、計算により前記空間的交差確率を取得するステップと、
    以下の式を使用して、計算により空間的交差確率および時間的衝突確率の合計を取得するステップと、
    以下の式を使用して、計算により前記時空間冗長度を取得するステップと、
    を含み、ここで、
    ｆは、前記原映像が時間またはフレーム単位でセグメント化された後に取得されたｆ番目の映像セグメントを示し、ｔ ｉ，ｎ は、前記ｆ番目の映像セグメント内部のｉ番目の移動軌跡上のｎ番目の移動対象物の移動期間を示しており、
    前記ｔ ｉ，ｎ は、前記ｎ番目の移動対象物の寿命以下であり、前記寿命は、前記移動対象物の開始フレームの時点と終了フレームの時点との間の期間であり、
    Ｗ（ｆ）は、前記時間的衝突確率および前記空間的交差確率の感度調整関数を示している、
    方法。
  2. 前記移動軌跡の前記要約率に従って、前記移動対象物の前記移動軌跡を要約するステップは、
    前記移動軌跡の前記要約率に従って、前記移動軌跡のフレームを変わらないまま維持し、前記移動軌跡の原フレームレートを変化させる段階、または、
    前記移動軌跡の前記要約率に従って、前記移動軌跡の原フレームレートを変わらないまま維持し、前記移動軌跡のフレームを削減する段階、または、
    前記移動軌跡の前記要約率に従って、前記移動軌跡のフレームを削減し、前記移動軌跡の原フレームレートを変化させる段階、
    を備える、請求項１に記載の方法。
  3. 前記移動軌跡の前記要約率に従って、前記移動軌跡のフレームを変わらないまま維持し、前記移動軌跡の原フレームレートを変化させる段階は、
    前記移動軌跡の前記要約率に従って、前記移動軌跡のフレームレートの変化値を取得し、
    前記フレームレートの前記変化値に従って、前記フレームレートを増加させることにより前記移動軌跡に対する加速を実行すること、
    を含む、請求項２に記載の方法。
  4. 前記移動軌跡の前記要約率に従って、前記移動軌跡の原フレームレートを変わらないまま維持し、前記移動軌跡のフレームを削減する段階は、
    前記移動軌跡の前記要約率に従って、前記移動軌跡の前記フレームの変化値を取得し、
    前記フレームの前記変化値に従って、前記フレームを削減することにより前記移動軌跡に対する加速を実行すること、
    を含む、請求項２に記載の方法。
  5. 前記移動軌跡の前記要約率に従って、前記移動軌跡のフレームを削減し、前記移動軌跡の原フレームレートを変化させる段階は、
    前記移動軌跡の前記要約率に従って、前記移動軌跡のフレームレートの変化値および前記フレームの変化値を取得し、前記フレームレートの前記変化値および前記フレームの前記変化値に従って、前記フレームレートを変化させ、前記フレームを削減することにより、前記移動軌跡に対する加速を実行すること、
    を含む、請求項４に記載の方法。
  6. 前記移動軌跡の前記要約率に従って、前記移動対象物の前記移動軌跡を要約するステップの後で、
    本方法は、さらに、
    関心領域を設定し、前記要約率の値域の範囲内で、前記関心領域内の移動軌跡に関して、カスタマイズされたレート変化を実行するステップ、または、
    前記要約率に従って、前記移動対象物の前記移動軌跡のレートを変化させるステップ、
    を含む、請求項１乃至５いずれか一項に記載の方法。
  7. 少なくとも２つの移動対象物、および、前記少なくとも２つの移動対象物の移動軌跡を原映像から抽出するように構成されている抽出ユニットと、
    前記抽出ユニットによって抽出された前記少なくとも２つの移動軌跡の間で時空間冗長度を計算して、前記時空間冗長度に従って、前記移動軌跡の要約率を決定するように構成されている計算ユニットと、
    前記計算ユニットによって決定された前記移動軌跡の前記要約率に従って、前記移動対象物の前記移動軌跡を要約するように構成されている要約ユニットと、
    を含む、映像要約装置であって、
    前記原映像は、少なくとも１つの映像セグメントを含み、前記抽出ユニットは、前記移動対象物の開始フレームおよび終了フレームに対応する時間座標値と前記移動対象物の前記移動軌跡が通過した空間座標値とを獲得するように構成され、
    前記計算ユニットは、さらに、
    前記移動対象物の前記開始フレームおよび前記終了フレームに対応する前記時間座標値に従って、前記移動対象物の間で時間的衝突確率を計算するように構成されている時間的衝突確率計算サブユニットと、
    前記移動対象物の前記移動軌跡が通過した前記空間座標値に従って、前記移動軌跡の間で空間的交差確率を計算するように構成されている空間的交差確率計算サブユニットと、
    前記時間的衝突確率および前記空間的交差確率に従って、前記移動軌跡の前記時空間冗長度を取得するように構成されている時空間冗長度獲得サブユニットと、
    前記時空間冗長度に従って、前記移動軌跡の前記要約率を決定するように構成されている要約率獲得サブユニットと、
    を備え、
    前記時間的衝突確率計算サブユニットは、以下の式を使用して、前記移動対象物の間で前記時間的衝突確率を計算し、
    前記空間的交差確率計算サブユニットは、以下の式を使用して、前記移動対象物の間で前記空間的交差確率を計算し、
    前記時空間冗長度獲得サブユニットは、
    以下の式を使用して、前記移動軌跡の間で空間的交差確率および時間的衝突確率の合計を計算する、空間的交差確率および時間的衝突確率の合計を計算する補助サブユニットと、
    以下の式を使用して、前記移動軌跡の間で前記時空間冗長度を計算する、時空間冗長度獲得補助サブユニットと、
    を含み、ここで、
    ｆは、前記原映像が時間またはフレーム単位でセグメント化された後に取得されたｆ番目の映像セグメントを示し、ｔ ｉ，ｎ は、前記ｆ番目の映像セグメント内部のｉ番目の移動軌跡上のｎ番目の移動対象物の移動期間を示しており、
    前記ｔ ｉ，ｎ は、ｎ番目の移動対象物の寿命以下であり、前記寿命は、前記移動対象物の開始フレームの時点と終了フレームの時点との間の期間であり、
    Ｗ（ｆ）は、前記時間的衝突確率および前記空間的交差確率の感度調整関数を示している、
    装置。
  8. 前記要約ユニットは、
    前記移動軌跡の前記要約率に従って、前記移動軌跡のフレームを変わらないまま維持し、前記移動軌跡の原フレームレートを変化させるように構成されている第１のレート変化サブユニット、または、
    前記移動軌跡の前記要約率に従って、前記移動軌跡の原フレームレートを変わらないまま維持し、前記移動軌跡のフレームを削減するように構成されている第２のレート変化サブユニット、または、
    前記移動軌跡の前記要約率に従って、前記移動軌跡のフレームを削減し、前記移動軌跡の原フレームレートを変化させるように構成されている第３のレート変化サブユニット、
    を備える、請求項７に記載の装置。
  9. 前記第１のレート変化サブユニットは、特には、
    前記移動軌跡の前記要約率に従って、前記移動軌跡のフレームレートの変化値を取得し、かつ、前記フレームレートの前記変化値に従って、前記フレームレートを増加させることにより前記移動軌跡に対する加速を実行するように構成されている、
    請求項８に記載の装置。
  10. 前記第２のレート変化サブユニットは、特には、
    前記移動軌跡の前記要約率に従って、前記移動軌跡の前記フレームの変化値を取得し、かつ、前記フレームの前記変化値に従って、前記フレームを削減することにより前記移動軌跡に対する加速を実行するように構成されている、
    請求項９に記載の装置。
  11. 前記第３のレート変化サブユニットは、特には、
    前記移動軌跡の前記要約率に従って、前記移動軌跡のフレームレートの変化値およびフ前記レームの変化値を取得し、かつ、前記フレームレートの前記変化値および前記フレームの前記変化値に従って、前記フレームレートを変化させ、前記フレームを削減することにより、前記移動軌跡に対する加速を実行するように構成されている、
    請求項１０に記載の装置。
JP2014248048A 2013-12-13 2014-12-08 映像要約方法および装置 Expired - Fee Related JP5919365B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201310689129.3 2013-12-13
CN201310689129.3A CN104717457B (zh) 2013-12-13 2013-12-13 一种视频浓缩方法及装置

Publications (2)

Publication Number Publication Date
JP2015115955A JP2015115955A (ja) 2015-06-22
JP5919365B2 true JP5919365B2 (ja) 2016-05-18

Family

ID=51951592

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014248048A Expired - Fee Related JP5919365B2 (ja) 2013-12-13 2014-12-08 映像要約方法および装置

Country Status (5)

Country Link
US (1) US9454701B2 (ja)
EP (1) EP2884423A3 (ja)
JP (1) JP5919365B2 (ja)
KR (1) KR101606100B1 (ja)
CN (1) CN104717457B (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9036943B1 (en) * 2013-03-14 2015-05-19 Amazon Technologies, Inc. Cloud-based image improvement
CN105554516A (zh) * 2015-12-31 2016-05-04 杭州华为数字技术有限公司 播放监控视频的方法和装置
EP3249651B1 (en) 2016-05-23 2018-08-29 Axis AB Generating a summary video sequence from a source video sequence
EP3535974A1 (en) 2016-12-08 2019-09-11 Zhejiang Dahua Technology Co., Ltd Methods and systems for video synopsis
CN107193905A (zh) * 2017-05-11 2017-09-22 江苏东大金智信息系统有限公司 一种在视频帧内合理组装待展示运动目标的方法
CN108881119B (zh) * 2017-05-12 2021-02-12 华为技术有限公司 一种视频浓缩的方法、装置和系统
CN109511019A (zh) * 2017-09-14 2019-03-22 中兴通讯股份有限公司 一种视频摘要方法、终端及计算机可读存储介质
JP6799523B2 (ja) * 2017-12-04 2020-12-16 株式会社トヨタマップマスター 走行現調支援装置
CN108073361A (zh) * 2017-12-08 2018-05-25 佛山市章扬科技有限公司 一种自动录制音视频的方法及装置
CN108446669B (zh) * 2018-04-10 2023-01-10 腾讯科技（深圳）有限公司 运动识别方法、装置及存储介质
CN108668096B (zh) * 2018-05-18 2021-08-20 京东方科技集团股份有限公司 视频数据的管理方法、装置及录像设备
US10958854B2 (en) * 2018-11-02 2021-03-23 BriefCam Ltd. Computer-implemented method for generating an output video from multiple video sources
CN109712255A (zh) * 2019-02-27 2019-05-03 北京猎户智芯科技有限公司 一种基于动态图片合成的停车收费取证系统和方法
JP7451172B2 (ja) 2019-12-24 2024-03-18 キヤノン株式会社 情報処理装置、映像の要約方法、およびプログラム
CN113438538B (zh) * 2021-06-28 2023-02-10 康键信息技术（深圳）有限公司 短视频预览方法、装置、设备及存储介质
CN115941997B (zh) * 2022-12-01 2023-06-30 石家庄铁道大学 片段-自适应的监控视频浓缩方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2640834C (en) 2005-11-15 2014-08-19 Yissum Research Development Company Of The Hebrew University Of Jerusalem Method and system for producing a video synopsis
JP2007237764A (ja) * 2006-03-06 2007-09-20 Denso Corp 車載状況記憶装置
EP2119224A1 (en) 2007-02-01 2009-11-18 Yissum Research Development Company, of The Hebrew University of Jerusalem Method and system for video indexing and video synopsis
JP4933354B2 (ja) * 2007-06-08 2012-05-16 キヤノン株式会社 情報処理装置、及び情報処理方法
US8786781B2 (en) * 2009-04-09 2014-07-22 Ati Technologies Ulc Detection and enhancement of in-video text
US8601024B2 (en) 2009-06-16 2013-12-03 Microsoft Corporation Synopsis of a search log that respects user privacy
JP5787485B2 (ja) * 2010-03-08 2015-09-30 Toa株式会社 監視装置、及びプログラム
TW201228376A (en) * 2010-12-28 2012-07-01 Altek Corp Electronic apparatus, image capturing apparatus and method thereof
CN102930061B (zh) 2012-11-28 2016-01-06 安徽水天信息科技有限公司 一种基于运动目标检测的视频摘要方法
CN103226586B (zh) * 2013-04-10 2016-06-22 中国科学院自动化研究所 基于能量分布最优策略的视频摘要方法
US9070023B2 (en) * 2013-09-23 2015-06-30 Toyota Motor Engineering & Manufacturing North America, Inc. System and method of alerting a driver that visual perception of pedestrian may be difficult

Also Published As

Publication number Publication date
US9454701B2 (en) 2016-09-27
EP2884423A2 (en) 2015-06-17
KR20150069518A (ko) 2015-06-23
KR101606100B1 (ko) 2016-03-24
US20150169962A1 (en) 2015-06-18
JP2015115955A (ja) 2015-06-22
CN104717457A (zh) 2015-06-17
EP2884423A3 (en) 2015-08-19
CN104717457B (zh) 2018-05-18

Similar Documents

Publication Publication Date Title
JP5919365B2 (ja) 映像要約方法および装置
AU2017204181B2 (en) Video camera scene translation
US9710924B2 (en) Field of view determiner
US8582816B2 (en) Method and apparatus for video analytics based object counting
US11057635B2 (en) Methods and systems for video synopsis
Lazaridis et al. Abnormal behavior detection in crowded scenes using density heatmaps and optical flow
Yang et al. Clustering method for counting passengers getting in a bus with single camera
TWI511058B (zh) 一種影片濃縮之系統及方法
CN106295598A (zh) 一种跨摄像头目标跟踪方法及装置
WO2020114116A1 (zh) 一种基于密集人群的行人检测方法、存储介质及处理器
WO2021022698A1 (zh) 尾随检测方法、装置、电子设备及存储介质
WO2018210039A1 (zh) 数据处理方法、数据处理装置及存储介质
CN111064924B (zh) 一种基于人工智能的视频监控方法及系统
CN114078319A (zh) 一种检测交通事故隐患地点的方法及装置
CN111915713A (zh) 一种三维动态场景的创建方法、计算机设备、存储介质
CN102254267B (zh) 户外媒体受众数量分析方法及装置
Golda Image-based Anomaly Detection within Crowds
WO2015054994A1 (zh) 一种视频提取方法及设备
KR20150084237A (ko) 스마트로테이션 감시 방법을 이용하는 영상촬영장치에서 후보 감시영역을 자동으로 갱신하는 방법
US20230336843A1 (en) Video summarization method for enabling easy identification of relevance between appearing objects in event
CN117292296A (zh) 一种基于激光摄像和自编码器的坠物检测方法与系统
Vishwakarma et al. Vehicle detection and tracking for traffic surveillance applications: A review paper
CN113449747A (zh) 数据处理方法、装置、设备和存储介质
Shaikh et al. Databases for Research
Zhou et al. Research on Information Technology with Moving Object Segmentation Based on Memory Matrix and Kalman Filter

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151015

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160315

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160411

R150 Certificate of patent or registration of utility model

Ref document number: 5919365

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees