JP6037443B2 - 映像間対応関係表示システム及び映像間対応関係表示方法 - Google Patents

映像間対応関係表示システム及び映像間対応関係表示方法 Download PDF

Info

Publication number
JP6037443B2
JP6037443B2 JP2012556755A JP2012556755A JP6037443B2 JP 6037443 B2 JP6037443 B2 JP 6037443B2 JP 2012556755 A JP2012556755 A JP 2012556755A JP 2012556755 A JP2012556755 A JP 2012556755A JP 6037443 B2 JP6037443 B2 JP 6037443B2
Authority
JP
Japan
Prior art keywords
video
correspondence
derived
inter
section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012556755A
Other languages
English (en)
Other versions
JPWO2012108089A1 (ja
Inventor
野村　俊之
俊之 野村
岩元　浩太
浩太 岩元
貴美 佐藤
貴美 佐藤
亮太 間瀬
亮太 間瀬
直毅 藤田
直毅 藤田
宏一 上田
宏一 上田
隆人 小澤
隆人 小澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2012108089A1 publication Critical patent/JPWO2012108089A1/ja
Application granted granted Critical
Publication of JP6037443B2 publication Critical patent/JP6037443B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/36—Monitoring, i.e. supervising the progress of recording or reproducing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23109—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion by placing content in organized collections, e.g. EPG data repository
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8352—Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00086—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy
    • G11B20/00166—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving measures which result in a restriction to authorised contents recorded on or reproduced from a record carrier, e.g. music or software
    • G11B20/00181—Circuits for prevention of unauthorised reproduction or copying, e.g. piracy involving measures which result in a restriction to authorised contents recorded on or reproduced from a record carrier, e.g. music or software using a content identifier, e.g. an international standard recording code [ISRC] or a digital object identifier [DOI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本発明は、映像間対応関係表示システム及び映像間対応関係表示方法に関する。
デジタル映像の普及に伴い、既存の映像を用いて別の映像を作成することが容易になっている。例えば、放送局では、取材により生成された取材映像を編集することにより、編集映像が作成される。そして、実際に番組の放送時に使用される放送映像を作成する際には、複数の編集映像が用いられる。また、取材映像は、１つの編集映像に用いられるだけではなく、必要に応じて様々に編集され、複数の編集映像を作成するために用いられることがある。同様に、編集映像についても、１つの放送映像に用いられるだけではなく、複数の放送映像に用いられることがある。
このように、映像間に対応関係がある場合、映像の増加に伴って対応関係を把握することが難しくなってくる。そこで、例えば、特許文献１に開示されているように、素材映像、編集映像、及びオンエア映像間の対応関係をデータベースに登録しておくことにより、映像間の対応関係を表示する手法が提案されている。この手法では、映像を作成する際に、その映像と他の映像との対応関係がデータベースに登録されることとなっている。そのため、作成済の映像については対応関係がデータベースに登録されていることが前提となっている。
ところが、実際には、作成済の映像について対応関係がデータベースに登録されずに、複数の映像が生成されていることが多い。このような場合、まず、映像間の対応関係を検出する必要がある。例えば、特許文献２には、コンテンツの特徴情報を用いることにより、あるコンテンツに類似するコンテンツを検索する手法が開示されている。また、例えば、特許文献３には、コンテンツの特徴量に基づいてコンテンツの同一性を判定し、コンテンツをグルーピングする手法が開示されている。
また、編集映像から放送映像を作成するには、例えばテロップを追加する等の改変が行われることがある。そのため、作成済の多くの映像の中から、対応関係のある映像を見つけるためには、このような改変を考慮する必要がある。そこで、例えば、特許文献４には、このような改変がある場合であっても、高い識別力で映像間の同一性を判定することが可能な手法が開示されている。
特開２００４−１７２７８８号公報 特開２００５−１４８８０１号公報 特開２００７−１６４６３３号公報 国際公開第２０１０／０８４７１４号
しかしながら、特許文献１に開示されている手法では、映像間の対応関係が表示されるものの、作成元の映像の区間ごとの利用頻度を容易に把握することができない。例えば、取材映像の一部の区間を用いて複数の編集映像や放送映像が生成される場合、取材映像のどの部分がどの程度利用されているかを容易に把握することができない。また、特許文献２〜４には、映像間の類似性や同一性を判定する手法については開示されているものの、作成元の映像の区間ごとの利用頻度を容易に把握可能とするための手法については何ら開示されていない。
本発明はこのような事情に鑑みてなされたものであり、作成過程に対応関係のある映像間において、作成元の映像の区間ごとの利用頻度を容易に把握可能とすることを目的とする。
本発明の一側面に係る映像間対応関係表示システムは、元映像と、元映像の少なくとも一部の区間を利用して作成された複数の派生映像との間における、対応関係のある区間を示す情報である関係情報を記憶する関係情報記憶部と、関係情報記憶部に記憶されている関係情報に基づいて、元映像と複数の派生映像との間における区間の対応関係と、複数の派生映像による元映像の各区間の利用頻度とを表示する対応関係表示部と、を備える。
なお、本発明において、「部」とは、単に物理的手段を意味するものではなく、その「部」が有する機能をソフトウェアによって実現する場合も含む。また、１つの「部」や装置が有する機能が２つ以上の物理的手段や装置により実現されても、２つ以上の「部」や装置の機能が１つの物理的手段や装置により実現されても良い。
本発明によれば、作成過程に対応関係のある映像間において、作成元の映像の区間ごとの利用頻度を容易に把握することができる。
本発明の一実施形態である映像間対応関係提示システムの構成を示す図である。 取材映像データベースの構成例を示す図である。 編集映像データベースの構成例を示す図である。 放送映像データベースの構成例を示す図である。 フレーム画像の領域分割の一例を示す図である。 第Ｍ次元における特徴量を抽出する際のイメージを示す図である。 特徴量記憶部に格納される特徴量ベクトルの一例を示す図である。 対応関係判定部の構成例を示す図である。 関係情報記憶部に格納される関係情報の一例を示す図である。 対応関係表示部により出力される画面の一例を示す図である。 元映像及び派生映像を表示する画面の一例を示す図である。 映像間対応関係提示システムにおける処理の一例を示すフローチャートである。
以下、図面を参照して本発明の一実施形態について説明する。
図１は、本発明の一実施形態である映像間対応関係提示システムの構成を示す図である。映像間対応関係提示システム１０は、作成過程において対応関係のある映像間において、映像間の対応関係とともに、作成元の映像の区間ごとの利用頻度を提示するシステムであり、特徴量抽出部２０、特徴量記憶部２２、対応関係判定部２４、関係情報記憶部２６、及び対応関係表示部２８を含んで構成される。図１に示すように、特徴量記憶部２２は、取材映像特徴量記憶部３０、編集映像特徴量記憶部３２、及び放送映像特徴量記憶部３４を含んでいる。また、映像間対応関係提示システム１０は、映像データベース４０を参照する。映像データベース４０には、取材映像データベース（ＤＢ）４２、編集映像データベース（ＤＢ）４４、及び放送映像データベース（ＤＢ）４６が含まれている。
このような映像間対応関係提示システム１０は、１台または複数台の情報処理装置を用いて構成され、特徴量抽出部２０、対応関係判定部２４、及び対応関係表示部２８は、メモリに記憶されたプログラムをプロセッサが実行することにより実現することができる。また、特徴量記憶部２２及び関係情報記憶部２６は、メモリや記憶装置等の記憶領域を用いて実現することができる。
ここで、作成過程において対応関係のある映像とは、例えば、放送局で用いられる取材映像と、取材映像の少なくとも一部を利用して作成される編集映像や、さらに編集映像の少なくとも一部を利用して作成される放送映像である。この場合、取材映像が元映像であり、編集映像や放送映像が、取材映像からの派生映像となる。なお、作成過程において対応関係のある映像は、放送局で用いられる映像に限られない。例えば、放送映像や記録媒体上の映像を元に作成されて動画サイトに投稿された違法動画が存在する場合、放送映像や記録媒体上の映像が元映像、違法動画が派生映像となる。本実施形態では、放送局で用いられる映像を中心に説明するが、本実施形態で示す対応関係の提示システムは、作成過程において対応関係のある映像であれば任意の映像に適用することが可能である。
まず、図２〜図４を参照して、映像データベース４０の構成について説明する。図２は、取材映像ＤＢ４２の構成例を示す図である。取材映像ＤＢ４２には、取材映像の映像データが、映像識別子、及び属性情報と対応付けられて記憶されている。映像識別子は、取材映像を識別するための情報であり、例えばファイル名等を用いることができる。属性情報は、取材映像に関する様々な属性を示す情報であり、例えば、映像のタイトルや作成日時、映像全体の時間等が含まれている。
図３は、編集映像ＤＢ４４の構成例を示す図である。編集映像ＤＢ４４には、編集映像の映像データが、映像識別子及び属性情報と対応付けられて記憶されている。映像識別子及び属性情報については、取材映像ＤＢ４２と同様のものである。
図４は、放送映像ＤＢ４６の構成例を示す図である。放送映像ＤＢ４６には、放送映像の映像データが、映像識別子、属性情報、及び頻度情報と対応付けられて記憶されている。映像識別子及び属性情報については、取材映像ＤＢ４２と同様のものである。頻度情報には、例えば、放送映像が放送された回数を示す情報が設定される。例えば、再放送が行われるたびに頻度情報の値を増加させることができる。なお、再放送の放送映像が、元の放送映像とは別の映像として放送映像ＤＢ４６に格納されることとしてもよい。この場合、属性情報には放送日時に関する情報を含めることが可能である。また、視聴者の要求に応じて放送映像が配信される場合であれば、放送映像の視聴回数を頻度情報に設定することとしてもよい。
なお、本実施形態では、取材映像、編集映像、及び放送映像を別々のデータベースに格納することとしたが、これらの映像が１つのデータベースにまとめて格納されることとしてもよい。この場合、例えば、映像の種別を示す情報を各映像に付与しておくこととしてもよい。
図１に戻り、映像間対応関係提示システム１０を構成する各部の詳細について説明する。
特徴量抽出部２０は、映像データベース４０を参照し、映像を構成する複数のフレーム画像のそれぞれから特徴量ベクトルを抽出し、特徴量記憶部２２に格納する。本実施形態では、取材映像、編集映像、及び放送映像の特徴量ベクトルは、それぞれ、取材映像特徴量記憶部３０、編集映像特徴量記憶部３２、及び放送映像特徴量記憶部３４に格納される。なお、取材映像、編集映像、及び放送映像の特徴量ベクトルが、１つの記憶部にまとめて格納されることとしてもよい。この場合、映像の種別を示す情報を各特徴量ベクトルに付与しておくこととしてもよい。
特徴量ベクトルは、映像を構成する所定の区間ごとの特徴量を示すものである。本実施形態では、国際公開第２０１０／０８４７１４号に記載されている手法により、映像を構成するフレーム画像ごとに特徴量ベクトルが生成されることとする。この手法で生成される特徴量ベクトルは、フレーム画像内で定義されたＮ個（Ｎ≧２）の部分領域に対応するＮ個の特徴量の集合である。特徴量ベクトルの各次元に対応する各部分領域は、例えば、フレーム画像内における複数の部分領域を含んでいる。そして、各次元の特徴量は、例えば、各次元に対応する複数の部分領域の特徴量の差分に基づいて生成することができる。
図５は、フレーム画像の領域分割の一例を示す図である。図５に示すように、例えば、各フレーム画像は３２×３２の１０２４の領域（分割領域）に分割することができる。特徴量ベクトルにおける各次元に対応する部分領域は、１つ以上の分割領域の組み合わせにより構成される。
図６は、第Ｍ次元における特徴量を抽出する際のイメージを示す図である。図６の例では、第Ｍ次元に対応する部分領域は、２つの部分領域６２，６４である。そして、特徴量抽出部２０は、部分領域６２の特徴量（領域特徴量）と部分領域６４の特徴量（領域特徴量）との差分に基づいて、第Ｍ次元の特徴量を生成することができる。ここで、各部分領域６２，６４の特徴量は、例えば、それぞれの部分領域における画素値の平均値やメディアン値等、任意の手法を用いて算出することができる。そして、特徴量抽出部２０は、部分領域６２，６４の領域特徴量の差分を例えば３値（−１，０，１）に量子化することにより、第Ｍ次元特徴量を生成することができる。特徴量抽出部２０は、各次元（第１次元〜第Ｎ次元）について特徴量を生成することにより、Ｎ次元の特徴量ベクトルを生成することができる。なお、ここで説明した各次元の特徴量の算出手法は一例であり、任意の手法によって特徴量ベクトルを生成することが可能である。
図７は、取材映像特徴量記憶部３０に格納される特徴量ベクトルの一例を示す図である。図７に示すように、特徴量ベクトルは、映像識別子と、フレーム画像の時間的順序を示すシーケンス情報とに対応付けられて記憶されている。シーケンス情報は、特徴量ベクトルの順序を把握することができる情報であればよく、例えば、フレーム番号などを用いることができる。なお、データの格納構造等によって特徴量ベクトルの時間的順序を識別可能であれば、シーケンス情報はなくてもよい。編集映像特徴量記憶部３２及び放送映像特徴量記憶部３４についても、取材映像特徴量記憶部３０と同様に構成することができる。
図１に戻り、対応関係判定部２４は、特徴量記憶部２２に格納されている特徴量ベクトルに基づいて、映像間の対応関係を判定する。具体的には、取材映像（元映像）と編集映像（派生映像）との対応関係、および、編集映像（元映像）と放送映像（派生映像）との対応関係が判定される。これにより、取材映像（元映像）と放送映像（派生映像）との対応関係についても、編集映像を介して間接的に判定される。なお、対応関係判定部２４は、取材映像と放送映像との対応関係を編集映像を介さずに直接的に判定することも可能である。
図８は、対応関係判定部２４の構成例を示す図である。図８に示すように、対応関係判定部２４は、特徴量比較部７０、フレーム選択部７２、及び関係情報出力部７４を含んで構成することができる。
特徴量比較部７０は、元映像の候補となる映像の特徴量ベクトルと、派生映像の候補となる映像の特徴量ベクトルとを例えばフレームごとに比較する。例えば、特徴量比較部７０は、取材映像の特徴量ベクトルと編集映像の特徴量ベクトルとを比較する。また、特徴量比較部７０は、編集映像の特徴量ベクトルと放送映像の特徴量ベクトルとを比較する。
フレーム選択部７２は、特徴量比較部７０での比較結果に基づいて、映像間で対応関係（同一性）があると判定されるフレーム画像を選択する。なお、フレーム画像間の同一性の判定については、例えば、２つの特徴量ベクトル間で特徴量が一致する次元の数や、特徴量が一致しない次元の数、特徴量ベクトルの大きさを比較することにより行うことができる。
関係情報出力部７４は、映像間において対応関係のある区間を示す情報である関係情報を出力する。具体的には、関係情報出力部７４は、フレーム選択部７２によってフレーム画像に同一性があると判定された区間を示す関係情報を生成し、関係情報記憶部２６に格納する。また、関係情報出力部７４は、特徴量比較部７０での比較結果に基づいて、映像間において対応関係のある区間での改変度を示す情報を出力する。ここで、改変度とは、元映像を用いて派生映像を作成する際にテロップ追加等によって改変が行われた度合いを示すものである。
図９は、関係情報記憶部２６に格納される関係情報の一例を示す図である。図９に示すように、関係情報には、元映像に関する情報、派生映像に関する情報、及び改変度を示す情報が含まれている。元映像または派生映像に関する情報には、映像種別、映像識別子、及び区間情報が含まれている。映像種別は、取材映像、編集映像、または放送映像の何れであるかを示す情報である。区間情報は映像区間を示す情報であり、例えば、映像内における該区間の再生時間やフレーム番号等を用いることができる。
図９には、取材映像Ｃ１を利用して３つの編集映像Ｅ１〜Ｅ３が作成されたことが示されている。より具体的には、取材映像Ｃ１の区間「００：００〜２０：００」を利用して、編集映像Ｅ１の区間「００：００〜２０：００」が作成されており、改変度が「０」となっている。すなわち、編集映像Ｅ１は、取材映像Ｃ１の「００：００〜２０：００」の区間をそのまま抜き出したものであることがわかる。同様に、編集映像Ｅ２、Ｅ３は、それぞれ、取材映像Ｃ１の「２０：００〜４０：００」の区間、「４０：００〜６０：００」の区間をそのまま抜き出したものであることがわかる。
また、図９には、編集映像Ｅ１〜Ｅ３を利用して放送映像Ｂ１が作成されたことが示されている。より具体的には、編集映像Ｅ１の「００：００〜０５：００」の区間が、放送映像Ｂ１の「００：００〜０５：００」の区間に利用されており、改変度が「２」となっている。すなわち、放送映像Ｂ１の「００：００〜０５：００」の区間は、編集映像Ｅ１の「００：００〜０５：００」の区間に改変を加えたものであることがわかる。同様に、放送映像Ｂ１の「０５：００〜１５：００」の区間は、編集映像Ｅ２の「０３：００〜１３：００」の区間に改変を加えたものであり、放送映像Ｂ１の「１５：００〜２０：００」の区間は、編集映像Ｅ３の「０２：００〜０７：００」の区間に改変を加えたものであることがわかる。
図１に戻り、対応関係表示部２８は、関係情報記憶部２６に格納されている関係情報に基づいて、元映像と複数の派生映像との間における対応関係と、元映像の各区間における複数の派生映像による利用頻度とを表示する。
図１０は、対応関係表示部２８により出力される画面の一例を示す図である。対応関係表示部２８は、関係情報記憶部２６に記憶されている関係情報に基づいて、映像間の対応関係を表示することができる。図１０に示すように、画面８０には、領域８２〜９４が含まれている。
領域８２には、元映像となる取材映像を選択するための情報が表示される。対応関係表示部２８は、取材映像ＤＢ４２を参照することにより、取材映像の映像識別子やタイトル、作成日時等の情報を領域８２に表示することができる。なお、対応関係表示部２８は、取材映像ＤＢ４２に格納されている全ての取材映像に関する情報を領域８２に表示してもよいし、関係情報記憶部２６に関係情報が格納されている取材映像のみに関する情報を領域８２に表示してもよい。領域８２は、クリック等のユーザ操作によって一つの取材映像を選択可能となっている。対応関係表示部２８は、領域８２において選択された取材映像に関連する情報を他の領域に表示することができる。
領域８４には、取材映像の代表的なサムネイル画像が表示される。また、領域８６には、取材映像のタイムラインが表示され、領域８８には、タイムラインに沿って取材映像のサムネイル画像が表示される。なお、対応関係表示部２８は、例えば取材映像ＤＢ４２を参照することにより、取材映像のサムネイル画像を表示することができる。
領域９０には、取材映像と対応関係のある編集映像及び放送映像に関する情報が表示される。図１０に示すように、領域９０には、取材映像のどの部分が利用されているかがわかるように、各映像のタイムラインが、取材映像のタイムラインに合わせて表示されている。例えば、編集映像Ｅ１は、取材映像Ｃ１の区間「００：００〜２０：００」と対応関係にあることが示されている。同様に、編集映像Ｅ２、Ｅ３は、それぞれ、取材映像Ｃ１の区間「２０：００〜４０：００」、「４０：００〜６０：００」と対応関係にあることが示されている。また、例えば、放送映像Ｂ１は、取材映像Ｃ１の区間「００：００〜０５：００」、「２３：００〜３３：００」、「４２：００〜４７：００」と対応関係にあることが示されている。なお、取材映像Ｃ１と放送映像Ｂ１との対応関係は、取材映像Ｃ１と編集映像Ｅ１〜Ｅ３との対応関係、および、編集映像Ｅ１〜Ｅ３と放送映像Ｂ１との対応関係から導くことが可能である。
また、領域９０では、複数の映像に関する情報が、映像の作成日時の順序に従って表示されている。つまり、図１０の例では、編集映像Ｅ１、編集映像Ｅ２、編集映像Ｅ３、放送映像Ｂ１、放送映像Ｂ２、編集映像Ｅ４、放送映像Ｂ３の順に表示されている。このように、領域９０に表示される情報を映像の作成日時順とすることにより、取材映像からどのように映像が派生していったのかを時系列に沿って確認することができる。なお、領域９０に放送映像のみの情報を表示する場合であれば、放送映像の放送回数順に情報を表示することも可能である。また、例えば、動画サイトに投稿されている動画を派生映像とする場合であれば、動画が投稿（アップロード）された順や動画の視聴回数順に情報を表示することも可能である。
領域９２には、取材映像の各区間における、編集映像及び放送映像による利用頻度を示す情報が表示される。図１０の例では、取材映像のタイムラインに合わせて、取材映像の各区間が利用された回数がグラフで表示されている。このグラフを見ると、例えば、円９６で囲まれた範囲の利用頻度が高いことがわかる。そして、取材映像のタイムラインを参照すると、取材映像の区間「２０：００〜３０：００」付近の利用頻度が高いことがわかる。さらに、領域８８のサムネイル画像を参照すると、利用頻度が高い区間がどのような場面であるかを把握することができる。なお、派生映像が違法動画の場合であれば、元映像のどの区間が違法に利用されているかを把握することができる。
領域９４には、取材映像の各区間における、編集映像及び放送映像による改変度を示す情報が表示される。図１０の例では、取材映像のタイムラインに合わせて、取材映像の各区間からの改変度がグラフで表示されている。このグラフを見ると、例えば、円９８で囲まれた範囲の改変度が高いことがわかる。そして、取材映像のタイムラインを参照すると、取材映像の区間「２０：００〜２５：００」付近の改変度が高いことがわかる。さらに、領域８８のサムネイル画像を参照すると、改変度が高い区間がどのような場面であるかを把握することができる。
また、対応関係表示部２８は、領域９０において、ある映像の区間が選択されると、選択された区間の映像と、この区間に対応する取材映像とを表示する画面を出力することができる。図１１はその一例である。画面１２０には、取材映像が表示される領域１２２と、編集映像または放送映像が表示される領域１２３が含まれている。対応関係表示部２８は、選択された区間の区間情報を関係情報から取得し、該区間における映像を映像データベース４０から取得して領域１２２，１２３に表示する。また、対応関係表示部２８は、領域９０ではなく、領域９２や領域９４において選択された区間の映像を表示することとしてもよい。例えば、領域９２においてある区間が選択されると、この区間付近の取材映像と、この取材映像を利用して作成された編集映像や放送映像が並べて表示されるようにすることができる。このように、選択された区間の映像が表示されることにより、対応関係のある映像の全区間を再生して比較することなく、映像間における改変内容を確認することができる。
図１２は、映像間対応関係提示システム１０における処理の一例を示すフローチャートである。まず、特徴量抽出部２０は、映像データベース４０に格納されている映像ごとに特徴量ベクトルを抽出し、特徴量記憶部２２に格納する（Ｓ１２０１）。
特徴量比較部７０は、特徴量記憶部２２を参照し、映像間で特徴量ベクトルを比較する（Ｓ１２０２）。フレーム選択部７２は、特徴量比較部７０での比較結果に基づいて、対応関係（同一性）のあるフレーム画像を選択する（Ｓ１２０３）。そして、関係情報出力部７４は、選択されたフレーム画像を含む区間についての関係情報を関係情報記憶部２６に格納する（Ｓ１２０４）。
最後に、対応関係表示部２８は、関係情報記憶部２６に格納されている関係情報に基づいて、元映像（取材映像）及び派生映像（編集映像及び放送映像）の対応関係と、元映像の各区間の利用頻度及び改変度を表示する（Ｓ１２０５）。
以上、本実施形態について説明した。本実施形態の映像間対応関係提示システム１０によれば、元映像と派生映像との対応関係とともに、元映像の各区間における派生映像による利用頻度や改変度が表示されるため、作成元の映像の区間ごとの利用頻度や改変度を容易に把握することができる。
なお、本実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更／改良され得るととともに、本発明にはその等価物も含まれる。
この出願は、２０１１年２月１０日に出願された日本出願特願２０１１−０２７１８９を基礎とする優先権を主張し、その開示の全てをここに取り込む。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
本実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）元映像と、前記元映像の少なくとも一部の区間を利用して作成された複数の派生映像との間における、対応関係のある区間を示す情報である関係情報を記憶する関係情報記憶部と、前記関係情報記憶部に記憶されている前記関係情報に基づいて、前記元映像と前記複数の派生映像との間における前記区間の対応関係と、前記複数の派生映像による前記元映像の各区間の利用頻度とを表示する対応関係表示部と、を備える映像間対応関係表示システム。
（付記２）付記１に記載の映像間対応関係表示システムであって、前記対応関係表示部は、前記利用頻度を前記元映像の時間軸に合わせて表示する、映像間対応関係表示システム。
（付記３）付記２に記載の映像間対応関係表示システムであって、前記対応関係表示部は、前記複数の派生映像のそれぞれについて、前記対応関係を前記元映像の時間軸に合わせて表示する、映像間対応関係表示システム。
（付記４）付記３に記載の映像間対応関係表示システムであって、前記対応関係表示部は、所定の記憶部に記憶されている、前記複数の派生映像間における作成順序を識別するための順序情報に基づいて、前記複数の派生映像についての前記対応関係を前記作成順序に従って表示する、映像間対応関係表示システム。
（付記５）付記３に記載の映像間対応関係表示システムであって、前記対応関係表示部は、所定の記憶部に記憶されている、前記複数の派生映像のそれぞれの利用頻度を識別するための頻度情報に基づいて、前記複数の派生映像についての前記対応関係を前記派生映像の利用頻度の順序に従って表示する、映像間対応関係表示システム。
（付記６）付記１〜５に記載の映像間対応関係表示システムであって、前記関係情報記憶部は、複数の前記元映像に対する前記関係情報を記憶し、前記対応関係表示部は、前記複数の元映像のうちの１つを選択するための情報を表示し、該表示に応じてユーザ入力により選択される１つの元映像について、前記対応関係及び前記利用頻度を表示する、映像間対応関係表示システム。
（付記７）付記１〜６の何れか一項に記載の映像間対応関係表示システムであって、前記関係情報記憶部は、前記対応関係のある区間における、前記元映像から前記派生映像への改変度を示す情報である改変度情報を前記区間と対応付けて記憶し、前記対応関係表示部は、前記対応関係及び前記利用頻度とともに、前記元映像の各区間における前記複数の派生映像による改変度を表示する、映像間対応関係表示システム。
（付記８）付記７に記載の映像間対応関係表示システムであって、前記関係情報出力部は、前記改変度を前記元映像の時間軸に合わせて表示する、映像間対応関係表示システム。
（付記９）付記１〜８の何れか一項に記載の映像間対応関係表示システムであって、映像を構成する所定の区間ごとの特徴量を映像ごとに対応づけて記憶する特徴量記憶部と、前記元映像及び派生映像を含む、複数の映像に対する前記区間ごとの特徴量を比較する特徴量比較部と、前記区間ごとの特徴量の比較結果に基づいて前記関係情報を出力して前記関係情報記憶部に格納する関係情報出力部と、をさらに備える映像間対応関係表示システム。
（付記１０）付記１〜９の何れか一項に記載の対応関係表示システムであって、前記複数の派生映像のうちの少なくとも１つは、前記派生映像の少なくとも一部の区間を利用して作成された映像である、映像間対応関係表示システム。
（付記１１）元映像と、前記元映像の少なくとも一部の区間を利用して作成された複数の派生映像との間における、対応関係のある区間を示す情報である関係情報を関係情報記憶部に記憶し、前記関係情報記憶部に記憶されている関係情報に基づいて、前記元映像と前記複数の派生映像との間における前記区間の対応関係と、前記複数の派生映像による前記元映像の各区間の利用頻度とを表示する、映像間対応関係表示方法。
１０ 映像間対応関係提示システム
２０ 特徴量抽出部
２２ 特徴量記憶部
２４ 対応関係判定部
２６ 関係情報記憶部
２８ 対応関係表示部
３０ 取材映像特徴量記憶部
３２ 編集映像特徴量記憶部
３４ 放送映像特徴量記憶部
４０ 映像データベース
４２ 取材映像データベース
４４ 編集映像データベース
４６ 放送映像データベース
７０ 特徴量比較部
７２ フレーム選択部
７４ 関係情報出力部

Claims (9)

  1. 元映像と、前記元映像の少なくとも一部の区間を利用して作成された複数の派生映像との間における、対応関係のある区間を示す情報である関係情報を記憶し、前記対応関係のある区間における、前記元映像から前記派生映像への改変度を示す情報である改変度情報を前記区間と対応付けて記憶する関係情報記憶部と、
    前記関係情報記憶部に記憶されている前記関係情報及び前記改変度情報に基づいて、前記元映像と前記複数の派生映像との間における前記区間の対応関係と、前記複数の派生映像による前記元映像の各区間の利用頻度とともに、前記元映像の各区間における前記複数の派生映像による改変度を表示する対応関係表示部と、
    を備え、
    前記複数の派生映像のうちの少なくとも１つは、前記派生映像の少なくとも一部の区間を利用して作成された映像である、
    映像間対応関係表示システム。
  2. 請求項１に記載の映像間対応関係表示システムであって、
    前記対応関係表示部は、前記利用頻度を前記元映像の時間軸に合わせて表示する、
    映像間対応関係表示システム。
  3. 請求項２に記載の映像間対応関係表示システムであって、
    前記対応関係表示部は、前記複数の派生映像のそれぞれについて、前記対応関係を前記元映像の時間軸に合わせて表示する、
    映像間対応関係表示システム。
  4. 請求項３に記載の映像間対応関係表示システムであって、
    前記対応関係表示部は、所定の記憶部に記憶されている、前記複数の派生映像間における作成順序を識別するための順序情報に基づいて、前記複数の派生映像についての前記対応関係を前記作成順序に従って表示する、
    映像間対応関係表示システム。
  5. 請求項３に記載の映像間対応関係表示システムであって、
    前記対応関係表示部は、所定の記憶部に記憶されている、前記複数の派生映像のそれぞれの利用頻度を識別するための頻度情報に基づいて、前記複数の派生映像についての前記対応関係を前記派生映像の利用頻度の順序に従って表示する、
    映像間対応関係表示システム。
  6. 請求項１〜５の何れか一項に記載の映像間対応関係表示システムであって、
    前記関係情報記憶部は、複数の前記元映像に対する前記関係情報を記憶し、
    前記対応関係表示部は、
    前記複数の元映像のうちの１つを選択するための情報を表示し、
    該表示に応じてユーザ入力により選択される１つの元映像について、前記対応関係及び前記利用頻度を表示する、
    映像間対応関係表示システム。
  7. 請求項１〜６の何れか一項に記載の映像間対応関係表示システムであって、
    前記対応関係表示部は、前記改変度を前記元映像の時間軸に合わせて表示する、
    映像間対応関係表示システム。
  8. 請求項１〜７の何れか一項に記載の映像間対応関係表示システムであって、
    映像を構成する所定の区間ごとの特徴量を映像ごとに対応づけて記憶する特徴量記憶部と、
    前記元映像及び派生映像を含む、複数の映像に対する前記区間ごとの特徴量を比較する特徴量比較部と、
    前記区間ごとの特徴量の比較結果に基づいて前記関係情報を出力して前記関係情報記憶部に格納する関係情報出力部と、
    をさらに備える映像間対応関係表示システム。
  9. コンピュータが、
    元映像と、前記元映像の少なくとも一部の区間を利用して作成された複数の派生映像との間における、対応関係のある区間を示す情報である関係情報を関係情報記憶部に記憶し、前記対応関係のある区間における、前記元映像から前記派生映像への改変度を示す情報である改変度情報を前記区間と対応付けて前記関係情報記憶部に記憶し、
    前記関係情報記憶部に記憶されている前記関係情報及び前記改変度情報に基づいて、前記元映像と前記複数の派生映像との間における前記区間の対応関係と、前記複数の派生映像による前記元映像の各区間の利用頻度とともに、前記元映像の各区間における前記複数の派生映像による改変度を表示し、
    前記複数の派生映像のうちの少なくとも１つは、前記派生映像の少なくとも一部の区間を利用して作成された映像である、
    映像間対応関係表示方法。
JP2012556755A 2011-02-10 2011-11-28 映像間対応関係表示システム及び映像間対応関係表示方法 Active JP6037443B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011027189 2011-02-10
JP2011027189 2011-02-10
PCT/JP2011/077377 WO2012108089A1 (ja) 2011-02-10 2011-11-28 映像間対応関係表示システム及び映像間対応関係表示方法

Publications (2)

Publication Number Publication Date
JPWO2012108089A1 JPWO2012108089A1 (ja) 2014-07-03
JP6037443B2 true JP6037443B2 (ja) 2016-12-07

Family

ID=46638318

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012556755A Active JP6037443B2 (ja) 2011-02-10 2011-11-28 映像間対応関係表示システム及び映像間対応関係表示方法

Country Status (3)

Country Link
US (1) US9172936B2 (ja)
JP (1) JP6037443B2 (ja)
WO (1) WO2012108089A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9792528B2 (en) * 2012-01-30 2017-10-17 Nec Corporation Information processing system, information processing method, information processing apparatus and control method and control program thereof, and communication terminal and control method and control program thereof
JP7198564B2 (ja) * 2018-09-20 2023-01-04 日本テレビ放送網株式会社 コンテンツ制作システム、コンテンツ制作装置及びコンテンツ制作方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10149673A (ja) * 1996-09-20 1998-06-02 Sony Corp 編集システム、編集方法及び表示装置
JP2001143447A (ja) * 1999-11-16 2001-05-25 Sony Corp データ編集装置および方法、並びにデータ記録再生装置
JP2004172787A (ja) * 2002-11-19 2004-06-17 Nec Corp 映像閲覧システムおよび方法
JP2008060738A (ja) * 2006-08-29 2008-03-13 Toshiba Corp 放送素材管理システム、およびその素材管理方法
WO2010073695A1 (ja) * 2008-12-25 2010-07-01 日本電気株式会社 編集情報提示装置、編集情報提示方法、プログラム、及び記録媒体
JP2010282376A (ja) * 2009-06-03 2010-12-16 Nippon Telegr & Teleph Corp <Ntt> メタデータ管理装置、メタデータ管理方法、及び、メタデータ管理プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7055100B2 (en) 1996-09-20 2006-05-30 Sony Corporation Editing system, editing method, clip management apparatus, and clip management method
JPH10224665A (ja) 1997-02-04 1998-08-21 Sony Corp 送出システム
JP3934780B2 (ja) 1998-03-18 2007-06-20 株式会社東芝 放送番組管理装置、放送番組管理方法、及び放送番組管理処理プログラムを記録した記録媒体
JP4228662B2 (ja) 2002-11-19 2009-02-25 日本電気株式会社 映像閲覧システムおよび方法
JP2005148801A (ja) 2003-11-11 2005-06-09 Nippon Telegr & Teleph Corp <Ntt> 関連情報提供方法、関連情報提供装置、関連情報提供プログラム、および、関連情報提供プログラムの記録媒体
JP4165403B2 (ja) 2004-01-13 2008-10-15 ソニー株式会社 情報処理装置および方法、並びにプログラム
US8135750B2 (en) * 2005-04-22 2012-03-13 Microsoft Corporation Efficiently describing relationships between resources
JP2007164633A (ja) 2005-12-15 2007-06-28 Nippon Telegr & Teleph Corp <Ntt> コンテンツ検索方法及び装置及びプログラム
US20080306995A1 (en) * 2007-06-05 2008-12-11 Newell Catherine D Automatic story creation using semantic classifiers for images and associated meta data
CN102292745B (zh) 2009-01-23 2015-08-12 日本电气株式会社 图像签名提取设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10149673A (ja) * 1996-09-20 1998-06-02 Sony Corp 編集システム、編集方法及び表示装置
JP2001143447A (ja) * 1999-11-16 2001-05-25 Sony Corp データ編集装置および方法、並びにデータ記録再生装置
JP2004172787A (ja) * 2002-11-19 2004-06-17 Nec Corp 映像閲覧システムおよび方法
JP2008060738A (ja) * 2006-08-29 2008-03-13 Toshiba Corp 放送素材管理システム、およびその素材管理方法
WO2010073695A1 (ja) * 2008-12-25 2010-07-01 日本電気株式会社 編集情報提示装置、編集情報提示方法、プログラム、及び記録媒体
JP2010282376A (ja) * 2009-06-03 2010-12-16 Nippon Telegr & Teleph Corp <Ntt> メタデータ管理装置、メタデータ管理方法、及び、メタデータ管理プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6015026053; 粕谷 英司 Ｅｉｊｉ ＫＡＳＵＴＡＮＩ: 'ＭＰＥＧ-７による映像制作支援素材アーカイブシステム Ｖｉｄｅｏ Ｍａｔｅｒｉａｌ Ａｒｃｈｉｖｅ Ｓｙｓｔｅｍ ｆｏｒ Ｅｆｆｉｃｉｅｎｔ Ｖｉ' 情報処理学会研究報告 Ｖｏｌ．２００３ Ｎｏ．２４ ＩＰＳＪ ＳＩＧ Ｎｏｔｅｓ 第２００３巻, 20030307, Ｐ４９-Ｐ５４, 社団法人情報処理学会 Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｏｃｉｅ *

Also Published As

Publication number Publication date
US9172936B2 (en) 2015-10-27
WO2012108089A1 (ja) 2012-08-16
US20130302017A1 (en) 2013-11-14
JPWO2012108089A1 (ja) 2014-07-03

Similar Documents

Publication Publication Date Title
US10714145B2 (en) Systems and methods to associate multimedia tags with user comments and generate user modifiable snippets around a tag time for efficient storage and sharing of tagged items
JP5651231B2 (ja) コンテンツを決定し検索するためのメディアフィンガープリント
US9154856B2 (en) Video segmenting
US20180203878A1 (en) Methods and systems for analyzing parts of an electronic file
US10691879B2 (en) Smart multimedia processing
CN103984778A (zh) 一种视频检索方法及系统
US10153003B2 (en) Method, system, and apparatus for generating video content
US8467666B2 (en) Recording medium production method, recording medium, and player for recording medium
JP6037443B2 (ja) 映像間対応関係表示システム及び映像間対応関係表示方法
JP5854232B2 (ja) 映像間対応関係表示システム及び映像間対応関係表示方法
US9224069B2 (en) Program, method and apparatus for accumulating images that have associated text information
JP4667356B2 (ja) 映像表示装置及びその制御方法、プログラム、記録媒体
KR101328270B1 (ko) 스마트 ｔｖ의 비디오 어노테이션 및 증강 방법 및 그 시스템
JP2023162251A (ja) 製品ソースリンクを使用したメディア注釈
WO2014103374A1 (ja) 情報管理装置、サーバ及び制御方法
KR101442355B1 (ko) 미디어 요약데이터를 생성하는 방법 및 장치
US9961275B2 (en) Method, system, and apparatus for operating a kinetic typography service
JP2012114559A (ja) 映像処理装置、映像処理方法及び映像処理プログラム
US20180077460A1 (en) Method, System, and Apparatus for Providing Video Content Recommendations
US20140189769A1 (en) Information management device, server, and control method
KR101977108B1 (ko) Vr 기반의 프레젠테이션 발표 영상의 디스플레이를 위한 hmd 장치 및 그 동작 방법
JP2004342302A (ja) 光記憶媒体の専用位置に格納されるメニューアイテムデータに関連する付加データを格納するための方法及びメニューアイテムデータ及びこのメニューアイテムデータに関連する付加データを有するメニュー関連データを格納又は光記憶媒体から検索するための装置
JP5149616B2 (ja) ファイル管理装置、ファイル管理方法およびファイル管理プログラム
JP2023136955A (ja) メディアファイルを生成／処理する方法、プログラム、記憶媒体及び装置
JP2021118492A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141009

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150824

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20151111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160104

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20160112

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20160311

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161027

R150 Certificate of patent or registration of utility model

Ref document number: 6037443

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150