JP7398265B2 - 映像編集システム及び映像編集方法 - Google Patents

映像編集システム及び映像編集方法 Download PDF

Info

Publication number
JP7398265B2
JP7398265B2 JP2019229470A JP2019229470A JP7398265B2 JP 7398265 B2 JP7398265 B2 JP 7398265B2 JP 2019229470 A JP2019229470 A JP 2019229470A JP 2019229470 A JP2019229470 A JP 2019229470A JP 7398265 B2 JP7398265 B2 JP 7398265B2
Authority
JP
Japan
Prior art keywords
performer
video
data
video data
substitute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019229470A
Other languages
English (en)
Other versions
JP2021096786A (ja
Inventor
司 志賀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to JP2019229470A priority Critical patent/JP7398265B2/ja
Priority to US17/122,336 priority patent/US11501801B2/en
Priority to CN202011482342.3A priority patent/CN113014832B/zh
Publication of JP2021096786A publication Critical patent/JP2021096786A/ja
Application granted granted Critical
Publication of JP7398265B2 publication Critical patent/JP7398265B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/232Content retrieval operation locally within server, e.g. reading video streams from disk arrays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • H04N21/42653Internal components of the client ; Characteristics thereof for processing graphics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432Content retrieval operation from a local storage medium, e.g. hard-disk
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/858Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、映像編集システム及び映像編集方法に係り、特に、出演者本人の本人映像と、代役映像とを含む複数の映像を時系列に沿って編集し、完成映像を生成するための映像編集システム及び映像編集方法に関する。
近年、各種の体験型施設において消費者に対し様々な体験イベントを提供する体験型のサービスが注目されている。
特に、インバウンド向けの体験型のサービスとして、外国人観光客が、日本を代表するキャラクター(忍者、サムライ、アニメのキャラクター等)の衣装やコスチュームを身にまとい、当該キャラクターになりきって日本の文化を体験することが可能なサービスに人気が集まっている。
こうした体験型サービスにおいては、体験者の思い出として残るように、体験者に対し体験イベントの記念写真や記念動画を提供するサービスも併せてなされている。
このような映像提供サービスにあっては、体験者にとって記念写真よりも記念動画を提供するほうが思い出として残り易いものの、当該記念動画を即座に作成して体験者に早いタイミングで提供することは、サービス運営業者にとって作業負担が大きく、高い作業コストが発生するものであった。
そうしたなかで、例えば、特許文献1に記載の動画ムービー編集サービスでは、結婚式の動画ムービーを簡単に編集できることが開示されている。
具体的には、新郎及び新婦の結婚に至るまでの経緯を「既存の映像」と「新規撮影する映像」とを組み合わせて予めストーリーを作成し、音楽等の効果を加えて仮編集しておき、結婚式当日に実際の挙式を撮影した映像を含めるようにコンピュータで編集し、直後の披露宴にて完成映像を上映するものである。
当該システムであれば、新郎及び新婦の「既存の映像」を利用することで、結婚式当日に全ての撮影シーンを撮影、編集する必要がなくなり、サービス運営業者にとって作業負担を幾分減らすことができる。
また、特許文献2に記載の動画像提供システムでは、結婚披露宴等のイベントにおいて招待客向けに記念動画を簡単に提供できることが開示されている。
具体的には、撮影装置からアップロードされた「動画データ」をイベントIDとユーザーIDの組み合わせに対応付けて記憶装置に格納し、「当該動画データ」と「既存の背景画像データ」とを合成して合成動画データを生成しておく。そして、ユーザー携帯端末から管理サーバーにアクセスがあると、イベントIDとユーザーIDの組み合わせに対応する合成動画データを当該ユーザー携帯端末に提供するものである。
特開2004-266789号公報 特開2016-154021号公報
しかしながら、特許文献1、2のような映像編集システムでは、ユーザー本人の「既存の映像」と、ユーザー本人の「新規映像」とを組み合わせて記念動画を作成することで、ユーザーに対し早いタイミングで記念動画を提供し、サービス運営業者の作業負担を減らすことができるものの、結婚式以外の体験型サービスに応用できるものではなかった。
すなわち、インバウンド向けの体験型サービスにおいて終日に多くの外国人観光客が体験イベントに参加する場合には、外国人観光客それぞれの「本人映像データ」を予め入手しておくような作業は到底できないし、当該「本人映像データ」を加工してキャラクターの衣装を身にまとった記念動画を完成させることも到底できなかった。
本発明は、上記の課題に鑑みてなされたものであり、本発明の目的は、本人が出演する映像を早いタイミングで提供し、サービス運営業者の作業負担を減らすことが可能な映像編集システム及び映像編集方法を提供することにある。
特に、インバウンド向けの体験型サービスにおいて本人がキャラクターになりきった映像を早いタイミングで提供し、サービス運営業者の作業負担を減らすことが可能な映像編集システム及び映像編集方法を提供することにある。
前記課題は、本発明の映像編集システムによれば、出演者本人が出演する本人映像と、出演者の代役が出演する代役映像とを含む複数の映像を時系列に沿って編集し、完成映像を生成するための映像編集システムであって、代役映像を示す代役映像データを、出演者の性別、出演者の体型、及び出演者の衣装のうち少なくとも1つの属性項目の違いによる複数の撮影パターンで記憶する記憶部と、出演者の属性を示す出演者属性データを取得する属性データ取得部と、撮影された出演者の本人映像を示す本人映像データを取得する映像データ取得部と、前記出演者属性データが示す出演者の属性に基づいて、複数の撮影パターンの中から出演者の前記属性項目に対応した撮影パターンによる代役映像データを選定する映像データ選定部と、前記本人映像データが示す本人映像の各撮影シーンと、前記映像データ選定部によって選定された前記代役映像データが示す代役映像の各撮影シーンとを時系列に沿って編集し、完成映像を示す完成映像データを生成する映像データ生成部と、を備えていること、により解決される。
上記構成により、各種の体験型サービスにおいて本人が出演する映像を早いタイミングで提供し、サービス運営業者の作業負担を減らすことが可能な映像編集システムを実現することができる。
詳しく述べると、新規に撮影された「出演者の本人映像」と、出演者の属性に基づいて選定された所定の撮影パターンによる「代役映像」とを編集して完成映像を生成することができる。そのため、本人映像(正確には、代役映像を含む本人映像)を早いタイミングで提供し、サービス運営業者の作業負担、作業コストを減らすことができる。
なお、出演者の属性に基づいて「代役映像」を選定しているため、第三者が代役映像を利用しているとは認識できない完成度によって、完成映像を仕上げることができる。
また上記構成により、予め撮影された「代役映像」を複数パターンで記憶しておき、出演者の性別、出演者の体型、及び出演者の衣装のうち少なくとも1つの属性項目の違いに基づいて「代役映像」を選定しているため、より高い完成度で完成映像を生成することができる。
このとき、前記映像編集システムは、開始映像のオープニングと、出演者がキャラクターを演じる本人映像の各撮影シーンと、出演者の代役が前記キャラクターを演じる代役映像の各撮影シーン、終了映像のエンディングとを時系列に沿って編集し、出演者の本人映像を撮影し、本人映像データを生成する撮影装置を備え、該撮影装置は、前記完成映像の中で出演者本人の顔が映し出される撮影シーンを本人映像として撮影すると良い。
上記構成により、特にインバウンド向けの体験型サービスにおいて、本人がキャラクターになりきった映像を早いタイミングで提供し、サービス運営業者の作業負担を減らすことが可能な映像編集システムを実現できる。
また上記のように、撮影装置は、完成映像の中で出演者の顔が映し出される撮影シーンを本人映像として撮影するため、より高い完成度で完成映像を生成することができる。
このとき、前記属性データ取得部は、出演者が利用する出演者端末から前記出演者属性データを取得し、取得した前記出演者属性データが示す出演者の属性から、出演者を識別するための識別マークを示す識別マークデータを生成するマークデータ生成部と、生成された該識別マークデータを前記出演者端末に向けて送信するデータ送信部と、前記出演者端末に表示された識別マークを読み取ることで、出演者本人であることを確認する本人確認部と、前記完成映像データを前記出演者端末に向けて出力する映像データ出力部と、を備えていると良い。
上記構成により、識別マークを利用したシンプルな管理方法によって、出演者に対してスムーズな「受付チェックイン」及び「完成映像の提供」をサービスすることができる。
また、識別マークを利用することで、受付チェックイン後の「撮影前講習会の受付」、「スタジオ撮影の受付」、撮影終了後の「衣装返却の確認」なども管理することができる。
このとき、出演者の本人映像を複数の撮影シーンにおいて撮影する撮影装置を備え、本人映像を撮影するにあたって、前記識別マークデータが示す識別マークを読み取ることで、該識別マークに記録された出演者の属性と、出演者の本人映像とを紐づけるデータ紐づけ部を備え、前記映像データ取得部は、出演者の属性が紐づけられた複数の前記本人映像データを取得すると良い。
上記構成により、出演者の本人映像を複数の撮影シーンにおいて撮影した場合であっても、当該複数の本人映像をシンプルにかつ適確に管理することができるようになる。
また前記課題は、本発明の映像編集方法によれば、出演者本人が出演する本人映像と、出演者の代役が出演する代役映像とを含む複数の映像を時系列に沿って編集し、完成映像を生成するコンピュータによって実行される映像編集方法であって、代役映像を示す代役映像データを、出演者の性別、出演者の体型、及び出演者の衣装のうち少なくとも1つの属性項目の違いによる複数の撮影パターンで記憶する前記コンピュータが、演者の属性を含む出演者属性データを取得することと、撮影された出演者の本人映像を示す本人映像データを取得することと、前記出演者属性データが示す出演者の属性に基づいて、複数の撮影パターンの中から出演者の前記属性項目に対応した撮影パターンによる代役映像データを選定することと、前記本人映像データが示す出演者の本人映像の各撮影シーンと、選定された前記代役映像データが示す代役映像の各撮影シーンとを時系列に沿って編集し、完成映像を示す完成映像データを生成することと、を実行すること、により解決される。
本発明の映像編集システム、映像編集方法によれば、本人が出演する映像を早いタイミングで提供し、サービス運営業者の作業負担、作業コストを減らすことができる。
特に、インバウンド向けの体験型サービスにおいて本人がキャラクターになりきった映像を早いタイミングで提供し、サービス運営業者の作業負担、作業コストを減らすことができる。
本実施形態の映像編集システム全体の構成図である。 映像編集システムのハード構成図である。 映像編集システムのソフト構成図である。 出演者属性データの一例を示す図である。 代役映像参照データの一例を示す図である。 映像データ選定処理、映像データ生成処理の一例を説明する図である。 代役映像(代役撮影シーン1)の一例を示す図である。 代役映像(代役撮影シーン1)の一例を示す図である。 本人映像(本人撮影シーン1)の一例を示す図である。 本人映像(本人撮影シーン2)の一例を示す図である。 本実施形態の映像編集方法の一例を示す処理フロー図である。
以下、本発明に係る実施形態について図1-図10を参照して説明する。
本実施形態は、出演者本人が出演する本人映像と、出演者の代役が出演する代役映像とを含む複数の映像を時系列に沿って編集し、完成映像を生成するための映像編集システムであって、予め撮影された代役映像を示す「代役映像データ」を複数の撮影パターンで記憶する記憶部と、出演者が出演するために必要となる出演者の属性を示す「出演者属性データ」を取得する属性データ取得部と、撮影された本人映像を示す「本人映像データ」を取得する映像データ取得部と、出演者属性データが示す出演者の属性に基づいて、複数の撮影パターンの中から所定の撮影パターンによる代役映像データを選定する映像データ選定部と、本人映像データが示す本人映像と、選定した代役映像データが示す代役映像とを時系列に沿って編集し、完成映像を示す「完成映像データ」を生成する映像データ生成部と、を備えていることを特徴とする発明に関するものである。
本実施形態の映像編集システムS全体の構成を図1に示す。
映像編集システムSは、出演者が各種のキャラクターを演じる「本人映像」と、出演者の代役が出演する「代役映像」とを時系列に沿って編集し、記念動画となる「完成映像」を生成し、出演者に対し完成映像を提供するためのシステムである。
具体的には、インバウンド向けの体験型サービスにおいて、体験者に対し、体験者本人が各種のキャラクターになりきった「本人映像」を含む「完成映像」を早いタイミングで提供するためのシステムである。
ここで「各種のキャラクター」とは、例えば日本を代表するキャラクターであって、忍者やサムライ、殿様、姫様等のキャラクター、日本アニメのキャラクター等が挙げられる。
以下、本実施形態では、出演者本人が「忍者」の衣装を身にまとい、忍者を演じる場合を想定して説明することとする。
映像編集システムSは、映像編集装置1と、映像編集装置1と接続され、本人映像を撮影する撮影装置20と、映像編集装置1とネットワークを通じて接続され、出演者が利用する出演者端末30と、から主に構成されている。
映像編集装置1は、図1、図2に示すように、撮影装置20及び出演者端末30とデータ通信を行うコンピュータであって、出演者の受付管理や、完成映像の提供に関するソフトウェアサービスを提供するものである。
具体的には、出演者端末30から出演者の属性を示す「出演者属性データ」を取得して、出演者の識別マークを示す「識別マークデータ」を生成し、出演者端末30に向けて「識別マークデータ」を送信する。そして、出演者端末30に表示された識別マークを読み取ることで出演者本人であることを確認する。そして、撮影装置20によって撮影された本人映像を示す「本人映像データ」を取得し、当該本人映像と、出演者の属性に基づいて選定した代役映像とを時系列に編集し、完成映像を示す「完成映像」を生成する。そして、出演者端末30に向けて「完成映像データ」を出力する。
なお、映像編集装置1には、予め撮影された代役の映像を示す「代役映像データ」が複数のパターンで記憶されている。
撮影装置20は、撮影カメラであって、本人映像を複数の撮影シーンにおいて撮影し、それぞれの撮影シーンにおける「本人映像データ」を生成するものである。
具体的には、忍者屋敷をイメージした体験型施設において各撮影シーンを撮影可能な箇所に複数設置されており、出演者の属性が紐づけられた複数の「本人映像データ」を生成し、映像編集装置1に向けてデータ送信するものである。
出演者端末30は、出演者によって操作される情報端末であって、具体的には、Pスマートフォン、タブレット端末、PC等のコンピュータである。
出演者端末30は、映像編集装置1とネットワークを介して接続され、映像編集装置1からソフトウェアサービスの提供を受けるものである。
具体的には、出演者による体験イベントの申し込み情報の入力又は選択を受け付けて、映像編集装置1に向けて「出演者属性データ」を送信し、映像編集装置1から出演者を識別するための「識別マークデータ」を受信する。そして、体験当日には、出演者の受付チェックインから始まってスタジオ撮影の受付等をスムーズに処理するために、出演者端末30の表示部に識別マークを表示する。そして、体験終了後には、映像編集装置1から「完成映像データ」を受信する。
<映像編集システムのハード構成>
映像編集装置1は、図2に示すように、データの演算・制御処理装置としてのCPUと、記憶装置としてのROM、RAM、及びHDD(SSD)と、ホームネットワーク又はインターネットを通じて情報データの送受信を行う通信用インタフェースと、を有するコンピュータである。
また、映像編集装置1は、所定の書式で表示される文字又は画像の情報を表示する表示装置と、CPUに所定の指令を入力するとき入力操作される入力装置と、外付けハードディスク等の記憶媒体装置と、文字又は画像の情報を出力する印刷装置と、をさらに有している。
なお、撮影装置20及び出演者端末30についても同様のハード構成を備えている。
映像編集装置1のROM、HDD、及び外部記憶装置には、図3に示すように、コンピュータとして必要な機能を果たすメインプログラムに加えて、映像編集プログラムが記憶されており、これらプログラムがCPUによって実行されることにより、映像編集装置1の機能が発揮されることになる。
<映像編集システムのソフト構成>
映像編集装置1は、図3に示すように、機能面から説明すると、「出演者属性データ」、「識別マークデータ」、「代役映像データ」、「代役映像参照データ」、「本人映像データ」、「完成映像データ」のほか、各種プログラム及び各種データを記憶しておく記憶部10と、属性データ取得部11と、マークデータ生成部12と、データ送信部13と、本人確認部14と、映像データ取得部15と、映像データ選定部16と、映像データ生成部17と、映像データ出力部18と、を主な構成要素として備えている。
これらは、CPU、ROM、RAM、HDD、通信用インタフェース、及び各種プログラム等によって構成されている。
撮影装置20は、各種プログラム(各種データ)を格納しておく格納部21と、本人映像を複数の撮影シーンにおいて撮影する映像撮影部22と、本人映像を撮影するにあたって、「識別マークデータ」が示す識別マークを予め読み取ることで、識別マークに含まれる出演者の属性と本人映像とを紐づける映像紐づけ部23と、出演者の属性が紐づけられた複数の「本人映像データ」を生成し、映像編集装置1に向けて「本人映像データ」を送信するデータ発信部24と、を主な構成要素として備えている。
出演者端末30は、各種プログラム(各種データ)を格納しておく記憶部31と、出演者による入力操作又は選択操作を受け付けて、映像編集装置1に向けて「出演者属性データ」を送信するデータ発信部32と、映像編集装置1から「識別マークデータ」及び「完成映像データ」を受信するデータ受信部33と、「識別マークデータ」が示す識別マークを表示する表示部34と、を主な構成要素として備えている。
記憶部10に記憶される「出演者属性データ」は、図2、図4に示すように、出演者が出演するために必要となる出演者の属性を示すデータであって、出演者端末30から送信され、記憶部10に一元管理されて記憶されている。
当該出演者属性データを参照することで、出演者の識別マークを示す「識別マークデータ」を生成する機能を利用することができる。
詳しく述べると、出演者属性データには、主に出演者の「ID」、「氏名」、「国籍」、「年齢」、「写真」、「性別」、「体型」「衣装のサイズ」、「衣装」の情報が含まれている。
図4の本実施例を見ると、出演者のID「0001」、性別「男性」、体型「普通」、衣装のサイズ「M」、衣装「忍者A/黒色」等の情報が設定されているほか、出演者本人の写真データが添付されていることが分かる。
ここで「体型」については、例えば、「細い」、「普通」、「太い」の3種類から出演者が適宜設定するものである。あるいは、出演者の入力操作による身長、体重、胸囲、ウエスト、ヒップ及び靴のサイズの情報を受け付けて、映像編集装置1が適宜設定することとしても良い
「衣装のサイズ」については、例えば、小さいサイズ「S」から大きいサイズ「L」までの範囲内で出演者が適宜設定するものである。
「衣装」については、例えば、男性の場合には「忍者A」及び「忍者B」タイプの衣装の中から出演者が衣装を適宜選択し、かつ「黒色」及び「白色」の中から色を選択することができる。女性の場合には「くノ一A」及び「くノ一B」タイプの衣装の中から衣装を適宜選択することができる。
「識別マークデータ」は、図2に示すように、出演者を識別するための識別マークを示すデータであって、映像編集装置1によって生成され、出演者端末30に向けて送信されるものである。
当該識別マークデータを参照することで、出演者端末30が表示部34に識別マークを表示する機能を利用することができる。
詳しく述べると、識別マークデータには、「識別マーク」のほか、出演者の識別内容となる「ID」、「氏名」、「性別」、「体型」、「衣装のサイズ」、「衣装」、「写真」の情報が含まれている。
ここで「識別マーク」とは、例えば2次元バーコードであって、上記出演者の識別内容を光学的に読み取るためのマークである。
「代役映像データ」は、予め撮影された代役映像を示す動画データであって、複数の撮影パターン、複数の撮影シーンに分けられて記憶部10に一元管理されて記憶されている。
代役映像データは、出演者の属性項目の違いによる複数の撮影パターンで記憶部10に記憶されている。詳しく述べると、出演者の「性別」、「体型」、「衣装のサイズ」及び「衣装」の違いによる複数の撮影パターンで記憶されている。
なお、上記出演者の属性項目に特に限定されることなく、例えば、出演者の「国籍」、「年齢」の違いによって複数の撮影パターンで記憶されていても良い。あるいは、出演者の「写真」から得られる情報の違いによって複数の撮影パターンで記憶されていても良い。
図7Aの本実施例を見ると、完成映像の中で出演者の顔が映し出されていない撮影シーンが代役映像として採用されていることが分かる。また、図7A、図7Bに示すように、「体型」、「衣装」の違いによる複数の撮影パターンが記憶されていることが分かる。
「代役映像参照データ」は、図5に示すように、代役映像と、出演者の属性項目との対応関係を示すテーブルデータであって、記憶部10に一元管理されて記憶されている。
当該代役映像データを参照することで、複数の撮影パターンの中から、出演者の属性項目に対応した撮影パターンによる代役映像データを選定する機能を利用することができる。
詳しく述べると、代役映像参照データには、代役映像それぞれに、「撮影シーン」、出演者の「性別」、「体型」、「衣装のサイズ」及び「衣装」の情報が割り当てられている。
図5の本実施例を見ると、代役映像1-1には、撮影シーン「代役撮影シーン1」、性別「男性」、体型「細い」、衣装のサイズ「S」、衣装「忍者A/黒色」が割り当てられていることが分かる。
「本人映像データ」は、撮影装置10によって撮影された本人映像を示す動画データであって、複数の撮影シーンに分けられて記憶部10に一元管理されて記憶されている。
詳しく述べると、本人映像データは、出演者の属性(具体的には、出演者のID)が紐づけられた動画データとなっており、出演者毎に、複数の撮影シーン毎に管理されて記憶されている。
図8の本実施例を見ると、完成映像の中で出演者の顔が映し出される撮影シーンが本人映像として採用されていることが分かる。
また、図9の本実施例を見ると、完成映像の中で忍者ならではの撮影シーン(具体的には、敵忍者とのチャンバラシーン)が本人映像として採用されていることが分かる。
「完成映像データ」は、本人映像と、選定した代役映像とを時系列に沿って編集した完成映像を示す動画データであって、映像編集装置1によって生成され、出演者端末30に向けて送信されるものである。
詳しく述べると、本人映像データは、図6に示すように、「オープニング」、「代役撮影シーン1」、「本人撮影シーン1」、「代役撮影シーン2」、「本人撮影シーン2」、「代役撮影シーン3」及び「エンディング」から構成された完成映像を示す動画データとなっている。また、出演者の属性が紐づけられた動画データとなっている。
属性データ取得部11は、出演者が利用する出演者端末30から「出演者属性データ」を取得するものであって、当該出演者属性データは、出演者毎に分類されて記憶部10に記憶される。
マークデータ生成部12は、「出演者属性データ」が示す出演者の属性を参照して、「識別マークデータ」を生成するものであって、当該識別マークデータは、出演者毎に分類されて記憶部10に記憶される。
データ送信部13は、「識別マークデータ」を出演者端末30に向けて送信するものである。このとき、出演者端末30(データ受信部33)は、映像編集装置1から「識別マークデータ」を受信し、識別マークデータが記憶部31に記憶される。
本人確認部14は、出演者端末30に表示された識別マークを読み取ることで、出演者端末30の利用者が出演者本人であることを確認するものである。
詳しく述べると、映像編集装置1に接続された不図示のカメラが識別マークを読み取り、本人確認部14が、識別マークに含まれる出演者の識別内容から、出演者本人であるか否かを確認する。
映像取得部15は、撮影装置20から出演者の属性が紐づけられた「本人映像データ」を取得するものであって、当該本人映像データは、出演者毎に、撮影シーン毎に分類されて記憶部10に記憶される。
なお、撮影装置20の映像紐づけ部23は、本人映像を撮影するにあたって、「識別マークデータ」が示す識別マークを予め読み取ることで、識別マークに記録された出演者の属性と、本人映像とを紐づけている。
映像データ選定部16は、「出演者属性データ」が示す出演者の属性を参照して、複数の撮影パターンの中から所定の撮影パターンによる「代役映像データ」を選定するものである。
詳しく述べると、映像データ選定部16は、図6に示すように、複数の撮影パターンの中から、出演者の属性項目に対応した撮影パターンによる「代役映像データ」を撮影シーン毎に選定する。
映像データ生成部17は、「本人映像データ」が示す本人映像と、選定した「代役映像データ」が示す代役映像とを時系列に沿って編集し、完成映像を示す「完成映像データ」を生成するものである。
詳しく述べると、映像データ生成部17は、図6に示すように、開始映像「オープニング」と、本人映像「本人撮影シーン1,2」と、選定した代役映像「代役撮影シーン1,2,3」と、終了映像「エンディング」とを時系列に沿って編集し、完成映像を生成する。
図6の本実施例を見ると、選定した代役映像として「代役映像1-5」、「代役映像2-5」及び「代役映像3-5」がそれぞれ採用されている。
映像データ出力部18は、「完成映像データ」を出演者端末30に向けて出力するものである。
「完成映像データ」を出力する方法としては、例えば「完成映像データ」を出演者端末30に向けてデータ送信しても良いし、「完成映像データ」が格納されたウェブサイトのURL情報を出演者端末に送付しても良い。
<映像編集方法>
次に、映像編集システムS(映像編集装置1)で実行される映像編集プログラム(映像編集方法)の処理について、図10に基づいて説明する。
本実施形態に係る上記プログラムは、記憶部10を備えた映像編集装置1の機能的な構成要素として、上述した記憶部10と、属性データ取得部11と、マークデータ生成部12と、データ送信部13と、本人確認部14と、映像データ取得部15と、映像データ選定部16と、映像データ生成部17と、映像データ出力部18と、を実現させるために各種プログラムを集約させたユーティリティプログラムであって、映像編集装置1のCPUがこの映像処理プログラムを実行する。
なお、上記プログラムは、例えば、ユーザーとなる運営スタッフから映像編集開始の操作を受け付けて実行されるものである。
図10に示す「映像編集フロー」では、まず、属性データ取得部11が、出演者端末30から「出演者属性データ」を取得するステップS1から始まる。
なお、取得された出演者属性データは、出演者毎に分類されて記憶部10に記憶される。
次に、ステップS2で、マークデータ生成部12が、「出演者属性データ」が示す出演者の属性を参照して、「識別マークデータ」を生成する。
そして、データ送信部13が、「識別マークデータ」を出演者端末30に向けて送信する(ステップS3)。このとき、出演者端末30が、映像編集装置1から「識別マークデータ」を受信し、識別マークデータが記憶部31に記憶される。
次に、ステップS4で、本人確認部14が、出演者端末30に表示された識別マークを読み取ることで、出演者端末30の利用者が出演者本人であることを確認する。
詳しく述べると、映像編集装置1に接続された不図示のカメラが識別マークを読み取り、本人確認部14が、識別マークに含まれる出演者の識別内容から、出演者本人であるか否かを確認する。
次に、ステップS5で、映像取得部15が、撮影装置20から出演者の属性が紐づけられた複数の「本人映像データ」を取得する。
なお、撮影装置20の映像紐づけ部23が、本人映像を撮影するにあたって、「識別マークデータ」が示す識別マークを予め読み取ることで、識別マークに記録された出演者の属性と、本人映像とを紐づけている。
次に、ステップS6で、映像データ選定部16が、「出演者属性データ」が示す出演者の属性を参照して、複数の撮影パターンの中から所定の撮影パターンによる「代役映像データ」を選定するものである。
詳しく述べると、映像データ選定部16は、図6に示すように、出演者の属性項目に対応した撮影パターンによる「代役映像データ」を撮影シーン毎に選定する。
次に、ステップS7で、映像データ生成部17が、「本人映像データ」が示す本人映像と、選定した「代役映像データ」が示す代役映像とを時系列に沿って編集し、完成映像を示す「完成映像データ」を生成する。
詳しく述べると、映像データ生成部17は、図6に示すように、「オープニング」と、「本人撮影シーン1,2」と、選定した「代役撮影シーン1,2,3」と、「エンディング」とを時系列に沿って編集し、完成映像を生成する。
最後に、ステップS8で、映像データ出力部18が、「完成映像データ」を出演者端末30に向けて出力する。
上記ステップS1からステップS8を経て、図10のプロセスを終了する。
上記の映像編集プログラムの処理フローにより、インバウンド向けの体験型サービスにおいて本人がキャラクターになりきった映像を早いタイミングで提供し、サービス運営業者の作業負担、作業コストを減らすことができる。
<その他の実施形態>
上記実施形態において、図6-図9に示すように、映像編集システムSは、出演者が「忍者」を演じる本人映像と、代役映像とを時系列に沿って編集し、記念動画となる完成映像を生成するものであるが、「忍者」に限定されることなく変更可能である。
例えば、「忍者」以外のキャラクターとして、「サムライ」、「殿様(姫様)」等のキャラクター、「実在する有名人物」、「アニメ」のキャラクター等であっても良い。
なお、出演者が「忍者」のようなキャラクターを演じる場合には、出演者の顔以外の部分が衣装で覆われ、また顔の一部分も衣装で覆われるため好ましい。すなわち、第三者が代役映像を利用しているとは認識できない完成度で映像を仕上げることができる。
上記実施形態において、映像データ選定部16は、複数の撮影パターンの中から、出演者の属性項目(性別、体型、衣装のサイズ及び衣装)に対応した撮影パターンによる代役映像データを選定しているが、上記属性項目に限定されることなく変更可能である。
例えば、映像データ選定部16が、出演者の「性別」、「体型」、「衣装のサイズ」及び「衣装」のうち1つの属性項目に基づいて代役映像データを選定しても良い。あるいは、出演者の「国籍」、「年齢」に基づいて、「写真」から得られる情報に基づいて代役映像データを選定しても良い。
上記実施形態では、映像編集装置1が読み取り可能な記録媒体に映像編集プログラムが記憶されており、映像編集装置1が当該プログラムを読み出して実行することによって処理が実行される。ここで映像編集装置1が読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD-ROM、DVD-ROM、半導体メモリ等をいう。
また、この映像編集プログラムを通信回線によって不図示のサーバー端末に配信し、この配信を受けたサーバー端末自身が、映像処理装置として機能し、当該プログラムを実行するように構成しても良い。あるいは、出演者端末自身が、映像処理装置として機能するように構成しても良い。
上記実施形態では、主として本発明に係る映像編集システム及び映像編集方法に関して説明した。
ただし、上記の実施形態は、本発明の理解を容易にするための一例に過ぎず、本発明を限定するものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることは勿論である。
S 映像編集システム
1 映像編集装置
10 記憶部
11 属性データ取得部
12 マークデータ生成部
13 データ送信部
14 本人確認部
15 映像データ取得部
16 映像データ選定部
17 映像データ生成部
18 映像データ出力部
20 撮影装置
21 格納部
22 映像撮影部
23 映像紐づけ部
24 データ発信部
30 出演者端末
31 記憶部
32 データ発信部
33 データ受信部
34 表示部

Claims (5)

  1. 出演者本人が出演する本人映像と、出演者の代役が出演する代役映像とを含む複数の映像を時系列に沿って編集し、完成映像を生成するための映像編集システムであって、
    代役映像を示す代役映像データを、出演者の性別、出演者の体型、及び出演者の衣装のうち少なくとも1つの属性項目の違いによる複数の撮影パターンで記憶する記憶部と、
    演者の属性を示す出演者属性データを取得する属性データ取得部と、
    撮影された出演者の本人映像を示す本人映像データを取得する映像データ取得部と、
    前記出演者属性データが示す出演者の属性に基づいて、複数の撮影パターンの中から出演者の前記属性項目に対応した撮影パターンによる代役映像データを選定する映像データ選定部と、
    前記本人映像データが示す本人映像の各撮影シーンと、前記映像データ選定部によって選定された前記代役映像データが示す代役映像の各撮影シーンとを時系列に沿って編集し、完成映像を示す完成映像データを生成する映像データ生成部と、を備えていることを特徴とする映像編集システム。
  2. 前記映像編集システムは、開始映像のオープニングと、出演者がキャラクターを演じる本人映像の各撮影シーンと、出演者の代役が前記キャラクターを演じる代役映像の各撮影シーン、終了映像のエンディングとを時系列に沿って編集し、
    出演者の本人映像を撮影し、本人映像データを生成する撮影装置を備え、
    該撮影装置は、前記完成映像の中で出演者本人の顔が映し出される撮影シーンを本人映像として撮影することを特徴とする請求項に記載の映像編集システム。
  3. 前記属性データ取得部は、出演者が利用する出演者端末から前記出演者属性データを取得し、
    取得した前記出演者属性データが示す出演者の属性から、出演者を識別するための識別マークを示す識別マークデータを生成するマークデータ生成部と、
    生成された該識別マークデータを前記出演者端末に向けて送信するデータ送信部と、
    前記出演者端末に表示された識別マークを読み取ることで、出演者本人であることを確認する本人確認部と、
    前記完成映像データを前記出演者端末に向けて出力する映像データ出力部と、を備えていることを特徴とする請求項1又は2に記載の映像編集システム。
  4. 出演者の本人映像を複数の撮影シーンにおいて撮影する撮影装置を備え、
    本人映像を撮影するにあたって、前記識別マークデータが示す識別マークを読み取ることで、該識別マークに記録された出演者の属性と、出演者の本人映像とを紐づけるデータ紐づけ部を備え、
    前記映像データ取得部は、出演者の属性が紐づけられた複数の前記本人映像データを取得することを特徴とする請求項に記載の映像編集システム。
  5. 出演者本人が出演する本人映像と、出演者の代役が出演する代役映像とを含む複数の映像を時系列に沿って編集し、完成映像を生成するコンピュータによって実行される映像編集方法であって、
    代役映像を示す代役映像データを、出演者の性別、出演者の体型、及び出演者の衣装のうち少なくとも1つの属性項目の違いによる複数の撮影パターンで記憶する前記コンピュータが、
    演者の属性を含む出演者属性データを取得することと、
    撮影された出演者の本人映像を示す本人映像データを取得することと、
    前記出演者属性データが示す出演者の属性に基づいて、複数の撮影パターンの中から出演者の前記属性項目に対応した撮影パターンによる代役映像データを選定することと、
    前記本人映像データが示す出演者の本人映像の各撮影シーンと、選定された前記代役映像データが示す代役映像の各撮影シーンとを時系列に沿って編集し、完成映像を示す完成映像データを生成することと、を実行することを特徴とする映像編集方法。
JP2019229470A 2019-12-19 2019-12-19 映像編集システム及び映像編集方法 Active JP7398265B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019229470A JP7398265B2 (ja) 2019-12-19 2019-12-19 映像編集システム及び映像編集方法
US17/122,336 US11501801B2 (en) 2019-12-19 2020-12-15 Video editing system and video editing method
CN202011482342.3A CN113014832B (zh) 2019-12-19 2020-12-15 影像编辑系统及影像编辑方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019229470A JP7398265B2 (ja) 2019-12-19 2019-12-19 映像編集システム及び映像編集方法

Publications (2)

Publication Number Publication Date
JP2021096786A JP2021096786A (ja) 2021-06-24
JP7398265B2 true JP7398265B2 (ja) 2023-12-14

Family

ID=76383582

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019229470A Active JP7398265B2 (ja) 2019-12-19 2019-12-19 映像編集システム及び映像編集方法

Country Status (3)

Country Link
US (1) US11501801B2 (ja)
JP (1) JP7398265B2 (ja)
CN (1) CN113014832B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11425460B1 (en) 2021-01-29 2022-08-23 Rovi Guides, Inc. Selective streaming based on dynamic parental rating of content
CN113727039B (zh) * 2021-07-29 2022-12-27 北京达佳互联信息技术有限公司 视频生成方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003163888A (ja) 2001-07-17 2003-06-06 Eiji Yamamoto オリジナル映像作成システム及び記録媒体
JP2005062420A (ja) 2003-08-11 2005-03-10 Nec Corp コンテンツ生成システム、コンテンツ生成方法およびコンテンツ生成プログラム
US20100195913A1 (en) 2002-12-31 2010-08-05 Rajeev Sharma Method and System for Immersing Face Images into a Video Sequence

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7827488B2 (en) * 2000-11-27 2010-11-02 Sitrick David H Image tracking and substitution system and methodology for audio-visual presentations
US20030025726A1 (en) * 2001-07-17 2003-02-06 Eiji Yamamoto Original video creating system and recording medium thereof
WO2003100703A2 (en) * 2002-05-28 2003-12-04 Casio Computer Co., Ltd. Composite image output apparatus and composite image delivery apparatus
JP2004266789A (ja) 2003-03-01 2004-09-24 Takao Kono 結婚式披露宴当日における動画ムービー編集・上映サービス
US8726161B2 (en) * 2010-10-19 2014-05-13 Apple Inc. Visual presentation composition
JP5759212B2 (ja) * 2011-03-17 2015-08-05 キヤノン株式会社 シナリオ編集装置およびシナリオ編集方法、ならびに撮像システム
KR101301711B1 (ko) * 2011-12-15 2013-08-29 (주)에스디시스템 실시간 영상전송을 이용한 아바타 용역서비스 제공시스템 및 제공방법
KR20140136288A (ko) * 2013-05-20 2014-11-28 노영희 사용자 참여형 테마파크 영상 제작 서비스 제공 시스템 및 방법
JP2014238712A (ja) * 2013-06-07 2014-12-18 三菱電機株式会社 コンテンツ分析装置、コンテンツ分析方法及びコンテンツ分析プログラム
JP6353058B2 (ja) * 2013-09-26 2018-07-04 ジョン,ジェ ラク 広告提供方法
JP5939659B2 (ja) 2014-09-17 2016-06-22 イーキューデザイン株式会社 写真・動画像提供システム
KR101631636B1 (ko) * 2015-02-27 2016-06-17 네이버 주식회사 사용자 임의수정 영상 생성 장치, 방법, 사용자 임의수정 영상 생성 방법을 실행하기 위한 프로그램이 기록되어 있는 컴퓨터 판독가능한 기록매체
CN106023288B (zh) * 2016-05-18 2019-11-15 浙江大学 一种基于图像的动态替身构造方法
KR101915786B1 (ko) * 2017-09-01 2018-11-09 (주)비버스팩토리 아바타를 이용한 인터넷 방송 참여 서비스 시스템 및 방법
KR101994437B1 (ko) * 2017-11-10 2019-07-02 조한성 스마트 연기영상 제작 시스템 및 그 방법
CN108062760B (zh) * 2017-12-08 2020-12-08 广州市百果园信息技术有限公司 视频编辑方法、装置及智能移动终端
KR102019235B1 (ko) * 2018-04-02 2019-09-06 에스케이브로드밴드주식회사 포커싱서비스장치 및 그 동작 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003163888A (ja) 2001-07-17 2003-06-06 Eiji Yamamoto オリジナル映像作成システム及び記録媒体
US20100195913A1 (en) 2002-12-31 2010-08-05 Rajeev Sharma Method and System for Immersing Face Images into a Video Sequence
JP2005062420A (ja) 2003-08-11 2005-03-10 Nec Corp コンテンツ生成システム、コンテンツ生成方法およびコンテンツ生成プログラム

Also Published As

Publication number Publication date
CN113014832B (zh) 2024-03-12
CN113014832A (zh) 2021-06-22
US20210193181A1 (en) 2021-06-24
US11501801B2 (en) 2022-11-15
JP2021096786A (ja) 2021-06-24

Similar Documents

Publication Publication Date Title
JP5939659B2 (ja) 写真・動画像提供システム
US9723253B2 (en) Apparatus and method for automatically generating an optically machine readable code for a captured image
KR20140016365A (ko) 데이터 축적 시스템
JP7398265B2 (ja) 映像編集システム及び映像編集方法
JP2020074041A (ja) 遊戯用撮影装置、画像処理装置、および画像処理方法
JP5878523B2 (ja) コンテンツ加工装置とその集積回路、方法、およびプログラム
JP5800319B2 (ja) 土産用動画配信システム
JP5896385B1 (ja) 写真撮影遊戯装置、写真シール作成装置、コンテンツ提供システム、写真撮影遊戯装置の制御方法、及び写真撮影遊戯装置の制御プログラム
JP2014017026A (ja) 画像処理装置、画像処理システム及び画像処理方法
JP6061401B2 (ja) データ生成装置および画像生成方法
JP2016116245A (ja) 写真撮影遊戯装置、写真シール作成装置、コンテンツ提供システム、写真撮影遊戯装置の制御方法、及び写真撮影遊戯装置の制御プログラム
JP2015195581A (ja) 管理装置および管理装置の制御方法
JP5113142B2 (ja) 映像劇提供システム
JP6331540B2 (ja) 写真シール作成装置、写真シール作成装置の制御方法および管理装置
JP6254400B2 (ja) 写真シール払出装置
JP6569767B2 (ja) 管理サーバ
JP2020150289A (ja) 撮影システム、撮影装置、管理装置及び撮影方法
Tiwary SCREENING CONJUGALITY: THE AFFECTIVE INFRASTRUCTURE OF THE MARRIAGE VIDEO.
CN107463909A (zh) 利用现实增强技术通过平面宣传物料的识别系统与方法
JP6849851B2 (ja) 撮影システム、撮影装置及びユーザ撮影方法
JP5409852B2 (ja) 仮想風景表示装置及び仮想風景表示方法
JP6830634B1 (ja) 情報処理方法、情報処理装置及びコンピュータプログラム
JP7102937B2 (ja) 遊戯画像撮影システム
Pfeifer Expanding the family frame: Social specialists, mediated experiences, and gendered images of mobility in transnational wedding videos
JP2021150832A (ja) 画像提供システム及びその制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221201

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231024

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231204

R150 Certificate of patent or registration of utility model

Ref document number: 7398265

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150