JP6559871B1 - 動画合成装置、動画合成方法及び動画合成プログラム - Google Patents
動画合成装置、動画合成方法及び動画合成プログラム Download PDFInfo
- Publication number
- JP6559871B1 JP6559871B1 JP2018225031A JP2018225031A JP6559871B1 JP 6559871 B1 JP6559871 B1 JP 6559871B1 JP 2018225031 A JP2018225031 A JP 2018225031A JP 2018225031 A JP2018225031 A JP 2018225031A JP 6559871 B1 JP6559871 B1 JP 6559871B1
- Authority
- JP
- Japan
- Prior art keywords
- avatar
- moving image
- coordinate system
- video
- imaging unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000015572 biosynthetic process Effects 0.000 title claims description 13
- 238000003786 synthesis reaction Methods 0.000 title claims description 11
- 238000001308 synthesis method Methods 0.000 title 1
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 37
- 238000003384 imaging method Methods 0.000 claims description 29
- 238000000034 method Methods 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 17
- 238000001514 detection method Methods 0.000 claims description 9
- 230000003190 augmentative effect Effects 0.000 claims description 8
- 230000014509 gene expression Effects 0.000 abstract description 20
- 230000008921 facial expression Effects 0.000 description 15
- 238000005259 measurement Methods 0.000 description 13
- 238000009826 distribution Methods 0.000 description 12
- 238000007726 management method Methods 0.000 description 10
- 238000003860 storage Methods 0.000 description 8
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 206010011469 Crying Diseases 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000003892 spreading Methods 0.000 description 2
- 230000007480 spreading Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
- Studio Devices (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
図4を参照し、動画合成装置1の構成例について説明する。同図に示す動画合成装置1は、空間測定部11、初期配置部12、アバター制御部13、合成部14、位置検出部15、インカメラ16、アウトカメラ17、入力部18、表示部19、通信制御部20、および記憶部21を備える。動画合成装置1が備える各部は、演算処理装置、記憶装置等を備えたコンピュータにより構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムは動画合成装置1が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。例えば、スマートフォンにアプリケーションをインストールし、スマートフォンを動画合成装置1として機能させてもよい。
図5を参照し、アバターの初期配置処理の一例について説明する。
配信者がアバターの初期配置を終えると、動画合成装置1は、インカメラ16による配信者の撮影を開始し、AR動画の生成を開始する。
図10を参照し、アバター制御部13によるアバターの表情と姿勢の制御処理の一例について説明する。
Claims (8)
- 実写動画にアバターを合成した拡張現実動画を生成する動画合成装置であって、
実写動画を撮影する第1撮像部と、
操作者を撮影する第2撮像部と、
前記第1撮像部または前記動画合成装置の実空間に対応した座標系における位置および向きを検出する位置検出部と、
前記第2撮像部の撮影した画像に基づいてアバターを制御するとともに、前記第1撮像部または前記動画合成装置の前記座標系における位置の移動に合わせて前記アバターの前記座標系における位置を移動させる制御部と、
前記座標系の所定位置に前記アバターを配置して前記第1撮像部の撮影した前記実写動画に前記アバターを合成する合成部と、
を有することを特徴とする動画合成装置。 - 前記制御部は、前記第2撮像部の撮影した前記操作者のジェスチャー、文字、または図形のいずれかに基づいて前記アバターを制御することを特徴とする請求項1に記載の動画合成装置。
- 前記制御部は、前記動画合成装置の動きに基づいて前記アバターの向きを制御することを特徴とする請求項1または2に記載の動画合成装置。
- 前記操作者の操作を入力する入力部を有し、
前記制御部は、前記入力部の入力した操作に基づいて前記アバターを制御することを特徴とする請求項1乃至3のいずれかに記載の動画合成装置。 - 音声を入力するマイクを有し、
前記制御部は、前記マイクの入力した音声に基づいて前記アバターを制御することを特徴とする請求項1乃至4のいずれかに記載の動画合成装置。 - 前記第1撮像部と前記第2撮像部の撮影方向は互いに逆向きであることを特徴とする請求項1乃至5のいずれかに記載の動画合成装置。
- 実写動画にアバターを合成した拡張現実動画を生成する動画合成方法であって、
コンピュータによる、
実写動画を撮影する第1撮像部の実空間に対応した座標系における位置および向きを検出するステップと、
操作者を撮影する第2撮像部の撮影した画像に基づいてアバターを制御するステップと、
前記第1撮像部の前記座標系における位置の移動に合わせて前記アバターの前記座標系における位置を移動させるステップと、
前記座標系の所定位置に前記アバターを配置して前記第1撮像部の撮影した前記実写動画に前記アバターを合成するステップと、
を有することを特徴とする動画合成方法。 - 実写動画にアバターを合成した拡張現実動画を生成する動画合成プログラムであって、
実写動画を撮影する第1撮像部の実空間に対応した座標系における位置および向きを検出する処理と、
操作者を撮影する第2撮像部の撮影した画像に基づいてアバターを制御する処理と、
前記第1撮像部の前記座標系における位置の移動に合わせて前記アバターの前記座標系における位置を移動させる処理と、
前記座標系の所定位置に前記アバターを配置して前記第1撮像部の撮影した前記実写動画に前記アバターを合成する処理と、
をコンピュータに実行させることを特徴とする動画合成プログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018225031A JP6559871B1 (ja) | 2018-11-30 | 2018-11-30 | 動画合成装置、動画合成方法及び動画合成プログラム |
CN201880097578.XA CN112689854A (zh) | 2018-11-30 | 2018-12-25 | 动画合成装置、动画合成方法以及记录介质 |
PCT/JP2018/047436 WO2020110323A1 (ja) | 2018-11-30 | 2018-12-25 | 動画合成装置、動画合成方法及び記録媒体 |
US17/263,767 US11367260B2 (en) | 2018-11-30 | 2018-12-25 | Video synthesis device, video synthesis method and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018225031A JP6559871B1 (ja) | 2018-11-30 | 2018-11-30 | 動画合成装置、動画合成方法及び動画合成プログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019131774A Division JP2020087429A (ja) | 2019-07-17 | 2019-07-17 | 動画合成装置、動画合成方法及び動画合成プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6559871B1 true JP6559871B1 (ja) | 2019-08-14 |
JP2020087278A JP2020087278A (ja) | 2020-06-04 |
Family
ID=67614859
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018225031A Active JP6559871B1 (ja) | 2018-11-30 | 2018-11-30 | 動画合成装置、動画合成方法及び動画合成プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US11367260B2 (ja) |
JP (1) | JP6559871B1 (ja) |
CN (1) | CN112689854A (ja) |
WO (1) | WO2020110323A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021242022A1 (ko) * | 2020-05-27 | 2021-12-02 | 삼성전자 주식회사 | 3차원 객체에 2차원 객체를 합성하기 위한 전자 장치, 전자 장치의 동작 방법 및 비일시적 저장 매체 |
JP2021189674A (ja) * | 2020-05-28 | 2021-12-13 | グリー株式会社 | コンピュータプログラム、サーバ装置、端末装置、及び方法 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6559870B1 (ja) * | 2018-11-30 | 2019-08-14 | 株式会社ドワンゴ | 動画合成装置、動画合成方法及び動画合成プログラム |
JP7326805B2 (ja) * | 2019-03-26 | 2023-08-16 | 株式会社ニコン | データ処理装置、データ処理方法、プログラム、及び、データ処理システム |
US11644890B2 (en) * | 2021-02-11 | 2023-05-09 | Qualcomm Incorporated | Image capturing in extended reality environments |
US20240096033A1 (en) * | 2021-10-11 | 2024-03-21 | Meta Platforms Technologies, Llc | Technology for creating, replicating and/or controlling avatars in extended reality |
US11893166B1 (en) * | 2022-11-08 | 2024-02-06 | Snap Inc. | User avatar movement control using an augmented reality eyewear device |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9024972B1 (en) * | 2009-04-01 | 2015-05-05 | Microsoft Technology Licensing, Llc | Augmented reality computing with inertial sensors |
US9377857B2 (en) * | 2009-05-01 | 2016-06-28 | Microsoft Technology Licensing, Llc | Show body position |
KR101212231B1 (ko) * | 2012-07-13 | 2012-12-13 | 송헌주 | 이동 자유도를 개선한 융합형 가상현실 구현 방법 |
CN104520905A (zh) * | 2012-07-27 | 2015-04-15 | 日本电气方案创新株式会社 | 三维环境共有系统及三维环境共有方法 |
JP5963256B2 (ja) * | 2012-08-17 | 2016-08-03 | Kddi株式会社 | 画像生成装置 |
JP2014149712A (ja) | 2013-02-01 | 2014-08-21 | Sony Corp | 情報処理装置、端末装置、情報処理方法及びプログラム |
JP2014160982A (ja) | 2013-02-20 | 2014-09-04 | Sony Corp | 画像処理装置および撮影制御方法、並びにプログラム |
JP2015116336A (ja) * | 2013-12-18 | 2015-06-25 | マイクロソフト コーポレーション | 複合現実感アリーナ |
US20170197144A1 (en) * | 2014-03-13 | 2017-07-13 | Shalong Maa | Mobile Computing Device |
US9672416B2 (en) | 2014-04-29 | 2017-06-06 | Microsoft Technology Licensing, Llc | Facial expression tracking |
KR20170089662A (ko) * | 2016-01-27 | 2017-08-04 | 엘지전자 주식회사 | 증강현실을 제공하는 웨어러블 디바이스 |
JP2017188787A (ja) | 2016-04-06 | 2017-10-12 | シャープ株式会社 | 撮像装置、画像合成方法、および画像合成プログラム |
US20190355179A1 (en) | 2017-01-19 | 2019-11-21 | Hewlett-Packard Development Company, L.P. | Telepresence |
JP6266814B1 (ja) * | 2017-01-27 | 2018-01-24 | 株式会社コロプラ | 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム |
EP3557861A4 (en) * | 2017-01-31 | 2019-12-25 | NTT DoCoMo, Inc. | INFORMATION PROCESSING DEVICE AND INFORMATION PROCESSING METHOD |
WO2018207046A1 (en) * | 2017-05-09 | 2018-11-15 | Within Unlimited, Inc. | Methods, systems and devices supporting real-time interactions in augmented reality environments |
JP2018187298A (ja) | 2017-05-11 | 2018-11-29 | グリー株式会社 | ゲーム処理プログラム、ゲーム処理方法及びゲーム処理装置 |
US10861210B2 (en) * | 2017-05-16 | 2020-12-08 | Apple Inc. | Techniques for providing audio and video effects |
US10846902B2 (en) | 2018-03-02 | 2020-11-24 | Imvu, Inc. | Preserving the state of an avatar associated with a physical location in an augmented reality environment |
CN108519816A (zh) * | 2018-03-26 | 2018-09-11 | 广东欧珀移动通信有限公司 | 信息处理方法、装置、存储介质及电子设备 |
US11107281B2 (en) | 2018-05-18 | 2021-08-31 | Valeo Comfort And Driving Assistance | Shared environment for vehicle occupant and remote user |
JP6559870B1 (ja) | 2018-11-30 | 2019-08-14 | 株式会社ドワンゴ | 動画合成装置、動画合成方法及び動画合成プログラム |
US11462000B2 (en) | 2019-08-26 | 2022-10-04 | Apple Inc. | Image-based detection of surfaces that provide specular reflections and reflection modification |
-
2018
- 2018-11-30 JP JP2018225031A patent/JP6559871B1/ja active Active
- 2018-12-25 WO PCT/JP2018/047436 patent/WO2020110323A1/ja active Application Filing
- 2018-12-25 US US17/263,767 patent/US11367260B2/en active Active
- 2018-12-25 CN CN201880097578.XA patent/CN112689854A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021242022A1 (ko) * | 2020-05-27 | 2021-12-02 | 삼성전자 주식회사 | 3차원 객체에 2차원 객체를 합성하기 위한 전자 장치, 전자 장치의 동작 방법 및 비일시적 저장 매체 |
JP2021189674A (ja) * | 2020-05-28 | 2021-12-13 | グリー株式会社 | コンピュータプログラム、サーバ装置、端末装置、及び方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2020110323A1 (ja) | 2020-06-04 |
JP2020087278A (ja) | 2020-06-04 |
CN112689854A (zh) | 2021-04-20 |
US20210233325A1 (en) | 2021-07-29 |
US11367260B2 (en) | 2022-06-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6559871B1 (ja) | 動画合成装置、動画合成方法及び動画合成プログラム | |
JP6559870B1 (ja) | 動画合成装置、動画合成方法及び動画合成プログラム | |
RU2638776C1 (ru) | Устройство генерирования изображения и способ | |
US8350896B2 (en) | Terminal apparatus, display control method, and display control program | |
JP2020036134A (ja) | 配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信システム、動画配信方法及び動画配信プログラム | |
JP6470356B2 (ja) | 仮想空間を提供するコンピュータで実行されるプログラム、方法、および当該プログラムを実行する情報処理装置 | |
JP6392945B1 (ja) | 仮想空間を提供するコンピュータで実行されるプログラム、方法、および当該プログラムを実行する情報処理装置 | |
JP6523493B1 (ja) | プログラム、情報処理装置、及び情報処理方法 | |
JP6843164B2 (ja) | プログラム、方法、および情報処理装置 | |
JP6470859B1 (ja) | ユーザの動きをアバタに反映するためのプログラム、当該プログラムを実行するための情報処理装置、およびアバタを含む映像を配信するための方法 | |
JP2020036305A (ja) | 配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信システム、動画配信方法及び動画配信プログラム | |
WO2021044745A1 (ja) | 表示処理装置、表示処理方法及び記録媒体 | |
JP2022183213A (ja) | ヘッドマウントディスプレイ | |
JP2020087429A (ja) | 動画合成装置、動画合成方法及び動画合成プログラム | |
JP6454883B1 (ja) | コンテンツ配信システム、コンテンツ配信方法およびコンテンツ配信プログラム | |
JP2020036303A (ja) | 配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信システム、動画配信方法及び動画配信プログラム | |
KR102490402B1 (ko) | 배신 유저의 움직임에 기초하여 생성되는 캐릭터 오브젝트의 애니메이션을 포함하는 동화상을 라이브 배신하는 동화상 배신 시스템, 동화상 배신 방법 및 동화상 배신 프로그램 | |
JP7241628B2 (ja) | 動画合成装置、動画合成方法、および動画合成プログラム | |
JP2019021324A (ja) | 仮想空間を提供するコンピュータで実行されるプログラム、方法、および当該プログラムを実行する情報処理装置 | |
US20230260235A1 (en) | Information processing apparatus, information processing method, and information processing system | |
JP5864789B1 (ja) | 鉄道模型観賞用装置、方法、プログラム、専用表示モニタ、合成用情景画像データ | |
JP7236529B2 (ja) | ヘッドマウント情報処理装置およびヘッドマウントディスプレイシステム | |
JP2020036309A (ja) | 配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信システム、動画配信方法及び動画配信プログラム | |
JP2019160295A (ja) | ユーザの動きをアバタに反映するためのプログラム、当該プログラムを実行するための情報処理装置、およびアバタを含む映像を配信するための方法 | |
WO2023248832A1 (ja) | 遠隔視認システム、現地撮像システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181130 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20181130 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20181217 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190320 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190417 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190702 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190717 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6559871 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |