JP6368142B2 - 情報処理装置、情報処理方法 - Google Patents
情報処理装置、情報処理方法 Download PDFInfo
- Publication number
- JP6368142B2 JP6368142B2 JP2014100786A JP2014100786A JP6368142B2 JP 6368142 B2 JP6368142 B2 JP 6368142B2 JP 2014100786 A JP2014100786 A JP 2014100786A JP 2014100786 A JP2014100786 A JP 2014100786A JP 6368142 B2 JP6368142 B2 JP 6368142B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- index
- information processing
- projection
- orientation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 51
- 238000003672 processing method Methods 0.000 title claims 3
- 238000003384 imaging method Methods 0.000 claims description 53
- 238000004590 computer program Methods 0.000 claims description 9
- 238000000034 method Methods 0.000 description 50
- 238000013500 data storage Methods 0.000 description 30
- 230000008569 process Effects 0.000 description 19
- 238000012545 processing Methods 0.000 description 19
- 238000001514 detection method Methods 0.000 description 12
- 230000008859 change Effects 0.000 description 6
- 230000001276 controlling effect Effects 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 239000002131 composite material Substances 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Processing Or Creating Images (AREA)
Description
前記現実空間の画像内に写っている指標のうち該画像内における動き量が規定の閾値より大きい指標を対象指標として特定する特定手段と、
前記対象指標の配置位置を通知する通知手段と
を備えることを特徴とする。
本実施形態では、これから現実空間に配する複数の指標のそれぞれについて、その配置位置は予め決まっているものの、該配置位置が実際に現実空間中のどの位置であるのかをユーザに通知するシステムについて説明する。本実施形態に係るシステムの外観例及びその環境について、図2を用いて説明する。
配置情報取得部1030は、配置情報入力部200によって入力された各指標の配置情報を取得し、該取得した配置情報をデータ記憶部1020に格納する。なお、以下では、各指標の配置位置は、世界座標系(現実空間中の1点を原点とし、該原点で互いに直交する3軸をそれぞれx軸、y軸、z軸とする座標系)におけるものとするが、処理の内容によっては、他の座標系における配置位置としても構わない。
位置姿勢取得部1040は、位置姿勢入力部300によって入力された撮像装置100の位置姿勢を取得し、該取得した位置姿勢をデータ記憶部1020に格納する。なお、撮像装置100の位置姿勢は、世界座標系におけるものとするが、処理の内容によっては、他の座標系における位置姿勢としても構わない。また、データ記憶部1020には、撮像装置100の上記内部パラメータが予め登録されているものとする。もちろん、この内部パラメータは、位置姿勢入力部300によってデータ記憶部1020に入力されても構わない。
画像取得部1010は、撮像装置100から送出された現実空間の撮像画像を取得し、該取得した撮像画像をデータ記憶部1020に格納する。
指標検出部1050は、ステップS2030でデータ記憶部1020に格納した撮像画像(若しくはデータ記憶部1020に最も過去に登録された、指標検出を未だ行っていない画像)を対象画像とし、該対象画像から指標を検出する処理を行う。
・ {識別子k1=1、uPk11及びuPk12及びuPk13及びuPk14から計算される1点の画像座標}
・ {識別子k2=2、uPk21及びuPk22及びuPk23及びuPk24から計算される1点の画像座標}
・ {識別子k3=3、uPk31及びuPk32及びuPk33及びuPk34から計算される1点の画像座標}
<ステップS2050>
対象指標判定部1060は、対象画像と、該対象画像の1フレーム過去の撮像画像(過去撮像画像)と、を用いて、該対象画像から検出した指標のうち規定の条件を満たす指標を対象指標として特定する。そして対象指標判定部1060は、データ記憶部1020に格納されている指標毎のセットのうち対象指標のセットを、他のセットとは識別可能にデータ記憶部1020内で管理する。これは少なくとも、対象指標の識別子が非対象指標の識別子と識別可能に管理されていればよい。
先ず、過去撮像画像から検出したそれぞれの指標の識別子のうち、対象画像から検出した着目指標と同じ識別子を特定し、該特定した識別子と同セット中の画像座標を取得する。そして、該取得した画像座標と、対象画像から検出した着目指標の画像座標と、の差分Δuを求める。
差分Δuが規定の閾値Tよりも大きいか否かを判断する。この判断の結果、Δu>Tであれば処理はステップS2054に進み、Δu≦Tであれば、着目指標に係る図5のフローチャートに従った処理は終了する。
着目指標についてデータ記憶部1020に登録したセットを対象指標のセットとし、該対象指標のセットを、非対象指標のセットと識別可能に管理する。即ち、図5のフローチャートに従った処理を、対象画像から検出したそれぞれの指標について行うことで、対象画像から検出したそれぞれの指標のうち、画像内で閾値よりも大きく動いた指標を対象指標として検出することができ、例えば、ユーザが、これから指標を配置しようとして手に持ってる場合などに、この手に持っている「これから配置しようとしている指標」を対象指標として判定することができる。
対象指標投影部1070は先ず、データ記憶部1020内に格納されている各指標の配置情報のうち、ステップS2050にて特定した対象指標の識別子を含む配置情報を、対象指標の配置情報として特定する。そして対象指標投影部1070は、この特定した配置情報中の配置位置を、撮像装置100の位置姿勢を用いて対象画像上に投影した投影位置(ux、uy)を求める。ここで、この投影位置(ux、uy)を求める為の処理について説明する。
画像出力部1080は、対象画像上の投影位置を指し示すような情報を該対象画像上に合成した合成画像を生成する。例えば、対象画像上の投影位置に指標を表すマーカ画像を合成しても構わないし、該投影位置を指し示す矢印を該対象画像上に合成しても構わない。要するに、この対象画像上の投影位置を表す情報を見たユーザが、現実空間において対応する箇所が分かるのであれば、この情報として採用可能なものは如何なるものであっても構わない。
上記の説明では、フレーム間で動き量が大きい指標を対象指標として特定したが、上記の通り、対象指標の特定方法はこれに限るものではない。例えば、撮像画像中に写っているそれぞれの指標のうち、該指標の検出画像座標と、該指標の配置情報中の配置位置を撮像画像上に投影(第1の実施形態と同様の投影方法で投影)した投影座標と、の間の差が規定値以上である指標を対象指標として特定しても構わない。すなわち、配置位置が予め定められているにもかかわらず、未だユーザが手に持っていたり、すでに間違った位置に配置してしまったりして、指標が該配置位置にはない場合には、この指標については対象指標として特定し、ユーザに配置位置を通知する。
第1の実施形態では、対象指標の配置位置を、撮像装置100の位置姿勢に基づいて撮像画像上に投影した投影位置若しくはその近傍に何らかの情報を表示していた。しかし、この投影位置が撮像画像外の位置になってしまった場合、この撮像画像上には投影位置を通知するための情報が合成されなくなる。そこで本実施形態ではこのようなケースが発生した場合には、投影位置が含まれるような撮像画像を撮像できるように撮像装置100のパン・チルト・ズームを制御する。然るに本実施形態の場合、撮像装置100は、情報処理装置1000からの制御信号により、パン・チルト・ズームが制御可能な撮像装置である。このような撮像装置としては、例えば、遠隔からパンまたはチルトまたはズームを制御可能なネットワークカメラがある。また、他にも、USBカメラや1394カメラなどのカメラであっても構わない。
第1,2の実施形態では、表示部400に表示する画像上に、対象指標の配置位置を示す情報を合成していたが、対象指標の配置位置をユーザに提示することができるのであれば、他の方法を採用しても構わない。本実施形態では、対象指標の配置位置に、該配置位置が該対象指標を配置すべき位置であることを示す情報を投影(投射)する。
位置姿勢取得部1090は、位置姿勢入力部500によって入力された表示部400の位置姿勢を取得し、該取得した位置姿勢をデータ記憶部1020に格納する。
対象指標投影部1070は、第1の実施形態と同様にして、表示部400の位置姿勢に基づいて、対象指標の配置位置を表示部400内の表示面上に投影した投影位置を求める。より詳しくは、世界座標系における表示部400の位置をt=[tx ty tz]t、表示部400の姿勢(実際には、表示部400に固有の座標系に対する世界座標系の姿勢)をω=[ωx ωy ωz]として、上記のステップS2060における処理と同様の処理を行う。このように、撮像装置の位置及び姿勢と対象指標の配置情報から、対象指標の投影座標(ux,uy)を推定する処理と、表示部400の位置及び姿勢と対象指標の配置情報から、対象指標の投影座標を推定する処理と、は同様である。そして対象指標投影部1070は、このようにして求めた投影位置を、画像出力部1080に対して送出する。
画像出力部1080は、表示部400が有する表示面上の投影位置に指標を表すマーカ画像を配置した画像を生成しても構わないし、該投影位置を指し示す矢印を該表示面上に配置した画像を生成しても構わない。要するに、表示部400による投射結果を見たユーザが、現実空間において対象指標の配置位置が分かるのであれば、投射する情報として採用可能なものは如何なるものであっても構わない。
第3の実施形態では、対象指標の配置位置を表示部400の位置姿勢に基づいて該表示部400の表示面上に投影した投影位置を求めているが、この求めた投影位置が表示面外の位置になってしまった場合、投影位置を示す情報を投射することはできない。そこで本実施形態ではこのようなケースが発生した場合には、投影位置が表示部400の画角内に収まるように表示部400のパン・チルト・ズームを制御する。然るに本実施形態の場合、表示部400は、情報処理装置1000からの制御信号により、パン・チルト・ズームが制御可能な投影装置である。
図1,7のそれぞれに示した情報処理装置1000を構成する各機能部、情報処理装置2000を構成する各機能部は何れもハードウェアで構成しても構わないが、データ記憶部1020をメモリ装置で構成し、それ以外の機能部をソフトウェア(コンピュータプログラム)で構成しても構わない。この場合、このようなメモリ装置を有し、且つこのコンピュータプログラムを実行可能なコンピュータであれば、情報処理装置1000や情報処理装置2000に適用することができる。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
Claims (7)
- 複数の指標のそれぞれに対して予め設定されている、現実空間中の配置位置を取得する手段と、
前記現実空間の画像内に写っている指標のうち該画像内における動き量が規定の閾値より大きい指標を対象指標として特定する特定手段と、
前記対象指標の配置位置を通知する通知手段と
を備えることを特徴とする情報処理装置。 - 前記通知手段は、前記現実空間の画像を撮像する撮像装置の位置姿勢に基づいて、前記対象指標の配置位置を前記画像上に投影した位置を投影位置として求め、前記画像上の該投影位置若しくはその近傍に前記対象指標に関する情報を合成して表示することを特徴とする請求項1に記載の情報処理装置。
- 更に、
前記投影位置が前記画像から外れた位置となった場合には、該位置が前記画像内の位置となるように前記撮像装置のパン、チルト、ズームの1以上を制御する手段を備えることを特徴とする請求項2に記載の情報処理装置。 - 前記通知手段は投影装置であり、該投影装置の位置姿勢に基づいて、前記対象指標の配置位置を該投影装置内の画像表示面上に投影した位置を投影位置として求め、該投影位置を示す情報を投影することを特徴とする請求項1に記載の情報処理装置。
- 更に、
前記投影位置が前記画像表示面から外れた位置となった場合には、該位置が前記画像表示面内の位置となるように前記投影装置のパン、チルト、ズームの1以上を制御する手段を備えることを特徴とする請求項4に記載の情報処理装置。 - 情報処理装置が行う情報処理方法であって、
前記情報処理装置の取得手段が、複数の指標のそれぞれに対して予め設定されている、現実空間中の配置位置を取得する工程と、
前記情報処理装置の特定手段が、前記現実空間の画像内に写っている指標のうち該画像内における動き量が規定の閾値より大きい指標を対象指標として特定する特定工程と、
前記情報処理装置の通知手段が、前記対象指標の配置位置を通知する通知工程と
を備えることを特徴とする情報処理方法。 - コンピュータを、請求項1乃至5の何れか1項に記載の情報処理装置の各手段として機能させるためのコンピュータプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014100786A JP6368142B2 (ja) | 2014-05-14 | 2014-05-14 | 情報処理装置、情報処理方法 |
US14/703,056 US9696543B2 (en) | 2014-05-14 | 2015-05-04 | Information processing apparatus and information processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014100786A JP6368142B2 (ja) | 2014-05-14 | 2014-05-14 | 情報処理装置、情報処理方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2015219590A JP2015219590A (ja) | 2015-12-07 |
JP2015219590A5 JP2015219590A5 (ja) | 2017-03-30 |
JP6368142B2 true JP6368142B2 (ja) | 2018-08-01 |
Family
ID=54538969
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014100786A Active JP6368142B2 (ja) | 2014-05-14 | 2014-05-14 | 情報処理装置、情報処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US9696543B2 (ja) |
JP (1) | JP6368142B2 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10281976B2 (en) * | 2015-07-07 | 2019-05-07 | Seiko Epson Corporation | Display device, control method for display device, and computer program |
JP6789624B2 (ja) | 2015-11-20 | 2020-11-25 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
US20170169612A1 (en) | 2015-12-15 | 2017-06-15 | N.S. International, LTD | Augmented reality alignment system and method |
JP6688088B2 (ja) * | 2016-01-19 | 2020-04-28 | キヤノン株式会社 | 情報処理装置およびその制御方法 |
WO2018010040A1 (zh) * | 2016-07-11 | 2018-01-18 | 王民良 | 影像增强真实度的方法与应用该方法在可穿戴式眼镜的手术导引 |
US10127727B1 (en) * | 2017-01-10 | 2018-11-13 | Meta Company | Systems and methods to provide an interactive environment over an expanded field-of-view |
US20180268614A1 (en) * | 2017-03-16 | 2018-09-20 | General Electric Company | Systems and methods for aligning pmi object on a model |
US10282912B1 (en) | 2017-05-26 | 2019-05-07 | Meta View, Inc. | Systems and methods to provide an interactive space over an expanded field-of-view with focal distance tuning |
US10796477B2 (en) * | 2017-06-20 | 2020-10-06 | Edx Technologies, Inc. | Methods, devices, and systems for determining field of view and producing augmented reality |
US10585284B1 (en) | 2017-11-17 | 2020-03-10 | Meta View, Inc. | Systems and methods to provide an interactive environment over a wide field of view |
JP7371626B2 (ja) * | 2018-07-09 | 2023-10-31 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP7360243B2 (ja) | 2019-02-15 | 2023-10-12 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
JP7468523B2 (ja) * | 2019-06-05 | 2024-04-16 | ソニーグループ株式会社 | 移動体、位置推定方法、およびプログラム |
JP2022133133A (ja) * | 2021-03-01 | 2022-09-13 | キヤノン株式会社 | 生成装置、生成方法、システム、およびプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3486613B2 (ja) * | 2001-03-06 | 2004-01-13 | キヤノン株式会社 | 画像処理装置およびその方法並びにプログラム、記憶媒体 |
JP4689380B2 (ja) * | 2004-09-28 | 2011-05-25 | キヤノン株式会社 | 情報処理方法および装置 |
JP2006209259A (ja) * | 2005-01-25 | 2006-08-10 | Fuji Xerox Co Ltd | 操作支援システム及び操作支援方法、並びにコンピュータ・プログラム |
JP2007064684A (ja) * | 2005-08-29 | 2007-03-15 | Canon Inc | マーカ配置補助方法及び装置 |
JP4739004B2 (ja) * | 2005-12-15 | 2011-08-03 | キヤノン株式会社 | 情報処理装置及び情報処理方法 |
JP5517397B2 (ja) * | 2006-08-11 | 2014-06-11 | キヤノン株式会社 | 画像処理方法、画像処理装置 |
JP4960754B2 (ja) * | 2007-04-25 | 2012-06-27 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
-
2014
- 2014-05-14 JP JP2014100786A patent/JP6368142B2/ja active Active
-
2015
- 2015-05-04 US US14/703,056 patent/US9696543B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US9696543B2 (en) | 2017-07-04 |
US20150332506A1 (en) | 2015-11-19 |
JP2015219590A (ja) | 2015-12-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6368142B2 (ja) | 情報処理装置、情報処理方法 | |
JP2017096725A (ja) | 情報処理装置、情報処理方法 | |
JP4136859B2 (ja) | 位置姿勢計測方法 | |
JP5777786B1 (ja) | 情報処理装置、情報処理方法、プログラム | |
JP4677281B2 (ja) | 画像処理方法、画像処理装置 | |
JP4757115B2 (ja) | 画像処理装置、画像処理方法 | |
JP5117418B2 (ja) | 情報処理装置及び情報処理方法 | |
JP2017129567A (ja) | 情報処理装置、情報処理方法、プログラム | |
JP7164968B2 (ja) | 画像処理装置、画像処理装置の制御方法及びプログラム | |
KR102539427B1 (ko) | 화상 처리장치, 화상 처리방법, 및 기억매체 | |
JP2005326274A (ja) | 配置情報推定方法および情報処理装置 | |
JP2005326282A (ja) | 位置姿勢計測方法および装置 | |
US10386633B2 (en) | Virtual object display system, and display control method and display control program for the same | |
JP2007293453A (ja) | 画像からの色情報の取得方法 | |
JP2005256232A (ja) | 3dデータ表示方法、装置、およびプログラム | |
CN112912936A (zh) | 混合现实系统、程序、移动终端装置和方法 | |
JP2016162392A (ja) | 3次元画像処理装置および3次元画像処理システム | |
JP2012124839A (ja) | 画像監視装置 | |
JP2008070319A (ja) | 物体計測装置および方法 | |
JP6632298B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP2006018444A (ja) | 画像処理システム及び付加情報指示装置 | |
JP6210447B2 (ja) | 視線計測装置、注視点の表示方法、注視領域の表示方法および注視点のガウス分布の表示方法 | |
JP2015201734A (ja) | 画像処理装置、画像処理装置の制御方法およびプログラム | |
CN115311133A (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
CN113228117A (zh) | 创作装置、创作方法和创作程序 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170224 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170224 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180402 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180529 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180608 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180706 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6368142 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |