JP7252943B2 - 航空機のための対象物検出及び回避 - Google Patents
航空機のための対象物検出及び回避 Download PDFInfo
- Publication number
- JP7252943B2 JP7252943B2 JP2020515915A JP2020515915A JP7252943B2 JP 7252943 B2 JP7252943 B2 JP 7252943B2 JP 2020515915 A JP2020515915 A JP 2020515915A JP 2020515915 A JP2020515915 A JP 2020515915A JP 7252943 B2 JP7252943 B2 JP 7252943B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixels
- imaging device
- aircraft
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title description 25
- 238000003384 imaging method Methods 0.000 claims description 208
- 238000000034 method Methods 0.000 claims description 99
- 230000003287 optical effect Effects 0.000 claims description 38
- 239000003550 marker Substances 0.000 claims description 29
- 238000006073 displacement reaction Methods 0.000 claims description 19
- 239000013598 vector Substances 0.000 claims description 19
- 230000004044 response Effects 0.000 claims description 15
- 230000009471 action Effects 0.000 claims description 8
- 230000001939 inductive effect Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 20
- 238000012545 processing Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 11
- 230000000007 visual effect Effects 0.000 description 11
- 239000003086 colorant Substances 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 241001465754 Metazoa Species 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 238000013500 data storage Methods 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000000280 densification Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 239000000758 substrate Substances 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 2
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 2
- CBENFWSGALASAD-UHFFFAOYSA-N Ozone Chemical compound [O-][O+]=O CBENFWSGALASAD-UHFFFAOYSA-N 0.000 description 2
- 238000007792 addition Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000003973 paint Substances 0.000 description 2
- 238000004091 panning Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000012209 synthetic fiber Substances 0.000 description 2
- 229920002994 synthetic fiber Polymers 0.000 description 2
- UGFAIRIUMAVXCW-UHFFFAOYSA-N Carbon monoxide Chemical compound [O+]#[C-] UGFAIRIUMAVXCW-UHFFFAOYSA-N 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 206010000210 abortion Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 229910002092 carbon dioxide Inorganic materials 0.000 description 1
- 239000001569 carbon dioxide Substances 0.000 description 1
- 229910002091 carbon monoxide Inorganic materials 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 235000009508 confectionery Nutrition 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013501 data transformation Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 229910052739 hydrogen Inorganic materials 0.000 description 1
- 239000001257 hydrogen Substances 0.000 description 1
- 125000004435 hydrogen atom Chemical class [H]* 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 231100000817 safety factor Toxicity 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000011351 state-of-the-art imaging technique Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
- G06Q10/083—Shipping
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/04—Control of altitude or depth
- G05D1/042—Control of altitude or depth specially adapted for aircraft
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
- G05D1/102—Simultaneous control of position or course in three dimensions specially adapted for aircraft specially adapted for vertical take-off of aircraft
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/60—UAVs specially adapted for particular uses or applications for transporting passengers; for transporting goods other than weapons
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Remote Sensing (AREA)
- Business, Economics & Management (AREA)
- Aviation & Aerospace Engineering (AREA)
- Economics (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radar, Positioning & Navigation (AREA)
- Automation & Control Theory (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- Quality & Reliability (AREA)
- Operations Research (AREA)
- Human Resources & Organizations (AREA)
- Entrepreneurship & Innovation (AREA)
- Development Economics (AREA)
- Astronomy & Astrophysics (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Description
Claims (15)
- 無人航空機のための着陸エリア内の障害を検出する方法であって、
前記無人航空機上に提供された少なくとも1つのセンサにより、前記無人航空機の高度が所定の高度閾値以下であると判定することと、
前記無人航空機上に提供された少なくとも1つの撮像デバイスにより、前記無人航空機の下方の表面上の対象標識を探索することと、
前記対象標識の少なくとも一部に基づいて前記着陸エリアを定めることであって、前記着陸エリアが、前記対象標識の前記一部に関して定められた幾何学的形状を含む、前記定めることと、
前記少なくとも1つの撮像デバイスにより、該少なくとも1つの撮像デバイスの第1水平位置で、前記無人航空機の下方の前記表面の少なくとも一部を含む第1の画像を取り込むことと、
前記少なくとも1つの撮像デバイスにより、前記少なくとも1つの撮像デバイスの第2水平位置で、前記無人航空機の下方の前記表面の少なくとも一部を含む第2の画像を取り込むことと、
前記第1の画像内に描写された前記着陸エリア内にある少なくとも複数の点に対応する画素と前記第2の画像内に描写された少なくとも前記複数の点に対応する画素との間の視差を決定することと、
前記画素間の前記視差に基づいて前記着陸エリアの3次元復元物を生成することと、
前記画素間の前記視差に基づいて差分画像を算出することと、
前記差分画像の画素について、画素間のピーク差、平均差もしくはメディアン差の少なくとも1つの差分画像スコアを導出することと、
前記3次元復元物に標準外の表面の存在があるかまたは前記差分画像スコアが閾値を超えているかに基づいて前記着陸エリアが少なくとも1つの障害を含むかどうかを判定することであって、前記標準外の表面の存在があるとは、前記着陸エリアが平坦でなく、前記着陸エリアに障害があり、もしくは前記着陸エリアが許容可能な傾斜でないことの少なくとも1つを含む、前記判定することと、
前記着陸エリアが前記少なくとも1つの障害を含むと判定することに応じて、前記着陸エリアにおける前記無人航空機の着陸を中止することと
を含む、前記方法。 - 前記視差を決定することが、
前記第1の画像及び前記第2の画像のそれぞれをオプティカルフローアルゴリズムに入力として提供することと、
前記オプティカルフローアルゴリズムから、複数のベクトルを含むベクトル場を含む出力を受け取ることとを含み、
前記ベクトルのそれぞれが、前記第1の画像内に描写された前記複数の点に対応する前記画素のうちの1つと前記第2の画像内に描写された前記複数の点に対応する前記画素のうちの1つとの間の視差を表す、請求項1に記載の方法。 - 前記視差を決定することが、
前記第1の画像内に描写された前記複数の点に対応する前記画素のそれぞれを前記第2の画像内に描写された前記複数の点に対応する前記画素のうちの1つにマッチングさせることと、
前記第1の画像内に描写された前記複数の点に対応する前記画素のそれぞれについて、前記第2の画像内に描写された前記複数の点に対応する前記画素の前記マッチングされた画素までの間隔を決定することとを含み、
前記複数の点のそれぞれについて算出された前記間隔のそれぞれが前記視差のうちの1つである、請求項1または2に記載の方法。 - 航空機による機動の実行中に前記航空機上に提供された少なくとも1つの撮像デバイスによって、第1水平位置で、第1の画像を取り込むことであって、前記少なくとも1つの撮像デバイスの視野が第1の場所において少なくとも1つの表面を含む、前記取り込むことと、
前記航空機による前記機動の実行中に前記少なくとも1つの撮像デバイスによって、第2水平位置で、第2の画像を取り込むことと、
前記少なくとも1つの表面上の少なくとも1つの点に関して動作エリアを定めることと、
前記第1の画像の第1の複数の画素と前記第2の画像の第2の複数の画素との間の第1の複数の画素視差を決定することであって、前記第1の画像の前記第1の複数の画素のうちの少なくとも一部が、前記第1の画像内に描写された前記動作エリアの点に対応し、前記第2の複数の画素のうちの少なくとも一部が、前記第2の画像内に描写された前記動作エリアの前記点に対応する、前記決定することと、
前記第1の複数の画素視差に基づいて前記動作エリアの少なくとも一部の第1の3次元復元物を生成することと、
前記第1の複数の画素視差に基づいて第1の差分画像を生成することと、
前記差分画像の画素について、画素間のピーク差、平均差もしくはメディアン差の少なくとも1つの第1の差分画像スコアを導出することと、
少なくとも前記第1の3次元復元物に標準外の表面の存在があるかまたは前記第1の差分画像スコアが閾値を超えているかに基づいて前記動作エリアが少なくとも1つの障害を含むかどうかを判定することであって、前記標準外の表面の存在があるとは、前記着陸エリアが平坦でなく、前記着陸エリアに障害があり、もしくは前記着陸エリアが許容可能な傾斜でないことの少なくとも1つを含む、前記判定することと、
前記動作エリアが前記少なくとも1つの障害を含むと判定することに応じて、
前記航空機の前記機動を中断することと
を含む方法。 - 前記第1の複数の画素視差を決定することが、
前記第1の画像及び前記第2の画像のそれぞれをオプティカルフローアルゴリズムに入力として提供することと、
前記オプティカルフローアルゴリズムから、複数のベクトルを含むベクトル場を含む出力を受け取ることとを含み、
前記複数のベクトルのそれぞれが前記画素視差のうちの1つを表す、請求項4に記載の方法。 - 前記第1の複数の画素視差を決定することが、
前記第1の画像の前記第1の複数の画素のそれぞれを前記第2の画像の前記第2の複数の画素のうちの1つにマッチングさせることと、
前記第1の複数の画素のそれぞれについて、前記第2の画像の前記第2の複数の画素のうちの前記マッチングされた画素までの間隔を決定することとを含み、
前記間隔のそれぞれが前記画素視差のうちの1つに対応する、請求項4または5に記載の方法。 - 前記少なくとも1つの撮像デバイスが、第1の撮像デバイス及び第2の撮像デバイスを含み、
前記第1の撮像デバイスと前記第2の撮像デバイスとが基線間隔だけ隔離され、
前記第1の画像が前記第1の撮像デバイスによって取り込まれ、
前記第2の画像が前記第2の撮像デバイスによって取り込まれ、
前記動作エリアの前記第1の3次元復元物を生成することが、
前記動作エリアの前記複数の点のそれぞれについて、前記第1の撮像デバイスまたは前記第2の撮像デバイスのうちの一方から前記複数の点のうちの1つまでの間隔を算出することと、
前記第1の撮像デバイスまたは前記第2の撮像デバイスのうちの前記一方からの前記間隔及び前記動作エリアの前記複数の点に基づいて前記動作エリアの前記第1の3次元復元物を生成することと
を含む、請求項4、5または6に記載の方法。 - 前記第1の画像が第1の時刻に取り込まれ、前記第2の画像がほぼ前記第1の時刻に取り込まれ、
前記方法は、
前記動作エリアが前記少なくとも1つの障害を含まないと判定することに応じて、
前記航空機による前記機動の実行中に前記少なくとも1つの撮像デバイスにより、第2の時刻に第3の画像を取り込むことと、
前記航空機による前記機動の実行中に前記少なくとも1つの撮像デバイスにより、ほぼ前記第2の時刻に第4の画像を取り込むことと、
前記第3の画像の第3の複数の画素と前記第4の画像の第4の複数の画素との間の第2の複数の画素視差を決定することであって、前記第3の画像の前記第3の複数の画素のうちの少なくとも一部が、前記第3の画像内に描写された前記動作エリアの点に対応し、前記第4の複数の画素のうちの少なくとも一部が、前記第4の画像内に描写された前記動作エリアの前記点に対応する、前記決定することと、
前記第2の複数の画素視差に基づいて前記動作エリアの少なくとも一部の第2の3次元復元物を生成することと、
前記第2の複数の画素視差に基づいて第2の差分画像を生成することと、
前記第2の差分画像の画素について第2の差分画像スコアを導出することと、
少なくとも前記第2の3次元復元物に標準外の表面の存在があるか及び前記第2の差分画像スコアが閾値を超えているかに基づいて前記動作エリアが少なくとも1つの障害を含むかどうかを判定することと、
前記動作エリアが前記少なくとも1つの障害を含むと判定することに応じて、
前記航空機の機動を中断することと
を含む、請求項4、5、6または7に記載の方法。 - 前記少なくとも1つの表面上の前記少なくとも1つの点に関して前記動作エリアを決定することが、
前記第1の画像または前記第2の画像のうちの前記少なくとも一方内で前記少なくとも1つの表面上の少なくとも1つの基準標識を検出することと、
前記少なくとも1つの基準標識の少なくとも1つの属性を認識することと、
前記少なくとも1つの属性に基づいて前記少なくとも1つの基準標識と関連付けられた前記少なくとも1つの点を決定することとを含み、
前記動作エリアが、前記少なくとも1つの基準標識と関連付けられた前記少なくとも1つの点からの所定の半径を有する円である、請求項4、5、6、7または8に記載の方法。 - 前記航空機と関連付けられた少なくとも1つのトランシーバにより、前記航空機のための目的地に関する情報を受信することであって、前記目的地に関する前記情報が、前記少なくとも1つの点の識別名を含む、前記受信することと、
前記航空機と関連付けられた少なくとも1つのセンサにより、前記少なくとも1つの点の付近内に前記航空機があると判定することとを更に含み、
前記第1の画像及び前記第2の画像が、前記少なくとも1つの点の前記付近内に前記航空機があると判定することに応じて取り込まれる、請求項4、5、6、7、8または9に記載の方法。 - 前記第1の複数の画素視差に基づいて前記第1の差分画像を生成することが、
前記第1の画像の前記第1の複数の画素のそれぞれについて、前記第1の画像の前記第1の複数の画素のうちの1つの強度値と前記第2の画像の前記第2の複数の画素のうちの対応する1つの強度値との間の差を決定することであって、前記強度値間の前記差に基づいて前記第1の差分画像が生成される、前記決定することと、
前記差分画像のためのスコアを算出することであって、前記スコアが、前記第1の画像の前記第1の複数の画素のうちの前記1つと前記第2の画像の前記第2の複数の画素の前記対応する1つとの間の前記強度値のピーク差、平均差またはメディアン差のうちの少なくとも1つを含む、前記算出することと、
前記スコアが所定の閾値を超えていると判定することとを含む、請求項4、5、6、7、8、9または10に記載の方法。 - 前記機動が所定の動作と関連付けられ、
前記方法は、
前記動作エリアが前記少なくとも1つの障害を含むと判定することに応じて、
前記所定の動作を実行するための第2の場所を識別することと、
前記第1の場所から前記第2の場所まで前記航空機を移動させることとを更に含む、請求項4、5、6、7、8、9、10または11に記載の方法。 - 無人航空機上の第1の撮像デバイスによって第1の複数の画像を取り込むことと、
前記無人航空機の位置の横方向変位を生じさせることであって、前記第1の複数の画像のうちの少なくとも第1の画像が、前記横方向変位を生じさせる前に取り込まれる、前記生じさせることと、
前記無人航空機上の第2の撮像デバイスによって第2の複数の画像を取り込むことであって、前記横方向変位を生じさせた後に前記複数の第2の画像のうちの少なくとも第2の画像が取り込まれる、前記取り込むことと、
複数の対の画像のそれぞれについて、前記複数の対の画像のうちの1つの間の複数の画素視差を決定することであって、前記複数の対のそれぞれが、前記第1の複数の画像のうちの1つ及び前記第2の複数の画像のうちの1つを含み、前記複数の対の画像のうちの第1の対が、前記第1の画像及び前記第2の画像を含み、前記複数の画素視差が、
オプティカルフローアルゴリズムまたは
ステレオマッチングアルゴリズム
のうちの少なくとも一方にしたがって決定される、前記決定することと、
前記複数の画素視差のうちの少なくとも一部に基づいてエリアの3次元復元物を生成することと、
前記複数の対の画像のそれぞれについて差分画像を生成することと、
前記差分画像の画素について、画素間のピーク差、平均差もしくはメディアン差の少なくとも1つの差分画像スコアを導出することと、
前記3次元復元物に標準外の表面に存在しないかまたは前記差分画像スコアが閾値より低いかのうちの1つのうちの少なくとも一方に基づき、少なくとも1つの障害を含まない少なくとも1つの場所を識別することであって、前記標準外の表面に存在しないとは、前記着陸エリアが平坦であり、前記着陸エリアに障害がなく、もしくは前記着陸エリアが許容可能な傾斜であることの少なくとも1つを含む、前記判定することと、
前記少なくとも1つの場所において、または前記少なくとも1つの場所の近くに前記無人航空機を着陸させることと
を含む、方法。 - 前記第1の撮像デバイスと前記第2の撮像デバイスとが基線間隔だけ隔離され、
前記エリアの前記3次元復元物を生成することが、
前記エリアの複数の点のそれぞれについて、前記複数の画素視差のうちの前記少なくとも一部に基づき、前記第1の撮像デバイスまたは前記第2の撮像デバイスのうちの一方から前記複数の点のうちの前記1つまでの間隔を算出することと、
前記第1の撮像デバイスまたは前記第2の撮像デバイスのうちの前記一方からの前記間隔及び前記エリアの前記複数の点に基づいて前記エリアの前記3次元復元物を生成することと
を含む、請求項13に記載の方法。 - 前記少なくとも1つの場所において、または前記少なくとも1つの場所の近くに前記無人航空機を着陸させることが、
前記少なくとも1つの場所に関連する少なくとも1つの点を選択することと、
前記少なくとも1つの点に関して着陸エリアを定めることであって、前記着陸エリアが、前記少なくとも1つの点からの所定の半径を有する円を含む、前記定めることと、
前記着陸エリアを定めた後、
前記第1の撮像デバイスによって第1の画像を取り込むことと、
前記第2の撮像デバイスによって第2の画像を取り込むことと、
前記オプティカルフローアルゴリズムまたは前記ステレオマッチングアルゴリズムのうちの少なくとも一方にしたがって、前記第1の画像内に描写された前記着陸エリアの点に対応する画素と前記第2の画像内に描写された前記着陸エリアの点に対応する画素との間の複数の画素視差を決定することと、
前記複数の画素視差に基づいて前記着陸エリアの3次元復元物を生成することと、
前記複数の画素視差に基づいて差分画像を生成することと、
前記複数の画素視差に基づいて生成された前記着陸エリアの前記3次元復元物及び前記差分画像に基づき、前記着陸エリアが前記少なくとも1つの障害を含まないと判定することと、
前記着陸エリアが前記少なくとも1つの障害を含まないと判定することに応じて、
前記無人航空機を前記着陸エリア内に着陸させることと
を含む、請求項13または14に記載の方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023048759A JP2023085384A (ja) | 2017-09-21 | 2023-03-24 | 航空機のための対象物検出及び回避 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762561635P | 2017-09-21 | 2017-09-21 | |
US62/561,635 | 2017-09-21 | ||
US15/838,250 US10402646B2 (en) | 2017-09-21 | 2017-12-11 | Object detection and avoidance for aerial vehicles |
US15/838,250 | 2017-12-11 | ||
PCT/US2018/051750 WO2019060414A1 (en) | 2017-09-21 | 2018-09-19 | OBJECT DETECTION AND ESQUIVE FOR AERIAL VEHICLES |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023048759A Division JP2023085384A (ja) | 2017-09-21 | 2023-03-24 | 航空機のための対象物検出及び回避 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020537217A JP2020537217A (ja) | 2020-12-17 |
JP7252943B2 true JP7252943B2 (ja) | 2023-04-05 |
Family
ID=65721437
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020515915A Active JP7252943B2 (ja) | 2017-09-21 | 2018-09-19 | 航空機のための対象物検出及び回避 |
JP2023048759A Pending JP2023085384A (ja) | 2017-09-21 | 2023-03-24 | 航空機のための対象物検出及び回避 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023048759A Pending JP2023085384A (ja) | 2017-09-21 | 2023-03-24 | 航空機のための対象物検出及び回避 |
Country Status (5)
Country | Link |
---|---|
US (2) | US10402646B2 (ja) |
EP (1) | EP3685307B1 (ja) |
JP (2) | JP7252943B2 (ja) |
CN (1) | CN111247523B (ja) |
WO (1) | WO2019060414A1 (ja) |
Families Citing this family (53)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10657647B1 (en) * | 2016-05-20 | 2020-05-19 | Ccc Information Services | Image processing system to detect changes to target objects using base object models |
WO2018176000A1 (en) | 2017-03-23 | 2018-09-27 | DeepScale, Inc. | Data synthesis for autonomous control systems |
US10557936B2 (en) | 2017-06-30 | 2020-02-11 | Gopro, Inc. | Target value detection for unmanned aerial vehicles |
US11409692B2 (en) | 2017-07-24 | 2022-08-09 | Tesla, Inc. | Vector computational unit |
US11157441B2 (en) | 2017-07-24 | 2021-10-26 | Tesla, Inc. | Computational array microprocessor system using non-consecutive data formatting |
US11893393B2 (en) | 2017-07-24 | 2024-02-06 | Tesla, Inc. | Computational array microprocessor system with hardware arbiter managing memory requests |
US10671349B2 (en) | 2017-07-24 | 2020-06-02 | Tesla, Inc. | Accelerated mathematical engine |
US10402646B2 (en) * | 2017-09-21 | 2019-09-03 | Amazon Technologies, Inc. | Object detection and avoidance for aerial vehicles |
CN109814588A (zh) * | 2017-11-20 | 2019-05-28 | 深圳富泰宏精密工业有限公司 | 飞行器以及应用于飞行器的目标物追踪系统和方法 |
WO2019126930A1 (zh) * | 2017-12-25 | 2019-07-04 | 深圳市道通智能航空技术有限公司 | 测距方法、装置以及无人机 |
EP3528081A4 (en) * | 2017-12-26 | 2019-11-13 | Autel Robotics Co., Ltd. | METHOD AND DEVICE FOR PROTECTING LANDING OF AIRCRAFT AND AIRCRAFT |
US11561791B2 (en) | 2018-02-01 | 2023-01-24 | Tesla, Inc. | Vector computational unit receiving data elements in parallel from a last row of a computational array |
US11215999B2 (en) | 2018-06-20 | 2022-01-04 | Tesla, Inc. | Data pipeline and deep learning system for autonomous driving |
US11361457B2 (en) | 2018-07-20 | 2022-06-14 | Tesla, Inc. | Annotation cross-labeling for autonomous control systems |
US11636333B2 (en) | 2018-07-26 | 2023-04-25 | Tesla, Inc. | Optimizing neural network structures for embedded systems |
US11562231B2 (en) | 2018-09-03 | 2023-01-24 | Tesla, Inc. | Neural networks for embedded devices |
US11032527B2 (en) * | 2018-09-27 | 2021-06-08 | Intel Corporation | Unmanned aerial vehicle surface projection |
IL282172B2 (en) | 2018-10-11 | 2024-02-01 | Tesla Inc | Systems and methods for training machine models with enhanced data |
US11196678B2 (en) | 2018-10-25 | 2021-12-07 | Tesla, Inc. | QOS manager for system on a chip communications |
US11055862B2 (en) * | 2018-10-26 | 2021-07-06 | Here Global B.V. | Method, apparatus, and system for generating feature correspondence between image views |
US11467582B2 (en) * | 2018-11-05 | 2022-10-11 | Usic, Llc | Systems and methods for an autonomous marking apparatus |
US11366473B2 (en) * | 2018-11-05 | 2022-06-21 | Usic, Llc | Systems and methods for autonomous marking identification |
US11816585B2 (en) | 2018-12-03 | 2023-11-14 | Tesla, Inc. | Machine learning models operating at different frequencies for autonomous vehicles |
US11537811B2 (en) | 2018-12-04 | 2022-12-27 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
US11610117B2 (en) | 2018-12-27 | 2023-03-21 | Tesla, Inc. | System and method for adapting a neural network model on a hardware platform |
US11150664B2 (en) | 2019-02-01 | 2021-10-19 | Tesla, Inc. | Predicting three-dimensional features for autonomous driving |
US10997461B2 (en) | 2019-02-01 | 2021-05-04 | Tesla, Inc. | Generating ground truth for machine learning from time series elements |
US11567514B2 (en) | 2019-02-11 | 2023-01-31 | Tesla, Inc. | Autonomous and user controlled vehicle summon to a target |
US10956755B2 (en) | 2019-02-19 | 2021-03-23 | Tesla, Inc. | Estimating object properties using visual image data |
US10766638B1 (en) | 2019-04-01 | 2020-09-08 | Elbit Systems Of America, Llc | Landing strobe, system and method for deploying the landing strobe |
US10815006B2 (en) | 2019-04-01 | 2020-10-27 | Elbit Systems Of America, Llc | Landing strobe signature |
US10818191B2 (en) * | 2019-04-01 | 2020-10-27 | Elbit Systems Of America, Llc | Landing zone designation system and method |
DE102019118483A1 (de) * | 2019-07-09 | 2021-01-14 | Dr. Ing. H.C. F. Porsche Aktiengesellschaft | Kraftfahrzeug, Luftfahrzeug und Verfahren zum Betreiben derselben |
US11458988B2 (en) * | 2019-09-13 | 2022-10-04 | Ghost Locomotion Inc. | Controlling an automated vehicle using visual anchors |
US10769457B1 (en) * | 2019-09-26 | 2020-09-08 | Pony Al Inc. | System and method for detecting airborne objects |
WO2021149546A1 (ja) * | 2020-01-21 | 2021-07-29 | 株式会社Nttドコモ | 情報処理装置 |
JP7391114B2 (ja) * | 2020-01-21 | 2023-12-04 | 株式会社Nttドコモ | 情報処理装置 |
US11511885B2 (en) | 2020-03-13 | 2022-11-29 | Wing Aviation Llc | Adhoc geo-fiducial mats for landing UAVs |
US11417020B2 (en) * | 2020-04-07 | 2022-08-16 | Zebra Technologies Corporation | Detection of calibration errors |
US11587241B2 (en) | 2020-05-29 | 2023-02-21 | Wing Aviation Llc | Detection of environmental changes to delivery zone |
US20220156681A1 (en) * | 2020-11-13 | 2022-05-19 | DropZone.store LLC | Aerial delivery location identifier |
US20220309932A1 (en) * | 2021-03-26 | 2022-09-29 | Honeywell International Inc. | Systems and methods for identifying landing zones for unmanned aircraft |
KR102358372B1 (ko) * | 2021-06-02 | 2022-02-08 | 아주대학교 산학협력단 | 영상의 스테레오 정합 방법 및 장치 |
NO347027B1 (en) * | 2021-06-02 | 2023-04-24 | Kleon Solutions As | Method and system for detecting a line above ground from a helicopter |
DE102021115139B4 (de) * | 2021-06-11 | 2023-01-19 | Spleenlab GmbH | Verfahren zum Steuern einer Flugbewegung eines Fluggeräts sowie Fluggerät |
CN113420443B (zh) * | 2021-06-23 | 2022-03-01 | 天津市生态环境科学研究院(天津市环境规划院、天津市低碳发展研究中心) | 一种耦合峰值均值因子的恶臭精准模拟方法 |
US11932394B2 (en) | 2021-09-14 | 2024-03-19 | Honeywell International Inc. | System and method for localization of safe zones in dense depth and landing quality heatmaps |
US20230112666A1 (en) * | 2021-10-12 | 2023-04-13 | Zebra Technologies Corporation | System and Method for Detecting Calibration of a 3D Sensor |
GB2614251A (en) * | 2021-12-22 | 2023-07-05 | Hidef Aerial Surveying Ltd | Classification, length measurement and height measurement apparatus and method |
US20230394814A1 (en) * | 2022-06-01 | 2023-12-07 | Wing Aviation Llc | Stereo Abort of Unmanned Aerial Vehicle Deliveries |
WO2024069700A1 (ja) * | 2022-09-26 | 2024-04-04 | 株式会社Subaru | 空陸両用移動体 |
US20240169573A1 (en) * | 2022-11-18 | 2024-05-23 | Wing Aviation Llc | Detection of close encounters with obstacles by aerial vehicles |
CN116353828A (zh) * | 2023-03-24 | 2023-06-30 | 北京航空航天大学 | 一种无人机空中捕获地面物体的装置和方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001328600A (ja) | 2000-05-19 | 2001-11-27 | Fuji Heavy Ind Ltd | 着陸地点探索装置、それを用いた飛行体、および着陸地点評価装置 |
JP2016146118A (ja) | 2015-02-09 | 2016-08-12 | トヨタ自動車株式会社 | 走行路面検出装置及び走行路面検出方法 |
JP2017501484A (ja) | 2014-09-05 | 2017-01-12 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | ある環境内で可動物体を制御する方法、ある環境内で可動物体を制御するシステム、ある環境内で無人航空機を制御する方法、及び、ある環境内で無人航空機を制御するシステム |
US20170090271A1 (en) | 2015-09-24 | 2017-03-30 | Amazon Technologies, Inc. | Unmanned aerial vehicle descent |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3833786B2 (ja) * | 1997-08-04 | 2006-10-18 | 富士重工業株式会社 | 移動体の3次元自己位置認識装置 |
US6348918B1 (en) | 1998-03-20 | 2002-02-19 | Microsoft Corporation | Stereo reconstruction employing a layered approach |
US6847728B2 (en) | 2002-12-09 | 2005-01-25 | Sarnoff Corporation | Dynamic depth recovery from multiple synchronized video streams |
EP2430615A2 (en) * | 2009-05-08 | 2012-03-21 | Scientific Systems Company Inc. | Method and system for visual collision detection and estimation |
KR101733131B1 (ko) | 2010-12-14 | 2017-05-10 | 한국전자통신연구원 | 3차원 제스처 처리 방법 및 장치 |
WO2012155121A2 (en) | 2011-05-11 | 2012-11-15 | University Of Florida Research Foundation, Inc. | Systems and methods for estimating the geographic location at which image data was captured |
CN102389361B (zh) * | 2011-07-18 | 2014-06-25 | 浙江大学 | 一种基于计算机视觉的盲人户外支援系统 |
US9098229B2 (en) | 2012-05-04 | 2015-08-04 | Aaron Hallquist | Single image pose estimation of image capture devices |
GB2506411B (en) * | 2012-09-28 | 2020-03-11 | 2D3 Ltd | Determination of position from images and associated camera positions |
CN102981616B (zh) | 2012-11-06 | 2017-09-22 | 中兴通讯股份有限公司 | 增强现实中对象的识别方法及系统和计算机 |
CN103522970B (zh) * | 2013-05-31 | 2016-04-27 | 深圳Tcl工业研究院有限公司 | 基于机器视觉的车辆行驶安全检测方法和系统 |
US9514574B2 (en) | 2013-08-30 | 2016-12-06 | Qualcomm Incorporated | System and method for determining the extent of a plane in an augmented reality environment |
US20160122038A1 (en) * | 2014-02-25 | 2016-05-05 | Singularity University | Optically assisted landing of autonomous unmanned aircraft |
DE102014014446A1 (de) * | 2014-09-26 | 2016-03-31 | Airbus Defence and Space GmbH | Redundantes Bestimmen von Positionsdaten für ein automatisches Landesystem |
WO2017100579A1 (en) * | 2015-12-09 | 2017-06-15 | Dronesense Llc | Drone flight operations |
WO2018027338A1 (en) * | 2016-08-06 | 2018-02-15 | SZ DJI Technology Co., Ltd. | Automatic terrain evaluation of landing surfaces, and associated systems and methods |
US10395544B1 (en) * | 2016-08-29 | 2019-08-27 | Amazon Technologies, Inc. | Electronic landing marker |
US10049589B1 (en) * | 2016-09-08 | 2018-08-14 | Amazon Technologies, Inc. | Obstacle awareness based guidance to clear landing space |
US10402646B2 (en) * | 2017-09-21 | 2019-09-03 | Amazon Technologies, Inc. | Object detection and avoidance for aerial vehicles |
-
2017
- 2017-12-11 US US15/838,250 patent/US10402646B2/en active Active
-
2018
- 2018-09-19 JP JP2020515915A patent/JP7252943B2/ja active Active
- 2018-09-19 EP EP18783612.7A patent/EP3685307B1/en active Active
- 2018-09-19 WO PCT/US2018/051750 patent/WO2019060414A1/en unknown
- 2018-09-19 CN CN201880061344.XA patent/CN111247523B/zh active Active
-
2019
- 2019-08-30 US US16/557,259 patent/US11195011B2/en active Active
-
2023
- 2023-03-24 JP JP2023048759A patent/JP2023085384A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001328600A (ja) | 2000-05-19 | 2001-11-27 | Fuji Heavy Ind Ltd | 着陸地点探索装置、それを用いた飛行体、および着陸地点評価装置 |
JP2017501484A (ja) | 2014-09-05 | 2017-01-12 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | ある環境内で可動物体を制御する方法、ある環境内で可動物体を制御するシステム、ある環境内で無人航空機を制御する方法、及び、ある環境内で無人航空機を制御するシステム |
JP2016146118A (ja) | 2015-02-09 | 2016-08-12 | トヨタ自動車株式会社 | 走行路面検出装置及び走行路面検出方法 |
US20170090271A1 (en) | 2015-09-24 | 2017-03-30 | Amazon Technologies, Inc. | Unmanned aerial vehicle descent |
Non-Patent Citations (2)
Title |
---|
CHAO, H. et al.,A survey of optical flow techniques for UAV navigation applications,2013 International Conference on Unmanned Aircraft Systems,2013年,pp. 710-716 |
CHOI, J. H. et al.,Tracking an unknown moving target from UAV: Extracting and localizing an moving target with vision sensor based on optical flow,The 5th International Conference on Automation, Robotics and Applications,2011年,pp. 384-389 |
Also Published As
Publication number | Publication date |
---|---|
WO2019060414A1 (en) | 2019-03-28 |
JP2020537217A (ja) | 2020-12-17 |
US20200012842A1 (en) | 2020-01-09 |
EP3685307A1 (en) | 2020-07-29 |
CN111247523A (zh) | 2020-06-05 |
US20190087635A1 (en) | 2019-03-21 |
CN111247523B (zh) | 2022-05-10 |
US11195011B2 (en) | 2021-12-07 |
JP2023085384A (ja) | 2023-06-20 |
US10402646B2 (en) | 2019-09-03 |
EP3685307B1 (en) | 2023-09-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7252943B2 (ja) | 航空機のための対象物検出及び回避 | |
JP6700482B2 (ja) | プロペラの羽根に統合された撮像装置を用いたステレオ距離情報の判定 | |
US11704812B2 (en) | Methods and system for multi-target tracking | |
US10475209B2 (en) | Camera calibration | |
US10599149B2 (en) | Salient feature based vehicle positioning | |
JP6496323B2 (ja) | 可動物体を検出し、追跡するシステム及び方法 | |
CN108292140B (zh) | 用于自动返航的系统和方法 | |
WO2020113423A1 (zh) | 目标场景三维重建方法、系统及无人机 | |
US20200357141A1 (en) | Systems and methods for calibrating an optical system of a movable object | |
EP4058984A1 (en) | Geometry-aware instance segmentation in stereo image capture processes | |
US10896512B1 (en) | Determining and controlling propeller speeds using imaging devices | |
JP6473188B2 (ja) | 深度マップを生成するための方法、装置およびプログラム | |
JP7317684B2 (ja) | 移動体、情報処理装置、及び撮像システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200424 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200317 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210405 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210616 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210921 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211111 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220426 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220617 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221102 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221128 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230228 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230324 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7252943 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |