JP6335237B2 - ステレオ測距装置、ステレオ測距方法及びステレオ測距プログラム - Google Patents
ステレオ測距装置、ステレオ測距方法及びステレオ測距プログラム Download PDFInfo
- Publication number
- JP6335237B2 JP6335237B2 JP2016180118A JP2016180118A JP6335237B2 JP 6335237 B2 JP6335237 B2 JP 6335237B2 JP 2016180118 A JP2016180118 A JP 2016180118A JP 2016180118 A JP2016180118 A JP 2016180118A JP 6335237 B2 JP6335237 B2 JP 6335237B2
- Authority
- JP
- Japan
- Prior art keywords
- pair
- stereo
- orientation
- optical
- distance measuring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 21
- 230000003287 optical effect Effects 0.000 claims description 98
- 238000003384 imaging method Methods 0.000 claims description 14
- 239000002184 metal Substances 0.000 claims description 5
- 238000003702 image correction Methods 0.000 claims description 4
- 238000005259 measurement Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 8
- 230000036544 posture Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000008054 signal transmission Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/246—Calibration of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
- G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
- G01S19/485—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an optical system or imaging system
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N3/00—Scanning details of television systems; Combination thereof with generation of supply voltages
- H04N3/10—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical
- H04N3/14—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices
- H04N3/15—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices for picture signal generation
- H04N3/155—Control of the image-sensor operation, e.g. image processing within the image-sensor
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
- G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Aviation & Aerospace Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Measurement Of Optical Distance (AREA)
- Studio Devices (AREA)
Description
本発明は、航空機に搭載されたステレオカメラを用いて距離を測定する技術に関する。
航空機において自機から所定の対象までの距離を測定する場合、機体に搭載されたレーダーを用いるのが一般的である。しかし、レーダーなどの電波を放出する測距手段では、自機の位置を他者に探知され得るといった問題がある。
そこで、例えば特許文献１では、機体に搭載したステレオカメラを使用して距離を測定する手法が提案されている。この手法であれば、電波の放出を必要としないうえに、画像情報も取得することができる。
また、特許文献１に記載の技術では、機体の姿勢情報を検出し、これを用いてステレオカメラの姿勢を制御することで、機体の姿勢に依らない一定の向きの画像を取得することが可能となっている。
また、特許文献１に記載の技術では、機体の姿勢情報を検出し、これを用いてステレオカメラの姿勢を制御することで、機体の姿勢に依らない一定の向きの画像を取得することが可能となっている。
ところで、航空機に搭載したステレオカメラで距離を測定する場合には、例えば監視用などの汎用的な用途のものに比べて測定距離が遥かに長くなる。そのため、これに対応させて、ステレオカメラを構成する２台のカメラの間隔を大きく広げる必要がある。
しかしながら、２台のカメラを離して設置した場合、これらを高い剛性で一体的に支持することが困難になる。例えば、固定翼機上で２台のカメラを極力離そうとすると、これらを機体両翼上に設置することになるが、航空機の主翼は揚力等に応じて変形する（撓む）ため、これら２台のカメラを同じ状態に保持できなくなってしまう。
その結果、２台のカメラは機体の飛行状態に応じて互いの位置や姿勢が異なってしまい、ステレオカメラとしての測距精度が低下してしまう。上記特許文献１に記載の技術のように２台のカメラを姿勢制御することも考えられるが、共通する機体の姿勢情報を用いたのでは、互いの位置や姿勢が異なる２台のカメラを適正に姿勢制御することはできない。
また、２台のカメラとその画像情報をまとめて処理する処理部との距離が離れることになるため、信号伝送路の伸長化や配線長の製造公差等によって２台のカメラからの画像出力の時間に誤差を生じやすくなり、この時間誤差（撮像タイミングのずれ）が測距精度を低下させてしまうおそれもある。
また、２台のカメラとその画像情報をまとめて処理する処理部との距離が離れることになるため、信号伝送路の伸長化や配線長の製造公差等によって２台のカメラからの画像出力の時間に誤差を生じやすくなり、この時間誤差（撮像タイミングのずれ）が測距精度を低下させてしまうおそれもある。
本発明は、上記課題を鑑みてなされたもので、航空機に搭載されたステレオカメラの測距精度を向上させることを目的とするものである。
上記目的を達成するために、請求項１に記載の発明は、ステレオ測距装置であって、
互いに離間した状態で航空機に搭載され、ステレオカメラを構成する一対の光学カメラと、
前記一対の光学カメラに対応して当該一対の光学カメラの各々の近傍に設けられ、対応する光学カメラの位置及び姿勢に関する位置姿勢情報を取得する位置姿勢計と、
前記一対の光学カメラの各々により撮影された画像の位置及び向きを、当該光学カメラに対応する前記位置姿勢計により取得された位置姿勢情報に基づいて補正する画像補正手段と、
前記一対の光学カメラにより撮影されて前記画像補正手段により個別に補正された一対の補正画像に基づいて、撮影対象との間の距離を算出するステレオ測距手段と、
を備えることを特徴とする。
互いに離間した状態で航空機に搭載され、ステレオカメラを構成する一対の光学カメラと、
前記一対の光学カメラに対応して当該一対の光学カメラの各々の近傍に設けられ、対応する光学カメラの位置及び姿勢に関する位置姿勢情報を取得する位置姿勢計と、
前記一対の光学カメラの各々により撮影された画像の位置及び向きを、当該光学カメラに対応する前記位置姿勢計により取得された位置姿勢情報に基づいて補正する画像補正手段と、
前記一対の光学カメラにより撮影されて前記画像補正手段により個別に補正された一対の補正画像に基づいて、撮影対象との間の距離を算出するステレオ測距手段と、
を備えることを特徴とする。
請求項２に記載の発明は、請求項１に記載のステレオ測距装置において、
ＧＰＳ時刻情報を取得して、前記一対の光学カメラにより撮影された各画像に対応付ける時刻取得手段を備え、
前記ステレオ測距手段は、前記時刻取得手段により各画像に対応付けられたＧＰＳ時刻情報に基づいて、互いの撮像タイミングが合致する前記一対の補正画像を選択し、当該一対の補正画像を用いて撮影対象との間の距離を算出することを特徴とする。
ＧＰＳ時刻情報を取得して、前記一対の光学カメラにより撮影された各画像に対応付ける時刻取得手段を備え、
前記ステレオ測距手段は、前記時刻取得手段により各画像に対応付けられたＧＰＳ時刻情報に基づいて、互いの撮像タイミングが合致する前記一対の補正画像を選択し、当該一対の補正画像を用いて撮影対象との間の距離を算出することを特徴とする。
請求項３に記載の発明は、請求項２に記載のステレオ測距装置において、
前記時刻取得手段は、前記一対の光学カメラに対応して当該一対の光学カメラの各々の近傍に設けられたＧＰＳ受信機であり、対応する光学カメラにより撮影された画像にＧＰＳ時刻情報を対応付けることを特徴とする。
前記時刻取得手段は、前記一対の光学カメラに対応して当該一対の光学カメラの各々の近傍に設けられたＧＰＳ受信機であり、対応する光学カメラにより撮影された画像にＧＰＳ時刻情報を対応付けることを特徴とする。
請求項４に記載の発明は、請求項１〜３のいずれか一項に記載のステレオ測距装置において、
前記一対の光学カメラの各々と、当該光学カメラに対応する前記位置姿勢計とが、共通する金属製の支持部材に固定されていることを特徴とする。
前記一対の光学カメラの各々と、当該光学カメラに対応する前記位置姿勢計とが、共通する金属製の支持部材に固定されていることを特徴とする。
請求項５に記載の発明は、請求項１〜４のいずれか一項に記載のステレオ測距装置において、
前記一対の光学カメラが、航空機の両翼の先端に個別に配置されていることを特徴とする。
前記一対の光学カメラが、航空機の両翼の先端に個別に配置されていることを特徴とする。
請求項６及び請求項７に記載の発明は、請求項１に記載のステレオ測距装置と同様の特徴を具備するステレオ測距方法及びステレオ測距プログラムである。
請求項１に記載の発明によれば、ステレオカメラを構成する一対の光学カメラで撮影された一対の画像の位置及び向きが、当該一対の光学カメラそれぞれの近傍に設けられた位置姿勢計で取得された位置姿勢情報に基づいて個別に補正され、この補正された一対の補正画像に基づいて撮影対象との間の距離が算出される。
これにより、一対の光学カメラが互いに離間した状態で航空機に搭載されてその位置や姿勢が互いに異なる状態に変化した場合であっても、それぞれの画像の位置及び向きが適正に補正され、測距精度の低下を抑制することができる。したがって、ステレオカメラを単純に離間させた状態で航空機に搭載する場合に比べ、測距精度を向上させることができる。
これにより、一対の光学カメラが互いに離間した状態で航空機に搭載されてその位置や姿勢が互いに異なる状態に変化した場合であっても、それぞれの画像の位置及び向きが適正に補正され、測距精度の低下を抑制することができる。したがって、ステレオカメラを単純に離間させた状態で航空機に搭載する場合に比べ、測距精度を向上させることができる。
請求項２に記載の発明によれば、一対の光学カメラにより撮影された各画像にＧＰＳ時刻情報が対応付けられ、このＧＰＳ時刻情報に基づいて互いの撮像タイミングの合致する一対の補正画像が選択されて、撮影対象との間の距離が算出される。
したがって、一対の光学カメラを互いに離間させた場合に信号伝送路の伸長化や配線長の製造公差等により撮像タイミングのずれが生じやすくなるところ、この撮像タイミングのずれを好適に抑制して測距精度の低下を抑制することができる。
したがって、一対の光学カメラを互いに離間させた場合に信号伝送路の伸長化や配線長の製造公差等により撮像タイミングのずれが生じやすくなるところ、この撮像タイミングのずれを好適に抑制して測距精度の低下を抑制することができる。
請求項３に記載の発明によれば、一対の光学カメラに対応して当該一対の光学カメラの各々の近傍にＧＰＳ受信機が設けられ、このＧＰＳ受信機により取得されたＧＰＳ時刻情報が、対応する光学カメラにより撮影された画像に対応付けられる。
したがって、互いに離間した一対の光学カメラに対し、共通する時刻取得手段が個別に時刻情報を対応付ける場合に比べ、撮像タイミングのずれをより確実に抑制し、測距精度の低下をより確実に抑制することができる。
したがって、互いに離間した一対の光学カメラに対し、共通する時刻取得手段が個別に時刻情報を対応付ける場合に比べ、撮像タイミングのずれをより確実に抑制し、測距精度の低下をより確実に抑制することができる。
請求項４に記載の発明によれば、一対の光学カメラの各々と、当該光学カメラに対応する位置姿勢計とが、共通する金属製の支持部材に固定されている。
これにより、光学カメラと位置姿勢計との互いの位置及び姿勢を、航空機の飛行状態等に依らずに一定に保持することができる。したがって、光学カメラの位置姿勢情報をより正確に取得することができ、ひいては、測距精度の低下をより確実に抑制することができる。
これにより、光学カメラと位置姿勢計との互いの位置及び姿勢を、航空機の飛行状態等に依らずに一定に保持することができる。したがって、光学カメラの位置姿勢情報をより正確に取得することができ、ひいては、測距精度の低下をより確実に抑制することができる。
以下、本発明の実施形態について、図面を参照して説明する。
［ステレオ測距装置の構成］
まず、本実施形態におけるステレオ測距装置１の構成について、図１及び図２を参照して説明する。
図１は、ステレオ測距装置１の機能構成を示すブロック図であり、図２は、ステレオ測距装置１が備える後述のカメラユニット１４を説明するための図である。
ステレオ測距装置１は、航空機（固定翼機）１０に搭載されており、取得したステレオ画像に基づいて航空機１０と撮影対象との間の距離を測定するためのものである。
具体的には、図１に示すように、ステレオ測距装置１は、表示部１１と、入力部１２と、２つのカメラユニット１４と、記憶部１６と、制御部１８とを備えて構成されている。
まず、本実施形態におけるステレオ測距装置１の構成について、図１及び図２を参照して説明する。
図１は、ステレオ測距装置１の機能構成を示すブロック図であり、図２は、ステレオ測距装置１が備える後述のカメラユニット１４を説明するための図である。
ステレオ測距装置１は、航空機（固定翼機）１０に搭載されており、取得したステレオ画像に基づいて航空機１０と撮影対象との間の距離を測定するためのものである。
具体的には、図１に示すように、ステレオ測距装置１は、表示部１１と、入力部１２と、２つのカメラユニット１４と、記憶部１６と、制御部１８とを備えて構成されている。
表示部１１は、図示しないディスプレイを備えており、制御部１８から入力される表示信号に基づいて各種情報をディスプレイに表示する。
入力部１２は、図示しない入力受付手段を備えており、この入力受付手段への操作員の入力操作に対応する信号を制御部１８に出力する。
入力部１２は、図示しない入力受付手段を備えており、この入力受付手段への操作員の入力操作に対応する信号を制御部１８に出力する。
２つのカメラユニット１４は、航空機１０の機外のステレオ画像を取得するためのものであり、図２（ａ）に示すように、航空機１０の両翼の先端に個別に配置され、互いに大きく離間した状態で搭載されている。
各カメラユニット１４は、図２（ｂ）に示すように、光学カメラ１４１と、位置姿勢計１４２と、ＧＰＳ（Global Positioning System）受信機１４３とを備えて構成されている。これらのユニット各部は、剛性の高い金属製の固定板１４０上に互いに近接して配置（固定）されて、互いの位置及び姿勢が変化しないように一体的に構成されている。固定板１４０は、図示は省略するが、光学カメラ１４１の視軸方向を変更可能なように支持されている。
なお、以下の説明では、２つのカメラユニット１４やそのユニット各部のうち、航空機１０の右翼に搭載されたものには「Ｒ」を、左翼に搭載されたものには「Ｌ」を、それぞれの符号に付して互いを識別することとする。
各カメラユニット１４は、図２（ｂ）に示すように、光学カメラ１４１と、位置姿勢計１４２と、ＧＰＳ（Global Positioning System）受信機１４３とを備えて構成されている。これらのユニット各部は、剛性の高い金属製の固定板１４０上に互いに近接して配置（固定）されて、互いの位置及び姿勢が変化しないように一体的に構成されている。固定板１４０は、図示は省略するが、光学カメラ１４１の視軸方向を変更可能なように支持されている。
なお、以下の説明では、２つのカメラユニット１４やそのユニット各部のうち、航空機１０の右翼に搭載されたものには「Ｒ」を、左翼に搭載されたものには「Ｌ」を、それぞれの符号に付して互いを識別することとする。
光学カメラ１４１は、制御部１８からの制御指令に基づいて、航空機１０の機外の画像を取得し、取得した画像情報を制御部１８に出力する。この光学カメラ１４１は、２つのカメラユニット１４における２つのもので、ステレオカメラとして対をなして機能するように構成されており、初期状態において所定の距離に互いに離間されつつ、ステレオ画像を取得できるように互いの視野（範囲）ＶＲを交差させている（図２（ａ）参照）。
ここで、「初期状態」とは、航空機１０が地上で停止しているときの状態をいう。
ここで、「初期状態」とは、航空機１０が地上で停止しているときの状態をいう。
位置姿勢計１４２は、対応する（同じカメラユニット１４の）光学カメラ１４１の位置及び姿勢（向き）に関する情報（位置姿勢情報）を取得するためのものであり、制御部１８からの制御指令に基づいて、当該光学カメラ１４１の位置姿勢情報を取得し、制御部１８に出力する。より詳しくは、位置姿勢計１４２には、初期状態における光学カメラ１４１のカメラ視軸と当該位置姿勢計１４２の姿勢測定軸との角度ずれ、及び、光学カメラ１４１と当該位置姿勢計１４２との位置ずれが、予め測定・計算されて入力されている。そして、位置姿勢計１４２は、取得した自身の位置姿勢情報を、予め入力された光学カメラ１４１との角度ずれ及び位置ずれ分だけオフセットすることにより、当該光学カメラ１４１の位置姿勢情報を取得する。
ＧＰＳ受信機１４３は、本実施形態においては、対応する（同じカメラユニット１４の）光学カメラ１４１が撮影した画像の撮影時刻を取得するためのものであり、制御部１８からの制御指令に基づいて、ＧＰＳ時刻情報を含むＧＰＳ信号をＧＰＳ衛星から受信し、制御部１８に出力する。
図１に示すように、記憶部１６は、ステレオ測距装置１の各種機能を実現するためのプログラムやデータを記憶するとともに、作業領域としても機能するメモリである。本実施形態においては、記憶部１６は、ステレオ測距プログラム１６０を記憶している。
ステレオ測距プログラム１６０は、後述のステレオ測距処理を制御部１８に実行させるためのプログラムである。
ステレオ測距プログラム１６０は、後述のステレオ測距処理を制御部１８に実行させるためのプログラムである。
制御部１８は、航空機１０の胴体部に設けられており、入力される指示に応じて所定のプログラムに基づいた処理を実行し、各機能部への指示やデータの転送等を行い、ステレオ測距装置１を統括的に制御する。具体的に、制御部１８は、入力部１２から入力される操作信号等に応じて記憶部１６に格納された各種プログラムを読み出し、当該プログラムに従って処理を実行する。そして、制御部１８は、処理結果を記憶部１６に一時保存するとともに表示部１１に適宜出力させる。
また、制御部１８は、後述するように、ステレオ測距処理における各種の機能部として、右側画像補正器１８１Ｒと、左側画像補正器１８１Ｌと、ステレオ測距器１８２とを備えている（図３参照）。
また、制御部１８は、後述するように、ステレオ測距処理における各種の機能部として、右側画像補正器１８１Ｒと、左側画像補正器１８１Ｌと、ステレオ測距器１８２とを備えている（図３参照）。
［ステレオ測距装置の動作］
続いて、ステレオ測距処理を実行する際のステレオ測距装置１の動作について説明する。
図３は、ステレオ測距処理でのデータの流れを示すデータフロー図であり、図４は、飛行状態での機体両翼の変形を説明するための概念図であり、図５は、ステレオ測距処理における補正前後での画像の変化を説明するための概念図である。
続いて、ステレオ測距処理を実行する際のステレオ測距装置１の動作について説明する。
図３は、ステレオ測距処理でのデータの流れを示すデータフロー図であり、図４は、飛行状態での機体両翼の変形を説明するための概念図であり、図５は、ステレオ測距処理における補正前後での画像の変化を説明するための概念図である。
ステレオ測距処理は、一対の光学カメラ１４１Ｒ，１４１Ｌによりステレオ画像を取得し、このステレオ画像に基づいて航空機１０と撮影対象との間の距離を算出する処理である。このステレオ測距処理は、例えば操作員の操作等により当該処理の実行指示が入力されたときに、制御部１８が記憶部１６からステレオ測距プログラム１６０を読み出して展開することで実行される。
なお、ここでは、飛行中の航空機１０から機体下方の地上にある撮影対象（測距対象）が撮影されるものとする。また、以下の説明では、２つのカメラユニット１４Ｒ，１４Ｌの光学カメラ１４１及び位置姿勢計１４２から得られる後述の各種情報について、語尾に「Ｒ」または「Ｌ」を付すことにより、右翼及び左翼のいずれのカメラユニット１４から得られたものかを識別することとする。
なお、ここでは、飛行中の航空機１０から機体下方の地上にある撮影対象（測距対象）が撮影されるものとする。また、以下の説明では、２つのカメラユニット１４Ｒ，１４Ｌの光学カメラ１４１及び位置姿勢計１４２から得られる後述の各種情報について、語尾に「Ｒ」または「Ｌ」を付すことにより、右翼及び左翼のいずれのカメラユニット１４から得られたものかを識別することとする。
図３に示すように、ステレオ測距処理が実行されると、まず制御部１８は、左右両翼の一対の光学カメラ１４１Ｒ，１４１Ｌにより機外の画像（動画または静止画）をそれぞれ取得する。このとき、各カメラユニット１４では、位置姿勢計１４２により取得された光学カメラ１４１の位置姿勢情報と、ＧＰＳ受信機１４３により取得されたＧＰＳ時刻情報とが、光学カメラ１４１により撮影された画像情報に対応付けられて制御部１８に出力される。
次に、制御部１８は、一対の光学カメラ１４１Ｒ，１４１Ｌにより撮影された一対の画像情報を、右側画像補正器１８１Ｒ及び左側画像補正器１８１Ｌにより個別に補正する。
飛行中の航空機１０においては、図４に示すように、機体の両翼が上方へ撓るように変形しているため、この変形に伴って、両翼先端に設置された２つのカメラユニット１４Ｒ，１４Ｌの相対位置及び姿勢が初期状態（地上での機体停止時の状態）から変化している。そのため、この状態での一対の光学カメラ１４１Ｒ，１４１Ｌから得られるステレオ画像を単純に用いたのでは、撮影対象までの距離を正確に測定することができない。
飛行中の航空機１０においては、図４に示すように、機体の両翼が上方へ撓るように変形しているため、この変形に伴って、両翼先端に設置された２つのカメラユニット１４Ｒ，１４Ｌの相対位置及び姿勢が初期状態（地上での機体停止時の状態）から変化している。そのため、この状態での一対の光学カメラ１４１Ｒ，１４１Ｌから得られるステレオ画像を単純に用いたのでは、撮影対象までの距離を正確に測定することができない。
そこで、制御部１８は、各位置姿勢計１４２により取得された光学カメラ１４１の位置姿勢情報に基づいて、当該光学カメラ１４１の初期状態からの位置及び姿勢（向き）の変化を算出し、この変化分だけ画像情報を補正する。具体的には、右側画像補正器１８１Ｒが、光学カメラ１４１Ｒにより撮影された画像情報Ｒの位置及び向きを、この画像情報Ｒに対応付けられた当該光学カメラ１４１Ｒの位置姿勢情報Ｒに基づいて補正し、この補正がされた補正画像情報Ｒを取得する。同様に、左側画像補正器１８１Ｌが、光学カメラ１４１Ｌにより撮影された画像情報Ｌの位置及び向きを、この画像情報Ｌに対応付けられた当該光学カメラ１４１Ｌの位置姿勢情報Ｌに基づいて補正し、この補正がされた補正画像情報Ｌを取得する。このとき、補正前の各画像情報に対応付けられていたＧＰＳ時刻情報は、そのまま保持される。
これにより、図５（ａ），（ｂ）に示すように、位置及び姿勢が初期状態から変化した各光学カメラ１４１で撮影された画像が、初期状態にある当該光学カメラ１４１で撮影した状態に補正される。
これにより、図５（ａ），（ｂ）に示すように、位置及び姿勢が初期状態から変化した各光学カメラ１４１で撮影された画像が、初期状態にある当該光学カメラ１４１で撮影した状態に補正される。
次に、図３に示すように、制御部１８は、取得した一対の補正画像情報（補正画像情報Ｒ及び補正画像情報Ｌ）をステレオ画像として用い、ステレオ測距器１８２により撮影対象との間の距離を算出する。このとき、ステレオ測距器１８２は、各補正画像情報に対応付けられたＧＰＳ時刻情報を参照して、互いの撮像タイミングが合致する（互いのＧＰＳ時刻情報が、同時刻と見做せる時間差の範囲内である）一対の補正画像情報を選択し、当該一対の補正画像情報を照合して距離を算出する。
こうして、飛行時における各々の位置・姿勢の変化が補正され、且つ撮像タイミングが合致したステレオ画像により、撮影対象との間の距離が適正に測定される。
こうして、飛行時における各々の位置・姿勢の変化が補正され、且つ撮像タイミングが合致したステレオ画像により、撮影対象との間の距離が適正に測定される。
［効果］
以上のように、本実施形態によれば、ステレオカメラを構成する一対の光学カメラ１４１で撮影された一対の画像情報の位置及び向きが、当該一対の光学カメラ１４１それぞれの近傍に設けられた位置姿勢計１４２で取得された位置姿勢情報に基づいて個別に補正され、この補正された一対の補正画像情報に基づいて撮影対象との間の距離が算出される。
これにより、一対の光学カメラ１４１が互いに離間した状態で航空機に搭載されてその位置や姿勢が互いに異なる状態に変化した場合であっても、それぞれの画像の位置及び向きが適正に補正され、測距精度の低下を抑制することができる。したがって、ステレオカメラを単純に離間させた状態で航空機に搭載する場合に比べ、測距精度を向上させることができる。
以上のように、本実施形態によれば、ステレオカメラを構成する一対の光学カメラ１４１で撮影された一対の画像情報の位置及び向きが、当該一対の光学カメラ１４１それぞれの近傍に設けられた位置姿勢計１４２で取得された位置姿勢情報に基づいて個別に補正され、この補正された一対の補正画像情報に基づいて撮影対象との間の距離が算出される。
これにより、一対の光学カメラ１４１が互いに離間した状態で航空機に搭載されてその位置や姿勢が互いに異なる状態に変化した場合であっても、それぞれの画像の位置及び向きが適正に補正され、測距精度の低下を抑制することができる。したがって、ステレオカメラを単純に離間させた状態で航空機に搭載する場合に比べ、測距精度を向上させることができる。
また、一対の光学カメラ１４１により撮影された各画像情報にＧＰＳ時刻情報が対応付けられ、このＧＰＳ時刻情報に基づいて互いの撮像タイミングの合致する一対の補正画像情報が選択されて、撮影対象との間の距離が算出される。
したがって、一対の光学カメラ１４１を互いに離間させた場合に信号伝送路の伸長化や配線長の製造公差等により撮像タイミングのずれが生じやすくなるところ、この撮像タイミングのずれを好適に抑制して測距精度の低下を抑制することができる。
したがって、一対の光学カメラ１４１を互いに離間させた場合に信号伝送路の伸長化や配線長の製造公差等により撮像タイミングのずれが生じやすくなるところ、この撮像タイミングのずれを好適に抑制して測距精度の低下を抑制することができる。
また、一対の光学カメラ１４１に対応して当該一対の光学カメラ１４１の各々の近傍にＧＰＳ受信機１４３が設けられ、このＧＰＳ受信機１４３により取得されたＧＰＳ時刻情報が、対応する光学カメラ１４１により撮影された画像情報に対応付けられる。
したがって、互いに離間した一対の光学カメラに対し、共通する時刻取得手段が個別に時刻情報を対応付ける場合に比べ、撮像タイミングのずれをより確実に抑制し、測距精度の低下をより確実に抑制することができる。
したがって、互いに離間した一対の光学カメラに対し、共通する時刻取得手段が個別に時刻情報を対応付ける場合に比べ、撮像タイミングのずれをより確実に抑制し、測距精度の低下をより確実に抑制することができる。
また、各光学カメラ１４１と、当該光学カメラ１４１に対応する位置姿勢計１４２とが、共通する金属製の固定板１４０上に固定されている。
これにより、光学カメラ１４１と位置姿勢計１４２との互いの位置及び姿勢を、航空機１０の飛行状態等に依らずに一定に保持することができる。したがって、光学カメラ１４１の位置姿勢情報をより正確に取得することができ、ひいては、測距精度の低下をより確実に抑制することができる。
これにより、光学カメラ１４１と位置姿勢計１４２との互いの位置及び姿勢を、航空機１０の飛行状態等に依らずに一定に保持することができる。したがって、光学カメラ１４１の位置姿勢情報をより正確に取得することができ、ひいては、測距精度の低下をより確実に抑制することができる。
［変形例］
なお、本発明を適用可能な実施形態は、上述した実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で適宜変更可能である。
なお、本発明を適用可能な実施形態は、上述した実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で適宜変更可能である。
例えば、上記実施形態では、２つのカメラユニット１４の各々にＧＰＳ受信機１４３を設けることとしたが、共通する１つのＧＰＳ受信機１４３だけを設けることとしてもよい。この場合、各カメラユニット１４（光学カメラ１４１）とＧＰＳ受信機１４３とで初期状態での時刻合わせを予め行って、２つのカメラユニット１４での撮像タイミングを合致させられるようにしておけばよい。
また、一対の光学カメラ１４１が航空機１０の両翼端に設置されることとしたが、当該一対の光学カメラ１４１は互いに離間した状態で航空機１０に搭載されていればよく、その機上の位置は特に限定されない。
１ ステレオ測距装置
１０ 航空機
１４（１４Ｒ，１４Ｌ ） カメラユニット
１４１（１４１Ｒ，１４１Ｌ） 光学カメラ
１４２（１４２Ｒ，１４２Ｌ） 位置姿勢計
１４３（１４３Ｒ，１４３Ｌ） ＧＰＳ受信機
１４０ 固定板
１６ 記憶部
１６０ ステレオ測距プログラム
１８ 制御部
１０ 航空機
１４（１４Ｒ，１４Ｌ ） カメラユニット
１４１（１４１Ｒ，１４１Ｌ） 光学カメラ
１４２（１４２Ｒ，１４２Ｌ） 位置姿勢計
１４３（１４３Ｒ，１４３Ｌ） ＧＰＳ受信機
１４０ 固定板
１６ 記憶部
１６０ ステレオ測距プログラム
１８ 制御部
Claims (7)
- 互いに離間した状態で航空機に搭載され、ステレオカメラを構成する一対の光学カメラと、
前記一対の光学カメラに対応して当該一対の光学カメラの各々の近傍に設けられ、対応する光学カメラの位置及び姿勢に関する位置姿勢情報を取得する位置姿勢計と、
前記一対の光学カメラの各々により撮影された画像の位置及び向きを、当該光学カメラに対応する前記位置姿勢計により取得された位置姿勢情報に基づいて補正する画像補正手段と、
前記一対の光学カメラにより撮影されて前記画像補正手段により個別に補正された一対の補正画像に基づいて、撮影対象との間の距離を算出するステレオ測距手段と、
を備えることを特徴とするステレオ測距装置。 - ＧＰＳ時刻情報を取得して、前記一対の光学カメラにより撮影された各画像に対応付ける時刻取得手段を備え、
前記ステレオ測距手段は、前記時刻取得手段により各画像に対応付けられたＧＰＳ時刻情報に基づいて、互いの撮像タイミングが合致する前記一対の補正画像を選択し、当該一対の補正画像を用いて撮影対象との間の距離を算出することを特徴とする請求項１に記載のステレオ測距装置。 - 前記時刻取得手段は、前記一対の光学カメラに対応して当該一対の光学カメラの各々の近傍に設けられたＧＰＳ受信機であり、対応する光学カメラにより撮影された画像にＧＰＳ時刻情報を対応付けることを特徴とする請求項２に記載のステレオ測距装置。
- 前記一対の光学カメラの各々と、当該光学カメラに対応する前記位置姿勢計とが、共通する金属製の支持部材に固定されていることを特徴とする請求項１〜３のいずれか一項に記載のステレオ測距装置。
- 前記一対の光学カメラが、航空機の両翼の先端に個別に配置されていることを特徴とする請求項１〜４のいずれか一項に記載のステレオ測距装置。
- 互いに離間した状態で航空機に搭載され、ステレオカメラを構成する一対の光学カメラと、
前記一対の光学カメラに対応して当該一対の光学カメラの各々の近傍に設けられ、対応する光学カメラの位置及び姿勢に関する位置姿勢情報を取得する位置姿勢計と、
を備えるステレオ測距装置が、
前記一対の光学カメラの各々により撮影された画像の位置及び向きを、当該光学カメラに対応する前記位置姿勢計により取得された位置姿勢情報に基づいて補正する画像補正工程と、
前記一対の光学カメラにより撮影されて前記画像補正工程で個別に補正された一対の補正画像に基づいて、撮影対象との間の距離を算出するステレオ測距工程と、
を実行することを特徴とするステレオ測距方法。 - 互いに離間した状態で航空機に搭載され、ステレオカメラを構成する一対の光学カメラと、
前記一対の光学カメラに対応して当該一対の光学カメラの各々の近傍に設けられ、対応する光学カメラの位置及び姿勢に関する位置姿勢情報を取得する位置姿勢計と、
を備えるステレオ測距装置の制御部を、
前記一対の光学カメラの各々により撮影された画像の位置及び向きを、当該光学カメラに対応する前記位置姿勢計により取得された位置姿勢情報に基づいて補正する画像補正手段、
前記一対の光学カメラにより撮影されて前記画像補正手段により個別に補正された一対の補正画像に基づいて、撮影対象との間の距離を算出するステレオ測距手段、
として機能させることを特徴とするステレオ測距プログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016180118A JP6335237B2 (ja) | 2016-09-15 | 2016-09-15 | ステレオ測距装置、ステレオ測距方法及びステレオ測距プログラム |
| US15/638,572 US10313659B2 (en) | 2016-09-15 | 2017-06-30 | Stereoscopic distance measuring apparatus, stereoscopic distance measuring method, and computer readable medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016180118A JP6335237B2 (ja) | 2016-09-15 | 2016-09-15 | ステレオ測距装置、ステレオ測距方法及びステレオ測距プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018044867A JP2018044867A (ja) | 2018-03-22 |
| JP6335237B2 true JP6335237B2 (ja) | 2018-05-30 |
Family
ID=61560559
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016180118A Active JP6335237B2 (ja) | 2016-09-15 | 2016-09-15 | ステレオ測距装置、ステレオ測距方法及びステレオ測距プログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US10313659B2 (ja) |
| JP (1) | JP6335237B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6775541B2 (ja) * | 2018-04-03 | 2020-10-28 | 株式会社Ｓｕｂａｒｕ | 位置計測方法及び位置計測システム |
| CN113170047B (zh) * | 2018-12-13 | 2023-06-30 | 索尼集团公司 | 控制装置、控制方法和控制程序 |
| CN111649761B (zh) * | 2020-06-01 | 2022-05-06 | 成都纵横大鹏无人机科技有限公司 | 一种多拼相机pos数据获取方法、装置、设备及介质 |
| CN115308724B (zh) * | 2022-08-09 | 2023-07-07 | 四川大学 | 一种立木树高测量方法 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4805015A (en) * | 1986-09-04 | 1989-02-14 | Copeland J William | Airborne stereoscopic imaging system |
| JP3652741B2 (ja) * | 1995-08-31 | 2005-05-25 | 東京瓦斯株式会社 | 地図データ作成方法 |
| JP3925129B2 (ja) * | 2001-09-18 | 2007-06-06 | 富士ゼロックス株式会社 | ３次元画像撮像装置および方法 |
| JP4328551B2 (ja) * | 2003-03-05 | 2009-09-09 | 富士重工業株式会社 | 撮像姿勢制御装置 |
| FI117490B (fi) * | 2004-03-15 | 2006-10-31 | Geodeettinen Laitos | Menetelmä puustotunnusten määrittämiseksi laserkeilaimen, kuvainformaation ja yksittäisten puiden tulkinnan avulla |
| JP4689639B2 (ja) * | 2007-04-25 | 2011-05-25 | キヤノン株式会社 | 画像処理システム |
| JP5214811B2 (ja) * | 2009-11-13 | 2013-06-19 | 富士フイルム株式会社 | 測距装置、測距方法、測距プログラムおよび測距システムならびに撮像装置 |
| KR101699922B1 (ko) * | 2010-08-12 | 2017-01-25 | 삼성전자주식회사 | 하이브리드 사용자 추적 센서를 이용한 디스플레이 시스템 및 방법 |
| US9420263B2 (en) * | 2010-12-28 | 2016-08-16 | Konica Minolta, Inc. | Information processor and information processing method |
| JP6026088B2 (ja) * | 2011-08-09 | 2016-11-16 | 株式会社トプコン | 遠隔操作システム |
| CN104704818B (zh) * | 2013-06-19 | 2018-08-31 | 松下知识产权经营株式会社 | 图像显示装置和图像显示方法 |
| US20180091797A1 (en) | 2016-09-27 | 2018-03-29 | The Boeing Company | Apparatus and method of compensating for relative motion of at least two aircraft-mounted cameras |
| JP6463319B2 (ja) * | 2016-10-19 | 2019-01-30 | 株式会社Ｓｕｂａｒｕ | ステレオ測距装置、ステレオ測距方法及びステレオ測距プログラム |
| JP6808484B2 (ja) * | 2016-12-28 | 2021-01-06 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
-
2016
- 2016-09-15 JP JP2016180118A patent/JP6335237B2/ja active Active
-
2017
- 2017-06-30 US US15/638,572 patent/US10313659B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US20180077403A1 (en) | 2018-03-15 |
| US10313659B2 (en) | 2019-06-04 |
| JP2018044867A (ja) | 2018-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6335237B2 (ja) | ステレオ測距装置、ステレオ測距方法及びステレオ測距プログラム | |
| JP6463319B2 (ja) | ステレオ測距装置、ステレオ測距方法及びステレオ測距プログラム | |
| KR101282718B1 (ko) | 선형배열 영상센서와 자세제어 센서 간의 절대 오정렬 보정방법 | |
| KR101017606B1 (ko) | 단일영상을 이용한 자세각센서 삼차원 오정렬 보정방법 | |
| WO2018025115A3 (en) | Method and system for calibrating components of an inertial measurement unit (imu) using scene-captured data | |
| JP2015148450A (ja) | センサ誤差補正装置、ｉｍｕ較正システム、ｉｍｕ較正方法、および、ｉｍｕ較正プログラム | |
| US9916659B2 (en) | Operating device, operating method, and program therefor | |
| US20180120107A1 (en) | Navigation system and survey system | |
| FR3075984B1 (fr) | Procede et systeme de recalage d'une symbologie de pilotage d'un aeronef sur un afficheur tete haute porte conforme avec le monde reel exterieur via un systeme de vision synthetique svs | |
| US10949981B2 (en) | Position measuring method, position measuring apparatus, and position measuring system | |
| US20190244391A1 (en) | An aerial camera boresight calibration system | |
| JP2017009555A (ja) | カメラのキャリブレーション装置、カメラのキャリブレーション方法およびカメラのキャリブレーションを行うためのプログラム | |
| KR101183866B1 (ko) | Ｇｐｓ／ｉｎｓ／영상ａｔ를 통합한 실시간 위치／자세 결정 장치 및 방법 | |
| JP7008736B2 (ja) | 画像キャプチャ方法および画像キャプチャ装置 | |
| CN110674888B (zh) | 一种基于数据融合的头部姿态识别方法 | |
| JP6249864B2 (ja) | 飛翔体の慣性航法システム | |
| US11511800B2 (en) | Determining an angle of a movement path of a trailer | |
| JP2010145219A (ja) | 運動推定装置及びプログラム | |
| KR20130080024A (ko) | 대칭적인 노출을 사용하는 지구 관측 시스템의 정렬 에러 교정 방법 | |
| KR102121287B1 (ko) | 카메라 시스템 및 카메라 시스템의 제어 방법 | |
| US20190219392A1 (en) | Measuring camera to body alignment for an imager mounted within a structural body | |
| JP2019207181A (ja) | 方位角較正システムおよび方位角較正方法 | |
| CN111982179B (zh) | 异常检测设备、异常检测方法以及计算机可读介质 | |
| JP2020046243A (ja) | 高度計測装置、飛しょう体、高度計測方法、及びプログラム | |
| KR101510435B1 (ko) | 단일차분을 이용한 3축 각속도센서의 오정렬 및 축척계수 오차 보정 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180403 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180427 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6335237 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |