JP6770903B2 - Distance calculation device and distance calculation method - Google Patents
Distance calculation device and distance calculation method Download PDFInfo
- Publication number
- JP6770903B2 JP6770903B2 JP2017007901A JP2017007901A JP6770903B2 JP 6770903 B2 JP6770903 B2 JP 6770903B2 JP 2017007901 A JP2017007901 A JP 2017007901A JP 2017007901 A JP2017007901 A JP 2017007901A JP 6770903 B2 JP6770903 B2 JP 6770903B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- stationary object
- unit
- specific stationary
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Description
本発明は、特定の静止物に関する距離を算出する距離算出技術に関する。 The present invention relates to a distance calculation technique for calculating a distance with respect to a specific stationary object.
静止物を検出する手法として、１つのカメラで異なる位置で撮影された２つの撮影画像を用いて、画像中の静止物を検出する移動ステレオ方式が知られている（例えば特許文献１参照）。車両に搭載されたカメラを用いた移動ステレオ方式は、車両の移動に伴ってカメラが移動すると、路面上に展開された高さのある静止物の移動量（動きベクトルの大きさ）が路面の移動量よりも大きくなるという特徴を用いて静止物を検出する。 As a method for detecting a stationary object, a moving stereo method for detecting a stationary object in an image by using two captured images taken at different positions by one camera is known (see, for example, Patent Document 1). In the moving stereo system using a camera mounted on a vehicle, when the camera moves as the vehicle moves, the amount of movement (the magnitude of the motion vector) of a tall stationary object developed on the road surface is the amount of movement of the road surface. A stationary object is detected using the feature that it becomes larger than the amount of movement.
移動ステレオ方式は、１つのカメラで異なる位置で撮影された２つの撮影画像を用いて静止物を検出するため、カメラを搭載している車両の停止時には静止物を検出することができないという問題点を有している。 Since the mobile stereo method detects a stationary object using two captured images taken at different positions by one camera, there is a problem that the stationary object cannot be detected when the vehicle equipped with the camera is stopped. have.
また、移動ステレオ方式は、カメラを搭載している車両が移動しているときでも、高さの低い静止物は路面上に展開された静止物の移動量と路面の移動量との差分が小さいために検出が困難であるという問題点も有している。 Further, in the moving stereo method, even when the vehicle equipped with the camera is moving, the difference between the amount of movement of the stationary object deployed on the road surface and the amount of movement of the road surface is small for a stationary object having a low height. Therefore, it also has a problem that it is difficult to detect.
さらに、車両の最低地上高よりも高さの低い静止物（例えばタイヤ止め、縁石等）に車両が衝突する場合、静止物がカメラで撮影できない領域に入ってから車両のタイヤが静止物に衝突することになるので、衝突直前での静止物と車両のタイヤとの距離を撮影画像で認識することができない。このため、車両のドライバーが回避したい衝突が発生するおそれがあった。なお、車両のドライバーが回避したい衝突としては、例えば、車両のタイヤとタイヤ止めとの勢いのよい衝突、車両のタイヤと縁石との衝突等を挙げることができる。 Furthermore, when the vehicle collides with a stationary object (for example, a tire stop, a rim stone, etc.) whose height is lower than the minimum ground clearance of the vehicle, the vehicle tire collides with the stationary object after the stationary object enters an area that cannot be photographed by the camera. Therefore, it is not possible to recognize the distance between the stationary object and the tire of the vehicle immediately before the collision in the photographed image. For this reason, there is a risk of a collision that the driver of the vehicle wants to avoid. Examples of the collision that the driver of the vehicle wants to avoid include a vigorous collision between the tire of the vehicle and the tire stopper, a collision between the tire of the vehicle and the curb, and the like.
本発明は、上記の課題に鑑み、特定の静止物が撮影できない領域に入ってもタイヤから特定の静止物までの距離を算出することができる距離算出技術を提供することを目的とする。 In view of the above problems, it is an object of the present invention to provide a distance calculation technique capable of calculating the distance from a tire to a specific stationary object even if the specific stationary object enters an area where photography is not possible.
本発明に係る距離算出装置は、車両の周辺を撮影するカメラで得られた撮影画像について特定の静止物を検出する検出部と、前記検出部によって前記特定の静止物が検出された時点で前記車両の先端部から前記特定の静止物までの水平距離を前記撮影画像に基づいて測定する測定部と、異なる位置で撮像された２つの前記撮影画像を用いて移動ステレオ方式により前記車両の所定方向における移動量を推定する推定部と、前記車両の先端部から前記車両が備えるタイヤの所定位置までの水平距離を予め記憶する記憶部と、前記測定部の測定結果、前記推定部の推定結果、及び前記記憶部の記憶内容を用いて、前記タイヤの前記所定位置から前記特定の静止物までの前記所定方向における距離を算出する算出部と、を備え、前記所定方向は、前記検出部によって前記特定の静止物が検出された時点での前記車両の先端部から前記特定の静止物に向かう水平方向である構成（第１の構成）である。 The distance calculation device according to the present invention includes a detection unit that detects a specific stationary object in a photographed image obtained by a camera that photographs the surroundings of the vehicle, and the detection unit when the specific stationary object is detected by the detection unit. A measurement unit that measures the horizontal distance from the tip of the vehicle to the specific stationary object based on the captured image, and two captured images taken at different positions in a predetermined direction of the vehicle by a moving stereo method. An estimation unit that estimates the amount of movement in the vehicle, a storage unit that previously stores the horizontal distance from the tip of the vehicle to a predetermined position of the tire of the vehicle, the measurement result of the measurement unit, the estimation result of the estimation unit, And a calculation unit that calculates the distance of the tire from the predetermined position of the tire to the specific stationary object in the predetermined direction by using the storage contents of the storage unit, and the predetermined direction is described by the detection unit. This is a configuration (first configuration) in which the tip of the vehicle at the time when a specific stationary object is detected is in the horizontal direction toward the specific stationary object.
また、上記第１の構成の距離算出装置において、前記推定部は、前記特定の静止物よりも前記車両から離れている前記撮影画像中の特徴点を用いて、移動ステレオ方式により前記車両の前記所定方向における移動量を推定する構成（第２の構成）であってもよい。 Further, in the distance calculation device having the first configuration, the estimation unit uses the feature points in the captured image that are farther from the vehicle than the specific stationary object, and uses the moving stereo method to describe the vehicle. It may be a configuration (second configuration) that estimates the amount of movement in a predetermined direction.
また、上記第２の構成の距離算出装置において、前記推定部は、前記特定の静止物よりも、前記車両の先端部から前記タイヤの前記所定位置までの水平距離以上、前記車両から離れている前記撮影画像中の特徴点を用いて、移動ステレオ方式により前記車両の前記所定方向における移動量を推定する構成（第３の構成）であってもよい。 Further, in the distance calculation device having the second configuration, the estimation unit is separated from the vehicle by a horizontal distance from the tip of the vehicle to the predetermined position of the tire or more than the specific stationary object. A configuration (third configuration) may be used in which the movement amount of the vehicle in the predetermined direction is estimated by a moving stereo method using the feature points in the captured image.
また、上記第１〜第３いずれかの構成の距離算出装置において、前記算出部によって算出された前記タイヤの前記所定位置から前記特定の静止物までの距離を通知する通知信号を生成する通知信号生成部を備える構成（第４の構成）であってもよい。 Further, in the distance calculation device having any of the first to third configurations, a notification signal for generating a notification signal for notifying the distance from the predetermined position of the tire to the specific stationary object calculated by the calculation unit is generated. It may be a configuration (fourth configuration) including a generation unit.
また、上記第４の構成の距離算出装置において、前記通知信号は、前記タイヤ及び前記特定の静止物を含む画像を表示させる表示信号である構成（第５の構成）であってもよい。 Further, in the distance calculation device having the fourth configuration, the notification signal may be a display signal for displaying an image including the tire and the specific stationary object (fifth configuration).
また、上記第１〜第５いずれかの構成の距離算出装置において、前記検出部が前記特定の静止物を複数検出した場合、前記測定部は、前記検出部によって前記特定の静止物が検出された時点で前記車両の先端部から前記車両の先端部に最も近い前記特定の静止物までの水平距離を前記撮影画像に基づいて測定する構成（第６の構成）であってもよい。 Further, when the detection unit detects a plurality of the specific stationary objects in the distance calculation device having any of the first to fifth configurations, the measuring unit detects the specific stationary object by the detecting unit. At that time, the horizontal distance from the tip of the vehicle to the specific stationary object closest to the tip of the vehicle may be measured based on the captured image (sixth configuration).
また、上記第１〜第６いずれかの構成の距離算出装置において、前記タイヤの予想進路線が前記特定の静止物に当たるか否かを判定する判定部と、前記タイヤと前記特定の静止物とが接触しないおそれ又は前記タイヤと前記特定の静止物とが接触するおそれのいずれか一方を知らせる警告信号を前記判定部の判定結果に基づいて生成する警告信号生成部と、を備える構成（第７の構成）であってもよい。 Further, in the distance calculation device having any of the first to sixth configurations, a determination unit for determining whether or not the expected traveling route of the tire hits the specific stationary object, and the tire and the specific stationary object. A configuration (seventh) including a warning signal generation unit that generates a warning signal that notifies either that the tire may not come into contact with the tire or that the tire and the specific stationary object may come into contact with each other based on the determination result of the determination unit. The configuration of) may be used.
また、上記第１〜第７いずれかの構成の距離算出装置において、前記車両の最低地上高の低下を前記撮影画像中の駐車枠の形状に基づいて検出する低下検出部と、前記車両の底部と前記特定の静止物とが接触するおそれを知らせる接触警告信号を前記低下検出部の検出結果に基づいて生成する接触警告信号生成部と、を備える構成（第８の構成）であってもよい。 Further, in the distance calculation device having any of the first to seventh configurations, a reduction detection unit that detects a decrease in the minimum ground clearance of the vehicle based on the shape of the parking frame in the captured image, and a bottom portion of the vehicle. The configuration (eighth configuration) may include a contact warning signal generation unit that generates a contact warning signal for notifying the possibility of contact with the specific stationary object based on the detection result of the reduction detection unit. ..
本発明に係る距離算出方法は、車両の周辺を撮影するカメラで得られた撮影画像について特定の静止物を検出する検出工程と、前記検出工程によって前記特定の静止物が検出された時点で前記車両の先端部から前記特定の静止物までの水平距離を前記撮影画像に基づいて測定する測定工程と、異なる位置で撮像された２つの前記撮影画像を用いて移動ステレオ方式により前記車両の所定方向における移動量を推定する推定工程と、前記車両の先端部から前記車両が備えるタイヤの所定位置までの水平距離を読み出す読み出し工程と、前記測定工程の測定結果、前記推定工程の推定結果、及び前記読み出し工程の読み出し内容を用いて、前記タイヤの前記所定位置から前記特定の静止物までの前記所定方向における距離を算出する算出工程と、を備え、前記所定方向は、前記検出部によって前記特定の静止物が検出された時点での前記車両の先端部から前記特定の静止物に向かう水平方向である構成（第９の構成）である。 The distance calculation method according to the present invention includes a detection step of detecting a specific stationary object in a photographed image obtained by a camera that photographs the periphery of the vehicle, and the above-mentioned when the specific stationary object is detected by the detection step. A measurement step of measuring the horizontal distance from the tip of the vehicle to the specific stationary object based on the photographed image, and a moving stereo method using the two photographed images taken at different positions in a predetermined direction of the vehicle. The estimation step of estimating the amount of movement in the above, the reading step of reading out the horizontal distance from the tip of the vehicle to the predetermined position of the tire provided by the vehicle, the measurement result of the measurement step, the estimation result of the estimation process, and the above. A calculation step of calculating the distance of the tire from the predetermined position of the tire to the specific stationary object in the predetermined direction by using the read content of the reading step is provided, and the predetermined direction is specified by the detection unit. This is a configuration (nineth configuration) in which the tip of the vehicle at the time when a stationary object is detected is in the horizontal direction toward the specific stationary object.
本発明の距離算出技術によれば、特定の静止物が撮影できない領域に入ってもタイヤから特定の静止物までの距離を算出することができる。この算出された距離は、例えば車両のドライバーが回避したい衝突の発生を防止するために役立てることができる。 According to the distance calculation technique of the present invention, the distance from the tire to the specific stationary object can be calculated even if the specific stationary object enters an area where the image cannot be taken. This calculated distance can be useful, for example, to prevent the occurrence of a collision that the driver of the vehicle wants to avoid.
以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。以下の説明では、車両の直進進行方向であって、運転席からステアリングに向かう方向を「前方向」と呼ぶ。また、車両の直進進行方向であって、ステアリングから運転席に向かう方向を「後方向」と呼ぶ。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転手の右側から左側に向かう方向を「左方向」と呼ぶ。また、車両の直進進行方向及び鉛直線に垂直な方向であって、前方向を向いている運転手の左側から右側に向かう方向を「右方向」と呼ぶ。 Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the drawings. In the following description, the direction in which the vehicle travels straight from the driver's seat to the steering wheel is referred to as "forward direction". Further, the direction in which the vehicle travels straight from the steering wheel to the driver's seat is referred to as "rear direction". Further, the direction from the right side to the left side of the driver facing forward, which is the direction perpendicular to the straight traveling direction and the vertical straight line of the vehicle, is referred to as "left direction". Further, the direction from the left side to the right side of the driver facing forward, which is the direction perpendicular to the straight traveling direction and the vertical straight line of the vehicle, is referred to as "right direction".
＜＜１．第１実施形態＞＞
＜１−１．画像処理装置及び距離算出装置の構成＞
図１は、第１実施形態に係る距離算出装置の構成を示す図である。図１に示すバックカメラ１００、画像処理装置２００、及び表示装置３００は車両に搭載される。画像処理装置２００の一部が距離算出装置２１２（第１実施形態に係る距離算出装置）を構成している。
<< 1. First Embodiment >>
<1-1. Configuration of image processing device and distance calculation device>
FIG. 1 is a diagram showing a configuration of a distance calculation device according to the first embodiment. The back camera 100, the image processing device 200, and the display device 300 shown in FIG. 1 are mounted on the vehicle. A part of the image processing device 200 constitutes a distance calculation device 212 (distance calculation device according to the first embodiment).
バックカメラ１００は、車両の後端部に設けられ、車両の後方向を撮影する。バックカメラ１００の取付位置は、車両の左右中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。バックカメラ１００は、撮影画像を画像処理装置２００に出力する。 The back camera 100 is provided at the rear end of the vehicle and photographs the rear direction of the vehicle. The mounting position of the back camera 100 is preferably at the center of the left and right sides of the vehicle, but may be slightly deviated from the center of the left and right sides in the left-right direction. The back camera 100 outputs the captured image to the image processing device 200.
表示装置３００は、車両のドライバーが表示装置３００の表示画面を視認できる位置に設けられ、画像処理装置２００から出力される画像を表示する。 The display device 300 is provided at a position where the driver of the vehicle can visually recognize the display screen of the display device 300, and displays an image output from the image processing device 200.
画像処理装置２００は、バックカメラ１００から出力される撮影画像を処理し、処理後の画像を表示装置３００に出力する。 The image processing device 200 processes the captured image output from the back camera 100, and outputs the processed image to the display device 300.
画像処理装置２００は、ＡＳＩＣ（application specific integrated circuit）やＦＰＧＡ（field-programmable gate array）等のハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて画像処理装置２００を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアを用いて実現される機能をプログラムとして記述し、当該プログラムをプログラム実行装置上で実行することによって、その機能を実現するようにしてもよい。プログラム実行装置としては、例えばＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）を備えるコンピュータを挙げることができる。 The image processing device 200 can be configured by hardware such as an ASIC (application specific integrated circuit) or FPGA (field-programmable gate array), or a combination of hardware and software. When the image processing apparatus 200 is configured by using software, the block diagram of the part realized by the software represents the functional block diagram of the part. A function realized by using software may be described as a program, and the function may be realized by executing the program on a program execution device. Examples of the program execution device include a computer including a CPU (Central Processing Unit), a RAM (Random Access Memory), and a ROM (Read Only Memory).
画像処理装置２００は、画像取得部２０１と、背景差分方式処理回路２０２と、移動ステレオ方式処理回路２０３と、パターンマッチング処理回路２０４と、特定パターン記憶用メモリ２０５と、画像出力部２０６と、を備える。 The image processing device 200 includes an image acquisition unit 201, a background subtraction processing circuit 202, a mobile stereo processing circuit 203, a pattern matching processing circuit 204, a specific pattern storage memory 205, and an image output unit 206. Be prepared.
画像取得部２０１は、バックカメラ１００からアナログ又はデジタルの撮影画像を所定の周期（例えば、１／３０秒周期）で時間的に連続して取得する。そして、取得した撮影画像がアナログの場合には、画像取得部２０１は、そのアナログの撮影画像をデジタルの撮影画像に変換（Ａ／Ｄ変換）する。画像取得部２０１は、取得した撮影画像、或いは、取得及び変換した撮影画像を、背景差分方式処理回路２０２、移動ステレオ方式処理回路２０３、パターンマッチング処理回路２０４、及び画像出力部２０６に出力する。画像取得部２０１から出力される１つの撮影画像が１つのフレーム画像となる。 The image acquisition unit 201 continuously acquires analog or digital captured images from the back camera 100 at a predetermined cycle (for example, a 1/30 second cycle). Then, when the acquired captured image is analog, the image acquisition unit 201 converts the analog captured image into a digital captured image (A / D conversion). The image acquisition unit 201 outputs the acquired captured image or the acquired and converted captured image to the background subtraction processing circuit 202, the mobile stereo processing circuit 203, the pattern matching processing circuit 204, and the image output unit 206. One captured image output from the image acquisition unit 201 becomes one frame image.
背景差分方式処理回路２０２は、２つのフレーム画像間の差分を画素毎に算出し、差分が大きい領域を移動物として検出する。 The background subtraction method processing circuit 202 calculates the difference between two frame images for each pixel, and detects a region having a large difference as a moving object.
移動ステレオ方式処理回路２０３は、車両の移動に伴ってバックカメラ１００が移動すると、路面上に展開された高さのある静止物の移動量（動きベクトルの大きさ）が路面の移動量よりも大きくなるという特徴を用いて静止物を検出する。 In the mobile stereo processing circuit 203, when the back camera 100 moves with the movement of the vehicle, the amount of movement (the magnitude of the motion vector) of a high stationary object developed on the road surface is larger than the amount of movement of the road surface. A stationary object is detected using the feature of becoming larger.
パターンマッチング処理回路２０４は、特定の静止物に関する特定パターンを用いて、パターンマッチング処理によって特定の静止物を検出する。特定の静止物は、移動ステレオ方式処理回路２０３では検出が困難又は不可能な高さの低い静止物であって、例えばタイヤ止めや縁石等を挙げることができる。特定の静止物に関する特定パターンは、特定パターン記憶用メモリ２０５に予め記憶されている。例えばタイヤ止めをパターンマッチング処理回路２０４が検出できるようにする場合、タイヤ止めそれぞれに関する特定パターンを１つのみ特定パターン記憶用メモリ２０５に予め記憶させてもよいが、タイヤ止めには種々の形状のものが存在するので、代表的な複数種類の形状のタイヤ止めそれぞれに関する特定パターンを特定パターン記憶用メモリ２０５に予め記憶させることが望ましい。 The pattern matching processing circuit 204 detects a specific stationary object by pattern matching processing using a specific pattern related to the specific stationary object. The specific stationary object is a stationary object having a low height that is difficult or impossible to detect by the mobile stereo processing circuit 203, and examples thereof include a tire stopper and a curb. A specific pattern relating to a specific stationary object is stored in advance in the specific pattern storage memory 205. For example, when the pattern matching processing circuit 204 can detect a tire stop, only one specific pattern for each tire stop may be stored in advance in the specific pattern storage memory 205, but the tire stop has various shapes. Since there are some tires, it is desirable to store in advance a specific pattern for each of a plurality of typical types of tire stoppers in the specific pattern storage memory 205.
画像出力部２０６は、画像取得部２０１の出力、背景差分方式処理回路２０２の出力、移動ステレオ方式処理回路２０３の出力、パターンマッチング処理回路２０４の出力、及び後述する通知信号生成部２１１の出力の少なくとも１つに基づくフレーム画像を表示装置３００に出力する。例えば、画像取得部２０１の出力、背景差分方式処理回路２０２の出力、移動ステレオ方式処理回路２０３の出力、及びパターンマッチング処理回路２０４の出力に基づくフレーム画像としては、画像取得部２０１から出力されたフレーム画像に、背景差分方式処理回路２０２によって検出された移動物を囲む検出枠、移動ステレオ方式処理回路２０３によって検出された静止物を囲む検出枠、及びパターンマッチング処理回路２０４によって検出された静止物を囲む検出枠を重畳した画像を挙げることができる。 The image output unit 206 is an output of the image acquisition unit 201, an output of the background subtraction processing circuit 202, an output of the mobile stereo processing circuit 203, an output of the pattern matching processing circuit 204, and an output of the notification signal generation unit 211 described later. A frame image based on at least one is output to the display device 300. For example, the frame image based on the output of the image acquisition unit 201, the output of the background subtraction processing circuit 202, the output of the mobile stereo processing circuit 203, and the output of the pattern matching processing circuit 204 is output from the image acquisition unit 201. In the frame image, a detection frame surrounding a moving object detected by the background subtraction processing circuit 202, a detection frame surrounding a stationary object detected by the moving stereo processing circuit 203, and a stationary object detected by the pattern matching processing circuit 204. An image in which the detection frames surrounding the above are superimposed can be mentioned.
本実施形態のようにパターンマッチング処理回路２０４を設けることで、車両移動時及び車両停止時のいずれにおいても、高さの低い静止物の検出が可能となる（図２参照）。これに対して、パターンマッチング処理回路２０４を設けなければ、車両移動時及び車両停止時のいずれにおいても、高さの低い静止物の検出が困難又は不可能となる（図２参照）。なお、高さの高い静止物に関する特定パターンを特定パターン記憶用メモリ２０５に予め記憶させれば、車両停止時であっても高さの高い静止物をパターンマッチング処理回路２０４によって検出することが可能となる。 By providing the pattern matching processing circuit 204 as in the present embodiment, it is possible to detect a stationary object having a low height both when the vehicle is moving and when the vehicle is stopped (see FIG. 2). On the other hand, if the pattern matching processing circuit 204 is not provided, it becomes difficult or impossible to detect a stationary object having a low height both when the vehicle is moving and when the vehicle is stopped (see FIG. 2). If a specific pattern related to a high-height stationary object is stored in advance in the specific pattern storage memory 205, the high-height stationary object can be detected by the pattern matching processing circuit 204 even when the vehicle is stopped. It becomes.
画像処理装置２００は、推定部２０７と、測定部２０８と、距離記憶用メモリ２０９と、算出部２１０と、通知信号生成部２１１と、をさらに備える。推定部２０７、測定部２０８、距離記憶用メモリ２０９、算出部２１０、及び通知信号生成部２１１は、上述した移動ステレオ方式処理回路２０３、パターンマッチング処理回路２０４、及び特定パターン記憶用メモリ２０５とともに、距離算出装置２１２を構成する。 The image processing device 200 further includes an estimation unit 207, a measurement unit 208, a distance storage memory 209, a calculation unit 210, and a notification signal generation unit 211. The estimation unit 207, the measurement unit 208, the distance storage memory 209, the calculation unit 210, and the notification signal generation unit 211 together with the mobile stereo processing circuit 203, the pattern matching processing circuit 204, and the specific pattern storage memory 205 described above The distance calculation device 212 is configured.
推定部２０７は、異なる位置で撮像された２つの撮像画像を用いて移動ステレオ方式により車両の所定方向における移動量を推定する。なお、所定方向は、図３に示すように、パターンマッチング処理回路２０４によって特定の静止物が検出された時点での車両の後端部Ｅ１から特定の静止物Ｏ１に向かう水平方向ＤＩＲ１である。具体的には、推定部２０７は、移動ステレオ方式処理回路２０３によって検出される２つのフレーム画像内の路面上に位置する特徴点（例えば、路面に描かれた白線のエッジ、路面上のヒビ、路面上のシミ、路面上の砂利等）の移動量（動きベクトルの大きさ）を車両の移動量として、車両の所定方向における移動量を推定する。 The estimation unit 207 estimates the amount of movement of the vehicle in a predetermined direction by a moving stereo method using two captured images taken at different positions. As shown in FIG. 3, the predetermined direction is the horizontal direction DIR1 from the rear end portion E1 of the vehicle toward the specific stationary object O1 at the time when the specific stationary object is detected by the pattern matching processing circuit 204. Specifically, the estimation unit 207 is a feature point located on the road surface in the two frame images detected by the mobile stereo processing circuit 203 (for example, an edge of a white line drawn on the road surface, a crack on the road surface, and the like. The amount of movement of the vehicle in a predetermined direction is estimated by using the amount of movement (magnitude of motion vector) of stains on the road surface, gravel on the road surface, etc. as the amount of movement of the vehicle.
なお、推定部２０７が、特定の静止物よりも車両から離れている特徴点を用いて、車両の所定方向における移動量を推定することが望ましい。特定の静止物と車両と特徴点との位置関係にもよるが、特徴点が特定の静止物よりも車両から離れていると、特定の静止物がバックカメラ１００で撮影できない領域に入っても特徴点はバックカメラ１００で撮影できる領域に残っている可能性が高くなるからである。 It is desirable that the estimation unit 207 estimates the amount of movement of the vehicle in a predetermined direction by using feature points that are farther from the vehicle than a specific stationary object. Although it depends on the positional relationship between the specific stationary object, the vehicle, and the feature point, if the feature point is farther from the vehicle than the specific stationary object, even if the specific stationary object enters an area that cannot be photographed by the back camera 100. This is because there is a high possibility that the feature points remain in the area that can be photographed by the back camera 100.
また、推定部２０７が、特定の静止物よりも、車両の後端部から後輪タイヤの所定位置までの水平距離以上、車両から離れている特徴点を用いて、車両の所定方向における移動量を推定することがより望ましい。特定の静止物と車両と特徴点との位置関係にもよるが、特徴点が特定の静止物よりも、車両の後端部から後輪タイヤの所定位置までの水平距離以上、車両から離れていると、特定の静止物と後輪タイヤの所定位置が接触した状態においても特徴点はバックカメラ１００で撮影できる領域に残っている可能性が高くなるからである。 Further, the estimation unit 207 uses a feature point that is separated from the vehicle by a horizontal distance from the rear end portion of the vehicle to a predetermined position of the rear wheel tires or more than a specific stationary object, and the amount of movement in the predetermined direction of the vehicle. It is more desirable to estimate. Although it depends on the positional relationship between the specific stationary object, the vehicle, and the feature point, the feature point is more than the horizontal distance from the rear end of the vehicle to the predetermined position of the rear wheel tires from the specific stationary object. This is because there is a high possibility that the feature points remain in the area that can be photographed by the back camera 100 even when the specific stationary object and the predetermined position of the rear wheel tires are in contact with each other.
上述したように、推定部２０７が特定の静止物よりも車両から離れている特徴点を用いる場合、特定の静止物よりも車両から離れている特徴点のみを用いて車両の所定方向における移動量を推定してもよく、特定の静止物より車両から離れていない特徴点も合わせて用いて車両の所定方向における移動量を推定してもよい。 As described above, when the estimation unit 207 uses a feature point that is farther from the vehicle than a specific stationary object, the amount of movement of the vehicle in a predetermined direction using only the feature point that is farther from the vehicle than the specific stationary object. May be estimated, or the amount of movement of the vehicle in a predetermined direction may be estimated by also using feature points that are not far from the vehicle from a specific stationary object.
測定部２０８は、パターンマッチング処理回路２０４によって特定の静止物が検出された時点で車両の後端部から特定の静止物までの水平距離を、画像取得部２０１からパターンマッチング処理回路２０４に出力されたフレーム画像に基づいて測定する。具体的には、測定部２０８は、当該フレーム画像における特定の静止物の位置に基づいて、図３に示す車両の後端部Ｅ１から特定の静止物Ｏ１までの水平距離Ｌ１を測定する。 When the pattern matching processing circuit 204 detects a specific stationary object, the measuring unit 208 outputs the horizontal distance from the rear end of the vehicle to the specific stationary object from the image acquisition unit 201 to the pattern matching processing circuit 204. Measure based on the frame image. Specifically, the measuring unit 208 measures the horizontal distance L1 from the rear end portion E1 of the vehicle shown in FIG. 3 to the specific stationary object O1 based on the position of the specific stationary object in the frame image.
距離記憶用メモリ２０９は、図３に示す車両の後端部Ｅ１から後輪タイヤの所定位置Ｐ１までの水平距離Ｌ２を予め記憶する。なお、図３に示す所定位置Ｐ１は、車両が特定の静止物Ｏ１に向かって後進した場合に特定の静止物Ｏ１に最初に接触することが想定される後輪タイヤの部分位置である。特定の静止物の高さは１つに定まらないので、例えば想定される全ての種類における平均高さを求めて、その平均高さに基づいて所定位置を定めてもよく、また例えば最も出現頻度が高いと考えられる特定の静止物の高さに基づいて所定位置を定めてもよい。 The distance storage memory 209 stores in advance the horizontal distance L2 from the rear end portion E1 of the vehicle shown in FIG. 3 to the predetermined position P1 of the rear wheel tires. The predetermined position P1 shown in FIG. 3 is a partial position of the rear wheel tire that is expected to first come into contact with the specific stationary object O1 when the vehicle moves backward toward the specific stationary object O1. Since the height of a specific stationary object is not fixed to one, for example, the average height of all expected types may be obtained and a predetermined position may be determined based on the average height, and for example, the most frequent occurrence. The predetermined position may be determined based on the height of a specific stationary object which is considered to be high.
算出部２１０は、推定部２０７の推定結果、測定部２０８の測定結果、及び距離記憶用メモリ２０９の記憶内容を用いて、後輪タイヤの所定位置から特定の静止物までの所定方向における距離を算出する。具体的には、算出部２１０によって算出される距離は、図３に示す水平距離Ｌ１と水平距離Ｌ２とを加算した距離から推定部２０７によって推定された移動量を引いた値となる。上記の算出手法によると、推定部２０７の推定結果、測定部２０８の測定結果、及び距離記憶用メモリ２０９の記憶内容を用いているため、特定の静止物がバックカメラ１００で撮影できない領域に入っても後輪タイヤの所定位置から特定の静止物までの距離を算出することができる。また、上記の算出手法によると、車両の移動量を把握するために距離算出装置２１２が車速情報やステアリングの舵角情報等を取得する必要がなく、画像処理のみで後輪タイヤの所定位置から特定の静止物までの距離を算出することができる。 The calculation unit 210 uses the estimation result of the estimation unit 207, the measurement result of the measurement unit 208, and the storage content of the distance storage memory 209 to determine the distance from the predetermined position of the rear wheel tire to the specific stationary object in a predetermined direction. calculate. Specifically, the distance calculated by the calculation unit 210 is a value obtained by subtracting the movement amount estimated by the estimation unit 207 from the distance obtained by adding the horizontal distance L1 and the horizontal distance L2 shown in FIG. According to the above calculation method, since the estimation result of the estimation unit 207, the measurement result of the measurement unit 208, and the storage contents of the distance storage memory 209 are used, a specific stationary object enters an area that cannot be photographed by the back camera 100. Even so, the distance from a predetermined position of the rear wheel tire to a specific stationary object can be calculated. Further, according to the above calculation method, the distance calculation device 212 does not need to acquire vehicle speed information, steering angle information, etc. in order to grasp the amount of movement of the vehicle, and only image processing is performed from a predetermined position of the rear tires. The distance to a specific stationary object can be calculated.
通知信号生成部２１１は、算出部２１０によって算出された距離を通知する通知信号を生成する。これにより、車両のドライバーが後輪タイヤと特定の静止物との距離を把握できるようになる。これにより、後輪タイヤとタイヤ止め（特定の静止物の一例）との勢いのよい衝突や後輪タイヤと縁石（特定の静止物の一例）との衝突等を回避する運転が車両のドライバーにとって可能となる。なお、距離の通知は、定性的な通知でもよく、定量的な通知でもよく、両者を合わせた通知であってもよい。 The notification signal generation unit 211 generates a notification signal for notifying the distance calculated by the calculation unit 210. This allows the driver of the vehicle to know the distance between the rear tires and a particular stationary object. As a result, the driver of the vehicle can drive to avoid a vigorous collision between the rear tire and the tire stop (an example of a specific stationary object) and a collision between the rear wheel tire and a curb (an example of a specific stationary object). It will be possible. The distance notification may be a qualitative notification, a quantitative notification, or a combined notification.
本実施形態では、通知信号生成部２１１によって生成される通知信号は、後輪タイヤ及び特定の静止物を含む画像を表示させる表示信号である。後輪タイヤ及び特定の静止物を含む画像（例えば図４に示すようなアニメーション画像）を表示装置３００に表示させることで、車両のドライバーが後輪タイヤと特定の静止物との距離を直感的に把握できるようになる。これにより、後輪タイヤとタイヤ止め（特定の静止物の一例）との勢いのよい衝突や後輪タイヤと縁石（特定の静止物の一例）との衝突等を回避する運転が車両のドライバーにとって容易になる。 In the present embodiment, the notification signal generated by the notification signal generation unit 211 is a display signal for displaying an image including a rear wheel tire and a specific stationary object. By displaying an image including the rear wheel tire and a specific stationary object (for example, an animation image as shown in FIG. 4) on the display device 300, the driver of the vehicle can intuitively determine the distance between the rear wheel tire and the specific stationary object. You will be able to grasp it. As a result, the driver of the vehicle can drive to avoid a vigorous collision between the rear tire and the tire stop (an example of a specific stationary object) and a collision between the rear wheel tire and a curb (an example of a specific stationary object). It will be easier.
なお、後輪タイヤ及び特定の静止物を含む画像の表示に代えて又は加えて、算出部２１０によって算出された距離の値を表示するようにしてもよく、また、表示に代えて又は加えて音声によって算出部２１０によって算出された距離に関する情報を通知してもよい。例えば、算出部２１０によって算出された距離に応じて音声のリズムや音量を変えることによって、算出部２１０によって算出された距離に関する情報を音声通知することができる。 In addition, instead of or in addition to the display of the image including the rear wheel tire and the specific stationary object, the value of the distance calculated by the calculation unit 210 may be displayed, and instead of or in addition to the display. Information on the distance calculated by the calculation unit 210 may be notified by voice. For example, by changing the rhythm and volume of the voice according to the distance calculated by the calculation unit 210, the information regarding the distance calculated by the calculation unit 210 can be notified by voice.
＜１−２．距離算出装置の動作＞
図５は、距離算出装置２１２の動作例を示すフローチャートである。距離算出装置２１２の動作開始イベントが発生すると、距離算出装置２１２は図５に示すフローチャートの動作を開始する。距離算出装置２１２の動作開始イベントとしては、例えば、車両のシフトレバーの位置がリバースレンジに切り替わったこと等を挙げることができる。
<1-2. Operation of distance calculation device>
FIG. 5 is a flowchart showing an operation example of the distance calculation device 212. When the operation start event of the distance calculation device 212 occurs, the distance calculation device 212 starts the operation of the flowchart shown in FIG. As the operation start event of the distance calculation device 212, for example, the position of the shift lever of the vehicle is switched to the reverse range.
まず、パターンマッチング処理回路２０４が特定の静止物の検出を試みる（ステップＳ１）。パターンマッチング処理回路２０４によって特定の静止物が検出された時点で測定部２０８が車両の後端部から特定の静止物までの水平距離を測定する（ステップＳ２）。 First, the pattern matching processing circuit 204 attempts to detect a specific stationary object (step S1). When a specific stationary object is detected by the pattern matching processing circuit 204, the measuring unit 208 measures the horizontal distance from the rear end of the vehicle to the specific stationary object (step S2).
なお、パターンマッチング処理回路２０４が特定の静止物を複数検出した場合、測定部２０８は、パターンマッチング処理回路２０４によって特定の静止物が検出された時点で車両の後端部から車両の後端部に最も近い特定の静止物までの水平距離を測定する。これにより、例えば図６に示す状態のように駐車枠Ｆ１に対して車両Ｖ１が斜めに進入している場合でも、車両Ｖ１の後輪タイヤが特定の静止物であるタイヤ止めに勢いよく衝突することを防止することができる。図６に示す状態においてパターンマッチング処理回路２０４が特定の静止物Ｏ１及びＯ１’を検出した場合、測定部２０８は、車両Ｖ１の後端部Ｅ１から車両Ｖ１の後端部Ｅ１に最も近い特定の静止物Ｏ１までの水平距離Ｌ１を測定する。車両Ｖ１の後端部Ｅ１から車両Ｖ１の後端部Ｅ１に最も近い特定の静止物Ｏ１までの水平距離Ｌ１は、例えば図６に示すように車両Ｖ１の後端部Ｅ１から特定の静止物Ｏ１の幅方向の略中央までの水平距離とすることができる。これ以外に、例えば車両Ｖ１の後端部Ｅ１から特定の静止物Ｏ１の幅方向の最も車両中央寄りの位置Ｐ２（図６参照）までの水平距離を水平距離Ｌ１としてもよく、また例えば車両Ｖ１の後端部Ｅ１から特定の静止物Ｏ１の幅方向の最も車両中央から離れた位置Ｐ３（図６参照）までの水平距離を水平距離Ｌ１としてもよい。 When the pattern matching processing circuit 204 detects a plurality of specific stationary objects, the measuring unit 208 starts from the rear end of the vehicle to the rear end of the vehicle when the pattern matching processing circuit 204 detects a specific stationary object. Measure the horizontal distance to the specific stationary object closest to. As a result, even when the vehicle V1 is obliquely approaching the parking frame F1 as shown in FIG. 6, the rear wheel tires of the vehicle V1 vigorously collide with the tire stopper which is a specific stationary object. Can be prevented. When the pattern matching processing circuit 204 detects specific stationary objects O1 and O1'in the state shown in FIG. 6, the measuring unit 208 is the specific one closest to the rear end E1 of the vehicle V1 from the rear end E1 of the vehicle V1. The horizontal distance L1 to the stationary object O1 is measured. The horizontal distance L1 from the rear end portion E1 of the vehicle V1 to the specific stationary object O1 closest to the rear end portion E1 of the vehicle V1 is, for example, as shown in FIG. 6, the specific stationary object O1 from the rear end portion E1 of the vehicle V1. It can be a horizontal distance to approximately the center in the width direction of. In addition to this, for example, the horizontal distance from the rear end portion E1 of the vehicle V1 to the position P2 (see FIG. 6) closest to the center of the vehicle in the width direction of the specific stationary object O1 may be set as the horizontal distance L1, or for example, the vehicle V1. The horizontal distance L1 may be the horizontal distance from the rear end portion E1 to the position P3 (see FIG. 6) farthest from the center of the vehicle in the width direction of the specific stationary object O1.
次に、算出部２１０が車両の後端部から後輪タイヤの所定位置までの水平距離を距離記憶用メモリ２０９から読み出す（ステップＳ３）。 Next, the calculation unit 210 reads the horizontal distance from the rear end portion of the vehicle to the predetermined position of the rear wheel tires from the distance storage memory 209 (step S3).
次に、推定部２０７が車両の所定方向における移動量を推定する（ステップＳ４）。それから、算出部２１０が後輪タイヤの所定位置から特定の静止物までの所定方向における距離を算出する（ステップＳ５）。そして、距離算出装置２１２は、距離算出装置２１２の動作終了イベントが発生しているか否かを確認する（ステップＳ６）。距離算出装置２１２の動作終了イベントとしては、例えば、車両のシフトレバーの位置がリバースレンジから他のレンジに切り替わったこと等を挙げることができる。 Next, the estimation unit 207 estimates the amount of movement of the vehicle in a predetermined direction (step S4). Then, the calculation unit 210 calculates the distance from the predetermined position of the rear wheel tire to the specific stationary object in the predetermined direction (step S5). Then, the distance calculation device 212 confirms whether or not the operation end event of the distance calculation device 212 has occurred (step S6). As the operation end event of the distance calculation device 212, for example, the position of the shift lever of the vehicle is switched from the reverse range to another range.
距離算出装置２１２の動作終了イベントが発生していなければ、ステップＳ４に戻る。これにより、推定部２０７によって推定される移動量及び算出部２１０によって算出される距離が車両の移動に伴って更新される。一方、距離算出装置２１２の動作終了イベントが発生していれば、距離算出装置２１２は図５に示すフローチャートの動作を終了する。 If the operation end event of the distance calculation device 212 has not occurred, the process returns to step S4. As a result, the movement amount estimated by the estimation unit 207 and the distance calculated by the calculation unit 210 are updated as the vehicle moves. On the other hand, if the operation end event of the distance calculation device 212 has occurred, the distance calculation device 212 ends the operation of the flowchart shown in FIG.
なお、ステップＳ６を実施する代わりに、距離算出装置２１２の動作終了イベントが発生しているか否かを距離算出装置２１２がフローチャートの動作中常時監視し、距離算出装置２１２の動作終了イベントが発生すれば直ちにフローチャートの動作を終了するようにしてもよい。この場合、ステップＳ５の処理が終わるとステップＳ４に戻るようにすればよい。 Instead of executing step S6, the distance calculation device 212 constantly monitors whether or not the operation end event of the distance calculation device 212 has occurred during the operation of the flowchart, and the operation end event of the distance calculation device 212 occurs. If so, the operation of the flowchart may be terminated immediately. In this case, when the process of step S5 is completed, the process may return to step S4.
＜１−３．変形例＞
上述した実施形態とは異なり、算出部２１０によって算出された距離の通知を行わないようにし、算出部２１０によって算出された距離に基づく車両の自動介入制御（例えば自動ブレーキ等）を行って、後輪タイヤとタイヤ止め（特定の静止物の一例）との勢いのよい衝突や後輪タイヤと縁石（特定の静止物の一例）との衝突等を車両の自動介入制御によって回避してもよい。
<1-3. Modification example>
Unlike the above-described embodiment, the distance calculated by the calculation unit 210 is not notified, and the vehicle is automatically intervened and controlled (for example, automatic braking) based on the distance calculated by the calculation unit 210. A vigorous collision between a wheel tire and a tire stopper (an example of a specific stationary object) or a collision between a rear wheel tire and a curb (an example of a specific stationary object) may be avoided by automatic intervention control of the vehicle.
上述した実施形態では、距離算出装置２１２は、バックカメラ１００から出力される撮影画像を用いて後輪タイヤの所定位置から特定の静止物までの所定方向における距離を算出したが、その算出に代えて又は加えて、車両の前端部に設けられるフロントカメラから出力される撮影画像を用いて前輪タイヤの所定位置から特定の静止物までの所定方向における距離を算出してもよい。 In the above-described embodiment, the distance calculation device 212 calculates the distance from the predetermined position of the rear wheel tire to the specific stationary object in the predetermined direction by using the captured image output from the back camera 100, but instead of the calculation. Alternatively, or in addition, the distance from a predetermined position of the front tires to a specific stationary object in a predetermined direction may be calculated using a photographed image output from a front camera provided at the front end of the vehicle.
また、俯瞰画像を生成する仮想視点画像生成部を画像処理装置２００に追加して、通知信号生成部２１１が俯瞰画像に基づく通知信号を生成するようにしてもよい。 Further, a virtual viewpoint image generation unit that generates a bird's-eye view image may be added to the image processing device 200 so that the notification signal generation unit 211 generates a notification signal based on the bird's-eye view image.
ここで、俯瞰画像を含む仮想視点画像の生成手法について説明する。図７は、仮想視点画像の生成手法について説明するための図である。なお、以下の説明では４つのカメラから取得される４つの撮影画像に基づいて仮想視点画像を生成する手法について説明するが、カメラと撮影画像の数は４つに限られることはない。一例として、各カメラの水平方向の画角が比較的広い場合は、４つよりも少ない３つのカメラから取得される３つの撮影画像に基づき、仮想視点画像を生成してもよい。さらに、別の例として、各カメラの水平方向の画角が比較的狭い場合は、４つよりも多い５つのカメラから得られる５つの撮影画像に基づき、仮想視点画像を生成してもよい。 Here, a method for generating a virtual viewpoint image including a bird's-eye view image will be described. FIG. 7 is a diagram for explaining a method for generating a virtual viewpoint image. In the following description, a method of generating a virtual viewpoint image based on four captured images acquired from four cameras will be described, but the number of cameras and captured images is not limited to four. As an example, when the horizontal angle of view of each camera is relatively wide, a virtual viewpoint image may be generated based on three captured images acquired from three cameras, which are less than four. Further, as another example, when the horizontal angle of view of each camera is relatively narrow, a virtual viewpoint image may be generated based on five captured images obtained from five cameras, which is more than four.
上記の仮想視点画像生成部は、仮想的な三次元空間における仮想投影面１の第１領域Ｒ１に撮影画像ＰＴ１を投影して、撮影画像ＰＴ１を第１の投影画像に変換する。同様に、上記の仮想視点画像生成部は、仮想投影面１の第２〜第４領域Ｒ２〜Ｒ４それぞれに撮影画像ＰＴ２〜ＰＴ４を投影して、撮影画像ＰＴ２〜ＰＴ４それぞれを第２〜第４の投影画像に変換する。なお、撮影画像ＰＴ１は、フロントカメラの撮影画像であり、撮影画像ＰＴ４は、バックカメラの撮影画像である。また、撮影画像ＰＴ２は車両の左サイドミラーに設けられ車両の左サイドを撮影する左サイドカメラの撮影画像であり、撮影画像ＰＴ３は車両の右サイドミラーに設けられ車両の右サイドを撮影する右サイドカメラの撮影画像である。 The virtual viewpoint image generation unit projects the captured image PT1 onto the first region R1 of the virtual projection surface 1 in the virtual three-dimensional space, and converts the captured image PT1 into the first projected image. Similarly, the virtual viewpoint image generation unit projects the captured images PT2 to PT4 on each of the second to fourth regions R2 to R4 of the virtual projection surface 1, and the captured images PT2 to PT4 are each second to fourth. Convert to a projected image of. The captured image PT1 is a captured image of the front camera, and the captured image PT4 is a captured image of the back camera. Further, the captured image PT2 is an image captured by the left side camera provided on the left side mirror of the vehicle and captures the left side of the vehicle, and the captured image PT3 is provided on the right side mirror of the vehicle and captures the right side of the vehicle. It is an image taken by a side camera.
仮想投影面１は、例えば略半球状（お椀形状）をしている。仮想投影面１の中心部分（お椀の底部分）は、車両２が存在する位置として定められている。このように仮想投影面１が曲面を含むようにすることで、車両２から離れた位置に存在する物体の像の歪みを少なくすることができる。また、第１〜第４領域Ｒ１〜Ｒ４それぞれは、隣接する他の領域と重複する部分を有している。このような重複部分を設けることで、領域の境界部分に投影される物体の像が投影画像から消失することを防止することができる。 The virtual projection surface 1 has, for example, a substantially hemispherical shape (bowl shape). The central portion (bottom portion of the bowl) of the virtual projection surface 1 is defined as the position where the vehicle 2 exists. By making the virtual projection surface 1 include a curved surface in this way, it is possible to reduce the distortion of the image of an object existing at a position away from the vehicle 2. Further, each of the first to fourth regions R1 to R4 has a portion overlapping with other adjacent regions. By providing such an overlapping portion, it is possible to prevent the image of the object projected on the boundary portion of the region from disappearing from the projected image.
上記の仮想視点画像生成部は、第１〜第４の投影画像を仮想投影面１の第１〜第４領域Ｒ１〜Ｒ４に仮想的に貼り付ける。 The virtual viewpoint image generation unit virtually pastes the first to fourth projected images on the first to fourth regions R1 to R4 of the virtual projection surface 1.
また、上記の仮想視点画像生成部は、車両２の三次元形状を示すポリゴンのモデルを仮想的に構成する。この車両２のモデルは、仮想投影面１が設定される仮想的な三次元空間において、車両２が存在する位置として定められた位置（仮想投影面１の中心部分）に配置される。 Further, the virtual viewpoint image generation unit virtually configures a polygon model showing the three-dimensional shape of the vehicle 2. The model of the vehicle 2 is arranged at a position (central portion of the virtual projection surface 1) defined as a position where the vehicle 2 exists in a virtual three-dimensional space in which the virtual projection surface 1 is set.
さらに、上記の仮想視点画像生成部は、仮想投影面１が設定される仮想的な三次元空間において、仮想視点ＶＰを設定する。仮想視点ＶＰは、視点位置及び視野方向によって規定される。仮想投影面１の少なくとも一部が視野に入る限り、仮想視点ＶＰの視点位置及び視野方向は、任意の視点位置及び任意の視野方向に設定することができる。 Further, the virtual viewpoint image generation unit sets the virtual viewpoint VP in the virtual three-dimensional space in which the virtual projection surface 1 is set. The virtual viewpoint VP is defined by the viewpoint position and the viewing direction. As long as at least a part of the virtual projection surface 1 is in the field of view, the viewpoint position and the field of view of the virtual viewpoint VP can be set to any viewpoint position and any field direction.
上記の仮想視点画像生成部は、設定した仮想視点ＶＰに応じて、仮想投影面１における必要な領域（仮想視点ＶＰからみえる領域）の画像を仮想的に切り出す。また、上記の仮想視点画像生成部は、設定した仮想視点ＶＰに応じて、ポリゴンのモデルに関してレンダリングを行い、車両２のレンダリング像を生成する。そして、上記の仮想視点画像生成部は、切り出した画像に対して車両２のレンダリング像を重畳して仮想視点ＶＰからみた仮想視点画像ＣＰを生成する。 The virtual viewpoint image generation unit virtually cuts out an image of a necessary area (area seen from the virtual viewpoint VP) on the virtual projection surface 1 according to the set virtual viewpoint VP. Further, the above-mentioned virtual viewpoint image generation unit renders the polygon model according to the set virtual viewpoint VP, and generates a rendered image of the vehicle 2. Then, the virtual viewpoint image generation unit superimposes the rendered image of the vehicle 2 on the cut out image to generate the virtual viewpoint image CP viewed from the virtual viewpoint VP.
例えば、視点位置が車両２の位置の略中央の直上で、視野方向が直下方向とした仮想視点ＶＰａを設定した場合は、上記の仮想視点画像生成部は、車両２の略直上から車両２を見下ろすように車両２及び車両２の周辺の領域を示す仮想視点画像ＣＰａを生成する。この仮想視点画像ＣＰａが俯瞰画像である。また例えば、視点位置が車両２の位置の左後方で、視野方向が車両２における略前方向とした仮想視点ＶＰｂを設定した場合は、上記の仮想視点画像生成部は、車両２の左後方からその周辺全体を見渡すように車両２及び車両２の周辺の領域を示す仮想視点画像ＣＰｂを生成する。 For example, when a virtual viewpoint VPa whose viewpoint position is directly above the center of the position of the vehicle 2 and whose viewing direction is directly below is set, the virtual viewpoint image generation unit described the vehicle 2 from substantially directly above the vehicle 2. A virtual viewpoint image CPa showing the vehicle 2 and the area around the vehicle 2 is generated so as to look down. This virtual viewpoint image CPa is a bird's-eye view image. Further, for example, when a virtual viewpoint VPb is set in which the viewpoint position is left rear of the position of the vehicle 2 and the viewing direction is substantially the front direction in the vehicle 2, the above virtual viewpoint image generation unit is performed from the left rear of the vehicle 2. A virtual viewpoint image CPb showing the vehicle 2 and the area around the vehicle 2 is generated so as to overlook the entire periphery thereof.
通知信号生成部２１１は、上述した車両２のレンダリング像の代わりに、図８に示す車両２の車体を透過させた画像を用いる。この場合も図４に示すようなアニメーション画像と同様に、車両のドライバーが車両２のタイヤと特定の静止物との距離を直感的に把握できるようになる。特定の静止物がカメラで撮影できない領域に入っていない場合は図８（ａ）に示すような車両２の車体内にタイヤＴ１〜Ｔ４を含む画像になり、特定の静止物がカメラで撮影できる領域に残っていない場合は図８（ｂ）に示すような車両２の車体内にタイヤＴ１〜Ｔ４並びに特定の静止物Ｏ１及びＯ１’を含む画像になる。 The notification signal generation unit 211 uses an image in which the vehicle body of the vehicle 2 shown in FIG. 8 is transmitted, instead of the rendered image of the vehicle 2 described above. Also in this case, similarly to the animation image as shown in FIG. 4, the driver of the vehicle can intuitively grasp the distance between the tire of the vehicle 2 and the specific stationary object. If the specific stationary object is not in the area that cannot be photographed by the camera, the image includes the tires T1 to T4 in the vehicle body of the vehicle 2 as shown in FIG. 8A, and the specific stationary object can be photographed by the camera. If it does not remain in the area, an image including tires T1 to T4 and specific stationary objects O1 and O1'in the vehicle body of the vehicle 2 as shown in FIG. 8B is obtained.
＜＜２．第２実施形態＞＞
図９は、第２実施形態に係る距離算出装置の構成を示す図である。画像処理装置２００’の一部が距離算出装置２１２’（第２実施形態に係る距離算出装置）を構成している。画像処理装置２００’及び距離算出装置２１２’は、判定部２１３及び警告信号生成部２１４を距離算出装置内に設けている点で、第１実施形態において説明した画像処理装置２００及び距離算出装置２１２と異なっており、それ以外の点では画像処理装置２００及び距離算出装置２１２と同一である。以下、第１実施形態との相違点について説明する。
<< 2. Second Embodiment >>
FIG. 9 is a diagram showing a configuration of a distance calculation device according to a second embodiment. A part of the image processing device 200'consists of the distance calculation device 212'(the distance calculation device according to the second embodiment). The image processing device 200 and the distance calculation device 212'described in the first embodiment in that the determination unit 213 and the warning signal generation unit 214 are provided in the distance calculation device. It is the same as the image processing device 200 and the distance calculation device 212 in other respects. Hereinafter, the differences from the first embodiment will be described.
判定部２１３は、タイヤの予想進路線が特定の静止物に当たるか否かを判定する。タイヤの予想進路線は、移動ステレオ方式処理回路２０３によって検出される２つのフレーム画像内の路面上に位置する特徴点（例えば、路面に描かれた白線のエッジ、路面上のヒビ、路面上のシミ、路面上の砂利等）の移動方向（動きベクトルの方向）を車両の移動方向を求め、その移動方向に基づいて生成されることが望ましい。これにより、車両の移動方向を把握するために距離算出装置２１２’が車速情報やステアリングの舵角情報等を取得する必要がなく、画像処理のみでタイヤの予想進路線を生成することができる。なお、車速情報やステアリングの舵角情報等を取得してタイヤの予想進路線を生成する構成であってもよい。 The determination unit 213 determines whether or not the expected traveling route of the tire hits a specific stationary object. The expected traveling direction of the tire is a feature point located on the road surface in the two frame images detected by the moving stereo processing circuit 203 (for example, the edge of a white line drawn on the road surface, a crack on the road surface, and a road surface on the road surface). It is desirable to determine the moving direction (direction of the motion vector) of the stain, gravel on the road surface, etc., and to generate it based on the moving direction. As a result, the distance calculation device 212'does not need to acquire vehicle speed information, steering angle information, or the like in order to grasp the moving direction of the vehicle, and the expected traveling route of the tire can be generated only by image processing. It should be noted that the configuration may be such that the vehicle speed information, the steering angle information, and the like are acquired to generate the expected traveling route of the tire.
警告信号生成部２１４は、判定部２１３の判定結果に基づいて警告信号を生成する。例えば特定の静止物がタイヤ止めである場合には、警告信号生成部２１４は、タイヤと特定の静止物とが接触しないおそれがあるときにその旨を知らせる警告信号を生成する。例えば図１０（ａ）及び図１０（ｂ）に示すようにタイヤの予想進路線ＬＮ１及びＬＮ１’が特定の静止物Ｏ１及びＯ１’が接触しない場合に、タイヤと特定の静止物とが接触しないおそれがあると判断すればよい。また例えば特定の静止物が縁石である場合には、警告信号生成部２１４は、タイヤと特定の静止物とが接触するおそれがあるときにその旨を知らせる警告信号を生成する。 The warning signal generation unit 214 generates a warning signal based on the determination result of the determination unit 213. For example, when a specific stationary object is a tire stop, the warning signal generation unit 214 generates a warning signal to notify when there is a possibility that the tire and the specific stationary object may not come into contact with each other. For example, as shown in FIGS. 10 (a) and 10 (b), when the expected travel lines LN1 and LN1'of the tire do not come into contact with the specific stationary objects O1 and O1', the tire and the specific stationary object do not come into contact with each other. It may be judged that there is a risk. Further, for example, when a specific stationary object is a curb, the warning signal generation unit 214 generates a warning signal to notify when there is a possibility that the tire and the specific stationary object come into contact with each other.
警告信号生成部２１４が生成する警告信号によって、タイヤと特定の静止物（例えばタイヤ止め）とが接触しないことやタイヤと特定の静止物（例えば縁石）とが接触することを回避しやすくなる。なお、警告信号は、例えば画像によって警告する信号であってもよく、また例えば音声によって警告する信号であってもよい。 The warning signal generated by the warning signal generation unit 214 makes it easy to prevent the tire from coming into contact with a specific stationary object (for example, a tire stop) or the tire from coming into contact with a specific stationary object (for example, a curb). The warning signal may be, for example, a signal for warning by an image, or may be, for example, a signal for warning by voice.
上述した第１実施形態において説明した変形例は本実施形態についても適用可能である。 The modified example described in the first embodiment described above is also applicable to the present embodiment.
＜＜３．第３実施形態＞＞
図１１は、第３実施形態に係る距離算出装置の構成を示す図である。画像処理装置２００”の一部が距離算出装置２１２”（第３実施形態に係る距離算出装置）を構成している。画像処理装置２００”及び距離算出装置２１２”は、低下検出部２１５及び接触警告信号生成部２１６を距離算出装置内に設けている点で、第１実施形態において説明した画像処理装置２００及び距離算出装置２１２と異なっており、それ以外の点では画像処理装置２００及び距離算出装置２１２と同一である。以下、第１実施形態との相違点について説明する。
<< 3. Third Embodiment >>
FIG. 11 is a diagram showing a configuration of a distance calculation device according to a third embodiment. A part of the image processing device 200 "consists of the distance calculation device 212" (distance calculation device according to the third embodiment). The image processing device 200 "and the distance calculation device 212" are provided with the drop detection unit 215 and the contact warning signal generation unit 216 in the distance calculation device, and thus the image processing device 200 and the distance calculation described in the first embodiment are provided. It is different from the device 212, and is the same as the image processing device 200 and the distance calculation device 212 in other respects. Hereinafter, the differences from the first embodiment will be described.
低下検出部２１５は、車両の最低地上高の低下を前記撮影画像中の駐車枠の形状に基づいて検出する。車両の搭乗人数や積載荷物が多い場合、車両の最低地上高が低くなり、車両に搭載しているバックカメラ１００の高さが低くなる。車両の最低地上高及びバックカメラ１００の高さが高い場合、バックカメラ１００によって撮影される駐車枠Ｆ１は撮影画像の水平方向において狭くなる（図１２（ａ）参照）。すなわち、撮影画像の上部における駐車枠Ｆ１の長辺と短辺とが成す角度θが狭くなる。一方、車両の最低地上高及びバックカメラ１００の高さが低い場合、バックカメラ１００によって撮影される駐車枠Ｆ１は撮影画像の水平方向において広くなる（図１２（ｂ）参照）。すなわち、撮影画像の上部における駐車枠Ｆ１の長辺と短辺とが成す角度θが広くなる。したがって、低下検出部２１５は、例えば撮影画像の上部における駐車枠Ｆ１の長辺と短辺とが成す角度θが所定値より大きくなった場合に、車両の最低地上高の低下を検出するようにすればよい。 The drop detection unit 215 detects the drop in the minimum ground clearance of the vehicle based on the shape of the parking frame in the captured image. When the number of passengers in the vehicle and the load are large, the minimum ground clearance of the vehicle becomes low, and the height of the back camera 100 mounted on the vehicle becomes low. When the minimum ground clearance of the vehicle and the height of the back camera 100 are high, the parking frame F1 photographed by the back camera 100 becomes narrow in the horizontal direction of the photographed image (see FIG. 12A). That is, the angle θ formed by the long side and the short side of the parking frame F1 at the upper part of the captured image becomes narrow. On the other hand, when the minimum ground clearance of the vehicle and the height of the back camera 100 are low, the parking frame F1 photographed by the back camera 100 becomes wider in the horizontal direction of the photographed image (see FIG. 12B). That is, the angle θ formed by the long side and the short side of the parking frame F1 at the upper part of the captured image becomes wide. Therefore, the drop detection unit 215 detects a drop in the minimum ground clearance of the vehicle, for example, when the angle θ formed by the long side and the short side of the parking frame F1 in the upper part of the captured image becomes larger than a predetermined value. do it.
接触警告信号生成部２１６は、低下検出部２１５の検出結果に基づいて接触警告信号を生成する。具体的には、接触警告信号生成部２１６は、車両の底部と特定の静止物とが接触するおそれがあるときにその旨を知らせる接触警告信号を生成する。 The contact warning signal generation unit 216 generates a contact warning signal based on the detection result of the drop detection unit 215. Specifically, the contact warning signal generation unit 216 generates a contact warning signal to notify the bottom of the vehicle when there is a risk of contact with a specific stationary object.
接触警告信号生成部２１６が生成する接触警告信号によって、車両の底部と特定の静止物とが接触することを回避しやすくなる。なお、接触警告信号は、例えば画像によって警告する信号であってもよく、また例えば音声によって警告する信号であってもよい。 The contact warning signal generated by the contact warning signal generation unit 216 makes it easy to prevent the bottom of the vehicle from coming into contact with a specific stationary object. The contact warning signal may be, for example, a signal for warning by an image, or may be, for example, a signal for warning by voice.
上述した第１実施形態において説明した変形例は本実施形態についても適用可能である。また、本実施形態は上述した第２実施形態と組み合わせて実施することも可能である。 The modified example described in the first embodiment described above is also applicable to the present embodiment. Further, this embodiment can be implemented in combination with the second embodiment described above.
＜＜４．留意事項＞＞
本明細書中に開示されている種々の技術的特徴は、上記実施形態のほか、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。すなわち、上記実施形態は、全ての点で例示であって、制限的なものではないと考えられるべきであり、本発明の技術的範囲は、上記実施形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲と均等の意味及び範囲内に属する全ての変更が含まれると理解されるべきである。
<< 4. Points to note >>
In addition to the above-described embodiment, various technical features disclosed in the present specification can be modified in various ways without departing from the spirit of the technical creation. That is, it should be considered that the above embodiments are exemplary in all respects and are not restrictive, and the technical scope of the present invention is not the description of the above embodiments but the claims. It is shown and should be understood to include all modifications that fall within the meaning and scope of the claims.
２０３ 移動ステレオ方式処理回路
２０４ パターンマッチング処理回路
２０５ 特定パターン記憶用メモリ
２０７ 推定部
２０８ 測定部
２０９ 距離記憶用メモリ
２１０ 算出部
２１１ 通知信号生成部
２１２、２１２’、２１２” 距離算出装置
２１３ 判定部
２１４ 警告信号生成部
２１５ 低下検出部
２１６ 接触警告信号生成部
203 Mobile stereo processing circuit 204 Pattern matching processing circuit 205 Specific pattern storage memory 207 Estimating unit 208 Measuring unit 209 Distance storage memory 210 Calculation unit 211 Notification signal generation unit 212, 212', 212 ”Distance calculation device 213 Judgment unit 214 Warning signal generator 215 Drop detection unit 216 Contact warning signal generator
Claims (9)
前記検出部によって前記特定の静止物が検出された時点で前記車両の先端部から前記特定の静止物までの水平距離を前記撮影画像に基づいて測定する測定部と、
異なる位置で撮像された２つの前記撮影画像を用いて移動ステレオ方式により前記車両の所定方向における移動量を推定する推定部と、
前記車両の先端部から前記車両が備えるタイヤの所定位置までの水平距離を予め記憶する記憶部と、
前記測定部の測定結果、前記推定部の推定結果、及び前記記憶部の記憶内容を用いて、前記タイヤの前記所定位置から前記特定の静止物までの前記所定方向における距離を算出する算出部と、を備え、
前記所定方向は、前記検出部によって前記特定の静止物が検出された時点での前記車両の先端部から前記特定の静止物に向かう水平方向であることを特徴とする距離算出装置。 A detector that detects a specific stationary object in the captured image obtained by a camera that captures the surroundings of the vehicle,
A measuring unit that measures the horizontal distance from the tip of the vehicle to the specific stationary object based on the captured image when the specific stationary object is detected by the detecting unit.
An estimation unit that estimates the amount of movement of the vehicle in a predetermined direction by a moving stereo method using the two captured images taken at different positions.
A storage unit that stores in advance the horizontal distance from the tip of the vehicle to a predetermined position of the tire included in the vehicle.
A calculation unit that calculates the distance from the predetermined position of the tire to the specific stationary object in the predetermined direction by using the measurement result of the measurement unit, the estimation result of the estimation unit, and the storage content of the storage unit. With,
The distance calculation device, characterized in that the predetermined direction is a horizontal direction from the tip end portion of the vehicle toward the specific stationary object at the time when the specific stationary object is detected by the detecting unit.
前記タイヤと前記特定の静止物とが接触しないおそれ又は前記タイヤと前記特定の静止物とが接触するおそれのいずれか一方を知らせる警告信号を前記判定部の判定結果に基づいて生成する警告信号生成部と、を備えることを特徴とする請求項１〜６のいずれか一項に記載の距離算出装置。 A determination unit that determines whether or not the expected traveling route of the tire hits the specific stationary object,
A warning signal generation that generates a warning signal based on the determination result of the determination unit to notify either that the tire and the specific stationary object may not come into contact with each other or that the tire and the specific stationary object may come into contact with each other. The distance calculation device according to any one of claims 1 to 6, further comprising a unit and a unit.
前記車両の底部と前記特定の静止物とが接触するおそれを知らせる接触警告信号を前記低下検出部の検出結果に基づいて生成する接触警告信号生成部と、を備えることを特徴とする請求項１〜７のいずれか一項に記載の距離算出装置。 A drop detection unit that detects a drop in the minimum ground clearance of the vehicle based on the shape of the parking frame in the captured image,
Claim 1 is characterized by comprising a contact warning signal generating unit that generates a contact warning signal for notifying the possibility of contact between the bottom of the vehicle and the specific stationary object based on the detection result of the lowering detection unit. The distance calculation device according to any one of 7 to 7.
前記検出工程によって前記特定の静止物が検出された時点で前記車両の先端部から前記特定の静止物までの水平距離を前記撮影画像に基づいて測定する測定工程と、
異なる位置で撮像された２つの前記撮影画像を用いて移動ステレオ方式により前記車両の所定方向における移動量を推定する推定工程と、
前記車両の先端部から前記車両が備えるタイヤの所定位置までの水平距離を読み出す読み出し工程と、
前記測定工程の測定結果、前記推定工程の推定結果、及び前記読み出し工程の読み出し内容を用いて、前記タイヤの前記所定位置から前記特定の静止物までの前記所定方向における距離を算出する算出工程と、を備え、
前記所定方向は、前記検出部によって前記特定の静止物が検出された時点での前記車両の先端部から前記特定の静止物に向かう水平方向であることを特徴とする距離算出方法。 A detection process that detects a specific stationary object in the captured image obtained by a camera that captures the surroundings of the vehicle,
A measurement step of measuring the horizontal distance from the tip of the vehicle to the specific stationary object based on the photographed image when the specific stationary object is detected by the detection step.
An estimation step of estimating the amount of movement of the vehicle in a predetermined direction by a moving stereo method using the two captured images taken at different positions, and
A reading process for reading out the horizontal distance from the tip of the vehicle to a predetermined position of the tire provided on the vehicle.
A calculation step of calculating the distance from the predetermined position of the tire to the specific stationary object in the predetermined direction by using the measurement result of the measurement step, the estimation result of the estimation process, and the read content of the reading step. With,
The distance calculation method, characterized in that the predetermined direction is a horizontal direction from the tip end portion of the vehicle toward the specific stationary object at the time when the specific stationary object is detected by the detecting unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017007901A JP6770903B2 (en) | 2017-01-19 | 2017-01-19 | Distance calculation device and distance calculation method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017007901A JP6770903B2 (en) | 2017-01-19 | 2017-01-19 | Distance calculation device and distance calculation method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018115996A JP2018115996A (en) | 2018-07-26 |
| JP6770903B2 true JP6770903B2 (en) | 2020-10-21 |
Family
ID=62985409
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017007901A Active JP6770903B2 (en) | 2017-01-19 | 2017-01-19 | Distance calculation device and distance calculation method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6770903B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110371139B (en) * | 2019-04-01 | 2020-10-23 | 诸暨山争网络科技有限公司 | Highlight data display method |
| CN111383268A (en) * | 2020-03-10 | 2020-07-07 | 上海眼控科技股份有限公司 | Vehicle distance state acquisition method and device, computer equipment and storage medium |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11105686A (en) * | 1997-10-07 | 1999-04-20 | Nissan Motor Co Ltd | Automatic parking device |
| JP4815993B2 (en) * | 2005-10-19 | 2011-11-16 | アイシン・エィ・ダブリュ株式会社 | Parking support method and parking support device |
| KR101188588B1 (en) * | 2008-03-27 | 2012-10-08 | 주식회사 만도 | Monocular Motion Stereo-Based Free Parking Space Detection Apparatus and Method |
| JP5120227B2 (en) * | 2008-11-21 | 2013-01-16 | スズキ株式会社 | Ring stop detection device and rear image display device |
| JP6303453B2 (en) * | 2013-12-02 | 2018-04-04 | 株式会社デンソー | Parking assistance device |
-
2017
- 2017-01-19 JP JP2017007901A patent/JP6770903B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018115996A (en) | 2018-07-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5639283B2 (en) | Vehicle periphery monitoring device | |
| US7369041B2 (en) | Vehicle surrounding display device | |
| JP4631096B2 (en) | Vehicle periphery monitoring device | |
| JP4687411B2 (en) | Vehicle peripheral image processing apparatus and program | |
| JP5434285B2 (en) | Obstacle detection device | |
| EP1005234A2 (en) | Three-dimensional scope system for vehicles with a single camera | |
| JP2016120892A (en) | Three-dimensional object detector, three-dimensional object detection method, and three-dimensional object detection program | |
| JP4816923B2 (en) | Vehicle peripheral image providing apparatus and method | |
| WO2019202628A1 (en) | Road surface detector, image display device using road surface detector, obstacle detector using road surface detector, image display method using road surface detection method, and obstacle detection method using road surface detection method | |
| JP2013239015A (en) | Parking support device, and parking support method and program | |
| JP6770903B2 (en) | Distance calculation device and distance calculation method | |
| JP2019046069A (en) | Driving support device and driving support method | |
| JP2011100174A (en) | Apparatus and method for detecting vehicle on lane | |
| JP2014089548A (en) | Road surface level difference detection method, road surface level difference detection device and vehicle equipped with the road surface level difference detection device | |
| JP4940706B2 (en) | Object detection device | |
| JP2002036987A (en) | Vehicle surrounding monitoring device | |
| JP2009276906A (en) | Travelling information providing device | |
| JP5004923B2 (en) | Vehicle driving support device | |
| WO2020105499A1 (en) | Image processing device, image processing method, and program | |
| JP7047291B2 (en) | Information processing equipment, image pickup equipment, equipment control system, mobile body, information processing method and program | |
| JP2012053663A (en) | Object kind determination device | |
| JP6072508B2 (en) | Road surface step detection method, road surface step detection device, and vehicle equipped with road surface step detection device | |
| JP4768499B2 (en) | In-vehicle peripheral other vehicle detection device | |
| JP7385502B2 (en) | sensing system | |
| JP2005092516A (en) | On-vehicle device for detecting moving object |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191129 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200903 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200915 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200928 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6770903 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |