JP7302511B2 - Information processing equipment - Google Patents
Information processing equipment Download PDFInfo
- Publication number
- JP7302511B2 JP7302511B2 JP2020038462A JP2020038462A JP7302511B2 JP 7302511 B2 JP7302511 B2 JP 7302511B2 JP 2020038462 A JP2020038462 A JP 2020038462A JP 2020038462 A JP2020038462 A JP 2020038462A JP 7302511 B2 JP7302511 B2 JP 7302511B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- blind spot
- height
- blind
- divided
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、インフラセンサが取得した情報を処理して車両に送信する情報処理装置、情報処理方法、及び情報処理プログラムに関する。 The present invention relates to an information processing device, an information processing method, and an information processing program for processing information acquired by an infrastructure sensor and transmitting the information to a vehicle.
近年、自動車の自動運転に関する開発が進められている。特に、車載システムが車両の加速、操舵、制動を自動的に行い、システムから要請があった場合にのみ運転手が手動で車両を運転する自動運転車両の開発が活発になっている。このような自動運転車両は、路車間通信や車車間通信を介して受信した情報、あるいは自車両に搭載されたセンサを用いて取得した情報に基づいて車両の走行を制御する。 In recent years, developments related to automatic driving of automobiles have been advanced. In particular, the development of self-driving vehicles, in which an on-board system automatically accelerates, steers, and brakes the vehicle, and the driver manually drives the vehicle only when requested by the system, is being actively developed. Such self-driving vehicles control the running of the vehicle based on information received via road-to-vehicle communication or vehicle-to-vehicle communication, or information obtained using sensors mounted on the vehicle.
路車間通信で送受信される情報の1つに、インフラセンサによって取得される情報がある。道路に沿って設置されたインフラセンサは、センサが検出可能な範囲を走行する車両だけでなく、道路上の障害物や歩行者といった物体の情報を検出するとともに、検出した情報を車両に提供する。インフラセンサによって提供される情報は、車両に搭載されたセンサでは取得することが困難な広範囲の情報を含んでいるため、自動運転車両にとって有用な情報となりうる。 One of the information transmitted and received by road-to-vehicle communication is information acquired by an infrastructure sensor. Infrastructure sensors installed along roads detect not only vehicles traveling within the sensor's detectable range, but also objects such as obstacles and pedestrians on the road, and provide the detected information to vehicles. . Information provided by infrastructure sensors includes a wide range of information that is difficult to obtain with sensors mounted on vehicles, so it can be useful information for self-driving vehicles.
ところで、インフラセンサが検出可能な範囲に何らかの物体がある場合、その後方はセンサの死角となる。このような死角の領域に別の物体があってもインフラセンサは検出することができない。このような場合、インフラセンサは、センサが検出した物体の情報に加えて、センサが検出できない死角領域の情報を車両に提供することにより、車両に死角領域に対する注意を促すことが望ましい。 By the way, if there is any object within the range detectable by the infrastructure sensor, the area behind it becomes a blind spot for the sensor. Even if there is another object in such a blind area, the infra-sensor cannot detect it. In such a case, the infrastructure sensor preferably provides the vehicle with information on the blind area that the sensor cannot detect, in addition to the information on the object detected by the sensor, thereby alerting the vehicle to the blind area.
例えば、特許文献1には、インフラセンサによって認識された車両等のオブジェクトによって生じる死角領域を算出し、オブジェクト情報及び死角情報を、インフラセンサ付近を走行する車両に送信することが開示されている。特許文献1に記載の発明によれば、車両は、インフラセンサから取得した情報、及び車載センサによって取得した情報に基づいて自車両の走行制御を行うことにより、車両の安全走行を可能にする。
For example,
ここで、インフラセンサが検出できない死角領域は実際には三次元の立体的な領域である。そのため、インフラセンサは三次元の死角領域を示す死角情報を車両に送信することが考えられる。しかしながら、車両が自車の走行計画を算出するに際し、周辺環境情報を二次元マップ上にマッピングして処理することが多く、受信した三次元の死角情報を平面的な二次元の死角情報に変換する必要があるため、車両の処理負荷が増加する。また、インフラセンサが車両に三次元の死角情報を送信する場合、インフラセンサと車両の間の通信量が増加するおそれもある。したがって、インフラセンサ側で三次元の死角情報を二次元の死角情報に変換し、変換後の情報を車両に送信することが望ましい。 Here, the blind spot area that cannot be detected by the infrastructure sensor is actually a three-dimensional area. Therefore, it is conceivable that the infrastructure sensor transmits blind spot information indicating a three-dimensional blind spot area to the vehicle. However, when a vehicle calculates its own driving plan, it often maps the surrounding environment information on a two-dimensional map and processes it, and converts the received three-dimensional blind spot information into planar two-dimensional blind spot information. This increases the processing load on the vehicle. Moreover, when the infrastructure sensor transmits the three-dimensional blind spot information to the vehicle, there is a possibility that the amount of communication between the infrastructure sensor and the vehicle increases. Therefore, it is desirable that the infrastructure sensor converts the three-dimensional blind spot information into two-dimensional blind spot information and transmits the converted information to the vehicle.
ここで、本発明者は以下の課題を見出だした。
インフラセンサは、車両の後方の死角領域に存在する物体であっても、車両よりも背の高い物体は検出することができる。しかしながら、インフラセンサが、車両によって生じる死角領域を示す二次元の死角情報と、その死角領域内に存在する物体の情報とを車両に送信した場合、車両は、インフラセンサが検出できない死角領域に物体が存在するという、矛盾した情報を受信することになる。その結果、自動運転車両が走行計画を算出する際に、車両死角情報や検出した物体の情報が活用されないおそれがある。
Here, the inventor found out the following problems.
Infrastructure sensors can detect objects that are taller than the vehicle, even if they are in the blind spot area behind the vehicle. However, when the infrastructure sensor transmits to the vehicle two-dimensional blind spot information indicating a blind spot area caused by the vehicle and information about an object existing in the blind spot area, the vehicle detects an object in the blind spot area that the infrastructure sensor cannot detect. You will receive conflicting information that there is a As a result, there is a risk that vehicle blind spot information and information about detected objects will not be used when an autonomous vehicle calculates a travel plan.
そこで、本発明は、二次元の死角領域を示す情報に加えて、死角領域の高さを示す情報を死角情報としてインフラセンサから車両に送信することにより、センサが死角領域に存在する物体を検出した場合であっても、互いに矛盾することがない物体の情報及び死角情報を車両に提供することを目的とする。 Therefore, in the present invention, in addition to information indicating the two-dimensional blind spot area, information indicating the height of the blind spot area is transmitted from the infrastructure sensor to the vehicle as blind spot information, so that the sensor detects an object existing in the blind spot area. To provide a vehicle with object information and blind spot information that are not inconsistent with each other even when the vehicle is in a closed position.
本開示の一態様による情報処理装置(10,20)は、インフラセンサが検出した映像を取得する映像取得部(102)と、前記映像に含まれる被写体を検出する被写体検出部(103)と、前記被写体によって生じる三次元の死角領域を複数の死角領域に分割した分割死角領域それぞれの平面領域及び高さを算出する死角算出部(104)と、前記分割死角領域の前記平面領域及び前記高さを含む死角情報を送信する送信部(105,106)と、を備える。 An information processing device (10, 20) according to an aspect of the present disclosure includes an image acquisition unit (102) that acquires an image detected by an infrasensor, an object detection unit (103) that detects an object included in the image, a blind spot calculation unit (104) for calculating a planar area and a height of each divided blind spot area obtained by dividing the three-dimensional blind spot area caused by the subject into a plurality of blind spot areas; and the planar area and the height of the divided blind spot area. and transmission units (105, 106) for transmitting blind spot information including
なお、特許請求の範囲、及び本項に記載した発明の構成要件に付した括弧内の番号は、本発明と後述の実施形態との対応関係を示すものであり、本発明を限定する趣旨ではない。 It should be noted that the numbers in parentheses attached to the constituent elements of the invention described in the claims and this section indicate the corresponding relationship between the present invention and the embodiments described later, and are not intended to limit the present invention. do not have.
上述のような構成により、情報処理装置は死角領域の平面領域及び高さを含む死角情報を送信することができる。これにより、インフラセンサと通信を行う車両は、死角情報、及び死角情報が示す死角領域に存在する物体の情報の双方を受信しても、これらの情報が互いに矛盾すると認識することなく、死角情報及び物体の情報を利用して走行計画を算出することが可能となる。 With the configuration as described above, the information processing apparatus can transmit blind spot information including the planar area and height of the blind spot area. As a result, even if the vehicle that communicates with the infrastructure sensor receives both the blind spot information and the information about the object existing in the blind spot area indicated by the blind spot information, the vehicle does not recognize that these pieces of information contradict each other and does not receive the blind spot information. And it becomes possible to calculate a travel plan using the information of the object.
以下、本発明の実施形態について、図面を参照して説明する。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described with reference to the drawings.
なお、本発明とは、特許請求の範囲又は課題を解決するための手段の項に記載された発明を意味するものであり、以下の実施形態に限定されるものではない。また、少なくともかぎ括弧内の語句は、特許請求の範囲又は課題を解決するための手段の項に記載された語句を意味し、同じく以下の実施形態に限定されるものではない。 It should be noted that the present invention means the invention described in the scope of claims or the section of Means for Solving the Problems, and is not limited to the following embodiments. In addition, at least the words and phrases in angle brackets mean the words and phrases described in the claims or the means for solving the problems section, and are not limited to the following embodiments.
特許請求の範囲の従属項に記載の構成及び方法は、特許請求の範囲の独立項に記載の発明において任意の構成及び方法である。従属項に記載の構成及び方法に対応する実施形態の構成及び方法、並びに特許請求の範囲に記載がなく実施形態のみに記載の構成及び方法は、本発明において任意の構成及び方法である。特許請求の範囲の記載が実施形態の記載よりも広い場合における実施形態に記載の構成及び方法も、本発明の構成及び方法の例示であるという意味で、本発明において任意の構成及び方法である。いずれの場合も、特許請求の範囲の独立項に記載することで、本発明の必須の構成及び方法となる。 The configurations and methods described in the dependent claims are arbitrary configurations and methods in the invention described in the independent claims. The configurations and methods of the embodiments corresponding to the configurations and methods described in the dependent claims, and the configurations and methods described only in the embodiments without being described in the claims, are optional configurations and methods in the present invention. The configuration and method described in the embodiment when the description of the claims is broader than the description of the embodiment are also arbitrary configurations and methods in the present invention in the sense that they are examples of the configuration and method of the present invention. . In either case, the essential features and methods of the invention are described in the independent claims.
実施形態に記載した効果は、本発明の例示としての実施形態の構成を有する場合の効果であり、必ずしも本発明が有する効果ではない。 The effects described in the embodiments are the effects when having the configuration of the embodiment as an example of the present invention, and are not necessarily the effects of the present invention.
複数の実施形態がある場合、各実施形態に開示の構成は各実施形態のみで閉じるものではなく、実施形態をまたいで組み合わせることが可能である。例えば一の実施形態に開示の構成を、他の実施形態に組み合わせてもよい。また、複数の実施形態それぞれに開示の構成を集めて組み合わせてもよい。 When there are multiple embodiments, the configuration disclosed in each embodiment is not limited to each embodiment, but can be combined across the embodiments. For example, a configuration disclosed in one embodiment may be combined with another embodiment. Further, the configurations disclosed in each of the plurality of embodiments may be collected and combined.
発明が解決しようとする課題に記載した課題は公知の課題ではなく、本発明者が独自に知見したものであり、本発明の構成及び方法と共に発明の進歩性を肯定する事実である。 The problems described in the Problems to be Solved by the Invention are not known problems, but were independently discovered by the inventors, and are facts that affirm the inventive step of the invention together with the structure and method of the present invention.
(実施形態1)
1.インフラセンサシステム1
図1はインフラセンサシステム1を説明する図である。インフラセンサシステム1は、インフラセンサ装置10(「情報処理装置」に相当)、及び通信装置11から構成される。
(Embodiment 1)
1.
FIG. 1 is a diagram for explaining an
インフラセンサ装置10は、道路や道路周辺の建物に設置される装置であり、後述するセンサ部101を用いて道路及び道路周辺の移動体(例えば、車両、歩行者など)又は固定物(例えば、道路標識、建物など)を検出する。
The
通信装置11は、インフラセンサ装置10が送信するメッセージを受信するために移動体に搭載される通信装置である。図1は、車両に搭載された車載通信装置11を示している。通信装置11を搭載する車両は、通信装置11がインフラセンサ装置10から受信したメッセージを利用して、車両の走行計画に反映する。なお、通信装置11は車載通信装置に限定されるものではなく、例えば、歩行者が携帯する携帯端末に搭載される通信装置であってもよい。
The communication device 11 is a communication device mounted on a mobile object to receive messages transmitted by the
2.インフラセンサ装置10の構成
図2を用いて、インフラセンサ装置10の構成を説明する。インフラセンサ装置10は、センサ部101、映像取得部102、被写体検出部103、死角算出部104、メッセージ生成部105、及び送信部106を備える。
2. Configuration of
センサ部(「インフラセンサ」に相当)101は、道路又は道路周辺に存在する物体を検出するセンサである。センサ部101は、例えば、物体の動画や静止画を撮影するカメラ、あるいは、LiDAR等の距離センサである。センサ部101は、後述する映像を取得するために必要な情報を検出するセンサであるが、物体の速度や移動方向をさらに検出してもよい。
A sensor unit (corresponding to an “infrastructure sensor”) 101 is a sensor that detects an object existing on a road or around the road. The
映像取得部102は、センサ部101が検出した物体の「映像」を取得する。センサ部101によって検出された情報が動画や静止画といった映像情報ではない場合、映像取得部102はセンサ部101によって検出された情報を変換して映像を生成することで、映像を取得してもよい。
The
ここで、「映像」とは、1枚以上の画像から構成された動画像の他、静止画像であってもよい。また、カメラのレンズを通して撮像された映像の他、LiDAR(Light Detection And Ranging)等の距離センサのスキャニングで得られた三次元データから二次元データに変換された映像でもよい。 Here, the "video" may be a still image as well as a moving image composed of one or more images. In addition to images captured through a camera lens, images obtained by converting three-dimensional data obtained by scanning with a distance sensor such as LiDAR (Light Detection And Ranging) into two-dimensional data may be used.
被写体検出部103は、映像取得部102が取得した映像に含まれる被写体を検出する。被写体検出部103が映像に含まれる被写体を検出すると、検出した被写体に関する被写体情報を死角検出部104に出力する。被写体情報には、例えば、被写体の識別情報、被写体の位置座標や占有領域サイズ、移動方向及び速度、被写体の形状に基づいて判定された被写体の種別(例えば、車両、歩行者、建物など)が含まれる。被写体の移動方向や速度はセンサ部101によって検出される情報であってもよいが、映像を解析することによって取得される情報であってもよい。
A
死角算出部104は、被写体検出部103から出力された被写体情報に基づいて、被写体によって生じる三次元の死角領域を算出する。死角算出部104はさらに、算出した三次元の死角領域を複数の死角領域に分割した分割死角領域それぞれの平面領域及び「高さ」を「算出」する。死角算出部104が分割死角領域の平面領域及び高さを算出する方法は後述する。なお、死角算出部104は、分割死角領域の平面領域及び高さを算出することができればよく、三次元の死角領域を分割した分割死角領域自体を算出しなくともよい。
The blind
ここで、「高さ」とは、分割死角領域の平面領域に対して垂直方向の距離を表す値であればよく、例えば、分割死角領域の最大高さ、最小高さ、平均高さ、及びこれらの組み合わせを含む。
「算出」する、とは、演算を行うことにより平面領域及び高さを求めることはもちろん、平面領域又は高さのいずれか一方を予め設定された値とし、平面領域又は高さの他方を求めることも含む。また、予め定められたテーブルを用いて、最適な平面領域及び高さを設定することも含む。
Here, the "height" may be a value representing the distance in the vertical direction with respect to the planar area of the divided blind area, for example, the maximum height, minimum height, average height, and Including combinations of these.
"Calculating" means obtaining the planar area and the height by performing calculations, as well as setting either the planar area or the height to a preset value and determining the other of the planar area or the height. including. It also includes setting the optimum plane area and height using a predetermined table.
死角算出部104は、被写体情報、及び分割死角領域の平面領域及び高さを含む死角情報をメッセージ生成部105に出力する。
The blind
メッセージ生成部105は、被写体情報及び死角情報を含むメッセージを生成する。図3は、メッセージ生成部105が生成するメッセージの一例を示している。図3に示すとおり、メッセージは被写体情報及び死角情報を含んでいる。図3に示す例では、被写体情報は、映像に含まれる被写体の数(N)、並びに、N個の被写体それぞれのID、種別情報、及び被写体の座標情報を含んでいる。また、死角情報は、分割死角領域の数(M)、並びに、M個の分割死角領域それぞれの発生原因である被写体のID、分割死角領域の座標情報、及び高さ情報を含んでいる。図3に示す例では、死角情報#1及び死角情報#2に含まれる被写体IDはいずれも同じ(001)である。つまり、死角情報#1及び死角情報#2は、1つの被写体によって生じる死角領域を分割した分割死角領域の死角情報であることを示している。メッセージはさらに、被写体情報及び死角情報に加えて、インフラセンサ装置10の識別番号、センサ部101の検出可能範囲を示す座標情報、被写体を検出した時刻を示す時刻情報等を含んでもよい。
A
送信部106は、通信ネットワークを介して、メッセージ生成部105で生成されたメッセージを車両の通信装置11に送信する。ここで、メッセージを車両の通信装置11に送信する、とは、図1に示すように、送信部106から通信装置11に無線通信ネットワークを介して直接的に送信する場合はもちろん、基地局や他の通信装置を介して間接的にメッセージを車両の通信装置11に送信することも含む。例えば、送信部106は、有線又は無線の通信ネットワークを介して基地局にメッセージを送信し、基地局が無線通信ネットワークを介して車両の通信装置11にメッセージを送信してもよい。あるいは、送信部106は、サーバ装置(図示せず)を介して通信装置11にメッセージを送信してもよい。また、送信部106から通信装置11にメッセージを直接的に送信する場合には、インフラセンサ装置10から所定の範囲内を移動する車両の通信装置11にブロードキャストで送信してもよく、特定の車両に対してユニキャストで送信してもよい。なお、メッセージ生成部105及び送信部106が本発明の「送信部」に相当する。
The
3.分割死角領域の平面領域及び高さの算出
図4乃至図7を参照して、本実施形態の死角算出部104によって算出される分割死角領域の平面領域及び高さを説明する。
3. Calculation of Planar Areas and Heights of Divided Blind Spot Areas Planar areas and heights of divided blind spot areas calculated by the
図4aは、道路、道路上の物体、及びインフラセンサ装置10を上方から見た状態を簡略的に示している。図4aに示すとおり、センサ部101の検出範囲に車両が存在している。また、車両の後方に示す斜線は車両によって生じる死角領域Xを示しており、図4aは死角領域X内に歩行者がいることを示している。図4bは、図4aのインフラセンサ装置10のセンサ部101が検出する画像を示している。上述したとおり、歩行者の位置は死角領域X内であるが、歩行者は車両よりも背が高いため、図4bに示すように、センサ部101は車両及び車両の後方の歩行者の双方を検出することができる。
FIG. 4a shows a simplified view of the road, objects on the road and the
図5は、図4aに示す矢印方向から見た車両及び死角領域を簡略的に示している。図5aは、車両によって生じる三次元の死角領域X3Dを示している。斜線に示す領域はインフラセンサ装置10から見て車両の陰となるため、センサ部101は物体の存在を検出することができない死角となる。三次元の死角領域の形状は、車両の形状や、車両とインフラセンサ装置10との位置関係によって変化するが、ここでは説明のために三角柱の形状を有する死角領域とする。
FIG. 5 schematically shows the vehicle and the blind area viewed from the direction of the arrow shown in FIG. 4a. Figure 5a shows the three-dimensional blind area X3D caused by the vehicle. Since the shaded area is the shadow of the vehicle when viewed from the
死角算出部104は、被写体検出部103から出力された被写体情報に基づいて、図5aに示すような三次元の死角領域を算出する。三次元の死角領域を算出するとは、立体的な死角領域の形状を算出してもよいが、図5aに示すような死角領域の三角柱の頂点の各座標を算出することにより、三次元の死角領域を算出してもよい。
The
図5bは、図5aに示す三次元の死角領域X3Dを地面に投影した平面領域Xを斜線で表している。死角算出部104は、算出した三次元の死角領域X3Dから、図5bに示す死角領域の平面領域Xを算出する。例えば、四角形を有する平面領域Xの4つの頂点の座標を算出することにより、死角算出部104は平面領域Xを算出する。
FIG. 5b shows the planar area X, which is the projection of the three-dimensional blind area X 3D shown in FIG. 5a onto the ground, hatched. The
次に、死角算出部104は、予め設定された「所定の」閾値高さhtの平面と、三次元の死角領域とが交差する位置を求め、この位置を地面に投影した位置で、図5bに示す平面領域Xを分割する。
Next, the blind
「所定の」とは、常に一定の場合の他、条件に応じて一意に定まる場合も含む。 The term “predetermined” includes not only a case of being constant but also a case of being uniquely determined according to conditions.
図5cは、死角領域Xを、予め設定された所定の閾値高さht「以上」の高さを有する三次元の分割死角領域a3D(「第1の分割死角領域」に相当)と、閾値高さht「以下」の高さを有する三次元の分割死角領域b3D(「第2の分割死角領域」に相当)とに分割した状態を示している。車両の高さをhvとした場合、分割死角領域aはhv~htの高さを有する領域であり、分割死角領域bはht~0の高さを有する領域である。図5dは、図5cに示す分割死角領域a3D、b3Dそれぞれの平面領域a、bを示している。 FIG. 5c shows the blind spot area X as a three-dimensional split blind spot area a 3D (corresponding to a "first split blind spot area") having a height "greater than" a predetermined threshold height ht set in advance; It shows a state divided into three-dimensional divided blind spot areas b 3D (corresponding to "second divided blind spot areas") having a height "below" the threshold height ht . Assuming that the height of the vehicle is h v , divided blind area a has a height of h v to h t , and divided blind area b has a height of h t to 0. FIG. 5d shows planar areas a, b of the divided blind areas a 3D , b 3D shown in FIG. 5c, respectively.
「以上」、「以下」とは、比較対象と同じ値を含む場合及び含まない場合の両方が含まれる。 "More than" and "less than" include both the case where the same value as the comparison object is included and the case where it is not included.
死角算出部104は、分割死角領域a3Dの最大高さである高さhv及び平面領域aを、分割死角領域aを示す死角情報としてメッセージ生成部105に送信する。同様に、分割死角領域b3Dの最大高さである高さht及び平面領域bを、分割死角領域bを示す死角情報としてメッセージ生成部105に送信する。
The blind
図6はさらに、上述したメッセージを受信した車両によって認識される分割死角領域a、bを簡略的に示している。図6a、図6bはそれぞれ、車両によって認識される分割死角領域を側方及び上方から見た状態を示している。上述したとおり、メッセージには、車両を示す被写体情報と、分割死角領域a、bを示す死角情報が含まれており、死角情報に含まれる平面領域及び高さから、車両は図6の破線に示す領域が車両によって生じる死角領域であると認識することができる。 FIG. 6 also schematically shows the split blind areas a, b recognized by the vehicle receiving the above message. Figures 6a and 6b respectively show a side view and a top view of the divided blind area recognized by the vehicle. As described above, the message includes subject information indicating the vehicle and blind spot information indicating the divided blind spot areas a and b. It can be recognized that the indicated area is a blind spot area caused by the vehicle.
図7はさらに、図6に示す死角領域に、歩行者を示す被写体情報を表示した状態を示している。図6と同様、図7a、図7bはそれぞれ、車両によって認識される分割死角領域及び被写体を側方及び上方から見た状態を示している。 FIG. 7 further shows a state in which subject information indicating a pedestrian is displayed in the blind spot area shown in FIG. Similar to FIG. 6, FIGS. 7a and 7b respectively show the divided blind spot areas recognized by the vehicle and the subject viewed from the side and above.
センサ部101が車両の後方に位置する歩行者を検出した場合、車両は、車両を示す被写体情報、分割死角領域a、bを示す死角情報に加えて、歩行者を示す被写体情報を受信する。歩行者の位置は、図7bに示すように、センサ部101が検出できないことを示す平面領域bの位置と重複する。そのため、死角情報に高さの情報が含まれていない場合、車両は、センサ部が検出できない死角領域の平面領域bに歩行者が存在する、という矛盾した情報を受信することになる。
When the
これに対し、本実施形態では、分割死角領域bを示す死角情報は、平面領域bに加えて、高さhtの情報を含んでいる。そのため、分割死角領域bを示す死角情報と、高さhtよりも高い位置に存在する歩行者を示す被写体情報とは、互いに矛盾する情報とはならない。つまり、図7aに示す歩行者の上半身は分割死角領域bの範囲外にあるため、センサ部101が歩行者の上半身を検出しても、分割死角領域bが示す死角情報とは矛盾しない。したがって、車両は、分割死角領域b及び歩行者の双方とも正確に認識することができる。
On the other hand, in this embodiment, the blind spot information indicating the divided blind spot region b includes height ht information in addition to the planar region b. Therefore, the blind spot information indicating the divided blind spot region b and the subject information indicating the pedestrian present at a position higher than the height ht do not contradict each other. That is, since the pedestrian's upper body shown in FIG. 7a is outside the divided blind area b, even if the
車両は、車両及び歩行者を示す被写体情報、及び分割死角領域a、bを示す死角情報を利用して、車両の走行計画を算出する。例えば、車両は、分割死角領域a、bの付近を走行する場合には、車両を減速する、死角領域から距離を取るような走行計画を算出することができる。さらに、この例では、車両は分割死角領域bに歩行者がいることを認識することができるため、例えば、車載センサの検知範囲の中から分割死角領域bの方向の歩行者検知性能を強化することで、死角からの歩行者の飛び出しを即座に検出することが可能となる。 The vehicle uses subject information indicating the vehicle and pedestrians and blind spot information indicating the divided blind spot areas a and b to calculate a travel plan for the vehicle. For example, when the vehicle travels near the divided blind areas a and b, it is possible to calculate a travel plan that decelerates the vehicle and takes a distance from the blind area. Furthermore, in this example, the vehicle can recognize that a pedestrian is present in the divided blind spot area b. This makes it possible to immediately detect a pedestrian running out of a blind spot.
なお、死角情報に含まれる高さは分割死角領域の最大高さに限定されるものではない。例えば、分割死角領域の最小高さ及び最大高さを死角情報に含めることによって分割死角領域の高さの範囲を示してもよい。例えば、図5の例では、分割死角領域aの高さとして、最大高さhv及び最小高さhtを送信してもよい。あるいは、分割死角領域の高さの平均値を死角情報に含めてもよい。 The height included in the blind spot information is not limited to the maximum height of the divided blind spot area. For example, the height range of the divided blind area may be indicated by including the minimum height and the maximum height of the divided blind area in the blind area information. For example, in the example of FIG. 5, the maximum height hv and the minimum height ht may be transmitted as the height of the divided blind area a. Alternatively, the blind spot information may include the average value of the heights of the divided blind spot areas.
また、図5乃至図7は、一の閾値高さが予め設定される場合を例示して説明している。しかしながら、複数の閾値高さが予め設定されてもよい。例えば、閾値高さht1、ht2が設定されてもよい。この場合、死角算出部104は、高さがht1以上の分割死角領域、高さがht1以下且つht2以上の分割死角領域、及び高さがht2以下の分割死角領域それぞれの平面領域及び高さを算出する。
5 to 7 exemplify and explain the case where one threshold height is set in advance. However, multiple threshold heights may be preset. For example, threshold heights h t1 , h t2 may be set. In this case, the blind
所定の閾値は、例えば、未就学児の身長の目安として100cmに設定される。あるいは、それよりも低い50cmに設定されてもよい。例えば、車両によって生じる死角に子供が存在している場合、死角から子供が飛び出してくる可能性がある。そのため、子供が被写体である場合の被写体情報や、子供が存在している可能性がある死角情報については、車両の走行計画の算出に確実に利用されることが望ましい。そこで、所定の閾値として、子供の身長を目安とした値を設定することにより、死角領域を示す死角情報と、当該死角領域に存在する子供を検出した被写体情報とが矛盾した情報として車両に認識されるのを防ぐことができる。 The predetermined threshold is set to 100 cm, for example, as a guideline for the height of preschool children. Alternatively, it may be set to 50 cm, which is lower than that. For example, if a child is in the blind spot created by the vehicle, the child may run out of the blind spot. Therefore, it is desirable that subject information when the subject is a child and blind spot information in which a child may be present are reliably used in calculating a vehicle travel plan. Therefore, by setting a value based on the child's height as the predetermined threshold value, the vehicle recognizes the blind spot information indicating the blind spot area and the subject information that detects the child existing in the blind spot area as contradictory information. can prevent it from being done.
4.動作
次に、図8を参照して、本実施形態のインフラセンサ装置10の動作を説明する。
まず、映像取得部102はセンサ部101が検出した情報から映像を取得する(S101)。被写体検出部103がS101で取得した映像の被写体を検出した場合(S102:Yes)、死角算出部104は被写体によって生じる三次元の死角領域を算出し、三次元の死角領域を複数の死角領域に分割した分割死角領域それぞれの平面領域及び高さを算出する(S103)。そして、メッセージ生成部105は、S102で検出された被写体を示す被写体情報と、S103で算出された平面領域及び高さを含む死角情報を含むメッセージを生成する(S104)。そして、生成されたメッセージを、インフラセンサ装置10から所定の範囲内を走行する車両に送信する(S105)。
4. Operation Next, the operation of the
First, the
インフラセンサ装置10が図8の処理を実行するタイミングは任意である。例えば、インフラセンサ装置10は、周期的に図8の処理を実行してもよい。あるいは、インフラセンサ装置10から所定の範囲内を自動運転車両が通過する場合に、自動運転車両からの要求に応じて図8の処理を実行してもよい。
The timing at which the
次に、図9を参照して、図8に示すS103における死角算出部104の動作をさらに詳しく説明する。
まず、死角算出部104は、被写体情報が示す被写体によって生じる三次元の死角領域を算出する(S201)。次いで、S201で算出した死角領域の平面領域を算出する(S202)。そして、死角領域と閾値高さの平面が交差する位置を求める(S203)。死角算出部104はさらに、交差する位置を地面に投影した位置で死角領域の平面領域を分割して、分割死角領域それぞれの平面領域を算出する(S204)。死角算出部104は、全ての死角領域について平面領域及び高さを算出したか否かを判定する(S205)。平面領域及び高さを算出していない死角領域がある場合(S205:No)には、再び、次の死角領域について三次元の死角領域を算出する。そして、全ての被写体によって生じる死角領域について、分割死角領域の平面領域及び高さの算出が完了すると(S205:Yes)、被写体情報に加えて、平面領域及び高さを含む死角情報をメッセージ生成部105に出力する(S206)。
Next, the operation of the
First, the blind
なお、本実施形態では、被写体が車両である例を説明した。道路や道路周辺に存在する物体には様々な種類のものが想定されるが、車両によって生じる死角領域は歩行者や道路標識等によって生じる死角領域と比較して広く、このような死角領域に歩行者等の物体が存在する可能性は高い。そのため、車両によって生じる死角領域の情報は、インフラセンサ装置10の周囲を移動する車両が安全に走行するために有用な情報である。したがって、本実施形態の構成は、車両によって生じる死角領域の算出に適用することが望ましい。そこで、車両によって生じる死角領域のみに分割死角領域の平面領域及び高さの算出処理を行う場合、図9に示す一連の処理を実行する前に、被写体検出部103が検出した被写体の種別に基づいて死角領域の検出及び分割死角領域の平面領域及び高さの算出処理を実行するか否かを判定する処理を実行してもよい。しかしながら、本実施形態は、車両以外の被写体によって生じる死角領域に適用してもよい。
Note that, in the present embodiment, an example in which the subject is a vehicle has been described. Various types of objects are assumed to exist on the road and its surroundings. There is a high possibility that an object such as a person exists. Therefore, the information on the blind spot area caused by the vehicle is useful information for the vehicle moving around the
以上のとおり、本実施形態によれば、死角領域を分割した複数の分割死角領域毎の平面領域及び高さを死角情報として車両に送信する。以上の構成とすることにより、インフラセンサ装置と通信を行う車両が、死角情報、及び死角情報が示す死角領域に存在する物体の情報の双方を受信しても、これらの情報が互いに矛盾すると認識することなく、死角情報及び物体の情報を利用して車両の走行計画を算出することが可能となる。 As described above, according to the present embodiment, the plane area and the height of each of a plurality of divided blind area areas obtained by dividing the blind area are transmitted to the vehicle as the blind area information. With the above configuration, even if the vehicle that communicates with the infrastructure sensor device receives both the blind spot information and the information on the object existing in the blind spot area indicated by the blind spot information, it recognizes that these pieces of information contradict each other. It is possible to calculate a travel plan of the vehicle using the blind spot information and the information of the object without doing so.
(変形例)
なお、上述した実施形態1では、死角算出部104が検出した全ての死角領域の分割死角領域について平面領域及び高さを算出し、死角情報として送信する構成を説明した。しかしながら、死角算出部104は、検出した死角領域を分割した分割死角領域のうち、一部の分割死角領域のみについて平面領域及び高さを算出して死角情報として送信してもよい。
(Modification)
In the first embodiment described above, a configuration has been described in which the planar area and the height are calculated for all the divided blind area areas detected by the blind
例えば、分割死角領域がある程度の高さを有している場合、この死角領域には、歩行者等の物体が存在している可能性がある。そのため、このような死角領域を示す死角情報は、車両が安全に走行するために有用な情報である。これに対し、死角領域の高さが極めて低い場合、このような死角領域に車両の歩行を妨げる歩行者等の物体が存在する可能性は低い。 For example, if the divided blind area has a certain height, there is a possibility that an object such as a pedestrian exists in this blind area. Therefore, the blind spot information indicating such a blind spot area is useful information for safe driving of the vehicle. On the other hand, if the height of the blind spot area is extremely low, there is little possibility that an object such as a pedestrian will be present in such a blind spot area to hinder the walking of the vehicle.
そこで、死角算出部104は、高さが所定の値以下の分割死角領域については平面領域を算出しない。そして、死角算出部104は、分割死角領域の高さが所定の値以上の場合にのみ平面領域を算出し、算出した平面領域及び高さを含む死角情報をメッセージ生成部105に出力する。したがって、送信部106は、高さが所定の値以上の分割死角領域の死角情報のみを車両に送信する。
Therefore, the blind
本変形例によれば、死角領域の高さが低く、車両の走行に影響を与える可能性が低い死角領域については、車両に送信する死角情報から除外することができる。これにより、死角算出部104における処理を低減することに加えて、インフラセンサ装置10と車両との通信量を抑制することが可能となる。
According to this modified example, blind spot areas that are low in height and less likely to affect the running of the vehicle can be excluded from the blind spot information to be transmitted to the vehicle. This makes it possible to reduce the amount of communication between the
(実施形態2)
実施形態1では、予め設定された閾値高さを用いて、三次元の死角領域を分割した分割死角領域の平面領域を算出する構成を説明した。本実施形態では、実施形態1とは異なる手法を用いて、死角算出部104が分割死角領域の高さ及び平面領域を算出する構成を説明する。
(Embodiment 2)
In the first embodiment, a configuration has been described in which plane regions of divided blind spot regions obtained by dividing a three-dimensional blind spot region are calculated using a preset threshold height. In the present embodiment, a configuration will be described in which the
車両の高さは、車種によってばらつきがある。例えば、軽自動車、普通自動車、及びトラックの車高はそれぞれ異なっている。図10a、bは、軽自動車及びトラックがインフラセンサ装置10のセンサ部101の検出範囲内を走行している状態をそれぞれ示している。図10aに示す車高が低い軽自動車と、図10bに示す車高が高いトラックに対して同じ閾値を利用して平面領域を算出した場合、算出された平面領域の大きさは異なる。特にトラックの平面領域aは軽自動車の平面領域aと比較して大きい。
The height of the vehicle varies depending on the vehicle type. For example, light vehicles, ordinary vehicles, and trucks have different vehicle heights. 10a and 10b show states in which a light vehicle and a truck are traveling within the detection range of the
ここで、トラックの分割死角領域aの平面領域a及び高さhvを含む死角情報を車両に送信する場合、車両は、分割死角領域aが平面領域aは高さhvの直方体のような領域であると認識する。しかしながら、実際の分割死角領域aの高さは一定ではない。そのため、平面領域aが広くなるほど、実際の分割死角領域aの高さと、車両によって認識される分割死角領域aの高さとの誤差を有する領域も広くなり、死角情報に含まれる高さの精度は低下する。したがって、図10bに示すトラックの分割死角領域aの高さの精度は、図10aに示す軽自動車の分割死角領域aの高さの精度よりも低くなる。そこで、本実施形態の死角算出部104は、被写体の高さに基づいて閾値の高さを算出し、被写体の高さに応じて適切な閾値を設定する。
Here, when the blind spot information including the planar area a and the height hv of the divided blind spot area a of the truck is transmitted to the vehicle, the vehicle is configured such that the divided blind spot area a is a rectangular parallelepiped with the height hv . Recognize it as an area. However, the actual height of the divided blind area a is not constant. Therefore, the wider the planar region a, the wider the region having the error between the actual height of the divided blind spot region a and the height of the divided blind spot region a recognized by the vehicle. descend. Therefore, the accuracy of the height of the divided blind area a of the truck shown in FIG. 10b is lower than the accuracy of the height of the divided blind area a of the light vehicle shown in FIG. 10a. Therefore, the blind
死角算出部104は、死角領域の発生原因である被写体の高さを算出する。そして、被写体の高さの2分の1の値を所定の閾値高さに設定する。あるいは、トラックのように被写体の高さが高い場合には、被写体の高さの3分の1及び3分の2の値を閾値高さにそれぞれ設定してもよい。そして、死角領域を2又は3に分割した分割死角領域それぞれの平面領域を算出する。この例によれば、被写体の高さに応じて閾値高さを設定することにより、実際の分割死角領域の高さと死角情報が示す高さとの誤差を小さくすることができ、死角情報の精度を高めることができる。
The
さらに他の例として、死角算出部104は死角領域の平面領域の大きさに応じて、死角領域を分割してもよい。図10に示すように、車高が高いトラックの平面領域は、車高が低い軽自動車の平面領域よりも大きい。そこで、死角算出部104は、例えば、死角領域全体の平面領域を2分の1に分割することにより、分割死角領域それぞれの平面領域を算出する。そして、平面領域を2分の1に分割する垂直平面と死角領域とが交差する高さを、分割死角領域の高さとして算出してもよい。この場合、実施形態1及び上述した例とは異なり、分割死角領域の平面領域を求めた後に高さを算出することになる。この例によれば、平面領域の大きさに応じて平面領域を分割し、その後高さを算出することにより、実際の分割死角領域の高さと死角情報が示す高さとの誤差を小さくすることができ、死角情報の精度を高めることができる。
As still another example, the
さらに他の例として、死角算出部104は、予め定められた平面領域及び高さの値を含むテーブルを利用して、平面領域及び高さを算出してもよい。図11は、インフラセンサ装置10からの距離が異なる車両によって生じる死角領域を説明する図である。図11a、bに示す車両は同じ車高を有しているが、インフラセンサ装置10からの距離によって、死角領域の平面領域の大きさが異なっている。図11に示すように、インフラセンサ装置10からの距離が遠いほど死角領域の平面領域は大きくなり、死角情報の精度は低くなる。
As yet another example, the
しかしながら、インフラセンサ装置10から車両までの距離、及び車両の高さが同じであれば、車両によって生じる死角領域の平面領域の大きさはほぼ一定になる。そこで、死角算出部104は、メモリ(図示せず)に、インフラセンサ装置10から車両までの距離及び車両の高さごとに、平面領域及び高さの値を予め保存しておいてもよい。そして、被写体検出部103が検出した被写体である車両の位置及び車両の高さに基づいて、テーブルに保存されている死角領域及び高さの値を抽出し、これらの値を分割死角領域の平面領域及び高さの値に設定してもよい。この例によれば、被写体である車両の位置及び車両の高さに応じて予め平面領域及び高さの値を保存しておくことにより、死角算出部104は、演算によって高さ又は平面領域を算出しなくとも分割死角領域の高さ及び平面領域を求めることができるため、死角算出部の処理量を抑制することが可能となる。
However, if the distance from the
(実施形態3)
実施形態1、2では、インフラセンサ装置10が被写体検出部103及び死角算出部104を備え、インフラセンサ装置10が死角領域の平面領域及び高さを算出する構成を説明した。しかしながら、本発明は、インフラセンサ装置10以外の装置で実現されてもよい。
(Embodiment 3)
In
図12は、本実施形態によるインフラセンサシステム2を説明する図である。本実施形態のインフラセンサシステム2は、サーバ装置20(「情報処理装置」に相当)、インフラセンサ装置21、及び通信装置22から構成される。図12は、サーバ装置20が、インフラセンサ装置21に近いエリアに配置された、いわゆるエッジサーバである例を示している。しかしながら、サーバ装置20は、複数のインフラセンサ装置21から情報を収集して処理するセンササーバであって、有線又は無線の通信ネットワークを介して直接的又は間接的にインフラセンサ装置21に接続されてもよい。
FIG. 12 is a diagram illustrating the
図13を用いて、インフラセンサシステム2を構成するサーバ装置20及びインフラセンサ装置21の構成を説明する。
The configurations of the
サーバ装置20は、受信部201(「映像取得部」に相当)、被写体検出部103、死角算出部104、メッセージ生成部105、及び送信部106を備える。受信部201は、後述するインフラセンサ装置21のセンサ部211が検出した情報を受信する。受信部201が受信した情報が映像情報ではない場合、サーバ装置20はさらに、受信情報を変換して映像を生成する構成を備えてもよい。
The
サーバ装置20の被写体検出部103、死角算出部104、及びメッセージ生成部105は、実施形態1乃至2で説明した各構成と同じ処理を行う。そして、送信部106は、メッセージ生成部105で生成されたメッセージを通信装置22に送信する。実施形態1と同様、送信部106は、メッセージを直接的に通信装置22に送信してもよく、基地局等を介して間接的に通信装置22に送信してもよい。
The
インフラセンサ装置21は、実施形態1、2のインフラセンサ装置10と同様、道路又は道路周辺に存在する物体を検出するセンサ部(「インフラセンサ」に相当)211を備える。ただし、本実施形態のインフラセンサ装置21は、センサ部211が検出した情報を処理することなく、通信部212を介してサーバ装置20に送信する。
Like the
本実施形態では、三次元の死角領域を分割した分割死角領域それぞれ平面領域及び高さの算出をサーバ装置20で行う。この実施形態では、インフラセンサ装置21はセンサ部211が検出した情報をサーバ装置20に送信する必要があるため、サーバ装置20とインフラセンサ装置21との間の通信量が発生する。しかしながら、サーバ装置20は、インフラセンサ装置21よりも演算性能が高いものを用いることが可能と考えられるため、精密に被写体及び死角領域の検出を行い、より精度の高い平面領域及び高さの算出が可能である。
In the present embodiment, the
(総括)
以上、本発明の各実施形態における情報処理装置の特徴について説明した。
(Summary)
The features of the information processing apparatus according to each embodiment of the present invention have been described above.
各実施形態で使用した用語は例示であるので、同義の用語、あるいは同義の機能を含む用語に置き換えてもよい。 Since the terms used in each embodiment are examples, they may be replaced with synonymous terms or terms including synonymous functions.
実施形態の説明に用いたブロック図は、装置の構成を機能毎に分類及び整理したものである。それぞれの機能を示すブロックは、ハードウェア又はソフトウェアの任意の組み合わせで実現される。また、機能を示したものであることから、かかるブロック図は方法の発明、及び当該方法を実現するプログラムの発明の開示としても把握できるものである。 The block diagrams used in the description of the embodiments are obtained by classifying and arranging the configuration of the device for each function. Blocks representing respective functions are realized by any combination of hardware or software. Moreover, since the block diagram shows the function, it can also be understood as disclosure of the invention of the method and the invention of the program for realizing the method.
各実施形態に記載した処理、フロー、及び方法として把握できる機能ブロック、については、一のステップでその前段の他のステップの結果を利用する関係にある等の制約がない限り、順序を入れ替えてもよい。 Regarding the functional blocks that can be understood as the processing, flow, and method described in each embodiment, the order is changed unless there is a restriction such that one step uses the result of another step that precedes it. good too.
各実施形態、及び特許請求の範囲で使用する、第1、第2、乃至、第N(Nは整数)、の用語は、同種の2以上の構成や方法を区別するために使用しており、順序や優劣を限定するものではない。 The terms 1st, 2nd, and Nth (N is an integer) used in each embodiment and claims are used to distinguish between two or more configurations and methods of the same type. , does not limit the order or superiority.
各実施形態では、本発明を実現する情報処理装置としてインフラセンサ装置又はサーバ装置を想定している。しかしながら、本発明を実現する装置はインフラセンサ装置又はサーバ装置に限定されるものではなく、センサ部が検出した情報を処理可能な情報処理装置であれば足りる。情報処理装置には、電子制御装置(ECU)、半導体回路素子、PC(パーソナルコンピュータ)等が含まれる。 In each embodiment, an infrastructure sensor device or a server device is assumed as an information processing device that implements the present invention. However, a device that implements the present invention is not limited to an infrastructure sensor device or a server device, and any information processing device capable of processing information detected by a sensor unit is sufficient. Information processing devices include electronic control units (ECUs), semiconductor circuit elements, PCs (personal computers), and the like.
各実施形態のインフラセンサ装置は道路に沿って設置され、道路及び道路周辺を移動する物体を検出することを前提としているが、本発明は、特許請求の範囲で特に限定する場合を除き、任意の場所に設置され、車両以外の物体を検出するインフラセンサ装置も含むものである。 It is assumed that the infrastructure sensor device of each embodiment is installed along a road and detects objects moving on and around the road. It also includes an infrastructure sensor device that is installed at a location and detects an object other than a vehicle.
各実施形態では、被写体情報及び死角情報を含むメッセージを車載通信装置に送信する構成を説明したが、情報処理装置は任意の通信装置に対して送信してもよい。 In each embodiment, a configuration has been described in which a message including object information and blind spot information is transmitted to an in-vehicle communication device, but the information processing device may transmit to any communication device.
本発明は、各実施形態で説明した構成及び機能を有する専用のハードウェアで実現できるだけでなく、メモリやハードディスク等の記録媒体に記録した本発明を実現するためのプログラム、及びこれを実行可能な専用又は汎用CPU及びメモリ等を有する汎用のハードウェアとの組み合わせとしても実現できる。 The present invention can be realized not only by dedicated hardware having the configuration and functions described in each embodiment, but also by a program for realizing the present invention recorded in a recording medium such as a memory or a hard disk, and a program capable of executing the program. It can also be realized as a combination with general-purpose hardware having a dedicated or general-purpose CPU and memory.
専用や汎用のハードウェアの非遷移的実体的記録媒体(例えば、外部記憶装置(ハードディスク、USBメモリ、CD/BD等)、又は内部記憶装置(RAM、ROM等))に格納されるプログラムは、記録媒体を介して、あるいは記録媒体を介さずにサーバから通信回線を経由して、専用又は汎用のハードウェアに提供することもできる。これにより、プログラムのアップグレードを通じて常に最新の機能を提供することができる。 A program stored in a non-transitional material recording medium of dedicated or general-purpose hardware (for example, an external storage device (hard disk, USB memory, CD/BD, etc.), or an internal storage device (RAM, ROM, etc.)) It can also be provided to dedicated or general-purpose hardware via a recording medium or via a communication line from a server without a recording medium. This allows us to always provide the latest features through program upgrades.
本発明の情報処理装置は、インフラセンサ装置又はサーバ装置としての装置を説明したが、映像を処理する任意の装置に適用することができる。 Although the information processing device of the present invention has been described as an infrastructure sensor device or a server device, it can be applied to any device that processes video.
10,20 情報処理装置、102 映像取得部、103 被写体検出部、104 死角算出部、105 メッセージ生成部、106 送信部、201 受信部
10, 20 information processing device, 102 video acquisition unit, 103 subject detection unit, 104 blind spot calculation unit, 105 message generation unit, 106 transmission unit, 201 reception unit
Claims (5)
前記映像に含まれる被写体を検出する被写体検出部(103)と、
前記被写体の高さに基づいて所定の閾値を算出するとともに、前記被写体によって生じる三次元の死角領域を複数の死角領域に分割した分割死角領域である、前記所定の閾値以上の高さを有する第1の分割死角領域及び前記所定の閾値以下の高さを有する第2の分割死角領域それぞれの平面領域及び高さを算出する死角算出部(104)と、
前記分割死角領域の前記平面領域及び前記高さを含む死角情報を送信する送信部(105,106)と、
を備える、情報処理装置(10,20)。 an image acquisition unit (102) for acquiring an image detected by the infrastructure sensor;
a subject detection unit (103) for detecting a subject included in the image;
A predetermined threshold value is calculated based on the height of the subject, and a divided blind spot area obtained by dividing a three-dimensional blind area caused by the subject into a plurality of blind area areas having a height equal to or higher than the predetermined threshold. a blind spot calculation unit (104) for calculating plane regions and heights of one divided blind spot region and a second divided blind spot region having a height equal to or less than the predetermined threshold;
a transmission unit (105, 106) for transmitting blind spot information including the planar area and the height of the divided blind spot area;
An information processing device (10, 20).
請求項1記載の情報処理装置。 The transmission unit transmits the blind spot information when the height of the divided blind spot area is equal to or greater than a predetermined value.
The information processing apparatus according to claim 1.
前記映像取得部は、前記映像を前記インフラセンサから通信ネットワークを介して取得する、
請求項1記載の情報処理装置。 The information processing device is a server device (20),
the image acquisition unit acquires the image from the infrastructure sensor via a communication network;
The information processing apparatus according to claim 1.
前記映像に含まれる被写体を検出し、
前記被写体の高さに基づいて所定の閾値を算出し、
前記被写体によって生じる三次元の死角領域を複数の死角領域に分割した分割死角領域である、前記所定の閾値以上の高さを有する第1の分割死角領域及び前記所定の閾値以下の高さを有する第2の分割死角領域それぞれの平面領域及び高さを算出し、
前記分割死角領域の前記平面領域及び前記高さを含む死角情報を送信する、
情報処理方法。 Acquire the image detected by the infrastructure sensor,
Detecting a subject included in the video,
calculating a predetermined threshold based on the height of the subject;
A first divided blind area having a height equal to or higher than the predetermined threshold and a divided blind area having a height equal to or lower than the predetermined threshold, which are divided blind areas obtained by dividing the three-dimensional blind area caused by the subject into a plurality of blind areas. Calculate the planar area and height of each of the second divided blind spot areas ,
transmitting blind spot information including the planar area and the height of the divided blind spot area;
Information processing methods.
インフラセンサが検出した映像を取得し、
前記映像に含まれる被写体を検出し、
前記被写体の高さに基づいて所定の閾値を算出し、
前記被写体によって生じる三次元の死角領域を複数の死角領域に分割した分割死角領域である、前記所定の閾値以上の高さを有する第1の分割死角領域及び前記所定の閾値以下の高さを有する第2の分割死角領域それぞれの平面領域及び高さを算出し、
前記分割死角領域の前記平面領域及び前記高さを含む死角情報を送信する、
情報処理プログラム。
An information processing program executed by an information processing device,
Acquire the image detected by the infrastructure sensor,
Detecting a subject included in the video,
calculating a predetermined threshold based on the height of the subject;
A first divided blind area having a height equal to or higher than the predetermined threshold and a divided blind area having a height equal to or lower than the predetermined threshold, which are divided blind areas obtained by dividing the three-dimensional blind area caused by the subject into a plurality of blind areas. Calculate the planar area and height of each of the second divided blind spot areas ,
transmitting blind spot information including the planar area and the height of the divided blind spot area;
Information processing program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020038462A JP7302511B2 (en) | 2020-03-06 | 2020-03-06 | Information processing equipment |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020038462A JP7302511B2 (en) | 2020-03-06 | 2020-03-06 | Information processing equipment |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021140521A JP2021140521A (en) | 2021-09-16 |
JP7302511B2 true JP7302511B2 (en) | 2023-07-04 |
Family
ID=77668627
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020038462A Active JP7302511B2 (en) | 2020-03-06 | 2020-03-06 | Information processing equipment |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7302511B2 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011248870A (en) | 2010-04-27 | 2011-12-08 | Denso Corp | Dead angle area detection device, dead angle area detection program and dead angle area detection method |
JP2018195289A (en) | 2017-05-18 | 2018-12-06 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | Vehicle system, vehicle information processing method, program, traffic system, infrastructure system and infrastructure information processing method |
-
2020
- 2020-03-06 JP JP2020038462A patent/JP7302511B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011248870A (en) | 2010-04-27 | 2011-12-08 | Denso Corp | Dead angle area detection device, dead angle area detection program and dead angle area detection method |
JP2018195289A (en) | 2017-05-18 | 2018-12-06 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | Vehicle system, vehicle information processing method, program, traffic system, infrastructure system and infrastructure information processing method |
Also Published As
Publication number | Publication date |
---|---|
JP2021140521A (en) | 2021-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109215433B (en) | Vision-based driving scenario generator for automated driving simulation | |
US11860640B2 (en) | Signal processing device and signal processing method, program, and mobile body | |
US11915099B2 (en) | Information processing method, information processing apparatus, and recording medium for selecting sensing data serving as learning data | |
EP3282228B1 (en) | Dynamic-map constructing method, dynamic-map constructing system and moving terminal | |
US10997740B2 (en) | Method, apparatus, and system for providing real-world distance information from a monocular image | |
JP6804991B2 (en) | Information processing equipment, information processing methods, and information processing programs | |
KR20170106963A (en) | Object detection using location data and scale space representations of image data | |
US10860868B2 (en) | Lane post-processing in an autonomous driving vehicle | |
JPWO2019181284A1 (en) | Information processing equipment, mobile devices, and methods, and programs | |
CN110895826A (en) | Training data generation method for image processing, image processing method and device thereof | |
JP6556563B2 (en) | Detection apparatus, detection method, detection program, and information processing system | |
US11961304B2 (en) | Systems and methods for deriving an agent trajectory based on multiple image sources | |
US10878701B2 (en) | Detection of attacks on vehicle networks | |
WO2020250725A1 (en) | Information processing device, information processing method, and program | |
US11961241B2 (en) | Systems and methods for deriving an agent trajectory based on tracking points within images | |
JP6736931B2 (en) | Three-dimensional object detection method and three-dimensional object detection device | |
US11754719B2 (en) | Object detection based on three-dimensional distance measurement sensor point cloud data | |
Anaya et al. | Motorcycle detection for ADAS through camera and V2V Communication, a comparative analysis of two modern technologies | |
JP6903598B2 (en) | Information processing equipment, information processing methods, information processing programs, and mobiles | |
KR20180086794A (en) | Method and apparatus for generating an image representing an object around a vehicle | |
JP7302511B2 (en) | Information processing equipment | |
JP7449206B2 (en) | Communication control device, vehicle, program, and communication control method | |
JP2019095875A (en) | Vehicle control device, vehicle control method, and program | |
JP6773854B2 (en) | Detection device, detection method, and detection program | |
JP2022161066A (en) | Display control system, display control method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220519 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230309 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230328 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230417 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230523 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230605 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7302511 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |