JP6922447B2

JP6922447B2 - Information processing system, server and communication method

Info

Publication number: JP6922447B2
Application number: JP2017111458A
Authority: JP
Inventors: 康宏伊藤
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2017-06-06
Filing date: 2017-06-06
Publication date: 2021-08-18
Anticipated expiration: 2037-06-06
Also published as: JP2018206108A

Description

本発明は、情報処理システム、サーバ、および通信方法に関する。 The present invention relates to information processing systems, servers, and communication methods.

ディープラーニングを契機として近年の人工知能（ＡＩ）を応用した技術が様々な分野で研究、開発されている。人工知能の最も重要な応用分野の一つとして、自動運転技術がある。人工知能によって自動運転を実現するためには、教師データとなる膨大な画像を収集することが必要である。 Taking the opportunity of deep learning, technologies applying artificial intelligence (AI) in recent years have been researched and developed in various fields. One of the most important fields of application of artificial intelligence is autonomous driving technology. In order to realize autonomous driving by artificial intelligence, it is necessary to collect a huge amount of images that will be teacher data.

特許文献１は、自動運転に関する技術ではないが、センターサーバが他の車両で撮影した画像を加工して、走りやすさの情報を車両に提供する発明を開示している。 Patent Document 1 discloses an invention that provides information on ease of driving to a vehicle by processing an image taken by another vehicle by a center server, although it is not a technique related to automatic driving.

特開２０１３−１４５５４０号公報Japanese Unexamined Patent Publication No. 2013-145540

特許文献１に記載された発明では、センターサーバは、車両に撮影画像をアップロードさせている。しかし、画像のデータ量は大きいため、車両から撮像画像をアップロードさせる構成を教師データの収集に用いると、通信容量の増大を招く。そこで、本発明は、上記背景に鑑み、有用な画像を効率良く収集することができる情報処理システム、サーバ、および通信方法を提供することを目的とする。 In the invention described in Patent Document 1, the center server causes the vehicle to upload a photographed image. However, since the amount of image data is large, if a configuration in which a captured image is uploaded from a vehicle is used for collecting teacher data, the communication capacity will increase. Therefore, in view of the above background, an object of the present invention is to provide an information processing system, a server, and a communication method capable of efficiently collecting useful images.

本発明は上記課題を解決するために以下の技術的手段を採用する。特許請求の範囲及びこの項に記載した括弧内の符号は、ひとつの態様として後述する実施の形態に記載の具体的手段との対応関係を示す一例であって、本発明の技術的範囲を限定するものではない。 The present invention employs the following technical means to solve the above problems. The scope of claims and the reference numerals in parentheses described in this section are examples showing the correspondence with the specific means described in the embodiments described later as one embodiment, and limit the technical scope of the present invention. It's not something to do.

本発明の情報処理システム（１）は、カメラ（１１）を備えた車両（１０）と、前記カメラ（１１）にて撮影された画像を前記車両（１０）から収集するサーバ（２０）とを備え、前記車両（１０）は、撮影された画像を保存する画像記憶部と、前記画像の認識処理を行って認識結果データを得る認識処理部（１３）と、前記サーバ（２０）との間で通信を行う通信部（１６）とを備え、前記サーバ（２０）は、前記車両（１０）との間で通信を行う通信部（２１）と、前記画像および前記認識結果データを保存する画像データベース（２６）と、前記車両（１０）から前記認識結果データを受信したときに、前記画像データベース（２６）に保存されたデータに基づいて前記認識結果データの妥当性を判断する妥当性判断部（２２）と、前記認識結果データが妥当でないと判断されたときに前記認識結果データを得た元の画像の送信を前記車両（１０）に要求する画像送信要求部（２７）とを備える。 The information processing system (1) of the present invention includes a vehicle (10) provided with a camera (11) and a server (20) that collects images taken by the camera (11) from the vehicle (10). The vehicle (10) is provided between an image storage unit that stores a captured image, a recognition processing unit (13) that performs recognition processing of the image to obtain recognition result data, and the server (20). The server (20) includes a communication unit (16) that communicates with the vehicle (10), and an image that stores the image and the recognition result data with the communication unit (21) that communicates with the vehicle (10). A validity determination unit that determines the validity of the recognition result data based on the data stored in the image database (26) when the recognition result data is received from the database (26) and the vehicle (10). (22) and an image transmission requesting unit (27) that requests the vehicle (10) to transmit the original image obtained from the recognition result data when it is determined that the recognition result data is not appropriate.

このようにサーバ（２０）は車両（１０）から送信された画像の認識結果データの妥当性を判断し、認識結果データが妥当でない場合に元の画像の送信要求を行い、認識結果が妥当である場合には、元の画像の送信要求をしない。妥当な認識結果を得られた元の画像については、その認識結果データを元に、サーバ（２０）が適切に状況把握を行うことができると考えられるので、そのような画像の送信を要求しないことで通信量を抑制できる。その一方で、認識結果が妥当でないと判断された場合には、そのような元の画像の送信を要求し、教師データとして用いることにより画像の認識率を高めることができる。 In this way, the server (20) determines the validity of the recognition result data of the image transmitted from the vehicle (10), and when the recognition result data is not valid, requests the transmission of the original image, and the recognition result is valid. In some cases, do not request transmission of the original image. Regarding the original image for which a reasonable recognition result has been obtained, it is considered that the server (20) can appropriately grasp the situation based on the recognition result data, so that the transmission of such an image is not requested. This can reduce the amount of communication. On the other hand, when it is determined that the recognition result is not valid, the image recognition rate can be increased by requesting the transmission of such an original image and using it as teacher data.

本発明の情報処理システム（１）において、前記車両（１０）は、周辺状況を取得するセンサ（１２）を備え、前記認識処理部（１３）は、前記センサ（１２）で取得したデータを用いて認識処理を行ってもよい。このように周辺状況を取得するセンサ（１２）で取得したデータを用いることにより、精度の高い認識結果データを得ることができる。 In the information processing system (1) of the present invention, the vehicle (10) includes a sensor (12) for acquiring the surrounding situation, and the recognition processing unit (13) uses the data acquired by the sensor (12). The recognition process may be performed. By using the data acquired by the sensor (12) that acquires the surrounding situation in this way, highly accurate recognition result data can be obtained.

本発明の情報処理システム（１）において、前記車両（１０）は、前記認識結果データと共に、前記画像を撮影した位置のデータを含むメタデータを前記サーバ（２０）に送信し、前記サーバ（２０）は、前記画像データベース（２６）に、前記画像、前記認識結果データに加えて前記メタデータを保存してもよい。このようにメタデータを用いることにより、妥当性の判断の精度を高めることができる。 In the information processing system (1) of the present invention, the vehicle (10) transmits the metadata including the data of the position where the image was taken together with the recognition result data to the server (20), and the server (20). ) May store the metadata in addition to the image and the recognition result data in the image database (26). By using the metadata in this way, the accuracy of the validity judgment can be improved.

本発明の情報処理システム（１）において、前記妥当性判断部（２２）は、前記画像データベース（２６）に保存されたデータと前記車両（１０）から受信した前記認識結果データとに基づいて画像を復元する画像復元部（２３）と、前記画像復元部（２３）にて復元された画像の認識処理を行って第２の認識結果データを得る第２の認識処理部（２４）と、前記認識結果データと前記第２の認識結果データとを比較して、その差分が所定の条件を満たすときに前記認識結果データが妥当であると判定する比較部（２５）とを備えてもよい。また、メタデータを用いる場合にあっては、本発明の情報処理システム（１）において、前記妥当性判断部（２２）は、前記画像データベース（２６）に保存されたデータと前記車両（１０）から受信した前記認識結果データ及び前記メタデータとに基づいて画像を復元する画像復元部（２３）と、前記画像復元部（２３）にて復元された画像の認識処理を行って第２の認識結果データを得る第２の認識処理部（２４）と、前記認識結果データと前記第２の認識結果データとを比較して、その差分が所定の条件を満たすときに前記認識結果データが妥当であると判定する比較部（２５）とを備えてもよい。 In the information processing system (1) of the present invention, the validity determination unit (22) uses an image based on the data stored in the image database (26) and the recognition result data received from the vehicle (10). The image restoration unit (23) for restoring the image, the second recognition processing unit (24) for obtaining the second recognition result data by performing the recognition processing of the image restored by the image restoration unit (23), and the above. A comparison unit (25) that compares the recognition result data with the second recognition result data and determines that the recognition result data is appropriate when the difference satisfies a predetermined condition may be provided. Further, when metadata is used, in the information processing system (1) of the present invention, the validity determination unit (22) uses the data stored in the image database (26) and the vehicle (10). An image restoration unit (23) that restores an image based on the recognition result data and the metadata received from the above, and a second recognition process that recognizes the image restored by the image restoration unit (23). The recognition result data is appropriate when the second recognition processing unit (24) for obtaining the result data compares the recognition result data with the second recognition result data and the difference satisfies a predetermined condition. It may be provided with a comparison unit (25) that determines that there is.

このように認識結果データから復元した画像の第２の認識結果データと車両（１０）から受信した認識結果データとを比較することにより、認識結果から復元した画像がどれだけ元の画像に近いかを判断できる。すなわち、元の画像に近ければ近いほど、車両（１０）から受信した認識結果データと第２の認識結果データとが近くなる。したがって、この比較結果に基づいて、車両（１０）から受信した認識結果データの妥当性を判断することができる。 By comparing the second recognition result data of the image restored from the recognition result data with the recognition result data received from the vehicle (10) in this way, how close the image restored from the recognition result is to the original image. Can be judged. That is, the closer to the original image, the closer the recognition result data received from the vehicle (10) to the second recognition result data. Therefore, based on this comparison result, the validity of the recognition result data received from the vehicle (10) can be determined.

本発明の情報処理システム（１）において、前記比較部（２５）は、前記認識結果データと前記第２の認識結果データとの間で、認識された物標数が同じであるときに、前記所定の条件を満たすと判定してもよい。この構成により、認識結果データの妥当性を適切に判断できる。 In the information processing system (1) of the present invention, the comparison unit (25) is described when the number of recognized objects is the same between the recognition result data and the second recognition result data. It may be determined that a predetermined condition is satisfied. With this configuration, the validity of the recognition result data can be appropriately judged.

本発明の情報処理システム（１）は、前記画像データベース（２６）に保存されたデータを教師データとして用いて、前記認識処理部（１３）及び前記第２の認識処理部（２４）で用いるモデルの学習を行う学習部（２８）を備えてもよい。この構成により、受信した画像を用いて認識処理の精度を高めることができる。 The information processing system (1) of the present invention is a model used in the recognition processing unit (13) and the second recognition processing unit (24) by using the data stored in the image database (26) as teacher data. A learning unit (28) for learning the above may be provided. With this configuration, the accuracy of the recognition process can be improved by using the received image.

本発明のサーバ（２０）は、車両（１０）にて撮影された画像を収集するサーバ（２０）であって、前記車両（１０）との間で通信を行う通信部（２１）と、前記車両（１０）から受信した画像および認識結果データを保存する画像データベース（２６）と、前記車両（１０）から前記認識結果データを受信したときに、前記画像データベース（２６）に保存されたデータに基づいて前記認識結果データの妥当性を判断する妥当性判断部（２２）と、前記認識結果データが妥当でないと判断されたときに前記認識結果データを得た元の画像の送信を前記車両（１０）に要求する画像送信要求部（２７）とを備える。 The server (20) of the present invention is a server (20) that collects images taken by a vehicle (10), and has a communication unit (21) that communicates with the vehicle (10) and the above. The image database (26) that stores the image received from the vehicle (10) and the recognition result data, and the data saved in the image database (26) when the recognition result data is received from the vehicle (10) The vehicle (22) transmits the validity determination unit (22) that determines the validity of the recognition result data based on the recognition result data, and the original image obtained from the recognition result data when the recognition result data is determined to be invalid. It is provided with an image transmission requesting unit (27) requested in 10).

本発明の通信方法は、カメラ（１１）を備えた車両（１０）からサーバ（２０）に前記画像を送信する通信方法であって、前記車両（１０）にて撮影した画像を保存するステップと、前記車両（１０）において、前記画像の認識処理を行って認識結果データを得るステップと、前記車両（１０）から前記サーバ（２０）に前記認識結果データを送信するステップと、前記サーバ（２０）において、画像データベース（２６）に保存された前記画像および前記認識結果データに基づいて、前記車両（１０）から送信された認識結果データの妥当性を判断するステップと、前記認識結果データが妥当でないと判断されたときに前記認識結果データを得た元の画像の送信を前記車両（１０）に要求するステップとを備える。 The communication method of the present invention is a communication method for transmitting the image from the vehicle (10) equipped with the camera (11) to the server (20), and the step of saving the image taken by the vehicle (10). , The step of obtaining the recognition result data by performing the image recognition process in the vehicle (10), the step of transmitting the recognition result data from the vehicle (10) to the server (20), and the server (20). ), The step of determining the validity of the recognition result data transmitted from the vehicle (10) based on the image and the recognition result data stored in the image database (26), and the recognition result data are valid. The vehicle (10) is provided with a step of requesting the vehicle (10) to transmit the original image obtained from the recognition result data when it is determined that the data is not the same.

本発明によれば、画像データの通信量を抑制しつつ、妥当な画像データを収集することができる。 According to the present invention, it is possible to collect appropriate image data while suppressing the amount of communication of image data.

実施の形態の情報処理システムの構成を示す図である。It is a figure which shows the structure of the information processing system of embodiment. （ａ）元画像の例を示す図である。（ｂ）認識結果データの例を示す図である。(A) It is a figure which shows the example of the original image. (B) It is a figure which shows the example of the recognition result data. （ａ）画像ＤＢに記憶されたデータの例を示す図である。（ｂ）画像ＤＢに記憶された画像テンプレートの例を示す図である。(A) It is a figure which shows the example of the data stored in the image DB. (B) It is a figure which shows the example of the image template stored in the image DB. 妥当性判断部の処理を説明するための図である。It is a figure for demonstrating the processing of a validity determination part. 情報処理システムの動作を示すフローチャートである。It is a flowchart which shows the operation of an information processing system.

以下、本発明の実施の形態の情報処理システムの構成について図面を参照して説明する。
図１は、本実施の形態の情報処理システム１の構成を示す図である。情報処理システム１は、車両１０とサーバ２０とを備えている。図１では、車両１０を１台しか記載していないが、実際には、サーバ２０は多数の車両１０と通信可能に接続されている。 Hereinafter, the configuration of the information processing system according to the embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a diagram showing a configuration of an information processing system 1 according to the present embodiment. The information processing system 1 includes a vehicle 10 and a server 20. Although only one vehicle 10 is shown in FIG. 1, the server 20 is actually connected to a large number of vehicles 10 in a communicable manner.

車両１０は、カメラ１１とセンサ１２と認識処理部１３とを備えている。カメラ１１は、フロントカメラのみならず、サイドカメラやリアカメラを備えてもよい。センサ１２は、車両１０の周囲の状況を検出するための装置であり、例えば、対象物までの距離を測定するレーダーである。カメラ１１にて撮影された画像は、画像記憶部１４に記憶される。なお、画像記憶部１４の記憶容量は、例えば、車両１０を２４時間走行させて撮影を行ったときに得られる画像を記憶することができる程度の大きさである。画像記憶部１４の記憶容量が足りなくなった場合には、古い画像から順に画像データを削除する。 The vehicle 10 includes a camera 11, a sensor 12, and a recognition processing unit 13. The camera 11 may include not only a front camera but also a side camera and a rear camera. The sensor 12 is a device for detecting the surrounding conditions of the vehicle 10, and is, for example, a radar that measures the distance to an object. The image taken by the camera 11 is stored in the image storage unit 14. The storage capacity of the image storage unit 14 is large enough to store an image obtained when, for example, the vehicle 10 is driven for 24 hours and a picture is taken. When the storage capacity of the image storage unit 14 becomes insufficient, the image data is deleted in order from the oldest image.

認識処理部１３は、カメラ１１にて撮影した画像の認識処理を行い、画像に写っている物標の位置やその属性等の認識結果データを取得する。図２（ａ）及び図２（ｂ）は、認識処理部１３の処理について説明する図である。図２（ａ）は、認識処理の対象となる画像を示す。画像には、信号のない交差点が映っており、交差点の左側を渡っている歩行者、交差点の向こう側から向かってくる車、交差点を右から左へ渡ろうとしている自転車が映っている。 The recognition processing unit 13 performs recognition processing of the image taken by the camera 11 and acquires recognition result data such as the position of the target in the image and its attributes. 2A and 2B are diagrams for explaining the processing of the recognition processing unit 13. FIG. 2A shows an image to be recognized. The image shows an intersection without traffic lights, a pedestrian crossing the left side of the intersection, a car coming from the other side of the intersection, and a bicycle trying to cross the intersection from right to left.

図２（ｂ）は、図２（ａ）に示す画像の認識処理結果を示している。図２（ｂ）に示すように、交差点に移っていた物標の位置とその種別が認識結果データとして求まる。この例では、物標の位置のデータは、図２（ｂ）に示すように物標の位置を矩形で特定し、その頂点の座標によって位置を特定する。認識処理部１３は、学習済みモデルを用いて、入力された画像をニューラルネットワークで処理することにより、上記のような認識処理を行うことができる。 FIG. 2B shows the result of image recognition processing shown in FIG. 2A. As shown in FIG. 2B, the position of the target that has moved to the intersection and its type can be obtained as recognition result data. In this example, the data of the position of the target specifies the position of the target with a rectangle as shown in FIG. 2B, and the position is specified by the coordinates of the vertices. The recognition processing unit 13 can perform the above recognition processing by processing the input image with the neural network using the trained model.

また、本実施の形態の認識処理部１３は、センサ１２にて取得したデータも用いて認識処理を行う。これにより、例えば、レーダーで対象物までの距離を測定し、対象物までの距離のデータを認識結果データに含めることができる。 Further, the recognition processing unit 13 of the present embodiment also performs recognition processing using the data acquired by the sensor 12. Thereby, for example, the distance to the object can be measured by the radar, and the data of the distance to the object can be included in the recognition result data.

認識処理部１３は、得られた認識結果データを運転制御部１７に渡し、運転制御部１７は認識結果データを利用して車両１０の運転を制御する。本実施の形態では、認識結果データを運転制御部１７にて利用する例を挙げているが、認識結果データを運転支援部に渡し、運転支援部が歩行者や他車両１０の接近等をドライバに対して警報で知らせる構成とすることもできる。 The recognition processing unit 13 passes the obtained recognition result data to the operation control unit 17, and the operation control unit 17 controls the operation of the vehicle 10 by using the recognition result data. In the present embodiment, an example in which the recognition result data is used by the driving control unit 17 is given, but the recognition result data is passed to the driving support unit, and the driving support unit drives the approach of a pedestrian or another vehicle 10 to the driver. It is also possible to notify the user with an alarm.

また、車両１０は、メタデータ取得部１５を備えている。メタデータは、例えば、日付、日時、車両１０の現在位置、天候等のデータである。メタデータ取得部１５は、画像の撮影と同じタイミングでメタデータを取得し、撮影した画像、画像から得られた認識結果データと関連付ける。 Further, the vehicle 10 includes a metadata acquisition unit 15. The metadata is, for example, data such as a date, a date and time, a current position of the vehicle 10, and the weather. The metadata acquisition unit 15 acquires metadata at the same timing as the image is captured, and associates the captured image with the recognition result data obtained from the image.

通信部１６は、サーバ２０と通信を行う機能を有している。車両１０は、通信部１６を通じて、サーバ２０に認識結果データ、メタデータ、画像データを送信する。また、車両１０は通信部１６を通じて、サーバ２０から画像の送信要求を受信する機能を有する。車両１０は、はじめに認識結果データ、メタデータをサーバ２０に送信し、サーバ２０から画像の送信要求を受信すると、認識結果データに対応する元の画像をサーバ２０に送信する。 The communication unit 16 has a function of communicating with the server 20. The vehicle 10 transmits recognition result data, metadata, and image data to the server 20 through the communication unit 16. Further, the vehicle 10 has a function of receiving an image transmission request from the server 20 through the communication unit 16. The vehicle 10 first transmits the recognition result data and the metadata to the server 20, and when receiving the image transmission request from the server 20, the vehicle 10 transmits the original image corresponding to the recognition result data to the server 20.

次に、サーバ２０の構成について説明する。サーバ２０は、通信部１６と、妥当性判断部２２と、画像データベース（以下、「画像ＤＢ」という）２６と、画像送信要求部２７とを有している。通信部１６は、車両１０と通信を行う機能を有している。サーバ２０は、通信部１６を通じて、車両１０から送信された認識結果データ、メタデータ、画像データを受信する。また、サーバ２０は、通信部１６を通じて車両１０に画像の送信要求を送信する機能を有する。画像ＤＢ２６には、車両１０から受信した画像データを記憶している。 Next, the configuration of the server 20 will be described. The server 20 has a communication unit 16, a validity determination unit 22, an image database (hereinafter referred to as “image DB”) 26, and an image transmission request unit 27. The communication unit 16 has a function of communicating with the vehicle 10. The server 20 receives the recognition result data, the metadata, and the image data transmitted from the vehicle 10 through the communication unit 16. Further, the server 20 has a function of transmitting an image transmission request to the vehicle 10 through the communication unit 16. The image DB 26 stores image data received from the vehicle 10.

図３（ａ）及び図３（ｂ）は、画像ＤＢ２６に記憶されている画像データの例を示す図である。なお、図３（ａ）及び図３（ｂ）では、データの項目名のみ示し、具体的なデータの記載は省略している。図３（ａ）に示すように、画像ＤＢ２６には、画像データがメタデータと認識結果データに関連付けて記憶されている。認識結果データは、画像データを認識処理した認識結果データであり、メタデータは画像データに関する付加データである。また、図３（ｂ）に示すように、画像ＤＢ２６には、認識結果データに対応する画像テンプレートが記憶されている。例えば、認識結果データ「歩行者」に対応する「歩行者の画像テンプレート」、認識結果データ「車」に対応する「車の画像テンプレート」等である。 3A and 3B are diagrams showing an example of image data stored in the image DB 26. In addition, in FIG. 3A and FIG. 3B, only the item name of the data is shown, and the description of the specific data is omitted. As shown in FIG. 3A, image data is stored in the image DB 26 in association with metadata and recognition result data. The recognition result data is the recognition result data obtained by recognizing the image data, and the metadata is additional data related to the image data. Further, as shown in FIG. 3B, the image DB 26 stores an image template corresponding to the recognition result data. For example, a "pedestrian image template" corresponding to the recognition result data "pedestrian", a "car image template" corresponding to the recognition result data "car", and the like.

妥当性判断部２２は、車両１０から送信された認識結果データが妥当なものであるか否かの妥当性を判断する機能を有している。妥当性判断部２２は、復元部２３と、第２の認識処理部２４と、比較部２５とを有している。 The validity determination unit 22 has a function of determining the validity of whether or not the recognition result data transmitted from the vehicle 10 is valid. The validity determination unit 22 has a restoration unit 23, a second recognition processing unit 24, and a comparison unit 25.

図４は、妥当性判断部２２が行う処理について説明するための図である。妥当性判断部２２は、車両１０から送信された認識結果データを受信すると、復元部２３によって、認識結果データから元の画像を復元する。本明細書では、復元部２３にて復元された画像を「復元画像」という。復元画像が元の画像に近い画像となる場合に、認識結果データが妥当なものであると判断される。 FIG. 4 is a diagram for explaining the processing performed by the validity determination unit 22. When the validity determination unit 22 receives the recognition result data transmitted from the vehicle 10, the restoration unit 23 restores the original image from the recognition result data. In the present specification, the image restored by the restoration unit 23 is referred to as a “restored image”. When the restored image is an image close to the original image, it is judged that the recognition result data is appropriate.

未だ元の画像を受信していない状態で、復元画像と元の画像とが近いかどうか判断するために、妥当性判断部２２は、第２の認識処理部２４によって復元画像に認識処理を行い、第２の認識結果データを得る。そして、比較部２５が、車両１０から受信した認識結果データと第２の認識結果データとを比較する。比較部２５は、比較結果が所定の条件を満たす場合に、認識結果データと第２の認識結果データとが類似する、すなわち、車両１０から受信した認識結果データが妥当であると判断する。 In order to determine whether the restored image and the original image are close to each other in a state where the original image has not been received yet, the validity determination unit 22 performs recognition processing on the restored image by the second recognition processing unit 24. , Obtain the second recognition result data. Then, the comparison unit 25 compares the recognition result data received from the vehicle 10 with the second recognition result data. When the comparison result satisfies a predetermined condition, the comparison unit 25 determines that the recognition result data and the second recognition result data are similar, that is, the recognition result data received from the vehicle 10 is appropriate.

妥当性判断部２２の構成をさらに詳細に説明する。復元部２３は、認識結果データにて指定された位置に、指定された属性を有する画像テンプレートを当てはめて元の画像の復元を行う。例えば、図２（ｂ）に示す認識結果データの例を取り上げて説明すると、画像の左側に歩行者の物標があるので、この物標の位置に画像ＤＢ２６から読み出した画像テンプレート（図３（ｂ）参照）を重畳する。同様に、車や自転車の物標にもそれぞれ対応する画像テンプレートを重畳して、元の画像を復元する。なお、画像の背景は、画像の撮影位置のメタデータに基づいて、同じ位置で撮影された画像を用いることができる。 The configuration of the validity determination unit 22 will be described in more detail. The restoration unit 23 restores the original image by applying an image template having the specified attribute to the position specified in the recognition result data. For example, to explain by taking an example of the recognition result data shown in FIG. 2B, since there is a pedestrian target on the left side of the image, an image template read from the image DB 26 at the position of this target (FIG. 3 (FIG. 3). b) Superimpose). Similarly, the original image is restored by superimposing the corresponding image template on the target of the car or bicycle. As the background of the image, an image taken at the same position can be used based on the metadata of the shooting position of the image.

第２の認識処理部２４は、車両１０が備えている認識処理部１３と同じ構成を有する。同じ構成を有する認識処理部１３、第２の認識処理部２４によって認識処理を行うので、それらの認識結果データを比較することで、復元画像の精度をチェックできる。 The second recognition processing unit 24 has the same configuration as the recognition processing unit 13 included in the vehicle 10. Since the recognition processing unit 13 and the second recognition processing unit 24 having the same configuration perform the recognition processing, the accuracy of the restored image can be checked by comparing the recognition result data.

比較部２５が比較に用いる条件は、例えば、認識結果データの物標の数と属性が同じであるか否かという条件である。この条件を満たす場合には、認識結果データと第２の認識結果データが類似すると判定する。なお、物標の数と属性が若干異なる場合でも、認識結果データと第２の認識結果データが類似するとの判定を許容してもよい。例えば、認識結果データでは１つの物標であったものが、２つの物標に分かれたと判定される場合には、物標の数が増えたとしても、類似すると判定してもよい。 The condition used by the comparison unit 25 for comparison is, for example, whether or not the number of targets and the attributes of the recognition result data are the same. When this condition is satisfied, it is determined that the recognition result data and the second recognition result data are similar. Even if the number of targets and the attributes are slightly different, it may be allowed to determine that the recognition result data and the second recognition result data are similar. For example, when it is determined that what was one target in the recognition result data is divided into two targets, it may be determined that they are similar even if the number of targets increases.

学習部２８は、画像ＤＢ２６に記憶されているデータと教師データとして、認識処理部１３で用いる学習モデルの学習を行う。学習部２８にて学習した学習済みモデルは、第２の認識処理部２４に入力すると共に、各車両１０に配信して、各車両１０の認識部に入力する。これにより、車両１０が有する認識処理部１３と、サーバ２０の第２の認識処理部２４は、同じ認識処理を行うことができる。したがって、同じ画像を入力した場合には、認識処理部１３と第２の認識処理部２４は、同じ認識結果データを出力することになる。 The learning unit 28 learns the learning model used by the recognition processing unit 13 as the data and the teacher data stored in the image DB 26. The learned model learned by the learning unit 28 is input to the second recognition processing unit 24, distributed to each vehicle 10, and input to the recognition unit of each vehicle 10. As a result, the recognition processing unit 13 of the vehicle 10 and the second recognition processing unit 24 of the server 20 can perform the same recognition processing. Therefore, when the same image is input, the recognition processing unit 13 and the second recognition processing unit 24 output the same recognition result data.

図５は、本実施の形態の通信方法のフローチャートを示す図である。車両１０は、カメラ１１にて画像を撮影すると共に、センサ１２にて例えば画像に写っている物体までの距離をセンシングし（Ｓ１０）、撮影した画像を画像記憶部１４に保存する（Ｓ１１）。次に、車両１０は、認識処理部１３にて、撮影画像の認識処理を行って、認識結果データを取得する（Ｓ１２）。図５では示していないが、この処理にて求めた認識結果データを運転制御部１７に渡し、運転制御部１７は認識結果データに基づいて運転制御を行う。 FIG. 5 is a diagram showing a flowchart of the communication method of the present embodiment. The vehicle 10 captures an image with the camera 11 and senses the distance to, for example, an object in the image with the sensor 12 (S10), and saves the captured image in the image storage unit 14 (S11). Next, the vehicle 10 performs recognition processing of the captured image by the recognition processing unit 13 to acquire the recognition result data (S12). Although not shown in FIG. 5, the recognition result data obtained in this process is passed to the operation control unit 17, and the operation control unit 17 performs operation control based on the recognition result data.

車両１０は、画像の認識処理によって得られた認識結果データをサーバ２０に送信する（Ｓ１３）。サーバ２０は、車両１０から送信された認識結果データを受信すると（Ｓ１４）、妥当性判断部２２にて、車両１０から受信した認識結果データが妥当であるか否かを判断する（Ｓ１５）。妥当性判断の詳しい方法は、図４にて説明したとおりである。 The vehicle 10 transmits the recognition result data obtained by the image recognition process to the server 20 (S13). When the server 20 receives the recognition result data transmitted from the vehicle 10 (S14), the validity determination unit 22 determines whether or not the recognition result data received from the vehicle 10 is valid (S15). The detailed method of determining the validity is as described in FIG.

認識結果データが妥当であると判断された場合には（Ｓ１５でＹＥＳ）、サーバ２０はそのまま処理を終了する。認識結果データが妥当ではないと判断された場合には（Ｓ１５でＮＯ）、サーバ２０は、その認識結果データにかかる元画像の送信要求を車両１０に送信する（Ｓ１６）。 If it is determined that the recognition result data is valid (YES in S15), the server 20 ends the process as it is. If it is determined that the recognition result data is not valid (NO in S15), the server 20 transmits a transmission request for the original image related to the recognition result data to the vehicle 10 (S16).

１６）。車両１０は、元画像の送信要求を受信すると（Ｓ１７）、画像記憶部１４から元画像を読み出して、読み出した元画像をサーバ２０に送信する（Ｓ１８）。サーバ２０は、車両１０から送信された元画像を受信して、画像ＤＢ２６に記憶する（Ｓ１９）。この際に、サーバ２０は、元画像のデータに関連付けて、認識結果データおよびメタデータを記憶する。以上、本実施の形態の情報処理システム１および通信方法について説明した。 16). When the vehicle 10 receives the request for transmitting the original image (S17), the vehicle 10 reads the original image from the image storage unit 14 and transmits the read original image to the server 20 (S18). The server 20 receives the original image transmitted from the vehicle 10 and stores it in the image DB 26 (S19). At this time, the server 20 stores the recognition result data and the metadata in association with the data of the original image. The information processing system 1 and the communication method of the present embodiment have been described above.

本実施の形態の情報処理システム１は、車両１０から初めから画像のデータを送るのではなく、画像を認識処理して得られた認識結果データをサーバ２０に送信し、サーバ２０で認識結果データの妥当性を判断する。そして、認識結果データが妥当である場合には、画像データを送信しないので、画像データの送信量を抑制することができる。また、認識結果データが妥当ではない場合には、サーバ２０は認識結果データの元画像の送信を要求するので、送信された元画像のデータを用いて、認識処理部１３の学習済みモデルを更新することにより、妥当ではない結果が得られた画像についても、次回以降は妥当な認識処理結果が得られる。以上のように、妥当性を判断した上で元の画像データを送信させるかどうかを判断することにより、画像データの通信量を抑制しつつ、認識処理を適切に行うためのモデルを学習させる画像データを収集できる。 The information processing system 1 of the present embodiment does not send the image data from the vehicle 10 from the beginning, but transmits the recognition result data obtained by recognizing the image to the server 20, and the recognition result data is transmitted by the server 20. To judge the validity of. Then, when the recognition result data is appropriate, the image data is not transmitted, so that the transmission amount of the image data can be suppressed. Further, when the recognition result data is not appropriate, the server 20 requests the transmission of the original image of the recognition result data. Therefore, the trained model of the recognition processing unit 13 is updated by using the transmitted original image data. By doing so, even for an image for which an invalid result has been obtained, a valid recognition processing result can be obtained from the next time onward. As described above, by judging whether or not to transmit the original image data after judging the validity, the image that trains the model for appropriately performing the recognition process while suppressing the communication amount of the image data. Data can be collected.

以上、本発明の実施の形態の情報処理システム１について説明したが、本発明は上記した情報処理システム１に限定されるものではない。上記した実施形態では、認識処理部１３は、図２（ｂ）に示すように物標を表す矩形の位置を認識結果データとする処理を行ったが、物標の輪郭を表す形状および位置を認識結果データとして求める処理を行ってもよい。 Although the information processing system 1 of the embodiment of the present invention has been described above, the present invention is not limited to the above-mentioned information processing system 1. In the above-described embodiment, the recognition processing unit 13 performs processing using the position of the rectangle representing the target as the recognition result data as shown in FIG. 2B, but the shape and position representing the outline of the target are used. The process of obtaining the recognition result data may be performed.

１・・・情報処理システム、１０・・・車両、１１・・・カメラ、１２・・・センサ、
１３・・・認識処理部、１４・・・画像記憶部、１５・・・メタデータ取得部、
１６・・・通信部、１７・・・運転制御部、２０・・・サーバ、２１・・・通信部、
２２・・・妥当性判断部、２３・・・復元部、２４・・・第２の認識処理部、
２５・・・比較部、２６・・・画像ＤＢ、２７・・・画像送信要求部、２８・・・学習部 1 ... Information processing system, 10 ... Vehicle, 11 ... Camera, 12 ... Sensor,
13 ... recognition processing unit, 14 ... image storage unit, 15 ... metadata acquisition unit,
16 ... Communication unit, 17 ... Operation control unit, 20 ... Server, 21 ... Communication unit,
22 ... Validity judgment unit, 23 ... Restoration unit, 24 ... Second recognition processing unit,
25 ... Comparison unit, 26 ... Image DB, 27 ... Image transmission request unit, 28 ... Learning unit

Claims

A vehicle (10) equipped with a camera (11) and a server (20) for collecting images taken by the camera (11) from the vehicle (10) are provided.
The vehicle (10)
An image storage unit (14) that stores captured images, and
The recognition processing unit (13) that performs the image recognition processing and obtains the recognition result data,
A communication unit (16) that communicates with the server (20),
With
The server (20)
A communication unit (21) that communicates with the vehicle (10),
An image database (26) for storing the image and the recognition result data, and
When the recognition result data is received from the vehicle (10), the validity determination unit (22) determines the validity of the recognition result data based on the data stored in the image database (26).
An image transmission requesting unit (27) that requests the vehicle (10) to transmit the original image obtained from the recognition result data when it is determined that the recognition result data is not valid.
Information processing system (1).

The vehicle (10) includes a sensor (12) for acquiring the surrounding conditions.
The information processing system (1) according to claim 1, wherein the recognition processing unit (13) performs recognition processing using the data acquired by the sensor (12).

The vehicle (10) transmits the metadata including the data of the position where the image was taken together with the recognition result data to the server (20).
The information processing system (1) according to claim 1 or 2, wherein the server (20) stores the metadata in addition to the image and the recognition result data in the image database (26).

The validity judgment unit (22)
An image restoration unit (23) that restores an image based on the data stored in the image database (26) and the recognition result data received from the vehicle (10).
A second recognition processing unit (24) that performs recognition processing of the restored image by the image restoration unit (23) to obtain second recognition result data, and
A comparison unit (25) that compares the recognition result data with the second recognition result data and determines that the recognition result data is appropriate when the difference satisfies a predetermined condition.
The information processing system (1) according to claim 1 or 2.

The validity judgment unit (22)
An image restoration unit (23) that restores an image based on the data stored in the image database (26), the recognition result data received from the vehicle (10), and the metadata.
A second recognition processing unit (24) that performs recognition processing of the restored image by the image restoration unit (23) to obtain second recognition result data, and
A comparison unit (25) that compares the recognition result data with the second recognition result data and determines that the recognition result data is appropriate when the difference satisfies a predetermined condition.
The information processing system (1) according to claim 3.

The comparison unit (25) determines that the predetermined condition is satisfied when the number of recognized objects is the same between the recognition result data and the second recognition result data. Or the information processing system (1) according to 5.

A learning unit (28) for learning a model used in the recognition processing unit (13) and the second recognition processing unit (24) using the data stored in the image database (26) as teacher data is provided. The information processing system (1) according to any one of claims 4 to 6.

A server (20) that collects images taken by a vehicle (10).
A communication unit (21) that communicates with the vehicle (10),
An image database (26) for storing images received from the vehicle (10) and recognition result data, and
When the recognition result data is received from the vehicle (10), the validity determination unit (22) determines the validity of the recognition result data based on the data stored in the image database (26).
An image transmission requesting unit (27) that requests the vehicle (10) to transmit the original image obtained from the recognition result data when it is determined that the recognition result data is not valid.
A server (20).

From a vehicle equipped with a camera (11) (10) A communication method for transmitting images to the server (20),
In the step (S11) of saving the image taken by the vehicle (10),
In the vehicle (10), a step (S12) of performing the image recognition process to obtain recognition result data, and
In the step (S13) of transmitting the recognition result data from the vehicle (10) to the server (20),
In the server (20), the step (S15) of determining the validity of the recognition result data transmitted from the vehicle (10) based on the image and the recognition result data stored in the image database (26). ,
A step (S16) of requesting the vehicle (10) to transmit the original image obtained from the recognition result data when it is determined that the recognition result data is not valid.
Communication method including.