JP6919254B2 - Mobile loading device, image information acquisition system, image information acquisition method and program - Google Patents

Mobile loading device, image information acquisition system, image information acquisition method and program Download PDF

Info

Publication number
JP6919254B2
JP6919254B2 JP2017056258A JP2017056258A JP6919254B2 JP 6919254 B2 JP6919254 B2 JP 6919254B2 JP 2017056258 A JP2017056258 A JP 2017056258A JP 2017056258 A JP2017056258 A JP 2017056258A JP 6919254 B2 JP6919254 B2 JP 6919254B2
Authority
JP
Japan
Prior art keywords
image
information
moving body
past
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017056258A
Other languages
Japanese (ja)
Other versions
JP2018160759A (en
Inventor
和樹 稲垣
和樹 稲垣
淳 内村
淳 内村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2017056258A priority Critical patent/JP6919254B2/en
Publication of JP2018160759A publication Critical patent/JP2018160759A/en
Application granted granted Critical
Publication of JP6919254B2 publication Critical patent/JP6919254B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、移動体積載装置、画像情報取得システム、画像情報取得方法及びプログラムに関する。 The present invention relates to a mobile loading device, an image information acquisition system, an image information acquisition method and a program.

複数のカメラで車両の周辺を撮影する撮影システムに関連して幾つかの技術が提案されている。
例えば、特許文献1に記載の車両周辺画像提供装置は、複数の車載カメラの何れかが故障した場合、他の車載カメラが撮影した画像の時系列データを用いて、車載カメラの故障による画像の欠損を補完する。例えばバックの車庫入れ時に右方カメラが故障した場合、車両周辺画像提供装置は、後方カメラによる撮影画像の時系列データを用いて、右方カメラの故障による画像の欠損を補完する画像を合成する。
Several techniques have been proposed in connection with a photography system that photographs the surroundings of a vehicle with multiple cameras.
For example, the vehicle peripheral image providing device described in Patent Document 1 uses time-series data of images taken by other in-vehicle cameras when one of a plurality of in-vehicle cameras fails, and uses the time-series data of the images taken by the in-vehicle cameras to obtain images due to the failure of the in-vehicle cameras. Complement the defect. For example, if the right camera breaks down when the back camera is put in the garage, the vehicle peripheral image providing device uses the time-series data of the images taken by the rear camera to synthesize an image that complements the image loss due to the failure of the right camera. ..

特開2007−158642号公報Japanese Unexamined Patent Publication No. 2007-158642

特許文献1に記載の車両周辺画像提供装置では、故障した車載カメラの画角の一部又は全部が他の車載カメラの画角と重ならない場合、その部分については画像の欠損を補完することができない。
例えば、特許文献1に記載の車両周辺画像提供装置が前方カメラ、右方カメラ、後方カメラ及び左方カメラで車両の周辺を撮影する場合について考える。この場合、前方カメラが故障したときに、右方カメラ、左方カメラのいずれも車両の正面までは撮影範囲が及ばなければ、特許文献1に記載の車両周辺画像提供装置は、車両の正面の画像を補完することができない。
In the vehicle peripheral image providing device described in Patent Document 1, when a part or all of the angle of view of the failed in-vehicle camera does not overlap with the angle of view of another in-vehicle camera, the image defect may be supplemented for that part. Can not.
For example, consider a case where the vehicle peripheral image providing device described in Patent Document 1 photographs the periphery of the vehicle with a front camera, a right camera, a rear camera, and a left camera. In this case, when the front camera breaks down, if the shooting range does not reach the front of the vehicle for both the right camera and the left camera, the vehicle peripheral image providing device described in Patent Document 1 is the front of the vehicle. The image cannot be complemented.

本発明は、上述の課題を解決することのできる移動体積載装置、画像情報取得システム、画像情報取得方法及びプログラムを提供することを目的としている。 An object of the present invention is to provide a mobile loading device, an image information acquisition system, an image information acquisition method and a program capable of solving the above-mentioned problems.

本発明の第1の態様によれば、移動体積載装置は、移動体に取り付けられた撮影装置または前記撮影装置が撮影した画像の不具合を検出する検出部と、前記検出部が不具合を検出した撮影装置または画像の識別情報と、前記移動体の現在の位置情報と、前記移動体の種類を示す識別情報とを含む画像情報要求を画像配信装置へ送信する送信部と、前記画像配信装置が前記撮影装置または画像の識別情報と前記位置情報と前記移動体の種類とに基づいて特定した過去に撮影された画像の情報を取得する取得部と、を備える。 According to the first aspect of the present invention, in the moving body loading device, a photographing device attached to the moving body or a detection unit that detects a defect in an image captured by the photographing device, and the detecting unit detect the defect. A transmission unit that transmits an image information request including identification information of a photographing device or an image, current position information of the moving body, and identification information indicating the type of the moving body to the image distribution device, and the image distribution device. The imaging device or an image identification information, a position information, and an acquisition unit for acquiring information of an image captured in the past specified based on the type of the moving body are provided.

本発明の第2の態様によれば、画像情報取得システムは、移動体積載装置と画像配信装置とを備え、前記移動体積載装置は、移動体に取り付けられた撮影装置または前記撮影装置が取得した画像の不具合を検出する検出部と、前記検出部が不具合を検出した撮影装置または画像の識別情報と、前記移動体の現在の位置情報と、前記移動体の種類を示す識別情報とを前記画像配信装置へ送信する送信部と、前記画像配信装置が前記撮影装置または画像の識別情報と前記位置情報と前記移動体の種類とに基づいて特定した過去に撮影された画像の情報を取得する取得部と、を備え、前記画像配信装置は、前記過去に撮影された画像の情報と前記識別情報とを対応付けられた過去画像情報を記憶する過去画像情報記憶部と、移動体の種類毎の撮影範囲の類似度を示す優先順位情報を記憶する優先順位情報記憶部と、前記移動体積載装置からの識別情報が示す移動体の種類を前記優先順位情報に適用し、適用結果が示す移動体の種類に基づいて、前記過去に撮影された画像の情報を選択する過去画像情報選択部と、を備えるAccording to the second aspect of the present invention, the image information acquisition system includes a moving body loading device and an image distribution device, and the moving body loading device is acquired by a photographing device attached to the moving body or the photographing device. The detection unit that detects a defect in the image, the identification information of the photographing device or the image in which the detection unit has detected the defect, the current position information of the moving body, and the identification information indicating the type of the moving body are described above. The transmission unit to be transmitted to the image distribution device and the image distribution device acquire the information of the previously captured image specified by the image distribution device based on the identification information of the photographing device or the image, the position information, and the type of the moving body. The image distribution device includes an acquisition unit, and the image distribution device includes a past image information storage unit that stores past image information in which information on images taken in the past and the identification information are associated with each other, and for each type of moving object. The priority information storage unit that stores the priority information indicating the similarity of the shooting range and the type of the moving body indicated by the identification information from the moving body loading device are applied to the priority information, and the movement indicated by the application result. It includes a past image information selection unit that selects information on images taken in the past based on the type of body .

本発明の第3の態様によれば、画像情報取得方法は、移動体に取り付けられた撮影装置または前記撮影装置が撮影した画像の不具合を検出し、不具合を検出した撮影装置または画像の識別情報と、前記移動体の現在の位置情報と、前記移動体の種類を示す識別情報とを画像配信装置へ送信し、前記画像配信装置が前記撮影装置または画像の識別情報と前記位置情報と前記移動体の種類とに基づいて特定した過去に撮影された画像の情報を取得する、ことを含む。 According to the third aspect of the present invention, the image information acquisition method detects a defect in the photographing device attached to the moving body or the image captured by the photographing device, and the identification information of the photographing device or the image in which the defect is detected. And the current position information of the moving body and the identification information indicating the type of the moving body are transmitted to the image distribution device, and the image distribution device transmits the identification information of the photographing device or the image, the position information, and the movement. Includes the acquisition of information on previously taken images identified based on body type and.

本発明の第4の態様によれば、プログラムは、コンピュータに、移動体に取り付けられた撮影装置または前記撮影装置が撮影した画像の不具合を検出させ、不具合を検出した撮影装置または画像の識別情報と、前記移動体の現在の位置情報と、前記移動体の種類を示す識別情報とを画像配信装置へ送信させ、前記画像配信装置が前記撮影装置または画像の識別情報と前記位置情報と前記移動体の種類とに基づいて特定した過去に撮影された画像の情報を取得させる、ためのプログラムである。 According to a fourth aspect of the present invention, the program causes a computer to detect a defect in a photographing device attached to a moving body or an image captured by the photographing device, and the identification information of the photographing device or the image in which the defect is detected. And the current position information of the moving body and the identification information indicating the type of the moving body are transmitted to the image distribution device, and the image distribution device causes the imaging device or the image identification information, the position information, and the movement. This is a program for acquiring information on images taken in the past specified based on the type of body.

この発明によれば、故障した車載カメラの画角の一部又は全部が他の車載カメラの画角と重ならない場合でも、故障した車載カメラの画角の全部について画像を補完することができる。 According to the present invention, even if a part or all of the angle of view of the failed vehicle-mounted camera does not overlap with the angle of view of another vehicle-mounted camera, the image can be complemented for all the angles of view of the failed vehicle-mounted camera.

本発明の実施形態に係る画像情報取得システムの機能構成を示す概略ブロック図である。It is a schematic block diagram which shows the functional structure of the image information acquisition system which concerns on embodiment of this invention. 同実施形態に係る画像情報要求のデータ構成の例を示す図である。It is a figure which shows the example of the data structure of the image information request which concerns on the same embodiment. 同実施形態に係る撮影装置の撮影範囲の例を示す図である。It is a figure which shows the example of the photographing range of the photographing apparatus which concerns on the same embodiment. 同実施形態に係る過去画像情報記憶部が記憶する過去画像情報のデータ構成の例を示す図である。It is a figure which shows the example of the data structure of the past image information stored in the past image information storage part which concerns on the same embodiment. 同実施形態に係る優先順位情報記憶部が記憶する優先順位情報のデータ構成の例を示す図である。It is a figure which shows the example of the data structure of the priority information stored in the priority information storage part which concerns on the same embodiment. 同実施形態に係る撮影装置が撮影する画像に不具合がある場合の、画像情報取得システムの動作の例を示す図である。It is a figure which shows the example of the operation of the image information acquisition system when there is a defect in the image taken by the photographing apparatus which concerns on the same embodiment. 同実施形態に係る撮影装置が撮影する画像に不具合が無い場合の、画像情報取得システムの動作の例を示す図である。It is a figure which shows the example of the operation of the image information acquisition system when there is no defect in the image taken by the image pickup apparatus which concerns on this embodiment. 本発明に係る移動体積載装置の最小構成の例を示す図である。It is a figure which shows the example of the minimum structure of the mobile body loading apparatus which concerns on this invention. 本発明に係る画像情報取得システムの最小構成の例を示す図である。It is a figure which shows the example of the minimum structure of the image information acquisition system which concerns on this invention.

以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、本発明の実施形態に係る画像情報取得システムの機能構成を示す概略ブロック図である。図1に示すように、画像情報取得システム1は、複数の車載装置100と、画像配信装置200とを備える。車載装置100は、第一通信部110と、前方撮影装置120−1と、右方撮影装置120−2と、後方撮影装置120−3と、左方撮影装置120−4と、表示部130と、位置情報取得部140と、第一記憶部180と、第一制御部190とを備える。第一通信部110は、送信部111と、取得部112とを備える。第一制御部190は、検出部191と、変換部192とを備える。画像情報取得システム1が備える車載装置100の数は2つ以上であればよい。
Hereinafter, embodiments of the present invention will be described, but the following embodiments do not limit the inventions claimed. Also, not all combinations of features described in the embodiments are essential to the means of solving the invention.
FIG. 1 is a schematic block diagram showing a functional configuration of an image information acquisition system according to an embodiment of the present invention. As shown in FIG. 1, the image information acquisition system 1 includes a plurality of in-vehicle devices 100 and an image distribution device 200. The in-vehicle device 100 includes a first communication unit 110, a front imaging device 120-1, a right imaging device 120-2, a rear imaging device 120-3, a left imaging device 120-4, and a display unit 130. A position information acquisition unit 140, a first storage unit 180, and a first control unit 190 are provided. The first communication unit 110 includes a transmission unit 111 and an acquisition unit 112. The first control unit 190 includes a detection unit 191 and a conversion unit 192. The number of in-vehicle devices 100 included in the image information acquisition system 1 may be two or more.

画像配信装置200は、第二通信部210と、第二記憶部280と、第二制御部290とを備える。第二記憶部280は、過去画像情報記憶部281と、優先順位情報記憶部282とを備える。第二制御部290は、過去画像情報選択部291を備える。
以下では、前方撮影装置120−1、右方撮影装置120−2、後方撮影装置120−3、及び、左方撮影装置120−4を総称して撮影装置120と表記する。
The image distribution device 200 includes a second communication unit 210, a second storage unit 280, and a second control unit 290. The second storage unit 280 includes a past image information storage unit 281 and a priority information storage unit 282. The second control unit 290 includes a past image information selection unit 291.
In the following, the front imaging device 120-1, the right imaging device 120-2, the rear imaging device 120-3, and the left imaging device 120-4 are collectively referred to as the imaging device 120.

画像情報取得システム1は、車両900の各々に対して車両900の周囲の画像を提供する。
車両900は、移動体の例に該当する。但し、画像情報取得システム1の適用範囲は車両に限らず、周囲画像を撮影可能ないろいろな移動体とすることができる。たとえば、画像情報取得システム1が船舶に適用されていてもよい。
車載装置100は、それぞれ車両900に搭載され、車載装置100自らが搭載されている車両900の周囲の画像を取得する。車両900は移動体の例に該当する。車載装置100は移動体積載装置の例に該当する。
The image information acquisition system 1 provides an image of the surroundings of the vehicle 900 for each of the vehicles 900.
The vehicle 900 corresponds to the example of a moving body. However, the scope of application of the image information acquisition system 1 is not limited to the vehicle, and various moving objects capable of capturing surrounding images can be used. For example, the image information acquisition system 1 may be applied to a ship.
Each of the vehicle-mounted devices 100 is mounted on the vehicle 900, and acquires an image of the surroundings of the vehicle 900 on which the vehicle-mounted device 100 itself is mounted. The vehicle 900 corresponds to the example of a moving body. The in-vehicle device 100 corresponds to an example of a mobile loading device.

また、車載装置100またはその部分自らを搭載した車両900を、自らの車両900と称する。車載装置100またはその部分自らを搭載した車両900以外の車両900を、他の車両900と称する。
また、車載装置100の部分自らを備える車載装置100を、自らの車載装置100と称する。車載装置100の部分自らを備える車載装置100以外の車載装置100を、他の車載装置100と称する。
車載装置100は、例えばマイコン(Microcomputer)等のコンピュータを用いて構成される。
Further, a vehicle 900 on which the in-vehicle device 100 or a portion thereof is mounted is referred to as a own vehicle 900. A vehicle 900 other than the vehicle 900 on which the in-vehicle device 100 or a portion thereof is mounted is referred to as another vehicle 900.
Further, the vehicle-mounted device 100 including a part of the vehicle-mounted device 100 itself is referred to as its own vehicle-mounted device 100. An in-vehicle device 100 other than the in-vehicle device 100 including a part of the in-vehicle device 100 itself is referred to as another in-vehicle device 100.
The in-vehicle device 100 is configured by using a computer such as a microcomputer.

第一通信部110は、他の装置と通信を行う。
送信部111は、第一通信部110における送信を実行する。特に、送信部111は、検出部191が撮影装置120の不具合または撮影装置120が撮影した画像の不具合を検出した場合に、検出部191が不具合を検出した撮影装置120または画像の識別情報と、車両900の現在の位置情報とを含む画像情報要求を画像配信装置200へ送信する。画像配信装置200は、この画像情報要求への応答として、不具合によって車載装置100が適切な画像を取得できなかった場合に、代用の画像を提供するための画像情報を送信する。
送信部111が、複数の撮影装置120が撮影した画像のうち不具合を検出されなかった画像を含む画像情報要求を画像配信装置200へ送信するようにしてもよい。この場合、画像配信装置200は、これらの画像を画像配信装置200が記憶している過去画像との類似度に基づいて、車載装置100へ提供する画像を選択する。
The first communication unit 110 communicates with another device.
The transmission unit 111 executes transmission in the first communication unit 110. In particular, when the detection unit 191 detects a defect in the photographing device 120 or a defect in the image captured by the photographing device 120, the transmitting unit 111 can obtain the identification information of the photographing device 120 or the image in which the detection unit 191 detects the defect. An image information request including the current position information of the vehicle 900 is transmitted to the image distribution device 200. In response to this image information request, the image distribution device 200 transmits image information for providing a substitute image when the vehicle-mounted device 100 cannot acquire an appropriate image due to a defect.
The transmission unit 111 may transmit an image information request including an image in which no defect is detected among the images taken by the plurality of photographing devices 120 to the image distribution device 200. In this case, the image distribution device 200 selects images for providing these images to the in-vehicle device 100 based on the degree of similarity with the past images stored in the image distribution device 200.

図2は、画像情報要求のデータ構成の例を示す図である。図2は、右方撮影装置120−2が撮影した画像に不具合があった場合の例を示している。画像の不具合は、撮影対象を明確に把握できる画像を得られない事である。例えば、画像の不具合は、撮影装置120が故障して画像を撮影できないことであってもよい。あるいは、画像の不具合は、撮影装置120の故障、レンズの汚れまたはレンズの曇りなどにより、鮮明な画像を得られないことであってもよい。 FIG. 2 is a diagram showing an example of a data structure of an image information request. FIG. 2 shows an example when there is a defect in the image captured by the right-side imaging device 120-2. The problem with the image is that it is not possible to obtain an image that clearly shows the subject to be photographed. For example, the defect of the image may be that the photographing device 120 is out of order and the image cannot be photographed. Alternatively, the defect of the image may be that a clear image cannot be obtained due to a failure of the photographing device 120, dirt on the lens, cloudiness of the lens, or the like.

図2に示す画像情報要求には、不具合を検出されていない前方撮影装置120−1、後方撮影装置120−3、左方撮影装置120−4のそれぞれが撮影した画像データと、車両900及び右方撮影装置120−2を識別する識別情報と、撮影装置120が撮影を行った位置を示す撮影位置情報とが含まれている。
この画像情報要求を受信した画像配信装置200は、画像配信装置200自らが記憶している過去に撮影された画像のうち、撮影位置情報が示す撮影位置の近くで撮影され、識別情報から特定される撮影範囲に近い撮影範囲の画像を選択する。
The image information request shown in FIG. 2 includes image data taken by each of the front photographing device 120-1, the rear photographing device 120-3, and the left photographing device 120-4 in which no defect is detected, and the vehicle 900 and the right. It includes identification information for identifying the direction photographing device 120-2 and photographing position information indicating a position where the photographing device 120 has taken a picture.
The image distribution device 200 that has received this image information request is photographed near the shooting position indicated by the shooting position information among the images taken in the past stored by the image distribution device 200 itself, and is identified from the identification information. Select an image with a shooting range close to the shooting range.

また、画像配信装置200が、画像情報要求に含まれる画像データが示す画像と、画像配信装置200が記憶している画像とを比較して、画像情報として車載装置100へ送信する画像を選択するようにしてもよい。例えば、画像配信装置200は、前方カメラの画像データと、右方カメラの画像データと、後方カメラの画像データと、左方カメラの画像データとを組み合わせて記憶しておく。そして、画像配信装置200は、前方カメラの画像と、後方カメラの画像と、左方カメラの画像とについて、画像情報要求に含まれる画像と、画像配信装置200が記憶している画像とを比較し、もっとも類似している画像など、所定条件以上に類似性が高い画像の組み合わせを選択する。そして画像配信装置200は、選択した組み合わせに含まれる右方カメラの画像データを、画像情報として車載装置100へ送信する。
あるいは、画像配信装置200が、識別情報及び撮影位置情報による画像の選択と、画像の類似度に基づく画像の選択をと組み合わせて実行するようにしてもよい。画像配信装置200は、より多くの情報を用いて画像を選択することで、適切な画像を選択できる精度が高まることが期待される。
Further, the image distribution device 200 compares the image indicated by the image data included in the image information request with the image stored in the image distribution device 200, and selects an image to be transmitted to the vehicle-mounted device 100 as image information. You may do so. For example, the image distribution device 200 stores the image data of the front camera, the image data of the right camera, the image data of the rear camera, and the image data of the left camera in combination. Then, the image distribution device 200 compares the image included in the image information request with respect to the image of the front camera, the image of the rear camera, and the image of the left camera with the image stored in the image distribution device 200. Then, a combination of images having a higher similarity than a predetermined condition, such as the most similar image, is selected. Then, the image distribution device 200 transmits the image data of the right camera included in the selected combination to the in-vehicle device 100 as image information.
Alternatively, the image distribution device 200 may execute the selection of the image based on the identification information and the shooting position information in combination with the selection of the image based on the similarity of the images. The image distribution device 200 is expected to improve the accuracy of selecting an appropriate image by selecting an image using more information.

取得部112は、第一通信部110における受信機能を実行する。特に、取得部112は、送信部111が送信した画像情報要求への応答として画像配信装置200が送信した画像情報を取得する。この画像情報は、識別情報と位置情報とに基づいて画像配信装置200が特定した、過去に撮影された画像の情報に該当する。取得部112が取得する画像情報は、他の車両900の撮影装置120が撮影した画像であってもよい。 The acquisition unit 112 executes the reception function in the first communication unit 110. In particular, the acquisition unit 112 acquires the image information transmitted by the image distribution device 200 as a response to the image information request transmitted by the transmission unit 111. This image information corresponds to the information of the images taken in the past specified by the image distribution device 200 based on the identification information and the position information. The image information acquired by the acquisition unit 112 may be an image taken by the photographing device 120 of another vehicle 900.

撮影装置120は、車両900に取り付けられ、自らの車両900の周囲の画像を撮影する。撮影装置120が撮影する画像の用途は特定の用途に限定されない。例えば、車載装置100が、撮影装置120が撮影した画像をドライバに提示(表示)するようにしてもよい。あるいは、車両900が自動運転機能を備え、撮影装置120が撮影した画像を参照して自動運転を行うようにしてもよい。 The photographing device 120 is attached to the vehicle 900 and takes an image of the surroundings of its own vehicle 900. The use of the image captured by the photographing device 120 is not limited to a specific use. For example, the in-vehicle device 100 may present (display) an image captured by the photographing device 120 to the driver. Alternatively, the vehicle 900 may be provided with an automatic driving function, and automatic driving may be performed with reference to an image captured by the photographing device 120.

図3は、撮影装置120の撮影範囲の例を示す図である。図3の例で、車両900の前、右、後ろ、左にそれぞれ前方撮影装置120−1、右方撮影装置120−2、後方撮影装置120−3、左方撮影装置120−4が取り付けられている。
前方撮影装置120−1は、領域A111、A121及びA124を撮影する。
右方撮影装置120−2は、領域A112、A121及びA122を撮影する。
後方撮影装置120−3は、領域A113、A122及びA123を撮影する。
左方撮影装置120−4は、領域A114、A123及びA124を撮影する。
車載装置100が、撮影装置120が撮影した画像を、車両900の上方からの俯瞰図にて表示するようにしてもよい。
但し、撮影装置120による撮影範囲は、特定の範囲に限定されない。例えば、撮影装置120が、下向きの画像に限らず、水平方向を含む画像を撮影するようにしてもよい。
FIG. 3 is a diagram showing an example of a photographing range of the photographing apparatus 120. In the example of FIG. 3, the front imaging device 120-1, the right imaging device 120-2, the rear imaging device 120-3, and the left imaging device 120-4 are attached to the front, right, rear, and left of the vehicle 900, respectively. ing.
The forward photographing apparatus 120-1 photographs the areas A111, A121 and A124.
The right imaging device 120-2 photographs regions A112, A121, and A122.
The rear imaging device 120-3 photographs the areas A113, A122, and A123.
The left photographing apparatus 120-4 photographs the areas A114, A123 and A124.
The in-vehicle device 100 may display the image taken by the photographing device 120 in a bird's-eye view from above the vehicle 900.
However, the shooting range by the shooting device 120 is not limited to a specific range. For example, the photographing device 120 may acquire not only a downward image but also an image including a horizontal direction.

表示部130は、例えば液晶パネル又はLED(Light Emitting Diode、発光ダイオード)パネル等の表示画面を備え、各種画像を表示する。表示部130が、撮影装置120が撮影した車両900の周囲の画像を表示するようにしてもよい。
位置情報取得部140は、位置情報取得部140自らの位置を示す位置情報を取得する。例えば、位置情報取得部140は、GNSS(Global Navigation Satellite System)を備えて測位を行う。但し、位置情報取得部140が位置情報取得部140自らの位置情報を取得する方法は、特定の方法に限定されない。位置情報取得部140が取得する位置情報は、車両900の位置を示す位置情報として用いられる。
The display unit 130 includes a display screen such as a liquid crystal panel or an LED (Light Emitting Diode) panel, and displays various images. The display unit 130 may display an image of the surroundings of the vehicle 900 photographed by the photographing device 120.
The position information acquisition unit 140 acquires position information indicating the position of the position information acquisition unit 140 itself. For example, the position information acquisition unit 140 is equipped with a GNSS (Global Navigation Satellite System) to perform positioning. However, the method in which the position information acquisition unit 140 acquires the position information of the position information acquisition unit 140 itself is not limited to a specific method. The position information acquired by the position information acquisition unit 140 is used as position information indicating the position of the vehicle 900.

第一記憶部180は、各種情報を記憶する。第一記憶部180は、車載装置100が備える記憶デバイスを用いて構成される。
第一制御部190は、車載装置100の各部を制御して各種処理を実行する。第一制御部190は、車載装置100が備えるCPU(Central Processing Unit、中央処理装置)が第一記憶部180からプログラムを読み出して実行することで構成される。
The first storage unit 180 stores various information. The first storage unit 180 is configured by using the storage device included in the vehicle-mounted device 100.
The first control unit 190 controls each unit of the vehicle-mounted device 100 to execute various processes. The first control unit 190 is configured by a CPU (Central Processing Unit) included in the vehicle-mounted device 100 reading a program from the first storage unit 180 and executing the program.

検出部191は、撮影装置120または撮影装置120が撮影した画像の不具合を検出する。画像情報取得システム1は、検出部191が検出する不具合によって車載装置100が適正な画像を取得できなかった場合に、代用の画像を提供する。
変換部192は、他の車両900が備える撮影装置120が撮影した画像を、変換部192自らの車両900が備える撮影装置120が撮影する範囲の画像に変換する。ここで、車両900の種類毎に撮影装置120の取り付け位置や撮影装置120のレンズ等が異なることが考えられる。この相違により、他の車両900が備える撮影装置120が撮影した画像と、変換部192自らの車両900が備える撮影装置120が撮影する画像とでは、撮影範囲が異なる。変換部192は、この撮影範囲の相違を無くす或いは低減させるように画像を修正することで、変換部192自らの車両900が備える撮影装置120が撮影した場合と同様の画像を生成する。
The detection unit 191 detects a defect in the photographing device 120 or the image captured by the photographing device 120. The image information acquisition system 1 provides a substitute image when the in-vehicle device 100 cannot acquire an appropriate image due to a defect detected by the detection unit 191.
The conversion unit 192 converts an image taken by the photographing device 120 included in the other vehicle 900 into an image in a range photographed by the photographing device 120 included in the conversion unit 192's own vehicle 900. Here, it is conceivable that the mounting position of the photographing device 120, the lens of the photographing device 120, and the like differ depending on the type of the vehicle 900. Due to this difference, the imaging range is different between the image captured by the photographing device 120 included in the other vehicle 900 and the image captured by the photographing device 120 included in the conversion unit 192's own vehicle 900. The conversion unit 192 modifies the image so as to eliminate or reduce the difference in the shooting range, thereby generating an image similar to that taken by the shooting device 120 included in the conversion unit 192's own vehicle 900.

画像配信装置200は、車両900からの画像情報要求への応答として画像情報を返信する。画像情報は、画像データであってもよいし、車両900が記憶している画像を特定する情報であってもよい。
画像配信装置200は、例えばワークステーション(Workstation)等のコンピュータを用いて構成される。
The image distribution device 200 returns image information in response to an image information request from the vehicle 900. The image information may be image data or information that identifies an image stored in the vehicle 900.
The image distribution device 200 is configured by using a computer such as a workstation.

第二通信部210は、他の機器と通信を行う。特に、第二通信部210は、車載装置100からの画像情報要求を受信する。また、第二通信部210は、画像情報要求に対する応答である画像情報を、画像情報要求の送信元の車載装置100へ送信する。
第二記憶部280は、各種情報を記憶する。第二記憶部280は、画像配信装置200が備える記憶デバイスを用いて構成される。
過去画像情報記憶部281は、過去画像情報を記憶する。過去画像情報では、過去に撮影された画像の情報と撮影した撮影装置及びこの撮影装置を搭載した車両を識別する識別情報とが対応付けられている。
The second communication unit 210 communicates with other devices. In particular, the second communication unit 210 receives the image information request from the in-vehicle device 100. Further, the second communication unit 210 transmits the image information, which is a response to the image information request, to the in-vehicle device 100 that is the transmission source of the image information request.
The second storage unit 280 stores various information. The second storage unit 280 is configured by using the storage device included in the image distribution device 200.
The past image information storage unit 281 stores past image information. In the past image information, the information of the image taken in the past is associated with the photographed device and the identification information for identifying the vehicle equipped with the photographed device.

図4は、過去画像情報記憶部281が記憶する過去画像情報のデータ構成の例を示す図である。
図4に示す過去画像情報には、前方カメラ、右方カメラ、後方カメラ、左方カメラそれぞれの画像データと、これらカメラの各々と車両とを特定する識別情報と、これらの画像が撮影された位置を示す撮影位置情報とが含まれている。
FIG. 4 is a diagram showing an example of a data structure of past image information stored in the past image information storage unit 281.
In the past image information shown in FIG. 4, image data of each of the front camera, the right camera, the rear camera, and the left camera, identification information for identifying each of these cameras and the vehicle, and these images were taken. It includes shooting position information indicating the position.

画像配信装置200は、画像情報要求に含まれる識別情報及び撮影位置情報と、過去画像情報に含まれる識別情報及び撮影位置情報とを比較する。これにより、画像配信装置200は、過去画像情報のうち、撮影場所及び撮影範囲が、画像情報要求元の車載装置100の撮影装置120の場合に近い過去画像情報を検索することができる。
優先順位情報記憶部282は、優先順位情報を記憶する。優先順位情報は、車両900の種類毎の撮影範囲の類似度を示す情報である。
The image distribution device 200 compares the identification information and the shooting position information included in the image information request with the identification information and the shooting position information included in the past image information. As a result, the image distribution device 200 can search for past image information in the past image information whose shooting location and shooting range are close to those of the shooting device 120 of the vehicle-mounted device 100 that requests the image information.
The priority information storage unit 282 stores priority information. The priority information is information indicating the degree of similarity of the shooting range for each type of vehicle 900.

図5は、優先順位情報記憶部282が記憶する優先順位情報のデータ構成の例を示す図である。図5に示す優先順位情報では、「要求元」欄、「優先順位1」欄、「優先順位2」欄、「優先順位3」欄、・・・の各欄に1つずつ種類情報が格納されている。これらの種類情報は、車両900の種類を示す。車両900の種類毎に撮影装置120による撮影範囲が異なっており、有線順位情報は、画像情報要求の送信元の車両900の場合と撮影範囲が類似する過去画像情報を選択するために用いられる。 FIG. 5 is a diagram showing an example of a data structure of priority information stored in the priority information storage unit 282. In the priority information shown in FIG. 5, one type information is stored in each of the "request source" column, the "priority 1" column, the "priority 2" column, the "priority 3" column, ... Has been done. These types of information indicate the type of vehicle 900. The shooting range by the photographing device 120 is different for each type of vehicle 900, and the wired order information is used to select past image information having a similar shooting range to that of the vehicle 900 that is the transmission source of the image information request.

「優先順位1」欄に格納されている種類情報が示す車両の種類が、「要求元」欄に格納されている種類情報が示す車両の種類と、撮影装置120による撮影範囲が最も類似している。図5の例では、「優先順位1」欄には、「要求元」欄に格納されている種類情報と同じ種類情報が格納されている。
「優先順位2」欄、「優先順位3」欄、・・・と、優先順位情報の下側の欄に格納されている車両の種類ほど「要求元」欄に格納されている種類情報が示す車両の種類の場合と、撮影装置120による撮影範囲の類似度が低くなる。
画像配信装置200は、過去画像情報を選択する際、画像情報要求の送信元の車両900の種類を示す種類情報が「要求元」欄に格納されている優先順位情報を選択する。そして、画像配信装置200は、過去画像情報のうち、画像撮影元の車両900の種類が、なるべく上位の優先順位欄に格納されている種類情報に該当すする過去画像情報を選択する。
The type of vehicle indicated by the type information stored in the "priority 1" column is most similar to the type of vehicle indicated by the type information stored in the "requester" column and the shooting range by the photographing device 120 is the most similar. There is. In the example of FIG. 5, the same type information as the type information stored in the "request source" column is stored in the "priority 1" column.
The type information stored in the "requester" column indicates the type of vehicle stored in the "priority 2" column, "priority 3" column, ..., And the column below the priority information. The similarity between the type of vehicle and the shooting range by the shooting device 120 is low.
When selecting the past image information, the image distribution device 200 selects the priority information in which the type information indicating the type of the vehicle 900 that is the transmission source of the image information request is stored in the "request source" column. Then, the image distribution device 200 selects the past image information in which the type of the vehicle 900 of the image capturing source corresponds to the type information stored in the higher priority column as much as possible among the past image information.

第二制御部290は、画像配信装置200の各部を制御して各種処理を実行する。第二制御部290は、画像配信装置200が備えるCPUが第二記憶部280からプログラムを読み出して実行することで構成される。
過去画像情報選択部291は、画像情報要求に応じて過去画像情報を選択する。その際、過去画像情報選択部291は、車載装置100の識別情報から車両900の種類を特定する。
The second control unit 290 controls each unit of the image distribution device 200 to execute various processes. The second control unit 290 is configured by a CPU included in the image distribution device 200 reading a program from the second storage unit 280 and executing the program.
The past image information selection unit 291 selects past image information in response to an image information request. At that time, the past image information selection unit 291 identifies the type of the vehicle 900 from the identification information of the in-vehicle device 100.

過去画像情報選択部291は、要求情報送信元の車両900の識別情報が示す車両900の種類を優先順位情報に適用する。そして、過去画像情報選択部291は、適用結果が示す車両900の種類に基づいて、要求情報送信元の車両900の場合と撮影範囲が類似している過去画像情報を選択する。
また、過去画像情報選択部291は、図2を参照して説明したように、画像情報要求に含まれる画像と、過去画像情報に含まれる画像との類似度を評価し、類似度の評価結果に基づいて過去画像情報を選択する。
The past image information selection unit 291 applies the type of the vehicle 900 indicated by the identification information of the vehicle 900 that is the source of the request information to the priority information. Then, the past image information selection unit 291 selects the past image information whose shooting range is similar to that of the vehicle 900 of the request information transmission source, based on the type of the vehicle 900 indicated by the application result.
Further, as described with reference to FIG. 2, the past image information selection unit 291 evaluates the similarity between the image included in the image information request and the image included in the past image information, and the evaluation result of the similarity. Select past image information based on.

次に図6及び図7を参照して、画像情報取得システム1の動作について説明する。
図6は、撮影装置120が撮影する画像に不具合がある場合の、画像情報取得システム1の動作の例を示す図である。
図6に示す処理で、車載装置100の撮影装置120が撮影を行うと(シーケンスS101)、検出部191が不具合の有無を判定する(シーケンスS102)。図6の例では、検出部191は、不具合有りと判定している。
検出部191が不具合有りと判定すると、第一制御部190が画像情報要求を生成する(シーケンスS103)。そして、送信部111が、画像情報要求を画像配信装置200へ送信する(シーケンスS104)。
Next, the operation of the image information acquisition system 1 will be described with reference to FIGS. 6 and 7.
FIG. 6 is a diagram showing an example of the operation of the image information acquisition system 1 when there is a defect in the image captured by the photographing device 120.
In the process shown in FIG. 6, when the photographing device 120 of the vehicle-mounted device 100 takes an image (sequence S101), the detection unit 191 determines whether or not there is a defect (sequence S102). In the example of FIG. 6, the detection unit 191 determines that there is a defect.
When the detection unit 191 determines that there is a defect, the first control unit 190 generates an image information request (sequence S103). Then, the transmission unit 111 transmits the image information request to the image distribution device 200 (sequence S104).

画像配信装置200では、第二通信部210が画像情報要求を受信し(シーケンスS111)、過去画像情報選択部291が、画像情報要求に応じて過去画像情報を検索する(シーケンスS112)。そして、第二通信部210が検索結果として得られた過去画像情報を車載装置100へ送信する(シーケンスS113)。
車載装置100では、取得部112が過去画像情報を受信する(シーケンスS121)。変換部192は、過去画像情報が示す画像の撮影範囲を、撮影装置120が撮影する際の撮影範囲に合わせるあるいは近付けるための画像変換を行う(シーケンスS122)。
そして、第一制御部190が画像を用いた処理を行う(シーケンスS123)。上述したように、ここでの画像を用いた処理は、特定の処理に限定されない。
In the image distribution device 200, the second communication unit 210 receives the image information request (sequence S111), and the past image information selection unit 291 searches for the past image information in response to the image information request (sequence S112). Then, the second communication unit 210 transmits the past image information obtained as the search result to the in-vehicle device 100 (sequence S113).
In the in-vehicle device 100, the acquisition unit 112 receives the past image information (sequence S121). The conversion unit 192 performs image conversion for adjusting or bringing the shooting range of the image indicated by the past image information to or closer to the shooting range when the shooting device 120 shoots (sequence S122).
Then, the first control unit 190 performs processing using the image (sequence S123). As described above, the process using the image here is not limited to a specific process.

図7は、撮影装置120が撮影する画像に不具合が無い場合の、画像情報取得システム1の動作の例を示す図である。
図7に示す処理で、車載装置100の撮影装置120が撮影を行うと(シーケンスS201)、検出部191が不具合の有無を判定する(シーケンスS202)。図7の例では、検出部191は、不具合無しと判定している。
この場合、画像を補完する必要は無く、第一制御部190は、シーケンスS201で得られた画像を用いた処理を行う(シーケンスS203)。
FIG. 7 is a diagram showing an example of the operation of the image information acquisition system 1 when there is no defect in the image captured by the photographing device 120.
In the process shown in FIG. 7, when the photographing device 120 of the vehicle-mounted device 100 takes an image (sequence S201), the detection unit 191 determines whether or not there is a defect (sequence S202). In the example of FIG. 7, the detection unit 191 determines that there is no defect.
In this case, it is not necessary to complement the images, and the first control unit 190 performs processing using the images obtained in the sequence S201 (sequence S203).

また、送信部111は、第一制御部190の制御に従って、シーケンスS201で得られた画像データと、車載装置100及び撮影装置120の識別情報と、シーケンスS201での撮影の位置を示す撮影位置情報とを画像配信装置200へ送信する(シーケンスS204)。
画像配信装置200では、第二通信部210が車載装置100からの情報を受信する(シーケンスS211)。そして、第二制御部290が、第二通信部210が受信した情報を過去画像情報に構成し、過去画像情報記憶部281に記憶させる(シーケンスS212)。
Further, the transmission unit 111, in accordance with the control of the first control unit 190, shows the image data obtained in the sequence S201, the identification information of the in-vehicle device 100 and the photographing device 120, and the photographing position information indicating the photographing position in the sequence S201. To the image distribution device 200 (sequence S204).
In the image distribution device 200, the second communication unit 210 receives the information from the vehicle-mounted device 100 (sequence S211). Then, the second control unit 290 configures the information received by the second communication unit 210 into the past image information and stores it in the past image information storage unit 281 (sequence S212).

以上のように、検出部191は、撮影装置120または撮影装置120が撮影した画像の不具合を検出する。送信部111は、検出部191が不具合を検出した撮影装置120または画像の識別情報と、車両900の現在の位置情報とを含む画像情報要求を画像配信装置200へ送信する。取得部112は、画像配信装置200が識別情報と位置情報とに基づいて特定した過去に撮影された画像の情報(過去画像情報)を取得する。
このように、取得部112が画像配信装置200から過去画像情報を取得することで、故障した撮影装置120の画角の一部又は全部が他の撮影装置120の画角と重ならない場合でも、故障した撮影装置120の画角の全部について画像を補完することができる。
As described above, the detection unit 191 detects a defect in the image captured by the photographing device 120 or the photographing device 120. The transmission unit 111 transmits an image information request including the identification information of the photographing device 120 or the image in which the detection unit 191 has detected the defect and the current position information of the vehicle 900 to the image distribution device 200. The acquisition unit 112 acquires information (past image information) of images taken in the past specified by the image distribution device 200 based on the identification information and the position information.
By acquiring the past image information from the image distribution device 200 in this way, even if a part or all of the angle of view of the failed photographing device 120 does not overlap with the angle of view of the other photographing device 120, the acquisition unit 112 acquires the past image information. The image can be complemented for all the angles of view of the failed photographing device 120.

また、変換部192は、他の車両900の撮影装置120が撮影した画像を、自らの車両900の撮影装置120が撮影する範囲の画像に変換する。取得部112は、他の車両900の撮影装置120が撮影した画像を画像配信装置200から取得する。
このように変換部192が画像を変換することで、車載装置100は、自らの撮影装置120が撮影を行った画像と同様の画像を取得できる。これにより、車載装置100は画像を用いた処理をスムーズに行うことができる。
Further, the conversion unit 192 converts the image taken by the photographing device 120 of the other vehicle 900 into an image in the range photographed by the photographing device 120 of its own vehicle 900. The acquisition unit 112 acquires an image taken by the photographing device 120 of the other vehicle 900 from the image distribution device 200.
By converting the image by the conversion unit 192 in this way, the in-vehicle device 100 can acquire an image similar to the image taken by its own photographing device 120. As a result, the in-vehicle device 100 can smoothly perform processing using the image.

また、過去画像情報記憶部281は、過去画像情報を記憶する。優先順位情報記憶部282は、優先順位情報を記憶する。過去画像情報選択部291は、画像情報要求の送信元の車載装置100からの識別情報が示す車両900の種類を優先順位情報に適用する。そして、過去画像情報選択部291は、適用結果が示す車両900の種類に基づいて、過去画像情報(過去に撮影された画像の情報)を選択する。
このように、過去画像情報選択部291が優先順位情報に基づいて過去画像情報を選択することで、画像情報要求の送信元の車載装置100における撮影範囲に近い撮影範囲の過去画像情報を得られる。
In addition, the past image information storage unit 281 stores past image information. The priority information storage unit 282 stores priority information. The past image information selection unit 291 applies the type of the vehicle 900 indicated by the identification information from the vehicle-mounted device 100 that is the transmission source of the image information request to the priority information. Then, the past image information selection unit 291 selects past image information (information on images taken in the past) based on the type of vehicle 900 indicated by the application result.
In this way, the past image information selection unit 291 selects the past image information based on the priority information, so that the past image information in the shooting range close to the shooting range in the in-vehicle device 100 that is the transmission source of the image information request can be obtained. ..

また、送信部111は、複数の撮影装置120が撮影した画像のうち不具合を検出されなかった画像を含む画像情報要求を画像配信装置200へ送信する。過去画像情報選択部291は、送信部111が送信した画像と、過去画像情報に含まれる画像との類似度を評価し、類似度の評価結果に基づいて過去に撮影された画像の情報を選択する。
このように、過去画像情報選択部291が画像の類似度に基づいて過去画像情報を選択することで、画像情報要求の送信元の車載装置100による撮影位置及び撮影範囲に近い撮影範囲及び撮影位置の画像を取得し得る。
Further, the transmission unit 111 transmits an image information request including an image in which no defect is detected among the images taken by the plurality of photographing devices 120 to the image distribution device 200. The past image information selection unit 291 evaluates the similarity between the image transmitted by the transmission unit 111 and the image included in the past image information, and selects the information of the images taken in the past based on the evaluation result of the similarity. do.
In this way, the past image information selection unit 291 selects the past image information based on the similarity of the images, so that the shooting position and the shooting position close to the shooting position and the shooting range by the in-vehicle device 100 that is the transmission source of the image information request. Image can be obtained.

次に図8〜9を参照して本発明の最小構成について説明する。
図8は、本発明に係る移動体積載装置の最小構成の例を示す図である。図8に示す移動体積載装置10は、検出部11と、送信部12と、取得部13とを備える。
かかる構成にて、検出部11は、移動体に取り付けられた撮影装置または撮影装置が撮影した画像の不具合を検出する。送信部12は、検出部11が不具合を検出した撮影装置または画像の識別情報と、車両の現在の位置情報とを含む画像情報要求を画像配信装置へ送信する。取得部13は、画像配信装置が識別情報と位置情報とに基づいて特定した過去に撮影された画像の情報を取得する。
このように、取得部13が画像配信装置から過去画像情報を取得することで、故障した撮影装置の画角の一部又は全部が他の撮影装置の画角と重ならない場合でも、故障した撮影装置120の画角の全部について画像を補完することができる。
Next, the minimum configuration of the present invention will be described with reference to FIGS. 8 to 9.
FIG. 8 is a diagram showing an example of the minimum configuration of the mobile loading device according to the present invention. The mobile loading device 10 shown in FIG. 8 includes a detection unit 11, a transmission unit 12, and an acquisition unit 13.
With such a configuration, the detection unit 11 detects a defect in the photographing device attached to the moving body or the image captured by the photographing device. The transmission unit 12 transmits an image information request including the identification information of the photographing device or the image in which the detection unit 11 has detected the defect and the current position information of the vehicle to the image distribution device. The acquisition unit 13 acquires information on previously captured images identified by the image distribution device based on the identification information and the position information.
In this way, the acquisition unit 13 acquires the past image information from the image distribution device, so that even if a part or all of the angle of view of the failed image pickup device does not overlap with the angle of view of the other image pickup device, the failed image pickup is performed. The image can be complemented for all the angles of view of the device 120.

図9は、本発明に係る画像情報取得システムの最小構成の例を示す図である。図9に示す画像情報取得システム20は、移動体積載装置21と、画像配信装置25とを備える。移動体積載装置21は、検出部22と、送信部23と、取得部24とを備える。
かかる構成にて、検出部22は、移動体に取り付けられた撮影装置または撮影装置が撮影した画像の不具合を検出する。送信部23は、検出部22が不具合を検出した撮影装置または画像の識別情報と、車両の現在の位置情報とを含む画像情報要求を画像配信装置へ送信する。取得部24は、画像配信装置が識別情報と位置情報とに基づいて特定した過去に撮影された画像の情報を取得する。
このように、取得部24が画像配信装置から過去画像情報を取得することで、故障した撮影装置の画角の一部又は全部が他の撮影装置の画角と重ならない場合でも、故障した撮影装置の画角の全部について画像を補完することができる。
FIG. 9 is a diagram showing an example of the minimum configuration of the image information acquisition system according to the present invention. The image information acquisition system 20 shown in FIG. 9 includes a mobile body loading device 21 and an image distribution device 25. The mobile loading device 21 includes a detection unit 22, a transmission unit 23, and an acquisition unit 24.
With such a configuration, the detection unit 22 detects a defect in the photographing device attached to the moving body or the image captured by the photographing device. The transmission unit 23 transmits an image information request including identification information of the photographing device or image in which the detection unit 22 has detected a defect and the current position information of the vehicle to the image distribution device. The acquisition unit 24 acquires information on previously captured images identified by the image distribution device based on the identification information and the position information.
In this way, the acquisition unit 24 acquires the past image information from the image distribution device, so that even if a part or all of the angle of view of the failed image pickup device does not overlap with the angle of view of the other image pickup device, the failed image pickup is performed. The image can be complemented for the entire angle of view of the device.

なお、第一制御部190及び第二制御部290の機能の全部または一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することで各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
A program for realizing all or a part of the functions of the first control unit 190 and the second control unit 290 is recorded on a computer-readable recording medium, and the program recorded on the recording medium is stored in the computer system. The processing of each part may be performed by reading and executing. The term "computer system" as used herein includes hardware such as an OS and peripheral devices.
Further, the "computer-readable recording medium" refers to a portable medium such as a flexible disk, a magneto-optical disk, a ROM, or a CD-ROM, or a storage device such as a hard disk built in a computer system. Further, the above-mentioned program may be a program for realizing a part of the above-mentioned functions, and may be a program for realizing the above-mentioned functions in combination with a program already recorded in the computer system.

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 Although the embodiments of the present invention have been described in detail with reference to the drawings, the specific configuration is not limited to this embodiment, and includes designs and the like within a range that does not deviate from the gist of the present invention.

1、20 画像情報取得システム
10、21 移動体積載装置
11、22、191 検出部
12、23、111 送信部
13、24、112 取得部
25、200 画像配信装置
100 車載装置
110 第一通信部
120 撮影装置
130 表示部
180 第一記憶部
190 第一制御部
192 変換部
210 第二通信部
280 第二記憶部
281 過去画像情報記憶部
282 優先順位情報記憶部
290 第二制御部
291 過去画像情報選択部
1, 20 Image information acquisition system 10, 21 Mobile loading device 11, 22, 191 Detection unit 12, 23, 111 Transmission unit 13, 24, 112 Acquisition unit 25, 200 Image distribution device 100 In-vehicle device 110 First communication unit 120 Imaging device 130 Display unit 180 First storage unit 190 First control unit 192 Conversion unit 210 Second communication unit 280 Second storage unit 281 Past image information storage unit 282 Priority information storage unit 290 Second control unit 291 Past image information selection Department

Claims (7)

移動体に取り付けられた撮影装置または前記撮影装置が撮影した画像の不具合を検出する検出部と、
前記検出部が不具合を検出した撮影装置または画像の識別情報と、前記移動体の現在の位置情報と、前記移動体の種類を示す識別情報とを含む画像情報要求を画像配信装置へ送信する送信部と、
前記画像配信装置が前記撮影装置または画像の識別情報と前記位置情報と前記移動体の種類とに基づいて特定した過去に撮影された画像の情報を取得する取得部と、
を備える移動体積載装置。
A photographing device attached to a moving body or a detection unit that detects a defect in an image captured by the photographing device, and a detection unit.
Transmission that transmits an image information request including identification information of a photographing device or an image in which the detection unit has detected a defect, current position information of the moving body, and identification information indicating the type of the moving body to an image distribution device. Department and
An acquisition unit that acquires information on previously captured images identified by the image distribution device based on the imaging device or image identification information, the position information, and the type of the moving body.
A mobile loading device equipped with.
他の移動体の撮影装置が撮影した画像を、自らの移動体の撮影装置が撮影する範囲の画像に変換する変換部を備え、
前記取得部は、他の移動体の撮影装置が撮影した画像を前記画像配信装置から取得する、
請求項1に記載の移動体積載装置。
It is equipped with a conversion unit that converts an image taken by another moving object's imaging device into an image in the range captured by its own moving object's imaging device.
The acquisition unit acquires an image taken by another moving body photographing device from the image distribution device.
The mobile loading device according to claim 1.
移動体積載装置と画像配信装置とを備え、
前記移動体積載装置は、
移動体に取り付けられた撮影装置または前記撮影装置が取得した画像の不具合を検出する検出部と、
前記検出部が不具合を検出した撮影装置または画像の識別情報と、前記移動体の現在の位置情報と、前記移動体の種類を示す識別情報とを含む画像情報要求を前記画像配信装置へ送信する送信部と、
前記画像配信装置が前記撮影装置または画像の識別情報と前記位置情報と前記移動体の種類とに基づいて特定した過去に撮影された画像の情報を取得する取得部と、
を備え
前記画像配信装置は、
前記過去に撮影された画像の情報と前記識別情報とを対応付けられた過去画像情報を記憶する過去画像情報記憶部と、
移動体の種類毎の撮影範囲の類似度を示す優先順位情報を記憶する優先順位情報記憶部と、
前記移動体積載装置からの識別情報が示す移動体の種類を前記優先順位情報に適用し、適用結果が示す移動体の種類に基づいて、前記過去に撮影された画像の情報を選択する過去画像情報選択部と、
を備える画像情報取得システム。
Equipped with a mobile loading device and an image distribution device,
The mobile loading device is
A photographing device attached to a moving body or a detection unit that detects a defect in an image acquired by the photographing device, and a detection unit.
An image information request including identification information of a photographing device or an image in which the detection unit has detected a defect, current position information of the moving body, and identification information indicating the type of the moving body is transmitted to the image distribution device. With the transmitter
An acquisition unit that acquires information on previously captured images identified by the image distribution device based on the imaging device or image identification information, the position information, and the type of the moving body.
Equipped with a,
The image distribution device is
A past image information storage unit that stores past image information in which the information of the image taken in the past and the identification information are associated with each other.
A priority information storage unit that stores priority information indicating the similarity of the shooting range for each type of moving object, and a priority information storage unit.
A past image in which the type of the moving body indicated by the identification information from the moving body loading device is applied to the priority information, and the information of the image taken in the past is selected based on the type of the moving body indicated by the application result. Information selection section and
Image information acquisition system equipped with.
前記移動体積載装置は、他の移動体の撮影装置が撮影した画像を、自らの移動体の撮影装置が撮影する範囲の画像に変換する変換部を備え、
前記取得部は、他の移動体の撮影装置が撮影した画像を前記画像配信装置から取得する、
請求項3に記載の画像情報取得システム。
The moving body loading device includes a conversion unit that converts an image taken by another moving body photographing device into an image in a range taken by its own moving body photographing device.
The acquisition unit acquires an image taken by another moving body photographing device from the image distribution device.
The image information acquisition system according to claim 3.
前記移動体積載装置は、複数の前記撮影装置を備え、
前記送信部は、複数の前記撮影装置が撮影した画像のうち不具合を検出されなかった画像を含む前記画像情報要求を前記画像配信装置へ送信し、
前記過去画像情報選択部は、前記送信部が送信した画像と、前記過去画像情報に含まれる画像との類似度を評価し、類似度の評価結果に基づいて前記過去に撮影された画像の情報を選択する、
請求項に記載の画像情報取得システム。
The mobile loading device includes a plurality of the photographing devices.
The transmission unit transmits the image information request including the image in which no defect is detected among the images taken by the plurality of photographing devices to the image distribution device.
The past image information selection unit evaluates the degree of similarity between the image transmitted by the transmission unit and the image included in the past image information, and based on the evaluation result of the degree of similarity, information on the image taken in the past. To select,
The image information acquisition system according to claim 4.
移動体に取り付けられた撮影装置または前記撮影装置が撮影した画像の不具合を検出し、
不具合を検出した撮影装置または画像の識別情報と、前記移動体の現在の位置情報と、前記移動体の種類を示す識別情報とを画像配信装置へ送信し、
前記画像配信装置が前記撮影装置または画像の識別情報と前記位置情報と前記移動体の種類とに基づいて特定した過去に撮影された画像の情報を取得する、
ことを含む画像情報取得方法。
Detects a defect in the imaging device attached to the moving body or the image captured by the imaging device,
The identification information of the photographing device or the image in which the defect is detected, the current position information of the moving body, and the identification information indicating the type of the moving body are transmitted to the image distribution device.
The image distribution device acquires information on images taken in the past specified by the image distribution device based on the identification information of the photographing device or the image, the position information, and the type of the moving body.
Image information acquisition method including that.
コンピュータに、
移動体に取り付けられた撮影装置または前記撮影装置が撮影した画像の不具合を検出させ、
不具合を検出した撮影装置または画像の識別情報と、前記移動体の現在の位置情報と、前記移動体の種類を示す識別情報とを画像配信装置へ送信させ、
前記画像配信装置が前記撮影装置または画像の識別情報と前記位置情報と前記移動体の種類とに基づいて特定した過去に撮影された画像の情報を取得させる、
ためのプログラム。
On the computer
Detects a defect in the imaging device attached to the moving body or the image captured by the imaging device, and detects the defect.
The image distribution device is made to transmit the identification information of the photographing device or the image in which the defect is detected, the current position information of the moving body, and the identification information indicating the type of the moving body.
The image distribution device acquires information on images taken in the past specified based on the identification information of the photographing device or the image, the position information, and the type of the moving body.
Program for.
JP2017056258A 2017-03-22 2017-03-22 Mobile loading device, image information acquisition system, image information acquisition method and program Active JP6919254B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017056258A JP6919254B2 (en) 2017-03-22 2017-03-22 Mobile loading device, image information acquisition system, image information acquisition method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017056258A JP6919254B2 (en) 2017-03-22 2017-03-22 Mobile loading device, image information acquisition system, image information acquisition method and program

Publications (2)

Publication Number Publication Date
JP2018160759A JP2018160759A (en) 2018-10-11
JP6919254B2 true JP6919254B2 (en) 2021-08-18

Family

ID=63796086

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017056258A Active JP6919254B2 (en) 2017-03-22 2017-03-22 Mobile loading device, image information acquisition system, image information acquisition method and program

Country Status (1)

Country Link
JP (1) JP6919254B2 (en)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007158642A (en) * 2005-12-05 2007-06-21 Alpine Electronics Inc Car-periphery image provider
JP5262976B2 (en) * 2009-05-14 2013-08-14 株式会社デンソー In-vehicle display device
JP4909451B1 (en) * 2011-03-28 2012-04-04 パイオニア株式会社 Information display apparatus and control method
JP6398501B2 (en) * 2014-09-10 2018-10-03 株式会社デンソー In-vehicle camera diagnostic device
JP2018088144A (en) * 2016-11-29 2018-06-07 株式会社デンソー Section line recognition device

Also Published As

Publication number Publication date
JP2018160759A (en) 2018-10-11

Similar Documents

Publication Publication Date Title
US11023788B2 (en) Systems and methods for estimating future paths
JP6176541B2 (en) Information display device, information display method, and program
JP5663352B2 (en) Image processing apparatus, image processing method, and image processing program
US10180318B2 (en) Stereo camera apparatus, vehicle provided with stereo camera apparatus, and non-transitory recording medium
JP4926766B2 (en) Shooting range adjusting device, shooting range adjusting method, and computer program
JP6429452B2 (en) In-vehicle image processing apparatus and semiconductor device
US11126875B2 (en) Method and device of multi-focal sensing of an obstacle and non-volatile computer-readable storage medium
JP2020035447A (en) Object identification method, device, apparatus, vehicle and medium
US20200349738A1 (en) Camera-calibration system and method thereof
JP6395010B2 (en) Information provision system for billing location evaluation
US20190227543A1 (en) Driving information display device, driving information display method, and method of controlling driving speed of working vehicle
JP6532616B2 (en) Display control device, display system, and display control method
JPWO2016151976A1 (en) MOBILE BODY DETECTING DEVICE, IMAGE PROCESSING DEVICE, MOBILE BODY DETECTING METHOD, AND INTEGRATED CIRCUIT
CN105383369A (en) Method and device for adapting a brightness of a headlight for a vehicle
JP2018189463A (en) Vehicle position estimating device and program
US20240034236A1 (en) Driver assistance apparatus, a vehicle, and a method of controlling a vehicle
JP6919254B2 (en) Mobile loading device, image information acquisition system, image information acquisition method and program
CN114761757A (en) Information processing apparatus, information processing method, and program
KR102121287B1 (en) Camera system and controlling method of Camera system
JP2020106986A (en) Information processing device, information processing method, and mobile
JP7436509B2 (en) Information processing device, imaging device, information processing method, and program
JP2021076884A (en) Automatic detection system and automatic detection program
JP2019087083A (en) Travel lane recognition device, travel lane recognition method, and program
US20240070909A1 (en) Apparatus and method for distance estimation
JP6979438B2 (en) Database generation system and database generation program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201030

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210622

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210705

R150 Certificate of patent or registration of utility model

Ref document number: 6919254

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150