JP6907938B2 - Vehicle search system and vehicle search method - Google Patents

Vehicle search system and vehicle search method Download PDF

Info

Publication number
JP6907938B2
JP6907938B2 JP2017509293A JP2017509293A JP6907938B2 JP 6907938 B2 JP6907938 B2 JP 6907938B2 JP 2017509293 A JP2017509293 A JP 2017509293A JP 2017509293 A JP2017509293 A JP 2017509293A JP 6907938 B2 JP6907938 B2 JP 6907938B2
Authority
JP
Japan
Prior art keywords
vehicle
image
imaging
search
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017509293A
Other languages
Japanese (ja)
Other versions
JPWO2016157894A1 (en
Inventor
亮介 石井
亮介 石井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=57004060&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP6907938(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2016157894A1 publication Critical patent/JPWO2016157894A1/en
Application granted granted Critical
Publication of JP6907938B2 publication Critical patent/JP6907938B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、車両検索システム及び車両検索方法に関する。 The present invention relates to a vehicle search system and a vehicle search method.

Ｎシステム（自動車ナンバー読取装置）のように、自動車のナンバープレートを自動で読み取って、検索対象となっている車両（以下、検索車両という）を検出するシステムが一般的に知られている。 A system that automatically reads the license plate of an automobile and detects a vehicle to be searched (hereinafter referred to as a search vehicle), such as an N system (automatic number plate recognition), is generally known.

ここで、Ｎシステムのような大がかりなシステムは、装置の価格が高いため、全ての道路に設置することが困難である。このため、Ｎシステムは、比較的、交通量の多い主要道路（例えば、高速道路、国道等）に優先的に設置され、検索車両の検索を行っている。しかしながら、Ｎシステムは、上述したように、全ての道路に設置することが困難であるため、例えば、他の道路（例えば、県道等）には設置されていない可能性がある。このように、Ｎシステムは、全ての道路に設置することが困難であるため、このＮシステムが設置された主要道路を検索車両が通過しない限り、検索車両を検索することができなかった。 Here, a large-scale system such as the N system is difficult to install on all roads due to the high price of the device. For this reason, the N system is preferentially installed on major roads (for example, expressways, national roads, etc.) with relatively heavy traffic, and searches for search vehicles. However, as described above, it is difficult to install the N system on all roads, so that it may not be installed on other roads (for example, prefectural roads). As described above, since it is difficult to install the N system on all roads, the search vehicle cannot be searched unless the search vehicle passes through the main road on which the N system is installed.

そこで、限られた地点以外であっても検索車両の位置を特定するための技術として、車載装置、報知方法、車両照合システム及びコンピュータプログラムが特許文献１に記載されている。この特許文献１記載の技術は、車載カメラにより前方の車両、後方の車両、対向車両のナンバープレートを撮像し、検索車両を検索している。 Therefore, Patent Document 1 describes an in-vehicle device, a notification method, a vehicle collation system, and a computer program as a technique for specifying the position of a search vehicle even if it is not a limited point. The technique described in Patent Document 1 uses an in-vehicle camera to image the license plates of a vehicle in front, a vehicle in the rear, and an oncoming vehicle to search for a search vehicle.

また、限られた地点以外であっても検索車両の位置を特定するための技術として、盗難車両検索システムおよび盗難車両検索システムにおける検索方法が特許文献２に記載されている。この特許文献２記載の技術は、航空機等から撮像した画像を用いて、検索車両の現時点での位置を予測している。 Further, Patent Document 2 describes a search method in a stolen vehicle search system and a stolen vehicle search system as a technique for identifying the position of a search vehicle even if it is not a limited point. The technique described in Patent Document 2 predicts the current position of the search vehicle by using an image taken from an aircraft or the like.

特開２０１１−１６５１４６号公報Japanese Unexamined Patent Publication No. 2011-165146 特開２００８−２６９１０１号公報Japanese Unexamined Patent Publication No. 2008-269101

しかしながら、上記特許文献１記載の技術は、カメラが搭載された車両の前後方の車両、対向車線を通過する車両等を検索対象としている。このため、上記特許文献１記載の技術は、発見した検索車両が対向車線を通過した車両であった場合、その後、折り返して追跡したとしても、既に検索車両が逃走している可能性がある。これにより、利用者が車両を見失ってしまう。このように、上記特許文献１記載の技術は、現時点での検索車両の位置を特定する確実性を低減させてしまうという技術的課題がある。 However, the technique described in Patent Document 1 searches for vehicles in front of and behind a vehicle equipped with a camera, vehicles passing through an oncoming lane, and the like. Therefore, in the technique described in Patent Document 1, if the found search vehicle is a vehicle that has passed the oncoming lane, there is a possibility that the search vehicle has already escaped even if the search vehicle is turned back and tracked thereafter. As a result, the user loses sight of the vehicle. As described above, the technique described in Patent Document 1 has a technical problem of reducing the certainty of specifying the position of the search vehicle at the present time.

また、上記特許文献２記載の技術は、航空機等から撮像した後、所定期間（例えば、一か月）、蓄積した画像を用いて、盗難された車両の現時点での位置を予測している。このように、上記特許文献２記載の技術は、現時点ではなく、過去の画像を用いており、盗難された車両が確実に予測した位置にいるか否かが定かではない。このため、上記特許文献２記載の技術も、現時点での検索車両の位置を特定する確実性を低減させてしまうという技術的課題がある。 Further, the technique described in Patent Document 2 predicts the current position of a stolen vehicle by using an image accumulated for a predetermined period (for example, one month) after taking an image from an aircraft or the like. As described above, the technique described in Patent Document 2 uses past images, not the present time, and it is uncertain whether or not the stolen vehicle is in the predicted position. Therefore, the technique described in Patent Document 2 also has a technical problem of reducing the certainty of specifying the position of the search vehicle at the present time.

本発明の目的は、現時点での車両の位置を特定する確実性を向上させることが可能な車両検索システム及び車両検索方法を提供することにある。 An object of the present invention is to provide a vehicle search system and a vehicle search method capable of improving the certainty of identifying the position of a vehicle at the present time.

上記目的を達成するために、本発明に係る車両検索システムは、飛行物体に搭載され、上空から地上を撮像する撮像手段と、上記撮像手段により撮像されている画像から、車両の画像を抽出する車両画像抽出手段と、上記車両画像抽出手段により抽出された車両の画像からナンバープレート上のナンバー情報を読み取るナンバー情報読取手段と、上記ナンバー情報読取手段により読み取られたナンバー情報が、予め設定されている検索車両情報と一致するか否かを判定する検索車両判定手段と、上記検索車両判定手段により上記ナンバー情報と上記検索車両情報とが一致すると判定された場合、このナンバー情報に基づく車両を撮像するように上記撮像手段の撮像方向を制御する撮像方向制御手段と、を具備して構成される。 In order to achieve the above object, the vehicle search system according to the present invention is mounted on a flying object and extracts an image of a vehicle from an image pickup means for imaging the ground from the sky and an image captured by the image pickup means. The vehicle image extracting means, the number information reading means for reading the number information on the license plate from the vehicle image extracted by the vehicle image extracting means, and the number information read by the number information reading means are preset. When the search vehicle determination means for determining whether or not the information matches the existing search vehicle information and the search vehicle determination means determine that the number information and the search vehicle information match, the vehicle based on this number information is imaged. The image pickup direction control means for controlling the image pickup direction of the image pickup means is provided.

上記目的を達成するために、本発明に係る車両検索方法は、上空から地上が撮像されている画像から、車両の画像を抽出し、抽出した車両の画像からナンバープレート上のナンバー情報を読み取り、読み取ったナンバー情報が、予め設定されている検索車両情報と一致するか否かを判定し、上記ナンバー情報と上記検索車両情報とが一致すると判定した場合には、このナンバー情報に基づく車両を撮像するように撮像方向を制御する。 In order to achieve the above object, the vehicle search method according to the present invention extracts a vehicle image from an image of the ground imaged from the sky, reads the number information on the license plate from the extracted vehicle image, and then reads the number information on the license plate. It is determined whether or not the read number information matches the preset search vehicle information, and if it is determined that the number information and the search vehicle information match, the vehicle based on this number information is imaged. The imaging direction is controlled so as to be performed.

本発明によれば、現時点での車両の位置を特定する確実性を向上させることができる。 According to the present invention, it is possible to improve the certainty of identifying the position of the vehicle at the present time.

本発明の一実施形態（第１の実施形態）に係る車両検索システムの構成を示すブロック図である。It is a block diagram which shows the structure of the vehicle search system which concerns on one Embodiment (1st Embodiment) of this invention. 本発明の一実施形態（第１の実施形態）に係る車両検索システムに実行させる処理を示すフローチャートである。It is a flowchart which shows the process which causes the vehicle search system which concerns on one Embodiment (1st Embodiment) of this invention to execute. 本発明の他の実施形態（第２の実施形態）に係る車両検索システムの構成を示すブロック図である。It is a block diagram which shows the structure of the vehicle search system which concerns on other embodiment (second embodiment) of this invention. 本発明の他の実施形態（第２の実施形態）に係る車両検索システムに実行させる処理の流れを示すシーケンスである。It is a sequence which shows the flow of the process to execute the vehicle search system which concerns on another embodiment (second embodiment) of this invention. 本発明の他の実施形態（第２の実施形態）に係る車両検索システムにおいて、機上装置における電源投入処理を示すフローチャートである。It is a flowchart which shows the power-on process in the on-board device in the vehicle search system which concerns on other embodiment (second embodiment) of this invention. 本発明の他の実施形態（第２の実施形態）に係る車両検索システムにおいて、機上装置における割込処理を示すフローチャートである。It is a flowchart which shows the interrupt process in the on-board device in the vehicle search system which concerns on other embodiment (second embodiment) of this invention. 本発明の他の実施形態（第３の実施形態）に係る車両検索システムの構成を示すブロック図である。It is a block diagram which shows the structure of the vehicle search system which concerns on other embodiment (third embodiment) of this invention.

（第１の実施形態）
図１及び図２を用いて、本発明の一実施形態（第１の実施形態）について説明する。まず、図１を用いて、本実施形態の車両検索システム１００の構成について説明する。図１は、本実施形態（第１の実施形態）に係る車両検索システム１００の構成を示すブロック図である。(First Embodiment)
An embodiment (first embodiment) of the present invention will be described with reference to FIGS. 1 and 2. First, the configuration of the vehicle search system 100 of the present embodiment will be described with reference to FIG. FIG. 1 is a block diagram showing a configuration of a vehicle search system 100 according to the present embodiment (first embodiment).

図１に例示されるように、本実施形態の車両検索システム１００は、撮像部１０１、車両画像抽出部１０２、ナンバー情報読取部１０３、検索車両判定部１０４及び撮像方向制御部１０５を具備する。 As illustrated in FIG. 1, the vehicle search system 100 of the present embodiment includes an image pickup unit 101, a vehicle image extraction unit 102, a number information reading unit 103, a search vehicle determination unit 104, and an image pickup direction control unit 105.

本実施形態において、車両検索システム１００は、ヘリコプター等の航空機に搭載される。車両画像抽出部１０２は、撮像部１０１により撮像されている画像から、車両の画像を抽出する。ナンバー情報読取部１０３は、車両画像抽出部１０２により抽出された車両の画像からナンバープレート上のナンバー情報を読み取る。検索車両判定部１０４は、ナンバー情報読取部１０３により読み取られたナンバー情報と、予め設定されている検索車両情報とを対比し、両者が一致しているか否かを判定する。 In this embodiment, the vehicle search system 100 is mounted on an aircraft such as a helicopter. The vehicle image extraction unit 102 extracts an image of the vehicle from the image captured by the image pickup unit 101. The number information reading unit 103 reads the number information on the license plate from the image of the vehicle extracted by the vehicle image extracting unit 102. The search vehicle determination unit 104 compares the number information read by the number information reading unit 103 with the preset search vehicle information, and determines whether or not the two match.

撮像方向制御部１０５は、検索車両判定部１０４によりナンバー情報と検索車両情報とが一致していると判定された場合、ナンバー情報に基づく車両を撮像するように撮像部１０１の撮像方向を制御する。 When the search vehicle determination unit 104 determines that the number information and the search vehicle information match, the image pickup direction control unit 105 controls the image pickup direction of the image pickup unit 101 so as to image a vehicle based on the number information. ..

（車両検索方法）
次に、図２を用いて、車両検索システム１００に実行させる処理について説明する。図２は、本実施形態（第１の実施形態）に係る車両検索システム１００に実行させる処理を示すフローチャートである。(Vehicle search method)
Next, a process to be executed by the vehicle search system 100 will be described with reference to FIG. FIG. 2 is a flowchart showing a process to be executed by the vehicle search system 100 according to the present embodiment (first embodiment).

ステップＳ１において、車両検索システム１００は、車両画像抽出処理を行う。この処理において、車両検索システム１００は、撮像部１０１にて撮像されている画像から車両の画像を抽出する処理を行う。 In step S1, the vehicle search system 100 performs a vehicle image extraction process. In this process, the vehicle search system 100 performs a process of extracting an image of the vehicle from the image captured by the image pickup unit 101.

ステップＳ２において、車両検索システム１００は、ナンバー情報読取処理を行う。この処理において、車両検索システム１００は、上記ステップＳ１にて抽出された車両の画像からナンバープレートのナンバー情報を読み取る処理を行う。 In step S2, the vehicle search system 100 performs the number information reading process. In this process, the vehicle search system 100 performs a process of reading the license plate number information from the vehicle image extracted in step S1.

ステップＳ３において、車両検索システム１００は、判定処理を行う。この処理において、車両検索システム１００は、上記ステップＳ２にて読み取ったナンバー情報と予め設定されている検索車両情報とを対比し、両者が一致しているか否かを判定する。ここで、検索車両情報とは、利用者が検索したい車両のナンバー情報である。 In step S3, the vehicle search system 100 performs the determination process. In this process, the vehicle search system 100 compares the number information read in step S2 with the preset search vehicle information, and determines whether or not they match. Here, the search vehicle information is the number information of the vehicle that the user wants to search.

この処理において、車両検索システム１００は、ナンバー情報と車両検索情報とが一致していると判定した場合には、ステップＳ４に処理を移す。一方、この処理において、車両検索システム１００は、ナンバー情報と車両検索情報とが一致していないと判定した場合には、ステップＳ１に処理を移す。 In this process, if the vehicle search system 100 determines that the number information and the vehicle search information match, the process proceeds to step S4. On the other hand, in this process, when the vehicle search system 100 determines that the number information and the vehicle search information do not match, the vehicle search system 100 shifts the process to step S1.

ステップＳ４において、車両検索システム１００は、撮像方向制御処理を行う。この処理において、車両検索システム１００は、上記ステップＳ３にてナンバー情報と車両検索情報とが一致していると判定した場合、このナンバー情報に基づく車両を撮像部１０１にて撮像するように、撮像部１０１の撮像方向を制御する。 In step S4, the vehicle search system 100 performs the imaging direction control process. In this process, when the vehicle search system 100 determines in step S3 that the number information and the vehicle search information match, the vehicle search system 100 takes an image so that the image pickup unit 101 takes an image of the vehicle based on the number information. The imaging direction of the unit 101 is controlled.

よって、本実施形態の車両検索システム１００によれば、現時点での車両の位置を特定する確実性を向上させることができる。 Therefore, according to the vehicle search system 100 of the present embodiment, it is possible to improve the certainty of specifying the position of the vehicle at the present time.

（第２の実施形態）
図３乃至図６を用いて、本発明の他の実施形態（第２の実施形態）について説明する。まず、図３を用いて、本実施形態の車両検索システム２００の構成について説明する。図３は、本実施形態（第２の実施形態）に係る車両検索システム２００の内部構成を示すブロック図である。(Second embodiment)
Other embodiments (second embodiment) of the present invention will be described with reference to FIGS. 3 to 6. First, the configuration of the vehicle search system 200 of the present embodiment will be described with reference to FIG. FIG. 3 is a block diagram showing an internal configuration of the vehicle search system 200 according to the present embodiment (second embodiment).

（車両検索システム２００の構成）
本実施形態の車両検索システム２００は、機上装置２１０及び地上装置２２０を具備している。機上装置２１０は、航空機に搭載される。これにより、後述する機上装置２１０の撮像部２１１は、上空から地上を撮像することが可能となる。地上装置２２０は、例えば、機上装置２１０を管理する施設に設置される。地上装置２２０は、機上装置２１０から不審車両情報が送られると、この不審車両情報を巡回中のパトカー等に展開している。車両検索システム２００は、機上装置２１０で発見した不審車両の情報を地上装置２２０に伝達し、地上との連携に役立てている。まず、機上装置２１０について説明し、機上装置２１０を説明した後に、地上装置２２０について説明する。(Configuration of vehicle search system 200)
The vehicle search system 200 of the present embodiment includes an on-board device 210 and a ground device 220. The on-board device 210 is mounted on the aircraft. As a result, the image pickup unit 211 of the on-board device 210, which will be described later, can take an image of the ground from the sky. The ground device 220 is installed, for example, in a facility that manages the onboard device 210. When the suspicious vehicle information is sent from the on-board device 210, the ground device 220 deploys the suspicious vehicle information to a patrol car or the like. The vehicle search system 200 transmits information on the suspicious vehicle found by the on-board device 210 to the ground device 220, and is useful for cooperation with the ground. First, the on-board device 210 will be described, the on-board device 210 will be described, and then the ground device 220 will be described.

（機上装置２１０）
本実施形態において、機上装置２１０は、機外装置２０９と機内装置２０７とから構成される。まず、機外装置２０９について説明する。機外装置２０９は、撮像部２１１及び撮像方向制御部２２５を具備している。(On-board device 210)
In the present embodiment, the on-board device 210 includes an external device 209 and an in-flight device 207. First, the external device 209 will be described. The external device 209 includes an imaging unit 211 and an imaging direction control unit 225.

（撮像部２１１）
機外装置２０９の撮像部２１１は、図示しないレンズ及びディジタル撮像素子を有している。レンズは、例えば、集光レンズ又はズームレンズ等を用いて構成される。ディジタル撮像素子は、例えば、ＣＣＤで構成され、レンズにより受光した光の強度に応じて電荷を生成する素子である。そして、撮像部２１１は、ディジタル撮像素子によって生成された電荷に応じて画像を生成する。このＣＣＤについては、周知の技術であるため、具体的な説明は省略する。「ＣＣＤ」とは、「Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ」の略である。(Imaging unit 211)
The image pickup unit 211 of the external device 209 includes a lens and a digital image pickup device (not shown). The lens is configured by using, for example, a condenser lens, a zoom lens, or the like. The digital image sensor is, for example, an element composed of a CCD and generating an electric charge according to the intensity of light received by the lens. Then, the image pickup unit 211 generates an image according to the electric charge generated by the digital image pickup element. Since this CCD is a well-known technique, a specific description thereof will be omitted. "CCD" is an abbreviation for "Charge Coupled Device".

なお、本実施形態の撮像部２１１のディジタル画像素子は、上述したように、ＣＣＤで構成されるが、これに限定されず、レンズにより受光した光の強度に応じて電荷を生成するものであれば、例えば、ＣＭＯＳ等で構成しても良い。このＣＭＯＳについても、ＣＣＤと同様に、周知の技術であるため、具体的な説明は省略する。「ＣＭＯＳ」とは、「Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ」の略である。 As described above, the digital image element of the imaging unit 211 of the present embodiment is composed of a CCD, but is not limited to this, and may generate an electric charge according to the intensity of the light received by the lens. For example, it may be configured by CMOS or the like. Since this CMOS is also a well-known technique like the CCD, a specific description thereof will be omitted. "CMOS" is an abbreviation for "Complementary Metal Oxide Sensor".

ここで、機外装置２０９は、図示しないＧＰＳ受信部を有しており、このＧＰＳ受信部により座標データを受信し、撮像部２１１にて撮像する際に、画像に座標データを付している。そして、機外装置２０９は、撮像部２１１にて撮像した画像を機内装置２０７に送信する際に、画像とともに、座標データを送信する。また、機外装置２０９は、機上装置２１０の座標データを機内装置２０７に送信する。なお、画像に座標データを付す点については、周知であるため、具体的な説明については省略する。「ＧＰＳ」とは、「Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ」の略である。 Here, the external device 209 has a GPS receiving unit (not shown), and when the GPS receiving unit receives the coordinate data and the imaging unit 211 takes an image, the coordinate data is attached to the image. .. Then, when the external device 209 transmits the image captured by the imaging unit 211 to the in-flight device 207, the external device 209 transmits the coordinate data together with the image. Further, the external device 209 transmits the coordinate data of the on-board device 210 to the in-flight device 207. Since it is well known that coordinate data is attached to an image, a specific description thereof will be omitted. "GPS" is an abbreviation for "Global Positioning System".

これにより、後述する機内装置２０７の追尾情報生成部２１２は、機上装置２１０の座標データと撮像した画像の座標データとを用いて制御情報を生成することが可能になる。なお、これら制御情報の生成方法については、後述する。 As a result, the tracking information generation unit 212 of the in-flight device 207, which will be described later, can generate control information using the coordinate data of the on-board device 210 and the coordinate data of the captured image. The method of generating these control information will be described later.

（撮像方向制御部２２５）
撮像方向制御部２２５は、撮像部２１１の振動を抑制する振動制御を行う。撮像方向制御部２２５は、この処理を行うために、図示しないジャイロセンサを有している。なお、ジャイロセンサは、周知の技術であるため、具体的な説明を省略する。(Imaging direction control unit 225)
The image pickup direction control unit 225 performs vibration control that suppresses the vibration of the image pickup unit 211. The imaging direction control unit 225 has a gyro sensor (not shown) for performing this process. Since the gyro sensor is a well-known technique, a specific description thereof will be omitted.

撮像方向制御部２２５は、操作部２０８による制御か、又は追尾情報生成部２１２による制御で駆動する。通常、撮像方向制御部２２５は、操作部２０８による制御で駆動する。これに対し、ユーザが操作部２０８の操作により自動検索モードに切り替えた場合には、追尾情報生成部２１２が周囲を自動でスキャンする。不審車両を追尾するときは追尾情報生成部２１２が自動で車両の追尾を開始する。これにより、撮像方向制御部２２５は、追尾情報生成部２１２による制御で駆動する。 The image pickup direction control unit 225 is driven by the control by the operation unit 208 or the control by the tracking information generation unit 212. Normally, the imaging direction control unit 225 is driven by control by the operation unit 208. On the other hand, when the user switches to the automatic search mode by operating the operation unit 208, the tracking information generation unit 212 automatically scans the surroundings. When tracking a suspicious vehicle, the tracking information generation unit 212 automatically starts tracking the vehicle. As a result, the imaging direction control unit 225 is driven by the control of the tracking information generation unit 212.

撮像方向制御部２２５は、追尾情報生成部２１２から送信される制御情報を受信すると、設定された撮像方向に撮像部２１１を向ける処理を行う。ここで、設定された撮像方向に撮像部２１１を向ける処理は、上述の設定された撮像方向に撮像部２１１が向いていない、すなわち、撮像部２１１が異なる方向を向いている場合に行われる。これにより、この処理では、設定された撮像方向に撮像部２１１を向ける処理が行われる。このため、撮像方向制御部２２５は、撮像部２１１の撮像方向を変更する場合には、上述の設定されている撮像部２１１の撮像方向に撮像部２１１が向いていない場合に行われる。 Upon receiving the control information transmitted from the tracking information generation unit 212, the image pickup direction control unit 225 performs a process of directing the image pickup unit 211 in the set imaging direction. Here, the process of pointing the imaging unit 211 in the set imaging direction is performed when the imaging unit 211 is not oriented in the set imaging direction described above, that is, the imaging unit 211 is oriented in a different direction. As a result, in this process, the process of directing the imaging unit 211 in the set imaging direction is performed. Therefore, the image pickup direction control unit 225 is performed when the image pickup direction of the image pickup unit 211 is changed when the image pickup unit 211 is not oriented in the image pickup direction of the image pickup unit 211 set above.

また、撮像方向制御部２２５は、撮像部２１１の撮像方向を制御する。具体的には、撮像方向制御部２２５は、後述する追尾情報生成部２１２により送信される制御情報を受信すると、この制御情報に基づいて、上述の利用者により入力された撮像方向を書き換えて、新たに撮像方向を設定する。このため、撮像部２１１の撮像方向は、利用者により入力された情報から、制御情報に基づいて、更新されていく。ここで、制御情報とは、撮像部２１１の撮像方向を制御するための撮像方向情報をいう。また、撮像部２１１の撮像方向とは、撮像部２１１が映している方角のことをいう。画角とは、映像に映る範囲を角度で示したものをいう。そして、撮像方向制御部２２５は、撮像部２１１の撮像方向の変更及びズーム倍率の制御を行う。また、撮像方向制御部２２５は、追尾情報生成部２１２に撮像部２１１の現在の撮像方向情報を送信する。 Further, the image pickup direction control unit 225 controls the image pickup direction of the image pickup unit 211. Specifically, when the image pickup direction control unit 225 receives the control information transmitted by the tracking information generation unit 212 described later, the image pickup direction control unit 225 rewrites the image pickup direction input by the above-mentioned user based on the control information. Set a new imaging direction. Therefore, the imaging direction of the imaging unit 211 is updated based on the control information from the information input by the user. Here, the control information refers to the imaging direction information for controlling the imaging direction of the imaging unit 211. Further, the imaging direction of the imaging unit 211 means the direction in which the imaging unit 211 is projecting. The angle of view is an angle that indicates the range of the image. Then, the image pickup direction control unit 225 changes the image pickup direction of the image pickup unit 211 and controls the zoom magnification. Further, the image pickup direction control unit 225 transmits the current image pickup direction information of the image pickup unit 211 to the tracking information generation unit 212.

次に、機内装置２０７について説明する。機内装置２０７は、互いにバスで接続されたＣＰＵ２１０ａ、ＲＯＭ２１０ｂ、ＲＡＭ２１０ｃを具備し、コンピュータプログラムを実行する。これにより、機内装置２０７は、画像処理部２２１、車両画像抽出部２２２、検索車両判定部２２４及び追尾情報生成部２１２を制御する装置として機能する。「ＣＰＵ」とは、「Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ」の略である。「ＲＯＭ」とは、「Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ」の略である。「ＲＡＭ」とは、「Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ」の略である。 Next, the in-flight device 207 will be described. The in-flight device 207 includes a CPU 210a, a ROM 210b, and a RAM 210c connected to each other by a bus, and executes a computer program. As a result, the in-flight device 207 functions as a device that controls the image processing unit 221, the vehicle image extraction unit 222, the search vehicle determination unit 224, and the tracking information generation unit 212. "CPU" is an abbreviation for "Central Processing Unit". "ROM" is an abbreviation for "Read Only Memory". "RAM" is an abbreviation for "Random Access Memory".

（操作部２０８）
また、機内装置２０７は、操作部２０８を具備している。この操作部２０８は、複数の操作ボタンを有し、利用者による撮像方向、画角、追尾車両登録等の操作を可能としている。この操作部２０８は、複数の操作ボタンを有し、利用者による車両検索情報の入力を可能にしている。(Operation unit 208)
In addition, the in-flight device 207 includes an operation unit 208. The operation unit 208 has a plurality of operation buttons, and enables the user to perform operations such as imaging direction, angle of view, and tracking vehicle registration. The operation unit 208 has a plurality of operation buttons and enables the user to input vehicle search information.

なお、本実施形態の機内装置２０７は、上述したように、ＣＰＵ２１０ａ等を備え、コンピュータプログラムを実行しているが、これに限定されず、ＡＳＩＣ、ＰＬＤ等のハードウェアを用いてプログラムを実行しても良い。「ＡＳＩＣ」とは、「Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ」の略である。「ＰＬＤ」とは、「Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ」の略である。 As described above, the in-flight device 207 of the present embodiment includes a CPU 210a or the like and executes a computer program, but the present invention is not limited to this, and the program is executed using hardware such as an ASIC or PLD. You may. "ASIC" is an abbreviation for "Application Special Integrated Circuit". "PLD" is an abbreviation for "Programmable Logic Device".

（画像処理部２２１）
画像処理部２２１は、撮像部２１１から送信された画像のボケ除去、超解像、照明変化除去等の処理を行う。なお、この処理については、周知の技術であるため、詳細な説明を省略する。これにより、後述する車両画像抽出部２２２は、車両の画像の領域を抽出することが可能になる。(Image processing unit 221)
The image processing unit 221 performs processing such as blur removal, super-resolution, and illumination change removal of the image transmitted from the image pickup unit 211. Since this process is a well-known technique, detailed description thereof will be omitted. As a result, the vehicle image extraction unit 222, which will be described later, can extract a region of the vehicle image.

（車両画像抽出部２２２）
車両画像抽出部２２２は、画像処理部２２１により補正された画像に基づいて、この画像の中から車両の画像を抽出する。なお、画像の中から車両の画像を抽出する方法については、パターン認識技術を利用しており、周知の技術であるため、詳細な説明は省略する。一例として、車両画像抽出部２２２は、画像処理部２２１から画像を受け取ると、車両の特徴情報を用いて、画像の中から車両の画像の領域を抽出する。(Vehicle image extraction unit 222)
The vehicle image extraction unit 222 extracts an image of the vehicle from this image based on the image corrected by the image processing unit 221. As for the method of extracting the image of the vehicle from the image, a pattern recognition technique is used and it is a well-known technique, so detailed description thereof will be omitted. As an example, when the vehicle image extraction unit 222 receives an image from the image processing unit 221, the vehicle image extraction unit 222 extracts a region of the vehicle image from the image by using the vehicle feature information.

（ナンバー情報読取部２２３）
ナンバー情報読取部２２３は、抽出した車両の画像に基づいて、車両のナンバープレート情報を読み取る。ここで、ナンバープレートに表示されている文字は、位置、文字の種類、配置について様式が定められているため、この様式に従い、ＯＣＲ技術を用いて各文字を抽出する。例えば、一連指定番号の左方側には、用途記号、左上方には、陸運支局名、右上方には、分類番号が並んでいる。これら定められた様式を利用し、各文字を画像から切り出して、ナンバープレートの画像からナンバー情報をテキスト化する。「ＯＣＲ」とは、「Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅｒ（光学式文字読取装置）」の略である。(Number information reading unit 223)
The license plate information reading unit 223 reads the license plate information of the vehicle based on the extracted image of the vehicle. Here, since the style of the characters displayed on the license plate is defined for the position, the type of the character, and the arrangement, each character is extracted by using the OCR technique according to this style. For example, the usage symbol is lined up on the left side of the serial designation number, the name of the land transportation branch office is lined up on the upper left side, and the classification number is lined up on the upper right side. Using these prescribed formats, each character is cut out from the image, and the number information is converted into text from the image on the license plate. "OCR" is an abbreviation for "Optical Character Reader".

なお、本実施形態では、上述したように、車両のナンバープレートのナンバー情報を読み取るが、これに限定されず、例えば、車両の車種を認識しても良い。車両の車種を認識する方法については、既知の方法を用いると良いが、一例として、抽出した車両の画像の領域からタイヤ領域、窓領域を除いたボディ領域を抽出する。そして、抽出した画像のカラー情報を調べ、ボディの色を特定すると良い。 In the present embodiment, as described above, the number information of the license plate of the vehicle is read, but the present invention is not limited to this, and for example, the vehicle type of the vehicle may be recognized. As a method for recognizing the vehicle type of the vehicle, a known method may be used, but as an example, a body region excluding the tire region and the window region is extracted from the extracted vehicle image region. Then, it is advisable to check the color information of the extracted image and specify the body color.

（検索車両判定部２２４）
検索車両判定部２２４は、車両画像抽出部２２２にて読み取ったナンバー情報と、ＲＯＭ２１０ｂに記憶されている検索車両情報とを対比し、これらナンバー情報と検索車両情報とが一致しているか否かを判定する。そして、検索車両判定部２２４は、ナンバー情報と検索車両情報とが一致しているか否かの判定結果を追尾情報生成部２１２に出力する。(Search Vehicle Judgment Unit 224)
The search vehicle determination unit 224 compares the number information read by the vehicle image extraction unit 222 with the search vehicle information stored in the ROM 210b, and determines whether or not the number information and the search vehicle information match. judge. Then, the search vehicle determination unit 224 outputs the determination result of whether or not the number information and the search vehicle information match to the tracking information generation unit 212.

追尾情報生成部２１２は、車両位置座標を演算する処理を行う。追尾情報生成部２１２は、撮像方向制御情報を生成する処理を行う。追尾情報生成部２１２は、座標情報履歴を記録する。そして、追尾情報生成部２１２は、撮像方向制御部２２５に制御情報を送信する。ここで、機上装置２２０の座標データ及び検索車両の座標データに基づいて、追従情報を生成する方法は、周知の技術であるため、詳細な説明を省略するが、一例として、以下の方法により追従情報を生成する。機上装置２２０の座標データの各値（Ｘ値、Ｙ値、Ｚ値）と検索車両の座標データの各値（Ｘ値、Ｙ値、Ｚ値）との差分を算出する。そして、算出された差分に基づいて、機上装置２２０に対し、検索車両情報に基づく車両がどの方向に位置しているかを算出する。Ｘ値、Ｙ値の差分に基づいて、二軸の方向を算出する。この算出値をパラメータとして、撮像方向を決定している。 The tracking information generation unit 212 performs a process of calculating the vehicle position coordinates. The tracking information generation unit 212 performs a process of generating imaging direction control information. The tracking information generation unit 212 records the coordinate information history. Then, the tracking information generation unit 212 transmits control information to the imaging direction control unit 225. Here, since the method of generating the tracking information based on the coordinate data of the on-board device 220 and the coordinate data of the search vehicle is a well-known technique, detailed description thereof will be omitted, but as an example, the following method may be used. Generate tracking information. The difference between each value (X value, Y value, Z value) of the coordinate data of the on-board device 220 and each value (X value, Y value, Z value) of the coordinate data of the search vehicle is calculated. Then, based on the calculated difference, it is calculated in which direction the vehicle based on the search vehicle information is located with respect to the on-board device 220. The biaxial direction is calculated based on the difference between the X value and the Y value. The imaging direction is determined using this calculated value as a parameter.

そして、追尾情報生成部２１２は、生成した制御情報を撮像方向制御部２２５に送信する。ここで、制御情報とは、上述したように、撮像部２１１の撮像方向を制御するための撮像方向情報をいう。これにより、撮像部２１１の撮像方向を制御することが可能になる。また、追尾情報生成部２１２は、地上装置２２０に車両位置情報、車両ナンバー、車両の色、形状、車両画像を送信する。 Then, the tracking information generation unit 212 transmits the generated control information to the imaging direction control unit 225. Here, the control information refers to the image pickup direction information for controlling the image pickup direction of the image pickup unit 211 as described above. This makes it possible to control the imaging direction of the imaging unit 211. In addition, the tracking information generation unit 212 transmits vehicle position information, vehicle number, vehicle color, shape, and vehicle image to the ground device 220.

（地上装置２２０）
次に、地上装置２２０について説明する。地上装置２２０は、機上装置２１０と同様に、互いにバスで接続されたＣＰＵ２２０ａ、ＲＯＭ２２０ｂ、ＲＡＭ２２０ｃ等を具備し、コンピュータプログラムを実行する。これにより、地上装置２２０は、図示しない検索車両情報展開処理を具備する装置として機能する。(Ground device 220)
Next, the ground device 220 will be described. Like the on-board device 210, the ground device 220 includes a CPU 220a, a ROM 220b, a RAM 220c, and the like connected to each other by a bus, and executes a computer program. As a result, the ground device 220 functions as a device provided with a search vehicle information expansion process (not shown).

なお、本実施形態の地上装置２２０も、上述したように、ＣＰＵ２２０ａ等を備え、コンピュータプログラムを実行しているが、これに限定されず、機上装置２１０と同様に、ＡＳＩＣ、ＰＬＤ等のハードウェアを用いてプログラムを実行しても良い。 As described above, the ground device 220 of the present embodiment also includes a CPU 220a or the like and executes a computer program, but the present invention is not limited to this, and like the on-board device 210, hardware such as an ASIC or PLD is used. The program may be executed using hardware.

地上装置２２０は、機上装置２１０から検索車両の車両位置情報等を受信すると、この情報を巡回中のパトカー等に展開する処理を行う。これにより、本実施形態の検索車両システム２００は、現時点での車両の位置を特定する確実性を向上させることができる。 When the ground device 220 receives the vehicle position information of the search vehicle from the on-board device 210, the ground device 220 performs a process of deploying this information to the patrol car or the like. Thereby, the search vehicle system 200 of the present embodiment can improve the certainty of specifying the position of the vehicle at the present time.

（検索車両システムの動作）
次に、図４を用いて、本実施形態の車両検索システム２００の流れについて説明する。図４は、本実施形態（第２の実施形態）に係る車両検索システム２００に実行させる処理の流れを示すシーケンスである。(Operation of search vehicle system)
Next, the flow of the vehicle search system 200 of the present embodiment will be described with reference to FIG. FIG. 4 is a sequence showing a flow of processing to be executed by the vehicle search system 200 according to the present embodiment (second embodiment).

まず、機外装置２０９は、電源が投入されると、撮像部２１１を起動させ、画像情報を図示しない表示部に出力する。これにより、表示部には、撮像部２１１により撮像されている画像が表示される。なお、以下の例では、予め検索車両情報が記憶されているとする。そして、利用者は、操作部２０８を操作して、撮像部２１１のズーム倍率、撮像方向を変え、画像を目視しながら地上を監視する。 First, when the power is turned on, the external device 209 activates the image pickup unit 211 and outputs image information to a display unit (not shown). As a result, the image captured by the imaging unit 211 is displayed on the display unit. In the following example, it is assumed that the search vehicle information is stored in advance. Then, the user operates the operation unit 208 to change the zoom magnification and the image pickup direction of the image pickup unit 211, and monitors the ground while visually observing the image.

ステップＳ３１において、機内装置２０７は、表示部に表示されている画像を画像処理部２２１にて、画像のブレ、ズレ等を補正する。 In step S31, the in-flight device 207 corrects blurring, misalignment, etc. of the image displayed on the display unit by the image processing unit 221.

ステップＳ３２において、機内装置２０７の車両画像抽出部２２２は、上記ステップＳ３１にて補正された画像の中から、車両の画像を抽出する。なお、画像の中から車両の画像を抽出する方法については、上述したように、車両画像抽出部２２２は、画像処理部２２１から画像を受け取ると、車両の特徴情報を用いて、画像の中から車両の画像の領域を抽出すると良い。このとき、利用者は、表示部に表示されている複数の車両の中から、一つの車両を選択することが可能である。なお、本実施形態では、利用者が選択するに限定されず、表示部に表示されている車両の画像情報を抽出することも可能である。 In step S32, the vehicle image extraction unit 222 of the in-flight device 207 extracts an image of the vehicle from the image corrected in step S31. Regarding the method of extracting the image of the vehicle from the image, as described above, when the vehicle image extraction unit 222 receives the image from the image processing unit 221, the vehicle image extraction unit 222 uses the feature information of the vehicle to extract the image from the image. It is good to extract the area of the image of the vehicle. At this time, the user can select one vehicle from the plurality of vehicles displayed on the display unit. In the present embodiment, the user is not limited to the selection, and it is also possible to extract the image information of the vehicle displayed on the display unit.

ステップＳ３３において、機内装置２０７のナンバー情報読取部２２３は、車両画像抽出部２２２により抽出された車両の画像に基づいて、車両のナンバープレートのナンバー情報を読み取る。なお、本実施形態では、上述したように、車両のナンバープレートのナンバー情報を読み取るが、これに限定されず、例えば、車両の車種を認識しても良い。 In step S33, the number information reading unit 223 of the in-flight device 207 reads the license plate number information of the vehicle based on the vehicle image extracted by the vehicle image extraction unit 222. In the present embodiment, as described above, the number information of the license plate of the vehicle is read, but the present invention is not limited to this, and for example, the vehicle type of the vehicle may be recognized.

ステップＳ３４において、機内装置２０７の検索車両判定部２２４は、予め記憶されている検索車両情報と、上記ステップＳ３３にて読み取ったナンバー情報とを対比する。以下、ここでは、検索車両情報とナンバー情報とが一致したものとして説明する。 In step S34, the search vehicle determination unit 224 of the in-flight device 207 compares the search vehicle information stored in advance with the number information read in step S33. Hereinafter, it is assumed that the search vehicle information and the number information match.

ステップＳ３５において、機内装置２０７の追尾情報生成部２１２は、検索車両情報とナンバー情報とが一致すると、機上装置２１０の座標データ、車両の推定座標データを用いて、制御情報を生成する。ここで、制御情報とは、上述したように、撮像部２１１の撮像方向を制御するための回転量等をいう。そして、この処理において、地上装置２２０は、生成した制御情報を撮像方向制御部２２５に送信する。なお、制御情報を生成する方法については、上述したように、機上装置２２０の座標データの値と車両の推定座標データの値との差分を算出し、算出した値に基づいて、機上装置２２０に対し、車両がどの方向に位置しているかを算出すると良い。 In step S35, when the search vehicle information and the number information match, the tracking information generation unit 212 of the in-flight device 207 generates control information using the coordinate data of the on-board device 210 and the estimated coordinate data of the vehicle. Here, the control information refers to the amount of rotation for controlling the imaging direction of the imaging unit 211 and the like, as described above. Then, in this process, the ground device 220 transmits the generated control information to the imaging direction control unit 225. As for the method of generating the control information, as described above, the difference between the value of the coordinate data of the on-board device 220 and the value of the estimated coordinate data of the vehicle is calculated, and the on-board device is based on the calculated value. It is advisable to calculate in which direction the vehicle is located relative to 220.

ステップ４０において、機外装置２０９の撮像方向制御部２２５は、追尾情報生成部２１２から制御情報を受信すると、撮像部２１１の撮像方向を制御する。そして、撮像方向制御部２２５は、ボケ・ブレ除去及び超解像処理後（照明変化除去処理前）の映像に追尾車両の位置等の情報を画面に重畳させる。これにより、表示部には、制御情報に基づいて撮像部２１１により撮像された画像が表示される。 In step 40, the image pickup direction control unit 225 of the external device 209 controls the image pickup direction of the image pickup unit 211 when receiving the control information from the tracking information generation unit 212. Then, the imaging direction control unit 225 superimposes information such as the position of the tracking vehicle on the image after the blur / blur removal and super-resolution processing (before the illumination change removal processing). As a result, the image captured by the imaging unit 211 is displayed on the display unit based on the control information.

そして、機外装置２０９は、地上装置２２０に検索車両情報を送信する。地上装置２２０は、この検索車両情報を巡回中のパトカー等に展開する処理を行う。これにより、検索車両システム２００は、現時点での車両の位置を特定する確実性を向上させることが可能となる。 Then, the external device 209 transmits the search vehicle information to the ground device 220. The ground device 220 performs a process of deploying the search vehicle information to a patrol car or the like that is patrolling. This makes it possible for the search vehicle system 200 to improve the certainty of identifying the position of the vehicle at the present time.

（電源投入処理）
次に、図５乃至図６を用いて、本実施形態の車両検索システム２００の機上装置２１０及び地上装置２２０に実行させる処理について説明する。まず、図５を用いて、機上装置２１０における電源投入処理について説明する。図５は、本実施形態（第２の実施形態）に係る機上装置２１０における電源投入処理を示すフローチャートである。(Power-on process)
Next, the processes to be executed by the on-board device 210 and the ground device 220 of the vehicle search system 200 of the present embodiment will be described with reference to FIGS. 5 to 6. First, the power-on process in the on-board device 210 will be described with reference to FIG. FIG. 5 is a flowchart showing a power-on process in the on-board device 210 according to the present embodiment (second embodiment).

ステップＳ１００において、機上装置２１０は、制御ボード起動処理を行う。この処理において、機上装置２１０は、電源が投入されると、図示しない制御基板に搭載されているＣＰＵ２１０ａを起動する。このため、以下の処理は、ＣＰＵ２１０ａにより実行される。 In step S100, the on-board device 210 performs the control board activation process. In this process, when the power is turned on, the on-board device 210 activates the CPU 210a mounted on a control board (not shown). Therefore, the following processing is executed by the CPU 210a.

ステップＳ２００において、ＣＰＵ２１０ａは、読み込み処理（ＲＯＭ２１０ｂに格納され、撮像部２１１、画像処理部２２１、車両画像抽出部２２２、検索車両判定部２２４及び追尾情報生成部２１２を動作させるための各種制御プログラム、各種データ等を読み込む処理）を行う。 In step S200, the CPU 210a is a reading process (stored in the ROM 210b, various control programs for operating the image pickup unit 211, the image processing unit 221 and the vehicle image extraction unit 222, the search vehicle determination unit 224, and the tracking information generation unit 212. Process to read various data etc.).

ステップＳ３００において、ＣＰＵ２１０ａは、設定処理（利用者により入力された撮像方向、画角を撮像部２１１に設定する処理）を行う。また、この処理において、ＣＰＵ２１０ａは、ＲＡＭ２１０ｃに記憶されている制御情報参照し、この制御情報に基づいて、撮像方向制御部２２５にて撮像部２１１の撮像方向を改めて設定する処理を行う。このため、撮像部２１１の撮像方向は、利用者により入力された情報、又は既に更新された制御情報に基づく情報から、新たな制御情報に基づいて、更新されていく。なお、制御情報は、後述するステップＳ５６０の撮像方向制御処理にて制御情報を受信すると、ＲＡＭ２１０ｃに記憶される。 In step S300, the CPU 210a performs a setting process (a process of setting the imaging direction and angle of view input by the user in the imaging unit 211). Further, in this process, the CPU 210a refers to the control information stored in the RAM 210c, and based on this control information, the imaging direction control unit 225 performs a process of setting the imaging direction of the imaging unit 211 again. Therefore, the imaging direction of the imaging unit 211 is updated based on new control information from the information input by the user or the information based on the already updated control information. The control information is stored in the RAM 210c when the control information is received in the imaging direction control process in step S560 described later.

ステップＳ４００において、ＣＰＵ２１０ａは、上記ステップＳ３００にて設定された撮像方向に撮像方向制御部２２５にて撮像部２１１を向ける処理を行う。ここで、設定された撮像方向に撮像部２１１を向ける処理は、上述の設定された撮像方向に撮像部２１１が向いていない、すなわち、撮像部２１１が異なる方向を向いている場合に行われる。これにより、この処理では、設定された撮像方向に撮像部２１１を向ける処理が行われる。ＣＰＵ２１０ａは、撮像方向制御部２２５にて撮像部２１１の角速度を検出している。ＣＰＵ２１０ａは、検出した角速度を積分演算処理により積分することで、撮像部２１１の角度（撮像方向）を算出している。そして、ＣＰＵ２１０ａは、上述の設定された角度（撮像方向）から算出した撮像部２１１の角度を引いた角度を算出する。ＣＰＵ２１０ａは、算出した角度を用いて、撮像部２１１を回転させる処理を行う。このとき、回転させる方向については、例えば、時計回り方向を＋とした場合、算出した角度が＋であれば、反時計回り方向に回転させ、算出した角度が−であれば、時計回り方向に回転させる等、算出した角度の正負で正逆回転させると良い。 In step S400, the CPU 210a performs a process of directing the image pickup unit 211 by the image pickup direction control unit 225 in the image pickup direction set in step S300. Here, the process of pointing the imaging unit 211 in the set imaging direction is performed when the imaging unit 211 is not oriented in the set imaging direction described above, that is, the imaging unit 211 is oriented in a different direction. As a result, in this process, the process of directing the imaging unit 211 in the set imaging direction is performed. The CPU 210a detects the angular velocity of the imaging unit 211 by the imaging direction control unit 225. The CPU 210a calculates the angle (imaging direction) of the imaging unit 211 by integrating the detected angular velocity by an integration calculation process. Then, the CPU 210a calculates an angle obtained by subtracting the angle of the imaging unit 211 calculated from the above-mentioned set angle (imaging direction). The CPU 210a performs a process of rotating the imaging unit 211 using the calculated angle. At this time, regarding the direction of rotation, for example, when the clockwise direction is +, if the calculated angle is +, it is rotated in the counterclockwise direction, and if the calculated angle is −, it is in the clockwise direction. It is preferable to rotate in the forward and reverse directions according to the positive and negative of the calculated angle such as rotation.

ステップＳ５００において、ＣＰＵ２１０ａは、割込処理を行う。本実施形態において、割込処理は、制御情報を有無に応じて、実行する処理である。なお、この割込処理については、図６を用いて後述する。 In step S500, the CPU 210a performs an interrupt process. In the present embodiment, the interrupt process is a process of executing control information depending on the presence or absence. The interrupt process will be described later with reference to FIG.

（割込処理）
次に、図６を用いて、割込処理について説明する。図６は、本実施形態（第２の実施形態）に係る機上装置２１０における割込処理を示すフローチャートである。この割込処理は、図６に示すステップＳ５００のサブルーチンである。(Interrupt processing)
Next, the interrupt process will be described with reference to FIG. FIG. 6 is a flowchart showing an interrupt process in the on-board device 210 according to the present embodiment (second embodiment). This interrupt process is a subroutine of step S500 shown in FIG.

ステップＳ５１０において、ＣＰＵ２１０ａは、画像処理を行う。この処理において、ＣＰＵ２１０ａは、撮像部２１１により撮像された画像を画像処理部２２１によりブレ、ボケ等を補正する処理を行う。 In step S510, the CPU 210a performs image processing. In this process, the CPU 210a performs a process of correcting blurring, blurring, etc. of the image captured by the imaging unit 211 by the image processing unit 221.

ステップＳ５２０において、ＣＰＵ２１０ａは、検索車両情報が入力されているか否かを判定する。ここで、検索車両情報は、利用者が表示部に表示されている画像の中から、検索車両を選択した場合が挙げられる。 In step S520, the CPU 210a determines whether or not the search vehicle information has been input. Here, the search vehicle information includes a case where the user selects a search vehicle from the images displayed on the display unit.

ステップＳ５３０において、ＣＰＵ２１０ａは、車両画像抽出処理を行う。この処理において、ＣＰＵ１１０ａは、画像処理部２２１により送信された画像から車両画像抽出部２２２にて車両部分を抽出する。 In step S530, the CPU 210a performs a vehicle image extraction process. In this process, the CPU 110a extracts the vehicle portion from the image transmitted by the image processing unit 221 by the vehicle image extraction unit 222.

ステップＳ５４０において、ＣＰＵ２１０ａは、ナンバー情報読取処理を行う。この処理において、ＣＰＵ２１０ａは、ナンバー情報読取部２２３にて車両のナンバーを読み取る処理を行う。 In step S540, the CPU 210a performs a number information reading process. In this process, the CPU 210a performs a process of reading the vehicle number by the number information reading unit 223.

ステップＳ５５０において、ＣＰＵ２１０ａは、利用者により入力された検索車両情報と、上記ステップＳ５４０にて読み取ったナンバー情報とが一致するか否かを判定する。この処理において、ＣＰＵ２１０ａは、検索車両情報とナンバー情報とが一致していると判定した場合には、ステップＳ５６０に処理を移す。一方、この処理において、ＣＰＵ２１０ａは、検索車両情報とナンバー情報とが一致していないと判定した場合には、今回の処理を終了する。 In step S550, the CPU 210a determines whether or not the search vehicle information input by the user matches the number information read in step S540. In this process, when the CPU 210a determines that the search vehicle information and the number information match, the process shifts to step S560. On the other hand, in this process, when the CPU 210a determines that the search vehicle information and the number information do not match, the CPU 210a ends the current process.

なお、本実施形態では、上述したように、検索車両情報とナンバー情報とが一致していないと判定した場合には、今回の処理を終了しているが、これに限定されず、再度、画像情報を受信し、繰り返し処理を行っても良い。 In the present embodiment, as described above, when it is determined that the search vehicle information and the number information do not match, the current process is terminated, but the present invention is not limited to this, and the image is displayed again. Information may be received and repeated processing may be performed.

ステップＳ５６０において、ＣＰＵ２１０ａは、追尾情報生成処理を行う。この処理において、ＣＰＵ２１０ａは、制御情報を生成する。そして、ＣＰＵ２１０ａは、機外装置２０９の撮像方向制御部２２５に制御情報を送信する。制御情報は、上述したように、撮像部２１１の撮像方向を制御するための撮像方向情報をいう。 In step S560, the CPU 210a performs a tracking information generation process. In this process, the CPU 210a generates control information. Then, the CPU 210a transmits control information to the image pickup direction control unit 225 of the external device 209. As described above, the control information refers to the imaging direction information for controlling the imaging direction of the imaging unit 211.

（電源投入処理）
次に、地上装置２２０の処理について説明する。この地上装置２２０は、地上装置２１０から送信される車両位置情報、車両ナンバー、車両の色及び形状、車両画像等の情報を受信すると、巡回中のパトカー等にこれらの情報を展開する処理を行う。(Power-on process)
Next, the processing of the ground device 220 will be described. Upon receiving information such as vehicle position information, vehicle number, vehicle color and shape, and vehicle image transmitted from the ground device 210, the ground device 220 performs a process of deploying such information to a patrol car or the like. ..

以上のように、本実施形態の車両検索システム２００は、検索車両情報とナンバー情報とが一致した場合には、このナンバー情報に基づく車両に向けて撮像部２１１の撮像方向、画角を制御することが可能になる。 As described above, when the search vehicle information and the number information match, the vehicle search system 200 of the present embodiment controls the imaging direction and angle of view of the imaging unit 211 toward the vehicle based on the number information. Will be possible.

よって、車両検索システム２００によれば、検索車両情報とナンバー情報とが一致した車両をリアルタイム、かつ継続的に表示することが可能になり、現時点での車両の位置を特定する確実性を向上させることができる。 Therefore, according to the vehicle search system 200, it is possible to continuously display the vehicle in which the search vehicle information and the number information match in real time, and improve the certainty of specifying the position of the vehicle at the present time. be able to.

（第３の実施形態）
図７を用いて、本発明の他の実施形態（第３の実施形態）について説明する。まず、図７を用いて、本実施形態の車両検索システム３００の構成について説明する。図７は、本実施形態（第３の実施形態）に係る車両検索システム３００の構成を示すブロック図である。(Third Embodiment)
Another embodiment of the present invention (third embodiment) will be described with reference to FIG. 7. First, the configuration of the vehicle search system 300 of the present embodiment will be described with reference to FIG. 7. FIG. 7 is a block diagram showing a configuration of the vehicle search system 300 according to the present embodiment (third embodiment).

本実施形態の車両検索システム３００は、上述の第２の実施形態の車両検索システム２００に対し、複数の撮像部３１１として、第１の撮像部３１１ａ及び第２の撮像部３１１ｂを具備する点が異なり、他の点は、同様である。したがって、以下、本実施形態の車両検索システム３００を説明する際に、上述の第２の実施形態の車両検索システム２００と同様の部分については、同一又は相当する符号を付して、その説明を省略する。 The vehicle search system 300 of the present embodiment is provided with a first image pickup unit 311a and a second image pickup unit 311b as a plurality of image pickup units 311 with respect to the vehicle search system 200 of the second embodiment described above. The other points are the same. Therefore, when the vehicle search system 300 of the present embodiment is described below, the same or corresponding reference numerals are given to the same parts as the vehicle search system 200 of the second embodiment described above, and the description thereof will be described. Omit.

本実施形態において、車両検索システム３００は、上述したように、第１の撮像部３１１ａ及び第２の撮像部３１１ｂを具備している。このように、本実施形態の車両検索システム３００では、複数の撮像部３１１として、第１の撮像部３１１ａ及び第２の撮像部３１１ｂを有しているため、複数の方向から同時に車両を撮像することが可能になる。 In the present embodiment, as described above, the vehicle search system 300 includes a first imaging unit 311a and a second imaging unit 311b. As described above, since the vehicle search system 300 of the present embodiment has the first imaging unit 311a and the second imaging unit 311b as the plurality of imaging units 311, the vehicle is simultaneously imaged from a plurality of directions. Will be possible.

また、本実施形態において、第１の撮像部３１１ａは、広角レンズ３３１を有している。また、第２の撮像部３１１ｂは、望遠レンズ３３２を有している。これにより、第１の撮像部３１１ａは、広角レンズ３３１を用いて複数の車両を捉える。第２の撮像部３１１ｂは、望遠レンズ３３２を用いて特定の車両を捉える。これにより、本実施形態によれば、広域の車両を同時に、かつ継続的に抽出することが可能になる。このため、本実施形態によれば、広視野の画像で捉えた車両を順に調査することで、ナンバー読み取り対象の重複を防ぐことが可能になる。 Further, in the present embodiment, the first imaging unit 311a has a wide-angle lens 331. Further, the second imaging unit 311b has a telephoto lens 332. As a result, the first imaging unit 311a captures a plurality of vehicles using the wide-angle lens 331. The second imaging unit 311b uses the telephoto lens 332 to capture a specific vehicle. As a result, according to the present embodiment, it is possible to simultaneously and continuously extract a wide range of vehicles. Therefore, according to the present embodiment, it is possible to prevent duplication of number reading targets by sequentially investigating vehicles captured in a wide field of view image.

なお、本実施形態では、複数の撮像部３１１を一つの航空機に搭載しているが、これに限定されず、複数の航空機の夫々に一つの撮像部３１１を搭載することで、複数の撮像部３１１を構成しても良い。また、複数の航空機の夫々に複数の撮像部３１１を搭載することで、複数の撮像部３１１を構成しても良い。これにより、本実施形態によれば、より広域な範囲で車両を撮像することが可能になる。 In the present embodiment, a plurality of imaging units 311 are mounted on one aircraft, but the present invention is not limited to this, and by mounting one imaging unit 311 on each of the plurality of aircraft, a plurality of imaging units are mounted. 311 may be configured. Further, a plurality of image pickup units 311 may be configured by mounting a plurality of image pickup units 311 on each of the plurality of aircrafts. This makes it possible to image the vehicle in a wider range according to the present embodiment.

以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。 The present invention has been described above using the above-described embodiment as a model example. However, the present invention is not limited to the above-described embodiments. That is, the present invention can apply various aspects that can be understood by those skilled in the art within the scope of the present invention.

この出願は、２０１５年４月１日に出願された日本出願特願２０１５−０７４８２１を基礎とする優先権を主張し、その開示の全てをここに取り込む。 This application claims priority on the basis of Japanese application Japanese Patent Application No. 2015-074821 filed on April 1, 2015, and incorporates all of its disclosures herein.

１００ 車両検索システム
１０１ 撮像部
１０２ 車両画像抽出部
１０３ ナンバー情報読取部
１０４ 検索車両判定部
１０５ 撮像方向制御部100 Vehicle search system 101 Imaging unit 102 Vehicle image extraction unit 103 Number information reading unit 104 Search vehicle determination unit 105 Imaging direction control unit

Claims (11)

飛行物体の機外に搭載され、前記飛行物体の動きとは独立に回転させられることにより上空から所定の撮像方向の地上を撮像する撮像手段と、
前記撮像手段により撮像されている画像から、車両の画像を抽出する車両画像抽出手段と、
前記車両画像抽出手段により抽出された車両の画像からナンバープレート上のナンバー情報を読み取るナンバー情報読取手段と、
前記ナンバー情報読取手段により読み取られたナンバー情報が、予め設定されている検索車両情報と一致するか否かを判定する検索車両判定手段と、
前記検索車両判定手段により前記ナンバー情報と前記検索車両情報とが一致すると判定された場合、このナンバー情報に基づく車両を撮像するように前記撮像手段を回転させることにより、前記撮像手段の撮像方向を制御する撮像方向制御手段と、を具備する、車両検索システム。 An imaging means that is mounted outside the aircraft of a flying object and is rotated independently of the movement of the flying object to image the ground in a predetermined imaging direction from the sky.
A vehicle image extraction means for extracting a vehicle image from an image captured by the imaging means, and a vehicle image extraction means.
A number information reading means that reads the number information on the license plate from the vehicle image extracted by the vehicle image extracting means, and
A search vehicle determination means for determining whether or not the number information read by the number information reading means matches the preset search vehicle information.
When the search vehicle determination means determines that the number information and the search vehicle information match, the imaging means is rotated so as to image a vehicle based on the number information, so that the imaging direction of the imaging means is determined. A vehicle search system including an imaging direction control means for controlling. 前記撮像方向制御手段は、前記撮像手段の角速度を検出し、
前記角速度を積分演算処理により積分することによって前記撮像手段の現在の撮像方向である第一の角度を算出し、前記ナンバー情報に基づく車両の位置を表す位置座標である車両の座標データと前記飛行物体の現在の位置を表す座標データとに基づいて、前記飛行物体に対し前記ナンバー情報に基づく車両が位置する方向である第二の角度を算出し、前記第一の角度と、前記第二の角度とに基づいて、前記第一の角度から前記第二の角度まで前記撮像手段を回転させる角度を算出する追尾情報生成手段を更に備える、請求項１記載の車両検索システム。 The imaging direction control means detects the angular velocity of the imaging means and determines the angular velocity of the imaging means.
By integrating the angular velocity by an integral calculation process, the first angle which is the current imaging direction of the imaging means is calculated, and the vehicle coordinate data which is the position coordinate representing the position of the vehicle based on the number information and the flight. based on the coordinate data representing the current position of the object, the vehicle based on the number information to the flying object calculates a second angle which is a direction positions, said first angle, before Symbol second The vehicle search system according to claim 1, further comprising a tracking information generating means for calculating an angle for rotating the imaging means from the first angle to the second angle based on the angle of. 前記検索車両判定手段により前記ナンバー情報と前記検索車両情報とが一致していないと判定された場合、前記車両画像抽出手段は、前記撮像手段により撮像されている画像から、再度、車両の画像を抽出する、請求項１又は２記載の車両検索システム。 When the search vehicle determination means determines that the number information and the search vehicle information do not match, the vehicle image extraction means again obtains an image of the vehicle from the image captured by the imaging means. The vehicle search system according to claim 1 or 2, which is extracted. 前記撮像手段は、複数の撮像手段からなり、
これら複数の撮像手段は、互いに異なる方向に向けて地上を撮像する、請求項１乃至３の何れか一項に記載の車両検索システム。 The image pickup means includes a plurality of image pickup means.
The vehicle search system according to any one of claims 1 to 3, wherein the plurality of imaging means image the ground in different directions. 前記飛行物体は、複数の飛行物体からなり、
これら複数の飛行物体に少なくとも一つの前記撮像手段を搭載する、請求項４記載の車両検索システム。 The flying object consists of a plurality of flying objects.
The vehicle search system according to claim 4, wherein at least one of the imaging means is mounted on the plurality of flying objects. 前記複数の撮像手段のうち、何れか一つの第１の撮像手段は、広角レンズを有し、前記複数の撮像手段のうち、前記第１の撮像手段と異なる何れか一つの第２の撮像手段は、望遠レンズを有する、請求項４又は５記載の車両検索システム。 The first imaging means of any one of the plurality of imaging means has a wide-angle lens, and the second imaging means of any one of the plurality of imaging means different from the first imaging means. The vehicle search system according to claim 4 or 5, further comprising a telephoto lens. 前記撮像方向制御手段により制御された前記撮像手段による撮像画像を表示する表示手段を具備する、請求項１乃至６の何れか一項に記載の車両検索システム。 The vehicle search system according to any one of claims 1 to 6, further comprising a display means for displaying an image captured by the imaging means controlled by the imaging direction control means. 飛行物体の機外に搭載され、前記飛行物体の動きとは独立に回転させられることにより上空から所定の撮像方向の地上を撮像する撮像手段によって撮像され、前記所定の撮像方向の地上が撮像されている画像から、車両の画像を抽出し、
抽出した車両の画像からナンバープレート上のナンバー情報を読み取り、
読み取ったナンバー情報が、予め設定されている検索車両情報と一致するか否かを判定し、
前記ナンバー情報と前記検索車両情報とが一致すると判定した場合には、このナンバー情報に基づく車両を撮像するように前記撮像手段を回転させることにより、前記撮像手段の撮像方向を制御する、車両検索方法。 Mounted on the outside of the flying object, said flight and movement of an object imaged by an imaging means for imaging the earth predetermined imaging direction from the air by being rotated independently ground imaging direction of the plant constant Extract the image of the vehicle from the image captured by
Read the number information on the license plate from the extracted vehicle image,
It is determined whether or not the read number information matches the preset search vehicle information, and
When it is determined that the number information and the search vehicle information match, the vehicle search controls the imaging direction of the imaging means by rotating the imaging means so as to image a vehicle based on the number information. Method. 前記撮像手段の角速度を検出し、
前記角速度を積分演算処理により積分することによって前記撮像手段の現在の撮像方向である第一の角度を算出し、前記ナンバー情報に基づく車両の位置を表す位置座標である車両の座標データと前記飛行物体の現在の位置を表す座標データとに基づいて、前記飛行物体に対し前記ナンバー情報に基づく車両が位置する方向である第二の角度を算出し、前記第一の角度と、前記第二の角度とに基づいて、前記第一の角度から前記第二の角度まで前記撮像手段を回転させる角度を算出する、請求項８記載の車両検索方法。 Detecting the angular velocity of the imaging means,
By integrating the angular velocity by an integral calculation process, the first angle which is the current imaging direction of the imaging means is calculated, and the vehicle coordinate data which is the position coordinate representing the position of the vehicle based on the number information and the flight based on the coordinate data representing the current position of the object, the vehicle based on the number information to the flying object calculates a second angle which is a direction positions, said first angle, before Symbol second 8. The vehicle search method according to claim 8, wherein the angle for rotating the imaging means from the first angle to the second angle is calculated based on the angle of. 前記ナンバー情報と前記検索車両情報とが一致していないと判定した場合には、撮像されている画像から、再度、車両の画像を抽出する、請求項８又は９記載の車両検索方法。 The vehicle search method according to claim 8 or 9, wherein when it is determined that the number information and the search vehicle information do not match, the vehicle image is extracted again from the captured image. 制御した撮像方向の画像を表示する、請求項８乃至１０の何れか一項に記載の車両検索方法。 The vehicle search method according to any one of claims 8 to 10, which displays an image in a controlled imaging direction.
JP2017509293A 2015-04-01 2016-03-30 Vehicle search system and vehicle search method Active JP6907938B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015074821 2015-04-01
JP2015074821 2015-04-01
PCT/JP2016/001825 WO2016157894A1 (en) 2015-04-01 2016-03-30 Vehicle search system and vehicle search method

Publications (2)

Publication Number Publication Date
JPWO2016157894A1 JPWO2016157894A1 (en) 2018-02-08
JP6907938B2 true JP6907938B2 (en) 2021-07-21

Family

ID=57004060

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017509293A Active JP6907938B2 (en) 2015-04-01 2016-03-30 Vehicle search system and vehicle search method

Country Status (2)

Country Link
JP (1) JP6907938B2 (en)
WO (1) WO2016157894A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107730889B (en) * 2017-10-30 2021-01-05 昆明理工大学 Target vehicle retrieval method based on traffic video

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0721400B2 (en) * 1988-10-17 1995-03-08 三菱電機株式会社 Tracking device
JPH11296788A (en) * 1998-04-10 1999-10-29 Mitsubishi Electric Corp Vehicle speed measuring instrument
US20090040307A1 (en) * 2005-06-30 2009-02-12 Planum Vision Ltd. Surveillance System and Method for Detecting Forbidden Movement along a Predetermined Path
JP2011165146A (en) * 2010-02-15 2011-08-25 Nec Software Kyushu Ltd In-vehicle device, notification method, vehicle collation system and computer program
JP6055274B2 (en) * 2012-10-31 2016-12-27 株式会社トプコン Aerial photograph measuring method and aerial photograph measuring system
JP6140436B2 (en) * 2012-12-13 2017-05-31 セコム株式会社 Shooting system
US9070289B2 (en) * 2013-05-10 2015-06-30 Palo Alto Research Incorporated System and method for detecting, tracking and estimating the speed of vehicles from a mobile platform
JP5886241B2 (en) * 2013-06-10 2016-03-16 株式会社パスコ Portable imaging device

Also Published As

Publication number Publication date
WO2016157894A1 (en) 2016-10-06
JPWO2016157894A1 (en) 2018-02-08

Similar Documents

Publication Publication Date Title
JP5817927B2 (en) VEHICLE DISPLAY DEVICE, VEHICLE DISPLAY METHOD, AND VEHICLE DISPLAY PROGRAM
JP5399027B2 (en) A device having a system capable of capturing a stereoscopic image to assist driving of an automobile
US20170300763A1 (en) Road feature detection using a vehicle camera system
Eum et al. Enhancing light blob detection for intelligent headlight control using lane detection
US20160314357A1 (en) Method and Device for Monitoring an External Dimension of a Vehicle
WO2016002163A1 (en) Image display device and image display method
TWI534764B (en) Apparatus and method for vehicle positioning
EP3594902B1 (en) Method for estimating a relative position of an object in the surroundings of a vehicle and electronic control unit for a vehicle and vehicle
JP6586849B2 (en) Information display device and information display method
WO2004114202A1 (en) Vehicular vision system
CN111727437A (en) Multispectral system providing pre-crash warning
WO2017042224A1 (en) Method for generating an environmental map of an environment of a motor vehicle based on an image of a camera, driver assistance system as well as motor vehicle
JP6989284B2 (en) Vehicle position estimation device and program
CN113160594A (en) Change point detection device and map information distribution system
JP6278790B2 (en) Vehicle position detection device, vehicle position detection method, vehicle position detection computer program, and vehicle position detection system
JP2020065141A (en) Vehicle overhead image generation system and method thereof
JP2015194397A (en) Vehicle location detection device, vehicle location detection method, vehicle location detection computer program and vehicle location detection system
JP2021149863A (en) Object state identifying apparatus, object state identifying method, computer program for identifying object state, and control apparatus
WO2015122124A1 (en) Vehicle periphery image display apparatus and vehicle periphery image display method
CN108107897A (en) Real time sensor control method and device
JP6314843B2 (en) Road boundary line recognition apparatus and road boundary line recognition method
JP2014106739A (en) In-vehicle image processing device
JP6907938B2 (en) Vehicle search system and vehicle search method
JP2008082932A (en) Navigation device, its control method, and control program
EP4060639B1 (en) Traffic signal recognition method and traffic signal recognition device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200317

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200514

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210601

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210614

R150 Certificate of patent or registration of utility model

Ref document number: 6907938

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D03

R157 Certificate of patent or utility model (correction)

Free format text: JAPANESE INTERMEDIATE CODE: R157