JPWO2016157894A1 - Vehicle search system and vehicle search method - Google Patents

Vehicle search system and vehicle search method Download PDF

Info

Publication number
JPWO2016157894A1
JPWO2016157894A1 JP2017509293A JP2017509293A JPWO2016157894A1 JP WO2016157894 A1 JPWO2016157894 A1 JP WO2016157894A1 JP 2017509293 A JP2017509293 A JP 2017509293A JP 2017509293 A JP2017509293 A JP 2017509293A JP WO2016157894 A1 JPWO2016157894 A1 JP WO2016157894A1
Authority
JP
Japan
Prior art keywords
vehicle
image
search
imaging
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017509293A
Other languages
Japanese (ja)
Other versions
JP6907938B2 (en
Inventor
亮介 石井
亮介 石井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=57004060&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JPWO2016157894(A1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2016157894A1 publication Critical patent/JPWO2016157894A1/en
Application granted granted Critical
Publication of JP6907938B2 publication Critical patent/JP6907938B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

本発明の目的は、任意の車両の画像をリアルタイム、かつ継続的に表示することで、現時点での車両の位置を特定する確実性を向上させることである。そのために、本発明に係る車両検索システム１００は、上空から地上を撮像する撮像部１０１と、撮像部１０１により撮像されている画像から、車両の画像を抽出する車両画像抽出部１０２と、車両画像抽出部１０２により抽出された車両の画像からナンバー情報を読み取るナンバー情報読取部１０３と、ナンバー情報読取部１０３により読み取られたナンバー情報が、検索車両情報と一致するか否かを判定する検索車両判定部１０４と、検索車両判定部１０４により一致すると判定された場合、このナンバー情報に基づく車両を撮像するように撮像部１０１の撮像方向を制御する撮像方向制御部１０５と、を具備して構成される。An object of the present invention is to improve the certainty of specifying the current vehicle position by continuously displaying an image of an arbitrary vehicle in real time. Therefore, the vehicle search system 100 according to the present invention includes an imaging unit 101 that images the ground from above, a vehicle image extraction unit 102 that extracts a vehicle image from an image captured by the imaging unit 101, and a vehicle image. A number information reading unit 103 that reads number information from the vehicle image extracted by the extraction unit 102, and a search vehicle determination that determines whether the number information read by the number information reading unit 103 matches the search vehicle information. Unit 104 and image capturing direction control unit 105 that controls the image capturing direction of image capturing unit 101 so as to image a vehicle based on this number information when it is determined by search vehicle determining unit 104 to match. The

Description

本発明は、車両検索システム及び車両検索方法に関する。   The present invention relates to a vehicle search system and a vehicle search method.

Ｎシステム（自動車ナンバー読取装置）のように、自動車のナンバープレートを自動で読み取って、検索対象となっている車両（以下、検索車両という）を検出するシステムが一般的に知られている。   A system that automatically reads a license plate of an automobile and detects a vehicle to be searched (hereinafter referred to as a search vehicle), such as an N system (automobile number reading device), is generally known.

ここで、Ｎシステムのような大がかりなシステムは、装置の価格が高いため、全ての道路に設置することが困難である。このため、Ｎシステムは、比較的、交通量の多い主要道路（例えば、高速道路、国道等）に優先的に設置され、検索車両の検索を行っている。しかしながら、Ｎシステムは、上述したように、全ての道路に設置することが困難であるため、例えば、他の道路（例えば、県道等）には設置されていない可能性がある。このように、Ｎシステムは、全ての道路に設置することが困難であるため、このＮシステムが設置された主要道路を検索車両が通過しない限り、検索車両を検索することができなかった。   Here, a large-scale system such as the N system is difficult to install on all roads because the price of the device is high. For this reason, the N system is installed preferentially on main roads (for example, highways, national roads, etc.) with relatively high traffic volume, and searches for search vehicles. However, since it is difficult to install the N system on all roads as described above, the N system may not be installed on other roads (for example, prefectural roads). Thus, since it is difficult to install the N system on all roads, the search vehicle cannot be searched unless the search vehicle passes through the main road where the N system is installed.

そこで、限られた地点以外であっても検索車両の位置を特定するための技術として、車載装置、報知方法、車両照合システム及びコンピュータプログラムが特許文献１に記載されている。この特許文献１記載の技術は、車載カメラにより前方の車両、後方の車両、対向車両のナンバープレートを撮像し、検索車両を検索している。   Therefore, Patent Document 1 discloses an in-vehicle device, a notification method, a vehicle collation system, and a computer program as techniques for specifying the position of a search vehicle even at places other than limited points. The technique described in Patent Document 1 searches for a search vehicle by capturing images of a front vehicle, a rear vehicle, and an oncoming vehicle with an in-vehicle camera.

また、限られた地点以外であっても検索車両の位置を特定するための技術として、盗難車両検索システムおよび盗難車両検索システムにおける検索方法が特許文献２に記載されている。この特許文献２記載の技術は、航空機等から撮像した画像を用いて、検索車両の現時点での位置を予測している。   Patent Document 2 describes a search method in a stolen vehicle search system and a stolen vehicle search system as a technique for specifying the position of a search vehicle even if it is not a limited point. The technique described in Patent Document 2 predicts the current position of a search vehicle using an image captured from an aircraft or the like.

特開２０１１−１６５１４６号公報JP 2011-165146 A 特開２００８−２６９１０１号公報JP 2008-269101 A

しかしながら、上記特許文献１記載の技術は、カメラが搭載された車両の前後方の車両、対向車線を通過する車両等を検索対象としている。このため、上記特許文献１記載の技術は、発見した検索車両が対向車線を通過した車両であった場合、その後、折り返して追跡したとしても、既に検索車両が逃走している可能性がある。これにより、利用者が車両を見失ってしまう。このように、上記特許文献１記載の技術は、現時点での検索車両の位置を特定する確実性を低減させてしまうという技術的課題がある。   However, the technique described in the above-mentioned Patent Document 1 is targeted for searching a vehicle in front and rear of a vehicle on which a camera is mounted, a vehicle passing through an oncoming lane, and the like. For this reason, in the technique described in Patent Literature 1, if the found search vehicle is a vehicle that has passed the oncoming lane, the search vehicle may have already escaped even if the vehicle is turned back and tracked. As a result, the user loses sight of the vehicle. As described above, the technique described in Patent Document 1 has a technical problem of reducing the certainty of specifying the current position of the search vehicle.

また、上記特許文献２記載の技術は、航空機等から撮像した後、所定期間（例えば、一か月）、蓄積した画像を用いて、盗難された車両の現時点での位置を予測している。このように、上記特許文献２記載の技術は、現時点ではなく、過去の画像を用いており、盗難された車両が確実に予測した位置にいるか否かが定かではない。このため、上記特許文献２記載の技術も、現時点での検索車両の位置を特定する確実性を低減させてしまうという技術的課題がある。   Further, the technique described in Patent Document 2 predicts the current position of a stolen vehicle using an accumulated image for a predetermined period (for example, one month) after imaging from an aircraft or the like. As described above, the technique described in Patent Document 2 uses past images instead of the present time, and it is not certain whether or not the stolen vehicle is in a predicted position. For this reason, the technique described in Patent Document 2 also has a technical problem that the certainty of specifying the position of the search vehicle at the present time is reduced.

本発明の目的は、現時点での車両の位置を特定する確実性を向上させることが可能な車両検索システム及び車両検索方法を提供することにある。   An object of the present invention is to provide a vehicle search system and a vehicle search method capable of improving the certainty of specifying the current vehicle position.

上記目的を達成するために、本発明に係る車両検索システムは、飛行物体に搭載され、上空から地上を撮像する撮像手段と、上記撮像手段により撮像されている画像から、車両の画像を抽出する車両画像抽出手段と、上記車両画像抽出手段により抽出された車両の画像からナンバープレート上のナンバー情報を読み取るナンバー情報読取手段と、上記ナンバー情報読取手段により読み取られたナンバー情報が、予め設定されている検索車両情報と一致するか否かを判定する検索車両判定手段と、上記検索車両判定手段により上記ナンバー情報と上記検索車両情報とが一致すると判定された場合、このナンバー情報に基づく車両を撮像するように上記撮像手段の撮像方向を制御する撮像方向制御手段と、を具備して構成される。   In order to achieve the above object, a vehicle search system according to the present invention extracts an image of a vehicle from an imaging unit mounted on a flying object and imaging the ground from above, and an image captured by the imaging unit. Vehicle image extraction means, number information reading means for reading number information on a license plate from a vehicle image extracted by the vehicle image extraction means, and number information read by the number information reading means are preset. When the search vehicle determination unit determines whether the search vehicle determination unit matches the search vehicle information, and the search vehicle determination unit determines that the number information matches the search vehicle information, the vehicle is imaged based on the number information And an imaging direction control means for controlling the imaging direction of the imaging means.

上記目的を達成するために、本発明に係る車両検索方法は、上空から地上が撮像されている画像から、車両の画像を抽出し、抽出した車両の画像からナンバープレート上のナンバー情報を読み取り、読み取ったナンバー情報が、予め設定されている検索車両情報と一致するか否かを判定し、上記ナンバー情報と上記検索車両情報とが一致すると判定した場合には、このナンバー情報に基づく車両を撮像するように撮像方向を制御する。   In order to achieve the above object, a vehicle search method according to the present invention extracts a vehicle image from an image of the ground imaged from above, reads number information on a license plate from the extracted vehicle image, It is determined whether or not the read number information matches preset search vehicle information. If it is determined that the number information matches the search vehicle information, the vehicle based on the number information is imaged. The imaging direction is controlled to do so.

本発明によれば、現時点での車両の位置を特定する確実性を向上させることができる。   ADVANTAGE OF THE INVENTION According to this invention, the certainty which pinpoints the position of the vehicle at the present time can be improved.

本発明の一実施形態（第１の実施形態）に係る車両検索システムの構成を示すブロック図である。It is a block diagram which shows the structure of the vehicle search system which concerns on one Embodiment (1st Embodiment) of this invention. 本発明の一実施形態（第１の実施形態）に係る車両検索システムに実行させる処理を示すフローチャートである。It is a flowchart which shows the process performed by the vehicle search system which concerns on one Embodiment (1st Embodiment) of this invention. 本発明の他の実施形態（第２の実施形態）に係る車両検索システムの構成を示すブロック図である。It is a block diagram which shows the structure of the vehicle search system which concerns on other embodiment (2nd Embodiment) of this invention. 本発明の他の実施形態（第２の実施形態）に係る車両検索システムに実行させる処理の流れを示すシーケンスである。It is a sequence which shows the flow of the process performed by the vehicle search system which concerns on other embodiment (2nd Embodiment) of this invention. 本発明の他の実施形態（第２の実施形態）に係る車両検索システムにおいて、機上装置における電源投入処理を示すフローチャートである。It is a flowchart which shows the power-on process in an onboard apparatus in the vehicle search system which concerns on other embodiment (2nd Embodiment) of this invention. 本発明の他の実施形態（第２の実施形態）に係る車両検索システムにおいて、機上装置における割込処理を示すフローチャートである。It is a flowchart which shows the interruption process in an onboard apparatus in the vehicle search system which concerns on other embodiment (2nd Embodiment) of this invention. 本発明の他の実施形態（第３の実施形態）に係る車両検索システムの構成を示すブロック図である。It is a block diagram which shows the structure of the vehicle search system which concerns on other embodiment (3rd Embodiment) of this invention.

（第１の実施形態）
図１及び図２を用いて、本発明の一実施形態（第１の実施形態）について説明する。まず、図１を用いて、本実施形態の車両検索システム１００の構成について説明する。図１は、本実施形態（第１の実施形態）に係る車両検索システム１００の構成を示すブロック図である。(First embodiment)
An embodiment (first embodiment) of the present invention will be described with reference to FIGS. 1 and 2. First, the structure of the vehicle search system 100 of this embodiment is demonstrated using FIG. FIG. 1 is a block diagram showing a configuration of a vehicle search system 100 according to the present embodiment (first embodiment).

図１に例示されるように、本実施形態の車両検索システム１００は、撮像部１０１、車両画像抽出部１０２、ナンバー情報読取部１０３、検索車両判定部１０４及び撮像方向制御部１０５を具備する。   As illustrated in FIG. 1, the vehicle search system 100 of this embodiment includes an imaging unit 101, a vehicle image extraction unit 102, a number information reading unit 103, a search vehicle determination unit 104, and an imaging direction control unit 105.

本実施形態において、車両検索システム１００は、ヘリコプター等の航空機に搭載される。車両画像抽出部１０２は、撮像部１０１により撮像されている画像から、車両の画像を抽出する。ナンバー情報読取部１０３は、車両画像抽出部１０２により抽出された車両の画像からナンバープレート上のナンバー情報を読み取る。検索車両判定部１０４は、ナンバー情報読取部１０３により読み取られたナンバー情報と、予め設定されている検索車両情報とを対比し、両者が一致しているか否かを判定する。   In the present embodiment, the vehicle search system 100 is mounted on an aircraft such as a helicopter. The vehicle image extraction unit 102 extracts a vehicle image from the image captured by the imaging unit 101. The number information reading unit 103 reads the number information on the license plate from the vehicle image extracted by the vehicle image extraction unit 102. The search vehicle determination unit 104 compares the number information read by the number information reading unit 103 with the search vehicle information set in advance, and determines whether or not they match.

撮像方向制御部１０５は、検索車両判定部１０４によりナンバー情報と検索車両情報とが一致していると判定された場合、ナンバー情報に基づく車両を撮像するように撮像部１０１の撮像方向を制御する。   The imaging direction control unit 105 controls the imaging direction of the imaging unit 101 so that the vehicle based on the number information is imaged when the search vehicle determination unit 104 determines that the number information and the search vehicle information match. .

（車両検索方法）
次に、図２を用いて、車両検索システム１００に実行させる処理について説明する。図２は、本実施形態（第１の実施形態）に係る車両検索システム１００に実行させる処理を示すフローチャートである。(Vehicle search method)
Next, a process executed by the vehicle search system 100 will be described with reference to FIG. FIG. 2 is a flowchart showing processing to be executed by the vehicle search system 100 according to the present embodiment (first embodiment).

ステップＳ１において、車両検索システム１００は、車両画像抽出処理を行う。この処理において、車両検索システム１００は、撮像部１０１にて撮像されている画像から車両の画像を抽出する処理を行う。   In step S1, the vehicle search system 100 performs a vehicle image extraction process. In this process, the vehicle search system 100 performs a process of extracting a vehicle image from the image captured by the imaging unit 101.

ステップＳ２において、車両検索システム１００は、ナンバー情報読取処理を行う。この処理において、車両検索システム１００は、上記ステップＳ１にて抽出された車両の画像からナンバープレートのナンバー情報を読み取る処理を行う。   In step S2, the vehicle search system 100 performs number information reading processing. In this process, the vehicle search system 100 performs a process of reading the number information of the license plate from the vehicle image extracted in step S1.

ステップＳ３において、車両検索システム１００は、判定処理を行う。この処理において、車両検索システム１００は、上記ステップＳ２にて読み取ったナンバー情報と予め設定されている検索車両情報とを対比し、両者が一致しているか否かを判定する。ここで、検索車両情報とは、利用者が検索したい車両のナンバー情報である。   In step S3, the vehicle search system 100 performs a determination process. In this process, the vehicle search system 100 compares the number information read in step S2 with the preset search vehicle information and determines whether or not they match. Here, the search vehicle information is vehicle number information that the user wants to search.

この処理において、車両検索システム１００は、ナンバー情報と車両検索情報とが一致していると判定した場合には、ステップＳ４に処理を移す。一方、この処理において、車両検索システム１００は、ナンバー情報と車両検索情報とが一致していないと判定した場合には、ステップＳ１に処理を移す。   In this process, if the vehicle search system 100 determines that the number information and the vehicle search information match, the process proceeds to step S4. On the other hand, in this process, if the vehicle search system 100 determines that the number information and the vehicle search information do not match, the process moves to step S1.

ステップＳ４において、車両検索システム１００は、撮像方向制御処理を行う。この処理において、車両検索システム１００は、上記ステップＳ３にてナンバー情報と車両検索情報とが一致していると判定した場合、このナンバー情報に基づく車両を撮像部１０１にて撮像するように、撮像部１０１の撮像方向を制御する。   In step S4, the vehicle search system 100 performs an imaging direction control process. In this process, if the vehicle search system 100 determines that the number information and the vehicle search information match in step S3, the vehicle image capturing unit 101 captures an image based on the number information. The imaging direction of the unit 101 is controlled.

よって、本実施形態の車両検索システム１００によれば、現時点での車両の位置を特定する確実性を向上させることができる。   Therefore, according to the vehicle search system 100 of the present embodiment, the certainty of specifying the current vehicle position can be improved.

（第２の実施形態）
図３乃至図６を用いて、本発明の他の実施形態（第２の実施形態）について説明する。まず、図３を用いて、本実施形態の車両検索システム２００の構成について説明する。図３は、本実施形態（第２の実施形態）に係る車両検索システム２００の内部構成を示すブロック図である。(Second Embodiment)
Another embodiment (second embodiment) of the present invention will be described with reference to FIGS. First, the structure of the vehicle search system 200 of this embodiment is demonstrated using FIG. FIG. 3 is a block diagram showing an internal configuration of the vehicle search system 200 according to the present embodiment (second embodiment).

（車両検索システム２００の構成）
本実施形態の車両検索システム２００は、機上装置２１０及び地上装置２２０を具備している。機上装置２１０は、航空機に搭載される。これにより、後述する機上装置２１０の撮像部２１１は、上空から地上を撮像することが可能となる。地上装置２２０は、例えば、機上装置２１０を管理する施設に設置される。地上装置２２０は、機上装置２１０から不審車両情報が送られると、この不審車両情報を巡回中のパトカー等に展開している。車両検索システム２００は、機上装置２１０で発見した不審車両の情報を地上装置２２０に伝達し、地上との連携に役立てている。まず、機上装置２１０について説明し、機上装置２１０を説明した後に、地上装置２２０について説明する。(Configuration of vehicle search system 200)
The vehicle search system 200 of this embodiment includes an on-board device 210 and a ground device 220. The onboard device 210 is mounted on an aircraft. Thereby, the imaging unit 211 of the on-board device 210 described later can capture the ground from above. The ground device 220 is installed in a facility that manages the on-board device 210, for example. When the suspicious vehicle information is sent from the onboard device 210, the ground device 220 expands the suspicious vehicle information to a patrol car or the like traveling around. The vehicle search system 200 transmits information on a suspicious vehicle discovered by the onboard device 210 to the ground device 220, which is used for cooperation with the ground. First, the onboard device 210 will be described, and after describing the onboard device 210, the ground device 220 will be described.

（機上装置２１０）
本実施形態において、機上装置２１０は、機外装置２０９と機内装置２０７とから構成される。まず、機外装置２０９について説明する。機外装置２０９は、撮像部２１１及び撮像方向制御部２２５を具備している。(Onboard device 210)
In the present embodiment, the onboard device 210 includes an outboard device 209 and an inboard device 207. First, the external device 209 will be described. The external device 209 includes an imaging unit 211 and an imaging direction control unit 225.

（撮像部２１１）
機外装置２０９の撮像部２１１は、図示しないレンズ及びディジタル撮像素子を有している。レンズは、例えば、集光レンズ又はズームレンズ等を用いて構成される。ディジタル撮像素子は、例えば、ＣＣＤで構成され、レンズにより受光した光の強度に応じて電荷を生成する素子である。そして、撮像部２１１は、ディジタル撮像素子によって生成された電荷に応じて画像を生成する。このＣＣＤについては、周知の技術であるため、具体的な説明は省略する。「ＣＣＤ」とは、「Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ」の略である。(Imaging unit 211)
The imaging unit 211 of the external device 209 has a lens and a digital imaging device (not shown). The lens is configured using, for example, a condenser lens or a zoom lens. The digital imaging element is an element that is configured by a CCD, for example, and generates electric charges according to the intensity of light received by a lens. The imaging unit 211 generates an image according to the electric charge generated by the digital image sensor. Since this CCD is a well-known technique, a detailed description thereof will be omitted. “CCD” is an abbreviation for “Charge Coupled Device”.

なお、本実施形態の撮像部２１１のディジタル画像素子は、上述したように、ＣＣＤで構成されるが、これに限定されず、レンズにより受光した光の強度に応じて電荷を生成するものであれば、例えば、ＣＭＯＳ等で構成しても良い。このＣＭＯＳについても、ＣＣＤと同様に、周知の技術であるため、具体的な説明は省略する。「ＣＭＯＳ」とは、「Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ」の略である。   As described above, the digital image element of the imaging unit 211 of the present embodiment is configured by a CCD, but is not limited to this, and may generate charges according to the intensity of light received by a lens. For example, you may comprise by CMOS etc., for example. Since this CMOS is also a well-known technique like the CCD, a specific description thereof will be omitted. “CMOS” is an abbreviation for “Complementary Metal Oxide Semiconductor”.

ここで、機外装置２０９は、図示しないＧＰＳ受信部を有しており、このＧＰＳ受信部により座標データを受信し、撮像部２１１にて撮像する際に、画像に座標データを付している。そして、機外装置２０９は、撮像部２１１にて撮像した画像を機内装置２０７に送信する際に、画像とともに、座標データを送信する。また、機外装置２０９は、機上装置２１０の座標データを機内装置２０７に送信する。なお、画像に座標データを付す点については、周知であるため、具体的な説明については省略する。「ＧＰＳ」とは、「Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ」の略である。   Here, the external device 209 has a GPS receiving unit (not shown), receives the coordinate data by the GPS receiving unit, and attaches the coordinate data to the image when the imaging unit 211 captures the image. . The external device 209 transmits coordinate data together with the image when transmitting the image captured by the imaging unit 211 to the internal device 207. Further, the external device 209 transmits the coordinate data of the onboard device 210 to the onboard device 207. In addition, since the point which attaches coordinate data to an image is known, it abbreviate | omits about specific description. “GPS” is an abbreviation for “Global Positioning System”.

これにより、後述する機内装置２０７の追尾情報生成部２１２は、機上装置２１０の座標データと撮像した画像の座標データとを用いて制御情報を生成することが可能になる。なお、これら制御情報の生成方法については、後述する。   As a result, the tracking information generation unit 212 of the in-flight device 207 described later can generate control information using the coordinate data of the on-board device 210 and the coordinate data of the captured image. A method for generating the control information will be described later.

（撮像方向制御部２２５）
撮像方向制御部２２５は、撮像部２１１の振動を抑制する振動制御を行う。撮像方向制御部２２５は、この処理を行うために、図示しないジャイロセンサを有している。なお、ジャイロセンサは、周知の技術であるため、具体的な説明を省略する。(Imaging direction control unit 225)
The imaging direction control unit 225 performs vibration control that suppresses vibration of the imaging unit 211. In order to perform this process, the imaging direction control unit 225 has a gyro sensor (not shown). Since the gyro sensor is a well-known technique, a specific description is omitted.

撮像方向制御部２２５は、操作部２０８による制御か、又は追尾情報生成部２１２による制御で駆動する。通常、撮像方向制御部２２５は、操作部２０８による制御で駆動する。これに対し、ユーザが操作部２０８の操作により自動検索モードに切り替えた場合には、追尾情報生成部２１２が周囲を自動でスキャンする。不審車両を追尾するときは追尾情報生成部２１２が自動で車両の追尾を開始する。これにより、撮像方向制御部２２５は、追尾情報生成部２１２による制御で駆動する。   The imaging direction control unit 225 is driven by control by the operation unit 208 or control by the tracking information generation unit 212. Normally, the imaging direction control unit 225 is driven by control by the operation unit 208. On the other hand, when the user switches to the automatic search mode by operating the operation unit 208, the tracking information generation unit 212 automatically scans the surroundings. When tracking a suspicious vehicle, the tracking information generation unit 212 automatically starts tracking the vehicle. Accordingly, the imaging direction control unit 225 is driven by the control by the tracking information generation unit 212.

撮像方向制御部２２５は、追尾情報生成部２１２から送信される制御情報を受信すると、設定された撮像方向に撮像部２１１を向ける処理を行う。ここで、設定された撮像方向に撮像部２１１を向ける処理は、上述の設定された撮像方向に撮像部２１１が向いていない、すなわち、撮像部２１１が異なる方向を向いている場合に行われる。これにより、この処理では、設定された撮像方向に撮像部２１１を向ける処理が行われる。このため、撮像方向制御部２２５は、撮像部２１１の撮像方向を変更する場合には、上述の設定されている撮像部２１１の撮像方向に撮像部２１１が向いていない場合に行われる。   When receiving the control information transmitted from the tracking information generation unit 212, the imaging direction control unit 225 performs processing for directing the imaging unit 211 in the set imaging direction. Here, the process of directing the imaging unit 211 in the set imaging direction is performed when the imaging unit 211 does not face the set imaging direction described above, that is, when the imaging unit 211 faces a different direction. Thereby, in this process, the process which directs the imaging part 211 to the set imaging direction is performed. For this reason, when changing the imaging direction of the imaging unit 211, the imaging direction control unit 225 is performed when the imaging unit 211 is not oriented in the imaging direction of the imaging unit 211 set as described above.

また、撮像方向制御部２２５は、撮像部２１１の撮像方向を制御する。具体的には、撮像方向制御部２２５は、後述する追尾情報生成部２１２により送信される制御情報を受信すると、この制御情報に基づいて、上述の利用者により入力された撮像方向を書き換えて、新たに撮像方向を設定する。このため、撮像部２１１の撮像方向は、利用者により入力された情報から、制御情報に基づいて、更新されていく。ここで、制御情報とは、撮像部２１１の撮像方向を制御するための撮像方向情報をいう。また、撮像部２１１の撮像方向とは、撮像部２１１が映している方角のことをいう。画角とは、映像に映る範囲を角度で示したものをいう。そして、撮像方向制御部２２５は、撮像部２１１の撮像方向の変更及びズーム倍率の制御を行う。また、撮像方向制御部２２５は、追尾情報生成部２１２に撮像部２１１の現在の撮像方向情報を送信する。   In addition, the imaging direction control unit 225 controls the imaging direction of the imaging unit 211. Specifically, when the imaging direction control unit 225 receives control information transmitted by the tracking information generation unit 212 described later, the imaging direction control unit 225 rewrites the imaging direction input by the user based on the control information, A new imaging direction is set. For this reason, the imaging direction of the imaging unit 211 is updated based on the control information from the information input by the user. Here, the control information refers to imaging direction information for controlling the imaging direction of the imaging unit 211. Further, the imaging direction of the imaging unit 211 refers to the direction in which the imaging unit 211 is projected. The angle of view refers to the range shown in the video as an angle. Then, the imaging direction control unit 225 changes the imaging direction of the imaging unit 211 and controls the zoom magnification. Further, the imaging direction control unit 225 transmits the current imaging direction information of the imaging unit 211 to the tracking information generation unit 212.

次に、機内装置２０７について説明する。機内装置２０７は、互いにバスで接続されたＣＰＵ２１０ａ、ＲＯＭ２１０ｂ、ＲＡＭ２１０ｃを具備し、コンピュータプログラムを実行する。これにより、機内装置２０７は、画像処理部２２１、車両画像抽出部２２２、検索車両判定部２２４及び追尾情報生成部２１２を制御する装置として機能する。「ＣＰＵ」とは、「Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ」の略である。「ＲＯＭ」とは、「Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ」の略である。「ＲＡＭ」とは、「Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ」の略である。   Next, the in-flight device 207 will be described. The in-flight device 207 includes a CPU 210a, a ROM 210b, and a RAM 210c connected to each other via a bus, and executes a computer program. Accordingly, the in-flight device 207 functions as a device that controls the image processing unit 221, the vehicle image extraction unit 222, the search vehicle determination unit 224, and the tracking information generation unit 212. “CPU” is an abbreviation for “Central Processing Unit”. “ROM” is an abbreviation for “Read Only Memory”. “RAM” is an abbreviation for “Random Access Memory”.

（操作部２０８）
また、機内装置２０７は、操作部２０８を具備している。この操作部２０８は、複数の操作ボタンを有し、利用者による撮像方向、画角、追尾車両登録等の操作を可能としている。この操作部２０８は、複数の操作ボタンを有し、利用者による車両検索情報の入力を可能にしている。(Operation unit 208)
The in-flight device 207 includes an operation unit 208. The operation unit 208 has a plurality of operation buttons, and allows the user to perform operations such as an imaging direction, an angle of view, and tracking vehicle registration. The operation unit 208 has a plurality of operation buttons, and allows the user to input vehicle search information.

なお、本実施形態の機内装置２０７は、上述したように、ＣＰＵ２１０ａ等を備え、コンピュータプログラムを実行しているが、これに限定されず、ＡＳＩＣ、ＰＬＤ等のハードウェアを用いてプログラムを実行しても良い。「ＡＳＩＣ」とは、「Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ」の略である。「ＰＬＤ」とは、「Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ」の略である。   As described above, the in-flight device 207 of this embodiment includes the CPU 210a and executes a computer program. However, the present invention is not limited thereto, and the program is executed using hardware such as an ASIC and a PLD. May be. “ASIC” is an abbreviation for “Application Specific Integrated Circuit”. “PLD” is an abbreviation for “Programmable Logic Device”.

（画像処理部２２１）
画像処理部２２１は、撮像部２１１から送信された画像のボケ除去、超解像、照明変化除去等の処理を行う。なお、この処理については、周知の技術であるため、詳細な説明を省略する。これにより、後述する車両画像抽出部２２２は、車両の画像の領域を抽出することが可能になる。(Image processing unit 221)
The image processing unit 221 performs processing such as blur removal, super-resolution, and illumination change removal of the image transmitted from the imaging unit 211. Since this process is a well-known technique, detailed description thereof is omitted. Thereby, the vehicle image extraction unit 222 described later can extract a region of the vehicle image.

（車両画像抽出部２２２）
車両画像抽出部２２２は、画像処理部２２１により補正された画像に基づいて、この画像の中から車両の画像を抽出する。なお、画像の中から車両の画像を抽出する方法については、パターン認識技術を利用しており、周知の技術であるため、詳細な説明は省略する。一例として、車両画像抽出部２２２は、画像処理部２２１から画像を受け取ると、車両の特徴情報を用いて、画像の中から車両の画像の領域を抽出する。(Vehicle image extraction unit 222)
The vehicle image extraction unit 222 extracts a vehicle image from the image based on the image corrected by the image processing unit 221. In addition, about the method of extracting the image of a vehicle from an image, since the pattern recognition technique is utilized and it is a known technique, detailed description is abbreviate | omitted. As an example, when the vehicle image extraction unit 222 receives an image from the image processing unit 221, the vehicle image extraction unit 222 extracts a region of the vehicle image from the image using the vehicle feature information.

（ナンバー情報読取部２２３）
ナンバー情報読取部２２３は、抽出した車両の画像に基づいて、車両のナンバープレート情報を読み取る。ここで、ナンバープレートに表示されている文字は、位置、文字の種類、配置について様式が定められているため、この様式に従い、ＯＣＲ技術を用いて各文字を抽出する。例えば、一連指定番号の左方側には、用途記号、左上方には、陸運支局名、右上方には、分類番号が並んでいる。これら定められた様式を利用し、各文字を画像から切り出して、ナンバープレートの画像からナンバー情報をテキスト化する。「ＯＣＲ」とは、「Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅｒ（光学式文字読取装置）」の略である。(Number information reading unit 223)
The number information reading unit 223 reads the license plate information of the vehicle based on the extracted vehicle image. Here, since the character displayed on the license plate has a predetermined format for position, character type, and arrangement, each character is extracted using the OCR technique according to this format. For example, the use symbol is arranged on the left side of the series designation number, the name of the land transportation branch office is arranged in the upper left, and the classification number is arranged in the upper right. Using these determined styles, each character is cut out from the image, and the number information is converted into text from the license plate image. “OCR” is an abbreviation for “Optical Character Reader”.

なお、本実施形態では、上述したように、車両のナンバープレートのナンバー情報を読み取るが、これに限定されず、例えば、車両の車種を認識しても良い。車両の車種を認識する方法については、既知の方法を用いると良いが、一例として、抽出した車両の画像の領域からタイヤ領域、窓領域を除いたボディ領域を抽出する。そして、抽出した画像のカラー情報を調べ、ボディの色を特定すると良い。   In the present embodiment, as described above, the number information on the license plate of the vehicle is read. However, the present invention is not limited to this. For example, the vehicle type of the vehicle may be recognized. As a method for recognizing the vehicle type of the vehicle, a known method may be used. As an example, a body region excluding a tire region and a window region is extracted from the extracted vehicle image region. Then, it is preferable to check the color information of the extracted image and specify the color of the body.

（検索車両判定部２２４）
検索車両判定部２２４は、車両画像抽出部２２２にて読み取ったナンバー情報と、ＲＯＭ２１０ｂに記憶されている検索車両情報とを対比し、これらナンバー情報と検索車両情報とが一致しているか否かを判定する。そして、検索車両判定部２２４は、ナンバー情報と検索車両情報とが一致しているか否かの判定結果を追尾情報生成部２１２に出力する。(Search vehicle determination unit 224)
The search vehicle determination unit 224 compares the number information read by the vehicle image extraction unit 222 with the search vehicle information stored in the ROM 210b, and determines whether these number information and the search vehicle information match. judge. Then, the search vehicle determination unit 224 outputs a determination result as to whether the number information and the search vehicle information match each other to the tracking information generation unit 212.

追尾情報生成部２１２は、車両位置座標を演算する処理を行う。追尾情報生成部２１２は、撮像方向制御情報を生成する処理を行う。追尾情報生成部２１２は、座標情報履歴を記録する。そして、追尾情報生成部２１２は、撮像方向制御部２２５に制御情報を送信する。ここで、機上装置２２０の座標データ及び検索車両の座標データに基づいて、追従情報を生成する方法は、周知の技術であるため、詳細な説明を省略するが、一例として、以下の方法により追従情報を生成する。機上装置２２０の座標データの各値（Ｘ値、Ｙ値、Ｚ値）と検索車両の座標データの各値（Ｘ値、Ｙ値、Ｚ値）との差分を算出する。そして、算出された差分に基づいて、機上装置２２０に対し、検索車両情報に基づく車両がどの方向に位置しているかを算出する。Ｘ値、Ｙ値の差分に基づいて、二軸の方向を算出する。この算出値をパラメータとして、撮像方向を決定している。   The tracking information generation unit 212 performs processing for calculating vehicle position coordinates. The tracking information generation unit 212 performs processing for generating imaging direction control information. The tracking information generation unit 212 records a coordinate information history. Then, the tracking information generation unit 212 transmits control information to the imaging direction control unit 225. Here, since the method for generating the tracking information based on the coordinate data of the onboard device 220 and the coordinate data of the search vehicle is a well-known technique, a detailed description thereof is omitted, but as an example, the following method is used. Generate follow-up information. The difference between each value (X value, Y value, Z value) of the coordinate data of the onboard device 220 and each value (X value, Y value, Z value) of the coordinate data of the search vehicle is calculated. Then, based on the calculated difference, it is calculated in which direction the vehicle based on the searched vehicle information is located with respect to the onboard device 220. Based on the difference between the X value and the Y value, the biaxial direction is calculated. The imaging direction is determined using this calculated value as a parameter.

そして、追尾情報生成部２１２は、生成した制御情報を撮像方向制御部２２５に送信する。ここで、制御情報とは、上述したように、撮像部２１１の撮像方向を制御するための撮像方向情報をいう。これにより、撮像部２１１の撮像方向を制御することが可能になる。また、追尾情報生成部２１２は、地上装置２２０に車両位置情報、車両ナンバー、車両の色、形状、車両画像を送信する。   Then, the tracking information generation unit 212 transmits the generated control information to the imaging direction control unit 225. Here, the control information refers to imaging direction information for controlling the imaging direction of the imaging unit 211 as described above. As a result, the imaging direction of the imaging unit 211 can be controlled. In addition, the tracking information generation unit 212 transmits vehicle position information, a vehicle number, a vehicle color, a shape, and a vehicle image to the ground device 220.

（地上装置２２０）
次に、地上装置２２０について説明する。地上装置２２０は、機上装置２１０と同様に、互いにバスで接続されたＣＰＵ２２０ａ、ＲＯＭ２２０ｂ、ＲＡＭ２２０ｃ等を具備し、コンピュータプログラムを実行する。これにより、地上装置２２０は、図示しない検索車両情報展開処理を具備する装置として機能する。(Ground device 220)
Next, the ground device 220 will be described. Similarly to the onboard device 210, the ground device 220 includes a CPU 220a, a ROM 220b, a RAM 220c, and the like connected to each other via a bus, and executes a computer program. Thereby, the ground device 220 functions as a device having a search vehicle information expansion process (not shown).

なお、本実施形態の地上装置２２０も、上述したように、ＣＰＵ２２０ａ等を備え、コンピュータプログラムを実行しているが、これに限定されず、機上装置２１０と同様に、ＡＳＩＣ、ＰＬＤ等のハードウェアを用いてプログラムを実行しても良い。   As described above, the ground device 220 according to the present embodiment also includes the CPU 220a and the like and executes the computer program. The program may be executed using hardware.

地上装置２２０は、機上装置２１０から検索車両の車両位置情報等を受信すると、この情報を巡回中のパトカー等に展開する処理を行う。これにより、本実施形態の検索車両システム２００は、現時点での車両の位置を特定する確実性を向上させることができる。   When the ground device 220 receives the vehicle position information and the like of the search vehicle from the onboard device 210, the ground device 220 performs a process of expanding this information to a patrol car or the like that is traveling. Thereby, the search vehicle system 200 of this embodiment can improve the certainty which pinpoints the position of the vehicle at the present time.

（検索車両システムの動作）
次に、図４を用いて、本実施形態の車両検索システム２００の流れについて説明する。図４は、本実施形態（第２の実施形態）に係る車両検索システム２００に実行させる処理の流れを示すシーケンスである。(Operation of search vehicle system)
Next, the flow of the vehicle search system 200 according to the present embodiment will be described with reference to FIG. FIG. 4 is a sequence showing a flow of processing to be executed by the vehicle search system 200 according to the present embodiment (second embodiment).

まず、機外装置２０９は、電源が投入されると、撮像部２１１を起動させ、画像情報を図示しない表示部に出力する。これにより、表示部には、撮像部２１１により撮像されている画像が表示される。なお、以下の例では、予め検索車両情報が記憶されているとする。そして、利用者は、操作部２０８を操作して、撮像部２１１のズーム倍率、撮像方向を変え、画像を目視しながら地上を監視する。   First, when the power is turned on, the external device 209 activates the imaging unit 211 and outputs image information to a display unit (not shown). Thereby, the image captured by the imaging unit 211 is displayed on the display unit. In the following example, search vehicle information is stored in advance. Then, the user operates the operation unit 208 to change the zoom magnification and the imaging direction of the imaging unit 211 and monitor the ground while viewing the image.

ステップＳ３１において、機内装置２０７は、表示部に表示されている画像を画像処理部２２１にて、画像のブレ、ズレ等を補正する。   In step S <b> 31, the in-flight device 207 corrects blurring, displacement, and the like of the image displayed on the display unit by the image processing unit 221.

ステップＳ３２において、機内装置２０７の車両画像抽出部２２２は、上記ステップＳ３１にて補正された画像の中から、車両の画像を抽出する。なお、画像の中から車両の画像を抽出する方法については、上述したように、車両画像抽出部２２２は、画像処理部２２１から画像を受け取ると、車両の特徴情報を用いて、画像の中から車両の画像の領域を抽出すると良い。このとき、利用者は、表示部に表示されている複数の車両の中から、一つの車両を選択することが可能である。なお、本実施形態では、利用者が選択するに限定されず、表示部に表示されている車両の画像情報を抽出することも可能である。   In step S32, the vehicle image extraction unit 222 of the in-flight device 207 extracts a vehicle image from the image corrected in step S31. As for the method of extracting the vehicle image from the image, as described above, when the vehicle image extraction unit 222 receives the image from the image processing unit 221, the vehicle image extraction unit 222 uses the vehicle feature information to extract the vehicle image from the image. It is preferable to extract a region of the vehicle image. At this time, the user can select one vehicle from a plurality of vehicles displayed on the display unit. In the present embodiment, the image information of the vehicle displayed on the display unit can be extracted without being limited to selection by the user.

ステップＳ３３において、機内装置２０７のナンバー情報読取部２２３は、車両画像抽出部２２２により抽出された車両の画像に基づいて、車両のナンバープレートのナンバー情報を読み取る。なお、本実施形態では、上述したように、車両のナンバープレートのナンバー情報を読み取るが、これに限定されず、例えば、車両の車種を認識しても良い。   In step S <b> 33, the number information reading unit 223 of the in-flight device 207 reads the number information of the vehicle license plate based on the vehicle image extracted by the vehicle image extraction unit 222. In the present embodiment, as described above, the number information on the license plate of the vehicle is read. However, the present invention is not limited to this. For example, the vehicle type of the vehicle may be recognized.

ステップＳ３４において、機内装置２０７の検索車両判定部２２４は、予め記憶されている検索車両情報と、上記ステップＳ３３にて読み取ったナンバー情報とを対比する。以下、ここでは、検索車両情報とナンバー情報とが一致したものとして説明する。   In step S34, the search vehicle determination unit 224 of the in-flight device 207 compares the search vehicle information stored in advance with the number information read in step S33. Hereafter, description will be made assuming that the search vehicle information and the number information match.

ステップＳ３５において、機内装置２０７の追尾情報生成部２１２は、検索車両情報とナンバー情報とが一致すると、機上装置２１０の座標データ、車両の推定座標データを用いて、制御情報を生成する。ここで、制御情報とは、上述したように、撮像部２１１の撮像方向を制御するための回転量等をいう。そして、この処理において、地上装置２２０は、生成した制御情報を撮像方向制御部２２５に送信する。なお、制御情報を生成する方法については、上述したように、機上装置２２０の座標データの値と車両の推定座標データの値との差分を算出し、算出した値に基づいて、機上装置２２０に対し、車両がどの方向に位置しているかを算出すると良い。   In step S35, when the searched vehicle information and the number information match, the tracking information generation unit 212 of the in-flight device 207 generates control information using the coordinate data of the on-board device 210 and the estimated coordinate data of the vehicle. Here, the control information refers to a rotation amount for controlling the imaging direction of the imaging unit 211, as described above. In this process, the ground device 220 transmits the generated control information to the imaging direction control unit 225. Regarding the method for generating the control information, as described above, the difference between the coordinate data value of the onboard device 220 and the estimated coordinate data value of the vehicle is calculated, and the onboard device is calculated based on the calculated value. For 220, the direction in which the vehicle is located may be calculated.

ステップ４０において、機外装置２０９の撮像方向制御部２２５は、追尾情報生成部２１２から制御情報を受信すると、撮像部２１１の撮像方向を制御する。そして、撮像方向制御部２２５は、ボケ・ブレ除去及び超解像処理後（照明変化除去処理前）の映像に追尾車両の位置等の情報を画面に重畳させる。これにより、表示部には、制御情報に基づいて撮像部２１１により撮像された画像が表示される。   In step 40, when receiving the control information from the tracking information generation unit 212, the imaging direction control unit 225 of the external device 209 controls the imaging direction of the imaging unit 211. Then, the imaging direction control unit 225 superimposes information such as the position of the tracking vehicle on the screen after the blur / blur removal and super-resolution processing (before the illumination change removal processing). Thereby, the image captured by the imaging unit 211 based on the control information is displayed on the display unit.

そして、機外装置２０９は、地上装置２２０に検索車両情報を送信する。地上装置２２０は、この検索車両情報を巡回中のパトカー等に展開する処理を行う。これにより、検索車両システム２００は、現時点での車両の位置を特定する確実性を向上させることが可能となる。   Then, the external device 209 transmits the search vehicle information to the ground device 220. The ground device 220 performs a process of expanding the retrieved vehicle information to a patrol car or the like that is traveling. Thereby, the search vehicle system 200 can improve the certainty of specifying the current position of the vehicle.

（電源投入処理）
次に、図５乃至図６を用いて、本実施形態の車両検索システム２００の機上装置２１０及び地上装置２２０に実行させる処理について説明する。まず、図５を用いて、機上装置２１０における電源投入処理について説明する。図５は、本実施形態（第２の実施形態）に係る機上装置２１０における電源投入処理を示すフローチャートである。(Power-on processing)
Next, processing executed by the onboard device 210 and the ground device 220 of the vehicle search system 200 according to the present embodiment will be described with reference to FIGS. First, the power-on process in the onboard device 210 will be described with reference to FIG. FIG. 5 is a flowchart showing a power-on process in the onboard device 210 according to the present embodiment (second embodiment).

ステップＳ１００において、機上装置２１０は、制御ボード起動処理を行う。この処理において、機上装置２１０は、電源が投入されると、図示しない制御基板に搭載されているＣＰＵ２１０ａを起動する。このため、以下の処理は、ＣＰＵ２１０ａにより実行される。   In step S100, the onboard device 210 performs a control board activation process. In this process, the on-board device 210 activates the CPU 210a mounted on a control board (not shown) when the power is turned on. For this reason, the following processing is executed by the CPU 210a.

ステップＳ２００において、ＣＰＵ２１０ａは、読み込み処理（ＲＯＭ２１０ｂに格納され、撮像部２１１、画像処理部２２１、車両画像抽出部２２２、検索車両判定部２２４及び追尾情報生成部２１２を動作させるための各種制御プログラム、各種データ等を読み込む処理）を行う。   In step S200, the CPU 210a reads the reading process (stored in the ROM 210b, various control programs for operating the imaging unit 211, the image processing unit 221, the vehicle image extraction unit 222, the search vehicle determination unit 224, and the tracking information generation unit 212, Process to read various data).

ステップＳ３００において、ＣＰＵ２１０ａは、設定処理（利用者により入力された撮像方向、画角を撮像部２１１に設定する処理）を行う。また、この処理において、ＣＰＵ２１０ａは、ＲＡＭ２１０ｃに記憶されている制御情報参照し、この制御情報に基づいて、撮像方向制御部２２５にて撮像部２１１の撮像方向を改めて設定する処理を行う。このため、撮像部２１１の撮像方向は、利用者により入力された情報、又は既に更新された制御情報に基づく情報から、新たな制御情報に基づいて、更新されていく。なお、制御情報は、後述するステップＳ５６０の撮像方向制御処理にて制御情報を受信すると、ＲＡＭ２１０ｃに記憶される。   In step S300, the CPU 210a performs a setting process (a process for setting the imaging direction and the angle of view input by the user in the imaging unit 211). In this process, the CPU 210a refers to the control information stored in the RAM 210c, and performs a process of setting the imaging direction of the imaging unit 211 anew in the imaging direction control unit 225 based on this control information. For this reason, the imaging direction of the imaging unit 211 is updated based on new control information from information input by the user or information based on already updated control information. The control information is stored in the RAM 210c when the control information is received in an imaging direction control process in step S560 described later.

ステップＳ４００において、ＣＰＵ２１０ａは、上記ステップＳ３００にて設定された撮像方向に撮像方向制御部２２５にて撮像部２１１を向ける処理を行う。ここで、設定された撮像方向に撮像部２１１を向ける処理は、上述の設定された撮像方向に撮像部２１１が向いていない、すなわち、撮像部２１１が異なる方向を向いている場合に行われる。これにより、この処理では、設定された撮像方向に撮像部２１１を向ける処理が行われる。ＣＰＵ２１０ａは、撮像方向制御部２２５にて撮像部２１１の角速度を検出している。ＣＰＵ２１０ａは、検出した角速度を積分演算処理により積分することで、撮像部２１１の角度（撮像方向）を算出している。そして、ＣＰＵ２１０ａは、上述の設定された角度（撮像方向）から算出した撮像部２１１の角度を引いた角度を算出する。ＣＰＵ２１０ａは、算出した角度を用いて、撮像部２１１を回転させる処理を行う。このとき、回転させる方向については、例えば、時計回り方向を＋とした場合、算出した角度が＋であれば、反時計回り方向に回転させ、算出した角度が−であれば、時計回り方向に回転させる等、算出した角度の正負で正逆回転させると良い。   In step S400, the CPU 210a performs processing of directing the imaging unit 211 in the imaging direction control unit 225 in the imaging direction set in step S300. Here, the process of directing the imaging unit 211 in the set imaging direction is performed when the imaging unit 211 does not face the set imaging direction described above, that is, when the imaging unit 211 faces a different direction. Thereby, in this process, the process which directs the imaging part 211 to the set imaging direction is performed. The CPU 210 a detects the angular velocity of the imaging unit 211 by the imaging direction control unit 225. The CPU 210a calculates the angle (imaging direction) of the imaging unit 211 by integrating the detected angular velocity by an integration calculation process. Then, the CPU 210a calculates an angle obtained by subtracting the calculated angle of the imaging unit 211 from the set angle (imaging direction). CPU210a performs the process which rotates the imaging part 211 using the calculated angle. At this time, with respect to the direction of rotation, for example, when the clockwise direction is +, if the calculated angle is +, it is rotated counterclockwise, and if the calculated angle is-, it is clockwise. It is good to rotate forward and backward by the positive and negative of the calculated angle, such as rotating.

ステップＳ５００において、ＣＰＵ２１０ａは、割込処理を行う。本実施形態において、割込処理は、制御情報を有無に応じて、実行する処理である。なお、この割込処理については、図６を用いて後述する。   In step S500, the CPU 210a performs an interrupt process. In the present embodiment, the interrupt process is a process for executing control information according to the presence or absence of control information. This interrupt process will be described later with reference to FIG.

（割込処理）
次に、図６を用いて、割込処理について説明する。図６は、本実施形態（第２の実施形態）に係る機上装置２１０における割込処理を示すフローチャートである。この割込処理は、図６に示すステップＳ５００のサブルーチンである。(Interrupt processing)
Next, the interrupt process will be described with reference to FIG. FIG. 6 is a flowchart showing an interrupt process in the onboard device 210 according to the present embodiment (second embodiment). This interrupt process is a subroutine of step S500 shown in FIG.

ステップＳ５１０において、ＣＰＵ２１０ａは、画像処理を行う。この処理において、ＣＰＵ２１０ａは、撮像部２１１により撮像された画像を画像処理部２２１によりブレ、ボケ等を補正する処理を行う。   In step S510, the CPU 210a performs image processing. In this processing, the CPU 210a performs processing for correcting blurring, blurring, and the like of the image captured by the imaging unit 211 by the image processing unit 221.

ステップＳ５２０において、ＣＰＵ２１０ａは、検索車両情報が入力されているか否かを判定する。ここで、検索車両情報は、利用者が表示部に表示されている画像の中から、検索車両を選択した場合が挙げられる。   In step S520, the CPU 210a determines whether or not the search vehicle information is input. Here, the search vehicle information includes a case where the user selects a search vehicle from the images displayed on the display unit.

ステップＳ５３０において、ＣＰＵ２１０ａは、車両画像抽出処理を行う。この処理において、ＣＰＵ１１０ａは、画像処理部２２１により送信された画像から車両画像抽出部２２２にて車両部分を抽出する。   In step S530, the CPU 210a performs a vehicle image extraction process. In this process, the CPU 110a extracts a vehicle portion from the image transmitted by the image processing unit 221 by the vehicle image extraction unit 222.

ステップＳ５４０において、ＣＰＵ２１０ａは、ナンバー情報読取処理を行う。この処理において、ＣＰＵ２１０ａは、ナンバー情報読取部２２３にて車両のナンバーを読み取る処理を行う。   In step S540, the CPU 210a performs number information reading processing. In this process, the CPU 210a performs a process of reading the vehicle number by the number information reading unit 223.

ステップＳ５５０において、ＣＰＵ２１０ａは、利用者により入力された検索車両情報と、上記ステップＳ５４０にて読み取ったナンバー情報とが一致するか否かを判定する。この処理において、ＣＰＵ２１０ａは、検索車両情報とナンバー情報とが一致していると判定した場合には、ステップＳ５６０に処理を移す。一方、この処理において、ＣＰＵ２１０ａは、検索車両情報とナンバー情報とが一致していないと判定した場合には、今回の処理を終了する。   In step S550, the CPU 210a determines whether or not the retrieved vehicle information input by the user matches the number information read in step S540. In this process, if the CPU 210a determines that the searched vehicle information and the number information match, the process proceeds to step S560. On the other hand, in this process, if the CPU 210a determines that the searched vehicle information and the number information do not match, the current process ends.

なお、本実施形態では、上述したように、検索車両情報とナンバー情報とが一致していないと判定した場合には、今回の処理を終了しているが、これに限定されず、再度、画像情報を受信し、繰り返し処理を行っても良い。   In the present embodiment, as described above, when it is determined that the search vehicle information and the number information do not match, the current process is terminated, but the present invention is not limited to this, and the image is again displayed. Information may be received and repeated processing may be performed.

ステップＳ５６０において、ＣＰＵ２１０ａは、追尾情報生成処理を行う。この処理において、ＣＰＵ２１０ａは、制御情報を生成する。そして、ＣＰＵ２１０ａは、機外装置２０９の撮像方向制御部２２５に制御情報を送信する。制御情報は、上述したように、撮像部２１１の撮像方向を制御するための撮像方向情報をいう。   In step S560, the CPU 210a performs tracking information generation processing. In this process, the CPU 210a generates control information. Then, the CPU 210a transmits control information to the imaging direction control unit 225 of the external device 209. As described above, the control information refers to imaging direction information for controlling the imaging direction of the imaging unit 211.

（電源投入処理）
次に、地上装置２２０の処理について説明する。この地上装置２２０は、地上装置２１０から送信される車両位置情報、車両ナンバー、車両の色及び形状、車両画像等の情報を受信すると、巡回中のパトカー等にこれらの情報を展開する処理を行う。(Power-on processing)
Next, processing of the ground device 220 will be described. When the ground device 220 receives the vehicle position information, the vehicle number, the color and shape of the vehicle, the vehicle image, and the like transmitted from the ground device 210, the ground device 220 performs a process of expanding the information on a patrol car or the like that is traveling. .

以上のように、本実施形態の車両検索システム２００は、検索車両情報とナンバー情報とが一致した場合には、このナンバー情報に基づく車両に向けて撮像部２１１の撮像方向、画角を制御することが可能になる。   As described above, the vehicle search system 200 according to the present embodiment controls the imaging direction and angle of view of the imaging unit 211 toward the vehicle based on the number information when the searched vehicle information matches the number information. It becomes possible.

よって、車両検索システム２００によれば、検索車両情報とナンバー情報とが一致した車両をリアルタイム、かつ継続的に表示することが可能になり、現時点での車両の位置を特定する確実性を向上させることができる。   Therefore, according to the vehicle search system 200, it is possible to continuously display a vehicle in which the search vehicle information and the number information coincide with each other in real time, and improve the certainty of specifying the current vehicle position. be able to.

（第３の実施形態）
図７を用いて、本発明の他の実施形態（第３の実施形態）について説明する。まず、図７を用いて、本実施形態の車両検索システム３００の構成について説明する。図７は、本実施形態（第３の実施形態）に係る車両検索システム３００の構成を示すブロック図である。(Third embodiment)
With reference to FIG. 7, another embodiment (third embodiment) of the present invention will be described. First, the configuration of the vehicle search system 300 according to the present embodiment will be described with reference to FIG. FIG. 7 is a block diagram illustrating a configuration of a vehicle search system 300 according to the present embodiment (third embodiment).

本実施形態の車両検索システム３００は、上述の第２の実施形態の車両検索システム２００に対し、複数の撮像部３１１として、第１の撮像部３１１ａ及び第２の撮像部３１１ｂを具備する点が異なり、他の点は、同様である。したがって、以下、本実施形態の車両検索システム３００を説明する際に、上述の第２の実施形態の車両検索システム２００と同様の部分については、同一又は相当する符号を付して、その説明を省略する。   The vehicle search system 300 according to the present embodiment is different from the vehicle search system 200 according to the second embodiment described above in that it includes a first imaging unit 311a and a second imaging unit 311b as a plurality of imaging units 311. The other points are the same. Therefore, hereinafter, when describing the vehicle search system 300 of the present embodiment, the same or corresponding reference numerals are given to the same parts as those of the vehicle search system 200 of the second embodiment described above, and the description thereof will be given. Omitted.

本実施形態において、車両検索システム３００は、上述したように、第１の撮像部３１１ａ及び第２の撮像部３１１ｂを具備している。このように、本実施形態の車両検索システム３００では、複数の撮像部３１１として、第１の撮像部３１１ａ及び第２の撮像部３１１ｂを有しているため、複数の方向から同時に車両を撮像することが可能になる。   In the present embodiment, the vehicle search system 300 includes the first imaging unit 311a and the second imaging unit 311b as described above. As described above, the vehicle search system 300 according to the present embodiment includes the first imaging unit 311a and the second imaging unit 311b as the plurality of imaging units 311. Therefore, the vehicle is imaged simultaneously from a plurality of directions. It becomes possible.

また、本実施形態において、第１の撮像部３１１ａは、広角レンズ３３１を有している。また、第２の撮像部３１１ｂは、望遠レンズ３３２を有している。これにより、第１の撮像部３１１ａは、広角レンズ３３１を用いて複数の車両を捉える。第２の撮像部３１１ｂは、望遠レンズ３３２を用いて特定の車両を捉える。これにより、本実施形態によれば、広域の車両を同時に、かつ継続的に抽出することが可能になる。このため、本実施形態によれば、広視野の画像で捉えた車両を順に調査することで、ナンバー読み取り対象の重複を防ぐことが可能になる。   In the present embodiment, the first imaging unit 311a includes a wide-angle lens 331. In addition, the second imaging unit 311b has a telephoto lens 332. Accordingly, the first imaging unit 311a captures a plurality of vehicles using the wide-angle lens 331. The second imaging unit 311 b captures a specific vehicle using the telephoto lens 332. Thereby, according to this embodiment, it becomes possible to extract a vehicle of a wide area simultaneously and continuously. For this reason, according to this embodiment, it becomes possible to prevent duplication of the number reading object by sequentially investigating the vehicles captured by the wide-field image.

なお、本実施形態では、複数の撮像部３１１を一つの航空機に搭載しているが、これに限定されず、複数の航空機の夫々に一つの撮像部３１１を搭載することで、複数の撮像部３１１を構成しても良い。また、複数の航空機の夫々に複数の撮像部３１１を搭載することで、複数の撮像部３１１を構成しても良い。これにより、本実施形態によれば、より広域な範囲で車両を撮像することが可能になる。   In the present embodiment, a plurality of imaging units 311 are mounted on one aircraft. However, the present invention is not limited to this, and a plurality of imaging units can be provided by mounting one imaging unit 311 on each of a plurality of aircraft. 311 may be configured. In addition, a plurality of imaging units 311 may be configured by mounting a plurality of imaging units 311 on each of a plurality of aircraft. Thereby, according to this embodiment, it becomes possible to image a vehicle in a wider range.

以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。   The present invention has been described above using the above-described embodiment as an exemplary example. However, the present invention is not limited to the above-described embodiment. That is, the present invention can apply various modes that can be understood by those skilled in the art within the scope of the present invention.

この出願は、２０１５年４月１日に出願された日本出願特願２０１５−０７４８２１を基礎とする優先権を主張し、その開示の全てをここに取り込む。   This application claims the priority on the basis of Japanese application Japanese Patent Application No. 2015-074821 for which it applied on April 1, 2015, and takes in those the indications of all here.

１００ 車両検索システム
１０１ 撮像部
１０２ 車両画像抽出部
１０３ ナンバー情報読取部
１０４ 検索車両判定部
１０５ 撮像方向制御部DESCRIPTION OF SYMBOLS 100 Vehicle search system 101 Imaging part 102 Vehicle image extraction part 103 Number information reading part 104 Search vehicle determination part 105 Imaging direction control part

Claims (9)

飛行物体に搭載され、上空から地上を撮像する撮像手段と、
前記撮像手段により撮像されている画像から、車両の画像を抽出する車両画像抽出手段と、
前記車両画像抽出手段により抽出された車両の画像からナンバープレート上のナンバー情報を読み取るナンバー情報読取手段と、
前記ナンバー情報読取手段により読み取られたナンバー情報が、予め設定されている検索車両情報と一致するか否かを判定する検索車両判定手段と、
前記検索車両判定手段により前記ナンバー情報と前記検索車両情報とが一致すると判定された場合、このナンバー情報に基づく車両を撮像するように前記撮像手段の撮像方向を制御する撮像方向制御手段と、を具備する、車両検索システム。An imaging means mounted on a flying object and imaging the ground from above;
Vehicle image extraction means for extracting an image of the vehicle from the image captured by the imaging means;
Number information reading means for reading number information on the license plate from the vehicle image extracted by the vehicle image extracting means;
Search vehicle determination means for determining whether or not the number information read by the number information reading means matches preset search vehicle information;
An imaging direction control means for controlling an imaging direction of the imaging means so as to image a vehicle based on the number information when the search vehicle determination means determines that the number information and the search vehicle information match. A vehicle search system. 前記検索車両判定手段により前記ナンバー情報と前記検索車両情報とが一致していないと判定された場合、前記車両画像抽出手段は、前記撮像手段により撮像されている画像から、再度、車両の画像を抽出する、請求項１記載の車両検索システム。   When it is determined by the search vehicle determination means that the number information and the search vehicle information do not match, the vehicle image extraction means again extracts the vehicle image from the image captured by the imaging means. The vehicle search system according to claim 1, wherein the vehicle search system is extracted. 前記撮像手段は、複数の撮像手段からなり、
これら複数の撮像手段は、互いに異なる方向に向けて地上を撮像する、請求項１又は２記載の車両検索システム。The imaging means comprises a plurality of imaging means,
The vehicle search system according to claim 1 or 2, wherein the plurality of imaging means images the ground in different directions. 前記飛行物体は、複数の飛行物体からなり、
これら複数の飛行物体に少なくとも一つの前記撮像手段を搭載する、請求項３記載の車両検索システム。The flying object comprises a plurality of flying objects,
The vehicle search system according to claim 3, wherein at least one of the imaging means is mounted on the plurality of flying objects. 前記複数の撮像手段のうち、何れか一つの第１の撮像手段は、広角レンズを有し、前記複数の撮像手段のうち、前記第１の撮像手段と異なる何れか一つの第２の撮像手段は、望遠レンズを有する、請求項３又は４記載の車両検索システム。   Any one of the plurality of imaging units includes a wide-angle lens, and any one of the plurality of imaging units is different from the first imaging unit. The vehicle search system according to claim 3 or 4, comprising a telephoto lens. 前記撮像方向制御手段により制御された前記撮像手段による撮像画像を表示する表示手段を具備する、請求項１乃至５の何れか一項に記載の車両検索システム。   The vehicle search system according to any one of claims 1 to 5, further comprising display means for displaying an image captured by the imaging means controlled by the imaging direction control means. 上空から地上が撮像されている画像から、車両の画像を抽出し、
抽出した車両の画像からナンバープレート上のナンバー情報を読み取り、
読み取ったナンバー情報が、予め設定されている検索車両情報と一致するか否かを判定し、
前記ナンバー情報と前記検索車両情報とが一致すると判定した場合には、このナンバー情報に基づく車両を撮像するように撮像方向を制御する、車両検索方法。Extract the vehicle image from the image of the ground imaged from above,
Read the number information on the license plate from the extracted vehicle image,
Determine whether the read number information matches the preset search vehicle information,
A vehicle search method for controlling an imaging direction so as to image a vehicle based on the number information when it is determined that the number information matches the search vehicle information. 前記ナンバー情報と前記検索車両情報とが一致していないと判定した場合には、撮像されている画像から、再度、車両の画像を抽出する、請求項７記載の車両検索方法。   The vehicle search method according to claim 7, wherein if it is determined that the number information and the search vehicle information do not match, a vehicle image is extracted again from the captured image. 制御した撮像方向の画像を表示する、請求項７又は８記載の車両検索方法。   The vehicle search method according to claim 7 or 8, wherein an image in a controlled imaging direction is displayed.
JP2017509293A 2015-04-01 2016-03-30 Vehicle search system and vehicle search method Active JP6907938B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015074821 2015-04-01
JP2015074821 2015-04-01
PCT/JP2016/001825 WO2016157894A1 (en) 2015-04-01 2016-03-30 Vehicle search system and vehicle search method

Publications (2)

Publication Number Publication Date
JPWO2016157894A1 true JPWO2016157894A1 (en) 2018-02-08
JP6907938B2 JP6907938B2 (en) 2021-07-21

Family

ID=57004060

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017509293A Active JP6907938B2 (en) 2015-04-01 2016-03-30 Vehicle search system and vehicle search method

Country Status (2)

Country Link
JP (1) JP6907938B2 (en)
WO (1) WO2016157894A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107730889B (en) * 2017-10-30 2021-01-05 昆明理工大学 Target vehicle retrieval method based on traffic video

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0721400B2 (en) * 1988-10-17 1995-03-08 三菱電機株式会社 Tracking device
JPH11296788A (en) * 1998-04-10 1999-10-29 Mitsubishi Electric Corp Vehicle speed measuring instrument
JP2008545324A (en) * 2005-06-30 2008-12-11 プラナム・ビジョン・リミテッド Monitoring system and method for detecting prohibited operation along a predetermined path
JP2011165146A (en) * 2010-02-15 2011-08-25 Nec Software Kyushu Ltd In-vehicle device, notification method, vehicle collation system and computer program
JP2013205419A (en) * 2013-06-10 2013-10-07 Pasuko:Kk Portable photographing device
JP2014089160A (en) * 2012-10-31 2014-05-15 Topcon Corp Aviation photographic measurement method, and aviation photographic measurement system
JP2014119827A (en) * 2012-12-13 2014-06-30 Secom Co Ltd Imaging system
US20140336848A1 (en) * 2013-05-10 2014-11-13 Palo Alto Research Center Incorporated System and method for detecting, tracking and estimating the speed of vehicles from a mobile platform

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0721400B2 (en) * 1988-10-17 1995-03-08 三菱電機株式会社 Tracking device
JPH11296788A (en) * 1998-04-10 1999-10-29 Mitsubishi Electric Corp Vehicle speed measuring instrument
JP2008545324A (en) * 2005-06-30 2008-12-11 プラナム・ビジョン・リミテッド Monitoring system and method for detecting prohibited operation along a predetermined path
JP2011165146A (en) * 2010-02-15 2011-08-25 Nec Software Kyushu Ltd In-vehicle device, notification method, vehicle collation system and computer program
JP2014089160A (en) * 2012-10-31 2014-05-15 Topcon Corp Aviation photographic measurement method, and aviation photographic measurement system
JP2014119827A (en) * 2012-12-13 2014-06-30 Secom Co Ltd Imaging system
US20140336848A1 (en) * 2013-05-10 2014-11-13 Palo Alto Research Center Incorporated System and method for detecting, tracking and estimating the speed of vehicles from a mobile platform
JP2013205419A (en) * 2013-06-10 2013-10-07 Pasuko:Kk Portable photographing device

Also Published As

Publication number Publication date
WO2016157894A1 (en) 2016-10-06
JP6907938B2 (en) 2021-07-21

Similar Documents

Publication Publication Date Title
JP4622001B2 (en) Road lane marking detection apparatus and road lane marking detection method
JP6311646B2 (en) Image processing apparatus, electronic mirror system, and image processing method
WO2016002163A1 (en) Image display device and image display method
EP3217318A2 (en) Method of switching vehicle drive mode from automatic drive mode to manual drive mode depending on accuracy of detecting object
JP6586849B2 (en) Information display device and information display method
US20210331680A1 (en) Vehicle driving assistance apparatus
JP6795379B2 (en) Operation control device, operation control method and operation control program
JP2020065141A (en) Vehicle overhead image generation system and method thereof
JP6989284B2 (en) Vehicle position estimation device and program
JP6375633B2 (en) Vehicle periphery image display device and vehicle periphery image display method
JP2014106739A (en) In-vehicle image processing device
JP6327115B2 (en) Vehicle periphery image display device and vehicle periphery image display method
KR102552712B1 (en) System for estimating a vehicle location and method for estimating the vehicle location using the system
WO2016157894A1 (en) Vehicle search system and vehicle search method
JP2006344133A (en) Road division line detector
KR101724868B1 (en) Apparatus and method for recognizing traffic mark based on image
JP2020086956A (en) Imaging abnormality diagnosis device
JP2005216200A (en) Other vehicle detecting apparatus and method
EP4060639B1 (en) Traffic signal recognition method and traffic signal recognition device
JP2023052713A (en) Imaging device, imaging system, and imaging method
JP2005178623A (en) Display device for vehicle
JP6992344B2 (en) Landmark selection method and landmark selection device
US20210129751A1 (en) Side and rear reflection controller and side and rear reflection control method
JP2019091327A (en) Three-dimensional object detection device
JP5921596B2 (en) Image processing apparatus and image processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200317

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200514

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210601

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210614

R150 Certificate of patent or registration of utility model

Ref document number: 6907938

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D03

R157 Certificate of patent or utility model (correction)

Free format text: JAPANESE INTERMEDIATE CODE: R157