JP7094929B2 - 車両点検装置、及び車両点検システム - Google Patents

車両点検装置、及び車両点検システム Download PDF

Info

Publication number
JP7094929B2
JP7094929B2 JP2019170988A JP2019170988A JP7094929B2 JP 7094929 B2 JP7094929 B2 JP 7094929B2 JP 2019170988 A JP2019170988 A JP 2019170988A JP 2019170988 A JP2019170988 A JP 2019170988A JP 7094929 B2 JP7094929 B2 JP 7094929B2
Authority
JP
Japan
Prior art keywords
vehicle
camera
exterior
door mirror
image analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019170988A
Other languages
English (en)
Other versions
JP2021046148A (ja
Inventor
章 寺内
奈保樹 加藤
香代子 深澤
宏之 友杉
賢大 飯島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2019170988A priority Critical patent/JP7094929B2/ja
Priority to CN202010907866.6A priority patent/CN112543281B/zh
Priority to US17/023,908 priority patent/US11375163B2/en
Publication of JP2021046148A publication Critical patent/JP2021046148A/ja
Application granted granted Critical
Publication of JP7094929B2 publication Critical patent/JP7094929B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0645—Rental transactions; Leasing transactions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/006—Side-view mirrors, e.g. V-shaped mirrors located at the front or rear part of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/06—Rear-view mirror arrangements mounted on vehicle exterior
    • B60R1/062—Rear-view mirror arrangements mounted on vehicle exterior with remote control for adjusting position
    • B60R1/07—Rear-view mirror arrangements mounted on vehicle exterior with remote control for adjusting position by electrically powered actuators
    • B60R1/074—Rear-view mirror arrangements mounted on vehicle exterior with remote control for adjusting position by electrically powered actuators for retracting the mirror arrangements to a non-use position alongside the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/02—Reservations, e.g. for tickets, services or events
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F17/00—Coin-freed apparatus for hiring articles; Coin-freed facilities or services
    • G07F17/0042—Coin-freed apparatus for hiring articles; Coin-freed facilities or services for hiring of objects
    • G07F17/0057—Coin-freed apparatus for hiring articles; Coin-freed facilities or services for hiring of objects for the hiring or rent of vehicles, e.g. cars, bicycles or wheelchairs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30156—Vehicle coating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Mechanical Engineering (AREA)
  • Marketing (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Signal Processing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Tourism & Hospitality (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Operations Research (AREA)
  • Traffic Control Systems (AREA)
  • Rear-View Mirror Devices That Are Mounted On The Exterior Of The Vehicle (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Alarm Systems (AREA)

Description

本発明は、車両点検装置、及び車両点検システムに関する。
従来、カーシェアリング等により利用される車両の天井中心部付近に設置され、カメラを前後左右に向けて車室内全体を撮影するようにした車内点検装置が提案されている（例えば、特許文献１参照）。上記車内点検装置は、車両の使用前後の車室内の撮影画像を比較することによって、利用者の忘れ物や車室の破損を認識し、利用者の携帯端末や業者への通知を行う。
特開２０１３－１９１０５３号公報
上記従来の車内点検装置は車両の車室内を点検するが、車両の外装についても点検を行いたいという要請がある。この要請に応じるためには、車両の外装を撮影するためのカメラを設ける必要があるが、カメラの追加による撮影部のコストアップ及び構成の複雑化を抑制することが望ましい。
本発明はかかる背景に鑑みてなされたものであり、撮影部のコストアップ及び構成の複雑化を抑制して、車両の車室内及び外装を撮影することができる車両点検装置及び車両点検システムを提供することを目的とする。
上記目的を達成するための第１態様として、車両に設けられた電動可倒式のドアミラーに装着され、前記ドアミラーが全開状態と格納状態との間で開閉動作する過程で、撮影範囲に前記車両の外装が含まれる外装撮影可能状態と、撮影範囲に前記車両の車室が含まれる車室撮影可能状態とが切り替わるカメラと、前記ドアミラーの動作により前記カメラが前記外装撮影可能状態となったときに、前記カメラにより前記車両の外装を撮影し、前記ドアミラーの動作により前記カメラが前記車室撮影可能状態となったときに、前記カメラにより前記車両の車室を撮影する車両撮影処理を実行する撮影制御部と、を備え、前記車両は貸出車両であり、前記貸出車両の返却時点を推定する返却時点推定部を備え、前記撮影制御部は、前記返却時点推定部により推定された前記返却時点に、前記車両撮影処理を実行する車両点検装置が挙げられる。
上記車両点検装置において、前記車両の施錠に連動した前記ドアミラーの自動格納動作の開始を認識する自動格納動作認識部を備え、前記撮影制御部は、前記自動格納動作認識部により前記ドアミラーの前記自動格納動作の開始が認識されたときに、前記車両撮影処理を実行する構成としてもよい。
上記車両点検装置において、前記カメラは、前記車両の助手席側のドアミラーのみに装着されている構成としてもよい。
次に、上記目的を達成するための第２態様として、車両に設けられた電動可倒式のドアミラーに装着され、前記ドアミラーが全開状態と格納状態との間で開閉動作する過程で、撮影範囲に前記車両の外装が含まれる外装撮影可能状態と、撮影範囲に前記車両の車室が含まれる車室撮影可能状態とが切り替わるカメラと、前記ドアミラーの動作により前記カメラが前記外装撮影可能状態となったときに、前記カメラにより前記車両の外装を撮影し、前記ドアミラーの動作により前記カメラが前記車室撮影可能状態となったときに、前記カメラにより前記車両の車室を撮影する車両撮影処理を実行する撮影制御部と、前記車両撮影処理により撮影された前記車両の外装及び車室の画像を送信する撮影画像送信部と、を備える車両点検装置と、前記撮影画像送信部により送信された前記車両の外装及び車室の画像を受信して、前記車両の外装及び車室の画像を解析する画像解析処理を実行する画像解析サーバと、を備える車両点検システムが挙げられる。
上記車両点検システムにおいて、前記画像解析サーバは、前記画像解析処理により、前記車両の清掃の要否を判断する構成としてもよい。
上記車両点検システムにおいて、前記車両は貸出車両であり、前記画像解析サーバは、前記画像解析処理により、前記貸出車両の汚れが所定レベル以上であると判断した場合に、前記貸出車両の貸出を停止する構成としてもよい。
上記車両点検システムにおいて、前記車両は貸出車両であり、前記画像解析サーバは、前記画像解析処理により、前記貸出車両の車室内の忘れ物の有無を判断し、忘れ物有りと判断したときに、前記貸出車両を利用した利用者により使用される利用者端末に、忘れ物有りを通知する忘れ物通知情報を送信する構成としてもよい。
本発明の車両制御装置によれば、車両のドアミラーの開閉動作により、ドアミラーに装着されたカメラの撮影範囲を外装撮影可能状態と車室撮影可能状態とに切り替えて、車両の外装と車室の双方を撮影することができる。そのため、車両の外装を撮影するためのカメラと車室を撮影するためのカメラを個別に備える場合よりも、撮影部の構成の複雑化とコストアップを抑制することができる。
図１は、車両点検システムの構成図である。 図２は、ドアミラーに装着されたカメラの撮影範囲の説明図である。 図３は、車両の点検画像の撮影及び送信処理と、点検画像の解析処理のフローチャートである。 図４は、利用者の要求に応じて、画像解析サーバから利用者端末に利用車両の点検画像を送信する処理のフローチャートである。 図５は、利用者の要求に応じて、画像解析サーバから利用者端末に予約車両の点検画像を送信する処理のフローチャートである。
［１．車両点検システムの構成］
図１及び図２を参照して、本実施形態における車両点検システム１の構成について説明する。車両点検システム１は、車両５に搭載された車両点検装置１０と、画像解析サーバ２１０とにより構成されている。車両点検装置１０は、車両５に搭載された通信部４０及び通信ネットワーク５００を介して、画像解析サーバ２１０との間で通信を行う。
車両５は、レンタル或いはカーシェアリングサービスにより貸し出される貸出車両であり、車両５の利用は車両貸出サーバ２００により管理される。車両５には、車両５の全体的な作動を制御するＥＣＵ（Electronic Control Unit）４１が備えられている。画像解析サーバ２１０は、図示しないＣＰＵ（Central Processing Unit）、メモリ、通信部等により構成されたコンピュータシステムである。画像解析サーバ２１０は、通信ネットワーク５００を介して、車両５の利用者Ｕにより使用される利用者端末１００及び車両貸出サーバ２００との間で通信を行う。
車両点検装置１０は、車両５の左ドアミラー６１に装着されたカメラ５０を備えている。ここで、図２を参照して、カメラ５０の撮影範囲について説明する。車両５の左右のドアミラー６０，６１は、電動可倒式のドアミラーである。図２のＳ１は、左右のドアミラー６０，６１が全開した状態を示しており、左ドアミラー６１に装着されたカメラ５０の撮影範囲Ａｒ１に、車両５の左側面の外装（ボディの側面）ＢＤが含まれる外装撮影可能状態となっている。
また、図２のＳ２は、左右のドアミラー６０，６１が格納された状態を示しており、カメラ５０の撮影範囲Ａｒ２に車両５の車室ＣＲが含まれる車室撮影可能状態となっている。本実施形態の車両５は右ハンドル車であって、カメラ５０が助手席６３側のドアミラーである左ドアミラー６１にのみ装着されている。そのため、車室撮影可能状態において、特に車室ＣＲの運転席６２付近をカメラ５０により撮影することができる。
なお、外装撮影可能状態は、左ドアミラー６１が全開状態である場合に限られず、左ドアミラー６１が全開位置と格納位置との間の回動位置にあって、カメラ５０の撮影範囲に車両５の外装ＢＤの少なくとも一部が含まれる状態も外装撮影可能状態となる。同様に、車室撮影可能状態は、左ドアミラー６１が格納状態である場合に限られず、左ドアミラー６１が全開位置と格納位置との間の回動位置にあって、カメラ５０の撮影範囲に車両５の車室ＣＲの少なくとも一部が含まれる状態も車室撮影可能状態となる。
車両点検装置１０は、ＣＰＵ２０、メモリ３０等により構成され、メモリ３０に保存された車両点検装置１０の制御用プログラムを実行することにより、撮影制御部２１、撮影画像送信部２２、自動格納動作認識部２３、及び返却時点推定部２４として機能する。
なお、本実施形態では、カメラ５０により撮影された車両５の外装ＢＤ及び車室ＣＲの画像を、画像解析サーバ２１０により解析する構成としたが、車両点検装置１０に画像解析部２５を備える構成としてもよい。この場合、ＣＰＵ２０は、制御用プログラム３１を実行することにより画像解析部２５として機能し、後述する画像解析サーバ２１０と同様に、車両５の外装ＢＤ及び車室ＣＲの画像の解析を行う。
撮影制御部２１は、カメラ５０が外装撮影可能状態であるときに、カメラ５０により車両５の外装ＢＤを撮影し、カメラ５０が車室撮影可能状態であるときに、カメラ５０により車両５の車室ＣＲを撮影する車両撮影処理を実行する。撮影制御部２１は、車両５の外装ＢＤ及び車室ＣＲの撮影画像３２を、メモリ３０に保存する。以下では、車両５の外装ＢＤ及び車室ＣＲの撮影画像を、点検画像Ｐｄとも称する。撮影画像送信部２２は、点検画像Ｐｄを画像解析サーバ２１０に送信する。
自動格納動作認識部２３は、ＥＣＵ４１との通信により、車両５の使用停止時（イグニッションＯＦＦ時等）の左右のドアミラー６０，６１の自動格納動作を認識する。返却時点推定部２４は、ＥＣＵ４１との通信により、車両５が返却されたことを推定する。返却時点推定部２４は、例えば、車両５が所定の返却場所に戻されて、利用者Ｕが車載装置に対して返却操作を行ったことを認識したときに、車両５が返却されたことを推定する。
撮影制御部２１は、後述するように、返却時点推定部２４により車両５が返却されたことが推定されると共に、自動格納動作認識部２３により左右のドアミラー６０，６１の自動格納動作が認識されたときに、車両撮影処理を実行する。
［２．車両撮影及び画像解析処理］
図３に示したフローチャートに従って、車両点検装置１０により実行される車両撮影処理、及び画像解析サーバ２１０により実行される点検画像に対する解析処理の実行手順について説明する。
車両点検装置１０において、撮影制御部２１は、ステップＳ１で返却時点推定部２４により車両５の返却処理が開始されたときに、ステップＳ２に処理を進めて、カメラ５０により車両５の外装を撮影する。続くステップＳ３で自動格納動作認識部２３により左右のドアミラー６０，６１の自動格納動作が開始されたことが認識されたときに、撮影制御部２１は、ステップＳ４に処理を進めて、カメラ５０により車両５の車室ＣＲを撮影する。次のステップＳ５で、撮影画像送信部２２は、車両５の外装ＢＤ及び車室ＣＲの画像（点検画像）Ｐｄを、画像解析サーバ２１０に送信する。
画像解析サーバ２１０は、ステップＳ１０で、車両点検装置１０から送信された点検画像Ｐｄを受信したときに、ステップＳ１１に処理を進めて点検画像を解析する。具体的には、画像解析サーバ２１０は、予め点検画像ＤＢ（Data Base)に保存された貸出前の車両５の外装ＢＤ及び車室ＣＲの画像と、点検画像Ｐｄとを比較して外装ＢＤ及び車室ＣＲの変化を算出する。
続くステップＳ１２で、画像解析サーバ２１０は、外装ＢＤ及び車室ＣＲの画像の変化度合から車両５の清掃が必要か否かを判断する。そして、画像解析サーバ２１０は、車両５の清掃が必要と判断した場合はステップＳ２０に処理を進め、車両５の清掃が不要と判断した場合にはステップＳ１３に処理を進める。
ステップＳ２０で、画像解析サーバ２１０は、車両貸出サーバ２００に対して、車両５の清掃の登録を依頼する清掃依頼情報を送信して、車両５の清掃を登録する。これにより、車両貸出サーバ２００によって車両５の清掃が手配される。続くステップＳ２１で、画像解析サーバ２１０は、車両５の汚れレベルが閾値以上であるか否かを判断する。そして、画像解析サーバ２１０は、車両５の汚れレベルが閾値以上であるときはステップＳ２２に処理を進め、車両５の汚れレベルが閾値未満であるときにはステップＳ１３に処理を進める。
ステップＳ２２で、画像解析サーバ２１０は、車両貸出サーバ２００に対して、車両５の新規予約の受付を一時停止することを要請する予約停止要請情報を送信し、ステップＳ１３に処理を進める。これにより、車両貸出サーバ２００によって車両５の貸出を一時的に停止する処理が実行される。
ステップＳ１３で、画像解析サーバ２１０は、車室ＣＲの画像の解析結果に基づいて、車両５の車室ＣＲに利用者Ｕの忘れ物があるか否かを判断する。そして、画像解析サーバ２１０は、忘れ物があったときはステップＳ３０に処理を進め、忘れ物がなかったときにはステップＳ１４に処理を進める。
ステップＳ３０で、画像解析サーバ２１０は、利用者端末１００に対して、車両５への忘れ物の可能性を通知する忘れ物通知情報を送信する。利用者Ｕは、利用者端末１００の表示部に表示される忘れ物通知情報を視認することにより、車両５に忘れ物をしたことを認識することができる。
［３．忘れ物確認処理］
図４に示したフローチャートに従って、利用者端末１００及び画像解析サーバ２１０により実行される忘れ物確認処理について説明する。
利用者端末１００は、ステップＳ５０で、利用者Ｕによる操作に応じて、車両５における忘れ物の有無の確認を要求する忘れ物確認情報を、画像解析サーバに送信する。画像解析サーバ２１０は、ステップＳ６０で利用者端末１００から忘れ物確認情報を受信したときに、ステップＳ６１に処理を進める。
画像解析サーバ２１０は、ステップＳ６１で、点検画像ＤＢ２１１を検索して、忘れ物を確認する対象車両（ここでは車両５）の点検画像を抽出する。続くステップＳ６２で、画像解析サーバ２１０は、対象車両の点検画像を利用者端末１００に送信する。なお、ここでは、車両５における忘れ物の有無が確認できればよいので、点検画像（車両５の外装ＢＤ及び車室ＣＲの画像）のうち、車室ＣＲの画像のみを送信するようにしてもよい。
利用者端末１００は、ステップＳ５１で画像解析サーバ２１０から対象車両の点検画像を受信したときに、ステップＳ５２に処理を進める。ステップＳ５２で、利用者端末１００は、表示部に対象車両（車両５）の点検画像を表示する。利用者Ｕは、利用者端末１００の表示部に表示された車両５の点検画像を視認することにより、車両５に忘れ物をしたか否かを確認することができる。
［４．車両確認処理］
図５に示したフローチャートに従って、利用者端末１００及び画像解析サーバ２１０により実行される車両確認処理について説明する。
利用者端末１００は、ステップＳ７０で、利用者Ｕによる操作に応じて、予約をした車両の確認を要請する予約車両確認情報を、画像解析サーバ２１０に送信する。なお、利用者Ｕは、車両貸出サーバ２００から提供されるカーシェアアプリ（アプリケーションプログラム）等を利用者端末１００で実行することにより、或いは車両貸出サーバ２００の貸出受付ウェブページにアクセスすることによって、車両の予約をすることができる。
画像解析サーバ２１０は、ステップＳ８０で利用者端末１００から予約車両確認情報を受信したときにステップＳ８１に処理を進める。ステップＳ８１で、画像解析サーバ２１０は、点検画像ＤＢ２１１を検索して、予約車両の直近の点検画像を抽出する。続くステップＳ８２で、画像解析サーバ２１０は、予約車両の点検画像を利用者端末１００に送信する。
利用者端末１００は、ステップＳ７１で画像解析サーバ２１０から予約車両の点検画像を受信したときに、ステップＳ７２に処理を進める。ステップＳ７２で、利用者端末１００は、表示部に予約車両の点検画像を表示する。利用者Ｕは、利用者端末１００の表示部に表示された予約車両の点検画像を視認することにより、予約車両の汚れの程度や破損の有無等を確認することができる。そして、利用者Ｕは、予約車両の汚れや破損の程度がひどいと判断したときには、予約を取り消す等の対応をすることができる。
［５．他の実施形態］
上記実施形態では、カメラ５０により撮影された車両５の点検画像Ｐｄを、画像解析サーバ２１０に送信して解析した。他の構成として、上述したように、車両点検装置１０に画像解析部２５を備え、画像解析部２５により、図３～図５に示したフローチャートによる画像解析サーバ２１０による処理と同様の処理を行うようにしてもよい。この場合、車両点検装置１０に撮影画像送信部２２を備える必要はない。
上記実施形態では、車両点検装置１０に、自動格納動作認識部２３及び返却時点推定部２４を備えたが、自動格納動作認識部２３と返却時点推定部２４とのうちのいずれか一方のみを備えた構成としてもよい。或いは、自動格納動作認識部２３及び返却時点推定部２４を省略した構成としてもよい。この場合は、例えば、利用者Ｕによる操作に応じて、撮影制御部２１が、ＥＣＵ４１に対して左ドアミラー６１の開閉動作を指示することにより、左ドアミラー６１を開閉してカメラ５０により車両５の外装ＢＤ及び車室ＣＲを撮影する。
上記実施形態では、カメラ５０を助手席６３側のドアミラーである左ドアミラー６１のみに装着したが、運転席６２側のドアミラーである右ドアミラー６０にも、カメラ５０を装着してもよい。左右のドアミラー６０，６１の双方にカメラ５０を装着することにより、車両５の外装及び車室をより広範囲に撮影することができる。
上記実施形態では、左ドアミラー６１の開閉動作により、カメラ５０の撮影範囲を変更したが、左ドアミラー６１の開閉動作とは別に、カメラ５０の向きを変える機構を設けて、カメラ５０の撮影範囲をさらに広げてもよい。
上記実施形態において、車両５がカメラの撮影画像に基づく周辺モニタ機能を有する場合には、車両５の側方を撮影するために左右のドアミラー６０，６１に装着されたカメラを、外装及び車室を撮影するためのカメラ５０として転用してもよい。
なお、図１は、本願発明の理解を容易にするために、車両点検装置１０及び画像解析サーバ２１０の構成を、主な処理内容により区分して示した概略図であり、車両点検装置１０及び画像解析サーバ２１０の構成を、他の区分によって構成してもよい。また、各構成要素の処理は、１つのハードウェアユニットにより実行されてもよいし、複数のハードウェアユニットにより実行されてもよい。また、図３～図５に示した各構成要素による処理は、１つのプログラムにより実行されてもよいし、複数のプログラムにより実行されてもよい。
［６．上記実施形態によりサポートされる構成］
上記実施形態は、以下の構成の具体例である。
（第１項）車両に設けられた電動可倒式のドアミラーに装着され、前記ドアミラーが全開状態と格納状態との間で開閉動作する過程で、前記車両の外装が撮影範囲となる外装撮影可能状態と、前記車両の車室が撮影範囲となる車室撮影可能状態とが切り替わるカメラと、前記ドアミラーの動作により前記カメラが前記外装撮影可能状態となったときに、前記カメラにより前記車両の外装を撮影し、前記ドアミラーの動作により前記カメラが前記車室撮影可能状態となったときに、前記カメラにより前記車両の車室を撮影する車両撮影処理を実行する撮影制御部と、を備える車両点検装置。
第１項の車両点検装置によれば、車両のドアミラーの開閉動作により、ドアミラーに装着されたカメラの撮影範囲を外装撮影可能状態と車室撮影可能状態とに切り替えて、車両の外装と車室の双方を撮影することができる。そのため、車両の外装を撮影するためのカメラと車室を撮影するためのカメラを個別に備える場合よりも、撮影部の構成の複雑化とコストアップを抑制することができる。
（第２項）前記車両の施錠に連動した前記ドアミラーの自動格納動作の開始を認識する自動格納動作認識部を備え、前記撮影制御部は、前記自動格納動作認識部により前記ドアミラーの前記自動格納動作の開始が認識されたときに、前記車両撮影処理を実行する第１項に記載の車両点検装置。
第２項の車両点検装置によれば、車両に施錠と連動してドアミラーの自動格納動作が開始されたタイミングで、効率よく車両撮影処理を実行することができる。
（第３項）前記カメラは、前記車両の助手席側のドアミラーのみに装着されている第１項又は第２項に記載の車両点検装置。
第３項の車両点検装置によれば、装着するカメラの台数が１台に制限される場合に、他の席と比べて使用時間が長いと想定される運転席付近を、助手席側のドアミラーに装着されたカメラにより優先的に撮影することができる。
（第４項）前記車両は貸出車両であり、前記貸出車両の返却時点を推定する返却時点推定部を備え、前記撮影制御部は、前記返却時点推定部により推定された前記返却時点に、前記車両撮影処理を実行する第１項から第３項のうちいずれか１項に記載の車両点検装置。
第４項の車両点検装置によれば、貸出車両が返却された時点における貸出車両の外装と車室を撮影することができる。
（第５項）車両に設けられた電動可倒式のドアミラーに装着され、前記ドアミラーが全開状態と格納状態との間で開閉動作する過程で、撮影範囲に前記車両の外装が含まれる外装撮影可能状態と、撮影範囲に前記車両の車室が含まれる車室撮影可能状態とが切り替わるカメラと、前記ドアミラーの動作により前記カメラが前記外装撮影可能状態となったときに、前記カメラにより前記車両の外装を撮影し、前記ドアミラーの動作により前記カメラが前記車室撮影可能状態となったときに、前記カメラにより前記車両の車室を撮影する車両撮影処理を実行する撮影制御部と、前記車両撮影処理により撮影された前記車両の外装及び車室の画像を送信する撮影画像送信部と、を備える車両点検装置と、前記撮影画像送信部により送信された前記車両の外装及び車室の画像を受信して、前記車両の外装及び車室の画像を解析する画像解析処理を実行する画像解析サーバと、を備える車両点検システム。
第５項の車両点検システムによれば、画像撮影処理により撮影された車両の外装及び車室の画像に対する画像解析処理を、画像解析サーバにより実行することによって、車両点検装置による画像解析処理を不要として、車両点検装置の負荷を低減することができる。
（第６項）前記画像解析サーバは、前記画像解析処理により、前記車両の清掃の要否を判断する第５項に記載の車両点検システム。
第６項の車両点検システムによれば、画像解析処理により、車両の清掃の要否を容易に行うことができる。
（第７項）前記車両は貸出車両であり、前記画像解析サーバは、前記画像解析処理により、前記貸出車両の汚れが所定レベル以上であると判断した場合に、前記貸出車両の貸出を停止する第５項又は第６項に記載の車両点検システム。
第７項の車両点検システムによれば、貸出車両の汚れがひどい場合に、貸出車両の貸出を停止することで、貸出車両の利用者に不快感を与えることを防止することができる。
（第８項）前記車両は貸出車両であり、前記画像解析サーバは、前記画像解析処理により、前記貸出車両の車室内の忘れ物の有無を判断し、忘れ物有りと判断したときに、前記貸出車両を利用した利用者により使用される利用者端末に、忘れ物有りを通知する忘れ物通知情報を送信する第６項から第７項のうちいずれか１項に記載の車両点検システム。
第８項の車両点検システムによれば、画像解析処理により、車両の車室への忘れ物の有無を容易に判断することができる。
１…車両点検システム、５…車両、１０…車両点検装置、２０…ＣＰＵ、２１…撮影制御部、２２…撮影画像送信部、２３…自動格納動作認識部、２４…返却時点推定部、２５…画像解析部、３０…メモリ、３１…制御用プログラム、３２…撮影画像、４０…通信部、４１…ＥＣＵ、５０…カメラ、６０…右ドアミラー（運転席側のドアミラー）、６１…左ドアミラー（助手席側のドアミラー）、６２…運転席、６３…助手席、１００…利用者端末、２００…車両貸出サーバ、２１０…画像解析サーバ、２１１…点検画像ＤＢ、５００…通信ネットワーク、Ｕ…利用者、Ｓ１…外装撮影可能状態、Ｓ２…車室撮影可能状態、Ｐｄ…点検画像。

Claims (7)

  1. 車両に設けられた電動可倒式のドアミラーに装着され、前記ドアミラーが全開状態と格納状態との間で開閉動作する過程で、撮影範囲に前記車両の外装が含まれる外装撮影可能状態と、撮影範囲に前記車両の車室が含まれる車室撮影可能状態とが切り替わるカメラと、
    前記ドアミラーの動作により前記カメラが前記外装撮影可能状態となったときに、前記カメラにより前記車両の外装を撮影し、前記ドアミラーの動作により前記カメラが前記車室撮影可能状態となったときに、前記カメラにより前記車両の車室を撮影する車両撮影処理を実行する撮影制御部と、を備え、
    前記車両は貸出車両であり、
    前記貸出車両の返却時点を推定する返却時点推定部を備え、
    前記撮影制御部は、前記返却時点推定部により推定された前記返却時点に、前記車両撮影処理を実行する
    車両点検装置。
  2. 前記車両の施錠に連動した前記ドアミラーの自動格納動作の開始を認識する自動格納動作認識部を備え、
    前記撮影制御部は、前記自動格納動作認識部により前記ドアミラーの前記自動格納動作の開始が認識されたときに、前記車両撮影処理を実行する
    請求項１に記載の車両点検装置。
  3. 前記カメラは、前記車両の助手席側のドアミラーのみに装着されている
    請求項１又は請求項２に記載の車両点検装置。
  4. 車両に設けられた電動可倒式のドアミラーに装着され、前記ドアミラーが全開状態と格納状態との間で開閉動作する過程で、撮影範囲に前記車両の外装が含まれる外装撮影可能状態と、撮影範囲に前記車両の車室が含まれる車室撮影可能状態とが切り替わるカメラと、
    前記ドアミラーの動作により前記カメラが前記外装撮影可能状態となったときに、前記カメラにより前記車両の外装を撮影し、前記ドアミラーの動作により前記カメラが前記車室撮影可能状態となったときに、前記カメラにより前記車両の車室を撮影する車両撮影処理を実行する撮影制御部と、
    前記車両撮影処理により撮影された前記車両の外装及び車室の画像を送信する撮影画像送信部と、
    を備える車両点検装置と、
    前記撮影画像送信部により送信された前記車両の外装及び車室の画像を受信して、前記車両の外装及び車室の画像を解析する画像解析処理を実行する画像解析サーバと、
    を備える車両点検システム。
  5. 前記画像解析サーバは、前記画像解析処理により、前記車両の清掃の要否を判断する
    請求項４に記載の車両点検システム。
  6. 前記車両は貸出車両であり、
    前記画像解析サーバは、前記画像解析処理により、前記貸出車両の汚れが所定レベル以上であると判断した場合に、前記貸出車両の貸出を停止する
    請求項４又は請求項５に記載の車両点検システム。
  7. 前記車両は貸出車両であり、
    前記画像解析サーバは、前記画像解析処理により、前記貸出車両の車室内の忘れ物の有無を判断し、忘れ物有りと判断したときに、前記貸出車両を利用した利用者により使用される利用者端末に、忘れ物有りを通知する忘れ物通知情報を送信する
    請求項４から請求項６のうちいずれか１項に記載の車両点検システム。
JP2019170988A 2019-09-20 2019-09-20 車両点検装置、及び車両点検システム Active JP7094929B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019170988A JP7094929B2 (ja) 2019-09-20 2019-09-20 車両点検装置、及び車両点検システム
CN202010907866.6A CN112543281B (zh) 2019-09-20 2020-09-02 车辆检查装置及车辆检查系统
US17/023,908 US11375163B2 (en) 2019-09-20 2020-09-17 Vehicle inspection device and vehicle inspection system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019170988A JP7094929B2 (ja) 2019-09-20 2019-09-20 車両点検装置、及び車両点検システム

Publications (2)

Publication Number Publication Date
JP2021046148A JP2021046148A (ja) 2021-03-25
JP7094929B2 true JP7094929B2 (ja) 2022-07-04

Family

ID=74877583

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019170988A Active JP7094929B2 (ja) 2019-09-20 2019-09-20 車両点検装置、及び車両点検システム

Country Status (3)

Country Link
US (1) US11375163B2 (ja)
JP (1) JP7094929B2 (ja)
CN (1) CN112543281B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220014681A (ko) * 2020-07-29 2022-02-07 현대자동차주식회사 자동차 및 그를 위한 실내 청결 관리 방법
US20230067659A1 (en) * 2021-08-24 2023-03-02 Ford Global Technologies, Llc Systems and methods for detecting vehicle defects
US11856314B2 (en) * 2022-03-30 2023-12-26 Motherson Innovations Company Limited Method for correcting stitching problems, rearview system and vehicle
DE102022119149A1 (de) * 2022-07-29 2024-02-01 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum analysieren eines äusseren fahrzeugzustandes und computerprogramm

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006182234A (ja) 2004-12-28 2006-07-13 Nissan Motor Co Ltd 車載カメラシステム、撮影方法及びドアミラー
JP2013191053A (ja) 2012-03-14 2013-09-26 Nec Access Technica Ltd 車内点検装置および車内点検方法
JP2019016199A (ja) 2017-07-07 2019-01-31 日本ユニシス株式会社 宅配レンタカーカメラシステム

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9767655B2 (en) * 2013-10-31 2017-09-19 GM Global Technology Operations LLC Methods, systems and apparatus for providing notification that a wireless communication device has been left inside a vehicle
KR101579100B1 (ko) * 2014-06-10 2015-12-22 엘지전자 주식회사 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량
US20160090040A1 (en) * 2014-09-30 2016-03-31 Ian Marsh Vehicle Monitoring Device
JP2016141246A (ja) * 2015-02-02 2016-08-08 株式会社東海理化電機製作所 ミラー制御装置及びミラー制御システム
US10315578B2 (en) * 2016-01-14 2019-06-11 Faraday&Future Inc. Modular mirror assembly
CN205971068U (zh) * 2016-07-17 2017-02-22 漳州妹族工业设计有限公司 一种可伸缩可旋转的汽车后视镜
US10086763B2 (en) * 2016-07-19 2018-10-02 GM Global Technology Operations LLC System and method for enhancing vehicle environment perception
KR101949438B1 (ko) * 2016-10-05 2019-02-19 엘지전자 주식회사 차량용 디스플레이 장치 및 이를 포함하는 차량
KR101954199B1 (ko) * 2016-12-09 2019-05-17 엘지전자 주식회사 차량용 어라운드 뷰 모니터링 장치, 운행 제어 장치 및 차량
US10220785B2 (en) * 2017-03-24 2019-03-05 Ford Global Technologies, Llc Controlling side-view mirrors in autonomous vehicles
US10195994B2 (en) * 2017-04-07 2019-02-05 GM Global Technology Operations LLC Vehicle side mirror automation
US10210387B2 (en) * 2017-05-03 2019-02-19 GM Global Technology Operations LLC Method and apparatus for detecting and classifying objects associated with vehicle
WO2019014874A1 (en) * 2017-07-19 2019-01-24 Bayerische Motoren Werke Aktiengesellschaft APPARATUS, SERVER AND METHOD FOR SHARING VEHICLE
KR102046468B1 (ko) * 2017-07-26 2019-11-18 엘지전자 주식회사 차량용 사이드 미러
KR102058050B1 (ko) * 2017-08-16 2019-12-20 엘지전자 주식회사 운행 보조 시스템 및 차량
KR102449480B1 (ko) * 2017-11-24 2022-09-30 삼성전자주식회사 차량용 사이드 미러 시스템을 제어하기 위한 장치 및 방법
US10832065B1 (en) * 2018-06-15 2020-11-10 State Farm Mutual Automobile Insurance Company Methods and systems for automatically predicting the repair costs of a damaged vehicle from images
US10515535B1 (en) * 2018-08-24 2019-12-24 General Motors Llc System and method to provide a misplacement notification
US20200186689A1 (en) * 2018-09-17 2020-06-11 Chris Outwater Automated Vehicle (AV) Interior Inspection Method and Device
US10836353B2 (en) * 2018-11-15 2020-11-17 Fotonation Limited Vehicle side view camera system with adjustable field of view
US11043044B2 (en) * 2018-12-04 2021-06-22 Blackberry Limited Systems and methods for vehicle condition inspection for shared vehicles
KR102570058B1 (ko) * 2018-12-17 2023-08-23 현대자동차주식회사 차량 및 그 제어방법
EP3898333B1 (en) * 2018-12-19 2022-10-12 Volvo Truck Corporation A method for adapting an image displayed on a monitor in a vehicle cab to a vehicle configuration
US10913428B2 (en) * 2019-03-18 2021-02-09 Pony Ai Inc. Vehicle usage monitoring
JP2021057707A (ja) * 2019-09-27 2021-04-08 トヨタ自動車株式会社 車室内検出装置及び車室内検出システム
KR20220014681A (ko) * 2020-07-29 2022-02-07 현대자동차주식회사 자동차 및 그를 위한 실내 청결 관리 방법
US20220057269A1 (en) * 2020-08-21 2022-02-24 Analog Devices, Inc. Multi-sensor using a thermal camera

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006182234A (ja) 2004-12-28 2006-07-13 Nissan Motor Co Ltd 車載カメラシステム、撮影方法及びドアミラー
JP2013191053A (ja) 2012-03-14 2013-09-26 Nec Access Technica Ltd 車内点検装置および車内点検方法
JP2019016199A (ja) 2017-07-07 2019-01-31 日本ユニシス株式会社 宅配レンタカーカメラシステム

Also Published As

Publication number Publication date
CN112543281A (zh) 2021-03-23
CN112543281B (zh) 2023-03-24
US20210092331A1 (en) 2021-03-25
JP2021046148A (ja) 2021-03-25
US11375163B2 (en) 2022-06-28

Similar Documents

Publication Publication Date Title
JP7094929B2 (ja) 車両点検装置、及び車両点検システム
WO2017092097A1 (zh) 一种车内环境监控的方法及终端
US20120148117A1 (en) System and method for facial identification
CN112235748B (zh) 一种挪车提醒方法、装置及计算机存储介质
US9414391B2 (en) Method and system for servicing call with doorphone using telematics
DE102020121631A1 (de) Systeme und verfahren zum authentifizieren der fahrzeugnutzung
BR112021016305A2 (pt) Sistema de substituição de espelho com fusão dinâmica
JP7388294B2 (ja) サーバ装置、情報処理システム、プログラム、制御装置、車両、及び情報処理システムの動作方法
JP3853764B2 (ja) 車両盗難対応装置，車両盗難対応システム，方法およびプログラム
CN108583568A (zh) 停车辅助方法、系统及配备有该系统的车辆
JP2011197728A (ja) 共用車両管理装置
JP2020166524A (ja) 監視システム、監視方法およびコンピュータプログラム
KR20150002994A (ko) 신뢰성 있게 차량 주변 영상을 제공하는 장치
US20190098127A1 (en) Driver device locking
US11414052B2 (en) Vehicle control system and vehicle control method
CN115696021A (zh) 用于车辆的控制方法、摄像头控制装置、计算设备和车辆
JP7155090B2 (ja) 車両予約システム、及び車両予約方法
JP7112191B2 (ja) 画像処理装置及び画像処理方法
CN116156311A (zh) 摄像头控制方法及装置
JP7051369B2 (ja) 画像処理装置及び画像処理方法
WO2023210433A1 (ja) 異常検出システム及び異常検出方法
JP2007030569A (ja) 車両用静脈認証装置
WO2023190375A1 (ja) アクセス認可システム、電子制御装置、アクセス認可方法、及びプログラム
JP7103773B2 (ja) 画像処理装置及び画像処理方法
JP7373690B2 (ja) 列車監視システム及び列車監視方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210329

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220322

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220324

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220516

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220622

R150 Certificate of patent or registration of utility model

Ref document number: 7094929

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150