JP6735506B2 - 画像生成装置、および、画像処理システム - Google Patents

画像生成装置、および、画像処理システム Download PDF

Info

Publication number
JP6735506B2
JP6735506B2 JP2016191676A JP2016191676A JP6735506B2 JP 6735506 B2 JP6735506 B2 JP 6735506B2 JP 2016191676 A JP2016191676 A JP 2016191676A JP 2016191676 A JP2016191676 A JP 2016191676A JP 6735506 B2 JP6735506 B2 JP 6735506B2
Authority
JP
Japan
Prior art keywords
resolution
image
image data
partial area
partial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016191676A
Other languages
English (en)
Other versions
JP2018056838A (ja
Inventor
柴田　修
修 柴田
岩井　浩
岩井　　浩
西村　佳壽子
佳壽子 西村
康夫 三宅
康夫 三宅
嘉晃 佐藤
嘉晃 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2016191676A priority Critical patent/JP6735506B2/ja
Priority to CN201780059063.6A priority patent/CN109792506B/zh
Priority to PCT/JP2017/032768 priority patent/WO2018061740A1/ja
Priority to DE112017004892.3T priority patent/DE112017004892T5/de
Publication of JP2018056838A publication Critical patent/JP2018056838A/ja
Priority to US16/293,823 priority patent/US10763285B2/en
Application granted granted Critical
Publication of JP6735506B2 publication Critical patent/JP6735506B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/30003—Arrangements for executing specific machine instructions
    • G06F9/3004—Arrangements for executing specific machine instructions to perform operations on memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Power Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Description

本開示は、画像生成装置、および、画像処理システムに関する。
車載カメラによって撮像された画像データから対象物を検出する技術、および、当該画像データを低減する技術が知られている。特許文献１に開示されている画像処理装置は、画像取得部と、領域設定部と、処理部とを有する。画像取得部は、赤外線画像データを取得する。領域設定部は、画像取得部により取得された赤外線画像データに基づく画像領域に対して、画像領域を複数の領域に分割する境界線を設定し、境界線によって分割された複数の領域のうちの少なくとも１つの領域を画素密度変更領域に設定する。処理部は、画素密度変更領域の赤外線画像データの画素密度を低減する処理を行い、画素密度変更領域を含む画像領域の赤外線画像データに基づいて対象物の検出処理を行い、検出処理の結果に基づいて表示用画像データを生成する。
特開２０１３−４１４８１号公報
特許文献１には、複数の画像領域のうちの少なくとも１つの領域の画素密度変更領域に設定することが開示されている。しかし、車載カメラによって撮像される画像データは車両の走行に応じて時々刻々と変化するため、画素密度変更領域に設定された領域の画素密度を低減することが不適切になってしまうことも多い。
本開示の目的は、車載カメラで撮像された画像データを適切に圧縮する画像生成装置を提供することにある。また、本開示の他の目的は、前述の画像生成装置が圧縮した画像データを処理する画像処理装置を提供することにある。
本開示の一形態は、
車両の走行状態に関する走行情報を受信する第１受信部と、
車両において用いられるイメージセンサの撮像領域のうち第１部分領域を走行情報に基づいて設定し、撮像領域のうち第１部分領域以外の領域の解像度が、第１部分領域の解像度よりも低い画像データを生成する制御部と、
を備え、前記イメージセンサは、予め定められた複数の区画の何れかに属する複数の画素を有し、前記制御部は、前記走行情報に基づいて、前記第１部分領域以外の少なくとも一部の解像度が前記第１部分領域の解像度よりも小さくなるように各区画の解像度を決定し、前記第１部分領域以外の少なくとも１つの区画の解像度が、前記第１部分領域の区画の解像度よりも低い画像データを生成し、前記制御部は、前記走行情報から前記車両が上り坂の頂上および下り坂の底のいずれか一方の直前に到達したと判定した場合、前記複数の画素の内、前記車両の斜め下方および斜め上方の一方からの光を受光する画素を含む区画を前記第１部分領域に設定する画像生成装置に向けられる。
また、本開示の一形態は、車両の走行状態に関する走行情報を受信する第１受信部と、
前記走行情報と前記車両の周囲を撮影するイメージセンサにより撮像された第１画像データとが入力され、前記走行情報に基づいて、前記車両が上り坂の頂上および下り坂の底のいずれか一方の直前に到達したと判定した場合、前記第１画像データを分割した複数の部分領域のうち、下方又は上方の部分領域を第１部分領域と設定し、複数の部分領域のうち前記第１部分領域と異なる少なくとも１つの部分領域を第２部分領域と設定し、前記第２部分領域の解像度を前記第１部分領域の解像度よりも小さい値に決定し、前記第１画像データのうち前記第２部分領域の解像度を前記決定した解像度に変更した第２画像データを生成し、前記第２画像データを画像処理部に出力する制御部と、
を備える画像生成装置に向けられる。
また、本開示の他の形態は、
車両の走行状態に関する走行情報を受信する第１受信部と、
前記車両において用いられるイメージセンサの撮像領域のうち第１部分領域を前記走行情報に基づいて設定し、前記撮像領域のうち前記第１部分領域以外の領域の解像度が、前記第１部分領域の解像度よりも低い画像データを生成する制御部と、
を有する画像生成装置を備え、
前記イメージセンサは、予め定められた複数の区画の何れかに属する複数の画素を有し、
前記制御部は、前記走行情報に基づいて、前記第１部分領域以外の少なくとも一部の解像度が前記第１部分領域の解像度よりも小さくなるように各区画の解像度を決定し、前記第１部分領域以外の少なくとも１つの区画の解像度が、前記第１部分領域の区画の解像度よりも低い画像データを生成し、前記制御部は、前記画像データの画像フォーマット情報をさらに生成し、前記画像フォーマット情報は、前記イメージセンサからの画像の解像度、前記画像データの解像度、前記複数の区画の総数、および、前記複数の区画それぞれの解像度を少なくとも含み、前記画像フォーマット情報に基づいて、前記画像データの解像度を変換する画像処理部をさらに備え、前記画像フォーマット情報は、前記画像データの垂直ブランキング期間に前記画像生成装置から伝送路に送出され、前記画像データにおいて、少なくとも２つの区画は、互いに異なる第１解像度と第２解像度とを有し、前記画像処理部は、前記画像データにおける所定の特徴部分を強調する画像処理を行った後に、前記画像データの各区画を、前記第１解像度および第２解像度の中間値を有する中間解像度に変換する画像処理システムに向けられる。
また、本開示の他の形態は、
車両の走行状態に関する走行情報を受信する第１受信部と、
前記車両において用いられるイメージセンサの撮像領域のうち第１部分領域を前記走行情報に基づいて設定し、前記撮像領域のうち前記第１部分領域以外の領域の解像度が、前記第１部分領域の解像度よりも低い画像データを生成する制御部と、
を備え、
前記イメージセンサは、予め定められた複数の区画の何れかに属する複数の画素を有し、
前記制御部は、前記走行情報に基づいて、前記第１部分領域以外の少なくとも一部の解像度が前記第１部分領域の解像度よりも小さくなるように各区画の解像度を決定し、前記第１部分領域以外の少なくとも１つの区画の解像度が、前記第１部分領域の区画の解像度よりも低い画像データを生成し、前記制御部は、前記画像データの画像フォーマット情報をさらに生成し、前記画像フォーマット情報は、前記イメージセンサからの画像の解像度、前記画像データの解像度、前記複数の区画の総数、および、前記複数の区画それぞれの解像度を少なくとも含み、前記画像フォーマット情報に基づいて、前記画像データの解像度を変換する画像処理部をさらに備え、前記画像処理部は、前記複数の区画の解像度に応じてディープラーニング層を構成しており、前記車両の前記走行情報に基づき、少なくとも、前記複数の区画のそれぞれの解像度の変化を学習して、前記ディープラーニング層を最適化しつつ、前記画像フォーマット情報に基づき、前記画像データの解像度を変換する、画像処理システムに向けられる。
また、本開示の他の形態は、
車両の走行状態に関する走行情報を受信する第１受信部と、
前記車両において用いられるイメージセンサの撮像領域のうち第１部分領域を前記走行情報に基づいて設定し、前記撮像領域のうち前記第１部分領域以外の領域の解像度が、前記第１部分領域の解像度よりも低い画像データを生成する制御部と、
を備え、
前記イメージセンサは、予め定められた複数の区画の何れかに属する複数の画素を有し、
前記制御部は、前記走行情報に基づいて、前記第１部分領域以外の少なくとも一部の解像度が前記第１部分領域の解像度よりも小さくなるように各区画の解像度を決定し、前記第１部分領域以外の少なくとも１つの区画の解像度が、前記第１部分領域の区画の解像度よりも低い画像データを生成し、前記制御部は、前記画像データの画像フォーマット情報をさらに生成し、前記画像フォーマット情報は、前記イメージセンサからの画像の解像度、前記画像データの解像度、前記複数の区画の総数、および、前記複数の区画それぞれの解像度を少なくとも含み、前記画像フォーマット情報に基づいて、前記画像データの解像度を変換する画像処理部をさらに備え、前記画像処理部は、所定波を出射後に自身に戻ってきた戻り波に基づき、周囲の物体を検出するアクティブセンサと通信可能に接続され、自身が解像度を変換した画像データから所定の物体を検出すると、検出結果に基づき、前記アクティブセンサを制御する画像処理システムに向けられる。
また、本開示の他の形態は、
車両の走行状態に関する走行情報を受信する第１受信部と、
前記走行情報と前記車両の周囲を撮影するイメージセンサにより撮像された第１画像データとが入力され、前記第１画像データを分割した複数の部分領域のうち、前記走行情報に基づいて、第１部分領域を設定し、複数の部分領域のうち前記第１部分領域と異なる少なくとも１つの部分領域を第２部分領域と設定し、前記第２部分領域の解像度を前記第１部分領域の解像度よりも小さい値に決定し、前記第１画像データのうち前記第２部分領域の解像度を前記決定した解像度に変更した第２画像データを生成し、前記第２画像データを画像処理部に出力する制御部と、
を備え、前記画像処理部は、前記第２画像データのうち所定の特徴部分を強調する強調処理を行った後に、前記強調処理後の第２画像データを、前記第１部分領域の解像度および前記第２部分領域の解像度の中間値を有する中間解像度に変換する画像処理システムに向けられる。
また、本開示の他の形態は、
車両の走行状態に関する走行情報を受信する第１受信部と、
前記走行情報と前記車両の周囲を撮影するイメージセンサにより撮像された第１画像データとが入力され、前記第１画像データを分割した複数の部分領域のうち、前記走行情報に基づいて、第１部分領域を設定し、複数の部分領域のうち前記第１部分領域と異なる少なくとも１つの部分領域を第２部分領域と設定し、前記第２部分領域の解像度を前記第１部分領域の解像度よりも小さい値に決定し、前記第１画像データのうち前記第２部分領域の解像度を前記決定した解像度に変更した第２画像データを生成し、さらに前記第２画像データの画像フォーマット情報を生成する制御部と、前記画像フォーマット情報に基づいて、前記制御部によって入力された前記第２画像データの解像度を変換する画像処理部と、
を備え、
前記画像フォーマット情報は、前記第１画像データの解像度、前記第２画像データの解像度、前記複数の部分領域の総数、および、前記複数の部分領域のそれぞれの解像度を少なくとも含み、前記画像処理部は、入力される前記第２画像データ毎に、前記第２画像データに含まれる前記複数の部分領域の解像度に応じてディープラーニング層を構成し、前記車両の前記走行情報に基づき、前記第２画像データに含まれる前記複数の部分領域のそれぞれの解像度の変化を学習して、前記ディープラーニング層を最適化し、前記画像フォーマット情報に基づき、前記第２画像データに含まれる前記複数の部分領域の解像度を変換するプロセスを含む画像処理システムに向けられる。
また、本開示の他の形態は、
車両の走行状態に関する走行情報を受信する第１受信部と、
前記走行情報と前記車両の周囲を撮影するイメージセンサにより撮像された第１画像データにおける複数の部分領域に対して、前記走行情報に基づいて第１部分領域を設定し、複数の部分領域のうち前記第１部分領域と異なる少なくとも１つの部分領域を第２部分領域と設定し、前記第２部分領域の解像度を前記第１部分領域の解像度よりも小さい値に決定し、前記決定した解像度に変更した前記第２部分領域と第１画像データとから第２画像データを生成し、前記第２画像データを画像処理部に出力する制御部と、
を備え、
前記画像処理部は、アクティブセンサと接続され、前記第２画像データから物体が検出された場合、検出結果に基づき、前記アクティブセンサを制御し、前記制御されたアクティブセンサは、所定波を用いて前記物体を検出する、画像処理システムに向けられる。
本開示によれば、車載カメラで撮像された画像データを適切に圧縮する画像生成装置を提供することができる。また、前述の画像生成装置が圧縮した画像データを処理する画像処理システムを提供することができる。
本開示の画像生成装置および画像処理装置のハードウェア構成と、その周辺構成を示す図。 撮像装置に含まれる画像生成装置の機能ブロックを示す図。 イメージセンサに対して構成される区画を模式的に示す図。 圧縮レベル情報を示す図。 走行情報に基づいて決定された各区画の圧縮レベルを示す図。 走行情報に基づいて決定された画像フォーマット情報を示す図。 画像処理装置の機能ブロックを示す図。 解像度を変換する処理の変形例を説明する図。 ディープラーニング層の構成例を示す図。 物体の検知結果に基づくセンシング方法の変更を示す図。 イメージセンサに対して構成される区画の変形例を示す図。 本開示の画像生成装置および画像処理装置のハードウェア構成の変形例を示す図。
以下、図面を参照しながら、実施形態を説明する。
なお、同種の要素を区別して説明する場合には、「区画２００Ｌ」、「区画２００Ｒ」のように参照符号を使用し、同種の要素を区別しないで説明する場合には、「区画２００」のように参照符号のうちの共通番号のみを使用することがある。
また、以下の実施形態において、その構成要素（要素ステップなどを含む）は、特に明示した場合及び原理的に明らかに必須であると考えられる場合などを除き、必ずしも必須のものではない。
＜全体構成＞
図１は、本開示の画像生成装置および画像処理装置のハードウェア構成と、その周辺構成を示す図である。
車両１には、本開示の画像生成装置３２を含む撮像装置１０、本開示の画像処理装置１２の一実施形態としてのＥＣＵ１２、走行情報送信装置１４、およびアクティブセンサ１６が、ネットワーク２０を介して接続される。ネットワーク２０は、例えば、主に制御信号の伝送に用いられるＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）、および、主にマルチメディアに関する信号の伝送に用いられるＭＯＳＴ（Ｍｅｄｉａ Ｏｒｉｅｎｔｅｄ Ｓｙｓｔｅｍｓ Ｔｒａｎｓｐｏｒｔ）やＩＤＢ−１３９４の組み合わせで構成されうる。なお、車両１は、必ずしも装置１０乃至１６の全てを備える必要はなく、一部の装置のみを備えてもよい。また、１対１接続の場合、ＬＶＤＳ（Ｌｏｗ ｖｏｌｔａｇｅ ｄｉｆｆｅｒｅｎｔｉａｌ ｓｉｇｎａｌｉｎｇ）などのシリアルインターフェースで接続してもよい。
撮像装置１０は、車両１に搭載され、車両１の周囲（典型的には前方）を撮像する装置である。撮像装置１０は、イメージセンサ３０と、本開示の画像生成装置３２の一実施形態としてのＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）３２とを有する。イメージセンサ３０から出力される画素信号は、所定の伝送路３４を介してＤＳＰ３２へ入力される。なお、通常、イメージセンサ３０がアナログの画像信号をＤＳＰ３２へ送信する場合、これらの間には、通常、ＡＤＣ（Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）（図示せず）が配置される。ＤＳＰ３２は、所定の伝送路３６を介してイメージセンサ３０へ制御信号を出力してもよい。撮像装置１０の詳細については後述する（図２参照）。
走行情報送信装置１４は、所定のタイミングにおける車両１の走行シーンに関する情報を含む走行情報を、ネットワーク２０を介して撮像装置１０へ送信する。車両１の走行シーンの例としては、直進中、右旋回中、左旋回中、右折中、左折中、上り坂の頂上の直前に到達、または、下り坂の底の直前に到達、などがある。走行情報送信装置１４の詳細については後述する。
アクティブセンサ１６は、車両１の周辺の情報をセンシングするために、ミリ波またはレーザー光などの波を出射し、周囲の物体で反射されて自身に戻ってきた戻り波に基づき、車両１と物体との間の距離等を測定する。
ＥＣＵ１２は、ネットワーク２０に接続されている各機器を制御する。ＥＣＵ１２は、通信Ｉ／Ｆ（ＩｎｔｅｒＦａｃｅ）５６、マイコン５０、プログラムメモリ５２、およびメインメモリ５４を有してよい。これらの構成要素５０乃至５６は、内部バス５９を介して双方向通信可能であってよい。また、１対１接続の場合、画像データに関する情報は単方向通信でもよい。
通信Ｉ／Ｆ５６は、ネットワーク２０を介するデータの送受信を制御する。
プログラムメモリ５２は、プログラム５８を保持する。プログラムメモリ５２は、ＥＥＰＲＯＭのような不揮発性半導体メモリであってよい。
メインメモリ５４には、プログラム５８の実行に関する各種データが格納される。メインメモリ５４は、ＳＲＡＭまたはＤＲＡＭのような揮発性半導体メモリであってよい。
マイコン５０は、プログラムメモリ５２からプログラム５８を読み出して、メインメモリ５４を用いてプログラム５８を実行することにより、ＥＣＵ１２の有する各種機能を実現する。マイコン５０は、通信Ｉ／Ｆ５６およびネットワーク２０を介して、他の機器１０、１４、１６とデータを送受信できてよい。
＜画像生成装置の機能構成＞
図２は、撮像装置１０に含まれる画像生成装置の機能ブロックを示す図である。
イメージセンサ３０は、光電変換素子を備える複数の画素９０（図３参照）が配列されており、各画素９０への入射光を光電変換して得られた信号を順次出力する。イメージセンサ３０は、例えば、ＣＭＯＳイメージセンサ、またはＣＣＤイメージセンサである。イメージセンサ３０が出力する信号は、アナログまたはデジタルのいずれであってもよい。また、１画素の単位は、例えば白黒ＢＷでの１画素構成でも、カラーＲＧＢでの１画素構成でもよい。
ＤＳＰ３２は、画像生成装置の一実施形態であり、本開示のＤＳＰ３２は、機能として、第１受信部６２と、制御部６０とを有する。第１受信部６２および制御部６０の機能は、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）やＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などの論理回路として実現されてもよいし、プログラムとして実現されてもよい。
第１受信部６２は、走行情報送信装置１４から走行情報１００を受信する。走行情報１００は、走行情報送信装置１４が適宜送信してもよいし、第１受信部６２によって走行情報送信装置１４から適宜取得されてもよい。
制御部６０は、第１受信部６２が受信した走行情報１００に基づいてイメージセンサ３０の各画素からの信号の読み出しを制御する。制御部６０からイメージセンサ３０への制御信号は伝送路３４を介して伝送され、イメージセンサ３０から制御部６０への画素の信号は伝送路３６を介して伝送されてよい。例えば、制御部６０は、イメージセンサ３０の全画素から信号を読み出した場合の画素数よりも小さい画素数の画像データ（より具体的には、走行情報１００に基づいて設定される第１部分領域以外の領域の解像度が、第１部分領域の解像度よりも低い画像データ）を生成し、例えば画像処理装置の一実施形態であるＥＣＵ１２へ出力する。
制御部６０は、イメージセンサ３０に配列されている画素の信号を所定の間隔で飛ばし読みすることによって、出力する画像データの画素数を低減してよい。または、制御部６０は、イメージセンサ３０の全画素から信号を読み出して所定の画像圧縮アルゴリズム（例えばＭＰＥＧ）で圧縮することによって、出力する画像データの画素数を低減してもよい。いずれにおいても、ＤＳＰ３２が出力する画像データの画素数は、イメージセンサ３０の全画素から信号を読み出した場合の画素数よりも小さくなる。これにより、撮像装置１０と出力先であるＥＣＵ１２との間の画像データのデータ伝送量（またはデータ伝送レート）を低減することができる。なお、ＤＳＰ３２から出力される画素数が低減された画像データを、「圧縮画像データ」と呼んでもよい。
ここで、イメージセンサ３０の各画素は複数の区画の何れかに属しており、制御部６０は、第１受信部６２が受信した走行情報１００に基づいて各区画２００（図３参照）の解像度を決定してよい。例えば、制御部６０は、走行情報１００に基づいて、第１部分領域以外の少なくとも一部の解像度が第１部分領域の解像度よりも小さくなるように各区画２００の解像度を決定し、第１部分領域以外の少なくとも１つの区画の解像度が、第１部分領域の区画の解像度よりも低い画像データを生成する。以下、図３および図４を参照しながら説明する。
図３は、イメージセンサ３０に対して構成される区画２００を示す図である。
図３は、フルＨＤに相当する横１９２０×縦１０８０（約２０７万）の画素９０が配列されているイメージセンサ３０において、横および縦の画素数をそれぞれ３等分に分割して９つの区画２００を形成する例である。この場合、各区画２００の圧縮前の画素数は横６４０×縦３６０（約２３万）である。なお、本開示では各区画２００の圧縮前の解像度（単位長あたりの画素数）が同じであるが、各区画の圧縮前の画素数は異なってもよい。例えば、図３における中央の区画の画素数が他の区画の画素数よりも大きくなるように、イメージセンサ３０を分割してもよい。
図４は、圧縮レベル情報を示す図である。各区画２００が取り得る圧縮レベルは、図４のように、圧縮レベル情報として定義されてよい。圧縮レベルは、圧縮率であってもよいし、圧縮後の画素数であってもよいし、圧縮後の解像度であってもよい。以下、図４の圧縮レベル情報について説明する。
圧縮レベル「１」に決定された区画の画素数（さらに言えば、解像度）は維持される（非圧縮である）。図３の例では、圧縮後の区画の解像度は、横６４０×縦３６０（約２３万画素。「フルＨＤ」相当）となる。
圧縮レベル「２」に決定された区画の画素数（さらに言えば、解像度）は１／２に低減（圧縮）される。図３の例では、圧縮後の区画の解像度は、横６４０×縦１８０または横３２０×縦３６０（約１１．５万画素。「ＨＤ」に相当）となる。
圧縮レベル「３」に決定された区画の画素数は１／４に低減（圧縮）される。図３の例では、圧縮後の区画の解像度は、横３２０×縦１８０（約５．７万画素。「ＨＤ−」相当）となる。
圧縮レベル「４」に決定された区画の画素数は１／４に低減（圧縮）される。図３の例では、圧縮後の区画の解像度は、横６４０×縦９０（約５．７万画素。「ＳＤ＋」相当）となる。
圧縮レベル「５」に決定された区画の画素数は１／８に低減（圧縮）される。図３の例では、圧縮後の区画の解像度は、横３２０×縦９０（約２．８万画素。「ＳＤ」相当）となる。
＜走行情報に基づいて各区画の圧縮レベルを決定する処理＞
図５は、走行情報１００に基づいて決定された各区画２００の圧縮レベルを示す図である。
制御部６０は、第１受信部６２が受信した走行情報１００に基づいて、車両１の走行シーンが、「直進中」、「右旋回中」、「左旋回中」、「上り坂の頂上直前」または「下り坂の底直前」のいずれであるかを判定する。
制御部６０は、走行情報送信装置１４の例である操舵角センサが送信する操舵角を含む走行情報１００に基づいて、車両１の走行シーンが、「直進中」、「右旋回中」または「左旋回中」のいずれであるかを判定してよい。操舵角とは、車両１のステアリングホイールの角度であってよい。例えば、制御部６０は、操舵角が０度から右回転または左回転に所定の第１の角度の範囲内である場合に「直進中」と、操舵角が右回転に第１の角度より大きく所定の第２の角度以下の範囲内である場合に「右旋回中」と、操舵角が左回転に第１の角度より大きく第２の角度以下の範囲内である場合に「左旋回中」と判定してよい。
制御部６０は、走行情報送信装置１４の例であるジャイロセンサが送信するピッチ軸周りの角速度を含む走行情報１００に基づいて、車両１の走行シーンが、「上り坂の頂上直前」または「下り坂の底直前」のいずれであるか、もしくは、いずれでもないかを判定してよい。例えば、制御部６０は、ピッチ軸周りの角速度が車両１の前方への回転を示している場合に「上り坂の頂上直前」と判定し、ピッチ軸周りの角速度が車両１の後方への回転を示している場合に「下り坂の底直前」と判定してよい。
なお、制御部６０は、他の方法によって走行シーンを判定してもよい。例えば、制御部６０は、走行情報送信装置１４の一形態であるナビゲーション装置が送信する車両の走行地点の先方の勾配角を含む走行情報１００に基づいて、車両１の走行シーンが、「上り坂の頂上直前」または「下り坂の底直前」のいずれであるか、もしくは、いずれでもないかを判定してもよい。
＜直進中と判定した場合＞
この場合、制御部６０は、イメージセンサ３０の少なくとも直進方向からの光を受光する画素を含む区画２００を第１部分領域に設定し、この第１部分領域の区画２００の解像度を維持しつつ、第１部分領域以外の少なくとも１つの区画２００の解像度を第１部分領域のそれよりも低くすると決定する。換言すると、制御部６０は、第１部分領域の区画２００の圧縮率（例えば圧縮レベル。以下同じ）が最小となるように、各区画の圧縮率を決定してよい。なぜなら、直進中は、車両１の前方の物体が短時間かつ高精度で検知されることが好ましいからである。
例えば図５に示すように、制御部６０は、第１部分領域としての中央の区画２００Ｃを圧縮レベル「１」に、第１部分領域以外の左、右および下の区画２００Ｌ、２００Ｒ、２００Ｄを圧縮レベル「２」に、左下および右下の区画２００ＬＤ、２００ＲＤを圧縮レベル「３」に、上の区画２００Ｕを圧縮レベル「４」に、左上および右上の区画２００ＬＵ、２００ＲＵを圧縮レベル「５」に決定してよい。左上および右上の区画２００ＬＵ、２００ＲＵの圧縮レベルを高くしている（つまり画素数を小さくしている）理由は、直進中、当該区画２００ＬＵ、２００ＲＵにはほとんど空やトンネルの天井などが撮像され、当該区画２００ＬＵ、２００ＲＵにおける物体検知の重要性が低いからである。
＜右旋回中と判定した場合＞
この場合、制御部６０は、車両１の旋回方向（右方）からの光を受光する画素９０を含む少なくとも１つの区画２００を第１部分領域に設定し、この第１部分領域の区画２００の解像度を維持しつつ、第１部分領域以外の少なくとも１つの区画２００の解像度を第１部分領域のそれよりも低くすると決定する。換言すると、制御部６０は、第１部分領域の区画２００の圧縮率が最小となるように、各区画２００の圧縮率を決定してよい。なぜなら、右旋回中は、車両１の右前方の物体が短時間かつ高精度で検知されることが好ましいからである。
例えば図５に示すように、制御部６０は、第１部分領域としての右の区画２００Ｒを圧縮レベル「１」に、第１部分領域以外の中央、右下および左の区画２００Ｃ、２００ＲＤ、２００Ｌを圧縮レベル「２」に、下および左下の区画２００Ｄ、２００ＬＤを圧縮レベル「３」に、右上の区画２００ＲＵを圧縮レベル「４」に、上および左上の区画２００Ｕ、２００ＬＵを圧縮レベル「５」に決定してよい。
＜左旋回中と判定した場合＞
この場合、制御部６０は、車両１の旋回方向（左方）からの光を受光する画素９０を含む少なくとも１つの区画２００を第１部分領域に設定し、この第１部分領域の区画２００の解像度を維持しつつ、第１部分領域以外の少なくとも一つの区画２００の解像度を第１部分領域のそれよりも低くすると決定する。換言すると、制御部６０は、第１部分領域の区画２００の圧縮率が最小となるように、各区画２００の圧縮率を決定してよい。なぜなら、左旋回中は、車両１の左前方の物体が短時間かつ高精度で検知されることが好ましいからである。
例えば図５に示すように、制御部６０は、第１部分領域としての左の区画２００Ｌを圧縮レベル「１」に、第１部分領域以外の中央、左下および右の区画２００Ｃ、２００ＬＤ、２００Ｒを圧縮レベル「２」に、下および右下の区画２００Ｄ、２００ＲＤを圧縮レベル「３」に、左上の区画２００ＬＵを圧縮レベル「４」に、上および右上の区画２００Ｕ、２００ＲＵを圧縮レベル「５」に決定してよい。
＜上り坂の頂上直前を走行中と判定した場合＞
この場合、制御部６０は、車両１の進行方向に対し斜め下方からの光を受光する画素９０を含む少なくとも１つの区画２００を第１部分領域に設定し、この第１部分領域の区画２００の解像度を維持しつつ、第１部分領域以外の少なくとも１つの区画２００の解像度を第１部分領域のそれよりも低くすると決定する。換言すると、制御部６０は、第１部分領域の区画２００の圧縮率が最小となるように、各区画２００の圧縮率を決定してよい。なぜなら、上り坂の頂上直前を走行中は、車両１の進行方向に対し斜め下方の物体が短時間かつ高精度で検知されることが好ましいからである。
例えば図５に示すように、制御部６０は、第１部分領域としての下の区画２００Ｄを圧縮レベル「１」に、第１部分領域以外の中央、左下および右下の区画２００Ｃ、２００ＬＤ、２００ＲＤを圧縮レベル「２」に、左および右の区画２００Ｌ、２００Ｒを圧縮レベル「３」に、上の区画２００Ｕを圧縮レベル「４」に、左上および右上の区画２００ＬＵ、２００ＲＵを圧縮レベル「５」に決定してよい。
＜下り坂の底直前を走行中と判定した場合＞
この場合、制御部６０は、車両１の進行方向に対し斜め上方からの光を受光する画素９０を含む少なくとも１つの区画２００を第１部分領域に設定し、この第１部分領域の区画２００の解像度を維持しつつ、第１部分領域以外の少なくとも一つの区画２００の解像度を第１部分領域のそれよりも低くすると決定する。換言すると、制御部６０は、第１部分領域の区画２００の圧縮率が最小となるように、各区画２００の圧縮率を決定してよい。なぜなら、下り坂の底直前を走行中は、車両１の進行方向に対し斜め上方の物体が短時間かつ高精度で検知されることが好ましいからである。
例えば図５に示すように、制御部６０は、第１部分領域としての上の区画２００Ｕを圧縮レベル「１」に、第１部分領域以外の中央、左上および右上の区画２００Ｃ、２００ＬＵ、２００ＲＵを圧縮レベル「２」に、左および右の区画２００Ｌ、２００Ｒを圧縮レベル「３」に、下の区画２００Ｄを圧縮レベル「４」に、左下および右下の区画２００ＬＤ、２００ＲＤを圧縮レベル「５」に決定してよい。
上記の通り、制御部６０は、自身が決定した各区画の圧縮レベルに従って、イメージセンサ３０に配列される各画素の信号を、内蔵のメモリに読み出す。具体的には、第１部分領域としての圧縮レベル「１」の区画２００に属する画素については、読み飛ばしは行われない。第１部分領域以外としての圧縮レベル「２」の区画２００に属する画素については、横方向および縦方向のいずれか一方における２個の画素の１つが読み出される。第１部分領域以外としての圧縮レベル「３」，「４」の区画２００に属する画素については、横方向および縦方向の両方向における２個の画素の１つが読み出される。第１部分領域以外としての圧縮レベル「５」の区画２００に属する画素については、横方向および縦方向のいずれか一方における２個の画素の１つが読み出されると共に、いずれか他方における４画素のうち１つが読み出される。このような手法で読み出された画素の信号が、制御部６０のメモリに読み出されて、圧縮画像データが生成される。この圧縮画像データは、制御部６０の制御下で、メモリからネットワーク２０を介して画像処理装置１２に送信される。なお、本実施形態では、内蔵メモリに読み出す構成を示したが、イメージセンサの画素出力を選択するような構成にして、圧縮した出力を直接読み出す構成にしてもよい。
図６は、走行情報に基づいて決定された画像フォーマット情報を示す図である。
制御部６０は、圧縮画像データを出力する際に、各区画２００の解像度に関する情報を含む画像フォーマット情報も合わせて出力する。すなわち、画像フォーマット情報は、当該出力を受信する画像処理部が圧縮画像データを正しく伸長するために必要な情報を含む。これにより、出力された圧縮画像データを受信するＥＣＵ１２が、解像度の異なる各区画２００の画像データを適切に結合して１つの結合画像データを生成することができる。なお、画像フォーマット情報は、圧縮画像データの出力信号のブランキング期間（好ましくは垂直ブランキング期間）に、ＤＳＰ３２から送出されてよい。
例えは、画像フォーマット情報は、図６に示すように、イメージセンサ３０から得られる圧縮前の画像データの総解像度と、圧縮後の画像データの総解像度と、縦方向および横方向における区画数と、各区画における横方向解像度および縦方向解像度と、を含んでよい。
圧縮前の総解像度は、圧縮前の画像データの解像度（横の解像度×縦の解像度）を示す。図５の場合、圧縮前の解像度は「横１９２０×縦１０８０」となる。
圧縮後の総解像度は、圧縮後の画像データの解像度（横の解像度×縦の解像度）を示す。図５の場合、圧縮後の画像データの解像度は「横１２８０×縦６３０」となる。
縦方向および横方向における区画数は、区画２００の行列（区画の横の数×区画の縦の数）を示す。図５の場合、区画行列は「３×３」となる。
横方向における解像度は、圧縮後の横の解像度に対する各区画の横の解像度を示す。図５の場合、横方向における解像度は、走行情報の判定結果によって変化し得る。
縦方向における解像度は、圧縮後の縦の解像度に対する各区画の縦の解像度を示す。図５の場合、縦方向における解像度は、走行情報の判定結果によって変化し得る。
＜直進中と判定した場合＞
この場合、例えば図６に示すように、制御部６０は、横方向における各区画の解像度を左から右へ「３２０、６４０、３２０」、縦方向における各区画の解像度を上から下へ「９０、３６０、１８０」としてよい。
＜右旋回中と判定した場合＞
この場合、例えば図６に示すように、制御部６０は、横方向における各区画の解像度を左から右へ「３２０、３２０、６４０」、縦方向における各区画の解像度を上から下へ「９０、３６０、１８０」としてよい。
＜左旋回中と判定した場合＞
この場合、例えば図６に示すように、制御部６０は、横方向における各区画の解像度を左から右へ」６４０、３２０、３２０」、縦方向における各区画の解像度を上から下へ「９０、３６０、１８０」としてよい。
＜上り坂の頂上直前を走行中と判定した場合＞
この場合、例えば図６に示すように、制御部６０は、横方向における各区画の解像度を左から右へ「３２０、６４０、３２０」、縦方向における解像度を上から下へ「９０、１８０、３６０」としてよい。
＜下り坂の底直前を走行中と判定した場合＞
この場合、例えば図６に示すように、制御部６０は、横方向における解像度を左から右へ「３２０、６４０、３２０」、縦方向における各区画の解像度を上から下へ「３６０、１８０、９０」としてよい。
＜その他の走行状態＞
制御部６０は、走行情報送信装置１４の一形態である方向指示器が送信する指示方向を含む走行情報１００に基づいて、車両１の走行状態が「右折中」または「左折中」であるかを判定してもよい。右折中と判定した場合、制御部６０は、上記の右旋回中と判定した場合と同様の処理を行ってよい。左折中と判定した場合、制御部６０は、上記の左旋回中と判定した場合と同様の処理を行ってよい。
＜圧縮レベルの決定条件＞
制御部６０は、自身のメモリに、圧縮画像データを複数フレーム展開するが、これら複数フレームの圧縮画像データの総解像度が互いに同じなるように、各区画２００の圧縮率を決定してよい。例えば、制御部６０は、出力される全ての圧縮画像フレームにおいて、図６の例における圧縮後の解像度が同じになるように、各区画の圧縮率（または横方向における解像度および縦方向における解像度）を決定してよい。
図５の例では、制御部６０は、走行シーンが変化しても、９個の区画２００のうち、１つの区画２００を圧縮レベル「１」に、３つの区画２００を圧縮レベル「２」に、２つの区画２００を圧縮レベル「３」に、１つの区画２００を圧縮レベル「４」に、２つの区画２００を圧縮レベル「５」に決定している。すなわち、制御部６０は、出力される圧縮画像フレームの総解像度が、いずれの時点においても横１２８０×縦６３０（約８１万画素）となるように、各画像の圧縮レベルを決定している。これにより、制御部６０から出力される圧縮画像フレームに係るデータ伝送レートが一定となる。よって、圧縮画像フレームを受信して処理する画像処理装置（ＥＣＵ１２）側の処理負荷を軽減したり、構成を簡易にしたりすることができる。
＜画像処理装置の機能構成＞
図７は、画像処理装置の機能ブロックを示す図である。
画像処理装置の例であるＥＣＵ１２は、機能として、第２受信部７０と、画像処理部７２と、物体検出部７４と、センサ制御部７６とを有してよい。
＜第２受信部＞
第２受信部７０は、撮像装置１０のＤＳＰ３２に備わるメモリの圧縮画像データ１２０および画像フォーマット情報１４０を、ネットワーク２０を介して受信する。なお、第２受信部７０は、画像圧縮データ１２０および画像フォーマット情報１４０を、メモリを介さず、ＤＳＰ３２から直接受信してもよい。また、ＥＣＵ１２とＤＳＰ３２とが一体に構成されている場合、画像処理部７２は第２受信部７０を有さなくてもよい。
＜画像処理部＞
画像処理部７２は、第２受信部７０が受信した画像フォーマット情報１４０に基づいて、第２受信部７０が受信した圧縮画像データ１２０各区画２００の解像度を変換して、伸長画像データを生成する。
例えば、画像処理部７２は、解像度が横３２０×縦１８０に圧縮されている区画２００について、解像度の横および縦をそれぞれ２倍に大きくし、非圧縮の区画２００の解像度と同じ横６４０×縦３６０の画像データを生成する。画像処理部７２は、他の圧縮されている区画２００についても同様の処理によって横６４０×縦３６０の解像度の画像データを生成する。そして、画像処理部７２は、これら生成した画像データを結合することにより、元のフルＨＤに相当する横１９２０×縦１０８０の解像度の結合画像データを生成する。なお、解像度を大きくする処理を「伸長処理」と呼んでもよい。
画像処理部７２は、圧縮画像データの解像度を大きくする（つまり画素数を増やす）際に、いわゆる超解像技術を用いて画素を補完してもよい。
＜画像処理部の第１変形例＞
図８は、解像度を変換する処理の変形例を説明する図である。
上述の伸長処理では、全区画の解像度を非圧縮の区画の解像度に整合させていた。しかし、これに限らず、全区画の解像度を、最高の第１解像度と最低の第２解像度と間の所定の解像度（「中間解像度」という）に統一して伸長処理を行っても良い。
この場合、中間解像度よりも大きい解像度の区画は、中間解像度に低下される。しかし、単純に解像度を低下させると、解像度が大きいときには検知可能であった物体（典型的には小さく撮像されている物体）が、解像度の低下によって消失または不明瞭になり、後述の物体検出部７４において物体が検出不可能になってしまう可能性がある。そこで、画像処理部７２は、解像度を低下させる前の区画２００の画像データに対して所定の特徴部分（例えば所定の物体の特徴を有する部分）を誇張するような画像処理を施す。例えば、画像処理部７２は、図８に示すように、所定の特徴部分の画素３２０Ａの周囲の画素を強調する。その後、画像処理部７２は、区画２００の解像度を低下させる。これにより、解像度の低下によって後述の物体検出部７４において物体が検出不可能となる可能性を低減することができる。なお、画像処理部７２は、中間解像度よりも低い解像度の区画２００については、上述と同様、いわゆる超解像技術を用いて中間解像度になるまで画素数を増やしてよい。
＜画像処理部の第２変形例＞
図９は、ディープラーニング層の構成例を示す図である。
上述のとおり、圧縮画像データは、後述の物体検出部７４における物体の検出精度が高くなるように伸長される（画素数が増やされる）ことが好ましい。そのために、画像処理部７２は、図９に示すように、複数の区画２００の解像度に応じてディープラーニング層５００を構成しており、車両１の走行情報に基づき、少なくとも、複数の区画２００それぞれの解像度の変化や、物体検出の結果を学習して、ディープラーニング層５００を最適化することが好ましい。具体的には下記の通りである。
区画２００の位置（本開示における中央の区画２００Ｃ、左の区画２００Ｌなど）、走行情報１００、および、当該位置の区画２００において撮像された画素数の異なる画像データを入力データ５０２とし、ディープラーニング層５００を用いて伸長された画像データを出力データ５０４とする。そして、この伸長された画像データに対する物体検出の成功および失敗に基づいて、当該ディープラーニング層５００をトレーニングする。
画像処理部７２は、このようにトレーニングされたディープラーニング層５００を用いて各区画２００の画像データを伸長することにより、区画２００ごとに物体の検出精度の高い伸長後の画像データを生成することができる。
＜物体検出部＞
物体検出部７４は、画像処理部７２によって生成された画像データから、所定の物体を検出する。所定の物体とは、他の車両、歩行者または標識など、車両１の走行に関連する物体であってよい。
画像処理部７２によって生成された結合画像データは、ＤＳＰ３２の制御部６０の処理によって、走行情報１００に基づいて比較的重要と判定された区画２００については画質の劣化が無いか（非圧縮）小さく（低圧縮に）なっている。したがって、物体検出部７４は、より短時間で高精度に物体を検出し得る。例えば、単純に圧縮された画像データの場合、物体の検出に複数の結合画像フレーム（つまり長時間）を要するところ、本開示に係る画像データは、比較的重要性の高い区画２００の画質が高いので、１つの画像フレームから物体を検出できる可能性が高くなる。
＜センサ制御部＞
図１０は、物体の検知結果に基づくセンシング方法の変更を示す図である。
センサ制御部７６は、物体検出部７４による物体の検出結果に応じて、アクティブセンサ１６のセンシング方法を変更する。例えば、センサ制御部７６は、アクティブセンサ１６を制御するためのセンサ制御コマンド２１０を当該アクティブセンサ１６に送信し、アクティブセンサ１６センシング方法を変更する。上述のとおり、本開示に係る物体検出部７４は、より短時間で高精度に物体を検出し得るので、センサ制御部７６もまた、より短時間で高精度に適切なセンサ制御コマンド２１０を送信し得る。
図１０は、アクティブセンサ１６が、ミリ波３００（レーザー光でもよい）を照射して車両１と物体との間の距離を測定する距離測定センサの場合の例である。図１０の例において、物体検出部７４が画像データからイメージセンサ３０の中心点よりも左方の位置に他の車両３０２を検出したとする。この場合、センサ制御部７６は、アクティブセンサ１６に対して、ミリ波３００の照射方向を、左方向に変更する旨のセンサ制御コマンド２１０を送信してよい。これにより、ＥＣＵ１２は、より短時間で高精度に車両１と他の車両３０２との間の距離を測定することができる。
アクティブセンサ１６の一例としてＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）センサが挙げられる。ＴＯＦセンサは、照射波の送信タイミングと、当該照射波が物体で反射された波である反射波の受信タイミングとの時間差（または位相差）に基づいて、当該物体までの距離を測定するセンサである。したがって、ＴＯＦセンサを用いて、図１０の例における車両１と他の車両３０２との間の距離を測定してもよい。なお、ＴＯＦセンサの受光を直接イメージセンサ３０で受光して距離を計測する構成にしてもよい。
なお、画像処理部７２が、物体検出部７４およびセンサ制御部７６の機能を含む構成であってもよい。
＜イメージセンサに対する区画の変形例＞
図１１は、イメージセンサ３０に対して構成される区画の変形例を示す。
イメージセンサ３０に対して構成される区画２００の数は、図３のような９個に限られない。例えば、図１１に示すように、横３８４０×縦２１６０（約８２０万）の画素が配列されているイメージセンサにおいて、横および縦の画素数をそれぞれ５等分に分割して２５個の区画を形成してもよい。この場合における圧縮レベル情報は、以下のように定義されてよい。
圧縮レベル「１」に決定された区画の画素数は維持される（非圧縮である）。図１１の例では、圧縮後の区画の解像度は、横７６８×縦４３２（「４Ｋ」相当）となる。
圧縮レベル「２」に決定された区画の画素数は１／２に低減（圧縮）される。図１１の例では、圧縮後の区画の解像度は、横３８４×縦４３２または横７６８×縦２１６（「ＦＨＤ＋」相当）となる。
圧縮レベル「３」に決定された区画の画素数は１／４に低減（圧縮）される。図１１の例では、圧縮後の区画の解像度は、横３８４×縦２１６（「フルＨＤ」相当）となる。
圧縮レベル「４」に決定された区画の画素数は１／４に低減（圧縮）される。図１１の例では、圧縮後の区画の解像度は、横７６８×縦１０８または横１９２×縦４３２（「ＨＤ＋」相当）となる。
圧縮レベル「５」に決定された区画の画素数は１／４に低減（圧縮）される。図１１の例では、圧縮後の区画の解像度は、横３８４×縦１０８または横１９２×縦２１６（「ＨＤ」相当）となる。
圧縮レベル「６」に決定された区画の画素数は１／８に低減（圧縮）される。図１１の例では、圧縮後の区画の解像度は、横１９２×縦１０８（「ＨＤ−」相当）となる。
また、図１１の例において、制御部６０は、走行シーンが「直進中」と判定した場合、各区画の圧縮レベルを、図１１の各区画内に記載した数値のように決定してもよい。このとき、制御部６０は、上述の場合と同様、出力される圧縮画像フレームの解像度が、いずれの出力においても横１９２０×縦１０８０（約２０７万画素）となるように、各区画の圧縮レベルを決定してよい。
＜付記＞
図１２は、本開示の画像生成装置および画像処理装置のハードウェア構成の変形例を示す図である。
図１２の例に示すように、画像生成装置（ＤＳＰ）３２は、撮像装置３０の外部に配置されてもよい。また、画像生成装置（ＤＳＰ）３２と画像処理装置（ＥＣＵ）１２とは１つの装置（チップ）であってもよい。また、上述の実施形態は、画像生成装置（ＤＳＰ）３２と画像処理装置（ＥＣＵ）１２とを含む画像処理システム１１によって実現されてもよい。また、画像生成装置３２の制御部６０および画像処理装置１２の各構成はそれぞれコンピュータプログラムで実現されても良い。コンピュータプログラムは、ＤＶＤ等のような配布媒体に格納されて提供されても良いし、ネットワークを介してダウンロード可能にネットワーク上のサーバ装置に格納されても良い。
＜注釈＞
その他、上記実施形態および各変形例は、何れも本発明の実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
本発明に係る画像生成装置、および、画像処理システムは、撮像された画像データを適切に圧縮可能であり、撮像装置または車載機器等に好適である。
１ 車両
１０ 撮像装置
１２ 画像処理装置
１４ 走行情報送信装置
１６ アクティブセンサ
３０ イメージセンサ
３２ 画像生成装置
６０ 制御部
６２ 第１受信部
７０ 第２受信部
７２ 画像処理部
７４ 物体検出部
７６ センサ制御部
１００ 走行情報
１２０ 圧縮画像データ
１４０ 画像フォーマット情報
２００ 区画

Claims (11)

  1. 車両の走行状態に関する走行情報を受信する第１受信部と、
    前記車両において用いられるイメージセンサの撮像領域のうち第１部分領域を前記走行情報に基づいて設定し、前記撮像領域のうち前記第１部分領域以外の領域の解像度が、前記第１部分領域の解像度よりも低い画像データを生成する制御部と、
    を備え、
    前記イメージセンサは、予め定められた複数の区画の何れかに属する複数の画素を有し、
    前記制御部は、前記走行情報に基づいて、前記第１部分領域以外の少なくとも一部の解像度が前記第１部分領域の解像度よりも小さくなるように各区画の解像度を決定し、前記第１部分領域以外の少なくとも１つの区画の解像度が、前記第１部分領域の区画の解像度よりも低い画像データを生成し、
    前記制御部は、前記走行情報から前記車両が上り坂の頂上および下り坂の底のいずれか一方の直前に到達したと判定した場合、前記複数の画素の内、前記車両の斜め下方および斜め上方の一方からの光を受光する画素を含む区画を前記第１部分領域に設定する、
    画像生成装置。
  2. 車両の走行状態に関する走行情報を受信する第１受信部と、
    前記車両において用いられるイメージセンサの撮像領域のうち第１部分領域を前記走行情報に基づいて設定し、前記撮像領域のうち前記第１部分領域以外の領域の解像度が、前記第１部分領域の解像度よりも低い画像データを生成する制御部と、
    を有する画像生成装置を備え、
    前記イメージセンサは、予め定められた複数の区画の何れかに属する複数の画素を有し、
    前記制御部は、前記走行情報に基づいて、前記第１部分領域以外の少なくとも一部の解像度が前記第１部分領域の解像度よりも小さくなるように各区画の解像度を決定し、前記第１部分領域以外の少なくとも１つの区画の解像度が、前記第１部分領域の区画の解像度よりも低い画像データを生成し、
    前記制御部は、前記画像データの画像フォーマット情報をさらに生成し、
    前記画像フォーマット情報は、前記イメージセンサからの画像の解像度、前記画像データの解像度、前記複数の区画の総数、および、前記複数の区画それぞれの解像度を少なくとも含み、
    前記画像フォーマット情報に基づいて、前記画像データの解像度を変換する画像処理部をさらに備え、
    前記画像フォーマット情報は、前記画像データの垂直ブランキング期間に前記画像生成装置から伝送路に送出され、
    前記画像データにおいて、少なくとも２つの区画は、互いに異なる第１解像度と第２解像度とを有し、
    前記画像処理部は、前記画像データにおける所定の特徴部分を強調する画像処理を行った後に、前記画像データの各区画を、前記第１解像度および第２解像度の中間値を有する中間解像度に変換する、
    画像処理システム。
  3. 車両の走行状態に関する走行情報を受信する第１受信部と、
    前記車両において用いられるイメージセンサの撮像領域のうち第１部分領域を前記走行情報に基づいて設定し、前記撮像領域のうち前記第１部分領域以外の領域の解像度が、前記第１部分領域の解像度よりも低い画像データを生成する制御部と、
    を備え、
    前記イメージセンサは、予め定められた複数の区画の何れかに属する複数の画素を有し、
    前記制御部は、前記走行情報に基づいて、前記第１部分領域以外の少なくとも一部の解像度が前記第１部分領域の解像度よりも小さくなるように各区画の解像度を決定し、前記第１部分領域以外の少なくとも１つの区画の解像度が、前記第１部分領域の区画の解像度よりも低い画像データを生成し、
    前記制御部は、前記画像データの画像フォーマット情報をさらに生成し、
    前記画像フォーマット情報は、前記イメージセンサからの画像の解像度、前記画像データの解像度、前記複数の区画の総数、および、前記複数の区画それぞれの解像度を少なくとも含み、
    前記画像フォーマット情報に基づいて、前記画像データの解像度を変換する画像処理部をさらに備え、
    前記画像処理部は、前記複数の区画の解像度に応じてディープラーニング層を構成しており、前記車両の前記走行情報に基づき、少なくとも、前記複数の区画のそれぞれの解像度の変化を学習して、前記ディープラーニング層を最適化しつつ、前記画像フォーマット情報に基づき、前記画像データの解像度を変換する、
    画像処理システム。
  4. 車両の走行状態に関する走行情報を受信する第１受信部と、
    前記車両において用いられるイメージセンサの撮像領域のうち第１部分領域を前記走行情報に基づいて設定し、前記撮像領域のうち前記第１部分領域以外の領域の解像度が、前記第１部分領域の解像度よりも低い画像データを生成する制御部と、
    を備え、
    前記イメージセンサは、予め定められた複数の区画の何れかに属する複数の画素を有し、
    前記制御部は、前記走行情報に基づいて、前記第１部分領域以外の少なくとも一部の解像度が前記第１部分領域の解像度よりも小さくなるように各区画の解像度を決定し、前記第１部分領域以外の少なくとも１つの区画の解像度が、前記第１部分領域の区画の解像度よりも低い画像データを生成し、
    前記制御部は、前記画像データの画像フォーマット情報をさらに生成し、
    前記画像フォーマット情報は、前記イメージセンサからの画像の解像度、前記画像データの解像度、前記複数の区画の総数、および、前記複数の区画それぞれの解像度を少なくとも含み、
    前記画像フォーマット情報に基づいて、前記画像データの解像度を変換する画像処理部をさらに備え、
    前記画像処理部は、所定波を出射後に自身に戻ってきた戻り波に基づき、周囲の物体を検出するアクティブセンサと通信可能に接続され、自身が解像度を変換した画像データから所定の物体を検出すると、検出結果に基づき、前記アクティブセンサを制御する、
    画像処理システム。
  5. 車両の走行状態に関する走行情報を受信する第１受信部と、
    前記走行情報と前記車両の周囲を撮影するイメージセンサにより撮像された第１画像データとが入力され、前記走行情報に基づいて、前記車両が上り坂の頂上および下り坂の底のいずれか一方の直前に到達したと判定した場合、前記第１画像データを分割した複数の部分領域のうち、下方又は上方の部分領域を第１部分領域と設定し、複数の部分領域のうち前記第１部分領域と異なる少なくとも１つの部分領域を第２部分領域と設定し、前記第２部分領域の解像度を前記第１部分領域の解像度よりも小さい値に決定し、前記第１画像データのうち前記第２部分領域の解像度を前記決定した解像度に変更した第２画像データを生成し、前記第２画像データを画像処理部に出力する制御部と、
    を備える画像生成装置。
  6. 車両の走行状態に関する走行情報を受信する第１受信部と、
    前記走行情報と前記車両の周囲を撮影するイメージセンサにより撮像された第１画像データとが入力され、前記第１画像データを分割した複数の部分領域のうち、前記走行情報に基づいて、第１部分領域を設定し、複数の部分領域のうち前記第１部分領域と異なる少なくとも１つの部分領域を第２部分領域と設定し、前記第２部分領域の解像度を前記第１部分領域の解像度よりも小さい値に決定し、前記第１画像データのうち前記第２部分領域の解像度を前記決定した解像度に変更した第２画像データを生成し、前記第２画像データを画像処理部に出力する制御部と、
    を備え、
    前記画像処理部は、前記第２画像データのうち所定の特徴部分を強調する強調処理を行った後に、前記強調処理後の第２画像データを、前記第１部分領域の解像度および前記第２部分領域の解像度の中間値を有する中間解像度に変換する、
    画像処理システム。
  7. 車両の走行状態に関する走行情報を受信する第１受信部と、
    前記走行情報と前記車両の周囲を撮影するイメージセンサにより撮像された第１画像データとが入力され、前記第１画像データを分割した複数の部分領域のうち、前記走行情報に基づいて、第１部分領域を設定し、複数の部分領域のうち前記第１部分領域と異なる少なくとも１つの部分領域を第２部分領域と設定し、前記第２部分領域の解像度を前記第１部分領域の解像度よりも小さい値に決定し、前記第１画像データのうち前記第２部分領域の解像度を前記決定した解像度に変更した第２画像データを生成し、さらに前記第２画像データの画像フォーマット情報を生成する制御部と、
    前記画像フォーマット情報に基づいて、前記制御部によって入力された前記第２画像データの解像度を変換する画像処理部と、
    を備え、
    前記画像フォーマット情報は、前記第１画像データの解像度、前記第２画像データの解像度、前記複数の部分領域の総数、および、前記複数の部分領域のそれぞれの解像度を少なくとも含み、
    前記画像処理部は、入力される前記第２画像データ毎に、前記第２画像データに含まれる前記複数の部分領域の解像度に応じてディープラーニング層を構成し、前記車両の前記走行情報に基づき、前記第２画像データに含まれる前記複数の部分領域のそれぞれの解像度の変化を学習して、前記ディープラーニング層を最適化し、前記画像フォーマット情報に基づき、前記第２画像データに含まれる前記複数の部分領域の解像度を変換するプロセスを含む、
    画像処理システム。
  8. 車両の走行状態に関する走行情報を受信する第１受信部と、
    前記走行情報と前記車両の周囲を撮影するイメージセンサにより撮像された第１画像データにおける複数の部分領域に対して、前記走行情報に基づいて第１部分領域を設定し、複数の部分領域のうち前記第１部分領域と異なる少なくとも１つの部分領域を第２部分領域と設定し、前記第２部分領域の解像度を前記第１部分領域の解像度よりも小さい値に決定し、前記決定した解像度に変更した前記第２部分領域と第１画像データとから第２画像データを生成し、前記第２画像データを画像処理部に出力する制御部と、
    を備え、
    前記画像処理部は、アクティブセンサと接続され、前記第２画像データから物体が検出された場合、検出結果に基づき、前記アクティブセンサを制御し、
    前記制御されたアクティブセンサは、所定波を用いて前記物体を検出する、
    画像処理システム。
  9. 前記制御部は、画像データを複数フレーム展開し、
    前記複数フレームの画像データの総解像度は互いに同じである、
    請求項１に記載の画像生成装置。
  10. 前記制御部は、前記画像データの画像フォーマット情報をさらに生成し、
    前記画像フォーマット情報は、前記イメージセンサからの画像の解像度、前記画像データの解像度、前記複数の区画の総数、および、前記複数の区画それぞれの解像度を少なくとも含む、
    請求項１に記載の画像生成装置。
  11. 前記画像フォーマット情報は、前記画像データの垂直ブランキング期間に、前記第１受信部と前記制御部と前記画像処理部とを備える画像生成装置から伝送路に送出される、
    請求項２乃至４の何れか１項に記載の画像処理システム。
JP2016191676A 2016-09-29 2016-09-29 画像生成装置、および、画像処理システム Active JP6735506B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2016191676A JP6735506B2 (ja) 2016-09-29 2016-09-29 画像生成装置、および、画像処理システム
CN201780059063.6A CN109792506B (zh) 2016-09-29 2017-09-12 图像生成装置、图像生成方法、记录介质以及图像处理系统
PCT/JP2017/032768 WO2018061740A1 (ja) 2016-09-29 2017-09-12 画像生成装置、画像生成方法、プログラムおよび記録媒体、並びに、画像処理システム
DE112017004892.3T DE112017004892T5 (de) 2016-09-29 2017-09-12 Bilderzeugungsvorrichtung, Bilderzeugungsverfahren, Aufzeichnungsmedium und Bildverarbeitungssystem
US16/293,823 US10763285B2 (en) 2016-09-29 2019-03-06 Image generation devices and image processing systems for converting resolutions of image data captured by image sensors mounted on movable-body apparatuses

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016191676A JP6735506B2 (ja) 2016-09-29 2016-09-29 画像生成装置、および、画像処理システム

Publications (2)

Publication Number Publication Date
JP2018056838A JP2018056838A (ja) 2018-04-05
JP6735506B2 true JP6735506B2 (ja) 2020-08-05

Family

ID=61763487

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016191676A Active JP6735506B2 (ja) 2016-09-29 2016-09-29 画像生成装置、および、画像処理システム

Country Status (5)

Country Link
US (1) US10763285B2 (ja)
JP (1) JP6735506B2 (ja)
CN (1) CN109792506B (ja)
DE (1) DE112017004892T5 (ja)
WO (1) WO2018061740A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2018030319A1 (ja) * 2016-08-12 2018-08-09 パナソニックＩｐマネジメント株式会社 測距システム、および、移動体システム
DE112020005642T5 (de) 2020-01-30 2022-09-01 Hitachi Astemo, Ltd. Informationsverarbeitungsvorrichtung
US20230159048A1 (en) * 2020-04-15 2023-05-25 Hitachi Astemo, Ltd. Resolution control device, automatic driving system, and resolution control method
JP7109528B2 (ja) * 2020-12-23 2022-07-29 三菱電機株式会社 車載画像情報処理装置、車載画像情報送信装置および画像情報処理方法
JP2022159912A (ja) 2021-04-05 2022-10-18 ウーブン・プラネット・ホールディングス株式会社 遠隔監視システム、遠隔監視方法、遠隔監視サーバ、及び車載情報処理装置
JP2023110325A (ja) 2022-01-28 2023-08-09 キヤノン株式会社 カメラシステム、移動体、カメラシステムの制御方法、及びコンピュータプログラム
JP2024089824A (ja) * 2022-12-22 2024-07-04 日立Astemo株式会社 走行支援装置、及び走行支援方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003018559A (ja) 2001-07-02 2003-01-17 National Aerospace Laboratory Of Japan データ多重化無線通信システム
JP4685561B2 (ja) 2005-09-12 2011-05-18 株式会社日立国際電気 カメラシステムの表示方法及びカメラシステム
JP4765649B2 (ja) * 2006-02-08 2011-09-07 日産自動車株式会社 車両用映像処理装置、車両周囲監視システム並びに映像処理方法
JP4791222B2 (ja) * 2006-03-27 2011-10-12 パナソニック株式会社 表示制御装置
JP2007288527A (ja) * 2006-04-17 2007-11-01 Matsushita Electric Ind Co Ltd 撮像装置
JP5163936B2 (ja) * 2007-05-30 2013-03-13 コニカミノルタホールディングス株式会社 障害物計測方法、障害物計測装置及び障害物計測システム
JP5325745B2 (ja) * 2009-11-02 2013-10-23 株式会社ソニー・コンピュータエンタテインメント 動画像処理プログラム、装置および方法、動画像処理装置を搭載した撮像装置
JP2013041481A (ja) 2011-08-18 2013-02-28 Seiko Epson Corp 画像処理装置、画像処理システム、カメラ及びカメラシステム
US8791835B2 (en) * 2011-10-03 2014-07-29 Wei Zhang Methods for road safety enhancement using mobile communication device
WO2014129026A1 (ja) * 2013-02-21 2014-08-28 本田技研工業株式会社 運転支援装置、および画像処理プログラム
US20160182866A1 (en) * 2014-12-19 2016-06-23 Sony Corporation Selective high frame rate video capturing in imaging sensor subarea
KR102541559B1 (ko) * 2017-08-04 2023-06-08 삼성전자주식회사 관심 객체를 검출하는 방법 및 장치

Also Published As

Publication number Publication date
CN109792506B (zh) 2021-02-26
JP2018056838A (ja) 2018-04-05
DE112017004892T5 (de) 2019-06-27
US10763285B2 (en) 2020-09-01
US20190198540A1 (en) 2019-06-27
WO2018061740A1 (ja) 2018-04-05
CN109792506A (zh) 2019-05-21

Similar Documents

Publication Publication Date Title
JP6735506B2 (ja) 画像生成装置、および、画像処理システム
JP6715463B2 (ja) 画像生成装置、画像生成方法、プログラムおよび記録媒体
US11863911B2 (en) Imaging system, method of controlling imaging system, and object recognition system
KR20190051968A (ko) 촬상 장치 및 전자 기기
WO2020105314A1 (ja) 固体撮像素子、および、撮像装置
WO2020195700A1 (ja) 撮像装置及び撮像システム
WO2020196092A1 (ja) 撮像システム及び撮像システムの制御方法、並びに、物体認識システム
WO2020105313A1 (ja) 固体撮像素子、および、撮像装置
WO2020090512A1 (ja) 撮影装置、制御方法、及び、プログラム
CN113647089B (zh) 成像系统
JP2005184395A (ja) 画像処理方法、画像処理システム、画像処理装置および撮影装置
JP2024515761A (ja) データ駆動型の動的に再構成された視差マップ
JP6737253B2 (ja) 画像処理装置
JP7533477B2 (ja) 自動車用制御システム
US20210306589A1 (en) Imaging device, imaging system, and moving body
JP5759709B2 (ja) 画像認識装置
WO2022153888A1 (ja) 固体撮像装置、固体撮像装置の制御方法及び固体撮像装置の制御プログラム
WO2024024464A1 (ja) 固体撮像素子、および電子機器
CN218888598U (zh) 图像处理设备和车载系统
WO2024203526A1 (ja) 光検出装置及び電子機器
WO2021245935A1 (ja) 情報処理装置、情報処理方法、及びプログラム
KR20240116480A (ko) 센서 노출 모드 컨트롤 및 센서 노출 모드 제어 방법
JP2019059418A (ja) 道路情報取得システムおよび道路情報取得プログラム

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190625

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190726

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20191018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200331

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200528

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200623

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200626

R151 Written notification of patent or utility model registration

Ref document number: 6735506

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

SZ03 Written request for cancellation of trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z03

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350