WO2022149308A1 - カメラ装置、および、カメラ制御方法 - Google Patents

カメラ装置、および、カメラ制御方法 Download PDF

Info

Publication number
WO2022149308A1
WO2022149308A1 PCT/JP2021/033457 JP2021033457W WO2022149308A1 WO 2022149308 A1 WO2022149308 A1 WO 2022149308A1 JP 2021033457 W JP2021033457 W JP 2021033457W WO 2022149308 A1 WO2022149308 A1 WO 2022149308A1
Authority
WO
WIPO (PCT)
Prior art keywords
power supply
temperature sensor
temperature
sensor
camera device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2021/033457
Other languages
English (en)
French (fr)
Inventor
優 中川
広人 名越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Astemo Ltd
Original Assignee
Hitachi Astemo Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Astemo Ltd filed Critical Hitachi Astemo Ltd
Priority to JP2022573910A priority Critical patent/JP7598389B2/ja
Priority to DE112021005584.4T priority patent/DE112021005584T5/de
Publication of WO2022149308A1 publication Critical patent/WO2022149308A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals

Definitions

  • the present invention relates to a camera device that stops power supply to an image pickup board at a high temperature, and a camera control method.
  • a general in-vehicle camera includes an image sensor that captures the outside world, an image processing circuit that processes image data captured by the image sensor to obtain outside world information, and a control circuit that transmits the outside world information to a vehicle control device.
  • noise of the image data captured by the image sensor increases at high temperatures, and normal external information cannot be output from the image processing circuit.
  • the vehicle control device that has received the abnormal outside world information may make an error in vehicle control, and may perform steering, acceleration, braking, or the like that does not correspond to the actual outside world.
  • Patent Document 1 a temperature sensor is arranged in the vicinity of the main component, and when the measured temperature of the temperature sensor exceeds the threshold value, the power supply is partially stopped and the function of the in-vehicle camera is stopped. It prevented the controller from performing anomalous control.
  • Patent Document 1 it is necessary to supply power to the temperature sensor in the vicinity of the image sensor even when the power supply to the image sensor is temporarily stopped at a high temperature.
  • FPC Flexible Printed Circuits
  • the present invention has a simplified configuration that does not require power supply to the image pickup substrate when the power supply is temporarily suppressed at a high temperature, but the power is supplied at an appropriate timing when the temperature of the image sensor is sufficiently lowered after the power supply is suppressed. It is an object of the present invention to provide a camera device capable of resuming supply and a camera control method.
  • the camera device of the present invention has a first substrate on which a first temperature sensor is mounted, a second substrate on which an image pickup element and a second temperature sensor are mounted, and the first substrate and the second substrate.
  • a camera device including an FPC, a first temperature sensor, an image pickup element, and a power supply control unit for supplying power to the second temperature sensor, wherein the power supply control unit is the first.
  • the temperature of the image sensor is sufficiently high after the power supply is suppressed, although the configuration is simplified so that the power supply to the image pickup substrate is not required.
  • the power supply can be resumed at the appropriate timing of the descent.
  • the stereo camera 1 which is the camera device according to the first embodiment of the present invention will be described with reference to FIGS. 1 to 6.
  • a stereo camera 1 installed facing forward on the inner surface of the front window of an automobile will be described as an example, but the stereo camera 1 may be mounted on, for example, an autonomous mobile robot or an industrial robot. good.
  • the camera device of the present invention may be a monaural camera.
  • a left image pickup board 2L, a right image pickup board 2R, and an image processing board 2M are provided inside the stereo camera 1 of this embodiment.
  • the left image pickup board 2L and the image processing board 2M are connected by the left FPC3L
  • the right image pickup board 2R and the image processing board 2M are connected by the right FPC3R.
  • the left image pickup board 2L is provided with a left image pickup element 4L and a left temperature sensor 5L
  • the right image pickup board 2R is provided with a right image pickup element 4R and a right temperature sensor 5R
  • the image processing board 2M is provided with an image processing circuit. It includes 4M, a main temperature sensor 5M, a control microcomputer 6, a recognition unit power supply circuit 7, a control unit power supply circuit 8, and a storage unit 9.
  • the left FPC 3L is an FPC that transmits / receives a signal between the left image pickup board 2L and the image processing board 2M and supplies power from the image processing board 2M to the left image pickup board 2L.
  • the right FPC3R is an FPC that transmits / receives a signal between the right image pickup board 2R and the image processing board 2M and supplies power from the image processing board 2M to the right image pickup board 2R.
  • the left image sensor 4L and the right image sensor 4R are CMOS image sensors and the like that capture the outside world and output image data D.
  • the image processing circuit 4M is a circuit that processes the image data D from the image pickup element and acquires the outside world information Io in front of the own vehicle (for example, the preceding vehicle, the pedestrian, the white line, the traffic signal, etc. in front of the own vehicle). be.
  • the left temperature sensor 5L is installed in the vicinity of the left image sensor 4L and measures the ambient temperature TL .
  • the right temperature sensor 5R is installed in the vicinity of the right image sensor 4R and measures the ambient temperature TR.
  • the main temperature sensor 5M is installed in the vicinity of the image processing circuit 4M and measures the ambient temperature TM.
  • the control microcomputer 6 generates control information Ic necessary for vehicle control based on the outside world information Io processed by the image processing circuit 4M, transmits it to the vehicle control device 10, or measures the ambient temperature by each temperature sensor.
  • the power supply from the recognition unit power supply circuit 7 is stopped based on the T L , T R , and T M. The details of the processing here will be described later.
  • the recognition unit power supply circuit 7 supplies electric powers P1 to P5 to the left image sensor 4L, the right image sensor 4R, the image processing circuit 4M, the left temperature sensor 5L, and the right temperature sensor 5R in response to a command from the control microcomputer 6 . Supply or suspend their power supply.
  • the control unit power supply circuit 8 supplies electric power P0 to the control microcomputer 6 and the main temperature sensor 5M.
  • the electric power P0 is always supplied while the stereo camera 1 is activated.
  • the storage unit 9 is an EEPROM or the like that stores the state of the stereo camera 1 in the past determined by the control microcomputer 6 and the measured temperature of each temperature sensor.
  • the power supply suppression start threshold values Th L , Th R , Th M , and the power supply suppression release threshold values Th LC , Th RC , and Th MC which will be described later, are registered in advance, and the control microcomputer 6 can appropriately refer to these threshold values. ..
  • the vehicle control device 10 is a control device that realizes driving support and automatic driving by controlling the steering system, drive system, and braking system of the vehicle based on the control information Ic transmitted from the stereo camera 1, and is generally used. It is called an ECU (Electronic Control Unit).
  • ECU Electronic Control Unit
  • the internal temperature of the stereo camera 1 rises. Most of the temperature rise is due to power consumption in the left image sensor 4L, the right image sensor 4R, and the image processing circuit 4M. Therefore, if the power supply to these is stopped, the temperature of the stereo camera 1 can be lowered.
  • the control for temporarily stopping the power supply from the recognition unit power supply circuit 7 to each image sensor or the like when the stereo camera 1 becomes hot is referred to as power supply suppression control.
  • the image data D taken by the left image sensor 4L and the right image sensor 4R at a high temperature contains a lot of noise, an abnormality occurs in the external information Io obtained by processing the image data D by the image processing circuit 4M. I often do it. Then, when the control microcomputer 6 generates the control information Ic based on the abnormal outside world information Io, the vehicle control device 10 that has received the control information Ic cannot output the normal control information Ic, so that safe driving support is provided. And automatic driving cannot be guaranteed. Therefore, when the temperature of the stereo camera 1 becomes high, it is necessary to temporarily stop the function of the stereo camera 1.
  • the situation in which power supply suppression is necessary is, for example, when operating in a high temperature environment or when the stereo camera 1 is started in a state where it is exposed to direct sunlight. Since the arrangement of heat generating parts around each temperature sensor is not uniform, the order of the measured temperatures of each temperature sensor is fixed in the constant state after a certain period of time has passed from the start, unless there is an abnormality or failure. For example, the relationship of T L > T R > T M is always maintained.
  • FIG. 3 shows the state of power supply when the power supply is suppressed.
  • the power supply of the power P 4 to the left temperature sensor 5L and the power P 5 to the right temperature sensor 5R is stopped, and only the power P 0 is supplied from the control unit power supply circuit 8 to the main temperature sensor 5M and the control microcomputer 6. Will be continued.
  • the generation of the image data D and the external world information Io in each image element and the image processing circuit 4M is also interrupted.
  • the control microcomputer 6 transmits the control information Ic indicating that the stereo camera 1 is temporarily stopped to the vehicle control device 10, and the vehicle control device 10 receiving the control signal IC receives the control signal IC. Notifies the driver that the driving support and automatic driving functions are suspended.
  • FIG. 4 is a control flowchart of power supply suppression in this embodiment. As shown here, in step S1, the control microcomputer 6 executes a routine for determining whether or not to start feeding suppression. Next, in step S2, the control microcomputer 6 executes a routine for determining whether or not the power supply suppression is released. The process of FIG. 4 starts at the same time as the start of the stereo camera 1 and ends when the stereo camera 1 is stopped. The details of each routine will be described below.
  • FIG. 5 is a control flowchart showing details of the power supply suppression start determination routine.
  • step S11 the control microcomputer 6 determines whether the ambient temperature TM measured by the main temperature sensor 5M exceeds the power supply suppression start threshold value Th M. Then, if it exceeds, the process proceeds to step S14, and if it does not exceed, the process proceeds to step S12.
  • step S12 the control microcomputer 6 determines whether the ambient temperature TL measured by the left temperature sensor 5L exceeds the power supply suppression start threshold value Th L. Then, if it exceeds, the process proceeds to step S14, and if it does not exceed, the process proceeds to step S13.
  • step S13 the control microcomputer 6 determines whether the ambient temperature TR measured by the right temperature sensor 5R exceeds the power supply suppression start threshold value Th R. Then, if it exceeds, the process proceeds to step S14, and if it does not exceed, the process returns to step S11.
  • step S14 the control microcomputer 6 issues a power supply stop command to the recognition unit power supply circuit 7 and starts power supply suppression. That is, when any one of the ambient temperatures TM, TL, and TR exceeds the respective power supply suppression start thresholds Th M , Th L , and Th R , the recognition unit power supply circuit 7 uses the power P as shown in FIG. The supply of 1 to P5 is stopped, and the control unit power supply circuit 8 continues to supply power to the control microcomputer 6 and the main temperature sensor 5M. As a result, it becomes impossible to temporarily perform driving support and automatic operation, but since heat generation in the left image sensor 4L, the image processing circuit 4M, and the right image sensor 4R is eliminated, the temperature of the stereo camera 1 is increased by heat radiation from the outer shell or the like. Begins to descend.
  • FIG. 6 is a control flowchart showing details of the power supply suppression release determination routine.
  • step S21 in the control microcomputer 6, the ambient temperature TM is the power supply suppression release threshold value Th. Determine if it is below the MC . Then, if the ambient temperature TM is lower than the power supply suppression release threshold Th MC , the process proceeds to step S22, and if it is not lower, the process returns to step S21.
  • step S22 the control microcomputer 6 issues a power supply restart command to the recognition unit power supply circuit 7 , and restarts the supply of powers P1 to P5 from the recognition unit power supply circuit 7.
  • the generation of the image data D and the external world information Io is restarted, and the driving support and the automatic driving using the output of the stereo camera 1 are also restarted.
  • the power supply suppression is released without considering the changes in the ambient temperature TL and the ambient temperature TR .
  • the power supply suppression is performed only when all of the ambient temperatures TM , TL , and TR are below the respective power supply suppression release thresholds Th MC , Th LC , and Th RC .
  • the feeding suppression may be released before the ambient temperatures TL and TR are sufficiently lowered, but in this embodiment, all of the ambient temperatures TM , TL and TR are released. Is sufficiently lowered before the power supply suppression is released.
  • the smaller (lower temperature) the electric suppression release threshold Th MC registered in the storage unit 9 the longer the time from the start to the release of the power supply suppression, the left image sensor 4L, the image processing circuit 4M, and the right image sensor. 4R could be cooled sufficiently.
  • FIG. 7 is a graph illustrating a problem when the electric suppression release threshold Th MC is made excessively small.
  • each ambient temperature maintains the relationship of TL ⁇ TR > TM.
  • TA is the ambient temperature of the stereo camera 1
  • t 0 is the start-up time of the stereo camera 1
  • t 1 is the ambient temperature T L (or TR ) that rises to the power supply suppression start threshold Th L (or Th R ).
  • t 2 is the time when the ambient temperature TM drops to the power supply suppression release threshold Th MC to release the power suppression.
  • HL is a hysteresis region whose upper and lower limits are the feed suppression start threshold Th L and the feed suppression release threshold Th LC
  • HR is a hysteresis whose upper and lower limits are the feed suppression start threshold Th R and the feed suppression release threshold Th RC .
  • the region, HM is a hysteresis region having an upper limit and a lower limit of the power supply suppression start threshold value Th M and the power supply suppression release threshold value Th MC .
  • the electric suppression release threshold Th MC is made smaller (lower temperature) than necessary, the time from the time t 1 for starting the power supply suppression to the time t 2 for releasing the power supply suppression becomes longer, so that the left image sensor 4L, the right image sensor 4R, and the image processing circuit 4M can be sufficiently cooled.
  • the power supply suppression release threshold Th MC it is desirable to set the power supply suppression release threshold Th MC as high as possible for driving support and early resumption of automatic driving.
  • an excessively high power supply suppression release threshold Th MC is set to reduce the hysteresis region HM , “hunting” may occur in which the power supply suppression start and the power supply suppression release are repeated.
  • the hunting generation environment there is a state in which the image sensor is exposed to direct sunlight and the ambient temperature TL (or TR ) of the image sensor is more likely to rise than the ambient temperature TM of the image processing circuit 4M .
  • the ambient temperature TL rises sharply due to the self-heating of the left image sensor 4L and the influence of direct sunlight, and the power supply suppression starts at the time t 1 when the power supply suppression start threshold Th L is exceeded.
  • the ambient temperature TM of the image processing circuit 4M has not risen so much, so when the feeding suppression is started, the ambient temperature TM quickly drops to the feeding suppression release threshold Th MC , and the time t 2 At this point, the power supply suppression is released, and the power supply to the image sensor and the image processing circuit 4M is resumed.
  • the ambient temperature TL of the left image sensor 4L has not sufficiently dropped, so that when the power supply is restarted, the ambient temperature TL quickly rises again to the power supply suppression start threshold value Th L. Power supply suppression is restarted at time t3. In this way, “hunting" that repeats the start of the power supply suppression and the release of the power supply suppression occurs. Hunting also occurs in the right image sensor 4R for the same reason.
  • step S2a the control microcomputer 6 stores the ambient temperature TM of the main temperature sensor 5M at the time t 1 when the power supply suppression is started. Also, in this step, the ambient temperatures TL and TR at time t 1 are also stored. As is clear from FIG. 5, the time t 1 is the time when the ambient temperature TM exceeds the power supply suppression start threshold value Th M , the time when the ambient temperature TL exceeds the power supply suppression start threshold value Th L , and the ambient temperature. This is the earliest time among the times when TR exceeds the power supply suppression start threshold Th R.
  • step S2b the control microcomputer 6 estimates the ambient temperature TL (or TR ) using the difference information between the ambient temperature TM at time t1 and the current ambient temperature TM .
  • the ambient temperature TR drops at a speed twice the ambient temperature TM and the ambient temperature TL drops at a speed 1.5 times the ambient temperature TM while the power supply is suppressed. If it is experimentally known that the temperature is lowered, the relationship is registered in the storage unit 9.
  • the control microcomputer 6 can estimate the current falling temperature of the ambient temperature TR by doubling the falling temperature of the ambient temperature TM, and by multiplying the falling temperature of the ambient temperature TM by 1.5 times, the peripheral temperature TR can be estimated.
  • the current temperature drop of the temperature TL can be estimated.
  • the control microcomputer 6 can estimate the current ambient temperatures TL and TR by subtracting the estimated falling temperature from the ambient temperatures TL and TR at the time t1 stored in step S2a . ..
  • step S2c the control microcomputer 6 determines whether the ambient temperature TM measured by the main temperature sensor 5M is lower than the power supply suppression release threshold Th MC . Then, if it falls below the level, the process proceeds to step S2d, and if it does not fall below the level, the process returns to step S2b.
  • step S2d the control microcomputer 6 determines whether the ambient temperature TL estimated in step S2b is lower than the power supply suppression release threshold Th LC . Then, if it falls below the level, the process proceeds to step S2e, and if it does not fall below the level, the process returns to step S2b.
  • step S2e the control microcomputer 6 determines whether the ambient temperature TR estimated in step S2b is below the power supply suppression release threshold Th RC . Then, if it falls below the level, the process proceeds to step S2f, and if it does not fall below the level, the process returns to step S2b.
  • step S2f the control microcomputer 6 issues a power supply restart command to the recognition unit power supply circuit 7 , and restarts the supply of powers P1 to P5 from the recognition unit power supply circuit 7.
  • the power supply suppression can be released at the timing when the left image sensor 4L and the right image sensor 4R are sufficiently cooled.
  • FIG. 10 is a graph when the power supply suppression release determination of this embodiment is executed under the same environment as that of FIG. 7.
  • the power supply suppression release thresholds Th MC , Th LC , and Th RC are increased as compared with FIG. 7 according to the first embodiment, and the hysteresis regions HM and H are increased. L and HR are narrowed.
  • FIG. 10 as compared with FIG. 7, the period from the time t 1 to the time t 2 in which the image data D and the external world information Io cannot be generated can be shortened, but the hunting as in FIG. 8 does not occur.
  • the unmeasurable ambient temperature is estimated based on the measurable ambient temperature, and the measured ambient temperature and the estimated ambient temperature are used. , Determine whether to cancel the power supply suppression. Therefore, it is possible to realize the release of the power supply suppression at the same timing as the configuration in which the power supply to all the temperature sensors is continued with a simpler configuration.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

高温時に電力供給を一時的に抑制する場合、撮像基板に電力を供給する必要がない簡略化した構成でありながら、電力供給停止により撮像素子の温度が降下した適切なタイミングで電力供給を再開できるカメラ装置を提供する。第一温度センサを搭載した第一基板と、撮像素子と第二温度センサを搭載した第二基板と、前記第一基板と前記第二基板を接続するFPCと、前記第一温度センサ、前記撮像素子、および、前記第二温度センサへ電力を供給する電源制御部と、を備えたカメラ装置であって、前記電源制御部は、前記第一温度センサまたは前記第二温度センサが計測した温度が所定の給電抑制開始閾値を超えた場合、前記第一温度センサへの電力供給を継続しつつ、前記撮像素子と前記第二温度センサへの電力供給を停止するカメラ装置。

Description

カメラ装置、および、カメラ制御方法
 本発明は、高温時に撮像基板への給電を停止するカメラ装置、および、カメラ制御方法に関する。
 車載装置の一種として、運転支援や自動運転に利用する外界情報を車両制御装置に提供する車載カメラがある。一般的な車載カメラは、外界を撮影する撮像素子と、撮像素子が撮影した画像データを処理して外界情報を得る画像処理回路と、その外界情報を車両制御装置に送信する制御回路を備えている。このような車載カメラでは、高温時には撮像素子が撮影した画像データのノイズが増大し、画像処理回路から正常な外界情報を出力できなくなる。そして、異常な外界情報を受信した車両制御装置が車両制御を誤り、現実の外界に対応しない、操舵、加速、制動などを実施するおそれがある。
 このため、特許文献1では、主要部品近傍に温度センサを配置しておき、温度センサの測定温度が閾値を超えた場合、電力供給を一部停止して車載カメラの機能を止めることで、車両制御装置が異常な制御を実行することを防いでいた。
特開2001-088609号公報
 しかしながら、特許文献1では、高温時に撮像素子への電力供給を一時停止する場合でも撮像素子近傍の温度センサには電力供給を行う必要があったため、車載カメラで一般的な、撮像基板と画像処理基板をFPC(Flexible Printed Circuits)等で接続する構成を採用した場合には、撮像素子に対する電力供給部と、温度センサに対する電力供給部を分けて構成する必要があり、装置構造の複雑化を招いていた。
 そこで、本発明では、高温時に電力供給を一時抑制する場合に、撮像基板への電力供給を不要とする簡略構成でありながら、給電抑制後に撮像素子の温度が十分に降下した適切なタイミングで電力供給を再開できるカメラ装置、および、カメラ制御方法を提供することを目的とする。
 上記課題を解決するため、本発明のカメラ装置は、第一温度センサを搭載した第一基板と、撮像素子と第二温度センサを搭載した第二基板と、前記第一基板と前記第二基板を接続するFPCと、前記第一温度センサ、前記撮像素子、および、前記第二温度センサへ電力を供給する電源制御部と、を備えたカメラ装置であって、前記電源制御部は、前記第一温度センサまたは前記第二温度センサが計測した温度が所定の給電抑制開始閾値を超えた場合、前記第一温度センサへの電力供給を継続しつつ、前記撮像素子と前記第二温度センサへの電力供給を停止するものとした。
 本発明のカメラ装置およびカメラ制御方法によれば、高温時に電力供給を一時抑制する場合に、撮像基板への電力供給を不要とする簡略構成でありながら、給電抑制後に撮像素子の温度が十分に降下した適切なタイミングで電力供給を再開することができる。
実施例1に係るステレオカメラの基板構成図 実施例1に係るステレオカメラの給電構成図 図2における、給電抑制時の電力供給図 実施例1の給電抑制の制御フローチャート 図4の給電抑制開始判定の制御フローチャート 図4の給電抑制解除判定の制御フローチャート 図6の給電抑制解除判定により生じる再起動遅延例 図6の給電抑制解除判定により生じるハンチング例 実施例2の給電抑制解除判定の制御フローチャート 図9の給電抑制解除判定で制御した場合の温度上昇例
 本発明のステレオカメラの実施例について、図面を用いて詳細に説明する。なお、本発明は、以下の実施例に限定されることなく、本発明の技術的な概念の中で種々の変形例や応用例をもその範囲に含むものである。
 まず、図1から図6を用いて、本発明の実施例1に係るカメラ装置であるステレオカメラ1について説明する。なお、以下では、自動車のフロントウィンドウ内面に前方を向けて設置したステレオカメラ1を例に説明するが、ステレオカメラ1は、例えば、自律移動ロボットや産業用ロボットなどに搭載したものであっても良い。また、本発明のカメラ装置はモノラルカメラであっても良い。
 図1の基板構成図に示すように、本実施例のステレオカメラ1の内部には、左撮像基板2L、右撮像基板2R、画像処理基板2Mが設けられている。左撮像基板2Lと画像処理基板2Mは左FPC3Lで接続されており、右撮像基板2Rと画像処理基板2Mは右FPC3Rで接続されている。また、左撮像基板2Lには左撮像素子4Lと左温度センサ5Lを備え、右撮像基板2Rには右撮像素子4Rと右温度センサ5Rを備えており、画像処理基板2Mには、画像処理回路4M、主温度センサ5M、制御マイコン6、認識部電源回路7、制御部電源回路8、記憶部9を備えている。以下、各部の詳細を順次説明する。
 <各部の機能>
 左FPC3Lは、左撮像基板2Lと画像処理基板2Mの間で信号を送受信し、画像処理基板2Mから左撮像基板2Lに電力供給するFPCである。同様に、右FPC3Rは、右撮像基板2Rと画像処理基板2Mの間で信号を送受信し、画像処理基板2Mから右撮像基板2Rに電力供給するFPCである。画像処理基板2M上の認識部電源回路7と制御部電源回路8の双方から、左FPC3Lを介して左撮像基板2Lに電力供給する場合、左FPC3L上のパターンとしては、左撮像素子4Lや左温度センサ5Lの通信パターンだけではなく、認識部電源回路7からの送電パターンと制御部電源回路8からの送電パターンを確保する必要があり左FPC3Lの構造は必然的に複雑化していた。これは、右FPC3Rについても同様である。そのため、本実施例では、認識部電源回路7からのみ各撮像基板へ電力供給し、制御部電源回路8からは各撮像基板へ電力供給しない構成にし、制御部電源回路8からの送電パターンを省略することで、各撮像基板と画像処理基板2Mを接続するFPCを簡素化した。
 左撮像素子4Lと右撮像素子4Rは、外界を撮影して画像データDを出力するCMOSイメージセンサ等である。画像処理回路4Mは、撮像素子からの画像データDを処理して、自車前方の外界情報Io(例えば、自車前方の、先行車、歩行者、白線、交通信号機など)を取得する回路である。
 左温度センサ5Lは、左撮像素子4Lの近傍に設置されており、周辺温度TLを計測する。右温度センサ5Rは、右撮像素子4Rの近傍に設置されており、周辺温度TRを計測する。主温度センサ5Mは、画像処理回路4Mの近傍に設置されており、周辺温度TMを計測する。
 制御マイコン6は、画像処理回路4Mが処理した外界情報Ioを元に、車両制御に必要な制御情報Icを生成し、それを車両制御装置10に送信したり、各温度センサが計測した周辺温度TL、TR、TMに基づいて、認識部電源回路7からの電力供給を停止させたりする。ここでの処理の詳細は後述する。
 認識部電源回路7は、制御マイコン6からの指令に応じて、左撮像素子4L、右撮像素子4R、画像処理回路4M、左温度センサ5L、右温度センサ5Rに、電力P1~P5を供給したり、それらの電力供給を一時停止したりする。
 制御部電源回路8は、制御マイコン6と主温度センサ5Mに電力P0を供給する。なお、本実施例では、ステレオカメラ1の起動中には、常に電力P0が供給されている。
 記憶部9は、制御マイコン6で判定した過去のステレオカメラ1の状態と各温度サンサの計測温度などを記憶するEEPROM等である。ここには、後述する、給電抑制開始閾値ThL、ThR、ThM、給電抑制解除閾値ThLC、ThRC、ThMCが予め登録されており、制御マイコン6はこれらの閾値を適宜参照できる。
 車両制御装置10は、ステレオカメラ1から送信された制御情報Icに基づいて、車両の操舵系、駆動系、制動系を制御することで、運転支援や自動運転を実現する制御装置であり、一般的にECU(Electronic Control Unit)と呼ばれるものである。
 次に、本実施例のステレオカメラ1の給電抑制制御例を説明する。
 ステレオカメラ1を起動すると、ステレオカメラ1の内部温度が上昇する。温度上昇の大部分は、左撮像素子4L、右撮像素子4R、画像処理回路4Mでの電力消費によるものである。従って、これらへの電力供給を停止すれば、ステレオカメラ1の温度を下げることができる。以下では、ステレオカメラ1が高温になった時に、認識部電源回路7から各撮像素子等への電力供給を一時停止する制御のことを給電抑制制御と呼ぶ。
 ここで、左撮像素子4Lや右撮像素子4Rが高温下で撮影した画像データDにはノイズが多く含まれるため、この画像データDを画像処理回路4Mで処理した外界情報Ioには異常が発生することが多い。そして、制御マイコン6が、異常な外界情報Ioに基づいて制御情報Icを生成すると、その制御情報Icを受信した車両制御装置10は、正常な制御情報Icを出力できなくなるため、安全な運転支援や自動運転を担保できなくなる。そこで、ステレオカメラ1が高温になった場合には、ステレオカメラ1の機能を一時的に停止させる必要がある。給電抑制が必要な状況は、例えば、高温環境下での動作時や、太陽直射日光が当たっている状態でステレオカメラ1を起動させたとき等である。なお、各温度センサ周辺の発熱部品の配置は一様ではないので、各温度センサの計測温度は、異常や故障がなければ、起動から一定時間を経過した恒常状態時には序列が固定されており、例えば、TL>TR>TMの関係が常時維持されている。
 給電抑制時の電力供給の様子を図3に示す。ここに示すように、給電抑制時には、図2に示した、認識部電源回路7から左撮像素子4Lへの電力P1、画像処理回路4Mへの電力P2、右撮像素子4Rへの電力P3、左温度センサ5Lへの電力P4、右温度センサ5Rへの電力P5の電力供給が停止され、制御部電源回路8から主温度センサ5Mと制御マイコン6への電力P0のみ供給が継続される。そして、給電抑制の結果、各画像素子や画像処理回路4Mでの画像データDや外界情報Ioの生成も中断する。なお、この給電抑制時には、制御マイコン6は、ステレオカメラ1が一時停止中であることを示す制御情報Icを車両制御装置10に送信し、その制御信号ICを受信した車両制御装置10は、運転支援や自動運転の機能が一時停止中であることをドライバーへ報知する。
 図4は、本実施例の給電抑制の制御フローチャートである。ここに示すように、ステップS1では、制御マイコン6は、給電抑制開始の要否を判定するルーチンを実施する。次に、ステップS2では、制御マイコン6は、給電抑制解除の要否を判定するルーチンを実施する。図4の処理は、ステレオカメラ1の起動と同時に開始され、ステレオカメラ1の停止により終了する。以下、各ルーチンの詳細を説明する。
 <給電抑制開始判定>
 図5は、給電抑制開始判定ルーチンの詳細を示す制御フローチャートである。
 ステップS11では、制御マイコン6は、主温度センサ5Mの計測した周辺温度TMが給電抑制開始閾値ThMを超えたかを判定する。そして、超えた場合は、ステップS14に進み、超えない場合は、ステップS12に進む。
 ステップS12では、制御マイコン6は、左温度センサ5Lの計測した周辺温度TLが給電抑制開始閾値ThLを超えたかを判定する。そして、超えた場合は、ステップS14に進み、超えない場合は、ステップS13に進む。
 ステップS13では、制御マイコン6は、右温度センサ5Rの計測した周辺温度TRが給電抑制開始閾値ThRを超えたかを判定する。そして、超えた場合は、ステップS14に進み、超えない場合は、ステップS11に戻る。
 ステップS14では、制御マイコン6は、認識部電源回路7に給電停止指令を出し、給電抑制を開始する。すなわち、周辺温度TM、TL、TRの何れかが各々の給電抑制開始閾値ThM、ThL、ThRを超えた場合、図3のように、認識部電源回路7は、電力P1~P5の供給を停止し、制御部電源回路8は、制御マイコン6と主温度センサ5Mへの電力供給を継続する。これにより、一時的に運転支援や自動運転を実行できなくなるが、左撮像素子4L、画像処理回路4M、右撮像素子4Rでの発熱が無くなるため、外殻等からの放熱によりステレオカメラ1の温度が降下を始める。
 <給電抑制解除判定>
 図6は、給電抑制解除判定ルーチンの詳細を示す制御フローチャートである。
 図3に示したように、給電抑制中であっても主温度センサ5Mは周辺温度TMを計測しているため、ステップS21では、制御マイコン6は、周辺温度TMが給電抑制解除閾値ThMCを下回ったかを判定する。そして、周辺温度TMが給電抑制解除閾値ThMCを下回れば、ステップS22に進み、下回らない場合は、ステップS21に戻る。
 ステップS22では、制御マイコン6は、認識部電源回路7に給電再開指令を出し、認識部電源回路7からの電力P1~P5の供給を再開する。これにより、画像データDや外界情報Ioの生成が再開され、ステレオカメラ1の出力を利用した運転支援や自動運転も再開される。
 <本実施例の効果>
 以上で説明したように、本実施例のステレオカメラでは、ステレオカメラが高温になった場合に、撮像基板への電力供給を一括して停止する一方、画像処理基板上の温度センサには電力供給し温度監視を継続するので、給電配線を簡略化しながら、各部温度に応じた適切なタイミングで給電抑制を開始したり解除したりすることができる。
 次に、図7から図10を用いて、本発明の実施例2に係るステレオカメラ1について説明する。なお、実施例1との共通点は重複説明を省略する。
 実施例1の図6のフローチャートでは、周辺温度TMが給電抑制解除閾値ThMCを下回れば、周辺温度TLや周辺温度TRの変化を考慮せずに給電抑制を解除した。これに対し、本実施例の図9のフローチャートでは、周辺温度TM、TL、TRの全てが各々の給電抑制解除閾値ThMC、ThLC、ThRCを下回った場合にのみ、給電抑制を解除する。従って、実施例1では、周辺温度TL、TRが十分に下降する前に給電抑制が解除される可能性があるが、本実施例では、周辺温度TM、TL、TRの全てが十分に下降してから給電抑制が解除される。以下、両実施例の相違を詳細に説明する。
 <実施例1の電力抑制制御により生じる問題>
 まず、実施例1の電力抑制制御で発生する可能性のある問題を説明する。上記したように、実施例1では、給電抑制中は左撮像素子4L近傍の周辺温度TLや右撮像素子4R近傍の周辺温度TRを計測できないため、給電抑制中でも計測可能な周辺温度TMが給電抑制解除閾値ThMCまで下降した場合に、周辺温度TLや周辺温度TRもある程度下降していると見做して給電抑制を解除するものであった。このため、記憶部9に登録する電抑制解除閾値ThMCを小さく(低温に)するほど、給電抑制の開始から解除までの時間が長くなり、左撮像素子4L、画像処理回路4M、右撮像素子4Rを十分に冷却できた。
 図7は、電抑制解除閾値ThMCを過度に小さくした場合の問題を説明するグラフである。なお、ここでは、各周辺温度は、TL≒TR>TMの関係を維持するものとする。この図において、TAはステレオカメラ1の雰囲気温度、t0はステレオカメラ1の起動時間、t1は周辺温度TL(またはTR)が給電抑制開始閾値ThL(またはThR)まで上昇して電力抑制を開始する時間、t2は周辺温度TMが給電抑制解除閾値ThMCまで下降して電力抑制を解除する時間である。また、HLは給電抑制開始閾値ThLと給電抑制解除閾値ThLCを上限と下限とするヒステリシス領域、HRは給電抑制開始閾値ThRと給電抑制解除閾値ThRCを上限と下限とするヒステリシス領域、HMは給電抑制開始閾値ThMと給電抑制解除閾値ThMCを上限と下限とするヒステリシス領域である。
 図7に示すように、電抑制解除閾値ThMCを必要以上に小さく(低温に)すれば、給電抑制を開始する時間t1から解除する時間t2までの時間が長くなるため、左撮像素子4L、右撮像素子4R、画像処理回路4Mを十分に冷却できる。一方、給電抑制中は画像データDや外界情報Ioを生成できないため、ステレオカメラ1を利用した運転支援や自動運転を実行できない期間も長くなってしまう。従って、運転支援や自動運転の早期再開のためには、給電抑制解除閾値ThMCはできるだけ高く設定することが望ましい。しかしながら、過度に高い電抑制解除閾値ThMCを設定してヒステリシス領域HMを小さくすると、給電抑制開始と給電抑制解除を繰り返す「ハンチング」が発生する場合がある。
 図8を使用して、このハンチングの発生原理について説明する。ハンチング発生環境の一例としては、直射日光が撮像素子に当たっており、撮像素子の周辺温度TL(またはTR)が画像処理回路4Mの周辺温度TMより上昇しやすい状態が挙げられる。この環境下でステレオカメラ1を起動させると、左撮像素子4Lの自己発熱と直射日光の影響で周辺温度TLが急上昇し給電抑制開始閾値ThLを超えた時間t1の時点で給電抑制が開始されるが、この時点では画像処理回路4Mの周囲温度TMはそれほど上昇していないため、給電抑制を開始すると周囲温度TMは早々に給電抑制解除閾値ThMCまで下降し、時間t2の時点で給電抑制が解除され、撮像素子と画像処理回路4Mへの電力供給が再開される。しかしながら、時間t2の時点では、左撮像素子4Lの周辺温度TLは十分に降下していないため、電力供給を再開すると周囲温度TLは早々に給電抑制開始閾値ThLまで再上昇し、時間t3の時点で給電抑制が再度開始される。このようにして、給電抑制開始と給電抑制解除を繰り返す「ハンチング」が発生する。なお、右撮像素子4Rでも同様の理由でハンチングが発生する。
 <実施例2の給電抑制解除判定>
 そこで、ハンチングを防ぐために、本実施例のステレオカメラ1では、図9のフローチャートに示すように、給電抑制中には、主温度センサ5Mで計測した周辺温度TMに基づいて周辺温度TL、TRを推定し、計測した周辺温度TM、推定した周辺温度TL、TRの各々が、各々の給電抑制解除閾値ThMC、ThLC、ThRCを下回った場合に、給電抑制を解除することとした。以下、各処理を詳細に説明する。
 まず、ステップS2aでは、制御マイコン6は、給電抑制を開始する時間t1の主温度センサ5Mの周辺温度TMを記憶する。また、このステップでは、時間t1の周辺温度TL、TRも記憶しておく。なお、図5から明らかなように、時間t1とは、周辺温度TMが給電抑制開始閾値ThMを超えた時間、周辺温度TLが給電抑制開始閾値ThLを超えた時間、周辺温度TRが給電抑制開始閾値ThRを超えた時間、のうち最も早い時間である。
 ステップS2bでは、制御マイコン6は、時間t1の周辺温度TMと現在の周辺温度TMの差分情報を使い、周辺温度TL(またはTR)を推定する。例えば、ステレオカメラ1の放熱構造により、給電抑制中に、周辺温度TRが周辺温度TMの2倍の速度で下降し、周辺温度TLが周辺温度TMの1.5倍の速度で下降することが、実験的に分かっていれば、その関係を記憶部9に登録しておく。これにより、制御マイコン6は、周辺温度TMの下降温度を2倍することで周辺温度TRの現時点の下降温度を推定でき、周辺温度TMの下降温度を1.5倍することで周辺温度TLの現時点の下降温度を推定できる。そして、制御マイコン6は、ステップS2aで記憶した時間t1の周辺温度TL、TRから、推定した下降温度を減算することで、現時点の周辺温度TL、TRを推定することができる。
 ステップS2cでは、制御マイコン6は、主温度センサ5Mで計測した周辺温度TMが、給電抑制解除閾値ThMCを下回ったかを判定する。そして、下回った場合はステップS2dに進み、下回らない場合はステップS2bに戻る。
 ステップS2dでは、制御マイコン6は、ステップS2bで推定した周辺温度TLが、給電抑制解除閾値ThLCを下回ったかを判定する。そして、下回った場合はステップS2eに進み、下回らない場合はステップS2bに戻る。
 ステップS2eでは、制御マイコン6は、ステップS2bで推定した周辺温度TRが、給電抑制解除閾値ThRCを下回ったかを判定する。そして、下回った場合はステップS2fに進み、下回らない場合はステップS2bに戻る。
 ステップS2fでは、制御マイコン6は、認識部電源回路7に給電再開指令を出し、認識部電源回路7からの電力P1~P5の供給を再開する。これにより、周辺温度TLや周辺温度TRを直接計測できない給電抑制中であっても、左撮像素子4Lや右撮像素子4Rが十分に冷却されたタイミングで給電抑制を解除することができる。
 図10は、図7と同等の環境下で、本実施例の給電抑制解除判定を実行した場合のグラフである。両図の比較から明らかなように、本実施例に係る図10では、実施例1に係る図7に比べ、給電抑制解除閾値ThMC、ThLC、ThRCを高め、ヒステリシス領域HM、HL、HRを狭くしている。この結果、図10では、図7に比べ、画像データDや外界情報Ioを生成できない、時間t1から時間t2の期間を短縮化できるが、図8のようなハンチングは発生しない。
 以上で説明したように、本実施例では、給電抑制中には、計測可能な周辺温度に基づいて、計測不可能な周辺温度を推測し、計測した周辺温度と推測した周辺温度を利用して、給電抑制を解除するか判定する。従って、全ての温度センサに電力供給を継続する構成と同等のタイミングでの給電抑制解除を、より簡略した構成で実現することができる。
1…ステレオカメラ、2L…左撮像基板、2R…右撮像基板、2M…画像処理基板、3L…左FPC、3R…右FPC、4L…左撮像素子、4R…右撮像素子、4M…画像処理回路、5L…左温度センサ、5R…右温度センサ、5M…主温度センサ、6…制御マイコン、7…認識部電源回路、8…制御部電源回路、9…記憶部、10…車両制御装置、P0~P5…電力、TA…雰囲気温度、TL、TR、TM…周辺温度、ThL、ThR、ThM…給電抑制開始閾値、ThLC、ThRC、ThMC…給電抑制解除閾値、HL、HR、HM…ヒステリシス領域、

Claims (6)

  1.  第一温度センサを搭載した第一基板と、
     撮像素子と第二温度センサを搭載した第二基板と、
     前記第一基板と前記第二基板を接続するFPCと、
     前記第一温度センサ、前記撮像素子、および、前記第二温度センサへ電力を供給する電源制御部と、
     を備えたカメラ装置であって、
     前記電源制御部は、前記第一温度センサまたは前記第二温度センサが計測した温度が所定の給電抑制開始閾値を超えた場合、前記第一温度センサへの電力供給を継続しつつ、前記撮像素子と前記第二温度センサへの電力供給を停止することを特徴とするカメラ装置。
  2.  請求項1に記載のカメラ装置において、
     前記第二温度センサへの電力供給を停止中の前記電源制御部は、前記第一温度センサが計測した温度が所定の給電抑制解除閾値を下回った場合、前記撮像素子と前記第二温度センサへの電力供給を再開することを特徴とするカメラ装置。
  3.  請求項1に記載のカメラ装置において、
     前記第二温度センサへの電力供給を停止中の前記電源制御部は、前記第一温度センサまたは前記第二温度センサが計測した温度が前記給電抑制開始閾値になったときに前記第一温度センサが計測した温度と、前記第一温度センサが現在計測した温度の温度差に基づき、前記撮像素子と前記第二温度センサへの電力供給を再開することを特徴とするカメラ装置。
  4.  請求項3に記載のカメラ装置において、
     前記第二温度センサへの電力供給を停止中の前記電源制御部は、前記温度差に基づき、前記第二温度センサが現在計測する温度を推定し、推定した温度が所定の給電抑制解除閾値を下回った場合、前記撮像素子と前記第二温度センサへの電力供給を再開することを特徴とするカメラ装置。
  5.  請求項4に記載のカメラ装置において、
     前記第二温度センサへの電力供給を停止中の前記電源制御部は、給電抑制開始直前に前記第二温度センサが計測した温度から、前記温度差に所定の係数を乗算した値を減算することで、前記第二温度センサが現在計測する温度を推定することを特徴とするカメラ装置。
  6.  第一温度センサを搭載した第一基板と、撮像素子と第二温度センサを搭載した第二基板と、前記第一基板と前記第二基板を接続するFPCと、前記第一温度センサ、前記撮像素子、および、前記第二温度センサへ電力を供給する電源制御部と、を備えたカメラ装置におけるカメラ制御方法であって、
     前記第一温度センサまたは前記第二温度センサが計測した温度が所定の給電抑制開始閾値を超えた場合、前記第一温度センサへの電力供給を継続しつつ、前記撮像素子と前記第二温度センサへの電力供給を停止することを特徴とするカメラ制御方法。
PCT/JP2021/033457 2021-01-08 2021-09-13 カメラ装置、および、カメラ制御方法 Ceased WO2022149308A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022573910A JP7598389B2 (ja) 2021-01-08 2021-09-13 カメラ装置、および、カメラ制御方法
DE112021005584.4T DE112021005584T5 (de) 2021-01-08 2021-09-13 Kameravorrichtung und kamerasteuerverfahren

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021002161 2021-01-08
JP2021-002161 2021-01-08

Publications (1)

Publication Number Publication Date
WO2022149308A1 true WO2022149308A1 (ja) 2022-07-14

Family

ID=82357857

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/033457 Ceased WO2022149308A1 (ja) 2021-01-08 2021-09-13 カメラ装置、および、カメラ制御方法

Country Status (3)

Country Link
JP (1) JP7598389B2 (ja)
DE (1) DE112021005584T5 (ja)
WO (1) WO2022149308A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024068496A (ja) * 2022-11-08 2024-05-20 トヨタ自動車株式会社 車両及び自動運転装置の性能評価方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001088609A (ja) * 1999-09-22 2001-04-03 Fuji Heavy Ind Ltd 車載カメラの電源制御方法ならびに装置
JP2011244515A (ja) * 2010-05-14 2011-12-01 Buffalo Inc 無線通信装置
JP2013187782A (ja) * 2012-03-08 2013-09-19 Hitachi Automotive Systems Ltd 車載カメラ装置
JP2017073898A (ja) * 2015-10-07 2017-04-13 株式会社デンソー 電動機制御装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001088609A (ja) * 1999-09-22 2001-04-03 Fuji Heavy Ind Ltd 車載カメラの電源制御方法ならびに装置
JP2011244515A (ja) * 2010-05-14 2011-12-01 Buffalo Inc 無線通信装置
JP2013187782A (ja) * 2012-03-08 2013-09-19 Hitachi Automotive Systems Ltd 車載カメラ装置
JP2017073898A (ja) * 2015-10-07 2017-04-13 株式会社デンソー 電動機制御装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024068496A (ja) * 2022-11-08 2024-05-20 トヨタ自動車株式会社 車両及び自動運転装置の性能評価方法
US12606182B2 (en) 2022-11-08 2026-04-21 Toyota Jidosha Kabushiki Kaisha Vehicle and method of evaluating performance of autonomous driving device

Also Published As

Publication number Publication date
DE112021005584T5 (de) 2023-08-24
JP7598389B2 (ja) 2024-12-11
JPWO2022149308A1 (ja) 2022-07-14

Similar Documents

Publication Publication Date Title
CN104271400B (zh) 车载相机控制装置
US7860636B2 (en) Eco-run control device and engine restart method
JP4437915B2 (ja) 運転状況記録装置
US9566920B2 (en) Circuit arrangement comprising a monitoring device
US20190253603A1 (en) Image-capture device state monitoring device, image-capture device state monitoring method, and program
EP3992458B1 (en) Pressure protection circuit, control method, and computer-readable storage medium
JP2015154179A (ja) 画像処理装置、撮像装置、画像処理プログラム、画像処理方法
JP2001088609A (ja) 車載カメラの電源制御方法ならびに装置
JP7598389B2 (ja) カメラ装置、および、カメラ制御方法
US20200231021A1 (en) Moving body control apparatus
US20180302539A1 (en) Control apparatus, interchangeable lens, camera system, and control method for control apparatus
JP2022123552A (ja) データ処理システム、方法
RU2764472C1 (ru) Управляющая система транспортного средства, способ управления транспортным средством, контроллер и носитель, предназначенный для долговременного хранения информации
US20200231018A1 (en) Moving body control apparatus
JP7626008B2 (ja) 車載カメラ
CN112616210B (zh) 窗玻璃加热装置
JP4094827B2 (ja) 駆動制御装置
JP7447840B2 (ja) 電源制御装置
WO2011108662A1 (ja) シートベルト制御装置、シートベルトリトラクタ、シートベルト装置、シートベルト制御方法及びプログラム
JP4537904B2 (ja) モータ制御方法
JP5652323B2 (ja) 車両用撮像装置
JP2009059898A (ja) 電気機器
US11714410B2 (en) Vehicle driving system
JP7360549B2 (ja) ステレオカメラ
JP2016068451A (ja) 冷却ファン制御装置、印刷装置及び冷却ファン制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21917533

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022573910

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 21917533

Country of ref document: EP

Kind code of ref document: A1