JP6632750B1 - 画像表示装置 - Google Patents

画像表示装置 Download PDF

Info

Publication number
JP6632750B1
JP6632750B1 JP2019044124A JP2019044124A JP6632750B1 JP 6632750 B1 JP6632750 B1 JP 6632750B1 JP 2019044124 A JP2019044124 A JP 2019044124A JP 2019044124 A JP2019044124 A JP 2019044124A JP 6632750 B1 JP6632750 B1 JP 6632750B1
Authority
JP
Japan
Prior art keywords
color temperature
unit
captured image
incident light
white balance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019044124A
Other languages
English (en)
Other versions
JP2020150323A (ja
Inventor
季史 瀧田
季史 瀧田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Marelli Corp
Original Assignee
Marelli Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Marelli Corp filed Critical Marelli Corp
Priority to JP2019044124A priority Critical patent/JP6632750B1/ja
Priority to US17/434,461 priority patent/US11790823B2/en
Priority to PCT/JP2019/048069 priority patent/WO2020183821A1/ja
Application granted granted Critical
Publication of JP6632750B1 publication Critical patent/JP6632750B1/ja
Publication of JP2020150323A publication Critical patent/JP2020150323A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2003Display of colours
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/099Arrangement of photoelectric elements in or on the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/73Colour balance circuits, e.g. white balance circuits or colour temperature control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12Mirror assemblies combined with other articles, e.g. clocks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0666Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/14Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/141Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light conveying information used for selecting or modulating the light emitting or modulating element
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/14Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/10Automotive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Processing Of Color Television Signals (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】ドライバーの車両前方の視界の見え方に近い画像を表示させる。【解決手段】画像表示装置1は、車両の周囲の画像を撮影するカメラ11、12と、カメラ11、12の撮影画像の色温度Tcを検出する検出部61と、車両の周囲の入射光ILの色温度Tsを検出するカラーセンサ30と、撮影画像のホワイトバランスの調整を行うWB調整部62と、WB調整部62によって調整された撮影画像を表示するディスプレイ21、22と、を備える。WB調整部62は、検出部61が検出した色温度Tcと、カラーセンサ30が検出した色温度Tsの差分ΔTの大きさに応じて、色温度Tcに基づいた第1の方式と、色温度Tsに基づいた第2の方式とを切り替える。【選択図】図3

Description

本発明は、画像表示装置に関する。
運転者が車両を運転する際に、車両の後方または/および側方を明確に視認できるように、車両はアウトサイドミラーを備えているが、このアウトサイドミラーに代えて、またはアウトサイドミラーと併用して、画像表示装置を用いることが提案されている。画像表示装置は、車両の周囲をカメラで撮影し、撮影した画像を車内に設置したディスプレイで表示させる。
カメラによって撮像される被写体や風景は、全て反射光である。つまり、太陽光や夜間・トンネル等の照明灯によって照射される入射光の色温度によって、反射光の色温度も変化する。太陽光はその時刻や季節、天候によって刻々と変化し、また照明灯はLEDやナトリウムランプなど光源の種類によってその色温度が異なる。そのような場合においてもカメラが撮像する映像の色味を雰囲気の色温度に合わせる必要がある。そこで、撮影画像において白色と推定される領域を白に近づけるように、撮影画像から検出した色温度を補正するオートホワイトバランス処理が行われる(例えば、特許文献1参照)。
特開2010−283718号公報
しかしながら、朝や夕方等の陽が浅い時間帯や、夕立後に路面に水溜りができている状況等において、カメラには被写体からの強い反射光が映り込むことがある。撮影画像に意図しない反射光が高い面積比率で映り込むと撮影画像から検出される面積の平均色温度が下がるため、その状態でオートホワイトバランス処理を行うと、補正後の撮影画像全体が青みがかって見えることがある。これによって、ドライバーの車両前方の視界と、ディスプレイが表示する撮影画像の見え方が異なるものとなり、ドライバーに違和感を与える可能性がある。
画像表示装置において、反射光の強さに関わらず、ディスプレイの表示する撮影画像の見え方をドライバーの視界に近づけ、ドライバーが撮影画像に覚える違和感を低減させることが求められている。
本発明に係る画像表示装置は、
車両の後方の画像を撮影する撮像部と、
前記撮像部の撮影画像の色温度を検出する色温度検出部と、
前記車両の前方に設置され、前記車両の前方の入射光の色温度を検出する色温度センサと、
前記撮影画像のホワイトバランスの調整を行うホワイトバランス調整部と、
前記ホワイトバランス調整部によって調整された前記撮影画像を表示する表示部と、を備え、
前記ホワイトバランス調整部は、前記色温度検出部が検出した前記撮影画像の色温度と、前記色温度センサが検出した前記入射光の色温度の差分が閾値以上の場合に、前記撮影画像の色温度に基づいた第1のホワイトバランス調整から、前記入射光の色温度に基づいた第2のホワイトバランス調整切り替える。
本発明によれば、画像表示装置は、ディスプレイの表示する撮影画像の見え方を、ドライバーの視界に近づけ、ドライバーが撮影画像に覚える違和感を低減させることができる。
実施の形態に係る画像表示装置を設置した車両を示す図である。 画像表示装置の構成を示すブロック図である。 ISP制御部の処理を示すフローチャートである。 光源からの入射光と被写体からの反射光を示す図である。 色温度を示すグラフである。 ドライバーの視界とディスプレイに表示される画像の比較例を示す図である。 変形例1に係る画像表示装置のISP制御部の処理を示すフローチャートである。
以下、本発明の実施の形態に係る画像表示装置を、図面を参照して説明する。
図1は、実施の形態に係る画像表示装置を設置した車両を示す図である。
図2は、画像表示装置の構成を示すブロック図である。
図1に示すように、画像表示装置1は、カメラ11、12、ディスプレイ21、22、カラーセンサ30および制御装置40を備える。
図2に示すように、制御装置40は、画像表示装置の全体的な制御を行うECU50(Electronic Control Unit)と、画像処理を主に行うISP60(Image Signal Processor)とを備える。
図1に示すように、カメラ11、12は、それぞれ車両100の左方および右方のフロントドアに、レンズを車両100の後方に向けて設置される。
カメラ11、12は、不図示のレンズ、モータ、CMOSセンサ、カラーフィルタ等から構成される撮像素子と、撮像素子を制御するCPU(Central Processing Unit)、撮影画像および各種設定を記憶するメモリ等から構成される。
図1に、カメラ11、12それぞれの撮影範囲を点線で示しているが、カメラ11は、車両100の左側方および後方を撮影する。カメラ12は、車両100の右側方および後方を撮影する。カメラ11、12は固定式であり、一定の撮影範囲を撮影する。カメラ11、12は、車両100の走行中は常時撮影を行う。
ディスプレイ21、22は、例えば、車両100の内部のダッシュボードやフロントピラーに設置する。ディスプレイ21はカメラ11が撮影した画像を表示し、ディスプレイ22はカメラ12が撮影した画像を表示する。図1では、ディスプレイ21、22を並べて配置しているが、ディスプレイ21、22をそれぞれ左右のフロントピラーに配置しても良い。
車両100のドライバーは、アウトサイドミラーと併用して、またはアウトサイドミラーに代えて、進路変更等の際に、ディスプレイ21、22が表示する撮影画像を見ることで、車両100の側方および後方の確認を行う。
カラーセンサ30は、車両100の前方に設置され、光源から入射する光(以降、「入射光」という)の色を示す色温度Tsと、入射光の明るさを示す照度Isを検出する。カラーセンサ30は、例えば、図示のようにフロントガラスの車内側の面の上方に取り付けることができるが、車両100の前方の入射光を検出できる位置であれば良く、設置箇所は限定されない。カラーセンサ30は所定のサンプリング周期で色温度Tsおよび照度Isを検出してデータをECU50に出力する。
図2に示すように、ISP60は、カメラ11、12およびECU50と車載LANによって接続され、それぞれとデータの授受を行う。ISP60には、カメラ11、12の撮影画像が順次入力される。ISP60は、撮影画像の画像処理を行ってECU50に出力すると共に、撮影画像の検出結果に基づいてカメラ11、12の撮影の制御を行う。
ISP60が行う処理は様々な種類があるが、実施の形態では、撮影画像のホワイトバランスの調整処理と、カメラ11、12の露出制御について説明する。
ISP60は、検出部61、ホワイトバランス調整部62(以降、「WB調整部62」という。)および露出制御部63を備える。これらの機能構成は、ISP60のメモリに格納されたプログラムを実行することによって実現される。
検出部61は、所定のサンプリング周期で、カメラ11、12の撮影画像を取得してその色温度Tcおよび照度Icを検出し、ECU50に出力する。検出部61は、例えば、撮影画像を構成する各画素の色温度および照度の平均値を、撮影画像全体の色温度Tcおよび照度Icとして検出することができる。検出部61は、カメラ11およびカメラ12の撮影画像の双方から色温度Tcおよび照度Icを検出して、その平均値を算出しても良いが、いずれか一方の撮影画像のみから色温度Tcおよび照度Icを検出しても良い。
カメラ11、12の撮影画像は、光源からの入射光を被写体が反射した反射光を映すものである。したがって、前記したカラーセンサ30が入射光の色温度Tsおよび照度Isを検出するものであるのに対して、検出部61は反射光の色を示す色温度Tcと、明るさを示す照度Icを検出する。すなわち、ECU50には、入射光と反射光の双方の色温度と照度のデータが、所定のサンプリング周期で入力される。
WB調整部62は、カメラ11、12のそれぞれの撮影画像のホワイトバランスを調整する画像処理を行う。
露出制御部63は、カメラ11、12の撮影画像の明るさを調整するために、カメラ11、12の露出時間を制御する露出制御信号を生成する。
実施の形態において、WB調整部62および露出制御部63は、反射光を基準とする第1の方式と、入射光を基準とする第2の方式との間で切り替えて処理を行う。第1の方式と第2の方式の切り替えは、後述するECU50からの切替指令にしたがって行われる。
WB調整部62は、ホワイトバランスの調整として、撮影画像の白色と推定される領域を白に近づけるように、撮影画像全体の色温度を補正する、いわゆるオートホワイトバランス処理(以降、「AWB処理」という)を行う。
AWB処理は公知の手法を用いることができるが、WB調整部62は、第1の方式において、検出部61が検出した反射光の色温度Tcを補正対象とし、第2の方式においては、カラーセンサ30が検出した入射光の色温度Tsを補正対象とする。色温度Tcおよび色温度Tsのデータは、ECU50からの切替指令に含まれており、WB調整部62はそのデータを取得して処理を行う。
露出制御部63は、撮影画像全体の平均反射率が18%となる適切露出が得られるように、撮影画像の明るさを示す露出値(以降、「EV値」という)を補正し、補正後のEV値に基づいてカメラ11、12の露出を制御する、いわゆる自動露出制御(以降「AE制御」という)を行う。
AE制御は公知の手法を用いることができるが、露出制御部63は、第1の方式において、検出部61が検出した反射光の照度Icに基づくEV値Vcを用い、第2の方式においては、カラーセンサ30が測定した入射光の照度Is基づくEV値Vsを用いる。
EV値VcおよびEV値Vsのデータは、ECU50からの切替指令に含まれる。
露出制御部63は、EV値VcまたはEV値Vsの、適正露出の範囲からズレを算出し、そのズレが閾値(例えば、2)以上であれば、EV値VcまたはEV値Vsを適正露出とするためにカメラ11、12を制御する制御信号を生成する。
適正露出の範囲は、撮影画像に露出オーバー(白飛び)や露出アンダー(黒潰れ)が無く、撮影画像全体の平均反射率が18%に近い状態となる中間領域を意味し、適正露出の範囲は時間や天候といった撮影条件に応じて変動する。ISP60のメモリには、撮影条件に応じて予め決定された適正露出の範囲が記憶されている。
カメラ11、12の露出は、露出時間とゲインの組み合わせにより決定される。ISP60のメモリには、各EV値に対応する露出時間とゲインの組み合わせを記載したテーブルが記憶されている。露出制御部63は、補正後のEV値に対応する露出時間とゲインの組み合わせを取得し、これらデータを含む制御信号を生成してカメラ11、12に出力する。カメラ11、12のCPUは、入力された制御信号にしたがって撮像素子を制御することで、カメラ11、12の露出を調整する。
制御信号を受信したカメラ11、12において、制御信号にしたがって露出時間とゲインの設定を変更することで、カメラ11、12の露出が適正露出となるように制御される。
ECU50は、例えば、不図示のCPU、RAM(Random Access Memory)およびROM(Read Only Memory)等のメモリ、入出力インターフェース、ならびにコンピューター間通信部等で構成される。
図2に示すように、ECU50は、通信部51、表示画像出力部52およびISP制御部53を備える。ECU50のCPUがメモリに記憶させた各種アプリケーションを実行することによって、これらの機能構成を実現する。メモリには、ECU50の処理に必要な各種の情報が格納されると共に、各部の処理結果が一時的に記憶される。
通信部51は、ISP60、カラーセンサ30およびディスプレイ21、22と車載LANによって接続し、それぞれとデータの授受を行う。前記したように、カラーセンサ30からは入射光の色温度Tsおよび照度Isのデータが、ISP60の検出部61からは反射光の色温度Tcおよび照度Icのデータが、所定のサンプリング周期で入力されるが、これらのデータはECU50のメモリに記憶される。
表示画像出力部52は、ISP60から入力されたカメラ11、12の撮影画像を表示画像としてディスプレイ21、22に出力して表示させる。表示画像出力部52は、カメラ11の撮影画像をディスプレイ21の表示画像として、カメラ12の撮影画像をディスプレイ22の表示画像として、それぞれ出力する。
詳細な説明は省略するが、表示画像出力部52は、撮影画像をディスプレイ21、22に表示させるために必要な処理を行うようにしても良い。表示画像出力部52は、例えば、撮影画像をディスプレイ21、22のサイズに合わせるトリミング処理や、撮影画像をアウトサイドミラーと同じ見え方にするために反転処理等を行っても良い。また、撮影画像上に運転支援情報を重畳させる合成処理を行うようにしても良い。
ISP制御部53は、ISP60のWB調整部62および露出制御部63で行われる処理の方式を制御する。前記したように、WB調整部62および露出制御部63の処理は、反射光を基準とする第1の方式と入射光を基準とする第2の方式のいずれで行われる。ISP制御部53は、カラーセンサ30およびISP60の検出部61から入力される入射光および反射光のデータを比較することで、第1の方式および第2の方式の切り替えを決定する。
ISP制御部53は、第1および第2の方式の切り替えを判定するために、EV値決定部531、差分算出部532および比較部533を備える。
図3は、ISP制御部53の処理を示すフローチャートである。
ECU50のメモリには、ISP60の処理の方式を示すフラグが記憶されている。フラグは、例えば第1の方式であれば「0」とし、第2の方式であれば「1」とすることができる。
図3に示すように、EV値決定部531は、メモリを参照して、ISP60が入力した反射光の照度Icとカラーセンサ30が入力した入射光の照度Isとを取得し、それぞれに対応するEV値Vc、Vsを決定する(ステップS01)。
それぞれ明るさを示す指標である照度とEV値は相関関係があり、ECU50のメモリには照度とEV値の対応を示すテーブルが記憶されている。EV値決定部531はこのテーブルを参照して反射光のEV値Vcと入射光のEV値Vsを決定する。EV値決定部531は、決定したEV値Vc、Vsをメモリに一時的に記憶させる。
差分算出部532は、メモリを参照して、反射光の色温度Tcと入射光の色温度Tsの差分ΔTと、反射光のEV値Vcおよび入射光のEV値Vsの差分ΔVをそれぞれ算出する(ステップS02)。差分算出部532は、ΔTおよびΔVを絶対値として算出する。
比較部533は、差分算出部532が算出した色温度の差分ΔTと、EV値の差分ΔVをそれぞれ閾値THt、THvと比較して(ステップS03)、第1の方式と第2の方式の切り替えを判定する。
閾値THt、THvは、色温度の差分ΔTとEV値の差分ΔVの大きさがISP60の処理の方式の切り替える大きさであることを示す値であり、言い換えれば、反射光と入射光の乖離の大きさがドライバーが違和感を覚える可能性があることを示す値である。
色温度の差分の閾値THtは、例えば1000K程度とすることができ、EV値の差分の閾値THvは、例えば2とすることができる。
ISP60の処理は、反射光と入射光の乖離が大きくなければ、反射光に基づいた第1の方式で行われる。しかしながら、以下に説明するように、環境条件によって反射光と入射光の乖離が大きくなることがある。その場合に第1の方式で処理を行うと、ドライバーの視界とディスプレイ21、22に表示される表示画像の見え方が異なるものとなり、ドライバーに違和感を与える可能性がある。そのため、実施の形態では、反射光と入射光の乖離が大きくなった場合には、第1の方式から第2の方式へ切り替える。
図4は、光源からの入射光と被写体からの反射光を示す図である。
図5は、色温度を示すグラフである。
図6は、ドライバーの視界とディスプレイに表示される画像の比較例を示す図である。図6は、簡略化のためディスプレイ21のみを図示している。
図4に示すように、通常、車両100と光源Sとの距離は車両100の前方および後方において変わらない。すなわち、ドライバーが見ている車両100の前方と、カメラ11が撮影する後方において、入射光ILの色温度や明るさに大きな違いはなく、ドライバーも、車両100の前方と後方で見え方が同じになると、感覚的に把握している。
一方、前記したように、カメラ11の撮影画像に映し出されるのは被写体からの反射光RLである。例えば、夕立後で路面に水溜りWができている状況では、入射光ILが水溜りWに反射され、強い反射光RLがカメラ11の撮影画像に映り込むことがある。撮影画像において、この強い反射光RLの部分は赤みを帯びた白となる。
図5に示すように、色温度は中央部分が白色の領域であり、色温度が高くなると寒色系の色となり、低くなると暖色系の色となる。WB調整部62が行うAWB処理は、撮影画像全体の色温度を中央部分に近づける処理である。
撮影画像において、赤みを帯びた部分の面積比率が高くなれば、ISP60の検出部61が検出する撮影画像全体の色温度Tcは低くなる。この低い色温度Tcを基準としてAWB処理を行うと、撮影画像全体の色温度Tcを上げるように補正が行われる。これによって、図6ではハッチングにより示しているが、AWB処理後のディスプレイ21に表示される画像は、ドライバーの視界よりも青みがかって見えることになる。
また、強い反射光RLが映り込むことによって、ISP60の検出部61が検出する撮影画像の照度Icが高くなる。結果として、例えば夕方等の、実際はEV値が低くなる時間帯にもかかわらず、照度Icに対応するEV値Vcが高くなり、適正露出の範囲とずれやすくなる。このEV値Vcを基準としてAE制御を行うと、撮影画像が暗くなるようにカメラ11、12の露出が変更され、ディスプレイ21に表示される画像はドライバーの視界よりも暗くなる可能性がある。
このように、強い反射光RLが映り込んだ撮影画像から検出した色温度Tcおよび照度Icに基づいた第1の方式でAWB処理およびAE制御と、ドライバーの視界と見え方が異なる画像がディスプレイ21に表示される可能性がある。このような現象は、夕立後の他にも、朝や夕方等の、陽が浅く路面や車体に反射しやすい時間帯に起こる可能性がある。
さらに、図4に示す夕立後の状況では、車両100の走行によって撮影画像に水溜りWが映ったり映らなかったりするため、撮影画像から検出される色温度Tcと照度Icが変動しやすい。そのような場合には、ディスプレイ21に表示される画像の色温度や明るさがめまぐるしく変わり、ドライバーに与える違和感が大きくなる可能性がある。
一方、カラーセンサ30は車両100の前方のフロントガラスの上部に設置され、光源Sからの入射光ILを検出するものである。そのため、図4に示す水溜りWからの反射光RLの影響を受けない色温度Tsおよび照度Icを検出することができる。この入射光ILの色温度Tsおよび照度Icに基づいた第2の方式でAWB処理およびAI制御を行えば、ドライバーの視界に近い画像をディスプレイ21に表示できる。
そこで、実施の形態では、比較部533が反射光RLと入射光ILを比較し、その乖離が大きくなった場合には、第1の方式から第2の方式に切り替えることで、ドライバーの視界に近づけた画像をディスプレイ21、22に表示させる。また、反射光RLと入射光ILの乖離が小さくなった場合には、再び第2の方式から第1の方式に切り替える。
図3に戻り、前記したように、比較部533は、反射光RLと入射光ILの色温度の差分ΔTと、EV値の差分ΔVをそれぞれ閾値THt、THvと比較する(ステップS03)
比較部533は、フラグが第1の方式を示す「0」の場合(ステップS04:Yes)、色温度の差分ΔTとEV値の差分ΔVのいずれか一方または両方が閾値THt、THv以上になれば(ステップS05:Yes)、第2の方式への切り替えを判定する(ステップS06。比較部533は、第2の方式への切替指令を生成してISP60に出力し、フラグを「0」から第2の方式を示す「1」に書き替える(ステップS07)。
比較部533は、第2の方式への切替指令を生成する際に、メモリに記憶されているカラーセンサ30が測定した色温度Tsと、EV値決定部531が決定したEV値Vsのデータを指令に含ませる。切替指令の出力後は、ステップS01に戻る。
比較部533は、ステップS05において色温度の差分ΔTとEV値の差分ΔVの双方が閾値THt、THv未満である場合(ステップS05:No)、方式の切り替えは必要ないため、切替指令は生成せずにステップS01に戻る。
比較部533は、第2の方式へ切り替えた後に、色温度の差分ΔTとEV値の差分ΔVの双方が閾値THt、THv未満になった場合(ステップS04:No、ステップS08:Yes)、第1の方式への切り替えを判定する(ステップ09)。比較部533は、第1の方式への切替指令を生成してISP60に出力し、フラグを「1」から「0」に書き替える(ステップS10)。
比較部533は、第1の方式への切替指令を生成する際に、メモリに記憶されているISP60の検出部61が検出した色温度Tcと、EV値決定部531が決定したEV値Vcのデータを指令に含ませる。切替指令の出力後は、ステップS01に戻る。
比較部533は、ステップS07において色温度の差分ΔTとEV値の差分ΔVのいずれか一方または両方が閾値THt、THv以上の状態が維持されていれば(ステップS08:No)、第2の方式を維持するため切替指令は生成せずにステップS01に戻る。
以上のように、車両100の走行中は、所定のサンプリング周期ごとに、ECU50の比較部533において入射光ILと反射光RLの乖離の大きさが判定され、乖離が大きければISP60の処理を第1の方式から第2の方式へ切り替え、乖離が小さくなれば再び第2の方式から第1の方式に戻すように処理が行われる。
前記したように、ISP60のWB調整部62および露出制御部63は、ECU50から切替指令が入力されると、切替指令が示す第1の方式または第2の方式に処理を切り替える。その際に、WB調整部62および露出制御部63は、切替指令に含まれる色温度TcとEV値Vcまたは色温度TsまたはEV値Vsのデータを取得してそれぞれの処理に用いる。
なお、図4では、入射光ILと反射光RLの乖離が大きくなる状況として、強い反射光RLが撮影画像に映り込む状況を説明したが、例えば、トンネルの出口等では、反射光RLより入射光ILが強くなる状況もある。差分算出部532は、反射光RLと入射光ILの色温度の差分ΔTおよびEV値の差分ΔVを絶対値として算出するので、このような場合も反射光RLと入射光ILの乖離が大きければ第1の方式から第2の方式への切り替えが行われる。これによって、ドライバーの視界に近い画像の表示が可能となる。
以上の通り、実施の形態に係る画像表示装置1は、
(1)車両100の周囲の画像を撮影するカメラ11、12(撮像部)と、
カメラ11、12の撮影画像の色温度Tcを検出する検出部61(色温度検出部)と、
車両100の周囲の入射光ILの色温度Tsを検出するカラーセンサ30(色温度センサ)と、
撮影画像のホワイトバランスの調整を行うWB調整部62(ホワイトバランス調整部)と、
WB調整部62によって調整された撮影画像を表示するディスプレイ21、22(表示部)と、を備え、
WB調整部62は、検出部61が検出した色温度Tc(第1の色温度)と、カラーセンサ30が検出した色温度Ts(第2の色温度)の差分ΔTの大きさに応じて、色温度Tcに基づいた第1の方式(第1のホワイトバランス調整)と、色温度Tsに基づいた第2の方式(第2のホワイトバランス調整)とを切り替える。
撮影画像のAWB処理は、通常、反射光RLを映す撮影画像から検出した色温度Tcに基づいて行う、反射光制御が行われている。しかしながら、朝や夕方等の陽が浅い時間帯や、夕立後に路面に水溜りができている状況では、車両100の後方を撮影するカメラ11、12に被写体からの強い反射光RLが映り込むことがある。強い反射光RLによって撮影画像から検出する色温度Tcが下がる傾向があり、これによってAWB処理後の撮影画像がドライバーの視界と見え方が異なり、ドライバーに違和感を与える可能性がある。実施の形態では、車両100の周囲の入射光ILの色温度Tsを検出するカラーセンサ30を設けた。反射光RLの色温度Tcと入射光ILの色温度Tsの差分に応じて、第1の方式(反射光制御)と第2の方式(入射光制御)に切り替えてAWB処理を行う。これによって、反射光RLの強さに関わらず、ドライバーの車両100の前方の視界の見え方に近い、違和感を低減した撮影画像をディスプレイ21、22に表示させることができる。
(2)画像表示装置1は、
撮影画像の照度Ic(明るさ)を検出する検出部61(照度検出部)と、
車両100の周囲の入射光ILの照度Is(明るさ)を検出するカラーセンサ30(照度センサ)と、
撮影部の露出を制御する露出制御部63と、を備え、
露出制御部63は、撮影画像のEV値Vc(明るさ)と入射光ILのEV値Vs(明るさ)の差分ΔVの大きさに応じて、撮影画像のEV値Vcに基づいた第1の方式(第1の露出制御)と、入射光ILのEV値Vsに基づいた第2の方式(第2の露出制御)とを切り替える。
撮影画像に強い反射光RLが映り込んだとき、撮影画像から検出される照度Icにも影響を与えるため、照度Icから決定したEV値Vcに基づいて露出調整を行うと、撮影画像とドライバーの視界の見え方が異なるものとなり、ドライバーに違和感を与える可能性がある。実施の形態では、反射光RLから決定したEV値Vcと入射光ILから決定したEV値Vsの差分ΔVに応じて、第1の方式(反射光制御)と第2の方式(入射光制御)に切り替える。これによって、AE制御後の撮影画像の見え方を、ドライバーの視界に近づけることができ、ドライバーに与える違和感を低減することができる。反射光RLに影響されない入射式制御に切り替えてAE制御を行う。これによって、反射光RLの強さに関わらず、ドライバーの車両100の前方の視界の見え方に近い、違和感を低減した撮影画像をディスプレイ21、22に表示させることができる。
(3)WB調整部62および露出制御部63は、色温度Tcと色温度Tsの差分ΔTと、EV値VcとEV値Vsの差分ΔVのいずれか一方が閾値THt、THv以上の場合は、それぞれ第2の方式に切り替える。
色温度の差分ΔTとEV値の差分ΔVのいずれか一方がそれぞれの閾値THt、THv以上であれば、撮影画像がドライバーに違和感を与える可能性があるため、AWB処理およびAE制御の双方を第2の方式(入射光制御)に切り替えることで、ドライバーに違和感を低減した画像を表示させることができる。
なお、第1の方式および第2の方式の切り替えは実施の形態で説明したものに限定されない。色温度の差分ΔTおよびEV値の差分ΔVの双方が閾値THt、THvを超えた場合のみ、第2の方式へ切り替えても良い。あるいは、色温度の差分ΔTのみが閾値THt以上になった場合はAWB処理のみを第2の方式に切り替え、EV値の差分ΔVのみが閾値THv以上になった場合はAE制御のみを第2の方式に切り替えるようにしても良い。
(4)カメラ11、12は、車両100の後方の画像を撮影し、カラーセンサ30は、車両100の前方に設置される。
カラーセンサ30をドライバーが見ている車両100の前方の入射光ILを検出できる位置に設けることによって、カラーセンサ30はドライバーの視界に近い色温度および照度を検出することができる。これによって、第2の方式において違和感を低減した撮影画像をディスプレイ21、22に表示させることができる。
<変形例1>
図7は、変形例1に係る画像表示装置1のISP制御部53の処理の詳細を示すフローチャートである。
図7のステップS11〜S14、S16〜S17、S19〜S20の処理は、前記した実施の形態のステップS01〜S04、S06〜S07、S09〜S20の処理と同じなので、説明は省略する。
実施の形態では、第1の方式から第2の方式への切り替えの判定(図3のステップS05)と第2の方式から第1の方式への切り替えの判定(図3のステップS08)に、同じ閾値THt、THvを用いていた。
変形例1では、2つの切り替えの判定に用いる閾値を異ならせて、ヒステリシス特性を持たせるようにした。
図7に示すように、比較部は、第1の方式から第2の方式への切り替えを判定する際には、色温度の差分ΔTとEV値の差分ΔVを、それぞれ閾値THta、THvaと比較する(ステップS15)。比較部は、差分ΔT、ΔVのいずれか一方または双方が閾値THta、THva以上であれば(ステップS15:Yes)、第2の方式に切り替える(ステップS16)。
比較部は、第2の方式から第1の方式への切り替えを判定する際には、色温度の差分ΔTとEV値の差分ΔVを、それぞれ閾値THtb、THvbと比較する(ステップS18)。比較部は、差分ΔT、ΔVの双方が閾値THta、THva未満であれば(ステップS18:Yes)、第1の方式に切り替える(ステップS19)。
ステップS18で用いる色温度の閾値THtbとEV値の閾値THvbは、ステップS15で用いる色温度の閾値THtaとEV値の閾値THvaよりも小さい値とする。
これによって、例えば、色温度とEV値の差分ΔT、ΔVが閾値THta、THva前後で変動しているような場合に、第1の方式と第2の方式の間で方式が頻繁に切り替えられることが無く、第2の方式が維持される。そして、変動が収まって入射光ILと反射光RLの乖離が小さくなり、差分ΔT、ΔVが閾値THtb、THvb未満になったところで第1の方式に再び切り替えられる。
以上の通り、変形例1に係る画像表示装置1は、
(5)色温度Tcと色温度Tsの差分ΔTを閾値と比較して、第1の方式(第1のホワイトバランス調整)と第2の方式(第2のホワイトバランス調整)の切り替えを判定する比較部533(色温度比較部)を備え、
比較部533は、第1の方式から第2の方式への切り替えを判定するための閾値THtaと、第2の方式から第1の方式への切り替えを判定するための閾値THtbとにヒステリシス特性を持たせる。
また、変形例1に係る画像表示装置1は、
(6)EV値VcとEV値Vsの差分ΔVを閾値と比較して、第1の方式(第1の露出制御)と第2の方式(第2の露出制御)の切り替えを判定する比較部533(露出値比較部)を備え、
比較部533は、第1の方式から第2の方式への切り替えを判定するための閾値THvaと、第2の方式から第1の方式への切り替えを判定する閾値THvbとにヒステリシス特性を持たせる。
夕立後の撮影画像に水溜りが映ったり映らなかったりするような状況では、反射光RLの色温度TcやEV値Vcは変動しやすく、閾値の前後で変動し続けることがある。第1の方式から第2の方式への切り替えのための閾値THta、THvaと、第2の方式から第1の方式への切り替えのための閾値THtb、THvbにヒステリシス特性を持たせることで、AWB処理とAE制御が第1の方式と第2の方式の間を頻繁に切り替わることを抑制することができる。これによって、ディスプレイ21、22に表示される画像の見え方を安定させ、方式の切り替えの際にECU50、ISP60およびカメラ11、12間の通信コストを低減することができる。
<変形例2>
前記した実施の形態では、色温度Tsと照度Isの双方を検出できるカラーセンサ30を用いる例を説明したが、これに限定されず、色温度センサと照度センサを別個に車両100に設置しても良い。
<変形例3>
前記した実施の形態では、撮影画像のAWB処理とカメラ11、12のAE制御を、制御装置40が備えるISP60において行う例を説明したが、これに限定されない。カメラ11、12の内部にISPを備えるようにし、カメラ11、12においてAWB処理とAE制御を行うようにしても良い。この場合は、カメラ11、12はECU50と直接通信を行って、ECU50から第1の方式および第2の方式の切替指令を受け取る。また、カメラ11、12はAWB処理後の撮影画像をECU50に出力する。
1 画像表示装置
11、12 カメラ
21、22 ディスプレイ
30 カラーセンサ
40 制御装置
50 ECU
51 通信部
52 表示画像出力部
53 ISP制御部
531 EV値決定部
532 差分算出部
533 比較部
60 ISP
61 検出部
62 WB調整部(ホワイトバランス調整部)
63 露出制御部
100 車両
S 光源
IL 入射光
RL 反射光

Claims (5)

  1. 車両の後方の画像を撮影する撮像部と、
    前記撮像部の撮影画像の色温度を検出する色温度検出部と、
    前記車両の前方に設置され、前記車両の前方の入射光の色温度を検出する色温度センサと、
    前記撮影画像のホワイトバランスの調整を行うホワイトバランス調整部と、
    前記ホワイトバランス調整部によって調整された前記撮影画像を表示する表示部と、を備え、
    前記ホワイトバランス調整部は、前記色温度検出部が検出した前記撮影画像の色温度と、前記色温度センサが検出した前記入射光の色温度の差分が閾値以上の場合に、前記撮影画像の色温度に基づいた第1のホワイトバランス調整から、前記入射光の色温度に基づいた第2のホワイトバランス調整切り替えることを特徴とする画像表示装置。
  2. 前記撮影画像の色温度と前記入射光の色温度の差分を閾値と比較して、前記第1のホワイトバランス調整と前記第2のホワイトバランス調整との切り替えを判定する色温度比較部を備え、
    前記色温度比較部は、前記第1のホワイトバランス調整から前記第2のホワイトバランス調整への切り替えを判定するための閾値と、前記第2のホワイトバランス調整から前記第1のホワイトバランス調整への切り替えを判定するための閾値とに、ヒステリシス特性を持たせることを特徴とする請求項1記載の画像表示装置。
  3. 前記撮影画像の明るさを検出する照度検出部と、
    前記車両の前方に設置され、前記車両の前方の入射光の明るさを検出する照度センサと、
    前記撮部の露出を制御する露出制御部と、を備え、
    前記露出制御部は、前記撮影画像の明るさと前記入射光の明るさの差分が閾値以上の場合に、前記撮影画像の明るさに基づいた第1の露出制御から、前記入射光の明るさに基づいた第2の露出制御切り替えることを特徴とする請求項記載の画像表示装置。
  4. 前記撮影画像の色温度と前記入射光の色温度の差分と、前記撮影画像の明るさと前記入射光の明るさの差分のいずれか一方がそれぞれの閾値以上となった場合、前記ホワイトバランス調整部および前記露出制御部は、それぞれ、前記第2のホワイトバランス調整および第2の露出制御に切り替えることを特徴とする請求項記載の画像表示装置。
  5. 前記撮影画像の明るさと前記入射光の明るさの差分を閾値と比較して、前記第1の露出制御と前記第2の露出制御の切り替えを判定する明るさ比較部を備え、
    前記明るさ比較部は、前記第1の露出制御から前記第2の露出制御への切り替えを判定するための閾値と、前記第2の露出制御から前記第1の露出制御への切り替えを判定するための閾値とにヒステリシス特性を持たせることを特徴とする請求項記載の画像表示装置。
JP2019044124A 2019-03-11 2019-03-11 画像表示装置 Active JP6632750B1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019044124A JP6632750B1 (ja) 2019-03-11 2019-03-11 画像表示装置
US17/434,461 US11790823B2 (en) 2019-03-11 2019-12-09 Image display device
PCT/JP2019/048069 WO2020183821A1 (ja) 2019-03-11 2019-12-09 画像表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019044124A JP6632750B1 (ja) 2019-03-11 2019-03-11 画像表示装置

Publications (2)

Publication Number Publication Date
JP6632750B1 true JP6632750B1 (ja) 2020-01-22
JP2020150323A JP2020150323A (ja) 2020-09-17

Family

ID=69166673

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019044124A Active JP6632750B1 (ja) 2019-03-11 2019-03-11 画像表示装置

Country Status (3)

Country Link
US (1) US11790823B2 (ja)
JP (1) JP6632750B1 (ja)
WO (1) WO2020183821A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023032961A (ja) * 2021-08-27 2023-03-09 パナソニックIpマネジメント株式会社 撮像装置および映像表示システム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007174229A (ja) 2005-12-21 2007-07-05 Funai Electric Co Ltd カラー映像表示装置
JP2007241059A (ja) * 2006-03-10 2007-09-20 Denso Corp 移動体用表示装置
JP2008219128A (ja) * 2007-02-28 2008-09-18 Fujifilm Corp 撮影装置
JP2009171122A (ja) 2008-01-15 2009-07-30 Denso Corp 光源色温度推定方法、ホワイトバランス調整装置、及び画像認識装置
JP2010283718A (ja) 2009-06-08 2010-12-16 Alpine Electronics Inc 車両周辺画像提供装置
EP3276939A4 (en) * 2015-03-27 2018-12-05 Kyocera Corporation Image capturing device, image capturing system, and vehicle
JP6429915B2 (ja) 2017-02-14 2018-11-28 キヤノン株式会社 撮像装置、その制御方法とプログラムと記録媒体
WO2019017081A1 (ja) * 2017-07-21 2019-01-24 ソニー株式会社 画像処理装置と画像処理方法とプログラムおよび撮像装置

Also Published As

Publication number Publication date
JP2020150323A (ja) 2020-09-17
WO2020183821A1 (ja) 2020-09-17
US20220148485A1 (en) 2022-05-12
US11790823B2 (en) 2023-10-17

Similar Documents

Publication Publication Date Title
JP6969488B2 (ja) 画像表示装置
US20110035099A1 (en) Display control device, display control method and computer program product for the same
US20180335633A1 (en) Viewing direction detector and viewing direction detection system
JP4191759B2 (ja) 車両用オートライトシステム
WO2017195684A1 (ja) 車両用視認装置
JP2018078420A (ja) 車両用画像表示装置及び車両用画像表示プログラム
JP2016049260A (ja) 車載用撮像装置
JP6305430B2 (ja) 撮像設定変更装置、撮像システム、および撮像設定変更方法
CN110461653A (zh) 电子镜装置
JP6632750B1 (ja) 画像表示装置
US10735667B1 (en) Vehicle surroundings monitoring apparatus
JP2008170785A (ja) 車載用表示装置
JP2009035162A (ja) 後方視認装置
KR101822344B1 (ko) 히스토그램 스프레딩을 갖는 자동차 카메라 장치
JP6763324B2 (ja) 画像表示装置
JP7213732B2 (ja) 画像表示装置
JP7537262B2 (ja) 車載用カメラ
JP2002274257A (ja) 車両用監視装置
JP7051667B2 (ja) 車載装置
KR101745261B1 (ko) 선바이저 제어장치 및 방법
JP7009334B2 (ja) 画像表示装置、画像表示システム
US10668856B2 (en) Display control device for vehicle, display control system for vehicle, display control method for vehicle
JP2018074440A (ja) 車両後方画像表示装置
KR102270738B1 (ko) 차량용 감광식 미러의 제어 시스템 및 그 제어 방법
CN117412179A (zh) 用于提供车辆及其周围环境的合成图像的系统和方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190904

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190904

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190905

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191029

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191210

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191210

R150 Certificate of patent or registration of utility model

Ref document number: 6632750

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S343 Written request for registration of root pledge or change of root pledge

Free format text: JAPANESE INTERMEDIATE CODE: R316354

SZ02 Written request for trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R316Z02

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S803 Written request for registration of cancellation of provisional registration

Free format text: JAPANESE INTERMEDIATE CODE: R316803

SZ02 Written request for trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R316Z02

SZ03 Written request for cancellation of trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R316Z03

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250