JPWO2016047087A1 - 車載用電子ミラー - Google Patents

車載用電子ミラー Download PDF

Info

Publication number
JPWO2016047087A1
JPWO2016047087A1 JP2016549927A JP2016549927A JPWO2016047087A1 JP WO2016047087 A1 JPWO2016047087 A1 JP WO2016047087A1 JP 2016549927 A JP2016549927 A JP 2016549927A JP 2016549927 A JP2016549927 A JP 2016549927A JP WO2016047087 A1 JPWO2016047087 A1 JP WO2016047087A1
Authority
JP
Japan
Prior art keywords
vehicle
detection result
sensor
camera
image quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016549927A
Other languages
English (en)
Other versions
JP6447886B2 (ja
Inventor
笹口 篤実
篤実 笹口
淳一 白井
淳一 白井
相原 祐一郎
祐一郎 相原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2016047087A1 publication Critical patent/JPWO2016047087A1/ja
Application granted granted Critical
Publication of JP6447886B2 publication Critical patent/JP6447886B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12Mirror assemblies combined with other articles, e.g. clocks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02Rear-view mirror arrangements
    • B60R1/04Rear-view mirror arrangements mounted inside vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1215Mirror assemblies combined with other articles, e.g. clocks with information displays
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

車載用電子ミラーの画面が高速に変化するときの画面のチラツキを防止し、かつ、最適な情報をユーザに与えるようにすること。車両に搭載される車載用電子ミラー(10)であって、車両の周辺を撮像するカメラ(100)と、カメラ(100)で撮像された映像を処理する映像信号処理回路(101)と、映像信号処理回路(101)で処理された画像を表示するモニタ(105)と、車両に搭載され、車両の走行時の事象を検出するセンサ(107)〜(111)と、センサ(107)〜(111)の検出結果に基づいて、カメラ(100)で撮像される映像を別の映像に変更する制御を行う映像信号変更回路(103)および映像信号制御回路(112)と、を備える。

Description

本発明は、車載用電子ミラーに関する。
近年、スローモーション再生などを行う高速度撮像装置が様々な分野で使用されている。このような高速度撮像装置において、規格速度(NTSC方式のときは30画面/秒、PAL方式のときは25画面/秒)より大きい速度で撮像し、その画像データを規格速度で再生することにより、ユーザはスローモーション映像を見ることができる。例えば、規格速度のn倍の速度で撮像した画像データを規格速度で再生すると、ユーザは被写体の動きを1/nに遅くして観察することができる。
このスローモーション画像は、周知の如く、スポーツ選手の運動動作の解析やスポーツ勝敗の判定に有用であるばかりでなく、様々な学術研究や工業生産分野での動態解析に著しい有用性を発揮している。
このため、動く被写体(例えば運動する選手)を撮像する場合を想定すると、一度開始した撮像の中で被写体の動きに重要視する動き部分とそうでない動き部分があっても、それらは予め設定した撮像速度で撮像しなければならない。
撮像速度を予め低めに設定した場合では、撮像の画像データ量は少なくて済むが、重要視する動き部分の時間分解能は低くなる。反対に、撮像速度を高めに設定した場合、重要視する動き部分の時間分解能を上がるが、重要視しない動き部分も高い撮像速度の撮像になる。よって、画像データ量は非常に多くなり、大容量のメモリが必要になるなど、装置の製造コストが上昇する。
このようなことから、例えば特許文献1には、撮像中の被写体の動きに重要視する動き部分とそうでは無い動き部分とが混在する場合であっても、重要視する動き部分を高い時間分解能でより精細に撮像する高速度撮像装置が開示されている。これにより、特許文献1の高速度撮像装置は、扱う画像データの量を極力抑制し、被写体の動きに応じてメリハリを付けた撮像を行うことができるとしている。
特開2004−120384号公報
特許文献1の高速度撮像装置は、規格速度よりも高速の撮像途中においてフレームレートを変更できるものであるが、この装置では車両に搭載された場合が考慮されていない。すなわち、特許文献1の高速度撮像装置では、撮像した画像を車載用電子ミラーで表示したときに、ミラーの画面が高速に変化し、チラツキが生じるおそれがある。
本発明の目的は、車載用電子ミラーの画面が高速に変化するときの画面のチラツキを防止し、かつ、最適な情報をユーザに与えることができる車載用電子ミラーを提供することである。
本発明の車載用電子ミラーは、車両に搭載される車載用電子ミラーであって、前記車両の周辺を撮像するカメラと、前記カメラで撮像された映像を処理する映像処理部と、前記映像処理部で処理された映像を表示するモニタと、前記車両に搭載され、前記車両の走行時の事象を検出するセンサと、前記センサの検出結果に基づいて、前記カメラで撮像される映像を別の映像に変更する制御を行う制御部と、を備える構成を採る。
本発明によれば、車載用電子ミラーの画面が高速に変化するときの画面のチラツキを防止し、かつ、最適な情報をユーザに与えることができる。
本発明の実施の形態1に係る車載用電子ミラーの構成を示す図 本発明の実施の形態1に係る車載用電子ミラーの表示形態を示す図 本発明の実施の形態2に係る車載用電子ミラーの構成を示す図 本発明の実施の形態3に係る車載用電子ミラーの構成を示す図 本発明の実施の形態3に係る車載用電子ミラーの表示形態を示す図 本発明の実施の形態4に係る車載用電子ミラーの構成を示す図 本発明の実施の形態5に係る車載用電子ミラーの表示形態を示す図
以下、本発明の各実施の形態について、図面を参照して説明する。
(実施の形態1)
本発明の実施の形態1について図1を参照して説明する。図1は、本実施の形態に係る車載用電子ミラー10の構成を示す図である。
車載用電子ミラー10は、車両に搭載される。なお、車両とは、例えば、自動車または2輪車(バイク、自転車等)であるが、その他の移動体(例えば、列車、航空機等)でもあってもよい。
図1に示すように、車載用電子ミラー10は、カメラ100、映像信号処理回路101、入力回路102、映像信号変更回路103、出力回路104、モニタ105、センサ制御回路106、車速センサ107、舵角センサ108、光センサ109、位置センサ110、方向センサ111、映像信号制御回路112を有する。
カメラ100は、車両の周辺を撮像し、映像信号を映像信号処理回路101へ出力する。
映像信号処理回路101は、入力回路102、映像信号変更回路103、出力回路104を有する。
入力回路102は、カメラ100から映像信号を入力し、その映像信号に対して所定の処理を行い、処理後の映像信号を映像信号変更回路103へ出力する。
映像信号変更回路103は、後述する映像信号制御回路112から入力した制御信号に基づいて、入力回路102から入力する映像信号を別の映像信号に変更する。そして、映像信号変更回路103は、変更後の映像信号を出力回路104へ出力する。
出力回路104は、映像信号変更回路103から入力した映像信号を、後述するモニタ105へ出力する。
モニタ105は、出力回路104から入力した映像信号に基づいてカメラ100で撮像された映像を画面(ディスプレイともいう)に表示するとともに、入力した画像追加情報を画面に表示する。
上記画像追加情報は、例えば、車両と対象物(例えば、後続車、歩行者、建物、信号機、ガードレール、道路標識など)との間の距離を示す情報、後続車または緊急車両の接近を示す情報、目的地までの距離や時間を示す情報、車両の周辺環境や事象(例えば、天気、気温、時刻など)を示す情報、カメラ100の設置位置を示す情報、電子コンパスを示す情報、カメラ100以外のカメラで撮像された映像(例えば、アラウンドビュー、リアビュー)を示す情報、所定のスイッチを示す情報、などである。
上記スイッチとは、例えば、ガレージの開閉を指示するスイッチ、ガレージの電灯をオン/オフするスイッチ、家の施錠をオン/オフするスイッチ、家の外灯をオン/オフするスイッチ、帰宅を知らせる呼び鈴を家の中に鳴らすスイッチ、家の中の機器(例えば、電灯、お風呂、エアコンなど)をオン/オフするスイッチなどであるが、これらに限定されず、車内から遠隔制御できるスイッチであればよい。
上記画像追加情報は、車両に搭載されたセンサ(例えば、後述するセンサ107〜111、または、それら以外の図示しないセンサ)による検出結果に基づいて算出された情報でもよいし、車両と車両外部との無線通信により取得された情報でもよいし、車両に搭載される図示しない記憶部に予め記憶された情報でもよい。
上記画像追加情報の表示例を図2に示す。図2に示すように、モニタ105のディスプレイ(画面)には、出力回路104からの映像に重畳するように、画像追加情報a〜eが表示される。画像追加情報a〜eは、上述した車両と対象物との間の距離を示す情報、後続車または緊急車両の接近を示す情報、目的地までの距離や時間を示す情報、車両の周辺環境や事象を示す情報、カメラ100の設置位置を示す情報、電子コンパスを示す情報、カメラ100以外のカメラで撮像された映像を示す情報、所定のスイッチを示す情報のいずれかである。
センサ制御回路106は、車両に搭載された各センサ107〜111から信号(以下、検出結果信号という)を入力し、各検出結果信号の映像信号制御回路112への出力を制御する。
センサ107〜111は、車両に搭載されるセンサである。車速センサ107は、車両の速度を検出する。舵角センサ108は、車両のステアリングの操舵角を検出する。光センサ109は、車両の周辺の明るさを検出する。位置センサ110は、車両の変速機のギア位置を検出する。方向センサ111は、車両の方向指示器の指示方向を検出する。これらセンサ107〜111による検出結果は、上述したとおり、検出結果信号としてセンサ制御回路106へ出力される。
映像信号制御回路112は、センサ制御回路106から入力した検出結果信号に基づいて、映像信号処理回路101の映像信号変更回路103に対する制御内容を示す制御信号を生成し、その制御信号を映像信号変更回路103へ出力する。以下、ここで生成される制御信号の各例について説明する。
例えば、映像信号制御回路112は、車速センサ107の検出結果が所定の閾値未満である場合、入力映像信号を第1のフレームレート(例えば、15fps)の映像信号に変更する旨の制御信号を生成する。一方、映像信号制御回路112は、車速センサ107の検出結果が所定の閾値以上である場合、入力映像信号を第1のフレームレートより大きい第2のフレームレート(例えば、30fps)の映像信号に変更する旨の制御信号を生成する。
また、例えば、映像信号制御回路112は、舵角センサ108の検出結果が所定の閾値未満である場合、入力映像信号を第1のフレームレート(例えば、15fps)の映像信号に変更する旨の制御信号を生成する。一方、映像信号制御回路112は、舵角センサ108の検出結果が所定の閾値以上である場合、入力映像信号を第1のフレームレートより大きい第2のフレームレート(例えば、30fps)の映像信号に変更する旨の制御信号を生成する。
また、例えば、映像信号制御回路112は、光センサ109の検出結果が所定の閾値未満であるである場合、入力映像信号を第1のフレームレート(例えば、15fps)の映像信号に変更する旨の制御信号を生成する。一方、映像信号制御回路112は、光センサ109の検出結果が所定の閾値以上である場合、入力映像信号を第1のフレームレートより大きい第2のフレームレート(例えば、30fps)の映像信号に変更する旨の制御信号を生成する。
なお、映像信号制御回路112は、例えば、光センサ109の検出結果が所定の閾値未満である場合、上記第2のフレームレートの映像信号に変更する旨の制御信号を生成してもよい。一方、映像信号制御回路112は、光センサ109の検出結果が閾値以上である場合、上記第1のフレームレートの映像信号に変更する旨の制御信号を生成してもよい。
また、例えば、映像信号制御回路112は、位置センサ110の検出結果が第1のギア位置である場合、入力映像信号を第1のフレームレート(例えば、15fps)の映像信号に変更する旨の制御信号を生成する。一方、映像信号制御回路112は、位置センサ110の検出結果が第2のギア位置である場合、入力映像信号を第1のフレームレートより大きい第2のフレームレート(例えば、30fps)の映像信号に変更する旨の制御信号を生成する。
また、例えば、映像信号制御回路112は、方向センサ111の検出結果が左折または右折のいずれも示していない場合、入力映像信号を第1のフレームレート(例えば、15fps)の映像信号に変更する旨の制御信号を生成する。一方、映像信号制御回路112は、方向センサ111の検出結果が左折または右折のいずれかを示している場合、入力映像信号を第1のフレームレートより大きい第2のフレームレート(例えば、30fps)の映像信号に変更する旨の制御信号を生成する。
なお、上述した映像信号変更回路103は、カメラ100の光軸を変更する機能を備えてもよい。例えば、映像信号制御回路112は、舵角センサ108の検出結果信号(ステアリングの操舵角)に応じてカメラ100の光軸を変更し、画像の左右の切り出しを(モーフィングのように)動かすように映像信号変更回路103を制御する。これにより、ユーザが見たい映像を画面中心付近に表示することができ、ユーザにとって映像が見やすくなる。また、映像がカクカク表示されることも若干低減でき、ユーザにとって映像が見やすくなる。
(実施の形態2)
本発明の実施の形態2について図3を参照して説明する。図3は、本実施の形態に係る車載用電子ミラー20の構成を示す図である。図3に示す各部には、上記実施の形態1で説明した図1の各部と同一の符号を付している。以下では、図3に示す各部のうち、実施の形態1と異なる動作を行う構成要素についてのみ説明する。
映像信号処理回路201は、実施の形態1で説明した映像信号変更回路103の代わりに、フレームレート変更回路203を有する。
フレームレート変更回路203は、後述するフレームレート制御回路212から入力した制御信号に基づいて、入力回路102から入力する映像信号を別の映像信号に変更する。例えば、フレームレート変更回路203は、制御信号に基づいてカメラ100のフレームレートを変更することにより、入力回路102から入力する映像信号を別の映像信号に変更する。そして、フレームレート変更回路203は、変更後の映像信号を出力回路104へ出力する。
フレームレート制御回路212は、センサ制御回路106から入力した検出結果信号に基づいて、映像信号処理回路201のフレームレート変更回路203に対する制御内容を示す制御信号を生成し、その制御信号をフレームレート変更回路203へ出力する。以下、ここで生成される制御信号の各例について説明する。
例えば、フレームレート制御回路212は、車速センサ107の検出結果が閾値(規定の速度)未満である場合(すなわち、車両が閾値未満の速度で走行している場合)、第1のフレームレート(例えば、30fps)での撮像を指示する旨の制御信号を生成する。一方、フレームレート制御回路212は、車速センサ107の検出結果が閾値以上である場合(すなわち、車両が閾値以上の速度で走行している場合)、第1のフレームレートより大きい第2のフレームレート(例えば、60fps)での撮像を指示する旨の制御信号を生成する。
また、例えば、フレームレート制御回路212は、舵角センサ108の検出結果が閾値(規定の角度)未満である場合(すなわち、車両が閾値未満の操舵角で曲がった場合)、上記第1のフレームレートでの撮像を指示する旨の制御信号を生成する。一方、フレームレート制御回路212は、舵角センサ108の検出結果が閾値以上である場合(すなわち、車両が閾値以上の操舵角で曲がった場合)、上記第2のフレームレートでの撮像を指示する旨の制御信号を生成する。
また、例えば、フレームレート制御回路212は、光センサ109の検出結果が閾値(規定の明るさ)未満である場合(すなわち、車両が閾値未満の明るさの環境を走行している場合)、上記第1のフレームレートでの撮像を指示する旨の制御信号を生成する。一方、フレームレート制御回路212は、光センサ109の検出結果が閾値以上である場合(すなわち、車両が閾値以上の明るさの環境を走行している場合)、上記第2のフレームレートでの撮像を指示する旨の制御信号を生成する。
なお、例えば、フレームレート制御回路212は、光センサ109の検出結果が閾値(規定の明るさ)未満である場合(すなわち、車両が閾値未満の明るさの環境を走行している場合)、上記第2のフレームレートでの撮像を指示する旨の制御信号を生成してもよい。一方、フレームレート制御回路212は、光センサ109の検出結果が閾値以上である場合(すなわち、車両が閾値以上の明るさの環境を走行している場合)、上記第1のフレームレートでの撮像を指示する旨の制御信号を生成してもよい。
また、例えば、フレームレート制御回路212は、位置センサ110の検出結果が第1のギア位置である場合(すなわち、車両が低速ギアで走行している場合)、上記第1のフレームレートでの撮像を指示する旨の制御信号を生成する。一方、フレームレート制御回路212は、位置センサ110の検出結果が第2のギアである場合(すなわち、車両が高速ギアで走行している場合)、上記第2のフレームレートでの撮像を指示する旨の制御信号を生成する。
また、例えば、フレームレート制御回路212は、方向センサ111の検出結果が左折または右折のいずれも示していない場合(すなわち、方向指示器が動作していない場合)、上記第1のフレームレートでの撮像を指示する旨の制御信号を生成する。一方、フレームレート制御回路212は、方向センサ111の検出結果が左折または右折のいずれかを示している場合(すなわち、方向指示器が動作している場合)、上記第2のフレームレートでの撮像を指示する旨の制御信号を生成する。
(実施の形態3)
本発明の実施の形態3について図4を参照して説明する。図4は、本実施の形態に係る車載用電子ミラー30の構成を示す図である。図4に示す各部には、上記実施の形態1で説明した図1の各部と同一の符号を付している。以下では、図4に示す各部のうち、実施の形態1と異なる動作を行う構成要素についてのみ説明する。
映像信号処理回路301は、実施の形態1で説明した映像信号変更回路103の代わりに、画質変更回路303を有する。
画質変更回路303は、後述する画質制御回路312から入力した制御信号に基づいて、入力回路102から入力する映像信号を別の映像信号に変更する。例えば、画質変更回路303は、制御信号に基づいてカメラ100の画質(例えば、解像度)を変更することにより、入力回路102から入力する映像信号を別の映像信号に変更する。そして、画質変更回路303は、変更後の映像信号を出力回路104へ出力する。
画質制御回路312は、センサ制御回路106から入力した検出結果信号に基づいて、映像信号処理回路301の画質変更回路303に対する制御内容を示す制御信号を生成し、その制御信号を画質変更回路303へ出力する。以下、ここで生成される制御信号の各例について説明する。
例えば、画質制御回路312は、車速センサ107の検出結果が閾値未満である場合(すなわち、車両が閾値未満の速度で走行している場合)、第1の画質での撮像を指示する旨の制御信号を生成する。一方、画質制御回路312は、車速センサ107の検出結果が閾値以上である場合(すなわち、車両が閾値以上の速度で走行している場合)、第1の画質より高画質である第2の画質での撮像を指示する旨の制御信号を生成する。
また、例えば、画質制御回路312は、舵角センサ108の検出結果が閾値未満である場合(すなわち、車両が閾値未満の操舵角で曲がった場合)、上記第1の画質での撮像を指示する旨の制御信号を生成する。一方、画質制御回路312は、舵角センサ108の検出結果が閾値以上である場合(すなわち、車両が閾値以上の操舵角で曲がった場合)、上記第2の画質での撮像を指示する旨の制御信号を生成する。
また、例えば、画質制御回路312は、光センサ109の検出結果が閾値未満である場合(すなわち、車両が閾値未満の明るさの環境を走行している場合)、上記第1の画質での撮像を指示する旨の制御信号を生成する。一方、画質制御回路312は、光センサ109の検出結果が閾値以上である場合(すなわち、車両が閾値以上の明るさの環境を走行している場合)、上記第2の画質での撮像を指示する旨の制御信号を生成する。
なお、例えば、画質制御回路312は、光センサ109の検出結果が閾値(規定の明るさ)未満である場合(すなわち、車両が閾値未満の明るさの環境を走行している場合)、上記第2の画質での撮像を指示する旨の制御信号を生成してもよい。一方、画質制御回路312は、光センサ109の検出結果が閾値以上である場合(すなわち、車両が閾値以上の明るさの環境を走行している場合)、上記第1の画質での撮像を指示する旨の制御信号を生成してもよい。
また、例えば、画質制御回路312は、位置センサ110の検出結果が第1のギア位置である場合(すなわち、車両が低速ギアで走行している場合)、上記第1の画質での撮像を指示する旨の制御信号を生成する。一方、画質制御回路312は、位置センサ110の検出結果が第2のギアである場合(すなわち、車両が高速ギアで走行している場合)、上記第2の画質での撮像を指示する旨の制御信号を生成する。
また、例えば、画質制御回路312は、方向センサ111の検出結果が左折または右折のいずれも示していない場合(すなわち、方向指示器が動作していない場合)、上記第1の画質での撮像を指示する旨の制御信号を生成する。一方、画質制御回路312は、方向センサ111の検出結果が左折または右折のいずれかを示している場合(すなわち、方向指示器が動作している場合)、上記第2の画質での撮像を指示する旨の制御信号を生成する。
なお、上記画質制御回路312は、例えば図5に示すように、モニタ105のディスプレイに表示する映像のうち、ディスプレイの中央領域に表示される映像が上記第2の画質(高画質)となり、ディスプレイの周辺領域に表示される映像が上記第1の画質(低画質)となるように撮像を指示する旨の制御信号を生成してもよい。
例えば、画質制御回路312は、車速センサ107、舵角センサ108、光センサ109のいずれかの検出結果が閾値未満である場合、位置センサ110の検出結果が第1のギア位置である場合、方向センサ111の検出結果が左折または右折のいずれも示していない場合のいずれかにおいて、以下の制御信号を生成する。すなわち、画質制御回路312は、中央領域を第1の面積に設定し、2つの周辺領域の合計を第2の面積(例えば、ディスプレイの全領域から第1の面積を除いた面積)に設定し、中央領域に表示される映像を高画質で撮像し、周辺領域に表示される映像を低画質で撮像するように指示する旨の制御信号を生成する。
その一方で、例えば、画質制御回路312は、車速センサ107、舵角センサ108、光センサ109のいずれかの検出結果が閾値以上である場合、位置センサ110の検出結果が第2のギア位置である場合、方向センサ111の検出結果が左折または右折のいずれかを示している場合のいずれかにおいて、以下の制御信号を生成する。すなわち、画質制御回路312は、中央領域を上記第1の面積より大きい第3の面積に設定し、2つの周辺領域の合計を第4の面積(例えば、ディスプレイの全領域から第3の面積を除いた面積)に設定し、中央領域に表示される映像を高画質で撮像し、周辺領域に表示される映像を低画質で撮像するように指示する旨の制御信号を生成する。
なお、上述した中央領域の面積の設定は、後述する実施の形態4の画角の変更を適用するようにしてもよい。
(実施の形態4)
本発明の実施の形態4について図6を参照して説明する。図6は、本実施の形態に係る車載用電子ミラー40の構成を示す図である。図6に示す各部には、上記実施の形態1で説明した図1の各部と同一の符号を付している。以下では、図6に示す各部のうち、実施の形態1と異なる動作を行う構成要素についてのみ説明する。
映像信号処理回路401は、実施の形態1で説明した映像信号変更回路103の代わりに、画角変更回路403を有する。
画角変更回路403は、後述する画角制御回路412から入力した制御信号に基づいて、入力回路102から入力する映像信号を別の映像信号に変更する。例えば、画角変更回路403は、制御信号に基づいてカメラ100の画角を変更することにより、入力回路102から入力する映像信号を別の映像信号に変更する。そして、画角変更回路403は、変更後の映像信号を出力回路104へ出力する。
画角制御回路412は、センサ制御回路106から入力した検出結果信号に基づいて、映像信号処理回路401の画角変更回路403に対する制御内容を示す制御信号を生成し、その制御信号を画角変更回路403へ出力する。以下、ここで生成される制御信号の各例について説明する。
例えば、画角制御回路412は、車速センサ107の検出結果が閾値未満である場合(すなわち、車両が閾値未満の速度で走行している場合)、第1の画角での撮像を指示する旨の制御信号を生成する。一方、画角制御回路412は、車速センサ107の検出結果が閾値以上である場合(すなわち、車両が閾値以上の速度で走行している場合)、第1の画角より広い第2の画角での撮像を指示する旨の制御信号を生成する。
また、例えば、画角制御回路412は、舵角センサ108の検出結果が閾値未満である場合(すなわち、車両が閾値未満の操舵角で曲がった場合)、上記第1の画角での撮像を指示する旨の制御信号を生成する。一方、画角制御回路412は、舵角センサ108の検出結果が閾値以上である場合(すなわち、車両が閾値以上の操舵角で曲がった場合)、上記第2の画角での撮像を指示する旨の制御信号を生成する。
また、例えば、画角制御回路412は、光センサ109の検出結果が閾値未満である場合(すなわち、車両が閾値未満の明るさの環境を走行している場合)、上記第1の画角での撮像を指示する旨の制御信号を生成する。一方、画角制御回路412は、光センサ109の検出結果が閾値以上である場合(すなわち、車両が閾値以上の明るさの環境を走行している場合)、上記第2の画角での撮像を指示する旨の制御信号を生成する。
なお、例えば、画角制御回路412は、光センサ109の検出結果が閾値(規定の明るさ)未満である場合(すなわち、車両が閾値未満の明るさの環境を走行している場合)、上記第2の画角での撮像を指示する旨の制御信号を生成してもよい。一方、画角制御回路412は、光センサ109の検出結果が閾値以上である場合(すなわち、車両が閾値以上の明るさの環境を走行している場合)、上記第1の画角での撮像を指示する旨の制御信号を生成してもよい。
また、例えば、画角制御回路412は、位置センサ110の検出結果が第1のギア位置である場合(すなわち、車両が低速ギアで走行している場合)、上記第1の画角での撮像を指示する旨の制御信号を生成する。一方、画角制御回路412は、位置センサ110の検出結果が第2のギアである場合(すなわち、車両が高速ギアで走行している場合)、上記第2の画角での撮像を指示する旨の制御信号を生成する。
また、例えば、画角制御回路412は、方向センサ111の検出結果が左折または右折のいずれも示していない場合(すなわち、方向指示器が動作していない場合)、上記第1の画角での撮像を指示する旨の制御信号を生成する。一方、画角制御回路412は、方向センサ111の検出結果が左折または右折のいずれかを示している場合(すなわち、方向指示器が動作している場合)、上記第2の画角での撮像を指示する旨の制御信号を生成する。
(実施の形態5)
本発明の実施の形態5について図7を参照して説明する。図7は、本実施の形態に係る車載用電子ミラーの表示形態を示す図である。
本実施の形態の車載用電子ミラーは、例えば、図1等に示すセンサ制御回路106から検出結果信号を入力し、その検出結果信号に基づいてモニタ105のディスプレイを制御するモニタ制御回路を有する。
例えば、モニタ制御回路は、車速センサ107、舵角センサ108、光センサ109のいずれかの検出結果が閾値未満である場合、位置センサ110の検出結果が第1のギア位置(低速のギア)である場合、方向センサ111の検出結果が左折または右折のいずれも示していない場合のいずれかにおいて、以下の制御信号を生成する。すなわち、モニタ制御回路は、モニタ105のディスプレイが出力回路104からの映像信号に基づいて映像を表示するようにモニタ105を制御する制御信号を生成し、その制御信号をモニタ105へ出力する。これにより、ディスプレイには、カメラ100で撮像された映像が表示される。
その一方で、例えば、モニタ制御回路は、車速センサ107、舵角センサ108、光センサ109のいずれかの検出結果が閾値以上である場合、位置センサ110の検出結果が第2のギア位置(高速のギア)である場合、方向センサ111の検出結果が左折または右折のいずれかを示している場合のいずれかにおいて、以下の制御信号を生成する。すなわち、モニタ制御回路は、モニタ105のディスプレイをハードミラーに切り替えるようにモニタ105を制御する制御信号を生成し、その制御信号をモニタ105へ出力する。これにより、図7に示すように、ディスプレイの全領域がハードミラーに切り替わる。
なお、例えば、モニタ制御回路は、光センサ109の検出結果が閾値(規定の明るさ)未満である場合(すなわち、車両が閾値未満の明るさの環境を走行している場合)、ディスプレイをハードミラーに切り替えるように指示する旨の制御信号を生成してもよい。一方、モニタ制御回路は、光センサ109の検出結果が閾値以上である場合(すなわち、車両が閾値以上の明るさの環境を走行している場合)、カメラ100で撮像された映像をディスプレイに表示するように指示する旨の制御信号を生成してもよい。
以上のように本実施の形態によれば、車載用電子ミラーの画面が高速に変化するときの画面のチラツキを防止し、かつ、最適な情報をユーザ(車両の乗員)に与えることができる。その結果、ユーザの疲れを低減し、安全運転に寄与することができる。
なお、上述した各実施の形態は任意に組み合わせて実現してもよい。また、本発明は、上記各実施の形態に限定されず、種々の変形が可能である。
2014年9月24日出願の特願2014−194348の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
本発明は、車載用電子ミラーの画面が高速に変化する時に画面のチラツキを防止し、搭乗者の車酔いを防止する車載用電子ミラーに利用可能である。
10、20、30、40 車載用電子ミラー
100 カメラ
101、201、301、401 映像信号処理回路
102 入力回路
103 映像信号変更回路
104 出力回路
105 モニタ
106 センサ制御回路
107 車速センサ
108 舵角センサ
109 光センサ
110 位置センサ
111 方向センサ
112 映像信号制御回路
203 フレームレート変更回路
212 フレームレート制御回路
303 画質変更回路
312 画質制御回路
403 画角変更回路
412 画角制御回路

Claims (8)

  1. 車両に搭載される車載用電子ミラーであって、
    前記車両の周辺を撮像するカメラと、
    前記カメラで撮像された映像を処理する映像処理部と、
    前記映像処理部で処理された映像を表示するモニタと、
    前記車両に搭載され、前記車両の走行時の事象を検出するセンサと、
    前記センサの検出結果に基づいて、前記カメラで撮像される映像を別の映像に変更する制御を行う制御部と、を備える、
    車載用電子ミラー。
  2. 前記制御部は、
    前記センサの検出結果が第1の検出結果である場合、所定のフレームレートで撮像を行うように前記カメラを制御し、
    前記センサの検出結果が第2の検出結果である場合、前記所定のフレームレートより大きい別のフレームレートで撮像を行うように前記カメラを制御する、
    請求項1記載の車載用電子ミラー。
  3. 前記制御部は、
    前記センサの検出結果が第1の検出結果である場合、所定の画質で撮像を行うように前記カメラを制御し、
    前記センサの検出結果が第2の検出結果である場合、前記所定の画質より高い別の画質で撮像を行うように前記カメラを制御する、
    請求項1記載の車載用電子ミラー。
  4. 前記制御部は、
    前記センサの検出結果が第1の検出結果である場合、前記モニタの画面の中央領域を第1の面積に設定し、前記中央領域に表示される映像が所定の画質となる撮像を行い、かつ、前記中央領域以外の周辺領域を第2の面積に設定し、前記周辺領域に表示される映像が前記所定の画質より低い別の画質となる撮像を行うように前記カメラを制御し、
    前記センサの検出結果が第2の検出結果である場合、前記モニタの画面の中央領域を前記第1の面積より大きい第3の面積に設定し、前記中央領域に表示される映像が前記所定の画質となる撮像を行い、かつ、前記中央領域以外の周辺領域を第4の面積に設定し、前記周辺領域に表示される映像が前記別の画質となる撮像を行うように前記カメラを制御する、
    請求項1記載の車載用電子ミラー。
  5. 前記制御部は、
    前記センサの検出結果が第1の検出結果である場合、所定の画角で撮像を行うように前記カメラを制御し、
    前記センサの検出結果が第2の検出結果である場合、前記所定の画角より広い別の画角で撮像を行うように前記カメラを制御する、
    請求項1記載の車載用電子ミラー。
  6. 前記制御部は、
    前記センサの検出結果が第1の検出結果である場合、前記映像処理部で処理された映像を表示するように前記モニタを制御し、
    前記センサの検出結果が第2の検出結果である場合、ハードミラーとして機能するように前記モニタを制御する、
    請求項1記載の車載用電子ミラー。
  7. 前記センサの検出結果が第1の検出結果である場合は、
    前記車両の速度が規定の速度未満である場合、前記車両のステアリングの操舵角が規定の角度未満である場合、前記車両の周辺の明るさが規定の明るさ未満である場合、前記車両の変速機のギアが低速ギアである場合、前記車両の方向指示器が動作している場合のいずれかであり、
    前記センサの検出結果が第2の検出結果である場合は、
    前記車両の速度が規定の速度以上である場合、前記車両のステアリングの操舵角が規定の角度以上である場合、前記車両の周辺の明るさが規定の明るさ以上である場合、前記車両の変速機のギアが高速ギアである場合、前記車両の方向指示器が動作していない場合のいずれかである、
    請求項1記載の車載用電子ミラー。
  8. 前記モニタは、
    前記車両と所定の対象物との間の距離を示す情報、後続車または緊急車両の接近を示す情報、目的地までの距離や時間を示す情報、前記車両の周辺環境または事象を示す情報、前記カメラの設置位置を示す情報、電子コンパスを示す情報、前記カメラ以外のカメラで撮像された映像を示す情報、所定のスイッチを示す情報のいずれかを、前記映像処理部で処理された映像に重畳して表示する、
    請求項1記載の車載用電子ミラー。
JP2016549927A 2014-09-24 2015-09-14 車載用電子ミラー Active JP6447886B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014194348 2014-09-24
JP2014194348 2014-09-24
PCT/JP2015/004673 WO2016047087A1 (ja) 2014-09-24 2015-09-14 車載用電子ミラー

Publications (2)

Publication Number Publication Date
JPWO2016047087A1 true JPWO2016047087A1 (ja) 2017-07-06
JP6447886B2 JP6447886B2 (ja) 2019-01-09

Family

ID=55580638

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016549927A Active JP6447886B2 (ja) 2014-09-24 2015-09-14 車載用電子ミラー

Country Status (5)

Country Link
US (1) US20170291550A1 (ja)
EP (1) EP3200449A4 (ja)
JP (1) JP6447886B2 (ja)
CN (1) CN107079133A (ja)
WO (1) WO2016047087A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017183914A (ja) * 2016-03-29 2017-10-05 パナソニックIpマネジメント株式会社 画像処理装置
JP6672968B2 (ja) * 2016-04-04 2020-03-25 日産自動車株式会社 運転支援方法及び運転支援装置
WO2017187801A1 (ja) * 2016-04-27 2017-11-02 株式会社Jvcケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP6658270B2 (ja) * 2016-04-27 2020-03-04 株式会社Jvcケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP6658329B2 (ja) * 2016-06-21 2020-03-04 株式会社Jvcケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP6766433B2 (ja) * 2016-04-28 2020-10-14 株式会社Jvcケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
DE102016213493A1 (de) * 2016-07-22 2018-01-25 Conti Temic Microelectronic Gmbh Kameravorrichtung zur Aufnahme eines Umgebungsbereichs eines eigenen Fahrzeugs sowie Verfahren zur Bereitstellung einer Fahrerassistenzfunktion
EP3300023A1 (en) * 2016-09-21 2018-03-28 Autoliv Development AB Vision system and method for a motor vehicle
US20200125864A1 (en) * 2017-06-28 2020-04-23 Kyocera Corporation Processor, image processing apparatus, mobile body, image processing method, and non-transitory computer-readable medium
GB2572127B (en) * 2018-01-10 2022-09-14 Xihelm Ltd Method and system for agriculture
JP7194906B2 (ja) * 2018-03-30 2022-12-23 パナソニックIpマネジメント株式会社 映像表示システム、映像表示方法、プログラム、及び映像表示システムを備える移動体
JP2020121638A (ja) * 2019-01-30 2020-08-13 アイシン精機株式会社 表示制御装置
CN113038018B (zh) * 2019-10-30 2022-06-28 支付宝(杭州)信息技术有限公司 辅助用户拍摄车辆视频的方法及装置
DE102020129908A1 (de) * 2020-11-12 2022-05-12 Mekra Lang Gmbh & Co. Kg Indirektes Schichtsystem und Verfahren zum Anpassen einer Bildwiederholungsrate
CN113119866B (zh) * 2021-05-12 2022-12-02 中国第一汽车股份有限公司 一种基于流媒体的后视镜显示方法及显示装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1178693A (ja) * 1997-09-16 1999-03-23 Niles Parts Co Ltd 車両用監視装置
JP2002225629A (ja) * 2001-02-05 2002-08-14 Sony Corp 車両用監視装置
JP2004155395A (ja) * 2002-11-08 2004-06-03 Denso Corp 車両周辺画像処理装置
JP2005184395A (ja) * 2003-12-18 2005-07-07 Sumitomo Electric Ind Ltd 画像処理方法、画像処理システム、画像処理装置および撮影装置
JP2005328181A (ja) * 2004-05-12 2005-11-24 Mitsubishi Electric Corp 周囲確認装置
JP2013187562A (ja) * 2012-03-05 2013-09-19 Nissan Motor Co Ltd 車両用後方視界支援装置
JP2014015198A (ja) * 2011-12-09 2014-01-30 Nissan Motor Co Ltd 映像表示ミラー

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120116632A1 (en) * 1997-04-02 2012-05-10 Bechtel Jon H System for controlling vehicle equipment
JP2004120384A (ja) * 2002-09-26 2004-04-15 Photron Ltd 高速度撮像装置及び撮像速度の変更方法
CN101071522A (zh) * 2007-06-13 2007-11-14 王小波 能主动或被动查看停泊汽车车况的方法及其防盗报警系统
SG191663A1 (en) * 2008-06-23 2013-07-31 Mitsubishi Electric Corp In-train monitor system and in-train monitor method
US8411245B2 (en) * 2009-02-06 2013-04-02 Gentex Corporation Multi-display mirror system and method for expanded view around a vehicle
US8890955B2 (en) * 2010-02-10 2014-11-18 Magna Mirrors Of America, Inc. Adaptable wireless vehicle vision system based on wireless communication error
US20140114534A1 (en) * 2012-10-19 2014-04-24 GM Global Technology Operations LLC Dynamic rearview mirror display features
CN206983927U (zh) * 2017-06-06 2018-02-09 信利光电股份有限公司 一种车辆启动装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1178693A (ja) * 1997-09-16 1999-03-23 Niles Parts Co Ltd 車両用監視装置
JP2002225629A (ja) * 2001-02-05 2002-08-14 Sony Corp 車両用監視装置
JP2004155395A (ja) * 2002-11-08 2004-06-03 Denso Corp 車両周辺画像処理装置
JP2005184395A (ja) * 2003-12-18 2005-07-07 Sumitomo Electric Ind Ltd 画像処理方法、画像処理システム、画像処理装置および撮影装置
JP2005328181A (ja) * 2004-05-12 2005-11-24 Mitsubishi Electric Corp 周囲確認装置
JP2014015198A (ja) * 2011-12-09 2014-01-30 Nissan Motor Co Ltd 映像表示ミラー
JP2013187562A (ja) * 2012-03-05 2013-09-19 Nissan Motor Co Ltd 車両用後方視界支援装置

Also Published As

Publication number Publication date
US20170291550A1 (en) 2017-10-12
WO2016047087A1 (ja) 2016-03-31
JP6447886B2 (ja) 2019-01-09
EP3200449A1 (en) 2017-08-02
CN107079133A (zh) 2017-08-18
EP3200449A4 (en) 2017-08-30

Similar Documents

Publication Publication Date Title
JP6447886B2 (ja) 車載用電子ミラー
JP5099451B2 (ja) 車両周辺確認装置
WO2014129026A1 (ja) 運転支援装置、および画像処理プログラム
US20170028921A1 (en) On-vehicle image display device, on-vehicle image display method for vehicle, and on-vehicle image setting device
JP6196444B2 (ja) 周辺車の位置追跡装置及び方法
JP2016048839A (ja) 電子制御ユニットおよび車両用映像システム
JP2011055480A (ja) 車両周辺画像生成装置
JP2007164549A (ja) 撮像装置、映像信号の選択装置、運転支援装置、自動車
JP2012195793A (ja) 車両周辺監視装置
CN108886602B (zh) 信息处理装置
JP2008500919A (ja) 移動体用表示システム及び移動体
JP2020024532A (ja) 脇見運転検出装置
JP2010179850A (ja) 車両用表示装置
WO2017195684A1 (ja) 車両用視認装置
CN111699680A (zh) 行车记录仪、显示控制方法以及程序
JP2012153256A (ja) 画像処理装置
JP5811623B2 (ja) 車両用監視装置
JP6115278B2 (ja) 車両用表示装置
JP2007212342A (ja) 車両用表示装置
JP2011211432A (ja) 車載用撮像装置
JP2019116220A (ja) 車両用視認装置
JP2010250503A (ja) 車両制御装置、及び車載用撮像装置
JP2007299047A (ja) 運転支援装置
JP2012166689A (ja) 運転支援装置
JP6304391B2 (ja) 車両用画像表示システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180619

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180730

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181121

R151 Written notification of patent or utility model registration

Ref document number: 6447886

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

SZ03 Written request for cancellation of trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z03