JPWO2018096953A1 - 撮像装置、表示システムおよび方法 - Google Patents

撮像装置、表示システムおよび方法 Download PDF

Info

Publication number
JPWO2018096953A1
JPWO2018096953A1 JP2018552504A JP2018552504A JPWO2018096953A1 JP WO2018096953 A1 JPWO2018096953 A1 JP WO2018096953A1 JP 2018552504 A JP2018552504 A JP 2018552504A JP 2018552504 A JP2018552504 A JP 2018552504A JP WO2018096953 A1 JPWO2018096953 A1 JP WO2018096953A1
Authority
JP
Japan
Prior art keywords
unit
vehicle
imaging
image
imaging unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018552504A
Other languages
English (en)
Inventor
亨 高清水
亨 高清水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2018096953A1 publication Critical patent/JPWO2018096953A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02Rear-view mirror arrangements
    • B60R1/06Rear-view mirror arrangements mounted on vehicle exterior
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02Rear-view mirror arrangements
    • B60R1/08Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • B60R1/083Anti-glare mirrors, e.g. "day-night" mirrors
    • B60R1/088Anti-glare mirrors, e.g. "day-night" mirrors using a cell of electrically changeable optical characteristic, e.g. liquid-crystal or electrochromic mirrors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12Mirror assemblies combined with other articles, e.g. clocks
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00Filters or other obturators specially adapted for photographic purposes
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/18Signals indicating condition of a camera member or suitability of light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/51Housings
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/53Constructional details of electronic viewfinders, e.g. rotatable or detachable
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Rear-View Mirror Devices That Are Mounted On The Exterior Of The Vehicle (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Nonlinear Science (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Blocking Light For Cameras (AREA)

Abstract

本技術は、視認性を向上させることができるようにする撮像装置、表示システムおよび方法に関する。撮像装置は、撮像部と、撮像部の光軸と交差する位置に配置され、所定の条件が満たされると光の透過率または反射率が変化する調光素子とを備える。本技術は車両の表示システムに適用することができる。

Description

本技術は撮像装置、表示システムおよび方法に関し、特に、視認性を向上させることができるようにした撮像装置、表示システムおよび方法に関する。
従来、乗用車等の車両のドアミラー内に、後方確認用のカメラを内蔵する技術が知られている。
例えば、ドアミラーのミラー位置にミラーに代えて透明部材を配置し、ドアミラー内部にカメラを設ければ、その透明部材を介してカメラにより車両後方の画像を撮像し、車室内の表示部に画像を表示させることができる。
このようにすれば、運転者等は画像を見ることで車両後方を確認することができる。しかし、この場合、カメラが故障したときには運転者等はドアミラーを用いて車両後方を確認することができなくなってしまう。
そこで、ドアミラーのミラー位置にハーフミラーを配置することで、カメラにより撮像された画像だけでなく、運転者等がドアミラーのハーフミラー部分を見て目視でも車両後方を確認することができるようにした技術が提案されている(例えば、特許文献1参照)。
特開平7−186831号公報
しかしながら、上述した技術では、十分な視認性で車両後方を確認することは困難であった。
具体的には、ドアミラーにカメラとハーフミラーを設ける技術では、外部からドアミラーに入射する光の半分がハーフミラーで反射され、残りの半分の光がカメラへと入射されることになる。そのため、カメラでは十分な光量を確保することができず、画像が暗くなって視認性が低下してしまう。すなわち、ハーフミラーの透過率が十分ではないため、実質的にカメラの性能が低下してしまう。
また、カメラが故障した際などには、ユーザはハーフミラー部分を見ることで車両後方を確認することができるが、ハーフミラーの反射率が低いため視認性が低下し、十分に車両後方を確認することができないことがあった。
本技術は、このような状況に鑑みてなされたものであり、視認性を向上させることができるようにするものである。
本技術の第1の側面の撮像装置は、撮像部と、前記撮像部の光軸と交差する位置に配置され、所定の条件が満たされると光の透過率または反射率が変化する調光素子とを備える。
前記調光素子は、エレクトロクロミック材料、サーモクロミック材料、またはガスクロミック材料により構成されるようにすることができる。
前記調光素子を、加えられた電圧または電流に応じて、前記透過率または前記反射率が変化するものとすることができる。
前記調光素子を、加えられた電圧または電流に応じて、入射した光を反射する鏡面状態となるか、または入射した光を透過させる透過状態となるものとすることができる。
前記撮像装置は、車両に取り付けられているようにすることができる。
前記撮像部は、前記車両の後方の画像を撮像可能な位置に配置されているようにすることができる。
前記撮像装置は、前記車両の周囲を撮像可能であり、かつ前記車両の座席にいる乗員から見える位置に配置されているようにすることができる。
本技術の第1の側面においては、撮像部と、前記撮像部の光軸と交差する位置に配置され、所定の条件が満たされると光の透過率または反射率が変化する調光素子とが設けられる。
本技術の第2の側面の表示システムは、撮像部と、前記撮像部の光軸と交差する位置に配置され、所定の条件が満たされると光の透過率または反射率が変化する調光素子と、前記撮像部により撮像された画像を表示する表示部とを備える。
前記調光素子は、エレクトロクロミック材料、サーモクロミック材料、またはガスクロミック材料により構成されるようにすることができる。
前記調光素子を、加えられた電圧または電流に応じて、前記透過率または前記反射率が変化するものとすることができる。
前記調光素子を、加えられた電圧または電流に応じて、入射した光を反射する鏡面状態となるか、または入射した光を透過させる透過状態となるものとすることができる。
表示システムには、使用者の操作に応じて、前記調光素子を前記透過状態または前記鏡面状態の何れかに変化させる制御部をさらに設けることができる。
表示システムには、前記表示部への前記画像の入力がない場合、警告を出力する警告出力部をさらに設けることができる。
表示システムには、前記画像に基づいて、前記画像における視認性の判定を行う判定部と、前記判定部による判定結果に応じて警告を出力する警告出力部とをさらに設けることができる。
前記撮像部および前記調光素子は、車両に取り付けられているようにすることができる。
前記撮像部は、前記車両の後方の画像を撮像可能な位置に配置されているようにすることができる。
前記撮像部は前記車両の周囲を撮像可能であり、前記調光素子は前記車両の座席にいる乗員から見える位置に配置されているようにすることができる。
本技術の第2の側面の表示方法は、撮像部と、前記撮像部の光軸と交差する位置に配置され、所定の条件が満たされると光の透過率または反射率が変化する調光素子と、前記撮像部により撮像された画像を表示する表示部とを備える表示システムの表示方法であって、前記撮像部が前記調光素子を介して入射した光を受光することにより前記画像を撮像し、前記表示部が前記画像を表示するステップを含む。
本技術の第2の側面においては、撮像部と、前記撮像部の光軸と交差する位置に配置され、所定の条件が満たされると光の透過率または反射率が変化する調光素子と、前記撮像部により撮像された画像を表示する表示部とを備える表示システムにおいて、前記撮像部により前記調光素子を介して入射した光を受光することにより前記画像が撮像され、前記表示部により前記画像が表示される。
本技術の第1の側面および第2の側面によれば、視認性を向上させることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
本技術について説明する図である。 本技術について説明する図である。 車両の構成例を示す図である。 撮像処理を説明するフローチャートである。 撮像処理を説明するフローチャートである。
以下、図面を参照して、本技術を適用した実施の形態について説明する。
〈第1の実施の形態〉
〈本技術について〉
本技術は、車両のドアミラーにカメラを内蔵するとともにカメラの光軸と交差する位置に調光素子を設けることで、車両後方を確認するときの視認性を向上させることができるようにするものである。
なお、以下では、本技術が乗用車(自動車)に適用される場合を例として説明するが、本技術は電気自動車やハイブリッド電気自動車等の自動車の他、自動二輪車、自転車、電動車椅子、パーソナルモビリティ、飛行機、船舶、電車、ロボット等の移動体に適用可能である。
それでは以下、より具体的な実施の形態について説明する。
本技術を適用した車両では、例えば図1に示すように車両11のドアミラー21の筐体内部にカメラからなる撮像部22が配置されており、その撮像部22の前面には、外部から撮像部22へと入射する光の光量を調整する板状の調光素子23が配置されている。
図1に示す例では、図中、左側が車両11の前方となっており、図中、右側が車両11の後方となっている。
撮像部22は、車両11の後方の領域が視野となるように、すなわち車両11の後方の領域の画像を撮像することができるように、車両11のドアミラー21の筐体に固定されている。この例では、図中の点線により撮像部22の視野の範囲が描かれている。
また、撮像部22の前面の位置、より詳細には撮像部22の光軸と交差する位置に調光素子23が固定されている。したがって、車両11後方からの光は調光素子23を介して撮像部22に入射することになる。
調光素子23は、例えば所定の条件が満たされると光の透過率または反射率が変化する材料により構成されている。
調光素子23を構成する材料は、例えば電流や電圧を加えることにより可逆的に光の透過率が変化するエレクトロクロミック材料、温度により光の透過率が変化するサーモクロミック材料、雰囲気ガスの制御により光の透過率が変化するガスクロミック材料などとすることができる。
例えば調光素子23がエレクトロクロミック材料により構成される場合、所定の閾値電圧以上の電圧が印加されると透過率または反射率が変化する。
具体的には、調光素子23は無通電の状態、例えば閾値電圧未満の電圧が調光素子23に印加された状態では、入射した光の略全部を透過させる状態(以下、透過状態とも称する)となる。
逆に、調光素子23に閾値電圧以上の電圧が印加された状態では、調光素子23は入射した光の殆どを反射してミラーとして機能する状態(以下、鏡面状態とも称する)となる。
このように調光素子23がエレクトロクロミック材料により構成される場合、調光素子23は、閾値電圧以上の電圧が印加された状態であるか否かに応じて、透過状態または鏡面状態の何れかの状態となる。
なお、ここでは無通電時に調光素子23が透過状態となる例について説明するが、通電時に調光素子23が透過状態とされるようにしてもよい。また、以下では、調光素子23がエレクトロクロミック材料により構成されるものとして説明を続ける。
以上のような撮像部22と調光素子23が設けられたドアミラー21は、車両11のドア付近に固定され、車両11の車室内にいる運転者等の乗員により視認できるようになされている。すなわち、撮像部22が車両11後方の画像を撮像可能な位置に配置され、かつ調光素子23が車両11の座席にいる運転者等の乗員から見える位置に配置されるように、車両11に対して、撮像装置として機能するドアミラー21が取り付けられている。
例えば図2に示すように、ドアミラー21は運転席にいる運転者から見てステアリングホイール51と略同じ高さの位置にあり、運転者は、ドアミラー21に設けられた調光素子23の外部側の表面を十分な大きさで視認することができる。なお、図2において図1における場合と対応する部分には同一の符号を付してあり、その説明は適宜、省略する。
図2では、運転者からは調光素子23の外部側の表面(以下、視野面とも称する)を十分な大きさで視認することができる。この例では視野面、つまり調光素子23は透過状態となっているため、運転者には視野面を通してその後ろ側に配置されている撮像部22を目視で確認することができる。
また、運転者の前方のステアリングホイール51近傍には、液晶ディスプレイなどからなる表示部52も配置されている。なお、表示部52は、メータパネルに設けられるようにするなど、車両11に一体的に設けられるようにしてもよいし、車両11に取り付けられるようにしてもよい。また、表示部52は、ウィンドシールドに重畳されて設けられた透過型の表示デバイスであってもよい。
このように本技術を適用した車両11には、ドアミラー21や表示部52などからなる車載用の表示システムが設けられている。
車両11では、適宜、調光素子23を透過状態または鏡面状態の何れかの状態に変化させて、運転者等が高い視認性で車両11の後方を確認することができるように制御される。
例えば調光素子23が透過状態である場合、外部からの光、特に車両11の後方からの光は殆ど調光素子23を透過し、撮像部22へと入射する。撮像部22は、調光素子23を介して入射した光を受光して光電変換することで、車両11の後方の領域を被写体とする動画像(以下、撮像画像とも称する)を撮像し、得られた撮像画像の画像信号を表示部52へと供給して、表示部52に撮像画像を表示させる。
運転者等は、このようにして表示部52に表示された撮像画像を見ることで、視野面を見ることなく、車両11の後方の状態を確認することができる。
しかも、調光素子23が透過状態である場合、少なくとも調光素子23の位置にハーフミラーがあるときよりも、より多くの光が撮像部22へと入射するため、撮像部22では十分な明るさの撮像画像を得ることができる。これにより、車両11後方が鮮明に写った撮像画像を運転者等に提示することができ、視認性を向上させることができる。
また、故障等の何らかの理由により表示部52に撮像画像が表示されないときなどには、調光素子23が鏡面状態となるように制御され、適宜、表示部52での撮像画像の表示が停止される。
この場合、外部からの光は殆ど調光素子23の表面、つまり視野面で反射するため、視野面はミラーとして機能する。したがって、運転者等は、視野面を見ることにより目視で車両11の後方の状態を確認することができる。
しかも、調光素子23が鏡面状態である場合、少なくとも調光素子23の位置にハーフミラーがあるときよりも、より多くの光が視野面で反射される。そのため、視野面を目視で確認する運転者等には十分な明るさで、つまり十分鮮明に車両11後方の状態を確認することができ、視認性を向上させることができる。
なお、調光素子23の視野面の形状は、平面形状とされてもよいが、運転者等の視野をより広く確保するため、凸面形状などとされるようにしてもよい。
また、ここでは、撮像部22と調光素子23からなる撮像装置がドアミラー21である場合について説明するが、その他、撮像部22と調光素子23からなる撮像装置は、インナーミラーやフェンダーミラーなど、運転者等から見ることが困難である方向を確認するためのミラー等に適用することができる。そのような場合、撮像部22と調光素子23からなる撮像装置は、車両11周囲の所望の領域を撮像可能であり、かつ車両11の座席にいる運転者等の乗員から見える位置に配置されればよい。
〈車両の構成例〉
次に、以上において説明した車両11の機能的な構成例について説明する。
図3は、車両11の機能的な構成例を示す図である。なお、図3において図2における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
図3に示す車両11は、撮像部22、調光素子23、走行状態検出部81、制御部82、表示部52、音声出力部83、および入力部84を有している。
走行状態検出部81は、撮像部22から供給された撮像画像の画像信号や、車両11に設けられた他のセンサ等の出力に基づいて、車両11の車速や走行方向などの車両11の走行状態を検出し、その検出結果を制御部82に供給する。その他、走行状態検出部81では、撮像画像から障害物等のオブジェクトが検出され、その検出結果が制御部82に供給されるようにしてもよい。
制御部82は、車両11全体の動作を制御する。
例えば制御部82は、入力部84から供給された信号に基づいて調光素子23に電圧を印加するなどして、調光素子23を透過状態または鏡面状態の何れかの状態に可変制御したり、調光素子23が透過状態であるときに撮像部22に撮像画像を撮像させたりする。
また、制御部82は、走行状態検出部81から供給された走行状態の検出結果や、オブジェクトの検出結果等に基づいて、図示せぬエンジンやブレーキの駆動を制御するなどして、車両11の運転支援を実現したり、表示部52への各種の画像の表示や音声出力部83からの音声の出力を制御したりする。
表示部52は、例えば電気配線により撮像部22に接続されており、撮像部22から撮像画像の画像信号の供給を受けて、撮像画像を表示する。また、表示部52は、撮像部22から画像信号が供給されない場合には、撮像画像が表示できない旨の警告を自身が表示したり、音声出力部83を制御して警告を音声により出力させたりする。
音声出力部83は、例えばスピーカなどからなり、表示部52や制御部82の制御に従って各種の音声を出力する。
入力部84は、ボタンやスイッチなどからなり、運転者等の使用者の操作に応じた信号を制御部82に供給する。例えば車両11には入力部84としての調光用スイッチが設けられており、運転者等は調光用スイッチを操作することで、調光素子23が透過状態または鏡面状態のうちの何れかの状態となるように状態制御を指示することができる。
〈撮像処理の説明〉
続いて、車両11の具体的な動作について説明する。
すなわち、以下、図4のフローチャートを参照して、車両11による撮像処理について説明する。この撮像処理は、例えば車両11が起動された後、車両11の起動が停止されるまで継続して繰り返し行われる。
ステップS11において、制御部82は、調光素子23に印加する電圧が閾値電圧未満となるように制御して調光素子23を透過状態とする。これにより、外部からの光が調光素子23を介して撮像部22に入射する。
車両11では、撮像部22等に故障がなく、撮像画像の撮像および表示に必要な各ブロックが正常に動作しているときには、継続して調光素子23が透過状態となるように制御される。なお、撮像部22の故障等により、一度、調光素子23が鏡面状態とされた後は、特定の操作が行われるまで継続して鏡面状態のままとされるようにしてもよい。
ステップS12において、撮像部22は撮像画像の撮像を開始する。
すなわち、制御部82は、撮像部22に対して撮像の開始を指示する。すると、撮像部22は、制御部82の指示に従って撮像画像を撮像し、得られた画像信号を走行状態検出部81および表示部52に供給する。
また、走行状態検出部81は、撮像部22から供給された撮像画像の画像信号等に基づいて、車両11の走行状態を検出し、その検出結果を制御部82に供給する。制御部82は、走行状態検出部81から供給された走行状態の検出結果に基づいて、適宜、車両11の走行支援を実現する処理を実行する。
ステップS13において、表示部52は、撮像部22から撮像画像の画像信号の入力(供給)があるか否かを判定する。
なお、撮像画像の画像信号の入力があるか否かの判定は、表示部52ではなく走行状態検出部81で行われ、その判定結果が制御部82に供給されるようにしてもよい。そのような場合には、制御部82は、走行状態検出部81からの判定結果に応じて表示部52や音声出力部83を制御し、適宜、警告を出力させる。
ステップS13において、画像信号の入力があると判定された場合、すなわち撮像部22から表示部52へと画像信号が供給された場合、処理はステップS14へと進む。
ステップS14において、表示部52は、撮像部22から供給された画像信号に基づいて、撮像画像を表示する。これにより、運転者等は、撮像画像を見て高い視認性で車両11の後方を確認することができるようになる。
表示部52に撮像画像が表示されると、その後、処理はステップS16へと進む。
一方、ステップS13において、画像信号の入力がないと判定された場合、すなわち撮像部22から表示部52へと画像信号が供給されなかった場合、処理はステップS15へと進む。
ステップS15において、音声出力部83は警告の音声メッセージを出力する。
すなわち、画像信号の入力がなく、表示部52に撮像画像が表示されていない場合、表示部52は音声出力部83に警告の出力を指示する。すると、音声出力部83は予め記録している音声信号に基づいて、運転者等に対して、撮像画像が表示できない旨を通知する音声メッセージを警告として再生する。また、撮像画像が表示できない旨を通知する文字メッセージや画像を表示部52が警告として表示するようにしてもよい。
なお、警告の出力として、例えば音声出力部83による警告音声の再生、および表示部52による警告表示のうちの何れか一方が行われるようにしてもよいし、それらの両方が行われるようにしてもよい。さらに、振動により警告の出力が行われるようにしてもよいし、音声、画像、振動などの任意のものが組み合わせられて行われるようにしてもよい。
表示部52や音声出力部83により警告が出力されると、運転者等はその警告により、車両11後方を被写体とする撮像画像が表示部52に表示されていない、つまり撮像部22等の故障が発生しているという状況を簡単かつ瞬時に把握することができる。
例えば運転者等は、警告に応じて表示部52の表示等を確認した後、調光素子23を鏡面状態に変化させて視野面で目視による車両11後方の確認を行うかを判断し、その判断に応じて、適宜、入力部84としての調光用スイッチを操作する。
その他、運転者等は、警告が発せられていないときでも、何らかの不具合があると判断したときには、適宜、入力部84としての調光用スイッチを操作する。
ステップS14において撮像画像が表示されたか、またはステップS15において警告が出力されると、ステップS16において、制御部82は、調光素子23を鏡面状態とするか否かを判定する。
例えば入力部84としての調光用スイッチから制御部82に対して、調光素子23を鏡面状態に変化させる旨の信号が供給された場合、調光素子23を鏡面状態とすると判定される。
ステップS16において鏡面状態としないと判定された場合、調光素子23は透過状態のままとされ、撮像処理は終了する。
これに対して、ステップS16において鏡面状態とすると判定された場合、ステップS17において制御部82は、調光素子23に閾値電圧以上の電圧を印加して調光素子23を鏡面状態とし、撮像処理は終了する。
これにより、車両11後方からの光の殆どが調光素子23で反射されるようになり、運転者等は調光素子23の視野面を見て車両11の後方を鮮明に確認することができるようになる。また、制御部82は、調光素子23を鏡面状態とすると、撮像部22を制御して撮像画像の撮像を停止させる。
以上のようにして、車両11は撮像部22等に故障がない正常状態のときには調光素子23を透過状態として撮像画像を表示部52に表示させ、撮像部22等に故障が発生し、撮像画像の表示ができないときには警告を出力する。また、車両11は運転者等による調光用スイッチの操作に応じて調光素子23の状態を透過状態から鏡面状態へと切り替える。
このようにすることで、調光素子23を透過状態として撮像画像により車両11後方の画像を運転者等に提示するときでも、調光素子23を鏡面状態として視野面において目視で車両11の後方を確認できるようにするときでも、車両11後方の視認性を向上させることができる。また、車両11後方の視認性を向上させることで、安全性を向上させることができる。
特に、撮像画像を表示させるときには調光素子23を透過状態とすることで、ハーフミラー等を用いたときのように波長透過率の低下が生じないので、良好な画質の撮像画像を得ることができる。また、撮像部22等の故障時には、調光素子23を鏡面状態とすることで、運転者等は目視により車両11後方を高い視認性で確認することができる。
〈第2の実施の形態〉
〈撮像処理の説明〉
なお、以上においては撮像部22等が故障し、表示部52で撮像画像を表示することができない場合に警告を出力する例について説明した。
しかし、撮像部22等に故障は発生していないが、走行時の振動や衝撃により撮像部22の視野の方向、つまり撮像方向が意図しない方向を向いてしまったり、雨や雪、ドアミラー21内部の曇りや汚れなどにより撮像部22の視界が悪くなってしまったりすることがある。
そのような場合、撮像画像には意図しない方向、つまり車両11後方とは異なる方向の領域が被写体として写っていたり、撮像画像上の被写体が不鮮明になってしまったりして、車両11後方をはっきりと確認することが困難になってしまう。
そこで、意図しない方向が撮像されている場合や、雨等の天候やドアミラー21内部の曇りなどの撮像環境が悪い場合にも運転者等に対して警告が出力されるようにし、運転者等が調光用スイッチを操作するなどして適切に対処できるようにしてもよい。
意図しない方向が撮像されているときや、撮像環境が悪いときに警告を出力する場合、車両11では、例えば図5に示す撮像処理が行われる。
以下、図5のフローチャートを参照して、車両11による撮像処理について説明する。なお、ステップS41およびステップS42の処理は図4のステップS11およびステップS12の処理と同様であるので、その説明は省略する。
ステップS43において、表示部52は撮像部22から供給された画像信号に基づいて、撮像画像を表示する。
ステップS44において、走行状態検出部81は、撮像部22から供給された撮像画像の画像信号に基づいて、車両11後方の視認性が十分であるか否かの判定を行う。すなわち、視認性の判定処理が行われる。
例えば走行状態検出部81は、画像信号に基づいて撮像画像のコントラストの度合いを示すコントラスト評価値を求め、そのコントラスト評価値の値が予め定められた閾値以上である場合、視認性が十分であると判定する。
例えば雨や雪により視界が悪い場合や、ドアミラー21内部が曇っていたり汚れていたりする場合、衝撃等により撮像部22の撮像方向が変化して空のみが被写体として写っている場合などにおいては、撮像画像のコントラストが低くなるので、コントラスト評価値も低くなる。
また、撮像部22の視界が遮られたり、画像信号は出力されるものの撮像部22の画素等に不具合が生じたりして、撮像画像が真っ黒や真っ白になってしまう場合にも撮像画像のコントラストが低くなるので、コントラスト評価値も低くなる。
このようにコントラスト評価値が低い場合には、撮像画像において、空間上の所望する方向である車両11の後方を鮮明に確認できない可能性が高い。そこで走行状態検出部81は、コントラスト評価値が閾値未満であるときには、視認性が不十分であると判定する。
さらに、例えば走行状態検出部81は、撮像画像のフレーム間で差分を求め、得られた差分が大きいとき、すなわち撮像画像の異なるフレームにおける同じ位置関係の画素の画素値の差分の総和が所定の閾値以上であるときに視認性が不十分であるとしてもよい。
例えば車両11の走行中において、撮像部22に対する衝撃等により撮像部22の視野が急激に大きく変化し、撮像部22が車両11の上方など意図しない方向を向いてしまった場合には、撮像画像のフレーム間の差分は大きくなる。
そこで走行状態検出部81は、撮像画像のフレーム間の差分が閾値以上であるときには、視認性が不十分であると判定する。
なお、撮像画像上の車両11後方、つまり車両11後方にある被写体の視認性が十分であるかの判定は、上述したコントラスト評価値や撮像画像のフレーム間の差分に限らず、どのような方法により行われてもよい。例えばセンサにより車両11から見た撮像部22の向きの変化、つまり撮像部22の固定位置のずれを検出し、その検出結果に基づいて、視認性が十分であるかの判定が行われるようにしてもよい。また、コントラスト評価値を用いる方法など、任意の複数の方法を組み合わせて視認性の判定を行うようにしてもよい。
走行状態検出部81は、撮像画像の画像信号に基づいて視認性の判定処理を行うと、その判定処理の結果を制御部82に供給する。
ステップS45において、制御部82は、走行状態検出部81から供給された判定処理の結果に基づいて、撮像画像における、車両11後方の視認性が十分であるか否かを判定する。
ステップS45において視認性が十分であると判定された場合、ステップS46の処理はスキップされて、その後、処理はステップS47へと進む。
これに対して、ステップS45において視認性が十分でないと判定された場合、制御部82は、音声出力部83に警告の出力を指示し、処理はステップS46へと進む。
ステップS46において、音声出力部83は、制御部82の指示に従って警告の音声メッセージを出力し、その後、処理はステップS47へと進む。
例えばステップS46では、運転者等に対して、撮像画像が不鮮明であること等を通知する音声メッセージが警告として再生される。また、図4のステップS15における場合と同様に、制御部82が表示部52を制御し、表示部52が文字メッセージ等により警告を出力するようにしてもよいし、表示部52による表示と音声出力部83による音声などを組み合わせて警告を出力してもよい。
このようにして警告を出力することで、運転者等は、撮像画像では車両11後方を十分な視認性で確認できないという状況を簡単かつ瞬時に把握することができる。運転者等は、警告に応じて表示部52等を確認すると、必要に応じて入力部84としての調光用スイッチを操作する。
ステップS45において視認性が十分であると判定されたか、またはステップS46において警告が出力されると、その後、ステップS47およびステップS48の処理が行われて撮像処理は終了する。なお、これらのステップS47およびステップS48の処理は、図4のステップS16およびステップS17の処理と同様であるので、その説明は省略する。
以上のようにして、車両11は撮像画像の画像信号に基づいて、撮像画像上での車両11後方の視認性が十分であるかを判定し、その判定結果に応じて警告を出力する。また、車両11は運転者等による調光用スイッチの操作に応じて調光素子23の状態を透過状態から鏡面状態へと切り替える。このようにすることで、車両11後方の視認性を向上させることができるだけでなく、安全性も向上させることができる。
なお、図5を参照して説明した撮像処理においても、図4を参照して説明した撮像処理における場合と同様に、撮像画像の画像信号の入力があるか否かに応じて警告を出力するようにしてもよい。
ところで、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、本技術は、以下の構成とすることも可能である。
(1)
撮像部と、
前記撮像部の光軸と交差する位置に配置され、所定の条件が満たされると光の透過率または反射率が変化する調光素子と
を備える撮像装置。
(2)
前記調光素子は、エレクトロクロミック材料、サーモクロミック材料、またはガスクロミック材料により構成される
(1)に記載の撮像装置。
(3)
前記調光素子は、加えられた電圧または電流に応じて、前記透過率または前記反射率が変化する
(1)に記載の撮像装置。
(4)
前記調光素子は、加えられた電圧または電流に応じて、入射した光を反射する鏡面状態となるか、または入射した光を透過させる透過状態となる
(3)に記載の撮像装置。
(5)
前記撮像装置は、車両に取り付けられている
(1)乃至(4)の何れか一項に記載の撮像装置。
(6)
前記撮像部は、前記車両の後方の画像を撮像可能な位置に配置されている
(5)に記載の撮像装置。
(7)
前記撮像装置は、前記車両の周囲を撮像可能であり、かつ前記車両の座席にいる乗員から見える位置に配置されている
(5)に記載の撮像装置。
(8)
撮像部と、
前記撮像部の光軸と交差する位置に配置され、所定の条件が満たされると光の透過率または反射率が変化する調光素子と、
前記撮像部により撮像された画像を表示する表示部と
を備える表示システム。
(9)
前記調光素子は、エレクトロクロミック材料、サーモクロミック材料、またはガスクロミック材料により構成される
(8)に記載の表示システム。
(10)
前記調光素子は、加えられた電圧または電流に応じて、前記透過率または前記反射率が変化する
(8)に記載の表示システム。
(11)
前記調光素子は、加えられた電圧または電流に応じて、入射した光を反射する鏡面状態となるか、または入射した光を透過させる透過状態となる
(10)に記載の表示システム。
(12)
使用者の操作に応じて、前記調光素子を前記透過状態または前記鏡面状態の何れかに変化させる制御部をさらに備える
(11)に記載の表示システム。
(13)
前記表示部への前記画像の入力がない場合、警告を出力する警告出力部をさらに備える
(8)乃至(12)の何れか一項に記載の表示システム。
(14)
前記画像に基づいて、前記画像における視認性の判定を行う判定部と、
前記判定部による判定結果に応じて警告を出力する警告出力部と
をさらに備える(8)乃至(13)の何れか一項に記載の表示システム。
(15)
前記撮像部および前記調光素子は、車両に取り付けられている
(8)乃至(14)の何れか一項に記載の表示システム。
(16)
前記撮像部は、前記車両の後方の画像を撮像可能な位置に配置されている
(15)に記載の表示システム。
(17)
記撮像部は前記車両の周囲を撮像可能であり、前記調光素子は前記車両の座席にいる乗員から見える位置に配置されている
(15)に記載の表示システム。
(18)
撮像部と、
前記撮像部の光軸と交差する位置に配置され、所定の条件が満たされると光の透過率または反射率が変化する調光素子と、
前記撮像部により撮像された画像を表示する表示部と
を備える表示システムの表示方法であって、
前記撮像部が前記調光素子を介して入射した光を受光することにより前記画像を撮像し、
前記表示部が前記画像を表示する
ステップを含む表示方法。
11 車両, 21 ドアミラー, 22 撮像部, 23 調光素子, 52 表示部, 81 走行状態検出部, 82 制御部, 83 音声出力部, 84 入力部

Claims (18)

  1. 撮像部と、
    前記撮像部の光軸と交差する位置に配置され、所定の条件が満たされると光の透過率または反射率が変化する調光素子と
    を備える撮像装置。
  2. 前記調光素子は、エレクトロクロミック材料、サーモクロミック材料、またはガスクロミック材料により構成される
    請求項1に記載の撮像装置。
  3. 前記調光素子は、加えられた電圧または電流に応じて、前記透過率または前記反射率が変化する
    請求項1に記載の撮像装置。
  4. 前記調光素子は、加えられた電圧または電流に応じて、入射した光を反射する鏡面状態となるか、または入射した光を透過させる透過状態となる
    請求項3に記載の撮像装置。
  5. 前記撮像装置は、車両に取り付けられている
    請求項1に記載の撮像装置。
  6. 前記撮像部は、前記車両の後方の画像を撮像可能な位置に配置されている
    請求項5に記載の撮像装置。
  7. 前記撮像装置は、前記車両の周囲を撮像可能であり、かつ前記車両の座席にいる乗員から見える位置に配置されている
    請求項5に記載の撮像装置。
  8. 撮像部と、
    前記撮像部の光軸と交差する位置に配置され、所定の条件が満たされると光の透過率または反射率が変化する調光素子と、
    前記撮像部により撮像された画像を表示する表示部と
    を備える表示システム。
  9. 前記調光素子は、エレクトロクロミック材料、サーモクロミック材料、またはガスクロミック材料により構成される
    請求項8に記載の表示システム。
  10. 前記調光素子は、加えられた電圧または電流に応じて、前記透過率または前記反射率が変化する
    請求項8に記載の表示システム。
  11. 前記調光素子は、加えられた電圧または電流に応じて、入射した光を反射する鏡面状態となるか、または入射した光を透過させる透過状態となる
    請求項10に記載の表示システム。
  12. 使用者の操作に応じて、前記調光素子を前記透過状態または前記鏡面状態の何れかに変化させる制御部をさらに備える
    請求項11に記載の表示システム。
  13. 前記表示部への前記画像の入力がない場合、警告を出力する警告出力部をさらに備える
    請求項8に記載の表示システム。
  14. 前記画像に基づいて、前記画像における視認性の判定を行う判定部と、
    前記判定部による判定結果に応じて警告を出力する警告出力部と
    をさらに備える請求項8に記載の表示システム。
  15. 前記撮像部および前記調光素子は、車両に取り付けられている
    請求項8に記載の表示システム。
  16. 前記撮像部は、前記車両の後方の画像を撮像可能な位置に配置されている
    請求項15に記載の表示システム。
  17. 記撮像部は前記車両の周囲を撮像可能であり、前記調光素子は前記車両の座席にいる乗員から見える位置に配置されている
    請求項15に記載の表示システム。
  18. 撮像部と、
    前記撮像部の光軸と交差する位置に配置され、所定の条件が満たされると光の透過率または反射率が変化する調光素子と、
    前記撮像部により撮像された画像を表示する表示部と
    を備える表示システムの表示方法であって、
    前記撮像部が前記調光素子を介して入射した光を受光することにより前記画像を撮像し、
    前記表示部が前記画像を表示する
    ステップを含む表示方法。
JP2018552504A 2016-11-22 2017-11-10 撮像装置、表示システムおよび方法 Pending JPWO2018096953A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016226479 2016-11-22
JP2016226479 2016-11-22
PCT/JP2017/040616 WO2018096953A1 (ja) 2016-11-22 2017-11-10 撮像装置、表示システムおよび方法

Publications (1)

Publication Number Publication Date
JPWO2018096953A1 true JPWO2018096953A1 (ja) 2019-10-17

Family

ID=62196237

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018552504A Pending JPWO2018096953A1 (ja) 2016-11-22 2017-11-10 撮像装置、表示システムおよび方法

Country Status (4)

Country Link
US (1) US11124117B2 (ja)
EP (1) EP3547021A4 (ja)
JP (1) JPWO2018096953A1 (ja)
WO (1) WO2018096953A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10890494B1 (en) * 2017-03-30 2021-01-12 Apple Inc. Camera attachment and image data processing for temperature measurement
JP6984974B2 (ja) * 2017-10-25 2021-12-22 アルパイン株式会社 車両用ドアミラー装置
JP6933955B2 (ja) * 2017-10-27 2021-09-08 京セラ株式会社 サイドミラー装置、サイドミラーシステム、および車両
JP7063245B2 (ja) * 2018-11-13 2022-05-09 トヨタ自動車株式会社 車両用ミラーシステム
CN110300257B (zh) * 2019-06-13 2020-12-08 广东技术师范大学天河学院 一种基于深度学习的人脸追踪安防监控系统及其使用方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05294183A (ja) * 1992-04-17 1993-11-09 Canon Inc 車載監視カメラ装置
JP2006298318A (ja) * 2005-04-25 2006-11-02 Aisin Aw Co Ltd 周辺監視装置
JP2009180822A (ja) * 2008-01-29 2009-08-13 Olympus Corp 撮像装置
JP2010188903A (ja) * 2009-02-19 2010-09-02 Denso Corp 車外映像表示システムおよび車両
JP2010273014A (ja) * 2009-05-20 2010-12-02 Toshiba Alpine Automotive Technology Corp 移動体用カメラ装置及び付着物検出方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5523811A (en) * 1992-04-17 1996-06-04 Canon Kabushiki Kaisha Camera device for moving body
JPH07186831A (ja) 1993-12-28 1995-07-25 Mitsubishi Electric Corp 自動車の後側方監視装置
AU2001243285A1 (en) * 2000-03-02 2001-09-12 Donnelly Corporation Video mirror systems incorporating an accessory module
US20080304819A1 (en) 2007-06-08 2008-12-11 Sony Ericsson Mobile Communications Ab Thin active camera cover for an electronic device
JP2014183206A (ja) 2013-03-19 2014-09-29 Sony Corp 固体撮像装置および固体撮像装置の駆動方法ならびに電子機器
JP6464479B2 (ja) * 2015-03-31 2019-02-06 パナソニックIpマネジメント株式会社 電子ミラー装置
JP6757176B2 (ja) * 2015-05-21 2020-09-16 日東電工株式会社 調光フィルムおよびその製造方法、ならびに調光素子
CN105807526A (zh) * 2016-04-18 2016-07-27 京东方科技集团股份有限公司 可在显示态和镜面态之间相互切换的显示装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05294183A (ja) * 1992-04-17 1993-11-09 Canon Inc 車載監視カメラ装置
JP2006298318A (ja) * 2005-04-25 2006-11-02 Aisin Aw Co Ltd 周辺監視装置
JP2009180822A (ja) * 2008-01-29 2009-08-13 Olympus Corp 撮像装置
JP2010188903A (ja) * 2009-02-19 2010-09-02 Denso Corp 車外映像表示システムおよび車両
JP2010273014A (ja) * 2009-05-20 2010-12-02 Toshiba Alpine Automotive Technology Corp 移動体用カメラ装置及び付着物検出方法

Also Published As

Publication number Publication date
US20190270409A1 (en) 2019-09-05
EP3547021A1 (en) 2019-10-02
US11124117B2 (en) 2021-09-21
WO2018096953A1 (ja) 2018-05-31
EP3547021A4 (en) 2019-10-02

Similar Documents

Publication Publication Date Title
WO2018096953A1 (ja) 撮像装置、表示システムおよび方法
EP2794353B1 (en) Vehicle rear monitoring system
JP5099451B2 (ja) 車両周辺確認装置
US8009977B2 (en) On-vehicle lighting apparatus
WO2015037117A1 (ja) 情報表示システム及び情報表示装置
JP2019125920A (ja) モニター表示システム及びその表示方法
JP2004058828A (ja) 車両前方表示システム
JP2009078597A (ja) 後方確認システム
JP2006298318A (ja) 周辺監視装置
JP2010058742A (ja) 車両用運転支援装置
JP2018088642A (ja) 車両用ミラーシステム
JP2010179850A (ja) 車両用表示装置
JP2017202741A (ja) 車両用視認装置
JP2017058600A (ja) 表示制御装置、画像表示システム、及び、表示制御方法
JP4244684B2 (ja) 車両用監視装置
JP2010006129A (ja) 車両後方情報表示装置および車両後方情報表示方法
JP2011189775A (ja) 車両の後側方確認装置
CN111347998A (zh) 移动体用拍摄系统
US10696231B2 (en) In-vehicle image display system and image processing method
JP2018043642A (ja) 車両用視認装置
JP2012054664A (ja) 画像処理装置、画像表示システム及び画像表示方法
JP2019001293A (ja) 車載用表示装置
JP2011234031A (ja) 車載用撮像装置
JP6586972B2 (ja) 車両用画像表示装置及び画像処理方法
JP2019110390A (ja) 車両周辺監視装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201005

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210817

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211006

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220307

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220726