WO2024090094A1 - 電子ミラー装置 - Google Patents

電子ミラー装置 Download PDF

Info

Publication number
WO2024090094A1
WO2024090094A1 PCT/JP2023/034759 JP2023034759W WO2024090094A1 WO 2024090094 A1 WO2024090094 A1 WO 2024090094A1 JP 2023034759 W JP2023034759 W JP 2023034759W WO 2024090094 A1 WO2024090094 A1 WO 2024090094A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
vehicle
facial expression
display
Prior art date
Application number
PCT/JP2023/034759
Other languages
English (en)
French (fr)
Inventor
康太郎 鎌田
Original Assignee
株式会社Ｊｖｃケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｊｖｃケンウッド filed Critical 株式会社Ｊｖｃケンウッド
Publication of WO2024090094A1 publication Critical patent/WO2024090094A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/29—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area inside the vehicle, e.g. for viewing passengers or cargo
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to an electronic mirror device used as a rearview mirror.
  • Patent Document 1 also proposes a method of displaying an icon of the facial expression of a person sitting in the back seat on a display unit in the front seat.
  • the display unit in the front seat mentioned above is assumed to be the display of a car navigation system, and when the driver looks at the display of the car navigation system, their attention to the road ahead decreases.
  • This embodiment was made in consideration of these circumstances, and its purpose is to provide technology that allows you to safely check the situation in the back seat.
  • an electronic mirror device includes a first imaging unit that captures an image of the rear of the vehicle, a second imaging unit that captures an image of the rear seat inside the vehicle, an electronic mirror display unit that displays the rear image of the vehicle captured by the first imaging unit, an image recognition unit that recognizes the facial expression of a person or animal in the rear seat from the image captured by the second imaging unit, and a display control unit that causes an image representing the facial expression to be superimposed on the rear image and displayed on the electronic mirror display unit.
  • FIG. 1 is a diagram for explaining an example of installation of a digital mirror apparatus according to an embodiment.
  • 1 is a diagram showing a system configuration of a digital mirror apparatus according to an embodiment.
  • FIG. 13 is a diagram showing an example of a setting screen related to displaying facial expressions of people or animals in the back seats.
  • FIG. 13 is a diagram showing an example of a case where a crying child is sitting in the back seat.
  • FIG. 13 is a diagram showing an example of a case where an angry child is sitting in the back seat.
  • 5 is a flowchart showing an example of the operation of the digital mirror apparatus according to the embodiment.
  • 7A and 7B are diagrams showing examples of a screen in which an image showing facial expressions is superimposed on a rear view image displayed on the electronic mirror display unit.
  • 8A and 8B are diagrams showing another example of a screen in which an image showing facial expressions is superimposed on a rear view image displayed on the electronic mirror display unit.
  • FIG. 1 is a diagram for explaining an example of installation of an electronic mirror device 1 according to an embodiment.
  • the electronic mirror device 1 according to the embodiment includes a main body 1a and a rear imaging unit 21.
  • the main body 1a of the electronic mirror device 1 is placed on top of the mirror surface of an existing optical rearview mirror and fixed to the existing rearview mirror with multiple bands.
  • the rear imaging unit 21 is fixed, for example, with double-sided tape to the inside of the rear window of the vehicle V1.
  • the rear imaging unit 21 may be installed in any position as long as it is able to capture an image of the area behind the vehicle V1, or it may be stored in a waterproof case and installed outside the vehicle V1.
  • an electronic mirror device 1 also called a mirror recorder integrated with a drive recorder
  • a forward imaging unit 23 is installed on the back surface of the main body 1a (the surface facing the traveling direction of the vehicle V1).
  • an interior imaging unit 22 that captures images of the rear seat Sr in the vehicle V1 is installed on the top of the main body 1a.
  • the interior imaging unit 22 may be installed in any position as long as it is capable of capturing images of the rear seat Sr, and may be installed in a specified position on the ceiling of the passenger compartment, for example.
  • the camera of the interior monitoring system may be repurposed as the interior imaging unit 22 in this embodiment.
  • FIG. 2 is a diagram showing the system configuration of the digital mirror device 1 according to the embodiment.
  • the digital mirror device 1 includes a processing unit 10, a rear image capturing unit 21, an in-vehicle image capturing unit 22, a front image capturing unit 23, a digital mirror display unit 30, an operation unit 40, and a recording medium 50.
  • the rear imaging unit 21, the in-vehicle imaging unit 22, and the front imaging unit 23 each include a lens and a solid-state imaging element.
  • a CMOS (Complementary Metal Oxide Semiconductor) image sensor or a CCD (Charge Coupled Device) image sensor can be used as the solid-state imaging element.
  • the solid-state imaging element converts the light incident through the lens into an electrical video signal and outputs it to the processing unit 10.
  • the electronic mirror display unit 30 has a display such as an LCD display, an organic EL display, or a mini LED display, and displays images supplied from the processing unit 10.
  • the operation unit 40 accepts operations by a user (the driver Pd in this embodiment) and outputs an operation signal according to the content of the user's operation to the processing unit 10.
  • the electronic mirror display unit 30 and the operation unit 40 form a touch panel display. Note that physical buttons may be provided around the electronic mirror display unit 30 as part of the operation unit 40.
  • the electronic mirror display unit 30 mainly displays a rear image of the vehicle V1 captured by the rear imaging unit 21.
  • the driver Pd can operate the operation unit 40 to select the image to be displayed on the electronic mirror display unit 30. Specifically, the driver Pd can select either the rear image of the vehicle V1 captured by the rear imaging unit 21, the front image of the vehicle V1 captured by the front imaging unit 23, or both images (split screen).
  • the driver Pd can operate the operation unit 40 (for example, by pressing the power button on the bottom of the main body 1a) to select whether to use the electronic mirror display unit 30 in a display mode that displays a rearward image, etc., or as a normal optical rearview mirror (mirror mode).
  • the display mode and mirror mode can be switched by stacking a half mirror and glass on the display and controlling the transmittance and reflectance of the half mirror.
  • various operation signals may be generated by the user's voice commands.
  • the recording medium 50 is a large-capacity non-volatile recording medium, and may be, for example, a semiconductor memory card.
  • the recording medium 50 can record a front image of the vehicle V1 captured by the front imaging unit 23, and a rear image of the vehicle V1 captured by the rear imaging unit 21.
  • the processing unit 10 includes an image recognition unit 11, a display control unit 12, and a recording control unit 13.
  • the processing unit 10 is realized by a combination of hardware resources and software resources, or by hardware resources alone.
  • hardware resources a CPU, ROM, RAM, GPU (Graphics Processing Unit), ASIC (Application Specific Integrated Circuit), FPGA (Field Programmable Gate Array), and other LSIs can be used.
  • software resources programs such as firmware can be used.
  • the recording control unit 13 records the forward image of the vehicle V1 captured by the forward imaging unit 23 and the rear image of the vehicle V1 captured by the rear imaging unit 21 on the recording medium 50 in a predetermined format.
  • the image recognition unit 11 recognizes the faces of people (mainly children Pr and infants) or animals (e.g. pets such as dogs and cats) in the back seat Sr from images captured by the in-vehicle imaging unit 22.
  • the image recognition unit 11 is equipped with a detector for detecting the face of the person or animal to be detected.
  • the detector is generated, for example, for each facial expression of the person or animal to be detected, and is stored as dictionary data. Note that in this embodiment, it is not necessary to identify individual people.
  • Each detector is generated by learning the facial features contained in numerous images of the people or animals to be detected. Facial expressions are annotated on the faces of people or animals in the images before learning. For example, HOG (Histograms of Oriented Gradients), Haar-like, LBP (Local Binary Patterns), etc. can be used as features.
  • the image recognition unit 11 uses each detector to search within each frame image of the video input from the in-vehicle imaging unit 22.
  • the image recognition unit 11 detects the face of a person or animal within a frame image, it tracks the detected face within the subsequent frame image.
  • a particle filter or a mean shift method can be used to track the face.
  • the display control unit 12 superimposes an image showing the facial expression of a person or animal in the rear seat Sr, recognized by the image recognition unit 11, onto the rear image of the vehicle V1.
  • the display control unit 12 may superimpose the image showing the expression, for example, using an OSD (On-Screen Display) function.
  • the display control unit 12 causes the rear image of the vehicle V1, on which the image showing the expression is superimposed, to be displayed on the electronic mirror display unit 30.
  • FIG. 3 shows an example of a settings screen for displaying the facial expressions of people or animals in the rear seat Sr.
  • the user selects either “icon” or “live action” as the display format for the facial expression.
  • the user can specify the type of facial expression to be superimposed on the rear image.
  • “sleeping,” “crying,” “angry,” and “laughing” are set as facial expressions that can be superimposed, and the user can specify whether or not to display each facial expression.
  • the user selects the facial expression display mode from “always display,” “display when facial expression changes,” or “hide.” If “display when facial expression changes” is selected, the item for the display time after a facial expression change becomes valid. In the example shown in Figure 3, the user selects either “1 minute” or "30 seconds.” The facial expression will be hidden when the selected time has elapsed since it was displayed as an icon or in live action. If “always display” or “hide” is selected as the facial expression display mode, the item for the display time after a facial expression change becomes invalid.
  • the display control unit 12 holds multiple icon images corresponding to different facial expressions. When “icon” is selected, the display control unit 12 selects an icon image corresponding to the facial expression recognized by the image recognition unit 11, and superimposes the selected icon image on the rear image.
  • the display control unit 12 cuts out an image of an area including the face of a person or animal from the frame image captured by the in-vehicle image capture unit 22, and superimposes the image of the cut-out area including the face on the rear image.
  • the area including the face may be an area including only the face, or an area including the face and upper body.
  • Figure 4 shows an example of a case where a crying child Pr is sitting in the back seat Sr.
  • the display control unit 12 cuts out an area C1 including the face and upper body of the crying child Pr from the frame image F1.
  • the display control unit 12 reads out a crying icon image I1.
  • FIG. 5 shows an example of an angry child Pr sitting in the back seat Sr.
  • the display control unit 12 cuts out an area C2 including the face and upper body of the angry child Pr from the frame image F2.
  • the display control unit 12 reads out an angry icon image I2.
  • FIG. 6 is a flowchart showing an example of the operation of the digital mirror device 1 according to the embodiment.
  • An image showing the rear seat Sr is input from the in-car imaging unit 22 to the processing unit 10 (step S10).
  • the image recognition unit 11 searches each frame image input from the in-car imaging unit 22 using each detector (step S11).
  • step S12 Yes
  • step S13 the image recognition unit 11 identifies the facial expression of the person.
  • step S14 If “always display” is selected as the facial expression display mode (step S14: Yes) and "icon” is selected as the facial expression display form (step S15: icon), the display control unit 12 reads out an icon image corresponding to the facial expression (step S16). The display control unit 12 superimposes the read-out icon image on the rear image captured by the rear imaging unit 21 and displays it on the electronic mirror display unit 30 (step S17). While the display of the rear image has not ended (step S20: No), the process transitions to step S10. If the display of the rear image has ended (step S20: Yes), the process of superimposing the image representing the facial expression also ends.
  • step S14 Yes
  • “live-action” is selected as the facial expression display form
  • step S15 live-action
  • the display control unit 12 cuts out an image of the facial area of the detected person (step S18).
  • the display control unit 12 superimposes the cut-out image of the facial area on the rear image captured by the rear imaging unit 21 and displays it on the electronic mirror display unit 30 (step S19). While the display of the rear image has not ended (step S20: No), the process transitions to step S10. If the display of the rear image has ended (step S20: Yes), the process of superimposing the image representing the facial expression also ends.
  • step S14 No, step S21: Yes
  • step S22 Yes
  • step S14 No, step S21: Yes
  • step S22 No
  • step S23 No
  • step S14 No, step S21: Yes
  • step S22 No
  • step S23 YES
  • the display control unit 12 ends the superimposed display of the image representing the facial expression (step S24). It transitions to step S20.
  • step S14 If “Hide” is selected as the facial expression display mode (step S14: No, step S21: No), the display control unit 12 does not superimpose the image representing the facial expression (step S24). If no person is detected in the rear seat Sr (step S12: No), the display control unit 12 also does not superimpose the image representing the facial expression (step S24). The process transitions to step S20.
  • Figures 7(a)-(b) are diagrams showing example screens in which an image showing a facial expression is superimposed on the rear image displayed on the electronic mirror display unit 30.
  • the rear image displayed on the electronic mirror display unit 30 shows a rear vehicle V2.
  • Figure 7(a) shows an example screen in which a crying icon image I1 is superimposed on the left edge region of the rear image.
  • Figure 7(b) shows an example screen in which a cut-out image of area C1 including the face and upper body of a crying child Pr is superimposed on the left edge region of the rear image.
  • the image recognition unit 11 may be equipped with a detector for detecting a rear vehicle. In this case, the image recognition unit 11 can detect a rear vehicle from the rear image captured by the rear imaging unit 21. When the image recognition unit 11 detects a rear vehicle, the display control unit 12 superimposes an image representing a facial expression on an area other than the area in the rear image where the rear vehicle is shown. When overlapping with the area in the rear image where the rear vehicle is shown cannot be avoided, the display control unit 12 may skip superimposing the image representing a facial expression. Note that when a rear vehicle is detected by the image recognition unit 11, the display control unit 12 may uniformly skip superimposing the image representing a facial expression.
  • FIGS. 8(a)-(b) are diagrams showing another example screen in which an image showing a facial expression is superimposed on the rear image displayed on the electronic mirror display unit 30.
  • a rear vehicle V2 is in the center lane of a three-lane road, and a rear vehicle V3 is also in the right lane.
  • the display control unit 12 superimposes a crying icon image I1 on the right edge region of the rear image.
  • a rear vehicle V2 is in the center lane
  • a rear vehicle V3 is in the right lane
  • a rear vehicle V4 is also in the left lane.
  • the display control unit 12 skips displaying the icon image I1 because it cannot secure an area to display the icon image I1.
  • an area for displaying icon image I1 can be secured. If the image recognition unit 11 detects a rear vehicle but the area the rear vehicle occupies on the screen is small, the display control unit 12 may determine that the distance is sufficient and display icon image I1.
  • the driver Pd when using the electronic mirror device 1, the driver Pd can safely check the state of the person in the back seat Sr.
  • the driver Pd can check the facial expression of the person in the back seat Sr without turning around, which prevents the driver from looking away while driving.
  • since there is no need to switch between display mode and mirror mode it is possible to avoid a decrease in attention to driving that would accompany the switching operation.
  • safety since there is no change in the focal length of the eyes that accompanies mode switching, safety is not reduced. In particular, it takes time for the elderly to focus their eyes, which reduces safety when switching modes.
  • the electronic mirror device 1 may be a pure electronic mirror device that does not include the functions of a drive recorder. In that case, the forward imaging unit 23, the recording medium 50, and the recording control unit 13 are omitted.
  • the settings for displaying facial expressions shown in FIG. 3 may include an option for setting the size of the image showing the facial expression to be superimposed on the rear image.
  • the present invention can be used in electronic mirror devices used as rearview mirrors.
  • 1 Digital mirror device 1a Digital mirror main body, 10 Processing unit, 11 Image recognition unit, 12 Display control unit, 13 Recording control unit, 21 Rear imaging unit, 22 In-vehicle imaging unit, 23 Front imaging unit, 30 Digital mirror display unit, 40 Operation unit, 50 Recording medium, V1 Vehicle, Sr Rear seat, Pd Driver, Pr Child.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

後方撮像部（２１）は、車両（Ｖ１）の後方を撮像する。車内撮像部（２２）は、車両（Ｖ１）内の後部座席を撮像する。電子ミラー表示部（３０）は、後方撮像部（２１）で撮像された車両（Ｖ１）の後方画像を表示する。画像認識部（１１）は、車内撮像部（２２）で撮像された画像から、後部座席にいる人物または動物の表情を認識する。表示制御部（１２）は、表情を表す画像を後方画像に重畳させて電子ミラー表示部（３０）に表示させる。

Description

電子ミラー装置
　本発明は、バックミラーとして使用される電子ミラー装置に関する。
　近年、従来の光学式のバックミラー（ルームミラーともいう）を、電子式のデジタルバックミラーに置き換える動きが拡大している。一般的に、車両後方を撮影するリアカメラはリアガラスに設置されるため、デジタルバックミラーが使用される場合、車内の荷物等により車両後方の視野が遮られることがない。反面、デジタルバックミラーに表示される映像には、後部座席が映らず、後部座席の状況を確認することが難しくなる。従来の光学式のバックミラーでは、運転手が視点を少し変えれば、後部座席の様子を見ることができていた。
　これに対して、デジタルバックミラーと光学バックミラーを切替可能な電子ミラー装置が開発されている。また特許文献１には、前部座席の表示部に、後部座席に座っている人物の表情をアイコン化して表示する方法が提案されている。
特開２０１５－６７２５４号公報
　運転手が後ろを振り向いて後部座席の様子を確認するのは、よそ見運転になる。デジタルバックミラーと光学バックミラーを切替可能な電子ミラー装置では、切替にボタン操作等が必要になる。また、デジタルバックミラーと光学バックミラーでは視野角および距離感が異なり、光学バックミラーに切替後、光学バックミラーに目の焦点が合うまでに時間がかかる。上記の前部座席の表示部は、カーナビゲーション装置のディスプレイが想定されており、運転手がカーナビゲーション装置のディスプレイを見ると、前方への注意が低下する。
　本実施形態はこうした状況に鑑みてなされたものであり、その目的は、安全に後部座席の様子を確認する技術を提供することにある。
　上記課題を解決するために、本実施形態のある態様の電子ミラー装置は、車両の後方を撮像する第１撮像部と、前記車両内の後部座席を撮像する第２撮像部と、前記第１撮像部で撮像された前記車両の後方画像を表示する電子ミラー表示部と、前記第２撮像部で撮像された画像から、前記後部座席にいる人物または動物の表情を認識する画像認識部と、前記表情を表す画像を前記後方画像に重畳させて前記電子ミラー表示部に表示させる表示制御部と、を備える。
　なお、以上の構成要素の任意の組合せ、本実施形態の表現を方法、装置、システム、記録媒体、コンピュータプログラム等の間で変換したものもまた、本実施形態の態様として有効である。
　本実施形態によれば、安全に後部座席の様子を確認することができる。
実施形態に係る電子ミラー装置の設置例を説明するための図である。 実施形態に係る電子ミラー装置のシステム構成を示す図である。 後部座席にいる人物または動物の表情の表示に関する設定画面の一例を示す図である。 後部座席に泣いている子供が座っている場合の例を示す図である。 後部座席に怒っている子供が座っている場合の例を示す図である。 実施形態に係る電子ミラー装置の動作例を示すフローチャートである。 図７（ａ）－（ｂ）は、電子ミラー表示部に表示される後方画像に、表情を表す画像を重畳させた画面例を示す図である。 図８（ａ）－（ｂ）は、電子ミラー表示部に表示される後方画像に、表情を表す画像を重畳させた別の画面例を示す図である。
　図１は、実施形態に係る電子ミラー装置１の設置例を説明するための図である。実施形態に係る電子ミラー装置１は、本体１ａと後方撮像部２１を備える。図１に示す例では、電子ミラー装置１の本体１ａは、既存の光学式のバックミラーのミラー面の上に重ねられ、複数のバンドで既存のバックミラーに固定される。後方撮像部２１は例えば、車両Ｖ１のリアガラスの内側に両面テープで固定される。なお後方撮像部２１は、車両Ｖ１の後方の映像を撮像できる位置であれば、どの位置に設置されてもよく、防水ケースに収納して車両Ｖ１の外に設置してもよい。
　以下、本実施形態では、ドライブレコーダと一体化された電子ミラー装置１（ミラーレコーダとも称される）を説明する。ミラーレコーダでは、本体１ａの裏面（車両Ｖ１の進行方向側の面）に前方撮像部２３が設置される。さらに本実施形態では、本体１ａの上部に、車両Ｖ１内の後部座席Ｓｒの映像を撮像する車内撮像部２２が設置される。なお車内撮像部２２は、後部座席Ｓｒの映像を撮像できる位置であれば、どの位置に設置されてもよく、例えば、車室天井の所定の位置に設置されてもよい。また、車室内モニタリングシステムが設置されている車両Ｖ１の場合、車室内モニタリングシステムのカメラを、本実施形態に係る車内撮像部２２として転用してもよい。
　図２は、実施形態に係る電子ミラー装置１のシステム構成を示す図である。電子ミラー装置１は、処理部１０、後方撮像部２１、車内撮像部２２、前方撮像部２３、電子ミラー表示部３０、操作部４０及び記録媒体５０を備える。
　後方撮像部２１、車内撮像部２２及び前方撮像部２３はそれぞれ、レンズ、固体撮像素子を含む。固体撮像素子には例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサまたはＣＣＤ（Charge Coupled Device）イメージセンサを使用することができる。固体撮像素子は、レンズを介して入射される光を電気的な映像信号に変換して処理部１０に出力する。
　電子ミラー表示部３０は、液晶ディスプレイ、有機ＥＬディスプレイ、ミニＬＥＤディスプレイ等のディスプレイを備え、処理部１０から供給される画像を表示する。操作部４０は、ユーザ（本実施形態では運転手Ｐｄ）の操作を受け付け、ユーザの操作内容に応じた操作信号を処理部１０に出力する。本実施形態では、電子ミラー表示部３０と操作部４０は、タッチパネルディスプレイを構成している。なお、電子ミラー表示部３０の周囲に、操作部４０の一部として物理ボタンが設置されていてもよい。
　電子ミラー表示部３０は、主に後方撮像部２１で撮像された車両Ｖ１の後方画像を表示する。運転手Ｐｄは操作部４０を操作して、電子ミラー表示部３０に表示される映像を選択することができる。具体的には、後方撮像部２１で撮像された車両Ｖ１の後方画像、前方撮像部２３で撮像された車両Ｖ１の前方画像、または両方の画像（分割画面）のいずれかを選択することができる。
　運転手Ｐｄは操作部４０を操作して（例えば、本体１ａの下部の電源ボタンを押下して）、電子ミラー表示部３０を、後方画像等を表示させるディスプレイモードとして使用するか、通常の光学的なバックミラー（ミラーモード）として使用するかを選択することができる。例えば、ディスプレイ上にハーフミラーとガラスを積層し、ハーフミラーの透過率と反射率を制御することでディスプレイモードとミラーモードを切り替えることができる。
　なお、操作部４０がマイクを有し、処理部１０が音声認識部を有することで、ユーザの音声コマンドにより各種の操作信号が生成されてもよい。
　記録媒体５０は大容量の不揮発性の記録媒体であり、例えば、半導体メモリカードを使用することができる。記録媒体５０には、前方撮像部２３で撮像された車両Ｖ１の前方画像、及び後方撮像部２１で撮像された車両Ｖ１の後方画像を記録することができる。
　処理部１０は、画像認識部１１、表示制御部１２及び記録制御部１３を含む。処理部１０は、ハードウェア資源とソフトウェア資源の協働、またはハードウェア資源のみにより実現される。ハードウェア資源として、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、その他のＬＳＩを利用できる。ソフトウェア資源としてファームウェア等のプログラムを利用できる。
　記録制御部１３は、前方撮像部２３で撮像された車両Ｖ１の前方画像、及び後方撮像部２１で撮像された車両Ｖ１の後方画像を、所定のフォーマットで記録媒体５０に記録する。
　画像認識部１１は、車内撮像部２２で撮像された画像から、後部座席Ｓｒにいる人物（主に、子供Ｐｒや乳幼児が対象）または動物（例えば、犬、猫等のペット）の顔を認識する。画像認識部１１は、検出対象とする人物または動物の顔を検出するための検出器を備える。検出器は例えば、検出対象とする人物または動物の顔の表情ごとに生成され、辞書データとして保持される。なお本実施形態では、人物個人を特定する必要はない。
　各検出器は、検出対象とする人物または動物の映った多数の画像に含まれる顔の特徴量をそれぞれ学習することで生成される。画像内の人物または動物の顔には、学習前に表情のアノテーションが付与される。特徴量として例えば、ＨＯＧ(Histograms of Oriented Gradients)、Haar-like、ＬＢＰ(Local Binary Patterns)等を使用することができる。
　画像認識部１１は、車内撮像部２２から入力される映像の各フレーム画像内を、各検出器を用いて探索する。画像認識部１１は、フレーム画像内において人物または動物の顔を検出すると、検出した顔を、後続するフレーム画像内において追従する。顔の追従には例えば、パーティクルフィルタやミーンシフト法を使用することができる。
　表示制御部１２は、車両Ｖ１の後方画像に、画像認識部１１により認識された後部座席Ｓｒにいる人物または動物の顔の表情を表す画像を重畳させる。表示制御部１２は例えば、ＯＳＤ（On-Screen Display）機能を使用して、当該表情を表す画像を重畳させてもよい。表示制御部１２は、当該表情を表す画像が重畳された車両Ｖ１の後方画像を、電子ミラー表示部３０に表示させる。
　図３は、後部座席Ｓｒにいる人物または動物の表情の表示に関する設定画面の一例を示す図である。図３に示す設定例では、ユーザは、表情の表示形態として、「アイコン」、「実写」のいずれかを選択する。ユーザは、後方画像に重畳させるべき表情の種類を指定することができる。図３に示す例では、重畳表示が可能な表情として、「寝ている」、「泣いている」、「怒っている」、「笑っている」が設定されており、ユーザは表情ごとに表示の有無を指定することができる。
　ユーザは、表情の表示モードとして、「常時表示」、「表情に変化があった場合に表示」、「非表示」のいずれかを選択する。「表情に変化があった場合に表示」が選択された場合、表情変化後の表示時間の項目が有効になる。図３に示す例では、ユーザは、「１分」、「３０秒」のいずれかを選択する。アイコンまたは実写で表情が表示されてから、選択された時間が経過すると表情が非表示になる。表情の表示モードとして、「常時表示」または「非表示」が選択された場合、表情変化後の表示時間の項目は無効になる。
　表示制御部１２は、表情の種類に対応する複数のアイコン画像を保持する。「アイコン」が選択されている設定状態では、表示制御部１２は、画像認識部１１で認識された表情に対応したアイコン画像を選択し、選択したアイコン画像を後方画像に重畳させる。
　「実写」が選択されている設定状態では、表示制御部１２は、車内撮像部２２で撮像されたフレーム画像から、人物または動物の顔を含む領域の画像を切り出し、切り出した顔を含む領域の画像を後方画像に重畳させる。顔を含む領域は、顔のみを含む領域であってもよいし、顔と上半身を含む領域であってもよい。
　図４は、後部座席Ｓｒに泣いている子供Ｐｒが座っている場合の例を示す。「実写」が選択されている設定状態では、表示制御部１２は、フレーム画像Ｆ１から、泣いている子供Ｐｒの顔と上半身を含む領域Ｃ１を切り出す。「アイコン」が選択されている設定状態では、表示制御部１２は、泣いているアイコン画像Ｉ１を読み出す。
　図５は、後部座席Ｓｒに怒っている子供Ｐｒが座っている場合の例を示す。「実写」が選択されている設定状態では、表示制御部１２は、フレーム画像Ｆ２から、怒っている子供Ｐｒの顔と上半身を含む領域Ｃ２を切り出す。「アイコン」が選択されている設定状態では、表示制御部１２は、怒っているアイコン画像Ｉ２を読み出す。
　図６は、実施形態に係る電子ミラー装置１の動作例を示すフローチャートである。車内撮像部２２から処理部１０に後部座席Ｓｒが映った画像が入力される（ステップＳ１０）。画像認識部１１は、車内撮像部２２から入力される各フレーム画像内を、各検出器を用いて探索する（ステップＳ１１）。フレーム画像内の後部座席Ｓｒに人物が検出されると（ステップＳＳ１２：Ｙｅｓ）、画像認識部１１は、人物の表情を特定する（ステップＳ１３）。
　表情の表示モードとして「常時表示」が選択され（ステップＳ１４：Ｙｅｓ）、表情の表示形態として「アイコン」が選択されている場合（ステップＳ１５：アイコン）、表示制御部１２は、表情に対応するアイコン画像を読み出す（ステップＳ１６）。表示制御部１２は、後方撮像部２１で撮像されている後方画像に、読み出したアイコン画像を重畳して電子ミラー表示部３０に表示させる（ステップＳ１７）。後方画像の表示が終了していない間（ステップＳ２０：Ｎｏ）、ステップＳ１０に遷移する。後方画像の表示が終了した場合は（ステップＳ２０：Ｙｅｓ）、表情を表す画像の重畳処理も終了する。
　表情の表示モードとして「常時表示」が選択され（ステップＳ１４：Ｙｅｓ）、表情の表示形態として「実写」が選択されている場合（ステップＳ１５：実写）、表示制御部１２は、検出された人物の顔領域の画像を切り出す（ステップＳ１８）。表示制御部１２は、後方撮像部２１で撮像されている後方画像に、切り出した顔領域の画像を重畳して電子ミラー表示部３０に表示させる（ステップＳ１９）。後方画像の表示が終了していない間（ステップＳ２０：Ｎｏ）、ステップＳ１０に遷移する。後方画像の表示が終了した場合は（ステップＳ２０：Ｙｅｓ）、表情を表す画像の重畳処理も終了する。
　表情の表示モードとして、「表情に変化があった場合に表示」が選択されている場合で（ステップＳ１４：Ｎｏ、ステップＳ２１：Ｙｅｓ）、前回のフレーム画像から表情に変化がある場合（ステップＳ２２：Ｙｅｓ）、ステップＳ１５－ステップＳ２０の処理を実行する。
　表情の表示モードとして、「表情に変化があった場合に表示」が選択されている場合で（ステップＳ１４：Ｎｏ、ステップＳ２１：Ｙｅｓ）、前回のフレーム画像から表情に変化がない場合で（ステップＳ２２：Ｎｏ）、表情変化後の表示時間が経過していない場合（ステップＳ２３：Ｎｏ）、ステップＳ２０に遷移する。
　表情の表示モードとして、「表情に変化があった場合に表示」が選択されている場合で（ステップＳ１４：Ｎｏ、ステップＳ２１：Ｙｅｓ）、前回のフレーム画像から表情に変化がない場合で（ステップＳ２２：Ｎｏ）、表情変化後の表示時間が経過した場合（ステップＳ２３：ＹＥＳ）、表示制御部１２は表情を表す画像の重畳表示を終了する（ステップＳ２４）。ステップＳ２０に遷移する。
　表情の表示モードとして、「非表示」が選択されている場合（ステップＳ１４：Ｎｏ、ステップＳ２１：Ｎｏ）、表示制御部１２は表情を表す画像を重畳表示させない（ステップＳ２４）。後部座席Ｓｒに人物が検出されない場合も（ステップＳ１２：Ｎｏ）、表示制御部１２は表情を表す画像を重畳表示させない（ステップＳ２４）。ステップＳ２０に遷移する。
　図７（ａ）－（ｂ）は、電子ミラー表示部３０に表示される後方画像に、表情を表す画像を重畳させた画面例を示す図である。電子ミラー表示部３０に表示される後方画像には、後方車両Ｖ２が映っている。図７（ａ）は、後方画像の左端領域に、泣いているアイコン画像Ｉ１を重畳させた画面例を示す。図７（ｂ）は、後方画像の左端領域に、泣いている子供Ｐｒの顔と上半身を含む領域Ｃ１の切出画像を重畳させた画面例を示す。
　画像認識部１１は、後方車両を検出するための検出器を備えていてもよい。この場合、画像認識部１１は、後方撮像部２１で撮像された後方画像から後方車両を検出することができる。表示制御部１２は、画像認識部１１により後方車両が検出されたとき、表情を表す画像を、後方画像の後方車両が映った領域以外の領域に重畳させる。表示制御部１２は、後方画像の後方車両が映った領域との重複を回避できない場合、表情を表す画像の重畳をスキップしてもよい。なお、表示制御部１２は、画像認識部１１により後方車両が検出されたとき、一律に、表情を表す画像の重畳をスキップしてもよい。
　図８（ａ）－（ｂ）は、電子ミラー表示部３０に表示される後方画像に、表情を表す画像を重畳させた別の画面例を示す図である。図８（ａ）に示す例では、三車線道路において中央車線に後方車両Ｖ２が存在し、右車線にも後方車両Ｖ３が存在している。表示制御部１２は、右車線の後方車両Ｖ３との重複を回避するため、後方画像の右端領域に、泣いているアイコン画像Ｉ１を重畳させている。
　図８（ｂ）に示す例では、三車線道路において中央車線に後方車両Ｖ２が存在し、右車線に後方車両Ｖ３が存在し、左車線にも後方車両Ｖ４が存在している。表示制御部１２は、アイコン画像Ｉ１を表示する領域を確保できないため、アイコン画像の表示をスキップしている。
　後方車両を検出しても自車両から距離が離れている場合は、アイコン画像Ｉ１を表示する領域を確保できる。画像認識部１１で後方車両を検出しても後方車両の画面に占める面積が小さい場合は、表示制御部１２は、距離が十分に離れていると判断してアイコン画像Ｉ１を表示してもよい。
　以上説明したように本実施形態によれば、電子ミラー装置１を使用する場合において、安全に後部座席Ｓｒの様子を確認することができる。運転手Ｐｄは後ろを振り向かずに、後部座席Ｓｒの人物の表情を確認することができ、よそ見運転を防止することができる。また、ディスプレイモードとミラーモードを切り替える必要がないため、切替操作に伴う運転への注意低下を回避することができる。また、モード切替に伴う目の焦点距離の変化が発生しないため、安全性が低下しない。特に高齢者は目の焦点が合うまでに時間を要し、モード切替時の安全性が低下する。
　また表情の表示モードとして「表情に変化があった場合に表示」が選択されている場合、表情の変化をトリガとしているので、後部座席Ｓｒに座っている人物の表情（状況）が変化したことを判別しやすい。また表情の表示形態として「アイコン」が選択されている場合、後部座席Ｓｒが暗くても、人物の表情（状況）を判別しやすい。また表情を表す画像を、後方車両と重複しないように表示させることで、安全性が低下することを防止することができる。
　以上、本発明を実施形態に基づき説明した。この実施形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
　上述した実施形態では、後方画像を表示する電子ミラーと、ドライブレコーダの機能が一体化されたミラーレコーダを例に説明した。この点、ドライブレコーダの機能が搭載されていない純粋な電子ミラー装置１であってもよい。その場合、前方撮像部２３、記録媒体５０及び記録制御部１３は省略される。
　図３に示した表情の表示に関する設定に関して、後方画像に重畳表示させる、表情を表す画像のサイズを設定する項目が含まれていてもよい。
　本発明は、バックミラーとして使用される電子ミラー装置に利用可能である。
　１　電子ミラー装置、　１ａ　電子ミラー本体、　１０　処理部、　１１　画像認識部、　１２　表示制御部、　１３　記録制御部、　２１　後方撮像部、　２２　車内撮像部、　２３　前方撮像部、　３０　電子ミラー表示部、　４０　操作部、　５０　記録媒体、　Ｖ１　車両、　Ｓｒ　後部座席、　Ｐｄ　運転手、　Ｐｒ　子供。

Claims (7)

  1. 　車両の後方を撮像する第１撮像部と、
    　前記車両内の後部座席を撮像する第２撮像部と、
    　前記第１撮像部で撮像された前記車両の後方画像を表示する電子ミラー表示部と、
    　前記第２撮像部で撮像された画像から、前記後部座席にいる人物または動物の表情を認識する画像認識部と、
    　前記表情を表す画像を前記後方画像に重畳させて前記電子ミラー表示部に表示させる表示制御部と、
    　を備える電子ミラー装置。
  2. 　前記表示制御部は、前記表情に対応したアイコン画像を選択し、選択したアイコン画像を前記後方画像に重畳させる、
    　請求項１に記載の電子ミラー装置。
  3. 　前記表示制御部は、指定されている表情の種類の表情を表す画像を前記後方画像に重畳させる、
    　請求項１に記載の電子ミラー装置。
  4. 　前記表示制御部は、前記第２撮像部で撮像された画像から、前記人物または前記動物の顔を含む領域の画像を切り出し、切り出した顔を含む領域の画像を前記後方画像に重畳させる、
    　請求項１に記載の電子ミラー装置。
  5. 　前記表示制御部は、前記第１撮像部で撮像された後方画像内から前記画像認識部により後方車両が検出されたとき、前記表情を表す画像を、前記後方画像の前記後方車両が映った領域以外の領域に重畳させる、
    　請求項１に記載の電子ミラー装置。
  6. 　前記表示制御部は、前記第１撮像部で撮像された後方画像内から前記画像認識部により後方車両が検出されたとき、もしくは前記第１撮像部で撮像された後方画像内から前記画像認識部により後方車両が検出され、かつ前記後方画像の前記後方車両が映った領域との重複を回避できない場合、前記表情を表す画像の重畳をスキップする、
    　請求項１に記載の電子ミラー装置。
  7. 　前記表示制御部は、選択された表示時間が経過するまで、前記表情を表す画像を前記後方画像に重畳させる、
    　請求項１に記載の電子ミラー装置。
PCT/JP2023/034759 2022-10-27 2023-09-25 電子ミラー装置 WO2024090094A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-172181 2022-10-27
JP2022172181 2022-10-27

Publications (1)

Publication Number Publication Date
WO2024090094A1 true WO2024090094A1 (ja) 2024-05-02

Family

ID=90830622

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/034759 WO2024090094A1 (ja) 2022-10-27 2023-09-25 電子ミラー装置

Country Status (1)

Country Link
WO (1) WO2024090094A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014223887A (ja) * 2013-05-17 2014-12-04 日産自動車株式会社 車室内監視装置
JP2015067254A (ja) * 2013-10-01 2015-04-13 パナソニックＩｐマネジメント株式会社 車載機器と、それを搭載した自動車
JP2018089997A (ja) * 2016-11-30 2018-06-14 株式会社Ｊｖｃケンウッド 車両用表示装置および表示方法
JP2019523726A (ja) * 2016-05-24 2019-08-29 ジェンテックス コーポレイション 選択画像データ表示を有する車両表示
WO2019220851A1 (ja) * 2018-05-16 2019-11-21 株式会社Ｊｖｃケンウッド 映像出力装置、映像出力方法、及びコンピュータプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014223887A (ja) * 2013-05-17 2014-12-04 日産自動車株式会社 車室内監視装置
JP2015067254A (ja) * 2013-10-01 2015-04-13 パナソニックＩｐマネジメント株式会社 車載機器と、それを搭載した自動車
JP2019523726A (ja) * 2016-05-24 2019-08-29 ジェンテックス コーポレイション 選択画像データ表示を有する車両表示
JP2018089997A (ja) * 2016-11-30 2018-06-14 株式会社Ｊｖｃケンウッド 車両用表示装置および表示方法
WO2019220851A1 (ja) * 2018-05-16 2019-11-21 株式会社Ｊｖｃケンウッド 映像出力装置、映像出力方法、及びコンピュータプログラム

Similar Documents

Publication Publication Date Title
US10462372B2 (en) Imaging device, imaging system, and imaging method
US8294563B2 (en) Vehicle-surrounding image display apparatus and vehicle-surrounding image display method
JPWO2018051809A1 (ja) 撮像装置、及び、電子機器
WO2010050012A1 (ja) 車載用カメラモジュール
EP2306706A1 (en) Mobile terminal having photographing control function and photographing control system
US8363146B2 (en) Image-taking apparatus and output image generation method
CN109153353B (zh) 具有选择性图像数据显示的车辆显示器
CN113168798B (zh) 显示控制装置、显示控制方法和显示控制程序
JP2002325250A (ja) 車両の映像及び音声記録装置
US20200412944A1 (en) Driver recorder, display control method and program
WO2017175492A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
JP2008500919A (ja) 移動体用表示システム及び移動体
US20220219610A1 (en) Vehicular cabin monitoring camera system with dual function
WO2022170804A1 (zh) 一种控制方法及装置
KR100775369B1 (ko) 차선이탈 및 후측방 접근차량 통합경보장치
WO2024090094A1 (ja) 電子ミラー装置
WO2019239887A1 (ja) 撮像素子、制御方法、および電子機器
JP2024074897A (ja) 出力装置
JP2018069861A (ja) 電子ミラー装置
JP2007254049A (ja) ２方向ドアエレベータ
WO2023221998A1 (zh) 车载流媒体显示系统和方法
JP5445881B2 (ja) 車両周辺撮影装置
JP2020534731A (ja) 自動車用ドライビングレコーダ
JP2011164665A (ja) 車両周囲変化検出装置
JP2005088759A (ja) 幅寄せカメラ

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23882305

Country of ref document: EP

Kind code of ref document: A1