WO2016056227A1 - 表示制御装置、表示システム - Google Patents

表示制御装置、表示システム Download PDF

Info

Publication number
WO2016056227A1
WO2016056227A1 PCT/JP2015/005078 JP2015005078W WO2016056227A1 WO 2016056227 A1 WO2016056227 A1 WO 2016056227A1 JP 2015005078 W JP2015005078 W JP 2015005078W WO 2016056227 A1 WO2016056227 A1 WO 2016056227A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
image
display control
emphasized image
notification
Prior art date
Application number
PCT/JP2015/005078
Other languages
English (en)
French (fr)
Inventor
文彦 村瀬
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Priority to US15/517,468 priority Critical patent/US10209857B2/en
Publication of WO2016056227A1 publication Critical patent/WO2016056227A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/213—
    • B60K35/23—
    • B60K35/28—
    • B60K35/29—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B60K2360/177—
    • B60K2360/191—
    • B60K2360/334—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements

Definitions

  • This disclosure relates to a display control device (Display Control Apparatus) that controls display by a virtual image display device.
  • Display Control Apparatus Display Control Apparatus
  • the positional deviation between the notification target and the highlighted display occurs. This misalignment not only makes the user feel annoying, but in some cases may cause the user to misidentify the notification target.
  • This disclosure is intended to provide a display control device that facilitates discrimination of a notification object in a virtual image display device.
  • the display control device is provided so as to include a target information acquisition unit and a display execution unit.
  • the object table information acquisition unit acquires target information including at least the position and size of the notification object.
  • the display execution unit expands the first emphasized image corresponding to the size of the notification target object and the first emphasized image at a preset enlargement ratio.
  • the second emphasized image is displayed in a display form in which both images can be identified.
  • Block diagram showing the configuration of a vehicle display system Flow chart of notification processing
  • the figure which shows the example of a display when the display shape of an emphasis picture is a rod shape in still picture mode
  • the figure which shows the other example of a display when the display shape of an emphasized image is a rod shape in still image mode
  • the figure which shows the example of a display when the display shape of an emphasis picture is rod shape in animation mode
  • the figure which shows the example of a display when the display shape of an emphasis picture is a rectangle in animation mode
  • the figure which shows the example of a display when the display shape of an emphasis picture is an ellipse in animation mode
  • the figure which shows the example of a display when the display shape of an emphasis picture is parenthesis in animation mode
  • a vehicle display system 1 shown in FIG. 1 includes a periphery monitoring device 2, a vehicle behavior detection sensor group 3, a communication device 4, a position detection device 5, a map storage device 6, an input device 7, and an error storage device. 8, an electronic control unit (ECU) 9, and a head-up display (HUD) 10. Each unit is configured to transmit and receive information via an in-vehicle LAN (not shown).
  • a vehicle equipped with the vehicle display system 1 is also referred to as a host vehicle. “Information” is used not only as a countable noun but also as a countable noun.
  • the periphery monitoring device 2 monitors the presence or absence of an obstacle around the vehicle by using a radar sensor or an image sensor, and generates information including at least the position and size of the detected obstacle.
  • the periphery of the vehicle means within a predetermined angle range in front of the vehicle.
  • the obstacle here means all objects such as another vehicle, a pedestrian, a building, and a fallen object.
  • the radar sensor uses infrared rays, millimeter waves, ultrasonic waves, or the like as radar waves, and detects the distance from the target reflecting the radar waves, the direction in which the target exists, and the like.
  • the image sensor is a well-known device configured as a CCD camera, an infrared camera, or the like, detects a target by performing various types of image processing on the acquired image, and information about the target (external shape and target). Type).
  • the vehicle behavior detection sensor group 3 includes various sensors that output signals indicating the behavior of the vehicle, such as a vehicle speed sensor, an acceleration sensor, a yaw rate sensor, and a rudder angle sensor.
  • the communication device 4 acquires various information that affects driving behavior by performing road-to-vehicle communication and vehicle-to-vehicle communication.
  • the position detection device 5 includes a GPS receiver, a gyroscope, a distance sensor, and the like.
  • the GPS receiver receives a transmission signal from an artificial satellite for GPS (Global Positioning System) and detects the position coordinates and altitude of the vehicle.
  • the gyroscope outputs a detection signal corresponding to the angular velocity of the rotational motion applied to the vehicle.
  • the distance sensor outputs the travel distance of the vehicle.
  • the position detection device 5 obtains the current position of the vehicle based on the output signals from these sensors.
  • the map storage device 6 stores map data associated with position coordinates.
  • the map data includes not only road shapes but also road types, road gradients, regulatory information, etc., which are well-known data used in navigation devices and the like.
  • the input device 7 includes various input devices such as a switch and a touch panel, and is used for starting and stopping various functions included in the vehicle such as a navigation function and an ACC function, and setting related to each function.
  • the HUD 10 is a display device (a display device dedicated to the driver) that is visible to the driver while driving, and is a scenery outside the vehicle that is visually recognized through the front position of the driver on the windshield (windscreen) serving as a video projection surface.
  • the image is displayed superimposed on the driver's front vision.
  • the image displayed by the HUD 8 is visually recognized as a virtual image on the imaging plane of the image further forward than the windshield. It can be said that the HUD 10 functions as a virtual image display device.
  • a transparent screen may be arranged in front of the windshield so that the image is displayed superimposed on the scenery outside the vehicle visually recognized through the combiner and the windshield.
  • the ECU 9 includes, for example, a microcomputer including a CPU 91, a ROM 92, and a RAM 93, and the CPU 91 executes a process according to a program recorded in a recording medium such as the ROM 92, whereby the vehicle display system Control 1 overall.
  • the ECU 9 executes at least an obstacle detection process, a notification target setting process, a display form setting process, and a notification process.
  • various obstacles are detected based on information from the periphery monitoring device 2.
  • the notification target setting process based on the detection result in the obstacle detection process, information obtained from the vehicle behavior detection sensor group 3, the communication device 4, and the position detection device 5, an instruction input via the input device 7, and the like. Then, according to preset conditions, an obstacle to be notified (notification target) is set. Since the obstacle detection process and the notification information generation process are well-known techniques, the detailed description thereof is omitted.
  • the ECU 9 functions as a display control device.
  • the setting contents include a display mode and a display shape.
  • the display mode includes a normal mode for displaying a still image and a moving image mode for displaying a moving image (animation).
  • the display shape includes a bar shape (no overlap / with overlap), an object outer shape, a rectangle, an ellipse, and a parenthesis.
  • the function assigned to the ECU 9 is realized by software. However, this is merely an example, and the whole or a part of the function is, for example, hardware such as a logic circuit. May be realized.
  • the described flowchart includes a plurality of sections (or referred to as steps), and each section is expressed as, for example, S110.
  • Each section can be divided into multiple subsections, while multiple sections can be combined into a single section.
  • each section can be referred to as a device, a module.
  • the section includes not only (i) a software section combined with a hardware unit (eg, a microcomputer), but also (ii) hardware (eg, an integrated circuit, a wiring logic circuit). ) Sections can be implemented with or without the associated device functions.
  • the hardware section can be included inside the microcomputer.
  • the CPU 91 first acquires various types of information related to the notification target from the periphery monitoring device 2 in S110.
  • position information indicating the position of the notification target (relative position with respect to the vehicle (host vehicle)
  • size information indicating the width and height of the notification target
  • shape information indicating the outer shape of the notification target
  • notification target The color information indicating the color with the highest occupation ratio is acquired.
  • movement information related to the vehicle is acquired.
  • the motion information include vehicle speed, acceleration, yaw rate, and steering amount.
  • the movement information of the notification object is acquired.
  • This movement information is based on information representing the relative movement of the notification target with respect to the vehicle obtained from the peripheral monitoring device 2 and the movement information of the vehicle acquired in S120, based on the road surface of the notification target.
  • the motion information representing is obtained.
  • the road shape ahead of the vehicle is acquired. Specifically, the map storage device 6 is searched and acquired based on information on the current position and the traveling direction of the vehicle obtained from the position detection device 5. Further, the present invention is not limited to this, and the road shape may be estimated from the positions of various targets detected by the periphery monitoring device 2.
  • error information (static errors) E1 to E3 stored in the error storage device 8 is acquired.
  • the dynamic errors Ku, Kd, Kr, and Kl are calculated based on the detection delay time of the periphery monitoring device 2, the vehicle speed, the relative speed with the preceding vehicle, the road shape (curvature of the curve, road gradient), and the like. To do.
  • the dynamic errors Ku, Kd, Kr, and Kl are the detection position of the notification object and the position of the notification object at the timing when the display on the HUD 10 is performed due to a detection delay in the periphery monitoring device 2. Is obtained in each of the vertical and horizontal directions.
  • the dynamic errors Ku, Kd, Kr, and Kl are set to 1 when it is not necessary to consider the errors.
  • the preceding vehicle is more likely to be located in the right direction than the detection position due to the detection delay of the periphery monitoring device 2, and accordingly, the dynamic error Kr in the right direction is larger than 1.
  • the leftward dynamic error Kl is set to be smaller than 1.
  • the preceding vehicle is likely to be located above the detection position, so the upward dynamic error Ku is set larger than 1 and the downward dynamic error Kd is set smaller than 1. Is done.
  • These dynamic errors Ku, Kd, Kr, and Kl vary depending on the curvature of the curve, the magnitude of the gradient, or the magnitude of the relative speed of the preceding vehicle with respect to the vehicle, and therefore are variably set according to these values. Also good.
  • the enlarged image is enlarged in the vertical and horizontal directions using the equations (2) to (5) based on the error information E1 to E3 acquired in S150 and the dynamic errors Ku, Kd, Kr, and Kl calculated in S160.
  • the rates Mu, Md, Mr, and Ml are calculated.
  • the enlargement ratio is set to a value that can cover the range in which the display varies.
  • the display setting set by the display form setting process executed separately is acquired.
  • the display mode is the still image mode (S190: YES)
  • S200 an enhanced image of the still image is generated according to the display shape indicated in the display setting, and the process proceeds to S230.
  • the display mode is not the still image mode but the moving image mode (S190: NO)
  • the enlargement / reduction cycle when repeating the enlargement display and reduction display of the emphasized image is calculated.
  • This expansion / contraction period is changed according to, for example, the degree of risk estimated from the surrounding situation.
  • an enhanced image of a moving image is generated according to the display shape indicated in the display setting and the enlargement / reduction period set in S210, and the process proceeds to S230.
  • the emphasized image created in S200 or S230 is displayed on the HUD 10, and this process ends.
  • the CPU 91 functions as a target information acquisition unit in S110, a display execution unit in S180 to S230, an enlargement ratio setting unit in S170, and an enlargement / reduction period setting unit in S210.
  • the enhanced image (also referred to as an enhancement instruction), a first enhanced image corresponding to the detected size of the notification target object, and a second enhanced image obtained by enlarging the detected size with the magnification set in S170.
  • the display shape is a rod shape, as shown in FIG. 3, the range in which the notification target object (here, the preceding vehicle to be followed) O set in consideration of various errors is present as the second emphasized image G2.
  • the first emphasized image G1 represents the size of the notification object O.
  • the display shape is a rod shape, only the magnifications Mr and Ml in the left-right direction are applied.
  • the x mark indicates the detection position of the notification object O, and the drawing shows not the entire screen but only a predetermined rectangular range centered on the detection position. The same applies to FIGS. 4 to 7 described later.
  • FIG. 3 shows a case where the first emphasized image G1 and the second emphasized image G2 are individually displayed, and FIG. 4 shows a case where both are displayed in an overlapped manner.
  • FIG. 5 shows a case where the display shape of the second emphasized image G2 is a rod shape, and the display shape of the first emphasized image G1 is the outer shape of the notification object O.
  • the first emphasized image G1 and the second emphasized image G2 are displayed by alternately switching in the enlargement / reduction period set in S210 or continuously changing the size. For example, as shown in FIG. 6, the first emphasized image G1 is displayed at a certain timing, and the second emphasized image G2 is displayed at another timing.
  • FIG. 6 shows a case where the display shape is a rod shape, but the present invention is not limited to this.
  • the display shape may be a rectangle (see FIG. 7A), an ellipse (see FIG. 7B), or a parenthesis (see FIG. 7C).
  • the area where the notification target object exists can be specified by the second emphasized image, and a plurality of targets exist in the area.
  • the enlargement ratio of the second emphasized image is set based on a static error, and the dynamic error is used to set the up / down / left / right directions to be different depending on the situation, not equal. Therefore, it is possible to accurately indicate the range in which the notification target object may exist.
  • the driver can also recognize information such as the degree of risk from the display.
  • the notification object can be identified by setting the first emphasized image to a size that matches the detection size of the notification object.
  • the first emphasized image may be displayed in a color according to color information (a color with a high occupation ratio among the notification objects). In this case, it is possible to more easily determine the notification target object.
  • the enlargement ratio is set using both static error and dynamic error, but may be set using only static error.
  • the head-up display 10 installed in the vehicle is used as the virtual image display device.
  • the present invention is not limited to this.
  • a head-mounted display used by being attached to a driver may be used.
  • the present disclosure includes a display control device, a display system, a system including the display control device and the display system as a component, and a non-transitional computer readable including instructions for causing a computer to function as the display control device. It can also be realized in various forms such as a program product stored in a recording medium, a non-transitional computer-readable recording medium recording the program product, and a display control method.

Abstract

　表示制御装置(Display Control Apparatus)において、車両のドライバが使用する虚像表示装置（１０）の映像投影面を通して視認される報知対象物に、該報知対象物の存在を示す強調画像を重畳して表示する際に、物標情報取得部（Ｓ１１０）は、報知対象物の位置および大きさを少なくとも含んだ物標情報を取得する。そして、表示実行部（Ｓ１８０～Ｓ２３０）は、物標情報取得部によって取得された物標情報に基づき、報知対象物の大きさに応じた第１強調画像、および第１強調画像を、予め設定された拡大率で拡大した第２強調画像を、両画像を識別可能な表示形態で表示する。

Description

表示制御装置、表示システム 関連出願の相互参照
　本出願は、２０１４年１０月１０日に出願された日本出願番号２０１４－２０８９３９号に基づくもので、ここにその記載内容を援用する。
　本開示は、虚像表示装置による表示を制御する表示制御装置(Display Control Apparatus)に関する。
　従来、ヘッドアップディスプレイ等の虚像表示装置を用い、車両前方に存在する報知対象物に対して、その報知対象物の存在を示す強調画像を重畳表示する技術が知られている。
　強調画像としては、報知対象物を囲うように表示する枠状のものや、報知対象物の下部に表示する線状のものが知られている。
　また、報知対象物を検出するレーダ等の検出精度や、ヘッドアップディスプレイやウィンドシールドの組み付け誤差、製造誤差などに基づき、報知対象物と強調表示との位置ずれが発生する。この位置ずれは、ユーザに煩わしさを感じさせるだけでなく、場合によっては、ユーザに報知対象物を誤認させてしまう可能性がある。
　これに対して、報知対象物が枠状の強調画像が示す領域内に確実に収まるように、強調画像が示す領域を大きめに設定する技術が提案されている（特許文献１参照）。
ＪＰ　２０１０－１２０６１７　Ａ
　しかしながら、従来技術では、強調画像が示す領域内に、報知対象物となり得る物体が複数存在する可能性がある。その場合、いずれが本当の報知対象物であるか判別することは容易でないことがある。
　本開示は、虚像表示装置において報知対象物の判別を容易にする表示制御装置を提供することを目的とする。
　本開示の一つの例によれば、表示制御装置は、物標情報取得部と、表示実行部とを備えるように提供される。物表情報取得部は、報知対象物の位置および大きさを少なくとも含んだ物標情報を取得する。表示実行部は、物標情報取得部によって取得された物標情報に基づき、報知対象物の大きさに応じた第１強調画像、および、第１強調画像を予め設定された拡大率で拡大した第２強調画像、とを、両画像が識別可能な表示形態で表示する。
　このような構成によれば、第２強調画像によって、報知対象物が存在する領域を特定することができ、また、その領域中に複数の物標が存在していたとしても、第１強調画像か得られる情報によって、いずれの物標が報知対象物であるかを容易に判別することができる。
　本開示についての上記目的およびその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。
車両用表示システムの構成を示すブロック図 報知処理のフローチャート 静止画モードで強調画像の表示形状が棒状の場合の表示例を示す図 静止画モードで強調画像の表示形状が棒状の場合の他の表示例を示す図 静止画モードで第１強調画像の表示形状が報知対象物の外形形状、第２強調画像の表示形状が棒状の場合の表示例を示す図 動画モードで強調画像の表示形状が棒状の場合の表示例を示す図 動画モードで強調画像の表示形状が矩形の場合の表示例を示す図 動画モードで強調画像の表示形状が楕円の場合の表示例を示す図 動画モードで強調画像の表示形状がカッコ状の場合の表示例を示す図
　以下に本開示が適用された実施形態について、図面を用いて説明する。
　［構成］
　図１に示す車両用表示システム１は、周辺監視装置２と、車両挙動検出センサ群３と、通信装置４と、位置検出装置５と、地図記憶装置６と、入力装置７と、誤差記憶装置８と、電子制御装置（ＥＣＵ）９と、ヘッドアップディスプレイ（ＨＵＤ）１０とを備える。なお、各部は、車内ＬＡＮ（図示せず）を介して情報を送受信するように構成されている。以下では、車両用表示システム１を搭載する車両をホスト車両とも言及する。また、「情報」は、不可算名詞のみならず、可算名詞として使用される。
　周辺監視装置２は、レーダセンサや画像センサ等によって、車両の周辺における障害物の有無を監視し、検出した障害物の位置および大きさを少なくとも含んだ情報を生成する。ここでいう車両の周辺は、車両の前方における所定角度範囲内を意味する。また、ここでいう障害物は、別の車両、歩行者、建造物、落下物などの物体全般を意味する。なお、レーダセンサは、赤外線、ミリ波、超音波などをレーダ波として使用し、レーダ波を反射した物標との距離や、その物標が存在する方向等を検出する。画像センサは、ＣＣＤカメラや赤外線カメラ等として構成された周知のものであり、取得した画像に対して各種画像処理を施すことにより物標を検出し、その物標に関する情報（外形形状や物標の種類など）を抽出する。
　車両挙動検出センサ群３は、車速センサ、加速度センサ、ヨーレートセンサ、舵角センサなど、車両の挙動を示す信号を出力する各種センサからなる。
　通信装置４は、路車間通信、車車間通信を行うことによって、運転行動に影響を及ぼす各種情報を取得する。
　位置検出装置５は、ＧＰＳ受信機、ジャイロスコープおよび距離センサなどを備える。ＧＰＳ受信機は、ＧＰＳ（Global Positioning System） 用の人工衛星からの送信信号を受信し、車両の位置座標や高度を検出する。ジャイロスコープは、車両に加えられる回転運動の角速度に応じた検出信号を出力する。距離センサは、車両の走行距離を出力する。位置検出装置５は、これら各センサの出力信号に基づいて、車両の現在位置を求める。
　地図記憶装置６は、位置座標に対応づけられた地図データを記憶する。地図データには、道路形状のほか、道路種別、道路勾配、規制情報なども含まれており、ナビゲーション装置などで使用される周知のものである。
　入力装置７は、スイッチやタッチパネルなど各種入力機器を備え、ナビゲーション機能、ＡＣＣ機能など車両が備える各種機能の起動，停止や、各機能に関する設定などを行うためのものである。
　誤差記憶装置８は、ＨＵＤ１０の表示に影響を与える各種誤差の大きさを記憶する。具体的には、周辺監視装置２による検知誤差Ｅ１、ＨＵＤ１０の各構成部品の組み付け、製造誤差Ｅ２、ウィンドシールドの組み付け、製造誤差Ｅ３を記憶する。各誤差Ｅｉ（ｉ＝１～３）は、（１）式に示すように、検知結果に基づいてＨＵＤ１０に表示される位置と、検知対象物の実際の位置との誤差の最大値を、上下左右方向のそれぞれについて表したものである。但し、Ｅｕｉ［％］が上方向の誤差、Ｅｄｉ［％］が下方向の誤差、Ｅｒｉ［％］が右方向の誤差、Ｅｌｉ［％］が左方向の誤差である。
Figure JPOXMLDOC01-appb-M000001
 　ＨＵＤ１０は、ドライバが運転中に視認するための表示装置（ドライバ専用の表示装置）であり、映像投影面となるウィンドシールド（フロントガラス）における運転者の前方位置を通して視認される車両外部の景色（ドライバの前方視野）に重畳して画像を表示する。ＨＵＤ８により表示される画像は、ウィンドシールドよりも更に前方の画像の結像面で虚像として視認される。ＨＵＤ１０は、虚像表示装置として機能するとも言える。
　なお、ウィンドシールドの手前に透明のスクリーン（いわゆるコンバイナ）を配置し、コンバイナおよびウィンドシールドを通して視認される車両外部の景色に重畳して画像が表示されるようにしてもよい。
　ＥＣＵ９は、本実施形態では、一例として、ＣＰＵ９１、ＲＯＭ９２、ＲＡＭ９３を備えるマイクロコンピュータを含み、ＣＰＵ９１がＲＯＭ９２等の記録媒体に記録されているプログラムに従った処理を実行することにより、車両用表示システム１を統括制御する。また、ＥＣＵ９は、障害物検出処理、報知対象設定処理、表示形態設定処理、報知処理を少なくとも実行する。障害物検出処理では、周辺監視装置２からの情報に基づいて様々な障害物を検出する。報知対象設定処理では、障害物検出処理での検出結果、および車両挙動検出センサ群３、通信装置４、位置検出装置５から得られた情報、入力装置７を介して入力される指示等に基づき、予め設定された条件に従って、報知対象となる障害物（報知対象物）を設定する。なお、障害物検出処理および報知情報生成処理は周知技術であるため、その詳細についての説明は省略する。ＥＣＵ９は、表示制御装置として機能する。
　報知処理では、報知対象設定処理で設定された報知対象物を、ドライバに認識させるために、報知対象物を強調表示する。その詳細については後述する。表示形態設定処理は、報知処理にて報知対象物を強調表示する際の表示形態を、入力装置７からの入力に従って設定する。その設定内容には、表示モード、表示形状が含まれている。表示モードには、静止画を表示する通常モードと、動画（アニメーション）を表示する動画モードとがある。また、表示形状には、棒状（重畳なし／重畳あり），対象物外形形状、矩形、楕円、カッコ状がある。
　なお、本実施形態では、一例として、ＥＣＵ９に割り当てられた機能をソフトウェアにて実現することを説明するが、これはあくまでも一例であり、その機能の全体または一部を例えばロジック回路等のハードウェアにて実現してもよい。
　［処理］
　次に、ＣＰＵ９１が実行する報知処理について、図２のフローチャートを用いて説明する。本処理は、報知対象設定処理で、報知対象物が設定される毎に起動する。また、ここでは、自動追従走行などで追従の対象となる先行車両が報知対象物として設定される場合について説明する。
　記載されるフローチャートは、複数のセクション（あるいはステップと言及される）を含み、各セクションは、たとえば、Ｓ１１０と表現される。各セクションは、複数のサブセクションに分割されることができる、一方、複数のセクションが合わさって一つのセクションにすることも可能である。さらに、各セクションは、デバイス、モジュールとして言及されることができる。また、先に説明したように、セクションは、(i)ハードウエアユニット（例えば、マイクロコンピュータ）と組み合わさったソフトウエアのセクションのみならず、(ii)ハードウエア（例えば、集積回路、配線論理回路）のセクションとして、関連する装置の機能を含みあるいは含まずに実現できる。さらに、ハードウエアのセクションは、マイクロコンピュータの内部に含まれることもできる。
　本処理が起動すると、ＣＰＵ９１は、まずＳ１１０にて、周辺監視装置２から報知対象物に関する各種情報を取得する。ここでは、報知対象物の位置（車両(ホスト車両)に対する相対位置）を表す位置情報、報知対象物の横幅および高さを表すサイズ情報、報知対象物の外形形状を表す形状情報、報知対象物の中で最も占有率が高い色を表す色情報などを取得する。
　Ｓ１２０では、車両挙動検出センサ群３や位置検出装置５からの情報に基づき、車両に関する動き情報を取得する。動き情報として、例えば、車速、加速度、ヨーレート、操舵量などがある。
　Ｓ１３０では、報知対象物の動き情報を取得する。この動き情報は、周辺監視装置２から得られる車両に対する報知対象物の相対的な動きを表す情報と、Ｓ１２０で取得した車両の動き情報とに基づいて、報知対象物の路面を基準とした動きを表す動き情報を求める。
　Ｓ１４０では、車両前方の道路形状を取得する。具体的には、位置検出装置５から得られる現在位置や車両の進行方向の情報に基づき、地図記憶装置６を検索して取得する。また、これに限らず、周辺監視装置２にて検出された各種物標の位置から道路形状を推定してもよい。
　Ｓ１５０では、誤差記憶装置８に記憶された誤差情報（静的誤差）Ｅ１～Ｅ３を取得する。Ｓ１６０では、周辺監視装置２の検出遅れ時間、車両の速度、先行車両との相対速度、道路形状（カーブの曲率、道路勾配）等に基づいて、動的誤差Ｋｕ，Ｋｄ，Ｋｒ，Ｋｌを算出する。この動的誤差Ｋｕ，Ｋｄ，Ｋｒ，Ｋｌは、周辺監視装置２に検出遅れがあること等によって生じる、報知対象物の検出位置とＨＵＤ１０への表示が行われたタイミングでの報知対象物の位置との位置ズレを、上下左右の各方向について求めたものである。なお、動的誤差Ｋｕ，Ｋｄ，Ｋｒ，Ｋｌは、その誤差を考慮する必要がない場合は１に設定される。
　例えば、右カーブの入り口では、周辺監視装置２の検出遅れにより、先行車は検出位置よりも右方向に位置する可能性が高いため、その分、右方向の動的誤差Ｋｒは１より大きく、左方向の動的誤差Ｋｌは１より小さく設定される。また、上り坂の入り口では、先行車は検出位置よりも上方向に位置する可能性が高いため、上方向の動的誤差Ｋｕは１より大きく、下方向の動的誤差Ｋｄは１より小さく設定される。なお、これら動的誤差Ｋｕ，Ｋｄ，Ｋｒ，Ｋｌは、カーブの曲率や勾配の大きさ、あるいは車両に対する先行車の相対速度の大きさによって変化するため、これらの値に応じて可変設定してもよい。
　Ｓ１７０では、Ｓ１５０で取得した誤差情報Ｅ１～Ｅ３およびＳ１６０で算出した動的誤差Ｋｕ，Ｋｄ，Ｋｒ，Ｋｌに基づき、（２）～（５）式を用いて、強調画像の上下左右方向の拡大率Ｍｕ、Ｍｄ、Ｍｒ、Ｍｌを算出する。拡大率は、表示がばらつく範囲をカバーできるような値に設定される。
Figure JPOXMLDOC01-appb-M000002
 　Ｓ１８０では、別途実行される表示形態設定処理によって設定された表示設定を取得する。Ｓ１９０では、表示設定に示された表示モードが静止画モードであるか否かを判断する。表示モードが静止画モードである場合（Ｓ１９０：ＹＥＳ）、Ｓ２００にて、表示設定に示された表示形状に従って静止画の強調画像を生成して、Ｓ２３０に進む。
　一方、表示モードが静止画モードではなく動画モードである場合（Ｓ１９０：ＮＯ）、Ｓ２１０にて、強調画像の拡大表示および縮小表示を繰り返す際の拡縮周期を算出する。この拡縮周期は、例えば、周囲の状況から推定される危険度に応じて変化させる。
　Ｓ２２０では、表示設定に示された表示形状およびＳ２１０で設定された拡縮周期に従って動画の強調画像を生成して、Ｓ２３０に進む。Ｓ２３０では、Ｓ２００またはＳ２３０で作成された強調画像をＨＵＤ１０に表示させて、本処理を終了する。
　ＣＰＵ９１は、Ｓ１１０にて物標情報取得部として、Ｓ１８０～Ｓ２３０にて表示実行部として、Ｓ１７０にて拡大率設定部、Ｓ２１０にて拡縮周期設定部、として機能するとも言える。
　［動作］
　静止画モードの場合、強調画像（強調指示とも言及される）として、報知対象物の検出サイズに応じた第１強調画像、検出サイズをＳ１７０で設定された拡大率で拡大した第２強調画像を同時に表示する。例えば、表示形状が棒状である場合、図３に示すように、各種誤差を考慮して設定された報知対象物（ここでは追従対象となる先行車両）Ｏが存在する範囲を第２強調画像Ｇ２が表し、報知対象物Ｏの大きさを第１強調画像Ｇ１が表している。但し、表示形状が棒状の場合は、左右方向の拡大率Ｍｒ，Ｍｌだけを適用する。なお、図中×印は、報知対象物Ｏの検出位置であり、図は、画面全体ではなく、検出位置を中心とした所定の矩形範囲のみを切り取って示したものである。後述する図４～図７も同様である。
　図３は、第１強調画像Ｇ１と第２強調画像Ｇ２を個別に表示した場合であり、図４は、両者を重ね合わせて表示した場合を示す。また、図５は、第２強調画像Ｇ２の表示形状が棒状であり、第１強調画像Ｇ１の表示形状が報知対象物Ｏの外形形状である場合を示す。
　動画（アニメーション）モードの場合、第１強調画像Ｇ１と第２強調画像Ｇ２を、Ｓ２１０で設定された拡縮周期で交互に切り替えて、あるいは連続的にサイズを変化させて表示する。例えば、図６に示すように、あるタイミングでは第１強調画像Ｇ１を表示し、別のタイミングでは第２強調画像Ｇ２を表示する。
　図６では、表示形状が棒状である場合を示したが、これに限るものではない。表示形状は、矩形（図７Ａ参照）や、楕円（図７Ｂ参照）や、カッコ形（図７Ｃ参照）であってもよい。
　［効果］
　以上説明したように、車両用表示システム１によれば、第２強調画像によって、報知対象物が存在する領域を特定することができ、また、その領域中に複数の物標が存在していたとしても、第１強調画像か得られる情報によって、いずれの物標が報知対象物であるかを容易に判別することができる。
　車両用表示システム１では、第２強調画像の拡大率を、静的誤差に基づいて設定すると共に、動的誤差を用いて、上下左右方向を均等ではなく、状況に応じて異なるように設定しているため、報知対象物が存在する可能性のある範囲を精度よく示すことができる。
　車両用表示システム１では、拡縮周期を状況に応じて変化させているため、その表示から、危険度などの情報もドライバに認識させることができる。
　［他の実施形態］
　以上、本開示の実施形態について説明したが、本開示は、上記実施形態に限定されることなく、種々の形態を採り得る。
　（１）上記実施形態では、第１強調画像を、報知対象物の検出サイズに合わせた大きさとすることによって、報知対象物の判別できるようにしている。これに加えて、例えば、第１強調画像を、色情報（報知対象物の中で占有率の高い色）に従った色で表示するようにしてもよい。この場合、報知対象物の判別をより容易なものとすることができる。
　（２）上記実施形態では、拡大率を、静的誤差および動的誤差の両方を用いて設定しているが、静的誤差のみを用いて設定してもよい。
　（３）上記実施形態では、虚像表示装置として車両に設置されたヘッドアップディスプレイ１０を用いる場合について説明したが、これに限るものではない。ヘッドアップディスプレイ１０の代わりに、例えば、ドライバに装着して使用するヘッドマウントディスプレイ等を用いてもよい。
　（４）本開示は、表示制御装置、表示システムの他、当該表示制御装置や表示システムを構成要素とするシステム、当該表示制御装置としてコンピュータを機能させるためのインストラクション含む非遷移のコンピュータ読取可能な記録媒体に保管されるプログラム製品、このプログラム製品を記録した非遷移のコンピュータ読取可能な記録媒体、表示制御方法など、種々の形態で実現することもできる。
　本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。
 

 

Claims (9)

  1. 　車両のドライバが使用する虚像表示装置（１０）の映像投影面を通して視認される報知対象物に、該報知対象物の存在を示す強調画像を重畳して表示する表示制御装置（９）であって、
    　前記報知対象物の位置および大きさを少なくとも含んだ物標情報を取得する物標情報取得部（Ｓ１１０）と、
    　前記物標情報取得部によって取得された物標情報に基づき、前記報知対象物の大きさに応じた第１強調画像、および、前記第１強調画像を予め設定された拡大率で拡大した第２強調画像を、両画像を識別可能な表示形態で表示する表示実行部（Ｓ１８０～Ｓ２３０）と、
    　を備える表示制御装置。
  2. 　前記拡大率は、製造誤差、組み付け誤差、検知誤差のうち少なくとも一つに基づく表示誤差に従い、前記第２強調画像が示す領域内に、前記物標が含まれるような大きさに設定されている
    　請求項１に記載の表示制御装置。
  3. 　前記車両の動き情報および道路形状のうち少なくとも一方に従い、前記拡大率を可変設定する拡大率設定部（Ｓ１７０）を備える
    　請求項１または請求項２に記載の表示制御装置。
  4. 　前記表示実行部は、前記第１強調画像および前記第２強調画像を同時に表示する（Ｓ２００）
    　請求項１ないし請求項３のいずれか１項に記載の表示制御装置。
  5. 　前記表示実行部は、前記第１強調画像と前記第２強調画像との間で時間経過と共に拡縮するように表示する（Ｓ２２０）
    　請求項１ないし請求項３のいずれか１項に記載の表示制御装置。
  6. 　前記報知対象物の動きに従って、前記拡縮の周期を可変設定する拡縮周期設定部（Ｓ２１０）を備える
    　請求項５に記載の表示制御装置。
  7. 　前記表示実行部は、前記第１強調画像を、前記報知対象物に含まれる色を用いて表示する
    　請求項１ないし請求項６のいずれか１項に記載の表示制御装置。
  8. 　前記表示実行部は、前記第１強調画像として、前記報知対象物を表す形状を用いる
    　請求項１ないし請求項７のいずれか１項に記載の表示制御装置。
  9. 　車両のドライバが使用する虚像表示装置（１０）と、
    　前記虚像表示装置を用いて表示制御を実行する請求項１ないし請求項８のいずれか１項に記載の表示制御装置（９）と、
    　を備える
    　表示システム。

     
PCT/JP2015/005078 2014-10-10 2015-10-06 表示制御装置、表示システム WO2016056227A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/517,468 US10209857B2 (en) 2014-10-10 2015-10-06 Display control apparatus and display system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014208939A JP6277933B2 (ja) 2014-10-10 2014-10-10 表示制御装置、表示システム
JP2014-208939 2014-10-10

Publications (1)

Publication Number Publication Date
WO2016056227A1 true WO2016056227A1 (ja) 2016-04-14

Family

ID=55652863

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/005078 WO2016056227A1 (ja) 2014-10-10 2015-10-06 表示制御装置、表示システム

Country Status (3)

Country Link
US (1) US10209857B2 (ja)
JP (1) JP6277933B2 (ja)
WO (1) WO2016056227A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109791295A (zh) * 2016-07-25 2019-05-21 奇跃公司 使用增强和虚拟现实眼镜的成像修改、显示和可视化

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105269060B (zh) * 2014-07-23 2018-12-28 高国武 一种多车往复行走、交替切断物料的方法和装置
JP6673288B2 (ja) * 2017-04-27 2020-03-25 株式会社デンソー 車両用表示装置
KR102001914B1 (ko) * 2017-09-07 2019-07-19 엘지전자 주식회사 차량 av시스템의 오류 검출 ic
DE102018200312B4 (de) * 2018-01-10 2023-11-30 Volkswagen Aktiengesellschaft Verfahren, Vorrichtung und Computerlesbares Speichermedium mit Instruktionen zur Steuerung einer Anzeige einer Augmented-Reality-Head-Up-Display-Vorrichtung für ein Kraftfahrzeug sowie Kraftfahrzeug mit einer solchen Vorrichtung
CN110110189A (zh) * 2018-02-01 2019-08-09 北京京东尚科信息技术有限公司 用于生成信息的方法和装置
JP6930512B2 (ja) * 2018-10-19 2021-09-01 株式会社デンソー 物体検知装置、物体検知方法およびプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005075190A (ja) * 2003-09-01 2005-03-24 Nissan Motor Co Ltd 車両用表示装置
JP2010120617A (ja) * 2008-11-24 2010-06-03 Denso Corp 画像生成装置、ヘッドアップディスプレイ装置および車両用表示装置
JP2012218505A (ja) * 2011-04-05 2012-11-12 Denso Corp 車両用表示装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005313772A (ja) 2004-04-28 2005-11-10 Toyota Motor Corp 車両用ヘッドアップ・ディスプレイ装置
JP2005343351A (ja) 2004-06-04 2005-12-15 Olympus Corp 運転支援装置
JP4476719B2 (ja) 2004-07-02 2010-06-09 よこはまティーエルオー株式会社 ナビゲーションシステム
JP4475308B2 (ja) * 2007-09-18 2010-06-09 株式会社デンソー 表示装置
JP2009152951A (ja) 2007-12-21 2009-07-09 Alpine Electronics Inc 画像処理装置
JP2009193135A (ja) * 2008-02-12 2009-08-27 Xanavi Informatics Corp 車載モニタ装置
JP2012148710A (ja) 2011-01-20 2012-08-09 Toyota Motor Corp 画像表示装置
JP2013196359A (ja) 2012-03-19 2013-09-30 Honda Motor Co Ltd 運転支援装置
JP5406328B2 (ja) * 2012-03-27 2014-02-05 株式会社デンソーアイティーラボラトリ 車両用表示装置、その制御方法及びプログラム
JP5916541B2 (ja) 2012-07-03 2016-05-11 アルパイン株式会社 車載システム
JP6107079B2 (ja) * 2012-11-21 2017-04-05 富士通株式会社 報知制御方法、報知制御装置および報知制御プログラム
JP6232759B2 (ja) * 2013-06-07 2017-11-22 ソニー株式会社 情報処理装置、接近対象物通知方法及びプログラム
JP6252365B2 (ja) * 2014-06-11 2017-12-27 株式会社デンソー 安全確認支援システム、安全確認支援方法
US10247941B2 (en) * 2015-01-19 2019-04-02 Magna Electronics Inc. Vehicle vision system with light field monitor
JP6520668B2 (ja) * 2015-02-09 2019-05-29 株式会社デンソー 車両用表示制御装置及び車両用表示ユニット

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005075190A (ja) * 2003-09-01 2005-03-24 Nissan Motor Co Ltd 車両用表示装置
JP2010120617A (ja) * 2008-11-24 2010-06-03 Denso Corp 画像生成装置、ヘッドアップディスプレイ装置および車両用表示装置
JP2012218505A (ja) * 2011-04-05 2012-11-12 Denso Corp 車両用表示装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109791295A (zh) * 2016-07-25 2019-05-21 奇跃公司 使用增强和虚拟现实眼镜的成像修改、显示和可视化
US11327312B2 (en) 2016-07-25 2022-05-10 Magic Leap, Inc. Imaging modification, display and visualization using augmented and virtual reality eyewear
AU2017301435B2 (en) * 2016-07-25 2022-07-14 Magic Leap, Inc. Imaging modification, display and visualization using augmented and virtual reality eyewear
US11808943B2 (en) 2016-07-25 2023-11-07 Magic Leap, Inc. Imaging modification, display and visualization using augmented and virtual reality eyewear

Also Published As

Publication number Publication date
US10209857B2 (en) 2019-02-19
JP2016078498A (ja) 2016-05-16
US20170308262A1 (en) 2017-10-26
JP6277933B2 (ja) 2018-02-14

Similar Documents

Publication Publication Date Title
WO2016056227A1 (ja) 表示制御装置、表示システム
CN111052733B (zh) 周围车辆显示方法及周围车辆显示装置
US20200012097A1 (en) Head-up display device, display control method, and control program
US11803053B2 (en) Display control device and non-transitory tangible computer-readable medium therefor
US20210104212A1 (en) Display control device, and nontransitory tangible computer-readable medium therefor
JP6695049B2 (ja) 表示装置及び表示制御方法
CN111656775B (zh) 显示控制装置以及显示系统
JP6586849B2 (ja) 情報表示装置及び情報表示方法
CN111034186B (zh) 周围车辆显示方法及周围车辆显示装置
US11325470B2 (en) Method, device and computer-readable storage medium with instructions for controlling a display of an augmented-reality head-up display device for a transportation vehicle
WO2020162109A1 (ja) 表示制御装置、表示制御プログラム、および持続的有形コンピュータ読み取り媒体
WO2020003750A1 (ja) 車両用表示制御装置、車両用表示制御方法、及び制御プログラム
JP6186905B2 (ja) 車載表示装置およびプログラム
WO2020105685A1 (ja) 表示制御装置、方法、及びコンピュータ・プログラム
CN110462699B (zh) 车辆用显示控制装置以及车辆用显示单元
US20230373309A1 (en) Display control device
JP7400242B2 (ja) 車両用表示制御装置および車両用表示制御方法
US11904691B2 (en) Display apparatus for switching between different displays of different images identifying a same element
CN115088028A (zh) 绘制系统、显示系统、移动体、绘制方法以及程序
JP2019148935A (ja) 表示制御装置及びヘッドアップディスプレイ装置
CN113993747B (zh) 显示装置及显示方法
WO2021132554A1 (ja) ナビゲーション装置、ナビゲーション装置の制御方法、ナビゲーション装置の制御プログラム
JP2022041286A (ja) 表示制御装置、表示制御方法及び表示制御プログラム
JP2023183870A (ja) 表示制御装置、表示装置、表示システム、車両、表示制御方法及びプログラム
JP2020095033A (ja) 表示制御装置および表示制御プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15848872

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15517468

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15848872

Country of ref document: EP

Kind code of ref document: A1