JP6965563B2 - Peripheral monitoring device - Google Patents
Peripheral monitoring device Download PDFInfo
- Publication number
- JP6965563B2 JP6965563B2 JP2017094692A JP2017094692A JP6965563B2 JP 6965563 B2 JP6965563 B2 JP 6965563B2 JP 2017094692 A JP2017094692 A JP 2017094692A JP 2017094692 A JP2017094692 A JP 2017094692A JP 6965563 B2 JP6965563 B2 JP 6965563B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- dimensional
- generation unit
- gazing point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
Description
本発明の実施形態は、周辺監視装置に関する。 An embodiment of the present invention relates to a peripheral monitoring device.
車両の車室内から当該車両の周辺を見た三次元の画像を仮想視点画像として表示する周辺監視装置がある。その際、周辺監視装置は、仮想視点画像において、車両の底に相当する画像を不透明な画像(例えば、黒色の画像)とする。 There is a peripheral monitoring device that displays a three-dimensional image of the surroundings of the vehicle as a virtual viewpoint image from the passenger compartment of the vehicle. At that time, the peripheral monitoring device sets the image corresponding to the bottom of the vehicle as an opaque image (for example, a black image) in the virtual viewpoint image.
ところで、周辺監視装置においては、仮想視点画像において、車両の車室内の部品を非表示とするため、車両の運転手が、仮想視点画像が、車両の周囲のうちどの位置を示す画像なのかを特定し難い。 By the way, in the peripheral monitoring device, in the virtual viewpoint image, the parts inside the vehicle interior are hidden, so that the driver of the vehicle can determine which position of the surroundings of the vehicle the virtual viewpoint image indicates. Hard to identify.
実施形態の周辺監視装置は、一例として、撮像部によって車両の周囲を撮像して得られる画像に基づいて、仮想視点から車両の車室を介して当該車両の外部の注視点を見た三次元の画像であり、撮像部の撮像範囲外の領域に対応する死角画像を含み、かつ当該死角画像において、車両の部品が存在する位置に対して、当該部品の二次元の画像を重畳した第1画像を生成する生成部と、生成部により生成した第1画像を表示する表示部と、を備える。よって、一例として、仮想視点から車室を介して車両の外部の注視点を見た第1画像を表示した場合、車両の周囲のうちどの位置の第1画像であるかを容易に特定することができる。 As an example, the peripheral monitoring device of the embodiment is a three-dimensional image obtained by capturing an image of the surroundings of a vehicle by an imaging unit and looking at an external gazing point of the vehicle from a virtual viewpoint through the passenger compartment of the vehicle. The first image, which includes a blind spot image corresponding to a region outside the imaging range of the imaging unit, and in which a two-dimensional image of the part of the vehicle is superimposed on the position where the vehicle component exists in the blind spot image. It includes a generation unit that generates an image and a display unit that displays a first image generated by the generation unit. Therefore, as an example, when the first image of the external gazing point of the vehicle is displayed from the virtual viewpoint through the passenger compartment, it is possible to easily identify which position of the surroundings of the vehicle is the first image. Can be done.
また、周辺監視装置は、一例として、生成部は、車両のフレームの三次元の輪郭を含む第1画像を生成する。よって、一例として、車両の周囲のうちどの位置の第1画像であるかをより容易に特定できる。 Further, as an example of the peripheral monitoring device, the generation unit generates a first image including a three-dimensional outline of the frame of the vehicle. Therefore, as an example, it is possible to more easily identify which position of the first image is around the vehicle.
また、周辺監視装置は、一例として、生成部は、注視点をシームレスに移動させ、注視点の移動に応じて第1画像を生成し直し、注視点がシームレスに移動されている場合、車両のタイヤの三次元の第2画像を第1画像に含め、注視点の移動の停止が指示された場合、第2画像の表示を終了する。よって、一例として、注視点の移動を停止した場合に、第1画像のうち第2画像によって死角になる領域を減らすことができる。 Further, as an example of the peripheral monitoring device, the generation unit seamlessly moves the gazing point, regenerates the first image according to the movement of the gazing point, and when the gazing point is seamlessly moved, the vehicle When the third-dimensional second image of the tire is included in the first image and the stop of the movement of the gazing point is instructed, the display of the second image is terminated. Therefore, as an example, when the movement of the gazing point is stopped, the area of the first image that becomes a blind spot due to the second image can be reduced.
また、周辺監視装置は、一例として、生成部は、注視点の移動の停止が指示された場合、注視点の移動の停止が指示されてから所定時間かけて、第2画像の透過度を上げた後、当該第2画像の表示を終了する。よって、一例として、注視点の移動の停止と同時に、第2画像の表示が終了して、車両の周囲のうちどの位置の周辺画像であるかを特定し難くなることを防止できる。 Further, as an example of the peripheral monitoring device, when the generation unit is instructed to stop the movement of the gazing point, the transparency of the second image is increased over a predetermined time after the instruction to stop the movement of the gazing point is instructed. After that, the display of the second image is finished. Therefore, as an example, it is possible to prevent the display of the second image from ending at the same time as the movement of the gazing point is stopped, making it difficult to identify the position of the peripheral image in the periphery of the vehicle.
また、周辺監視装置は、一例として、生成部は、部品の二次元の画像のうち車両のタイヤの二次元の画像に対して、車両の前方を表すトレッドパターンを重畳する。よって、一例として、車両の周囲のうちどの位置の第1画像であるかをより容易に特定できる。 Further, as an example of the peripheral monitoring device, the generation unit superimposes a tread pattern representing the front of the vehicle on the two-dimensional image of the tire of the vehicle among the two-dimensional images of the parts. Therefore, as an example, it is possible to more easily identify which position of the first image is around the vehicle.
また、周辺監視装置は、一例として、第1画像が、死角画像において、車両の車室内の部品に対応する位置に対して、当該部品の二次元の画像を重畳した画像である。よって、一例として、車両の周囲のうちどの位置の第1画像であるかを容易に特定することができる。 Further, as an example, in the peripheral monitoring device, the first image is an image in which a two-dimensional image of the parts is superimposed on a position corresponding to the parts in the vehicle interior of the vehicle in the blind spot image. Therefore, as an example, it is possible to easily identify which position of the first image is in the periphery of the vehicle.
以下、本発明の例示的な実施形態が開示される。以下に示される実施形態の構成、ならびに当該構成によってもたらされる作用、結果、および効果は、一例である。本発明は、以下の実施形態に開示される構成以外によっても実現可能であるとともに、基本的な構成に基づく種々の効果や、派生的な効果のうち、少なくとも1つを得ることが可能である。 Hereinafter, exemplary embodiments of the present invention will be disclosed. The configurations of the embodiments shown below, as well as the actions, results, and effects produced by such configurations, are examples. The present invention can be realized by a configuration other than the configurations disclosed in the following embodiments, and at least one of various effects based on the basic configuration and derivative effects can be obtained. ..
本実施形態にかかる周辺監視装置(周辺監視システム)を搭載する車両は、内燃機関(エンジン)を駆動源とする自動車(内燃機関自動車)であっても良いし、電動機(モータ)を駆動源とする自動車(電気自動車、燃料電池自動車等)であっても良いし、それらの双方を駆動源とする自動車(ハイブリッド自動車)であっても良い。また、車両は、種々の変速装置、内燃機関や電動機の駆動に必要な種々の装置(システム、部品等)を搭載可能である。また、車両における車輪の駆動に関わる装置の方式、個数、レイアウト等は、種々に設定可能である。 The vehicle equipped with the peripheral monitoring device (peripheral monitoring system) according to the present embodiment may be an automobile (internal engine automobile) having an internal combustion engine (engine) as a drive source, or an electric vehicle (motor) as a drive source. It may be a vehicle (electric vehicle, fuel cell vehicle, etc.) or a vehicle (hybrid vehicle) that uses both of them as drive sources. Further, the vehicle can be equipped with various transmissions and various devices (systems, parts, etc.) necessary for driving an internal combustion engine or an electric motor. In addition, the method, number, layout, and the like of the devices involved in driving the wheels in the vehicle can be set in various ways.
(第1の実施形態)
図1は、第1の実施形態にかかる周辺監視装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。図1に示すように、車両1は、車体2と、操舵部4と、加速操作部5と、制動操作部6と、変速操作部7と、モニタ装置11と、を備える。車体2は、乗員が乗車する車室2aを有する。車室2a内には、乗員としての運転手の座席2bに臨む状態で、操舵部4や、加速操作部5、制動操作部6、変速操作部7等が設けられている。操舵部4は、例えば、ダッシュボード24から突出したステアリングホイールである。加速操作部5は、例えば、運転手の足下に位置されたアクセルペダルである。制動操作部6は、例えば、運転手の足下に位置されたブレーキペダルである。変速操作部7は、例えば、センターコンソールから突出したシフトレバーである。
(First Embodiment)
FIG. 1 is a perspective view showing an example of a state in which a part of the passenger compartment of the vehicle equipped with the peripheral monitoring device according to the first embodiment is seen through. As shown in FIG. 1, the vehicle 1 includes a
モニタ装置11は、例えば、ダッシュボード24の車幅方向(すなわち、左右方向)の中央部に設けられる。モニタ装置11は、例えば、ナビゲーションシステムまたはオーディオシステム等の機能を有していても良い。モニタ装置11は、表示装置8、音声出力装置9、および操作入力部10を有する。また、モニタ装置11は、スイッチ、ダイヤル、ジョイスティック、および押しボタン等の各種の操作入力部を有しても良い。
The
表示装置8は、LCD(Liquid Crystal Display)やOELD(Organic Electroluminescent Display)等で構成され、画像データに基づいて各種画像を表示可能である。音声出力装置9は、スピーカ等で構成され、音声データに基づいて各種音声を出力する。音声出力装置9は、車室2a内において、モニタ装置11以外の異なる位置に設けられていても良い。
The
操作入力部10は、タッチパネル等で構成され、乗員による各種情報の入力を可能とする。また、操作入力部10は、表示装置8の表示画面に設けられ、表示装置8に表示される画像を透過可能である。これにより、操作入力部10は、表示装置8の表示画面に表示される画像を乗員に視認させることを可能とする。操作入力部10は、表示装置8の表示画面上における乗員のタッチ操作を検出することによって、乗員による各種情報の入力を受け付ける。
The
図2は、第1の実施形態にかかる車両の一例の平面図である。図1および図2に示すように、車両1は、四輪自動車等であり、左右2つの前輪3Fと、左右2つの後輪3Rと、を有する。4つの車輪3の全てまたは一部が、転舵可能である。
FIG. 2 is a plan view of an example of the vehicle according to the first embodiment. As shown in FIGS. 1 and 2, the vehicle 1 is a four-wheeled vehicle or the like, and has two left and right
車両1は、複数の撮像部15として、例えば、4つの撮像部15a〜15dが設けられている。撮像部15は、CCD(Charge Coupled Device)またはCIS(CMOS Image Sensor)等の撮像素子を有するデジタルカメラである。撮像部15は、所定のフレームレートで車両1の周囲を撮像可能である。そして、撮像部15は、車両1の周囲を撮像して得られた撮像画像を出力する。撮像部15は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向には、例えば、140°〜220°の範囲を撮像可能である。また、撮像部15の光軸は、斜め下方に向けて設定されている場合もある。
The vehicle 1 is provided with, for example, four
具体的には、撮像部15aは、例えば、車体2の後側の端部2eに位置され、リアハッチのドア2hのリアウィンドウの下方の壁部に設けられている。そして、撮像部15aは、車両1の周囲のうち、当該車両1の後方の領域を撮像可能である。撮像部15bは、例えば、車体2の右側の端部2fに位置され、右側のドアミラー2gに設けられている。そして、撮像部15bは、車両1の周囲のうち、当該車両1の側方の領域を撮像可能である。撮像部15cは、例えば、車体2の前側、すなわち、車両1の前後方向の前方側の端部2cに位置され、フロントバンパやフロントグリル等に設けられている。そして、撮像部15cは、車両1の周囲のうち、当該車両1の前方の領域を撮像可能である。撮像部15dは、例えば、車体2の左側、すなわち、車幅方向の左側の端部2dに位置され、左側のドアミラー2gに設けられている。そして、撮像部15dは、車両1の周囲のうち、当該車両1の側方の領域を撮像可能である。
Specifically, the
図3は、第1の実施形態にかかる車両の機能構成の一例を示すブロック図である。図3に示すように、車両1は、操舵システム13と、ブレーキシステム18、舵角センサ19と、アクセルセンサ20と、シフトセンサ21と、車輪速センサ22と、車内ネットワーク23と、ECU(Electronic Control Unit)14と、を備える。モニタ装置11、操舵システム13、ブレーキシステム18、舵角センサ19、アクセルセンサ20、シフトセンサ21、車輪速センサ22、およびECU14が、電気通信回線である車内ネットワーク23を介して電気的に接続されている。車内ネットワーク23は、CAN(Controller Area Network)等により構成される。
FIG. 3 is a block diagram showing an example of the functional configuration of the vehicle according to the first embodiment. As shown in FIG. 3, the vehicle 1 includes a
操舵システム13は、電動パワーステアリングシステムやSBW(Steer By Wire)システム等である。操舵システム13は、アクチュエータ13aおよびトルクセンサ13bを有する。そして、操舵システム13は、ECU14等によって電気的に制御され、アクチュエータ13aを動作させて、操舵部4に対して、トルクを付加して操舵力を補うことによって、車輪3を転舵する。トルクセンサ13bは、運転者が操舵部4に与えるトルクを検出し、その検出結果をECU14に送信する。
The
ブレーキシステム18は、車両1のブレーキのロックを制御するABS(Anti-lock Brake System)、コーナリング時の車両1の横滑りを抑制する横滑り防止装置(ESC:Electronic Stability Control)、ブレーキ力を増強させてブレーキをアシストする電動ブレーキシステム、およびBBW(Brake By Wire)を含む。ブレーキシステム18は、アクチュエータ18aおよびブレーキセンサ18bを有する。ブレーキシステム18は、ECU14等によって電気的に制御され、アクチュエータ18aを介して、車輪3に制動力を付与する。ブレーキシステム18は、左右の車輪3の回転差等から、ブレーキのロック、車輪3の空回り、および横滑りの兆候等を検出して、ブレーキのロック、車輪3の空回り、および横滑りを抑制する制御を実行する。ブレーキセンサ18bは、制動操作部6の可動部としてのブレーキペダルの位置を検出する変位センサであり、ブレーキペダルの位置の検出結果をECU14に送信する。
The
舵角センサ19は、ステアリングホイール等の操舵部4の操舵量を検出するセンサである。本実施形態では、舵角センサ19は、ホール素子等で構成され、操舵部4の回転部分の回転角度を操舵量として検出し、その検出結果をECU14に送信する。アクセルセンサ20は、加速操作部5の可動部としてのアクセルペダルの位置を検出する変位センサであり、その検出結果をECU14に送信する。
The
シフトセンサ21は、変速操作部7の可動部(バー、アーム、ボタン等)の位置を検出するセンサであり、その検出結果をECU14に送信する。車輪速センサ22は、ホール素子等を有し、車輪3の回転量や単位時間当たりの車輪3の回転数を検出するセンサであり、その検出結果をECU14に送信する。
The
ECU14は、撮像部15により車両1の周囲を撮像して得られる撮像画像に基づいて、仮想視点から、車両1の車室2aを介して当該車両1の外部の注視点を見た三次元の画像を生成し、当該生成した画像を表示装置8に表示させる。ECU14は、コンピュータ等で構成され、ハードウェアとソフトウェアが協働することにより、車両1の制御全般を司る。具体的には、ECU14は、CPU(Central Processing Unit)14a、ROM(Read Only Memory)14b、RAM(Random Access Memory)14c、表示制御部14d、音声制御部14e、およびSSD(Solid State Drive)14fを備える。CPU14a、ROM14b、およびRAM14cは、同一の回路基板内に設けられていても良い。
The
CPU14aは、ROM14b等の不揮発性の記憶装置に記憶されたプログラムを読み出し、当該プログラムに従って各種の演算処理を実行する。例えば、CPU14aは、表示装置8に表示させる画像に対する画像処理、車両1の周囲に存在する障害物までの距離の算出等を実行する。
The
ROM14bは、各種プログラムおよび当該プログラムの実行に必要なパラメータ等を記憶する。RAM14cは、CPU14aでの演算で用いられる各種データを一時的に記憶する。表示制御部14dは、ECU14での演算処理のうち、主として、撮像部15から取得してCPU14aへ出力する撮像画像に対する画像処理、CPU14aから取得した画像を表示装置8に表示させる画像への変換等を実行する。音声制御部14eは、ECU14での演算処理のうち、主として、CPU14aから取得して音声出力装置9に出力させる音声の処理を実行する。SSD14fは、書き換え可能な不揮発性の記憶部であって、ECU14の電源がオフされた場合にあってもCPU14aから取得したデータを記憶し続ける。
The
図4は、第1の実施形態にかかる車両が有するECUの機能構成の一例を示すブロック図である。図4に示すように、ECU14は、周辺画像生成部401を備える。例えば、回路基板に搭載されたCPU14a等のプロセッサが、ROM14bまたはSSD14f等の記憶媒体内に格納された周辺監視用のプログラムを実行することにより、ECU14は、周辺画像生成部401の機能を実現する。周辺画像生成部401の一部または全部を回路等のハードウェアによって構成しても良い。
FIG. 4 is a block diagram showing an example of the functional configuration of the ECU included in the vehicle according to the first embodiment. As shown in FIG. 4, the
周辺画像生成部401は、撮像部15によって車両1の周囲を撮像して得られる撮像画像に基づいて、仮想視点から車室2aを介して車両1の外部の注視点を見た三次元の画像である周辺画像を生成する。その際、周辺画像生成部401は、周辺画像において、撮像部15の撮像範囲外の領域(例えば、車両1の底に対応する領域)に対応する死角画像を不透明な黒画像(以下、黒領域と言う)で表す。言い換えると、周辺画像生成部401は、撮像部15の撮像範囲外である死角画像を黒領域で表した周辺画像を生成する。本実施形態では、周辺画像生成部401は、死角画像を不透明な黒領域で表しているが、これに限定するものではなく、例えば、予め設定された色(例えば、白)の画像で表しても良い。
The peripheral
また、周辺画像生成部401は、周辺画像が含む黒領域において、車両1の部品(例えば、車両1の車室2a内の部品、車両1のタイヤ、車両1のフレーム)が存在する位置に対して、当該部品の二次元の画像(以下、部品画像と言う)を重畳する。周辺画像生成部401は、表示制御部14dを介して、部品画像が重畳された周辺画像を表示装置8に表示させる。
Further, the peripheral
これにより、仮想視点から車室2aを介して車両1の外部の注視点を見た周辺画像を表示した場合、車両1の周囲のうちどの位置の周辺画像であるかを容易に特定することができる。また、仮想視点から車室2aを介して車両1の外部の注視点を見た周辺画像を表示した場合に、車両1の部品画像によって、車両1の周囲のうち死角となる領域を減らすことができる。また、仮想視点から車室2aを介して車両1の外部の注視点を見た三次元の画像に含まれる黒領域に、部品画像を重畳することで、当該黒領域を有効に活用することができる。
As a result, when a peripheral image of the external gazing point of the vehicle 1 is displayed from the virtual viewpoint via the
次に、図5を用いて、本実施形態にかかる車両1による周辺画像の表示処理の流れの一例について説明する。図5は、第1の実施形態にかかる車両による周辺画像の表示処理の流れの一例を示すフローチャートである。 Next, an example of the flow of the peripheral image display processing by the vehicle 1 according to the present embodiment will be described with reference to FIG. FIG. 5 is a flowchart showing an example of a flow of display processing of a peripheral image by a vehicle according to the first embodiment.
周辺画像生成部401は、変速操作部7が操作されて車両1のシフトがパーキングレンジに入ったか否かを判断する(ステップS501)。車両1のシフトがパーキングレンジに入ったと判断した場合(ステップS501:Yes)、周辺画像生成部401は、周辺画像の表示を指示するためのカメラボタンが押下されたか否かを判断する(ステップS502)。本実施形態では、周辺画像生成部401は、車両1のシフトがパーキングレンジに入ったと判断した場合、撮像部15により車両1の周囲を撮像して得られる撮像画像に基づいて、車両1の上方から当該車両1の周囲を見た俯瞰画像を生成する。そして、周辺画像生成部401は、生成した俯瞰画像と、周辺画像の表示を指示するためのカメラボタンと、を含む画面を、表示装置8に表示する。その後、周辺画像生成部401は、操作入力部10によって、カメラボタンの押下が検出されたか否かを判断する。
The peripheral
カメラボタンが押下されたと判断した場合(ステップS502:Yes)、周辺画像生成部401は、撮像部15により車両1の周囲を撮像して得られる撮像画像に基づいて、周辺画像を生成する(ステップS503)。本実施形態では、周辺画像生成部401は、車両1の周囲の形状を表す三次元の仮想投影面を生成し、当該仮想投影面に対して、撮像部15により車両1の周囲を撮像して得られる撮像画像を投影することによって、車両1の周囲の三次元の画像を生成する。
When it is determined that the camera button is pressed (step S502: Yes), the peripheral
具体的には、周辺画像生成部401は、第1面と第2面とを含む仮想投影面を生成する。ここで、第1面は、車両1のタイヤの接地面において、車両1の位置から、予め設定された距離の範囲内の面である。例えば、第1面は、楕円形の平坦な面である。また、第2面は、第1面に連続する面であり、第1面を基準として、車両1の位置から離れるに従って、接地面から徐々に立ち上がる面である。例えば、第2面は、第1面に接する位置(第1面の端)から、楕円状または放物線状に立ち上がる面である。すなわち、周辺画像生成部401は、車両1を取り囲むお椀型または円筒状の仮想投影面を生成する。
Specifically, the peripheral
次いで、周辺画像生成部401は、当該生成した三次元の画像において、仮想視点(例えば、座席2bに着座した運転手の視点)から車室2aを介して車両1の外部の注視点を見た場合に人の視野に入る画像を、周辺画像として生成する。その際、周辺画像生成部401は、周辺画像において、車両1の底に対応する領域を黒領域で表す。
Next, the peripheral
また、周辺画像生成部401は、車両1の外部に存在する注視点をシームレスに移動させる。本実施形態では、周辺画像生成部401は、車両1の外部に存在する注視点を、予め設定された速度で、水平方向に向かって、シームレスに360°回転させる。そして、周辺画像生成部401は、注視点の移動に応じて周辺画像を生成し直す。
Further, the peripheral
次に、周辺画像生成部401は、生成した周辺画像が含む黒領域において、車両1の部品(例えば、車室2a内のダッシュボード24、ハンドル、シート等の部品)が存在する位置に対して、当該部品の二次元の画像である部品画像を重畳する(ステップS504)。
Next, the peripheral
図6は、第1の実施形態にかかる車両による部品画像の生成処理の一例を説明するための図である。本実施形態では、周辺画像生成部401は、車両1の部品の三次元の画像でありかつ仮想視点から注視点を見た場合における三次元部品画像を生成する。次いで、周辺画像生成部401は、生成した三次元部品画像を、二次元の平面に投影した画像を、部品画像601として生成する。その際、周辺画像生成部401は、車両1のタイヤの三次元の画像でありかつ仮想視点から注視点を見た三次元タイヤ画像を、二次元の平面に投影したタイヤ画像602を生成し、当該生成したタイヤ画像602含む部品画像601を生成しても良い。本実施形態では、周辺画像生成部401は、三次元部品画像を用いて、二次元の部品画像を生成しているが、これに限定するものではない。例えば、周辺画像生成部401は、ECU14が有する記憶媒体または外部の記憶装置に、二次元の部品画像を予め記憶させておき、周辺画像を表示する際に、当該記憶媒体または外部の記憶装置から、二次元の部品画像を読み出し、当該読み出した二次元の部品画像を周辺画像に重畳する。
FIG. 6 is a diagram for explaining an example of a component image generation process by the vehicle according to the first embodiment. In the present embodiment, the peripheral
図5に戻り、周辺画像生成部401は、部品画像を重畳した周辺画像を、表示制御部14dを介して、表示装置8に表示させる(ステップS505)。図7は、第1の実施形態にかかる車両において表示される周辺画像の一例を示す図である。図7に示すように、本実施形態では、周辺画像生成部401は、周辺画像701が含む黒領域702において、車室2a内の部品および車両1のタイヤが存在する位置に対して、部品画像601を重畳する。そして、周辺画像生成部401は、部品画像601が重畳された周辺画像701を、表示装置8に表示させる。その際、周辺画像生成部401は、図7に示すように、周辺画像701に加えて、車両1の上方から当該車両1の周囲を見た俯瞰画像703を表示装置8に表示させても良い。
Returning to FIG. 5, the peripheral
このように、第1の実施形態にかかる車両1によれば、仮想視点から車室2aを介して車両1の外部の注視点を見た三次元の画像を表示した場合、当該三次元の画像が、車両1の周囲のうちどの位置の三次元の画像であるかを容易に特定することができる。
As described above, according to the vehicle 1 according to the first embodiment, when a three-dimensional image of the external gazing point of the vehicle 1 viewed from the virtual viewpoint via the
(第2の実施形態)
本実施形態は、車両のフレームの三次元の輪郭を含む周辺画像を生成する例である。以下の説明では、第1の実施形態と同様の構成については説明を省略する。
(Second Embodiment)
This embodiment is an example of generating a peripheral image including a three-dimensional outline of a vehicle frame. In the following description, description of the same configuration as that of the first embodiment will be omitted.
図8および図9は、第2の実施形態にかかる車両において表示される周辺画像の一例を示す図である。本実施形態では、周辺画像生成部401は、図8に示すように、車両1のフレームの三次元の輪郭801を含む周辺画像802を生成する。これにより、車両1のフレームの三次元の輪郭801からも、車両1の周囲のうちどの位置の周辺画像であるかを特定できるので、車両1の周囲のうちどの位置の周辺画像であるかをより容易に特定できる。
8 and 9 are views showing an example of a peripheral image displayed in the vehicle according to the second embodiment. In the present embodiment, as shown in FIG. 8, the peripheral
また、本実施形態では、周辺画像生成部401は、図8に示すように、注視点がシームレスに移動している場合、車両1のタイヤの三次元の画像である三次元タイヤ画像803を、周辺画像802において、車両1のタイヤが存在する位置に含める。これにより、車両1のタイヤの三次元タイヤ画像803からも、車両1の周囲のうちどの位置の周辺画像であるかを特定できるので、車両1の周囲のうちどの位置の周辺画像であるかをより容易に特定できる。その際、周辺画像生成部401は、図8に示すように、仮想視点から注視点を見た場合の三次元タイヤ画像803を周辺画像802に含めるものとする。
Further, in the present embodiment, as shown in FIG. 8, the peripheral
その後、周辺画像生成部401は、注視点の移動の停止が指示された場合、図9に示すように、三次元タイヤ画像803の表示を終了する。これにより、注視点の移動を停止した場合に、周囲画像のうち三次元タイヤ画像803によって死角になる領域を減らすことができる。本実施形態では、周辺画像生成部401は、図8に示すように、周辺画像802と共に、注視点のシームレスな移動の停止を指示するための一時停止ボタン804を、表示装置8に表示する。そして、周辺画像生成部401は、操作入力部10によって、一時停止ボタン804がタッチ操作されたことを検出した場合に、注視点のシームレスな移動の停止が指示されたと判断して、三次元タイヤ画像803の表示を終了する。本実施形態では、周辺画像生成部401は、一時停止ボタン804がタッチ操作されたことを検出した場合に、注視点のシームレスな移動を停止しかつ三次元タイヤ画像803の表示を終了させているが、これに限定するものではなく、例えば、表示装置8の画面の予め設定された領域に対するタッチ操作が検出された場合に、注視点のシームレスな移動を停止しかつ三次元タイヤ画像803の表示を終了させても良い。
After that, when the peripheral
その際、周辺画像生成部401は、注視点のシームレスな移動の停止が指示されたと同時に、三次元タイヤ画像803の表示を終了するのではなく、注視点の移動の停止が指示されてから所定時間(例えば、数秒)かけて、三次元タイヤ画像803の透過度を上げた後、当該三次元タイヤ画像803を非表示の状態(すなわち、三次元タイヤ画像803の表示を終了した状態)としても良い。これにより、注視点の移動の停止と同時に、三次元タイヤ画像803の表示が終了して、車両1の周囲のうちどの位置の周辺画像であるかを特定し難くなることを防止できる。
At that time, the peripheral
このように、第2の実施形態にかかる車両1によれば、車両1のフレームの三次元の輪郭801からも、車両1の周囲のうちどの位置の周辺画像であるかを特定できるので、車両1の周囲のうちどの位置の周辺画像であるかをより容易に特定できる。
As described above, according to the vehicle 1 according to the second embodiment, it is possible to specify from the three-
(第3の実施形態)
本実施形態は、車両1の前方を表すトレッドパターンを含むタイヤ画像を含む部品画像を黒領域に重畳する例である。以下の説明では、上述の実施形態と同様の構成については説明を省略する。
(Third Embodiment)
This embodiment is an example of superimposing a component image including a tire image including a tread pattern representing the front of the vehicle 1 on a black region. In the following description, description of the same configuration as that of the above-described embodiment will be omitted.
本実施形態では、周辺画像生成部401は、車両1の前方を識別可能とするトレッドパターンを含むタイヤ画像を生成する。図10は、第3の実施形態にかかる車両において表示される周辺画像の一例を示す図である。本実施形態では、周辺画像生成部401は、図10に示すように、車両1の前方を示すトレッドパターンを含むタイヤ画像1002を生成する。そして、周辺画像生成部401は、当該生成したタイヤ画像1002を、周辺画像1001のうち黒領域702に重畳する。
In the present embodiment, the peripheral
このように、第3の実施形態にかかる車両1によれば、タイヤ画像に含まれるトレッドパターンからも、車両1の周囲のうちどの位置の周辺画像であるかを特定できるので、車両1の周囲のうちどの位置の周辺画像であるかをより容易に特定できる。 As described above, according to the vehicle 1 according to the third embodiment, since it is possible to specify which position of the peripheral image of the periphery of the vehicle 1 is from the tread pattern included in the tire image, the periphery of the vehicle 1 can be specified. It is possible to more easily identify which position of the peripheral image is the peripheral image.
1…車両、8…表示装置、14…ECU、14a…CPU、14b…ROM、14c…RAM、14d…表示制御部、14f…SSD、15…撮像部、401…周辺画像生成部。 1 ... Vehicle, 8 ... Display device, 14 ... ECU, 14a ... CPU, 14b ... ROM, 14c ... RAM, 14d ... Display control unit, 14f ... SSD, 15 ... Imaging unit, 401 ... Peripheral image generation unit.
Claims (5)
前記生成部により生成した前記第1画像を表示する表示部と、
を備え、
前記生成部は、前記車両のフレームの三次元の輪郭を含む前記第1画像を生成し、前記注視点をシームレスに移動させ、前記注視点の移動に応じて前記第1画像を生成し直し、前記注視点がシームレスに移動されている場合、前記車両のタイヤの三次元の第2画像を前記第1画像に含め、前記注視点の移動の停止が指示された場合、前記第2画像の表示を終了する
周辺監視装置。 It is a three-dimensional image obtained by looking at the external gazing point of the vehicle from a virtual viewpoint through the passenger compartment of the vehicle based on the image obtained by imaging the surroundings of the vehicle by the image pickup unit. A generator that includes a blind spot image corresponding to an area outside the range and generates a first image in which a two-dimensional image of the vehicle component is superimposed on the position where the vehicle component exists in the blind spot image.
A display unit that displays the first image generated by the generation unit, and
Equipped with a,
The generation unit generates the first image including the three-dimensional contour of the frame of the vehicle, seamlessly moves the gazing point, and regenerates the first image in response to the movement of the gazing point. When the gazing point is seamlessly moved, the three-dimensional second image of the tire of the vehicle is included in the first image, and when the movement of the gazing point is instructed to stop, the second image is displayed. terminates <br/> periphery monitoring device.
前記生成部により生成した前記第1画像を表示する表示部と、 A display unit that displays the first image generated by the generation unit, and
を備え、 With
前記生成部は、前記部品の二次元の画像のうち前記車両のタイヤの二次元の画像に対して、トレッドパターンを重畳する The generation unit superimposes a tread pattern on the two-dimensional image of the tire of the vehicle among the two-dimensional images of the parts.
周辺監視装置。Peripheral monitoring device.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017094692A JP6965563B2 (en) | 2017-05-11 | 2017-05-11 | Peripheral monitoring device |
JP2021172116A JP7259914B2 (en) | 2017-05-11 | 2021-10-21 | Perimeter monitoring device |
JP2023024074A JP2023067884A (en) | 2017-05-11 | 2023-02-20 | Periphery monitoring device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017094692A JP6965563B2 (en) | 2017-05-11 | 2017-05-11 | Peripheral monitoring device |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021172116A Division JP7259914B2 (en) | 2017-05-11 | 2021-10-21 | Perimeter monitoring device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018191242A JP2018191242A (en) | 2018-11-29 |
JP6965563B2 true JP6965563B2 (en) | 2021-11-10 |
Family
ID=64479201
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017094692A Active JP6965563B2 (en) | 2017-05-11 | 2017-05-11 | Peripheral monitoring device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6965563B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210100609A (en) | 2018-12-11 | 2021-08-17 | 소니그룹주식회사 | Image processing apparatus, image processing method and image processing system |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009056848A (en) * | 2007-08-30 | 2009-03-19 | Nissan Motor Co Ltd | Driving support system |
JP5108837B2 (en) * | 2009-07-13 | 2012-12-26 | クラリオン株式会社 | Vehicle blind spot image display system and vehicle blind spot image display method |
JP6105244B2 (en) * | 2012-09-28 | 2017-03-29 | 富士通テン株式会社 | Image processing apparatus and image processing system |
JP6156486B2 (en) * | 2013-03-28 | 2017-07-05 | アイシン精機株式会社 | Perimeter monitoring apparatus and program |
JP6148887B2 (en) * | 2013-03-29 | 2017-06-14 | 富士通テン株式会社 | Image processing apparatus, image processing method, and image processing system |
JP6257978B2 (en) * | 2013-09-19 | 2018-01-10 | 株式会社デンソーテン | Image generation apparatus, image display system, and image generation method |
JP2016213708A (en) * | 2015-05-11 | 2016-12-15 | トヨタ自動車株式会社 | Vehicle display device |
-
2017
- 2017-05-11 JP JP2017094692A patent/JP6965563B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018191242A (en) | 2018-11-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7151293B2 (en) | Vehicle peripheral display device | |
JP7091624B2 (en) | Image processing equipment | |
CN110997409B (en) | Peripheral monitoring device | |
US20190244324A1 (en) | Display control apparatus | |
JP2020120327A (en) | Peripheral display control device | |
JP2019133416A (en) | Parking area detection device | |
WO2018150642A1 (en) | Surroundings monitoring device | |
JP7013751B2 (en) | Image processing equipment | |
JP7283514B2 (en) | display controller | |
US11475676B2 (en) | Periphery monitoring device | |
JP6965563B2 (en) | Peripheral monitoring device | |
JP2020053819A (en) | Imaging system, imaging apparatus, and signal processing apparatus | |
CN111034188B (en) | Peripheral monitoring device | |
JP6962035B2 (en) | Peripheral monitoring device | |
JP7259914B2 (en) | Perimeter monitoring device | |
JP7130923B2 (en) | display controller | |
JP6930202B2 (en) | Display control device | |
US20200184722A1 (en) | Periphery monitoring device | |
JP2018191061A (en) | Periphery monitoring device | |
JP2018186387A (en) | Display controller |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200407 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210201 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210224 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210415 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210921 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211004 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6965563 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |