JP6950317B2 - Display control device, display system, display control method, and program - Google Patents
Display control device, display system, display control method, and program Download PDFInfo
- Publication number
- JP6950317B2 JP6950317B2 JP2017138748A JP2017138748A JP6950317B2 JP 6950317 B2 JP6950317 B2 JP 6950317B2 JP 2017138748 A JP2017138748 A JP 2017138748A JP 2017138748 A JP2017138748 A JP 2017138748A JP 6950317 B2 JP6950317 B2 JP 6950317B2
- Authority
- JP
- Japan
- Prior art keywords
- parking lot
- vehicle
- line
- video data
- inclination angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、表示制御装置、表示システム、表示制御方法、及び、プログラムに関する。 The present invention relates to a display control device, a display system, a display control method, and a program.
特許文献１は、車両の後方視界画面を撮像する撮像手段と、後方視界画面を表示する表示手段とを用い、ステアリング舵角に応じて変化する予想軌跡線を後方視界画面に重ね合わせて表示させることで、運転者の駐車操作を支援する駐車支援方法を開示している。 Patent Document 1 uses an imaging means for capturing a rear view screen of a vehicle and a display means for displaying a rear view screen, and displays an expected locus line that changes according to a steering steering angle by superimposing it on the rear view screen. By doing so, the parking support method for assisting the driver's parking operation is disclosed.
しかしながら、上記特許文献１の方法では、車両が駐車区画内に深く進入すると、駐車区画を車幅方向で区画する駐車区画線が撮像手段の画角内に収まらなくなる。従って、車両が駐車区画内に深く進入すると、運転者が後方視界画像を通じて駐車区画線を認識し難くなるので、駐車区画に対する車両の向きが適切であるか判断するのが困難となる。 However, in the method of Patent Document 1, when the vehicle enters the parking lot deeply, the parking lot line that divides the parking lot in the vehicle width direction does not fit within the angle of view of the imaging means. Therefore, when the vehicle enters the parking lot deeply, it becomes difficult for the driver to recognize the parking lot line through the rear view image, and it becomes difficult to judge whether the direction of the vehicle with respect to the parking lot is appropriate.
本発明の目的は、駐車区画に対する車両の向きが適切であるか判断することを容易にする技術を提供することにある。 An object of the present invention is to provide a technique for facilitating determining whether a vehicle is properly oriented with respect to a parking lot.
一実施形態に係る表示制御装置は、車両の後方を撮影した映像に対応する主後方映像データ、前記車両の左側後方を撮影した映像に対応する左側後方映像データ、および、前記車両の右側後方を撮影した映像に対応する右側後方映像データを取得する映像データ取得部と、前記車両の後方において前記車両が進行することが予想される予想軌跡線を生成する予想軌跡線生成部と、前記左側後方映像データに基づいて前記車両の左側を区画する駐車区画線を第一左側駐車区画線として認識すると共に、前記右側後方映像データに基づいて前記車両の右側を区画する駐車区画線を第一右側駐車区画線として認識する、認識部と、前記第一左側駐車区画線の前記左側後方映像データにおける傾斜角と、前記第一右側駐車区画線の前記右側後方映像データにおける傾斜角と、を算出する算出部と、前記主後方映像データに前記予想軌跡線を重畳させた重畳映像データを生成する重畳映像データ生成部と、前記重畳映像データを表示装置に出力する表示制御部と、を備え、前記重畳映像データ生成部は、前記第一左側駐車区画線の前記傾斜角と前記第一右側駐車区画線の前記傾斜角が前記車両の前後方向に平行であることを示している場合、前記車両を駐車させる駐車区画に対する前記車両の向きが適切であることを示すように前記重畳映像データを変更する。 The display control device according to one embodiment displays main rear image data corresponding to an image of the rear of the vehicle, left rear image data corresponding to an image of the left rear of the vehicle, and right rear of the vehicle. An image data acquisition unit that acquires right rear image data corresponding to the captured image, an expected locus line generation unit that generates an expected locus line that the vehicle is expected to travel behind the vehicle, and a left rear rear unit. The parking lot line that divides the left side of the vehicle is recognized as the first left parking lot line based on the video data, and the parking lot line that divides the right side of the vehicle based on the right rear video data is parked on the first right side. Calculation to calculate the recognition unit recognized as a lane marking, the inclination angle of the first left parking lane line in the left rear image data, and the inclination angle of the first right parking lane in the right rear image data. The superimposition includes a unit, a superimposition video data generation unit that generates superimposition video data in which the expected locus line is superposed on the main rear video data, and a display control unit that outputs the superimposition video data to a display device. When the video data generation unit indicates that the inclination angle of the first left parking lot line and the inclination angle of the first right parking lot line are parallel to the front-rear direction of the vehicle, the video data generation unit parks the vehicle. The superimposed video data is changed so as to indicate that the orientation of the vehicle with respect to the parking section to be caused is appropriate.
他の一実施形態に係る表示制御方法は、車両の後方を撮影した映像に対応する主後方映像データ、前記車両の左側後方を撮影した映像に対応する左側後方映像データ、および、前記車両の右側後方を撮影した映像に対応する右側後方映像データを取得する映像データ取得ステップと、前記車両の後方において前記車両が進行することが予想される予想軌跡線を生成する予想軌跡線生成ステップと、前記左側後方映像データに基づいて前記車両の左側を区画する駐車区画線を第一左側駐車区画線として認識すると共に、前記右側後方映像データに基づいて前記車両の右側を区画する駐車区画線を第一右側駐車区画線として認識する、認識ステップと、前記第一左側駐車区画線の前記左側後方映像データにおける傾斜角と、前記第一右側駐車区画線の前記右側後方映像データにおける傾斜角と、を算出する算出ステップと、前記主後方映像データに前記予想軌跡線を重畳させた重畳映像データを生成する重畳映像データ生成ステップと、前記重畳映像データを表示装置に出力する表示制御ステップと、を含み、前記重畳映像データ生成ステップでは、前記第一左側駐車区画線の前記傾斜角と前記第一右側駐車区画線の前記傾斜角が前記車両の前後方向に平行であることを示している場合、前記車両を駐車させる駐車区画に対する前記車両の向きが適切であることを示すように前記重畳映像データを変更する。 The display control method according to the other embodiment is the main rear image data corresponding to the image of the rear of the vehicle, the left rear image data corresponding to the image of the left rear of the vehicle, and the right side of the vehicle. The video data acquisition step of acquiring the right rear image data corresponding to the image of the rear image, the expected trajectory line generation step of generating the expected trajectory line in which the vehicle is expected to travel behind the vehicle, and the above. The parking lane line that divides the left side of the vehicle is recognized as the first left side parking lane based on the left rear image data, and the parking lane that divides the right side of the vehicle based on the right rear image data is first. The recognition step to be recognized as the right parking lot line, the inclination angle of the first left parking lot line in the left rear image data, and the inclination angle of the first right parking lot line in the right rear image data are calculated. The calculation step includes a superimposed video data generation step of generating superimposed video data in which the expected locus line is superimposed on the main rear video data, and a display control step of outputting the superimposed video data to a display device. In the superimposed video data generation step, when it is shown that the inclination angle of the first left parking lot line and the inclination angle of the first right parking lot line are parallel to the front-rear direction of the vehicle, the vehicle The superimposed video data is modified to indicate that the orientation of the vehicle with respect to the parking area in which the vehicle is parked is appropriate.
更に他の一実施形態に係るプログラムは、車両の後方を撮影した映像に対応する主後方映像データ、前記車両の左側後方を撮影した映像に対応する左側後方映像データ、および、前記車両の右側後方を撮影した映像に対応する右側後方映像データを取得する映像データ取得ステップと、前記車両の後方において前記車両が進行することが予想される予想軌跡線を生成する予想軌跡線生成ステップと、前記左側後方映像データに基づいて前記車両の左側を区画する駐車区画線を第一左側駐車区画線として認識すると共に、前記右側後方映像データに基づいて前記車両の右側を区画する駐車区画線を第一右側駐車区画線として認識する、認識ステップと、前記第一左側駐車区画線の前記左側後方映像データにおける傾斜角と、前記第一右側駐車区画線の前記右側後方映像データにおける傾斜角と、を算出する算出ステップと、前記主後方映像データに前記予想軌跡線を重畳させた重畳映像データを生成する重畳映像データ生成ステップと、前記重畳映像データを表示装置に出力する表示制御ステップと、をコンピュータに実行させる。前記重畳映像データ生成ステップでは、前記第一左側駐車区画線の前記傾斜角と前記第一右側駐車区画線の前記傾斜角が前記車両の前後方向に平行であることを示している場合、前記車両を駐車させる駐車区画に対する前記車両の向きが適切であることを示すように前記重畳映像データを変更する。 The program according to still another embodiment includes main rear image data corresponding to an image of the rear of the vehicle, left rear image data corresponding to an image of the left rear of the vehicle, and right rear of the vehicle. A video data acquisition step for acquiring the right rear image data corresponding to the captured image, a prediction trajectory generation step for generating an expected trajectory line for which the vehicle is expected to travel behind the vehicle, and the left side. The parking lot line that divides the left side of the vehicle is recognized as the first left parking lot line based on the rear image data, and the parking lot line that divides the right side of the vehicle based on the right rear image data is recognized as the first right side. The recognition step to be recognized as a parking lot line, the inclination angle of the first left parking lot line in the left rear image data, and the inclination angle of the first right parking lot line in the right rear image data are calculated. The calculation step, the superimposed video data generation step of generating the superimposed video data by superimposing the expected locus line on the main rear video data, and the display control step of outputting the superimposed video data to the display device are executed on the computer. Let me. In the superimposed video data generation step, when it is shown that the inclination angle of the first left parking lot line and the inclination angle of the first right parking lot line are parallel to the front-rear direction of the vehicle, the vehicle The superimposed video data is modified to indicate that the orientation of the vehicle with respect to the parking lot in which the vehicle is parked is appropriate.
本発明によれば、駐車区画に対する車両の向きが適切であるか判断することが容易となる。 According to the present invention, it becomes easy to determine whether the orientation of the vehicle with respect to the parking lot is appropriate.
（第１実施形態）
以下、図１から図９を参照して、第１実施形態を説明する。図１は、表示システムの機能ブロック図を示している。図２は、所望の駐車区画に向けて車両を後退させている様子を示す俯瞰図を示している。
(First Embodiment)
Hereinafter, the first embodiment will be described with reference to FIGS. 1 to 9. FIG. 1 shows a functional block diagram of the display system. FIG. 2 shows a bird's-eye view showing a state in which the vehicle is retracted toward a desired parking lot.
＜構成＞
図１に示す表示システム１は、運転者の駐車操作を補助するものである。具体的には、表示システム１は、図２に示すように、運転者が車両２を後退させることにより車両２を所望の駐車区画３に向けて移動させる際の駐車操作を補助する。
<Structure>
The display system 1 shown in FIG. 1 assists the driver in parking operation. Specifically, as shown in FIG. 2, the display system 1 assists the parking operation when the driver moves the
図１に示すように、表示システム１は、後方カメラ４と、左側後方カメラ５と、右側後方カメラ６と、表示装置７と、表示制御装置８と、を備えている。
As shown in FIG. 1, the display system 1 includes a
図２に示すように、後方カメラ４は、車両２の後端２ａに配置され、車両２の後端２ａから車両２の後方を撮像するカメラである。後方カメラ４は、撮像した映像に対応する主後方映像データを表示制御装置８に出力する。図２には、後方カメラ４の画角４ａを破線で示している。
As shown in FIG. 2, the
左側後方カメラ５は、車両２の左端２ｂに配置され、車両２の左端２ｂから車両２の左側後方を撮像するカメラである。本実施形態において、左側後方カメラ５は、車両２の左端２ｂに配置されている左サイドミラー９に配置されており、車両２の左サイドミラー９から車両２の左側後方を撮像する。左側後方カメラ５は、撮像した映像に対応する左側後方映像データを表示制御装置８に出力する。図２には、左側後方カメラ５の画角５ａを破線で示している。左側後方カメラ５は、左サイドミラー９を電子的に代替する図示しない左サイドモニタ用のカメラであってもよい。
The left
右側後方カメラ６は、車両２の右端２ｃに配置され、車両２の右端２ｃから車両２の右側後方を撮像するカメラである。本実施形態において、右側後方カメラ６は、車両２の右端２ｃに配置されている右サイドミラー１０に配置されており、車両２の右サイドミラー１０から車両２の右側後方を撮像する。右側後方カメラ６は、撮像した映像に対応する右側後方映像データを表示制御装置８に出力する。図２には、右側後方カメラ６の画角６ａを破線で示している。右側後方カメラ６は、右サイドミラー１０を電子的に代替する図示しない右サイドモニタ用のカメラであってもよい。
The right
図１に戻り、表示装置７は、例えば、液晶表示装置、有機ＥＬ（有機エレクトロルミネッセンス）表示装置、ヘッドアップディスプレイである。表示装置７は、運転者が駐車操作する際に目視可能な位置に配置される。表示装置７は、表示画面７ａを有する。 Returning to FIG. 1, the display device 7 is, for example, a liquid crystal display device, an organic EL (organic electroluminescence) display device, and a head-up display. The display device 7 is arranged at a position that can be visually recognized when the driver performs a parking operation. The display device 7 has a display screen 7a.
表示制御装置８は、中央演算処理器としてのCPU（Central Processing Unit）と、読み書き自由のRAM（Random Access Memory）、読み出し専用のROM（Read Only Memory）を備えている。そして、CPUがROMに記憶されているプログラムを読み出して実行することで、プログラムは、CPUなどのハードウェアを、車両情報取得部２０、映像データ取得部２１、映像処理部２２、表示制御部２３、として機能させる。
The
車両情報取得部２０は、CANなどを通じて、車両情報を取得する。CANなどとは、CAN（Controller Area Network）やMOST（Media Oriented Systems Transport）、イーサネット（登録商標）等の車内ネットワークを意味する。車両情報取得部２０は、後退情報取得部２４、及び、舵角情報取得部２５を有する。後退情報取得部２４は、車両２のシフトレバーの操作情報を取得する。舵角情報取得部２５は、車両２のハンドルの舵角情報を取得する。車両情報は、操作情報及び舵角情報を含み得る。車両情報取得部２０は、取得した車両情報を映像処理部２２に出力する。
The vehicle
映像データ取得部２１は、後方カメラ４から主後方映像データを取得する。映像データ取得部２１は、左側後方カメラ５から左側後方映像データを取得する。映像データ取得部２１は、右側後方カメラ６から右側後方映像データを取得する。映像データ取得部２１は、取得した主後方映像データ及び左側後方映像データ、右側後方映像データを映像処理部２２に出力する。
The video
映像処理部２２は、映像データ取得部２１が取得した映像データに対し、各種処理を行う。映像処理部２２は、処理内容に対応して予想軌跡線生成部２６と、認識部２７と、算出部２８と、重畳映像データ生成部２９と、を有する。
The
予想軌跡線生成部２６は、車両２の後方における予想軌跡線を生成する。予想軌跡線生成部２６は、車両２の後方において車両２が進行することが予想される予想軌跡線を生成する。予想軌跡線は、図３及び図４に示すように、第一予想軌跡線としての舵角非連動線３０と、第二予想軌跡線としての舵角連動線３１と、を含み得る。
The predicted locus
図３に示すように、舵角非連動線３０は、車両２の前後方向に沿って直線的に延びる２本の縦線３０ａと、２本の縦線３０ａを連結する２本の横線３０ｂと、から構成されている。２本の縦線３０ａの間の間隔は、車両２の車幅に一致している。２本の横線３０ｂは、省略される場合がある。横線３０ｂの本数は２本に限らない。また、横線３０ｂは、車両２を起点とした車両２の後方の所定距離を示していてもよい。
As shown in FIG. 3, the steering
図４に示すように、舵角連動線３１は、舵角情報に基づいて湾曲する２本の縦線３１ａと、２本の縦線３１ａを連結する２本の横線３１ｂと、から構成されている。２本の縦線３１ａの間の間隔は、車両２の車幅に一致している。２本の横線３１ｂは、省略される場合がある。横線３１ｂの本数は２本に限らない。また、横線３１ｂは、車両２を起点とした車両２の後方の所定距離を示していてもよい。
As shown in FIG. 4, the rudder
図５には、左側後方映像データを例示している。図６には、右側後方映像データを例示している。認識部２７は、図５に示すように、左側後方映像データに基づいて、車両２が向かっている駐車区画３を車幅方向で区画する駐車区画線３５のうち、車両２が駐車区画３内に進入した段階で車両２から見て左側（左サイドミラー９側）となる駐車区画線３５を第一左側駐車区画線３５Ｌとして認識する。端的に言えば、認識部２７は、左側後方映像データに基づいて、車両２の駐車区画３の左側（左サイドミラー９側）を区画する駐車区画線３５を第一左側駐車区画線３５Ｌとして認識する。同様に、認識部２７は、図６に示すように、右側後方映像データに基づいて、車両２が向かっている駐車区画３を車幅方向で区画する駐車区画線３５のうち、車両２が駐車区画３内に進入した段階で車両２から見て右側（右サイドミラー１０側）となる駐車区画線３５を第一右側駐車区画線３５Ｒとして認識する。端的に言えば、認識部２７は、右側後方映像データに基づいて、車両２の駐車区画３の右側（右サイドミラー１０側）を区画する駐車区画線３５を第一右側駐車区画線３５Ｒとして認識する。
FIG. 5 illustrates left rear video data. FIG. 6 illustrates right rear video data. As shown in FIG. 5, the
算出部２８は、図５に示すように、第一左側駐車区画線３５Ｌの左側後方映像データにおける左傾斜角θ（Ｌ）を算出する。ここで、左傾斜角θ（Ｌ）とは、左側後方映像データの垂直線３６に対する第一左側駐車区画線３５Ｌの傾斜角である。ただし、左傾斜角θ（Ｌ）は、反時計回りを正とする。垂直線３６は、図５に示す左側後方映像データの紙面上下方向に延びる縦線である。同様に、算出部２８は、図６に示すように、第一右側駐車区画線３５Ｒの右側後方映像データにおける右傾斜角θ（Ｒ）を算出する。ここで、右傾斜角θ（Ｒ）とは、右側後方映像データの垂直線３７に対する第一右側駐車区画線３５Ｒの傾斜角である。ただし、右傾斜角θ（Ｒ）は、時計回りを正とする。垂直線３７は、図６に示す右側後方映像データの紙面上下方向に延びる縦線である。
As shown in FIG. 5, the
算出部２８は、左傾斜角θ（Ｌ）および右傾斜角θ（Ｒ）を算出する際の基準として、左側後方映像データの垂直線３６および右側後方映像データの垂直線３７に代えて、左側後方映像データおよび右側後方映像データにおける車両２の前後方向に平行な線を基準としてもよい。
The
重畳映像データ生成部２９は、主後方映像データに予想軌跡線を重畳させた重畳映像データを生成する。前述したように、予想軌跡線生成部２６が生成する予想軌跡線は、図３に示す舵角非連動線３０と、図４に示す舵角連動線３１と、を含み得る。本実施形態では、重畳映像データ生成部２９は、図３に示すように、主後方映像データに対して舵角非連動線３０のみを重畳させ、舵角連動線３１は重畳させないこととする。即ち、重畳映像データ生成部２９は、主後方映像データに舵角非連動線３０を重畳させた重畳映像データを生成する。そして、重畳映像データ生成部２９は、左傾斜角θ（Ｌ）と右傾斜角θ（Ｒ）の各々の角度が、車両２の前後方向に平行であることを示している場合、駐車区画３に対する車両２の向きが適切であることを示すように重畳映像データを変更する。重畳映像データ生成部２９は、左傾斜角θ（Ｌ）と右傾斜角θ（Ｒ）の各々の角度が、第一左側駐車区画線３５Ｌ及び第一右側駐車区画線３５Ｒが車両２の前後方向に平行であることを示している場合、駐車区画３に対する車両２の向きが適切であることを示すように重畳映像データを変更する。
The superimposed video data generation unit 29 generates superimposed video data in which the expected locus line is superimposed on the main rear video data. As described above, the predicted locus line generated by the predicted locus
表示制御部２３は、重畳映像データを表示装置７に出力する。
The
＜作動＞
次に、図７から図９を参照して、表示制御装置８の制御フローを説明する。図７は、表示制御装置８の制御フローを示している。図８及び図９は、表示装置７の表示画面７ａの表示例を示している。
<Operation>
Next, the control flow of the
図７に示すように、先ず、表示制御装置８は、シフトレバーがリバースポジションへと切り替わるまで処理を待機させる（S100：NO）。
As shown in FIG. 7, first, the
シフトレバーがリバースポジションへと切り替わったら（S100:YES）、映像データ取得部２１が、主後方映像データ及び左側後方映像データ、右側後方映像データを取得する（S110）。
When the shift lever is switched to the reverse position (S100: YES), the video
次に、予想軌跡線生成部２６が、図３に示す舵角非連動線３０を生成する（S120）。
Next, the expected locus
次に、認識部２７が、図５に示すように、左側後方映像データに基づいて第一左側駐車区画線３５Ｌを認識する（S130）。同様に、認識部２７が、図６に示すように、右側後方映像データに基づいて第一右側駐車区画線３５Ｒを認識する（S130）。なお、第一左側駐車区画線３５Ｌや第一右側駐車区画線３５Ｒを認識する方法としては、例えばエッヂ検出などの公知の画像処理方法を採用し得る。
Next, as shown in FIG. 5, the
次に、算出部２８が、図５及び図６に示すように、左傾斜角θ（Ｌ）及び右傾斜角θ（Ｒ）を算出する（S140）。
Next, the
次に、重畳映像データ生成部２９が、図３に示すように、主後方映像データに舵角非連動線３０を重畳させた重畳映像データを生成する（S150）。
Next, as shown in FIG. 3, the superimposed video data generation unit 29 generates superimposed video data in which the steering
そして、重畳映像データ生成部２９は、左傾斜角θ（Ｌ）と右傾斜角θ（Ｒ）の各々の角度が、車両２の前後方向に平行であることを示しているか否かを判定する（S160）。この判定は、例えば、左傾斜角θ（Ｌ）と右傾斜角θ（Ｒ）が車両２の前後方向に延びる中心線に関して左右線対称となる角度であるか否かを判定する。言い換えると、反時計回りを正とする左傾斜角θ（Ｌ）と時計回りを正とする右傾斜角θ（Ｒ）が等しいか否かを判定する。左傾斜角θ（Ｌ）と右傾斜角θ（Ｒ）が車両２の前後方向に平行であることを示していない場合は（S160:NO）、重畳映像データ生成部２９は、舵角非連動線通常表示モード（S170）を選択する。即ち、重畳映像データ生成部２９は、舵角非連動線通常表示モードを選択した場合、図８に示すように、重畳映像データにおいて舵角非連動線３０を細い実線で描画する。ここで言う細い線とは、舵角非連動線３０が通常表示される太さの線としてもよい。一方、左傾斜角θ（Ｌ）と右傾斜角θ（Ｒ）が車両２の前後方向に平行であることを示している場合は（S160:YES）、重畳映像データ生成部２９は、舵角非連動線強調表示モード（S180）を選択する。即ち、重畳映像データ生成部２９は、舵角非連動線強調表示モードを選択した場合、図９に示すように、重畳映像データにおいて舵角非連動線３０を太い実線で描画する。ここで言う太い線とは、舵角非連動線３０が通常表示される太さより太い線としてもよい。
Then, the superimposed video data generation unit 29 determines whether or not each angle of the left inclination angle θ (L) and the right inclination angle θ (R) indicates that they are parallel to the front-rear direction of the
重畳映像データ生成部２９は、舵角非連動線通常表示モードで描画される舵角非連動線３０に対し、舵角非連動線強調表示モードで描画される舵角非連動線３０を、より目立つ表示形態として描画してもよい。目立つ表示形態とは、色調を明るくする、輝度を高くする、周辺映像とのコントラストを高くするなどである。
The superimposed video data generation unit 29 uses the rudder
表示制御部２３は、映像処理部２２が生成した重畳映像データを表示装置７に出力する（S190）。これにより、重畳映像データが表示装置７の表示画面７ａに表示される。
The
そして、表示制御装置８は、シフトレバーがリバースポジション以外のポジションへ切り替わるまで（S200：YES）、S110からS190のステップを繰り返し、シフトレバーがリバースポジション以外のポジションへ切り替わったら（S200:NO）、処理を終了する。
Then, the
上述したように、左傾斜角θ（Ｌ）と右傾斜角θ（Ｒ）が等しくなる等の判断で、左傾斜角θ（Ｌ）と右傾斜角θ（Ｒ）が車両２の前後方向に平行であることを示しているときに舵角非連動線３０の表示形態を変えるなどして重畳映像データを変更することで、表示制御装置８は、駐車区画３に対する車両２の向きが適切となったことを運転者に知らせることができる。図８及び図９に示すように車両２が駐車区画３に深く進入すると、車両２を車幅方向で挟む２つの駐車区画線３５の、表示装置７の表示画面７ａ上で確認できる長さが極めて短くなるので、運転者にとっては、駐車区画３に対する車両２の向きが適切であるか判断し難くなる。従って、上述した技術は、特に、車両２が駐車区画３に深く進入したときに、駐車区画３に対する車両２の向きが適切であるかを運転者が判断する際に極めて有用である。また、第一左側駐車区画線３５Ｌおよび第一右側駐車区画線３５Ｒの双方における傾斜角に基づいて駐車区画３に対する車両２の向きを判断することで、駐車区画３の左右方向中央に適切に位置していることも判断できる。
As described above, the left inclination angle θ (L) and the right inclination angle θ (R) are set in the front-rear direction of the
以上、第１実施形態を説明したが、上記第１実施形態は、以下の特徴を有している。 Although the first embodiment has been described above, the first embodiment has the following features.
即ち、表示制御装置８は、車両２の後方を撮影した映像に対応する主後方映像データ、車両２の左側後方を撮影した映像に対応する左側後方映像データ、および、車両２の右側後方を撮影した映像に対応する右側後方映像データを取得する映像データ取得部２１と、車両２の後方において車両２が進行することが予想される予想軌跡線を生成する予想軌跡線生成部２６と、左側後方映像データに基づいて車両２の左側を区画する駐車区画線３５を第一左側駐車区画線３５Ｌとして認識すると共に、右側後方映像データに基づいて車両２の右側を区画する駐車区画線３５を第一右側駐車区画線３５Ｒとして認識する、認識部２７と、第一左側駐車区画線３５Ｌの左側後方映像データにおける傾斜角としての左傾斜角θ（Ｌ）と、第一右側駐車区画線３５Ｒの右側後方映像データにおける傾斜角としての右傾斜角θ（Ｒ）と、を算出する算出部２８と、主後方映像データに予想軌跡線を重畳させた重畳映像データを生成する重畳映像データ生成部２９と、重畳映像データを表示装置７に出力する表示制御部２３と、を備える。重畳映像データ生成部２９は、第一左側駐車区画線３５Ｌの左傾斜角θ（Ｌ）と第一右側駐車区画線３５Ｒの右傾斜角θ（Ｒ）が車両２の前後方向に平行であることを示している場合、駐車区画３に対する車両２の向きが適切であることを示すように重畳映像データを変更する。以上の構成によれば、駐車区画３に対する車両２の向きが適切であるか判断することが容易となる。更に言えば、以上の構成によれば、車両２が駐車区画３に深く進入した段階でも、運転者が、駐車区画３に対する車両２の向きが適切であるかを判断し易くなる。
That is, the
また、図８及び図９に示すように、重畳映像データ生成部２９は、第一左側駐車区画線３５Ｌの左傾斜角θ（Ｌ）と第一右側駐車区画線３５Ｒの右傾斜角θ（Ｒ）が車両２の前後方向に平行であることを示している場合、予想軌跡線の表示形態を変更する。以上の構成によれば、運転者が特に注目している箇所を変更することで、運転者が、駐車区画３に対する車両２の向きが適切であるかを一層容易に判断し易くなる。
Further, as shown in FIGS. 8 and 9, the superimposed video data generation unit 29 has a left inclination angle θ (L) of the first left
また、予想軌跡線生成部２６は、予想軌跡線として車両２の前後方向に沿って延びる第一予想軌跡線としての舵角非連動線３０を生成する。重畳映像データ生成部２９は、第一左側駐車区画線３５Ｌの左傾斜角θ（Ｌ）と第一右側駐車区画線３５Ｒの右傾斜角θ（Ｒ）が車両２の前後方向に平行であることを示している場合、舵角非連動線３０の表示形態を変更する。
Further, the predicted locus
また、図７に示すように、表示制御方法は、映像データ取得ステップ（S110）と、予想軌跡線生成ステップ（S120）と、認識ステップ（S130）と、算出ステップ（S140）と、重畳映像データ生成ステップ（S210）と、表示制御ステップ（S190）と、を含む。重畳映像データ生成ステップ（S210）では、第一左側駐車区画線３５Ｌの左傾斜角θ（Ｌ）と第一右側駐車区画線３５Ｒの右傾斜角θ（Ｒ）が車両２の前後方向に平行であることを示している場合（S160:YES）、駐車区画３に対する車両２の向きが適切であることを示すように重畳映像データを変更する（S170、S180）。以上の方法によれば、駐車区画３に対する車両２の向きが適切であるか判断することが容易となる。更に言えば、以上の方法によれば、車両２が駐車区画３に深く進入した段階でも、運転者が、駐車区画３に対する車両２の向きが適切であるかを判断し易くなる。
Further, as shown in FIG. 7, the display control method includes a video data acquisition step (S110), a predicted locus line generation step (S120), a recognition step (S130), a calculation step (S140), and superimposed video data. A generation step (S210) and a display control step (S190) are included. In the superimposed video data generation step (S210), the left inclination angle θ (L) of the first left
なお、本明細書において、第一左側駐車区画線３５Ｌの左傾斜角θ（Ｌ）と第一右側駐車区画線３５Ｒの右傾斜角θ（Ｒ）が車両２の前後方向に平行であることを示している場合とは、左傾斜角θ（Ｌ）と右傾斜角θ（Ｒ）が車両２の前後方向に延びる中心線に関して左右線対称となる角度として完全に一致していることに加えて、左傾斜角θ（Ｌ）と右傾斜角θ（Ｒ）の差分が所定値未満であること、及び、左傾斜角θ（Ｌ）に対する右傾斜角θ（Ｒ）の比が所定範囲内であること、をも含む。
In the present specification, the left inclination angle θ (L) of the first
また、表示システム１は、少なくとも、表示制御装置８を備える。表示システム１は、後方カメラ４、左側後方カメラ５、右側後方カメラ６、表示装置７の少なくとも何れかを備える。
Further, the display system 1 includes at least a
上記第１実施形態は、例えば、以下のように変更できる。 The first embodiment can be changed as follows, for example.
例えば、上記第１実施形態では、舵角非連動線３０の表示形態を変更することの一例として、図８に示す舵角非連動線通常表示モードでは舵角非連動線３０を細い実線で描画し、図９に示す舵角非連動線強調表示モードでは舵角非連動線３０を太い実線で描画することとした。しかし、これに代えて、重畳映像データ生成部２９は、舵角非連動線通常表示モードで描画される舵角非連動線３０に対し、舵角非連動線強調表示モードで描画される舵角非連動線３０を、より目立つ表示形態として描画してもよい。目立つ表示形態とは、舵角非連動線３０の色や輝度などを明るく変更する、輝度を高くする、周辺映像とのコントラストを高くするなどのように舵角非連動線３０の表示形態を変更するようにしてもよい。
For example, in the first embodiment, as an example of changing the display form of the rudder
また、上記第１実施形態において、重畳映像データ生成部２９は、図３に示すように、主後方映像データに予想軌跡線として舵角非連動線３０を重畳させることとしたが、これに代えて、主後方映像データに予想軌跡線として舵角連動線３１を重畳させることとしてもよい。
Further, in the first embodiment, as shown in FIG. 3, the superposed video data generation unit 29 superimposes the rudder
（第１実施形態の変形例）
次に、図１０から図１３に基づいて、上記第１実施形態の変形例を説明する。図１０は、表示制御装置８の制御フローを示している。図１１から図１３は、表示装置７の表示画面７ａの表示例を示している。以下、本変形例が上記第１実施形態と相違する点を中心に説明し、重複する説明は省略する。
(Modified example of the first embodiment)
Next, a modified example of the first embodiment will be described with reference to FIGS. 10 to 13. FIG. 10 shows a control flow of the
上記第１実施形態において予想軌跡線生成部２６は、図７に示すように、舵角非連動線３０を生成するものとした（S120）。しかし、これに代えて、本変形例において予想軌跡線生成部２６は、図１０に示すように、舵角非連動線３０及び舵角連動線３１を生成する（S120）。
In the first embodiment, the expected locus
また、上記第１実施形態において重畳映像データ生成部２９は、図３に示すように、主後方映像データに舵角非連動線３０を重畳させた重畳映像データを生成するものとした(S150)。しかし、これに代えて、本変形例において重畳映像データ生成部２９は、図１０及び図１１に示すように、主後方映像データに舵角非連動線３０及び舵角連動線３１を重畳させた重畳映像データを生成する（S150）。
Further, in the first embodiment, as shown in FIG. 3, the superimposed video data generation unit 29 generates superimposed video data in which the steering
そして、本変形例において重畳映像データ生成部２９は、舵角非連動線通常表示モードを選択した場合（S170）、図１１及び図１２に示すように、重畳映像データにおいて舵角非連動線３０及び舵角連動線３１を細い実線で描画する。一方、重畳映像データ生成部２９は、舵角非連動線強調表示モードを選択した場合（S180）、図１３に示すように、重畳映像データにおいて舵角連動線３１は依然として細い実線で描画するものの、重畳映像データにおいて舵角非連動線３０は太い実線で描画するものとする。
Then, in the present modification, when the superposed video data generation unit 29 selects the rudder angle non-interlocking line normal display mode (S170), as shown in FIGS. 11 and 12, the superposed video data generation unit 29 has the rudder angle
本変形例でも、上記第１実施形態と同様に、駐車区画３に対する車両２の向きが適切であるか判断することが容易となる。更に言えば、車両２が駐車区画３に深く進入した段階でも、運転者が、駐車区画３に対する車両２の向きが適切であるかを判断し易くなる。
Also in this modified example, it becomes easy to determine whether the orientation of the
（第２実施形態）
以下、図１４から図１７を参照して、第２実施形態を説明する。以下、本実施形態が上記第１実施形態と相違する点を中心に説明し、重複する説明は省略する。
(Second Embodiment)
Hereinafter, the second embodiment will be described with reference to FIGS. 14 to 17. Hereinafter, the present embodiment will be mainly described as being different from the first embodiment, and duplicated description will be omitted.
上記第１実施形態において予想軌跡線生成部２６は、図７に示すように、舵角非連動線３０を生成するものとした（S120）。しかし、これに代えて、本実施形態において予想軌跡線生成部２６は、図１４に示すように、舵角非連動線３０及び舵角連動線３１を生成する（S120）。
In the first embodiment, the expected locus
上記第１実施形態において重畳映像データ生成部２９は、図７に示すように、主後方映像データに舵角非連動線３０を重畳させた重畳映像データを生成し（S150）、左傾斜角θ（Ｌ）と右傾斜角θ（Ｒ）が車両２の前後方向に平行であることを示しているか否かを判定し（S160）、判定結果に応じて、舵角非連動線通常表示モード（S170）又は舵角非連動線強調表示モード（S180）を選択するものとした。しかし、これに代えて、本実施形態では、重畳映像データ生成部２９は、図１４に示すように、左傾斜角θ（Ｌ）と右傾斜角θ（Ｒ）が車両２の前後方向に平行であることを示しているか否かを判定し（S160）、判定結果に応じて、舵角連動線単独表示モード（S220）又は両方表示モード（S230）を選択する。具体的には以下の通りである。
In the first embodiment, as shown in FIG. 7, the superimposed image data generation unit 29 generates superimposed image data in which the steering
左傾斜角θ（Ｌ）と右傾斜角θ（Ｒ）が車両２の前後方向に平行であることを示していない場合は（S160:NO）、重畳映像データ生成部２９は、舵角連動線単独表示モード（S220）を選択する。即ち、重畳映像データ生成部２９は、舵角連動線単独表示モードを選択した場合、図１５及び図１６に示すように、主後方映像データに舵角非連動線３０は重畳させずに、主後方映像データに舵角連動線３１を重畳させる。一方、駐車操作の後期において左傾斜角θ（Ｌ）と右傾斜角θ（Ｒ）が車両２の前後方向に平行であることを示している場合（S160:YES）、重畳映像データ生成部２９は、両方表示モード（S230）を選択する。即ち、重畳映像データ生成部２９は、両方表示モードを選択した場合、図１７に示すように、主後方映像データに舵角連動線３１に加えて舵角非連動線３０も重畳させる。即ち、重畳映像データ生成部２９は、両方表示モードを選択した場合、図１７に示すように、主後方映像データに舵角非連動線３０及び舵角連動線３１を重畳させる。
If it does not indicate that the left inclination angle θ (L) and the right inclination angle θ (R) are parallel to the front-rear direction of the vehicle 2 (S160: NO), the superimposed video data generation unit 29 is set to the steering angle interlocking line. Select the stand-alone display mode (S220). That is, when the superposed video data generation unit 29 selects the steering angle interlocking line independent display mode, as shown in FIGS. 15 and 16, the superposed video data generation unit 29 does not superimpose the rudder
以上に、第２実施形態を説明したが、上記第２実施形態は、以下の特徴を有する。 Although the second embodiment has been described above, the second embodiment has the following features.
即ち、表示システム１は、車両２の舵角情報を取得する舵角情報取得部２５を更に備える。予想軌跡線生成部２６は、予想軌跡線として車両２の前後方向に沿って延びる第一予想軌跡線としての舵角非連動線３０と、舵角情報に基づいて湾曲する第二予想軌跡線としての舵角連動線３１と、を生成する。重畳映像データ生成部２９は、第一左側駐車区画線３５Ｌの左傾斜角θ（Ｌ）と第一右側駐車区画線３５Ｒの右傾斜角θ（Ｒ）が車両２の前後方向に平行であることを示していない場合、主後方映像データに舵角連動線３１を重畳させ、第一左側駐車区画線３５Ｌの左傾斜角θ（Ｌ）と第一右側駐車区画線３５Ｒの右傾斜角θ（Ｒ）が車両２の前後方向に平行であることを示している場合、主後方映像データに舵角連動線３１に加えて舵角非連動線３０も重畳させる。以上の構成によれば、上記第１実施形態と同様に、駐車区画３に対する車両２の向きが適切であるか判断することが容易となる。更に言えば、車両２が駐車区画３に深く進入した段階でも、運転者が、駐車区画３に対する車両２の向きが適切であるかを判断し易くなる。
That is, the display system 1 further includes a steering angle
なお、上記第２実施形態では、図１６及び図１７に示すように、第一左側駐車区画線３５Ｌの左傾斜角θ（Ｌ）と第一右側駐車区画線３５Ｒの右傾斜角θ（Ｒ）が車両２の前後方向に平行であることを示している場合、主後方映像データに舵角連動線３１に加えて舵角非連動線３０も重畳させることとした。しかし、これに代えて、第一左側駐車区画線３５Ｌの左傾斜角θ（Ｌ）と第一右側駐車区画線３５Ｒの右傾斜角θ（Ｒ）が車両２の前後方向に平行であることを示している場合、主後方映像データに舵角連動線３１に加えて舵角非連動線３０以外のオブジェクトを重畳させるようにしてもよい。
In the second embodiment, as shown in FIGS. 16 and 17, the left inclination angle θ (L) of the first
（第３実施形態）
以下、図１８及び図１９に基づいて、第３実施形態を説明する。以下、本実施形態が上記第１実施形態と相違する点を中心に説明し、重複する説明は省略する。
(Third Embodiment)
Hereinafter, the third embodiment will be described with reference to FIGS. 18 and 19. Hereinafter, the present embodiment will be mainly described as being different from the first embodiment, and duplicated description will be omitted.
本実施形態では、図１８に示すように、傾斜角を算出するステップ（S140）と重畳映像データを生成するステップ（S210）の間に、遠端部を認識するステップ（S142）と、距離を算出するステップ（S144）と、が挿入される。また、主後方映像データに舵角非連動線３０を重畳させるステップ（S150）と、傾斜角を判定するステップ（S160）の間に、距離を判定するステップ（S152）が挿入される。
In the present embodiment, as shown in FIG. 18, between the step of calculating the tilt angle (S140) and the step of generating superimposed video data (S210), a step of recognizing a far end portion (S142) and a distance are set. The calculation step (S144) and is inserted. Further, a step of determining the distance (S152) is inserted between the step of superimposing the steering
遠端部を認識するステップ（S142）において、認識部２７は、図１９に示すように、左側後方映像データに基づいて、第一左側駐車区画線３５Ｌの遠端部４０を検出する。遠端部４０は、第一左側駐車区画線３５Ｌの長手方向における２つの端部のうち、車両２の後退方向側（進行方向側）の端部である。
In the step (S142) of recognizing the far end portion, the
距離を算出するステップ（S144）において、算出部２８は、遠端部４０と車両２の間の距離を算出する。ここで、遠端部４０と車両２の間の距離とは、車両２の基準点に対する遠端部４０の水平離間距離を意味する。車両２の基準点は、バンパーや左サイドミラー９など任意に設定することができる。
In the step (S144) of calculating the distance, the
そして、距離を判定するステップ（S152）において、重畳映像データ生成部２９は、第一左側駐車区画線３５Ｌの遠端部４０と車両２の間の距離が所定値未満であるか判定する（S152）。第一左側駐車区画線３５Ｌの遠端部４０と車両２の間の距離が所定値未満であると判定した場合は（S152:YES）、処理をS160に進める。一方で、第一左側駐車区画線３５Ｌの遠端部４０と車両２の間の距離が所定値未満でないと判定した場合は（S152:NO）、処理をS170に進める。この条件分岐の技術的な意義は以下の通りである。
Then, in the step (S152) of determining the distance, the superimposed video data generation unit 29 determines whether the distance between the
即ち、車両２が駐車区画３に深く進入する前の段階であれば、表示装置７の表示画面７ａを通じて、運転手は、駐車区画３に対する車両２の向きが適切であるかを容易に判断することができる。しかしながら、車両２が駐車区画３に深く進入すると、車両２を車幅方向で挟む２つの駐車区画線３５の、表示装置７の表示画面７ａ上で確認できる長さが極めて短くなるので、運転者にとっては、駐車区画３に対する車両２の向きが適切であるか判断し難くなる。そこで、本実施形態では、距離を判定するステップ（S152）により車両２が駐車区画３に深く進入したかを判定し、車両２が駐車区画３に深く進入した場合に限り、傾斜角を判定するステップ（S160）に進むものとしている。従って、車両２が駐車区画３に深く進入する前の段階では重畳映像データを変更することがないので、車両２が駐車区画３に深く進入する前の段階における表示装置７の表示内容を簡素にすることができる。また、以上の構成によれば、運転者が駐車区画３に対する車両２の向きが適切であるかを判断し易くなる特徴が、特に、車両２が駐車区画３に深く進入した段階で有用なものとなることが一層明確になる。
That is, if the stage is before the
以上に、第３実施形態を説明したが、上記第３実施形態は、以下の特徴を有する。 Although the third embodiment has been described above, the third embodiment has the following features.
即ち、重畳映像データ生成部２９は、第一左側駐車区画線３５Ｌの遠端部４０と、車両２と、の間の距離が所定値未満であり（S152:YES）、且つ、第一左側駐車区画線３５Ｌの左傾斜角θ（Ｌ）と第一右側駐車区画線３５Ｒの右傾斜角θ（Ｒ）が車両２の前後方向に平行であることを示している場合（S160:YES）、重畳映像データを変更する（S170、S180）。以上の構成によれば、車両２が駐車区画３に深く進入する前の段階では重畳映像データを変更することがないので、車両２が駐車区画３に深く進入する前の段階における表示装置７の表示内容を簡素にすることができる。また、以上の構成によれば、運転者が駐車区画３に対する車両２の向きが適切であるかを判断し易くなる特徴が、特に、車両２が駐車区画３に深く進入した段階で有用なものとなることが一層明確になる。
That is, in the superimposed video data generation unit 29, the distance between the
なお、本実施形態において認識部２７は、図１９に示すように、左側後方映像データに基づいて、第一左側駐車区画線３５Ｌの遠端部４０を検出することとした。しかし、これに代えて、認識部２７は、右側後方映像データに基づいて、第一右側駐車区画線３５Ｒの遠端部を検出するようにしてもよいし、第一左側駐車区画線３５Ｌの遠端部４０と第一右側駐車区画線３５Ｒの遠端部の両方を検出するようにしてもよい。認識部２７が第一右側駐車区画線３５Ｒの遠端部を検出する場合、重畳映像データ生成部２９は、第一右側駐車区画線３５Ｒの遠端部と車両２の間の距離が所定値未満であり、且つ、第一左側駐車区画線３５Ｌの左傾斜角θ（Ｌ）と第一右側駐車区画線３５Ｒの右傾斜角θ（Ｒ）が車両２の前後方向に平行であることを示している場合、重畳映像データを変更する。また、認識部２７が第一左側駐車区画線３５Ｌの遠端部４０と第一右側駐車区画線３５Ｒの遠端部の両方を検出する場合、重畳映像データ生成部２９は、第一左側駐車区画線３５Ｌの遠端部４０と車両２の間の距離と、第一右側駐車区画線３５Ｒの遠端部と車両２の間の距離と、のうち少なくとも何れか一方が所定値未満であり、且つ、第一左側駐車区画線３５Ｌの左傾斜角θ（Ｌ）と第一右側駐車区画線３５Ｒの右傾斜角θ（Ｒ）が車両２の前後方向に平行であることを示している場合、重畳映像データを変更する。要するに、重畳映像データ生成部２９は、第一左側駐車区画線３５Ｌ又は第一右側駐車区画線３５Ｒのうち少なくとも何れか一方の遠端部と、車両２と、の間の距離が所定値未満であり、且つ、第一左側駐車区画線３５Ｌの左傾斜角θ（Ｌ）と第一右側駐車区画線３５Ｒの右傾斜角θ（Ｒ）が車両２の前後方向に平行であることを示している場合、重畳映像データを変更する。以上の構成によれば、車両２が駐車区画３に深く進入する前の段階では重畳映像データを変更することがないので、車両２が駐車区画３に深く進入する前の段階における表示装置７の表示内容を簡素にすることができる。また、以上の構成によれば、運転者が駐車区画３に対する車両２の向きが適切であるかを判断し易くなる特徴が、特に、車両２が駐車区画３に深く進入した段階で有用なものとなることが一層明確になる。
In the present embodiment, as shown in FIG. 19, the
（第３実施形態の変形例）
以下、図２０を参照して、第３実施形態の変形例を説明する。以下、本変形例が上記第３実施形態と相違する点を中心に説明し、重複する説明は省略する。
(Modified example of the third embodiment)
Hereinafter, a modified example of the third embodiment will be described with reference to FIG. Hereinafter, the present modification will be described mainly on the differences from the third embodiment, and duplicated description will be omitted.
上記第３実施形態において認識部２７は、左側後方映像データに基づいて、車両２の駐車区画３の左側を区画する駐車区画線３５を第一左側駐車区画線３５Ｌとして認識するものとした。しかし、本変形例において認識部２７は、図２０に示すように、主後方映像データに基づいて、車両２の駐車区画３の左側を区画する駐車区画線３５を第二左側駐車区画線４１Ｌとして認識する。
In the third embodiment, the
続けて、認識部２７は、主後方映像データに基づいて、第二左側駐車区画線４１Ｌの遠端部４２Ｌを検出する。また、算出部２８は、遠端部４２Ｌと車両２の間の距離を算出する。そして、重畳映像データ生成部２９は、第二左側駐車区画線４１Ｌの遠端部４２Ｌと車両２の間の距離が所定値未満であり、且つ、第一左側駐車区画線３５Ｌの左傾斜角θ（Ｌ）と第一右側駐車区画線３５Ｒの右傾斜角θ（Ｒ）が車両２の前後方向に平行であることを示している場合、重畳映像データを変更する。以上の構成によれば、車両２が駐車区画３に深く進入する前の段階では重畳映像データを変更することがないので、車両２が駐車区画３に深く進入する前の段階における表示装置７の表示内容を簡素にすることができる。また、以上の構成によれば、運転者が駐車区画３に対する車両２の向きが適切であるかを判断し易くなる特徴が、特に、車両２が駐車区画３に深く進入した段階で有用なものとなることが一層明確になる。
Subsequently, the
なお、認識部２７は、主後方映像データに基づいて、車両２の駐車区画３の左側を区画する駐車区画線３５を第二左側駐車区画線４１Ｌとして認識することに代えて、主後方映像データに基づいて、車両２の駐車区画３の右側を区画する駐車区画線３５を第二右側駐車区画線４１Ｒとして認識してもよい。この場合、認識部２７は、更に、主後方映像データに基づいて、第二右側駐車区画線４１Ｒの遠端部４２Ｒを検出する。算出部２８は、遠端部４２Ｒと車両２の間の距離を算出する。そして、重畳映像データ生成部２９は、第二右側駐車区画線４１Ｒの遠端部４２Ｒと車両２の間の距離が所定値未満であり、且つ、第一左側駐車区画線３５Ｌの左傾斜角θ（Ｌ）と第一右側駐車区画線３５Ｒの右傾斜角θ（Ｒ）が車両２の前後方向に平行であることを示している場合、重畳映像データを変更する。以上の構成によれば、車両２が駐車区画３に深く進入する前の段階では重畳映像データを変更することがないので、車両２が駐車区画３に深く進入する前の段階における表示装置７の表示内容を簡素にすることができる。また、以上の構成によれば、運転者が駐車区画３に対する車両２の向きが適切であるかを判断し易くなる特徴が、特に、車両２が駐車区画３に深く進入した段階で有用なものとなることが一層明確になる。
In addition, the
以上、第３実施形態の変形例を説明したが、本変形例は、以下の特徴を有する。 Although the modified example of the third embodiment has been described above, this modified example has the following features.
認識部２７は、主後方映像データに基づいて車両２の駐車区画３の左側を区画する駐車区画線３５を第二左側駐車区画線４１Ｌとして認識し、又は、主後方映像データに基づいて車両２の駐車区画３の右側を区画する駐車区画線３５を第二右側駐車区画線４１Ｒとして認識する。重畳映像データ生成部２９は、第二左側駐車区画線４１Ｌ又は第二右側駐車区画線４１Ｒのうち少なくとも何れか一方の遠端部（遠端部４２Ｌ、遠端部４２Ｒ）と、車両２と、の間の距離が所定値未満であり、且つ、第一左側駐車区画線３５Ｌの左傾斜角θ（Ｌ）と第一右側駐車区画線３５Ｒの右傾斜角θ（Ｒ）が車両２の前後方向に平行であることを示している場合、重畳映像データを変更する。以上の構成によれば、車両２が駐車区画３に深く進入する前の段階では重畳映像データを変更することがないので、車両２が駐車区画３に深く進入する前の段階における表示装置７の表示内容を簡素にすることができる。また、以上の構成によれば、運転者が駐車区画３に対する車両２の向きが適切であるかを判断し易くなる特徴が、特に、車両２が駐車区画３に深く進入した段階で有用なものとなることが一層明確になる。
The
上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。 In the above example, the program can be stored and supplied to a computer using various types of non-transitory computer readable medium. Non-transitory computer-readable media include various types of tangible storage media. Examples of non-temporary computer-readable media include magnetic recording media (eg, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg, magneto-optical disks), CD-ROMs (Read Only Memory), CD-Rs. It includes a CD-R / W and a semiconductor memory (for example, a mask ROM, a PROM (Programmable ROM), an EPROM (Erasable PROM), a flash ROM, and a RAM (random access memory)). The program may also be supplied to the computer by various types of transient computer readable medium. Examples of temporary computer-readable media include electrical, optical, and electromagnetic waves. The temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
また、第１実施形態、第１実施形態の変形例、第２実施形態、第３実施形態、第３実施形態の変形例は、相互に組み合わせて実施することができる。 Further, the first embodiment, the modified example of the first embodiment, the second embodiment, the third embodiment, and the modified example of the third embodiment can be implemented in combination with each other.
１ 表示システム
２ 車両
２ａ 後端
２ｂ 左端
２ｃ 右端
３ 駐車区画
４ 後方カメラ
４ａ 画角
５ 左側後方カメラ
５ａ 画角
６ 右側後方カメラ
６ａ 画角
７ 表示装置
７ａ 表示画面
８ 表示制御装置
９ 左サイドミラー
１０ 右サイドミラー
２０ 車両情報取得部
２１ 映像データ取得部
２２ 映像処理部
２３ 表示制御部
２４ 後退情報取得部
２５ 舵角情報取得部
２６ 予想軌跡線生成部
２７ 認識部
２８ 算出部
２９ 重畳映像データ生成部
３０ 舵角非連動線
３０ａ 縦線
３０ｂ 横線
３１ 舵角連動線
３１ａ 縦線
３１ｂ 横線
３５ 駐車区画線
３５Ｌ 第一左側駐車区画線
３５Ｒ 第一右側駐車区画線
３６ 垂直線
３７ 垂直線
４０ 遠端部
４１Ｌ 第二左側駐車区画線
４１Ｒ 第二右側駐車区画線
４２Ｌ 遠端部
４２Ｒ 遠端部
θ（Ｌ） 左傾斜角
θ（Ｒ） 右傾斜角
1
Claims (9)
前記車両の後方において前記車両が進行することが予想される予想軌跡線を生成する予想軌跡線生成部と、
前記左側後方映像データに基づいて前記車両の左側を区画する駐車区画線を第一左側駐車区画線として認識すると共に、前記右側後方映像データに基づいて前記車両の右側を区画する駐車区画線を第一右側駐車区画線として認識する、認識部と、
前記第一左側駐車区画線の前記左側後方映像データにおける傾斜角と、前記第一右側駐車区画線の前記右側後方映像データにおける傾斜角と、を算出する算出部と、
前記主後方映像データに前記予想軌跡線を重畳させた重畳映像データを生成する重畳映像データ生成部と、
前記重畳映像データを表示装置に出力する表示制御部と、
を備え、
前記重畳映像データ生成部は、前記第一左側駐車区画線の前記傾斜角と前記第一右側駐車区画線の前記傾斜角が等しい場合、前記車両を駐車させる駐車区画に対する前記車両の向きが前記駐車区画線と平行であることを示すように前記重畳映像データを変更する、
ことを特徴とする表示制御装置。 Main rear image data corresponding to the image of the rear of the vehicle, left rear image data corresponding to the image of the left rear of the vehicle, and right rear image data corresponding to the image of the right rear of the vehicle. And the video data acquisition unit to acquire
An expected locus line generator that generates an expected locus line on which the vehicle is expected to travel behind the vehicle,
The parking lot line that divides the left side of the vehicle is recognized as the first left parking lot line based on the left rear image data, and the parking lot line that divides the right side of the vehicle based on the right rear image data is recognized as the first left parking lot line. A recognition unit that recognizes as a parking lot line on the right side,
A calculation unit that calculates the inclination angle of the first left parking lot line in the left rear image data and the inclination angle of the first right parking lot line in the right rear image data.
A superposed video data generation unit that generates superposed video data in which the expected locus line is superposed on the main rear video data, and a superposed video data generation unit.
A display control unit that outputs the superimposed video data to the display device,
With
When the inclination angle of the first left parking lot line and the inclination angle of the first right parking lot line are equal to each other, the superimposed video data generation unit indicates that the direction of the vehicle with respect to the parking lot for parking the vehicle is the parking. The superimposed video data is modified to indicate that it is parallel to the lane marking.
A display control device characterized by the fact that.
請求項１に記載の表示制御装置。 The superimposed video data generation unit changes the display form of the predicted locus line when the inclination angle of the first left parking lot line and the inclination angle of the first right parking lot line are equal.
The display control device according to claim 1.
前記重畳映像データ生成部は、前記第一左側駐車区画線の前記傾斜角と前記第一右側駐車区画線の前記傾斜角が等しい場合、前記第一予想軌跡線の表示形態を変更する、
請求項２に記載の表示制御装置。 The predicted locus line generation unit generates a first predicted locus line extending along the front-rear direction of the vehicle as the predicted locus line.
The superimposed video data generation unit changes the display form of the first expected locus line when the inclination angle of the first left parking lot line and the inclination angle of the first right parking lot line are equal.
The display control device according to claim 2.
前記予想軌跡線生成部は、前記予想軌跡線として前記車両の前後方向に沿って延びる第一予想軌跡線と、前記舵角情報に基づいて湾曲する第二予想軌跡線と、を生成し、
前記重畳映像データ生成部は、前記第一左側駐車区画線の前記傾斜角と前記第一右側駐車区画線の前記傾斜角が等しくない場合、前記主後方映像データに前記第二予想軌跡線を重畳させ、前記第一左側駐車区画線の前記傾斜角と前記第一右側駐車区画線の前記傾斜角が等しい場合、前記主後方映像データに前記第二予想軌跡線に加えて前記第一予想軌跡線も重畳させる、
請求項１に記載の表示制御装置。 A steering angle information acquisition unit for acquiring the steering angle information of the vehicle is further provided.
The predicted locus line generation unit generates a first predicted locus line extending along the front-rear direction of the vehicle as the predicted locus line and a second predicted locus line curved based on the steering angle information.
When the inclination angle of the first left parking lot line and the inclination angle of the first right parking lot line are not equal to each other , the superimposed video data generation unit superimposes the second expected locus line on the main rear image data. When the inclination angle of the first left parking lot line and the inclination angle of the first right parking lot line are equal to each other, the first predicted locus line is added to the main rear image data in addition to the second predicted locus line. Also superimpose,
The display control device according to claim 1.
請求項１から請求項４の何れか１項に記載の表示制御装置。 In the superimposed video data generation unit, the distance between the far end portion of at least one of the first left parking lot line or the first right side parking lot line and the vehicle is less than a predetermined value. Moreover, when the inclination angle of the first left parking lot line and the inclination angle of the first right side parking lot line are equal , the superimposed video data is changed.
The display control device according to any one of claims 1 to 4.
前記重畳映像データ生成部は、前記第二左側駐車区画線又は前記第二右側駐車区画線の遠端部と、前記車両と、の間の距離が所定値未満であり、且つ、前記第一左側駐車区画線の前記傾斜角と前記第一右側駐車区画線の前記傾斜角が等しい場合、前記重畳映像データを変更する、
請求項１から請求項４の何れか１項に記載の表示制御装置。 The recognition unit recognizes the parking lot line that divides the left side of the vehicle as the second left side parking lot line based on the main rear image data, or divides the right side of the vehicle based on the main rear image data. Recognize the parking lot line to be used as the second right parking lot line,
In the superimposed video data generation unit, the distance between the far end portion of the second left parking lot line or the second right parking lot line and the vehicle is less than a predetermined value, and the first left side When the inclination angle of the parking lot line and the inclination angle of the first right parking lot line are equal , the superimposed video data is changed.
The display control device according to any one of claims 1 to 4.
前記車両の後方を撮影する後方カメラ、前記車両の左側後方を撮影する左側後方カメラ、前記車両の右側後方を撮影する右側後方カメラ、前記表示装置の少なくとも何れかと、
を備える表示システム。 The display control device according to any one of claims 1 to 6.
A rear camera that captures the rear of the vehicle, a left rear camera that captures the left rear of the vehicle, a right rear camera that captures the right rear of the vehicle, and at least one of the display devices.
Display system with.
前記車両の後方において前記車両が進行することが予想される予想軌跡線を生成する予想軌跡線生成ステップと、
前記左側後方映像データに基づいて前記車両の左側を区画する駐車区画線を第一左側駐車区画線として認識すると共に、前記右側後方映像データに基づいて前記車両の右側を区画する駐車区画線を第一右側駐車区画線として認識する、認識ステップと、
前記第一左側駐車区画線の前記左側後方映像データにおける傾斜角と、前記第一右側駐車区画線の前記右側後方映像データにおける傾斜角と、を算出する算出ステップと、
前記主後方映像データに前記予想軌跡線を重畳させた重畳映像データを生成する重畳映像データ生成ステップと、
前記重畳映像データを表示装置に出力する表示制御ステップと、
を含み、
前記重畳映像データ生成ステップでは、前記第一左側駐車区画線の前記傾斜角と前記第一右側駐車区画線の前記傾斜角が等しい場合、前記車両を駐車させる駐車区画に対する前記車両の向きが前記駐車区画線と平行であることを示すように前記重畳映像データを変更する、
表示制御方法。 Main rear image data corresponding to the image of the rear of the vehicle, left rear image data corresponding to the image of the left rear of the vehicle, and right rear image data corresponding to the image of the right rear of the vehicle. And the video data acquisition step to acquire
A step of generating an expected locus line that generates an expected locus line in which the vehicle is expected to travel behind the vehicle, and a step of generating an expected locus line.
The parking lot line that divides the left side of the vehicle is recognized as the first left parking lot line based on the left rear image data, and the parking lot line that divides the right side of the vehicle based on the right rear image data is recognized as the first left parking lot line. Recognizing step as one right side parking lot line,
A calculation step for calculating the inclination angle of the first left parking lot line in the left rear image data and the inclination angle of the first right parking lot line in the right rear image data.
A superimposed video data generation step of generating superimposed video data in which the expected locus line is superimposed on the main rear video data, and
A display control step for outputting the superimposed video data to the display device, and
Including
In the superimposed video data generation step, when the inclination angle of the first left parking lot line and the inclination angle of the first right parking lot line are equal , the direction of the vehicle with respect to the parking lot for parking the vehicle is the parking. The superimposed video data is modified to indicate that it is parallel to the lane marking.
Display control method.
前記車両の後方において前記車両が進行することが予想される予想軌跡線を生成する予想軌跡線生成ステップと、
前記左側後方映像データに基づいて前記車両の左側を区画する駐車区画線を第一左側駐車区画線として認識すると共に、前記右側後方映像データに基づいて前記車両の右側を区画する駐車区画線を第一右側駐車区画線として認識する、認識ステップと、
前記第一左側駐車区画線の前記左側後方映像データにおける傾斜角と、前記第一右側駐車区画線の前記右側後方映像データにおける傾斜角と、を算出する算出ステップと、
前記主後方映像データに前記予想軌跡線を重畳させた重畳映像データを生成する重畳映像データ生成ステップと、
前記重畳映像データを表示装置に出力する表示制御ステップと、
をコンピュータに実行させるプログラムであって、
前記重畳映像データ生成ステップでは、前記第一左側駐車区画線の前記傾斜角と前記第一右側駐車区画線の前記傾斜角が等しい場合、前記車両を駐車させる駐車区画に対する前記車両の向きが前記駐車区画線と平行であることを示すように前記重畳映像データを変更する、
プログラム。 Main rear image data corresponding to the image of the rear of the vehicle, left rear image data corresponding to the image of the left rear of the vehicle, and right rear image data corresponding to the image of the right rear of the vehicle. And the video data acquisition step to acquire
A step of generating an expected locus line that generates an expected locus line in which the vehicle is expected to travel behind the vehicle, and a step of generating an expected locus line.
The parking lot line that divides the left side of the vehicle is recognized as the first left parking lot line based on the left rear image data, and the parking lot line that divides the right side of the vehicle based on the right rear image data is recognized as the first left parking lot line. Recognizing step as one right side parking lot line,
A calculation step for calculating the inclination angle of the first left parking lot line in the left rear image data and the inclination angle of the first right parking lot line in the right rear image data.
A superimposed video data generation step of generating superimposed video data in which the expected locus line is superimposed on the main rear video data, and
A display control step for outputting the superimposed video data to the display device, and
Is a program that causes a computer to execute
In the superimposed video data generation step, when the inclination angle of the first left parking lot line and the inclination angle of the first right parking lot line are equal , the direction of the vehicle with respect to the parking lot for parking the vehicle is the parking. The superimposed video data is modified to indicate that it is parallel to the lane marking.
program.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017138748A JP6950317B2 (en) | 2017-07-18 | 2017-07-18 | Display control device, display system, display control method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017138748A JP6950317B2 (en) | 2017-07-18 | 2017-07-18 | Display control device, display system, display control method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019021010A JP2019021010A (en) | 2019-02-07 |
| JP6950317B2 true JP6950317B2 (en) | 2021-10-13 |
Family
ID=65355617
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017138748A Active JP6950317B2 (en) | 2017-07-18 | 2017-07-18 | Display control device, display system, display control method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6950317B2 (en) |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4096445B2 (en) * | 1999-03-31 | 2008-06-04 | アイシン精機株式会社 | Parking assistance device |
| JP2005223524A (en) * | 2004-02-04 | 2005-08-18 | Nissan Motor Co Ltd | Supervisory apparatus for surrounding of vehicle |
| JP5309891B2 (en) * | 2008-10-27 | 2013-10-09 | 三菱自動車工業株式会社 | Parking assistance device |
| JP5527587B2 (en) * | 2009-12-18 | 2014-06-18 | スズキ株式会社 | Parking assistance device |
| JP2011230615A (en) * | 2010-04-27 | 2011-11-17 | Suzuki Motor Corp | Parking support device |
| JP2012086602A (en) * | 2010-10-15 | 2012-05-10 | Toyota Motor Corp | Parking support device |
| JP2013187562A (en) * | 2012-03-05 | 2013-09-19 | Nissan Motor Co Ltd | Posterior sight support device for vehicle |
-
2017
- 2017-07-18 JP JP2017138748A patent/JP6950317B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019021010A (en) | 2019-02-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10956757B2 (en) | Image processing device, outside recognition device | |
| JP5316550B2 (en) | Rear view support system | |
| US10166922B2 (en) | On-vehicle image display device, on-vehicle image display method for vehicle, and on-vehicle image setting device | |
| WO2016002405A1 (en) | Parking space recognition device | |
| WO2016067535A1 (en) | Parking assistance device | |
| US9683861B2 (en) | Estimated route presentation apparatus and estimated route presentation method | |
| WO2010058821A1 (en) | Approaching object detection system | |
| WO2018029927A1 (en) | Display control device, display device, display control method, and program | |
| US9384664B2 (en) | Parking assistance device | |
| CN104854640A (en) | Vehicle-side method and vehicle-side device for detecting and displaying parking spaces for a vehicle | |
| JP2009116723A (en) | Lane change support system | |
| JP2008141578A (en) | Visual recognizing apparatus for vehicle surrounding | |
| JP5309891B2 (en) | Parking assistance device | |
| JP2020177568A (en) | Image processing apparatus and image processing method | |
| US11270452B2 (en) | Image processing device and image processing method | |
| JP2019023794A (en) | Image processing device and image processing method | |
| JP6950317B2 (en) | Display control device, display system, display control method, and program | |
| JP6559083B2 (en) | Parking assistance device and parking assistance method | |
| JP6909388B2 (en) | Display control device, display system, display control method, and program | |
| JP2009298385A (en) | Device for assisting parking | |
| JP2010015331A (en) | Apparatus for supporting parking | |
| JP2008042759A (en) | Image processing apparatus | |
| JP5943207B2 (en) | Video display device for vehicle parking operation support | |
| JP2019029757A (en) | Display control device, display system, display control method, and program | |
| JP6763348B2 (en) | Display control device, display control system, display control method and display control program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200529 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210611 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210622 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210810 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210824 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210906 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6950317 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |