JP6759072B2 - Image processing equipment, imaging equipment, and display system - Google Patents
Image processing equipment, imaging equipment, and display system Download PDFInfo
- Publication number
- JP6759072B2 JP6759072B2 JP2016226333A JP2016226333A JP6759072B2 JP 6759072 B2 JP6759072 B2 JP 6759072B2 JP 2016226333 A JP2016226333 A JP 2016226333A JP 2016226333 A JP2016226333 A JP 2016226333A JP 6759072 B2 JP6759072 B2 JP 6759072B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- moving body
- detection target
- control unit
- marker
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Description
本開示は、画像処理装置、撮像装置、および表示システムに関する。 The present disclosure relates to an image processing device, an imaging device, and a display system.
従来、例えば車両等の移動体の外部領域の映像を表示する技術が知られている。例えば、特許文献１には、車両に備えられたカメラの映像を表示するモニタへの電源供給を制御する技術が開示されている。 Conventionally, a technique for displaying an image of an external region of a moving body such as a vehicle has been known. For example, Patent Document 1 discloses a technique for controlling power supply to a monitor that displays an image of a camera provided in a vehicle.
従来、移動体の外部領域の映像を表示する技術について改善の余地があった。 Conventionally, there has been room for improvement in the technique of displaying an image of an external region of a moving body.
本開示は、移動体の外部領域の映像を表示する技術の利便性を向上させる画像処理装置、撮像装置、および表示システムに関する。 The present disclosure relates to an image processing device, an imaging device, and a display system that improve the convenience of a technique for displaying an image in an external region of a moving body.
本開示の一実施形態に係る画像処理装置は、通信部と、制御部と、を備える。通信部は、移動体の外部領域を撮像した第１映像を取得する。制御部は、第１映像上の表示領域に対応する第２映像を表示装置に表示させる。制御部は、第１映像上の検出領域において検出対象の少なくとも一部を検出し、移動体と検出対象との間の距離が減少する場合、距離の減少に対して移動体と検出対象との何れの寄与が大きいか判定し、移動体の寄与が大きいと判定した場合と検出対象の寄与が大きいと判定した場合とで、それぞれ異なる特定画像処理を第２映像上の領域に対して実行する。 The image processing device according to the embodiment of the present disclosure includes a communication unit and a control unit. The communication unit acquires the first image of the external region of the moving body. The control unit causes the display device to display the second image corresponding to the display area on the first image. The control unit detects at least a part of the detection target in the detection area on the first image, and when the distance between the moving body and the detection target decreases, the moving body and the detection target respond to the decrease in the distance. determining either or large contribution, in the case where it is determined that if it is determined that the contribution of the mobile is greater the contribution of the detection target is large, the different specific image processing respectively to realm on the second video real To do.
本開示の一実施形態に係る撮像装置は、撮像素子と、制御部と、を備える。撮像素子は、移動体の外部領域を撮像した第１映像を生成する。制御部は、第１映像上の表示領域に対応する第２映像を表示装置に表示させる。制御部は、第１映像上の検出領域において検出対象の少なくとも一部を検出し、移動体と検出対象との間の距離が減少する場合、距離の減少に対して移動体と検出対象との何れの寄与が大きいか判定し、移動体の寄与が大きいと判定した場合と検出対象の寄与が大きいと判定した場合とで、それぞれ異なる特定画像処理を第２映像上の検出対象の少なくとも一部に対応する領域に対して実行する。 The image pickup apparatus according to the embodiment of the present disclosure includes an image pickup device and a control unit. The image sensor generates a first image of an external region of the moving body. The control unit causes the display device to display the second image corresponding to the display area on the first image. The control unit detects at least a part of the detection target in the detection area on the first image, and when the distance between the moving body and the detection target decreases, the moving body and the detection target respond to the decrease in the distance. At least a part of the detection target on the second image is subjected to different specific image processing depending on which contribution is larger, and the contribution of the moving body is determined to be larger and the contribution of the detection target is determined to be larger. to run in for the corresponding area to.
本開示の一実施形態に係る表示システムは、表示装置と、撮像装置と、画像処理装置と、を備える。撮像装置は、移動体の外部領域を撮像した第１映像を生成する。画像処理装置は、第１映像上の表示領域に対応する第２映像を表示装置に表示させる制御部を有する。画像処理装置は、第１映像上の検出領域において検出対象の少なくとも一部を検出し、移動体と検出対象との間の距離が減少する場合、距離の減少に対して移動体と検出対象との何れの寄与が大きいか判定し、移動体の寄与が大きいと判定した場合と検出対象の寄与が大きいと判定した場合とで、それぞれ異なる特定画像処理を第２映像上の検出対象の少なくとも一部に対応する領域に対して実行する。 The display system according to the embodiment of the present disclosure includes a display device, an image pickup device, and an image processing device. The image pickup apparatus generates a first image image of an external region of a moving body. The image processing device has a control unit that causes the display device to display the second image corresponding to the display area on the first image. The image processing device detects at least a part of the detection target in the detection area on the first image, and when the distance between the moving object and the detection target decreases, the moving object and the detection target are subjected to the decrease in distance. At least one of the detection targets on the second image is subjected to different specific image processing depending on which of the two contributions is larger, the contribution of the moving object is determined to be larger, and the contribution of the detection target is determined to be larger. run with respect to the area corresponding to the section.
本開示の一実施形態に係る画像処理装置、撮像装置、および表示システムよれば、移動体の外部領域の映像を表示する技術の利便性が向上する。 According to the image processing device, the image pickup device, and the display system according to the embodiment of the present disclosure, the convenience of the technique for displaying the image of the external region of the moving body is improved.
以下、本発明の実施形態について、図面を参照して説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
（表示システム）
図１を参照して、本発明の一実施形態に係る表示システム１０について説明する。
(Display system)
The
図１に示すように、表示システム１０は、撮像装置２０と、画像処理装置３０と、表示装置４０と、を備える。撮像装置２０表示システム１０の各構成要素は、例えばネットワーク５１を介して情報を送受信可能である。ネットワーク５１は、例えば無線、有線、またはＣＡＮ（Controller Area Network）等を含んでよい。
As shown in FIG. 1, the
他の実施形態において、表示システム１０の一部または全部の構成要素が、１つの装置として一体的に構成されてよい。例えば、撮像装置２０または表示装置４０に、画像処理装置３０撮像装置２０を内蔵させる構成等が考えられる。
In other embodiments, some or all of the components of the
図２に示すように、撮像装置２０、画像処理装置３０、および表示装置４０は、移動体５０に備えられてよい。本開示における「移動体」は、例えば車両、船舶、および航空機等を含んでよい。車両は、例えば自動車、産業車両、鉄道車両、生活車両、および滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、およびトロリーバス等を含んでよい。産業車両は、例えば農業および建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフトおよびゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。船舶は、例えばマリンジェット、ボート、およびタンカー等を含んでよい。航空機は、例えば固定翼機および回転翼機等を含んでよい。
As shown in FIG. 2, the
撮像装置２０は、移動体５０の外部領域を撮像可能である。撮像装置２０の位置は、移動体５０の内部および外部において任意である。例えば図２に示すように、撮像装置２０は、移動体５０の後方の外部領域を撮像可能な移動体５０の後方に位置する。画像処理装置３０の位置は、移動体５０内において任意である。表示装置４０は、対象者６０によって視認可能である。表示装置４０の位置は、移動体５０において任意である。例えば図２に示すように、表示装置４０は、移動体５０のダッシュボードの中に位置する。
The
（撮像装置）
撮像装置２０について詳細に説明する。例えば図１に示すように、撮像装置２０は、撮像光学系２１と、撮像素子２２と、通信部２３と、制御部２４とを備える。
(Imaging device)
The
撮像光学系２１は、被写体像を結像させる。例えば、撮像光学系２１は、絞りおよび１つ以上のレンズを含んでよい。
The imaging
撮像素子２２は、２次元配列された複数の画素を有する。撮像素子２２は、例えばＣＣＤ（Charge Coupled Device）撮像素子またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子を含んでよい。撮像素子２２は、撮像光学系２１によって結像される被写体像を撮像して、撮像画像を生成可能である。
The
通信部２３は、外部装置と通信可能な通信インタフェースを含んでよい。通信部２３は、ネットワーク５１を介して情報の送受信が可能であってよい。外部装置は、例えば画像処理装置３０を含んでよい。本開示における「通信インタフェース」は、例えば物理コネクタ、および無線通信機を含んでよい。物理コネクタは、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ、および電磁波による伝送に対応した電磁コネクタを含んでよい。電気コネクタは、ＩＥＣ６０６０３に準拠するコネクタ、ＵＳＢ規格に準拠するコネクタ、ＲＣＡ端子に対応するコネクタ、ＥＩＡＪ ＣＰ−１２１１Ａに規定されるＳ端子に対応するコネクタ、ＥＩＡＪ ＲＣ−５２３７に規定されるＤ端子に対応するコネクタ、ＨＤＭＩ（登録商標）規格に準拠するコネクタ、およびＢＮＣ（British Naval ConnectorまたはBaby-series N Connector等）を含む同軸ケーブルに対応するコネクタを含んでよい。光コネクタは、ＩＥＣ ６１７５４に準拠する種々のコネクタを含んでよい。無線通信機は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、およびＩＥＥＥ８０２．１１を含む各規格に準拠する無線通信機を含んでよい。無線通信機は、少なくとも１つのアンテナを含む。
The
制御部２４は、１つ以上のプロセッサを含む。本開示における「プロセッサ」は、特定の処理に特化した専用のプロセッサ、および特定のプログラムを読み込むことによって特定の機能を実行する汎用のプロセッサを含んでよい。専用のプロセッサには、ＤＳＰ（Digital Signal Processor）および特定用途向けＩＣ（ＡＳＩＣ；Application Specific Integrated Circuit）が含まれてよい。プロセッサには、プログラマブルロジックデバイス（ＰＬＤ；Programmable Logic Device）が含まれてよい。ＰＬＤには、ＦＰＧＡ（Field-Programmable Gate Array）が含まれてよい。制御部２４は、１つまたは複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、およびＳｉＰ（System In a Package）のいずれかであってよい。
The
制御部２４は、撮像装置２０全体の動作を制御する。制御部２４は、任意のフレームレートで、撮像素子２２に撮像画像を生成させてよい。当該フレームレートは、例えば、表示装置４０が表示可能なフレームレートに略一致してよい。制御部２４は、生成された撮像画像に対して、所定の画像処理を実行してよい。当該画像処理は、例えば露出調整処理、ホワイトバランス処理、および歪み補正処理等を含んでよい。制御部２４は、通信部２３を介して画像処理装置３０へ、撮像画像を出力する。例えば、制御部２４は、上述のフレームレートで撮像画像を順次に出力してよい。以下、上述のフレームレートで出力される各撮像画像を、単にフレームともいう。撮像装置２０から出力される当該複数の撮像画像を、第１映像ともいう。例えばフレームレートが６０ｆｐｓ（Flame per Seconds）である場合、１秒あたり６０枚の撮像画像が第１映像として出力される。
The
（画像処理装置）
画像処理装置３０について詳細に説明する。画像処理装置３０は、通信部３１と、記憶部３２と、制御部３３とを備える。
(Image processing device)
The
通信部３１は、多様な外部装置と通信可能な通信インタフェースを含んでよい。外部装置は、例えば撮像装置２０、表示装置４０、移動体５０に備えられたＥＣＵ（Electronic Control UnitまたはEngine Control unit）、速度センサ、加速度センサ、回転角センサ、ステアリング舵角センサ、エンジン回転数センサ、アクセルセンサ、ブレーキセンサ、照度センサ、雨滴センサ、走行距離センサ、ミリ波レーダ、超音波ソナー等を用いた障害物検出装置、ＥＴＣ（Electronic Toll Collection System）受信装置、ＧＰＳ（Global Positioning System）装置、ナビゲーション装置、インターネット上のサーバ、携帯電話等を含んでよい。
The
通信部３１は、歩車間通信、路車間通信および車車間通信のための通信インタフェースを含んでよい。通信部３１は、日本において提供されるＤＳＲＣ（Dedicated Short-Range Communication:狭帯域通信システム）およびＶＩＣＳ（登録商標）（Vehicle Information and Communication System）の光ビーコンに対応した受信機を含んでよい。通信部３１は、他の国の道路交通情報提供システムに対応した受信機を含んでよい。
The
通信部３１は、外部装置から多様な情報を取得可能であってよい。例えば、通信部３１は、移動体情報および環境情報を取得可能であってよい。
The
移動体情報は、移動体５０に関する任意の情報を含んでよい。移動体情報は、例えば移動体５０の速度、加速度、旋回重力、傾き、方角、および旋回状況、ステアリングホイールの舵角、冷却水の温度、燃料の残量、バッテリの残量、バッテリの電圧、エンジン回転数、ギアポジション、リバース信号の有無、アクセル操作の有無、アクセル開度、ブレーキ操作の有無、ブレーキ踏度、パーキングブレーキの作動有無、前後輪もしくは４輪の回転数差、タイヤ空気圧、ダンパの伸縮量、運転手の目の空間位置、乗員の数および座席位置、シートベルトの装着情報、ドアの開閉、窓の開閉、車内温度、空調の動作有無、空調の設定温度、空調の送風量、外気循環の設定、ワイパーの作動状況、走行モード、外部機器との接続情報、現在時刻、平均燃費、瞬間燃費、各種ランプの点灯状態、移動体５０の位置情報、ならびに移動体５０の目的地までの経路情報等を含んでよい。各種ランプは、例えばヘッドランプ、フォグランプ、バックランプ、ポジションランプ、およびターンシグナルを含んでよい。
The moving body information may include arbitrary information about the moving
環境情報は、移動体５０の外部環境に関する任意の情報を含んでよい。環境情報は、例えば移動体５０の周囲の明るさ、天気、気圧、外気温度、地図情報、交通情報、道路工事情報、走行路の制限速度の一時的な変更、他の車両が検出した対象物、および信号機の点灯状態等を含んでよい。
The environmental information may include arbitrary information regarding the external environment of the moving
記憶部３２は、一時記憶装置および二次記憶装置を含んでよい。記憶部３２は、例えば半導体メモリ、磁気メモリ、および光メモリ等を用いて構成されてよい。半導体メモリは、揮発性メモリおよび不揮発性メモリを含んでよい。磁気メモリは、例えばハードディスクおよび磁気テープ等を含んでよい。光メモリは、例えばＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、およびＢＤ（Blu-ray Disc）（登録商標）等を含んでよい。記憶部３２は、画像処理装置３０の動作に必要な種々の情報およびプログラムを記憶する。
The
制御部３３は、１つ以上のプロセッサを含む。制御部３３は、画像処理装置３０全体の動作を制御する。
The
制御部３３は、通信部３１を介して外部装置から、移動体情報および環境情報を取得してよい。制御部３３は、例えば移動体情報に基づいて、移動体５０の予測進路を決定してよい。以下、移動体５０の予測進路を、第１予測進路ともいう。
The
制御部３３は、通信部３１を介して撮像装置２０から、第１映像を取得してよい。第１映像は、検出領域と表示領域とを含む。
The
制御部３３は、取得された第１映像上の検出領域内において、検出対象の少なくとも一部を検出してよい。第１映像上の検出領域は、第１映像の各フレームである撮像画像上の少なくとも一部の領域であってよい。第１映像の各フレームは、撮像画像と呼びうる。第１映像上の検出領域は、表示領域より大きくてよい。第１映像上の検出領域は、表示領域を包含してよい。制御部３３は、表示領域の内側において検出対象を検出し得る。制御部３３は、表示領域の外側であって検出領域の内側において、検出対象を検出し得る。検出領域および表示領域の内側の領域は、第１領域と呼びうる。検出領域の内側であって表示領域の外側の領域は、第２領域と呼び得る。
The
検出対象は、複数の種類の物体を含んでよい。物体の種類は、例えば人、他の移動体、走行路、車線、白線、側溝、歩道、横断歩道、道路標識、交通標識、ガードレール、壁、および信号機等を含んでよい。制御部３３が検出可能な検出対象の種類は、これらに限られない。検出対象の少なくとも一部は、例えば第１映像上の検出対象の一部が他の物体の陰に隠れている場合において、当該検出対象の、当該他の物体の陰に隠れていない部分を含んでよい。例えば、制御部３３は、第１映像上で歩行者の下半身が障害物の陰に隠れている場合に、当該歩行者の上半身を検出可能であってよい。検出対象の少なくとも一部の検出には、任意の物体検出アルゴリズムが採用可能であってよい。例えば、制御部３３は、第１映像の各フレームである撮像画像を用いたパターンマッチングまたは特徴点抽出等のアルゴリズムによって、検出対象の少なくとも一部を検出してよい。
The detection target may include a plurality of types of objects. Types of objects may include, for example, people, other moving objects, runways, lanes, white lines, gutters, sidewalks, pedestrian crossings, road signs, traffic signs, guardrails, walls, traffic lights, and the like. The types of detection targets that can be detected by the
制御部３３は、第１映像上で検出対象の少なくとも一部が検出されると、第１映像に基づいて、当該検出対象の予測進路を決定してよい。以下、検出対象の予測進路を、第２予測進路ともいう。第２予測進路の決定には、任意のアルゴリズムが採用可能であってよい。例えば、制御部３３は、第１映像の各フレームである撮像画像上の、検出対象の向きおよび位置の変化に基づいて、第２予測進路を決定してよい。
When at least a part of the detection target is detected on the first video, the
制御部３３は、第１映像上で検出対象の少なくとも一部が検出されると、第１映像に基づいて、移動体５０および当該検出対象の相対的位置関係を推定してよい。相対的位置関係は、例えば移動体５０と検出対象との間の距離、および、移動体５０の第１予測進路と検出対象の第２予測進路との重なりの有無等を含んでよい。移動体５０と検出対象との間の距離の推定には、任意のアルゴリズムが採用可能であってよい。例えば、制御部３３は、第１映像信号の各フレームである撮像画像を用いて、モーションステレオ法によって、移動体５０と検出対象との間の距離を推定してよい。他の実施形態において、制御部３３は、通信部３１を介して外部装置から、移動体５０および当該検出対象の相対的位置関係を示す情報を取得してよい。
When at least a part of the detection target is detected on the first image, the
制御部３３は、移動体５０と検出対象との間の距離が減少する場合、当該距離の減少に対して移動体５０と検出対象との何れの寄与が大きいかを判定してよい。当該距離の減少に対する移動体５０および検出対象の寄与の決定には、任意のアルゴリズムが採用可能であってよい。一例において、制御部３３は、移動体情報に基づいて、移動体５０の移動速度を検出してよい。制御部３３は、例えば第１映像の各フレームである撮像画像上の検出対象の位置の変化に基づいて、当該検出対象の移動速度を検出してよい。制御部３３は、当該距離の減少に対して、移動体５０および検出対象のうち何れか移動速度が大きい一方の寄与が大きいと判定してよい。他の例において、制御部３３は、移動体５０の移動速度が基準値未満である場合、当該距離の減少に対して検出対象の寄与が大きいと判定してよい。制御部３３は、移動体５０の移動速度が基準値以上である場合、当該距離の減少に対して移動体５０の寄与が大きいと判定してよい。当該基準値は、任意に定められてよいが、例えば略ゼロに定められてよい。当該距離の減少に対する移動体５０および検出対象の寄与に応じた画像処理装置３０の動作の詳細については後述する。
When the distance between the moving
制御部３３は、第１映像上で検出対象の少なくとも一部が検出されると、第１映像に基づいて、移動体５０と当該検出対象とが接触する可能性があるか否かを判定してよい。移動体５０と検出対象とが接触する可能性の決定には、任意のアルゴリズムが採用可能であってよい。例えば、制御部３３は、移動体５０と検出対象との間の距離が所定の閾値未満であるとの条件、および、当該距離の減少速度が所定の閾値以上であるとの条件の少なくとも一方が満たされる場合、移動体５０と検出対象とが接触する可能性があると判定してよい。当該可能性の有無に応じた画像処理装置３０の動作の詳細については後述する。
When at least a part of the detection target is detected on the first image, the
制御部３３は、撮像装置２０から取得された第１映像上の表示領域に対応する第２映像を、表示装置４０に表示させてよい。具体的には、制御部３３は、通信部３１を介して、第２映像を表示装置４０へ出力してよい。例えば、制御部３３は、移動体情報に基づいて移動体５０の後進を検出すると、第２映像を表示装置４０に表示させてよい。例えば、制御部３３は、変速ギアのシフトポジションに基づいて後進を検出し得る。例えば、制御部３３は、後進の際に移動体から出力されるリバース信号に基づいて後進を検出し得る。第２映像は、例えば第１映像の各フレームである撮像画像上の表示領域を切り出した映像であってよい。第１映像上の表示領域は、第１映像の各フレームである撮像画像上の少なくとも一部の領域であってよい。表示領域は、検出領域よりも小さくてよい。表示領域は、検出領域に包含されてよい。表示領域の位置、形状、および大きさは、任意に定め得る。制御部３３は、表示領域の位置、形状、および大きさを変化させ得る。表示領域の位置、形状、および大きさが変化することによって、例えば表示領域と検出領域とが略一致してもよい。
The
制御部３３は、種々のマーカを、第２映像に合成して表示装置４０に表示させてよい。合成には、上書きおよび混合が含まれる。マーカは、例えば１つ以上の画像を含んでよい。制御部３３は、第２映像に重畳するマーカの少なくとも一部の表示態様を、動的に変化させてよい。表示態様は、例えば第２映像上のマーカの少なくとも一部の位置、大きさ、形状、色、および濃淡等を含んでよい。制御部３３は、第１映像上で検出された検出対象に対応するマーカを表示する場合、当該検出対象の種類に応じて、当該マーカの表示態様を決定してよい。種々のマーカを表示装置４０に表示させる画像処理装置３０の動作の詳細については後述する。
The
（表示装置）
表示装置４０について詳細に説明する。表示装置４０は、例えば液晶ディスプレイおよび有機ＥＬ（Electroluminescence）ディスプレイ等を含んでよい。表示装置４０は、例えばネットワーク５１を介して画像処理装置３０から入力される第２映像を表示してよい。表示装置４０は、ユーザによる操作を受付可能なタッチスクリーンとして機能してよい。表示装置４０は、ユーザによる操作を受付可能なスイッチおよびキーを含んでよい。スイッチは、物理スイッチおよび電子スイッチを含んでよい。キーは、物理キーおよび電子キーを含んでよい。表示装置４０は、自装置に対するユーザの操作を受け付けると、当該操作に基づくユーザ入力を画像処理装置３０へ送信してよい。
(Display device)
The
図３乃至図１６を参照して、画像処理装置３０が表示装置４０に表示させる第２映像および種々のマーカについて、具体的に説明する。本開示において、映像または画像について「上下方向」および「左右方向」との文言は、当該映像または当該画像における２次元方向に対応する。本開示において、映像または画像について「高さ方向」、「水平方向」、および「奥行き方向」との文言は、当該映像または当該画像が映す空間の３次元方向に対応する。
The second image and various markers displayed on the
（第１例）
図３は、画像処理装置３０が撮像装置２０から取得した第１映像における検出領域６１の第１例を示す。図３に示す例では、検出領域６１は、上下方向に比べて左右方向に長い。表示領域６２は、検出領域６１の左右方向における中央に位置する。制御部３３は、第１映像上の表示領域６２の内側に映っている歩行者６３および車両６４それぞれを、検出対象として検出してよい。
(1st example)
FIG. 3 shows a first example of the
制御部３３は、第１映像上の表示領域６２の内側で検出された検出対象と、移動体５０と、の相対的位置関係に基づいて、１つ以上の条件が満たされているか否かを判定する。１つ以上の条件は、例えば検出対象が移動体５０の第１予測進路６５内に位置するとの第１条件を含んでよい。１つ以上の条件は、例えば移動体５０の第１予測進路６５の少なくとも一部と、検出対象の第２予測進路の少なくとも一部と、が重なるとの第２条件を含んでよい。当該１つ以上の条件が満たされると判定された場合、制御部３３は、検出対象に対応する所定のマーカを、第２映像に重畳して表示装置４０に表示させてよい。所定のマーカは、第１マーカ、第２マーカ、および第３マーカを含んでよい。
The
第１例において、制御部３３は、歩行者６３について当該１つ以上の条件が満たされていると判定し得る。かかる場合、制御部３３は、歩行者６３に対応するマーカを表示させてよい。制御部３３は、車両６４について当該１つ以上の条件が満たされていないと判定し得る。かかる場合、制御部３３は、車両６４に対応するマーカを表示しない。
In the first example, the
図４は、図３に示す第１映像の表示領域６２に対応する第２映像の例を示す。制御部３３は、第１映像の表示領域６２のアスペクト比と、表示装置４０の画面のアスペクト比とが異なる場合、第１映像の表示領域６２を切り出した後、表示装置４０の画面のアスペクト比に合わせて変形した第２映像を、表示装置４０へ出力してよい。図４に示すように、第２映像上に、歩行者６３および車両６４が映っている。
FIG. 4 shows an example of the second image corresponding to the
制御部３３は、例えば図３に示す移動体５０の第１予測進路６５の少なくとも一部を示すガイド線６６を、第２映像に重畳させて表示装置４０に表示させてよい。制御部３３は、例えばステアリングホイールの舵角の変化に応じて、ガイド線６６を動的に変化させてよい。
For example, the
第１映像は、表示領域６２に比べて範囲が広い。制御部３３は、表示領域６２の範囲を変更し得る。制御部３３は、第２映像にアイコン画像６７を重畳させて表示装置４０に表示させてよい。例えば図４に示すアイコン画像６７の輪郭６７ａは、表示領域６２の範囲を変更した際の最大範囲を示す。アイコン画像６７の白い長方形６７ｂは、表示領域６２を示す。図４に示すアイコン画像６７は、表示領域６２の最大範囲に対する表示領域６２の相対的な位置および大きさを示す。
The first image has a wider range than the
図５は、例えば第２映像上の歩行者６３に重畳されるマーカの例を示す。以下、当該マーカを、第３マーカ６８ともいう。第３マーカ６８の輪郭線６９は、第２映像上で検出された歩行者６３の輪郭線に略一致してよい。第３マーカ６８の輪郭線６９の内側の領域７０は、例えば検出対象の種類である「人」に対応する色またはパターンで塗り潰されてよい。制御部３３は、第１映像上で歩行者６３が検出されると、第２映像上の歩行者６３に第３マーカ６８を重畳して表示装置４０に表示させてよい。かかる構成によれば、対象者６０は、第２映像上の歩行者６３を容易に視認可能となる。制御部３３は、第３マーカ６８を表示させてから所定時間が経過すると、当該第３マーカ６８を非表示にしてよい。
FIG. 5 shows an example of a marker superimposed on the
図６は、例えば第２映像上の歩行者６３の周辺に重畳される２種類のマーカの例を示す。以下、当該２種類のマーカそれぞれを、第１マーカ７１および第２マーカ７２ともいう。制御部３３は、例えば第３マーカ６８を非表示にした後に、第１マーカ７１および第２マーカ７２を、第２映像に重畳して表示装置４０に表示させてよい。
FIG. 6 shows an example of two types of markers superimposed on the periphery of the
制御部３３は、第２映像上の歩行者６３に追従して、第１マーカ７１の位置を移動させてよい。対象者６０は、第１マーカ７１が歩行者６３に追従するので、歩行者６３を捕らえやすい。第１マーカ７１は、歩行者６３の周囲に歩行者６３から離れて表示される。対象者６０は、第１マーカ７１が表示装置４０に表示されているときに、歩行者６３の振る舞いを把握しやすい。制御部３３は、第２映像上の第１マーカ７１の重畳位置に対して、第２マーカ７２の重畳位置を相対的に変化させてよい。制御部３３は、第１マーカ７１の位置を基準にして、第２マーカを相対的に移動させてよい。
The
例えば、制御部３３は、移動体５０と歩行者６３との間の距離が減少しているときに、当該距離の減少に対して移動体５０の寄与が大きいと判定し得る。かかる場合、制御部３３は、第２マーカ７２を第１マーカ７１に向かって移動させてよい。まず、制御部３３は、第１マーカ７１から離れた位置に第２マーカ７２を表示させる。次に、制御部３３は、第１マーカ７１との距離が所定距離になるまで、第２マーカ７２を第１マーカ７１に向かって移動させる。次に、制御部３３は、第２マーカ７２を消す。次に、制御部３３は、再び第１マーカ７１から離れた位置に第２マーカ７２を表示させ、上述の処理を繰り返す。この例において、第２マーカ７２は、第１マーカ７１という対象物に向かって移動しているため、対象者６０は、第２マーカ７２が第１マーカ７１に向かって近づいていると理解し得る。
For example, when the distance between the moving
例えば、制御部３３は、移動体５０と歩行者６３との間の距離が減少しているときに、当該距離の減少に対して歩行者６３の寄与が大きいと判定し得る。かかる場合、制御部３３は、第２マーカ７２を第１マーカ７１から離れるように移動させてよい。まず、制御部３３は、第１マーカ７１に近い位置に第２マーカ７２を表示させる。次に、制御部３３は、第１マーカ７１との距離が所定距離になるまで、第２マーカ７２を第１マーカ７１から離れるように移動させる。次に、制御部３３は、第２マーカ７２を消す。次に、制御部３３は、再び第１マーカ７１に近い位置に第２マーカ７２を表示させ、上述の処理を繰り返す。この例において、第２マーカ７２は、第１マーカ７１という対象物から移動しているため、対象者６０は、第２マーカ７２が第１マーカ７１に向かって離れていると理解し得る。
For example, when the distance between the moving
制御部３３は、移動体５０と歩行者６３との間の距離の減少に対する移動体５０および歩行者６３の寄与の多寡に応じて、第１マーカ７１に対する第２マーカ７２の移動方向を変更する。対象者６０は、第２マーカ７２の移動方向に応じて、例えば移動体５０が歩行者６３に近付いているのか、または歩行者６３が移動体５０に近付いているのかを識別可能となる。
The
制御部３３は、例えば図７に示すように、第２映像上の第１マーカ７１を中心として第２マーカ７２の拡大または縮小を繰り返してよい。制御部３３は、例えば図８に示すように、歩行者６３の輪郭線６９と同様の形状を有する第１マーカ７１および第２マーカ７２を第２映像に重畳してよい。制御部３３は、当該第１マーカ７１を中心として第２マーカ７２の拡大または縮小を繰り返してよい。制御部３３は、移動体５０と歩行者６３との間の距離の減少に対する移動体５０および歩行者６３の寄与の多寡に応じて、第２マーカ７２の拡大または縮小を切り替える。
As shown in FIG. 7, for example, the
制御部３３は、第１マーカ７１および第２マーカ７２を表示している検出対象と移動体５０との間の距離が所定の閾値未満となった場合、新たなマーカを第２映像に重畳してよい。以下、当該新たなマーカを第４マーカともいう。第４マーカは、任意の画像を含んでよい。例えば、第４マーカは、感嘆符「！」を示す画像を含んでよい。かかる構成によれば、例えば第１マーカ７１および第２マーカ７２を表示している歩行者６３と移動体５０とが一定程度以上近付くと、第４マーカが第２映像に重畳して表示される。対象者６０は、第４マーカによって、例えば歩行者６３が移動体５０の近傍に位置することを識別可能となる。他の実施形態において、制御部３３は、第１マーカ７１および第２マーカ７２を表示している検出対象と移動体５０との間の距離が所定の閾値未満となった場合、当該第１マーカ７１および第２マーカ７２の表示態様を変化させてよい。制御部３３は、例えば、第１マーカ７１および第２マーカ７２の色を変化させてよい。かかる構成によっても、対象者６０は、マーカの色の変化によって、例えば歩行者６３が移動体５０の近傍に位置することを識別可能となる。
When the distance between the detection target displaying the
制御部３３は、奥行き方向の前後に並んだ２つの検出対象を検知し得る。制御部３３は、前後に位置する２つの検出対象のそれぞれに、第１マーカ７１および第２マーカ７２を表示させてよい。制御部３３は、２つの検出対象に対して、異なる第１マーカ７１および第２マーカ７２を付し得る。例えば、制御部３３は、奥側に位置する第１の検出対象に対して、手前側に位置する第２の検出対象に付す第１マーカ７１および第２マーカ７２より目立たない第１マーカ７１および第２マーカ７２を付し得る。例えば、制御部３３は、手前側に位置する第２の検出対象に付す第１マーカ７１および第２マーカ７２より、奥側に位置する第１の検出対象に付す第１マーカ７１および第２マーカ７２の、色を暗く、透過率を高く、線を細くする等の変更をし得る。
The
（第２例）
図９は、画像処理装置３０が撮像装置２０から取得した第１映像における検出領域６１の第２例を示す。図９に示す例では、検出領域６１は、上下方向に比べて左右方向に長い。表示領域６２は、検出領域６１の左右方向における中央に位置する。制御部３３は、第１映像上の表示領域６２の内側に映っている歩行者６３ａと、表示領域６２の外側であって検出領域６１の内側に映っている歩行者６３ｂおよび６３ｃとを、それぞれ検出対象として検出してよい。歩行者６３ａに関する制御部３３の処理は、例えば図３に示す歩行者６３に関する処理と同様である。
(2nd example)
FIG. 9 shows a second example of the
制御部３３は、検出対象が検出された第１映像上の検出位置が、表示領域６２の外側且つ検出領域６１の内側である場合、検出対象に対応するマーカを第２映像に重畳して表示装置４０に表示させてよい。以下、当該マーカを第５マーカともいう。制御部３３は、移動体５０と当該検出対象とが接触する可能性があると判定された場合に、第５マーカを表示させてよい。制御部３３は、当該検出対象が検出された第１映像上の検出位置が、表示領域６２よりも右側にある場合、第５マーカを、第２映像上の右端に重畳して表示装置４０に表示させてよい。制御部３３は、当該検出対象が検出された第１映像上の検出位置が、表示領域６２よりも左側にある場合、第５マーカを、第２映像上の左端に重畳して表示装置４０に表示させてよい。
When the detection position on the first image in which the detection target is detected is outside the
第２例において、歩行者６３ｂが検出された検出位置は、表示領域６２よりも右側にある。制御部３３は、移動体５０と歩行者６３ｂとが接触する可能性があると判定し得る。かかる場合、制御部３３は、歩行者６３ｂに対応する第５マーカを、第２映像上の右端に重畳して表示装置４０に表示させてよい。歩行者６３ｂに対応する第５マーカの詳細については後述する。歩行者６３ｃが検出された検出位置は、表示領域６２よりも左側にある。制御部３３は、移動体５０と歩行者６３ｃとが接触する可能性がないと判定し得る。かかる場合、制御部３３は、歩行者６３ｂに対応する第５マーカを表示させなくてよい。
In the second example, the detection position where the
図１０は、図９に示す第１映像の表示領域６２に対応する第２映像の例を示す。図１０に示すように、第２映像上に歩行者６３ａが映っている。第２映像上に歩行者６３ｂおよび６３ｃは映っていない。
FIG. 10 shows an example of the second image corresponding to the
図１０に示すように、制御部３３は、例えば障害物画像７４を第２映像に重畳して表示装置４０に表示させてよい。障害物画像５７は、移動体５０に備えられた超音波ソナー等を用いた障害物検出装置の検出結果を示す。障害物画像７４は、画像７４ａと、画像７４ｂと、画像７４ｃとを含み得る。画像７４ａは、移動体５０を上方から俯瞰した画像である。画像７４ｂは、移動体５０の左後方に障害物が検出されたことを示す画像である。画像７４ｃは、移動体５０の右後方に障害物が検出されたことを示す画像である。障害物検出装置による障害物の検出結果と、制御部３３による検出対象の検出結果とは、必ずしも一致しなくてよい。例えば図１０に示す例では、障害物画像７４は、移動体５０の右後方および左後方に、それぞれ障害物が検出されたことを示す。一方、制御部３３は、移動体５０の左後方に存在する歩行者６３ｃについては、移動体５０と接触する可能性がないと判定し得る。かかる場合、制御部３３は、歩行者６３ｃに対応する第５マーカを表示させなくてよい。
As shown in FIG. 10, the
歩行者６３ｂに対応する第５マーカ７３の例を図１０に示す。第５マーカ７３は、アイコン画像７３ａと、帯画像７３ｂと、を含んでよい。アイコン画像７３ａは、検出対象の種類である「人」に対応する画像であってよい。アイコン画像７３ａを視認した対象者６０は、第２映像よりも右方に人が存在することを認識可能である。帯画像７３ｂは、例えば第２映像上の上下方向に延びる帯状の画像である。帯画像７３ｂは、例えば検出対象の種類である「人」に対応する色またはパターンで塗り潰されてよい。制御部３３は、第２映像上の右端領域７３ｃ内において、帯画像７３ｂを移動させてよい。制御部３３は、帯画像７３ｂの移動速度および幅を変化させてよい。
An example of the
第５マーカ７３について詳細に説明する。制御部３３は、移動体５０と歩行者６３ｂとの間の距離に応じて、帯画像７３ｂの幅を決定してよい。例えば、制御部３３は、当該距離が近付くほど、帯画像７３ｂの幅を太くしてよい。帯画像７３ｂを視認した対象者６０は、帯画像７３ｂの幅に基づいて、移動体５０と歩行者６３ｂとの間の距離を認識可能である。
The
制御部３３は、移動体５０と歩行者６３ｂとの間の距離の減少に対して、例えば移動体５０の寄与が大きいと判定し得る。かかる場合、制御部３３は、第２映像上の右端領域７３ｃ内において、帯画像７３ｂを第１方向に繰り返し移動させる。第１方向は、例えば第２映像上の左右方向において外側から内側に向かう方向であってよい。制御部３３は、移動体５０と歩行者６３ｂとの間の距離の減少に対して、例えば歩行者６３ｂの寄与が大きいと判定し得る。かかる場合、制御部３３は、第２映像上の右端領域７３ｃ内において、帯画像７３ｂを第２方向に繰り返し移動させる。第２方向は、例えば第２映像上の左右方向において内側から外側に向かう方向であってよい。帯画像７３ｂを視認した対象者６０は、帯画像７３ｂの移動方向に基づいて、移動体５０が歩行者６３ｂに近付いているのか、または歩行者６３ｂが移動体５０に近付いているのかを認識可能である。
The
制御部３３は、移動体５０と歩行者６３ｂとの間の距離の減少速度に応じて、帯画像７３ｂの移動速度を決定してよい。例えば、当該距離の減少速度が速いほど、帯画像７３ｂの移動速度を速くしてよい。帯画像７３ｂを視認した対象者６０は、帯画像７３ｂの移動速度に基づいて、移動体５０と歩行者６３ｂとの間の距離の減少速度を認識可能である。
The
制御部３３は、第５マーカ７３を表示させた状態において、例えば所定のユーザ操作に応じたユーザ入力を検出すると、第１映像上の歩行者６３ｂの検出位置が表示領域６２の内側に含まれるように表示領域６２を変化させてよい。例えば図１１に示すように、制御部３３は、第１映像上の表示領域６２を左右方向に長くし、表示領域６２を検出領域６１内の右側に寄せてよい。かかる構成によって、例えば図１２に示すように、第２映像上に歩行者６３ｂが映る。
When the
上述した所定のユーザ操作は、任意のユーザ操作を含んでよい。例えば、上述した所定のユーザ操作は、移動体５０のステアリングの舵角を変化させる第１ユーザ操作を含んでよい。第５マーカ７３は、第２ユーザ操作を受け付けるＧＵＩ（Graphic User Interface）として機能してよい。以下、ＧＵＩをインタフェース画像ともいう。かかる場合、上述した所定のユーザ操作は、第２ユーザ操作を含んでよい。
The predetermined user operation described above may include any user operation. For example, the predetermined user operation described above may include a first user operation for changing the steering angle of the moving
制御部３３は、第１映像上の歩行者６３ｂの検出位置が表示領域６２の内側に含まれるように、表示領域６２を自動的に変化させてよい。この場合、制御部３３は、第１映像の検出領域６１において歩行者６３ｂが検出されなくなるまで、表示領域６２の自動変更を維持し得る。
The
制御部３３は、例えば図１２に示すように、表示領域６２の変化に応じてアイコン画像６７を変化させてよい。
The
制御部３３は、例えば表示装置４０に対するピンチイン操作およびピンチアウト操作等に応じて、第１映像上の表示領域６２を変化させてよい。例えば図１３に示すように、制御部３３は、表示領域６２を検出領域６１に略一致させてよい。かかる場合、例えば図１４に示すように、検出領域６１内の全ての検出対象が表示装置４０に表示される。
The
（第３例）
図１５は、画像処理装置３０が撮像装置２０から取得した第１映像における検出領域６１の第３例を示す。図１５に示す例では、検出領域６１は、上下方向に比べて左右方向に長い。表示領域６２は、検出領域６１の左右方向における中央に位置する。制御部３３は、移動体５０の第１予測進路６５内に映っている車両６４ａと、第１予測進路６５外に映っている車両６４ｂおよび歩行者６３ｄとを、それぞれ検出対象として検出してよい。
(Third example)
FIG. 15 shows a third example of the
第３例では、例えば夜間またはトンネル内等、移動体５０の外部領域が暗い場合について説明する。移動体５０の外部領域が暗い場合、第１映像および第２映像の特性値が低下する場合がある。特性値は、映像の視認性に関する任意のパラメータを含んでよい。例えば、特性値は、例えば映像の輝度値およびコントラスト比のうち少なくとも一方を含んでよい。第２映像の特性値が低下すると、第２映像の視認性が低下し得る。
In the third example, a case where the external region of the moving
制御部３３は、第２映像上の検出対象に対応する領域に対して、特定画像処理を実行してよい。特定画像処理は、検出対象に対応するマーカを当該領域に重畳する第１処理を含んでよい。以下、当該マーカを第６マーカともいう。第６マーカは、例えば第２映像上の検出対象の輪郭形状に略一致する画像を含んでよい。かかる構成によれば、第２映像上の検出対象に第６マーカが重畳して表示される。このため、対象者６０は、第２映像の特性値が低い場合であっても、第２映像上の検出対象を容易に認識可能である。特定画像処理は、第２映像上の検出対象に対応する当該領域の特性値を変化させる第２処理を含んでよい。例えば、制御部３３は、第２映像上の当該領域の視認性を向上させるように、当該領域の特性値を変化させてよい。かかる構成によれば、第２映像上の検出対象の視認性が向上する。このため、対象者６０は、第２映像の特性値が低い場合であっても、第２映像上の検出対象を容易に認識可能である。
The
制御部３３は、１つ以上の条件が満たされる場合に、上述の特定画像処理を実行してよい。１つ以上の条件は、検出対象が移動体５０の第１予測進路６５内に位置するとの条件を含んでよい。１つ以上の条件は、移動体５０の第１予測進路６５と、検出対象の第２予測進路とが重なるとの条件を含んでよい。１つ以上の条件は、移動体５０と検出対象との間の距離が所定の閾値未満であるとの条件を含んでよい。１つ以上の条件は、第２映像の少なくとも一部の領域の特性値が、所定の閾値未満であるとの条件を含んでよい。
The
第３例において、制御部３３は、車両６４ａ、６４ｂ、および歩行者６３ｄそれぞれについて、上述した１つ以上の条件が満たされると判定し得る。かかる場合、制御部３３は、例えば図１６に示すように、車両６４ａ、６４ｂ、および歩行者６３ｄにそれぞれ対応する３つの第６マーカ７５ａ、７５ｂ、および７５ｃを、第２映像に重畳して表示装置４０に表示させてよい。制御部３３は、明るい場所において、検出対象に第６マーカを重ねて表示させてよい。
In the third example, the
制御部３３は、ガイド線６６の形状を変更してよい。制御部３３は、ガイド線６６と検出対象とが重なる領域におけるガイド線６６の形状を変更してよい。図１７は、ガイド線６６の形状例の１つである。図１７のガイド線６６は、ガイド線６６と第６マーカ７５ａが重なっている領域に、ガイド線が表示されていない。ガイド線６６の形状例は、消去に限られず、他のデザイン変更を許容する。デザイン変更には、色の変更、透過率の変更、破線等への種別の変更、線の太さの変更、および点滅等が含まれる。制御部３３は、第６マーカが表示されていないときに、ガイド線６６の形状を変更してよい。制御部３３は、検出対象に第１マーカ７１および第２マーカ７２を表示しているときに、ガイド線６６の形状を変更してよい。
The
以上述べたように、一実施形態に係る表示システム１０によれば、第１映像上で検出された検出対象に応じた多様なマーカが、第２映像に重畳して表示装置４０に表示される。マーカを視認する対象者６０は、移動体５０と検出対象との相対的位置関係を一見して認識可能である。このため、移動体５０の外部領域の映像を表示する技術の利便性が向上する。
As described above, according to the
本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段やステップ等を１つに組み合わせたり、あるいは分割したりすることが可能である。 Although the present invention has been described based on the drawings and embodiments, it should be noted that those skilled in the art can easily make various modifications and modifications based on the present disclosure. Therefore, it should be noted that these modifications and modifications are included in the scope of the present invention. For example, the functions included in each means, each step, etc. can be rearranged so as not to be logically inconsistent, and a plurality of means, steps, etc. can be combined or divided into one. ..
例えば、上述した実施形態に係る表示システム１０の各構成要素および機能は再配置可能であってよい。例えば、画像処理装置３０の構成および機能の一部または全部を、撮像装置２０および表示装置４０の少なくとも一方に包含させてもよい。
For example, each component and function of the
上述の実施形態に係る表示システム１０の構成要素の一部は、移動体５０の外部に位置してよい。例えば、画像処理装置３０等は、携帯電話または外部サーバ等の通信機器として実現され、表示システム１０の他の構成要素と有線または無線によって接続されてもよい。
Some of the components of the
１０ 表示システム
２０ 撮像装置
２１ 撮像光学系
２２ 撮像素子
２３ 通信部
２４ 制御部
３０ 画像処理装置
３１ 通信部
３２ 記憶部
３３ 制御部
４０ 表示装置
５０ 移動体
５１ ネットワーク
６０ 対象者
６１ 検出領域
６２ 表示領域
６３、６３ａ、６３ｂ、６３ｃ、６３ｄ 歩行者
６４、６４ａ、６４ｂ 車両
６５ 第１予測進路
６６ ガイド線
６７ アイコン画像
６８ 第３マーカ
６９ 輪郭線
７０ 領域
７１ 第１マーカ
７２ 第２マーカ
７３ 第５マーカ
７３ａ アイコン画像
７３ｂ 帯画像
７３ｃ 右端領域
７４ 障害物画像
７５ａ、７５ｂ、７５ｃ 第６マーカ
10
Claims (8)
前記第１映像上の表示領域に対応する第２映像を表示装置に表示させる制御部と、
を備え、
前記制御部は、
前記第１映像上の検出領域において検出対象の少なくとも一部を検出し、
前記移動体と前記検出対象との間の距離が減少する場合、前記距離の減少に対して前記移動体と前記検出対象との何れの寄与が大きいか判定し、
前記移動体の寄与が大きいと判定した場合と前記検出対象の寄与が大きいと判定した場合とで、それぞれ異なる特定画像処理を前記第２映像上の領域に対して実行する、画像処理装置。 A communication unit that acquires the first image of the external region of the moving body,
A control unit that displays a second image corresponding to the display area on the first image on the display device,
With
The control unit
At least a part of the detection target is detected in the detection area on the first image,
When the distance between the moving body and the detection target decreases, it is determined which of the moving body and the detection target contributes more to the decrease in the distance.
An image processing device that executes different specific image processing on a region on the second image depending on whether the contribution of the moving body is large and the contribution of the detection target is large.
前記特定画像処理は、前記第２映像上の前記領域に、前記検出対象に対応するマーカを拡大もしくは縮小することのうち、少なくとも何れかを含む、画像処理装置。 The image processing apparatus according to claim 1.
The specific image processing, the area on the second image, of that expand or shrink the marker corresponding to the detection target, at least one, the image processing apparatus.
前記特定画像処理として前記検出対象に対応するマーカを拡大または縮小させる場合、
前記制御部は、
前記マーカとして、前記検出対象に対応する第１マーカを、前記第２映像に重畳して前記表示装置に表示させ、
前記移動体および前記検出対象の寄与の多寡に応じて、前記第２映像上に前記マーカに対応する第１マーカを中心として第２マーカを、拡大または縮小を切替えて表示させる、画像処理装置。 The image processing apparatus according to claim 2.
When enlarging or reducing the marker corresponding to the detection target as the specific image processing
The control unit
As the marker, the first marker corresponding to the detection target is superimposed on the second image and displayed on the display device.
An image processing device that displays on the second image the second marker centered on the first marker corresponding to the marker by switching between enlargement and reduction according to the amount of contribution of the moving body and the detection target.
前記制御部は、
前記移動体および前記検出対象の相対的位置関係に基づいて、１つ以上の条件が満たされるか否かを判定し、
前記１つ以上の条件が満たされると判定された場合、特定画像処理を実行する、画像処理装置。 The image processing apparatus according to claim 2 or 3.
The control unit
Based on the relative positional relationship between the moving body and the detection target, it is determined whether or not one or more conditions are satisfied.
An image processing device that executes specific image processing when it is determined that one or more of the above conditions are satisfied.
前記制御部は、
前記通信部を介して前記移動体から移動体情報を取得し、
前記移動体情報に基づいて、前記移動体の第１予測進路を決定し、
前記検出対象の少なくとも一部が検出されると、前記第１映像上の前記検出対象に基づいて、前記検出対象の第２予測進路を決定し、
前記１つ以上の条件は、前記検出対象が前記移動体の第１予測進路内に位置するとの第１条件、または、前記移動体の前記第１予測進路の少なくとも一部と前記検出対象の第２予測進路の少なくとも一部とが重なるとの第２条件を含む、画像処理装置。 The image processing apparatus according to claim 4.
The control unit
The moving body information is acquired from the moving body via the communication unit, and the moving body information is acquired.
Based on the moving body information, the first predicted course of the moving body is determined.
When at least a part of the detection target is detected, the second prediction course of the detection target is determined based on the detection target on the first image.
The one or more conditions are the first condition that the detection target is located in the first predicted course of the moving body, or at least a part of the first predicted course of the moving body and the detection target. 2 An image processing apparatus including a second condition that at least a part of the predicted course overlaps.
前記１つ以上の条件は、前記移動体と前記検出対象との間の距離が閾値未満であるとの第３条件を含む、画像処理装置。 The image processing apparatus according to claim 4 or 5.
The image processing apparatus includes the third condition that the distance between the moving body and the detection target is less than a threshold value.
前記第１映像上の表示領域に対応する第２映像を表示装置に表示させる制御部と、
を備え、
前記制御部は、
前記第１映像上の検出領域において検出対象の少なくとも一部を検出し、
前記移動体と前記検出対象との間の距離が減少する場合、前記距離の減少に対して前記移動体と前記検出対象との何れの寄与が大きいか判定し、
前記移動体の寄与が大きいと判定した場合と前記検出対象の寄与が大きいと判定した場合とで、それぞれ異なる特定画像処理を前記第２映像上の前記検出対象の前記少なくとも一部に対応する領域に対して実行する、撮像装置。 An image sensor that generates a first image of an external region of a moving body,
A control unit that displays a second image corresponding to the display area on the first image on the display device,
With
The control unit
At least a part of the detection target is detected in the detection area on the first image,
When the distance between the moving body and the detection target decreases, it is determined which of the moving body and the detection target contributes more to the decrease in the distance.
A region corresponding to at least a part of the detection target on the second video is subjected to different specific image processing depending on whether the contribution of the moving body is large or the contribution of the detection target is large. An imaging device that runs against.
移動体の外部領域を撮像した第１映像を生成する撮像装置と、
前記第１映像上の表示領域に対応する第２映像を前記表示装置に表示させる制御部を有する画像処理装置と、を備え、
前記画像処理装置は、
前記第１映像上の検出領域において検出対象の少なくとも一部を検出し、
前記移動体と前記検出対象との間の距離が減少する場合、前記距離の減少に対して前記移動体と前記検出対象との何れの寄与が大きいか判定し、
前記移動体の寄与が大きいと判定した場合と前記検出対象の寄与が大きいと判定した場合とで、それぞれ異なる特定画像処理を前記第２映像上の前記検出対象の前記少なくとも一部に対応する領域に対して実行する、表示システム。 Display device and
An imaging device that generates a first image of an external region of a moving body,
An image processing device having a control unit for displaying a second image corresponding to a display area on the first image on the display device is provided.
The image processing device is
At least a part of the detection target is detected in the detection area on the first image,
When the distance between the moving body and the detection target decreases, it is determined which of the moving body and the detection target contributes more to the decrease in the distance.
A region corresponding to at least a part of the detection target on the second video is subjected to different specific image processing depending on whether the contribution of the moving body is large or the contribution of the detection target is large. A display system that runs against.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016226333A JP6759072B2 (en) | 2016-11-21 | 2016-11-21 | Image processing equipment, imaging equipment, and display system |
| US16/462,488 US11030468B2 (en) | 2016-11-21 | 2017-11-21 | Image processing apparatus |
| PCT/JP2017/041900 WO2018092919A1 (en) | 2016-11-21 | 2017-11-21 | Image processing device, imaging device, and display system |
| EP17871828.4A EP3544293B1 (en) | 2016-11-21 | 2017-11-21 | Image processing device, imaging device, and display system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016226333A JP6759072B2 (en) | 2016-11-21 | 2016-11-21 | Image processing equipment, imaging equipment, and display system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018085581A JP2018085581A (en) | 2018-05-31 |
| JP6759072B2 true JP6759072B2 (en) | 2020-09-23 |
Family
ID=62237729
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016226333A Active JP6759072B2 (en) | 2016-11-21 | 2016-11-21 | Image processing equipment, imaging equipment, and display system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6759072B2 (en) |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009040107A (en) * | 2007-08-06 | 2009-02-26 | Denso Corp | Image display control device and image display control system |
| JP5299026B2 (en) * | 2009-03-30 | 2013-09-25 | マツダ株式会社 | Vehicle display device |
| JP5898001B2 (en) * | 2012-06-26 | 2016-04-06 | 本田技研工業株式会社 | Vehicle periphery monitoring device |
-
2016
- 2016-11-21 JP JP2016226333A patent/JP6759072B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2018085581A (en) | 2018-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11961162B2 (en) | Imaging apparatus, image processing apparatus, display system, and vehicle | |
| WO2014129026A1 (en) | Driving assistance device and image processing program | |
| JP6762863B2 (en) | Imaging equipment, image processing equipment, display systems, and vehicles | |
| WO2019008764A1 (en) | Parking assistance method and parking assistance device | |
| JP6626817B2 (en) | Camera monitor system, image processing device, vehicle, and image processing method | |
| JPWO2017221945A1 (en) | Display device, display system, moving object, and display method | |
| US11697425B1 (en) | Method and system for assisting drivers in locating objects that may move into their vehicle path | |
| JP6781035B2 (en) | Imaging equipment, image processing equipment, display systems, and vehicles | |
| KR102023863B1 (en) | Display method around moving object and display device around moving object | |
| JP2018085584A (en) | Image processing apparatus, imaging apparatus, and display system | |
| WO2018092919A1 (en) | Image processing device, imaging device, and display system | |
| JP2021007255A (en) | Imaging device, image processing apparatus, display system, and vehicle | |
| JP6759072B2 (en) | Image processing equipment, imaging equipment, and display system | |
| JP6720063B2 (en) | Image processing device, imaging device, and display system | |
| JP6712942B2 (en) | Image processing device, imaging device, and display system | |
| JP7007438B2 (en) | Imaging equipment, image processing equipment, display equipment, display systems, and vehicles | |
| JP6974564B2 (en) | Display control device | |
| JP7296490B2 (en) | Display control device and vehicle | |
| JP7259377B2 (en) | VEHICLE DISPLAY DEVICE, VEHICLE, DISPLAY METHOD AND PROGRAM | |
| JP2022052416A (en) | Image processing device | |
| CN117478999A (en) | Image processing method and device and vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190222 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200310 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200501 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200602 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200703 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200811 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200902 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6759072 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |