JP6704554B2 - 画像処理装置、画像処理方法、及び監視システム - Google Patents

画像処理装置、画像処理方法、及び監視システム Download PDF

Info

Publication number
JP6704554B2
JP6704554B2 JP2020508684A JP2020508684A JP6704554B2 JP 6704554 B2 JP6704554 B2 JP 6704554B2 JP 2020508684 A JP2020508684 A JP 2020508684A JP 2020508684 A JP2020508684 A JP 2020508684A JP 6704554 B2 JP6704554 B2 JP 6704554B2
Authority
JP
Japan
Prior art keywords
image
images
unit
complementary
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020508684A
Other languages
English (en)
Other versions
JPWO2019186860A1 (ja
Inventor
浩平 岡原
浩平 岡原
古木　一朗
一朗 古木
司 深澤
司 深澤
賢人 山▲崎▼
賢人 山▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Application granted granted Critical
Publication of JP6704554B2 publication Critical patent/JP6704554B2/ja
Publication of JPWO2019186860A1 publication Critical patent/JPWO2019186860A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T5/75—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching

Description

本発明は、第１のカメラが撮影する第１の画像と複数の第２のカメラが撮影する複数の第２の画像とから合成表示画像を生成する画像処理装置、画像処理方法、及び監視システムに関する。
車両の運転者の視点位置に配置された第１のカメラが撮影した第１の画像である後方画像と、車両の外部に配置された第２のカメラが撮影した第２の画像である死角画像とを合成することによって、物体に隠れて運転者からは見えない死角領域の画像を含む合成表示画像を生成し、この合成表示画像を表示する装置の提案がある（例えば、特許文献１参照）。
特許第４５５２５２５号公報
上記従来の装置では、第１のカメラの光軸及び第２のカメラの光軸のいずれもが車両の後方を向いている。しかしながら、一般に、監視システムなどにおいては、死角領域を形成する物体である遮蔽物から離れた位置に第２のカメラが設置される。この場合には、第１のカメラの光軸の方向と第２のカメラの光軸の方向とが大きく異なり、合成表示画像における死角領域の画像に大きな歪みが生じやすいという問題がある。
本発明は、上記従来の課題を解決するためになされたものであり、第１のカメラが撮影する第１の画像と複数の第２のカメラが撮影する複数の第２の画像とから生成された合成表示画像における歪みを目立たなくすることができる画像処理装置、画像処理方法、及び監視システムを提供することを目的とする。
本発明の一態様に係る画像処理装置は、物体が存在する領域を撮影する１つ以上の第１のカメラから提供される１つ以上の第１の画像と前記物体に隠れて前記第１のカメラの位置から見えない死角領域を含む領域を撮影する複数の第２のカメラから提供される複数の第２の画像とを受信する受信部と、前記複数の第２の画像から、前記１つ以上の第１の画像において前記物体に対応するマスク領域の画像である補完画像を生成し、前記１つ以上の第１の画像と前記補完画像とを合成することによって合成表示画像を生成する画像処理部と、を有し、前記画像処理部は、前記複数の第２の画像を射影変換することによって予め決められた位置から見た複数の第３の画像を生成する射影変換部と、前記複数の第３の画像から、前記複数の第３の画像の一部の領域を前記マスク領域に配置した場合に前記マスク領域の境界の画素のエネルギーが最小となる前記一部の領域を提供することができる第３の画像を選択し、選択された画像を第４の画像として出力する画像選択部と、前記第４の画像における前記マスク領域に対応する領域の画像を抽出することによって前記補完画像を生成する補完画像生成部と、を有することを特徴とする。
本発明の他の態様に係る監視システムは、物体が存在する領域を撮影する１つ以上の第１のカメラと、前記物体によって前記第１のカメラの位置から見えない死角領域を含む領域を撮影する複数の第２のカメラと、前記１つ以上の第１のカメラから提供される１つ以上の第１の画像と前記複数の第２のカメラから提供される複数の第２の画像とを受信する受信部と、前記複数の第２の画像から、前記１つ以上の第１の画像において前記物体に対応するマスク領域の画像である補完画像を生成し、前記１つ以上の第１の画像と前記補完画像とを合成することによって合成表示画像を生成する画像処理部と、前記合成表示画像に基づく画像を表示する表示装置と、を有し、前記画像処理部は、前記複数の第２の画像を射影変換することによって予め決められた位置から見た複数の第３の画像を生成する射影変換部と、前記複数の第３の画像から、前記複数の第３の画像の一部の領域を前記マスク領域に配置した場合に前記マスク領域の境界の画素のエネルギーが最小となる前記一部の領域を提供することができる第３の画像を選択し、選択された画像を第４の画像として出力する画像選択部と、前記第４の画像における前記マスク領域に対応する領域の画像を抽出することによって前記補完画像を生成する補完画像生成部と、を有することを特徴とする。
本発明によれば、第１のカメラが撮影する第１の画像と複数の第２のカメラが撮影する複数の第２の画像とから生成された合成表示画像における歪みを目立たなくすることができる。
本発明の実施の形態１に係る画像処理装置及び監視システムを概略的に示す機能ブロック図である。 実施の形態１に係る画像処理装置及び監視システムの動作を示す説明図である。 実施の形態１に係る画像処理装置の動作例を示すフローチャートである。 実施の形態１に係る画像処理装置の他の動作例を示すフローチャートである。 実施の形態１に係る画像処理装置の他の動作例を示すフローチャートである。 本発明の実施の形態２に係る画像処理装置及び監視システムを概略的に示す機能ブロック図である。 実施の形態２に係る画像処理装置の動作例を示すフローチャートである。 本発明の実施の形態３に係る画像処理装置及び監視システムを概略的に示す機能ブロック図である。 実施の形態３に係る画像処理装置の動作例を示すフローチャートである。 本発明の実施の形態４に係る画像処理装置及び監視システムを概略的に示す機能ブロック図である。 実施の形態４に係る画像処理装置及び監視システムの動作を示す説明図である。 実施の形態４に係る画像処理装置の動作例を示すフローチャートである。 実施の形態４に係る画像処理装置の他の動作例を示すフローチャートである。 実施の形態４に係る画像処理装置の他の動作例を示すフローチャートである。 本発明の実施の形態５に係る画像処理装置及び監視システムを概略的に示す機能ブロック図である。 実施の形態５に係る画像処理装置の動作例を示すフローチャートである。 本発明の実施の形態６に係る画像処理装置及び監視システムを概略的に示す機能ブロック図である。 実施の形態６に係る画像処理装置の動作例を示すフローチャートである。 本発明の実施の形態７に係る画像処理装置及び監視システムを概略的に示す機能ブロック図である。 実施の形態７に係る画像処理装置及び監視システムの動作を示す説明図である。 実施の形態７に係る画像処理装置の動作例を示すフローチャートである。 本発明の実施の形態８に係る画像処理装置及び監視システムを概略的に示す機能ブロック図である。 実施の形態８に係る画像処理装置の動作例を示すフローチャートである。 本発明の実施の形態９に係る画像処理装置及び監視システムを概略的に示す機能ブロック図である。 実施の形態９に係る画像処理装置の動作例を示すフローチャートである。 実施の形態１から９に係る画像処理装置のハードウェア構成の例を示す図である。
以下に、本発明の実施の形態１から９に係る画像処理装置、画像処理方法、及び監視システムを、添付図面を参照しながら説明する。以下の実施の形態は、例にすぎず、本発明の範囲内で種々の変更が可能である。
実施の形態１から９に係る監視システムは、物体が存在する領域を撮影する１つ以上の第１のカメラと、物体に隠れて第１のカメラの位置から見えない死角領域を含む領域を撮影する複数の第２のカメラと、画像処理装置と、液晶モニタなどのような表示装置とを有する。監視システムは、例えば、道路などの公共エリア、工場などの作業エリア、建造物の内部又は外部などを監視するシステムに適用可能である。
実施の形態１から９に係る画像処理装置は、１つ以上の第１のカメラから提供される１つ以上の第１の画像データ（以下「画像データ」を単に「画像」とも言う）と複数の第２のカメラから提供される複数の第２の画像とを受信する。第１の画像及び第２の画像は、静止画像及び動画像（すなわち、映像）のいずれであってもよい。画像処理装置は、複数の第２の画像から、１つ以上の第１の画像において物体に対応するマスク領域の画像である補完画像を生成し（補完画像を記憶部から取得する場合を含む）、１つ以上の第１の画像と補完画像とを合成することによって合成表示画像を生成する。表示装置は、合成表示画像に基づく画像を表示する。画像処理装置は、画像処理プログラムを実行することによって実施の形態に係る画像処理方法を実施するコンピュータであってもよい。
《１》実施の形態１．
《１−１》構成
図１は、実施の形態１に係る画像処理装置１を概略的に示す機能ブロック図である。図１に示されるように、監視システムは、１つ以上の第１のカメラ２１と、複数の第２のカメラ２２ａ及び２２ｂと、画像処理装置１と、表示装置１００とを有する。画像処理装置１は、受信部１１と、画像処理部１２と、画像出力部１３と、記憶部１４とを有する。画像処理部１２は、射影変換部１２１と、変換画像合成部１２２と、補完画像生成部１２３と、画像重畳部１２４とを有する。
受信部１１は、例えば、第１のカメラ２１並びに第２のカメラ２２ａ及び２２ｂと、有線又は無線で通信可能に接続される。受信部１１は、第１のカメラ２１並びに複数の第２のカメラ２２ａ及び２２ｂと、直接通信してもよいし又はネットワークを介して通信してもよい。
第１のカメラ２１は、例えば、広い撮影領域を撮影する広領域撮影用カメラである。第１のカメラ２１は、例えば、広い範囲の撮影画像であるパノラマ画像又は上から見下ろすように見える画像である俯瞰画像を撮影するための撮像装置である。第１のカメラ２１から出力される第１の画像３１は、静止画像又は動画像のいずれであってもよい。図１には、１つの第１のカメラ２１が示されているが、第１のカメラ２１は、複数配置されてもよい。複数の第１のカメラの隣り合うものは、互いに重なり合う共通撮影領域を有するように配置される。画像処理装置１に複数の第１のカメラ２１が接続されている場合には、複数の第１のカメラ２１が撮影する複数の第１の画像３１を合成することによって、合成広領域画像を作成することができる。合成広領域画像は、例えば、複数の画像を水平方向、垂直方向、又は水平及び垂直方向に繋ぎ合わせた合成パノラマ画像又は合成俯瞰画像である。共通撮影領域に物体（「遮蔽物」とも言う）が存在し、複数の第１の画像３１の各々に同じ物体が含まれる場合には、複数の第１のカメラ２１のいずれにも撮影されない死角領域が発生する。
第２のカメラ２２ａ及び２２ｂは、例えば、第１のカメラ２１よりも狭い撮影領域を撮影する狭領域撮影用カメラである。第２のカメラ２２ａ及び２２ｂは、第１のカメラ２１の位置からは物体の影になって見えない死角領域を含む領域を撮影し、第２の画像３２ａ及び３２ｂを出力する死角撮影用の撮像装置である。第２の画像３２ａ及び３２ｂは、静止画像又は動画像のいずれであってもよい。図１には、２つの第２のカメラ２２ａ及び２２ｂが示されているが、第２のカメラは、３つ以上配置されてもよい。また、第２のカメラ２２ａ及び２２ｂは、第１のカメラ２１の光軸と異なる方向の光軸を持つように配置されてもよい。例えば、第２のカメラ２２ａ及び２２ｂは、第１のカメラ２１と高さの異なる位置に配置されてもよい。
第１のカメラ２１並びに第２のカメラ２２ａ及び２２ｂは、予めカメラキャリブレーションが行われている。カメラキャリブレーションによって得られた外部パラメータ、内部パラメータ、レンズ歪補正マップなどのカメラパラメータ情報は、予め記憶部１４に記憶される。カメラキャリブレーションは、第１のカメラ２１並びに第２のカメラ２２ａ及び２２ｂの各々を設置した状態でも行われる。カメラキャリブレーションにおいては、予め決められたキャリブレーション用のマーカを用いてもよい。
画像処理部１２の射影変換部１２１は、複数の第２の画像３２ａ及び３２ｂを射影変換することによって予め決められた位置から見た複数の射影変換画像（第３の画像）１２１ａ，…を生成する。予め決められた位置は、例えば、第１のカメラ２１の位置、望ましくは、第１のカメラ２１の光軸上の位置である。
画像処理部１２の変換画像合成部１２２は、複数の射影変換画像１２１ａ，…を合成することによって合成射影変換画像（第４の画像）１２２ａを生成する。具体的には、画像処理部１２の変換画像合成部１２２は、複数の第２のカメラ２２ａ及び２２ｂが撮影した複数の第２の画像３２ａ及び３２ｂの共通領域の画像部分をブレンド処理（例えば、αブレンド処理又はマルチバンドブレンド処理など）することによって、第１の画像３１のマスク領域に対応する補完画像を生成する。なお、αブレンドに用いられるα値は、予め指定された値、又はキーボード若しくはマウスなどの入力装置でユーザが指定した値である。
画像処理部１２の補完画像生成部１２３は、合成射影変換画像１２２ａにおけるマスク領域（すなわち、物体に対応する設定領域）に対応する領域の画像を抽出することによって補完画像（第５の画像）１２３ａを生成する。
画像処理部１２の画像重畳部１２４は、第１の画像３１と補完画像１２３ａとを合成することによって合成表示画像１２４ａを生成する。具体的には、画像重畳部１２４は、１つの第１の画像３１におけるマスク領域に補完画像１２３ａを重畳することによって合成表示画像１２４ａを生成する。或いは、画像重畳部１２４は、複数の第１の画像３１，…の各々におけるマスク領域に補完画像１２３ａを重畳し、その後、複数の第１の画像３１，…を合成することによって合成表示画像１２４ａを生成する。或いは、画像重畳部１２４は、複数の第１の画像３１，…から生成された合成画像（例えば、合成パノラマ画像）のマスク領域に補完画像１２３ａを重畳することによって合成表示画像１２４ａを生成する。なお、重畳は、２つの画像の各々の透過度（例えば、α値）を考慮に入れた合成処理であるブレンド処理（例えば、αブレンド処理）であってもよい。
画像出力部１３は、画像処理部１２で生成された合成表示画像１２４ａをそのまま又は信号形式を変換して表示装置１００に出力する。表示装置１００は、死角領域の画像を含む表示画像をスクリーンに表示する。
《１−２》動作
図２は、実施の形態１に係る画像処理装置１及び監視システムの動作を示す説明図である。図３は、実施の形態１に係る画像処理装置１の動作例を示すフローチャートである。
先ず、ステップＳ１２０において、画像処理装置１の受信部１１は、物体５０が存在する領域を撮影する第１のカメラ２１から提供される第１の画像３１を受信する。また、受信部１１は、物体５０に隠れて第１のカメラ２１の位置から見えない死角領域６０を含む領域を撮影する第２のカメラ２２ａ及び２２ｂから提供される第２の画像３２ａ及び３２ｂを受信する。
次のステップＳ１２１において、画像処理部１２の射影変換部１２１は、第２の画像３２ａ及び３２ｂの各々を射影変換することによって予め決められた位置から見た２つの射影変換画像（第３の画像）１２１ａ，…を生成する。予め決められた位置は、例えば、第１のカメラ２１の位置、望ましくは、第１のカメラ２１の光軸上の位置である。
次のステップＳ１２２において、画像処理部１２の変換画像合成部１２２は、２つの射影変換画像１２１ａ，…を合成することによって合成射影変換画像（第４の画像）１２２ａを生成する。
次のステップＳ１２３において、画像処理部１２の補完画像生成部１２３は、合成射影変換画像１２２ａにおけるマスク領域５１に対応する領域の画像を抽出することによって補完画像（第５の画像）１２３ａを生成する。
次のステップＳ１２４において、画像処理部１２の画像重畳部１２４は、第１の画像３１におけるマスク領域５１に補完画像１２３ａを重畳することによって合成表示画像１２４ａを生成する。
画像出力部１３は、合成表示画像１２４ａを表示装置１００に出力する。図２に示されるように、表示装置１００は、スクリーンに、マスク領域５１内が補完画像１２３ａに基づく死角領域画像１３０ａに置き換えられた表示画像１３０を表示する。
図４は、実施の形態１に係る画像処理装置１の他の動作例を示すフローチャートである。図４において、図３に示される処理ステップと同じ又は対応する処理ステップには、図３に示される符号と同じ符号が付される。図４の動作例では、ステップＳ１２０ａにおいて、受信部１１が、複数の第１の画像３１，…を受信する点が図３の動作例と相違する。
図４の動作例では、ステップＳ１２３ａにおいて、補完画像生成部１２３は、複数の第１の画像３１，…のマスク領域５１，…に対応する複数の補完画像１２３ａ，…を生成する。
また、図４の動作例では、ステップＳ１２４ａにおいて、画像重畳部１２４は、複数の第１の画像３１，…のマスク領域５１，…に、対応する補完画像１２３ａ，…を重畳する。ステップＳ１２６において、画像重畳部１２４は、重畳処理後の複数の第１の画像３１，…を繋ぎ合わせて合成して、合成表示画像１２４ａを生成する。
図５は、実施の形態１に係る画像処理装置１の他の動作例を示すフローチャートである。図５において、図３又は図４に示される処理ステップと同じ又は対応する処理ステップには、図３又は図４に示される符号と同じ符号が付される。図５の動作例では、ステップＳ１２０ａにおいて、受信部１１が、複数の第１の画像３１，…を受信する点が図３の動作例と相違する。
図５の動作例では、ステップＳ１２３ｂにおいて、補完画像生成部１２３は、複数の第１の画像３１，…の合成画像のマスク領域に対応する補完画像１２３ａを生成する。ステップＳ１２６ａにおいて、画像重畳部１２４は、重畳処理後の複数の第１の画像３１，…を繋ぎ合わせて合成して、合成画像を生成する。
次のステップＳ１２４ｂにおいて、画像重畳部１２４は、合成画像のマスク領域に補完画像１２３ａを重畳することで合成表示画像１２４ａを生成する。
《１−３》効果
以上に説明したように、実施の形態１に係る画像処理装置１及び監視システムによれば、広領域画像である第１の画像３１内に物体５０に隠れて見えない死角領域６０が発生した場合であっても、表示装置１００の１つのスクリーンに、死角領域６０が補完画像１２３ａで置き換えられた死角領域画像１３０ａを含む表示画像１３０を表示することができる。したがって、死角領域画像１３０ａだけを別のスクリーンに表示する場合に比べ、監視者は、撮影領域の状況を容易且つ正確に把握することができる。
《２》実施の形態２．
図６は、実施の形態２に係る画像処理装置２及び監視システムを概略的に示す機能ブロック図である。図６において、図１に示される構成要素と同一又は対応する構成要素には、図１に示される符号と同じ符号が付される。図６に示されるように、画像処理装置２は、受信部１１と、画像処理部２２と、画像出力部１３と、記憶部１４とを有する。画像処理部２２は、射影変換部２２１と、画像選択部２２２と、補完画像生成部２２３と、画像重畳部２２４とを有する。
実施の形態１では、第２の画像３２ａ及び３２ｂの合成射影変換画像１２２ａを用いて補完画像１２３ａを生成したが、実施の形態２では、第２の画像３２ａ及び３２ｂの一方を選択し、選択された第２の画像である選択画像２２２ａを用いて補完画像２２３ａを生成する。この点以外に関しては、実施の形態２は、実施の形態１と同じである。
図７は、実施の形態２に係る画像処理装置２の動作例を示すフローチャートである。先ず、ステップＳ２２０において、画像処理装置２の受信部１１は、第１の画像３１と第２の画像３２ａ及び３２ｂとを受信する。
次のステップＳ２２１において、画像処理部２２の射影変換部２２１は、第２の画像３２ａ及び３２ｂの各々を射影変換することによって予め決められた位置から見た２つの射影変換画像（第３の画像）２２１ａ，…を生成する。
次のステップＳ２２２において、画像処理部２２の画像選択部２２２は、複数の射影変換画像２２１ａ，…から、複数の射影変換画像２２１ａ，…の各々の一部の領域をマスク領域５１に配置した場合にマスク領域５１の境界の画素のエネルギーが最小となる前記一部の領域を提供することができる射影変換画像（第４の画像）２２２ａを選択する。マスク領域５１の境界の画素のエネルギーを用いる方法は、例えば、Ｓｅａｍ Ｃａｒｖｉｎｇ法である。
次のステップＳ２２３において、画像処理部２２の補完画像生成部２２３は、選択された射影変換画像である選択画像２２２ａにおけるマスク領域５１に対応する領域の画像を抽出することによって補完画像２２３ａを生成する。
次のステップＳ２２４において、画像処理部２２の画像重畳部２２４は、第１の画像３１におけるマスク領域５１に補完画像２２３ａを重畳することによって合成表示画像２２４ａを生成する。
画像出力部１３は、画像処理部２２で生成された合成表示画像２２４ａをそのまま又は信号形式を変換して表示装置１００に出力する。表示装置１００は、死角領域の画像を含む表示画像をスクリーンに表示する。
以上に説明したように、実施の形態２に係る画像処理装置２及び監視システムによれば、死角領域画像を別のスクリーンに表示する場合に比べ、撮影領域の状況を容易且つ正確に把握することができる。
また、実施の形態２では、第２の画像３２ａ及び３２ｂを合成していないので、実施の形態１の場合に比べ、データ処理の負荷を軽減することができる。
《３》実施の形態３．
図８は、実施の形態３に係る画像処理装置３及び監視システムを概略的に示す機能ブロック図である。図８において、図１又は図６に示される構成要素と同一又は対応する構成要素には、図１又は図６に示される符号と同じ符号が付される。図８に示されるように、画像処理装置３は、受信部１１と、画像処理部３２と、画像出力部１３と、記憶部１４とを有する。画像処理部３２は、画像選択部３２１と、射影変換部３２２と、補完画像生成部３２３と、画像重畳部３２４とを有する。
実施の形態１では、第２の画像３２ａ及び３２ｂの合成射影変換画像１２２ａを用いて補完画像１２３ａを生成したが、実施の形態３では、第２の画像３２ａ及び３２ｂの一方を選択し、選択された第２の画像を射影変換して得られた選択画像３２１ａを用いて補完画像３２３ａを生成する。この点以外に関しては、実施の形態３は、実施の形態１と同じである。
図９は、実施の形態３に係る画像処理装置３の動作例を示すフローチャートである。先ず、ステップＳ３２０において、画像処理装置３の受信部１１は、第１の画像３１と第２の画像３２ａ及び３２ｂとを受信する。
次のステップＳ３２１において、画像処理部３２の画像選択部３２１は、第２の画像３２ａ及び３２ｂから、第１のカメラ２１の光軸４１の方向に、より近い方向の光軸４２ａ又は４２ｂを持つ第２のカメラ２２ａ又は２２ｂで撮影された第２の画像である選択画像（第３の画像）３２１ａを選択する。
次のステップＳ３２２において、画像処理部３２の射影変換部３２２は、選択画像３２１ａを射影変換することによって予め決められた位置から見た射影変換画像（第４の画像）３２２ａを生成する。
次のステップＳ３２３において、画像処理部３２の補完画像生成部３２３は、射影変換画像３２２ａにおけるマスク領域５１に対応する領域の画像を抽出することによって補完画像３２３ａを生成する。
次のステップＳ３２４において、画像処理部３２の画像重畳部３２４は、第１の画像３１におけるマスク領域５１に補完画像３２３ａを重畳することによって合成表示画像３２４ａを生成する。
画像出力部１３は、画像処理部３２で生成された合成表示画像３２４ａをそのまま又は信号形式を変換して表示装置１００に出力する。表示装置１００は、死角領域の画像を含む表示画像をスクリーンに表示する。
以上に説明したように、実施の形態３に係る画像処理装置３及び監視システムによれば、表示装置１００の１つのスクリーンに、死角領域６０が補完画像で置き換えられた合成表示画像を表示させることができる。したがって、死角領域の画像を別のスクリーンに表示する場合に比べ、撮影領域の状況を容易且つ正確に把握することができる。
また、実施の形態３では、第２の画像３２ａ及び３２ｂを合成していないので、データ処理の負荷を軽減することができる。
《４》実施の形態４．
図１０は、実施の形態４に係る画像処理装置４を概略的に示す機能ブロック図である。図１０において、図１に示される構成要素と同一又は対応する構成要素には、図１に示される符号と同じ符号が付される。図１０に示されるように、監視システムは、１つ以上の第１のカメラ２１と、複数の第２のカメラ２２ａ及び２２ｂと、画像処理装置４と、表示装置１００とを有する。画像処理装置４は、受信部１１と、画像処理部４２と、画像出力部１３と、カメラパラメータ情報と参照画像情報を記憶する記憶部１４とを有する。参照画像情報が示す参照画像は、過去に第２のカメラ２２ａ及び２２ｂで撮影された第２の画像に基づく画像である。物体５０（後述の図１１に示される）が移動する場合、参照画像には物体５０が存在しないときの情報が含まれる。また、画像処理部４２は、画像分割部４２１と、画像生成部４２２と、射影変換部４２３と、変換画像合成部４２４と、補完画像生成部４２５と、画像重畳部４２６とを有する。
実施の形態４では、第２の画像３２ａ及び３２ｂの各々を物体５０を示す前景画像部分４２１ａと、前景画像部分４２１ａ以外の背景画像部分４２１ｂとに分割し、前景画像部分を予め記憶されている参照画像の一部で置き換える処理を行う点が、実施の形態１と相違する。
図１１は、実施の形態４に係る画像処理装置４及び監視システムの動作を示す説明図である。図１１において、図２に示される構成要素と同一又は対応する構成要素には、図２に示される符号と同じ符号が付される。図１１の例では、表示装置１００は、参照画像に基づいて作成された死角領域画像４３０ａを含む表示画像４３０を表示する。
図１２は、実施の形態４に係る画像処理装置４の動作例を示すフローチャートである。先ず、ステップＳ４２０において、画像処理装置４の受信部１１は、第１の画像３１と第２の画像３２ａ及び３２ｂとを受信する。
次のステップＳ４２１において、画像処理部４２の画像分割部４２１は、第２の画像３２ａ及び３２ｂの各々を、物体５０が占める前景画像部分４２１ａと前景画像部分４２１ａ以外の背景画像部分４２１ｂとに分割する。前景画像部分である物体５０の抽出は、例えば、グラフカットと呼ばれる画像の領域抽出のための画像セグメンテ−ション技術を用いて行われる。グラフカットを用いることによって、第２の画像の各々を背景画像部分４２１ｂと前景画像部分４２１ａとに分割することができる。なお、前景画像部分４２１ａの抽出には、ディープラーニングを用いたセマンティックセグメンテーションなどのような他の方法を用いてもよい。
次のステップＳ４２２において、画像処理部４２の画像生成部４２２は、前景画像部分４２１ａを参照画像の一部の画像部分で置き換えることによって第２の画像３２ａ及び３２ｂから複数の変更済み画像（第３の画像）４２２ａ，…を生成する。
次のステップＳ４２３において、画像処理部４２の射影変換部４２３は、複数の変更済み画像４２２ａ，…の各々を射影変換することによって予め決められた位置から見た複数の射影変換画像（第４の画像）４２３ａ，…を生成する。予め決められた位置は、例えば、第１のカメラ２１の位置、望ましくは、第１のカメラ２１の光軸上の位置である。
次のステップＳ４２４において、画像処理部４２の変換画像合成部４２４は、複数の射影変換画像４２３ａ，…を合成することによって合成射影変換画像（第５の画像）４２４ａを生成する。
次のステップＳ４２５において、画像処理部４２の補完画像生成部４２５は、合成射影変換画像４２４ａにおけるマスク領域に対応する領域の画像を抽出することによって補完画像４２５ａを生成する。
次のステップＳ４２６において、画像処理部４２の画像重畳部４２６は、第１の画像３１におけるマスク領域５１に補完画像４２５ａを重畳することによって合成表示画像４２６ａを生成する。重畳は、各画像の透過度を考慮したブレンド処理であってもよい。
画像出力部１３は、画像処理部４２で生成された合成表示画像４２６ａをそのまま又は信号形式を変換して表示装置１００に出力する。表示装置１００は、スクリーンに、マスク領域５１内が補完画像４２５ａに基づく死角領域画像（図１１における４３０ａ）に置き換えられた表示画像（図１１における４３０）を表示する。
図１３は、実施の形態４に係る画像処理装置４の他の動作例を示すフローチャートである。図１３において、図１２に示される処理ステップと同じ又は対応する処理ステップには、図１２に示される符号と同じ符号が付される。図１３の動作例では、ステップＳ４２０ａにおいて、受信部１１が、複数の第１の画像３１，…を受信する点が図１２の動作例と相違する。
図１３の動作例では、ステップＳ４２５ａにおいて、補完画像生成部４２５は、複数の第１の画像３１，…の各々のマスク領域５１について、補完画像４２３ａ，…を生成する。また、ステップＳ４２６ａにおいて、画像重畳部４２６は、複数の第１の画像３１のマスク領域５１，…に補完画像４２５ａ，…を重畳する。
図１３の動作例では、ステップＳ４２８において、画像重畳部４２６は、重畳処理後の複数の第１の画像３１，…を繋ぎ合わせて合成して、合成表示画像４２６ａを生成する。
図１４は、実施の形態４に係る画像処理装置４の他の動作例を示すフローチャートである。図１４において、図１２又は図１３に示される処理ステップと同じ又は対応する処理ステップには、図１２又は図１３に示される符号と同じ符号が付される。図１４の動作例では、ステップＳ４２０ａにおいて、受信部１１が、複数の第１の画像３１，…を受信する点が図１２の動作例と相違する。
図１４の動作例では、ステップＳ４２５ｂにおいて、補完画像生成部４２５は、複数の第１の画像３１，…の合成画像のマスク領域５１について、補完画像４２５ａを生成する。ステップＳ４２８ａにおいて、画像重畳部４２６は、重畳処理後の複数の第１の画像３１，…を繋ぎ合わせて合成して、合成画像を生成する。
図１４の動作例では、次のステップＳ４２６ｂにおいて、画像重畳部４２６は、合成画像のマスク領域に補完画像４２５ａを重畳することで合成表示画像４２６ａを生成する。
以上に説明したように、実施の形態４に係る画像処理装置４及び監視システムによれば、表示装置１００の１つのスクリーンに、死角領域画像４３０ａを含む表示画像４３０が表示される。したがって、死角領域画像４３０ａを別のスクリーンに表示する場合に比べ、撮影領域の状況を容易且つ正確に把握することができる。
また、実施の形態４では、予め記憶されている参照画像を用いて第２の画像を修正しているので、データ処理の負荷を増加させることなく、合成表示画像の品質を高めることができる。
《５》実施の形態５．
図１５は、実施の形態５に係る画像処理装置５及び監視システムを概略的に示す機能ブロック図である。図１５において、図１０に示される構成要素と同一又は対応する構成要素には、図１０に示される符号と同じ符号が付される。図１５に示されるように、画像処理装置５は、受信部１１と、画像処理部５２と、画像出力部１３と、記憶部１４とを有する。画像処理部５２は、画像分割部５２１と、画像生成部５２２と、射影変換部５２３と、画像選択部５２４と、補完画像生成部５２５と、画像重畳部５２６とを有する。
実施の形態４では、第２の画像３２ａ及び３２ｂの合成射影変換画像４２４ａを用いて補完画像４２５ａを生成したが、実施の形態５では、第２の画像３２ａ及び３２ｂの一方を選択し、選択された第２の画像である選択画像５２４ａを用いて補完画像５２５ａを生成する。この点以外に関しては、実施の形態５は、実施の形態４と同じである。
図１６は、実施の形態５に係る画像処理装置５の動作例を示すフローチャートである。先ず、ステップＳ５２０において、画像処理装置５の受信部１１は、第１の画像３１と第２の画像３２ａ及び３２ｂとを受信する。
次のステップＳ５２１において、画像処理部５２の画像分割部５２１は、第２の画像３２ａ及び３２ｂの各々を、物体５０が占める前景画像部分５２１ａと前景画像部分５２１ａ以外の背景画像部分５２１ｂとに分割する。
次のステップＳ５２２において、画像処理部５２の画像生成部５２２は、前景画像部分５２１ａを参照画像の一部の画像に置き換えることによって複数の変更済み画像（第３の画像）５２２ａ，…を生成する。
次のステップＳ５２３において、画像処理部５２の射影変換部５２３は、複数の変更済み画像５２２ａ，…の各々を射影変換することによって予め決められた位置から見た複数の射影変換画像（第４の画像）５２３ａ，…を生成する。
次のステップＳ５２４において、画像処理部５２の画像選択部５２４は、複数の射影変換画像５２３ａ，…から、複数の射影変換画像５２３ａ，…の一部の領域をマスク領域に配置した場合にマスク領域の境界の画素のエネルギーが最小となる一部の領域を提供できる選択画像（第５の画像）５２４ａを選択する。
次のステップＳ５２５において、画像処理部５２の補完画像生成部５２５は、選択画像５２４ａにおけるマスク領域５１に対応する領域の画像を抽出することによって補完画像５２５ａを生成する。
次のステップＳ５２６において、画像処理部５２の画像重畳部５２６は、第１の画像３１におけるマスク領域５１に補完画像５２５ａを重畳することによって合成表示画像５２６ａを生成する。
画像出力部１３は、画像処理部５２で生成された合成表示画像５２６ａをそのまま又は信号形式を変換して表示装置１００に出力する。表示装置１００は、死角領域の画像を含む表示画像をスクリーンに表示する。
以上に説明したように、実施の形態５に係る画像処理装置５及び監視システムによれば、表示装置１００の１つのスクリーンに、死角領域６０が補完画像で置き換えられた合成表示画像を表示させることができる。したがって、死角領域の画像を別のスクリーンに表示する場合に比べ、撮影領域の状況を容易且つ正確に把握することができる。
また、実施の形態５では、予め記憶されている参照画像を用いて第２の画像を修正しているので、データ処理の負荷を増加させることなく、合成表示画像の品質を高めることができる。
《６》実施の形態６．
図１７は、実施の形態６に係る画像処理装置６及び監視システムを概略的に示す機能ブロック図である。図１７において、図１０又は図１５に示される構成要素と同一又は対応する構成要素には、図１０又は図１５に示される符号と同じ符号が付される。図１７に示されるように、画像処理装置６は、受信部１１と、画像処理部６２と、画像出力部１３と、記憶部１４とを有する。画像処理部６２は、画像分割部６２１と、画像生成部６２２と、画像選択部６２３と、射影変換部６２４と、補完画像生成部６２５と、画像重畳部６２６とを有する。
実施の形態４では、第２の画像３２ａ及び３２ｂの合成射影変換画像４２４ａを用いて補完画像４２５ａを生成したが、実施の形態６では、第２の画像３２ａ及び３２ｂの一方を選択し、選択された選択画像６２３ａを用いて補完画像６２５ａを生成する。この点以外に関して、実施の形態６は、実施の形態４と同じである。
図１８は、実施の形態６に係る画像処理装置６の動作例を示すフローチャートである。先ず、ステップＳ６２０において、画像処理装置６の受信部１１は、第１の画像３１と第２の画像３２ａ及び３２ｂとを受信する。
次のステップＳ６２１において、画像処理部６２の画像分割部６２１は、第２の画像３２ａ及び３２ｂの各々を、物体５０が占める前景画像部分６２１ａと前景画像部分６２１ａ以外の背景画像部分６２１ｂとに分割する。
次のステップＳ６２２において、画像処理部６２の画像生成部６２２は、前景画像部分６２１ａを参照画像の一部の画像に置き換えることによって第２の画像３２ａ及び３２ｂから複数の変更済み画像（第３の画像）６２２ａ，…を生成する。
次のステップＳ６２３において、画像処理部６２の画像選択部６２３は、複数の変更済み画像６２２ａ，…から、第１のカメラ２１の光軸４１の方向に、より近い方向の光軸４２ａ又は４２ｂを持つ第２のカメラ２２ａ又は２２ｂで撮影された選択画像（第４の画像）６２３ａを選択する。
次のステップＳ６２４において、画像処理部６２の射影変換部６２４は、選択画像６２３ａを射影変換することによって予め決められた位置から見た射影変換画像（第５の画像）６２４ａを生成する。
次のステップＳ６２５において、画像処理部６２の補完画像生成部６２５は、射影変換画像（第５の画像）６２４ａにおけるマスク領域に対応する領域の画像を抽出することによって補完画像６２５ａを生成する。
次のステップＳ６２６において、画像処理部６２の画像重畳部６２６は、第１の画像３１におけるマスク領域５１に補完画像６２５ａを重畳することによって合成表示画像６２６ａを生成する。
画像出力部１３は、画像処理部１２で生成された合成表示画像６２６ａをそのまま又は信号形式を変換して表示装置１００に出力する。表示装置１００は、死角領域の画像を含む表示画像をスクリーンに表示する。
以上に説明したように、実施の形態６に係る画像処理装置６及び監視システムによれば、表示装置１００の１つのスクリーンに、死角領域６０が補完画像で置き換えられた合成表示画像を表示させることができる。したがって、死角領域の画像を別のスクリーンに表示する場合に比べ、撮影領域の状況を容易且つ正確に把握することができる。
また、実施の形態６では、予め記憶されている参照画像を用いて第２の画像を修正しているので、データ処理の負荷を増加させることなく、合成表示画像の品質を高めることができる。
《７》実施の形態７．
図１９は、実施の形態７に係る画像処理装置７を概略的に示す機能ブロック図である。図１９において、図１に示される構成要素と同一又は対応する構成要素には、図１に示される符号と同じ符号が付される。図１９に示されるように、監視システムは、１つ以上の第１のカメラ２１と、複数の第２のカメラ２２ａ及び２２ｂと、画像処理装置７と、表示装置１００とを有する。画像処理装置７は、受信部１１と、画像処理部７２と、画像出力部１３と、カメラパラメータ情報と３次元（「３Ｄ」とも記す）仮想物体モデルの候補とを記憶する記憶部１４とを有する。３Ｄ仮想物体モデルは、予め実在する物体に似た形状の画像データである。物体とは、例えば、人物、車両、動物、設備機器などである。画像処理部７２は、画像分割部７２１と、画像生成部７２２と、射影変換部７２３と、変換画像合成部７２４と、補完画像生成部７２５と、画像重畳部７２６とを有する。
実施の形態７では、第２の画像３２ａ及び３２ｂの各々を物体を示す前景画像部分７２１ａと、前景画像部分７２１ａ以外の背景画像部分７２１ｂとに分割し、前景画像部分を予め記憶されている３Ｄ仮想物体モデルで置き換える処理を行う点が、実施の形態１と相違する。他の点に関しては、実施の形態７は、実施の形態１と同じである。３Ｄ仮想物体モデルは、第２のカメラの前景画像の画像を３Ｄ仮想物体モデルにテクスチャマッピングしたものであってもよい。このようにすることで、物体の位置姿勢だけでなく、物体表面の状況まで把握することが可能になる。
図２０は、実施の形態７に係る画像処理装置７及び監視システムの動作を示す説明図である。図２０において、図２又は図１１に示される構成要素と同一又は対応する構成要素には、図２又は図１１に示される符号と同じ符号が付される。図２０の例では、表示装置１００は、３Ｄ仮想物体モデルに基づいて作成された死角領域画像５３０ａを含む表示画像５３０を表示する。
図２１は、実施の形態７に係る画像処理装置７の動作例を示すフローチャートである。先ず、ステップＳ７２０において、画像処理装置４の受信部１１は、第１の画像３１と第２の画像３２ａ及び３２ｂとを受信する。
次のステップＳ７２１において、画像処理部７２の画像分割部７２１は、第２の画像３２ａ及び３２ｂの各々を、物体５０が占める前景画像部分７２１ａと前景画像部分７２１ａ以外の背景画像部分７２１ｂとに分割する。
次のステップＳ７２２において、画像処理部７２の画像生成部７２２は、前景画像部分７２１ａを３Ｄ仮想物体モデルで置き換えることによって第２の画像３２ａ及び３２ｂから複数の変更済み画像（第３の画像）７２２ａ，…を生成する。３Ｄ仮想物体モデルは、適切なスケールと位置及び姿勢で配置される。
次のステップＳ７２３において、画像処理部７２の射影変換部７２３は、複数の変更済み画像７２２ａ，…の各々を射影変換することによって予め決められた位置から見た複数の射影変換画像（第４の画像）７２３ａ，…を生成する。予め決められた位置は、例えば、第１のカメラ２１の位置、望ましくは、第１のカメラ２１の光軸上の位置である。
次のステップＳ７２４において、画像処理部７２の変換画像合成部７２４は、複数の射影変換画像７２３ａ，…を合成することによって合成射影変換画像（第５の画像）７２４ａを生成する。
次のステップＳ７２５において、画像処理部７２の補完画像生成部７２５は、合成射影変換画像７２４ａにおけるマスク領域に対応する領域の画像を抽出することによって補完画像７２５ａを生成する。
次のステップＳ７２６において、画像処理部７２の画像重畳部７２４は、第１の画像３１におけるマスク領域５１に補完画像７２５ａを重畳することによって合成表示画像７２６ａを生成する。重畳は、各画像の透過度を考慮したブレンド処理であってもよい。
画像出力部１３は、合成表示画像７２６ａを表示装置１００に出力する。表示装置１００は、スクリーンに、マスク領域５１内が補完画像７２５ａに基づく死角領域画像（図２０における５３０ａ）に置き換えられた表示画像（図２０における５３０）を表示する。
以上に説明したように、実施の形態７に係る画像処理装置７及び監視システムによれば、表示装置１００の１つのスクリーンに、死角領域６０が補完画像で置き換えられた合成表示画像を表示させることができる。したがって、死角領域画像５３０ａを別のスクリーンに表示する場合に比べ、撮影領域の状況を容易且つ正確に把握することができる。
また、実施の形態７では、予め記憶されている３Ｄ仮想物体モデルを用いて第２の画像を修正しているので、データ処理の負荷を増加させることなく、合成表示画像の品質を高めることができる。また、第２のカメラの撮影画像内に占める第２のカメラの前景画像の割合が大きい場合には、射影変換された前景画像の歪が目立つので、本実施の形態の方法が効果的である。
《８》実施の形態８．
図２２は、実施の形態８に係る画像処理装置８及び監視システムを概略的に示す機能ブロック図である。図２２において、図１９に示される構成要素と同一又は対応する構成要素には、図１９に示される符号と同じ符号が付される。図２２に示されるように、画像処理装置８は、受信部１１と、画像処理部８２と、画像出力部１３と、記憶部１４とを有する。画像処理部８２は、画像分割部８２１と、画像生成部８２２と、射影変換部８２３と、画像選択部８２４と、補完画像生成部８２５と、画像重畳部８２６とを有する。
実施の形態７では、第２の画像３２ａ及び３２ｂの合成射影変換画像７２４ａを用いて補完画像７２５ａを生成したが、実施の形態８では、第２の画像３２ａ及び３２ｂの一方を選択し、選択画像８２４ａを用いて補完画像８２５ａを生成する。この点以外に関しては、実施の形態８は、実施の形態７と同じである。
図２３は、実施の形態８に係る画像処理装置８の動作例を示すフローチャートである。先ず、ステップＳ８２０において、画像処理装置８の受信部１１は、第１の画像３１と第２の画像３２ａ及び３２ｂとを受信する。
次のステップＳ８２１において、画像処理部８２の画像分割部８２１は、第２の画像３２ａ及び３２ｂの各々を、物体５０が占める前景画像部分８２１ａと前景画像部分８２１ａ以外の背景画像部分８２１ｂとに分割する。
次のステップＳ８２２において、画像処理部８２の画像生成部８２２は、前景画像部分８２１ａを３Ｄ仮想物体モデルの画像に置き換えることによって複数の変更済み画像（第３の画像）８２２ａ，…を生成する。
次のステップＳ８２３において、画像処理部８２の射影変換部８２３は、複数の変更済み８２２ａ，…の各々を射影変換することによって予め決められた位置から見た複数の射影変換画像（第４の画像）８２３ａ，…を生成する。
次のステップＳ８２４において、画像処理部８２の画像選択部８２４は、複数の射影変換画像８２３ａ，…から、複数の射影変換画像８２３ａ，…の一部の領域をマスク領域に配置した場合にマスク領域の境界の画素のエネルギーが最小となる一部の領域を提供できる選択画像（第５の画像）８２４ａを選択する。
次のステップＳ８２５において、画像処理部８２の補完画像生成部８２５は、選択画像８２４ａにおけるマスク領域に対応する領域の画像を抽出することによって補完画像８２５ａを生成する。
次のステップＳ８２６において、画像処理部８２の画像重畳部８２６は、第１の画像３１におけるマスク領域５１に補完画像８２５ａを重畳することによって合成表示画像８２６ａを生成する。
画像出力部１３は、画像処理部１２で生成された合成表示画像８２６ａをそのまま又は信号形式を変換して表示装置１００に出力する。表示装置１００は、死角領域の画像を含む表示画像をスクリーンに表示する。
以上に説明したように、実施の形態８に係る画像処理装置８及び監視システムによれば、表示装置１００の１つのスクリーンに、死角領域６０が補完画像で置き換えられた合成表示画像を表示させることができる。したがって、死角領域の画像を別のスクリーンに表示する場合に比べ、撮影領域の状況を容易且つ正確に把握することができる。
また、実施の形態８では、予め記憶されている３Ｄ仮想物体モデルの画像を用いて第２の画像を修正しているので、データ処理の負荷を増加させることなく、合成表示画像の品質を高めることができる。
《９》実施の形態９．
図２４は、実施の形態９に係る画像処理装置９及び監視システムを概略的に示す機能ブロック図である。図２４において、図１９又は図２２に示される構成要素と同一又は対応する構成要素には、図１９又は図２２に示される符号と同じ符号が付される。図２４に示されるように、画像処理装置９は、受信部１１と、画像処理部９２と、画像出力部１３と、記憶部１４とを有する。画像処理部９２は、画像分割部９２１と、画像生成部９２２と、画像選択部９２３と、射影変換部９２４と、補完画像生成部９２５と、画像重畳部９２６とを有する。
実施の形態７では、第２の画像３２ａ及び３２ｂの合成射影変換画像７２４ａを用いて補完画像７２５ａを生成したが、実施の形態９では、第２の画像３２ａ及び３２ｂの一方を選択し、選択された第２の画像である選択画像９２３ａを用いて補完画像９２５ａを生成する。この点以外に関して、実施の形態９は、実施の形態７と同じである。
図２４は、実施の形態９に係る画像処理装置９の動作例を示すフローチャートである。先ず、ステップＳ９２０において、画像処理装置９の受信部１１は、第１の画像３１と第２の画像３２ａ及び３２ｂとを受信する。
次のステップＳ９２１において、画像処理部９２の画像分割部９２１は、第２の画像３２ａ及び３２ｂの各々を、物体５０が占める前景画像部分９２１ａと前景画像部分９２１ａ以外の背景画像部分９２１ｂとに分割する。
次のステップＳ９２２において、画像処理部９２の画像生成部９２２は、前景画像部分９２１ａを３Ｄ仮想物体モデルの画像に置き換えることによって第２の画像３２ａ及び３２ｂから複数の変更済み画像（第３の画像）９２２ａ，…を生成する。
次のステップＳ９２３において、画像処理部９２の画像選択部９２３は、複数の変更済み画像９２２ａ，…から、第１のカメラ２１の光軸４１の方向に、より近い方向の光軸４２ａ又は４２ｂを持つ第２のカメラ２２ａ又は２２ｂで撮影された選択画像（第４の画像）９２３ａを選択する。
次のステップＳ９２４において、画像処理部９２の射影変換部９２４は、選択画像９２３ａを射影変換することによって予め決められた位置から見た射影変換画像（第５の画像）９２４ａを生成する。
次のステップＳ９２５において、画像処理部９２の補完画像生成部９２５は、射影変換画像（第５の画像）９２４ａにおけるマスク領域に対応する領域の画像を抽出することによって補完画像９２５ａを生成する。
次のステップＳ９２６において、画像処理部９２の画像重畳部９２６は、第１の画像３１におけるマスク領域５１に補完画像９２５ａを重畳することによって合成表示画像９２６ａを生成する。
画像出力部１３は、画像処理部１２で生成された合成表示画像９２６ａをそのまま又は信号形式を変換して表示装置１００に出力する。表示装置１００は、死角領域画像を含む表示画像をスクリーンに表示する。
以上に説明したように、実施の形態９に係る画像処理装置９及び監視システムによれば、表示装置１００の１つのスクリーンに、死角領域６０が補完画像で置き換えられた合成表示画像を表示させることができる。したがって、死角領域の画像を別のスクリーンに表示する場合に比べ、撮影領域の状況を容易且つ正確に把握することができる。
また、実施の形態９では、予め記憶されている参照画像を用いて第２の画像を修正しているので、データ処理の負荷を増加させることなく、合成表示画像の品質を高めることができる。
《１０》変形例．
図２６は、実施の形態１から９に係る監視システムのハードウェア構成の例を示す図である。図２６の例では、画像処理装置１と、画像処理装置１にネットワーク２００を介して接続される第１のカメラ２１並びに第２のカメラ２２ａ及び２２ｂと、物体の位置を検出するセンサ２３と、表示装置１００とを有する。
画像処理装置１は、メインプロセッサ１１１、メインメモリ１１２、補助メモリ１１３、画像処理プロセッサ１１４、画像処理メモリ１１５、入力インタフェース１１８、ファイルインタフェース１１７、表示インタフェース１１９、及び画像入力インタフェース１１６を有する。画像処理プロセッサ１１４は、例えば、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの並列演算装置である。補助メモリ１１３には、事前のキャリブレーション処理によって算出したカメラパラメータ情報（レンズ歪補正マップなどを含む）が保存されている。メインプロセッサ１１１は、ファイルインタフェース１１７を通じて、メインメモリ１１２に記憶されている情報を読み込む。３Ｄ仮想物体モデルの画像データ及びテクスチャのデータは、補助メモリ１１３に保存される。
入力インタフェース１１８は、マウス入力及び、キーボード入力、タッチパネル入力などのデバイス入力を受け付け、入力結果をメインメモリ１１２に提供する。画像処理メモリ１１５には、メインメモリ１１２から転送された入力画像、及び画像処理プロセッサ１１４で作成された合成画像を記憶する。表示インタフェース１１９は、合成表示画像をＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ケーブルなどを用いて接続された表示装置１００に出力する。画像入力インタフェース１１６は、第１のカメラ２１，…及び第２のカメラ２２ａ、２２ｂ，…の画像入力を受け付け、入力画像をメインメモリ１１２に記憶させる。第１のカメラ２１，…及び第２のカメラ２２ａ、２２ｂ，…は、例えば、ネットワークカメラ、アナログカメラ、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）カメラ、ＨＤ−ＳＤＩ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）カメラなどであってもよい。センサ２３は、例えば、レーダー又はレーザスキャナなどである。
画像処理プロセッサ１１４は、メインメモリ１１２に格納されている画像処理プログラムを実行することで、実施の形態１から９の画像処理装置１〜９の各々の画像処理部の機能を実現することができる。
１〜９ 画像処理装置、 １１ 受信部、 １２、２２、３２、４２、５２、６２、７２、８２、９２ 画像処理部、 １３ 画像出力部、 １４ 記憶部、 ２１ 第１のカメラ、 ２２ａ、２２ｂ 第２のカメラ、 ３１ 第１の画像、 ３２ａ、３２ｂ 第２の画像、 ４１、４２ａ、４２ｂ 光軸、 ５０ 物体、 ５１ マスク領域、 ６０ 死角領域、 １００ 表示装置、 １２４ａ、２２４ａ、３２４ａ、４２６ａ、５２６ａ、６２６ａ、７２６ａ、８２６ａ、９２６ａ 合成表示画像、 １３０、４３０、５３０ 表示画像、 １３０ａ、４３０ａ、５３０ａ 死角領域画像。

Claims (15)

  1. 物体が存在する領域を撮影する１つ以上の第１のカメラから提供される１つ以上の第１の画像と前記物体に隠れて前記第１のカメラの位置から見えない死角領域を含む領域を撮影する複数の第２のカメラから提供される複数の第２の画像とを受信する受信部と、
    前記複数の第２の画像から、前記１つ以上の第１の画像において前記物体に対応するマスク領域の画像である補完画像を生成し、前記１つ以上の第１の画像と前記補完画像とを合成することによって合成表示画像を生成する画像処理部と、
    を有し、
    前記画像処理部は、
    前記複数の第２の画像を射影変換することによって予め決められた位置から見た複数の第３の画像を生成する射影変換部と、
    前記複数の第３の画像から、前記複数の第３の画像の一部の領域を前記マスク領域に配置した場合に前記マスク領域の境界の画素のエネルギーが最小となる前記一部の領域を提供することができる第３の画像を選択し、選択された画像を第４の画像として出力する画像選択部と、
    前記第４の画像における前記マスク領域に対応する領域の画像を抽出することによって前記補完画像を生成する補完画像生成部と、
    を有する
    ことを特徴とする画像処理装置。
  2. 物体が存在する領域を撮影する１つ以上の第１のカメラから提供される１つ以上の第１の画像と前記物体に隠れて前記第１のカメラの位置から見えない死角領域を含む領域を撮影する複数の第２のカメラから提供される複数の第２の画像とを受信する受信部と、
    前記複数の第２の画像から、前記１つ以上の第１の画像において前記物体に対応するマスク領域の画像である補完画像を生成し、前記１つ以上の第１の画像と前記補完画像とを合成することによって合成表示画像を生成する画像処理部と、
    を有し、
    前記画像処理部は、
    前記複数の第２の画像から、前記第１のカメラの光軸の方向に、より近い方向の光軸を持つ第２のカメラで撮影された第２の画像を選択し、選択された画像を第３の画像として出力する画像選択部と、
    前記第３の画像を射影変換することによって予め決められた位置から見た第４の画像を生成する射影変換部と、
    前記第４の画像における前記マスク領域に対応する領域の画像を抽出することによって前記補完画像を生成する補完画像生成部と、
    を有する
    ことを特徴とする画像処理装置。
  3. 物体が存在する領域を撮影する１つ以上の第１のカメラから提供される１つ以上の第１の画像と前記物体に隠れて前記第１のカメラの位置から見えない死角領域を含む領域を撮影する複数の第２のカメラから提供される複数の第２の画像とを受信する受信部と、
    前記複数の第２の画像から、前記１つ以上の第１の画像において前記物体に対応するマスク領域の画像である補完画像を生成し、前記１つ以上の第１の画像と前記補完画像と、を合成することによって合成表示画像を生成する画像処理部と、
    前記複数の第２のカメラによって過去に撮影された前記複数の第２の画像である参照画像を予め記憶する記憶部と、
    を有し、
    前記画像処理部は、
    前記複数の第２の画像の各々を、前記物体が占める前景画像部分と前記前景画像部分以外の背景画像部分とに分割する画像分割部と、
    前記前景画像部分を前記参照画像の一部の画像部分で置き換えることによって前記複数の第２の画像から複数の第３の画像を生成する画像生成部と、
    前記複数の第３の画像を射影変換することによって予め決められた位置から見た複数の第４の画像を生成する射影変換部と、
    前記複数の第４の画像を合成することによって第５の画像を生成する変換画像合成部と、
    前記第５の画像における前記マスク領域に対応する領域の画像を抽出することによって前記補完画像を生成する補完画像生成部と、
    を有することを特徴とする画像処理装置。
  4. 物体が存在する領域を撮影する１つ以上の第１のカメラから提供される１つ以上の第１の画像と前記物体に隠れて前記第１のカメラの位置から見えない死角領域を含む領域を撮影する複数の第２のカメラから提供される複数の第２の画像とを受信する受信部と、
    前記複数の第２の画像から、前記１つ以上の第１の画像において前記物体に対応するマスク領域の画像である補完画像を生成し、前記１つ以上の第１の画像と前記補完画像と、を合成することによって合成表示画像を生成する画像処理部と、
    前記複数の第２のカメラによって過去に撮影された前記複数の第２の画像である参照画像を予め記憶する記憶部と、
    を有し、
    前記画像処理部は、
    前記複数の第２の画像の各々を、前記物体が占める前景画像部分と前記前景画像部分以外の背景画像部分とに分割する画像分割部と、
    前記前景画像部分を前記参照画像の一部の画像に置き換えることによって前記複数の第２の画像から複数の第３の画像を生成する画像生成部と、
    前記複数の第３の画像を射影変換することによって予め決められた位置から見た複数の第４の画像を生成する射影変換部と、
    前記複数の第４の画像から、前記複数の第４の画像の一部の領域を前記マスク領域に配置した場合に前記マスク領域の境界の画素のエネルギーが最小となる前記一部の領域を提供できる第４の画像を選択し、選択された画像を第５の画像として出力する画像選択部と、
    前記第５の画像における前記マスク領域に対応する領域の画像を抽出することによって前記補完画像を生成する補完画像生成部と、
    を有することを特徴とする画像処理装置。
  5. 物体が存在する領域を撮影する１つ以上の第１のカメラから提供される１つ以上の第１の画像と前記物体に隠れて前記第１のカメラの位置から見えない死角領域を含む領域を撮影する複数の第２のカメラから提供される複数の第２の画像とを受信する受信部と、
    前記複数の第２の画像から、前記１つ以上の第１の画像において前記物体に対応するマスク領域の画像である補完画像を生成し、前記１つ以上の第１の画像と前記補完画像と、を合成することによって合成表示画像を生成する画像処理部と、
    前記複数の第２のカメラによって過去に撮影された前記複数の第２の画像である参照画像を予め記憶する記憶部と、
    を有し、
    前記画像処理部は、
    前記複数の第２の画像の各々を、前記物体が占める前景画像部分と前記前景画像部分以外の背景画像部分とに分割する画像分割部と、
    前記前景画像部分を前記参照画像の一部の画像に置き換えることによって前記複数の第２の画像から複数の第３の画像を生成する画像生成部と、
    前記複数の第３の画像から、前記第１のカメラの光軸の方向に、より近い方向の光軸を持つ第２のカメラで撮影された第３の画像を選択し、選択された画像を第４の画像として出力する画像選択部と、
    前記第４の画像を射影変換することによって予め決められた位置から見た第５の画像を生成する射影変換部と、
    前記第５の画像における前記マスク領域に対応する領域の画像を抽出することによって前記補完画像を生成する補完画像生成部と、
    を有することを特徴とする画像処理装置。
  6. 物体が存在する領域を撮影する１つ以上の第１のカメラから提供される１つ以上の第１の画像と前記物体に隠れて前記第１のカメラの位置から見えない死角領域を含む領域を撮影する複数の第２のカメラから提供される複数の第２の画像とを受信する受信部と、
    前記複数の第２の画像から、前記１つ以上の第１の画像において前記物体に対応するマスク領域の画像である補完画像を生成し、前記１つ以上の第１の画像と前記補完画像とを合成することによって合成表示画像を生成する画像処理部と、
    ３次元仮想物体モデルの候補の画像データを予め記憶する記憶部と、
    を有し、
    前記画像処理部は、
    前記複数の第２の画像の各々を、前記物体が占める前景画像部分と前記前景画像部分以外の背景画像部分とに分割する画像分割部と、
    前記３次元仮想物体モデルの候補から前記物体に対応する３次元仮想物体モデルを選択し、前記前景画像部分を前記３次元仮想物体モデルに置き換えることによって前記複数の第２の画像から複数の第３の画像を生成する画像生成部と、
    前記複数の第３の画像を射影変換することによって予め決められた位置から見た複数の第４の画像を生成する射影変換部と、
    前記複数の第４の画像を合成することによって第５の画像を生成する変換画像合成部と、
    前記第５の画像における、前記マスク領域に対応する領域の画像を抽出することによって前記補完画像を生成する補完画像生成部と、
    を有することを特徴とする画像処理装置。
  7. 物体が存在する領域を撮影する１つ以上の第１のカメラから提供される１つ以上の第１の画像と前記物体に隠れて前記第１のカメラの位置から見えない死角領域を含む領域を撮影する複数の第２のカメラから提供される複数の第２の画像とを受信する受信部と、
    前記複数の第２の画像から、前記１つ以上の第１の画像において前記物体に対応するマスク領域の画像である補完画像を生成し、前記１つ以上の第１の画像と前記補完画像とを合成することによって合成表示画像を生成する画像処理部と、
    ３次元仮想物体モデルの候補の画像データを予め記憶する記憶部と、
    を有し、
    前記画像処理部は、
    前記複数の第２の画像の各々を、前記物体が占める前景画像部分と前記前景画像部分以外の背景画像部分とに分割する画像分割部と、
    前記３次元仮想物体モデルの候補から前記物体に対応する３次元仮想物体モデルを選択し、前記前景画像部分を前記３次元仮想物体モデルに置き換えることによって前記複数の第２の画像から複数の第３の画像を生成する画像生成部と、
    前記複数の第３の画像を射影変換することによって予め決められた位置から見た複数の第４の画像を生成する射影変換部と、
    前記複数の第４の画像から、前記複数の第４の画像の一部の領域を前記マスク領域に配置した場合に前記マスク領域の境界の画素のエネルギーが最小となる前記一部の領域を提供できる第４の画像を選択し、選択された画像を第５の画像として出力する画像選択部と、
    前記第５の画像における前記マスク領域に対応する領域の画像を抽出することによって前記補完画像を生成する補完画像生成部と、
    を有することを特徴とする画像処理装置。
  8. 物体が存在する領域を撮影する１つ以上の第１のカメラから提供される１つ以上の第１の画像と前記物体に隠れて前記第１のカメラの位置から見えない死角領域を含む領域を撮影する複数の第２のカメラから提供される複数の第２の画像とを受信する受信部と、
    前記複数の第２の画像から、前記１つ以上の第１の画像において前記物体に対応するマスク領域の画像である補完画像を生成し、前記１つ以上の第１の画像と前記補完画像とを合成することによって合成表示画像を生成する画像処理部と、
    ３次元仮想物体モデルの候補の画像データを予め記憶する記憶部と、
    を有し、
    前記画像処理部は、
    前記複数の第２の画像の各々を、前記物体が占める前景画像部分と前記前景画像部分以外の背景画像部分とに分割する画像分割部と、
    前記３次元仮想物体モデルの候補から前記物体に対応する３次元仮想物体モデルを選択し、前記前景画像部分を前記３次元仮想物体モデルに置き換えることによって前記複数の第２の画像から複数の第３の画像を生成する画像生成部と、
    前記複数の第３の画像から、前記第１のカメラの光軸の方向に、より近い方向の光軸を持つ第２のカメラで撮影された第３の画像を選択し、選択された画像を第４の画像として出力する画像選択部と、
    前記第４の画像を射影変換することによって予め決められた位置から見た第５の画像を生成する射影変換部と、
    前記第５の画像における前記マスク領域に対応する領域の画像を抽出することによって前記補完画像を生成する補完画像生成部と、
    を有することを特徴とする画像処理装置。
  9. 前記画像処理部は、前記１つ以上の第１の画像の各々における前記マスク領域に前記補完画像を重畳することによって、又は、前記１つ以上の第１の画像から生成された合成画像に前記補完画像を重畳することによって前記合成表示画像を生成する画像重畳部を有することを特徴とする請求項６から８のいずれか１項に記載の画像処理装置。
  10. 前記受信部は、前記物体を検出するセンサから出力される検出信号をさらに受信し、
    前記画像処理部は、前記検出信号に基づいて、前記記憶部に記憶されている前記３次元仮想物体モデルの候補から、前記物体に対応する前記３次元仮想物体モデルを選択する
    ことを特徴とする請求項６から９のいずれか１項に記載の画像処理装置。
  11. 前記画像処理部は、選択された前記３次元仮想物体モデルにテクスチャマッピングを施す
    ことを特徴とする請求項６から１０のいずれか１項に記載の画像処理装置。
  12. 物体が存在する領域を撮影する１つ以上の第１のカメラから提供される１つ以上の第１の画像と前記物体に隠れて前記第１のカメラの位置から見えない死角領域を含む領域を撮影する複数の第２のカメラから提供される複数の第２の画像とを受信するステップと、
    前記複数の第２の画像から、前記１つ以上の第１の画像において前記物体に対応するマスク領域の画像である補完画像を生成し、前記１つ以上の第１の画像と前記補完画像とを合成することによって合成表示画像を生成するステップと、
    を有し、
    前記合成表示画像を生成する前記ステップは、
    前記複数の第２の画像を射影変換することによって予め決められた位置から見た複数の第３の画像を生成するステップと、
    前記複数の第３の画像から、前記複数の第３の画像の一部の領域を前記マスク領域に配置した場合に前記マスク領域の境界の画素のエネルギーが最小となる前記一部の領域を提供することができる第３の画像を選択し、選択された画像を第４の画像として出力するステップと、
    前記第４の画像における前記マスク領域に対応する領域の画像を抽出することによって前記補完画像を生成するステップと、
    を有する
    ことを特徴とする画像処理方法。
  13. 物体が存在する領域を撮影する１つ以上の第１のカメラと、
    前記物体によって前記第１のカメラの位置から見えない死角領域を含む領域を撮影する複数の第２のカメラと、
    前記１つ以上の第１のカメラから提供される１つ以上の第１の画像と前記複数の第２のカメラから提供される複数の第２の画像とを受信する受信部と、
    前記複数の第２の画像から、前記１つ以上の第１の画像において前記物体に対応するマスク領域の画像である補完画像を生成し、前記１つ以上の第１の画像と前記補完画像とを合成することによって合成表示画像を生成する画像処理部と、
    前記合成表示画像に基づく画像を表示する表示装置と、
    を有し、
    前記画像処理部は、
    前記複数の第２の画像を射影変換することによって予め決められた位置から見た複数の第３の画像を生成する射影変換部と、
    前記複数の第３の画像から、前記複数の第３の画像の一部の領域を前記マスク領域に配置した場合に前記マスク領域の境界の画素のエネルギーが最小となる前記一部の領域を提供することができる第３の画像を選択し、選択された画像を第４の画像として出力する画像選択部と、
    前記第４の画像における前記マスク領域に対応する領域の画像を抽出することによって前記補完画像を生成する補完画像生成部と、
    を有することを特徴とする監視システム。
  14. 物体が存在する領域を撮影する１つ以上の第１のカメラから提供される１つ以上の第１の画像と前記物体に隠れて前記第１のカメラの位置から見えない死角領域を含む領域を撮影する複数の第２のカメラから提供される複数の第２の画像とを受信するステップと、
    前記複数の第２の画像から、前記１つ以上の第１の画像において前記物体に対応するマスク領域の画像である補完画像を生成し、前記１つ以上の第１の画像と前記補完画像とを合成することによって合成表示画像を生成するステップと、
    を有し、
    前記合成表示画像を生成する前記ステップは、
    前記複数の第２の画像から、前記第１のカメラの光軸の方向に、より近い方向の光軸を持つ第２のカメラで撮影された第２の画像を選択し、選択された画像を第３の画像として出力するステップと、
    前記第３の画像を射影変換することによって予め決められた位置から見た第４の画像を生成するステップと、
    前記第４の画像における前記マスク領域に対応する領域の画像を抽出することによって前記補完画像を生成するステップと、
    を有する
    ことを特徴とする画像処理方法。
  15. 物体が存在する領域を撮影する１つ以上の第１のカメラと、
    前記物体によって前記第１のカメラの位置から見えない死角領域を含む領域を撮影する複数の第２のカメラと、
    前記１つ以上の第１のカメラから提供される１つ以上の第１の画像と前記複数の第２のカメラから提供される複数の第２の画像とを受信する受信部と、
    前記複数の第２の画像から、前記１つ以上の第１の画像において前記物体に対応するマスク領域の画像である補完画像を生成し、前記１つ以上の第１の画像と前記補完画像とを合成することによって合成表示画像を生成する画像処理部と、
    前記合成表示画像に基づく画像を表示する表示装置と、
    を有し、
    前記画像処理部は、
    前記複数の第２の画像から、前記第１のカメラの光軸の方向に、より近い方向の光軸を持つ第２のカメラで撮影された第２の画像を選択し、選択された画像を第３の画像として出力する画像選択部と、
    前記第３の画像を射影変換することによって予め決められた位置から見た第４の画像を生成する射影変換部と、
    前記第４の画像における前記マスク領域に対応する領域の画像を抽出することによって前記補完画像を生成する補完画像生成部と、
    を有することを特徴とする監視システム。
JP2020508684A 2018-03-29 2018-03-29 画像処理装置、画像処理方法、及び監視システム Active JP6704554B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/013113 WO2019186860A1 (ja) 2018-03-29 2018-03-29 画像処理装置、画像処理方法、及び監視システム

Publications (2)

Publication Number Publication Date
JP6704554B2 true JP6704554B2 (ja) 2020-06-03
JPWO2019186860A1 JPWO2019186860A1 (ja) 2020-07-09

Family

ID=68058097

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020508684A Active JP6704554B2 (ja) 2018-03-29 2018-03-29 画像処理装置、画像処理方法、及び監視システム

Country Status (5)

Country Link
US (1) US11494934B2 (ja)
JP (1) JP6704554B2 (ja)
CA (1) CA3092565C (ja)
GB (1) GB2586389B (ja)
WO (1) WO2019186860A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7431557B2 (ja) 2019-11-08 2024-02-15 株式会社デンソーテン 画像処理装置および画像処理方法
CN112233055B (zh) * 2020-10-15 2021-09-10 北京达佳互联信息技术有限公司 视频去痕方法和视频去痕装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2960733B2 (ja) 1989-07-27 1999-10-12 株式会社日立製作所 画像表示方法及び画像表示装置並びに遠隔操作装置
JP3192875B2 (ja) * 1994-06-30 2001-07-30 キヤノン株式会社 画像合成方法および画像合成装置
US7362918B2 (en) * 2003-06-24 2008-04-22 Microsoft Corporation System and method for de-noising multiple copies of a signal
JP4552525B2 (ja) 2004-06-11 2010-09-29 株式会社エクォス・リサーチ 車両の画像処理装置
EP1862969A1 (en) * 2006-06-02 2007-12-05 Eidgenössische Technische Hochschule Zürich Method and system for generating a representation of a dynamically changing 3D scene
CA2653815C (en) * 2006-06-23 2016-10-04 Imax Corporation Methods and systems for converting 2d motion pictures for stereoscopic 3d exhibition
US8253799B2 (en) * 2007-07-27 2012-08-28 Sportvision, Inc. Detecting an object in an image using camera registration data indexed to location or camera sensors
JP2009055332A (ja) 2007-08-27 2009-03-12 Mitsubishi Electric Corp 映像合成表示装置
US8086071B2 (en) 2007-10-30 2011-12-27 Navteq North America, Llc System and method for revealing occluded objects in an image dataset
WO2011028837A2 (en) * 2009-09-01 2011-03-10 Prime Focus Vfx Services Ii Inc. System and process for transforming two-dimensional images into three-dimensional images
JP4849178B2 (ja) 2010-03-15 2012-01-11 トヨタ自動車株式会社 移動型ロボット
JP2014175706A (ja) * 2013-03-06 2014-09-22 Sumitomo Electric Ind Ltd 監視装置、監視方法および撮像部の配置方法
WO2014135910A1 (en) 2013-03-08 2014-09-12 JACQUEMET, Jean-Philippe Method of replacing objects in a video stream and computer program
WO2014145722A2 (en) 2013-03-15 2014-09-18 Digimarc Corporation Cooperative photography
KR102117273B1 (ko) 2013-03-21 2020-06-01 삼성전자주식회사 수술 로봇 시스템 및 그 제어 방법
EP2884460B1 (en) 2013-12-13 2020-01-01 Panasonic Intellectual Property Management Co., Ltd. Image capturing apparatus, monitoring system, image processing apparatus, image capturing method, and non-transitory computer readable recording medium
US10726593B2 (en) * 2015-09-22 2020-07-28 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US11184531B2 (en) * 2015-12-21 2021-11-23 Robert Bosch Gmbh Dynamic image blending for multiple-camera vehicle systems
JP2018117320A (ja) * 2017-01-20 2018-07-26 株式会社東芝 電子ミラーの映像合成装置及び映像合成方法
GB2563647B (en) * 2017-06-22 2020-03-25 Jaguar Land Rover Ltd Method of displaying an image on a display of a rearward view display system

Also Published As

Publication number Publication date
CA3092565A1 (en) 2019-10-03
GB2586389A (en) 2021-02-17
GB202015095D0 (en) 2020-11-11
CA3092565C (en) 2021-07-20
GB2586389B (en) 2022-03-30
US11494934B2 (en) 2022-11-08
WO2019186860A1 (ja) 2019-10-03
US20210056723A1 (en) 2021-02-25
JPWO2019186860A1 (ja) 2020-07-09

Similar Documents

Publication Publication Date Title
US20210337177A1 (en) Image processing apparatus, image generating method, and storage medium
US10437545B2 (en) Apparatus, system, and method for controlling display, and recording medium
JP5754312B2 (ja) 画像処理装置及び画像処理方法、並びにプログラム
US9767611B2 (en) Information processing apparatus and method for estimating depth values using an approximate plane
US20180232943A1 (en) System and method for generating a virtual viewpoint apparatus
JP2019125929A (ja) 画像処理装置、画像処理方法、及びプログラム
US9118903B2 (en) Device and method for 2D to 3D conversion
JP5755571B2 (ja) 仮想視点画像生成装置、仮想視点画像生成方法、制御プログラム、記録媒体、および立体表示装置
JP6704554B2 (ja) 画像処理装置、画像処理方法、及び監視システム
JP2013172446A (ja) 情報処理装置、端末装置、撮像装置、情報処理方法、及び撮像装置における情報提供方法
JP6137910B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP5464129B2 (ja) 画像処理装置および視差情報生成装置
JP2020187529A (ja) 画像処理装置、画像処理システム、制御方法、および、プログラム
CN106055108B (zh) 一种虚拟触摸屏的操控方法和系统
US20230056459A1 (en) Image processing device, method of generating 3d model, learning method, and program
JP6103942B2 (ja) 画像データ処理装置及び画像データ処理プログラム
US10880533B2 (en) Image generation apparatus, image generation method, and storage medium, for generating a virtual viewpoint image
KR101507536B1 (ko) 적외선을 이용한 객체 추출 및 영상 합성 시스템
US11263999B2 (en) Image processing device and control method therefor
US20210012519A1 (en) Information processing apparatus, information processing method, and storage medium
JP2022131197A (ja) 画像処理装置、画像処理方法、およびプログラム
JP2021096772A (ja) 画像処理装置、画像処理方法、システム
JP2023016500A (ja) 画像処理装置、画像処理方法、及びプログラム
KR20150114103A (ko) 3차원 리얼타임 가상입체 스튜디오 장치 및 3차원 리얼타임 가상입체 스튜디오 장치에서의 가상입체 스튜디오 영상 생성 방법
CN113587812A (zh) 显示设备、测量方法及装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200312

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200312

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200312

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200401

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200414

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200512

R150 Certificate of patent or registration of utility model

Ref document number: 6704554

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250