JP6513300B1 - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

画像処理装置、画像処理方法、及び画像処理プログラム Download PDF

Info

Publication number
JP6513300B1
JP6513300B1 JP2018540890A JP2018540890A JP6513300B1 JP 6513300 B1 JP6513300 B1 JP 6513300B1 JP 2018540890 A JP2018540890 A JP 2018540890A JP 2018540890 A JP2018540890 A JP 2018540890A JP 6513300 B1 JP6513300 B1 JP 6513300B1
Authority
JP
Japan
Prior art keywords
image
image portion
background
foreground
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018540890A
Other languages
English (en)
Other versions
JPWO2019186787A1 (ja
Inventor
司 深澤
司 深澤
浩平 岡原
浩平 岡原
古木　一朗
一朗 古木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Application granted granted Critical
Publication of JP6513300B1 publication Critical patent/JP6513300B1/ja
Publication of JPWO2019186787A1 publication Critical patent/JPWO2019186787A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)

Abstract

画像処理装置（１０）は、複数の撮像画像の各々を、実在する立体物である実在オブジェクトが占める前景画像部分とそれ以外の背景画像部分とに分割する画像分割部である立体物抽出部（１）と、参照画像部分を前景画像部分の領域に貼り付けることによって背景画像部分を補完する背景補完部（２）と、複数の補完された背景画像部分の視点位置を変更する俯瞰変換を行い、俯瞰変換された背景画像部分を合成することによって背景俯瞰合成画像を生成する背景画像合成部（３）と、実在オブジェクトの姿勢情報を取得する立体物認識部（４）と、姿勢情報を用いて実在オブジェクトに対応する３次元仮想オブジェクトを取得する立体物射影投影部（５）と、背景俯瞰合成画像に３次元仮想オブジェクトを重畳して３次元空間画像を生成する３次元空間重畳部（６）と、３次元空間画像を上から見た画像である俯瞰合成画像を生成して出力する表示画像出力部（７）とを有する。

Description

本発明は、複数の撮像画像から俯瞰合成画像を生成する画像処理装置、並びに複数の撮像画像から俯瞰合成画像を生成するために使用される画像処理方法及び画像処理プログラムに関する。
複数のカメラで得られた複数の撮像画像を視点変換して複数の俯瞰画像を生成し、複数の俯瞰画像を合成して俯瞰合成画像を生成する技術がある。特許文献１は、２つの撮像画像の共通の撮像領域を区分する境界位置と共通の撮像領域内の立体物の位置とに基づいて視点変換された２つの俯瞰画像のうちの、立体物の画像の歪みが小さい俯瞰画像を選択し、選択された俯瞰画像を用いて俯瞰合成画像を生成する技術を記載している。
特許第６２３９２０５号公報（例えば、請求項１、図３）
上記従来の技術では、立体物の画像の歪みが小さい俯瞰画像を用いて俯瞰合成画像を生成するが、立体物に歪みがあり、見る者に違和感を与える場合がある。
本発明は、上記課題を解決するためになされたものであり、見る者に違和感を与えにくい俯瞰合成画像を生成することができる画像処理装置、並びに見る者に違和感を与えにくい俯瞰合成画像を生成するために使用される画像処理方法及び画像処理プログラムを提供することを目的とする。
本発明の一態様に係る画像処理装置は、撮影対象領域を撮影する第１の撮像装置から提供される第１の撮像画像を、前記撮影対象領域内に実在する立体物である実在オブジェクトが占める第１の前景画像部分と前記第１の前景画像部分以外の第１の背景画像部分とに分割し、前記撮影対象領域を撮影する第２の撮像装置から提供される第２の撮像画像を、前記撮影対象領域内に実在する前記立体物である実在オブジェクトが占める第２の前景画像部分と前記第２の前景画像部分以外の第２の背景画像部分とに分割する画像分割部と、予め取得されている参照画像の一部である参照画像部分を前記第１の前景画像部分の領域に貼り付けることによって前記第１の背景画像部分を補完して、補完された第１の背景画像部分を生成し、前記参照画像部分を前記第２の前景画像部分の領域に貼り付けることによって前記第２の背景画像部分を補完して、補完された第２の背景画像部分を生成する背景補完部と、前記補完された第１の背景画像部分の視点位置と前記補完された第２の背景画像部分の視点位置とを変更する俯瞰変換を行い、俯瞰変換された前記第１の背景画像部分と俯瞰変換された前記第２の背景画像部分とを合成することによって背景俯瞰合成画像を生成する背景画像合成部と、前記実在オブジェクトを認識し、前記実在オブジェクトの姿勢情報を取得する立体物認識部と、前記姿勢情報を用いて、前記実在オブジェクトに対応する３次元仮想オブジェクトを取得し、前記３次元仮想オブジェクトに前記第１の前景画像部分又は前記第２の前景画像部分である前景画像部分を射影投影し、前記前景画像部分が射影投影されている前記３次元仮想オブジェクトを生成する立体物射影投影部と、前記背景俯瞰合成画像に前記前景画像部分が射影投影されている前記３次元仮想オブジェクトを重畳して３次元空間画像を生成する３次元空間重畳部と、前記３次元空間画像を上から見た画像である俯瞰合成画像を生成して出力する表示画像出力部と、を有することを特徴とする。
本発明の他の態様に係る画像処理方法は、撮影対象領域を撮影する第１の撮像装置から提供される第１の撮像画像を、前記撮影対象領域内に実在する立体物である実在オブジェクトが占める第１の前景画像部分と前記第１の前景画像部分以外の第１の背景画像部分とに分割し、前記撮影対象領域を撮影する第２の撮像装置から提供される第２の撮像画像を、前記撮影対象領域内に実在する前記立体物である実在オブジェクトが占める第２の前景画像部分と前記第２の前景画像部分以外の第２の背景画像部分とに分割するステップと、予め取得されている参照画像の一部である参照画像部分を前記第１の前景画像部分の領域に貼り付けることによって前記第１の背景画像部分を補完して、補完された第１の背景画像部分を生成し、前記参照画像部分を前記第２の前景画像部分の領域に貼り付けることによって前記第２の背景画像部分を補完して、補完された第２の背景画像部分を生成するステップと、前記補完された第１の背景画像部分の視点位置と前記補完された第２の背景画像部分の視点位置とを変更する俯瞰変換を行い、俯瞰変換された前記第１の背景画像部分と俯瞰変換された前記第２の背景画像部分とを合成することによって背景俯瞰合成画像を生成するステップと、前記実在オブジェクトを認識し、前記実在オブジェクトの姿勢情報を取得するステップと、前記姿勢情報を用いて、前記実在オブジェクトに対応する３次元仮想オブジェクトを取得し、前記３次元仮想オブジェクトに前記第１の前景画像部分又は前記第２の前景画像部分である前景画像部分を射影投影し、前記前景画像部分が射影投影されている前記３次元仮想オブジェクトを生成するステップと、前記背景俯瞰合成画像に前記前景画像部分が射影投影されている前記３次元仮想オブジェクトを重畳して３次元空間画像を生成するステップと、前記３次元空間画像を上から見た画像である俯瞰合成画像を生成して出力するステップと、を有することを特徴とする。
本発明によれば、複数の撮像画像から見る者に違和感を与えにくい俯瞰合成画像を生成することができる。
本発明の実施の形態に係る画像処理装置のハードウェア構成を示す図である。 実施の形態に係る画像処理装置を示す機能ブロック図である。 本実施の形態に係る画像処理装置と２台の撮像装置と表示機器とを含む画像処理システムの構成例を概略的に示す図である。 実施の形態に係る画像処理装置の立体物抽出部が行う処理を示すフローチャートである。 （ａ）及び（ｂ）は、立体物抽出部によって撮像画像の各々から抽出された前景画像部分、背景画像部分、及び前景画像撮影情報の例を示す説明図である。 実施の形態に係る画像処理装置の背景補完部が行う処理を示すフローチャートである。 （ａ）から（ｅ）は、背景補完部が行う処理を示す説明図である。 実施の形態に係る画像処理装置の背景画像合成部が行う処理を示すフローチャートである。 （ａ）から（ｃ）は、背景画像合成部が行う処理を示す説明図である。 実施の形態に係る画像処理装置の立体物認識部が行う処理を示すフローチャートである。 実施の形態に係る画像処理装置の立体物射影投影部が行う処理を示すフローチャートである。 立体物射影投影部が行う処理を示す説明図である。 実施の形態に係る画像処理装置の３次元空間重畳部が行う処理を示すフローチャートである。 ３次元空間重畳部が行う処理を示す説明図である。 実施の形態に係る画像処理装置の表示画像出力部が行う処理を示すフローチャートである。
以下に、本発明の実施の形態に係る画像処理装置、画像処理方法、及び画像処理プログラムを、添付図面を参照しながら説明する。以下の実施の形態は、例にすぎず、本発明の範囲内で種々の変更が可能である。
《１》構成
《１−１》ハードウェア構成
図１は、本発明の実施の形態に係る画像処理装置１０のハードウェア構成を示す図である。画像処理装置１０は、本実施の形態に係る画像処理方法を実施することができる装置である。画像処理装置１０は、例えば、コンピュータである。図１に示されるように、画像処理装置１０は、情報処理部であるプロセッサ１１と、メモリ１２と、記憶装置１３と、撮像画像データ（単に「撮像画像」とも言う）を受け取る画像入力インタフェース１４と、表示画像データを出力する表示機器インタフェース１５とを有する。メモリ１２と記憶装置１３とは、記憶部１６とも称される。
プロセッサ１１は、各種の演算処理及びハードウェアに対する各種の制御処理を行う。メモリ１２は、主記憶装置である。メモリ１２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。記憶装置１３は、補助記憶装置である。記憶装置１３は、例えば、ハードディスク装置又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）である。画像入力インタフェース１４は、複数の撮像装置から提供される複数の映像信号、すなわち、複数の撮像画像を画像処理装置１０に取り込むための装置である。表示機器インタフェース１５は、表示画像をディスプレイなどの表示機器に送信するための装置である。
図１の例では、画像処理装置１０に２台の撮像装置２０ａ及び２０ｂが接続されている。ただし、画像処理装置１０に接続される撮像装置の台数は、３台以上であってもよい。撮像装置２０ａ及び２０ｂの各々は、画像を撮影する機能を持つ。撮像装置２０ａ及び２０ｂの各々は、ＣＣＤ（Ｃｈａｒｇｅｄ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ−Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）のような撮像素子とレンズとを備えたカメラ機器（単に「カメラ」とも言う）である。撮像装置２０ａ及び２０ｂは、互いに同様の構造を持つカメラ機器であることが望ましい。撮像装置２０ａは、第１の撮像対象領域を撮像する。撮像装置２０ｂは、第２の撮像対象領域を撮像する。第１の撮像対象領域と第２の撮像対象領域とは、部分的に重複しており、共通の撮像対象領域部分を有する。
撮像装置２０ａ及び２０ｂは、画像処理装置１０の画像入力インタフェース１４と有線で接続されてもよく、又は、無線で接続されてもよい。撮像装置２０ａ及び２０ｂと画像入力インタフェース１４とは、例えば、ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）ネットワークを介して又は同軸ケーブルを介して通信する。撮像装置２０ａ及び２０ｂと画像入力インタフェース１４との間の接続方式及び通信方式は、特定の方式に限定されない。画像入力インタフェース１４は、撮像装置２０ａ及び２０ｂから提供される２つの（すなわち、２画面の）撮像画像１００ａ及び１００ｂを同時に（すなわち、並列的に）受信する機能を持つ。
撮像装置２０ａ及び２０ｂから提供される２つの撮像画像１００ａ及び１００ｂは、画像入力インタフェース１４を介して画像処理装置１０の内部に取り込まれ、メモリ１２に記憶される。画像処理装置１０に取り込まれた２つの撮像画像１００ａ及び１００ｂは、撮像対象領域の各々の上方に視点を設けた画像である２つの俯瞰画像データ（単に「俯瞰画像」とも言う）に変換され、その後、２つの俯瞰画像は合成される。俯瞰画像を生成するための変換処理は「視点変換処理」である。本実施の形態では、俯瞰画像を生成するための視点変換処理を「俯瞰変換処理」と言う。プロセッサ１１は、メモリ１２又は記憶装置１３に記憶されている画像処理プログラムを読み出して実行することで、視点変換処理及び合成処理を行う。視点変換処理及び合成処理によって生成された俯瞰合成画像データ（単に「俯瞰合成画像」とも言う）である表示画像データ（単に「表示画像」とも言う）は、表示機器インタフェース１５を介してディスプレイなどの表示機器へ送信される。
《１−２》機能構成
図２は、本実施の形態に係る画像処理装置１０を示す機能ブロック図である。画像処理装置１０は、撮像装置２０ａ及び２０ｂから撮像画像１００ａ及び１００ｂをそれぞれ受け取り、撮像対象領域における俯瞰画像から生成された俯瞰合成画像を表示画像として出力する。画像処理装置１０は、撮像画像１００ａ及び１００ｂの各々から実在する対象物である立体物（「実在オブジェクト」とも言う）を抽出することによって、撮像画像１００ａ及び１００ｂの各々を前景画像部分データ（「前景画像部分」とも言う）と背景画像部分データ（「背景画像部分」とも言う）とに分割する画像分割部としての立体物抽出部１を有する。
また、画像処理装置１０は、撮像画像１００ａ及び１００ｂの各々における立体物が抽出された領域に対して過去に取得した撮像画像１００ａ及び１００ｂ（「参照画像データ」又は「参照画像」とも言う）の背景画像部分の一部を貼りつける背景補完部２を有する。参照画像の背景画像部分は、「参照画像部分データ」又は「参照画像部分」とも称される。また、画像処理装置１０は、撮像画像１００ａの背景画像部分と撮像画像１００ｂの背景画像部分とを合成する背景画像合成部３を有する。
さらに、画像処理装置１０は、前景画像部分として抽出された立体物である実在オブジェクトを認識する立体物認識部４と、抽出された実在オブジェクトが占める前景画像部分に対応する（すなわち、立体物に対応する）選択された３次元仮想オブジェクトに射影投影する立体物射影投影部５とを有する。３次元仮想オブジェクトは、例えば、予め記憶部１６に格納されている仮想的な立体物を表示させるための３次元画像データ又は立体物に対応する大きさを持つ仮想的な立体物を表示させるように生成された３次元画像データである。
また、画像処理装置１０は、背景画像合成部３によって仮想的な３次元空間に形成された背景画像部分上に、３次元仮想オブジェクトを配置する（すなわち、重ねる）３次元空間重畳部６と、背景画像部分に３次元仮想オブジェクトを重畳することで形成された俯瞰合成画像を表示画像として出力する表示画像出力部７とを有する。
《１−３》構成例
図３は、本実施の形態に係る画像処理装置１０と２台の撮像装置２０ａ及び２０ｂと表示機器３０とを含む画像処理システムの構成例を概略的に示す図である。
立体物抽出部１は、撮像画像１００ａ及び１００ｂの各々から実在する立体物である実在オブジェクト４０を検出し、撮像画像における実在オブジェクト４０に対応する部分である前景画像部分を抽出することによって、撮像画像１００ａ及び１００ｂの各々を前景画像部分と背景画像部分とに分割する。実在オブジェクト４０は、例えば、人物、車両、生産物などである。立体物抽出部１は、実在オブジェクト４０を検出し、検出された実在オブジェクト４０を前景画像部分とし、前景画像部分以外の部分を背景画像部分とすることによって、撮像画像１００ａ及び１００ｂの各々を前景画像部分と背景画像部分とに分割する。撮像画像１００ａの背景画像部分は、撮像画像１００ａから立体物である実在オブジェクト４０の領域を抜いた画像部分である。撮像画像１００ｂの背景画像部分は、撮像画像１００ｂから立体物である実在オブジェクト４０の領域を抜いた画像部分である。立体物抽出部１が行う処理は、後述の図４、図５（ａ）及び（ｂ）を用いて詳述される。
背景補完部２は、過去の撮像画像（例えば、同じ撮像装置によって撮影された画像）として記憶部１６に記憶されている参照画像から、実在オブジェクト４０の領域である前景画像部分を抜き取り、抜き取られた前景画像部分の代わりに参照画像の一部である参照画像部分を貼り付けることによって、前景画像部分が欠落している背景画像部分を補完する。これにより、実在オブジェクト４０の領域を参照画像の一部によって補完した（すなわち、不足箇所の画像データを参照画像部分データで補った）背景画像部分が生成される。背景補完部２が行う処理は、後述の図６、図７（ａ）から（ｅ）を用いて詳述される。
背景画像合成部３は、背景補完部２で補完された２つの背景画像部分から、背景俯瞰合成画像３０２を生成する。背景俯瞰合成画像３０２を生成するためには、事前に撮像装置２０ａ及び２０ｂの各々のキャリブレーションが行われており、撮像装置２０ａ及び２０ｂの各々の内部パラメータと外部パラメータと画像処理装置１０によって取得されていることが前提になる。内部パラメータは、撮像装置２０ａ及び２０ｂの各々の焦点距離、光軸中心の位置及び方向などを示す情報を含む。外部パラメータは、撮像装置２０ａ及び２０ｂの各々の位置と姿勢であるカメラ位置姿勢を示す情報であり、撮像対象となる空間における設置位置（設置座標）情報と設置姿勢情報（例えば、ヨー、ロール、ピッチ情報）などを含む。背景画像合成部３は、背景補完部２で補完された２つの背景画像部分と、２つの背景画像部分と俯瞰合成画像との対応関係を示すピクセルデータからなる参照テーブルとを用いて俯瞰変換処理と合成処理とを行う。背景画像合成部３が行う処理は、後述の図８、図９（ａ）から（ｃ）を用いて詳述される。
立体物認識部４は、先ず、撮像画像１００ａから抽出された前景画像部分と撮像画像１００ｂから抽出された前景画像部分とから、立体物である実在オブジェクト４０の認識を行う。実在オブジェクト４０は、例えば、人物、車両、生産物などである。ただし、実在オブジェクト４０は人物、車両、生産物に限定されない。次に、立体物認識部４は、撮像画像１００ａから抽出された前景画像部分と撮像画像１００ｂから抽出された前景画像部分とから、実在オブジェクト４０の姿勢情報を取得して、実在オブジェクト４０の識別情報である実在オブジェクトＩＤ（識別子）、実在オブジェクト４０の種類を示す実在オブジェクト種別、実在オブジェクト４０の姿勢情報を記憶部１６（例えば、メモリ１２）に記憶させる。実在オブジェクト４０の姿勢情報は、例えば、撮像画像１００ａから抽出された前景画像部分及び撮像画像１００ｂから抽出された前景画像部分である２次元座標のピクセルデータを、３次元座標のピクセルデータに変換する際に使用されるテーブルである。実在オブジェクト４０の姿勢情報は、前景画像部分における画像解析により求めてもよいし、撮像装置２０ａ及び２０ｂとは別の装置であるセンサーを用いて取得してもよい。実在オブジェクト４０の姿勢情報の取得方法は、特定のものに限定されない。立体物認識部４が行う処理は、後述の図１０を用いて詳述される。
立体物射影投影部５は、立体物認識部４で認識された実在オブジェクト４０に対応する３次元仮想オブジェクト４００を取得する。３次元仮想オブジェクト４００は、予め記憶部１６に記憶されている複数の３次元仮想オブジェクトの中から、実在オブジェクト４０に応じて選択されたものであってもよいし、姿勢情報を用いて生成されたものであってもよい。例えば、実在オブジェクト４０が人物である場合には、人物を示す形状の３次元仮想オブジェクトが用いられる。また、実在オブジェクト４０が動物である場合には、動物を示す形状の３次元仮想オブジェクトが用いられる。次に、立体物射影投影部５は、立体物抽出部１で撮像画像１００ａから抽出された前景画像部分及び撮像画像１００ｂから抽出された前景画像部分に対応する３次元仮想オブジェクトに対して射影投影を行うことで、射影投影された３次元仮想オブジェクト４００を生成する。具体的には、立体物射影投影部５は、背景俯瞰合成画像３０２における実在オブジェクト４０としての人物を抽出した位置に、人物を上から見た形状に対応する形状を持つ３次元仮想オブジェクト４００の画像を重畳表示させる。立体物射影投影部５が行う処理は、後述の図１１及び図１２を用いて詳述される。
３次元空間重畳部６は、例えば、ＸＹＺ直交座標系で示される３次元空間におけるＺ＝０の面に、背景画像合成部３で２つの補完された背景画像部分から生成された背景俯瞰合成画像３０２を配置し、前景画像部分の位置座標に射影投影された３次元仮想オブジェクト４００を配置する。３次元空間重畳部６が行う処理は、後述の図１３及び図１４を用いて詳述される。
表示画像出力部７は、背景俯瞰合成画像３０２上に３次元仮想オブジェクト４００が重畳された３次元空間の俯瞰合成画像を表示画像として表示機器３０に出力する。表示画像出力部７が行う処理は、後述の図１５を用いて詳述される。
《２》動作
《２−１》立体物抽出部１
図４は、画像処理装置１０の立体物抽出部１が行う処理を示すフローチャートである。図５（ａ）は、立体物抽出部１によって撮像画像１００ａから抽出された前景画像部分２００ａ及び２０１ａ、背景画像部分３００ａ、並びに前景画像撮影情報５００ａ及び５０１ａの例を示す説明図である。図５（ｂ）は、立体物抽出部１によって撮像画像１００ｂから抽出された前景画像部分２００ｂ及び２０１ｂ、背景画像部分３００ｂ、並びに前景画像撮影情報５００ｂ及び５０１ｂの例を示す説明図である。図５（ａ）及び（ｂ）には、１つの撮像画像から２つの前景画像部分と、２つの前景画像撮影情報とが抽出された例を示しているが、前景画像部分の数は２つに限定されず、前景画像撮影情報の数も２つに限定されない。
前景画像撮影情報は、例えば、実在オブジェクト４０における撮像装置２０ａ及び２０ｂに最も近い部分の位置座標、前景画像部分の解像度、実在オブジェクト４０の大きさなどを含む。実在オブジェクト４０の大きさは、例えば、実在オブジェクト４０を矩形で囲んだ（例えば、外接するように囲んだ）際の、矩形の４つの頂点の座標で表わされる。ただし、実在オブジェクト４０の大きさを表す情報は、矩形の４つの頂点の座標以外の情報指標であってもよい。
先ず、立体物抽出部１は、複数の撮像画像１００ａ及び１００ｂを取得する（ステップＳ１０）。撮像画像１００ａ及び１００ｂが圧縮符号化されている場合、立体物抽出部１は、撮像画像１００ａ及び１００ｂをデコードすることで、撮像画像１００ａ及び１００ｂに対応するＲＡＷ画像データを取得する。例えば、撮像装置２０ａ及び２０ｂから動画圧縮規格であるＨ．２６４形式で圧縮符号化された映像がストリーミング配信されている場合、立体物抽出部１は、撮像画像１００ａ及び１００ｂに対しＨ．２６４形式に対応するデコードを行うことで、ＲＧＢＡ（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ Ａｌｐｈａ）３２ビットのＲＡＷ画像データを取得する。ただし、立体物抽出部１が取得する画像データの形式は、ＲＧＢＡ３２ビットのＲＡＷ画像データに限定されない。
次に、立体物抽出部１は、取得したＲＡＷ画像データから人物、車両、生産物などのような立体物である１つ以上の実在オブジェクト４０を検出する（ステップＳ１１）。実在オブジェクト４０は、例えば、歩行する人物、走行する車両、工場の生産ラインにおける生産物などである。ただし、実在オブジェクト４０は、これらに限定されず、動物、建造物、障害物、工場設備、ロボットなどのような他の立体物であってもよい。
次に、立体物抽出部１は、ＲＡＷ画像データから、検出され実在オブジェクト４０を抽出し、ＲＡＷ画像データを、実在オブジェクト４０が撮像された領域部分である前景画像部分と、それ以外の領域部分である背景画像部分とに分割する（ステップＳ１２）。実在オブジェクト４０の抽出は、例えば、グラフカットと呼ばれる画像の領域抽出のための画像セグメンテ−ション技術を用いて行われる。立体物抽出部１は、グラフカットを用いることによって、撮像画像１００ａ及び１００ｂの各々から背景画像部分と前景画像部分とを分割することができる。ただし、実在オブジェクト４０の抽出方法は、グラフカットを用いた方法に限定されない。例えば、実在オブジェクトの抽出に、ディープラーニングを用いた学習ベースの画像セグメンテーション技術（例えば、Ｏｐｅｎ Ｐｏｓｅ）を用いてもよい。実在オブジェクト４０に関する前景画像撮影情報は、例えば、撮像画像における前景画像部分の位置座標、前景画像部分の大きさを表す値、実在オブジェクト４０を識別する識別子を含む。撮像画像１００ａ及び１００ｂから対象となる実在オブジェクト４０が、０個又は１個以上抽出される。このため、実在オブジェクト４０の検出から実在オブジェクト４０の抽出までの処理（ステップＳ１１及びＳ１２）は、処理対象の撮像画像の数と同じ回数繰り返される。
次に、立体物抽出部１は、抽出された実在オブジェクト４０に対して、実在オブジェクト４０の同定を行う（ステップＳ１３）。撮像装置２０ａの撮像対象領域と撮像装置２０ｂの撮像対象領域とが共通の撮像対象領域部分を含む場合、撮像画像１００ａ及び１００ｂは、同じ実在オブジェクト４０を撮影する場合がある。立体物抽出部１は、複数の実在オブジェクトの各々を識別するための識別子を実在オブジェクトの各々に付与する。撮像画像１００ａに含まれる実在オブジェクトと撮像画像１００ｂに含まれる実在オブジェクトとが同じ実在オブジェクトである場合、立体物抽出部１は、この実在オブジェクトに同じ識別子を付与する。例えば、立体物抽出部１は、図５（ａ）及び（ｂ）に示されるように、４枚の前景画像部分２００ａ、２０１ａ、２００ｂ及び２０１ｂを検出し、前景画像部分２０１ａと前景画像部分２０１ｂが同一であると判断した場合には、実際の実在オブジェクトの個数は３個であると判定する。立体物抽出部１は、撮像画像１００ａ及び１００ｂを入力として受け取り、背景画像部分３００ａ及び３００ｂ、前景画像部分２００ａ、２０１ａ、２００ｂ及び２０１ｂ、前景画像撮影情報５００ａ、５０１ａ、５００ｂ及び５０１ｂを出力する。
《２−２》背景補完部２
図６は、画像処理装置１０の背景補完部２が行う処理を示すフローチャートである。背景補完部２は、予め記憶部１６に記憶されている参照画像を用いて背景補完を行う（ステップＳ２０）。背景補完部２は、対象となる前景画像部分２００ａ、２０１ａ、２００ｂ及び２０１ｂに対応する前景画像撮影情報５００ａ、５０１ａ、５００ｂ及び５０１ｂを用いて、背景補完を行う。背景補完部２は、実在オブジェクト４０の前景画像部分２００ａ、２０１ａ、２００ｂ及び２０１ｂの位置座標及び大きさを基に、参照画像から、前景画像部分２００ａ、２０１ａ、２００ｂ及び２０１ｂの位置座標及び大きさと同じ位置座標及び大きさの参照画像部分を取得し、この参照画像部分を背景画像部分に貼りつけることで、前景画像部分の抜けを補完して、補完された背景画像部分を生成する。
図７（ａ）から（ｅ）は、背景補完部２が行う処理を示す説明図である。例えば、背景補完部２は、図７（ａ）に示される撮像画像１００ａから抽出された図７（ｂ）に示される対象となる前景画像部分２００ａを除いて得られた、図７（ｃ）に示される背景画像部分３００ａを受け取る。次に、背景補完部２は、前景画像部分２００ａに関する前景画像撮影情報５００ａを用いて、対象物としての実在オブジェクトの前景画像部分２００ａの位置座標及び大きさを基に、図７（ｄ）に示される参照画像３５０から、対象物としての実在オブジェクトの前景画像部分２００ａの位置座標及び大きさと同じ位置座標及び大きさの参照画像部分３５０ａを取得する。次に、背景補完部２は、背景画像部分３００ａに参照画像部分３５０ａを貼りつけることによって背景画像部分３００ａを補完し、図７（ｅ）に示されるような補完された背景画像部分３０１ａを生成する。つまり、背景補完部２は、前景画像部分２００ａを抜いた背景画像部分３００ａを入力として受け取り、参照画像３５０を用いて背景補完した背景画像部分３０１ａを出力する。
《２−３》背景画像合成部３
図８は、画像処理装置１０の背景画像合成部３が行う処理を示すフローチャートである。背景画像合成部３は、背景補完部２における背景補完が行われた背景画像部分３０１ａ及び３０１ｂを入力として受け取り、背景画像部分３０１ａ及び３０１ｂを俯瞰変換（視点変換）し、俯瞰変換された背景画像部分を合成することで背景俯瞰合成画像３０２を生成する。
具体的には、背景画像合成部３は、背景補完が行われた背景画像部分３０１ａ及び３０１ｂに対して撮像装置２０ａのレンズの特性によって生じる歪み及び撮像装置２０ｂのレンズの特性によって生じる歪みを補正するための歪み補正処理を行う（ステップＳ３０）。
次に、背景画像合成部３は、撮像装置２０ａの外部パラメータを用いて、背景補完が行われた背景画像部分３０１ａを上（例えば、真上から）から見たように視点位置を変換する俯瞰変換を行う（ステップＳ３１）。また、背景画像合成部３は、撮像装置２０ｂの外部パラメータを用いて、背景補完が行われた背景画像部分３０１ｂを上（例えば、真上から）から見たように視点位置を変換する俯瞰変換を行う（ステップＳ３１）。
次に、背景画像合成部３は、それぞれの俯瞰変換後の背景画像部分３０１ａ及び３０１ｂを合成する（ステップＳ３２）。
次に、背景画像合成部３は、俯瞰変換後の背景画像部分３０１ａ及び３０１ｂが重なり合う領域に対してアルファブレンドを行う（ステップＳ３３）。アルファブレンドは、２つの画像を重ね合わせ、画素ごとに設定された係数である透明度（α値）に基いて合成する画像合成方法である。α値は、概念としては、透明度０％の完全不透明状態から透明度１００％の完全透明状態までの透明度を表す。例えば、α値は、０から１までの範囲の値を取る係数であり、最小値（値０）の場合には透明度が最大であり、最大値（値１）の場合には不透明度が最大（塗りつぶし）になる。
図９（ａ）から（ｃ）は、背景画像合成部３が行う処理を示す説明図である。背景画像合成部３は、図９（ａ）に示される背景画像部分３０１ａ及び３０１ｂから、図９（ｂ）に示される俯瞰変換後の背景画像部分３０１ａ及び背景画像部分３０１ｂを生成し、さらに、図９（ｃ）に示される背景俯瞰合成画像３０２を生成する。画像処理装置１０は、背景俯瞰合成画像３０２を生成するために、事前に撮像装置２０ａ及び２０ｂのキャリブレーションを行い、内部パラメータと外部パラメータを取得する必要がある。内部パラメータは、撮像装置の光学部材の焦点距離、光軸中心の位置及び方向などの情報が含まれる。外部パラメータは、カメラ位置姿勢の情報を含み、撮像対象となる空間における設置位置（設置座標）情報と設置姿勢（ヨー、ロール、ピッチ情報）などが含まれる。背景画像合成部３は、背景画像部分３０１ａと背景画像部分３０１ｂから背景俯瞰合成画像３０２を作成するためには、予め準備された参照テーブルを用いて行うことも可能である。
《２−４》立体物認識部４
図１０は、画像処理装置１０の立体物認識部４が行う処理を示すフローチャートである。立体物認識部４は、立体物抽出部１で抽出した前景画像部分２００ａ、２０１ａ、２００ｂ及び２０１ｂから実在する立体物である実在オブジェクト４０の認識を行う（ステップＳ４０）。
次に、立体物認識部４は、立体物抽出部１で抽出した前景画像部分２００ａ及び２００ｂの姿勢情報、すなわち、実在オブジェクトの姿勢情報を取得して、実在オブジェクトＩＤ、実在オブジェクト種別、姿勢情報を記憶部１６に記憶する（ステップＳ４１）。姿勢情報は、前景画像部分２００ａ及び２００ｂである２次元座標のピクセルデータから３次元座標のピクセルデータに変換するためのデータテーブルである。立体物認識部４は、姿勢情報を、前景画像部分における画像解析により予め求めてもよいし、撮像装置以外のセンサーを用いて予め取得してもよい。姿勢情報の取得方法は、特定の方法に限定されない。特に実在オブジェクト４０が人物の場合、撮影画像から人物の骨格情報を取得できるため、立体物認識部４は、人物の骨格情報を姿勢情報として記憶部１６に記憶させてもよい。
《２−５》立体物射影投影部５
図１１は、画像処理装置１０の立体物射影投影部５が行う処理を示すフローチャートである。立体物射影投影部５は、立体物認識部４で取得した実在オブジェクトの姿勢情報から３次元仮想オブジェクトを生成する（ステップＳ５０）。
次に、立体物射影投影部５は、立体物抽出部１で抽出した２次元の前景画像部分を、姿勢情報を用いて３次元仮想オブジェクトに射影投影する（ステップＳ５１）。同じ実在オブジェクトＩＤである前景画像部分は、同じ３次元仮想オブジェクトに射影投影される。
図１２は、立体物射影投影部５が行う処理を示す説明図である。立体物射影投影部５は、認識した実在オブジェクト４０に対応する３次元仮想オブジェクト４００ａを取得（生成を含む）する。３次元仮想オブジェクト４００ａは、対応する実在オブジェクト４０に応じて事前に記憶部１６に記憶されている複数の３次元仮想オブジェクトの候補の中から選択される。また、立体物射影投影部５は、３次元仮想オブジェクト４００ａを、姿勢情報を用いて作成してもよい。次に、立体物射影投影部５は、立体物抽出部１で抽出した前景画像部分２００ａ及び２００ｂを３次元仮想オブジェクト４００ａに対して射影投影する。このとき、立体物射影投影部５は、前景画像部分２００ａ及び２００ｂの姿勢情報を用いて３次元仮想オブジェクトに射影投影を行い、射影投影された３次元仮想オブジェクト４００を生成する。
《２−６》３次元空間重畳部６
図１３は、画像処理装置１０の３次元空間重畳部６が行う処理を示すフローチャートである。図１４は、立体物射影投影部５が行う処理を示す説明図である。３次元空間重畳部６は、ＸＹＺ直交座標系で示される３次元空間上に、例えば、高さ０（Ｚ＝０）の平面（例えば、ＸＹ面）に背景画像合成部３で生成した背景俯瞰合成画像３０２を配置する（ステップＳ６０）。
次に、３次元空間重畳部６は、立体物射影投影部５で生成した射影投影された３次元仮想オブジェクト４００を、背景俯瞰合成画像３０２に重ねて配置する（ステップＳ６１）。３次元仮想オブジェクト４００の配置位置は、前景画像撮影情報に含まれる位置情報を、撮像装置２０ａ及び２０ｂにおける内部パラメータと外部パラメータを用いて座標変換した座標である。
《２−７》表示画像出力部７
図１５は、画像処理装置１０の表示画像出力部７が行う処理を示すフローチャートである。表示画像出力部７は、３次元空間重畳部６で生成された３次元空間に配置された背景俯瞰合成画像３０２と３次元仮想オブジェクト４００とからなる俯瞰合成画像、すなわち、指定された視点位置（例えば、３次元仮想オブジェクト４００の真上の視点位置）から見た俯瞰合成画像を取得する（ステップＳ７０）。
次に、表示画像出力部７は、取得した俯瞰合成画像を表示機器３０に対して出力する（ステップＳ７１）。
《３》効果
以上に説明したように、本実施の形態に係る画像処理装置１０及び画像処理方法によれば、３次元空間上に平面の背景俯瞰合成画像３０２と３次元仮想オブジェクト４００とを配置するようにしているので、複数の撮像画像１００ａ及び１００ｂを合成する場合、撮像画像１００ａ及び１００ｂが重なる範囲において立体物が２重に表示されることはなく、また、立体物が消失することもない。
また、本実施の形態に係る画像処理装置１０及び画像処理方法によれば、複数の実在オブジェクト４０が存在する場合に、実在オブジェクトごとの３次元仮想オブジェクトを用いて個別に歪みを抑制することができるので、違和感のない真上から見た俯瞰画像を生成することができる。
さらに、本実施の形態に係る画像処理装置１０及び画像処理方法によれば、真上から見た俯瞰画像だけでなく、任意の視点位置から見た俯瞰合成画像を作成することができる。したがって、画像処理装置１０を監視用途で用いる場合、監視者の監視作業の効率化を図ることができる。
《４》利用形態の説明
本実施の形態に係る画像処理装置１０及び画像処理方法は、工場の作業者の監視用の作業監視システムに適用できる。
また、本実施の形態に係る画像処理装置１０及び画像処理方法は、車両に搭載することによって、車両周辺の障害物を検出し、表示する運転支援システムに適用できる。
また、本実施の形態に係る画像処理装置１０及び画像処理方法は、工場の生産ライン上にある作業対象物を管理する製造管理システム又は完成品の在庫状況を監視する在庫管理システムなどに適用できる。
１ 立体物抽出部（画像分割部）、 ２ 背景補完部、 ３ 背景画像合成部、 ４ 立体物認識部、 ５ 立体物射影投影部、 ６ ３次元空間重畳部、 ７ 表示画像出力部、 １０ 画像処理装置、 １１ プロセッサ、 １２ メモリ、 １３ 記憶装置、 １４ 画像入力インタフェース、 １５ 表示機器インタフェース、 １６ 記憶部、 ２０ａ，２０ｂ 撮像画像、 ３０ 表示機器、 ４０ 実在オブジェクト（立体物）、 １００ａ，１００ｂ 撮像画像、 ２００ａ，２０１ａ，２００ｂ，２０１ｂ 前景画像部分、 ３００ａ，３００ｂ 背景画像部分、 ３０２ 背景俯瞰合成画像、 ３５０ 参照画像、 ３５０ａ 参照画像部分、 ４００ 射影投影された３次元仮想オブジェクト、 ４００ａ ３次元仮想オブジェクト、 ５００ａ，５０１ａ，５００ｂ，５０１ｂ 前景画像撮影情報。

Claims (9)

  1. 撮影対象領域を撮影する第１の撮像装置から提供される第１の撮像画像を、前記撮影対象領域内に実在する立体物である実在オブジェクトが占める第１の前景画像部分と前記第１の前景画像部分以外の第１の背景画像部分とに分割し、前記撮影対象領域を撮影する第２の撮像装置から提供される第２の撮像画像を、前記撮影対象領域内に実在する前記立体物である実在オブジェクトが占める第２の前景画像部分と前記第２の前景画像部分以外の第２の背景画像部分とに分割する画像分割部と、
    予め取得されている参照画像の一部である参照画像部分を前記第１の前景画像部分の領域に貼り付けることによって前記第１の背景画像部分を補完して、補完された第１の背景画像部分を生成し、前記参照画像部分を前記第２の前景画像部分の領域に貼り付けることによって前記第２の背景画像部分を補完して、補完された第２の背景画像部分を生成する背景補完部と、
    前記補完された第１の背景画像部分の視点位置と前記補完された第２の背景画像部分の視点位置とを変更する俯瞰変換を行い、俯瞰変換された前記第１の背景画像部分と俯瞰変換された前記第２の背景画像部分とを合成することによって背景俯瞰合成画像を生成する背景画像合成部と、
    前記実在オブジェクトを認識し、前記実在オブジェクトの姿勢情報を取得する立体物認識部と、
    前記姿勢情報を用いて、前記実在オブジェクトに対応する３次元仮想オブジェクトを取得し、前記３次元仮想オブジェクトに前記第１の前景画像部分又は前記第２の前景画像部分である前景画像部分を射影投影し、前記前景画像部分が射影投影されている前記３次元仮想オブジェクトを生成する立体物射影投影部と、
    前記背景俯瞰合成画像に前記前景画像部分が射影投影されている前記３次元仮想オブジェクトを重畳して３次元空間画像を生成する３次元空間重畳部と、
    前記３次元空間画像を上から見た画像である俯瞰合成画像を生成して出力する表示画像出力部と、
    を有することを特徴とする画像処理装置。
  2. 前記３次元空間重畳部は、
    前記補完された第１の背景画像部分と前記補完された第２の背景画像部分から生成された前記背景俯瞰合成画像を仮想的な３次元空間に配置し、
    前記前景画像部分が射影投影されている前記３次元仮想オブジェクトを、前記背景俯瞰合成画像が配置されている前記仮想的な３次元空間に配置する
    ことを特徴とする請求項１に記載の画像処理装置。
  3. 複数の３次元仮想オブジェクトの候補を予め記憶する記憶部をさらに有することを特徴とする請求項１又は２に記載の画像処理装置。
  4. 前記参照画像は、前記第１の撮像装置又は前記第２の撮像装置によって過去に撮影された撮像画像であることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
  5. 前記参照画像を予め記憶する記憶部をさらに有することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
  6. 前記立体物認識部が前記実在オブジェクトが人物であると認識した場合に、前記姿勢情報は、前記人物の骨格情報を含むことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
  7. 前記表示画像出力部は、前記俯瞰合成画像として、前記実在オブジェクトを真上から見た画像を生成することを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
  8. 撮影対象領域を撮影する第１の撮像装置から提供される第１の撮像画像を、前記撮影対象領域内に実在する立体物である実在オブジェクトが占める第１の前景画像部分と前記第１の前景画像部分以外の第１の背景画像部分とに分割し、前記撮影対象領域を撮影する第２の撮像装置から提供される第２の撮像画像を、前記撮影対象領域内に実在する前記立体物である実在オブジェクトが占める第２の前景画像部分と前記第２の前景画像部分以外の第２の背景画像部分とに分割するステップと、
    予め取得されている参照画像の一部である参照画像部分を前記第１の前景画像部分の領域に貼り付けることによって前記第１の背景画像部分を補完して、補完された第１の背景画像部分を生成し、前記参照画像部分を前記第２の前景画像部分の領域に貼り付けることによって前記第２の背景画像部分を補完して、補完された第２の背景画像部分を生成するステップと、
    前記補完された第１の背景画像部分の視点位置と前記補完された第２の背景画像部分の視点位置とを変更する俯瞰変換を行い、俯瞰変換された前記第１の背景画像部分と俯瞰変換された前記第２の背景画像部分とを合成することによって背景俯瞰合成画像を生成するステップと、
    前記実在オブジェクトを認識し、前記実在オブジェクトの姿勢情報を取得するステップと、
    前記姿勢情報を用いて、前記実在オブジェクトに対応する３次元仮想オブジェクトを取得し、前記３次元仮想オブジェクトに前記第１の前景画像部分又は前記第２の前景画像部分である前景画像部分を射影投影し、前記前景画像部分が射影投影されている前記３次元仮想オブジェクトを生成するステップと、
    前記背景俯瞰合成画像に前記前景画像部分が射影投影されている前記３次元仮想オブジェクトを重畳して３次元空間画像を生成するステップと、
    前記３次元空間画像を上から見た画像である俯瞰合成画像を生成して出力するステップと、
    を有することを特徴とする画像処理方法。
  9. 撮影対象領域を撮影する第１の撮像装置から提供される第１の撮像画像を、前記撮影対象領域内に実在する立体物である実在オブジェクトが占める第１の前景画像部分と前記第１の前景画像部分以外の第１の背景画像部分とに分割し、前記撮影対象領域を撮影する第２の撮像装置から提供される第２の撮像画像を、前記撮影対象領域内に実在する前記立体物である実在オブジェクトが占める第２の前景画像部分と前記第２の前景画像部分以外の第２の背景画像部分とに分割する処理と、
    予め取得されている参照画像の一部である参照画像部分を前記第１の前景画像部分の領域に貼り付けることによって前記第１の背景画像部分を補完して、補完された第１の背景画像部分を生成し、前記参照画像部分を前記第２の前景画像部分の領域に貼り付けることによって前記第２の背景画像部分を補完して、補完された第２の背景画像部分を生成する処理と、
    前記補完された第１の背景画像部分の視点位置と前記補完された第２の背景画像部分の視点位置とを変更する俯瞰変換を行い、俯瞰変換された前記第１の背景画像部分と俯瞰変換された前記第２の背景画像部分とを合成することによって背景俯瞰合成画像を生成する処理と、
    前記実在オブジェクトを認識し、前記実在オブジェクトの姿勢情報を取得する処理と、
    前記姿勢情報を用いて、前記実在オブジェクトに対応する３次元仮想オブジェクトを取得し、前記３次元仮想オブジェクトに前記第１の前景画像部分又は前記第２の前景画像部分である前景画像部分を射影投影し、前記前景画像部分が射影投影されている前記３次元仮想オブジェクトを生成する処理と、
    前記背景俯瞰合成画像に前記前景画像部分が射影投影されている前記３次元仮想オブジェクトを重畳して３次元空間画像を生成する処理と、
    前記３次元空間画像を上から見た画像である俯瞰合成画像を生成して出力する処理と、
    をコンピュータに実行させることを特徴とする画像処理プログラム。
JP2018540890A 2018-03-28 2018-03-28 画像処理装置、画像処理方法、及び画像処理プログラム Active JP6513300B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/012852 WO2019186787A1 (ja) 2018-03-28 2018-03-28 画像処理装置、画像処理方法、及び画像処理プログラム

Publications (2)

Publication Number Publication Date
JP6513300B1 true JP6513300B1 (ja) 2019-05-15
JPWO2019186787A1 JPWO2019186787A1 (ja) 2020-04-30

Family

ID=66530751

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018540890A Active JP6513300B1 (ja) 2018-03-28 2018-03-28 画像処理装置、画像処理方法、及び画像処理プログラム

Country Status (5)

Country Link
US (1) US11403742B2 (ja)
JP (1) JP6513300B1 (ja)
CN (1) CN111886624A (ja)
GB (1) GB2586712B (ja)
WO (1) WO2019186787A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021040075A1 (ko) * 2019-08-27 2021-03-04 엘지전자 주식회사 영상표시장치 및 이의 영상처리방법

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019198200A1 (ja) * 2018-04-12 2019-10-17 日本電気株式会社 学習用画像生成装置、学習用画像生成方法及びプログラム
EP3968274A1 (en) * 2020-09-14 2022-03-16 Tata Consultancy Services Limited Method and system for asset inspection using unmanned aerial vehicles
KR20230152022A (ko) * 2021-02-24 2023-11-02 소니그룹주식회사 화상 처리 장치, 화상 처리 방법, 프로젝터 장치
CN113538318B (zh) * 2021-08-24 2023-12-15 北京奇艺世纪科技有限公司 图像处理方法、装置、终端设备以及可读存储介质
WO2024142361A1 (ja) * 2022-12-28 2024-07-04 三菱電機株式会社 映像合成装置、映像合成方法、及び映像合成プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000184336A (ja) * 1998-10-09 2000-06-30 Canon Inc 画像処理装置、画像処理方法及びコンピュ―タ読み取り可能な記憶媒体
JP2010128742A (ja) * 2008-11-27 2010-06-10 Casio Computer Co Ltd ３次元データ作成装置
WO2012046392A1 (ja) * 2010-10-08 2012-04-12 パナソニック株式会社 姿勢推定装置及び姿勢推定方法
JP2012147149A (ja) * 2011-01-11 2012-08-02 Aisin Seiki Co Ltd 画像生成装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050031169A1 (en) * 2003-08-09 2005-02-10 Alan Shulman Birds eye view virtual imaging for real time composited wide field of view
JP4934308B2 (ja) 2005-10-17 2012-05-16 三洋電機株式会社 運転支援システム
US7728879B2 (en) * 2006-08-21 2010-06-01 Sanyo Electric Co., Ltd. Image processor and visual field support device
US8170752B2 (en) * 2007-07-31 2012-05-01 Kabushiki Kaisha Toyota Jidoshokki Parking assistance apparatus, vehicle-side apparatus of parking assistance apparatus, parking assist method, and parking assist program
JP5053043B2 (ja) 2007-11-09 2012-10-17 アルパイン株式会社 車両周辺画像生成装置および車両周辺画像の歪み補正方法
JP4697480B2 (ja) * 2008-01-11 2011-06-08 日本電気株式会社 車線認識装置、車線認識方法および車線認識プログラム
JP5067632B2 (ja) * 2008-11-28 2012-11-07 アイシン精機株式会社 鳥瞰画像生成装置
CN102986210B (zh) * 2010-07-14 2014-05-14 三菱电机株式会社 图像合成装置
TWI433529B (zh) * 2010-09-21 2014-04-01 Huper Lab Co Ltd 增強辨識３ｄ物件的方法
WO2012053105A1 (ja) * 2010-10-22 2012-04-26 日立建機株式会社 作業機械の周辺監視装置
EP2763406A4 (en) * 2011-09-30 2015-06-17 Panasonic Ip Man Co Ltd APPARATUS FOR PRODUCING IMAGES FROM THE BIRDS 'PERSPECTIVE, METHOD FOR PRODUCING IMAGES FROM THE BIRDS' PERSPECTIVE AND PROGRAM FOR GENERATING PICTURES FROM THE BIRDS 'PERSPECTIVE
US8970701B2 (en) * 2011-10-21 2015-03-03 Mesa Engineering, Inc. System and method for predicting vehicle location
US20160379074A1 (en) * 2015-06-25 2016-12-29 Appropolis Inc. System and a method for tracking mobile objects using cameras and tag devices
WO2017077650A1 (ja) 2015-11-06 2017-05-11 三菱電機株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US10678257B2 (en) * 2017-09-28 2020-06-09 Nec Corporation Generating occlusion-aware bird eye view representations of complex road scenes
TWI657409B (zh) * 2017-12-27 2019-04-21 財團法人工業技術研究院 虛擬導引圖示與真實影像之疊合裝置及其相關疊合方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000184336A (ja) * 1998-10-09 2000-06-30 Canon Inc 画像処理装置、画像処理方法及びコンピュ―タ読み取り可能な記憶媒体
JP2010128742A (ja) * 2008-11-27 2010-06-10 Casio Computer Co Ltd ３次元データ作成装置
WO2012046392A1 (ja) * 2010-10-08 2012-04-12 パナソニック株式会社 姿勢推定装置及び姿勢推定方法
JP2012147149A (ja) * 2011-01-11 2012-08-02 Aisin Seiki Co Ltd 画像生成装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021040075A1 (ko) * 2019-08-27 2021-03-04 엘지전자 주식회사 영상표시장치 및 이의 영상처리방법

Also Published As

Publication number Publication date
GB2586712A (en) 2021-03-03
GB202014492D0 (en) 2020-10-28
US11403742B2 (en) 2022-08-02
JPWO2019186787A1 (ja) 2020-04-30
US20210004943A1 (en) 2021-01-07
WO2019186787A1 (ja) 2019-10-03
CN111886624A (zh) 2020-11-03
GB2586712B (en) 2021-12-22

Similar Documents

Publication Publication Date Title
JP6513300B1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP6425780B1 (ja) 画像処理システム、画像処理装置、画像処理方法及びプログラム
JP7002056B2 (ja) 三次元モデル生成装置及び三次元モデル生成方法
JP6021541B2 (ja) 画像処理装置及び方法
US10699473B2 (en) System and method for generating a virtual viewpoint apparatus
CN106254854B (zh) 三维图像的获得方法、装置及系统
US10349040B2 (en) Storing data retrieved from different sensors for generating a 3-D image
JP5845123B2 (ja) ３次元モデル−インテグラル画像変換装置およびそのプログラム
KR102067823B1 (ko) 비디오 영상기반 2d/3d ar 실감체험 방법 및 장치
JP2016537901A (ja) ライトフィールド処理方法
WO2018052100A1 (ja) 画像処理装置、画像処理方法、画像処理プログラム
JP6021489B2 (ja) 撮像装置、画像処理装置およびその方法
CN113348489A (zh) 图像处理方法和装置
JP2008217593A (ja) 被写体領域抽出装置及び被写体領域抽出プログラム
KR101801100B1 (ko) 몰입형 콘텐츠 제작 지원용 영상 제공 장치 및 방법
CN113132708B (zh) 利用鱼眼相机获取三维场景图像的方法和装置、设备和介质
US20220172474A1 (en) Image processing apparatus, 3d model generation method, and program
KR20220121533A (ko) 어레이 카메라를 통해 획득된 영상을 복원하는 영상 복원 방법 및 영상 복원 장치
US20140347352A1 (en) Apparatuses, methods, and systems for 2-dimensional and 3-dimensional rendering and display of plenoptic images
KR102019880B1 (ko) 분산 가상 카메라를 이용한 게임 내 360 vr 영상 획득 시스템 및 방법
KR102019879B1 (ko) 가상 카메라를 이용한 게임 내 360 vr 영상 획득 장치 및 방법
KR101718309B1 (ko) 색상 정보를 활용한 자동 정합·파노라믹 영상 생성 장치 및 방법
US20210297649A1 (en) Image data output device, content creation device, content reproduction device, image data output method, content creation method, and content reproduction method
JP2014049895A (ja) 画像処理方法
WO2022091811A1 (ja) 画像処理装置、画像処理方法、画像処理システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180803

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180803

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180803

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190312

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190409

R150 Certificate of patent or registration of utility model

Ref document number: 6513300

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250