WO2021192096A1 - Image processing device, image processing method, and image processing program - Google Patents

Image processing device, image processing method, and image processing program Download PDF

Info

Publication number
WO2021192096A1
WO2021192096A1 PCT/JP2020/013351 JP2020013351W WO2021192096A1 WO 2021192096 A1 WO2021192096 A1 WO 2021192096A1 JP 2020013351 W JP2020013351 W JP 2020013351W WO 2021192096 A1 WO2021192096 A1 WO 2021192096A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
value
pixel
images
image processing
Prior art date
Application number
PCT/JP2020/013351
Other languages
French (fr)
Japanese (ja)
Inventor
司 深澤
浩平 岡原
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2020/013351 priority Critical patent/WO2021192096A1/en
Publication of WO2021192096A1 publication Critical patent/WO2021192096A1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed circuit television systems, i.e. systems in which the signal is not broadcast

Abstract

An image processing device (10) includes: a camera parameter input unit (102) that acquires camera parameters of a plurality of imaging devices (Cam1, Cam2), an acceptable threshold value (Kth) indicating an acceptable value for the elongation rate (k) of a subject in a plurality of projection images obtained by projecting the subject captured by the plurality of imaging devices onto a predetermined projection surface, and a difference threshold value (Subth) indicating an acceptable value for the difference (Sub) between the elongation rates of adjacent projection images in the plurality of projection images; a reference table creation unit (103) that uses the camera parameters, the acceptable threshold value (kth) and the difference threshold value (Subth) to determine a blend region, which is a portion in which the projection range of the plurality of projection images and adjacent projection images overlap, and creates a reference table indicating the relationship between respective pixels of the composite image in the blend region and corresponding pixels, which are pixels of the plurality of imaging devices corresponding to the respective pixels of the composite image in the blend region; and a composite processing unit (104) that creates the composite image.

Description

画像処理装置、画像処理方法、及び画像処理プログラムImage processing device, image processing method, and image processing program
 本開示は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。 The present disclosure relates to an image processing apparatus, an image processing method, and an image processing program.
 複数のカメラによって撮影された複数の撮像画像(すなわち、カメラ画像)を、視点変換して複数の俯瞰画像を生成し、これらを合成して1枚の俯瞰合成画像を生成する技術がある。通常、視点変換では、地面より高い位置にある物体は、地面に倒れこむような伸びた状態(すなわち、投影面としての地面に投影された状態)の俯瞰画像に変換される。このため、俯瞰画像における物体は歪んでいる。また、俯瞰合成画像を生成する際には、隣り合うカメラ画像が一部重なるように撮影が行われる。一般に、隣り合うカメラ画像が重なる領域(以下「重畳領域」とも言う。)の画像をシームレスに接続するためには、画素ごとに設定された透過度であるアルファ(α)値を用いて重畳領域の画像が作成される。しかし、俯瞰合成画像を作成するシステムを構築する際には、各カメラ画像の投影範囲及び各カメラ画像の重畳領域であるブレンド領域を手動で設定する必要があり、これらの作業は、煩わしく、また、システムの導入コストを上げる原因になっていた。 There is a technique of converting a plurality of captured images (that is, camera images) taken by a plurality of cameras into a viewpoint to generate a plurality of bird's-eye view images, and synthesizing these to generate a single bird's-eye view composite image. Normally, in the viewpoint conversion, an object located higher than the ground is converted into a bird's-eye view image in a stretched state (that is, a state projected on the ground as a projection surface) so as to fall on the ground. Therefore, the object in the bird's-eye view image is distorted. In addition, when generating a bird's-eye view composite image, shooting is performed so that adjacent camera images partially overlap. Generally, in order to seamlessly connect images in an area where adjacent camera images overlap (hereinafter, also referred to as "superimposed area"), the superposed area uses an alpha (α) value which is a transparency set for each pixel. Image is created. However, when constructing a system for creating a bird's-eye view composite image, it is necessary to manually set the projection range of each camera image and the blend area which is a superposed area of each camera image, and these operations are cumbersome and cumbersome. , It was a cause of increasing the introduction cost of the system.
 そこで、特許文献1は、2つのカメラ画像の重畳領域に高さのある被写体が存在し、2つのカメラ画像における被写体の特徴量の相関が高い場合には、被写体のブレンド率を変えることにより、重畳領域の画像が二重像に見えにくい俯瞰合成画像を生成する技術を提案している。 Therefore, in Patent Document 1, when a tall subject exists in the overlapping region of the two camera images and the correlation between the feature amounts of the subjects in the two camera images is high, the blending ratio of the subjects is changed. We are proposing a technology to generate a bird's-eye view composite image in which the image in the superimposed region is difficult to see as a double image.
特開2015-192198号公報JP-A-2015-192198
 しかしながら、特許文献1に記載の技術では、カメラから被写体までの距離に応じて投影面に投影された被写体が歪んで見える場合に、俯瞰合成画像の視認性が低下する。 However, in the technique described in Patent Document 1, when the subject projected on the projection surface looks distorted according to the distance from the camera to the subject, the visibility of the bird's-eye view composite image is lowered.
 本開示は、上記課題を解決するためになされたものであり、視認性の高い合成画像を生成することを目的とする。 The present disclosure has been made to solve the above problems, and an object of the present disclosure is to generate a highly visible composite image.
 本開示に係る画像処理装置は、複数の撮像装置によってそれぞれ撮影された複数の撮像画像に基づいて合成画像を生成する装置であって、前記複数の撮像装置のカメラパラメータ、前記複数の撮像装置によって撮影された被写体を予め決められた投影面に投影して得られた複数の投影画像における前記被写体の伸び率の許容値を示す許容閾値、及び前記複数の投影画像の内の隣り合う投影画像における前記伸び率の差分の許容値を示す差分閾値を取得するカメラパラメータ入力部と、前記カメラパラメータ、前記許容閾値、及び前記差分閾値を用いて、前記複数の投影画像の投影範囲と前記複数の投影画像の内の隣り合う投影画像が重なり合う部分であるブレンド領域とを決定し、前記ブレンド領域における前記合成画像の各画素と、前記ブレンド領域における前記合成画像の各画素に対応する前記複数の撮像装置の各々の画素である対応画素との関係を示す参照テーブルを作成する参照テーブル作成部と、前記参照テーブルを用いて前記隣り合う投影画像を接続する合成処理を行うことで前記合成画像を作成する合成処理部と、を有する。 The image processing device according to the present disclosure is a device that generates a composite image based on a plurality of captured images taken by a plurality of imaging devices, and is based on the camera parameters of the plurality of imaging devices and the plurality of imaging devices. A permissible threshold indicating the permissible value of the elongation rate of the subject in a plurality of projected images obtained by projecting the photographed subject onto a predetermined projection surface, and adjacent projected images among the plurality of projected images. Using the camera parameter input unit that acquires the difference threshold indicating the allowable value of the difference in the elongation rate, the camera parameter, the allowable threshold, and the difference threshold, the projection range of the plurality of projected images and the plurality of projections are used. A plurality of imaging devices corresponding to each pixel of the composite image in the blend region and each pixel of the composite image in the blend region by determining a blend region in which adjacent projected images in the image overlap. The composite image is created by performing a composite process of connecting the adjacent projected images using the reference table and the reference table creation unit that creates a reference table showing the relationship between the corresponding pixels, which are the respective pixels of the above. It has a synthesis processing unit and.
 本開示に係る画像処理方法は、複数の撮像装置によってそれぞれ撮影された複数の撮像画像に基づいて合成画像を生成する画像処理装置によって実行される方法であって、前記複数の撮像装置のカメラパラメータ、前記複数の撮像装置によって撮影された被写体を予め決められた投影面に投影して得られた複数の投影画像における前記被写体の伸び率の許容値を示す許容閾値、及び前記複数の投影画像の内の隣り合う投影画像における前記伸び率の差分の許容値を示す差分閾値を取得するステップと、前記カメラパラメータ、前記許容閾値、及び前記差分閾値を用いて、前記複数の投影画像の投影範囲と前記複数の投影画像の内の隣り合う投影画像が重なり合う部分であるブレンド領域とを決定し、前記ブレンド領域における前記合成画像の各画素と、前記ブレンド領域における前記合成画像の各画素に対応する前記複数の撮像装置の各々の画素である対応画素との関係を示す参照テーブルを作成するステップと、前記参照テーブルを用いて前記隣り合う投影画像を接続する合成処理を行うことで前記合成画像を作成するステップと、を有する。 The image processing method according to the present disclosure is a method executed by an image processing device that generates a composite image based on a plurality of captured images taken by a plurality of imaging devices, and is a method executed by a camera parameter of the plurality of imaging devices. , A permissible threshold indicating a permissible value of the elongation rate of the subject in a plurality of projected images obtained by projecting a subject photographed by the plurality of imaging devices onto a predetermined projection surface, and the plurality of projected images. Using the step of acquiring the difference threshold indicating the permissible value of the difference of the elongation ratio in the adjacent projected images in the image, the camera parameter, the permissible threshold, and the difference threshold, the projection range of the plurality of projected images A blend region, which is a portion where adjacent projected images overlap in the plurality of projected images, is determined, and each pixel of the composite image in the blend region and each pixel of the composite image in the blend region correspond to the said. The composite image is created by performing a step of creating a reference table showing the relationship between the corresponding pixels, which are pixels of each of the plurality of imaging devices, and a composite process of connecting the adjacent projected images using the reference table. It has a step to do.
 本開示に係る画像処理装置、画像処理方法、及び画像処理プログラムによれば、視認性の高い合成画像を生成することができる。 According to the image processing device, the image processing method, and the image processing program according to the present disclosure, it is possible to generate a composite image with high visibility.
実施の形態に係る画像処理装置のハードウェア構成を示す図である。It is a figure which shows the hardware configuration of the image processing apparatus which concerns on embodiment. 実施の形態に係る画像処理装置の構成を示す機能ブロック図である。It is a functional block diagram which shows the structure of the image processing apparatus which concerns on embodiment. 作成される合成画像及び複数の投影画像を示す図である。It is a figure which shows the composite image and a plurality of projection images which are created. 作成される合成画像の画素に対応する投影画像の対応画素を示す図である。It is a figure which shows the corresponding pixel of the projection image corresponding to the pixel of the created composite image. 被写体が存在する位置における被写体の伸び率を示す図である。It is a figure which shows the elongation rate of a subject at the position where a subject exists. 実施の形態に係る画像処理装置の参照テーブル作成部によって実行される参照テーブルの作成処理を示すフローチャートである。It is a flowchart which shows the creation process of the reference table executed by the reference table creation part of the image processing apparatus which concerns on embodiment. 実施の形態に係る画像処理装置の画像取得部によって実行される合成画像の作成処理を示すフローチャートである。It is a flowchart which shows the creation process of the composite image executed by the image acquisition part of the image processing apparatus which concerns on embodiment.
 以下に、実施の形態に係る画像処理装置、画像処理方法、及び画像処理プログラムを、図面を参照しながら説明する。以下の実施の形態は、例にすぎず、実施の形態を適宜組み合わせること及び各実施の形態を適宜変更することが可能である。 The image processing apparatus, image processing method, and image processing program according to the embodiment will be described below with reference to the drawings. The following embodiments are merely examples, and it is possible to appropriately combine the embodiments and change the embodiments as appropriate.
〈画像処理装置10の構成〉
 図1は、実施の形態に係る画像処理装置10のハードウェア構成を示す図である。画像処理装置10は、複数の撮像装置(一般には、複数のカメラ)でそれぞれ撮影された複数の撮像画像(「カメラ画像」とも言う。)に基づいて合成画像を生成する。図1には、複数のカメラが、2台のカメラCam1、Cam2を含む例が示されている。ただし、カメラの台数は3台以上であってもよい。また、画像処理装置10と、複数のカメラCam1、Cam2、…とは、画像合成システムを構成している。また、画像合成システムは、合成画像を表示する液晶ディスプレイなどのような表示装置20を有してもよい。
<Configuration of image processing device 10>
FIG. 1 is a diagram showing a hardware configuration of the image processing device 10 according to the embodiment. The image processing device 10 generates a composite image based on a plurality of captured images (also referred to as “camera images”) taken by a plurality of imaging devices (generally, a plurality of cameras). FIG. 1 shows an example in which a plurality of cameras include two cameras Cam1 and Cam2. However, the number of cameras may be three or more. Further, the image processing device 10 and the plurality of cameras Cam1, Cam2, ... Consists of an image composition system. Further, the image composition system may have a display device 20 such as a liquid crystal display for displaying a composite image.
 図1に示されるように、画像処理装置10は、各種の演算処理及び各種のハードウェアの制御処理を行う情報処理部としてのプロセッサ11と、主記憶装置であるメモリ12と、HDD(ハードディスクドライブ)又はSSD(ソリッドステートドライブ)などの補助記憶装置である記憶装置13とを有している。また、画像処理装置10は、複数のカメラCam1、Cam2、…からそれぞれ送信された複数のカメラ画像I1、I2、…を受信し、これらを画像データに変換して画像処理装置10の内部に取り込む入力インタフェース14と、画像処理装置10によって生成された合成画像(すなわち、合成画像データ)を表示装置20に出力する出力インタフェース15とを有している。 As shown in FIG. 1, the image processing device 10 includes a processor 11 as an information processing unit that performs various arithmetic processes and various hardware control processes, a memory 12 that is a main storage device, and an HDD (hard disk drive). ) Or a storage device 13 which is an auxiliary storage device such as an SSD (Solid State Drive). Further, the image processing device 10 receives a plurality of camera images I1, I2, ... Transmitted from each of the plurality of cameras Cam1, Cam2, ..., Converts them into image data, and captures them inside the image processing device 10. It has an input interface 14 and an output interface 15 that outputs a composite image (that is, composite image data) generated by the image processing device 10 to the display device 20.
 画像処理装置10は、例えば、処理回路によって構成される。画像処理装置10は、ソフトウェアプログラムである画像処理プログラムを実行するプロセッサ11を備えたコンピュータによって構成されてもよい。また、画像処理プログラムは、情報を記録するコンピュータ読み取り可能な情報記録媒体から又はネットワークを介するダウンロードによって画像処理装置10にインストールされる。 The image processing device 10 is composed of, for example, a processing circuit. The image processing device 10 may be configured by a computer including a processor 11 that executes an image processing program that is a software program. Further, the image processing program is installed in the image processing apparatus 10 from a computer-readable information recording medium for recording information or by downloading via a network.
 複数のカメラCam1、Cam2、…は、画像を撮影する機能を有する撮像装置である。複数のカメラCam1、Cam2、…は、CCD(Charged-Coupled Devices)又はCMOS(Complementary Metal-Oxide-Semiconductor)などの撮像素子と、レンズとを有する撮像装置である。複数のカメラCam1、Cam2、…は、例えば、監視カメラである。このとき、図1に示される画像合成システムは、監視システムである。 The plurality of cameras Cam1, Cam2, ... Are image pickup devices having a function of capturing an image. The plurality of cameras Cam1, Cam2, ... Are an image pickup device having an image pickup device such as a CCD (Charged-Coupled Devices) or CMOS (Complementary Metal-Oxide-Semiconductor) and a lens. The plurality of cameras Cam1, Cam2, ... Are, for example, surveillance cameras. At this time, the image composition system shown in FIG. 1 is a monitoring system.
 複数のカメラCam1、Cam2、…は、同一種類の機器であることが望ましい。複数のカメラCam1、Cam2、…は、画像処理装置10の入力インタフェース14と有線で接続されているが、無線で接続されもよい。また、複数のカメラCam1、Cam2と入力インタフェース14との接続方式は、特定の方式に限定されない。接続方式は、例えば、IP(Internet Protocol)ネットワークによる接続方式又は同軸ケーブルによる接続方式などである。入力インタフェース14は、複数のカメラCam1、Cam2、…から送信される複数のカメラ画像I1、I2、…すなわち複数の画像信号を同時に受信する機能を持つことが望ましい。 It is desirable that the plurality of cameras Cam1, Cam2, ... Are the same type of equipment. The plurality of cameras Cam1, Cam2, ... Are connected to the input interface 14 of the image processing device 10 by wire, but may be connected wirelessly. Further, the connection method between the plurality of cameras Cam1 and Cam2 and the input interface 14 is not limited to a specific method. The connection method is, for example, a connection method using an IP (Internet Protocol) network or a connection method using a coaxial cable. It is desirable that the input interface 14 has a function of simultaneously receiving a plurality of camera images I1, I2, ... That is, a plurality of image signals transmitted from the plurality of cameras Cam1, Cam2, ....
 記憶装置13又はメモリ12は、本実施の形態に係る画像処理方法を画像処理装置10に実行させるためのソフトウェアプログラムである画像処理プロクラムを記憶する。プロセッサ11は、この画像処理プログラムを実行することによって、実施の形態に係る画像処理方法を実行することができる。 The storage device 13 or the memory 12 stores an image processing program which is a software program for causing the image processing device 10 to execute the image processing method according to the present embodiment. By executing this image processing program, the processor 11 can execute the image processing method according to the embodiment.
 画像処理装置10に取り込まれた画像データは、メモリ12に記憶される。画像処理装置10に取り込まれた画像データは、撮像対象領域の上方に視点を設けた画像である俯瞰画像に変換する処理である視点変換(すなわち、座標変換)された後に、合成される。画像処理装置10で合成された画像である合成画像は、出力インタフェース15を介して表示装置20に送信される。また、俯瞰画像を合成することによって得られた合成画像は、「俯瞰合成画像」とも呼ばれる。また、画像処理装置10が監視システムに使用される場合には、撮像対象領域は「監視対象領域」とも呼ばれる。 The image data taken into the image processing device 10 is stored in the memory 12. The image data captured in the image processing device 10 is combined after being subjected to viewpoint conversion (that is, coordinate conversion), which is a process of converting an image having a viewpoint above the imaging target region into a bird's-eye view image. The composite image, which is an image synthesized by the image processing device 10, is transmitted to the display device 20 via the output interface 15. Further, the composite image obtained by synthesizing the bird's-eye view image is also called a "bird's-eye view composite image". Further, when the image processing device 10 is used in a monitoring system, the imaging target area is also referred to as a “monitoring target area”.
 図2は、本実施の形態に係る画像処理装置10の構成を示す機能ブロック図である。
 図3は、作成される合成画像及び複数のカメラ(例えば、Cam1~Cam4)で撮影された複数のカメラ画像を示す図である。
FIG. 2 is a functional block diagram showing the configuration of the image processing device 10 according to the present embodiment.
FIG. 3 is a diagram showing a composite image created and a plurality of camera images taken by a plurality of cameras (for example, Cam1 to Cam4).
 図2に示されるように、画像処理装置10は、画像取得部101と、カメラパラメータ入力部102と、参照テーブル作成部103と、合成処理部104と、表示制御部105とを有している。 As shown in FIG. 2, the image processing device 10 includes an image acquisition unit 101, a camera parameter input unit 102, a reference table creation unit 103, a synthesis processing unit 104, and a display control unit 105. ..
 画像取得部101は、複数のカメラCam1、Cam2、…でそれぞれ撮影された撮像画像である複数のカメラ画像I1、I2、…を受信する。 The image acquisition unit 101 receives a plurality of camera images I1, I2, ... Which are captured images taken by the plurality of cameras Cam1, Cam2, ....
 カメラパラメータ入力部102は、複数のカメラCam1、Cam2、…のカメラパラメータ、複数のカメラCam1、Cam2、…によって撮影された被写体を予め決められた投影面に投影して得られた複数の投影画像(例えば、図3に示されるP1、P2、…)における被写体の伸び率kの許容値を示す許容閾値kth、及び複数の投影画像の内の隣り合う投影画像(例えば、図3に示されるP1、P2)における伸び率kの値k、kの差分Subの許容値を示す差分閾値Subthを取得する。カメラパラメータは、例えば、各カメラCam1、Cam2、…の内部パラメータ及び外部パラメータ、各カメラCam1、Cam2、…のレンズ歪補正データ、などを含む。像撮像対象領域内(すなわち、投影画像内)の各点における各カメラCam1、Cam2の被写体の伸び率kは、「k値」とも呼ばれる。カメラパラメータ入力部102は、カメラパラメータ及び伸び率kの許容閾値kth、及び差分閾値Subthを、図1に示される記憶装置13から又は画像処理装置10の外部から取得してもよい。なお、伸び率kについては、後述の図5で詳細に説明される。 The camera parameter input unit 102 projects a plurality of projected images obtained by projecting the camera parameters of the plurality of cameras Cam1, Cam2, ..., The subject photographed by the plurality of cameras Cam1, Cam2, ... On a predetermined projection surface. (e.g., P1, P2, ... as shown in FIG. 3) acceptable threshold k th, and adjacent projection image of the plurality of projection images represent the value of the growth rate k of the object in (e.g., shown in FIG. 3 P1, P2) to obtain the difference threshold Sub th indicating the permissible value of the value k 1, k 2 of the difference Sub elongation k in. The camera parameters include, for example, internal parameters and external parameters of each camera Cam1, Cam2, ..., Lens distortion correction data of each camera Cam1, Cam2, ..., And the like. The elongation rate k of the subject of each camera Cam1 and Cam2 at each point in the image imaging target region (that is, in the projected image) is also referred to as "k value". Camera parameter input unit 102, the allowable threshold k th camera parameter and elongation k, and the difference threshold Sub th, may be obtained from the storage device 13 or from an external image processing apparatus 10 shown in FIG. The elongation rate k will be described in detail with reference to FIG. 5 described later.
 参照テーブル作成部103は、カメラパラメータ入力部102で取得されたカメラパラメータ、許容閾値kth、及び差分閾値Subthを用いて、複数の投影画像(図3における、P1、P2、…)の投影範囲と、複数の投影画像の内の隣り合う投影画像(図3における、P1、P2)が重なり合う重畳領域(「ブレンド領域」とも言う。)とを決定し、重畳領域における合成画像の各画素と、重畳領域における合成画像の各画素に対応する複数の撮像装置Cam1、Cam2、…の各々の画素である対応画素との関係を示す参照テーブルを作成する。言い換えれば、参照テーブル作成部103は、カメラパラメータ入力部102で取得されたカメラパラメータと、地面などの投影面とに基づいて、各カメラCam1、Cam2用の参照テーブルを作成する。つまり、参照テーブル作成部103は、カメラの台数に等しい個数の参照テーブルを作成する。作成された参照テーブルは、例えば、メモリ12に格納される。各参照テーブルは、横Wsyn個で縦Hsyn個の画素の各々のα値で構成される。横Wsyn個で縦Hsyn個の画素は、合成画像の画素に対応する。 See table creation unit 103, the camera parameters acquired by the camera parameter input unit 102, using the allowable threshold k th, and the difference threshold Sub th, (in FIG. 3, P1, P2, ...) a plurality of projection images projected A range and a superposed region (also referred to as a “blend region”) in which adjacent projected images (P1 and P2 in FIG. 3) overlap in a plurality of projected images are determined, and each pixel of the composite image in the superposed region is determined. , Create a reference table showing the relationship with the corresponding pixels, which are the respective pixels of the plurality of imaging devices Cam1, Cam2, ... Corresponding to each pixel of the composite image in the superimposed region. In other words, the reference table creation unit 103 creates a reference table for each camera Cam1 and Cam2 based on the camera parameters acquired by the camera parameter input unit 102 and the projection surface such as the ground. That is, the reference table creation unit 103 creates a number of reference tables equal to the number of cameras. The created reference table is stored in the memory 12, for example. Each reference table is composed of α values of each of the pixels having W syn in the horizontal direction and H syn in the vertical direction. The horizontal W sync pixels and the vertical H sync pixels correspond to the pixels of the composite image.
 合成処理部104は、各カメラCam1、Cam2用の参照テーブルを用いて、ある任意の視点の合成画像、すなわち、任意視点画像を作成する。任意の視点が被写体の上方にある場合には、投影画像は俯瞰画像であり、任意視点画像は俯瞰合成画像である。 The compositing processing unit 104 creates a composite image of an arbitrary viewpoint, that is, an arbitrary viewpoint image, using the reference tables for each of the cameras Cam1 and Cam2. When the arbitrary viewpoint is above the subject, the projected image is a bird's-eye view image, and the arbitrary viewpoint image is a bird's-eye view composite image.
 表示制御部105は、合成処理部104で作成された任意視点画像に基づく画像信号を表示装置20に送信する。表示装置20は、受信した画像信号に基づく画像を表示する。 The display control unit 105 transmits an image signal based on the arbitrary viewpoint image created by the synthesis processing unit 104 to the display device 20. The display device 20 displays an image based on the received image signal.
 図4は、作成される合成画像の画素に対応するカメラ画像の対応画素を示す図である。参照テーブル作成部103で作成される参照テーブルは、作成される合成画像の横Wsyn個で縦Hsyn個の画素(xsyn,ysyn)に対応する、各カメラCam1、Cam2の対応画素(xcam1,ycam1)、(xcam2,ycam2)並びに対応画素のα値(すなわち、ブレンド処理に利用する重み付き係数)を有している。言い換えれば、参照テーブルは、画素(xsyn,ysyn)ごとに、カメラCam1の対応画素(xcam1,ycam1)とそのα値、及びカメラCam2の対応画素(xcam2,ycam2)とそのα値を有している。 FIG. 4 is a diagram showing corresponding pixels of the camera image corresponding to the pixels of the created composite image. See table created by the reference table creation unit 103, horizontal W syn pieces in vertical H syn pixels of the synthesized image created (x syn, y syn) corresponds to the corresponding pixel of each camera Cam1, Cam2 ( It has x cam1 , y cam1 ), (x cam2 , y cam2 ) and the α value of the corresponding pixel (that is, the weighted coefficient used for the blending process). In other words, the lookup table, the pixel (x syn, y syn) for each corresponding pixel of the camera Cam1 (x cam1, y cam1) and its α value, and the corresponding pixel of the camera Cam2 (x cam2, y cam2) and its It has an α value.
 参照テーブルは、カメラCam1、Cam2が建物の外壁などに設置される固定の監視カメラである場合は、事前に作成され記憶装置に記憶されているものであってもよい。また、参照テーブルは、カメラCam1、Cam2が無人航空機のような動体に設置された監視カメラである場合は、各カメラCam1、Cam2が撮影する映像のフレームごとに作成されてもよい。 When the cameras Cam1 and Cam2 are fixed surveillance cameras installed on the outer wall of the building, the reference table may be created in advance and stored in the storage device. Further, when the cameras Cam1 and Cam2 are surveillance cameras installed on a moving body such as an unmanned aerial vehicle, the reference table may be created for each frame of the image captured by the cameras Cam1 and Cam2.
 参照テーブル作成部103は、合成画像上の画素に対応するカメラCam1、Cam2の対応画素(xcam1,ycam1)、(xcam2,ycam2)(すなわち、対応する2つの画素)が存在しない場合は、参照テーブルに対応画素が存在しないことを示す値を設定する。参照テーブル作成部103は、各カメラCam1、Cam2の画素と合成画像の各画素の対応を、定義した投影面(すなわち、予め決められた投影面)上の座標から投影変換処理前の座標、視点変換処理前の座標、レンズ歪補正処理前の座標と逆算することにより算出する。参照テーブルを利用することによって、合成処理部104は、合成画像の各画素に対応する各カメラCam1、Cam2の対応画素の画素値を受け取るだけで、複数のカメラCam1、Cam2のカメラ画像I1、I2に基づく合成画像を作成することができる。 See table creation unit 103, the corresponding pixel (x cam1, y cam1) cameras Cam1, Cam2 corresponding to the pixels on the combined image, (x cam2, y cam2) ( i.e., the corresponding two pixels) does not exist Sets a value indicating that there is no corresponding pixel in the reference table. The reference table creation unit 103 determines the correspondence between the pixels of each camera Cam1 and Cam2 and each pixel of the composite image from the coordinates on the defined projection plane (that is, the predetermined projection plane), the coordinates before the projection conversion process, and the viewpoint. It is calculated by back-calculating the coordinates before the conversion process and the coordinates before the lens distortion correction process. By using the reference table, the compositing processing unit 104 simply receives the pixel values of the corresponding pixels of the cameras Cam1 and Cam2 corresponding to each pixel of the compositing image, and the camera images I1 and I2 of the plurality of cameras Cam1 and Cam2. It is possible to create a composite image based on.
 図5は、被写体の位置(x,y,z)における各カメラCam1、Cam2の被写体の伸び率kを示す図である。カメラパラメータ入力部102は、投影面上の撮影対象領域の各点における各カメラCam1、Cam2の被写体の伸び率kを取得する。 FIG. 5 is a diagram showing the elongation rate k of the subject of each of the cameras Cam1 and Cam2 at the position of the subject (x, y, z). The camera parameter input unit 102 acquires the elongation rate k of the subject of each camera Cam1 and Cam2 at each point of the imaging target area on the projection surface.
(すなわち、各画素)
 図5において、被写体は人物である。点(x,y,z)におけるカメラCam1の伸び率kであるk(x,y,z)Cam1、及び点(x,y,z)におけるカメラCam2の伸び率kであるk(x,y,z)Cam2は、以下の式(1)及び(2)で表される。
(That is, each pixel)
In FIG. 5, the subject is a person. The elongation rate k of the camera Cam1 at the point (x, y, z) is k (x, y, z) Cam1 , and the elongation rate k of the camera Cam2 at the point (x, y, z) is k (x, y). , Z) Cam2 is represented by the following equations (1) and (2).
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000001
 ここで、Length(AC)は、点Aと点Cとの間の距離すなわち投影面上の投影画像における被写体の長さを示す。また、Length(BD)は、点Bと点Dとの間の距離すなわち投影面上の投影画像における被写体の長さを示す。また、Hは、現実の被写体の高さを示す。なお、k(x,y,z)Cam1、はkとも表記され、k(x,y,z)Cam2はkとも表記される。なお、伸び率kは、各カメラについての投影画像における各画素について算出される。また、伸び率kは、カメラが撮影する画像の中心である画像中心から離れるほど大きな値になり、画像の歪みも大きくなる。 Here, Length (AC) indicates the distance between the points A and C, that is, the length of the subject in the projected image on the projection surface. Further, Length (BD) indicates the distance between the points B and D, that is, the length of the subject in the projected image on the projection surface. Further, H indicates the height of the actual subject. Incidentally, k (x, y, z ) Cam1, is denoted both k 1, k (x, y , z) Cam2 are denoted both k 2. The elongation rate k is calculated for each pixel in the projected image for each camera. Further, the elongation rate k becomes larger as the distance from the center of the image, which is the center of the image captured by the camera, increases, and the distortion of the image also increases.
 複数のカメラのうちの伸び率kが小さいカメラを選択することによって、合成画像上における被写体の伸びを小さくすることができ、その結果、画質の低下を抑制することができる。 By selecting a camera having a small elongation rate k from among a plurality of cameras, the elongation of the subject on the composite image can be reduced, and as a result, deterioration of the image quality can be suppressed.
 参照テーブル作成部103は、式(1)及び(2)で、各カメラCam1、Cam2の画素ごとに算出された伸び率kを用いて、自動的にカメラCam1、Cam2の投影範囲とカメラCam1、Cam2の重畳領域におけるα値を決定する。 The reference table creating unit 103 automatically uses the elongation rate k calculated for each pixel of each camera Cam1 and Cam2 in the equations (1) and (2) to automatically set the projection range of the cameras Cam1 and Cam2 and the camera Cam1. The α value in the superimposed region of Cam2 is determined.
〈画像処理装置10の動作〉
 次に、本実施の形態に係る画像処理装置10の動作について説明する。ここでは、カメラが2台のカメラCam1、Cam2である場合の動作について説明する。画像処理装置10が行う処理は、カメラパラメータ及び伸び率kの取得、参照テーブルの作成、及びカメラ画像の合成を含む。
<Operation of image processing device 10>
Next, the operation of the image processing device 10 according to the present embodiment will be described. Here, the operation when the cameras are two cameras Cam1 and Cam2 will be described. The processing performed by the image processing apparatus 10 includes acquisition of camera parameters and elongation rate k, creation of a reference table, and composition of camera images.
 カメラパラメータ入力部102は、各カメラCam1、Cam2の焦点距離及び画像中心などの情報を含む内部パラメータ(すなわち、カメラ固有パラメータ)、各カメラCam1、Cam2の位置姿勢情報を含む外部パラメータ(すなわち、カメラ位置姿勢パラメータ)、各カメラCam1、Cam2によって撮影されたカメラ画像におけるレンズ歪みを補正する歪み補正テーブル、被写体(例えば、人物)の各位置(x,y,z)における各カメラCam1、Cam2の被写体の伸び率kの値k、kの許容閾値kthと、カメラCam1の画素における被写体の伸び率kの値kとカメラCam2の画素における被写体の伸び率kの値kの差分Sub(=|k-k|)の許容値を示す差分閾値Subthなどの各種のパラメータを取得する。ここでは、カメラパラメータ入力部102がメモリ12(図1)上にある設定ファイルなどから各種のパラメータを読み込む例を挙げているが、各種のパラメータ入力は、設定ファイルからの読み込みに限定されず、通信可能な外部の装置から提供されてもよい。 The camera parameter input unit 102 includes internal parameters (that is, camera-specific parameters) including information such as the focal distance and image center of each camera Cam1 and Cam2, and external parameters (that is, cameras) including position / orientation information of each camera Cam1 and Cam2. Position / orientation parameter), a distortion correction table that corrects lens distortion in camera images taken by each camera Cam1 and Cam2, a subject of each camera Cam1 and Cam2 at each position (x, y, z) of a subject (for example, a person). acceptable threshold k th and, values of elongation k of the subject in elongation pixel values k 1 and the camera Cam2 of k of the object in the pixel of the camera Cam1 k 2 difference Sub of elongation k value k 1, k 2 (= | k 1 -k 2 | ) to obtain various parameters such as differential thresholds Sub th showing the tolerance. Here, an example is given in which the camera parameter input unit 102 reads various parameters from a setting file or the like on the memory 12 (FIG. 1), but various parameter inputs are not limited to reading from the setting file. It may be provided by an external device capable of communicating.
 図6は、画像処理装置10の参照テーブル作成部103によって実行される参照テーブルの作成処理を示すフローチャートである。まず、参照テーブル作成部103は、作成される合成画像の各画素(xsyn,ysyn)に対応する、各カメラCam1、Cam2の対応画素(xcam,ycam)のα値を示す参照テーブルを作成する(ステップS10)。例えば、複数のカメラが2台のカメラCam1、Cam2である場合、参照テーブル作成部103は、合成画像の画素(xsyn,ysyn)ごとに、カメラCam1の対応画素(xcam1,ycam1)のα値、カメラCam2の対応画素(xcam2,ycam2)のα値を決定する。 FIG. 6 is a flowchart showing a reference table creation process executed by the reference table creation unit 103 of the image processing device 10. First, the reference table creation unit 103 is a reference table showing α values of the corresponding pixels (x cam , y cam ) of the cameras Cam1 and Cam2 corresponding to each pixel (x syn , y syn) of the created composite image. Is created (step S10). For example, if multiple cameras are two cameras Cam1, Cam2, see table creating unit 103, a pixel of the composite image (x syn, y syn) for each corresponding pixel of the camera Cam1 (x cam1, y cam1) The α value of, and the α value of the corresponding pixel (x cam2 , y cam2 ) of the camera Cam2 are determined.
 参照テーブル作成部103は、合成画像の各画素(xsyn,ysyn)に対して以下の処理(ステップS11~S14)を繰り返す。まず、参照テーブル作成部103は、合成画像の各画素に対応する各カメラCam1、Cam2の対応画素のα値を示す参照テーブルを用いて、合成画像の画素として使用される対応画素を撮影した1台以上のカメラを選択(すなわち、抽出)する(ステップS11)。 The reference table creation unit 103 repeats the following processes (steps S11 to S14) for each pixel (x sync , y sync) of the composite image. First, the reference table creation unit 103 photographs the corresponding pixels used as the pixels of the composite image by using the reference table showing the α values of the corresponding pixels of the cameras Cam1 and Cam2 corresponding to the pixels of the composite image1. Select (ie, extract) more than one camera (step S11).
 次に、参照テーブル作成部103は、ステップS11で抽出されたカメラが1台のカメラである場合(ステップS12においてYESの場合)、抽出された1台のカメラの投影画像の各画素における被写体の伸び率kが許容閾値kthよりも大きいか否かを判定し、被写体の伸び率kが許容閾値kthよりも大きい場合(k>kthである場合)はα値を0とし、該当カメラの画素における被写体の伸び率kが許容閾値kth以下である場合(k≦kthである場合)はα値を1とする。 Next, when the camera extracted in step S11 is one camera (YES in step S12), the reference table creation unit 103 describes the subject in each pixel of the projected image of the extracted one camera. determines whether elongation k is greater than the allowable threshold value k th, (if it is k> k th) when the elongation ratio k of the object is greater than the allowable threshold k th is set to 0 the α value, the corresponding camera If elongation k of the object in pixels is equal to or less than the allowable threshold value k th (if a k ≦ k th) is set to 1 the α value.
 参照テーブル作成部103は、ステップS11で抽出されたカメラが2台以上のカメラである場合(ステップS12においてNOの場合)、被写体の伸び率kの最も低い値kを持つカメラと、被写体の伸び率kが2番目に低い値kを持つカメラを抽出する(ステップS13)。被写体の伸び率kの最も低い値kを持つカメラを、「カメラA1」と表記し、被写体の伸び率kが2番目に低い値kを持つカメラを、「カメラA2」と表記する。 See table creation unit 103 (NO in step S12) when the camera extracted in step S11 is two or more cameras, and camera with the lowest value k 1 of elongation k of the object, the object A camera having the second lowest elongation rate k 2 is extracted (step S13). The camera having the lowest value k 1 of the subject elongation rate k is referred to as "camera A1", and the camera having the second lowest value k 2 of the subject elongation rate k is referred to as "camera A2".
 参照テーブル作成部103は、ステップS13で抽出した2台のカメラの被写体の画素ごとの伸び率kの値k、kの差分Subが予め決められた差分閾値Subthより大きい場合(Sub>Subthである場合)はα値を0とし、伸び率k、kの差分Subが差分閾値Subth以下である場合(Sub≦Subthである場合)はα値を1とする。これらの処理によって、参照テーブル作成部103は、合成画像における重畳領域であるブレンド領域を決定する。 The reference table creation unit 103 is in the case where the difference Sub of the values k 1 and k 2 of the elongation rate k for each pixel of the subjects of the two cameras extracted in step S13 is larger than the predetermined difference threshold Sub th (Sub>. If a Sub th) is set to 0 the α value, if the difference Sub elongation k 1, k 2 is a case where less difference threshold Sub th (Sub ≦ Sub th) is set to 1 the α value. Through these processes, the reference table creation unit 103 determines the blend region, which is the superimposed region in the composite image.
 次に、参照テーブル作成部103は、決定したブレンド領域においてアルファブレンド処理を適用し、α値の参照テーブルを作成する(ステップS14)。アルファブレンド処理では、2枚の画像の合成を行う際に、合成画像の画素値を2枚の元画像の画素値の重みつき平均によって算出する。 Next, the reference table creation unit 103 applies the alpha blend process to the determined blend region to create a reference table for the α value (step S14). In the alpha blend process, when synthesizing two images, the pixel value of the composite image is calculated by the weighted average of the pixel values of the two original images.
 図7は、画像処理装置10の画像取得部101によって実行される合成画像の作成処理を示すフローチャートである。 FIG. 7 is a flowchart showing a composite image creation process executed by the image acquisition unit 101 of the image processing device 10.
 画像取得部101は、カメラ画像をデコードし、RAW画像データを取得する。RAW画像データは、画像が圧縮していない画像データである。例えば、カメラCam1、Cam2からH.264形式で圧縮符号化された画像がストリーミング配信されている場合、画像取得部101は、H.264に対応するデコードを行うことで、RGBA32ビットのRAW画像データを取得する。RGBAは、Red、Green、Blueの3色に加えてα値の情報を持つ画像データである。なお、ここでは、RGBAを例として挙げているが、画像データの形式は、RGBAに限定されない。 The image acquisition unit 101 decodes the camera image and acquires the RAW image data. The RAW image data is image data in which the image is not compressed. For example, cameras Cam1, Cam2 to H.M. When the image compressed and encoded in the 264 format is streamed, the image acquisition unit 101 may perform the H.A. By performing decoding corresponding to 264, RGBA 32-bit RAW image data is acquired. RGBA is image data having α value information in addition to the three colors of Red, Green, and Blue. Although RGBA is taken as an example here, the format of the image data is not limited to RGBA.
 合成処理部104は、カメラ画像に対して歪み補正と俯瞰変換を行い(ステップS20)、参照テーブル作成部103で作成した参照テーブルのα値を用いて射影投影を行い、合成画像としての俯瞰合成画像を作成する(ステップS21)。表示制御部105は、合成処理部104で作成した合成画像を表示装置20送信する(ステップS22)。 The composition processing unit 104 performs distortion correction and bird's-eye view conversion on the camera image (step S20), performs projection projection using the α value of the reference table created by the reference table creation unit 103, and synthesizes the bird's-eye view as a composite image. Create an image (step S21). The display control unit 105 transmits the composite image created by the composite processing unit 104 to the display device 20 (step S22).
〈画像処理装置10の効果〉
 以上に説明したように、本実施の形態の画像処理装置及び画像処理方法で設定するパラメータは、カメラの台数によらず、許容閾値kthと伸び率の差分閾値Subthを設定することで、シームレスな合成画像を自動的に作成することが可能である。
<Effect of image processing device 10>
As described above, the parameters set by the image processing apparatus and image processing method of the present embodiment, regardless of the number of cameras, by setting the difference threshold Sub th tolerance threshold k th and elongation, It is possible to automatically create a seamless composite image.
 また、合成画像上における被写体の伸び率kに応じた、投影領域及び重畳領域(つまり、ブレンド領域)を決定することで、監視者の視認性を確保すると共に画像合成システムの設置時に必要となる作業を軽減することができる。 Further, by determining the projection area and the superimposition area (that is, the blend area) according to the elongation rate k of the subject on the composite image, the visibility of the observer is ensured and it is necessary when installing the image composition system. Work can be reduced.
 10 画像処理装置、 20 表示装置、 101 画像取得部、 102 カメラパラメータ入力部、 103 参照テーブル作成部、 104 合成処理部、 105 表示制御部、 Cam1、Cam2 カメラ、 I1、I2 カメラ画像。 10 image processing device, 20 display device, 101 image acquisition unit, 102 camera parameter input unit, 103 reference table creation unit, 104 composition processing unit, 105 display control unit, Cam1, Cam2 camera, I1, I2 camera image.

Claims (7)

  1.  複数の撮像装置によってそれぞれ撮影された複数の撮像画像に基づいて合成画像を生成する画像処理装置であって、
     前記複数の撮像装置のカメラパラメータ、前記複数の撮像装置によって撮影された被写体を予め決められた投影面に投影して得られた複数の投影画像における前記被写体の伸び率の許容値を示す許容閾値、及び前記複数の投影画像の内の隣り合う投影画像における前記伸び率の差分の許容値を示す差分閾値を取得するカメラパラメータ入力部と、
     前記カメラパラメータ、前記許容閾値、及び前記差分閾値を用いて、前記複数の投影画像の投影範囲と前記複数の投影画像の内の隣り合う投影画像が重なり合う部分であるブレンド領域とを決定し、前記ブレンド領域における前記合成画像の各画素と、前記ブレンド領域における前記合成画像の各画素に対応する前記複数の撮像装置の各々の画素である対応画素との関係を示す参照テーブルを作成する参照テーブル作成部と、
     前記参照テーブルを用いて前記隣り合う投影画像を接続する合成処理を行うことで前記合成画像を作成する合成処理部と、
     を有する画像処理装置。
    An image processing device that generates a composite image based on a plurality of captured images taken by a plurality of imaging devices.
    The camera parameters of the plurality of imaging devices, and the permissible threshold value indicating the permissible value of the elongation rate of the subject in the plurality of projected images obtained by projecting the subject photographed by the plurality of imaging devices onto a predetermined projection surface. , And a camera parameter input unit that acquires a difference threshold indicating the permissible value of the difference in the elongation rate in the adjacent projected images among the plurality of projected images.
    Using the camera parameters, the permissible threshold, and the difference threshold, the projection range of the plurality of projected images and the blend region which is a portion of the plurality of projected images where adjacent projected images overlap are determined. Creation of a reference table for creating a reference table showing the relationship between each pixel of the composite image in the blend region and the corresponding pixel which is each pixel of the plurality of imaging devices corresponding to each pixel of the composite image in the blend region. Department and
    A compositing processing unit that creates the compositing image by performing a compositing process of connecting the adjacent projection images using the reference table, and a compositing processing unit.
    An image processing device having.
  2.  前記カメラパラメータは、前記複数の撮像装置の各々の内部パラメータ及び外部パラメータを含む請求項1に記載の画像処理装置。 The image processing device according to claim 1, wherein the camera parameters include internal parameters and external parameters of each of the plurality of imaging devices.
  3.  前記伸び率は、前記複数の投影画像の各々における前記被写体の長さを現実の被写体の高さで除することで得られた値である請求項1又は2に記載の画像処理装置。 The image processing apparatus according to claim 1 or 2, wherein the elongation rate is a value obtained by dividing the length of the subject in each of the plurality of projected images by the height of the actual subject.
  4.  前記参照テーブル作成部は、
     前記複数の撮像装置から、前記合成画像の画素として投影される前記撮像画像を撮影した撮像装置を選択し、
     前記選択された撮像画像が1台の前記撮像装置によって撮影された撮像画像である場合には、前記投影画像の各画素における前記被写体の前記伸び率が許容閾値よりも大きいか否かを判定し、
     前記伸び率が前記許容閾値よりも大きい場合はα値を0とし、前記伸び率が前記許容閾値以下である場合はα値を1とする
     請求項1から3のいずれか1項に記載の画像処理装置。
    The reference table creation unit
    From the plurality of imaging devices, an imaging device that has captured the captured image projected as pixels of the composite image is selected.
    When the selected captured image is an captured image captured by one of the imaging devices, it is determined whether or not the elongation rate of the subject in each pixel of the projected image is larger than the allowable threshold value. ,
    The image according to any one of claims 1 to 3, wherein the α value is set to 0 when the elongation rate is larger than the allowable threshold value, and the α value is set to 1 when the elongation rate is equal to or less than the allowable threshold value. Processing equipment.
  5.  前記参照テーブル作成部は、
     前記複数の撮像装置から、前記合成画像の画素として投影される前記撮像画像を撮影した撮像装置を選択し、
     前記選択された撮像画像が2台以上の撮像画像である場合には、前記投影画像の各画素における前記被写体の前記伸び率のうちの最も低い値を持つ撮像装置と、前記被写体の前記伸び率が2番目に低い値を持つ撮像装置を抽出し、
     前記最も低い値と前記2番目に低い値の差分が前記差分閾値よりも大きいか否かを判定し、
     前記差分が前記差分閾値よりも大きい場合はα値を0とし、前記差分が前記差分閾値以下である場合はα値を1とする
     請求項1から4のいずれか1項に記載の画像処理装置。
    The reference table creation unit
    From the plurality of imaging devices, an imaging device that has captured the captured image projected as pixels of the composite image is selected.
    When the selected captured images are two or more captured images, the imaging device having the lowest value among the elongation rates of the subject in each pixel of the projected image and the elongation rate of the subject. Extracts the imager with the second lowest value
    It is determined whether or not the difference between the lowest value and the second lowest value is larger than the difference threshold value.
    The image processing apparatus according to any one of claims 1 to 4, wherein the α value is set to 0 when the difference is larger than the difference threshold value, and the α value is set to 1 when the difference is equal to or less than the difference threshold value. ..
  6.  複数の撮像装置によってそれぞれ撮影された複数の撮像画像に基づいて合成画像を生成する画像処理装置によって実行される画像処理方法であって、
     前記複数の撮像装置のカメラパラメータ、前記複数の撮像装置によって撮影された被写体を予め決められた投影面に投影して得られた複数の投影画像における前記被写体の伸び率の許容値を示す許容閾値、及び前記複数の投影画像の内の隣り合う投影画像における前記伸び率の差分の許容値を示す差分閾値を取得するステップと、
     前記カメラパラメータ、前記許容閾値、及び前記差分閾値を用いて、前記複数の投影画像の投影範囲と前記複数の投影画像の内の隣り合う投影画像が重なり合う部分であるブレンド領域とを決定し、前記ブレンド領域における前記合成画像の各画素と、前記ブレンド領域における前記合成画像の各画素に対応する前記複数の撮像装置の各々の画素である対応画素との関係を示す参照テーブルを作成するステップと、
     前記参照テーブルを用いて前記隣り合う投影画像を接続する合成処理を行うことで前記合成画像を作成するステップと、
     を有する画像処理方法。
    An image processing method executed by an image processing device that generates a composite image based on a plurality of captured images taken by a plurality of image pickup devices.
    The camera parameters of the plurality of image pickup devices, and the permissible threshold value indicating the permissible value of the elongation rate of the subject in the plurality of projected images obtained by projecting the subject photographed by the plurality of image pickup devices onto a predetermined projection surface. , And the step of acquiring a difference threshold indicating the permissible value of the difference in the elongation rate in the adjacent projected images among the plurality of projected images.
    Using the camera parameters, the permissible threshold, and the difference threshold, the projection range of the plurality of projected images and the blend region which is a portion of the plurality of projected images where adjacent projected images overlap are determined. A step of creating a reference table showing a relationship between each pixel of the composite image in the blend region and a corresponding pixel which is a pixel of each of the plurality of imaging devices corresponding to each pixel of the composite image in the blend region.
    A step of creating the composite image by performing a composite process of connecting the adjacent projection images using the reference table, and
    Image processing method having.
  7.  複数の撮像装置によってそれぞれ撮影された複数の撮像画像に基づいて合成画像を生成するコンピュータによって実行される画像処理プログラムであって、
     前記複数の撮像装置のカメラパラメータ、前記複数の撮像装置によって撮影された被写体を予め決められた投影面に投影して得られた複数の投影画像における前記被写体の伸び率の許容値を示す許容閾値、及び前記複数の投影画像の内の隣り合う投影画像における前記伸び率の差分の許容値を示す差分閾値を取得するステップと、
     前記カメラパラメータ、前記許容閾値、及び前記差分閾値を用いて、前記複数の投影画像の投影範囲と前記複数の投影画像の内の隣り合う投影画像が重なり合う部分であるブレンド領域とを決定し、前記ブレンド領域における前記合成画像の各画素と、前記ブレンド領域における前記合成画像の各画素に対応する前記複数の撮像装置の各々の画素である対応画素との関係を示す参照テーブルを作成するステップと、
     前記参照テーブルを用いて前記隣り合う投影画像を接続する合成処理を行うことで前記合成画像を作成するステップと、
     をコンピュータに実行させる画像処理プログラム。
    An image processing program executed by a computer that generates a composite image based on a plurality of captured images taken by a plurality of imaging devices.
    The camera parameters of the plurality of image pickup devices, and the permissible threshold value indicating the permissible value of the elongation rate of the subject in the plurality of projected images obtained by projecting the subject photographed by the plurality of image pickup devices onto a predetermined projection surface. , And the step of acquiring a difference threshold indicating the permissible value of the difference in the elongation rate in the adjacent projected images among the plurality of projected images.
    Using the camera parameters, the permissible threshold, and the difference threshold, the projection range of the plurality of projected images and the blend region which is a portion of the plurality of projected images where adjacent projected images overlap are determined. A step of creating a reference table showing a relationship between each pixel of the composite image in the blend region and a corresponding pixel which is a pixel of each of the plurality of imaging devices corresponding to each pixel of the composite image in the blend region.
    A step of creating the composite image by performing a composite process of connecting the adjacent projection images using the reference table, and
    An image processing program that causes a computer to execute.
PCT/JP2020/013351 2020-03-25 2020-03-25 Image processing device, image processing method, and image processing program WO2021192096A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/013351 WO2021192096A1 (en) 2020-03-25 2020-03-25 Image processing device, image processing method, and image processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021575900A JP7038935B2 (en) 2020-03-25 2020-03-25 Image processing device, image processing method, and image processing program
PCT/JP2020/013351 WO2021192096A1 (en) 2020-03-25 2020-03-25 Image processing device, image processing method, and image processing program

Publications (1)

Publication Number Publication Date
WO2021192096A1 true WO2021192096A1 (en) 2021-09-30

Family

ID=77890021

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/013351 WO2021192096A1 (en) 2020-03-25 2020-03-25 Image processing device, image processing method, and image processing program

Country Status (2)

Country Link
JP (1) JP7038935B2 (en)
WO (1) WO2021192096A1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014090349A (en) * 2012-10-31 2014-05-15 Clarion Co Ltd Image processing system and image processing method
JP2015192198A (en) * 2014-03-27 2015-11-02 クラリオン株式会社 Video display device and video display system
WO2018087856A1 (en) * 2016-11-10 2018-05-17 三菱電機株式会社 Image synthesis device and image synthesis method
JP2019168967A (en) * 2018-03-23 2019-10-03 キヤノン株式会社 Imaging device, image processing device, image processing method, and program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014090349A (en) * 2012-10-31 2014-05-15 Clarion Co Ltd Image processing system and image processing method
JP2015192198A (en) * 2014-03-27 2015-11-02 クラリオン株式会社 Video display device and video display system
WO2018087856A1 (en) * 2016-11-10 2018-05-17 三菱電機株式会社 Image synthesis device and image synthesis method
JP2019168967A (en) * 2018-03-23 2019-10-03 キヤノン株式会社 Imaging device, image processing device, image processing method, and program

Also Published As

Publication number Publication date
JPWO2021192096A1 (en) 2021-09-30
JP7038935B2 (en) 2022-03-18

Similar Documents

Publication Publication Date Title
JP5413002B2 (en) Imaging apparatus and method, and program
US8797462B2 (en) Image processing apparatus and image processing method
JP4631558B2 (en) Imaging apparatus and image processing program
JP2009124685A (en) Method and system for combining videos for display in real-time
JP4806476B2 (en) Image processing apparatus, image generation system, method, and program
JP6317577B2 (en) Video signal processing apparatus and control method thereof
JP6361931B2 (en) Image processing apparatus, imaging system including the same, and image processing method
US10521891B2 (en) Image processing apparatus, system, image processing method, and non-transitory recording medium
JP4793449B2 (en) Network video composition display system
JP5195841B2 (en) On-vehicle camera device and vehicle
JP5411786B2 (en) Image capturing apparatus and image integration program
JP4862321B2 (en) In-vehicle camera device
JP2013029995A (en) Imaging system
TWI740048B (en) A multi-sensor video camera, and a method and processing pipeline for the same
JP2018186514A (en) Image processing device, imaging system having the same and image processing method
WO2021192096A1 (en) Image processing device, image processing method, and image processing program
US20100315530A1 (en) Method for performing digital processing on an image signal output from ccd image sensors
JP5733588B2 (en) Image processing apparatus and method, and program
JP2006165664A (en) Image transmission/reception system
JP2015211302A (en) Imaging apparatus and imaging system
JP5004680B2 (en) Image processing apparatus, image processing method, video conference system, video conference method, program, and recording medium
JPH08305841A (en) Distorted image correcting display device
JP2006197098A (en) Image transmission system of network camera
KR102314478B1 (en) Method and apparatus for monitoring moving picture using omni-directional multi-camera
JPH07222052A (en) Method for separating paper material area from picked-up image and remote presentation method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20927559

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021575900

Country of ref document: JP

Kind code of ref document: A