WO2006092961A1 - 画像生成方法、物体検出方法、物体検出装置および画像生成プログラム - Google Patents

画像生成方法、物体検出方法、物体検出装置および画像生成プログラム Download PDF

Info

Publication number
WO2006092961A1
WO2006092961A1 PCT/JP2006/302731 JP2006302731W WO2006092961A1 WO 2006092961 A1 WO2006092961 A1 WO 2006092961A1 JP 2006302731 W JP2006302731 W JP 2006302731W WO 2006092961 A1 WO2006092961 A1 WO 2006092961A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
images
target image
group
panoramic
Prior art date
Application number
PCT/JP2006/302731
Other languages
English (en)
French (fr)
Inventor
Kazutoyo Takata
Kunio Nobori
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to JP2006519019A priority Critical patent/JP3882005B2/ja
Priority to US11/503,891 priority patent/US7747104B2/en
Publication of WO2006092961A1 publication Critical patent/WO2006092961A1/ja

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images

Definitions

  • FIG. 2 is a diagram showing a coordinate system that defines the position and orientation of a camera.
  • the image generation method of the first aspect A step of generating the predicted background image for the detection target image as the target image, and a step of comparing the detection target image with the predicted background image and detecting an object photographed in the detection target image. Provide what you have.
  • N N is an integer of 3 or more image groups having a common imaging range using a plurality of images stored in the captured image storage unit as the object detection device.
  • a small-area panoramic image group generation unit configured to generate a small-area panoramic image group that includes a plurality of common partially-overlapping areas and in which each image is independent in each partially-overlapping area;
  • a detection background image having the same light source environment as the detection target image is generated using the detection target image and the small region panoramic image group for the detection target image obtained by capturing at least a part of the range, and the detection
  • an object detection unit that compares a target image with the predicted background image and includes an object detection unit that detects an object photographed in the detection target image.
  • Examples of pre-planned shooting plans include moving the camera from the starting point (XO, YO, ZO, ⁇ 0, ⁇ 0) to the positive direction of ⁇ according to a constant velocity motion of angular velocity 0.1 l [u zrad]. It is.
  • f is a function that converts the captured image coordinate system (i, j) force to the panoramic projection plane coordinate system (u, V) that is projected onto the cylindrical coordinate system
  • f is the camera's sent from the imaging unit 101. It is expressed by the following equation using position / posture information.
  • the conversion from the captured image coordinate system (i, j) to the panorama projection plane coordinate system (u, V) may be performed using a spherical coordinate system instead of the cylindrical coordinate system. Also, if the pan / tilt angle is small! /, Use the plane coordinate system for projection.
  • the captured image storage unit 103 stores the image corrected by the captured image correction unit 102 and the camera position 'orientation information in a storage medium.
  • the storage medium is realized by, for example, a memory, a hard disk, a film, or the like.
  • the small area panoramic image group generation / synthesis unit 104 generates a small area panoramic image group from a plurality of images stored in the captured image storage unit 103 in advance.
  • This small region panoramic image group is an image group for generating a predicted background image for the detection target image in later processing.
  • the small area panoramic image group is defined as “a set of overlapping areas of N (N is an integer of 3 or more) images that are independent of each other in a desired photographing range”.
  • the small area panoramic image group is a group of N (N is an integer of 3 or more) images having a common imaging range, and has a plurality of common partial overlapping area forces and each partial overlapping area. In the region, the images are independent of each other. Note that having independence means that in the partial overlap area,
  • each image there are N or more pixels with different normal directions.
  • FIG. 4 is a schematic diagram showing the above-described partial overlap region.
  • region 1 1 (There are three or more pixels with different light source directions and different normal directions), and overlap in region 1 1 (partially overlapping region).
  • FIG. 5 is a diagram showing an example of a small area panoramic image group.
  • the number of images N in the small area panorama image group is 3.
  • the image I P , I P , I P composed of 3 sheets is the floor as background
  • step S 11 one arbitrary image is selected from the images stored in the captured image storage unit 103.
  • step S12 an area where N images including the selected image overlap is selected as a partial overlap area from the area of the image selected in step S11, as shown in FIG. .
  • the number N of overlapping images is set to 3.
  • the method for determining the number N of duplicate images will be described later.
  • the overlapping area of each image may be detected using the coordinate value of each image in the panorama projection plane coordinate system (u, V).
  • step S13 the independence of the three overlapping images in the partially overlapping region selected in step S12 is determined.
  • the process proceeds to step S15, and this partial overlap area is stored.
  • FIG. 7 is a diagram conceptually showing the process of step S15.
  • the captured images I 1, 1, 1 overlap in the partial overlap region 51 within the desired imaging range 50 indicated by the broken line.
  • Each captured image I, I, I force in this partially overlapping region 51 is a small region panora
  • Ma image I p are stored as part of the I p. That is, the partially overlapping area 5 of the captured image I
  • step S13 the process proceeds to step S14, and the image set selected in step S12 is the image set selected in step S11. Select partially overlapping areas with different image sets. Then, in step S13, the independence is determined again.
  • FIG. 8 is a diagram conceptually showing the process of step S14. As shown in FIG. 8, an image I is selected in step S11, and a partial overlapping region 61 with images I and I is selected in step S12.
  • step S13 if it is determined in step S13 that the image sets I, 1 and 1 in the partial overlap region 61 are not independent, a different image set I
  • the determination of independence in step S13 is, for example, selecting one image having an area overlapping the selected partial overlap area (hereinafter referred to as an independence determination image) and obtaining a linear coefficient for the independence determination image. Can be done. This method will be described in detail below.
  • FIG. 9 is a schematic diagram showing the relationship between the partial overlap region and the independence determination image.
  • the image group I 1, 1, 1 having the partial overlap region 11 shown in FIG. 4 overlaps with the partial overlap region 11.
  • the linear coefficient calculation area only needs to include at least three pixels.
  • the linear coefficient is calculated using the Shash ua method ("Snashua A., 'ueometry and Photometry in 3D Visual Recognition, PD. Thesis, Dept. Brain and Cognitive Science, MIT, 1992 ”) [This is based!
  • Shashua shows that an image in any light source direction can be expressed by linear combination of three images with different light source directions by assuming that the parallel light source and the subject surface are all completely diffuse reflecting surfaces. .
  • the vector representation of three images with different light source directions is I, I, I
  • c [c 1 c 2 c 3 ] T is calculated as a linear coefficient for the image I.
  • three pixel coordinates are set for four images I 1, 1, 1, 1.
  • the partial overlap area of each selected image! Calculate the linear coefficient by calculating (Equation 1).
  • the three images selected in step S12 are defined as I, I, I, and the independence determination image newly selected in step S13 is defined as I.
  • ⁇ In any image, two or more of the selected three pixels have the same normal direction. ⁇ At least two images have the same light source environment.
  • the luminance error refers to the luminance error between the ideal background image captured in the same light source environment as the detection target image and the generated predicted background image.
  • each image of the selected partially overlapping area has three pixels with different light source directions and different normal directions on the subject surface. This satisfies the condition that it exists.
  • a highly independent image group is used to generate a predicted background image for the detection target image, it is possible to suppress a luminance error to be small.
  • the number N of image groups having partially overlapping areas may be set to 3.
  • the diffuse reflection pixel refers to a pixel that behaves as in (Equation 2).
  • step S13 a linear coefficient is calculated using an independence determination image having an area overlapping with the selected partial overlap area, and the presence or absence of D- 1 in (Equation 1)
  • An example in which independence is determined based on the condition number of D has been described. However, the same If it is processing using the standard, it is possible to use other methods.
  • step S14 If the criterion is not satisfied, it is determined that there is no independence, and the partial overlap region may be reselected in step S14. Thereby, it is possible to determine the independence without newly selecting an independence determination image.
  • step S 16 it is determined whether or not the partial overlap region force stored so far exists in the entire region of the desired imaging range. If it is still present in all the areas and it is determined that there is no! / ((No in S16), select any image in the area where there is no partial overlap area (Step S17), and go to Step S12. Return and repeat the process as described above.
  • a specific determination method in step S16 for example, when the number of pixels of the expanded image becomes the number of pixels for the entire region of the desired imaging range, a set of independent partial overlapping regions is the entire region. If you decide to exist,
  • points P 1, P 2, and P are selected in a region where 2 is reflected).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

　小領域パノラマ画像群（Ｉ1 P，Ｉ2 P，Ｉ3 P）を、予め生成する。小領域パノラマ画像群（Ｉ1 P，Ｉ2 P，Ｉ3 P）は、共通の撮像範囲を持っており、複数の共通の部分重複領域（Ａ，Ｂ，Ｃ，Ｄ）からなり、かつ、各部分重複領域（Ａ，Ｂ，Ｃ，Ｄ）において、各画像が互いに独立性を有している。この小領域パノラマ画像群（Ｉ1 P，Ｉ2 P，Ｉ3 P）を用いて、撮像した対象画像と光源環境が同一の予測背景画像を生成する。

Description

明 細 書
画像生成方法、物体検出方法、物体検出装置および画像生成プログラム 技術分野
[0001] 本発明は、光源環境やカメラの撮像角度が変化する環境下において、予め撮像さ れた画像を用いて、現在撮像された画像の予測背景画像を作成する技術、および、 この予測背景画像を利用して、撮像画像から物体を検出する技術に関する。
背景技術
[0002] パンチルト (PT)カメラ等を用いて物体検出を行う方法としては、撮像された複数枚 の画角の異なる画像から 1枚の大きなパノラマ画像を合成し、合成されたパノラマ画 像を予測背景画像として用いて背景差分等の画像処理を行う方法が有効である。
[0003] このような予測背景画像に関する従来技術として、例えば特許文献 1では、カメラの 位置、姿勢、および入力画像対力 画像解析によって動きベクトルを求め、その動き ベクトルに基づいてカメラパラメータを算出し、算出したカメラパラメータに従って画像 を貼り合せてパノラマ画像合成を行う方法が開示されている。この方法により、各画 像間での正確な位置合わせを行うことができ、位置歪の少な!/、予測背景画像を合成 することができるので、この予測背景画像を用いることで物体検出を行うことが可能と なる。
特許文献 1：特開 2002— 150264号公報
発明の開示
発明が解決しょうとする課題
[0004] しカゝしながら、上述の従来技術では、予測背景画像合成に用いる画像を撮像して いる間に光源の位置、方向、強さ、個数などの光源環境に変化が生じた場合、生成 される予測背景画像は、部分ごとに光源環境が異なる、すなわち光源環境が同一で ない予測背景画像になるという問題がある。さらに、このような光源環境が同一でない 予測背景画像を背景として用いて背景差分を行った場合、物体検出を行 ヽた ヽ画 像 (以下、検出対象画像)の背景領域と、検出対象画像に対する背景画像の背景領 域の輝度値が異なるため、検出すべき物体以外の領域があやまって物体として検出 されてしまい、検出精度は大きく低下するという別の問題がある。また、予測背景画像 を合成した後に光源環境に変化が生じた場合も、検出対象画像と予測背景画像とで 光源環境が大きく異なるので、背景差分による物体検出の精度は大きく低下するとい う別の問題がある。
[0005] このような光源環境の変化に起因する問題は、例えば屋外での物体検出を行う場 合には特に顕著となり、実際のシステムとして適用するためには、これらの問題を解 消する必要がある。
[0006] 前記の問題に鑑み、本発明は、例えば光源環境に変化が生じた場合においても物 体検出を可能にすべぐ撮像された対象画像に対して光源環境が同一の予測背景 画像を、生成可能にすることを目的とする。
課題を解決するための手段
[0007] 前記の課題を解決するために、本発明は、画像生成方法として、いわゆる小領域 パノラマ画像群を生成し、撮像された対象画像に対して、生成した小領域パノラマ画 像群を用いて、対象画像と光源環境が同一の予測背景画像を生成するものである。 ここで、「小領域パノラマ画像群」とは、共通の撮像範囲を持つ N (Nは 3以上の整数） 枚の画像群であって、複数の共通の部分重複領域力 なり、かつ、各部分重複領域 にお 、て、各画像が互いに独立性を有するもののことを 、う。
[0008] 本発明によると、生成された小領域パノラマ画像群では、各部分重複領域にぉ ヽて 、各画像が互いに独立性を有している。このため、小領域パノラマ画像群の撮像範 囲内を撮した対象画像に関しては、この対象画像に属する部分重複領域毎に線形 化処理を行うことによって、光源環境が同一の予測背景画像を生成することができる 。すなわち、任意の光源環境下において、撮像された対象画像に対して光源環境が 同一の予測背景画像を、生成することができる。したがって、任意の光源環境におい て撮影した画像から、物体検出を精度良く行うことができる。
[0009] また、本発明は、物体検出方法として、前記本発明に係る画像生成方法によって、 検出対象画像に対する予測背景画像を生成し、検出対象画像と予測背景画像とを 対比し、検出対象画像に撮された物体を検出するものである。
発明の効果 [0010] 本発明によると、予め生成された小領域パノラマ画像群を用いて、現在任意の光源 環境下で撮像された画像に対して、光源環境が同一の予測背景画像を生成すること ができる。また、任意撮像方向で撮像された画像に対して、光源環境が同一の予測 背景画像を生成することができる。また、任意の光源環境において撮影した画像から 、予測背景画像を利用して、物体検出を精度良く行うことができる。
図面の簡単な説明
[0011] [図 1]図 1は、本発明の第 1の実施形態に係る画像生成方法を用いた物体検出装置 の構成図である。
[図 2]図 2は、カメラの位置 ·姿勢を定義する座標系を示す図である。
[図 3]図 3は、ノ Vラマ投影面座標系への座標変換方法を示す図である。
[図 4]図 4は、部分重複領域の例を示す模式図である。
[図 5]図 5は、小領域パノラマ画像群の一例を示す図である。
[図 6]図 6は、小領域パノラマ画像群を生成する処理を示すフローチャートである。
[図 7]図 7は、部分重複領域を記憶する処理を示す概念図である。
[図 8]図 8は、部分重複領域の再選択を行う処理を示す概念図である。
[図 9]図 9は、部分重複領域と独立判定画像との関係を示す模式図である。
[図 10]図 10は、線形化係数の算出方法を説明するための図である。
[図 11]図 11は、部分重複領域が存在しない領域において、画像の再選択を行う処 理を示す概念図である。
[図 12]図 12は、検出対象画像の撮像の様子を示す図である。
[図 13]図 13は、予測背景画像を生成する方法を示す図である。
[図 14]図 14は、予測背景画像を用いた物体検出を行う方法を示す図である。
[図 15]図 15は、本発明の一実施形態に係る画像生成方法および物体検出方法を示 すフローチャートである。 符号の説明
[0012] 11, 51 部分重複領域
I P, I P, I P小領域パノラマ画像
1 2 3
I 検出対象画像 in E 予測背景画像
101 撮像部
102 撮像画像補正部
103 撮像画像記憶部
104 小領域パノラマ画像群合成部
105 小領域パノラマ画像群記憶部
106 物体検出部
107 検出物体表示部
発明を実施するための最良の形態
[0013] 本発明の第 1態様では、画像生成方法として、共通の撮像範囲を持つ N (Nは 3以 上の整数)枚の画像群であって、複数の共通の部分重複領域力 なり、かつ、各部 分重複領域において各画像が互いに独立性を有する小領域パノラマ画像群を生成 する第 1のステップと、前記撮像範囲の少なくとも一部を撮像した対象画像に対して、 前記対象画像および前記小領域パノラマ画像群を用いて、前記対象画像と光源環 境が同一の予測背景画像を生成する第 2のステップとを備えたものを提供する。
[0014] 本発明の第 2態様では、前記第 1のステップは、複数枚の原画像から重複領域を有 する N枚の画像を選択するステップと、選択した前記 N枚の画像について、前記重複 領域における独立性を判定するステップと、独立性があると判定したときは、前記 N 枚の画像の前記重複領域における部分を、前記小領域パノラマ画像群の部分重複 領域における画像として記憶するステップと、独立性がないと判定したときは、重複領 域を有する N枚の画像の再選択を行うステップとを備えている第 1態様の画像生成方 法を提供する。
[0015] 本発明の第 3態様では、前記第 2のステップは、前記対象画像が複数の部分重複 領域に跨るとき、前記対象画像に含まれる部分重複領域毎に、前記対象画像および 前記小領域パノラマ画像群を用いて、前記対象画像に対する線形係数を算出するス テツプと、算出した線形係数と前記小領域パノラマ画像群とを用いて、予測背景画像 を生成するステップとを備えている第 1態様の画像生成方法を提供する。
[0016] 本発明の第 4態様では、物体検出方法として、第 1態様の画像生成方法によって、 前記対象画像としての検出対象画像に対する前記予測背景画像を生成するステツ プと、前記検出対象画像と前記予測背景画像とを対比し、前記検出対象画像に撮さ れた物体を検出するステップとを備えたものを提供する。
[0017] 本発明の第 5態様では、物体検出装置として、撮像画像記憶部に記憶された複数 の画像を用いて、共通の撮像範囲を持つ N (Nは 3以上の整数)枚の画像群であって 、複数の共通の部分重複領域からなり、かつ、各部分重複領域において各画像が互 いに独立性を有する小領域パノラマ画像群を生成する小領域パノラマ画像群生成部 と、前記撮像範囲の少なくとも一部を撮像した検出対象画像に対して、前記検出対 象画像および前記小領域パノラマ画像群を用いて、前記検出対象画像と光源環境 が同一の予測背景画像を生成し、前記検出対象画像と前記予測背景画像とを対比 し、前記検出対象画像に撮された物体を検出する物体検出部とを備えたものを提供 する。
[0018] 本発明の第 6態様では、コンピュータに画像生成を実行させるためのプログラムとし て、共通の撮像範囲を持つ N (Nは 3以上の整数)枚の画像群であって、複数の共通 の部分重複領域力 なり、かつ、各部分重複領域において各画像が互いに独立性 を有する小領域パノラマ画像群を生成する第 1のステップと、前記撮像範囲の少なく とも一部を撮像した対象画像に対して、前記対象画像および前記小領域パノラマ画 像群を用いて、前記対象画像と光源環境が同一の予測背景画像を生成する第 2の ステップとをコンピュータに実行させるものを提供する。
[0019] 以下、本発明の実施の形態について、図面を参照しつつ、説明する。
[0020] (第 1の実施形態）
図 1は本発明の第 1の実施形態に係る画像生成方法を用いた物体検出装置の構 成図である。図 1において、 101は画像を撮像する撮像部、 102は撮像部 101によつ て撮像された画像に対して補正を行う撮像画像補正部、 103は撮像画像補正部 10 2を用いて補正した画像を記憶する撮像画像記憶部、 104は撮像画像記憶部 103 に記憶された画像から、小領域パノラマ画像群を生成する小領域パノラマ画像群生 成部、 105は小領域パノラマ画像群生成部 104によって生成された小領域パノラマ 画像群を記憶する小領域パノラマ画像群記憶部、 106は撮像部 101によって撮像さ れ、撮像画像補正部 102によって補正された対象画像としての検出対象画像と、小 領域パノラマ画像群記憶部 105に記憶された小領域パノラマ画像群とを用いて、物 体検出を行う物体検出部、 107は物体検出部 106によって検出された物体領域を表 示する検出物体表示部である。
[0021] 図 1の物体検出装置は、撮像方向の異なる複数枚の画像力ゝら小領域パノラマ画像 群を生成し、生成した小領域パノラマ画像群を用いて、物体検出を行う。図 1の物体 検出装置の動作は、時間的には、次の 3つに大別できる。
[0022] 〇 撮像を行い、撮像画像を補正、記憶する。
[0023] 〇 記憶された撮像画像を用いて、小領域パノラマ画像群を生成、記憶する。
[0024] 〇 記憶された小領域パノラマ画像群と、小領域パノラマ画像群が記憶された後に 撮像された検出対象画像とを用いて、予測背景画像を合成し、物体検出を行う。
[0025] 以下、これらの動作を、順に説明する。
[0026] なお、ここで述べる物体検出とは、小領域パノラマ画像群に保持された独立性のあ る少なくとも 3枚の画像領域の集合を用いて、その後撮像された検出対象画像に対 する予測背景画像を作成し、この予測背景画像と検出対象画像とを対比すること〖こ よって、検出対象画像の中から背景以外に映り込むものを検出することを示す。
[0027] また、説明の簡単のため、環境条件として、光源は平行光源であり、物体の表面は 完全拡散反射面であるものと仮定する。
[0028] <撮像画像の補正、記憶 >
撮像部 101は撮像方向の異なる静止画または動画の撮像を行う。具体的には例え ば、パンチル HPT)動作可能なビデオカメラやデジタルスチルカメラ、または、 ρτ動 作可能な雲台に固定されたビデオカメラやデジタルスチルカメラによって、撮影が実 行される。ここでは、 PT動作可能なビデオカメラを用いるものとする。
[0029] また撮像部 101は撮像した画像とともに、カメラの位置 ·姿勢情報を撮像画像補正 部 102〖こ送る。カメラの位置'姿勢情報とは、図 2に示す (Xw, Yw, Zw, θ , φ )の 5 つのパラメータをいう。 Xw, Yw, Zwは世界座標系におけるカメラの位置座標（点 o) を示し、 θ , φはそれぞれカメラ座標系における Y軸、 X軸の正方向に対して左回り に回転させる角度 (パン角，チルト角）を示す。カメラの位置 ·姿勢の検出は、例えば GPS等の位置検出装置、ジャイロスコープ等の姿勢検出装置を用いればよい。また 、予め計画された撮影プラン力 カメラの位置 ·姿勢を算出してもよい。予め計画され た撮影プランとは例えば、カメラを始点 (XO, YO, ZO, Θ 0, φ 0)から φの正方向に 角速度 0. l 7u [radZsec]の等速運動に従って動かす、等といったものである。
[0030] 撮像画像補正部 102は撮像部 101によって撮像された画像に対し、幾何学的補正 、光学的補正、および撮像画像座標系からパノラマ投影面座標系への座標変換を 行う。撮像画像の幾何学的補正としては、レンズ歪の補正を行う。例えば、「コンビュ ータビジョン技術評論と将来展望， pp. 42-44,新技術コミュニケーション， 1998」 に示された Wengらによるレンズ歪補正方法を用いればよい。また、撮像画像の光学 的補正としては、周辺減光の補正を行う。例えば「平成 12年度ナチュラルビジョンの 研究開発プロジェクト (次世代映像表示 ·伝送システム)研究開発報告書， pp. 51 - 53,通信'放送機構， 2001」に示された、輝度の時間変動の無い 1つの点光源を被 写体とし、その点光源が所望の位置に来るようにカメラの首を振り、観測された各位 置での輝度値の逆数を用いて周辺減光の補正係数を算出する方法を、用いればよ い。
[0031] また、ノ Vラマ投影面座標系への座標変換方法としては、例えば図 3に示すとおり である。撮像画像座標系 (i, j)力も円筒座標系に投影を行ったパノラマ投影面座標 系（u, V)への変換を行う関数を fとすると、 fは撮像部 101から送られたカメラの位置 · 姿勢情報を用いて次式によって表される。
(u, V) =f (i, j, Xw, Yw, Zw, θ , φ ) (式 1)
また、撮像画像座標系 (i, j)からパノラマ投影面座標系 (u, V)への変換は、円筒座 標系を用いる代わりに、球面座標系を用いた投影を行ってもよい。また、パン 'チルト 角が小さ!/、場合は平面座標系を用いた投影を行ってもょ ヽ。
[0032] なお、上述の撮像画像補正部 102で用いる各補正パラメータは、本装置で物体検 出を行う以前に予め求めておく。
[0033] 撮像画像記憶部 103は撮像画像補正部 102によって補正を行った画像とカメラの 位置'姿勢情報とを、記憶媒体に記憶する。記憶媒体とは、例えばメモリやハードディ スク、フィルム等によって実現される。 [0034] <小領域パノラマ画像群生成 >
小領域パノラマ画像群生成合成部 104は事前に撮像画像記憶部 103に記憶され た複数枚の画像から、小領域パノラマ画像群を生成する。この小領域パノラマ画像 群は、後の処理において、検出対象画像に対する予測背景画像を生成するための 画像群である。
[0035] ここで、小領域パノラマ画像群とは、「所望の撮影範囲における、互いに独立性の ある N (Nは 3以上の整数)枚の画像の重複領域の集合」と定義する。言 、換えると、 小領域パノラマ画像群は、共通の撮像範囲を持つ N (Nは 3以上の整数)枚の画像 群であって、複数の共通の部分重複領域力 なり、かつ、各部分重複領域において 各画像が互いに独立性を有している。なお、独立性を有する、とは、当該部分重複 領域において、
〇 各画像において、 N個以上の異なる法線方向を持つ画素が存在する。
[0036] 〇 各画像の光源環境が異なる。
という条件を満たす場合、と定義する。
[0037] 図 4および図 5を用いて、小領域パノラマ画像群の具体例を説明する。
[0038] 図 4は上述の部分重複領域を示す模式図である。 3枚の画像 I , I , Iは、独立性を
1 2 3
有しており（光源方向が異なり、法線方向が異なる画素が 3個以上存在する）、領域 1 1 (部分重複領域）において重複している。
[0039] 図 5は小領域パノラマ画像群の一例を示す図である。図 5では、小領域パノラマ画 像群の画像枚数 Nは 3としている。 3枚で構成される画像 I P, I P, I Pは、背景として床
1 2 3
、テーブル 21、冷蔵庫 22およびゴミ箱 23を含む共通の撮像範囲を撮影しており、か つ、共通の部分重複領域 A (左上）， B (右上）， C (左下）， D (右下)からなる。そして 、各部分重複領域 A〜Dにおいて、画像 I P, I P, I Pは独立性を有している。すなわち
1 2 3
、独立性を有する各部分重複領域 A, B, C, Dの画像の集合が、所望の撮像範囲を 撮す画像群 I p, I p, I I p, I
1 2 3 pとなっている。したがって、画像 I p,
1 2 3 pは上述した小領域 ノ Vラマ画像群の定義を満たしている。なお、小領域パノラマ画像群に属する各画像 のことを、小領域パノラマ画像ということにする。
[0040] 以下、小領域パノラマ画像群生成部 104の処理の流れを図 6のフローチャートを用 いて説明する。
[0041] まず、ステップ S 11において、撮像画像記憶部 103に記憶された画像の中から任 意の 1枚の画像を選択する。
[0042] 次に、ステップ S12において、ステップ S 11で選択した画像の領域から、図 4に示す ように、この選択した画像を含む N枚の画像が重複する領域を、部分重複領域として 選択する。ここでは説明の便宜上、重複画像の枚数 Nは 3としている。なお、重複画 像の枚数 Nの決め方に関しては、後述する。各画像の重複領域の検出は、例えば、 パノラマ投影面座標系（u, V)における各画像の座標値を用いて行えばよい。
[0043] 次に、ステップ S13において、ステップ S 12で選択した部分重複領域において、重 複している 3枚の画像における独立性の判定を行う。そして、独立性があると判定し たときは（S13で Yes)、ステップ S15にすすみ、この部分重複領域を記憶する。
[0044] 図 7はステップ S15の処理を概念的に示す図である。図 7では、破線で示された所 望の撮像範囲 50の中で、撮像画像 I , 1 , 1が部分重複領域 51において重複して
1 2 3
いる。この部分重複領域 51における各撮像画像 I , I , I力 それぞれ小領域パノラ
1 2 3
マ画像 I p, , I pの一部として記憶される。すなわち、撮像画像 Iの部分重複領域 5
1 2 3 1
2は小領域パノラマ画像 I Pに記憶され、同様に、撮像画像 Iの部分重複領域 53は小
1 2
領域パノラマ画像 I Pに、撮像画像 Iの部分重複領域 54は小領域パノラマ画像 I P〖こ
2 3 3
SC fedれる。
[0045] 一方、独立性がないと判定したときは（S 13で No)、ステップ S 14にすすみ、ステツ プ S 11で選択した画像にっ 、て、ステップ S 12で選択した画像組とは異なる画像組 による部分重複領域の選択を行う。そしてステップ S 13において、再度、独立性の判 定を行う。
[0046] 図 8はステップ S14の処理を概念的に示す図である。図 8に示すように、ステップ S1 1において画像 Iが選択され、ステップ S12において画像 I , Iとの部分重複領域 61
1 2 3
が選択されたとする。このとき、ステップ S 13において、部分重複領域 61における画 像組 I , 1 , 1は独立性を有しないと判定したときは、画像 Iに対して、異なる画像組 I
1 2 3 1 1
, 1 , 1で構成された部分重複領域 62の選択を行う。
4 5
[0047] (独立性の判定方法） ステップ S13における独立性の判定は、例えば、選択された部分重複領域と重複 する領域を持つ画像 (以下、独立性判定画像という）を 1枚選択し、この独立性判定 画像に対する線形係数を求めることによって、行うことができる。以下、この方法につ いて詳しく説明する。
[0048] 図 9は部分重複領域と独立性判定画像との関係を示す模式図である。図 9では、図 4に示した部分重複領域 11を持つ画像群 I , 1 , 1に対して、部分重複領域 11と重複
1 2 3
する領域 31 (以下、線形係数算出領域という）を持つ独立性判定画像 Iが選択され
4
た例を示している。すなわち、これら 4枚の画像 I , I , I , I は、線形係数算出領域 3
1 2 3 4
1において重複している。なお、線形係数算出領域は、少なくとも 3画素が含まれてい ればよい。
[0049] 線形係数の算出は、線形係数算出領域における各画像の画素値を用いて、 Shash uaの方法 (「Snashua A., 'ueometry and Photometry in 3D Visual Recognition , P.D . thesis, Dept. Brain and Cognitive Science, MIT, 1992」）【こ基づ!/ヽて行う。
[0050] ここで、 Shashuaの方法による線形係数の算出について、詳しく説明する。 Shashua は、平行光源と被写体表面が全て完全拡散反射面であることを仮定することによって 、光源方向の異なる 3枚の画像の線形結合により任意の光源方向の画像を表現でき ることを示している。すなわち、光源方向が異なる 3枚の画像をベクトル表現したもの を I , I , I
1 2 3とすると、任意の光源方向の画像 I
4は、次式のように線形結合によって表 現できる。
I =c 'ΐ +c 2I +c 3I (式 2)
4 4 1 4 2 4 3
ここで、 c = [c 1 c 2 c 3]Tを画像 Iに対する線形係数として算出する。
4 4 4 4 4
[0051] 具体的には図 10に示すように、 4枚の画像 I , 1 , 1 , 1 に対して、 3点の画素座標
1 2 3 4
P (X， y )， P (X， y )， P (X， y )の選択を行い、選択された 3点 P， P， Pの各座
1 1 1 2 2 2 3 3 3 1 2 3 標における画素値 iを利用し、次の式を用 、て線形化係数の算出を行う。
[数 1]
Figure imgf000013_0001
ただし、 D
Figure imgf000013_0002
ここで、 i は入力画像 Iにおける画素座標 (X, y)の画素値を表して！/、る。
k(x,y) k
[0052] この（数 1)により、線形係数 c =[c 1 c 2 c 3]Tの算出を行うことができる。これによ
4 4 4 4
り、任意の光源方向の画像 Iを I , I , I , c =[c 1 c 2 c 3]" 用いて表現すること
4 1 2 3 4 4 4 4
ができる。また、 D—1が算出できない場合は、 3点 P (x, y), P (x, y), P (x, y)
2 2 2 3 3 3 の再選択を行う。 3点 P , P , Pの選択方法および線形係数の導出の詳細について
2 3
は、例えば「光学現象の分類基準を利用した画像の線形化」（画像の認識'理解シン ポジゥム (MIRU2002)論文集， vol.2, pp. 167-176, 2002)に記載されている。
[0053] 以上説明した Shashuaの方法を用い、選択された各画像の部分重複領域につ!、て 、（数 1)の計算を行い、線形係数を求める。このとき、ステップ S 12で選択した 3枚の 画像を I , I , Iとし、ステップ S 13で新たに選択した独立性判定画像を Iとして、線形
1 2 3 4 係数 c = [C i c 2 c 3] Tの算出を行う。
4 4 4 4
[0054] 次に線形係数 cの算出に用いた 3点 P (X , y ) , P (X , y ) , P (X , y )の画素値
4 1 1 1 2 2 2 3 3 3 を用いて行列 Dの条件数を求め、この条件数が所定の閾値よりも小さいときは、選択 した部分重複領域における 3枚の画像は独立性を有していると判定し、一方、所定の 閾値よりも大きいときは、選択した部分重複領域における 3枚の画像は独立性がない と判定すればよい。
[0055] ここで、独立性が低いと判定される原因は、
〇 いずれかの画像において、選択した 3画素のうち 2個以上の法線方向が同じ 〇 少なくとも 2枚以上の画像について、光源環境が等しい
の何れかである。このため、独立性が低い画像群を用いて、検出対象画像に対する 予測背景画像を生成した場合、輝度の誤差が大きくなる。ここでの輝度の誤差とは、 検出対象画像と同一の光源環境で撮影された理想的な背景画像と、生成成された 予測背景画像との輝度の誤差のことを指す。
[0056] 逆に、独立性があると判定された場合は、選択された部分重複領域の各画像は、 各々光源方向が異なっており、かつ、被写体表面の法線方向の異なる画素が 3画素 以上存在する、という条件を満たすことになる。このような独立性の高い画像群を用 いて、検出対象画像に対する予測背景画像を生成した場合、輝度の誤差を小さく抑 えることが可能となる。
[0057] また、ここで説明したように、光源が平行光源であり、物体表面が完全拡散反射面 であると仮定したとき、任意光源方向の画像は 4枚の画像を用いて合成することがで きる。このため、本実施形態では、部分重複領域を持つ画像群の枚数 Nは 3に設定 すればよいこと〖こなる。
[0058] また、拡散反射画素とは、（式 2)の振る舞いをする画素のことを示す。
[0059] なお、ここでは、ステップ S 13において、選択された部分重複領域と重複する領域 を持つ独立性判定画像を用いて線形係数の算出を行い、（数 1)における D—1の有無 と Dの条件数を基にして、独立性の判定を行う例について説明した。ところが、同様 の基準を用いた処理であれば、他の手法を用いても力まわな 、。
[0060] 例えば、新たに独立性判定画像を用いることなぐ選択された部分重複領域の画像 群について任意の 3点 P (X , y ) , P (X , y ) , P (X , y )の選択を行い、この 3点 P
1 1 1 2 2 2 3 3 3 1
、 P Dの条件数の算出を行い、独立性判定を行う。このとき、独立
Figure imgf000015_0001
性がないと判定したときは、 3点 P , P , Pの再選択を行い、再度、 D— Dの条件数を
1 2 3
用いて独立性判定を行う。 3点 P , P , Pの選択を所定回数繰り返しても独立性の基
1 2 3
準が満たされない場合は、独立性がないと判定して、ステップ S 14において部分重 複領域の再選択を行えばよい。これにより、新たに独立性判定画像を選択しなくても 、独立性の判定を行うことができる。
[0061] このようにステップ S 11〜S15によって、独立性のある部分重複領域の選択が可能 となる。
[0062] 次にステップ S 16において、これまでに記憶された部分重複領域力 所望の撮像 範囲の全領域にぉ 、て存在するか否かを判定する。全領域にはまだ存在して 、な!/ヽ と判定したときは (S16で No)、部分重複領域が存在しない領域において、任意の画 像を選択し (ステップ S 17)、ステップ S 12に戻り、上述したような処理を繰り返す。ス テツプ S16における具体的な判定方法としては、例えば、拡張された画像の画素数 が所望の撮像範囲の全領域分の画素数となったとき、独立性のある部分重複領域の 集合が全領域に存在すると判定するようにすればょ 、。
[0063] 図 11はステップ S 17の処理を概念的に示す図である。図 11では、破線で示された 所望の撮像範囲 70において、ハッチが付された領域 71にはすでに部分重複領域が 存在しているものとする。このとき、ステップ S 16において、部分重複領域が撮像範囲 70の全領域には存在していないと判定されるので、ステップ S17において、例えば、 ノ、ツチが付されていない領域 72において、再度、任意の画像 73の選択を行う。
[0064] 一方、部分重複領域が全領域に存在して!/、ると判定したときは（S16で Yes)、小領 域パノラマ画像群が生成されたことになるので、これを、小領域パノラマ画像群記憶 部 105に記憶する (ステップ S18)。記憶媒体としては、撮像画像記憶部 103と同様 に、例えばメモリゃノヽードディスク、フィルム等を用いればよい。
[0065] このように、図 6のステップ S 11〜S18の処理を実行することによって、共通の撮像 範囲を持つ N枚の画像群であって、複数の共通の部分重複領域力 なり、かつ、各 部分重複領域において各画像が互いに独立性を有する、小領域パノラマ画像群が、 小領域パノラマ画像群記憶部 105に生成される。
[0066] <小領域パノラマ画像群を用 、た物体検出 >
物体検出部 106は、撮像画像補正部 102から受けた検出対象画像について、小 領域パノラマ画像群記憶部 105に記憶されて ヽる小領域パノラマ画像群を用いて、 物体検出を行う。ここでの物体検出は、例えば、背景差分を用いればよい。
[0067] 本実施形態における背景差分を用いた物体検出の例について、図 5および図 12 〜図 14を用いて説明する。
[0068] いま、図 12に示すように、 PTカメラ 41によって、画像 I (検出対象画像）が撮像され たとする。画像 Iでは、テーブル 21の上に空き缶 42が乗っている。また、この撮像領 域における小領域パノラマ画像は、図 5に示す画像 I P, I P, I する。図 5では、画像
1 2 3
I
nに対応する領域を破線で示している。画像 I ρ
1 , I
2 , 3 pは、検出対象画像を撮像す る前に小領域パノラマ画像群記憶部 105にすでに記憶されている。
[0069] ここで、図 13に示すように、小領域パノラマ画像群 I Ρ ら、画像 Iの画像領
1 , 2 , I Pか
3 n 域に対応する画像を各部分重複領域ごと (領域 B〜D)に切り出す。例えば、領域 B では、画像 I P B, I P B, I P Bが切り出される。また、画像 Iから画像 I Bが切り
1 一 2 一 3 一 n 4一 出される。領域 Cおよび領域 Dについても同様に、画像 I p c, i p C, C, I
1 一 2 一 3 一 4一
C、および、画像 I P D, I P D, I P D, I D力 それぞれ切り出される。
1 一 2 一 3 一 4一
[0070] これらの画像を用いて、（数 1)に従って、各部分重複領域 B, C, Dにおける線形係 数 c , c , c を算出する。例えば、画像 I _Bに対する線形係数 c = [c 1 c 2 c 3]τ
B C D 4 B B B B を、画像 I P_B, I P_B, I P— Bを用いて算出する。なお、画像 I には、背景以外の
1 一 2 一 3 一 n
物体（図 12の例では空き缶 42)が存在して 、るため、（数 1)を用いて線形係数を算 出する際に、 3点 P , P , Pとして背景以外の点が選択されてしまう（例えば、空き缶 4
1 2 3
2が映った領域に点 P , P , Pが選択される）場合があり得る。この場合には、線形係
1 2 3
数の算出が正しく行えない。ただし、例えば RANSAC (「MA.Fischlerand， R.C.Bolle s， Random sample consensus: a paradigm ror model ntting with application to image analysis and automated cartography， Commun, Assoc, Comp, Mach,24, pp.381— 3 95,1981」参照）を用いることによって、 3点 P、 P、 Pを 4枚の画像全ての背景成分上
1 2 3
で選択することができ、背景以外のものの影響を受けることなぐ線形係数を算出す ることが可能となる (詳細は、「光学現象の分類基準を利用した画像の線形化」画像 の認識'理解シンポジウム (MIRU2002)論文集， vol.2, pp. 167— 176, 2002を参照）。
[0071] このように算出された線形係数 c , c , c 、および画像 I P, I P, I Pの画素値を (式 2
B C D 1 2 3
)に代入することによって、各部分重複領域 B, C, Dにおける予測背景画像を生成し 、これらを張り合わせる。これにより、現在の照明条件下において撮像された検出対 象画像 I に対する予測背景画像 I Eを生成することができる。
[0072] そして、図 14に示すように、この予測背景画像 I Eと元の検出対象画像 Iとを対比し 、例えば、画素値の差分が所定の閾値よりも大きい領域を、物体領域として検出する
[0073] 検出物体表示部 107は、物体検出部 106によって検出された物体の領域を、例え ばモニタなどの表示装置に表示する。
[0074] 以上のように本実施形態によると、検出対象画像の撮影範囲を含む領域で重複領 域を共通に持ち、且つ、互いに独立性のある N (Nは 3以上の整数)枚の画像で構成 された小領域パノラマ画像群に対して、線形ィ匕を利用することによって、光源環境が 同一の予測背景画像を、生成することができる。この予測背景画像を利用することに よって、任意の光源環境において撮影した画像から、物体検出を行うことができる。
[0075] さらに、任意撮像方向で撮像された撮像方向が異なる画像を用いた場合であって も、所望の撮像範囲にぉ 、て互いに独立性のある N (Nは 3以上の整数)枚の画像で 構成された小領域パノラマ画像群を生成することで、対象画像全体の予測背景画像 が生成できる。
[0076] なお、本実施形態では、（数 1)を用いて線形係数の算出を行うものとしたが、（数 1) は、選択した 3点 P , P , Pの画素が全て拡散反射画素であることを仮定した式であ
1 2 3
る。実環境においては、鏡面反射等の拡散反射以外の成分が画像に含まれるので、 (数 1)が必ずしも成り立たない可能性がある。ただし、尺長らの方法 (詳細は「光学現 象の分類基準を利用した画像の線形化」，画像の認識 ·理解シンポジウム (MIRU200 2)論文集， vol.2, pp. 167— 176, 2002を参照）を用いることによって、これら拡散反射 画素以外の画素値の影響を受けずに、 3点 P、 P、 Pの画素が全て拡散反射画素と
1 2 3
なるような選択を行うことが可能になる。
[0077] また本実施形態では、光源を平行光源と仮定したため、物体検出の際に 3枚の画 像を基底として用いることによって、正しい線形係数を算出することができた。ところが 、実環境下の光源には相互反射等の環境光が含まれるため、 3枚の画像を基底とし て用いて線形係数の算出を行った場合、実際の画像に対して誤差が大きい線形ィ匕 画像しか得られない可能性がある。ただし、このような環境光が含まれる光源条件下 であっても、より多くの画像を用いることによって、線形係数の算出を精度良く行うこと ができ、本実施形態と同様に、画像の線形化を用いた画像拡張や物体検出を行うこ とが可能となる。例えば、環境光が含まれる場合であっても、 4〜9枚の画像を用いて 誤差の少な!ヽ線形化画像を作成できることが、すでに示されて！/ヽる（「双方向反射分 布関数の周波数特性に基づく反射成分の分離」，情報処理学会研究報告， CVIM 2 002-134-1, pp.1- 8,2002)。
[0078] また、本実施形態では、図 1の物体検出装置の動作を、
〇 撮像を行い、撮像画像を補正、記憶する。
[0079] 〇 記憶された撮像画像を用いて、小領域パノラマ画像群を生成、記憶する。
[0080] 〇 記憶された小領域パノラマ画像群と、小領域パノラマ画像群が記憶された後に 撮像された検出対象画像を用いて、予測背景画像を合成し、物体検出を行う。 という順に説明したが、
〇 撮像を行い、撮像画像を補正、記憶する。
[0081] 〇 検出対象画像に対して、検出対象画像の撮像領域に対する小領域パノラマ画 像群を逐次生成する。
〇 生成された小領域パノラマ画像群と、検出対象画像とを用いて予測背景画像を 合成し、物体検出を行う
という順に、処理を行ってもよい。この場合、あらカゝじめ所望の撮像範囲全体に小領 域パノラマ画像群を生成しなくても、検出対象画像の撮像範囲についてのみ小領域 パノラマ画像群を生成して、予測背景画像を生成し、物体検出を行うことが可能とな る。 [0082] なお、本実施形態で説明したような、小領域パノラマ画像群を用いて生成した予測 背景画像は、物体検出以外の用途にも利用することができる。例えば、対象画像に 対して予測された背景画像は、全て拡散反射領域となるため、鏡面反射領域が除去 された画像となる。よって、人にとって見やすい背景画像を生成することができる。
[0083] また、同じく予測された背景画像は全て拡散反射領域となるため、 cast shadowが除 去された画像となる。ここで、 cast shadowとは、物体が光線を遮ることによって別の物 体の面に生じる影のことを示す。よって、本来は影によって見えない領域が見える背 景画像を生成することができる。
[0084] なお、本発明に係る画像生成方法および物体検出方法は、例えば、コンピュータ 読み取り可能な記録媒体に記録されたプログラムをコンピュータに実行させることに よって、実現することができる。
[0085] 図 15は本実施形態に係る画像生成方法および物体検出方法を示すフローチヤ一 トである。図 15に示すように、ステップ S 1において、小領域パノラマ画像群を生成し、 ステップ S2において、対象画像に対して、ステップ S 1で生成した小領域パノラマ画 像群を用いて、予測背景画像を生成する。ステップ S3において、対象画像とステツ プ S2で生成した予測背景画像とを対比し、対象画像に撮された物体を検出する。ス テツプ SI, S2が画像生成方法に対応し、ステップ S1〜S3が物体検出方法に対応し ている。
産業上の利用可能性
[0086] 本発明では、任意の光源環境において撮影した画像について、光源環境が同一 の予測背景画像を生成することができるので、例えば、屋外等の光環境が頻繁に変 化するような場所の、監視システムにおける侵入者検出等に有用である。

Claims

請求の範囲
[1] 共通の撮像範囲を持つ N (Nは 3以上の整数)枚の画像群であって、複数の共通の 部分重複領域からなり、かつ、各部分重複領域において各画像が互いに独立性を 有する小領域パノラマ画像群を、生成する第 1のステップと、
前記撮像範囲の少なくとも一部を撮像した対象画像に対して、前記対象画像およ び前記小領域パノラマ画像群を用いて、前記対象画像と光源環境が同一の予測背 景画像を生成する第 2のステップとを備えた
ことを特徴とする画像生成方法。
[2] 請求項 1において、
前記第 1のステップは、
複数枚の原画像から、重複領域を有する N枚の画像を選択するステップと、 選択した前記 N枚の画像にっ 、て、前記重複領域における独立性を判定するステ ップと、
独立性があると判定したときは、前記 N枚の画像の前記重複領域における部分を、 前記小領域パノラマ画像群の部分重複領域における画像として、記憶するステップと 独立性がな!、と判定したときは、重複領域を有する N枚の画像の再選択を行うステ ップとを備えている
ことを特徴とする画像生成方法。
[3] 請求項 1において、
前記第 2のステップは、
前記対象画像が複数の部分重複領域に跨るとき、
前記対象画像に含まれる部分重複領域毎に、前記対象画像および前記小領域パ ノラマ画像群を用いて、前記対象画像に対する線形係数を算出するステップと、 算出した線形係数と、前記小領域パノラマ画像群とを用いて、予測背景画像を生 成するステップとを備えて 、る
ことを特徴とする画像生成方法。
[4] 請求項 1記載の画像生成方法によって、前記対象画像としての検出対象画像に対 する前記予測背景画像を生成するステップと、
前記検出対象画像と前記予測背景画像とを対比し、前記検出対象画像に撮された 物体を検出するステップとを備えた
ことを特徴とする物体検出方法。
[5] 撮像画像記憶部に記憶された複数の画像を用いて、共通の撮像範囲を持つ N (N は 3以上の整数)枚の画像群であって、複数の共通の部分重複領域力 なり、かつ、 各部分重複領域において各画像が互いに独立性を有する小領域パノラマ画像群を 、生成する小領域パノラマ画像群生成部と、
前記撮像範囲の少なくとも一部を撮像した検出対象画像に対して、前記検出対象 画像および前記小領域パノラマ画像群を用いて、前記検出対象画像と光源環境が 同一の予測背景画像を生成し、前記検出対象画像と前記予測背景画像とを対比し、 前記検出対象画像に撮された物体を検出する物体検出部とを備えた
ことを特徴とする物体検出装置。
[6] コンピュータに、画像生成を実行させるためのプログラムであって、
共通の撮像範囲を持つ N (Nは 3以上の整数)枚の画像群であって、複数の共通の 部分重複領域からなり、かつ、各部分重複領域において各画像が互いに独立性を 有する小領域パノラマ画像群を、生成する第 1のステップと、
前記撮像範囲の少なくとも一部を撮像した対象画像に対して、前記対象画像およ び前記小領域パノラマ画像群を用いて、前記対象画像と光源環境が同一の予測背 景画像を生成する第 2のステップとを
コンピュータに実行させる画像生成プログラム。
PCT/JP2006/302731 2005-03-02 2006-02-16 画像生成方法、物体検出方法、物体検出装置および画像生成プログラム WO2006092961A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006519019A JP3882005B2 (ja) 2005-03-02 2006-02-16 画像生成方法、物体検出方法、物体検出装置および画像生成プログラム
US11/503,891 US7747104B2 (en) 2005-03-02 2006-08-14 Image generating method, object detecting method, object detecting equipment, and image generating program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005057411 2005-03-02
JP2005-057411 2005-03-02

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US11/503,891 Continuation US7747104B2 (en) 2005-03-02 2006-08-14 Image generating method, object detecting method, object detecting equipment, and image generating program

Publications (1)

Publication Number Publication Date
WO2006092961A1 true WO2006092961A1 (ja) 2006-09-08

Family

ID=36940997

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/302731 WO2006092961A1 (ja) 2005-03-02 2006-02-16 画像生成方法、物体検出方法、物体検出装置および画像生成プログラム

Country Status (4)

Country Link
US (1) US7747104B2 (ja)
JP (1) JP3882005B2 (ja)
CN (1) CN100403768C (ja)
WO (1) WO2006092961A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101196889A (zh) * 2006-12-08 2008-06-11 国际商业机器公司 优化存储系统中的文件放置的方法及装置
US8224045B2 (en) * 2007-01-17 2012-07-17 Carestream Health, Inc. System for early detection of dental caries
CN102576412B (zh) 2009-01-13 2014-11-05 华为技术有限公司 图像处理以为图像中的对象进行分类的方法和系统
JP2010250612A (ja) * 2009-04-16 2010-11-04 Canon Inc 画像処理装置及び画像処理方法
JP5443844B2 (ja) * 2009-06-17 2014-03-19 オリンパス株式会社 画像処理装置及び撮像装置
CN101937563B (zh) * 2009-07-03 2012-05-30 深圳泰山在线科技有限公司 一种目标检测方法和设备及其使用的图像采集装置
CN101833668B (zh) * 2010-04-23 2011-12-28 清华大学 一种基于轮廓带图的相似单元的检测方法
JP6160187B2 (ja) * 2013-04-09 2017-07-12 ソニー株式会社 分析装置、分析プログラム及び分析システム
US10255674B2 (en) * 2016-05-25 2019-04-09 International Business Machines Corporation Surface reflectance reduction in images using non-specular portion replacement
KR20200081527A (ko) * 2018-12-19 2020-07-08 삼성전자주식회사 전자 장치 및 그 제어 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001283216A (ja) * 2000-04-03 2001-10-12 Nec Corp 画像照合装置、画像照合方法、及びそのプログラムを記録した記録媒体
JP2003058896A (ja) * 2001-08-10 2003-02-28 Nec Corp 位置姿勢認識装置とその位置姿勢認識方法、及び位置姿勢認識プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7136452B2 (en) * 1995-05-31 2006-11-14 Goldpower Limited Radiation imaging system, device and method for scan imaging
US6654414B1 (en) * 1996-11-12 2003-11-25 Ibm Corporation Video conferencing using camera environment panoramas
US6885392B1 (en) * 1999-12-31 2005-04-26 Stmicroelectronics, Inc. Perspective correction for preview area of panoramic digital camera
KR100415266B1 (ko) * 2000-05-11 2004-01-16 가부시끼가이샤 도시바 물체영역정보 기술방법과 물체영역정보 생성장치 및 기록매체
JP2002150264A (ja) * 2000-11-07 2002-05-24 Nippon Telegr & Teleph Corp <Ntt> モザイク画像合成方法及びモザイク画像合成装置並びにモザイク画像合成プログラムを記録した記録媒体
US7194112B2 (en) * 2001-03-12 2007-03-20 Eastman Kodak Company Three dimensional spatial panorama formation with a range imaging system
JP3704706B2 (ja) * 2002-03-13 2005-10-12 オムロン株式会社 三次元監視装置
US6766245B2 (en) * 2002-03-14 2004-07-20 Microsoft Corporation Landmark-based location of users
US7382896B2 (en) * 2002-08-13 2008-06-03 Hitachi Kokusai Electric Inc. Object detection method and apparatus which perform object detection using set parameters
JP2004213572A (ja) * 2003-01-08 2004-07-29 Nippon Telegr & Teleph Corp <Ntt> 物体抽出装置、物体抽出方法、プログラム及び記録媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001283216A (ja) * 2000-04-03 2001-10-12 Nec Corp 画像照合装置、画像照合方法、及びそのプログラムを記録した記録媒体
JP2003058896A (ja) * 2001-08-10 2003-02-28 Nec Corp 位置姿勢認識装置とその位置姿勢認識方法、及び位置姿勢認識プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHASHUA A. AND RIKLIN-RAVIV T.: "The Quotient Image: Class-Based Re-Rendering and Recognition with Varying Illuminations", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. 23, no. 2, 2001, pages 129 - 139, XP001005759 *

Also Published As

Publication number Publication date
JP3882005B2 (ja) 2007-02-14
CN1943220A (zh) 2007-04-04
US7747104B2 (en) 2010-06-29
CN100403768C (zh) 2008-07-16
JPWO2006092961A1 (ja) 2008-08-07
US20070003164A1 (en) 2007-01-04

Similar Documents

Publication Publication Date Title
JP3971783B2 (ja) パノラマ画像合成方法および物体検出方法、パノラマ画像合成装置、撮像装置、物体検出装置、並びにパノラマ画像合成プログラム
WO2006092961A1 (ja) 画像生成方法、物体検出方法、物体検出装置および画像生成プログラム
JP6394005B2 (ja) 投影画像補正装置、投影する原画像を補正する方法およびプログラム
US8180145B2 (en) Method for producing image with depth by using 2D images
JP4889351B2 (ja) 画像処理装置及びその処理方法
US8964029B2 (en) Method and device for consistent region of interest
JP2004318823A (ja) 情報表示システム、情報処理装置、ポインティング装置および情報表示システムにおけるポインタマーク表示方法
JPWO2005043466A1 (ja) 物体の状態を推定する推定システム、推定方法および推定プログラム
BRPI1005534A2 (pt) aparelho e método para gerar uma imagem panorámica, e, meio legìvel por computador
US20130002712A1 (en) Image display device and image display method
JP2007235470A (ja) 映像表示装置
JP2006250722A (ja) キャリブレーション装置及びその方法、キャリブレーション用プログラム
JP3741136B2 (ja) 障害物適応投射型表示装置
JP2010217984A (ja) 像検出装置及び像検出方法
JP6065670B2 (ja) ３次元計測システム、プログラム及び方法。
JP6099281B2 (ja) 書籍読み取りシステム及び書籍読み取り方法
JP4776983B2 (ja) 画像合成装置及び画像合成方法
JP2004364212A (ja) 物体撮影装置、物体撮影方法及び物体撮影プログラム
JPH1079027A (ja) 移動カメラ用の画像処理装置
JP3452188B2 (ja) ２次元動画像中の特徴点の追跡方法
JP2005150902A (ja) 撮影システム及び撮影制御情報決定方法
JP2010521914A (ja) 第２のカメラに対する第１のカメラの相対位置を決定するカメラ装置及び方法
JP6564679B2 (ja) 画像処理装置、画像マッチングによる同一部位検出方法および画像処理用プログラム
JP2019068429A (ja) 撮影条件推定装置及び方法、端末装置、コンピュータプログラム並びに記録媒体
KR20230007034A (ko) 어안 왜곡 이미지의 무손실 보정 방법 및 장치

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2006519019

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 200680000118.8

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application
NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: RU

122 Ep: pct application non-entry in european phase

Ref document number: 06713872

Country of ref document: EP

Kind code of ref document: A1