WO2013088656A1 - 物体検知装置、物体検知方法および物体検知プログラム - Google Patents

物体検知装置、物体検知方法および物体検知プログラム

Info

Publication number
WO2013088656A1
WO2013088656A1 PCT/JP2012/007621 JP2012007621W WO2013088656A1 WO 2013088656 A1 WO2013088656 A1 WO 2013088656A1 JP 2012007621 W JP2012007621 W JP 2012007621W WO 2013088656 A1 WO2013088656 A1 WO 2013088656A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
boundary
value
peripheral area
projected
Prior art date
Application number
PCT/JP2012/007621
Other languages
English (en)
French (fr)
Inventor
亮磨 大網
利憲 細井
渡部　悠紀
Original Assignee
日本電気株式会社
株式会社Ｎｅｃ情報システムズ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社, 株式会社Ｎｅｃ情報システムズ filed Critical 日本電気株式会社
Publication of WO2013088656A1 publication Critical patent/WO2013088656A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback

Definitions

  • the present invention relates to an object detection apparatus, an object detection method, and an object detection program for detecting an object from an image obtained by photographing a projected image.
  • Patent Document 1 describes a projector device that detects a presenter that exists in a direction in which an image is projected from the projector device.
  • the projector device described in Patent Document 1 detects a presenter that exists in the projection direction of an image by capturing a projected surface of the image and recognizing a specific part from the captured data.
  • Non-Patent Document 1 describes a projector system that adjusts light of a projector so that a speaker does not dazzle even when standing in front of the projector.
  • the projector system described in Non-Patent Document 1 detects a speaker's face area from an image including a screen and the speaker, and displays a mask image superimposed on the detected area.
  • Non-Patent Document 2 describes a person detection method that improves the accuracy of detecting a person in a high illumination environment.
  • brightness adjustment is performed between a projected image and a captured image obtained by capturing the projected image with a camera, and a difference image is created between the images after brightness adjustment, thereby Is detected.
  • an object of the present invention is to provide an object detection device, an object detection method, and an object detection program capable of improving the detection accuracy of an object existing at a boundary with different brightness.
  • An object detection apparatus includes a projection image that is an image projected from the projection unit, a projection image outer peripheral region that is a peripheral region outside the projection image, a region of the projection image, and a projection image outer peripheral region.
  • Boundary detection means for detecting the boundary from the captured image obtained by capturing the detection target object existing at the boundary of the boundary, and the peripheral area outside the projected image is identified from the boundary and the captured image detected by the boundary detection means.
  • Luminance correction means for correcting the luminance value of the peripheral area outside the projected image in the captured image so as to reduce the luminance difference between the peripheral area and the projected image area, and object detection for detecting the detection target object from the corrected captured image Means.
  • An object detection method includes a projection image that is an image projected from a projection unit, a projection image outer peripheral region that is a peripheral region outside the projection image, a region of the projection image, and a projection image outer peripheral region. Detects the boundary from the captured image obtained by capturing the detection target object existing at the boundary of the image, identifies the peripheral area outside the projected image from the detected boundary and the captured image, and identifies the identified peripheral area outside the projected image and the projected image area The brightness value of the peripheral area outside the projected image in the captured image is corrected so as to reduce the brightness difference between the detected image and the detection target object is detected from the corrected captured image.
  • An object detection program causes a computer to project a projection image that is an image projected from a projection unit, a peripheral area outside the projection image that is a peripheral area outside the projection image, a region of the projection image, and a region outside the projection image.
  • Boundary detection processing that detects the boundary from the captured image of the detection target object that exists at the boundary with the peripheral region, and the boundary area outside the projected image is identified and specified from the boundary detected by the boundary detection processing and the captured image.
  • the brightness correction processing for correcting the brightness value of the peripheral area outside the projected image in the captured image, and the detection target object from the corrected captured image An object detection process to be detected is executed.
  • an image obtained by photographing a slide image (hereinafter also referred to as a projection image) projected on a screen using a projector (hereinafter referred to as a camera image or a photographed image).
  • the camera image in the present embodiment includes a slide image and a peripheral region outside the slide image (hereinafter referred to as a non-slide peripheral region).
  • the camera image in the present embodiment includes an object to be detected (hereinafter referred to as a detection target object) at the boundary between the slide image area and the non-slide peripheral area.
  • the detection target object is a person.
  • FIG. 1 is an explanatory diagram showing an example of a camera image in the present embodiment.
  • the camera image 11 includes a slide image 12 and a non-slide peripheral region 13.
  • the camera image 11 indicates that the detection target object 14 exists at the boundary 15 between the area of the slide image 12 and the peripheral area 13 outside the slide.
  • FIG. 2 is a block diagram showing an embodiment of the object detection apparatus according to the present invention.
  • the object detection apparatus illustrated in FIG. 2 includes a slide boundary extraction unit 101, a non-slide peripheral area luminance correction unit 102, and an object detection unit 103.
  • the slide boundary extraction unit 101 inputs a slide image projected from the projector and a camera image including a peripheral area outside the slide image (that is, a peripheral area outside the slide), and extracts a boundary between the slide image and the peripheral area outside the slide. To do.
  • an object to be detected here, a person
  • the peripheral area outside the slide has an area width that includes the entire object to be detected.
  • the detection target is a person
  • the camera image includes a peripheral region about the width of the person.
  • the slide boundary extraction unit 101 extracts a boundary by detecting a line segment generated when a slide is projected.
  • the slide boundary extraction unit 101 may detect a straight line using Hough transform.
  • Hough transform a boundary extraction method using the Hough transform
  • the slide boundary extraction unit 101 extracts pixels having a large luminance gradient of luminance values as edge candidate points from the camera image. Note that an image with a large luminance gradient is calculated using a Sobel operator or the like.
  • the slide boundary extraction unit 101 votes the obtained edge candidate points to the Hough space, and calculates a straight line component. Next, the slide boundary extraction unit 101 obtains a set of straight lines that form a quadrangle. At this time, when it can be assumed that the distortion of the projected slide is small, the slide boundary extraction unit 101 may limit the search rectangle to a rectangle close to the rectangle.
  • the slide boundary extraction unit 101 corrects the square distortion obtained by correcting the obtained square distortion.
  • the slide boundary extraction unit 101 matches the corrected rectangular image with the actually projected slide image, and extracts a set of straight lines having the highest score as a slide boundary.
  • the slide boundary extraction unit 101 may extract a set of straight lines existing at the same position as a slide boundary instead of correcting and matching the obtained rectangular distortion.
  • the method for extracting the boundary is not limited to the above method.
  • the slide boundary extraction unit 101 may detect the projected mark and extract the slide boundary.
  • boundary information information specifying the boundary
  • the slide image is rectangular
  • the coordinates of two diagonal points may be used as boundary information.
  • Information indicating a line connecting the outer frames of the slide image may be used as boundary information.
  • the non-slide peripheral region luminance correction unit 102 which will be described later, can specify the slide image peripheral region.
  • the non-slide peripheral area luminance correction means 102 specifies the non-slide peripheral area from the boundary and camera image extracted by the slide boundary extraction means 101. Then, the non-slide peripheral area luminance correction unit 102 corrects the luminance of the non-slide peripheral area in the camera image so that the luminance difference between the specified non-slide peripheral area and the slide image area becomes small.
  • FIG. 3 is an explanatory diagram showing an example of a camera image after correction.
  • the luminance value of the non-slide peripheral area 13 ′ is corrected as illustrated in FIG. 3, and the difference in luminance values of the entire detection target object is small.
  • the non-slide peripheral area luminance correction unit 102 calculates an average value of luminance values of pixels inside and outside the slide (specifically, pixels in the slide image area and pixels in the non-slide peripheral area) across the boundary.
  • the brightness value of the peripheral area outside the slide may be corrected so as to match the average value of the brightness values of the area.
  • the correction method will be specifically described.
  • the non-slide peripheral area luminance correction unit 102 may calculate the average value of luminance values using only a flat area.
  • the non-slide peripheral region luminance correction unit 102 does not use pixels within a certain range (about several pixels) from the pixels determined as the boundary for calculating the average value. You may do it. By not using the luminance value of the pixel in the immediate vicinity of the slide boundary for the calculation of the average value, the influence on the calculation result can be reduced even when the determination of the boundary position is shifted.
  • the median value or the mode value may be used instead of the average value by the outside-slide peripheral area luminance correction means 102. Also in this case, the influence of the foreground area can be reduced. Further, the non-slide peripheral area luminance correction means 102 may use a combination of an average value, a median value, and a mode value.
  • outside-slide peripheral area luminance correction means 102 is the maximum and minimum brightness values of the pixels inside and outside the slide across the boundary (specifically, the pixels in the slide image area and the pixels in the non-slide peripheral area). And the brightness value of the peripheral area outside the slide may be corrected so that the calculated maximum and minimum brightness values of each area are matched.
  • the correction method will be specifically described.
  • the non-slide peripheral area luminance correction means 102 designates an area within a certain range on the inner side from the boundary of the slide, and calculates the maximum value and the minimum value of the luminance value in the designated area.
  • the maximum value is A max and the minimum value is A min .
  • the non-slide peripheral area luminance correction means 102 designates an area within a certain range outside the slide boundary, and calculates the maximum and minimum luminance values within the designated area.
  • the maximum value is B max and the minimum value is B min .
  • the non-slide peripheral region luminance correction unit 102 may correct the luminance value of the non-slide peripheral region using Equation 1 shown below.
  • the non-slide peripheral area luminance correction means 102 determines the pixels within a certain range (about several pixels) from the pixels determined to be the boundary as the maximum value and the minimum value. You may make it not use for calculation. By not using the luminance value of the pixel in the immediate vicinity of the slide boundary for the calculation of the maximum value and the minimum value, the influence on the calculation result can be reduced even when the determination of the boundary position is deviated.
  • the detection target existing at the boundary is a person.
  • the general method greatly changes the image characteristics on both sides of the boundary with different brightness. Therefore, the detection accuracy of a person's head will fall.
  • the present invention by correcting the luminance of the peripheral area outside the slide, it is possible to suppress a change in characteristics, and therefore it is possible to improve the detection accuracy of a person's head.
  • the object detection means 103 detects an object from a camera image with corrected luminance (hereinafter referred to as a luminance corrected image).
  • the object detection means 103 may detect an object using a detector that has learned how the object is viewed. For example, when the object to be detected is a human face, the object detection unit 103 may detect the human face using a detector that has learned the face pattern. When the object to be detected is a bar, the object detection unit 103 may detect the bar using a detector that has learned various ways of viewing the bar.
  • the object detection unit 103 calculates a feature amount (for example, a visual feature amount such as a luminance gradient feature, an edge histogram, or a color histogram feature) from the brightness correction image, and the calculated feature amount is used as a specific object. Is input to a detector generated by learning to detect whether or not the object is a detection target.
  • a feature amount for example, a visual feature amount such as a luminance gradient feature, an edge histogram, or a color histogram feature
  • the detector is generated by using a large number of images showing a specific object to be detected and images showing other objects. Specifically, the feature amount of the specified object and the feature amount of other objects are determined from these images. Then, in the feature amount space, the discriminant plane used for discriminating between the class including the object to be identified and the class including the other object is classified into linear discriminant analysis, SVM (Support Vector Machine), GLVQ.
  • SVM Serial Vector Machine
  • GLVQ Generalized Learning Vector Quantization
  • the slide boundary extraction unit 101, the outer peripheral area brightness correction unit 102, and the object detection unit 103 are realized by a CPU of a computer that operates according to a program (object detection program).
  • the program is stored in a storage unit (not shown) of the object detection apparatus, and the CPU reads the program, and in accordance with the program, the slide boundary extraction unit 101, the outer periphery area brightness correction unit 102, and the object detection unit 103 are read. May operate as
  • the slide boundary extraction unit 101, the non-slide peripheral area luminance correction unit 102, and the object detection unit 103 may each be realized by dedicated hardware.
  • FIG. 4 is a flowchart showing an operation example of the object detection apparatus of the present embodiment.
  • the slide boundary extraction unit 101 inputs a camera image, and extracts a boundary between the slide image and the peripheral area outside the slide (step S1).
  • the non-slide peripheral area luminance correction unit 102 specifies the non-slide peripheral area from the camera image and the information indicating the boundary. Then, the non-slide peripheral area luminance correction unit 102 corrects the luminance of the non-slide peripheral area of the camera image so that the luminance difference between the specified non-slide peripheral area and the slide image area becomes small (step S2).
  • the object detection unit 103 detects an object from the camera image in which the luminance of the peripheral area outside the slide is corrected (step S3).
  • the slide boundary extraction unit 101 detects the projected image, the outer peripheral area outside the slide, and the detection target object (for example, a person existing at the boundary between the projected image area and the outer peripheral area outside the slide). ) To detect the boundary between the inside and outside of the slide.
  • the non-slide peripheral area luminance correction unit 102 specifies the non-slide peripheral area from the boundary and the captured image detected by the slide boundary extraction unit 101. Then, the non-slide peripheral area luminance correction unit 102 corrects the luminance value of the non-slide peripheral area in the captured image so as to reduce the luminance difference between the specified projected image peripheral area and the camera image area.
  • the object detection unit 103 detects a detection target object (for example, a person) from the corrected captured image.
  • FIG. 5 is a block diagram showing an outline of the object detection apparatus according to the present invention.
  • An object detection apparatus according to the present invention includes a projection image (for example, a camera image) that is an image projected from a projection unit (for example, a projector) and a projection image outer peripheral region (for example, a peripheral region outside the projection image).
  • a projection image for example, a camera image
  • a projection image outer peripheral region for example, a peripheral region outside the projection image
  • a boundary detection unit 81 (for example, a boundary area) that detects a boundary from a photographed image obtained by photographing a peripheral area outside the slide) and a detection target object (for example, a person) that exists at the boundary between the projected image area and the peripheral area outside the projection image
  • the peripheral area outside the projected image is identified from the boundary detected by the slide boundary extracting means 101) and the boundary detecting means 81 and the captured image, and the luminance difference between the identified peripheral area outside the projected image and the area of the projected image is reduced.
  • a luminance correction unit 82 (for example, a non-slide peripheral region luminance correction unit 102) that corrects the luminance value of the peripheral region outside the projected image in the captured image, and the corrected photographing Object detecting means 83 for detecting the detection target object from the image (e.g., object detection means 103) and a.
  • Such a configuration can improve the detection accuracy of objects existing at boundaries with different brightness.
  • the luminance correction means 82 calculates at least one value of the average value, median value, and mode value of the luminance values of the pixels in the projected image region and the peripheral region outside the projected image, and calculates each calculated region.
  • the brightness value of the peripheral area outside the projected image may be corrected so that the above-described brightness values of the pixels are matched.
  • the luminance correction means 82 calculates the maximum and minimum luminance values of the pixels in the projected image region and the peripheral region outside the projected image, and matches the calculated maximum and minimum luminance values of each region. As described above, the luminance value in the peripheral area outside the projected image may be corrected.
  • the luminance correction means 82 may exclude pixels within a certain range from the pixels determined as the boundary from the luminance value calculation target. In this way, by not using the luminance values of the pixels in the immediate vicinity of the boundary for the calculation of the average value, maximum value, and minimum value, even if the determination of the boundary position deviates, the influence on the calculation result is reduced. It can be reduced.
  • the boundary detection means 81 may detect the detected line segment as a boundary by detecting the line segment generated when the projection image is projected by using the Hough transform.
  • the present invention is preferably applied to an object detection apparatus that detects an object from an image obtained by photographing a projected image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

境界検知手段は、投影手段から投影される画像である投影画像（１２）と、その投影画像の外側の周辺領域である投影画像外周辺領域（１３）と、その投影画像の領域と投影画像外周辺領域との境界（１５）に存在する検知対象物体（１４）とを撮影した撮影画像（１１）から、境界を検知する。輝度補正手段は、境界検知手段が検知した境界および撮影画像から投影画像外周辺領域を特定し、特定した投影画像外周辺領域と投影画像の領域との輝度差を小さくするように、撮影画像における投影画像外周辺領域の輝度値を補正する。物体検知手段は、補正された撮影画像から検知対象物体を検知する。

Description

物体検知装置、物体検知方法および物体検知プログラム
　本発明は、投影した画像を撮影した画像から物体を検知する物体検知装置、物体検知方法および物体検知プログラムに関する。
　スクリーンに画像を投影するプロジェクタを用いてプレゼンテーションを行う場合、プレゼンタは、投影される画像の前に立って説明する機会が多くなる。この場合、プロジェクタから投影される光がプレゼンタの目に直接照射されることになるため、プレゼンタは、その光を非常に眩しく感じることが多い。そこで、プレゼンタを検知して、プレゼンタの目の周辺に投影される光を軽減させる方法が各種知られている。
　特許文献１には、プロジェクタ装置から映像を投影する方向に存在するプレゼンタを検出するプロジェクタ装置が記載されている。特許文献１に記載されたプロジェクタ装置は、映像の被投影面を撮影し、撮影データから特定部位を認識することによって、映像の投影方向に存在するプレゼンタを検出する。
　非特許文献１には、話者がプロジェクタの前に立っても眩しくないようにプロジェクタの光を調整するプロジェクタシステムが記載されている。非特許文献１に記載されたプロジェクタシステムは、スクリーンと話者を含む画像から話者の顔領域を検出し、検出した領域にマスク画像を重畳して表示する。
　非特許文献２には、高照度の環境で人物を検出する精度を高める人物検出方法が記載されている。非特許文献２に記載された方法では、投影画像と、その投影画像をカメラで撮影した撮影画像との間で輝度調整を行い、輝度調整後の画像間で差分画像を作成することにより、人物を検出する。
特開２０１１－４３６８９号公報
玉置純也、村上和人、「眩しくないプロジェクタシステムの提案」、情報処理学会研究報告、ＣＶＩＭ－１６３、情報処理学会、２００８年５月１日、ｐ．４３－４６ 玉置純也、村上和人、「高照度環境における顔検出とその応用」、映像情報メディア学会技術報告、３３（３４）、２００９年８月２７日、ｐ．５３－５４
　一方、投影されるスライド画像を利用してプレゼンテーションが行われる場合、プレゼンタは、投影されるスライド画像になるべくかぶらないように注意する。その結果、プレゼンタは、スライド領域の境界に立ってプレゼンテーションを行う場合が多い。しかし、スライドの境界にプレゼンタが立った場合、スライドの内外で明るさが大きく異なるため、人物の顔・頭部領域に縦エッジが生じてしまう。
　このように、明るさが大きく異なる境界に物体が存在する場合、特許文献１に記載されたプロジェクタ装置や、非特許文献１に記載されたプロジェクタシステム、および、非特許文献２に記載された方法で人物を検出しようとすると、その人物の検知精度が大幅に低下してしまうという問題がある。
　そこで、本発明は、明るさの異なる境界に存在する物体の検知精度を向上できる物体検知装置、物体検知方法および物体検知プログラムを提供することを目的とする。
　本発明による物体検知装置は、投影手段から投影される画像である投影画像と、その投影画像の外側の周辺領域である投影画像外周辺領域と、その投影画像の領域と投影画像外周辺領域との境界に存在する検知対象物体とを撮影した撮影画像から、境界を検知する境界検知手段と、境界検知手段が検知した境界および撮影画像から投影画像外周辺領域を特定し、特定した投影画像外周辺領域と投影画像の領域との輝度差を小さくするように、撮影画像における投影画像外周辺領域の輝度値を補正する輝度補正手段と、補正された撮影画像から検知対象物体を検知する物体検知手段とを備えたことを特徴とする。
　本発明による物体検知方法は、投影手段から投影される画像である投影画像と、その投影画像の外側の周辺領域である投影画像外周辺領域と、その投影画像の領域と投影画像外周辺領域との境界に存在する検知対象物体とを撮影した撮影画像から、境界を検知し、検知された境界および撮影画像から投影画像外周辺領域を特定し、特定した投影画像外周辺領域と投影画像の領域との輝度差を小さくするように、撮影画像における投影画像外周辺領域の輝度値を補正し、補正された撮影画像から検知対象物体を検知することを特徴とする。
　本発明による物体検知プログラムは、コンピュータに、投影手段から投影される画像である投影画像と、その投影画像の外側の周辺領域である投影画像外周辺領域と、その投影画像の領域と投影画像外周辺領域との境界に存在する検知対象物体とを撮影した撮影画像から、境界を検知する境界検知処理、境界検知処理で検知された境界および撮影画像から投影画像外周辺領域を特定し、特定した投影画像外周辺領域と投影画像の領域との輝度差を小さくするように、撮影画像における投影画像外周辺領域の輝度値を補正する輝度補正処理、および、補正された撮影画像から検知対象物体を検知する物体検知処理を実行させることを特徴とする。
　本発明によれば、明るさの異なる境界に存在する物体の検知精度を向上できる。
カメラ画像の例を示す説明図である。 本発明による物体検知装置の一実施形態を示すブロック図である。 補正後のカメラ画像の例を示す説明図である。 物体検知装置の動作例を示すフローチャートである。 本発明による物体検知装置の概要を示すブロック図である。
　以下、本発明の実施形態を図面を参照して説明する。
　本実施形態の物体検知装置には、プロジェクタを用いてスクリーンに投影したスライド画像（以下、投影画像と記すこともある。）をカメラで撮影した画像（以下、カメラ画像または撮影画像と記す。）が入力される。なお、本実施形態におけるカメラ画像には、スライド画像とともに、そのスライド画像の外側の周辺領域（以下、スライド外周辺領域と記す。）が含まれる。さらに、本実施形態におけるカメラ画像には、スライド画像の領域とスライド外周辺領域の境界に、検知する対象の物体（以下、検知対象物体と記す。）が含まれている。ここで、検知対象物体は人物であるとする。
　図１は、本実施形態におけるカメラ画像の例を示す説明図である。図１に示す例では、カメラ画像１１がスライド画像１２とスライド外周辺領域１３とを含んでいることを示す。また、図１に示す例では、カメラ画像１１がスライド画像１２の領域とスライド外周辺領域１３の境界１５に、検知対象物体１４が存在することを示す。
　図２は、本発明による物体検知装置の一実施形態を示すブロック図である。図２に例示する物体検知装置は、スライド境界抽出手段１０１と、スライド外周辺領域輝度補正手段１０２と、物体検知手段１０３とを備えている。
　スライド境界抽出手段１０１は、プロジェクタから投影されるスライド画像と、そのスライド画像外部の周辺領域（すなわち、スライド外周辺領域）を含むカメラ画像を入力し、スライド画像とスライド外周辺領域の境界を抽出する。なお、入力されるカメラ画像には、スライド画像の領域とスライド外周辺領域との境界に、検知対象の物体（ここでは、人物）が存在する。
　なお、スライド外周辺領域は、検知対象の物体全体が含まれる程度の領域幅であることが望ましい。例えば、検知対象が人物の場合、カメラ画像には、人物の幅程度の周辺領域が含まれることが望ましい。周辺領域を適切に設定することで、後述するスライド外周辺領域輝度補正手段１０２の行う処理の負荷を低減できる。
　具体的には、スライド境界抽出手段１０１は、スライドを投影した際に生じる線分を検出することで境界を抽出する。スライド境界抽出手段１０１は、例えば、ハフ変換を利用して直線を検出してもよい。以下、ハフ変換を利用した境界抽出方法を説明する。
　まず、スライド境界抽出手段１０１は、カメラ画像から、輝度値の輝度勾配が大きい画素をエッジ候補点として抽出する。なお、輝度勾配の大きい画像は、Ｓｏｂｅｌオペレータ等を用いて算出される。
　スライド境界抽出手段１０１は、得られたエッジ候補点をハフ空間に投票し、直線成分を算出する。次に、スライド境界抽出手段１０１は、四角形を構成する直線の組を求める。この際、投影されるスライドの歪みが小さいことが仮定できる場合、スライド境界抽出手段１０１は、探索する四角形を長方形に近いものに限定してもよい。
　スライド境界抽出手段１０１は、求めた四角形のひずみを補正することにより、四角形内部の画像を長方形の画像に補正する。そして、スライド境界抽出手段１０１は、補正した長方形の画像と、実際に投影しているスライド画像とをマッチングさせ、スコアが最も高くなる直線の組をスライドの境界として抽出する。
　なお、スライド境界抽出手段１０１は、求めた四角形のひずみを補正してマッチングする代わりに、スライドが切り替わっても同じ位置に存在する直線の組をスライドの境界として抽出してもよい。
　境界を抽出する方法は、上記方法に限定されない。これ以外にも、例えば、プロジェクタ側からスライド境界の目印が投影される場合、スライド境界抽出手段１０１は、投影された目印を検出してスライドの境界を抽出してもよい。
　スライド境界抽出手段１０１が境界を抽出した結果として、その境界を特定する情報（以下、境界情報と記す。）が生成される。例えば、スライド画像が矩形の場合、対角上の２点の座標を境界情報としてもよい。また、スライド画像の外枠を結ぶ線を示す情報を境界情報としてもよい。
　スライド境界抽出手段１０１が境界情報を生成することにより、後述するスライド外周辺領域輝度補正手段１０２が、スライド画像周辺領域を特定することが可能になる。
　スライド外周辺領域輝度補正手段１０２は、スライド境界抽出手段１０１が抽出した境界及びカメラ画像から、スライド外周辺領域を特定する。そして、スライド外周辺領域輝度補正手段１０２は、特定したスライド外周辺領域とスライド画像の領域との輝度差が小さくなるように、カメラ画像におけるスライド外周辺領域の輝度を補正する。
　図３は、補正後のカメラ画像の例を示す説明図である。図１に例示するカメラ画像のスライド外周辺領域１３を補正した結果、図３に例示するように、スライド外周辺領域１３’の輝度値が補正され、検知対象物体全体の輝度値の差が小さくなる。
　スライド外周辺領域輝度補正手段１０２は、境界を挟むスライド内外の画素（具体的には、スライド画像の領域における画素とスライド外周辺領域における画素）の輝度値の平均値を算出し、算出した各領域の輝度値の平均値を合わせるように、スライド外周辺領域の輝度値を補正してもよい。以下、補正方法を具体的に説明する。
　スライド外周辺領域輝度補正手段１０２は、スライドの境界から内側に一定の範囲内の領域を指定し、指定された領域内における輝度値の平均値を算出する。以下、この平均値をＡとする。同様に、スライド外周辺領域輝度補正手段１０２は、スライドの境界から外側に一定の範囲内の領域を指定し、指定された領域内における輝度値の平均値を算出する。以下、この平均値をＢとする。そして、スライド外周辺領域輝度補正手段１０２は、ｍ＝Ａ／Ｂを計算し、スライド外周辺領域に存在する画素の輝度値をｍ倍する。
　なお、平均値Ａを算出する際、指定された領域で輝度値が平坦な領域と平坦ではない領域が存在する場合がある。この場合、平坦な領域がスライドの背景部分（背景領域）に相当すると考えられる。そのため、スライド外周辺領域輝度補正手段１０２は、平坦な領域のみを用いて輝度値の平均値を算出してもよい。
　これにより、スライドの前面に何らかの物体が存在する領域（前景領域）が、平均値の算出に悪影響を及ぼすことを抑制できる。すなわち、平均を合わせたにもかかわらず、スライドの内外で輝度値に差が生じることを抑制できる。
　また、平均値Ａおよび平均値Ｂを算出する際、スライド外周辺領域輝度補正手段１０２は、境界と判定された画素から一定の範囲（数画素程度）内の画素を平均値の算出に用いないようにしてもよい。スライド境界の直近部分の画素の輝度値を平均値の算出に用いないようにすることで、境界位置の判定がずれた場合にも、算出結果に及ぼす影響を軽減させることができる。
　また、スライド外周辺領域輝度補正手段１０２は、平均値のかわりに、メディアン値や最頻値を用いてもよい。この場合も、前景領域の影響を軽減できる。また、スライド外周辺領域輝度補正手段１０２は、平均値、メディアン値および最頻値を組み合わせて用いてもよい。
　他にも、スライド外周辺領域輝度補正手段１０２は、境界を挟むスライド内外の画素（具体的には、スライド画像の領域における画素とスライド外周辺領域における画素）の輝度値の最大値および最小値を算出し、算出した各領域の輝度値の最大値および最小値を合わせるように、スライド外周辺領域の輝度値を補正してもよい。以下、補正方法を具体的に説明する。
　スライド外周辺領域輝度補正手段１０２は、スライドの境界から内側に一定の範囲内の領域を指定し、指定された領域内における輝度値の最大値および最小値を算出する。以下、この最大値をＡｍａｘ、最小値をＡｍｉｎとする。同様に、スライド外周辺領域輝度補正手段１０２は、スライドの境界から外側に一定の範囲内の領域を指定し、指定された領域内における輝度値の最大値および最小値を算出する。以下、以下、最大値をＢｍａｘ、最小値をＢｍｉｎとする。スライド外周辺領域に含まれる画素の輝度値をＩとした場合、スライド外周辺領域輝度補正手段１０２は、以下に示す式１を用いて、スライド外周辺領域の輝度値を補正してもよい。
　（Ｉ－Ｂｍｉｎ）×（Ａｍａｘ－Ａｍｉｎ）／（Ｂｍａｘ－Ｂｍｉｎ）＋Ａｍｉｎ　（式１）
　なお、各領域の最大値および最小値を算出する際、スライド外周辺領域輝度補正手段１０２は、境界と判定された画素から一定の範囲（数画素程度）内の画素を最大値および最小値の算出に用いないようにしてもよい。スライド境界の直近部分の画素の輝度値を最大値および最小値の算出に用いないようにすることで、境界位置の判定がずれた場合にも、算出結果に及ぼす影響を軽減させることができる。
　このように、スライド外周辺領域とスライド画像の領域との輝度差が小さくなるようにスライド外周辺領域の輝度を補正することで、物体の検知精度が低下することを抑制できる。
　例えば、境界に存在する検知対象が人物であるとする。この人物の頭部を検知したいような場合、一般的な方法では、明るさの異なる境界の両側で画像の特徴が大きく変化してしまう。そのため、人物の頭部の検知精度が低下してしまう。一方、本発明では、スライド外周辺領域の輝度を補正することで、特徴の変化を抑えることができるため、人物の頭部の検知精度を向上できる。
　物体検知手段１０３は、輝度を補正したカメラ画像（以下、輝度補正画像と記す。）から物体の検知を行う。物体検知手段１０３は、物体の見え方を学習した検出器を用いて物体の検知を行ってもよい。例えば、検知対象の物体が人物の顔である場合、物体検知手段１０３は、顔のパターンを学習した検出器を用いて人物の顔を検知すればよい。また、検知対象の物体が差し棒である場合、物体検知手段１０３は、差し棒の様々な見え方を学習した検出器を用いて差し棒を検知すればよい。
　具体的には、物体検知手段１０３は、輝度補正画像から特徴量（例えば、輝度勾配特徴、エッジヒストグラム、色ヒストグラム特徴などの視覚特徴量）を算出し、算出した特徴量を、ある特定の物体を検知するように学習して生成された検出器に入力して、検知対象の物体か否かを判定する。
　なお、検出器は、検出したい特定の物体が映った画像と、それ以外の物体が映った画像を多数使用することで生成される。具体的には、これらの画像から、特定する物体の特徴量とそれ以外の物体の特徴量とをそれぞれ判定する。そして、特徴量空間上において、特定する物体を含むクラスと、それ以外の物体を含むクラスとの識別に用いられる識別面を、線形判別分析や、ＳＶＭ（Support Vector Machine：サポートベクターマシン）、ＧＬＶＱ（Generalized Learning Vector Quantization：一般化学習ベクトル量子化）等の方法によって算出することで、検出器が生成される。
　スライド境界抽出手段１０１と、スライド外周辺領域輝度補正手段１０２と、物体検知手段１０３とは、プログラム（物体検知プログラム）に従って動作するコンピュータのＣＰＵによって実現される。例えば、プログラムは、物体検知装置の記憶部（図示せず）に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、スライド境界抽出手段１０１、スライド外周辺領域輝度補正手段１０２および物体検知手段１０３として動作してもよい。また、スライド境界抽出手段１０１と、スライド外周辺領域輝度補正手段１０２と、物体検知手段１０３とは、それぞれが専用のハードウェアで実現されていてもよい。
　次に、本実施形態の物体検知装置の動作を説明する。図４は、本実施形態の物体検知装置の動作例を示すフローチャートである。
　まず、スライド境界抽出手段１０１は、カメラ画像を入力し、スライド画像とスライド外周辺領域の境界を抽出する（ステップＳ１）。スライド外周辺領域輝度補正手段１０２は、カメラ画像と境界を示す情報とからスライド外周辺領域を特定する。そして、スライド外周辺領域輝度補正手段１０２は、特定したスライド外周辺領域とスライド画像の領域との輝度差が小さくなるように、カメラ画像のスライド外周辺領域の輝度を補正する（ステップＳ２）。物体検知手段１０３は、スライド外周辺領域の輝度が補正されたカメラ画像から物体を検知する（ステップＳ３）。
　以上のように、本実施形態によれば、スライド境界抽出手段１０１が、投影画像、スライド外周辺領域、および、投影画像の領域とスライド外周辺領域の境界に存在する検知対象物体（例えば、人物）を撮影したカメラ画像から、スライド内外の境界を検知する。スライド外周辺領域輝度補正手段１０２が、スライド境界抽出手段１０１が検知した境界および撮影画像から、スライド外周辺領域を特定する。そして、スライド外周辺領域輝度補正手段１０２が、特定した投影画像周辺領域とカメラ画像の領域との輝度差を小さくするように、撮影画像中のスライド外周辺領域の輝度値を補正する。物体検知手段１０３は、補正された撮影画像から検知対象物体（例えば、人物）を検知する。
　以上のような構成により、明るさの異なる境界に存在する物体の検知精度を向上できる。
　次に、本発明の概要を説明する。図５は、本発明による物体検知装置の概要を示すブロック図である。本発明による物体検知装置は、投影手段（例えば、プロジェクタ）から投影される画像である投影画像（例えば、カメラ画像）と、その投影画像の外側の周辺領域である投影画像外周辺領域（例えば、スライド外周辺領域）と、その投影画像の領域と投影画像外周辺領域との境界に存在する検知対象物体（例えば、人物）とを撮影した撮影画像から、境界を検知する境界検知手段８１（例えば、スライド境界抽出手段１０１）と、境界検知手段８１が検知した境界および撮影画像から投影画像外周辺領域を特定し、特定した投影画像外周辺領域と投影画像の領域との輝度差を小さくするように、撮影画像における投影画像外周辺領域の輝度値を補正する輝度補正手段８２（例えば、スライド外周辺領域輝度補正手段１０２）と、補正された撮影画像から検知対象物体を検知する物体検知手段８３（例えば、物体検知手段１０３）とを備えている。
　そのような構成により、明るさの異なる境界に存在する物体の検知精度を向上できる。
　また、輝度補正手段８２は、投影画像の領域における画素と投影画像外周辺領域における画素の輝度値の平均値、メディアン値、最頻値のうちの少なくとも１つの値を算出し、算出した各領域の画素の輝度値の上記値を合わせるように、投影画像外周辺領域の輝度値を補正してもよい。
　また、輝度補正手段８２は、投影画像の領域における画素と投影画像外周辺領域における画素の輝度値の最大値および最小値を算出し、算出した各領域の輝度値の最大値および最小値を合わせるように、投影画像外周辺領域の輝度値を補正してもよい。
　また、輝度補正手段８２は、境界と判定された画素から一定の範囲内の画素を輝度値の算出対象から除外してもよい。このように、境界の直近部分の画素の輝度値を平均値や最大値および最小値の算出に用いないようにすることで、境界位置の判定がずれた場合にも、算出結果に及ぼす影響を軽減させることができる。
　また、境界検知手段８１は、投影画像を投影した際に生じる線分をハフ変換を利用して検出することにより、検出した線分を境界として検知してもよい。
　以上、実施形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１１年１２月１６日に出願された日本特許出願２０１１－２７５８１３を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　本発明は、投影した画像を撮影した画像から物体を検知する物体検知装置に好適に適用される。
　１１　カメラ画像
　１２　スライド画像
　１３，１３’　スライド外周辺領域
　１４　検知対象物体
　１５　境界
　１０１　スライド境界抽出手段
　１０２　スライド外周辺領域輝度補正手段
　１０３　物体検知手段

Claims (11)

  1. 　投影手段から投影される画像である投影画像と、当該投影画像の外側の周辺領域である投影画像外周辺領域と、当該投影画像の領域と前記投影画像外周辺領域との境界に存在する検知対象物体とを撮影した撮影画像から、前記境界を検知する境界検知手段と、
    　前記境界検知手段が検知した境界および前記撮影画像から前記投影画像外周辺領域を特定し、特定した投影画像外周辺領域と前記投影画像の領域との輝度差を小さくするように、前記撮影画像における前記投影画像外周辺領域の輝度値を補正する輝度補正手段と、
    　補正された撮影画像から前記検知対象物体を検知する物体検知手段とを備えた
    　ことを特徴とする物体検知装置。
  2. 　輝度補正手段は、投影画像の領域における画素と投影画像外周辺領域における画素の輝度値の平均値、メディアン値、最頻値のうちの少なくとも１つの値を算出し、算出した各領域の画素の輝度値の前記値を合わせるように、投影画像外周辺領域の輝度値を補正する
    　請求項１記載の物体検知装置。
  3. 　輝度補正手段は、投影画像の領域における画素と投影画像外周辺領域における画素の輝度値の最大値および最小値を算出し、算出した各領域の輝度値の最大値および最小値を合わせるように、投影画像外周辺領域の輝度値を補正する
    　請求項１記載の物体検知装置。
  4. 　輝度補正手段は、境界と判定された画素から一定の範囲内の画素を輝度値の算出対象から除外する
    　請求項２または請求項３記載の物体検知装置。
  5. 　境界検知手段は、投影画像を投影した際に生じる線分をハフ変換を利用して検出することにより、当該線分を境界として検知する
    　請求項１から請求項４のうちのいずれか１項に記載の物体検知装置。
  6. 　投影手段から投影される画像である投影画像と、当該投影画像の外側の周辺領域である投影画像外周辺領域と、当該投影画像の領域と前記投影画像外周辺領域との境界に存在する検知対象物体とを撮影した撮影画像から、前記境界を検知し、
    　検知された境界および前記撮影画像から前記投影画像外周辺領域を特定し、
    　特定した投影画像外周辺領域と前記投影画像の領域との輝度差を小さくするように、前記撮影画像における前記投影画像外周辺領域の輝度値を補正し、
    　補正された撮影画像から前記検知対象物体を検知する
    　ことを特徴とする物体検知方法。
  7. 　投影画像の領域における画素と投影画像外周辺領域における画素の輝度値の平均値、メディアン値、最頻値のうちの少なくとも１つの値を算出し、算出した各領域の画素の輝度値の前記値を合わせるように、投影画像外周辺領域の輝度値を補正する
    　請求項６記載の物体検知方法。
  8. 　投影画像の領域における画素と投影画像外周辺領域における画素の輝度値の最大値および最小値を算出し、算出した各領域の輝度値の最大値および最小値を合わせるように、投影画像外周辺領域の輝度値を補正する
    　請求項６記載の物体検知方法。
  9. 　コンピュータに、
    　投影手段から投影される画像である投影画像と、当該投影画像の外側の周辺領域である投影画像外周辺領域と、当該投影画像の領域と前記投影画像外周辺領域との境界に存在する検知対象物体とを撮影した撮影画像から、前記境界を検知する境界検知処理、
    　前記境界検知処理で検知された境界および前記撮影画像から前記投影画像外周辺領域を特定し、特定した投影画像外周辺領域と前記投影画像の領域との輝度差を小さくするように、前記撮影画像における前記投影画像外周辺領域の輝度値を補正する輝度補正処理、および、
    　補正された撮影画像から前記検知対象物体を検知する物体検知処理
    　を実行させるための物体検知プログラム。
  10. 　コンピュータに、
    　輝度補正処理で、投影画像の領域における画素と投影画像外周辺領域における画素の輝度値の平均値、メディアン値、最頻値のうちの少なくとも１つの値を算出させ、算出した各領域の画素の輝度値の前記値を合わせるように、投影画像外周辺領域の輝度値を補正させる
    　請求項９記載の物体検知プログラム。
  11. 　コンピュータに、
    　輝度補正処理で、投影画像の領域における画素と投影画像外周辺領域における画素の輝度値の最大値および最小値を算出させ、算出した各領域の輝度値の最大値および最小値を合わせるように、投影画像外周辺領域の輝度値を補正させる
    　請求項９記載の物体検知プログラム。
PCT/JP2012/007621 2011-12-16 2012-11-28 物体検知装置、物体検知方法および物体検知プログラム WO2013088656A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011275813 2011-12-16
JP2011-275813 2011-12-16

Publications (1)

Publication Number Publication Date
WO2013088656A1 true WO2013088656A1 (ja) 2013-06-20

Family

ID=48612134

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/007621 WO2013088656A1 (ja) 2011-12-16 2012-11-28 物体検知装置、物体検知方法および物体検知プログラム

Country Status (1)

Country Link
WO (1) WO2013088656A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114928728A (zh) * 2022-05-27 2022-08-19 海信视像科技股份有限公司 投影设备及异物检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004254145A (ja) * 2003-02-21 2004-09-09 Hitachi Ltd 投射型表示装置
JP2008148089A (ja) * 2006-12-12 2008-06-26 Nikon Corp 投影装置およびカメラ
JP2011043689A (ja) * 2009-08-21 2011-03-03 Ntt Docomo Inc プロジェクタ装置及びプロジェクタ制御方法
JP2011238228A (ja) * 2010-05-07 2011-11-24 Ricoh Co Ltd スクリーン領域検知方法及びシステム
JP2012160175A (ja) * 2011-01-13 2012-08-23 Panasonic Corp インタラクティブプレゼンシステム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004254145A (ja) * 2003-02-21 2004-09-09 Hitachi Ltd 投射型表示装置
JP2008148089A (ja) * 2006-12-12 2008-06-26 Nikon Corp 投影装置およびカメラ
JP2011043689A (ja) * 2009-08-21 2011-03-03 Ntt Docomo Inc プロジェクタ装置及びプロジェクタ制御方法
JP2011238228A (ja) * 2010-05-07 2011-11-24 Ricoh Co Ltd スクリーン領域検知方法及びシステム
JP2012160175A (ja) * 2011-01-13 2012-08-23 Panasonic Corp インタラクティブプレゼンシステム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114928728A (zh) * 2022-05-27 2022-08-19 海信视像科技股份有限公司 投影设备及异物检测方法

Similar Documents

Publication Publication Date Title
US11164323B2 (en) Method for obtaining image tracking points and device and storage medium thereof
US20140176730A1 (en) Projection-type image display device, image projection method, and computer program
US10659676B2 (en) Method and apparatus for tracking a moving subject image based on reliability of the tracking state
US10134118B2 (en) Information processing apparatus and method of obtaining information about a projection surface on which a target is projected
US10070047B2 (en) Image processing apparatus, image processing method, and image processing system
CN112272292B (zh) 投影校正方法、装置和存储介质
US9930306B2 (en) Image processing apparatus, image processing method, and computer-readable storage medium
US10992913B2 (en) Image processing apparatus, method, and storage medium storing program for transforming distortion of image projected by projection apparatus
US20130162814A1 (en) Projector image correction device and method
US20180220113A1 (en) Projection display system, information processing apparatus, information processing method, and storage medium therefor
US20150102998A1 (en) Projection-type projector, anti-glare method, and program for anti-glare
US10536677B2 (en) Image processing apparatus and method
TWI749370B (zh) 臉部辨識方法及其相關電腦系統
WO2013088657A1 (ja) 投射型投影装置、光防眩方法、および光防眩用プログラム
US20140168078A1 (en) Electronic device and information processing method
US20120033888A1 (en) Image processing system, image processing method, and computer readable medium
US20150262382A1 (en) Image processing apparatus and image processing method
US20230298386A1 (en) Authentication apparatus, authentication method, and recording medium
JP6205755B2 (ja) プロジェクタ装置、プロジェクタシステム、プロジェクタ制御方法及びプロジェクタ制御プログラム
WO2013088656A1 (ja) 物体検知装置、物体検知方法および物体検知プログラム
US20140118386A1 (en) Projection system, projector, and control method
US20120218457A1 (en) Auto-focusing camera device, storage medium, and method for automatically focusing the camera device
US10839553B2 (en) Image processing apparatus and method
JP2011199717A (ja) 投写型表示装置および画像表示方法
US8774506B2 (en) Method of detecting red eye image and apparatus thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12857164

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12857164

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP