JP6539904B1 - INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND INFORMATION PROCESSING PROGRAM - Google Patents

INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND INFORMATION PROCESSING PROGRAM Download PDF

Info

Publication number
JP6539904B1
JP6539904B1 JP2018073549A JP2018073549A JP6539904B1 JP 6539904 B1 JP6539904 B1 JP 6539904B1 JP 2018073549 A JP2018073549 A JP 2018073549A JP 2018073549 A JP2018073549 A JP 2018073549A JP 6539904 B1 JP6539904 B1 JP 6539904B1
Authority
JP
Japan
Prior art keywords
imaging
information
processing
fourier transform
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018073549A
Other languages
Japanese (ja)
Other versions
JP2019185277A (en
Inventor
武 島田
武 島田
将之 池辺
将之 池辺
敏明 吉田
敏明 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Acutelogic Corp
Original Assignee
Acutelogic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Acutelogic Corp filed Critical Acutelogic Corp
Priority to JP2018073549A priority Critical patent/JP6539904B1/en
Priority to PCT/JP2019/003303 priority patent/WO2019193824A1/en
Application granted granted Critical
Publication of JP6539904B1 publication Critical patent/JP6539904B1/en
Publication of JP2019185277A publication Critical patent/JP2019185277A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images

Abstract

【課題】三次元空間認識処理に用いられる深度データを各カメラの撮像範囲の全体に渡って高速に生成する。
【解決手段】撮像対象物ＯＢを三次元的に認識する際に用いられる深度データを生成する場合に、第１カメラ１による撮像範囲の全体に相当する撮像対象物ＯＢの画像データＳＶ１と、第２カメラ２による撮像範囲の全体に相当する撮像対象物ＯＢの画像データＳＶ２と、に対してＰＯＣ法による相関処理を施し、撮像対象物ＯＢに対するカメラ間の視差に対応した上記相関処理の結果を出力するＰＯＣ処理部３と、その結果から視差に対応した既定の選定基準を満たす結果を選定する視差選定部４と、その選定された結果を用いて深度データＳＢＭを生成するブロックマッチング部５と、を備える。
【選択図】図１To generate depth data used for three-dimensional space recognition processing at high speed over the entire imaging range of each camera.
When generating depth data used for recognizing three-dimensionally the A imaging object OB, the image data S V1 of the imaging object OB corresponding to the entire image pickup range of the first camera 1, and image data S V2 of the imaging object OB corresponding to the entire image pickup range of the second camera 2 performs correlation processing by the POC method against, the correlation corresponding to the parallax between the cameras for imaging object OB POC processing unit 3 for outputting the result, disparity selection unit 4 for selecting the result satisfying the predetermined selection criteria corresponding to the parallax from the result, and block matching for generating depth data S BM using the selected result And 5.
[Selected figure] Figure 1

Description

本発明は、情報処理装置及び情報処理方法並びに情報処理用プログラムの技術分野に属する。より詳細には、人や物体等の撮像対象物を三次元的に認識する際に用いられる深度情報を生成する情報処理装置及び情報処理方法並びに情報処理装置用のプログラムの技術分野に属する。   The present invention belongs to the technical fields of an information processing apparatus, an information processing method, and an information processing program. More specifically, the present invention belongs to the technical field of an information processing apparatus and an information processing method for generating depth information used in three-dimensionally recognizing an imaging target object such as a person or an object, and a program for the information processing apparatus.

近年、複数台のカメラを用いて撮像された撮像データ（画像データ）を用いて、撮像対象たる物体等の三次元的な位置、大きさ、形状又は色彩等を認識する技術に関する開発／研究が活発に行われている。なお以下の説明では、上記三次元的な位置、大きさ、形状又は色彩等の認識処理を、単に「三次元空間認識処理」と称する。また、上記撮像対象物たる物体等を、単に「撮像対象物」と称する。   In recent years, development / research on technology to recognize the three-dimensional position, size, shape, color, etc. of an object to be imaged etc. using imaging data (image data) imaged with a plurality of cameras It is actively conducted. In the following description, the recognition processing of the three-dimensional position, size, shape or color is simply referred to as "three-dimensional space recognition processing". Further, the object or the like that is the object to be imaged is simply referred to as an "object to be imaged".

一方、当該三次元空間認識処理では、認識率の向上と共に、その効率化（高速化）も求められる。そして、当該効率化（高速化）のための技術の一例としては、例えば下記非特許文献１に記載されている技術がある。非特許文献１に記載されている技術では、左眼に相当するカメラで撮像対象物を撮像して得られた画像データと、右眼に相当するカメラで当該撮像対象物を撮像して得られた画像データと、に基づき、上記三次元空間認識処理に用いられる視差の情報を、当該視差の強度（Intensity）に基づき、一次元のいわゆる位相限定相関（phase-only correlation）を用いて、上記各画像データに対するステレオマッチング処理の前に選定している。なお以下の説明では、上記位相限定相関法を単に「ＰＯＣ」法と称する。   On the other hand, in the three-dimensional space recognition process, along with the improvement of the recognition rate, the efficiency (speeding up) thereof is also required. And as an example of the technique for the said efficiency improvement (speeding-up), there exists a technique described, for example in the following nonpatent literature 1. FIG. In the technology described in Non-Patent Document 1, image data obtained by imaging an imaging target with a camera corresponding to the left eye, and imaging obtained with the camera corresponding to the right eye are obtained. Information of parallax used in the three-dimensional space recognition processing based on the image data and the above-mentioned three-dimensional space recognition processing using one-dimensional so-called phase-only correlation based on the intensity of the parallax; It is selected before the stereo matching process for each image data. In the following description, the phase limited correlation method is simply referred to as "POC" method.

また、上記効率化（高速化）のための他の技術としては、例えば、いわゆるボックスフィルタ（Box Filter）とそれに対応する相関係数を効率化することで三次元空間認識処理全体として高速化する技術や、画像処理におけるいわゆるグローバルパスの方向を制限することで効率化を図る技術などがある。   Further, as another technique for the above-mentioned efficiency (speeding up), for example, speeding up as a whole of three-dimensional space recognition processing is achieved by making the so-called box filter (Box Filter) and the correlation coefficient corresponding to it efficient. There are techniques and techniques for improving efficiency by limiting the direction of so-called global path in image processing.

“Phase-Correlation Guided Search for Realtime Stereo Vision”, Alfonso Alba and Edgar Arce-Santana, Pages 621-633, Volume 9 Issue 4, Journal of Real-Time Image Processing, December 1, 2014Alfonso Alba and Edgar Arce-Santana, Pages 621-633, Volume 9 Issue 4, Journal of Real-Time Image Processing, December 1, 2014

しかしながら、上記非特許文献１記載の技術を初めとした従来の効率化（高速化）技術では、その前提として、上記撮像対象物の奥行き（即ち深度）の推定が、最も奥行きが深い位置から順に実行される。よって、上記非特許文献１記載の技術を含む従来の効率化（高速化）技術には、以下の（ｉ）乃至（iii）のような問題点があった。
問題点（ｉ）：各カメラにおける直前までの全ての上記視差の候補を計算しようとすると、その計算時間が膨大となる。
問題点（ii）：画像解像度を向上させようとすると各カメラにおける視差の量も増えるので、処理を効率化（高速化）するためには、三次元空間認識処理の結果として低解像度にならざるを得ない。
問題点（iii）：各カメラにおける視差の最大値と最小値を、それぞれ初期値として予め手動で設定する必要がある。 However, in the conventional efficiency (speeding up) technique including the technique described in the above-mentioned Non-Patent Document 1, the estimation of the depth (that is, the depth) of the imaging object is performed in order from the deepest position. To be executed. Therefore, the conventional efficiency (speeding up) techniques including the technique described in Non-Patent Document 1 have the following problems (i) to (iii).
Problem (i): If it is going to calculate all the above parallax candidates up to immediately before in each camera, the calculation time will be huge.
Problem (ii): When trying to improve the image resolution, the amount of parallax at each camera also increases, so in order to make the processing efficient (speed up), the resolution must be reduced as a result of the three-dimensional space recognition processing. Do not get.
Problem (iii): It is necessary to manually set the maximum value and the minimum value of disparity in each camera as initial values in advance.

そこで本発明は、上記の各問題点に鑑みて為されたもので、その課題の一例は、上記三次元空間認識処理に用いられる深度情報を各カメラの撮像範囲の全体に渡って高速に生成することで上記各問題点を解決することが可能な情報処理装置及び情報処理方法並びに当該情報処理装置用のプログラムを提供することにある。   Therefore, the present invention has been made in view of the above problems, and an example of the problem is to generate the depth information used for the three-dimensional space recognition processing at high speed over the entire imaging range of each camera. It is an object of the present invention to provide an information processing apparatus and an information processing method capable of solving each of the above-mentioned problems, and a program for the information processing apparatus.

上記の課題を解決するために、請求項１に記載の発明は、撮像対象物に対応し且つ当該撮像対象物を三次元的に認識する際に用いられる深度情報を生成する情報処理装置において、前記撮像対象物を第１撮像手段により撮像して得られた第１撮像情報と、前記第１撮像手段から予め設定された距離だけ離れて設置された第２撮像手段により前記撮像対象物を撮像して得られた第２撮像情報と、をそれぞれ取得する取得手段と、前記第１撮像手段による撮像範囲の全体に相当する前記第１撮像情報である全体第１撮像情報と、前記第２撮像手段による撮像範囲の全体に相当する前記第２撮像情報である全体第２撮像情報と、に対して位相限定相関法による相関処理を施し、前記撮像対象物に対する前記第１撮像手段と前記第２撮像手段との間の全ての視差に対応した差情報を出力する出力手段と、前記出力された差情報から、前記視差に対応して予め設定された選定基準を満たす差情報を選定する選定手段と、前記選定された差情報と、前記第１撮像情報及び前記第２撮像情報と、に基づいて前記深度情報を生成する生成手段と、を備える。 In order to solve the above problems, the invention according to claim 1 is an information processing apparatus that generates depth information that corresponds to an imaging target and is used when three-dimensionally recognizing the imaging target, The first imaging information obtained by imaging the imaging object by the first imaging means, and the second imaging means installed at a distance set in advance from the first imaging means, imaging the imaging object Acquisition means for acquiring the second imaging information obtained by each of the first imaging information and the entire first imaging information corresponding to the entire imaging range by the first imaging means, and the second imaging A correlation process is performed on the whole second imaging information which is the second imaging information corresponding to the whole of the imaging range by the means by the phase limited correlation method, and the first imaging means and the second for the imaging object between the imaging means And output means for outputting the difference information corresponding to a parallax of Te, from the output difference information, and selecting means for selecting the difference information satisfies a preset selection criterion in response to the parallax, which is the selected And a generation unit configured to generate the depth information based on the difference information and the first imaging information and the second imaging information.

上記の課題を解決するために、請求項５に記載の発明は、取得手段と、出力手段と、選定手段と、生成手段と、を備え、撮像対象物に対応し且つ当該撮像対象物を三次元的に認識する際に用いられる深度情報を生成する情報処理装置において実行される情報処理方法であって、前記撮像対象物を第１撮像手段により撮像して得られた第１撮像情報と、前記第１撮像手段から予め設定された距離だけ離れて設置された第２撮像手段により前記撮像対象物を撮像して得られた第２撮像情報と、を前記取得手段によりそれぞれ取得する取得工程と、前記第１撮像手段による撮像範囲の全体に相当する前記第１撮像情報と、前記第２撮像手段による撮像範囲の全体に相当する前記第２撮像情報と、に対して位相限定相関法による相関処理を前記出力手段により施し、前記撮像対象物に対する前記第１撮像手段と前記第２撮像手段との間の全ての視差に対応した差情報を出力する出力工程と、前記出力された差情報から、前記視差に対応して予め設定された選定基準を満たす差情報を前記選定手段により選定する選定工程と、前記選定された差情報と、前記第１撮像情報及び前記第２撮像情報と、に基づいて前記深度情報を前記生成手段により生成する生成工程と、を含む。 In order to solve the above-mentioned subject, the invention according to claim 5 is provided with an acquisition means, an output means, a selection means, and a generation means, corresponds to an imaging object, and the imaging object is tertiary. It is an information processing method performed in an information processor which generates depth information used when recognizing fundamentally, and the 1st image pick-up information obtained by picturizing the image pick-up object with the 1st image pickup means, An acquisition step of acquiring, by the acquisition means, second imaging information obtained by imaging the object to be imaged by the second imaging means installed at a distance set in advance from the first imaging means; A correlation based on a phase-only correlation method with respect to the first imaging information corresponding to the entire imaging range by the first imaging means and the second imaging information corresponding to the entire imaging range by the second imaging means Processing the output hand Subjecting a result, an output step of outputting the difference information corresponding to all the disparity between the first image pickup means and the second imaging means with respect to the imaged object, from the output difference information, corresponding to the parallax Selection step of selecting, by the selection means, the difference information satisfying the selection criteria set in advance, the depth information based on the selected difference information, the first imaging information and the second imaging information And C. generating the data by the generating means.

上記の課題を解決するために、請求項６に記載の発明は、撮像対象物に対応し且つ当該撮像対象物を三次元的に認識する際に用いられる深度情報を生成する情報処理装置に含まれるコンピュータを、前記撮像対象物を第１撮像手段により撮像して得られた第１撮像情報と、前記第１撮像手段から予め設定された距離だけ離れて設置された第２撮像手段により前記撮像対象物を撮像して得られた第２撮像情報と、をそれぞれ取得する取得手段、前記第１撮像手段による撮像範囲の全体に相当する前記第１撮像情報と、前記第２撮像手段による撮像範囲の全体に相当する前記第２撮像情報と、に対して位相限定相関法による相関処理を施し、前記撮像対象物に対する前記第１撮像手段と前記第２撮像手段との間の全ての視差に対応した差情報を出力する出力手段、前記出力された差情報から、前記視差に対応して予め設定された選定基準を満たす差情報を選定する選定手段、及び、前記選定された差情報と、前記第１撮像情報及び前記第２撮像情報と、に基づいて前記深度情報を生成する生成手段、として機能させる。 In order to solve the above problems, the invention according to claim 6 is included in an information processing apparatus that generates depth information that corresponds to an imaging target and is used when three-dimensionally recognizing the imaging target. Computer, the first imaging information obtained by imaging the object to be imaged by the first imaging device, and the second imaging device installed at a distance set in advance from the first imaging device by the second imaging device Acquisition means for acquiring second imaging information obtained by imaging an object, the first imaging information corresponding to the entire imaging range by the first imaging means, and imaging range by the second imaging means The second imaging information corresponding to the whole is subjected to correlation processing by the phase limited correlation method to cope with all parallaxes between the first imaging means and the second imaging means with respect to the imaging object Output the difference information Selection means for selecting the difference information satisfying the selection criteria set in advance corresponding to the parallax from the output difference information, the selected difference information, the first imaging information, and It functions as a generation unit that generates the depth information based on the second imaging information.

請求項１、請求項５又は請求項６のいずれか一項に記載の発明によれば、全体第１撮像情報と、全体第２撮像情報と、に対して位相限定相関法による相関処理を施して差情報を出力し、その差情報から既定の選定基準を満たす差情報を選定して深度情報を生成する。よって、撮像対象物の三次元的認識に用いられる深度情報を、各撮像手段の撮像範囲の全体に渡って高速に生成することができる。また、各撮像手段による撮像範囲の全体に相当する各撮像情報を用いることで、三次元的認識結果の低解像度化を防止できる。更に、既定の選定基準を満たす差情報を選定することで、視差（差情報）の最大値及び最小値を自動的に取得することができる。   According to the invention described in any one of claims 1, 5 or 6, the correlation processing by the phase limited correlation method is performed on the overall first imaging information and the overall second imaging information. The difference information is output, and from the difference information, the difference information meeting the predetermined selection criteria is selected to generate the depth information. Therefore, depth information used for three-dimensional recognition of an imaging object can be generated at high speed over the entire imaging range of each imaging means. Further, by using each piece of imaging information corresponding to the entire imaging range of each imaging means, it is possible to prevent the resolution of the three-dimensional recognition result from being reduced. Furthermore, the maximum value and the minimum value of the parallax (difference information) can be automatically acquired by selecting the difference information that satisfies the predetermined selection criteria.

上記の課題を解決するために、請求項２に記載の発明は、請求項１に記載の情報処理装置において、前記選定基準は、一の前記撮像対象物に対応する全ての前記視差の位相限定相関における強度の平均値に相当する閾値であり、前記選定手段は、前記閾値以上の前記強度を有する前記差情報を選定して前記生成手段に出力するように構成される。   In order to solve the above problems, the invention according to claim 2 is the information processing apparatus according to claim 1, wherein the selection criterion is phase limitation of all the parallaxes corresponding to one of the imaging target objects The threshold value corresponds to the average value of the intensities in the correlation, and the selection unit is configured to select the difference information having the intensity equal to or more than the threshold and to output the selected difference information to the generation unit.

請求項２に記載の発明によれば、請求項１に記載の発明の作用に加えて、深度情報の生成に用いられる差情報の選定基準が、一の撮像対象物に対応する全ての視差の位相限定相関における強度の平均値に相当する閾値であり、当該閾値以上の強度を有する差情報を選定して深度情報の生成に用いるので、適切に差情報を選定することができる。   According to the invention as set forth in claim 2, in addition to the operation of the invention as set forth in claim 1, the selection criterion of the difference information used to generate the depth information is all parallaxes corresponding to one imaging object. The threshold information corresponds to the average value of the intensities in the phase only correlation, and the difference information having the intensity equal to or higher than the threshold is selected and used for generation of the depth information, so that the difference information can be appropriately selected.

上記の課題を解決するために、請求項３に記載の発明は、請求項１に記載の情報処理装置において、前記選定基準は、前記相関処理に含まれる正規化処理の方法に基づいた閾値であり、前記選定手段は、前記閾値以上の強度を有する前記差情報を選定して前記生成手段に出力するように構成される。   In order to solve the above-mentioned subject, in the invention according to claim 3, in the information processing apparatus according to claim 1, the selection criterion is a threshold based on a method of normalization processing included in the correlation processing. The selection means is configured to select the difference information having an intensity equal to or higher than the threshold value and output the selected difference information to the generation means.

請求項３に記載の発明によれば、請求項１に記載の発明の作用に加えて、深度情報の生成に用いられる差情報の選定基準が、相関処理に含まれる正規化処理の方法に基づいた閾値であり、当該閾値以上の強度を有する差情報を選定して深度情報の生成に用いるので、適切に差情報を選定することができる。   According to the invention as set forth in claim 3, in addition to the function of the invention as set forth in claim 1, the selection criterion of the difference information used to generate depth information is based on the method of normalization processing included in the correlation processing. Since the difference information having an intensity equal to or higher than the threshold is selected and used for generation of the depth information, the difference information can be appropriately selected.

上記の課題を解決するために、請求項４に記載の発明は、請求項１から請求項３のいずれか一項に記載の情報処理装置において、前記全体第１撮像情報と、前記全体第２撮像情報と、に対して前記相関処理を施す前記出力手段は、前記全体第１撮像情報に対して離散フーリエ変換処理を施し、第１フーリエ変換撮像情報を出力する第１離散フーリエ変換手段と、前記全体第２撮像情報に対して離散フーリエ変換処理を施し、第２フーリエ変換撮像情報を出力する第２離散フーリエ変換手段と、前記第１フーリエ変換撮像情報に対して正規化処理を施し、第１正規化撮像情報を出力する第１正規化手段と、前記第２フーリエ変換撮像情報に対して正規化処理を施し、第２正規化撮像情報を出力する第２正規化手段と、前記第１正規化撮像情報及び前記第２正規化撮像情報の要素ごとの積を算出する要素積算出手段と、前記算出された要素ごとの積に対して逆離散フーリエ変換処理を施し、前記差情報を出力する逆離散フーリエ変換手段と、を備える。   In order to solve the above problems, the invention according to claim 4 relates to the information processing apparatus according to any one of claims 1 to 3, wherein the whole first imaging information and the whole second First output means for performing the correlation process on imaging information; discrete Fourier transform means for performing discrete Fourier transform processing on the entire first imaging information; and outputting first Fourier transform imaging information; A second discrete Fourier transform unit that performs discrete Fourier transform processing on the entire second imaging information and outputs second Fourier transform imaging information, and performs normalization processing on the first Fourier transform imaging information; (1) first normalization means for outputting normalized imaging information; second normalization means for performing normalization processing on the second Fourier transform imaging information and outputting second normalized imaging information; Normalized imaging information Element product calculation means for calculating a product of each element of the second normalized imaging information, and inverse discrete Fourier transform for performing inverse discrete Fourier transform processing on the calculated product of each element and outputting the difference information Means.

請求項４に記載の発明によれば、請求項１から請求項３のいずれか一項に記載の発明の作用に加えて、全体第１撮像情報と、全体第２撮像情報と、に対して、離散フーリエ変換処理及び正規化処理をそれぞれ施し、それらの結果としての第１正規化撮像情報及び第２正規化撮像情報の要素ごとの積を算出し、それに対して逆離散フーリエ変換処理を施して差情報を出力する。よって、必要な深度情報を、各撮像手段の撮像範囲の全体に渡って高速且つ適切に生成することができる。   According to the fourth aspect of the invention, in addition to the function of the invention according to any one of the first to third aspects, the entire first imaging information and the entire second imaging information can be obtained. Discrete Fourier transform processing and normalization processing, respectively, calculate the product of each element of the first normalized imaging information and the second normalized imaging information as a result thereof, and perform inverse discrete Fourier transform processing on the product Output difference information. Therefore, the necessary depth information can be generated at high speed and properly over the entire imaging range of each imaging means.

本発明によれば、全体第１撮像情報と、全体第２撮像情報と、に対して位相限定相関法による相関処理を施して、撮像対象物に対する第１撮像手段と第２撮像手段との間の全ての視差に対応した差情報を出力し、その差情報から既定の選定基準を満たす差情報を選定して深度情報を生成する。 According to the present invention, the correlation processing by the phase-only correlation method is performed on the entire first imaging information and the entire second imaging information, and between the first imaging means and the second imaging means for the imaging object The difference information corresponding to all the parallaxes is output, and the difference information satisfying the predetermined selection criteria is selected from the difference information to generate the depth information.

従って、撮像対象物の三次元的認識に用いられる深度情報を、各撮像手段の撮像範囲の全体に渡って高速に生成することができる。   Therefore, depth information used for three-dimensional recognition of an imaging object can be generated at high speed over the entire imaging range of each imaging means.

また、各撮像手段による撮像範囲の全体に相当する各撮像情報を用いることで、三次元的認識結果の低解像度化を防止できる。   Further, by using each piece of imaging information corresponding to the entire imaging range of each imaging means, it is possible to prevent the resolution of the three-dimensional recognition result from being reduced.

更に、既定の選定基準を満たす差情報を選定することで、視差（差情報）の最大値及び最小値を自動的に取得することができる。   Furthermore, the maximum value and the minimum value of the parallax (difference information) can be automatically acquired by selecting the difference information that satisfies the predetermined selection criteria.

実施形態に係る物体認識装置の概要構成を示すブロック図である。It is a block diagram showing a schematic structure of an object recognition device concerning an embodiment. 実施形態に係るＰＯＣ処理部の細部構成を示すブロック図である。It is a block diagram which shows the detailed structure of the POC process part which concerns on embodiment. 実施形態に係る三次元空間認識処理を示すフローチャート等であり、（ａ）は当該フローチャートであり、（ｂ）は実施形態に係る画像データの一例を示す図であり、（ｃ）は実施形態に係る画像データの他の一例を示す図であり、（ｄ）は実施形態に係る深度データの一例を示す図である。It is a flowchart etc. which show the three-dimensional space recognition process which concerns on embodiment, (a) is the said flowchart, (b) is a figure which shows an example of the image data which concerns on embodiment, (c) is an embodiment. It is a figure which shows another example of the image data which concerns, and (d) is a figure which shows an example of the depth data which concern on embodiment. 実施形態に係る視差選択処理を説明する図であり、（ａ）は実施形態に係るＰＯＣ処理の結果を例示するグラフ図であり、（ｂ）は実施形態に係る視差選択の結果を例示するグラフ図である。It is a figure explaining the parallax selection process which concerns on embodiment, (a) is a graph which illustrates the result of POC process which concerns on embodiment, (b) is a graph which illustrates the result of parallax selection which concerns on embodiment. FIG.

次に、本発明の原理及び本発明を実施するための形態について、図面に基づいて説明する。なお、以下に説明する実施形態は、撮像対象物を観る右眼に相当するカメラ（以下、当該カメラを「第１カメラ」と称する）と、当該撮像対象物を観る左眼に相当するカメラ（以下、当該カメラを「第２カメラ」と称する）と、からそれぞれ取得される画像データ（即ち、フレームごとの二次元の画像データ）に基づいて、当該撮像対象物を三次元空間内で認識する三次元空間認識処理を行う物体認識装置に対して本発明を適用した場合の実施の形態である。   Next, the principles of the present invention and the modes for carrying out the present invention will be described based on the drawings. In the embodiments described below, a camera corresponding to the right eye watching the imaging target (hereinafter, the camera is referred to as a “first camera”) and a camera corresponding to the left eye watching the imaging target Hereinafter, based on the image data (that is, two-dimensional image data for each frame) acquired respectively from the camera and the “second camera”, the imaging target object is recognized in the three-dimensional space It is an embodiment at the time of applying the present invention to an object recognition device which performs three-dimensional space recognition processing.

（Ｉ）本発明の原理
初めに、本発明に係る実施形態について具体的に説明する前に、本発明の原理について説明する。 (I) Principle of the Present Invention First, the principle of the present invention will be described before the embodiments of the present invention are specifically described.

先ず、一般のＰＯＣ処理について、その概要を説明する。即ち、上記第２カメラからの画像データをｆ（ｘ，ｙ）と表し、上記第１カメラからの画像データをｇ（ｘ，ｙ）と表すとすると、上記ＰＯＣ処理では、これらに対していわゆる離散フーリエ変換（Discrete Fourier Transform（以下、「ＤＦＴ」と称する））処理を初めに施して、波数（ｋ）空間の信号に変換する。このとき当該変換の結果は、下記式（１）のように表される。   First, an outline of general POC processing will be described. That is, assuming that the image data from the second camera is represented by f (x, y) and the image data from the first camera is represented by g (x, y), so-called POC processing First, discrete Fourier transform (hereinafter referred to as "DFT") processing is applied to convert it into a signal in the wave number (k) space. At this time, the result of the conversion is expressed as the following formula (1).

上記ＰＯＣ処理では次に、式（１）における関数Ｆ（ｋｘ，ｋｙ）及び関数Ｇ（ｋｘ，ｋｙ）をその振幅で除することにより正規化し、更にその一方を共役とすることで、いわゆる要素積（Hadamard Product又はElement-Wise Product）を求める。この要素積は、下記式（２）のように表される。 Next, in the above POC processing, normalize the function F (k x , k y ) and the function G (k x , k y ) in equation (1) by dividing by the amplitude, and then make one of them conjugate. Then, the so-called element product (Hadamard Product or Element-Wise Product) is obtained. This element product is expressed as the following equation (2).

この式（２）において、「θＦ（ｋｘ，ｋｙ）」は複素関数Ｆ（ｋｘ，ｋｙ）の位相角であり、「θＧ（ｋｘ，ｋｙ）」は複素関数Ｇ（ｋｘ，ｋｙ）の位相角である。そして上記ＰＯＣ処理では最後に、上記式（２）により求められた要素積に対して、いわゆる逆離散フーリエ変換（Inverse Discrete Fourier Transform（以下、「ＩＤＦＴ」と称する）処理を施し、当該ＰＯＣ処理の結果として出力する。この結果は、下記式（３）に示すものとなる。 In this equation (2), “θ F (k x , k y )” is the phase angle of the complex function F (k x , k y ), and “θ G (k x , k y )” is the complex function G It is a phase angle of (k x , k y ). Finally, in the POC process, the element product determined by the equation (2) is subjected to a so-called inverse discrete Fourier transform (hereinafter referred to as "IDFT") process, and the POC process is performed. The result is output as shown in the following equation (3).

ここで、第２カメラからの画像データｆ（ｘ，ｙ）と、第１カメラからの画像データｇ（ｘ，ｙ）と、の関係を、第２カメラと第１カメラとの間の距離ｄ（水平方向であるか、垂直方向であるか、或いは斜め方向であるか、を問わない）を用いて表すとすると、以下の式（４）のようになる。   Here, the relationship between the image data f (x, y) from the second camera and the image data g (x, y) from the first camera is the distance d between the second camera and the first camera. If (horizontal direction, vertical direction, or oblique direction, regardless of whether it is horizontal direction or not) is expressed, the following equation (4) is obtained.

そして、式（４）の両辺に対してＤＦＴ処理を施した結果は、以下の式（５）となる。   And the result of having performed the DFT process with respect to both sides of Formula (4) becomes the following Formula (5).

従って、式（４）に対して上記式（２）と同様の正規化処理を施し、更にその要素積を求めると、その結果は、上記式（２）に対応して、以下の式（６）に示すものとなる。   Therefore, when the same normalization process as the above equation (2) is performed on the equation (4), and the element product is further obtained, the result is the following equation (6) corresponding to the above equation (2) It will be shown in).

そして、上記式（６）の両辺に対してＩＤＦＴ処理を施した結果は、以下の式（７）となる。   And the result of having performed the IDFT process with respect to both sides of the said Formula (6) becomes the following Formula (7).

この式（７）から判るように、上記第２カメラからの画像データｆ（ｘ，ｙ）と、上記第１カメラから画像データをｇ（ｘ，ｙ）との間に、第２カメラと第１カメラとの間の距離ｄに対応した画像のずれがある場合、そのずれに対応して、式（７）で示されるデルタ（δ）関数としてのピークが現れることになる。   As can be understood from the equation (7), the second camera and the second camera are placed between the image data f (x, y) from the second camera and the image data g (x, y) from the first camera. When there is a deviation of the image corresponding to the distance d between one camera, a peak as a delta (δ) function shown in equation (7) will appear corresponding to the deviation.

以上説明した一般のＰＯＣ処理に対し、本発明に係る三次元空間認識処理では、第２カメラの撮像範囲（即ち視野）の全体に対応する画像データｆ（ｘ，ｙ）と、第１カメラの撮像範囲の全体に対応する画像データｇ（ｘ，ｙ）と、に対して上記ＰＯＣ処理を施す。その上で本発明では、第２カメラの撮像範囲の全体に対応する画像データｆ（ｘ，ｙ）及び第１カメラの撮像範囲の全体に対応する画像データｇ（ｘ，ｙ）に対する当該ＰＯＣ処理の結果から、予め設定された選定基準を満たす結果を選定し、その選定された結果と、元の画像データｆ（ｘ，ｙ）及び画像データｇ（ｘ，ｙ）と、に基づいてブロックマッチング処理を行う。そして本発明では、当該ブロックマッチング処理の結果に基づき、上記撮像対象物に対応し且つ当該撮像対象物を三次元的に認識する際に用いられる深度情報を生成し、その深度情報を用いて、当該撮像対象物の三次元空間認識処理を行う。   In contrast to the general POC processing described above, in the three-dimensional space recognition processing according to the present invention, image data f (x, y) corresponding to the entire imaging range (that is, visual field) of the second camera and the first camera The above POC processing is performed on image data g (x, y) corresponding to the entire imaging range. Furthermore, in the present invention, the POC processing is performed on image data f (x, y) corresponding to the entire imaging range of the second camera and image data g (x, y) corresponding to the entire imaging range of the first camera. From the results of the above, a result satisfying the selection criteria set in advance is selected, and block matching is performed based on the selected result and the original image data f (x, y) and the image data g (x, y). Do the processing. And in this invention, based on the result of the said block matching process, the depth information corresponding to the said imaging target object and used when recognizing the said imaging target object three-dimensionally is produced | generated, The depth information is used, A three-dimensional space recognition process of the imaging object is performed.

より具体的に、右眼に相当する第１カメラからの画像データをＲ（ｘ，ｙ）と置き換え、また、左眼に相当する第２カメラからの画像データをＬ（ｘ，ｙ）と置き換え、パラメータｉを第１カメラ及び第２カメラそれぞれにおける画素の番号とし、更に、第２カメラの撮像範囲の全体に対応する画像データをＬｆｕｌｌ（ｘ，ｙ）とし、第１カメラの撮像範囲の全体に対応する画像データをＲｆｕｌｌ（ｘ，ｙ）とすると、これらには以下の式（８）に示される関係がある。 More specifically, the image data from the first camera corresponding to the right eye is replaced with R (x, y), and the image data from the second camera corresponding to the left eye is replaced with L (x, y) The parameter i is the number of the pixel in each of the first camera and the second camera, and the image data corresponding to the entire imaging range of the second camera is L full (x, y). Assuming that the image data corresponding to the whole is R full (x, y), there is a relationship shown in the following equation (8).

更に第１カメラと第２カメラとの間の距離ｄに対応して、当該第１カメラと第２カメラそれぞれの画素ｉからみた場合の撮像対象物の位置ずれ（disparity of object）を「ｄｉ」とすると、上記式（４）を参照して、以下の式（９）が成立する。 Further in response to the distance d between the first camera and the second camera, the first camera and "d i positional deviation of (disparity of object) of the image pickup object when viewed from the second camera each pixel i "", The following equation (9) is established with reference to the above equation (4).

ここで、上記画像データＬ（ｘ，ｙ）と上記画像データＲ（ｘ，ｙ）に対応したいわゆるステレオ画像は、位置的なずれ量（例えば上記ｄ）を持った複数の物体（撮像された画像内の物体）の加算で表現される。一方、上記ＰＯＣ処理は全て線形処理であるので、画素ｉごとに個別に上記ずれ量を算出し、そのずれ量に対して独立した上記デルタ関数の線形和を以下の式（１０）のように算出することで、本発明に係るＰＯＣ処理の結果（ＰＯＣ（Ｌ（ｘ，ｙ），Ｒ（ｘ，ｙ））が出力される。なお、当該式（１０）において、「ｐ」は、視差がある物体（撮像対象物）を表す画素（Pixel）の量に相関を持つ位相ごとのエッジ量である。   Here, so-called stereo images corresponding to the image data L (x, y) and the image data R (x, y) are a plurality of objects (imaged with a positional shift amount (for example, d)) It is expressed by addition of the object in the image. On the other hand, since all the POC processes are linear processes, the deviation amount is calculated individually for each pixel i, and the linear sum of the delta functions independent with respect to the deviation amount is expressed by the following equation (10) By calculating, the result (POC (L (x, y), R (x, y)) of the POC process according to the present invention is output. In the equation (10), “p” is the parallax Is an edge amount for each phase that has a correlation with the amount of a pixel (Pixel) representing an object (image pickup target).

その後、本発明に係る三次元空間認識処理では、上述したように、本発明に係るＰＯＣ処理の結果から、上記予め設定された選定基準を満たす結果を選定し、その選定された結果を用いたブロックマッチング処理により上記深度情報を生成し、その深度情報を用いて撮像対象物の三次元空間認識処理を行う。   Thereafter, in the three-dimensional space recognition process according to the present invention, as described above, the result satisfying the preset selection criteria is selected from the result of the POC process according to the present invention, and the selected result is used. The above-described depth information is generated by block matching processing, and three-dimensional space recognition processing of the imaging target object is performed using the depth information.

以上説明した原理を有する本発明によれば、第２カメラの撮像範囲の全体に対応する画像データＬｆｕｌｌ（ｘ，ｙ）と、第１カメラの撮像範囲の全体に対応する画像データＲｆｕｌｌ（ｘ，ｙ）と、に対してＰＯＣ処理を施し、その結果から上記予め設定された選定基準を満たす結果を選定して深度情報を生成するので、撮像対象物の三次元的認識に用いられる深度情報を、第１カメラ及び第２カメラそれぞれの撮像範囲の全体に渡って高速に生成することができる。 According to the present invention having the principle described above, image data L full (x, y) corresponding to the entire imaging range of the second camera and image data R full (the entire imaging range of the first camera) Since POC processing is applied to x, y), and a result satisfying the preset selection criteria is selected from the result to generate depth information, the depth used for three-dimensional recognition of the imaging object Information can be generated at high speed throughout the imaging range of each of the first and second cameras.

（II）本発明の実施形態
次に、上述した本発明に係る原理に基づく具体的な実施形態について、図１乃至図４を用いて説明する。なお、図１は実施形態に係る物体認識装置の概要構成を示すブロック図であり、図２は実施形態に係るＰＯＣ処理部の細部構成を示すブロック図であり、図３は実施形態に係る三次元空間認識処理を示すフローチャート等であり、図４は実施形態に係る視差選択処理を説明する図である。 (II) Embodiment of the Present Invention Next, a specific embodiment based on the above-described principle according to the present invention will be described with reference to FIG. 1 to FIG. 1 is a block diagram showing a schematic configuration of the object recognition apparatus according to the embodiment, FIG. 2 is a block diagram showing a detailed configuration of a POC processing unit according to the embodiment, and FIG. 3 is a third order according to the embodiment. It is a flowchart etc. which show source space recognition processing, FIG. 4 is a figure explaining the parallax selection processing which concerns on embodiment.

図１に示すように、実施形態に係る物体認識装置Ｓは、撮像対象物ＯＢをそれぞれの撮像範囲内に含んでいる上記第１カメラ１及び上記第２カメラ２と、ＰＯＣ処理部３と、視差選定部４と、ブロックマッチング部５と、空間認識部６と、液晶ディスプレイ等からなるディスプレイ７と、により構成されている。このとき、上記ＰＯＣ処理部３、上記視差選定部４、上記ブロックマッチング部５及び上記空間認識部６は、実施形態に係る物体認識装置Ｓを実現する例えばパーソナルコンピュータ内のＣＰＵ、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）等からなるハードウェアロジック回路により実現されてもよいし、或いは、後述する三次元空間認識処理を示すフローチャートに相当するプログラムを上記ＣＰＵが読み込んで実行することにより、ソフトウェア的に実現されてもよい。一方上記ＰＯＣ処理部３は、図２に示すように、離散フーリエ変換部３０及び離散フーリエ変換部３２と、正規化部３１及び正規化部３３と、要素積算出部３４と、逆離散フーリエ変換部３５と、により構成されている。そして、上記第１カメラ１が本発明に係る「第１撮像手段」の一例に相当し、上記第２カメラが本発明に係る「第２撮像手段」の一例に相当する。また、上記ＰＯＣ処理部３が本発明に係る「取得手段」の一例及び「出力手段」の一例に相当し、視差選定部４が本発明に係る「選定手段」の一例に相当し、ブロックマッチング部５が本発明に係る「生成手段」の一例に相当する。更に、離散フーリエ変換部３０が本発明に係る「第１離散フーリエ変換手段」の一例に相当し、離散フーリエ変換部３２が本発明に係る「第２離散フーリエ変換手段」の一例に相当する。更にまた、正規化部３１が本発明に係る「第１正規化手段」の一例に相当し、正規化部３３が本発明に係る「第２正規化手段」の一例に相当し、要素積算出部３４が本発明に係る「要素積算出手段」の一例に相当し、逆離散フーリエ変換部３５が本発明に係る「逆離散フーリエ変換手段」の一例に相当する。   As shown in FIG. 1, the object recognition apparatus S according to the embodiment includes the first camera 1 and the second camera 2 including the imaging target object OB in each imaging range, and the POC processing unit 3. It is comprised by the parallax selection part 4, the block matching part 5, the space recognition part 6, and the display 7 which consists of a liquid crystal display etc. At this time, the POC processing unit 3, the parallax selection unit 4, the block matching unit 5 and the space recognition unit 6 are, for example, a CPU (RAM) (Random Access in a personal computer) that implements the object recognition device S according to the embodiment. May be realized by a hardware logic circuit including a memory (memory) and a read only memory (ROM), or by the CPU reading and executing a program corresponding to a flowchart showing a three-dimensional space recognition process described later. , May be realized in software. On the other hand, as shown in FIG. 2, the POC processing unit 3 has a discrete Fourier transform unit 30 and a discrete Fourier transform unit 32, a normalization unit 31 and a normalization unit 33, an element product calculation unit 34, and an inverse discrete Fourier transform And a unit 35. The first camera 1 corresponds to an example of the "first imaging unit" according to the present invention, and the second camera corresponds to an example of the "second imaging unit" according to the present invention. Further, the POC processing unit 3 corresponds to an example of “acquisition means” according to the present invention and an example of “output means”, and the parallax selection unit 4 corresponds to an example of “selection means” according to the present invention The part 5 corresponds to an example of the "generation means" according to the present invention. Furthermore, the discrete Fourier transform unit 30 corresponds to an example of the "first discrete Fourier transform means" according to the present invention, and the discrete Fourier transform unit 32 corresponds to an example of the "second discrete Fourier transform means" according to the present invention. Furthermore, the normalization unit 31 corresponds to an example of the “first normalization means” according to the present invention, and the normalization unit 33 corresponds to an example of the “second normalization means” according to the present invention The unit 34 corresponds to an example of the “element product calculation means” according to the present invention, and the inverse discrete Fourier transform unit 35 corresponds to an example of the “inverse discrete Fourier transform means” according to the present invention.

以上の構成を備える実施形態に係る物体認識装置Ｓにおける、実施形態に係る三次元空間認識処理では、図３に対応するフローチャートを示すように、例えば図示しない操作部における予め設定された開始操作により当該三次元空間認識処理が開始されると、初めに、第１カメラ１及び第２カメラ２のそれぞれから、第１カメラ１の撮像範囲の全体に対応する画像データＳＶ１と、第２カメラ２の撮像範囲の全体に対応する画像データＳＶ２と、を、ＰＯＣ処理部３において取得する（ステップＳ１）。このとき、ＰＯＣ処理部３は、一纏まりの撮像対象物ＯＢについて、例えば図３（ｂ）に例示する画像Ｖ１に相当する画像データＳＶ１と、図３（ｂ）に例示する画像Ｖ２に相当する画像データＳＶ２と、を、それぞれ第１カメラ１及び第２カメラ２から取得する。ここで、図３（ｂ）及び図３（ｃ）に例示する場合は、画像の中央にある像、その手前右にあるスタンド、像の奥にある机及びカメラ、のそれぞれが撮像対象物ＯＢとなる。そして、図３（ｂ）及び図３（ｃ）に例示する画像Ｖ１及び画像Ｖ２には、第１カメラ１と第２カメラ２との間の距離に対応した、各撮像対象物ＯＢに相当する上記視差が含まれていることになる。次に、ＰＯＣ処理部３の離散フーリエ変換部３０は、画像データＳＶ１に対して上記ＤＦＴ処理を施し（上記式（１）参照）、変換画像データＳＤＦＴ１を生成してＰＯＣ処理部３の正規化部３１に出力する（ステップＳ２）。一方、ＰＯＣ処理部３の離散フーリエ変換部３２は、画像データＳＶ２に対して上記ＤＦＴ処理を施し（上記式（１）参照）、変換画像データＳＤＦＴ２を生成してＰＯＣ処理部３の正規化部３３に出力する（ステップＳ２）。 In the three-dimensional space recognition process according to the embodiment in the object recognition apparatus S according to the embodiment having the above configuration, as shown in the flowchart corresponding to FIG. When the three-dimensional space recognition process is started, first, image data SV1 corresponding to the entire imaging range of the first camera 1 and the second camera 2 from the first camera 1 and the second camera 2 respectively. The POC processing unit 3 acquires image data SV2 corresponding to the entire imaging range of (step S1). At this time, the POC processing unit 3 corresponds, for example, to image data SV1 corresponding to the image V1 illustrated in FIG. 3B and the image V2 illustrated in FIG. Image data SV2 to be acquired from the first camera 1 and the second camera 2 respectively. Here, in the case illustrated in FIG. 3B and FIG. 3C, each of the image at the center of the image, the stand at the front right thereof, the desk at the back of the image and the camera is the imaging object OB It becomes. The images V1 and V2 illustrated in FIGS. 3B and 3C correspond to the respective imaging objects OB corresponding to the distance between the first camera 1 and the second camera 2 The above parallax is included. Next, the discrete Fourier transform unit 30 of the POC processing unit 3 (see the equation (1)) performs the DFT processing on the image data S V1, and generates the converted image data S DFT1 of POC processor 3 It outputs to the normalization part 31 (step S2). On the other hand, the discrete Fourier transform unit 32 of the POC processing unit 3 (see the equation (1)) performs the DFT processing on the image data S V2, normal converted image data to generate the S DFT2 POC processor 3 It is output to the conversion unit 33 (step S2).

次に正規化部３１は、離散フーリエ変換部３０から出力された変換画像データＳＤＦＴ１に相当する関数をその振幅で除することにより正規化し、正規化変換画像データＳＮ１を生成してＰＯＣ処理部３の要素積算出部３４に出力する（ステップＳ３。上記式（１）及び上記式（２）参照。）。一方正規化部３３は、離散フーリエ変換部３２から出力された変換画像データＳＤＦＴ２に相当する関数をその振幅で除することにより正規化し、正規化変換画像データＳＮ２を生成して要素積算出部３４に出力する（ステップＳ３。上記式（１）及び上記式（２）参照。）。これらにより、ＰＯＣ処理部３の要素積算出部３４は、正規化部３１から出力された正規化変換画像データＳＮ１と、正規化部３３から出力された正規化変換画像データＳＮ２と、に基づいて上記要素積を算出し、要素積データＳＨＰを生成して逆離散フーリエ変換部３５に出力する（ステップＳ４）。その後、ＰＯＣ処理部３の逆離散フーリエ変換部３５は、要素積データＳＨＰに対して上記ＩＤＦＴ処理を施し（上記式（３）及び上記式（１０）参照）、逆変換画像データＳＳＰを生成して視差選定部４に出力する（ステップＳ５）。なお、当該逆変換画像データＳＳＰが、本発明に係る「差情報」の一例に相当する。 Next, the normalization unit 31 normalizes the function corresponding to the converted image data S DFT1 output from the discrete Fourier transform unit 30 by dividing it by its amplitude to generate normalized conversion image data S N1 and perform POC processing It outputs to the element product calculation unit 34 of the unit 3 (step S3: see the above equation (1) and the above equation (2)). On the other hand, the normalization unit 33 normalizes the function corresponding to the converted image data S DFT 2 output from the discrete Fourier transform unit 32 by dividing it by its amplitude to generate normalized converted image data S N 2 and calculate the element product The data is output to the unit 34 (Step S3. See the above equation (1) and the above equation (2). These elements calculating unit 34 of the POC processing unit 3, a normalized conversion image data S N1 output from the normalization unit 31, a normalized conversion image data S N2 output from the normalization unit 33, the The above-mentioned element product is calculated based on the above, element product data SHP is generated, and is output to the inverse discrete Fourier transform unit 35 (step S4). Then, inverse discrete Fourier transform unit 35 of the POC processing unit 3 performs the IDFT processing on the element product data S HP (the above formula (3) and the formula (10)), and the inverse transformed image data S SP It generates and outputs to the parallax selection part 4 (step S5). Note that the inverse transformed image data S SP is equivalent to an example of "difference information" according to the present invention.

次に視差選定部４は、本発明に係るＰＯＣ処理の結果としての上記逆変換画像データＳＳＰから、上記予め設定された選定基準を満たす逆変換画像データＳＳＰを選定し、選定データＳＳＬとしてブロックマッチング部５に出力する（ステップＳ６）。ここで、実施形態に係る三次元空間認識処理では、上記選定基準たる閾値として、
ｉ）一の撮像対象物ＯＢに対応する全ての逆変換画像データＳＳＰにおける強度（Intensity）の平均値、又は
ii）正規化部３１及び正規化部３３における正規化処理の方法に基づいた、いわゆるヒューリスティック閾値、
のいずれかを用いることができる。そして視差選定部４は、例えば図４（ａ）に例示する態様で出力されてくる逆変換画像データＳＳＰを、その強度が高い順に図４（ｂ）のように並べ替え（即ち、逆変換画像データＳＳＰを、その強度が高い順に図４（ｂ）の左から右に並べ替え）、当該強度が上記閾値ＴＨ以上である逆変換画像データＳＳＰを上記選定データＳＳＬとして選定してブロックマッチング部５に出力する。なお図４の各図において、その横軸の「disparity」は、画素数に換算した視差の値（より具体的には、当該視差を示す、画素（Pixel）の位置の不一致量（ズレ量））を示している。例えば、図４各図における横軸の「１００」に相当する縦軸の強度は、視差が１００画素（Pixel）分ある撮像対象物ＯＢの部分に相当する逆変換画像データＳＳＰの強度を示している。また、図４（ｂ）に例示する場合は、閾値ＴＨ以上の強度を有する逆変換画像データＳＳＰが三十個あり、上記選定データＳＳＬとしては、上記三十個の逆変換画像データＳＳＰが出力されることになる。 Then parallax selecting unit 4 from the inverse transformed image data S SP as a result of the POC process according to the present invention, selects the inverse transformed image data S SP satisfying the preset selection criterion, selection data S SL And the block matching unit 5 (step S6). Here, in the three-dimensional space recognition process according to the embodiment, as the threshold serving as the selection criterion,
i) Average value of the intensities in all the inverse transformed image data S SP corresponding to one imaging target object OB, or
ii) a so-called heuristic threshold based on a method of normalization processing in the normalization unit 31 and the normalization unit 33,
Any of the above can be used. Then, the parallax selecting unit 4 rearranges the inverse transformed image data S SP outputted in the mode illustrated in FIG. 4A, for example, in the order of high intensity as shown in FIG. Image data S SP is rearranged from left to right in FIG. 4B in descending order of strength), and inverse-transformed image data S SP whose strength is equal to or higher than the threshold TH is selected as the selection data S SL. Output to block matching unit 5. In each diagram of FIG. 4, “disparity” on the horizontal axis represents the parallax value converted to the number of pixels (more specifically, the amount of mismatch (displacement amount) of the position of the pixel (Pixel indicating the parallax) ) Is shown. For example, the intensity on the vertical axis corresponding to “100” on the horizontal axis in FIG. 4 indicates the intensity of the inverse transformed image data S SP corresponding to the portion of the imaging object OB having 100 pixels (Pixel) of parallax. ing. In the case of illustrated in FIG. 4 (b), there ten three inverse transformed image data S SP having a strength equal to or greater than the threshold value TH, as is the selection data S SL, the three ten inverse transformed image data S SP will be output.

その後ブロックマッチング部５は、視差選定部４から出力された選定データＳＳＬを用いたブロックマッチング処理により、例えば図３（ｂ）又は図３（ｃ）に例示する各撮像対象物ＯＢの三次元的認識に用いられる上記深度情報に相当する深度データＳＢＭを生成し、空間認識部６に出力する（ステップＳ７）。この深度データＳＢＭに相当する画像の例として、例えば図３（ｂ）又は図３（ｃ）に対応する当該深度データＳＢＭに相当する画像Ｖｄｂが、図３（ｄ）に例示されている。 After that, the block matching unit 5 performs block matching processing using the selection data S SL output from the parallax selection unit 4 to generate, for example, the three-dimensional configuration of each imaging target object OB illustrated in FIG. 3B or 3C. The depth data S BM corresponding to the depth information used for the purpose recognition is generated and output to the space recognition unit 6 (step S7). As an example of an image corresponding to the depth data S BM , for example, an image V db corresponding to the depth data S BM corresponding to FIG. 3 (b) or FIG. 3 (c) is exemplified in FIG. There is.

その後空間認識部６は、ブロックマッチング部５から出力された深度データＳＢＭを用いて各撮像対象物ＯＢの三次元空間認識処理を行い、その結果を、例えば表示データＳＯＵＴとしてディスプレイ７に出力する（ステップＳ８）。これによりディスプレイ７は、空間認識部６から出力された表示データＳＯＵＴに相当する画像を、実施形態に係る三次元空間認識処理の結果として表示する。 Thereafter, the space recognition unit 6 performs three-dimensional space recognition processing of each imaging target object OB using the depth data S BM output from the block matching unit 5, and outputs the result to the display 7 as display data S OUT , for example. (Step S8). Thereby, the display 7 displays an image corresponding to the display data S OUT output from the space recognition unit 6 as a result of the three-dimensional space recognition process according to the embodiment.

次に、実施形態に係る三次元空間認識処理を終了するか否かが、例えば物体認識装置Ｓの電源スイッチがオフとされたか否か、又は、図示しない操作部において当該終了する旨の操作が行われたか否か等に基づいて判定される（ステップＳ９）。ステップＳ９の判定において、例えば次の撮像対象物ＯＢがある等の事情により、実施形態に係る三次元空間認識処理を継続する場合（ステップＳ９：ＮＯ）、物体認識装置Ｓは上記ステップＳ１に戻って、上述してきた一連の処理を継続する。一方、ステップＳ９の判定において、実施形態に係る三次元空間認識処理を終了する場合（ステップＳ９：ＹＥＳ）、当該三次元空間認識処理はそのまま終了される。   Next, whether or not to end the three-dimensional space recognition processing according to the embodiment is, for example, whether or not the power switch of the object recognition device S is turned off, or an operation indicating the end in the operation unit (not shown) It is determined based on whether or not it has been performed (step S9). When the three-dimensional space recognition process according to the embodiment is continued in the determination of step S9, for example, because there is a next object to be imaged OB (step S9: NO), the object recognition device S returns to step S1. And continue the series of processes described above. On the other hand, when the three-dimensional space recognition process according to the embodiment is ended in the determination of step S9 (step S9: YES), the three-dimensional space recognition process is ended as it is.

以上説明したように、本発明の原理に対応した実施形態に係る三次元空間認識処理によれば、第１カメラ１の撮像範囲の全体に対応する画像データＳＶ１と、第２カメラ２の撮像範囲の全体に対応する画像データＳＶ２と、に対してＰＯＣ処理を施し、その結果から既定の選定基準を満たす結果を選定して深度データＳＢＭを生成するので、撮像対象物ＯＢの三次元的認識に用いられる深度データＳＢＭを、第１カメラ１及び第２カメラ２の撮像範囲の全体に渡って高速に生成することができる。 As described above, according to the three-dimensional space recognition processing according to the embodiment corresponding to the principle of the present invention, the image data SV1 corresponding to the entire imaging range of the first camera 1 and the imaging of the second camera 2 Since POC processing is performed on image data SV2 corresponding to the entire range, and a result satisfying the predetermined selection criteria is selected from the result to generate depth data SBM , the three-dimensional image object OB is captured. The depth data S BM used for the purpose recognition can be generated at high speed throughout the imaging range of the first camera 1 and the second camera 2.

また、第１カメラ１及び第２カメラ２による撮像範囲の全体に相当する画像データＳＶ１（画像データＲｆｕｌｌ（ｘ，ｙ））及び画像データＳＶ２（画像データＬｆｕｌｌ（ｘ，ｙ））を用いることで、三次元的認識結果の低解像度化を防止できる。 Further, image data S V1 (image data R full (x, y)) and image data S V 2 (image data L full (x, y)) corresponding to the entire imaging range by the first camera 1 and the second camera 2 Can be used to prevent the resolution of the three-dimensional recognition result from being reduced.

更に、既定の選定基準を満たす逆変換画像データＳＳＰを選定することで、従来は初期値として例えば手動で（使用者により）指定する必要があった視差の最大値及び最少値を、図４（特に図４（ｂ））に例示するように自動的に決定することができる。 Furthermore, by selecting inverse-transformed image data S SP meeting the predetermined selection criteria, the maximum value and the minimum value of the parallax which conventionally had to be specified manually (by the user) as an initial value, for example, as shown in FIG. It can be determined automatically as exemplified in FIG. 4 (b).

更にまた、上記選定基準として、ｉ）一の撮像対象物ＯＢに対応する全ての逆変換画像データＳＳＰにおける強度の平均値、又はii）正規化部３１及び正規化部３３における正規化処理の方法に基づいたヒューリスティック閾値、のいずれかを用いる場合は、適切に、必要な選定データＳＳＬを選定することができる。 Furthermore, as the selection criteria, i) all corresponding to one imaging object OB inverse transformed image data S mean value of the intensity in the SP, or ii) the normalization process in the normalized unit 31 and the normalizing unit 33 When using any of the heuristic threshold values based on the method, it is possible to select the necessary selection data S SL appropriately.

また、第２カメラ２の撮像範囲の全体に対応する画像データＳＶ２と、第１カメラ１の撮像範囲の全体に対応する画像データＳＶ１と、に対して、ＰＯＣ処理として、正規化処理、要素積算出処理及びＩＤＦＴ処理を行って逆変換画像データＳＳＰを生成するので、必要な深度データＳＢＭを、第１カメラ１及び第２カメラ２の撮像範囲それぞれの全体に渡って高速且つ適切に生成することができる。 Further, the image data S V2 corresponding to the entire second imaging range of the camera 2, the image data S V1 corresponding to the entire first imaging range of the camera 1, with respect to, as POC process, normalization process, Since element product calculation processing and IDFT processing are performed to generate inverse transformed image data S SP , necessary depth data S BM can be quickly and appropriately set over the entire imaging ranges of the first camera 1 and the second camera 2. Can be generated.

更に、本発明の発明者らの実験によれば、実施形態に係る三次元空間認識処理によれば、第１カメラ１又は第２カメラ２それぞれにおける画像の最大幅（例えば水平方向の最大画素数）に対して、その半分の画素に相当する視差が生じる撮像対象物ＯＢであっても、三次元空間認識処理による撮像対象物ＯＢの推定が可能であることが確認されている。   Furthermore, according to experiments by the inventors of the present invention, according to the three-dimensional space recognition processing according to the embodiment, the maximum width of the image in each of the first camera 1 or the second camera 2 (for example, the maximum number of pixels in the horizontal direction) On the other hand, it has been confirmed that estimation of the imaging object OB by three-dimensional space recognition processing is possible even for the imaging object OB in which parallax equivalent to that half of the pixels occurs.

更にまた、実施形態に係る三次元空間認識処理は、上記ブロックマッチング処理を含む三次元空間認識処理の他に、いわゆるＳＡＤ（Sum of Absolute Differences）法による処理を含む三次元空間認識処理にも適用が可能である。   Furthermore, the three-dimensional space recognition processing according to the embodiment is applied to three-dimensional space recognition processing including processing by the so-called SAD (Sum of Absolute Differences) method, in addition to the three-dimensional space recognition processing including the block matching processing. Is possible.

また、図３（ａ）に示すフローチャートに相当する上記プログラムを、例えばインターネット等のネットワークを介して取得して記録しておき、或いは光ディスク等の記録媒体に記録しておき、これらを、マイクロコンピュータ等により読み込んで実行させることにより、当該マイクロコンピュータ等を、実施形態に係るＰＯＣ処理部３、視差選定部４、ブロックマッチング部５及び空間認識部６として機能させることも可能である。   Further, the above program corresponding to the flowchart shown in FIG. 3A is acquired and recorded via a network such as the Internet, for example, or is recorded on a recording medium such as an optical disc, etc. It is also possible to cause the microcomputer or the like to function as the POC processing unit 3, the parallax selection unit 4, the block matching unit 5, and the space recognition unit 6 according to the embodiment by reading and executing the process.

以上それぞれ説明したように、本発明は撮像対象物ＯＢの三次元空間認識処理の分野に利用することが可能であり、特に、高画質及び高速での実行が求められる当該三次元空間認識処理の分野に適用すれば特に顕著な効果が得られる。   As described above, the present invention can be used in the field of three-dimensional space recognition processing of an imaging object OB, and in particular, in the three-dimensional space recognition processing that requires high image quality and high-speed execution. Particularly remarkable effects can be obtained if applied to the field.

１ 第１カメラ
２ 第２カメラ
３ ＰＯＣ処理部
４ 視差選定部
５ ブロックマッチング部
６ 空間認識部
７ ディスプレイ
３０、３２ 離散フーリエ変換部
３１、３３ 正規化部
３４ 要素積算出部
３５ 逆離散フーリエ変換部
Ｓ 物体認識装置
ＯＢ 撮像対象物
ＳＶ１、ＳＶ２ 画像データ
ＳＤＦＴ１、ＳＤＦＴ２ 変換画像データ
ＳＮ１、ＳＮ２ 正規化変換画像データ
ＳＨＰ 要素積データ
ＳＳＰ 逆変換画像データ
ＳＳＬ 選定データ
ＳＢＭ 深度データ
Ｖ１、Ｖ２、Ｖｄｂ 画像
ＴＨ 閾値 Reference Signs List 1 first camera 2 second camera 3 POC processing unit 4 disparity selection unit 5 block matching unit 6 space recognition unit 7 display 30, 32 discrete Fourier transform unit 31, 33 normalization unit 34 element product calculation unit 35 inverse discrete Fourier transform unit S object recognition apparatus OB imaging object S V1 , S V2 image data S DFT1 , S DFT2 converted image data S N1 , S N2 normalized converted image data S HP element product data S SP inverse converted image data S SL selection data S BM Depth data V1, V2, V db image TH threshold

Claims (6)

撮像対象物に対応し且つ当該撮像対象物を三次元的に認識する際に用いられる深度情報を生成する情報処理装置において、
前記撮像対象物を第１撮像手段により撮像して得られた第１撮像情報と、前記第１撮像手段から予め設定された距離だけ離れて設置された第２撮像手段により前記撮像対象物を撮像して得られた第２撮像情報と、をそれぞれ取得する取得手段と、
前記第１撮像手段による撮像範囲の全体に相当する前記第１撮像情報である全体第１撮像情報と、前記第２撮像手段による撮像範囲の全体に相当する前記第２撮像情報である全体第２撮像情報と、に対して位相限定相関法による相関処理を施し、前記撮像対象物に対する前記第１撮像手段と前記第２撮像手段との間の全ての視差に対応した差情報を出力する出力手段と、
前記出力された差情報から、前記視差に対応して予め設定された選定基準を満たす差情報を選定する選定手段と、
前記選定された差情報と、前記第１撮像情報及び前記第２撮像情報と、に基づいて前記深度情報を生成する生成手段と、
を備えることを特徴とする情報処理装置。 In an information processing apparatus corresponding to an imaging target and generating depth information used when recognizing the imaging target three-dimensionally,
The first imaging information obtained by imaging the imaging object by the first imaging means, and the second imaging means installed at a distance set in advance from the first imaging means, imaging the imaging object Acquisition means for acquiring each of the second imaging information obtained by
Overall first imaging information that is the first imaging information corresponding to the entire imaging range by the first imaging unit, and overall second that is the second imaging information that corresponds to the entire imaging range by the second imaging unit Output means for performing correlation processing by phase limited correlation method on imaging information and outputting difference information corresponding to all parallaxes between the first imaging means and the second imaging means for the imaging object When,
Selection means for selecting difference information that satisfies a selection criterion set in advance corresponding to the parallax from the output difference information;
Generation means for generating the depth information based on the selected difference information, the first imaging information and the second imaging information;
An information processing apparatus comprising: 請求項１に記載の情報処理装置において、
前記選定基準は、一の前記撮像対象物に対応する全ての前記視差の位相限定相関における強度の平均値に相当する閾値であり、
前記選定手段は、前記閾値以上の前記強度を有する前記差情報を選定して前記生成手段に出力することを特徴とする情報処理装置。 In the information processing apparatus according to claim 1,
The selection criterion is a threshold value corresponding to an average value of intensities in phase-only correlation of all the parallaxes corresponding to one of the imaging target objects,
An information processing apparatus characterized in that the selection means selects the difference information having the strength equal to or higher than the threshold value and outputs the selected difference information to the generation means. 請求項１に記載の情報処理装置において、
前記選定基準は、前記相関処理に含まれる正規化処理の方法に基づいた閾値であり、
前記選定手段は、前記閾値以上の強度を有する前記差情報を選定して前記生成手段に出力することを特徴とする情報処理装置。 In the information processing apparatus according to claim 1,
The selection criterion is a threshold based on a method of normalization processing included in the correlation processing,
An information processing apparatus characterized in that the selection means selects the difference information having an intensity equal to or higher than the threshold value and outputs the selected difference information to the generation means. 請求項１から請求項３のいずれか一項に記載の情報処理装置において、
前記全体第１撮像情報と、前記全体第２撮像情報と、に対して前記相関処理を施す前記出力手段は、
前記全体第１撮像情報に対して離散フーリエ変換処理を施し、第１フーリエ変換撮像情報を出力する第１離散フーリエ変換手段と、
前記全体第２撮像情報に対して離散フーリエ変換処理を施し、第２フーリエ変換撮像情報を出力する第２離散フーリエ変換手段と、
前記第１フーリエ変換撮像情報に対して正規化処理を施し、第１正規化撮像情報を出力する第１正規化手段と、
前記第２フーリエ変換撮像情報に対して正規化処理を施し、第２正規化撮像情報を出力する第２正規化手段と、
前記第１正規化撮像情報及び前記第２正規化撮像情報の要素ごとの積を算出する要素積算出手段と、
前記算出された要素ごとの積に対して逆離散フーリエ変換処理を施し、前記差情報を出力する逆離散フーリエ変換手段と、
を備えることを特徴とする情報処理装置。 The information processing apparatus according to any one of claims 1 to 3.
The output means for performing the correlation process on the overall first imaging information and the overall second imaging information
First discrete Fourier transform means for performing discrete Fourier transform processing on the entire first imaging information and outputting first Fourier transform imaging information;
Second discrete Fourier transform means for performing discrete Fourier transform processing on the entire second imaging information and outputting second Fourier transform imaging information;
First normalization means for performing normalization processing on the first Fourier transform imaging information and outputting first normalized imaging information;
Second normalization means for applying normalization processing to the second Fourier transform imaging information and outputting second normalized imaging information;
Element product calculation means for calculating a product of each element of the first normalized imaging information and the second normalized imaging information;
Inverse discrete Fourier transform means for performing inverse discrete Fourier transform processing on the calculated element-by-element product, and outputting the difference information;
An information processing apparatus comprising: 取得手段と、出力手段と、選定手段と、生成手段と、を備え、撮像対象物に対応し且つ当該撮像対象物を三次元的に認識する際に用いられる深度情報を生成する情報処理装置において実行される情報処理方法であって、
前記撮像対象物を第１撮像手段により撮像して得られた第１撮像情報と、前記第１撮像手段から予め設定された距離だけ離れて設置された第２撮像手段により前記撮像対象物を撮像して得られた第２撮像情報と、を前記取得手段によりそれぞれ取得する取得工程と、
前記第１撮像手段による撮像範囲の全体に相当する前記第１撮像情報と、前記第２撮像手段による撮像範囲の全体に相当する前記第２撮像情報と、に対して位相限定相関法による相関処理を前記出力手段により施し、前記撮像対象物に対する前記第１撮像手段と前記第２撮像手段との間の全ての視差に対応した差情報を出力する出力工程と、
前記出力された差情報から、前記視差に対応して予め設定された選定基準を満たす差情報を前記選定手段により選定する選定工程と、
前記選定された差情報と、前記第１撮像情報及び前記第２撮像情報と、に基づいて前記深度情報を前記生成手段により生成する生成工程と、
を含むことを特徴とする情報処理方法。 An information processing apparatus comprising an acquisition unit, an output unit, a selection unit, and a generation unit, which corresponds to an imaging target and generates depth information used when three-dimensionally recognizing the imaging target. An information processing method to be executed,
The first imaging information obtained by imaging the imaging object by the first imaging means, and the second imaging means installed at a distance set in advance from the first imaging means, imaging the imaging object An acquisition step of acquiring each of the second imaging information obtained by
Correlation processing according to a phase limited correlation method with respect to the first imaging information corresponding to the entire imaging range by the first imaging means and the second imaging information corresponding to the entire imaging range by the second imaging means Outputting the difference information corresponding to all parallaxes between the first imaging means and the second imaging means with respect to the imaging object,
A selection step of selecting, by the selection unit, the difference information satisfying the selection criteria set in advance corresponding to the parallax from the output difference information;
A generation step of generating the depth information by the generation unit based on the selected difference information, the first imaging information and the second imaging information;
An information processing method comprising: 撮像対象物に対応し且つ当該撮像対象物を三次元的に認識する際に用いられる深度情報を生成する情報処理装置に含まれるコンピュータを、
前記撮像対象物を第１撮像手段により撮像して得られた第１撮像情報と、前記第１撮像手段から予め設定された距離だけ離れて設置された第２撮像手段により前記撮像対象物を撮像して得られた第２撮像情報と、をそれぞれ取得する取得手段、
前記第１撮像手段による撮像範囲の全体に相当する前記第１撮像情報と、前記第２撮像手段による撮像範囲の全体に相当する前記第２撮像情報と、に対して位相限定相関法による相関処理を施し、前記撮像対象物に対する前記第１撮像手段と前記第２撮像手段との間の全ての視差に対応した差情報を出力する出力手段、
前記出力された差情報から、前記視差に対応して予め設定された選定基準を満たす差情報を選定する選定手段、及び、
前記選定された差情報と、前記第１撮像情報及び前記第２撮像情報と、に基づいて前記深度情報を生成する生成手段、
として機能させることを特徴とする情報処理用プログラム。 A computer included in an information processing apparatus that generates depth information corresponding to an imaging target and used when recognizing the imaging target three-dimensionally;
The first imaging information obtained by imaging the imaging object by the first imaging means, and the second imaging means installed at a distance set in advance from the first imaging means, imaging the imaging object Acquisition means for acquiring the second imaging information obtained by
Correlation processing according to a phase limited correlation method with respect to the first imaging information corresponding to the entire imaging range by the first imaging means and the second imaging information corresponding to the entire imaging range by the second imaging means Output means for outputting difference information corresponding to all parallaxes between the first imaging means and the second imaging means with respect to the imaging object,
Selection means for selecting difference information satisfying the selection criteria set in advance corresponding to the parallax from the output difference information, and
Generation means for generating the depth information based on the selected difference information, the first imaging information and the second imaging information;
An information processing program characterized in that it functions as:
JP2018073549A 2018-04-06 2018-04-06 INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND INFORMATION PROCESSING PROGRAM Active JP6539904B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018073549A JP6539904B1 (en) 2018-04-06 2018-04-06 INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND INFORMATION PROCESSING PROGRAM
PCT/JP2019/003303 WO2019193824A1 (en) 2018-04-06 2019-01-31 Information processing device, information processing method, and information processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018073549A JP6539904B1 (en) 2018-04-06 2018-04-06 INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND INFORMATION PROCESSING PROGRAM

Publications (2)

Publication Number Publication Date
JP6539904B1 true JP6539904B1 (en) 2019-07-10
JP2019185277A JP2019185277A (en) 2019-10-24

Family

ID=67212086

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018073549A Active JP6539904B1 (en) 2018-04-06 2018-04-06 INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND INFORMATION PROCESSING PROGRAM

Country Status (2)

Country Link
JP (1) JP6539904B1 (en)
WO (1) WO2019193824A1 (en)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007188174A (en) * 2006-01-11 2007-07-26 Hitachi High-Technologies Corp Image collation and evaluation apparatus, image collation and evaluation method, and program
JP2008298533A (en) * 2007-05-30 2008-12-11 Konica Minolta Holdings Inc Obstruction measurement method, device, and system
JP4862816B2 (en) * 2007-12-17 2012-01-25 コニカミノルタホールディングス株式会社 Image correspondence point search device, distance measuring device and image motion detection device using the same
JP5056861B2 (en) * 2008-02-14 2012-10-24 コニカミノルタホールディングス株式会社 Ranging device
JP5712810B2 (en) * 2011-06-21 2015-05-07 コニカミノルタ株式会社 Image processing apparatus, program thereof, and image processing method

Also Published As

Publication number Publication date
WO2019193824A1 (en) 2019-10-10
JP2019185277A (en) 2019-10-24

Similar Documents

Publication Publication Date Title
CA2704479C (en) System and method for depth map extraction using region-based filtering
US8754963B2 (en) Processing images having different focus
JP4938093B2 (en) System and method for region classification of 2D images for 2D-TO-3D conversion
JP6016061B2 (en) Image generation apparatus, image display apparatus, image generation method, and image generation program
US8942506B2 (en) Image processing apparatus, image processing method, and program
US9412151B2 (en) Image processing apparatus and image processing method
US20100309292A1 (en) Method and apparatus for generating multi-viewpoint depth map, method for generating disparity of multi-viewpoint image
JP2011166264A (en) Image processing apparatus, imaging device and image processing method, and program
KR20130112311A (en) Apparatus and method for reconstructing dense three dimension image
US20140294299A1 (en) Image processing apparatus and method
Lee et al. Three-dimensional visualization of objects in scattering medium using integral imaging and spectral analysis
JP2013042301A (en) Image processor, image processing method, and program
Hsia Improved depth image-based rendering using an adaptive compensation method on an autostereoscopic 3-D display for a Kinect sensor
US8164645B2 (en) Image processing apparatus, method of controlling image processing apparatus, and program for controlling image processing apparatus
US9171357B2 (en) Method, apparatus and computer-readable recording medium for refocusing photographed image
US10540735B2 (en) Information processing device, information processing method, and recording medium
KR101994473B1 (en) Method, apparatus and program sotred in recording medium for refocucing of planar image
JP6539904B1 (en) INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND INFORMATION PROCESSING PROGRAM
JP2016213578A (en) Image processing apparatus, imaging device, image processing method, program
JP2012169701A (en) Image processing device, image processing method, and program
WO2014077024A1 (en) Image processing device, image processing method and image processing program
US11475233B2 (en) Image processing device and image processing method
Dousty et al. Multifocus image fusion via the Hartley transform
Nugroho et al. Fuzzy vector implementation on manifold embedding for head pose estimation with degraded images using fuzzy nearest distance
JP2679634B2 (en) Method and apparatus for extracting three-dimensional reference image

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190123

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190123

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190425

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190514

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190522

R150 Certificate of patent or registration of utility model

Ref document number: 6539904

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250