JP6641485B2 - 位置指定装置および位置指定方法 - Google Patents
位置指定装置および位置指定方法 Download PDFInfo
- Publication number
- JP6641485B2 JP6641485B2 JP2018533488A JP2018533488A JP6641485B2 JP 6641485 B2 JP6641485 B2 JP 6641485B2 JP 2018533488 A JP2018533488 A JP 2018533488A JP 2018533488 A JP2018533488 A JP 2018533488A JP 6641485 B2 JP6641485 B2 JP 6641485B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- captured images
- selected image
- captured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title description 61
- 238000005259 measurement Methods 0.000 claims description 186
- 239000002131 composite material Substances 0.000 claims description 102
- 238000012545 processing Methods 0.000 claims description 43
- 238000003384 imaging method Methods 0.000 description 52
- 230000008569 process Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 20
- 229920006395 saturated elastomer Polymers 0.000 description 16
- 230000015572 biosynthetic process Effects 0.000 description 15
- 238000003786 synthesis reaction Methods 0.000 description 15
- 238000012937 correction Methods 0.000 description 14
- 238000012986 modification Methods 0.000 description 13
- 230000004048 modification Effects 0.000 description 13
- 238000006073 displacement reaction Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 239000000203 mixture Substances 0.000 description 9
- 230000002194 synthesizing effect Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000003702 image correction Methods 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/30—Systems for automatic generation of focusing signals using parallactic triangle with a base line
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/32—Means for focusing
- G03B13/34—Power focusing
- G03B13/36—Autofocus systems
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
- G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/676—Bracketing for image capture at varying focusing conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
- H04N5/2226—Determination of depth image, e.g. for foreground/background separation
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B35/00—Stereoscopic photography
- G03B35/02—Stereoscopic photography by sequential recording
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10144—Varying exposure
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10148—Varying focus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20101—Interactive definition of point of interest, landmark or seed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Geometry (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Exposure Control For Cameras (AREA)
- Cameras In General (AREA)
Description
以下、図面を参照しながら本発明の第一の実施形態に係る位置指定装置1について具体的に説明する。
位置指定装置1は、被写体が同一である複数の撮影画像(以下、単に「撮影画像」と称する場合がある。)、および、上記複数の撮影画像の合成画像(以下、単に「合成画像」と称する場合がある。)を取得する。次いで、位置指定装置1は、合成画像を表示装置11に表示させ、ユーザー(操作者)が指定した合成画像上の位置(第一位置)の指定を、入力装置12を介して受け付ける。次いで、位置指定装置1は、受け付けた第一位置に応じて、複数の撮影画像から一つの選択画像を選択する。次いで、位置指定装置1は、選択画像の少なくとも一部を表示装置11に表示させ、ユーザーが指定した選択画像上の位置(第二位置)の指定を、入力装置12を介して受け付ける。これにより、ユーザーが撮影画像上の計測点を所望の位置に指定することができる。
位置指定装置1における位置指定処理の一例について、図2〜図4を参照して以下に説明する。図2は、本実施形態に係る位置指定装置1の処理を示すフローチャートである。また、図3および図4は、本実施形態に係る位置指定装置1の出力画像の一例を示す図である。
本実施形態に係る位置指定装置1において、画像取得部101は、被写体が同一である複数の撮影画像と、当該複数の撮影画像の合成画像とを取得する。
次いで、第一位置受付部102は、合成画像を表示装置11に表示させ、ユーザー(操作者)が指定した合成画像上の位置(第一位置)の指定を、入力装置12を介して受け付ける。例えば、ユーザーが、マウス、タッチパッド等の入力装置12を操作して表示装置11に表示された合成画像上の位置(第一位置)を指定したとき、入力装置12が、入力情報を第一位置受付部102に出力することによって、第一位置受付部102は、合成画像上の位置(第一位置)の入力を受け付ける。
次いで、画像選択部103は、ステップS0102において受け付けた第一位置に応じて、複数の撮影画像から、一つの選択画像を選択する。
次いで、第二位置受付部104は、選択画像としての撮影画像210a(すなわち、選択画像210a’)の少なくとも一部を表示装置11に表示させ、ユーザーが指定した選択画像上の位置(第二位置)の指定を、入力装置12を介して受け付ける。
(i)ステップS0103(画像選択工程)の変形例
ステップS0103は、以下のサブステップをさらに含んでいてもよい:
(a)、画像選択部103が、ステップS0103において選択した一つの選択画像に補正を施すことによって、補正条件が異なる複数の補正画像を得る工程(サブステップS01031;画像補正工程)
(b)画像選択部103が、第一位置受付工程において受け付けた第一位置に応じて、上記補正条件が異なる複数の補正画像から、一つの選択画像を選択する工程(サブステップS01032;補正画像選択工程)。
ステップS0104は、以下のサブステップをさらに含んでいてもよい:
(a)第二位置受付部104が、選択画像上の第二位置とは異なる第三位置の入力をさらに受け付ける工程(サブステップS01041)
第二位置受付部104は、選択画像210a’上の第二位置とは異なる第三位置の指定を、入力装置12を介してさらに受け付けるようになっていてもよい。
以下、図面を参照しながら本発明の第二の実施形態に係る位置指定装置1について具体的に説明する。
本実施形態に係る位置指定装置1の概要については、位置指定装置1が取得する「複数の撮影画像」が、同一被写体を異なる焦点位置で撮影した複数の撮影画像であり、「合成画像」が、当該複数の撮影画像から合成された被写界深度を拡大した合成画像であること以外は、上記「1.実施形態1」の項で説明したとおりである。
位置指定装置1における位置指定処理の一例について、図2および図6を参照して以下に説明する。図2は、本実施形態に係る位置指定装置1の処理を示すフローチャートである。また、図6は、本実施形態に係る位置指定装置1の出力画像の一例を示す図である。
本実施形態に係る位置指定装置1において、画像取得部101は、同一被写体を異なる焦点位置で撮影した複数の撮影画像と、当該複数の撮影画像から合成された被写界深度を拡大した合成画像とを取得する。
次いで、第一位置受付部102は、合成画像を表示装置11に表示させ、ユーザー(操作者)が指定した合成画像上の位置(第一位置)の指定を、入力装置12を介して受け付ける。
次いで、画像選択部103は、ステップS0102において受け付けた第一位置に応じて、複数の撮影画像から、一つの選択画像を選択する。
次いで、第二位置受付部104は、選択画像としての撮影画像220aの少なくとも一部を表示装置11に表示させ、ユーザーが指定した選択画像上の位置(第二位置)の指定を、入力装置12を介して受け付ける。
上記「1.実施形態1」の項で説明した位置指定装置1の変形例は、本実施形態に係る位置指定装置1にも適用することができる。
〔3.実施形態3〕
以下、図面を参照しながら本発明の第三の実施形態に係る計測装置100(位置指定装置)について具体的に説明する。
計測装置100は、被写体が同一である複数の撮影画像(以下、単に「撮影画像」と称する場合がある。)、および、上記複数の撮影画像の合成画像(以下、単に「合成画像」と称する場合がある。)を取得する。次いで、計測装置100は、合成画像を表示装置11に表示させ、ユーザー(操作者)が指定した合成画像上の位置(第一位置)の指定を、入力装置12を介して受け付ける。次いで、計測装置100は、受け付けた第一位置に応じて、複数の撮影画像から一つの選択画像を選択する。次いで、計測装置100は、選択画像の少なくとも一部を表示装置11に表示させ、ユーザーが指定した選択画像上の位置(第二位置)の指定を、入力装置12を介して受け付ける。次いで、計測装置100は、選択画像に対応する奥行情報を取得し、選択画像上の第二位置に対応する被写体上の位置の三次元位置(座標)を算出する。これにより、ユーザーが撮影画像上の所望の計測点の三次元位置(座標)を計測することができる。
計測装置100における計測処理の一例について、図8を参照して以下に説明する。図8は、本実施形態に係る計測装置100の処理を示すフローチャートである。
上記「1.実施形態1」および「2.実施形態2」の項で説明したとおりであるため説明を省略する。
計測部105は、奥行情報を受け付ける。このとき計測部105が受け付ける奥行情報は、選択画像(すなわち、第二位置の指定に使用した撮影画像)に対応する奥行情報である。
計測部105は、第二位置情報および奥行情報参照して、選択画像上の第二位置に対応する被写体上の位置(計測点)の三次元位置(座標)を算出する。計測部105は、計測結果を出力し、記憶装置(図示しない)に保存したり、表示装置11に表示させたりする。
上記「1.実施形態1」および「2.実施形態2」の項で説明した位置指定装置1の変形例は、計測装置100にも適用することができる。
〔4.実施形態4〕
以下、図面を参照しながら本発明の第四の実施形態に係る計測装置100(位置指定装置)について具体的に説明する。
計測装置100は、被写体が同一である複数の撮影画像(以下、単に「撮影画像」と称する場合がある。)、および上記複数の撮影画像の合成画像(以下、単に「合成画像」と称する場合がある。)を取得する。次いで、計測装置100は、合成画像を表示装置11に表示させ、ユーザー(操作者)が指定した合成画像上の位置(第一位置)の指定を、入力装置12を介して受け付ける。次いで、計測装置100は、受け付けた第一位置に応じて、複数の撮影画像から一つの選択画像を選択する。次いで、計測装置100は、選択画像の少なくとも一部を表示装置11に表示させ、ユーザーが指定した選択画像上の位置(第二位置)の指定を、入力装置12を介して受け付ける。次いで、計測装置100は、選択画像に対応する参照画像をさらに取得し、参照画像を参照して、選択画像上の第二位置に対応する被写体上の位置の三次元位置(座標)を算出する。
計測装置100における計測処理の一例について、図10を参照して以下に説明する。図10は、本実施形態に係る計測装置100の処理を示すフローチャートである。
上記「1.実施形態1」および「2.実施形態2」の項で説明したとおりであるため説明を省略する。
計測部105は、選択画像に対応する参照画像を取得する。参照画像とは、選択画像と同一の被写体を異なる撮影位置から撮影した画像であり、選択画像とともに、ステレオ画像を構成する画像である。一態様において、計測部105は、複数の撮影画像の各々に対応する参照画像を予め取得し、その中から選択画像に対応する参照画像を選択することにより、選択画像に対応する参照画像を取得するようにしてもよい。
計測部105は、選択画像に対応する参照画像を参照して、第二位置に対応した奥行情報を算出し、第二位置情報および奥行情報参照して、選択画像上の第二位置に対応する被写体上の位置(計測点)の三次元位置(座標)を算出する。計測部105は、計測結果を出力し、記憶装置(図示しない)に保存したり、表示装置11に表示させたりする。
上記「1.実施形態1」および「2.実施形態2」の項で説明した位置指定装置1の変形例は、計測装置100にも適用することができる。
図9では、複数の参照画像が計測部105によって取得される構成を示したが、画像取得部101が撮影画像および合成画像を取得するときに、画像取得部101が参照画像も取得する構成としてもよい。すなわち、ステップS0101(画像取得工程)において、複数の撮影画像、合成画像および複数の参照画像を取得してもよい。
ステップS0104は、以下のサブステップをさらに含んでいてもよい:
(a)第二位置受付部104が、選択画像上の第二位置とは異なる第三位置の入力をさらに受け付ける工程(サブステップS01041)
選択画像上の第二位置とは異なる第三位置を指定する方法については、「1.実施形態1」の項で説明したとおりである。
ステップS0106は、以下のサブステップをさらに含んでいてもよい:
(a)計測部105が、第二位置の奥行情報を算出した選択画像に対応する参照画像を参照して、選択画像上の第三位置に対応する被写体上の位置(計測点)の三次元位置(座標)を計測する(サブステップS01061)。
本実施形態では、奥行情報の算出に、ステレオ画像(すなわち、撮影画像と参照画像との2枚の画像)を利用する例を説明したが、ステレオ画像の代わりに、同一被写体を3つ以上の異なる位置で撮影した画像(すなわち、撮影画像と、2つ以上の参照画像との組合せ)を利用する場合も、同様の効果を得ることが可能である。
以下、図面を参照しながら本発明の第五の実施形態に係る計測装置100(位置指定装置)について具体的に説明する。
計測装置100の撮像装置8は、予め設定した複数の撮影条件(露光量、焦点位置等)で、同一被写体を撮影する。次いで、撮像装置8は、被写体が同一である複数の撮影画像を取得し、当該複数の撮影画像から合成画像を合成する。次いで、計測装置100は、被写体が同一である複数の撮影画像、および上記合成画像を取得する。次いで、計測装置100は、合成画像を表示装置11に表示させ、ユーザー(操作者)が指定した合成画像上の位置(第一位置)の指定を、入力装置12を介して受け付ける。次いで、計測装置100は、受け付けた第一位置に応じて、複数の撮影画像から一つの選択画像を選択する。次いで、計測装置100は、選択画像の少なくとも一部を表示装置11に表示させ、ユーザーが指定した選択画像上の位置(第二位置)の指定を、入力装置12を介して受け付ける。次いで、計測装置100は、複数の撮影画像の各々に対応する参照画像をさらに取得し、選択画像に対応する参照画像を参照して、選択画像上の第二位置に対応する被写体上の位置の三次元位置(座標)を算出する。
計測装置100における計測処理の一例について、図10、図14および図15を参照して以下に説明する。図10は、本実施形態に係る計測装置100の処理を示すフローチャートである。図14は、本実施形態に係る計測装置100の合成処理部7の一構成例を示すブロック図である。図15は、合成処理部7の処理を示すフローチャートである。
基準画像撮像部4および参照画像撮像部6は、予め設定した複数の撮影条件(露光量、焦点位置等)で、同一被写体を撮影する。本実施形態では、基準画像撮像部4および参照画像撮像部6が、異なる焦点位置で撮影を行う場合について説明する。
基準画像撮像部4が、同一被写体を異なる焦点位置で撮影を行った場合には、合成処理部7は、焦点位置が異なる複数の撮影画像の位置合わせを実施し、各画素で合焦度を評価して合焦度の高い画像の画素を加重平均し、被写界深度を拡大した合成画像を生成する。
次いで、合焦度判定部72は、各画像の各画素の合焦度を判定する。合焦度は、各画素の周囲、あらかじめ設定した範囲のコントラスト差によって評価する。コントラスト差が大きければ合焦度が高いと判断する。
次いで、画像合成部73は、判定した合焦度に基づき画像を合成する。画像合成には一般的な合成方法を利用することができる。合成画像の各画素の画素値は、以下の数式(2)を用いて算出することができる。数式(2)中、Nは撮影画像の枚数を、piは撮影画像iの注目画素の画素値を、ciは注目画素の合焦度を、pafは合成画像の注目画素の画素値を表している。
上記「2.実施形態2」の項で説明したとおりであるため説明を省略する。
上記「4.実施形態4」の項で説明したとおりであるため説明を省略する。
上記「1.実施形態1」および「2.実施形態2」の項で説明した位置指定装置1の変形例は、計測装置100にも適用することができる。また、上記「3.実施形態3」および「4.実施形態4」の項で説明した計測装置100の変形例は、本実施形態に係る計測装置100にも適用することができる。
本実施形態では、基準画像撮像部4および参照画像撮像部6が、異なる焦点位置で撮影を行う場合について説明したが、基準画像撮像部4および参照画像撮像部6は、異なる露光量で撮影を行うことも可能である。
計測装置100は、計測装置100(具体的には、基準画像撮像部4の焦点)から計測点の三次元位置までの距離を算出する機能のみならず、例えば、2点間の距離を算出する機能も有している。以下にその方法を説明する。
計測装置100の撮像装置8は、予め設定した複数の撮影条件(露光量、焦点位置等)で、同一被写体を撮影する。次いで、撮像装置8は、被写体が同一である複数の撮影画像を取得し、当該複数の撮影画像から合成画像を合成する。次いで、計測装置100は、被写体が同一である複数の撮影画像、および上記合成画像を取得する。次いで、計測装置100は、合成画像を表示装置11に表示させ、ユーザー(操作者)が指定した合成画像上の位置(第一位置)の指定を、入力装置12を介して受け付ける。次いで、計測装置100は、受け付けた第一位置に応じて、複数の撮影画像から一つの選択画像を選択する。次いで、計測装置100は、選択画像の少なくとも一部を表示装置11に表示させ、ユーザーが指定した選択画像上の位置(第二位置)の指定を、入力装置12を介して受け付ける。次いで、計測装置100は、ユーザーが指定した選択画像上の第二位置とは異なる第三位置の指定を、入力装置12を介して受け付けるが、第三位置に応じて、選択画像を再選択する。次いで、計測装置100は、再選択した画像(再選択画像)の少なくとも一部を表示装置11に表示させ、ユーザーが指定した選択画像上の第二位置および第三位置の指定を、入力装置12を介して再度受け付ける。次いで、計測装置100は、複数の撮影画像の各々に対応する参照画像をさらに取得し、上記再選択画像に対応する参照画像を参照して、再選択画像上の第二位置に対応する被写体上の位置の三次元位置(座標)および第三位置に対応する被写体上の位置の三次元位置(座標)を算出する。
計測装置100における計測処理の一例を以下に説明する。
上記「5.実施形態5」の項で説明したとおりであるため説明を省略する。
上記「1.実施形態1」および「2.実施形態2」の項で説明したとおりであるため説明を省略する。
第二位置受付部104は、選択画像としての撮影画像の少なくとも一部を表示装置11に表示させ、ユーザーが指定した選択画像上の位置(第二位置)の指定を、入力装置12を介して受け付ける。そして、第二位置受付部104は、入力装置12を介した、選択画像上の第二位置とは異なる第三位置の入力をさらに受け付ける。
(1)2つ目に指定したい計測点(第三位置)において階調の飽和が無い。
第二位置受付部104は、ユーザーが指定した選択画像上の第二位置とは異なる第三位置の指定を、入力装置12を介して受け付ける。図17に示すように、第二位置受付部104は、2つ目の計測点α2(第三位置)の指定を、入力装置12を介して受け付ける。尚、図17中のα1は、1つ目の計測点(第二位置)を表している。
画像選択部103は、選択画像上の第三位置に応じて、選択画像の再選択が必要か否かを判定する。画像選択部103が、選択画像の再選択が必要と判断した場合、画像選択部103は、選択画像を再選択する工程を行う。一方で、画像選択部103が、選択画像の再選択が不要と判断した場合、第三位置を受け付ける処理は終了する。
画像選択部103は、第三位置に応じて、複数の撮影画像から、一つの選択画像を再度選択する。
第二位置受付部104は、再選択画像の少なくとも一部を表示装置11に表示させ、ユーザーが指定した再選択画像上の第三位置の指定を、入力装置12を介して再度受け付ける。
第二位置受付部104は、ユーザーが指定した再選択画像上の第二位置の指定を、入力装置12を介して再度受け付ける。
計測部105は、複数の撮影画像の各々に対応する参照画像をさらに取得し、当該複数の参照画像の中から、選択画像(または再選択画像)に対応する参照画像を選択する。
計測部105は、選択画像(または再選択画像)に対応する参照画像を参照して、第二位置に対応した奥行情報を算出し、第二位置情報および奥行情報参照して、選択画像上の第二位置に対応する被写体上の位置(計測点)の三次元位置(座標)を算出する。同様にして、選択画像上の第二位置に対応する被写体上の位置(計測点)の三次元位置(座標)を算出する。計測部105は、計測結果を出力し、記憶装置(図示しない)に保存したり、表示装置11に表示させたりする。
本実施形態では、撮像装置を一体化した計測装置としているが、撮像装置を計測装置とは別の装置としてもよい。例えば、上述したような撮像装置によって撮影、合成処理をした画像を、RAM、フラッシュメモリ、HDD等の記憶装置に記憶し、計測装置は、記憶装置から画像を読み取って表示装置に表示することもできる。また、撮影画像を保存し、計測装置で合成処理を行ってもよい。
位置指定装置1(計測装置100)の制御ブロック(特に制御部10)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。
本発明の態様1に係る位置指定装置(1)は、被写体が同一である複数の撮影画像、および、前記複数の撮影画像の合成画像を取得する画像取得部(101)と、前記合成画像を表示装置(11)に表示させ、入力装置(12)を介した前記合成画像上の第一位置の入力を受け付ける第一位置受付部(102)と、前記第一位置に応じて、前記複数の撮影画像から、一つの選択画像を選択する画像選択部(103)と、前記選択画像の少なくとも一部を前記表示装置(11)に表示させ、前記入力装置(12)を介した前記選択画像上の第二位置の入力を受け付ける第二位置受付部(104)と、を備えている構成である。
本出願は、2016年8月9日に出願された日本国特許出願:特願2016-156917に対して優先権の利益を主張するものであり、それを参照することにより、その内容の全てが本書に含まれる。
4 基準画像撮像部
5 制御部
6 参照画像撮像部
7 合成処理部
8 撮像装置
10 制御部
11 表示装置
12 入力装置
100 計測装置
101 画像取得部
102 第一位置受付部
103 画像選択部
104 第二位置受付部
105 計測部
Claims (14)
- 複数の撮影画像の合成画像上の第一位置の入力を受け付ける第一位置受付部と、
前記第一位置に応じて、前記複数の撮影画像から、一つの選択画像を選択する画像選択部と、
前記選択画像上の第二位置の入力を受け付ける第二位置受付部と、
を備えていることを特徴とする位置指定装置。 - 前記複数の撮影画像は、互いに露出量の異なる複数の撮影画像であることを特徴とする請求項1に記載の位置指定装置。
- 前記画像選択部は、前記複数の撮影画像の各々について、前記第一位置を含む部分領域における階調飽和の度合いに基づいて、前記選択画像を選択することを特徴とする請求項1または2に記載の位置指定装置。
- 前記画像選択部は、前記複数の撮影画像の各々について、前記第一位置を含む部分領域における階調飽和の度合いを算出し、当該階調飽和の度合いが最も小さい撮影画像を、前記選択画像として選択することを特徴とする、請求項1から3のいずれか1項に記載の位置指定装置。
- 前記複数の撮影画像は、互いに焦点位置の異なる複数の撮影画像であることを特徴とする請求項1に記載の位置指定装置。
- 前記画像選択部は、前記複数の撮影画像の各々について、前記第一位置を含む部分領域における合焦の度合いに基づいて、前記選択画像を選択することを特徴とする請求項1または5に記載の位置指定装置。
- 前記画像選択部は、前記複数の撮影画像の各々について、前記第一位置を含む部分領域における合焦の度合いを算出し、当該合焦の度合いが最も大きい撮影画像を、前記選択画像として選択することを特徴とする、請求項1、5または6に記載の位置指定装置。
- 前記複数の撮影画像は、被写体が同一である複数の撮影画像であり、
前記選択画像に対応する奥行情報を取得し、前記奥行情報を参照して、前記選択画像上の前記第二位置に対応する前記被写体上の位置の三次元座標を算出する計測部をさらに備えていることを特徴とする請求項1に記載の位置指定装置。 - 前記複数の撮影画像は、被写体が同一である複数の撮影画像であり、
前記選択画像に対応する参照画像を取得し、前記参照画像を参照して、前記選択画像上の前記第二位置に対応する前記被写体上の位置の三次元座標を算出する計測部をさらに備えていることを特徴とする請求項1に記載の位置指定装置。 - 前記複数の撮影画像を撮影する撮影部、および、前記複数の撮影画像の合成画像を生成する合成部をさらに備えていることを特徴とする請求項1から3のいずれか1項に記載の位置指定装置。
- 前記第二位置受付部は、前記選択画像上の前記第二位置とは異なる第三位置の入力をさらに受け付けるようになっており、
前記画像選択部は、前記第三位置に応じて、前記選択画像を再選択し、
前記第二位置受付部は、前記選択画像上の第二位置および第三位置の入力を再度受け付けるようになっていることを特徴とする請求項1から4のいずれか1項に記載の位置指定装置。 - 表示装置および入力装置を備えていることを特徴とする請求項1から11の何れか一項に記載の位置指定装置。
- 複数の撮影画像の合成画像上の第一位置の指定を受け付ける第一位置受付工程と、
前記受付工程において受け付けた第一位置に応じて、前記複数の撮影画像から、一つの選択画像を選択する画像選択工程と、
画像選択工程において選択した前記一つの選択画像上の第二位置の指定を受け付ける第二位置受付工程と、を包含していることを特徴とする位置指定方法。 - 請求項1に記載の位置指定装置としてコンピュータを機能させるための位置指定プログラムであって、前記第一位置受付部、前記画像選択部および前記第二位置受付部としてコンピュータを機能させるための位置指定プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016156917 | 2016-08-09 | ||
JP2016156917 | 2016-08-09 | ||
PCT/JP2017/028720 WO2018030386A1 (ja) | 2016-08-09 | 2017-08-08 | 位置指定装置および位置指定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018030386A1 JPWO2018030386A1 (ja) | 2019-07-18 |
JP6641485B2 true JP6641485B2 (ja) | 2020-02-05 |
Family
ID=61162267
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018533488A Active JP6641485B2 (ja) | 2016-08-09 | 2017-08-08 | 位置指定装置および位置指定方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20190170502A1 (ja) |
JP (1) | JP6641485B2 (ja) |
CN (1) | CN109565544B (ja) |
WO (1) | WO2018030386A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6562492B1 (ja) * | 2019-05-16 | 2019-08-21 | 株式会社モルフォ | 画像処理装置、画像処理方法及びプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2635890B2 (ja) * | 1992-07-29 | 1997-07-30 | 帝人株式会社 | 画像処理による距離計測方法 |
JP2006337701A (ja) * | 2005-06-01 | 2006-12-14 | Olympus Corp | 走査型共焦点レーザ顕微鏡 |
JP5188101B2 (ja) * | 2007-06-01 | 2013-04-24 | 株式会社キーエンス | 拡大観察装置、拡大画像撮影方法、拡大画像撮影プログラム及びコンピュータで読み取り可能な記録媒体 |
JP5270971B2 (ja) * | 2008-06-10 | 2013-08-21 | 株式会社キーエンス | 画像計測装置、画像計測方法及びコンピュータプログラム |
JP6270361B2 (ja) * | 2013-07-16 | 2018-01-31 | 株式会社キーエンス | 三次元画像処理装置、三次元画像処理方法及び三次元画像処理プログラム並びにコンピュータで読み取り可能な記録媒体及び記録した機器 |
US9508173B2 (en) * | 2013-10-30 | 2016-11-29 | Morpho, Inc. | Image processing device having depth map generating unit, image processing method and non-transitory computer redable recording medium |
JP6418879B2 (ja) * | 2014-10-06 | 2018-11-07 | キヤノン株式会社 | 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置 |
-
2017
- 2017-08-08 CN CN201780047985.5A patent/CN109565544B/zh not_active Expired - Fee Related
- 2017-08-08 JP JP2018533488A patent/JP6641485B2/ja active Active
- 2017-08-08 WO PCT/JP2017/028720 patent/WO2018030386A1/ja active Application Filing
- 2017-08-08 US US16/324,097 patent/US20190170502A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
WO2018030386A1 (ja) | 2018-02-15 |
JPWO2018030386A1 (ja) | 2019-07-18 |
CN109565544A (zh) | 2019-04-02 |
CN109565544B (zh) | 2020-11-24 |
US20190170502A1 (en) | 2019-06-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CA2969482C (en) | Method and apparatus for multiple technology depth map acquisition and fusion | |
JP6245885B2 (ja) | 撮像装置およびその制御方法 | |
JP5745178B2 (ja) | 3次元測定方法、装置及びシステム、並びに画像処理装置 | |
JP5580164B2 (ja) | 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム | |
JP6548367B2 (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
JP7123736B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2015035658A (ja) | 画像処理装置、画像処理方法、および撮像装置 | |
JP6502511B2 (ja) | 計算装置、計算装置の制御方法および計算プログラム | |
US9413952B2 (en) | Image processing apparatus, distance measuring apparatus, imaging apparatus, and image processing method | |
TWI393981B (zh) | Use the flash to assist in detecting focal lengths | |
JP2009088726A (ja) | 複眼撮像装置のキャリブレーション方法および装置ならびにこれに用いられるキャリブレーションチャート | |
TW201225658A (en) | Imaging device, image-processing device, image-processing method, and image-processing program | |
JP2016217944A (ja) | 計測装置、および計測方法 | |
US11808561B2 (en) | Electronic apparatus for controlling a projector to project an image onto a screen at an actual size length, control method thereof and computer readable storage medium | |
JP6604908B2 (ja) | 画像処理装置、その制御方法、および制御プログラム | |
JP6700818B2 (ja) | 画像処理装置、撮像装置、および画像処理方法 | |
JP6641485B2 (ja) | 位置指定装置および位置指定方法 | |
US8179431B2 (en) | Compound eye photographing apparatus, control method therefor, and program | |
JP6381206B2 (ja) | 画像処理装置、その制御方法およびプログラム | |
JP2012256964A (ja) | 撮像装置 | |
JP7458769B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体 | |
JP7113327B1 (ja) | 撮像装置 | |
JP6833772B2 (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
JP7277187B2 (ja) | 画像処理装置、撮像装置、画像処理方法、およびプログラム | |
JP2019134207A (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190131 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190131 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191015 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191118 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191203 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191227 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6641485 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |