JP6641485B2 - 位置指定装置および位置指定方法 - Google Patents

位置指定装置および位置指定方法 Download PDF

Info

Publication number
JP6641485B2
JP6641485B2 JP2018533488A JP2018533488A JP6641485B2 JP 6641485 B2 JP6641485 B2 JP 6641485B2 JP 2018533488 A JP2018533488 A JP 2018533488A JP 2018533488 A JP2018533488 A JP 2018533488A JP 6641485 B2 JP6641485 B2 JP 6641485B2
Authority
JP
Japan
Prior art keywords
image
unit
captured images
selected image
captured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018533488A
Other languages
English (en)
Other versions
JPWO2018030386A1 (ja
Inventor
貴行 田丸
貴行 田丸
徳井 圭
圭 徳井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of JPWO2018030386A1 publication Critical patent/JPWO2018030386A1/ja
Application granted granted Critical
Publication of JP6641485B2 publication Critical patent/JP6641485B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/002Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/22Measuring arrangements characterised by the use of optical techniques for measuring depth
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/30Systems for automatic generation of focusing signals using parallactic triangle with a base line
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/676Bracketing for image capture at varying focusing conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/743Bracketing, i.e. taking a series of images with varying exposure conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226Determination of depth image, e.g. for foreground/background separation
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/02Stereoscopic photography by sequential recording
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10144Varying exposure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10148Varying focus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20101Interactive definition of point of interest, landmark or seed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Exposure Control For Cameras (AREA)
  • Cameras In General (AREA)

Description

本発明の一態様は、位置指定装置および位置指定方法に関する。
カメラによる撮影において、被写界深度の深い画像を撮影する技術として、焦点位置の異なる複数の画像を撮影し、画像内の各画素において、複数の撮影画像のうち適切な画素、すなわち焦点のあった画素を選択して合成することで、被写界深度の深い画像を生成する技術が知られている。
また、ダイナミックレンジの広い画像を撮影する技術として、露出量の異なる複数の画像を撮影し、画像内の各画素において、複数の撮影画像のうち適切な画素、すなわち露出のあった画素を選択して合成することで、ダイナミックレンジの広い画像を生成する技術が知られている。
例えば、特許文献1には、同一被写体を撮影して得られた異なる露光量の複数の入力画像を用いて、ダイナミックレンジが改善されており、かつ、劣化が少ないより自然な画像を得る方法が記載されている。
日本国特許公開公報「特開2012−165259号公報(2012年 8月30日公開)」
ところで、近年、撮影画像中の任意の計測点の三次元画像を算出する計測技術が開発されている。例えば、撮影位置が異なる複数の撮影画像から視差を算出し、各画像の撮影位置の情報を参照して、任意の計測点の三次元情報を算出する技術が知られている。また、撮影画像に対応する奥行き情報を参照し、任意の計測点の三次元情報を算出する技術も知られている。
このような計測技術では、ユーザーは、例えば、表示装置に表示された撮影画像を確認して、入力装置を介して、撮影画像中の計測点の位置を指定する。このとき、従来の自動露出制御を使用して撮影された場合等において、撮影画像中に階調飽和が生じる場合がある。特に、画角が広い画像では階調飽和が生じやすい。また、撮像画像の被写界深度が浅い場合もある。このような場合、ユーザーは、撮影画像中の階調飽和が生じている部分および合焦していない部分において、意図する位置に計測点を指定することが困難になる。
ここで、例えば、特許文献1に記載の技術を用いれば、階調飽和が抑制された合成画像を取得することができる。そのため、当該合成画像に対してユーザーが計測点の位置を指定するように構成することにより、ユーザーは、容易に、意図する位置に計測点を指定することができるかもしれない。しかしながら、特許文献1に記載の技術では、合成画像を得るために煩雑な画像処理が必要である。そのため、新規な構成によって、計測点を所望の位置に指定するための位置指定技術を実現することは有用である。
本発明の一態様は、上記の問題点に鑑みてなされたものであり、その目的は、計測点を所望の位置に指定するための位置指定技術を実現することにある。
上記の課題を解決するために、本発明の一態様に係る位置指定装置は、被写体が同一である複数の撮影画像、および、前記複数の撮影画像の合成画像を取得する画像取得部と、前記合成画像を表示装置に表示させ、入力装置を介した前記合成画像上の第一位置の入力を受け付ける第一位置受付部と、前記第一位置に応じて、前記複数の撮影画像から、一つの選択画像を選択する画像選択部と、前記選択画像の少なくとも一部を前記表示装置に表示させ、前記入力装置を介した前記選択画像上の第二位置の入力を受け付ける第二位置受付部と、を備えている構成である。
本発明の一態様によれば、計測点を所望の位置に指定することができるという効果を奏する。
本発明の第一の実施形態に係る位置指定装置の一構成例を示すブロック図である。 本発明の幾つかの実施形態に係る位置指定装置の処理を示すフローチャートである。 本発明の第一の実施形態に係る位置指定装置の出力画像の一例を示す図である。 本発明の第一の実施形態に係る位置指定装置の出力画像の一例を示す図である。 撮影時の画素値から表示装置に表示する際の画素値への変換グラフである。 本発明の第二の実施形態に係る位置指定装置の出力画像の一例を示す図である。 本発明の第三の実施形態に係る計測装置の一構成例を示すブロック図である。 本発明の第三の実施形態に係る計測装置の処理を示すフローチャートである。 本発明の第四の実施形態に係る計測装置の一構成例を示すブロック図である。 本発明の幾つかの実施形態に係る計測装置の処理を示すフローチャートである。 三角測量の方法を説明する図である。 ブロックマッチングの方法を説明する図である。 本発明の第五の実施形態に係る計測装置の一構成例を示すブロック図である。 本発明の第五の実施形態に係る計測装置における撮像装置の合成処理部の一構成例を示すブロック図である。 合成処理部の処理を示すフローチャートである。 本発明の第六の実施形態に係る計測装置の一構成例を示すブロック図である。 本発明の第六の実施形態に係る計測装置の出力画像の一例を示す図である。 エッジ強度を検出するためのフィルタの係数の例を示す図である。
〔1.実施形態1〕
以下、図面を参照しながら本発明の第一の実施形態に係る位置指定装置1について具体的に説明する。
図1は、本発明の第一の実施形態に係る位置指定装置1の一構成例を示すブロック図である。図1に示すように、位置指定装置1は、制御部10、表示装置11および入力装置12を備えている。制御部10、表示装置11および入力装置12は、一体化されていてもよいし、別体として構成されていてもよい。
制御部10は、位置指定装置1を統括的に制御する制御部であり、画像取得部101、第一位置受付部102、画像選択部103および第二位置受付部104として機能する。制御部10の処理の詳細については後述する。
制御部10は、図示しないCPU(Central Processing Unit)等のプロセッサや、RAM(Random Access Memory)等の主記憶装置等を備え、記憶装置に格納されたプログラムを実行して処理を行う処理装置や、FPGA(Field Programmable Gate Array)等のプログラム可能な集積回路、各処理を実行する集積回路を備えるハードウェアであってもよい。
表示装置11としては、例えば、CRT、液晶ディスプレイ、有機ELディスプレイ等の表示デバイスを利用することができる。また、入力装置12としては、例えば、マウス、ペンタブレット、タッチパネル等を利用することができる。
(1)位置指定装置1の概要
位置指定装置1は、被写体が同一である複数の撮影画像(以下、単に「撮影画像」と称する場合がある。)、および、上記複数の撮影画像の合成画像(以下、単に「合成画像」と称する場合がある。)を取得する。次いで、位置指定装置1は、合成画像を表示装置11に表示させ、ユーザー(操作者)が指定した合成画像上の位置(第一位置)の指定を、入力装置12を介して受け付ける。次いで、位置指定装置1は、受け付けた第一位置に応じて、複数の撮影画像から一つの選択画像を選択する。次いで、位置指定装置1は、選択画像の少なくとも一部を表示装置11に表示させ、ユーザーが指定した選択画像上の位置(第二位置)の指定を、入力装置12を介して受け付ける。これにより、ユーザーが撮影画像上の計測点を所望の位置に指定することができる。
(2)位置指定処理の一例
位置指定装置1における位置指定処理の一例について、図2〜図4を参照して以下に説明する。図2は、本実施形態に係る位置指定装置1の処理を示すフローチャートである。また、図3および図4は、本実施形態に係る位置指定装置1の出力画像の一例を示す図である。
(ステップS0101:画像取得工程)
本実施形態に係る位置指定装置1において、画像取得部101は、被写体が同一である複数の撮影画像と、当該複数の撮影画像の合成画像とを取得する。
ここで、上記「被写体が同一である複数の撮影画像」としては、特に限定されない。例えば、同一被写体を異なる撮影条件で撮影した複数の撮影画像を用いることができる。上記「撮影条件」としては、例えば、露光量、焦点位置等を挙げることができる。
本実施形態では、上記「被写体が同一である複数の撮影画像」が、同一被写体を異なる露光量で撮影した複数の撮影画像であり、上記「複数の撮影画像の合成画像」が、複数の撮影画像を合成しダイナミックレンジを拡大した合成画像である場合について説明する。一実施形態において、当該「複数の撮影画像の合成画像」は、各画素の画素値を、複数の撮影画像における当該画素の画素値の平均値としたものであり得る。ダイナミックレンジを拡大した合成画像を生成する他の方法として、複数の撮影画像において、当該画素を中心とした一定領域のコントラスト差を撮影画像ごとに算出し、コントラスト差が最も大きい撮影画像を選択して合成することでも実現できる。
一態様において、画像取得部101は、例えば、有線または無線接続を介して、外部の撮影装置および画像処理装置から、複数の撮影画像および合成画像を取得するようになっていてもよいし、位置指定装置1が、撮影部および画像処理部を備え、画像取得部101は、当該撮影部および画像処理部から、複数の撮影画像および合成画像を取得するようになっていてもよい。
(ステップS0102:第一位置受付工程)
次いで、第一位置受付部102は、合成画像を表示装置11に表示させ、ユーザー(操作者)が指定した合成画像上の位置(第一位置)の指定を、入力装置12を介して受け付ける。例えば、ユーザーが、マウス、タッチパッド等の入力装置12を操作して表示装置11に表示された合成画像上の位置(第一位置)を指定したとき、入力装置12が、入力情報を第一位置受付部102に出力することによって、第一位置受付部102は、合成画像上の位置(第一位置)の入力を受け付ける。
図3の(a)に示すように、合成画像210は、ダイナミックレンジが拡大された合成画像であり、明るい領域にある点211を含む被写体Aおよび暗い領域にある点212を含む被写体Bが、階調飽和の無い状態で存在している。そのため、ユーザーは、表示装置11に表示された合成画像上の任意の位置を正しく認識することができ、入力装置12を介して所望の位置を指定することができる。
これに対して、図3の(b)および(c)には、それぞれ異なる露光量で撮影した撮影画像210aおよび210bを示す。すなわち、図3の(b)および(c)に示す撮影画像210aおよび210bは、図3の(a)に示す合成画像210を合成するための複数の撮影画像に相当する。図3の(b)に示した撮影画像210aは、図3の(c)に示した撮影画像210bよりも露光時間を短く設定して撮影した画像である。
図3の(b)に示した撮影画像210aでは、明るい領域にある点211aを含む被写体Aの領域は階調が飽和しておらず、点212aを含む被写体Bの領域は、明るさが不足しているため階調が黒く飽和している。もし仮に、第一位置受付部102が、撮像画像210aを表示装置11に表示させた場合、ユーザーは、点211aの位置については正しく認識することができるが、点212aの位置については、階調飽和が生じているために、正しく認識することができず、点212aの位置を適切に指定することは困難である。
また、図3の(c)に示した撮影画像210bは、図3の(b)に示した画像210aよりも露光時間を長く設定して撮影されているので、暗い領域にある点212bを含む被写体Bの領域は階調が飽和しておらず、点211bを含む被写体Aの領域は、明る過ぎるために階調が白く飽和している。もし仮に、第一位置受付部102が、撮像画像210bを表示装置11に表示させた場合、ユーザーは、点212bの位置については正しく認識することができるが、点211bの位置については、階調飽和が生じているために、正しく認識することができず、点211bの位置を適切に指定することは困難である。
したがって、第一位置受付部102が、図3の(a)に示すような合成画像210を表示装置11に表示させることによって、ユーザーは表示装置11に表示された合成画像210を見て、合成画像210上の所望の位置(第一位置)を探すことが容易となる。さらには、明るい領域にある点211の位置および暗い領域にある点212の位置の両方を、同一の合成画像210上で指定することが可能となる。
なお、第一位置受付部102は、合成画像210上の所望の点の位置の入力を受け付けてもよいし、合成画像210上の所望の領域の位置の入力を受け付けてもよい。
以上で説明したように、ステップS0102において位置指定のために表示されている画像は、ダイナミックレンジが拡大された合成画像210である。ダイナミックレンジが拡大された合成画像210を表示して、合成画像210上の位置(第一位置)を指定することで、明暗の差が大きいシーンを撮影した画像であっても階調飽和がないため、画像全体を視認しやすくなる。例えば、明暗の差が大きいシーンを撮影した画像上の任意の位置を指定する場合に、ダイナミックレンジが拡大された合成画像210では階調飽和がない。よって、明るい領域および暗い領域の両方を同一の画像上で確認することができるため、合成画像210は、ユーザーが画像上の指定したい位置を探索するための画像として好適である。また、合成画像210上の位置(第一位置)を指定することで、明るい領域おける位置および暗い領域における位置の両方を、同一の画像上で指定することが可能となる。
(ステップS0103:画像選択工程)
次いで、画像選択部103は、ステップS0102において受け付けた第一位置に応じて、複数の撮影画像から、一つの選択画像を選択する。
選択画像の選択方法としては、例えば、画像選択部103は、複数の撮影画像の各々について、上記第一位置を含む部分領域における階調飽和の度合いを算出し、当該階調飽和の度合いが最も小さい撮影画像を、選択画像として選択することができる。ここで、上記「第一位置を含む部分領域」は、第一位置に対応する撮影画像上の位置(第一位置対応位置)を含む撮影画像中の部分領域が意図される。部分領域の大きさは特に限定されず、例えば、予め定められた画素数の矩形領域とすることができる。
より具体的に説明すると、第一位置受付部102が、第一位置として、合成画像210上の点211の入力を受け付けると(図3の(a))、画像選択部103は、撮影画像上の点211に対応する点(対応点)を含む撮影画像中の部分領域における階調飽和の度合いを、複数の撮影画像の各々についてそれぞれ算出する。例えば、画像選択部103は、撮影画像210aについて対応点211aを含む撮影画像210a中の部分領域における階調飽和の度合いを算出し(図3の(b))、同様に、撮影画像210bについて対応点211bを含む撮影画像210b中の部分領域における階調飽和の度合いを算出する(図3の(c))。そして、画像選択部103は、階調飽和の度合いが最も小さい撮影画像を、複数の撮影画像の中から選択画像として1つ選択する。本実施形態では、画像選択部103は、撮影画像210a(図3の(b))を選択画像として選択する。画像選択部103は、選択画像を、記憶装置に保存してもよい。
一態様において、画像選択部103は、上記「階調飽和の度合い」として、部分領域内の飽和している画素数を算出し、飽和している画素数が少なければ、階調飽和の度合が低いと判断する。この場合、「階調飽和の度合いが最も小さい撮影画像」とは、複数の撮影画像の中で、部分領域内の飽和している画素数が最少となる撮影画像となる。
(ステップS0104:第二位置受付工程)
次いで、第二位置受付部104は、選択画像としての撮影画像210a(すなわち、選択画像210a’)の少なくとも一部を表示装置11に表示させ、ユーザーが指定した選択画像上の位置(第二位置)の指定を、入力装置12を介して受け付ける。
選択画像の表示装置11への表示方法としては、第二位置受付部104は、表示装置11に、選択画像の全体を表示させてもよく、選択画像上の第一位置対応位置を含む部分画像を表示させてもよい。また、第二位置受付部104は、表示装置11に、部分画像を等倍で表示させてもよく、拡大して表示させてもよい。また、第二位置受付部104は、表示装置11に、選択画像のみを表示させてもよく、選択画像を合成画像に重畳して表示させてもよい。本実施形態では、図4の(a)に示すように、第二位置受付部104は、表示装置11に、選択画像としての撮影画像210a(すなわち、選択画像210a’)上の対応点211aを含む部分画像を拡大して、拡大表示画像111として、合成画像210に重畳して表示させている。
そして、第二位置受付部104は、入力装置12を介して、表示装置11に拡大表示画像111として表示された選択画像210a’の部分画像上の点211a’(第二位置)の位置の入力を受け付ける(図4の(a))。選択画像210a’としての撮影画像210a(図3の(b))は、対応点211a付近の領域で階調飽和がない。そのため、ユーザーは、指定したい点を容易に視認することが可能である。また、第二位置受付部104が、表示装置11に、選択画像210a’を拡大表示させた場合、ユーザーは、指定したい点の位置を確認したり、指定したりすることが容易にできるようになる。
尚、撮影画像210a上の対応点211aと、第二位置として指定される選択画像210a’の部分画像上の点211a’とは同一座標である必要性はない。ユーザーは、指定したい点の凡その位置を合成画像210上で第一位置として指定し、選択画像210a’上で、指定したい点の正確な位置を改めて指定することができる。つまり、撮影画像210a上の対応点211aは、指定したい点の凡その位置であるので、選択画像210a’を確認することによって、指定したい点の正確な位置が確定した結果、第二位置として指定される選択画像210a’の部分画像上の点211a’の座標が、撮影画像210a上の対応点211aの座標とは異なる座標となる場合があり得る。
位置指定装置1は、ダイナミックレンジを拡大した合成画像を全体表示することで、ユーザーが画像上の指定したい位置を探す際の視認性を高めることができる。さらに、ユーザーが指定した合成画像上の位置(第一位置)に応じて、階調飽和の度合いが最も小さい撮影画像を選択画像として選択し、当該選択画像上の位置(第二位置)を指定することができるので、ユーザーが指定したい画像上の位置を正確に指定することが可能となる。
ダイナミックレンジの広い合成画像を合成するために同一被写体について露出量の異なる複数の撮影画像を撮影すると、複数の撮影画像間で撮影時間が異なるため、撮像の間の撮像装置の位置の移動や、被写体の移動に起因するずれが生じる。このため、ずれが生じた撮影画像から合成した合成画像は二重像となり、計測点の位置を正確に指定できないという問題が生じる。そこで、特許文献1に開示した発明のように、同一被写体を撮影して得られた異なる露光量の複数の画像を、位置ずれを防止しながら合成して、位置ずれによる劣化のない高品位な合成画像を取得する技術が知られている。位置ずれによる劣化のない高品位な合成画像を取得するには、煩雑な画像処理が必要である。その結果、このような合成画像を計測点の位置指定に使用すると、高品位な合成画像を取得するために煩雑な画像処理が必要となるため、ユーザーが画像上の所望の計測点の位置を簡易に指定することができない。
これに対して、位置指定装置1は、合成画像を、ユーザーが画像上の所望の計測点の位置を探索するために使用し、合成画像上で探索した位置(第一位置)に応じて選択した選択画像上で計測点を指定するので、被写体の位置ずれを考慮した高品位な合成画像を取得する必要性がなく、また、たとえ合成画像が二重像であったとしても、選択画像上で計測点を指定するので、二重像となった合成画像上で計測点の位置を正確に指定できないという問題もない。また、合成画像上で探索した位置(第一位置)に応じて選択した選択画像においては、第一位置の付近で階調飽和がないため、選択画像上の位置を指定することが可能となる。よって、本実施形態に係る位置指定装置1によれば、ユーザーが画像上の所望の計測点の位置を簡易且つ正確に指定することができる。
(3)位置指定装置1の変形例
(i)ステップS0103(画像選択工程)の変形例
ステップS0103は、以下のサブステップをさらに含んでいてもよい:
(a)、画像選択部103が、ステップS0103において選択した一つの選択画像に補正を施すことによって、補正条件が異なる複数の補正画像を得る工程(サブステップS01031;画像補正工程)
(b)画像選択部103が、第一位置受付工程において受け付けた第一位置に応じて、上記補正条件が異なる複数の補正画像から、一つの選択画像を選択する工程(サブステップS01032;補正画像選択工程)。
選択画像のコントラストを補正すると、ユーザーの視認性が向上して好適である。コントラスト補正方法の例を、図5を用いて説明する。図5の(a)は、計測点周辺が暗いときに明るくする場合の、撮影時の画素値から表示装置に表示する際の画素値への変換グラフを示している。計測点の画素値が低く暗いため、計測点の画素値を表示可能なレンジの中心付近にし、且つ計測点周辺の画素値のコントラストを上げることで視認性を高めている。
図5の(b)は、計測点周辺が明るいときに暗くする場合の、撮影時の画素値から表示装置に表示する際の画素値への変換グラフである。計測点の画素値が高く明るいため、計測点の画素値をレンジの中心付近にし、且つ計測点周辺のコントラストを上げることで視認性を高めている。
図5の(c)は、計測点周辺が中間の明るさのときの、撮影時の画素値から表示装置に表示する際の画素値への変換グラフであり、コントラストを上げる処理となっている。以上の処理により、計測点周辺の画素値に応じてコントラストを補正し、ユーザーの視認性を向上させることができる。
サブステップ(a)における画像補正としては、コントラスト補正以外に、例えば、γ補正、彩度補正等を挙げることができる。例えば、サブステップ(a)によって得られた補正画像が、コントラスト補正を施した補正画像である場合は、サブステップ(b)は、例えば、画像選択部103が、複数の補正画像の各々について、第一位置を含む部分領域内のコントラスト差を算出し、当該コントラスト差が最も大きい補正画像を、選択画像として選択する工程であってもよい。ここで、上記「第一位置を含む部分領域」は、第一位置に対応する補正画像上の位置(第一位置対応位置)を含む補正画像中の部分領域が意図される。部分領域の大きさは特に限定されない。尚、部分領域内のコントラスト差は、当該部分領域内の画素値の最大値から画素値の最小値を減じた値として算出することができる。
また、例えば、サブステップ(a)によって得られる補正画像が、彩度補正を施した補正画像である場合は、サブステップ(b)は、例えば、画像選択部103が、複数の補正画像の各々について、第一位置を含む部分領域内の彩度差を算出し、当該彩度差が最も大きい補正画像を、選択画像として選択する工程であってもよい。尚、部分領域内の彩度差は、例えば、部分領域内の各画素値をHSV値に変換し、彩度Sの値について部分領域内の画素値の最大値から最小値の差を減じた値として算出することができる。
また、例えば、サブステップ(a)によって得られる補正画像がγ補正を施した補正画像である場合は、サブステップ(b)は、例えば、画像選択部103が、複数の補正画像の各々について、第一位置を含む部分領域内のコントラスト差を算出し、補正画像および元画像のうち、当該コントラスト差が最大となる画像を、選択画像として選択する工程であってもよい。
また、別の実施形態において、ステップS0103(画像選択工程)では、画像選択部103は、画像補正を施した複数の撮影画像から、ステップS0102において受け付けた第一位置に応じて、一つの選択画像を選択してもよい。例えば、コントラスト補正を施した複数の撮影画像の各々について、第一位置を含む部分領域内のコントラスト差を算出し、当該コントラスト差が最も大きい撮影画像を、選択画像として選択する工程であってもよい。コントラストを補正した撮影画像を選択画像として選択することにより、ユーザーの視認性が向上して好適である。複数の撮影画像に施される画像補正としては、コントラスト補正以外に、例えば、γ補正、彩度補正等を挙げることができる。
これにより、後段のステップS0104(第二位置受付工程)において、補正画像上で第二位置の入力を受け付けることになるため、ユーザーが第二位置をより正確に指定し易くなる。
画像選択部103は、公知の画像処理技術により、選択画像に補正を施して、補正条件が異なる複数の補正画像を作成する。画像選択部103は、作成した複数の補正画像から、第一位置に応じて、一つの選択画像を選択する。
画像選択部103は、例えば、複数の補正画像の各々について、第一位置を含む部分領域内のコントラスト差を算出し、当該コントラスト差が最も大きい補正画像を、選択画像として選択する。尚、部分領域内のコントラスト差は、当該部分領域内の画素値の最大値から画素値の最小値を減じた値として算出することができる。
(ii)ステップS0104(第二位置受付工程)の変形例
ステップS0104は、以下のサブステップをさらに含んでいてもよい:
(a)第二位置受付部104が、選択画像上の第二位置とは異なる第三位置の入力をさらに受け付ける工程(サブステップS01041)
第二位置受付部104は、選択画像210a’上の第二位置とは異なる第三位置の指定を、入力装置12を介してさらに受け付けるようになっていてもよい。
例えば、ユーザーが、入力装置12を操作して表示装置11に拡大表示画像111として表示された選択画像210a’の部分画像上の点211a’(第二位置)とは異なる点213(第三位置)を指定したとき(図4の(b))、入力装置12が、点213の入力情報を制御部10に出力することによって、第二位置受付部104は、選択画像210a’上の点213(第三位置)の入力を受け付ける。
選択画像210a’としての撮影画像210a(図3の(b))は、対応点211aの領域で階調飽和がなく、ユーザーが指定したい点を視認することが可能である。このため、点211a’(第二位置)と同一の部分画像内に存在している点213(第三位置)についても、階調飽和がなく、ユーザーは視認可能である。また、第二位置受付部104が、表示装置11に、選択画像210a’を拡大表示させることによって、ユーザーは、指定したい点の位置を確認したり、指定したりすることが容易にできるようになる。点211a’(第二位置)とは異なる位置として、任意の個数の位置(例えば、第四位置、第五位置等)を、第三位置と同様に指定することができるため、説明は省略する。
上述したとおり、ダイナミックレンジの広い合成画像を合成するために同一被写体について露出量の異なる複数の撮影画像を撮影すると、複数の撮影画像間で撮影時間が異なるため、撮像の間の撮像装置の位置の移動や、被写体の移動に起因するずれが生じる。このため、ずれが生じた撮影画像から合成した合成画像は二重像となり、計測点の位置を正確に指定できないという問題が生じる。そこで、位置指定装置1では、合成画像を、ユーザーが画像上の所望の計測点の位置を探索するために使用し、合成画像上で探索した位置(第一位置)に応じて選択した選択画像上で計測点(第二位置)を指定するので、被写体の位置ずれを考慮した高品位な合成画像を取得する必要性がなく、また、二重像となった合成画像上で計測点の位置を正確に指定できないという問題もない。また、図4の(b)に示すように、単一の選択画像上で、第二位置とは異なる位置(例えば、第三位置、第四位置等)を指定するため、各撮影画像間の被写体のずれを考慮する必要が無い。よって、第二位置と第二位置とは異なる任意の位置との間の距離や、第二位置と第二位置とは異なる複数の任意の位置とで囲まれた領域の面積等の計測が可能となる。
〔2.実施形態2〕
以下、図面を参照しながら本発明の第二の実施形態に係る位置指定装置1について具体的に説明する。
本発明の第二の実施形態に係る位置指定装置1では、「被写体が同一である複数の撮影画像」として、同一被写体を異なる焦点位置で撮影した複数の撮影画像を、「撮影画像の合成画像」として、同一被写体を異なる焦点位置で撮影した複数の撮影画像から合成された被写界深度を拡大した合成画像を取得する例を説明する。
(1)位置指定装置1の概要
本実施形態に係る位置指定装置1の概要については、位置指定装置1が取得する「複数の撮影画像」が、同一被写体を異なる焦点位置で撮影した複数の撮影画像であり、「合成画像」が、当該複数の撮影画像から合成された被写界深度を拡大した合成画像であること以外は、上記「1.実施形態1」の項で説明したとおりである。
(2)位置指定処理の一例
位置指定装置1における位置指定処理の一例について、図2および図6を参照して以下に説明する。図2は、本実施形態に係る位置指定装置1の処理を示すフローチャートである。また、図6は、本実施形態に係る位置指定装置1の出力画像の一例を示す図である。
(ステップS0101:画像取得工程)
本実施形態に係る位置指定装置1において、画像取得部101は、同一被写体を異なる焦点位置で撮影した複数の撮影画像と、当該複数の撮影画像から合成された被写界深度を拡大した合成画像とを取得する。
(ステップS0102:第一位置受付工程)
次いで、第一位置受付部102は、合成画像を表示装置11に表示させ、ユーザー(操作者)が指定した合成画像上の位置(第一位置)の指定を、入力装置12を介して受け付ける。
図6の(a)に示すように、合成画像220は、被写界深度が深化された合成画像であり、点222を含む被写体Cと、点221を含む被写体Dとが何れも合焦した状態で存在している。被写体Cは、被写体Dよりも撮影位置からの距離が遠い位置に存在している。
これに対して、図6の(b)および(c)には、それぞれ異なる焦点距離で撮影した撮影画像220aおよび220bを示す。すなわち、図6の(b)および(c)に示す撮影画像220aおよび220bは、図6の(a)に示す合成画像220を合成するための複数の撮影画像に相当する。図6の(b)に示した撮影画像220aは、図6の(c)に示した撮影画像220bよりも撮影位置に近い位置に焦点が合うように焦点位置を設定して撮影した画像である。
図6の(b)に示した撮影画像220aでは、点221aを含む被写体Dの領域は焦点が合っており、点222aの領域を含む被写体Cは、焦点が合っておらずぼけている。もし仮に、第一位置受付部102が、撮像画像220aを表示装置11に表示させた場合、ユーザーは、点221aの位置については正しく認識することができるが、点222aの位置については、ぼやけているために、正しく認識することができず、点222aの位置を適切に指定することは困難である。
また、図6の(c)に示した撮影画像220bでは、点222bを含む被写体Cの領域は焦点が合っており、点221bの領域を含む被写体Dは、焦点が合っておらずぼけている。もし仮に、第一位置受付部102が、撮像画像220bを表示装置11に表示させた場合、ユーザーは、点222bの位置については正しく認識することができるが、点221bの位置については、ぼやけているために、正しく認識することができず、点221bの位置を適切に指定することは困難である。
したがって、第一位置受付部102が、図6の(a)に示すような合成画像220を表示装置11に表示させることによって、ユーザーは表示装置11に表示された合成画像220を見て、合成画像220上の所望の位置(第一位置)を探すことが容易となる。また、被写体間の距離の差が大きい場面を撮影した画像であっても画像全体を視認しやすくなる。さらには、撮影位置から近い領域にある点211および撮影位置から遠い領域にある点212の両方を、同一の合成画像220上で指定することが可能となり、被写体のぼけにより所望の点が指定できなくなることを防ぐことができる。
なお、第一位置受付部102は、合成画像220上の所望の点の位置の入力を受け付けてもよいし、合成画像220上の所望の領域の位置の入力を受け付けてもよい。
(ステップS0103)
次いで、画像選択部103は、ステップS0102において受け付けた第一位置に応じて、複数の撮影画像から、一つの選択画像を選択する。
選択画像の選択方法としては、例えば、画像選択部103は、複数の撮影画像の各々について、上記第一位置を含む部分領域における合焦の度合いを算出し、当該合焦の度合いが最も大きい撮影画像を、選択画像として選択することができる。ここで、上記「第一位置を含む部分領域」は、第一位置に対応する撮影画像上の位置(第一位置対応位置)を含む撮影画像中の部分領域が意図される。部分領域の大きさは特に限定されず、例えば、予め定められた画素数の矩形領域とすることができる。このようにして選択された選択画像では、第一位置を含む部分領域内で、焦点が合っている被写体が多くなる。
より具体的に説明すると、第一位置受付部102が、第一位置として、合成画像220上の点221の入力を受け付けると(図6の(a))、画像選択部103は、撮影画像上の点221に対応する点(対応点)を含む撮影画像中の部分領域における合焦の度合いを、複数の撮影画像の各々についてそれぞれ算出する。例えば、画像選択部103は、撮影画像220aについて対応点221aを含む撮影画像中の部分領域における合焦の度合いを算出し(図6の(b))、同様に、撮影画像220bについて対応点221bを含む撮影画像中の部分領域における合焦の度合いを算出する(図6の(c))。そして、画像選択部103は、合焦の度合いが最も大きい撮影画像を、複数の撮影画像の中から選択画像として1つ選択する。本実施形態では、画像選択部103は、撮影画像220a(図6の(b))を選択画像として選択する。画像選択部103は、選択画像を、記憶装置に保存してもよい。
一態様において、画像選択部103は、上記「合焦の度合い」(合焦度)を、各画素の周囲、あらかじめ設定した範囲のコントラスト差によって評価し、コントラスト差が大きければ合焦度が高いと判断する。よって、「合焦の度合いが最も大きい撮影画像」とは、複数の撮影画像の中で、部分領域内のコントラスト差が最大となる撮影画像である。
(ステップS0104:第二位置受付工程)
次いで、第二位置受付部104は、選択画像としての撮影画像220aの少なくとも一部を表示装置11に表示させ、ユーザーが指定した選択画像上の位置(第二位置)の指定を、入力装置12を介して受け付ける。
選択画像の表示装置11への表示方法については、上記「1.実施形態1」の項で説明したとおりである。
位置指定装置1は、被写界深度を拡大した合成画像を全体表示することで、ユーザーが画像上の指定したい位置を探す際の視認性を高めることができる。さらに、ユーザーが指定した合成画像上の位置(第一位置)に応じて、合焦の度合いが最も大きい撮影画像を選択画像として選択し、当該選択画像上の位置(第二位置)を指定することができるので、ユーザーが指定したい画像上の位置を正確に指定することが可能となる。焦点位置が異なる撮影画像では、焦点位置の変化とともに画角が変化する場合が有り、撮影画像上において被写体の位置がずれる可能性がある。つまり、異なる焦点位置の撮影画像を合成して被写界深度を拡大した合成画像は、手ブレや被写体ブレがなくても二重像となる可能性がある。
位置指定装置1は、合成画像を、ユーザーが画像上の所望の計測点の位置を探索するために使用し、合成画像上で探索した位置(第一位置)に応じて選択した選択画像上で計測点を指定するので、被写体の位置ずれを考慮した高品位な合成画像を取得する必要性がなく、また、たとえ合成画像が二重像であったとしても、選択画像上で計測点を指定するので、二重像となった合成画像上で計測点の位置を正確に指定できないという問題もない。
(3)位置指定装置1の変形例
上記「1.実施形態1」の項で説明した位置指定装置1の変形例は、本実施形態に係る位置指定装置1にも適用することができる。
また、本実施形態では、「被写体が同一である複数の撮影画像」として、同一被写体を異なる焦点位置で撮影した複数の撮影画像を、「撮影画像の合成画像」として、同一被写体を異なる焦点位置で撮影した複数の撮影画像から合成された被写界深度を拡大した合成画像を使用する例を説明したが、上記「1.実施形態1」の項で説明した露出設定と組み合わせることもできる。つまり、「被写体が同一である複数の撮影画像」として、同一被写体を異なる焦点位置および露光量で撮影した複数の撮影画像を、「撮影画像の合成画像」として、同一被写体を異なる焦点位置および露光量で撮影した複数の撮影画像から合成された、ダイナミックレンジおよび被写界深度を拡大した合成画像を使用することも可能である。
かかる画像を使用する場合、選択画像の選択方法としては、例えば、複数の撮影画像の各々について、上記第一位置を含む部分領域における階調飽和の度合いおよび合焦の度合いをそれぞれ算出し、当該階調飽和の度合いが最も小さく且つ合焦の度合いが最も大きい撮影画像を、選択画像として選択することができる。ここで、上記「第一位置を含む部分領域」は、第一位置に対応する撮影画像上の位置(第一位置対応位置)を含む撮影画像中の部分領域が意図される。部分領域の大きさは特に限定されない。
〔3.実施形態3〕
以下、図面を参照しながら本発明の第三の実施形態に係る計測装置100(位置指定装置)について具体的に説明する。
図7は、本発明の第三の実施形態に係る計測装置100の一構成例を示すブロック図である。
図7に示すように、計測装置100は、制御部10、表示装置11および入力装置12を備えている。制御部10、表示装置11および入力装置12は、一体化されていてもよいし、別体として構成されていてもよい。
制御部10は、計測装置100を統括的に制御する制御部であり、画像取得部101、第一位置受付部102、画像選択部103、第二位置受付部104および計測部105として機能する。制御部10の処理の詳細については後述する。
(1)計測装置100の概要
計測装置100は、被写体が同一である複数の撮影画像(以下、単に「撮影画像」と称する場合がある。)、および、上記複数の撮影画像の合成画像(以下、単に「合成画像」と称する場合がある。)を取得する。次いで、計測装置100は、合成画像を表示装置11に表示させ、ユーザー(操作者)が指定した合成画像上の位置(第一位置)の指定を、入力装置12を介して受け付ける。次いで、計測装置100は、受け付けた第一位置に応じて、複数の撮影画像から一つの選択画像を選択する。次いで、計測装置100は、選択画像の少なくとも一部を表示装置11に表示させ、ユーザーが指定した選択画像上の位置(第二位置)の指定を、入力装置12を介して受け付ける。次いで、計測装置100は、選択画像に対応する奥行情報を取得し、選択画像上の第二位置に対応する被写体上の位置の三次元位置(座標)を算出する。これにより、ユーザーが撮影画像上の所望の計測点の三次元位置(座標)を計測することができる。
上記「1.実施形態1」および「2.実施形態2」の項で説明したとおり、計測装置100の制御部10が、画像取得部101、第一位置受付部102、画像選択部103および第二位置受付部104として機能することで、ユーザーが画像上の所望の計測点を正確且つ容易に指定することが可能となる。このようにして取得した選択画像上の位置情報(第二位置情報)を基に、選択画像に対応する奥行情報を参照して、計測装置100は、選択画像上の第二位置に対応する被写体上の位置(計測点)の三次元位置(座標)を、誤差を低減して正確に計測することが可能となる。
(2)計測処理の一例
計測装置100における計測処理の一例について、図8を参照して以下に説明する。図8は、本実施形態に係る計測装置100の処理を示すフローチャートである。
(ステップS0101〜ステップS0104)
上記「1.実施形態1」および「2.実施形態2」の項で説明したとおりであるため説明を省略する。
(ステップS0105:奥行情報取得工程)
計測部105は、奥行情報を受け付ける。このとき計測部105が受け付ける奥行情報は、選択画像(すなわち、第二位置の指定に使用した撮影画像)に対応する奥行情報である。
(ステップS0106:三次元位置計測工程)
計測部105は、第二位置情報および奥行情報参照して、選択画像上の第二位置に対応する被写体上の位置(計測点)の三次元位置(座標)を算出する。計測部105は、計測結果を出力し、記憶装置(図示しない)に保存したり、表示装置11に表示させたりする。
奥行情報の取得方法としては、例えば、ステレオペアを用いた方法、超音波の反射時間を計算し距離を算出する方法、赤外線によるTOF(Time Of Flight)法、パターン光を照射して距離を算出する方法等を利用することができる。また、画像の焦点距離等のカメラパラメータと組み合わせることで、計測点の左右上下方向の三次元情報も算出することが可能である。
計測装置100によれば、合成画像上で第一位置を指定することにより、第一位置を探索する際の視認性を高めることができる。さらに、ユーザーが指定した合成画像上の位置(第一位置)に応じて、複数の撮影画像の中から選択画像を選択し、当該選択画像上の位置(第二位置)を指定することができるので、ユーザーが指定したい画像上の位置を正確に指定することが可能となる。その結果、所望の位置のより正確な三次元情報を取得することが可能となる。
(3)計測装置100の変形例
上記「1.実施形態1」および「2.実施形態2」の項で説明した位置指定装置1の変形例は、計測装置100にも適用することができる。
〔4.実施形態4〕
以下、図面を参照しながら本発明の第四の実施形態に係る計測装置100(位置指定装置)について具体的に説明する。
図9は、本発明の第四の実施形態に係る計測装置100の一構成例を示すブロック図である。図9に示すように、計測装置100は、制御部10、表示装置11および入力装置12を備えている。制御部10、表示装置11および入力装置12は、一体化されていてもよいし、別体として構成されていてもよい。
制御部10は、計測装置100を統括的に制御する制御部であり、画像取得部101、第一位置受付部102、画像選択部103、第二位置受付部104および計測部105として機能する。制御部10の処理の詳細については後述する。
(1)計測装置100の概要
計測装置100は、被写体が同一である複数の撮影画像(以下、単に「撮影画像」と称する場合がある。)、および上記複数の撮影画像の合成画像(以下、単に「合成画像」と称する場合がある。)を取得する。次いで、計測装置100は、合成画像を表示装置11に表示させ、ユーザー(操作者)が指定した合成画像上の位置(第一位置)の指定を、入力装置12を介して受け付ける。次いで、計測装置100は、受け付けた第一位置に応じて、複数の撮影画像から一つの選択画像を選択する。次いで、計測装置100は、選択画像の少なくとも一部を表示装置11に表示させ、ユーザーが指定した選択画像上の位置(第二位置)の指定を、入力装置12を介して受け付ける。次いで、計測装置100は、選択画像に対応する参照画像をさらに取得し、参照画像を参照して、選択画像上の第二位置に対応する被写体上の位置の三次元位置(座標)を算出する。
上記「1.実施形態1」および「2.実施形態2」の項で説明したとおり、計測装置100の制御部10が、画像取得部101、第一位置受付部102、画像選択部103および第二位置受付部104として機能することで、ユーザーが画像上の所望の計測点を正確且つ容易に指定することが可能となる。このようにして取得した選択画像上の位置情報(第二位置情報)を基に、選択画像に対応する参照画像を参照して、選択画像上の第二位置に対応する被写体上の位置(計測点)の三次元位置(座標)を、誤差を低減して正確に算出することが可能となる。
(2)計測処理の一例
計測装置100における計測処理の一例について、図10を参照して以下に説明する。図10は、本実施形態に係る計測装置100の処理を示すフローチャートである。
(ステップS0101〜ステップS0104)
上記「1.実施形態1」および「2.実施形態2」の項で説明したとおりであるため説明を省略する。
(ステップS0205:参照画像取得工程)
計測部105は、選択画像に対応する参照画像を取得する。参照画像とは、選択画像と同一の被写体を異なる撮影位置から撮影した画像であり、選択画像とともに、ステレオ画像を構成する画像である。一態様において、計測部105は、複数の撮影画像の各々に対応する参照画像を予め取得し、その中から選択画像に対応する参照画像を選択することにより、選択画像に対応する参照画像を取得するようにしてもよい。
(ステップS0106:三次元位置計測工程)
計測部105は、選択画像に対応する参照画像を参照して、第二位置に対応した奥行情報を算出し、第二位置情報および奥行情報参照して、選択画像上の第二位置に対応する被写体上の位置(計測点)の三次元位置(座標)を算出する。計測部105は、計測結果を出力し、記憶装置(図示しない)に保存したり、表示装置11に表示させたりする。
奥行情報は、例えば、三角測量、ブロックマッチング等の方法を利用して算出することができる。
ここで、選択画像とこれに対応する参照画像とを含むステレオ画像を用いた奥行情報の算出方法の一例として、三角測量の方法を、図11を用いて説明する。図11は、三角測量の方法を説明する図である。
図11に示すように、基準画像撮像部4と参照画像撮像部6とは、共通の撮影範囲を持つよう設置され、互いの相対位置が変化しないように固定される。また、基準画像撮像部4と参照画像撮像部6との相対的な位置関係を予め計測しておく。被写体E上の計測点αの三次元座標44は、基準画像撮像部4の撮影画像50上の対応計測点α’の画像座標49から、基準画像撮像部4の焦点47と対応計測点α’の画像座標49とを通る直線41上に位置する。
そして、直線41上に複数の探索点42(例えば、探索点42a、42bおよび42c)を設定し、参照画像撮像部6の焦点48と各探索点42とを通る各探索直線43(例えば、探索直線43a、43bおよび43c)を設定する。参照画像撮像部6の撮影画像(図示しない)上の各対応探索点を、基準画像撮像部4の撮影画像50上の対応計測点α’と、それぞれ比較し、同一の物体が撮影されている対応探索点を検出する。この対応探索点に対応する直線41上の探索点(この場合、探索点42c)が、被写体Eにおける計測点αの三次元座標44となる。基準画像撮像部4の焦点47と参照画像撮像部6の焦点48とを通る直線である基線46、被写体Eにおける計測点αの三次元座標44と焦点48とを通る直線45、および直線41の3本の直線の位置関係から、基準画像撮像部4および参照画像撮像部6に対する、被写体Eにおける計測点αの相対的な三次元座標44を算出することができる。
具体的には、基線46上の焦点47と焦点48との間の距離βを予め計測する。そして、直線41と基線46とのなす角度θ1、および直線45と基線46とのなす角度θ2をそれぞれ算出する。距離β、角度θ1および角度θ2から、三角形の合同性により、被写体Eにおける計測点αの三次元座標44を算出することができる。
角度θ1および角度θ2の算出方法は、カメラ投影モデルを利用することで算出することができる。カメラ投影モデルの詳細を図11を参照して以下に説明する。
撮像デバイスやレンズなどを含んで構成される撮像部は、焦点と撮影対象を結ぶ直線が投影面と交差する投影面上の座標に、被写体の画像が記録されると考えることができる。そのため、図11に示すように、基準画像撮像部4の焦点47と、投影面(撮影画像50が投影される面)上における対応計測点α’の画像座標49の三次元空間上の位置がわかれば、焦点47と対応計測点α’の画像座標49とを通る直線41の位置を算出することができる。尚、基準画像撮像部4の投影面の位置は、基準画像撮像部4の光軸51の向きおよび焦点位置によって規定される。
そこで、図11に示すように、基準画像撮像部4および参照画像撮像部6について、センサ画素ピッチ、センサと焦点との位置関係をあらかじめ計測しておく。これらが既知ならば、対応計測点α’の画像座標49に対応する直線41の実空間上の位置を算出することができる。これにより直線41および直線45の、基準画像撮像部4および参照画像撮像部6に対する相対位置を算出できる。基準画像撮像部4と参照画像撮像部6の相対位置をあらかじめ計測しておけば、角度θ1および角度θ2を算出することができ、基準画像撮像部4および参照画像撮像部6に対する、被写体Eにおける計測点αの三次元座標44の相対位置を算出することができる。
ここで、同一被写体を異なる焦点位置で撮影した場合には、焦点位置ごとに焦点47と投影面との位置関係が変化する。そこで、撮影時の焦点位置ごとに、焦点47と投影面との位置関係をあらかじめ計測しておけば、直線41の相対位置を算出することができるため、被写体Eにおける計測点αの三次元座標44を算出することができる。
次に、ブロックマッチングの方法を、図12を用いて説明する。図12に示すように、基準画像撮像部4で撮影した撮影画像50上の対応計測点α’の画像座標49と、参照画像撮像部6で撮影した参照画像53上の対応探索点の画像座標54(図11には図示していない)とを比較する。そして、画像座標49と画像座標54との類似度が高ければ同一物体が撮影されている、すなわち、対応探索点に対応する三次元空間上の探索点42(図11)が、被写体E上の計測点αの三次元座標44であると判断できる。
類似度の評価としては、SAD(Sum of Absolute Difference)やSSD(Sum of Squared Difference)等の評価関数を使用することができる。SAD値の算出方法を以下に説明する。対応計測点α’の画像座標49に該当する画素をx、対応探索点の画像座標54に該当する画素をx’とすると、図12に示すように、xまたはx’の周囲3×3個の画素の画素値を、以下の数式(1)を用いて計算することでSAD値を求めることができる。
Figure 0006641485
対応計測点α’の画像座標49と対応探索点の画像座標54に同じ物体が映っていれば、各画素の画素値は近い値になるため、SAD値が小さくなる。そのため、直線41上に設定した各探索点42(図11)の内、SAD値が最も小さい探索点を選ぶことによって計測点αの三次元座標44を算出することができる。
このとき、比較対象として利用する基準画像撮像部4および参照画像撮像部6で撮影された画像のペアとしては、同期撮影したものを利用すると、手ブレや被写体ブレによるペア間のずれが起こらないため好ましい。また、同期撮影時に露出設定を同じにすることで、SAD値による検出結果の信頼性が高くなるため好ましい。また、比較対象として利用する基準画像および参照画像のペアとしては、コントラスト差が最大となる画像ペアを利用すると、SAD値に差が出やすくなり、計測点αの三次元座標44の算出精度が向上するため好ましい。例えば、飽和領域が多い画像では類似領域が増加するため、飽和領域が少ない画像を比較対象として利用することによって、検出誤差が発生する可能性を低減させることができる。
(3)計測装置100の変形例
上記「1.実施形態1」および「2.実施形態2」の項で説明した位置指定装置1の変形例は、計測装置100にも適用することができる。
(i)ステップS0101(画像取得工程)およびステップS0205(参照画像情報取得工程)の変形例
図9では、複数の参照画像が計測部105によって取得される構成を示したが、画像取得部101が撮影画像および合成画像を取得するときに、画像取得部101が参照画像も取得する構成としてもよい。すなわち、ステップS0101(画像取得工程)において、複数の撮影画像、合成画像および複数の参照画像を取得してもよい。
また、計測部105は、第二位置情報と、選択画像およびこれに対応する参照画像を含むステレオ画像とを取得する構成としてもよい。
(ii)ステップS0104(第二位置受付工程)の変形例
ステップS0104は、以下のサブステップをさらに含んでいてもよい:
(a)第二位置受付部104が、選択画像上の第二位置とは異なる第三位置の入力をさらに受け付ける工程(サブステップS01041)
選択画像上の第二位置とは異なる第三位置を指定する方法については、「1.実施形態1」の項で説明したとおりである。
(iii)ステップS0106(三次元位置計測工程)の変形例
ステップS0106は、以下のサブステップをさらに含んでいてもよい:
(a)計測部105が、第二位置の奥行情報を算出した選択画像に対応する参照画像を参照して、選択画像上の第三位置に対応する被写体上の位置(計測点)の三次元位置(座標)を計測する(サブステップS01061)。
第二位置とは異なる第三位置を、第二位置の指定に使用した選択画像と同一の選択画像上で指定し、単一の選択画像内で2点間の距離を算出することで、被写体の動きの影響による計測誤差を低減することができる。これにより、2点間の距離を高精度で算出することが可能となる。また、さらに、単一の選択画像内で第四位置、第五位置を指定し、選択画像上の第四位置、第五位置に対応する被写体上の位置(計測点)の三次元位置(座標)をそれぞれ計測することで、面積等の他の計測値を、高精度で算出することが可能となる。
(iv)画像取得部が取得する画像の他の例
本実施形態では、奥行情報の算出に、ステレオ画像(すなわち、撮影画像と参照画像との2枚の画像)を利用する例を説明したが、ステレオ画像の代わりに、同一被写体を3つ以上の異なる位置で撮影した画像(すなわち、撮影画像と、2つ以上の参照画像との組合せ)を利用する場合も、同様の効果を得ることが可能である。
〔5.実施形態5〕
以下、図面を参照しながら本発明の第五の実施形態に係る計測装置100(位置指定装置)について具体的に説明する。
図13は、本発明の第五の実施形態に係る計測装置100の一構成例を示すブロック図である。図13に示すように、計測装置100は、制御部10、表示装置11、入力装置12および撮像装置8を備えている。制御部10、表示装置11および入力装置12は、一体化されていてもよいし、別体として構成されていてもよい。
制御部10は、計測装置100を統括的に制御する制御部であり、画像取得部101、第一位置受付部102、画像選択部103、第二位置受付部104および計測部105として機能する。制御部10の処理の詳細については後述する。
撮像装置8は、基準画像撮像部4(撮影部)、制御部5、参照画像撮像部6(撮影部)および合成処理部7(合成部)を備えている。基準画像撮像部4および参照画像撮像部6は、CCD(Charge Coupled Device、電荷結合素子)等の撮像デバイスやレンズ等で構成され得る。
また、図14は、本発明の第五の実施形態に係る計測装置100における撮像装置8の合成処理部7の一構成例を示すブロック図である。合成処理部7は、位置合わせ部71、合焦度判定部72、および画像合成部73を備えている。
(1)計測装置100の概要
計測装置100の撮像装置8は、予め設定した複数の撮影条件(露光量、焦点位置等)で、同一被写体を撮影する。次いで、撮像装置8は、被写体が同一である複数の撮影画像を取得し、当該複数の撮影画像から合成画像を合成する。次いで、計測装置100は、被写体が同一である複数の撮影画像、および上記合成画像を取得する。次いで、計測装置100は、合成画像を表示装置11に表示させ、ユーザー(操作者)が指定した合成画像上の位置(第一位置)の指定を、入力装置12を介して受け付ける。次いで、計測装置100は、受け付けた第一位置に応じて、複数の撮影画像から一つの選択画像を選択する。次いで、計測装置100は、選択画像の少なくとも一部を表示装置11に表示させ、ユーザーが指定した選択画像上の位置(第二位置)の指定を、入力装置12を介して受け付ける。次いで、計測装置100は、複数の撮影画像の各々に対応する参照画像をさらに取得し、選択画像に対応する参照画像を参照して、選択画像上の第二位置に対応する被写体上の位置の三次元位置(座標)を算出する。
上記「1.実施形態1」および「2.実施形態2」の項で説明したとおり、計測装置100の制御部10が、画像取得部101、第一位置受付部102、画像選択部103および第二位置受付部104として機能することで、ユーザーが画像上の所望の計測点を正確且つ容易に指定することが可能となる。このようにして取得した選択画像上の位置情報(第二位置情報)を基に、選択画像に対応する参照画像を参照して、選択画像上の第二位置に対応する被写体上の位置(計測点)の三次元位置(座標)を、誤差を低減して正確に算出することが可能となる。
(2)計測処理の一例
計測装置100における計測処理の一例について、図10、図14および図15を参照して以下に説明する。図10は、本実施形態に係る計測装置100の処理を示すフローチャートである。図14は、本実施形態に係る計測装置100の合成処理部7の一構成例を示すブロック図である。図15は、合成処理部7の処理を示すフローチャートである。
計測装置100は、図10に示すステップS0101の前に、撮像装置8の基準画像撮像部4および参照画像撮像部6が、予め設定した複数の撮影条件(露光量、焦点位置等)で、同一被写体を撮影し、基準画像撮像部4が撮影した撮影画像を合成処理部7が合成して合成画像を取得する、ステップS0201〜ステップS0204を含んでいる。ここで、まず、ステップS0201〜ステップS0204について図15を参照して以下に説明する。
(ステップS0201:撮像工程)
基準画像撮像部4および参照画像撮像部6は、予め設定した複数の撮影条件(露光量、焦点位置等)で、同一被写体を撮影する。本実施形態では、基準画像撮像部4および参照画像撮像部6が、異なる焦点位置で撮影を行う場合について説明する。
制御部5は、基準画像撮像部4および参照画像撮像部6のシャッタータイミング制御や、絞り、センサ感度、シャッター速度、焦点位置等の撮影設定の制御を行う。制御部5は、シャッターボタン(図示せず)等からの入力信号を受け取ると、基準画像撮像部4および参照画像撮像部6を、予め設定した複数の撮影条件(露光量や焦点位置)で画像を撮影するよう制御する。
制御部5は、各撮影について、基準画像撮像部4および参照画像撮像部6が略同時にシャッターを切り、画像を同期撮影するよう制御する。異なる焦点位置で撮影を行う場合、各同期撮影における焦点位置は、基準画像撮像部4および参照画像撮像部6が同期撮影する画像ペアごとに、焦点の合う被写体までの距離が略同一になるように、すなわち、同じ撮影対象に焦点が合うように設定する。尚、本実施形態では、基準画像撮像部4に対し参照画像撮像部6を右にずれた位置に配置しているが、基準画像撮像部4に対し参照画像撮像部6を左にずれた位置に配置してもよいし、上下方向にずれた位置に配置してもよい。また、本実施形態では、参照画像撮像部6を1台、すなわち撮像部を計2台としているが、参照画像撮像部を2台以上利用することも可能である。
基準画像撮像部4および参照画像撮像部6は、撮影した複数の撮影画像を、画像取得部101に出力する。また、基準画像撮像部4は、撮影した複数の撮影画像を、合成処理部7に出力する。尚、本実施形態では画像のデータを合成処理部7や画像取得部101に逐次出力する構成として説明しているが、撮影画像を計測装置100内の記憶部(図示しない)に一旦保存し、合成処理部7や画像取得部101が記憶部(図示しない)のデータを取得する構成とすることも可能である。
(ステップS0202:位置合わせ工程)
基準画像撮像部4が、同一被写体を異なる焦点位置で撮影を行った場合には、合成処理部7は、焦点位置が異なる複数の撮影画像の位置合わせを実施し、各画素で合焦度を評価して合焦度の高い画像の画素を加重平均し、被写界深度を拡大した合成画像を生成する。
位置合わせ部71は、基準画像撮像部4から取得した焦点位置が異なる複数の撮影画像の位置合わせを行う。前述したように、各画像で画角が変化している可能性が有るので、画像間で特徴点の座標を比較し、各特徴点が同一の座標となるように調整する。これにより、画像内の被写体の位置を略同一とすることができる。
(ステップS0203:合焦度判定工程)
次いで、合焦度判定部72は、各画像の各画素の合焦度を判定する。合焦度は、各画素の周囲、あらかじめ設定した範囲のコントラスト差によって評価する。コントラスト差が大きければ合焦度が高いと判断する。
(ステップS0204:画像合成工程)
次いで、画像合成部73は、判定した合焦度に基づき画像を合成する。画像合成には一般的な合成方法を利用することができる。合成画像の各画素の画素値は、以下の数式(2)を用いて算出することができる。数式(2)中、Nは撮影画像の枚数を、piは撮影画像iの注目画素の画素値を、ciは注目画素の合焦度を、pafは合成画像の注目画素の画素値を表している。
Figure 0006641485
合焦度に応じて撮影画像の画素値を加重平均して各画素の画素値を求めることで、被写界深度を拡大した画像を合成することができる。生成した合成画像は、合成処理部7(画像合成部73)から画像取得部101に出力される。
(ステップS0101〜ステップS0104)
上記「2.実施形態2」の項で説明したとおりであるため説明を省略する。
(ステップS0205およびステップS0106)
上記「4.実施形態4」の項で説明したとおりであるため説明を省略する。
(3)計測装置100の変形例
上記「1.実施形態1」および「2.実施形態2」の項で説明した位置指定装置1の変形例は、計測装置100にも適用することができる。また、上記「3.実施形態3」および「4.実施形態4」の項で説明した計測装置100の変形例は、本実施形態に係る計測装置100にも適用することができる。
(i)他の撮影条件における例
本実施形態では、基準画像撮像部4および参照画像撮像部6が、異なる焦点位置で撮影を行う場合について説明したが、基準画像撮像部4および参照画像撮像部6は、異なる露光量で撮影を行うことも可能である。
この場合、ステップS0201では、各同期撮影における露光量の設定値は、基準画像撮像部4および参照画像撮像部6が同期撮影する画像ペアごとに同じ設定にすればよい。
また、ステップS0204では、画像合成部73は、露光量が異なる複数の撮影画像の位置合わせを実施し、各画素において適切な階調の画像の画素を加重平均し、各画像の露光量の差を考慮して階調を調整することで、ダイナミックレンジを拡大した合成画像を生成する。合成画像のビット数が増加する場合には、トーンマッピングをする等、階調変換により所望のビット数としてもよい。
〔6.実施形態6〕
計測装置100は、計測装置100(具体的には、基準画像撮像部4の焦点)から計測点の三次元位置までの距離を算出する機能のみならず、例えば、2点間の距離を算出する機能も有している。以下にその方法を説明する。
以下、図面を参照しながら本発明の第六の実施形態に係る計測装置100(位置指定装置)について具体的に説明する。
図16は、本発明の第六の実施形態に係る計測装置100の一構成例を示すブロック図である。図16に示すように、計測装置100は、制御部10、表示装置11、入力装置12および撮像装置8を備えている。制御部10、表示装置11および入力装置12は、一体化されていてもよいし、別体として構成されていてもよい。
制御部10は、計測装置100を統括的に制御する制御部であり、画像取得部101、第一位置受付部102、画像選択部103、第二位置受付部104および計測部105として機能する。制御部10の処理の詳細については後述する。
撮像装置8は、基準画像撮像部4(撮影部)、制御部5、参照画像撮像部6(撮影部)および合成処理部7(合成部)を備えている。
(1)計測装置100の概要
計測装置100の撮像装置8は、予め設定した複数の撮影条件(露光量、焦点位置等)で、同一被写体を撮影する。次いで、撮像装置8は、被写体が同一である複数の撮影画像を取得し、当該複数の撮影画像から合成画像を合成する。次いで、計測装置100は、被写体が同一である複数の撮影画像、および上記合成画像を取得する。次いで、計測装置100は、合成画像を表示装置11に表示させ、ユーザー(操作者)が指定した合成画像上の位置(第一位置)の指定を、入力装置12を介して受け付ける。次いで、計測装置100は、受け付けた第一位置に応じて、複数の撮影画像から一つの選択画像を選択する。次いで、計測装置100は、選択画像の少なくとも一部を表示装置11に表示させ、ユーザーが指定した選択画像上の位置(第二位置)の指定を、入力装置12を介して受け付ける。次いで、計測装置100は、ユーザーが指定した選択画像上の第二位置とは異なる第三位置の指定を、入力装置12を介して受け付けるが、第三位置に応じて、選択画像を再選択する。次いで、計測装置100は、再選択した画像(再選択画像)の少なくとも一部を表示装置11に表示させ、ユーザーが指定した選択画像上の第二位置および第三位置の指定を、入力装置12を介して再度受け付ける。次いで、計測装置100は、複数の撮影画像の各々に対応する参照画像をさらに取得し、上記再選択画像に対応する参照画像を参照して、再選択画像上の第二位置に対応する被写体上の位置の三次元位置(座標)および第三位置に対応する被写体上の位置の三次元位置(座標)を算出する。
上記「1.実施形態1」および「2.実施形態2」の項で説明したとおり、計測装置100の制御部10が、画像取得部101、第一位置受付部102、画像選択部103および第二位置受付部104として機能することで、ユーザーが画像上の所望の計測点を正確且つ容易に指定することが可能となる。さらに、第三位置に応じて、選択画像を再選択することによって、ユーザーが画像上の複数の計測点を正確且つ容易に指定することが可能となる。このようにして取得した再選択画像上の位置情報(第二位置情報および第三位置情報)を基に、再選択画像に対応する参照画像を参照して、再選択画像上の第二位置に対応する被写体上の位置の三次元位置(座標)および第三位置に対応する被写体上の位置の三次元位置(座標)を、誤差を低減して正確に算出することが可能となる。
(2)計測処理の一例
計測装置100における計測処理の一例を以下に説明する。
(ステップS0201〜ステップS0204)
上記「5.実施形態5」の項で説明したとおりであるため説明を省略する。
(ステップS0101〜ステップS0103)
上記「1.実施形態1」および「2.実施形態2」の項で説明したとおりであるため説明を省略する。
(ステップS0104:第二位置受付工程)
第二位置受付部104は、選択画像としての撮影画像の少なくとも一部を表示装置11に表示させ、ユーザーが指定した選択画像上の位置(第二位置)の指定を、入力装置12を介して受け付ける。そして、第二位置受付部104は、入力装置12を介した、選択画像上の第二位置とは異なる第三位置の入力をさらに受け付ける。
すなわち、第二位置受付部104は、2つの計測点間の距離を算出するために、入力装置12を介して、2つの計測点の位置(第二位置および第三位置)の入力を受け付ける。複数個の計測点の位置の指定方法は、上記「1.実施形態1」の項で説明したとおりである。ここで、2つ目の計測点(すなわち、第三位置)を指定する場合は、第二位置の指定に利用した選択画像上で第三位置を指定するので、距離を計測する複数の計測点が同時に撮影された状態となり、2点間の距離を精度良く算出することができる。
このとき、例えば、異なる露光量で撮影を行った場合、2箇所の計測点(すなわち、第三位置)の状態として、次の2通りの場合が考えられる。1つ目の計測点(第二位置)の指定に使用した選択画像上で、
(1)2つ目に指定したい計測点(第三位置)において階調の飽和が無い。
(2)2つ目に指定したい計測点(第三位置)において、白または黒に階調が飽和している。
まず、(1)の場合は、第二位置受付部104は、1つ目の計測点(第二位置)の指定に使用した選択画像を表示装置11に表示させた状態で、2つ目の計測点(第三位置)の位置の入力を受け付ければよい。これに対して、(2)の場合は、画像選択部103が、選択画像を再選択し、第二位置受付部104は、再選択された選択画像を表示装置11に表示させた状態で、1つ目および2つ目の計測点の位置の入力を再度受け付ける。すなわち、ステップS0104は、以下のサブステップS01041〜S01041を含んでいる。
(サブステップS01041:第三位置受付工程)
第二位置受付部104は、ユーザーが指定した選択画像上の第二位置とは異なる第三位置の指定を、入力装置12を介して受け付ける。図17に示すように、第二位置受付部104は、2つ目の計測点α2(第三位置)の指定を、入力装置12を介して受け付ける。尚、図17中のα1は、1つ目の計測点(第二位置)を表している。
(サブステップS01042:判定工程)
画像選択部103は、選択画像上の第三位置に応じて、選択画像の再選択が必要か否かを判定する。画像選択部103が、選択画像の再選択が必要と判断した場合、画像選択部103は、選択画像を再選択する工程を行う。一方で、画像選択部103が、選択画像の再選択が不要と判断した場合、第三位置を受け付ける処理は終了する。
画像選択部103は、例えば、選択画像上の第三位置における階調飽和の有無を拡大表示画像111のエッジ強度によって自動判定する。そして、画像選択部103は、選択画像上の第三位置における階調飽和が無いと判定した場合は、選択画像の再選択が不要と判定し、選択画像上の第三位置における階調飽和が有ると判定した場合は、選択画像の再選択が必要と判定する。
ここで、エッジ強度の算出方法を下記に説明する。図18はエッジ強度を検出するためのフィルタの係数の例である。画像中のエッジ検出したい位置の画素を中心とした3×3画素に対して、図18に示す係数を乗算した9つの数値を加算する。算出した数値の絶対値が大きいほど、エッジ強度が大きいと判断できるため、算出した数値の絶対値が予め設定した閾値以下の場合に、エッジ強度が極めて小さいと判断することで、白で階調が飽和または黒で階調が飽和を判定することができる。
尚、画像選択部103は、ユーザーによる操作の検出結果に応じて、選択画像の再選択が必要か否かを判定してもよい。例えば、図17に示すように、計測点α1の指定に利用した選択画像210a’において、計測点α2の階調が白または黒に飽和している場合に、ユーザーは、選択画像の再選択が必要と判定して、判定ボタン25を押す。一方で、計測点α1の指定に利用した選択画像210a’において、計測点α2の階調飽和していない場合、ユーザーは、選択画像の再選択が不要と判定して、判定ボタン25を押さない。このとき、画像選択部103は、ユーザーによる判定ボタン25の押下の検出結果に応じて、選択画像の再選択が必要か否かを判定すればよい。
(サブステップS01043:選択画像再選択工程)
画像選択部103は、第三位置に応じて、複数の撮影画像から、一つの選択画像を再度選択する。
このときの選択画像の選択方法としては、例えば、画像選択部103は、複数の撮影画像の各々について、上記第三位置を含む部分領域における階調飽和の度合いを算出し、当該階調飽和の度合いが最も小さい撮影画像を、再選択画像として選択することができる。ここで、上記「第三位置を含む部分領域」は、第三位置に対応する撮影画像上の位置(第三位置対応位置)を含む撮影画像中の部分領域が意図される。部分領域の大きさは特に限定されず、例えば、予め定められた画素数の矩形領域とすることができる。
より具体的に説明すると、画像選択部103は、図17に示す計測点α1の指定に利用した選択画像210a’において、計測点α2の階調が飽和している場合、複数の撮影画像の各々について、計測点α1領域および計測点α2領域の両方のコントラストを算出して、各計測点について階調が飽和していない撮影画像を選択する。このとき、複数の撮影画像の中から、計測点α1および計測点α2のコントラストが共に高い画像を、再選択画像として選択すると、ブロックマッチングの類似度最大の位置が明確になり、対応計測点算出のロバスト性が高くなるため好適である。計測点α1および計測点α2のコントラストが共に高い画像を選択する方法としては、たとえば、各計測点のコントラスト値を加算した値がもっとも高い画像を選択することで実現できる。
また、焦点位置を変えて撮影した撮影画像の場合は、計測点α1および計測点α2の焦点が共に合っている(合焦している)画像を選択するとよい。計測点の焦点が合っている(合焦している)かどうかは、計測点周辺のコントラストが高いほど焦点が合っている(合焦している)と判断できるため、焦点位置を変えて撮影した撮影画像についても同様に計測点α1および計測点α2のコントラストが共に高い画像を選択するとよい。
(サブステップS01044:第三位置再受付工程)
第二位置受付部104は、再選択画像の少なくとも一部を表示装置11に表示させ、ユーザーが指定した再選択画像上の第三位置の指定を、入力装置12を介して再度受け付ける。
(サブステップS01045:第二位置再受付工程)
第二位置受付部104は、ユーザーが指定した再選択画像上の第二位置の指定を、入力装置12を介して再度受け付ける。
これにより、同一の選択画像上で第二位置としての計測点α1および第三位置としての計測点α2を指定することができ、これによって、計測点α1および計測点α2間の距離の計測が可能となる。
(ステップS0205:参照画像取得工程)
計測部105は、複数の撮影画像の各々に対応する参照画像をさらに取得し、当該複数の参照画像の中から、選択画像(または再選択画像)に対応する参照画像を選択する。
(ステップS0106:三次元位置計測工程)
計測部105は、選択画像(または再選択画像)に対応する参照画像を参照して、第二位置に対応した奥行情報を算出し、第二位置情報および奥行情報参照して、選択画像上の第二位置に対応する被写体上の位置(計測点)の三次元位置(座標)を算出する。同様にして、選択画像上の第二位置に対応する被写体上の位置(計測点)の三次元位置(座標)を算出する。計測部105は、計測結果を出力し、記憶装置(図示しない)に保存したり、表示装置11に表示させたりする。
2つの計測点の相対位置を算出することで、2つの計測点間の長さを算出することができる。尚、本実施形態では、2点間の距離の算出方法を示したが、計測点の数を増やして、例えば、点と直線の間の距離、2直線間の距離、複数の点を結ぶ範囲の面積等を計測結果として算出することも可能である。
以上で説明したように、異なる撮影条件で撮影した複数の撮影画像から合成画像を生成し、合成画像を、ユーザーが画像上の所望の計測点の位置を探索するために使用し、合成画像上で探索した位置(第一位置)に応じて選択した選択画像上で、または第三位置に応じて再選択した再選択画像上で、第二位置および第三位置を指定するので、計測点の探索のための画像全体の視認性が高くなり、また、被写体の位置ずれを考慮した高品位な合成画像を取得する必要性がない。また、たとえ合成画像が二重像であったとしても、選択画像上で計測点を指定するので、二重像を回避し所望の点の位置を指定することが可能となる。
(3)計測装置100の変形例
本実施形態では、撮像装置を一体化した計測装置としているが、撮像装置を計測装置とは別の装置としてもよい。例えば、上述したような撮像装置によって撮影、合成処理をした画像を、RAM、フラッシュメモリ、HDD等の記憶装置に記憶し、計測装置は、記憶装置から画像を読み取って表示装置に表示することもできる。また、撮影画像を保存し、計測装置で合成処理を行ってもよい。
〔ソフトウェアによる実現例〕
位置指定装置1(計測装置100)の制御ブロック(特に制御部10)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。
後者の場合、位置指定装置1(計測装置100)は、各機能を実現するソフトウェアであるプログラムの命令を実行するCPU、上記プログラムおよび各種データがコンピュータ(またはCPU)で読み取り可能に記録されたROM(Read Only Memory)または記憶装置(これらを「記録媒体」と称する)、上記プログラムを展開するRAM(Random Access Memory)などを備えている。そして、コンピュータ(またはCPU)が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の一つの目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
〔まとめ〕
本発明の態様1に係る位置指定装置(1)は、被写体が同一である複数の撮影画像、および、前記複数の撮影画像の合成画像を取得する画像取得部(101)と、前記合成画像を表示装置(11)に表示させ、入力装置(12)を介した前記合成画像上の第一位置の入力を受け付ける第一位置受付部(102)と、前記第一位置に応じて、前記複数の撮影画像から、一つの選択画像を選択する画像選択部(103)と、前記選択画像の少なくとも一部を前記表示装置(11)に表示させ、前記入力装置(12)を介した前記選択画像上の第二位置の入力を受け付ける第二位置受付部(104)と、を備えている構成である。
上記の構成によれば、位置指定装置は、合成画像を、ユーザーが画像上の所望の計測点の位置を探索するために使用し、合成画像上で探索した位置(第一位置)に応じて選択した選択画像上で計測点を指定するので、被写体の位置ずれを考慮した高品位な合成画像を取得する必要性がなく、また、たとえ合成画像が二重像であったとしても、選択画像上で計測点を指定するので、二重像となった合成画像上で計測点の位置を正確に指定できないという問題もない。また、合成画像上で探索した位置(第一位置)に応じて選択した選択画像においては、第一位置の付近で階調飽和がないため、選択画像上の位置を指定することが可能となる。よって、本発明の態様1に係る位置指定装置によれば、ユーザーが画像上の所望の計測点の位置を簡易且つ正確に指定することができる。
本発明の態様2に係る位置指定装置(計測装置100)は、上記の態様1において、前記選択画像に対応する奥行情報を取得し、前記奥行情報を参照して、前記選択画像上の前記第二位置に対応する前記被写体上の位置(計測点)の三次元座標を算出する計測部(105)をさらに備えている構成としてもよい。
上記の構成によれば、計測点の三次元座標を算出することができる。
本発明の態様3に係る位置指定装置(計測装置100)は、上記の態様1において、前記選択画像に対応する参照画像を取得し、前記参照画像を参照して、前記選択画像上の前記第二位置に対応する前記被写体上の位置(計測点)の三次元座標を算出する計測部(105)をさらに備えている構成としてもよい。
上記の構成によれば、計測点の三次元座標を算出することができる。
本発明の態様4に係る位置指定装置(計測装置100)は、上記の態様1から3のいずれか1態様において、前記複数の撮影画像を撮影する撮影部(基準画像撮像部4)、および、前記複数の撮影画像の合成画像を生成する合成部(合成処理部7)をさらに備えている構成としてもよい。
上記の構成によれば、計測点の三次元座標を算出することができる。
本発明の態様5に係る位置指定装置(計測装置100)は、上記の態様1から4のいずれか1態様において、前記第二位置受付部(第三位置受付部)は、前記入力装置(12)を介した、前記選択画像上の前記第二位置とは異なる第三位置の入力をさらに受け付けるようになっており、前記画像選択部(103)は、前記第三位置に応じて、前記選択画像(再選択画像)を再選択し、前記第二位置受付部(第三位置受付部)は、前記画像選択部が再選択した前記選択画像(再選択画像)の少なくとも一部を前記表示装置(11)に表示させ、前記入力装置(12)を介した前記選択画像上の第二位置および第三位置の入力を再度受け付けるようになっている構成としてもよい。
上記の構成によれば、複数の計測点の三次元座標を算出することができる。
本発明の態様6に係る位置指定装置(1)は、上記の態様1から5のいずれか1態様において、前記画像選択部(103)は、前記複数の撮影画像の各々について、前記第一位置を含む部分領域における階調飽和の度合いを算出し、当該階調飽和の度合いが最も小さい撮影画像を、前記選択画像として選択する構成としてもよい。
上記の構成によれば、位置指定装置は、ユーザーが指定した合成画像上の位置(第一位置)に応じて、階調飽和の度合いが最も小さい撮影画像を選択画像として選択し、当該選択画像上の位置(第二位置)を指定することができるので、ユーザーが指定したい画像上の位置を正確に指定することが可能となる。
本発明の態様7に係る位置指定装置(1)は、上記の態様1から5のいずれか1態様において、前記画像選択部(103)は、前記複数の撮影画像の各々について、前記第一位置を含む部分領域における合焦の度合いを算出し、当該合焦の度合いが最も大きい撮影画像を、前記選択画像として選択する構成としてもよい。
上記の構成によれば、位置指定装置は、ユーザーが指定した合成画像上の位置(第一位置)に応じて、合焦の度合いが最も大きい撮影画像を選択画像として選択し、当該選択画像上の位置(第二位置)を指定することができるので、ユーザーが指定したい画像上の位置を正確に指定することが可能となる。
本発明の態様8に係る位置指定方法は、被写体が同一である複数の撮影画像の合成画像上の第一位置の指定を受け付ける第一位置受付工程(ステップS0102)と、前記受付工程(ステップS0102)において受け付けた第一位置に応じて、前記複数の撮影画像から、一つの選択画像を選択する画像選択工程(ステップS0103)と、画像選択工程(ステップS0103)において選択した前記一つの選択画像上の第二位置の指定を受け付ける第二位置受付工程(ステップS0104)とを包含している方法である。
上記の構成によれば、ユーザーが画像上の所望の計測点の位置を簡易且つ正確に指定することができる。
本発明の各態様に係る位置指定装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記位置指定装置が備える各部(ソフトウェア要素)として動作させることにより上記位置指定装置をコンピュータにて実現させる位置指定装置の制御プログラム(位置指定プログラム)、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
(関連出願の相互参照)
本出願は、2016年8月9日に出願された日本国特許出願:特願2016-156917に対して優先権の利益を主張するものであり、それを参照することにより、その内容の全てが本書に含まれる。
1 位置指定装置
4 基準画像撮像部
5 制御部
6 参照画像撮像部
7 合成処理部
8 撮像装置
10 制御部
11 表示装置
12 入力装置
100 計測装置
101 画像取得部
102 第一位置受付部
103 画像選択部
104 第二位置受付部
105 計測部

Claims (14)

  1. 複数の撮影画像の合成画像上の第一位置の入力を受け付ける第一位置受付部と、
    前記第一位置に応じて、前記複数の撮影画像から、一つの選択画像を選択する画像選択部と、
    前記選択画像上の第二位置の入力を受け付ける第二位置受付部と、
    を備えていることを特徴とする位置指定装置。
  2. 前記複数の撮影画像は、互いに露出量の異なる複数の撮影画像であることを特徴とする請求項1に記載の位置指定装置。
  3. 前記画像選択部は、前記複数の撮影画像の各々について、前記第一位置を含む部分領域における階調飽和の度合いに基づいて、前記選択画像を選択することを特徴とする請求項1または2に記載の位置指定装置。
  4. 前記画像選択部は、前記複数の撮影画像の各々について、前記第一位置を含む部分領域における階調飽和の度合いを算出し、当該階調飽和の度合いが最も小さい撮影画像を、前記選択画像として選択することを特徴とする、請求項1から3のいずれか1項に記載の位置指定装置。
  5. 前記複数の撮影画像は、互いに焦点位置の異なる複数の撮影画像であることを特徴とする請求項1に記載の位置指定装置。
  6. 前記画像選択部は、前記複数の撮影画像の各々について、前記第一位置を含む部分領域における合焦の度合いに基づいて、前記選択画像を選択することを特徴とする請求項1または5に記載の位置指定装置。
  7. 前記画像選択部は、前記複数の撮影画像の各々について、前記第一位置を含む部分領域における合焦の度合いを算出し、当該合焦の度合いが最も大きい撮影画像を、前記選択画像として選択することを特徴とする、請求項1、5または6に記載の位置指定装置。
  8. 前記複数の撮影画像は、被写体が同一である複数の撮影画像であり、
    前記選択画像に対応する奥行情報を取得し、前記奥行情報を参照して、前記選択画像上の前記第二位置に対応する前記被写体上の位置の三次元座標を算出する計測部をさらに備えていることを特徴とする請求項1に記載の位置指定装置。
  9. 前記複数の撮影画像は、被写体が同一である複数の撮影画像であり、
    前記選択画像に対応する参照画像を取得し、前記参照画像を参照して、前記選択画像上の前記第二位置に対応する前記被写体上の位置の三次元座標を算出する計測部をさらに備えていることを特徴とする請求項1に記載の位置指定装置。
  10. 前記複数の撮影画像を撮影する撮影部、および、前記複数の撮影画像の合成画像を生成する合成部をさらに備えていることを特徴とする請求項1から3のいずれか1項に記載の位置指定装置。
  11. 前記第二位置受付部は、前記選択画像上の前記第二位置とは異なる第三位置の入力をさらに受け付けるようになっており、
    前記画像選択部は、前記第三位置に応じて、前記選択画像を再選択し、
    前記第二位置受付部は、前記選択画像上の第二位置および第三位置の入力を再度受け付けるようになっていることを特徴とする請求項1から4のいずれか1項に記載の位置指定装置。
  12. 表示装置および入力装置を備えていることを特徴とする請求項1から11の何れか一項に記載の位置指定装置。
  13. 複数の撮影画像の合成画像上の第一位置の指定を受け付ける第一位置受付工程と、
    前記受付工程において受け付けた第一位置に応じて、前記複数の撮影画像から、一つの選択画像を選択する画像選択工程と、
    画像選択工程において選択した前記一つの選択画像上の第二位置の指定を受け付ける第二位置受付工程と、を包含していることを特徴とする位置指定方法。
  14. 請求項1に記載の位置指定装置としてコンピュータを機能させるための位置指定プログラムであって、前記第一位置受付部、前記画像選択部および前記第二位置受付部としてコンピュータを機能させるための位置指定プログラム。
JP2018533488A 2016-08-09 2017-08-08 位置指定装置および位置指定方法 Active JP6641485B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016156917 2016-08-09
JP2016156917 2016-08-09
PCT/JP2017/028720 WO2018030386A1 (ja) 2016-08-09 2017-08-08 位置指定装置および位置指定方法

Publications (2)

Publication Number Publication Date
JPWO2018030386A1 JPWO2018030386A1 (ja) 2019-07-18
JP6641485B2 true JP6641485B2 (ja) 2020-02-05

Family

ID=61162267

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018533488A Active JP6641485B2 (ja) 2016-08-09 2017-08-08 位置指定装置および位置指定方法

Country Status (4)

Country Link
US (1) US20190170502A1 (ja)
JP (1) JP6641485B2 (ja)
CN (1) CN109565544B (ja)
WO (1) WO2018030386A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6562492B1 (ja) * 2019-05-16 2019-08-21 株式会社モルフォ 画像処理装置、画像処理方法及びプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2635890B2 (ja) * 1992-07-29 1997-07-30 帝人株式会社 画像処理による距離計測方法
JP2006337701A (ja) * 2005-06-01 2006-12-14 Olympus Corp 走査型共焦点レーザ顕微鏡
JP5188101B2 (ja) * 2007-06-01 2013-04-24 株式会社キーエンス 拡大観察装置、拡大画像撮影方法、拡大画像撮影プログラム及びコンピュータで読み取り可能な記録媒体
JP5270971B2 (ja) * 2008-06-10 2013-08-21 株式会社キーエンス 画像計測装置、画像計測方法及びコンピュータプログラム
JP6270361B2 (ja) * 2013-07-16 2018-01-31 株式会社キーエンス 三次元画像処理装置、三次元画像処理方法及び三次元画像処理プログラム並びにコンピュータで読み取り可能な記録媒体及び記録した機器
US9508173B2 (en) * 2013-10-30 2016-11-29 Morpho, Inc. Image processing device having depth map generating unit, image processing method and non-transitory computer redable recording medium
JP6418879B2 (ja) * 2014-10-06 2018-11-07 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置

Also Published As

Publication number Publication date
WO2018030386A1 (ja) 2018-02-15
JPWO2018030386A1 (ja) 2019-07-18
CN109565544A (zh) 2019-04-02
CN109565544B (zh) 2020-11-24
US20190170502A1 (en) 2019-06-06

Similar Documents

Publication Publication Date Title
CA2969482C (en) Method and apparatus for multiple technology depth map acquisition and fusion
JP6245885B2 (ja) 撮像装置およびその制御方法
JP5745178B2 (ja) 3次元測定方法、装置及びシステム、並びに画像処理装置
JP5580164B2 (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
JP6548367B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP7123736B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2015035658A (ja) 画像処理装置、画像処理方法、および撮像装置
JP6502511B2 (ja) 計算装置、計算装置の制御方法および計算プログラム
US9413952B2 (en) Image processing apparatus, distance measuring apparatus, imaging apparatus, and image processing method
TWI393981B (zh) Use the flash to assist in detecting focal lengths
JP2009088726A (ja) 複眼撮像装置のキャリブレーション方法および装置ならびにこれに用いられるキャリブレーションチャート
TW201225658A (en) Imaging device, image-processing device, image-processing method, and image-processing program
JP2016217944A (ja) 計測装置、および計測方法
US11808561B2 (en) Electronic apparatus for controlling a projector to project an image onto a screen at an actual size length, control method thereof and computer readable storage medium
JP6604908B2 (ja) 画像処理装置、その制御方法、および制御プログラム
JP6700818B2 (ja) 画像処理装置、撮像装置、および画像処理方法
JP6641485B2 (ja) 位置指定装置および位置指定方法
US8179431B2 (en) Compound eye photographing apparatus, control method therefor, and program
JP6381206B2 (ja) 画像処理装置、その制御方法およびプログラム
JP2012256964A (ja) 撮像装置
JP7458769B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体
JP7113327B1 (ja) 撮像装置
JP6833772B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP7277187B2 (ja) 画像処理装置、撮像装置、画像処理方法、およびプログラム
JP2019134207A (ja) 画像処理装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190131

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191015

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191227

R150 Certificate of patent or registration of utility model

Ref document number: 6641485

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150