JP7029654B2 - 投影撮像システム、計測装置および投影撮像方法 - Google Patents

投影撮像システム、計測装置および投影撮像方法 Download PDF

Info

Publication number
JP7029654B2
JP7029654B2 JP2017136253A JP2017136253A JP7029654B2 JP 7029654 B2 JP7029654 B2 JP 7029654B2 JP 2017136253 A JP2017136253 A JP 2017136253A JP 2017136253 A JP2017136253 A JP 2017136253A JP 7029654 B2 JP7029654 B2 JP 7029654B2
Authority
JP
Japan
Prior art keywords
frame
image data
image
projection
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017136253A
Other languages
English (en)
Other versions
JP2019020157A (ja
Inventor
秀幸 中村
竜司 渕上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2017136253A priority Critical patent/JP7029654B2/ja
Priority to PCT/JP2018/022140 priority patent/WO2019012884A1/ja
Priority to EP18832357.0A priority patent/EP3637046A4/en
Priority to CN201880046041.0A priority patent/CN110892227B/zh
Priority to US16/629,483 priority patent/US11371837B2/en
Publication of JP2019020157A publication Critical patent/JP2019020157A/ja
Application granted granted Critical
Publication of JP7029654B2 publication Critical patent/JP7029654B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2536—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object using several gratings with variable grating pitch, projected on the object with the same angle of incidence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/529—Depth or shape recovery from texture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback

Description

本発明は、三次元計測を行うための投影撮像システム、計測装置および投影撮像方法に関する。
建物等の対象物に対して所望のコンテンツ画像を投影する技術としてプロジェクション・マッピングと呼ばれる技術が知られている。一般に対象物は三次元形状を有するため、コンテンツ画像をそのまま投影した場合には、対象物の表面の凹凸や、奥行きの大小のために、投影装置とは別個の位置にいる観客には、投影された画像が歪んだ画像として見えてしまう。そこで、対象物の各点における撮像装置と投影装置の各画素の対応関係を予め計測し、コンテンツ画像に対して、対応する座標変換を行って投影することにより、歪みの無いコンテンツ画像を観ることができるようにしている。
撮像装置と投影装置の各画素の対応を予め計測する方法の一つとして、空間コード化法が知られている。空間コード化法は、プロジェクタ投影領域の座標情報をビットプレーンに分解し、各ビットを２値画像化したパターン画像を投影装置から対象物に投影し、パターン画像が投影された状態の対象物を撮像装置で撮像し、画像データを２値化した２値情報を再びビットに合成することにより、撮像装置と投影装置の座標対応関係を決める方法である。
空間コード化法を用いた投影撮像システムでは、ＰＣ（パーソナルコンピュータ）から投影装置へのパターン画像の転送時間や投影装置内部のバッファリング時間を撮像装置が認識できない。このため、各パターン画像が投影された画像を撮像装置で確実に撮像するためには、各パターン画像の投影時間を充分に長くしなければならなかった。
特許文献１、２には、投影装置による各パターン画像の投影タイミングと撮像装置のシャッタタイミングとを同期させることにより、対象物に各パターン画像が投影された画像を確実かつ高速に取得することができる発明が開示されている。
特開２００４－２８９６１３号公報 特開２０１４－３２１５９号公報
市販のプロジェクタ（投影装置）やカメラ（撮像装置）には、互いに同期を取るために同期信号を入力／出力するための機構が具備されていない。このため、特許文献１、２に記載された発明は、市販のプロジェクタやカメラを用いて実現することができない。
本開示の一態様は、投影装置と撮像装置との間で同期を取ることなく、対象物に各パターン画像が投影された画像を確実かつ高速に取得することができる投影撮像システム、計測装置および投影撮像方法を開示する。
本開示の一態様に係る投影撮像システムは、複数種類のパターン画像を投影フレーム単位で切り替えて投影する投影装置と、前記パターン画像が投影された対象物を撮像し、撮像フレーム単位の画像データを生成する撮像装置と、前記各撮像フレームが、単一の前記パターン画像を撮像した画像データのキーフレームか、１フレームの露光期間中に切り替わった２つの前記パターン画像を撮像した画像データのブレンドフレームかを判別し、少なくとも前記キーフレームの画像データを用いて空間コード化法に基づく計測を行う計測装置と、を具備する。
本開示の一態様に係る計測装置は、複数種類のパターン画像を投影フレーム単位で切り替えて投影する投影装置に投影パターンを出力する出力部と、前記パターン画像が投影された対象物を撮像し、撮像フレーム単位の画像データを生成する撮像装置から前記画像データを入力する入力部と、前記各撮像フレームが、単一の前記パターン画像を撮像した画像データのキーフレームか、１フレームの露光期間中に切り替わった２つの前記パターン画像を撮像した画像データのブレンドフレームかを判別し、少なくとも前記キーフレームの画像データを用いて、空間コード化法に基づく計測を行うプロセッサと、を具備する。
本開示の一態様に係る投影撮像方法は、複数種類のパターン画像を投影フレーム単位で切り替えて投影し、前記パターン画像が投影された対象物を撮像し、撮像フレーム単位の画像データを生成し、前記各撮像フレームが、単一の前記パターン画像を撮像した画像データのキーフレームか、１フレームの露光期間中に切り替わった２つの前記パターン画像を撮像した画像データのブレンドフレームかを判別し、少なくとも前記キーフレームの画像データを用いて、空間コード化法に基づく計測を行う。
本開示の一態様によれば、投影装置と撮像装置との間で同期を取ることなく、対象物に各パターン画像が投影された画像を確実かつ高速に取得することができる。したがって、本開示の一態様では、市販のプロジェクタやカメラを用いることができる。
本発明の実施の形態１に係る投影撮像システムの構成を示す図 本発明の実施の形態１に係る投影撮像方法を示すフロー図 本発明の実施の形態１に係る投影撮像方法における投影及び撮像のタイミングを示す図 本発明の実施の形態１に係る投影撮像方法における撮像フレームの水平方向の画素値の変化の一例を示す図 本発明の実施の形態１に係る投影撮像システムにおける計測装置で取得する画像を示す図 本発明の実施の形態１に係る投影撮像システムにおけるフレーム判別方法を示す図 本発明の実施の形態１に係る投影撮像システムにおける基準値を取得するための投影画像の変形例を示す図 本発明の実施の形態２に係る投影撮像方法を示すフロー図 本発明の実施の形態２に係る投影撮像方法における投影及び撮像のタイミングを示す図 本発明の実施の形態２に係る投影撮像方法における基準値の取得方法を示す図 本発明の実施の形態３に係る投影撮像システムにおける基準値の取得方法を示す図 本発明の実施の形態３に係る投影撮像システムにおけるフレーム判別方法を示す図 本発明の実施の形態４に係る投影撮像システムにおけるブレンドフレームＡの画像データからキーフレームの画像データを生成する方法を示す図 本発明の実施の形態４に係る投影撮像システムにおけるブレンドフレームＢの画像データからキーフレームの画像データを生成する方法を示す図 本発明の実施の形態５に係る投影撮像方法を示すフロー図 本発明の実施の形態５に係る投影撮像システムにおける連続して投影及び撮像する際のタイミングを示す図 本発明のその他の実施の形態に係る投影撮像システムにおける連続して投影及び撮像する際のタイミングを示す図
以下、図面を適宜参照して、本発明の各実施の形態について、詳細に説明する。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
（実施の形態１）
＜投影撮像システム構成＞
本発明の実施の形態１に係る投影撮像システム１の構成について、図１を参照しながら、以下に詳細に説明する。
投影撮像システム１は、投影装置１１と、撮像装置１２と、計測装置１３と、を有している。
投影装置１１は、周期的に動作し、計測装置１３から受信した画像データの複数種類のパターン画像を、所定のフレームレート（第１フレームレート）の投影フレーム毎に順次切り替えながら対象物２に投影する。
撮像装置１２は、周期的に動作し、投影装置１１によりパターン画像が投影された対象物２を投影装置１１と同期することなく所定のフレームレート（第２フレームレート）で撮像し、画像データを生成する。撮像装置１２は、生成した各撮像フレームの画像データ（以下、「フレーム画像」という）を計測装置１３に送信する。
計測装置１３は、撮像装置１２から受信したフレーム画像についてキーフレームの画像データかブレンドフレームの画像データかを判別し、少なくともキーフレームの画像データを用いて空間コード化法に基づく計測を行う。キーフレームとは、単一の投影フレームの期間内の撮像フレームであって、単一のパターン画像を撮像した画像データの撮像フレームである。また、ブレンドフレームとは、１フレームの露光期間中に切り替わった２つのパターン画像を撮像した画像データの撮像フレームである。
＜計測装置の構成＞
本実施の形態に係る計測装置１３の構成について、図１を参照しながら、以下に詳細に説明する。
計測装置１３は、出力部１３１と、入力部１３２と、画像バッファ１３３と、記憶部１３４と、ＣＰＵ１３５と、を有している。
出力部１３１は、ＣＰＵ１３５により生成したパターン画像の画像データを投影装置１１に送信する。
入力部１３２は、撮像装置１２から受信した画像データを、画像バッファ１３３に出力する。
画像バッファ１３３は、入力部１３２から入力した画像データを一時的に保存する。
記憶部１３４は、所定の画像パターンに関するパターン情報を予め記憶している。記憶部１３４は、ＣＰＵ１３５が実行する制御プログラムを記憶している。
ＣＰＵ１３５は、記憶部１３４に記憶されているパターン情報より画像パターンを読み出し、画像パターンの画像データを生成して出力部１３１に出力する。ＣＰＵ１３５は、画像バッファ１３３により記憶しているフレーム画像を読み出し、各フレーム画像についてキーフレームの画像データかブレンドフレームの画像データかを判別し、少なくともキーフレームの画像データを用いて、対象物の各点における撮像装置１２と投影装置１１の各画素の対応関係を計測する。
ＣＰＵ１３５は、投影パターン生成部１３５１と、判別基準計算部１３５２と、計測情報計算用画像生成部１３５３と、計測情報計算部１３５４と、を備えている。投影パターン生成部１３５１、判別基準計算部１３５２、計測情報計算用画像生成部１３５３及び計測情報計算部１３５４は、ＣＰＵ１３５における制御プログラム実行時の機能ブロックとして構成される。
投影パターン生成部１３５１は、記憶部１３４に記憶されている画像パターンを参照して、投影装置１１から対象物２に投影する複数種類のパターン画像を生成し、生成したパターン画像を出力部１３１に出力する。
判別基準計算部１３５２は、画像バッファ１３３に記憶されている画像データを読み出し、読み出した画像データの画素値（輝度）等に基づいて投影範囲及び基準値を求める。判別基準計算部１３５２は、投影範囲内における画像データの基準値に基づいて、各撮像フレームがキーフレームかブレンドフレームかを判別し、判別結果を計測情報計算用画像生成部１３５３に出力する。
計測情報計算用画像生成部１３５３は、判別基準計算部１３５２から入力した判別基準に基づいて、計測に用いるフレーム画像を生成し、生成したフレーム画像を計測情報計算部１３５４に出力する。
計測情報計算部１３５４は、計測情報計算用画像生成部１３５３から入力するフレーム画像を用いて、対象物２の各点における撮像装置１２と投影装置１１の各画素の対応関係を計測する。
＜投影撮像方法＞
本の実施の形態に係る投影撮像方法について、図２を参照しながら、以下に詳細に説明する。
まず、投影装置１１は、所定のパターン画像を投影フレーム毎に切り替えながら連続投影する（Ｓ１）。具体的には、投影装置１１は、図３に示すように、対象物２に、パターン画像Ｐ１、Ｐ２、Ｐ３、Ｐ３’、Ｐ４、Ｐ４’の順に、投影フレームＴ毎に切り替えて連続投影する。なお、Ｐ１は全面が黒色のパターン画像であり、Ｐ２は全面が白色のパターン画像である。また、（Ｐ３、Ｐ３’）、（Ｐ４、Ｐ４’）は、それぞれ、互いに白と黒とを反転させた関係の一対のパターン画像のセットである。なお、投影装置１１は、パターン画像Ｐ１を投影する代わりに何も投影しないようにしても良い。
また、撮像装置１２は、投影装置１１によりパターン画像が投影された対象物２を連続撮像し、画像データを生成する（Ｓ２）。なお、撮像装置１２は、遅くとも、パターン画像Ｐ１が投影されている間に最初のフレーム画像を生成するように撮像を開始する。
次に、計測装置１３は、撮像装置１２が生成した各フレーム画像について、キーフレームとブレンドフレームのどちらであるのかを判別する（Ｓ３）。なお、本実施の形態のキーフレームとブレンドフレームの判別方法については後述する。
次に、計測装置１３は、キーフレームの画像データを用いて計測用フレーム画像を生成する（Ｓ４）。
次に、計測装置１３は、フレーム画像を用いて、対象物２の各点における撮像装置１２と投影装置１１の各画素の対応関係を計算する（Ｓ５）。
＜キーフレーム／ブレンドフレームの判別方法＞
次に、本実施の形態に係るキーフレームとブレンドフレームの判別方法について、図３から図６を参照しながら、以下に詳細に説明する。
図３に示すように、まず、計測装置１３は、パターン画像Ｐ１が投影されている期間内の撮像フレーム（以下、「黒フレーム」という）、および、パターン画像Ｐ２が投影されている期間内の撮像フレーム（以下、「白フレーム」という）を判別する。撮像装置１２が、遅くとも、パターン画像Ｐ１が投影されている間に撮像を開始するので、少なくとも最初の撮像フレームは黒フレームとなる。計測装置１３は、２枚目以降の撮像フレームについて、順に、黒フレームと撮像フレームとの画素値（輝度）の絶対差分和（以下、「画素値差」という）と閾値ＴｈＷと比較する。そして、計測装置１３は、画素値差が閾値ＴｈＷ以下である撮像フレームを黒フレームと判定する。また、計測装置１３は、画素値差が閾値ＴｈＷより大きくなった最初の撮像フレームを、１フレームの露光期間中に切り替わったパターン画像Ｐ１とパターン画像Ｐ２を撮像した撮像フレーム（以下、「グレーフレーム」という）と判定する。
図３の例では、撮像装置１２の第２フレームレート（１２０Ｈｚ）が、投影装置１１の第１フレームレート（６０Ｈｚ）の２倍であり、投影装置１１が、撮像装置１２が、パターン画像Ｐ１の投影が開始された後に撮像を開始している。したがって、最初の撮像フレームＤ１のみが黒フレームとなり、２枚目の撮像フレームＤ２がグレーフレームとなる。また、３枚目の撮像フレームＤ３が白フレームとなる。
次に、計測装置１３は、有効領域（計算に利用する領域（画素））以外の領域をマスクする投影範囲マスクを作成する。具体的には、計測装置１３は、黒フレームと白フレームの各画素の画素値差を算出し、各画素値差と閾値Ｔｈｍと比較する。そして、計測装置１３は、画素値差が閾値Ｔｈｍより大きい画素を有効領域とする。
次に、計測装置１３は、各撮像フレームについて、投影ムラ又は投影対象の色や反射率の違いによる、画像データのばらつきを補正するため、画像データの画素値の正規化を行う。具体的には、計測装置１３は、ｔ番目の撮像フレームについて、有効領域において、下記の式（１）により、正規化後の画素値ｆｔ’を算出する。なお、式（１）において、maxは正規化後の画素値の最大値であり、通常は「２５５」である。また、minは正規化後の画素値の最小値であり、通常は「０」である。また、ｆｔはｔ番目の撮像フレームの画素値、ｆｗは白フレームの画素値、ｆｂは黒フレームの画素値である。
Figure 0007029654000001
図４は、撮像フレームの水平方向の画素値の変化の一例を示す図である。なお、図４（ａ）は正規化前、図４（ｂ）は正規化後を示す。図４（ｂ）に示すように、正規化を行うことにより、撮像したパターン画像の色に応じた画素値を得ることができる。図４（ｂ）の例では、パターン画像の黒色部分を撮像した領域では画素値がminに近い値となり、パターン画像の白色部分を撮像した領域では画素値がmaxに近い値となる。
次に、計測装置１３は、各撮像フレームについて、キーフレームあるいはブレンドフレームのどちらであるのかを、正規化後の画素値に基づいて判別する。具体的には、計測装置１３は、ｔ番目の撮像フレームについて、下記の式（２）により、画素値の振幅Ａｔを算出し、画素値の振幅Ａｔと振幅閾値Ｔｈａと比較する。なお、式（２）において、Ｎは有効領域の画素数である。振幅閾値Ｔｈａは、下記の式（３）により算出される。式（３）において、ｋは係数であり、例えば「０．９」である。
Figure 0007029654000002
Figure 0007029654000003
そして、計測装置１３は、画素値の振幅Ａｔが振幅閾値Ｔｈａより大きい撮像フレームをキーフレームと判別する。一方、計測装置１３は、画素値の振幅Ａｔが振幅閾値Ｔｈａ以下の撮像フレームをブレンドフレームと判別する。
例えば、図３に示す撮像フレームＤ１１、Ｄ１３、Ｄ１５の画像データＱ１１、Ｑ１３、Ｑ１５は、各々図５（ａ）に示すように白、黒の２色となる。これらの正規化後の画素値は、図６（ａ）に示すものとなり、画素値（輝度）の振幅Ａｔが振幅閾値Ｔｈａより大きくなる。従って、計測装置１３は、撮像フレームＤ１１、Ｄ１３、Ｄ１５をキーフレームであると判定する。
また、図３に示す撮像フレームＤ１２、Ｄ１６の画像データＱ１２、Ｑ１６は、各々図５（ｂ）に示すように濃い灰色と薄い灰色の２色となる。これらの正規化後の画素値は、図６（ｂ）に示すものとなり、画素値（輝度）の振幅Ａｔが振幅閾値Ｔｈａ以下になる。従って、計測装置１３は、撮像フレームＤ１２、Ｄ１６をブレンドフレームであると判定する。
また、図３に示す撮像フレームＤ１４の画像データＱ１４は、図５（ｃ）に示すように白、黒、濃い灰色及び薄い灰色の４色となる。これらの正規化後の画素値は、図６（ｃ）に示すものとなり、画素値（輝度）の振幅Ａｔが振幅閾値Ｔｈａ以下になる。従って、計測装置１３は、撮像フレームＤ１４をブレンドフレームであると判定する。
＜効果＞
このように、本実施の形態では、各フレーム画像の画素値の振幅に基づいて各撮像フレームがキーフレームかブレンドフレームかを判別し、少なくともキーフレームの画像データを抽出する。これにより、投影装置と撮像装置との間で同期を取ることなく、空間コード化法に基づく計測に必要な画像データを高速に取得することができる。
また、本実施の形態によれば、正規化によりキーフレームとブレンドフレームとを判別することにより、投影ムラ又は投影対象の色や反射率の違いに関わらず、キーフレームとブレンドフレームとを正確に判別することができる。
なお、本実施の形態において、パターン画像Ｐ１及びパターン画像Ｐ２を用いて、有効領域と閾値Ｔｈｗ、Ｔｈｍ、Ｔｈａを設定したが、図７（ａ）、（ｂ）又は（ｃ）に示す画像の、白と黒とを反転させた一対のパターン画像を用いてこれらの閾値を設定してもよい。
（実施の形態２）
本発明の実施の形態２に係る投影撮像システムの構成及び計測装置の構成は図１と同一構成であるので、その説明を省略する。
＜投影撮像方法＞
本実施の形態に係る投影撮像方法について、図８、図９、図１０を参照しながら、以下に詳細に説明する。
まず、投影装置１１は、計測装置１３から受信した画像データに基づいて、全面が黒色のパターン画像Ｐ１を対象物２に投影する（Ｓ１１）。次に、撮像装置１２は、対象物２を撮像する（Ｓ１２）。
次に、投影装置１１は、計測装置１３から受信した画像データに基づいて、全面が白色のパターン画像Ｐ２を対象物２に投影する（Ｓ１３）。次に、撮像装置１２は、対象物２を撮像する（Ｓ１４）。
計測装置１３は、撮像装置１２から受信した、パターン画像Ｐ１を対象物２に投影した際に撮像された画像データとパターン画像Ｐ２を対象物２に投影した際に撮像された画像データとを用いて、投影範囲及び基準値を求める。
具体的には、投影装置１１は、図９に示すように、パターン画像Ｐ１及びパターン画像Ｐ２を、それぞれ、複数の投影フレームＴ（フレームレート６０Ｈｚ）に渡って対象物２に投影する。撮像装置１２は、図９に示すように、パターン画像Ｐ１が投影されている期間内、および、パターン画像Ｐ２が投影されている期間内において対象物２を撮像する（フレームレート１２０Ｈｚ）。計測装置１３は、図１０に示すように、撮像装置１２から受信した、パターン画像Ｐ１を撮像した画像データの画素値（黒レベル）とパターン画像Ｐ２を撮像した画像データの画素値（白レベル）とに基づいて、投影範囲と基準値としての閾値Ｔｈ１を求める。
次に、投影装置１１は、所定のパターン画像を投影フレームＴ毎に切り替えながら連続投影する（Ｓ１５）。具体的には、投影装置１１は、図９に示すように、対象物２に、パターン画像Ｐ３、Ｐ３’、Ｐ４、Ｐ４’の順に、投影フレームＴ毎に切り替えて連続投影する。なお、（Ｐ３、Ｐ３’）、（Ｐ４、Ｐ４’）は、それぞれ、互いに白と黒とを反転させた関係の一対のパターン画像のセットである。
撮像装置１２は、投影装置１１からパターン画像が連続投影されているオブジェクトを連続撮像し（Ｓ１６）、フレーム画像を生成する。
次に、計測装置１３は、撮像装置１２が生成した各フレーム画像について、キーフレームとブレンドフレームのどちらであるのかを判別する（Ｓ１７）。なお、本実施の形態のキーフレームとブレンドフレームの判別方法については後述する。
次に、計測装置１３は、キーフレームの画像データを用いて計測用フレーム画像を生成する（Ｓ１８）。
次に、計測装置１３は、フレーム画像を用いて、対象物２の各点における撮像装置１２と投影装置１１の各画素の対応関係を計算する（Ｓ１９）。
＜キーフレーム／ブレンドフレームの判別方法＞
次に、本実施の形態に係るキーフレームとブレンドフレームの判別方法について、図９を参照しながら、以下に詳細に説明する。
計測装置１３は、撮像装置１２より取得した連続する３つのフレーム画像を選択する。ここで、連続する３つのフレーム画像を選択する理由は、投影の切り替えのタイミングと撮像のタイミングとが一致する場合があり、その際には１枚飛ばした画像データ同士を比較する必要があるためである。
計測装置１３は、選択した３つのフレーム画像のうちの２つについて、各画素の画素値と閾値Ｔｈ１との比較により、白と黒とが反転している画素数を計測し、一方のフレーム画像に対して反転している画素数が、閾値Ｔｈ２（図示せず）以上の他方のフレーム画像をキーフレームと判定し、閾値Ｔｈ２未満の他方のフレーム画像をブレンドフレームと判定する。
例えば、計測装置１３は、図９に示す撮像フレームＤ１１、Ｄ１２、Ｄ１３の画像データを選択する。撮像フレームＤ１２は投影フレームＴ１１及びＴ１２に跨っているため、撮像フレームＤ１１の画像データに対して撮像フレームＤ１２の画像データで反転している画素数は閾値Ｔｈ２未満となる。また、撮像フレームＤ１１の画像データに対して撮像フレームＤ１３の画像データで反転している画素数は全画素であるために閾値Ｔｈ２以上となる。更に、撮像フレームＤ１２の画像データに対する撮像フレームＤ１３の画像データで反転している画素数は閾値Ｔｈ２未満となる。これにより、計測装置１３は、撮像フレームＤ１１及びＤ１３をキーフレームであると判定し、撮像フレームＤ１２をブレンドフレームであると判定する。
また、例えば、計測装置１３は、図９に示す撮像フレームＤ１３、Ｄ１４、Ｄ１５を選択する。撮像フレームＤ１４は投影フレームＴ１２及びＴ１３に跨っているため、撮像フレームＤ１３の画像データに対して撮像フレームＤ１４の画像データで反転している画素数は閾値Ｔｈ２未満となる。また、撮像フレームＤ１３の画像データに対して撮像フレームＤ１５の画像データで反転している画素数は半分であるために閾値Ｔｈ２以上となる。更に、撮像フレームＤ１４の画像データに対して撮像フレームＤ１５の画像データで反転している画素数は閾値Ｔｈ２未満となる。これにより、計測装置１３は、撮像フレームＤ１３及びＤ１５をキーフレームであると判定し、撮像フレームＤ１４をブレンドフレームであると判定する。
＜効果＞
このように、本実施の形態では、連続する３つのフレーム画像のうちの２つについて、白と黒とが反転している画素数に基づいて各撮像フレームがキーフレームかブレンドフレームかを判別し、少なくともキーフレームの画像データを抽出する。これにより、投影装置と撮像装置との間で同期を取ることなく、空間コード化法に基づく計測に必要な画像データを高速に取得することができる。
なお、本実施の形態において、パターン画像Ｐ１及びパターン画像Ｐ２を用いて、投影範囲と閾値Ｔｈ１を設定したが、図７（ａ）、（ｂ）又は（ｃ）に示す白と黒とを反転させた一対の画像を用いて閾値Ｔｈ１を設定してもよい。
（実施の形態３）
本発明の実施の形態３に係る投影撮像システムの構成及び計測装置の構成は図１と同一構成であるので、その説明を省略する。また、本実施の形態に係る投影撮像方法は、図２と同一方法であるので、その説明を省略する。
＜キーフレームとブレンドフレームとを判別する方法＞
本実施の形態に係るキーフレームとブレンドフレームとを判別する方法について、図１１から図１２を参照しながら、以下に詳細に説明する。
計測装置１３は、パターン画像Ｐ１を対象物２に投影した際の撮像データとパターン画像Ｐ２を対象物２に投影した際の撮像データとを用いて、投影範囲及び基準値を求める。
具体的には、計測装置１３は、図１１に示すように、黒フレームの画素値と白フレームの画素値とに基づいてヒストグラムを算出し、前記ヒストグラムにおける画素値の基準範囲Ｗ０及び画素数の基準数Ｈ０を求め、求めた基準範囲Ｗ０及び基準数Ｈ０を基準値とする。
次に、計測装置１３は、各撮像フレームのヒストグラムを算出し、画素値の範囲Ｗ及び画素数Ｈを求める。
例えば、計測装置１３は、図３に示す撮像フレームＤ１１、Ｄ１３、Ｄ１５の図５（ａ）に示す画像データＱ１１、Ｑ１３、Ｑ１５のヒストグラムにおける画素値の範囲Ｗは、図１２（ａ）に示す基準範囲Ｗ０と等しい（Ｗ＝Ｗ０）と共に画素数Ｈは基準数Ｈ０の２分の１（Ｈ＝Ｈ０／２）になる。従って、計測装置１３は、撮像フレームＤ１１、Ｄ１３、Ｄ１５をキーフレームと判定する。
また、計測装置１３は、図３に示す撮像フレームＤ１２、Ｄ１６の図５（ｂ）に示す画像データＱ１２、Ｑ１６のヒストグラムにおける画素値の範囲Ｗは、図１２（ｂ）に示すように、基準範囲Ｗ０より小さい（Ｗ＜Ｗ０）と共に画素数Ｈは基準数Ｈ０の２分の１（Ｈ＝Ｈ０／２）になる。この場合、計測装置１３は、撮像フレームＤ１２、Ｄ１６をブレンドフレームＡと判定する。なお、ブレンドフレームＡとは、１フレームの露光期間中に切り替わった、白と黒とを反転させた一対のパターン画像を撮像した画像データの撮像フレームである。
また、計測装置１３は、図３に示す撮像フレームＤ１４の図５（ｃ）に示す画像データＱ１４のヒストグラムにおける画素値の範囲Ｗは、図１２（ｃ）に示すように、基準範囲Ｗ０と略等しい（Ｗ≒Ｗ０）と共に画素数Ｈは基準数Ｈ０の２分の１よりも小さく（Ｈ＜Ｈ０／２）なる。この場合、計測装置１３は、撮像フレームＤ１４をブレンドフレームＢと判定する。なお、ブレンドフレームＢとは、ブレンドフレームＡ以外のブレンドフレームであって、１フレームの露光期間中に切り替わった、白と黒とを反転させた一対のパターン画像ではない２つのパターン画像を撮像した画像データの撮像フレームである。
＜効果＞
このように、本実施の形態では、各フレーム画像の画素値の範囲に基づいて各撮像フレームがキーフレームかブレンドフレームかを判別し、少なくともキーフレームの画像データを抽出する。これにより、投影装置と撮像装置との間で同期を取ることなく、空間コード化法に基づく計測に必要な画像データを高速に取得することができる。
また、本実施の形態によれば、正規化によりキーフレームとブレンドフレームとを判別することにより、投影ムラ又は投影対象の色や反射率の違いに関わらず、キーフレームとブレンドフレームとを正確に判別することができる。
（実施の形態４）
上記実施の形態１乃至３では、キーフレームとブレンドフレームとを判別した後、ブレンドフレームの画像データを使用せず、判別処理によって抽出されたキーフレームの画像データのみを用いて計測用のフレーム画像を生成する場合について説明した。
これに対し、実施の形態４では、キーフレームとブレンドフレームとを判別した後、ブレンドフレームを用いてキーフレームの画像データを生成し、判別処理によって抽出されたキーフレームの画像データと、ブレンドフレームから生成されたキーフレームの画像データの両方を用いて計測用のフレーム画像を生成する場合について説明する。
本実施の形態に係る投影撮像システムの構成及び計測装置の構成は図１と同一構成であるので、その説明を省略する。また、本実施の形態に係る投影撮像方法は、図２と同一方法であるので、その説明を省略する。また、キーフレームとブレンドフレームとを判別する処理は、上記実施の形態１乃至３で説明したもののいずれかを用いる。
＜フレーム画像生成方法＞
本実施の形態に係るフレーム画像生成方法について、図１３及び図１４を参照しながら、以下に詳細に説明する。
まず、計測装置１３は、ブレンドフレームの画像データを用いてキーフレームの画像データを生成する。
例えば、計測装置１３は、図１３（ａ）に示す濃い灰色と薄い灰色の２色からなるブレンドフレームＤ１２の画像データＱ１２を、図１３（ｂ）に示すように、画素値に応じてＡ及びＢで表す。そして、計測装置１３は、図１３（ｃ）及び図１３（ｄ）に示すように、Ａを「１」及びＢを「０」にして生成した画像データＱ１２１と、これを反転させてＡを「０」及びＢを「１」にして生成した画像データＱ１２２と、をキーフレームの画像データとする。
また、例えば、計測装置１３は、図１４（ａ）に示す白、黒、濃い灰色及び薄い灰色の４色からなるブレンドフレームＤ１４の画像データＱ１４を、図１４（ｂ）に示すように、白を「１」及び黒を「０」で表すと共に濃い灰色及び薄い灰色をＡ及びＢで表す。そして、計測装置１３は、図１４（ｃ）及び図１４（ｄ）に示すように、Ａを「１」及びＢを「０」にして生成した画像データＱ１４１と、これを反転させてＡを「０」及びＢを「１」にして生成した画像データＱ１４２と、をキーフレームの画像データとする。
なお、ブレンドフレームＡの画像データ及びブレンドフレームＢの画像データでブレンドの割合が５０％ずつの場合には、灰色が１色になるため、キーフレームの画像データを生成せずにスキップする。
計測装置１３は、上記方法により生成したキーフレームの画像データを、前後のキーフレームの画像データに各々加算する。
そして、計測装置１３は、キーフレームの画像データを用いてフレーム画像を生成する。
＜効果＞
このように、本実施の形態によれば、ブレンドフレームの画像データを加工してキーフレームの画像データを生成する。これにより、判別したキーフレームの画像データと生成したキーフレームの画像データとを加算して、疑似的に露光時間を長くしたキーフレームの画像データを得ることができるため、ノイズを低減したキーフレームの画像データを得ることができる。
なお、本実施の形態において、パターン画像Ｐ１及びパターン画像Ｐ２を用いて基準範囲Ｗ０及び基準数Ｈ０を求めたが、上記実施の形態１と同様に、図７（ａ）、（ｂ）又は（ｃ）に示す白と黒とを反転させた一対の画像を用いて基準範囲Ｗ０及び基準数Ｈ０を求めてもよい。
（実施の形態５）
本発明の実施の形態５では、撮像によってはキーフレームが得られない場合について説明する。本実施の形態に係る投影撮像システムの構成及び計測装置の構成は図１と同一構成であるので、その説明を省略する。
＜投影撮像方法＞
本実施の形態に係る投影撮像方法について、図１５及び図１６を参照しながら、以下に詳細に説明する。
本実施の形態では、図１６に示すように、投影装置１１は、各パターン画像を６０Ｈｚのフレームレートで対象物２に投影し、撮像装置１２は、投影装置１１と同じ６０Ｈｚのフレームレートで対象物２を撮像する。
まず、投影装置１１は、所定のパターン画像を連続投影する（Ｓ２１）。
具体的には、投影装置１１は、図１６に示すように、対象物２に、パターン画像Ｐ３、Ｐ３’、Ｐ４、Ｐ４’の順に、投影フレームＴ毎に切り替えて連続投影する。なお、（Ｐ３、Ｐ３’）、（Ｐ４、Ｐ４’）は、それぞれ、互いに白と黒とを反転させた関係の一対のパターン画像のセットである。
次に、撮像装置１２は、連続撮像を行う（Ｓ２２）。
次に、計測装置１３は、撮像装置１２が生成した各フレーム画像データについて、実施の形態１もしくは実施の形態３で説明した正規化処理を行い、撮像装置１２が生成した各フレーム画像について、ブレンドフレームＡとブレンドフレームＢのどちらであるのかを判別する。そして、上記実施の形態４と同一方法により、ブレンドフレームの画像データからキーフレームの画像データを生成する（Ｓ２３）。この際、計測装置１３は、生成した複数のキーフレームの画像データをそのまま加算する、又は、生成した複数のキーフレームの画像データの各々を重み付けして加算する。
次に、計測装置１３は、生成したキーフレームの画像データを用いて計測用フレーム画像を生成する（Ｓ２４）。
次に、計測装置１３は、フレーム画像を用いて、対象物２の各点における撮像装置１２と投影装置１１の各画素の対応関係を計算する（Ｓ２５）。
このように、本実施の形態によれば、キーフレームの画像データを得られない場合であっても、ブレンドフレームの画像データを用いてキーフレームの画像データを得ることができる。
なお、本実施の形態において、パターン画像Ｐ１及びパターン画像Ｐ２を対象物に投影した際に撮像した画像データを用いて、投影範囲を判定するようにしてもよい。
また、本実施の形態において、生成したキーフレームの画像データを加算したが、加算しなくてもよい。
（その他の実施の形態）
計測装置１３は、撮像装置１２のフレームレートが投影装置１１のフレームレートの２倍以上の場合には、各投影フレームに対して複数のキーフレームの画像データを得ることができるため、得られた複数のキーフレームの画像データを投影フレーム毎に加算してもよい。例えば、計測装置１３は、図１７に示すように、投影装置１１が６０Ｈｚのフレームレートで画像を投影し、撮像装置１２が１８０Ｈｚのフレームレートで撮像する際に、投影フレーム毎に得られる２枚のキーフレームの画像データを加算する。
また、計測装置１３は、白と黒とを反転させた一対の画像を投影せずに、パターン毎に１つの画像を投影してもよい。この場合には、ブレンドフレームＢの画像データのみを得ることができる。
なお、本発明は、部材の種類、配置、個数等は前述の実施の形態に限定されるものではなく、その構成要素を同等の作用効果を奏するものに適宜置換する等、発明の要旨を逸脱しない範囲で適宜変更することができる。
本発明は、投影撮像システムおよび投影撮像方法に好適である。
１ 投影撮像システム
２ 対象物
１１ 投影装置
１２ 撮像装置
１３ 計測装置
１３１ 出力部
１３２ 入力部
１３３ 画像バッファ
１３４ 記憶部
１３５ ＣＰＵ
１３５１ 投影パターン生成部
１３５２ 判別基準計算部
１３５３ 計測情報計算用画像生成部
１３５４ 計測情報計算部

Claims (12)

  1. 複数種類のパターン画像を投影フレーム単位で切り替えて投影する投影装置と、
    前記パターン画像が投影された対象物を撮像し、撮像フレーム単位の画像データを生成する撮像装置と、
    前記各撮像フレームが、単一の前記パターン画像を撮像した画像データのキーフレームか、１フレームの露光期間中に切り替わった２つの前記パターン画像を撮像した画像データのブレンドフレームかを判別し、少なくとも前記キーフレームの画像データを用いて空間コード化法に基づく計測を行う計測装置と、
    を具備する投影撮像システム。
  2. 前記計測装置は、
    各撮像フレームの画像データの画素値の振幅と振幅閾値との大小関係に基づいて、前記撮像フレームが前記キーフレームか前記ブレンドフレームかを判定する、
    請求項１に記載の投影撮像システム。
  3. 前記計測装置は、
    ３枚の連続する撮像フレームの画像データのうちの２つの画像データについて、各画素の画素値と第１閾値との比較により、白と黒とが反転している画素数を計測し、
    前記反転している画素数と第２閾値との大小関係に基づいて、前記撮像フレームが前記キーフレームか前記ブレンドフレームかを判定する、
    請求項１に記載の投影撮像システム。
  4. 前記計測装置は、
    各撮像フレームの画像データのヒストグラムにおける画素値の範囲と基準範囲との関係、および、最大画素値の画素数と基準数との大小関係に基づいて、前記撮像フレームが前記キーフレームか前記ブレンドフレームかを判定する、
    請求項１に記載の投影撮像システム。
  5. 複数種類のパターン画像を投影フレーム単位で切り替えて投影する投影装置と、
    前記パターン画像が投影された対象物を撮像し、撮像フレーム単位の画像データを生成する撮像装置と、
    単一の前記パターン画像を撮像した画像データの第１キーフレームを取得し、１フレームの露光期間中に切り替わった２つの前記パターン画像を撮像した画像データのブレンドフレームから単一の前記パターン画像を撮像した画像データの第２キーフレームを生成し、前記第１キーフレームと前記第２キーフレームとを合成した画像データを用いて、空間コード化法に基づく計測を行う計測装置と、
    を具備する投影撮像システム。
  6. 複数種類のパターン画像を投影フレーム単位で切り替えて投影する投影装置と、
    前記パターン画像が投影された対象物を撮像し、撮像フレーム単位の画像データを生成
    する撮像装置と、
    １フレームの露光期間中に切り替わった２つの前記パターン画像を撮像した画像データのブレンドフレームが、白と黒とを反転させた一対のパターン画像を撮像した画像データの第１ブレンドフレームか、前記第１ブレンドフレーム以外の第２ブレンドフレームかを判別し、
    前記第１ブレンドフレームと前記第２ブレンドフレームとで異なる処理により、前記キーフレームの画像データを生成し、前記キーフレームの画像データを用いて、空間コード化法に基づく計測を行う計測装置と、
    を具備する投影撮像システム。
  7. 前記計測装置は、
    濃い灰色と薄い灰色の２色からなる前記第１ブレンドフレームの画像データにおいて、前記濃い灰色の画素値と前記薄い灰色の画素値の、一方を白の画素値に変換し、他方を黒の画素値に変換することにより、前記キーフレームの画像データを生成する、
    請求項６に記載の投影撮像システム。
  8. 前記計測装置は、
    白、黒、濃い灰色および薄い灰色の４色からなる前記第２ブレンドフレームの画像データにおいて、前記濃い灰色の画素値と前記薄い灰色の画素値の、一方を白の画素値に変換し、他方を黒の画素値に変換することにより、前記キーフレームの画像データを生成する、
    請求項６または７に記載の投影撮像システム。
  9. 複数種類のパターン画像を投影フレーム単位で切り替えて投影する投影装置に投影パターンを出力する出力部と、
    前記パターン画像が投影された対象物を撮像し、撮像フレーム単位の画像データを生成する撮像装置から前記画像データを入力する入力部と、
    前記各撮像フレームが、単一の前記パターン画像を撮像した画像データのキーフレームか、１フレームの露光期間中に切り替わった２つの前記パターン画像を撮像した画像データのブレンドフレームかを判別し、少なくとも前記キーフレームの画像データを用いて、空間コード化法に基づく計測を行うプロセッサと、
    を具備する計測装置。
  10. 複数種類のパターン画像を投影フレーム単位で切り替えて投影する投影装置に投影パターンを出力する出力部と、
    前記パターン画像が投影された対象物を撮像し、撮像フレーム単位の画像データを生成する撮像装置から前記画像データを入力する入力部と、
    単一の前記パターン画像を撮像した画像データの第１キーフレームを取得し、１フレームの露光期間中に切り替わった２つの前記パターン画像を撮像した画像データのブレンドフレームから単一の前記パターン画像を撮像した画像データの第２キーフレームを生成し、前記第１キーフレームと前記第２キーフレームとを合成した画像データを用いて、空間コード化法に基づく計測を行うプロセッサと、
    を具備する計測装置。
  11. 複数種類のパターン画像を投影フレーム単位で切り替えて投影し、
    前記パターン画像が投影された対象物を撮像し、
    撮像フレーム単位の画像データを生成し、
    前記各撮像フレームが、単一の前記パターン画像を撮像した画像データのキーフレームか、１フレームの露光期間中に切り替わった２つの前記パターン画像を撮像した画像データのブレンドフレームかを判別し、
    少なくとも前記キーフレームの画像データを用いて、空間コード化法に基づく計測を行う、
    投影撮像方法。
  12. 複数種類のパターン画像を投影フレーム単位で切り替えて投影し、
    前記パターン画像が投影された対象物を撮像し、
    撮像フレーム単位の画像データを生成し、
    単一の前記パターン画像を撮像した画像データの第１キーフレームを取得し、１フレームの露光期間中に切り替わった２つの前記パターン画像を撮像した画像データのブレンドフレームから単一の前記パターン画像を撮像した画像データの第２キーフレームを生成し、
    前記第１キーフレームと前記第２キーフレームとを合成した画像データを用いて、空間コード化法に基づく計測を行う、
    投影撮像方法。
JP2017136253A 2017-07-12 2017-07-12 投影撮像システム、計測装置および投影撮像方法 Active JP7029654B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2017136253A JP7029654B2 (ja) 2017-07-12 2017-07-12 投影撮像システム、計測装置および投影撮像方法
PCT/JP2018/022140 WO2019012884A1 (ja) 2017-07-12 2018-06-11 投影撮像システム、計測装置および投影撮像方法
EP18832357.0A EP3637046A4 (en) 2017-07-12 2018-06-11 PROJECTION IMAGING SYSTEM, MEASURING DEVICE AND PROJECTION IMAGING METHOD
CN201880046041.0A CN110892227B (zh) 2017-07-12 2018-06-11 投影摄像系统、测量装置以及投影摄像方法
US16/629,483 US11371837B2 (en) 2017-07-12 2018-06-11 Projection imaging system, measurement device, and projection imaging method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017136253A JP7029654B2 (ja) 2017-07-12 2017-07-12 投影撮像システム、計測装置および投影撮像方法

Publications (2)

Publication Number Publication Date
JP2019020157A JP2019020157A (ja) 2019-02-07
JP7029654B2 true JP7029654B2 (ja) 2022-03-04

Family

ID=65002150

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017136253A Active JP7029654B2 (ja) 2017-07-12 2017-07-12 投影撮像システム、計測装置および投影撮像方法

Country Status (5)

Country Link
US (1) US11371837B2 (ja)
EP (1) EP3637046A4 (ja)
JP (1) JP7029654B2 (ja)
CN (1) CN110892227B (ja)
WO (1) WO2019012884A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11223808B1 (en) * 2020-06-30 2022-01-11 Christie Digital Systems Usa, Inc. Device, system and method for generating a mapping of projector pixels to camera pixels and/or object positions using alternating patterns

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002131031A (ja) 2000-10-27 2002-05-09 Ricoh Co Ltd 三次元形状計測方法および三次元形状計測装置
US20090238449A1 (en) 2005-11-09 2009-09-24 Geometric Informatics, Inc Method and Apparatus for Absolute-Coordinate Three-Dimensional Surface Imaging
JP2013124941A (ja) 2011-12-15 2013-06-24 Samsung Yokohama Research Institute Co Ltd 測距装置、及び測距方法
WO2015134961A1 (en) 2014-03-07 2015-09-11 Brown University Method and system for unsynchronized structured lighting
WO2017060993A1 (ja) 2015-10-07 2017-04-13 日立マクセル株式会社 映像表示装置およびこれに用いる操作検出方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004289613A (ja) 2003-03-24 2004-10-14 Olympus Corp ３次元撮像装置、投光ユニット及び３次元再構成システム、並びに、３次元撮像方法及び投光ユニットの投光方法
JP5400107B2 (ja) * 2011-08-16 2014-01-29 Ｃｋｄ株式会社 基板検査装置
JP5847568B2 (ja) 2011-12-15 2016-01-27 Ckd株式会社 三次元計測装置
JP2014032159A (ja) 2012-08-06 2014-02-20 Canon Inc 投影撮像システム及び投影撮像システムの制御方法
JP6320051B2 (ja) * 2014-01-17 2018-05-09 キヤノン株式会社 三次元形状計測装置、三次元形状計測方法
CN107429998B (zh) 2015-03-30 2018-10-02 富士胶片株式会社 距离图像获取装置以及距离图像获取方法
CN105761243A (zh) * 2016-01-28 2016-07-13 四川川大智胜软件股份有限公司 基于结构光投影的三维全脸照相系统及其照相方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002131031A (ja) 2000-10-27 2002-05-09 Ricoh Co Ltd 三次元形状計測方法および三次元形状計測装置
US20090238449A1 (en) 2005-11-09 2009-09-24 Geometric Informatics, Inc Method and Apparatus for Absolute-Coordinate Three-Dimensional Surface Imaging
JP2013124941A (ja) 2011-12-15 2013-06-24 Samsung Yokohama Research Institute Co Ltd 測距装置、及び測距方法
WO2015134961A1 (en) 2014-03-07 2015-09-11 Brown University Method and system for unsynchronized structured lighting
WO2017060993A1 (ja) 2015-10-07 2017-04-13 日立マクセル株式会社 映像表示装置およびこれに用いる操作検出方法

Also Published As

Publication number Publication date
US11371837B2 (en) 2022-06-28
WO2019012884A1 (ja) 2019-01-17
EP3637046A4 (en) 2020-07-01
CN110892227B (zh) 2022-04-26
CN110892227A (zh) 2020-03-17
JP2019020157A (ja) 2019-02-07
EP3637046A1 (en) 2020-04-15
US20210131799A1 (en) 2021-05-06

Similar Documents

Publication Publication Date Title
US10306141B2 (en) Image processing apparatus and method therefor
US8854412B2 (en) Real-time automatic scene relighting in video conference sessions
US20200043225A1 (en) Image processing apparatus and control method thereof
KR100981003B1 (ko) 동체화상추출장치 및 프로그램을 기록한 컴퓨터 판독 가능한 기록매체
JP6833415B2 (ja) 画像処理装置、画像処理方法、及びプログラム
KR20150108774A (ko) 비디오 시퀀스를 프로세싱하는 방법, 대응하는 디바이스, 컴퓨터 프로그램 및 비일시적 컴퓨터 판독가능 매체
KR20150145725A (ko) Ldr 비디오 시퀀스의 동적 범위 확장을 위한 방법 및 장치
JP2008118555A (ja) 画像処理装置、撮像装置、及び画像処理方法
JP6412386B2 (ja) 画像処理装置およびその制御方法、プログラムならびに記録媒体
JP2013165487A (ja) 画像処理装置、撮像装置、およびプログラム
JP2003134385A (ja) 画像合成装置
WO2020090176A1 (ja) 画像処理装置および画像処理方法
US10832386B2 (en) Image processing apparatus, image processing method, and storage medium
JP6541501B2 (ja) 画像処理装置、撮像装置、及び画像処理方法
JP7029654B2 (ja) 投影撮像システム、計測装置および投影撮像方法
JP2017152866A (ja) 画像処理装置及び画像処理方法
JP2006325274A (ja) 撮像装置
JP2018182700A (ja) 画像処理装置およびその制御方法、プログラム、並びに記憶媒体
JP2018182699A (ja) 画像処理装置およびその制御方法、プログラム、並びに記憶媒体
KR20150101343A (ko) 영상 투사 시스템
JP2017157043A (ja) 画像処理装置、撮像装置、及び、画像処理方法
JP6921606B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6120632B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP2006031171A (ja) 擬似的３次元データ生成方法、装置、プログラム、および記録媒体
JP6873815B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190625

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20191018

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210622

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210820

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220203

R151 Written notification of patent or utility model registration

Ref document number: 7029654

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151