JPWO2009119229A1 - 3次元撮像装置及び3次元撮像装置の校正方法 - Google Patents

3次元撮像装置及び3次元撮像装置の校正方法 Download PDF

Info

Publication number
JPWO2009119229A1
JPWO2009119229A1 JP2010505467A JP2010505467A JPWO2009119229A1 JP WO2009119229 A1 JPWO2009119229 A1 JP WO2009119229A1 JP 2010505467 A JP2010505467 A JP 2010505467A JP 2010505467 A JP2010505467 A JP 2010505467A JP WO2009119229 A1 JPWO2009119229 A1 JP WO2009119229A1
Authority
JP
Japan
Prior art keywords
light
calibration
dimensional imaging
imaging device
imaging apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010505467A
Other languages
English (en)
Inventor
高山 淳
淳 高山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Publication of JPWO2009119229A1 publication Critical patent/JPWO2009119229A1/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/246Calibration of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/671Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)

Abstract

3次元撮像装置(10)は、入射した光を電気信号に変換する撮像素子をそれぞれ備える複数の撮像装置(11a,11b)と、レーザ光を発光する発光器(14)と、を備え、発光器からのレーザ光(B)により撮像装置の前方の空中にプラズマによる発光点(A)を形成し、発光点(A)を基準点として複数の撮像装置に関する位置関係のずれを校正する。これにより、被写体の条件に関わらず常に必要なタイミングで校正を行うことができ、かつ、一定の精度を保った校正が可能となる。

Description

本発明は、複数の撮像装置を備える3次元撮像装置及びその校正方法に関する。
車両に搭載した複数のカメラにより車間距離等を測定する車載ステレオカメラが公知である。このような車載ステレオカメラは、車両に一度設置された後は長期間(数年以上)稼動し続けることが求められる。車載ステレオカメラの正常な作動のために、通常は出荷前に校正を行うが、実際の使用環境で経年変化等により、レンズや撮像素子の取付位置関係や筐体などの構成部材の寸法・形状の変化などが生じ、当初設定した条件からずれてくることがある。このため、車載ステレオカメラの場合は、撮影した被写体の中から基準となる被写体を抽出して、これを利用することで車載ステレオカメラの校正を行い、測定の精度を長期的に維持している。
例えば、特許文献1には、信号機等を利用した車載ステレオカメラの校正方法が開示されている。特許文献2,3には、ナンバープレート等を利用した自動校正機能のステレオカメラが開示されている。また、特許文献4には、ステレオカメラのキャリブレーション方法・装置が開示されている。
特開平10−341458号公報 特開2004−354257号公報 特開2004−354256号公報 特開2005−17286号公報
従来は、上記特許文献のように、撮影した映像の中から基準となる被写体を抽出し、これを利用して校正を行っていた。しかし、常に基準となる被写体が得られるわけではなく、基準となる被写体が得られるまで校正するタイミングをずらす等、校正するタイミングが不定期とならざるを得ない。また、常に基準となる被写体が同じ位置にあるわけではなく、複雑な信号処理をする必要があり、かつ、必ずしも良い精度が得られるとは限らないといった問題があった。
本発明は、上述のような従来技術の問題に鑑み、被写体の条件に関わらず常に必要なタイミングで校正を行うことができ、かつ、一定の精度を保った校正が可能な3次元撮像装置及び3次元撮像装置の校正方法を提供することを目的とする。
上記目的を達成するために、本実施形態による3次元撮像装置は、入射した光を電気信号に変換する撮像素子をそれぞれ有する複数の撮像装置と、レーザ光を発光する発光器と、を備え、前記発光器からのレーザ光により前記撮像装置の前方の空中にプラズマによる発光点を形成し、前記発光点を基準点として前記複数の撮像装置に関する位置関係のずれを校正することを特徴とする。
この3次元撮像装置によれば、発光器からレーザ光を発光することで、撮像装置の前方の空中にプラズマによる発光点を形成し、この発光点を基準点として複数の撮像装置に関する位置関係のずれを校正できるので、3次元撮像装置について、いつどこでも校正が可能であり、被写体の条件に関わらず常に必要なタイミングで校正を行うことができ、一定の精度を保った校正が可能となる。
上記3次元撮像装置において前記撮像装置と前記発光器とが一体的に構成されていることが好ましい。
また、前記レーザ光により空中に複数の発光点を形成し、前記複数の発光点に基づいて前記校正を行うことで、複数の発光点をそれぞれ基準点として複数の校正を行うことができるので、校正の精度が向上する。
また、前記レーザ光により空中に発光パターン(空中可視像)を形成し、前記発光パターンに基づいて前記校正を行うことで、さらに多数の発光点をそれぞれ基準点として多数の校正を行うことができるので、校正の精度がさらに向上する。この場合、前記発光パターンがドライバへの情報を表示するものであるようにしてもよい。
また、装置立ち上がり時に前記レーザ光を発光させて前記校正を行うことで、装置始動時に定期的に校正を実行できる。
また、前記レーザ光を一定の時間間隔で発光させて前記校正を一定の時間間隔で行うようにしてもよい。
また、前記レーザ光として波長の長いまたは波長の短い光不可視光を用いることができる。
本実施形態による3次元撮像装置の校正方法は、入射した光を電気信号に変換する撮像素子をそれぞれ有する複数の撮像装置を備える3次元撮像装置を校正する方法であって、発光器からレーザ光を前記撮像装置の前方に発光し、前記レーザ光により前記撮像装置の前方の空中にプラズマによる発光点を形成し、前記発光点を基準点として前記複数の撮像装置の位置関係に関するずれを校正することを特徴とする。
この3次元撮像装置の校正方法によれば、発光器からレーザ光を発光することで、撮像装置の前方の空中にプラズマによる発光点を形成し、この発光点を基準点として複数の撮像装置に関する位置関係のずれを校正できるので、3次元撮像装置について、いつどこでも校正が可能であり、被写体の条件に関係せずに、常に必要なタイミングで校正を行うことができ、一定の精度を保った校正が可能となる。
本発明の3次元撮像装置及び3次元撮像装置の校正方法によれば、被写体の条件に関わらず常に必要なタイミングで校正を行うことができ、かつ、一定の精度を保った校正が可能となる。
3次元撮像装置の要部の構成を示す図である。 図1の3次元撮像装置の全体構成を概略的に示すブロック図である。 図1,図2の3次元撮像装置におけるステレオカメラの校正ステップを説明するためのフローチャートである。 別の3次元撮像装置の要部の構成を示す図である。 図4の3次元撮像装置のレーザ発光器の概略的構成を示す図である。 さらに別の3次元撮像装置の要部の構成を示す図である。
符号の説明
10,30,40 3次元撮像装置
1,3 レンズ
2,4 撮像素子
11 ステレオカメラ
11a 基準カメラ
11b 参照カメラ
14,24,34 レーザ発光器
27 光走査部
A 発光点、集光点
B レーザ光
C〜I 発光点
以下、本発明を実施するための最良の形態について図面を用いて説明する。図1は3次元撮像装置の要部の構成を示す図である。図2は3次元撮像装置の全体構成を概略的に示すブロック図である。
図1,図2に示すように、本実施の形態による3次元撮像装置10は、ステレオカメラ11と、レーザ発光器(発光器)14と、を備える。ステレオカメラ11は、レンズ1と撮像素子2とを有する基準カメラ(撮影装置)11aと、レンズ3と撮像素子4とを有する参照カメラ(撮影装置)11bと、から構成される。レーザ発光器14は、赤外光または紫外光の不可視光を発生する半導体レーザからなるレーザ光源14aと、レンズからなるレンズ光学系14bと、を備える。
図2のように、3次元撮像装置10は、ステレオカメラ11と、各カメラ11a、11bから基準画像と参照画像の各データが入力する画像入力部12と、基準画像と参照画像のステレオ画像に基づいて距離画像を生成する距離画像生成部13と、レーザ発光器14と、校正データ保持部15と、校正ずれ判定部16と、校正データ演算・生成部17と、距離画像生成部13で生成した距離画像に基づいて先行車両や歩行者等を検知する障害物検知部18と、各部11〜18を制御する制御部19と、を備え、自動車等の車両に搭載される。
図1のように、ステレオカメラ11の基準カメラ11aは焦点距離fのレンズ1の光学系とCCDやCMOSイメージセンサなどからなる撮像素子2とから構成され、参照カメラ11bは焦点距離fのレンズ3の光学系とCCDやCMOSイメージセンサなどからなる撮像素子4とから構成されている。図2のように、撮像素子2,撮像素子4からそれぞれ撮影した画像データ信号が出力され、基準カメラ11aの撮像素子2から基準画像を得るとともに、参照カメラ11bの撮像素子4から参照画像を得る。
図1のように、3次元撮像装置10において基準カメラ11aと参照カメラ11bとレーザ発光器14は、共通の基板21上に設置され所定の位置関係になるように一体的に固定されている。
レーザ発光器14は、基準カメラ11aと参照カメラ11bとの間に配置され、レーザ光源14aからのレーザ光Bがレンズ光学系14bにより光軸p上の前方の空中の点Aに集光し、この集光点(発光点)Aでプラズマによる発光が生じる。
空気中におけるレーザ光の集光によるプラズマ発光は、公知の物理現象であって、例えば、独立行政法人産総研による公知文献「空中に浮かび上がる3次元(3D)映像」(産総研 TODAY 2006−04 VOL.6 NO.04 第16頁〜第19頁)(http://www.aist.go.jp/aist_j/aistinfo/aist_today/vol06_04/vol06_04_topics/vol06_04_topics.html)によれば、次のように説明されている。
すなわち、空気中にレーザ光を強く集光すると、焦点近傍に非常に大きなエネルギーが集中する。すると、空気を構成する窒素や酸素の分子・原子は、イオンと電子に解離した「プラズマ」と呼ばれる状態になる。プラズマはいわば大きなエネルギーが閉じこめられている状態であり、そこからエネルギーが放出されるのに伴って、焦点の近傍で白い発光が観測される。この現象の特徴は、焦点近傍のみに発光が観測され、光路中は一見何も存在しないように(不可視のレーザを用いればより顕著に)見える点である。
また、かかる物理現象を用いた空中可視像形成装置・方法に関しては、特開2003−233339号公報、特開2007−206588号公報に開示されている。
レーザ発光器14による集光点(発光点)Aは、3次元撮像装置10の前面から例えば0.5〜3mの範囲内の一定距離に固定する。この距離はレーザ発光器14のレンズ光学系14bの焦点距離により適宜設定できる。発光点Aを固定することでレーザ発光器14は駆動系などが不要となりシンプルな構成にできる。
上述のようにレーザ発光器14を2つのカメラ11a,11bの中央部に設け、カメラ11a,11bから一定距離のところの空中にプラズマ発光による発光点Aを形成し、発光点Aを基準点とすることで、2つのカメラ11a,11bの位置ずれを校正することができる。
図1のように、基準カメラ11aと参照カメラ11bの撮像素子2,4は、それらの撮像面2a,4aが共通面g上に配置され、レンズ1,3は、それらのレンズ中心O1,O3を通る光軸aと光軸bとが平行にかつ横方向のレンズ中心間隔Lで配置されている。また、レンズ1,3は、光軸a,bと直交し各レンズ中心O1,O3を通る共通のレンズ面hに配置されている。撮像面2a,4aの共通面gとレンズ面hとは焦点距離fだけ離れて平行である。また、撮像面2a,4a上において光軸a,bが直交する基準点2b,4bの横方向間隔がレンズ中心間隔Lと等しい。
図1のレーザ発光器14の光軸pは撮像面2a,4aの共通面gに直交しており、光軸pとレンズ1の光軸aとの距離L1と、光軸pとレンズ3の光軸bとの距離L2と、レンズ中心間隔Lに関し、次の関係式(1)が成り立つ。
L1+L2=L ・・・(1)
ここで、距離計測対象を光軸p上の発光点Aとし、レンズ面hから発光点Aまでの距離をHとする。発光点Aからの光が図1の破線のように、基準カメラ11aのレンズ1の中心O1を通過して撮像面2a上の結像位置2cに結像する一方、参照カメラ11bのレンズ3の中心O3を通過して撮像面4a上の結像位置4cに結像したとする。基準カメラ11aの撮像面2a上の基準点2bから結像位置2cまでの距離m、及び、参照カメラ11bの撮像面4a上の基準点4bから結像位置4cまでの距離nは、基準カメラ11aと参照カメラ11bが間隔Lで配置されたことに起因するシフト量(視差)である。図1からH/L1=f/m、及び、H/L2=f/nが成り立ち、次式(2),(3)を得る。
H=(L1・f)/m ・・・(2)
H=(L2・f)/n ・・・(3)
本実施の形態の図1では、L1=L2であるから、上記式(1)から、L1=L2=L/2である。したがって、上記式(2)、(3)から、次式(4),(5)を得る。
H=(L・f)/2m ・・・(4)
H=(L・f)/2n ・・・(5)
上記式(4)、(5)から、レンズ中心間隔L,焦点距離fが一定であるので、シフト量m,nから発光点Aまでの距離Hを計測できる。このように三角測量の原理によりステレオカメラ11からの画像情報に基づいて発光点Aまでの距離Hを計測できる。
図2の距離画像生成部13は、ステレオカメラ11からの画像データに基づいて基準画像と参照画像との距離画像を生成し、被写体までの距離の計測のために視差演算を行う。この視差演算のために距離画像について対応点探索を行うが、この対応点探索のために、差分絶対値和(Sum of Absolute Difference:SAD)による相関法や位相限定相関法(Phase-Only Correlation:POC)を用いる。具体的には、距離画像生成部13は、SAD法やPOC法による演算を集積素子等によりハード的に処理するが、CPU(中央演算処理装置)によりソフト的に処理するようにしてもよい。この場合、CPUは所定のプログラムに従って所定の演算を実行する。
本実施の形態では、上述のように、レーザ発光器14からのレーザ光Bで形成される発光点Aまでの距離は一定であり既知であるので、発光点Aを基準点とし、発光点Aまでの既知の距離H0を利用して3次元撮像装置10において2つのカメラ11a,11bの位置ずれを検出して校正(キャリブレーション)を行うようになっている。
すなわち、図2の校正ずれ判定部16は、ステレオカメラ11における位置ずれを検出し、位置ずれの有無を判定する。ここで、ステレオカメラ11における位置ずれとは、図1において、カメラ11aとカメラ11bの位置ずれ、光軸a,光軸bの傾き、光軸aと光軸bの平行度、レンズ中心間隔Lのずれ、等に起因して、3次元撮像装置10で検出する距離値に誤差が発生すること、また、画像上のエピポーララインがずれることをいう。
校正データ保持部15は、レーザ発光器14からのレーザ光Bで形成される発光点Aまでの既知の距離H0や校正データを記憶し保持する。距離画像生成部13は距離画像から発光点Aまで距離Hを計測し、校正ずれ判定部16は、計測した距離Hと既知の距離H0とを比較し、位置ずれの有無を判定する。例えば、両距離H、H0が一致し、または、ずれても所定範囲内であれば、位置ずれ無しと判定し、それ以外であれば、位置ずれ有りと判定し、そのずれ判定結果を校正データ演算・生成部17に出力する。
校正データ演算・生成部17は、上記ずれ判定結果に基づいてステレオカメラ11の並行化度等の校正データの演算・生成を行い、かかる校正データを校正データ保持部15が記憶し保持する。
距離画像生成部13では、校正データ保持部15からの校正データに基づいて距離誤差を修正し、また、画像上のエピポーララインを修正するようにして距離画像を生成する。
図2の制御部19は、CPU(中央演算処理装置)と、上述のような距離画像生成及び校正のためのプログラムが保存されたROM等の記憶媒体とを有し、記憶媒体から読み出されたプログラムに従ってCPUが例えば図3のフローチャートのような各ステップを実行するように制御を行う。
図1,図2の3次元撮像装置10におけるステレオカメラ11の校正ステップについて図3のフローチャートを参照して説明する。
まず、車両を始動すると(S01)、3次元撮像装置10は校正モードに移行し(S02)、レーザ発光器14が作動する(S03)。これにより、車両の前方の空中にプラズマにより図1の発光点Aが形成される(S04)。
次に、図2の距離画像生成部13で発光点Aまでの距離Hを計測し(S05)、校正ずれ判定部16が計測距離Hと既知の距離H0とを比較し(S06)、位置ずれ有りの場合は(S07)、次のようにして校正を実行する(S08)。
すなわち、校正ずれ判定部16のずれ判定結果を校正データ演算・生成部17に出力し、校正データ演算・生成部17は、上記ずれ判定結果に基づいてステレオカメラ11の並行化度等の校正データの演算・生成を行い、かかる校正データを校正データ保持部15が記憶し保持する。距離画像生成部13では、校正データ保持部15からの校正データに基づいて距離誤差を修正し、また、画像上のエピポーララインを修正するようにして距離画像を生成する。
位置ずれ無しの場合(S07)、または、上述の校正実行後(S08)に、校正モードが終了する(S09)。そして、所定時間が経過すると(S10)、ステップS02に戻り、同様にして校正を行う。
以上のように、3次元撮像装置10によれば、レーザ発光器14からのレーザ光により車両前方の空中にプラズマによる発光点Aを形成し、この発光点Aを基準点にしてステレオカメラ11に関する位置関係のずれを校正できるので、3次元撮像装置10について、校正できる場所が限定されず、いつどこでも校正が可能である。また、車両前方の被写体の条件に関係せずに、常に必要なタイミングで校正を行うことができ、一定の精度を保った校正が可能となる。
図1,図2の3次元撮像装置10は、障害物検知部18で先行車両や歩行者等を検知し、先行車両等までの距離を計測し、その検知・計測情報をドライバに画像や音声で知らせるようになっているが、上記校正を適宜実行することで、検知・計測情報をより正確なものとすることができる。
次に、レーザ発光器により空中に複数の発光点を形成し、複数の発光点を基準点にしてステレオカメラの校正を行うようにした3次元撮像装置について図4,図5を参照して説明する。図4は別の3次元撮像装置の要部の構成を示す図である。図5は図4の3次元撮像装置のレーザ発光器の概略的構成を示す図である。
図4の3次元撮像装置30は、レーザ発光器24により空中に複数の発光点を形成するようにした以外は、図1,図2と同様の構成であり、レーザ発光器24は、ステレオカメラ11の基準カメラ11aと参照カメラ11bとの間に配置されており、図2の制御部19により制御される。
図5のように、レーザ発光器24は、赤外光または紫外光の不可視光を発生する半導体レーザからなるレーザ光源25と、レンズ光学系26と、光走査部27と、を備える。光走査部27は、モータ等の駆動手段(図示省略)により回転軸28aを中心にして回動方向r及びその反対方向r’に回動可能でありレーザ光源25からのレーザ光が入射する回動反射部材28と、回動反射部材28からの光を反射する反射部材29と、を有する。
レーザ光源25からのレーザ光は、回動反射部材28、反射部材29で反射し、レンズ光学系26から外部に出射するが、このとき、回動反射部材28を回転軸28aを中心にして回動方向r,r’に回動させることでレーザ光を回動方向に走査する。これにより、レーザ光が光軸pに対し発散するようにレンズ光学系26に入射し、レンズ光学系26から光軸pに対し図4のように傾斜して出射する。
上述のようにして、図4のように空中に複数の発光点C,D,Eを形成することができる。複数の発光点C,D,Eまでの各距離は一定であり固定されているので、複数の発光点C,D,Eをそれぞれ基準点として、上述と同様にして校正を複数回行うことで、より高精度な校正を行うことができる。
なお、複数の発光点C,D,Eは、校正時に形成されていればよく、同時に形成する必要がないので、レーザ光を走査するとき、例えば、回動反射部材28を所定角度だけ回動させて停止して発光点Cを形成し、中立位置で停止して発光点Dを形成し、反対側に所定角度だけ回動させて停止して発光点Eを形成するようにしてもよい。
また、光走査部27として回動反射部材28を用いたが、これに限定されず、他の光走査手段を用いてもよく、例えば、プリズム等の偏光部材を光軸pに配置し、偏光部材の光軸p回りの位置を変えることで光走査するようにしてもよい。また、微小電気機械素子(MEMS)型の光スキャナを利用してもよい。また、図5の回動反射部材28の位置は、反射部材29の位置であってもよい。
次に、レーザ発光器により空中に発光パターンを形成し、これらの発光点を基準点にしてステレオカメラの校正を行うようにした3次元撮像装置について図6を参照して説明する。図6はさらに別の3次元撮像装置の要部の構成を示す図である。
図6の3次元撮像装置40は、レーザ発光器34により空中に複数の発光点からなる発光パターンを形成するようにした以外は、図1,図2と同様の構成であり、レーザ発光器34は、ステレオカメラ11の基準カメラ11aと参照カメラ11bとの間に配置されており、図2の制御部19により制御される。
レーザ発光器34は、図5と同様に、赤外光または紫外光の不可視光を発生する半導体レーザからなるレーザ光源25と、レンズ光学系26と、光走査部27と、を備えるが、光走査部27はレーザ光源25からのレーザ光を互いに異なる2方向に走査可能となっている。例えば、図5において、反射部材29を回動反射部材28と同様に回動可能に構成し、その回動方向を回動反射部材28の回動方向と異なるように構成し、レーザ光源25からのレーザ光を異なる2方向に走査することで、図6のような格子パターンZのような2次元的な任意のパターンを空中に形成できる。
上述のようにして空中に形成された格子パターンZの所定の複数の発光点F,G,H,Iまでの各距離は一定であり固定されているので、複数の発光点F,G,H,Iをそれぞれ基準点として、上述と同様にして校正を図4よりもさらに多く複数回行うことで、さらに高精度な校正を行うことができる。
また、空中に形成するパターンを情報表示に用いることができ、ドライバ向けの情報表示と、ステレオカメラ11の校正を兼用するようにしてもよい。例えば、車両のドライバに対する情報を車両前方の空中に形成することで、ドライバに対する情報の表示に利用することができる。ドライバに対する情報としては、特に限定されないが、例えば、シートベルト装着の注意情報や車両メンテナンス情報などがあり、また、車両に搭載されたナビゲーションシステムと連動して、方向指示情報や道路渋滞情報や地名情報等を表示するようにしてもよい。
また、レーザ発光器34の光走査部として、上述と同様にMEMS型の光スキャナを利用してもよく、この場合、1次元型のものを図5の各反射部材28,29の位置にそれぞれ配置するか、または、2次元型のものを反射部材28または29の位置に配置する。また、ガルバノミラーやポリゴンミラー等の他の光走査手段を用いてもよい。
以上のように本発明を実施するための最良の形態について説明したが、本発明はこれらに限定されるものではなく、本発明の技術的思想の範囲内で各種の変形が可能である。例えば、図1,2の3次元撮像装置は2台のカメラからなるステレオカメラを備えるものであるが、本発明はこれに限定されず、3台またはそれ以上のカメラを備えるものであってもよい。
また、図3では、車両の始動時に校正を自動的に行うとともに、その校正から所定時間経過後に再び校正を自動的に繰り返すようにしたが、始動時にのみ、始動時から所定時間経過した時にのみ、または、始動時には行わず所定時間経過毎に、校正を自動的に行うようにしてもよい。また、3次元撮像装置10に手動ボタンを設け、かかる手動ボタンを操作することで、校正を手動で行うようにしてもよい。
また、図1において、レーザ発光器14の光軸pとレンズ1の光軸aとの距離L1、光軸pとレンズ3の光軸bとの距離L2に関し、L1=L2としたが、これに限定されず、L1≠L2であるようにレーザ発光器14を配置してもよいことはもちろんである。

Claims (9)

  1. 入射した光を電気信号に変換する撮像素子をそれぞれ有する複数の撮像装置と、レーザ光を発光する発光器と、を備え、
    前記発光器からのレーザ光により前記撮像装置の前方の空中にプラズマによる発光点を形成し、
    前記発光点を基準点として前記複数の撮像装置に関する位置関係のずれを校正することを特徴とする3次元撮像装置。
  2. 前記撮像装置と前記発光器とが一体的に構成されていることを特徴とする請求の範囲第1項に記載の3次元撮像装置。
  3. 前記レーザ光により空中に複数の発光点を形成し、前記複数の発光点に基づいて前記校正を行うことを特徴とする請求の範囲第1項または第2項に記載の3次元撮像装置。
  4. 前記レーザ光により空中に発光パターンを形成し、前記発光パターンに基づいて前記校正を行うことを特徴とする請求の範囲第1項または第2項に記載の3次元撮像装置。
  5. 装置立ち上がり時に前記レーザ光を発光させて前記校正を行うことを特徴とする請求の範囲第1項から第4項のいずれか1項に記載の3次元撮像装置。
  6. 前記レーザ光を一定の時間間隔で発光させて前記校正を一定の時間間隔で行うことを特徴とする請求の範囲第1項から第5項のいずれか1項に記載の3次元撮像装置。
  7. 前記レーザ光として不可視光を用いることを特徴とする請求の範囲第1項から第6項のいずれか1項に記載の3次元撮像装置。
  8. 前記発光パターンがドライバへの情報を表示するものであることを特徴とする請求の範囲第4項に記載の3次元撮像装置。
  9. 入射した光を電気信号に変換する撮像素子をそれぞれ有する複数の撮像装置を備える3次元撮像装置を校正する方法であって、
    発光器からレーザ光を前記撮像装置の前方に発光し、
    前記レーザ光により前記撮像装置の前方の空中にプラズマによる発光点を形成し、
    前記発光点を基準点として前記複数の撮像装置に関する位置関係のずれを校正することを特徴とする3次元撮像装置の校正方法。
JP2010505467A 2008-03-26 2009-02-25 3次元撮像装置及び3次元撮像装置の校正方法 Pending JPWO2009119229A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008080153 2008-03-26
JP2008080153 2008-03-26
PCT/JP2009/053369 WO2009119229A1 (ja) 2008-03-26 2009-02-25 3次元撮像装置及び3次元撮像装置の校正方法

Publications (1)

Publication Number Publication Date
JPWO2009119229A1 true JPWO2009119229A1 (ja) 2011-07-21

Family

ID=41113435

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010505467A Pending JPWO2009119229A1 (ja) 2008-03-26 2009-02-25 3次元撮像装置及び3次元撮像装置の校正方法

Country Status (3)

Country Link
US (1) US20110018973A1 (ja)
JP (1) JPWO2009119229A1 (ja)
WO (1) WO2009119229A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015001465A (ja) * 2013-06-17 2015-01-05 キヤノン株式会社 三次元位置計測装置、及び三次元位置計測装置のキャリブレーションずれ判定方法

Families Citing this family (85)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
EP2289235A4 (en) 2008-05-20 2011-12-28 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES BY MONOLITHIC CAMERA ARRANGEMENT WITH HETEROGENIC IMAGE TRANSFORMER
US8654195B2 (en) 2009-11-13 2014-02-18 Fujifilm Corporation Distance measuring apparatus, distance measuring method, distance measuring program, distance measuring system, and image pickup apparatus
WO2011063347A2 (en) 2009-11-20 2011-05-26 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
SG10201503516VA (en) 2010-05-12 2015-06-29 Pelican Imaging Corp Architectures for imager arrays and array cameras
TWI448666B (zh) * 2010-06-15 2014-08-11 Pixart Imaging Inc 依據環境溫度以校正測距裝置所量測之待測物之待測距離之校正方法與其相關裝置
DE102010042821B4 (de) * 2010-10-22 2014-11-20 Robert Bosch Gmbh Verfahren und Vorrichtung zur Bestimmung einer Basisbreite eines Stereo-Erfassungssystems
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
WO2012155119A1 (en) 2011-05-11 2012-11-15 Pelican Imaging Corporation Systems and methods for transmitting and receiving array camera image data
EP2726930A4 (en) 2011-06-28 2015-03-04 Pelican Imaging Corp OPTICAL ARRANGEMENTS FOR USE WITH AN ARRAY CAMERA
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
US9270974B2 (en) * 2011-07-08 2016-02-23 Microsoft Technology Licensing, Llc Calibration between depth and color sensors for depth cameras
KR101300350B1 (ko) * 2011-08-09 2013-08-28 삼성전기주식회사 영상 처리 장치 및 영상 처리 방법
WO2013043761A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Determining depth from multiple views of a scene that include aliasing using hypothesized fusion
KR102002165B1 (ko) 2011-09-28 2019-07-25 포토내이션 리미티드 라이트 필드 이미지 파일의 인코딩 및 디코딩을 위한 시스템 및 방법
EP2817955B1 (en) 2012-02-21 2018-04-11 FotoNation Cayman Limited Systems and methods for the manipulation of captured light field image data
US9324190B2 (en) 2012-02-24 2016-04-26 Matterport, Inc. Capturing and aligning three-dimensional scenes
US10848731B2 (en) 2012-02-24 2020-11-24 Matterport, Inc. Capturing and aligning panoramic image and depth data
US11282287B2 (en) 2012-02-24 2022-03-22 Matterport, Inc. Employing three-dimensional (3D) data predicted from two-dimensional (2D) images using neural networks for 3D modeling applications and other applications
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
KR20150023907A (ko) 2012-06-28 2015-03-05 펠리칸 이매징 코포레이션 결함있는 카메라 어레이들, 광학 어레이들 및 센서들을 검출하기 위한 시스템들 및 방법들
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
CN107346061B (zh) 2012-08-21 2020-04-24 快图有限公司 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法
WO2014032020A2 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
US9214013B2 (en) 2012-09-14 2015-12-15 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
EP2901671A4 (en) 2012-09-28 2016-08-24 Pelican Imaging Corp CREATING IMAGES FROM LIGHT FIELDS USING VIRTUAL POINTS OF VIEW
US9143711B2 (en) 2012-11-13 2015-09-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
JP6214867B2 (ja) * 2012-11-14 2017-10-18 株式会社東芝 計測装置、方法及びプログラム
WO2014130849A1 (en) 2013-02-21 2014-08-28 Pelican Imaging Corporation Generating compressed light field representation data
US9374512B2 (en) 2013-02-24 2016-06-21 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
US9638883B1 (en) 2013-03-04 2017-05-02 Fotonation Cayman Limited Passive alignment of array camera modules constructed from lens stack arrays and sensors based upon alignment information obtained during manufacture of array camera modules using an active alignment process
WO2014138697A1 (en) 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for high dynamic range imaging using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
WO2014164909A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Array camera architecture implementing quantum film sensors
US9124831B2 (en) 2013-03-13 2015-09-01 Pelican Imaging Corporation System and methods for calibration of an array camera
WO2014165244A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9100586B2 (en) 2013-03-14 2015-08-04 Pelican Imaging Corporation Systems and methods for photometric normalization in array cameras
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9633442B2 (en) 2013-03-15 2017-04-25 Fotonation Cayman Limited Array cameras including an array camera module augmented with a separate camera
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US9497370B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Array camera architecture implementing quantum dot color filters
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
WO2014145856A1 (en) 2013-03-15 2014-09-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
JP6427984B2 (ja) 2013-06-27 2018-11-28 株式会社リコー 測距装置、車両、測距装置の校正方法
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
WO2015070105A1 (en) 2013-11-07 2015-05-14 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
WO2015074078A1 (en) 2013-11-18 2015-05-21 Pelican Imaging Corporation Estimating depth from projected texture using camera arrays
EP3075140B1 (en) 2013-11-26 2018-06-13 FotoNation Cayman Limited Array camera configurations incorporating multiple constituent array cameras
JP6287231B2 (ja) * 2014-01-14 2018-03-07 株式会社リコー 測距装置及びロボットピッキングシステム
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
US9247117B2 (en) 2014-04-07 2016-01-26 Pelican Imaging Corporation Systems and methods for correcting for warpage of a sensor array in an array camera module by introducing warpage into a focal plane of a lens stack array
US9521319B2 (en) 2014-06-18 2016-12-13 Pelican Imaging Corporation Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor
CN113256730B (zh) 2014-09-29 2023-09-05 快图有限公司 用于阵列相机的动态校准的系统和方法
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
JP6158258B2 (ja) * 2015-08-07 2017-07-05 日立オートモティブシステムズ株式会社 車載画像処理装置
US10531073B2 (en) 2016-03-17 2020-01-07 Samsung Electronics Co., Ltd. Method and apparatus for automatic calibration of RGBZ sensors utilizing epipolar geometry and scanning beam projector
US10884127B2 (en) * 2016-08-02 2021-01-05 Samsung Electronics Co., Ltd. System and method for stereo triangulation
CN112954295B (zh) * 2016-09-01 2023-08-04 松下知识产权经营株式会社 多视点摄像系统、三维空间重构系统及三维空间识别系统
ES2614228B2 (es) * 2016-09-13 2018-01-09 Defensya Ingeniería Internacional, S.L. Dispositivo para la creación de señalización luminosa en el espacio circundante a uno o más vehículos
US10261515B2 (en) * 2017-01-24 2019-04-16 Wipro Limited System and method for controlling navigation of a vehicle
JP6925816B2 (ja) * 2017-02-09 2021-08-25 株式会社小松製作所 位置計測システム、作業機械、及び位置計測方法
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
WO2019065218A1 (ja) * 2017-09-28 2019-04-04 株式会社小糸製作所 センサシステム
KR101988630B1 (ko) * 2017-12-19 2019-09-30 (주)리플레이 타임슬라이스 촬영을 위한 카메라 캘리브레이션 방법 및 이를 위한 장치
CN112913229B (zh) * 2018-09-10 2023-04-21 三菱电机株式会社 摄像机设置辅助装置和方法、设置角度计算方法和记录介质
DE102019134142A1 (de) * 2018-12-12 2020-06-18 Analog Devices, Inc. Eingebaute kalibrierung von laufzeittiefenbildgebungssystemen
US11423572B2 (en) * 2018-12-12 2022-08-23 Analog Devices, Inc. Built-in calibration of time-of-flight depth imaging systems
CN109916279B (zh) * 2019-03-04 2020-09-22 Oppo广东移动通信有限公司 终端盖板的平整度检测方法、装置、测试机台及存储介质
JP2020204583A (ja) * 2019-06-19 2020-12-24 株式会社Subaru 画像処理装置
KR102646521B1 (ko) 2019-09-17 2024-03-21 인트린식 이노베이션 엘엘씨 편광 큐를 이용한 표면 모델링 시스템 및 방법
EP4042101A4 (en) 2019-10-07 2023-11-22 Boston Polarimetrics, Inc. SYSTEMS AND METHODS FOR DETECTING SURFACE NORMALS USING POLARIZATION
EP4066001A4 (en) 2019-11-30 2024-01-24 Boston Polarimetrics, Inc. SYSTEMS AND METHODS FOR TRANSPARENT OBJECT SEGMENTATION USING POLARIZATION GUIDES
JP7462769B2 (ja) 2020-01-29 2024-04-05 イントリンジック イノベーション エルエルシー 物体の姿勢の検出および測定システムを特徴付けるためのシステムおよび方法
WO2021154459A1 (en) 2020-01-30 2021-08-05 Boston Polarimetrics, Inc. Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
JP2022011740A (ja) * 2020-06-30 2022-01-17 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム
US11620937B2 (en) * 2020-07-14 2023-04-04 Samsung Electronics Co.. Ltd. Light source device and light emission control method
US11587260B2 (en) * 2020-10-05 2023-02-21 Zebra Technologies Corporation Method and apparatus for in-field stereo calibration
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03503680A (ja) * 1988-04-12 1991-08-15 メトロノール・エイ・エス 光電子工学式角度測定システム
JPH0771956A (ja) * 1993-09-06 1995-03-17 Fuji Film Micro Device Kk 距離計測装置
JP2000234926A (ja) * 1999-02-16 2000-08-29 Honda Motor Co Ltd 立体画像処理装置及びその画像領域対応付け方法
JP2004354256A (ja) * 2003-05-29 2004-12-16 Olympus Corp キャリブレーションずれ検出装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステム
JP2007206588A (ja) * 2006-02-06 2007-08-16 National Institute Of Advanced Industrial & Technology 空中可視像形成装置および空中可視像形成方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6542840B2 (en) * 2000-01-27 2003-04-01 Matsushita Electric Industrial Co., Ltd. Calibration system, target apparatus and calibration method
JP3650811B2 (ja) * 2002-02-13 2005-05-25 株式会社トプコン 空中可視像形成装置
DE10246067B4 (de) * 2002-10-02 2008-01-03 Robert Bosch Gmbh Verfahren und Vorrichtung zur Kalibrierung eines Bildsensorsystems in einem Kraftfahrzeug
CN1771741A (zh) * 2003-02-14 2006-05-10 李宗琦 3d照相机系统及其方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03503680A (ja) * 1988-04-12 1991-08-15 メトロノール・エイ・エス 光電子工学式角度測定システム
JPH0771956A (ja) * 1993-09-06 1995-03-17 Fuji Film Micro Device Kk 距離計測装置
JP2000234926A (ja) * 1999-02-16 2000-08-29 Honda Motor Co Ltd 立体画像処理装置及びその画像領域対応付け方法
JP2004354256A (ja) * 2003-05-29 2004-12-16 Olympus Corp キャリブレーションずれ検出装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステム
JP2007206588A (ja) * 2006-02-06 2007-08-16 National Institute Of Advanced Industrial & Technology 空中可視像形成装置および空中可視像形成方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015001465A (ja) * 2013-06-17 2015-01-05 キヤノン株式会社 三次元位置計測装置、及び三次元位置計測装置のキャリブレーションずれ判定方法

Also Published As

Publication number Publication date
US20110018973A1 (en) 2011-01-27
WO2009119229A1 (ja) 2009-10-01

Similar Documents

Publication Publication Date Title
WO2009119229A1 (ja) 3次元撮像装置及び3次元撮像装置の校正方法
US11536567B2 (en) Surveying instrument
EP3100002B1 (en) Camera calibration method
US10031228B2 (en) Object detecting apparatus
JP6111617B2 (ja) レーザレーダ装置
CN108885099B (zh) 能够获取图像并进行高精度测距的测距设备和移动物体
US20160011311A1 (en) Laser scanner
US20130250387A1 (en) Diffraction-based sensing of mirror position
EP3435026B1 (en) Dual-pattern optical 3d dimensioning
EP1391778A1 (en) Apparatus for detecting the inclination angle of a projection screen and projector comprising the same
US20170167867A1 (en) Range finder
JP2015175629A (ja) 距離測定装置及び距離測定システム
JP2018518708A (ja) スキャン装置及びスキャン方法
JP2008304248A (ja) 車載用ステレオカメラの校正方法、車載用距離画像生成装置及びプログラム
JP2006322853A (ja) 距離計測装置、距離計測方法および距離計測プログラム
US11913786B2 (en) Surveying instrument
JP2008292278A (ja) 距離検出装置の光学ずれ検出方法及び距離検出装置
JP6186863B2 (ja) 測距装置及びプログラム
US20170038203A1 (en) Self-propelled device and distance detector thereof
JP2013050352A (ja) ステレオカメラの取り付け調整方法及びステレオカメラ
JP2007170948A (ja) 幅測定装置、端部位置検出装置、端部厚さ測定装置、及び形状測定装置
JP2007267231A (ja) 車載カメラの光軸ずれ検出装置、車載カメラの光軸ずれ検出方法
KR101423829B1 (ko) 투영격자의 진폭을 적용한 3차원 형상 측정장치 및 방법
CN112710237B (zh) 对准系统及对准方法
JP4098194B2 (ja) 角度検出装置およびそれを備えたプロジェクタ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110907

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20120126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130204

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130604