JP5669212B2 - 3次元情報提示装置 - Google Patents

3次元情報提示装置 Download PDF

Info

Publication number
JP5669212B2
JP5669212B2 JP2011518524A JP2011518524A JP5669212B2 JP 5669212 B2 JP5669212 B2 JP 5669212B2 JP 2011518524 A JP2011518524 A JP 2011518524A JP 2011518524 A JP2011518524 A JP 2011518524A JP 5669212 B2 JP5669212 B2 JP 5669212B2
Authority
JP
Japan
Prior art keywords
light
dimensional information
information presentation
vehicle
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011518524A
Other languages
English (en)
Other versions
JPWO2010143600A1 (ja
Inventor
佐藤 淳
佐藤  淳
文彦 坂上
文彦 坂上
雅彦 稲垣
雅彦 稲垣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nagoya Institute of Technology NUC
Original Assignee
Nagoya Institute of Technology NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nagoya Institute of Technology NUC filed Critical Nagoya Institute of Technology NUC
Priority to JP2011518524A priority Critical patent/JP5669212B2/ja
Publication of JPWO2010143600A1 publication Critical patent/JPWO2010143600A1/ja
Application granted granted Critical
Publication of JP5669212B2 publication Critical patent/JP5669212B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/0017Devices integrating an element dedicated to another function
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/0017Devices integrating an element dedicated to another function
    • B60Q1/0023Devices integrating an element dedicated to another function the element being a sensor, e.g. distance sensor, camera
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/46Indirect determination of position data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808Evaluating distance, position or velocity data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491Details of non-pulse systems
    • G01S7/4911Transmitters
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/40Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images giving the observer of a single two-dimensional [2D] image a perception of depth
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/18Stereoscopic photography by simultaneous viewing
    • G03B35/20Stereoscopic photography by simultaneous viewing using two or more projectors
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2400/00Special features or arrangements of exterior signal lamps for vehicles
    • B60Q2400/50Projected symbol or information, e.g. onto the road or car body
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Mechanical Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Non-Portable Lighting Devices Or Systems Thereof (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、3次元情報を提示する3次元情報提示装置に関し、例えば、車両走行時において、道路面に対して凹凸の高さに応じた色付けを行ったり、障害物に対して着色することにより、ドライバー支援を行うことを可能とする。
従来、プロジェクタとカメラを用いて3次元計測する技術が多数提案されている(例えば、非特許文献1、2参照)。これらは、プロジェクタ光に対して何らかのコード化を行い、投光された光をカメラで受光し、コード化を用いてプロジェクタ画像上の点とカメラ画像上の点との間で対応を取り、三角測量の原理で3次元距離を計測するものである。また、計測された3次元情報を提示する技術としては、ディスプレイなどを用いてユーザに情報表示するもの(特許文献1、2参照)、ヘッドアップディスプレイ(HUD)を用いてフロントガラス面などに情報提示を行うものがある(特許文献3参照)。
特開2008−275380号公報 特開2007−235529号公報 特開2005−75190号公報
S.G.Narasimhan, S.J.Koppal, S. Yamazaki, Temporal Dithering of Illumination for Fast Active Vision, , Proc. ECCV2008, pp.830-844, 2008. T. Koninckx, I. Geys, T. Jaeggli, L.V. Gool, A graph cut based adaptive structures light approach for real-time range acquisition, Proc. 3DPVT, 2004.
非特許文献1、2に代表されるように、従来のプロジェクタを用いた3次元計測技術は、3次元情報を復元することを最終目的としており、これを如何にユーザに提示するかは別の問題として考えられてきた。一方、情報提示技術においては、特許文献1、2に代表されるように、得られた3次元情報をディスプレイモニタなどの情報提示装置を用いて提示することから、ユーザーは情報を視認するためにディスプレイモニタを注視しなければならず、実際の3次元シーンから視線を移動させなければならなかった。車両運転時などに情報提示する場合には、これは脇見運転につながることから、安全上好ましくない。また、特許文献3のように、ヘッドアップディスプレイを用いてフロントガラスの実物体の位置に仮想物体を表示して距離情報を提示する技術の場合には、フロントガラス上に表示されることから鮮明な表示が難しく、また、ドライバーの焦点距離が実物体とフロントガラス上の表示物体とでは大きく異なることから焦点ずれが生じ安全上問題がある。また、実物体の位置に合わせて正確に情報提示するためには、ドライバーの視点位置を正確に計測する必要があるが、実際には正確な計測ができないため、実物体と表示物体との間で位置ずれが生じるなどの問題もある。また、ヘッドマウントディスプレイ(HMD)を用いて情報提示する方法もあるが、HUDと同じ問題が生じる上に、運転時などにおいてはHMDを頭部に装着することは難しいなどの問題もある。これらは、すべて、ディスプレイやHUD、HMDなどの表示装置を用いて間接的に情報提示を行っているために生じる問題である。
本発明は上記点に鑑みて、3次元情報の提示をディスプレイやHUDなどの表示装置を用いて行うのではなく、対象となる3次元物体面上に直接行うことを目的とする。
上記目的を達成するため、本発明者らは、以下の検討を行った。異なる位置に設置された2台以上の複数のプロジェクタから特殊なコード化された光のパターンを投光し物体面に照射する。コード化は色を用いて行うことも輝度を用いて行うことも可能である。異なる位置に置かれた2台のプロジェクタからの光は、物体面上において混合されて一つの色や明るさとなるが、コード化を工夫すると、物体面上に生じる色や明るさは、プロジェクタからの距離に応じて変化させることができる。これは、2台のカメラによる三角測量と同じ原理により、2台のプロジェクタの光同士の交わる位置が、物体の距離に応じて変化するためである。この結果、物体面上には、距離や高さに応じた色や明るさのパターンが生じ、物体上の色や明るさにより物体までの距離情報や物体の3次元形状を強調して人間に知覚させることが可能となる。距離に応じた色や明るさの変化のさせ方は、コード化のパターンによって調節することができる。
本発明は、上記の検討をもとになされたもので、以下のような特徴を有する。
すなわち、本発明は、同一の空間領域に対して光を照射する複数の投光手段を備え、前記複数の投光手段から照射する光のパターンが空間的にコード化されて照射面の3次元情報を可視化するようになっていることを特徴とする。
なお、本発明における「光のパターンが空間的にコード化される」とは、例えば光のパターンが後述する図2や図9のようなパターン(光の波長や強度が空間的に変化したパターン)に設定されることを言う。
本発明の第1実施形態における3次元情報提示装置の構成を示す図である。 図1中の2台のプロジェクタの投影パターンを示す図である。 図1に示す3次元情報提示装置を車両に適用した場合の基準平面の設定を説明するための図である。 基準平面からの距離を用いた距離計測を説明するための図である。 カラーグラデーションを投影した場合の色変化を説明するための図である。 車載プロジェクタを用いた路面形状の強調提示を説明するための図である。 平面投影変換の計算を説明するための図である。 本発明の第2実施形態における3次元情報提示装置の構成を示す図である。 図8中の3台のプロジェクタの投影パターンを示す図である。 図8中の3台のプロジェクタの投影パターンを示す図である。 図8に示す3次元情報提示装置によって照射された対象物体面の輝度を概念的に示す図である。 図8に示す3次元情報提示装置における投影パターンの計算方法を説明するための図である。 図8に示す3次元情報提示装置における輝度の表現方法を説明するための図である。 図8に示す3次元情報提示装置によって得られる投影結果の一例を示す図である。 車載プロジェクタを用いた障害物の強調提示を説明するための図である。 製品検査装置に適用した場合における製品の欠陥形状部分の強調提示を説明するための図である。 提示された3次元情報を利用して制御対象機器を制御する実施形態におけるシステム構成を示すブロック図である。
(第1実施形態)
図1に、本発明の第1実施形態に係る3次元情報提示装置の構成を示す。この3次元情報提示装置では、図1に示すように対象物体面に対して2台のプロジェクタP1、P2から光を照射する。2台のプロジェクタP1、P2から照射された光は物体面上において足し合わされて一つの色や輝度となる。物体面上においては、光は単純に加算されるので、図1の物体面上の点Aの色や輝度は、第1プロジェクタP1の画像面上の点aの色や輝度と第2プロジェクタP2の画像面上の点aの色や輝度が加算されたものとなる。同様に、物体面上の点Bの色や輝度は点bと点bにおける光の色や輝度の加算となり、点Cの色や輝度は点cと点cにおける光の色や輝度の加算となる。
このとき2台のプロジェクタP1、P2から照射する光のパターンを、図2に示すように、2台それぞれで濃淡の変化が逆であるようなグラデーションのパターンとする、つまり空間的にコード化する。濃淡を変化させる方向は、2台のプロジェクタP1、P2の並び方向、より具体的には2台のプロジェクタP1、P2の投影中心を結ぶ直線方向とし、また、濃淡の変化はリニア(線形)に変化させるものとする。すると、点Aの輝度は点aの黒と点aの黒が加算されて黒色となる。また、点Bの輝度は点bの灰色と点bの灰色が加算されて灰色となり、点Cの輝度は点cの白と点cの白が加算されて白となる。2台のプロジェクタP1、P2の輝度はリニアに変化しているので、点Aと同じ距離にある点は全て同じ黒色となり、点Bと同じ距離にある点は全て同じ灰色、点Cと同じ距離にある点は全て同じ白色となる。したがって、物体面上に生成される輝度によって、物体面上の各点の3次元距離が可視化される。
このとき可視化する3次元距離は、3次元空間中に設けた任意の基準平面Πに対して垂直な方向の距離とすることができる。例えば、この3次元情報提示装置を車両に適用して車載プロジェクタとした場合、道路前方に存在する車両や障害物までの距離を可視化するには、図3(a)に示すように車両進行方向に垂直な面を基準平面Πとする。また、道路面の凹凸を可視化したい場合には、図3(b)に示すように道路面を基準平面Πとすることにより、道路面に対して垂直方向の高さの違いを可視化することができる。
なお、図2に示すように、白から黒に変化するようなグレースケールのグラデーション画像を投影した場合、図4に示すように、基準平面Πからの距離が変化すると、重ね合わさる画素値が変化し、観測される輝度値が変化する。これにより、観測輝度により基準平面Πからの距離を強調提示することができる。また、白から黒に変化するようなグレースケールのグラデーション画像ではなく、図5に示すように、赤から緑に変化(図2の白→灰色→黒に対し赤→黄→緑と変化)するカラーグラデーション画像を投影した場合、プロジェクタと物体の距離が遠い場合は観測が緑に、近い場合は観測が赤に変化することになる。したがって、図3(b)のように道路面の凹凸を可視化する場合、路面上を基準平面として校正を行い、図6に示すように、車載プロジェクタP1、P2から路面に対してパターンを投影すると、路面上の凸部aについては赤色が、凹部bについては緑色が観測されることになる。また、路面cについてはこの中間色である黄色が観測される。これにより、路面形状が色情報を用いて提示可能となり、ドライバに対する路面形状の強調提示が実現できる。
次に、上記したような基準平面に応じた3次元距離の可視化の方法を詳しく説明する。まず、第1プロジェクタP1および第2プロジェクタP2から投影される画像の校正方法を説明する。プロジェクタP1、P2から投影される画像を校正する際にはカメラC1が用いられる。
いま、図7に示すように、空間中に基準平面Π、カメラC1、プロジェクタP1、P2が配置されている場合を考える。このとき、プロジェクタP1の画像平面πp1とカメラC1の画像平面πcの間には平面Πを介した平面射影変換Hcp1が存在する。同様に、πcとπp2の間にも平面射影変換Hcp2が存在する。このような平面射影変換は4組の対応点組により計算することが可能である。
そこで、プロジェクタP1から4つの点x1i=[x1i,y1i,1](i=1,…,4)を、またプロジェクタP2 から4つの点x2i=[x2i,y2i,1](i=1,…,4)をそれぞれ基準平面Πに投光する。ここで、点の座標は斉次座標を用いて表しており、Tは転置を表している。次に、これらの点をカメラC1によって撮影した像x'1i=[x'1i,y'1i,1],x'2i[x'2i,y'2i,1](i=1,…,4)を基に、数式1、2の関係を満たす3×3の平面射影変換行列Hcp1, Hcp2 を求める。
Figure 0005669212
Figure 0005669212
ここで数式1、2中の記号〜は定数倍の不定性を除いて等しいことを表す。この平面射影変換行列Hcp1, Hcp2 の計算は、以下のようにして線形計算により行うことができる。今、Hcp1 を求める場合を考える。このために、3×3行列Hcp1の9つの要素を縦に並べたベクトルhを考える(数式3参照)。
Figure 0005669212
hijはHcp1のi行j列の要素である。数式1の射影変換式を展開して整理しなおすことで、以下の線形方程式が得られる(数式4参照)。
Figure 0005669212
ここで、0 は零ベクトルであり、Mは以下に示す8×9行列である(数式5参照)。
Figure 0005669212
行列Mの中身は、プロジェクタ画像とカメラ画像における点の座標値であるため全て既知である。従って数式4の線形方程式を解くことで、ベクトルhが求まり、射影変換行列Hcp1 が求まる。なお、数式4の解hは行列MMの最小固有値に対応する固有ベクトルとして求まる。Hcp2 の計算も同様にして行うことができる。
以上のようにして最低4点の対応点から射影変換を求めることができるが、5点以上のN点の対応点がある場合には、これらのN点全てを用いることでより安定に射影変換を求めることができる。この場合には、行列Mが2N×9行列となるが、先と同様にMMの最小固有値に対応する固有ベクトルとしてhを求めればよい。
このようにして求めた平面射影変換Hcp1、Hcp2を用いることにより、各プロジェクタから基準平面Πに対して任意の像を投影することが可能になる。
ここで、2台のプロジェクタP1、P2から発光した光を加算した輝度値が基準平面Π上において一定になるように2台のプロジェクタP1、P2のグラデーションパターンを作成する。このために、まず図2に示すような輝度変化の方向が逆であるような2つのグラデーション画像I1とI2(それぞれ図2(a)と(b)に対応)を作成する。カメラC1でグラデーション画像I1とI2のそれぞれが得られるように、グラデーション画像I1を平面射影変換Hcp1で射影変換し、グラデーション画像I2を平面射影変換Hcp2を用いて射影変換する。このようにして得られた2つのグラデーション画像をそれぞれI1'、I2'とすると、第1プロジェクタP1からグラデーション画像I1'が投影されるように第1プロジェクタP1の設定を行い、第2プロジェクタP2からグラデーション画像I2'が投影されるように第2プロジェクタP2の設定を行う。
第1プロジェクタP1からグラデーション画像I1'が投影され、第2プロジェクタP2からグラデーション画像I2'が投影されると、基準平面Πからの距離に応じて重ね合わさる輝度が変化し、観測される輝度値が変化する。これにより、基準平面Πからの距離を可視化して表示することができる。基準平面Πは3次元空間中において自由に設定することができるので、例えば、図3(a)に示すように基準平面を車両進行方向に垂直に取れば、車両前方の距離に応じた輝度変化を付けることができ、図3(b)に示すように基準平面を道路面上に取れば、道路面の凹凸に応じた輝度変化を付けることができる。
なお、図5に示すように赤から緑に変化するカラーグラデーション画像を投影する場合も、上記と同様の方法により平面射影変換Hcp1、Hcp2を求め、それを用いてプロジェクタP1、P2から投影されるカラーグラデーション画像の設定を行う。
以上述べた本実施形態によれば、光の混合を用いて物体面上において直接3次元情報を提示することで、情報獲得と情報提示を同時に行うことを可能にしているので、計測系と情報提示系が分かれた既存システムにおける座標系の校正の問題や、ディスプレイなどの間接的な情報提示手段を用いた場合に生じる実物体と表示物体のずれの問題などを解消することができる。つまり、非特許文献1、2のように3次元計測と3次元情報の提示とを別々に行うのではなく、これら2つを完全に一体化し、3次元情報の可視化が3次元情報の復元を介さずに行うことができる。また、3次元情報の提示は、ディスプレイやHUDなどの表示装置(表示画面)を用いて行うのではなく、対象となる3次元物体面上に直接色や明るさの違いとして提示されるため、従来技術のようにユーザがディスプレイ画面を注視する必要がなく、またHUDにおいて生じるような表示の位置ずれや観測者の焦点ずれなども一切生じることはない。
(第2実施形態)
上記第1実施形態では、基準平面Πからの距離を強調提示するが、本第2実施形態では、特定3次元領域を強調提示する。換言すれば、本実施形態では、距離に比例しない3次元情報を提示する。
本実施形態では、3台のプロジェクタを用いて特定3次元領域を強調提示する例について説明するが、2台のプロジェクタを用いて特定3次元領域を強調提示することも可能である。
本実施形態の3次元情報提示装置では、図8に示すように対象物体面に対して3台のプロジェクタP1、P2、P3から光を照射する。このとき図9、図10に示すように、3台のプロジェクタP1、P2、P3から照射する光のパターンα、β、γを、それぞれ濃淡の変化が非線形であるようなグラデーションのパターンとする。
すると、図11に概念的に示すように、対象物体面のうち特定領域Dの輝度は高くなり、それ以外の領域の輝度は特定領域Dの輝度よりも低くなる。したがって、物体面上に生成される輝度によって、特定3次元領域が強調提示される。なお、図11の領域Eは、3台のプロジェクタP1、P2、P3から照射する光が重なり合う領域を示している。
次に、上記したような特定3次元領域の強調提示の方法を詳しく説明する。まず、特定領域強調提示の投影パターンの計算方法を説明する。いま、図12に示すように、空間中にプロジェクタP1、P2、P3が配置されている場合を考える。このとき、対象物体面の任意の点jにおいて観測される色Iは、以下の線形方程式で表される(数式6参照)。
Figure 0005669212
ここで、α=[α1,…,αN]、β=[β1,…,βN]、γ=[γ1,…,γN]は、各プロジェクタの投影パターンを表すベクトルであり、それぞれのベクトルはプロジェクタのN個の画素の明るさαii, γi (i=1,…,N)よりなる。W α=[W α1,…,W αN]、W β=[W β1,…,W βN]、W γ=[W γ1,…,W γN]は、対象空間中の点jを着色する場合における投影パターンの各画素の寄与度W αi,W βi, γi (i=1,…,N)よりなるベクトルである。寄与度Wは0から1までの値を取り、0はその画素が点jの着色に全く寄与しないことを表し、1は大きく寄与することを表す。寄与度は、その画素から出た光線と離散点jとの重なりの大きさに応じて決定する。
したがって、対象物体面上の離散化されたM個の各点における観測色I〜Iは、次の線形方程式で表される(数式7参照)。
Figure 0005669212
ここで、左辺のM×3N行列は各画素の寄与度(重み)を表す。
この数式7は、以下の数式8のように表すことができる。
Figure 0005669212
ここで、Wは数式7のM×3N行列であり、Yは各プロジェクタの投影パターンを表すベクトルであり、IはM個の離散点における観測色を表すベクトルである。
行列Wの中身は、各画素から出る光線と対象空間中の各点との重なりの大きさより事前に求めておくことができるため全て既知である。ベクトルIは、目的とする着色に応じて設定される。したがって、数式8の線形方程式を解くことで、ベクトルY、すなわち各プロジェクタの投影パターンが求まる。
このようにして求められた各プロジェクタの投影パターンにはマイナスの輝度値が含まれうるが、プロジェクタからマイナスの光を投影することはできない。
このようなマイナスの輝度値の問題を解決するため、本実施形態では以下に示す方法で光の輝度を表現する。例えば目的とする着色画像が図13(a)に示す画像であるとすると、輝度Iを0〜1の数値で表すこととし、強調したい領域の輝度Iを1(I=1)、その他の領域の輝度Iを0.5(I=0.5)とする。
すなわち、図13(b)に示すように輝度(プロジェクタ光量)I=0.5を疑似的なゼロレベルとすることで、マイナスの輝度値(負の光)を疑似的に表現することが可能になる。
このようにして求められた投影パターンがプロジェクタP1、P2、P3から投影されると、対象物体面上の位置によって重ね合わさる輝度が変化し、観測される輝度値が変化する。このようにして得られた投影結果を図14に示す。このように特定3次元領域で観測される輝度値が高くなることで、特定3次元領域を強調提示することができる。
例えば、この3次元情報提示装置を車両に適用して車載プロジェクタとした場合、図15に示すように道路前方の特定領域に存在する物体10(車両や障害物等)を強調提示することができる。
例えば、この3次元情報提示装置を製品検査装置に適用することができる。すなわち、図16に例示するように、製品11に対して複数のプロジェクタP1、P2、P3から光を照射して、製品11の正規形状部分(図16の例では直方体形状部分)以外の3次元領域を強調提示するようにする。これにより、製品の欠陥形状部分12(図16の例では円柱形状部分)が強調提示されるので、製品の欠陥の有無を容易に判別することが可能になる。
(他の実施形態)
なお、本発明は、上記した実施形態に限ることなく、以下のように変形することも可能である。
(1)プロジェクタから投影するグラデーションパターンとして色の変化を用いる場合において、一方の色をもう一方の色の補色とすることにより、基準平面においては加算された光の色が白色(無色)となり、基準平面以外では加算された光の色が有色となるようにしてもよい。
(2)プロジェクタから投光するコード化されたパターン光は、静止したパターン光である必要はなく、時間的に変化する動的パターン光とすることもできる。時間的および空間的にコード化された動的パターン光を用いることで、運動する3次元物体に対して、その運動に応じた色付けや明るさの変化付けを行うことができ、ある特定の運動をする物体のみを強調して提示することができる。
(3)提示された3次元情報を人間に知覚させるのみならず、提示された3次元情報を3次元情報取得手段に取得させて各種機器の制御に利用するようにしてもよい。例えば、図17に示すように、プロジェクタP1、P2からの投影結果をカメラ30で撮影し、撮影された画像を、3次元情報取得手段をなす制御装置31に入力し、制御装置31が、撮影された画像に基づいて各種判別処理を行い、この判別結果に基づいて各種制御対象機器32に制御信号を出力するようにしてもよい。
例えば、制御対象機器32が車両衝突危険警報器である場合には、制御装置31は、道路前方に車両や障害物が存在するか否かの判別を行い、道路前方に車両や障害物が存在すると判断した場合には、車両衝突危険警報器に警報音発生信号を出力するようにすればよい。
例えば、制御対象機器32が製品欠陥報知器である場合には、制御装置31は、製品に欠陥形状があるか否かの判別を行い、製品に欠陥形状があると判断した場合には、製品欠陥報知器に報知音発生信号を出力するようにすればよい。
また、プロジェクタから投光するコード化されたパターン光(波長や強度が空間的に変化したパターン光)は、可視光である必要はなく、不可視光とすることもできる。例えば、図17において、プロジェクタP1、P2から不可視光として赤外線を投光し、カメラ30として赤外線カメラを用い、カメラ30で撮影された赤外線画像(不可視画像)を制御装置31に入力するようにしてもよい。
(4)投光手段として、図1に示したようなプロジェクタではなく、複数の発光手段(LED等)を用いて構成したものでもよい。また、車載プロジェクタとした場合、投光手段を車両の前部に設けられた左右のヘッドライト装置内にそれぞれ設置したり、あるいはヘッドライトを複数の発光手段(LED等)で構成した場合には、そのうちの一部を車載プロジェクタ用の投光手段として用いるようにしてもよい。
(5)投光手段は、2つに限らず適用技術に応じて3つ以上設けるようにしてもよい。投光手段の個数を増やすことによって、より複雑な非線形3次元情報を強調提示することができる。
以下、上記した実施形態から把握できる発明について述べる。本発明は、同一の空間領域に対して光を照射する複数の投光手段を備え、前記複数の投光手段から照射する光のパターンが空間的にコード化されて照射面の3次元情報を可視化するようになっていることを第1の特徴とする。
なお、本発明における「光のパターンが空間的にコード化される」とは、例えば光のパターンが図2や図9のようなパターン(光の波長や強度が空間的に変化したパターン)に設定されることを言う。
本発明は、上記第1の特徴において、前記複数の投光手段から照射する光のパターンは、3次元空間中に設定された基準平面に対して垂直な方向の距離が提示されるように空間的にコード化されていることを第2の特徴とする。
本発明は、上記第2の特徴において、前記複数の投光手段から照射する光は可視光であり、前記複数の投光手段から可視光のパターンが照射されることにより前記基準平面に対して垂直な方向の距離が可視化されることを第3の特徴とする。
本発明は、上記第3の特徴において、前記複数の投光手段から照射する光のパターンはグラデーションパターンとなっていることを第4の特徴とする。 本発明は、上記第4の特徴において、前記グラデーションパターンは、前記複数の投光手段の並び方向に光が変化しているパターンであることを第5の特徴とする。
本発明は、上記第5の特徴において、前記基準平面上において前記複数の投光手段から照射された光を加算した輝度値が一定になるように前記グラデーションパターンが設定されていることを第6の特徴とする。
本発明は、上記第3ないし第6のいずれか1つの特徴において、前記複数の投光手段から照射する光のパターンは濃淡の変化によりコード化されていることを第7の特徴とする。
本発明は、上記第3ないし第6のいずれか1つの特徴において、前記複数の投光手段から照射する光のパターンは色の変化によりコード化されていることを第8の特徴とする。
本発明は、上記第8の特徴において、前記複数の投光手段のうち1つから投光する光のパターンの色を他の1つから投光する光のパターンの色の補色とし、前記基準平面においては加算された光の色が白色となり、前記基準平面以外においては加算された光の色が有色となることを第9の特徴とする。
本発明は、上記第3ないし第9のいずれか1つの特徴において、前記複数の投光手段は車両に設置され、前記複数の投光手段から車両の前方の空間領域に対して光を照射して車両の前方に存在する物体までの距離を可視化することを第10の特徴とする。
本発明は、上記第3ないし第9のいずれか1つの特徴において、前記複数の投光手段は車両に設置され、前記複数の投光手段から車両の前方の空間領域に対して光を照射して車両の前方の道路面に対して垂直方向の高さの違いを可視化することを第11の特徴とする。
本発明は、上記第10または第11の特徴において、前記複数の投光手段は車両のヘッドライト装置内に設置されていることを第12の特徴とする。
本発明は、上記第10または第11の特徴において、前記複数の投光手段は車両のヘッドライトを構成する複数の発光手段の一部として構成されていることを第13の特徴とする。
本発明は、上記第2の特徴において、前記複数の投光手段から照射する光は不可視光であり、前記複数の投光手段から不可視光のパターンが照射されることにより前記基準平面に対して垂直な方向の距離が提示されることを第14の特徴とする。
本発明は、上記第14の特徴において、前記複数の投光手段から照射された不可視光によって提示された3次元情報を取得する3次元情報取得手段を備えることを第15の特徴とする。
本発明は、上記第15の特徴において、前記複数の投光手段は車両に設置され、前記複数の投光手段から車両の前方の空間領域に対して不可視光を照射して、車両の前方に存在する物体までの距離、または車両の前方の道路面に対して垂直方向の高さの違いを提示することを第16の特徴とする。
本発明は、上記第1の特徴において、前記複数の投光手段から照射する光のパターンは、特定3次元領域が強調提示されるように空間的にコード化されていることを第17の特徴とする。
本発明は、上記第17の特徴において、前記複数の投光手段は車両に設置され、前記複数の投光手段から車両の前方の空間領域に対して不可視光を照射して車両の前方の特定領域に存在する物体を強調提示することを第18の特徴とする。
本発明は、上記第17の特徴において、前記複数の投光手段は製品に対して光を照射して前記製品の欠陥形状部分を強調提示することを第19の特徴とする。
さらに、上記した実施形態から次のような3次元情報提示装置を把握できる。すなわち本装置は、同一の空間領域に対して光を照射する複数の投光手段を備え、前記複数の投光手段が照射する光には空間的なパターンが形成されており、前記空間領域に存在する物体上で前記複数の投光手段から照射された光同士が重なり合うことによって、3次元情報に応じた光のパターンを前記物体上に生じさせるものである。
P1、P2 プロジェクタ(投光手段)

Claims (19)

  1. 同一の空間領域に対して光を照射する複数の投光手段を備え、前記複数の投光手段から物体面に照射する光の濃淡または色のパターンが空間的にコード化されて前記物体面の3次元空間中の位置を示す3次元情報を提示するようになっており、
    前記複数の投光手段からの光が前記物体面で足し合わされることにより、前記物体表面の各部において1つの輝度または1つの色が生成され、各1つの輝度または各1つの色が前記3次元情報を提示するようになっていることを特徴とする3次元情報提示装置。
  2. 前記複数の投光手段から照射する光の前記パターンは、3次元空間中に設定された基準平面に対して垂直な方向の距離が提示されるように空間的にコード化されていることを特徴とする請求項1に記載の3次元情報提示装置。
  3. 前記複数の投光手段から照射する光は可視光であり、前記複数の投光手段から可視光の前記パターンが照射されることにより前記基準平面に対して垂直な方向の距離が可視化されることを特徴とする請求項2に記載の3次元情報提示装置。
  4. 前記複数の投光手段から照射する光の前記パターンはグラデーションパターンとなっていることを特徴とする請求項3に記載の3次元情報提示装置。
  5. 前記グラデーションパターンは、前記複数の投光手段の並び方向に光が変化しているパターンであることを特徴とする請求項4に記載の3次元情報提示装置。
  6. 前記基準平面上において前記複数の投光手段から照射された光を加算した輝度値が一定になるように前記グラデーションパターンが設定されていることを特徴とする請求項5に記載の3次元情報提示装置。
  7. 前記複数の投光手段から照射する光の前記パターンは濃淡の変化によりコード化されていることを特徴とする請求項3ないし6のいずれか1つに記載の3次元情報提示装置。
  8. 前記複数の投光手段から照射する光の前記パターンは色の変化によりコード化されていることを特徴とする請求項3ないし6のいずれか1つに記載の3次元情報提示装置。
  9. 前記複数の投光手段のうち1つから投光する光の前記パターンの色を他の1つから投光する光の前記パターンの色の補色とし、前記基準平面においては加算された光の色が白色となり、前記基準平面以外においては加算された光の色が有色となることを特徴とする請求項8に記載の3次元情報提示装置。
  10. 前記複数の投光手段は車両に設置され、前記複数の投光手段から車両の前方の空間領域に対して光を照射して車両の前方に存在する物体までの距離を可視化することを特徴とする請求項3ないし9のいずれか1つに記載の3次元情報提示装置。
  11. 前記複数の投光手段は車両に設置され、前記複数の投光手段から車両の前方の空間領域に対して光を照射して車両の前方の道路面に対して垂直方向の高さの違いを可視化することを特徴とする請求項3ないし9のいずれか1つに記載の3次元情報提示装置。
  12. 前記複数の投光手段は車両のヘッドライト装置内に設置されていることを特徴とする請求項10または11に記載の3次元情報提示装置。
  13. 前記複数の投光手段は車両のヘッドライトを構成する複数の発光手段の一部として構成されていることを特徴とする請求項10または11に記載の3次元情報提示装置。
  14. 前記複数の投光手段から照射する光は不可視光であり、前記複数の投光手段から不可視光の前記パターンが照射されることにより前記基準平面に対して垂直な方向の距離が提示されることを特徴とする請求項2に記載の3次元情報提示装置。
  15. 前記複数の投光手段から照射された不可視光によって提示された前記3次元情報を取得する3次元情報取得手段を備えることを特徴とする請求項14に記載の3次元情報提示装置。
  16. 前記複数の投光手段は車両に設置され、前記複数の投光手段から車両の前方の空間領域に対して不可視光を照射して、車両の前方に存在する物体までの距離、または車両の前方の道路面に対して垂直方向の高さの違いを提示することを特徴とする請求項15に記載の3次元情報提示装置。
  17. 前記複数の投光手段から照射する光の前記パターンは、特定3次元領域が強調提示されるように空間的にコード化されていることを特徴とする請求項1に記載の3次元情報提示装置。
  18. 前記複数の投光手段は車両に設置され、前記複数の投光手段から車両の前方の空間領域に対して不可視光を照射して車両の前方の特定領域に存在する物体を強調提示することを特徴とする請求項17に記載の3次元情報提示装置。
  19. 前記複数の投光手段は製品に対して光を照射して前記製品の欠陥形状部分を強調提示することを特徴とする請求項17に記載の3次元情報提示装置。
JP2011518524A 2009-06-08 2010-06-07 3次元情報提示装置 Expired - Fee Related JP5669212B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011518524A JP5669212B2 (ja) 2009-06-08 2010-06-07 3次元情報提示装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2009137269 2009-06-08
JP2009137269 2009-06-08
PCT/JP2010/059599 WO2010143600A1 (ja) 2009-06-08 2010-06-07 3次元情報提示装置
JP2011518524A JP5669212B2 (ja) 2009-06-08 2010-06-07 3次元情報提示装置

Publications (2)

Publication Number Publication Date
JPWO2010143600A1 JPWO2010143600A1 (ja) 2012-11-22
JP5669212B2 true JP5669212B2 (ja) 2015-02-12

Family

ID=43308855

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011518524A Expired - Fee Related JP5669212B2 (ja) 2009-06-08 2010-06-07 3次元情報提示装置

Country Status (4)

Country Link
US (1) US8807810B2 (ja)
EP (1) EP2450736B1 (ja)
JP (1) JP5669212B2 (ja)
WO (1) WO2010143600A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017107690A (ja) * 2015-12-08 2017-06-15 トヨタ自動車株式会社 車両用ヘッドランプ構造及び車両用ヘッドランプの制御方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101344884B1 (ko) 2012-05-08 2013-12-26 주식회사 만도 카메라와 hud 장치간의 간섭 보호 시스템
JP5754470B2 (ja) * 2012-12-20 2015-07-29 株式会社デンソー 路面形状推定装置
EP2869023B1 (en) * 2013-10-30 2018-06-13 Canon Kabushiki Kaisha Image processing apparatus, image processing method and corresponding computer program
KR102329110B1 (ko) 2015-05-30 2021-11-18 레이아 인코포레이티드 차량 모니터링 시스템
EP3479055A4 (en) * 2016-06-30 2020-02-26 Magicom KFT. METHOD FOR DETECTING AND LOCATING A MOVING OBJECT
FR3055431B1 (fr) * 2016-09-01 2019-08-02 Valeo Vision Dispositif de projection d'une image pixelisee
FR3061594B1 (fr) * 2017-01-03 2021-06-04 Valeo Vision Systeme d'aide a la conduite, vehicule automobile et procede d'aide a la conduite
CN107423720A (zh) * 2017-08-07 2017-12-01 广州明医医疗科技有限公司 目标跟踪系统和立体显示设备
JP2019078786A (ja) * 2017-10-20 2019-05-23 セイコーエプソン株式会社 画像投射システム、プロジェクター、及び画像投射システムの制御方法
US10885819B1 (en) * 2019-08-02 2021-01-05 Harman International Industries, Incorporated In-vehicle augmented reality system
JP7552457B2 (ja) * 2021-03-12 2024-09-18 オムロン株式会社 導光板、表示装置、入力装置、および、表示装置を備えた機器
KR20230109271A (ko) * 2022-01-13 2023-07-20 현대모비스 주식회사 이미지 출력 장치 및 이를 이용한 이미지 출력 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001229717A (ja) * 2000-02-15 2001-08-24 Koito Mfg Co Ltd 自動車用赤外光照射ランプ
JP2002219994A (ja) * 2001-01-26 2002-08-06 Stanley Electric Co Ltd 赤外線投光器
JP2003166804A (ja) * 2001-12-03 2003-06-13 Fujimori Gijutsu Kenkyusho:Kk 空間座標値測定方法及びその測定装置並びに欠陥検査装置
WO2006028512A2 (en) * 2004-04-06 2006-03-16 Bae Systems Information And Electronic Systems Integration Inc. Polyspectral rangefinder for close-in target ranging and identification of incoming threats

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4724480A (en) * 1985-05-02 1988-02-09 Robotic Vision Systems, Inc. Method for optical alignment of one object with respect to another
US4914460A (en) * 1987-05-29 1990-04-03 Harbor Branch Oceanographic Institution Inc. Apparatus and methods of determining distance and orientation
JP2817594B2 (ja) 1993-11-15 1998-10-30 トヨタ自動車株式会社 車両用前照灯装置
JP2005075190A (ja) 2003-09-01 2005-03-24 Nissan Motor Co Ltd 車両用表示装置
JP3960325B2 (ja) * 2004-08-11 2007-08-15 セイコーエプソン株式会社 ディスプレイ装置およびディスプレイ装置における画像情報生成方法
US7306341B2 (en) * 2005-02-28 2007-12-11 Hewlett-Packard Development Company, L.P. Multi-projector geometric calibration
IL167932A (en) * 2005-04-10 2012-03-29 Israel Aerospace Ind Ltd Optical screen, systems and methods for creatures and its operation
JP2007182151A (ja) 2006-01-06 2007-07-19 Nissan Motor Co Ltd 車両用前照灯装置及び車両用前照灯制御方法
JP4807104B2 (ja) 2006-03-01 2011-11-02 日産自動車株式会社 車両周囲監視システム及び画像表示方法
JP2008275380A (ja) 2007-04-26 2008-11-13 Toyota Motor Corp 車両周辺監視装置
DE102008015499C5 (de) * 2008-03-25 2013-01-10 Steinbichler Optotechnik Gmbh Verfahren und Vorrichtung zur Bestimmung der 3D-Koordinaten eines Objekts

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001229717A (ja) * 2000-02-15 2001-08-24 Koito Mfg Co Ltd 自動車用赤外光照射ランプ
JP2002219994A (ja) * 2001-01-26 2002-08-06 Stanley Electric Co Ltd 赤外線投光器
JP2003166804A (ja) * 2001-12-03 2003-06-13 Fujimori Gijutsu Kenkyusho:Kk 空間座標値測定方法及びその測定装置並びに欠陥検査装置
WO2006028512A2 (en) * 2004-04-06 2006-03-16 Bae Systems Information And Electronic Systems Integration Inc. Polyspectral rangefinder for close-in target ranging and identification of incoming threats

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6010037239; 春田 具範、他: '"時空間コード化パターン投影による3次元形状計測"' 人文科学とコンピュータシンポジウム論文集 Vol. 2001, No. 18, 20011214, p.149-155, 財団法人情報処理学会 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017107690A (ja) * 2015-12-08 2017-06-15 トヨタ自動車株式会社 車両用ヘッドランプ構造及び車両用ヘッドランプの制御方法
US10442342B2 (en) 2015-12-08 2019-10-15 Toyota Jidosha Kabushiki Kaisha Vehicular headlamp system and control method of vehicular headlamp for forming a pattern on a road surface

Also Published As

Publication number Publication date
US20120075878A1 (en) 2012-03-29
US8807810B2 (en) 2014-08-19
EP2450736A4 (en) 2013-04-24
JPWO2010143600A1 (ja) 2012-11-22
EP2450736A1 (en) 2012-05-09
EP2450736B1 (en) 2020-10-07
WO2010143600A1 (ja) 2010-12-16

Similar Documents

Publication Publication Date Title
JP5669212B2 (ja) 3次元情報提示装置
US10852818B2 (en) Information provision device and information provision method
US11951834B2 (en) Information provision device, information provision method, and recording medium storing information provision program for a vehicle display
CN107878301B (zh) 用于通过机动车辆的投影系统投射图像的方法和投影系统
US10293745B2 (en) Projection of a pre-definable light pattern
JP7065383B2 (ja) 表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体
US10491870B2 (en) Image display apparatus and image display method
JP7098452B2 (ja) イメージ処理方法、イメージ処理装置、コンピュータ・プログラム及び記録媒体
DE102011121627B4 (de) Verfahren zum dynamischen Ausrichten einer Graphik auf eine Fahrszene eines Fahrzeugs unter Nutzung einer im Wesentlichen durchsichtigen Windschutzscheiben-Headup-Anzeige
JP6936791B2 (ja) 画像を投影面に投影するための自動車用投影方法
WO2011070783A1 (ja) 情報表示装置及び情報表示方法
EP3415971A1 (en) Information display device
DE102016001692B4 (de) Fahrerassistenzsystem zur Steuerung einer Lichtabstrahlung einer fahrzeugseitigen Scheinwerfereinrichtung
WO2019009243A1 (ja) 3次元表示装置、3次元表示システム、移動体、および3次元表示方法
JP6669053B2 (ja) ヘッドアップディスプレイシステム
JP6504431B2 (ja) 画像表示装置、移動体、画像表示方法及びプログラム
US20150332654A1 (en) Display device for displaying a virtual image within the visual field of a driver and image generation device for said display device
DE112018003346T5 (de) Anzeigesystem, Informationsdarstellungssystem, Verfahren zum Steuern eines Anzeigesystems, Aufzeichnungsmedium und mobiler Körper
JP2013174667A (ja) 車両用表示装置
DE112018001394T5 (de) Lauf-Unterstützungsvorrichtung, Lauf-Unterstützungsverfahren und Programm
US20230001790A1 (en) Head-up display, head-up display system, and movable body
JP6668564B1 (ja) ヘッドアップディスプレイ、ヘッドアップディスプレイシステム、および移動体
JP7495584B1 (ja) 虚像表示装置、移動体、虚像表示装置の駆動方法、及びプログラム
WO2023120603A1 (ja) 撮像装置および画像処理方法
JP7266257B2 (ja) 表示システム、及び表示システムの制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130424

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140401

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140522

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141211

R150 Certificate of patent or registration of utility model

Ref document number: 5669212

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees