JP5276943B2 - 表示装置 - Google Patents

表示装置 Download PDF

Info

Publication number
JP5276943B2
JP5276943B2 JP2008249507A JP2008249507A JP5276943B2 JP 5276943 B2 JP5276943 B2 JP 5276943B2 JP 2008249507 A JP2008249507 A JP 2008249507A JP 2008249507 A JP2008249507 A JP 2008249507A JP 5276943 B2 JP5276943 B2 JP 5276943B2
Authority
JP
Japan
Prior art keywords
information
light
curved surface
distance
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008249507A
Other languages
English (en)
Other versions
JP2010078534A (ja
Inventor
智生 小堀
敏 大内
浩二 平田
英博 池田
和夫 鋪田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2008249507A priority Critical patent/JP5276943B2/ja
Priority to CN2009100094474A priority patent/CN101715091B/zh
Priority to US12/426,638 priority patent/US8287136B2/en
Publication of JP2010078534A publication Critical patent/JP2010078534A/ja
Priority to US13/605,281 priority patent/US8625082B2/en
Application granted granted Critical
Publication of JP5276943B2 publication Critical patent/JP5276943B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3129Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] scanning a light beam on the display screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Mechanical Optical Scanning Systems (AREA)
  • Automatic Focus Adjustment (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Description

本発明は、振動する、ビーム光を当てて、対象物に投射表示する表示装置に関する。
従来の投射装置は、投射レンズを用いて、映像をスクリーン等の被投射物である対象物に投射するものであった。
これに対して、MEMS素子とレーザー光を用いた表示装置が知られるようになり、文献文献1に開示されている。
また、従来、測距手法や装置が多く提案されており、光を用いた方法として、光パルス飛行時間計測法などが知られている。また、近年のMEMS(Micro Electro Mechanical Systems)技術や半導体レーザー技術の向上と、小型・低コスト化により、業務用途のみならず民生品へ展開も検討されている。
例えば、非特許文献1で計測精度の向上技術の紹介や、非特許文献2では、光パルス飛行時間計測法によるMEMSとレーザー光を用いた距離画像センサが紹介されている。
OMRON TECHNICS Vol.44 No.1(通巻149号)2004 http://www.signal.co.jp/vbc/mems/app/item01_1.html(日本信号株式会社) 特開2006-343397号公報(第10頁、第1図)
上記した特許文献1などに開示されているように、1軸或いは2軸で往復振動するMEMSミラーを用い、MEMSミラーで反射したビーム光を投射光として対象物に投射表示するようにした画像表示装置を構成することが可能となってきた。
この場合、近年の半導体技術の向上により、レーザー光源の出力エネルギーや電光変換の向上と、可視光内の発振波長の選択性向上が進み、画像表示装置を低コストでの色再現範囲の向上や高輝度化も容易になりつつある。
また、ビーム光であることから、何れの距離でも焦点が合った画像表示を得られる特徴が有り、平面形状のみならず、様々な凹凸形状を有する物に投射表示しても、焦点のあったボケのない画像を表示できる。
しかしながら、上記した特徴から、実際に凹凸形状の表面に投射表示すると、凹凸間の深度差により歪んだ表示画像となってしまう場合がある。これは、投射距離と共に投射映像が拡大表示される事等によるものである。
また、上記画像表示装置は、構造が簡単な事から小型化が容易であり、持ち運んで様々な所に投射表示が可能である。この為、投射対象は、凹凸形状に加え、表面の色あいや光沢等、様々ものが予想される。
本発明の目的は、上記画像装置の利用形態や利便性を向上するべく、曲面に映像を投射表示する際、曲面形状を精度良く検出し、検出した曲面形状(歪み)に合わせて表示画像の画素配置を不均等に再配置(歪み逆補正)させ、歪みのない映像表示を実現する表示装置を提供することにある。
本発明の表示装置を構成する為に、被投射物迄の距離や、形状を測定するようにする。
但し、被投射物が静止しており、距離が一定である場合は、距離などの測定を投射時に問題とならない精度で行えるものであれば良いと言えるが、例えば、被投射物が動的に変化する物である場合は、測定に要する時間を考慮する必要がある。
従って、この測定を高速に行える物とし、動的に変化する被投射物に対して、投射するのであっても、投射映像を正常な物として投射可能となるようにする。
この計測に用いる計測装置(若しくは、測定装置)は、開始信号生成手段による開始タイミングと、対象物からの反射光を検出する光量検出手段と大小比較手段で、反射光を検出した反射タイミングで、光源駆動手段により光源を駆動する。
さらに、基準クロック数を開始タイミングから計数するクロック計数手段と、計数手段による反射回数nと、各反射タイミングでのクロック計数値を得る。上記クロック計数値を反射回数nで平均化すると、反射タイミングから次の反射タイミングにおける、予め既知である回路の伝達遅延時間と、光速度と反射対象物までの距離に応じた光の移動時間とを示し、更に既知の回路伝搬遅延時間を除く事で光の移動時間すなわち反射対象物までの距離を求める。本反射回数の大小で平均値の精度すなわち距離の測量精度を定める。反射回数の大小別に、距離情報をそれぞれ出力する。
さらに、光量検出手段による反射光の強弱を保持し、この反射光の強弱情報により、対象物の光反射率を特定する。
本発明の第1の表示装置は、上記計測装置を有し、さらに、1軸或いは2軸で揺動する反射ミラーと、それを駆動する水平・垂直揺動駆動手段と、水平同期信号(Hsync)、垂直同期信号(Vsync)、表示Video信号とを得て、水平・垂直揺動駆動手段と、Video信号のPWM変調信号と、上記開始タイミングを制御するアドレス生成手段とを有し、光源からのビーム光は、反射ミラーを介して投射対象物に投射する。
一方、投射対象物を反射したビーム光成分が、上記光量検出手段に到達する。ここで、反射ミラーは2軸で揺動する為、ビーム光は投射対象物上に2次元ラスタ走査することから、光量検出手段には、投射対象物上の2次元ラスタ走査したそれぞれの地点(局所)のビーム光成分が反射してくる。
この構成において、計測装置として動作する時間と、単色の映像表示装置として動作する時間を分けて使用する。もちろん、表示用途とは別の波長成分の光源を用いて計測装置とする構成であれば、計測と映像表示を同時に行うようにしても良い。それぞれの局所における距離情報と反射率情報を生成する。
しかしながら、反射ミラーを映像表示に必要な速度で揺動すると、ビーム位置が時間経過とともに移動する為、上記反復回数nに制限が発生する。したがって、計測と映像表示を別々に実行することが望ましい。
本発明の第2の表示装置は、上記計測装置と表示装置を有し、さらに、光源がR/G/Bの3原色分から成るように構成する。これにより、3原色による映像表示はもちろん、計測装置とする時間には、R/G/Bそれぞれの光源を用いて距離計測並びに面反射率計測を成すものである。ここで、R/G/B光別に面反射率を評価するようにして、投射対象物の色情報を把握する構成である。
さらに、上記計測したそれぞれの局所における距離情報と反射率情報を得て、局所反射率確定手段と局所距離確定手段とから局所情報を確定し、曲面形状判定手段により、投射対象物上の投射位置を表す水平・垂直アドレスと局所情報を対応させることで、曲面形状を決定する。
一方、曲面歪み補正手段により、入力Video信号の画素重心を、決定した曲面形状を用いて補正して表示Video信号を生成する。
従来の投射装置では、投射レンズを用いる為、この投射レンズの投射映像が被投射物に合焦して結像するように合焦動作が必要であった。
しかしながら、上記表示装置では、例えば、レーザ光などのビーム光によって、映像を表示させるものであるので、従来の投射装置で行われていたような合焦動作を行わなくても、被投射物に投射映像を表示することが可能となる。
但し、被投射物が曲面であったり、凸凹した投射面を有する物であると、見かけ上で、観測される投射映像が歪んだり、ゆがんだりしたものとなることがある。
従って、上述したように、曲面歪み補正手段を用いて、被投射物迄の距離を測定した距離情報を用いて、映像情報を補正することによって、見かけ上で、観測される投射映像が歪んだり、ゆがんだりしないように補正するようにする。
上記では、歪み等を補正する手段を「曲面歪み補正手段」との名称としているが、当該曲面歪み補正手段は、曲面に限定されるものではなく、平面でない被投射物までの距離、形状の情報に基づき、投射映像が歪んだり、ゆがんだりしないように補正するものとする。
上記第1の表示装置によれば、映像表示装置を計測装置として転用できる。また、2点間の深度差からその面傾き情報を算出できることから、面傾きによる光反射量の補足も可能である。
上記第2の表示装置によれば、3原色の映像表示装置を計測装置として転用できる。さらに、測定した投射対象物の曲面情報を用いて、映像信号を重心補正して表示する事で、投射対象物の曲面情報に見合った映像表示を実現できる。さらに、R/G/B毎の反射率から、投射対象の色情報を判断でき、投射対象の色情報に合わせて映像信号を補正して投射することで、高画質化も容易である。
また、本発明の構成を以下に別の表現にて説明する。
光源と、前記光源を駆動する光源駆動手段と、前記光源からの照射光を反射して対象物に投射光として投射する反射ミラーと、前記反射ミラーを非共振モードで振動するように駆動するミラー駆動手段と、前記投射光が投射される対象物での位置の座標に対応するアドレス情報を前記ミラー駆動手段に入力するアドレス生成手段と、少なくとも前記光源駆動手段、前記ミラー駆動手段、前記アドレス生成手段を制御する制御手段とを有する表示装置において、対象物までの距離を示す距離情報を出力する測定手段と、少なくとも曲面歪みに対応して補正した映像情報を出力する曲面歪み補正手段とを設け、前記曲面歪み補正手段は、前記アドレス生成手段からの前記アドレス情報と、前記測定手段からの前記距離情報が入力された後に、補正した映像情報を前記光源駆動手段に出力し、前記光源駆動手段に駆動された前記光源からの照射光が対象物に投射されるようにする。
また、前記測定手段は、前記アドレス生成手段で指示された前記対象物上の任意の点に前記投射光が投射され、反射した後の反射光を得て反射光量を検出する光量検出手段と、前記光量検出手段から出力される信号を演算する演算手段と
を有し、前記演算手段が前記光量検出手段から出力される信号から、前記対象物上の前記アドレス生成手段で指示される点までの距離を演算して距離情報として出力するようにする。
また、前記対象物の表面の形状を判定する曲面形状判定手段と、前記光量検出手段からの出力から反射率を示す反射率情報を出力させる反射率情報検出手段とを設け、前記アドレス生成手段からの前記アドレス情報と、前記反射率情報検出手段からの反射率情報と、前記演算手段からの距離情報とから、前記対象物の表面の歪情報を含む曲面情報と、前記対象物の表面の凹凸情報と、前記対象物の表面の反射率情報とを曲面形状判定手段が出力するようにする。
また、曲面形状判定手段から出力された前記曲面情報と前記凹凸情報と前記反射率情報が前記曲面歪み補正手段に入力され、前記曲面歪み補正手段で補正した映像情報を表示するようにする。
また、前記光源は、少なくとも3原色のR/G/B光を発光する光源を有し、R/G/B成分毎にそれぞれ測定するように前記の各手段を構成し、各光成分毎に、前記曲面形状判定手段から投射対象物の前記曲面情報と前記凹凸情報と前記反射率情報が出力され、前記曲面情報、前記凹凸情報または反射率情報に基づき補正した映像を表示するようにする。
また、前記曲面形状判定手段から出力された対象物の前記曲面情報、前記凹凸情報に対応させて前記映像情報の画素配置を水平方向或いは垂直方向に伸縮させる処理と、反射率情報によって明暗の補正を行う処理と、前記表示映像情報を生成する曲面歪み補正処理とを行う補正手段とを設け、前記映像情報を、前記対象物の形状に対応させて補正した映像信号とした後に、対象物に表示するようにする。
また、前記測定手段は、前記光源駆動手段の駆動開始のタイミングを指示する開始タイミング信号を生成する開始信号生成手段と、少なくとも前記光源から出射された光の対象物からの反射光を検出する光量検出手段と、前記光量検出手段からの検出信号を得て反射タイミング信号を生成する比較手段と、基準クロック数を開始タイミング信号から計数するクロック計数手段と、前記反射タイミング信号を計数することで前記反射光の反射回数nを計数する反復計数手段と、前記反射タイミング信号のタイミングで前記クロック計数手段のクロック計数値を保持する保持手段と、前記反復計数手段からの反復回数nと前記保持手段からのクロック計数値を元に距離を演算する演算手段とを有し、駆動開始タイミング信号並びに反射タイミング信号で光源を駆動し、前記反射回数nと、前記クロック計数値と、基準クロックの周期から、対象物までの距離を示す距離情報を前記演算手段が出力するようにする。
また、前記測定手段の前記演算手段では、以下の演算式に従って、距離Lを求めるようにする。
L=(3x10^8)x(1/F)x(count(n)/n)/2 [m]
F:基準クロックの周波数[Hz]
n:反復回数
count(n):クロック計数値(但し、反復回数nの間に計数されるクロックの回数値)
また、前記光源は、ビーム光に形成して、対象物に照射されるLED光源、レーザー光源とする。
また、前記測定手段が距離を測定する際に、距離を測定する測距期間と時間を異ならせて測定を行い、測定された距離情報に基づき、前記光源駆動手段を変調駆動することで、映像情報を対象物に表示するようにする。
上記第1の測定装置は、光の移動時間すなわち反射対象物までの距離を求めることが出来る所謂、光飛行時間計測方法の一つである。しかしながら、本反射回数を増す事で、平均値の精度すなわち距離の測量精度向上が可能となる。すなわち、所望の測量精度に必要な分解性能を得る周波数に対し、十分低い周波数を基準クロックに用いても良い。廉価な回路システムで、高精度の測距を有する計測装置を構築できる。
本発明によれば、例えば、曲面に映像を投射表示する際、歪みのない映像表示を実現すること等が可能となり、上記画像装置の利用形態や利便性を向上することが出来るようになる。
以下、本発明を添付の図面を用いて説明する。
表示装置の実施例を説明するにあたり、先ず計測装置の実施例について、説明する。
図1は本発明の第1の実施例による計測装置を示すブロック図を示す。図2と3は、測定距離wと測定距離w+Δwにおけるタイミング図である。
図1で、1は開始信号start、2は基準クロックclock、3は開始信号生成部、4はクロック数計数部、5はタイミング信号加算部、6は光源駆動部、7は光源、8は複数から成る光量検出部、9はコリメートレンズ、10と10’は計測の対象物、11は検出光量加算器、12は信号増幅部AMP、13は比較器、14は反射光量サンプルホールド部、15は反復回数計数部、16はカウント値サンプルホールド部、17は演算器、18は反射量情報、19、20,21はそれぞれ検出精度の異なる距離情報d_h,d_m,d_lである。そして、37は制御部である中央制御装置(略称CPU)であり、上記のそれぞれの構成部を制御するものである。以下、図4、図8、図9のCPU37も同様に各図に記載された構成部、手段などを制御するものである。
その精度の差異を例示するならば、距離情報d_hは、距離情報の測定精度を高精度にて測定して得られた距離情報とする。次に、距離情報d_mは、距離情報の測定精度をd_hよりは、精度を低くした中精度にて測定して得られた距離情報とする。さらに次に、距離情報d_lは、距離情報の測定精度をd_mよりは、精度を低くした低精度にて測定して得られた距離情報とする。
これらの距離情報d_h,d_m,d_lは、上述のように距離の測定精度が異なるのであるが、距離の測定に要する期間、時間、反射光の反射回数が異なるものとなるので、対象物までの距離の大小、対象物の表面の状態、対象物における表示面の大きさの大小の違いによって、適宜、切替えて測定し、その距離情報を使用することが出来るものである。
(実施例の前提)
ここで、本実施例では、ビーム光且つ、高速で光量変調が容易なレーザー光源を光源に用いて説明する。もちろん、LED、超高圧水銀ランプ、無電極ランプの何れかを、ビーム状に集光させる光学部品や、光量の変調部品とともに用いても良いことは、言うまでもない。
光量検出部8を2個用いる構成で示しているが、もちろん、1個或いは複数であっても良い。また、説明の為、距離wを0.5m、Δwを1mm、基準クロックclockを300MHzとして示すが、もちろんこれ以外でも良い。また、本実施例の測距方法の原理は、一般的に知られる光パルス飛行法であり、原理については特に言及せず、実現方法を示す。
(実施例の動作説明)
開始信号生成部3では、図示しない外部より、開始信号start信号を得て、300MHzのclock信号の立ち上がり位相に同期し、スタートパルス信号SPを生成する。スタートパルス信号spのパルス幅は、光が距離wを往復する飛行時間Twより十分に短い時間であれば良い。本実施例のw=0.5mであれば、往復1mに要する飛行時間Twは、光速3.0x10^8[m/s]から、約3.3nsec以下であれば良い。
クロック数計数部4では、スタートパルス信号spをclear信号とした初期化処理並びに、clockの立ち上がりを計数countする。
タイミング信号加算部5では、スタートパルス信号spのパルスタイミングと、後述の反射パルスから生成した反復パルス信号detectのパルスタイミングとを加算して、加算パルス信号mpを生成する。
光源駆動部6では、加算パルス信号mpのパルスタイミングで、レーザー素子の光源7をパルス発振させる。平行光の出力光となるように必要に応じてコリメートレンズ9を付加しても良い。これにより、パルス光は、距離wの先にある対象物10を反射して複数から成る光量検出部8に戻る。ここで、光量検出部8は、光源7の波長成分のみ受光するよう弁別性を有する構成として、反射光とは無関係な光成分を受光して誤動作することを防ぐようにしても良い。
検出光量加算器11と信号増幅部AMP12では、単体或いは複数の光量検出部8の出力値を加算並びに信号増幅する。これにより、反射光の方向性から、各々の光量検出部8の検出結果が異なっても、何れかで捉える様、機能するものである。
比較器13にて、信号増幅結果を大小比較して、反射光が有るタイミングで、反復パルス信号detectを出力する。同時に、反射光量サンプルホールド部14で信号増幅結果を保持する。
反復回数計数部15では、スタートパルス信号spをclear信号とした初期化処理並びに、反復パルス信号detectの立ち上がりを計数し、反復回数nを得る。さらに、カウント値サンプルホールド部16で、反復パルス信号detectの立ち上がりタイミングの、上記クロック計数count値をサンプルcount(n)し、保持する。
演算器17で、クロック計数count(n)値を反射回数nで平均化したものは、反射タイミングから次の反射タイミングにおける、予め既知である回路の伝達遅延時間と、光速度と反射対象物までの距離に応じた光の移動時間とを示し、更に既知の回路伝搬遅延時間を除く事で光の移動時間すなわち反射対象物までの距離wが求まる。ここで、反復回数nが多いほど、距離検出精度が得られる為、反復回数nの大中小で検出精度を定め距離情報d_h,d_m,d_lを得る。
さらに、反射光量サンプルホールド部14の信号増幅結果は、光量検出手段による反射光の強弱、すなわち、対象物の光反射率を反射量情報18として特定する。
なお、前記反射光量サンプルホールド部14は、反射率情報検出手段と呼ぶものとし、また、反射量情報18を反射率情報と呼ぶものとしても良い。
次に、図2、3を用いて、上記した構成を詳述する。図2は距離w=0.5m時の各部位でのタイミング図である。ここで、説明を単純化するため、各回路素子は伝搬時間を0時間の理想条件で動作する場合を示す。
往復距離は2w=1m、往復時間(光パルス飛行時間)Twは1/(3x10^8)秒であり、基準クロック300MHzの周期に一致することから、基準クロックと一致した加算パルス信号mpとなる。すなわち、反復回数nとクロック計数count(n)は、反復回数nの大小に係わらず、一致するよう動作する。n回反復で、反復時間はTwとnの積を示すTw x nである。
従って、上記反復パルス信号detectの立ち上がりを計数して得られる1000回反復に要する時間は、Twの1/(3x10^8)秒(即ち、約3.33nsec)にnとして1000回の積であり、約3.33μsecとなる。
一方、図3に距離w+Δwにある対象物10'の場合を示す。光パルス飛行時間は距離Δw増加したTΔw分、増加する。例えば、Δw=0.5mm時では、3.33psecであり、1000回反復により、累積時間が3.33nsec所謂1clock分の増加に相当する。つまり、1000回反復時のクロック計数値は1001回と成る。
同様に、Δw=1.0mm時は、クロック計数値は1002回である。一方、Δw=-0.5mm時、同999回である。よって、1000回反復時は、±0.5mmの精度にて、距離Δwを測距できる。2000回であれば、±0.25mm精度である。逆に、反復回数を減じると、500回では±1.0mm精度、10回で±50.0mm精度となる。
これらについて、念のため記載すると、上記反復パルス信号detectの立ち上がりを計数して得られる1000回反復に要する時間は、Tw+TΔwの約3.33nsec+3.33psecにnとして1000回の積であり、約3.33333μsecとなる。
よって、距離w=0.5m時の1000回反復に対して、距離w+Δw時の1000回反復に要する時間は、約3.33psecの1000回分の累積時間である3.33nsec増加し、これは、基準クロック300MHzの1clock分の増加に相当することになる。
このことから、例えば、反復回数1000として、未知の距離に位置する対象物からのクロック計数count(n)が求められれば、未知の距離L[m]は、以下の式にて求まることになる。
L=(3x10^8)x(1/(300x10^6))x(count(n)/1000)/2 [m]
上式からも、距離の測定の精度を更に向上させるには、count(n)計数の精度を上げることがあげられ、その為には、反復回数を1000よりも更に大きくすることで、得られることが判る。
また、上式は、基準クロックが300MHzであることが前提であることに注意する必要がある。従って、基準クロックを上げることで、測定の精度を向上させることができ、その場合は、上式の(1/(300x10^6))の値を適宜変えることで、対応出来ることになる。
以上、本実施例では、クロック周波数や距離、遅延の無い理想的な回路に限定して示したが、もちろんこれに限らず、予め既知である回路遅延が反復回数分だけ反復時間に加味して、クロック数を換算することで対応できる。また、反復回数の増減や、測定距離との組合せで、用いる基準クロックの周波数を最適化するようにしても良い。
(実施例1の効果)
上記した本発明の第1の実施例による計測装置は、光の移動時間すなわち対象物までの距離を求めることが出来る所謂、光飛行時間計測方法の一つである。しかしながら、本反射回数を増す事で、平均値の精度すなわち距離の測量精度向上が可能となる。
すなわち、所望の測量精度に必要な分解性能を得る周波数に対し、十分低い周波数を基準クロックに用いても良い。廉価な回路システムで、高精度の測距を有する計測装置を構築できる。
図4は、本発明の第2の実施例による表示装置を示すブロック図である。
図4で、22は水平同期信号(Hsync)、23は垂直同期信号(Vsync)、24は表示Video信号、25は画素アドレス生成部、26は水平・垂直揺動駆動部、27は水平揺動部からなる反射ミラー、28は垂直揺動部、29は投射対象物である。
図5は、光源7のビーム光が2軸で振動する反射ミラー27を反射したビーム状の光束が投射対称29上を移動する軌跡の状態と、反射して光量検出部8に戻る状態の一例を示す。30はビーム光の軌跡、31は有効表示領域である。
図6と図7は、距離wと距離w+Δw時の動作タイミング図を示す。
本実施例では、反射ミラー27の形状や、1軸、2軸などの構成やミラー動作方式等に言及するものでは無い。説明を簡単にするために、本実施例では、反射ミラー27として、2軸で四角の微小ミラーが振動(揺動)するパネルに限定して示す。もちろん、他の構成で有っても良い。また、反射ミラー27は公知の技術を用いた駆動方式であり、特に言及しない。尚、第1の実施例で示した同一符号の部位は、同一動作を成す物であり、説明の重複をさける。
アドレス生成部25では、水平同期信号(Hsync)22と、垂直同期信号(Vsync)23と、後述の図9で示す構成にて生成する表示Video信号24と、反射ミラー27の水平揺動の基準タイミングHstartとを得て、反射ミラー27の水平揺動アドレスHaddと垂直揺動アドレスVaddを生成、並びに表示Video信号の階調数の変調信号VideoPWMを生成する。
また、測距時には、開始タイミング信号startを出力する。尚、変調信号VideoPWMは、第1の実施例で示した測距期間とは、時間を分けて付加するよう動作する。第1の実施例との違いは、光量検出部8での検出対象が、光源7のビーム光の内、反射ミラー27を介して投射対象物29へ到達し反射したビーム光成分である点である。
ここで、反射ミラー27の振動方向と、ビーム光のスキャン軌跡30との関係として、上下方向の振動をV振動、左右方向の振動をH振動と定めて説明する。また、H振動は共振モード、V振動は移動期間と保持期間で成る非共振モードで揺動動作し、H振動はV振動に比べ十分早く動作するものである。例えば、VGA(640画素x480ライン)画像相当を60Hzの更新速度で表示する際、H振動は15kHz以上、V振動は30Hz以上となる関係にあり、V振動の半周期で、H振動が250回以上発生する。
本実施例では、説明を簡単にするために、H振動が2.5回発生する場合で示す。また、図中のビーム光のスキャン軌跡16には、基準振動で動作する際の時間スケールとして、V振動にはLine_0,Line_1,Line_2 Line_3,Line_4、H振動にはh0,h1,h2,h3,h4を併記する。もちろん、H振動は非共振モードであっても良い。
投射対象物29上をビーム光がスキャンする際、表面の傾きや、凹凸形状により、スキャン位置によって、投射距離すなわち光ビームの飛行時間が異なる。
例えば、投射対象物29の表面中央(Line_2,h2)をスキャン時taでは、距離w(=1m)。一方、投射面の端(Line_4,h3)をスキャン時tbでは、距離w+Δw(=1m+1mm)となる場合、図6,7で示すように、第1の実施例で示した図2,3と同一の関係で説明ができる。
ただし、本実施例の場合、ビーム光と被投射物である投射対象29との角度や反射率の関係により、反射光の方向や反射量が区々であり、強いては、光量検出部8での検出が不能になる状態もあり得る。この為、測距時は、反射が確保できる素材を投射対象29に覆って対処しても良い。
また、測距時は、水平揺動を非共振モードとすることで、各スキャン位置でビーム光の投射位置を固定して計測しても良い。もちろん、共振モードで有っても良いが、この場合、各スキャン位置でビーム光の反射回数の限定すなわち測定精度を犠牲にするものである。例えば、距離w時で300MHzの基準クロックclockと、1画素のスキャン時間(1/30MHz)の場合、各画素10回の反復測定すなわち±50.0mm精度を確保できる。
図9に、画像歪み補正のブロック図を示す。32は入力Video信号の入力端子、33は局所反射率確定部、34は局所距離確定部、35は曲面形状判定部、36は曲面歪み補正部である。
局所反射率確定部33と、局所距離確定部34並びに曲面形状判定部35にて、上記処理により得られる、投射対象29のそれぞれの位置での反射量情報18と距離情報d_h,d_m,d_lを得て確定し、水平揺動アドレスHaddと垂直揺動アドレスVaddから投射対象29の座標を定めて登録することで、表面形状の凹凸や曲面情報、反射率を決定する。さらに、曲面歪み補正部36で曲面情報と反射率にて、入力Video信号の画素配置を再配分並びに信号振幅補正して、曲面歪みの逆補正により表示Video信号24を生成する。
ここで、画像の歪み補正処理は、公知の技術で対応するものであり、特に言及しない。
(第2の実施例の効果)
本実施例によれば、映像表示装置を測距並びに反射率の計測装置として転用できる。これにより、投射対象29の凹凸関係や曲面情報(歪み情報)を計測でき、且つ、入力Video信号を、曲面情報で逆補正して得た表示Video信号を用いて投射対象29に投射すると、曲面凹凸に合わせた表示で、歪みのない映像が再現できる。さらに、反射率のムラがあっても、ビーム光の強弱で逆補正することで、均等な輝度を確保できる。また、2点間の深度差からその面傾き情報を算出できることから、面傾きによる光反射量の補足も可能である。
(第3の表示装置)
図8は、本発明の第3の実施例による表示装置を示すブロック図である。
図8で、本発明の第1と2の実施例で示した計測装置と表示装置から成るものであり、さらに、光源7が少なくともR/G/Bの3原色分有し、光源駆動部6は、R/G/Bそれぞれの光源7を、上記と同様な駆動方法で、独立或いは同時に駆動する。図9は、上記第2の実施例と同一である。但し光量検出部8は、光の強弱に加え、R/G/B光成分を分別して検出する様に構成する。もちろん、光の強弱のみでも良い。
(第3の実施例の効果)
以上示した第3の実施例の表示装置によれば、R/G/B光成分で、投射対象29の凹凸情報に加え、各光成分毎の反射率すなわち、投射対象29の色情報の計測が可能となる。さらに、光量検出部8の色弁別性により、R/G/B光で同時にかつ、独立に測距可能であることから、反復回数nであっても、検出精度が3倍に向上可能となる。また、投射対象29の表面色に合わせて、表示Video信号の色配分を最適化することで、色の強弱補正が可能であり、例えば、色むらのある表面でも白色表示が可能となる。
また、測距と色むら測定は、映像表示期間と時間を異ならしめて、随時可能であることから、随時投射対象29の形状を把握並びに、逆補正して表示するようにできる。これは、表示装置本体の移動に加え、投射対象29が動いた場合であっても、直ぐ様、変化した曲面形状に合わせた表示ができる。さらに、加速度センサ等の動き検出器を表示装置に付加して、全体が動いたことを検出して、測距動作を行うように構成しても良い。
これにより、表示装置や、投射対象29を動かしても、変化した曲面形状を認識並びに逆補正した映像表示が可能となる。
上術した実施例は、LEDやレーザー光源を用いた背面投射或いは前面投射型の画像表示装置や、被写体の距離情報を用いて撮像するカメラ装置に適用できる。
また、MEMS技術を用いて、投射表示するものであってもよいが、これに限定されるものではない。例えば、光源からの照射光を対象物に所謂点として投射する構成を設け、その点の座標に対応するアドレスを前記アドレス生成手段によって、走査、駆動することで、表示面として表示するものであっても良い。その例としては、前記光源の照射光を光ファイバーに導き、対象物に投射するようにし、当該光ファイバーを走査、駆動させて表示面とするものなどが上げられる。
本発明による第1の実施例の計測装置を示す構成図である。 本発明による第1の実施例を補足するタイミング図である。 本発明による第1の実施例を補足するタイミング図である。 本発明による第2の実施例の計測装置とそれを用いた表示装置を示す構成図である。 本発明による第2の実施例の動作を補足する構成図である。 本発明による第2の実施例を補足するタイミング図である。 本発明による第2の実施例を補足するタイミング図である。 本発明による第3の実施例の計測装置とそれを用いた表示装置を示す構成図である。 本発明による第3の実施例を補足する構成図である。
符号の説明
1…開始信号、2…基準クロック、3…開始信号生成部、4…クロック数計数部、5…タイミング信号加算部、6…光源駆動部、7…光源、8…光量検出部、9…コリメートレンズ、10…対象物、11…検出光量加算器、12…信号増幅部(AMP))))、13…比較器、14…反射光量サンプルホールド部、15…反復回数計数部、16…カウント値サンプルホールド部、17…演算器、18…反射量情報、19…距離情報d_h、20…距離情報d_m、21…距離情報d_l、22…水平同期信号(Hsync)、23…垂直同期信号(Vsync)、24…表示Video信号、25…画素アドレス生成部、26…水平・垂直揺動駆動部、27…水平揺動部からなる反射ミラー、28…垂直揺動部、29…投射対象物、30…ビーム光の軌跡、31…有効表示領域、32…入力Video信号、33…局所反射率確定部、34…局所距離確定部、35…曲面形状判定部、36…曲面歪み補正部、37…CPU。

Claims (5)

  1. 光源と、
    前記光源を駆動する光源駆動手段と、
    前記光源からの照射光を反射して対象物に投射光として投射する反射ミラーと、
    前記反射ミラーを共振モードおよび非共振モードで振動するように駆動するミラー駆動手段と、
    前記投射光が投射される対象物での位置の座標に対応するアドレス情報を前記ミラー駆動手段に入力するアドレス生成手段と、
    少なくとも前記光源駆動手段、前記ミラー駆動手段、前記アドレス生成手段を制御する制御手段と
    を有する表示装置において、
    前記アドレス生成手段で指示された前記対象物上の任意の点に前記投射光が投射され、反射した後の反射光を得て反射光量を検出する光量検出手段と、前記光量検出手段から出力される信号を演算する演算手段とを有し、前記演算手段が前記光量検出手段から出力される信号から、前記対象物上の前記アドレス生成手段で指示される点までの距離を演算して距離情報として出力することで、対象物までの距離を示す距離情報を出力する測定手段と、
    少なくとも曲面歪みに対応して補正した映像情報を出力する曲面歪み補正手段と
    前記対象物の表面の形状を判定する曲面形状判定手段と、
    前記光量検出手段からの出力から反射率を示す反射率情報を出力させる反射率情報検出手段と
    を設け、
    前記測定手段は、
    前記反射ミラーを非共振モードで駆動し、投射位置を固定して複数回反復して反射光量の光量検出をおこない、距離情報を出力し、
    前記曲面歪み補正手段は、
    前記アドレス生成手段からの前記アドレス情報と、前記測定手段からの前記距離情報が入力された後に、補正した映像情報を前記光源駆動手段に出力し、
    前記曲面形状判定手段は、
    前記アドレス生成手段からの前記アドレス情報と
    前記反射率情報検出手段からの反射率情報と、
    前記演算手段からの距離情報と
    から、
    前記対象物の表面の歪情報を含む曲面情報と、
    前記対象物の表面の凹凸情報と、
    前記対象物の表面の反射率情報と、
    を出力し、
    曲面形状判定手段から出力された前記曲面情報と前記凹凸情報と前記反射率情報が前記曲面歪み補正手段に入力され、
    前記曲面歪み補正手段で補正した映像情報を表示し、
    前記光源駆動手段に駆動された前記光源からの照射光が共振モードで駆動される前記反射ミラーにより対象物に投射されることを特徴とする表示装置。
  2. 請求項1に記載の表示装置において、
    前記光源は、少なくとも3原色のR/G/B光を発光する光源を有し、
    R/G/B成分毎にそれぞれ測定するように前記の各手段を構成し、
    各光成分毎に、前記曲面形状判定手段から投射対象物の前記曲面情報と前記凹凸情報と前記反射率情報が出力され、
    前記曲面情報、前記凹凸情報または反射率情報に基づき補正した映像を表示することを特徴とする表示装置。
  3. 請求項1に記載の表示装置において、
    前記曲面形状判定手段から出力された対象物の前記曲面情報、前記凹凸情報に対応させて前記映像情報の画素配置を水平方向或いは垂直方向に伸縮させる処理と、
    前記反射率情報によって画素の信号振幅補正をして明暗の補正を行う処理と、
    前記表示映像情報を生成する曲面歪み補正処理とを行う補正手段と
    を設け、
    前記映像情報を、前記対象物の形状に対応させて補正した映像信号とした後に、対象物に表示すること、
    を特徴とする表示装置。
  4. 請求項1乃至3に記載の表示装置において、
    前記光源は、ビーム光に形成して、対象物に照射されるLED光源、レーザー光源であること、
    を特徴とする表示装置。
  5. 請求項1乃至3に記載の表示装置において、
    前記測定手段が距離を測定する際に、距離を測定する測距期間と映像表示動作する時間を異ならせて距離の測定を行い、
    測定された距離情報に基づき、前記光源駆動手段を変調駆動することで、
    映像情報を対象物に表示することを特徴とする表示装置。
JP2008249507A 2008-09-29 2008-09-29 表示装置 Active JP5276943B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2008249507A JP5276943B2 (ja) 2008-09-29 2008-09-29 表示装置
CN2009100094474A CN101715091B (zh) 2008-09-29 2009-02-24 显示装置
US12/426,638 US8287136B2 (en) 2008-09-29 2009-04-20 Display apparatus
US13/605,281 US8625082B2 (en) 2008-09-29 2012-09-06 Display apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008249507A JP5276943B2 (ja) 2008-09-29 2008-09-29 表示装置

Publications (2)

Publication Number Publication Date
JP2010078534A JP2010078534A (ja) 2010-04-08
JP5276943B2 true JP5276943B2 (ja) 2013-08-28

Family

ID=42057073

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008249507A Active JP5276943B2 (ja) 2008-09-29 2008-09-29 表示装置

Country Status (3)

Country Link
US (2) US8287136B2 (ja)
JP (1) JP5276943B2 (ja)
CN (1) CN101715091B (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012078098A (ja) * 2010-09-30 2012-04-19 Pulstec Industrial Co Ltd 3次元形状測定装置
US9781407B2 (en) * 2011-06-20 2017-10-03 Panasonic Intellectual Property Corporation Of America Image display device and image display method
CN103034030B (zh) 2011-09-30 2016-05-04 精工爱普生株式会社 投影仪以及投影仪的控制方法
JP2013200478A (ja) * 2012-03-26 2013-10-03 Citizen Holdings Co Ltd 走査型画像投影装置及び走査型画像投影装置の駆動方法
JP6042674B2 (ja) * 2012-09-20 2016-12-14 スタンレー電気株式会社 三次元情報取得機能付き画像投影装置
US9691163B2 (en) 2013-01-07 2017-06-27 Wexenergy Innovations Llc System and method of measuring distances related to an object utilizing ancillary objects
US10196850B2 (en) 2013-01-07 2019-02-05 WexEnergy LLC Frameless supplemental window for fenestration
US9845636B2 (en) 2013-01-07 2017-12-19 WexEnergy LLC Frameless supplemental window for fenestration
US10883303B2 (en) 2013-01-07 2021-01-05 WexEnergy LLC Frameless supplemental window for fenestration
US9230339B2 (en) 2013-01-07 2016-01-05 Wexenergy Innovations Llc System and method of measuring distances related to an object
US8923650B2 (en) 2013-01-07 2014-12-30 Wexenergy Innovations Llc System and method of measuring distances related to an object
JP6155717B2 (ja) 2013-03-14 2017-07-05 セイコーエプソン株式会社 画像処理装置、プロジェクター及び画像処理方法
JP2015038595A (ja) * 2013-07-19 2015-02-26 キヤノン株式会社 映像生成装置、映像生成方法
EP2858358B1 (de) * 2013-10-01 2016-04-27 Trilite Technologies GmbH Anzeigevorrichtung und Kalibrierungsverfahren hierfür
JP6335674B2 (ja) * 2013-11-15 2018-05-30 シチズン時計株式会社 光モジュール
JP6312410B2 (ja) * 2013-11-25 2018-04-18 オリンパス株式会社 アライメント装置、顕微鏡システム、アライメント方法、及びアライメントプログラム
CN106463088B (zh) * 2014-05-16 2019-09-03 麦克赛尔株式会社 扫描型显示装置
KR102223792B1 (ko) * 2014-11-10 2021-03-04 엘지디스플레이 주식회사 영상왜곡 보정장치 및 보정방법, 이를 포함하는 곡면형 표시장치
CN105704412A (zh) * 2014-11-25 2016-06-22 原相科技股份有限公司 投影方法以及投影系统
CN104407493B (zh) * 2014-11-26 2016-03-02 苏州佳世达光电有限公司 一种投影装置及自动对焦方法
IL271006B1 (en) 2017-05-30 2024-05-01 WexEnergy LLC Complementary window without a frame for window design
CN108803006B (zh) * 2017-09-18 2021-01-05 成都理想境界科技有限公司 光纤扫描成像系统、设备及其畸变检测与矫正系统
CN107707898B (zh) * 2017-09-30 2019-06-21 歌尔科技有限公司 激光投影仪的图像失真校正方法和激光投影仪
US10606828B2 (en) * 2017-10-19 2020-03-31 Jpmorgan Chase Bank, N.A. Storage correlation engine
CN108759276A (zh) * 2018-03-14 2018-11-06 青岛海尔股份有限公司 在冰箱门体上投射图像的方法和冰箱
CN110740302B (zh) * 2018-07-20 2021-08-17 成都极米科技股份有限公司 投影仪失焦方向的定位方法和定位装置
TWI700507B (zh) * 2018-10-24 2020-08-01 精準基因生物科技股份有限公司 飛行時間測距裝置以及飛行時間測距方法
CN109917432B (zh) * 2019-01-31 2020-05-08 北京讯腾智慧科技股份有限公司 一种受限空间内的rtk测量系统和测量方法
US10901676B2 (en) * 2019-02-13 2021-01-26 International Business Machines Corporation Application extension to localized external devices

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4902083A (en) * 1988-05-31 1990-02-20 Reflection Technology, Inc. Low vibration resonant scanning unit for miniature optical display apparatus
JPH06102021A (ja) * 1992-09-21 1994-04-12 Kubota Corp 三次元形状計測装置
US5920382A (en) * 1996-07-17 1999-07-06 Fuji Electric Co., Ltd. Distance-measuring apparatus
DE10100414A1 (de) * 2001-01-08 2002-07-11 Bosch Gmbh Robert Radareinrichtung und Verfahren zum Unterdrücken von Störungen einer Radareinrichtung
US20020100884A1 (en) * 2001-01-29 2002-08-01 Maddock Brian L.W. Digital 3-D model production method and apparatus
JP2002328428A (ja) * 2001-05-01 2002-11-15 Sony Corp プロジェクタおよび画像投射システム
JP2003281686A (ja) * 2002-03-20 2003-10-03 Mitsubishi Heavy Ind Ltd 距離画像センサ及び車種判別装置
US6803998B2 (en) * 2002-08-20 2004-10-12 Applied Materials, Inc. Ultra low cost position and status monitoring using fiber optic delay lines
JP2005004118A (ja) * 2003-06-16 2005-01-06 Hitachi Ltd 表示装置
JP3764976B2 (ja) * 2003-10-10 2006-04-12 カシオ計算機株式会社 撮影機能付投射装置、及び投射画像撮影システム
US7055261B2 (en) * 2004-07-07 2006-06-06 Daehwi Nam Versatile measurement device for three dimensions
JP4853993B2 (ja) * 2005-03-11 2012-01-11 独立行政法人情報通信研究機構 測距システム
JP2006292900A (ja) * 2005-04-08 2006-10-26 Hitachi Ltd 投写光学ユニット及びそれを用いた投写型映像表示装置
JP4639973B2 (ja) 2005-06-07 2011-02-23 カシオ計算機株式会社 画像投影装置
WO2007023946A1 (ja) * 2005-08-26 2007-03-01 Brother Kogyo Kabushiki Kaisha 光走査装置、画像表示装置及び網膜走査型画像表示装置
US7905606B2 (en) * 2006-07-11 2011-03-15 Xerox Corporation System and method for automatically modifying an image prior to projection
JP5167634B2 (ja) * 2006-12-15 2013-03-21 コニカミノルタアドバンストレイヤー株式会社 レーザー投射装置
US7679804B2 (en) * 2007-04-26 2010-03-16 Microvision, Inc. Non-resonant drive for adaptive trajectory of a scanner system having a MEMS device
US20090066916A1 (en) * 2007-09-06 2009-03-12 Microvision, Inc. Scanning laser projector with reduced laser power incident on the retina
US7857460B2 (en) * 2007-09-26 2010-12-28 Motorola Mobility, Inc. Image stabilization in a laser-scanning based projector

Also Published As

Publication number Publication date
JP2010078534A (ja) 2010-04-08
CN101715091A (zh) 2010-05-26
US20120327391A1 (en) 2012-12-27
US8287136B2 (en) 2012-10-16
US20100079683A1 (en) 2010-04-01
US8625082B2 (en) 2014-01-07
CN101715091B (zh) 2012-05-30

Similar Documents

Publication Publication Date Title
JP5276943B2 (ja) 表示装置
JP6230624B2 (ja) 画像投影装置および制御方法
JP4595543B2 (ja) 画像表示装置および較正方法
TWI477879B (zh) 雷射投影機
JP5326352B2 (ja) 画像表示装置
US9075246B2 (en) Image display device having laser light scanning with a variation in scanning speed
JP6604816B2 (ja) 映像投射装置及びmemsミラーの制御方法
JP2006323355A (ja) 光走査装置、光走査装置の制御方法及び画像表示装置
JP2018010100A (ja) レーザ投射表示装置
JP2009198988A (ja) 画像表示装置
US11706392B2 (en) MEMS resonance control using phase detection
JP2009222973A (ja) 画像投射装置
JP5828323B2 (ja) 映像投影装置、映像投影方法
KR20140000667A (ko) 화상 표시 장치
WO2008038676A1 (fr) Dispositif d'affichage d'image et dispositif d'affichage d'image du type à balayage rétinien
WO2021245809A1 (ja) 距離測定装置、ミラー制御方法、及びプログラム
JP5934481B2 (ja) 光走査装置
JP2009086371A (ja) 画像表示装置
JP5929894B2 (ja) プロジェクタおよびその制御方法
JP2011221060A (ja) 投射型表示装置
JP2015040928A (ja) 光偏向装置、画像形成装置、車両及び光偏向装置の制御方法
JP6171502B2 (ja) プロジェクタおよびプロジェクタ機能を有する電子機器
JP5125561B2 (ja) 投影装置及び投影制御方法
JP2020190617A (ja) 虚像表示装置
JP2019133068A (ja) 投影装置およびその制御方法ならびにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110325

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120706

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120717

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130313

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130423

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130520

R151 Written notification of patent or utility model registration

Ref document number: 5276943

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250