JPWO2014162414A1 - 投影装置、ヘッドアップディスプレイ、制御方法、プログラム及び記憶媒体 - Google Patents

投影装置、ヘッドアップディスプレイ、制御方法、プログラム及び記憶媒体 Download PDF

Info

Publication number
JPWO2014162414A1
JPWO2014162414A1 JP2015509668A JP2015509668A JPWO2014162414A1 JP WO2014162414 A1 JPWO2014162414 A1 JP WO2014162414A1 JP 2015509668 A JP2015509668 A JP 2015509668A JP 2015509668 A JP2015509668 A JP 2015509668A JP WO2014162414 A1 JPWO2014162414 A1 JP WO2014162414A1
Authority
JP
Japan
Prior art keywords
laser
laser element
light beam
current
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015509668A
Other languages
English (en)
Other versions
JP5976925B2 (ja
Inventor
克宏 小池
克宏 小池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Original Assignee
Pioneer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Corp filed Critical Pioneer Corp
Application granted granted Critical
Publication of JP5976925B2 publication Critical patent/JP5976925B2/ja
Publication of JPWO2014162414A1 publication Critical patent/JPWO2014162414A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3182Colour adjustment, e.g. white balance, shading or gamut
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/02Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes by tracing or scanning a light beam on a screen
    • G09G3/025Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes by tracing or scanning a light beam on a screen with scanning or deflecting the beams in two directions or dimensions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3129Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] scanning a light beam on the display screen
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0626Adjustment of display parameters for control of overall brightness
    • G09G2320/064Adjustment of display parameters for control of overall brightness by time modulation of the brightness of the illumination source
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2007Display of intermediate tones
    • G09G3/2018Display of intermediate tones by time modulation using two or more time intervals
    • G09G3/2022Display of intermediate tones by time modulation using two or more time intervals using sub-frames
    • G09G3/2025Display of intermediate tones by time modulation using two or more time intervals using sub-frames the sub-frames having all the same time duration
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2007Display of intermediate tones
    • G09G3/2077Display of intermediate tones by a combination of two or more gradation control methods
    • G09G3/2081Display of intermediate tones by a combination of two or more gradation control methods with combination of amplitude modulation and time modulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Mechanical Optical Scanning Systems (AREA)

Abstract

画像描画装置(1)は、レーザ(LD1〜LD3)と、映像処理部(31)とを有する。レーザ(LD1〜LD3)は、MEMSミラー(12)により投影面上に走査されるレーザ光(LR、LB、LG)を発光する。映像処理部(31)は、入力画像信号(Si)に基づいてレーザ(LD1〜LD3)を駆動し、各レーザ光の強度(光量)を制御する。このとき、映像処理部(31)は、各レーザ(LD1〜LD3)のレーザ駆動電流(IL)をパルス幅変調することで、各レーザ光(LR、LB、LG)の見かけ上の強度を制御する。

Description

本発明は、半導体レーザ素子が出力する光量バランスを制御する技術分野に関する。
従来から、出射するレーザ光の強度を調整する技術が知られている。例えば、特許文献1には、偏光成分に応じて透過量の異なる同一の偏光ビームスプリッタを、外部鏡筒内に回転自在に配置された内部鏡筒の回転軸に直交する平面に対称かつこの平面とそれぞれ角度θだけ傾けて配置し、レーザ光源からの直線偏光を光軸がこの内部鏡筒の回転軸と一致するように入射させ、内部鏡筒を所望の位置に回転させることで、出射光軸と入射光軸が常に一致しつつ、出射光の光量を調整する技術が開示されている。また、特許文献2には、レーザの光出力が電流に比例して直線的に増加しなくなる現象であるキンクの特性を勘案した半導体レーザ素子の光学特性の測定方法が開示されている。
特開平11−258526号公報 特開2006−294999号公報
キンクによる影響を受ける電流値でレーザを駆動させた場合、レーザの動作が不安定となり、映像がちらつく場合がある。また、キンク特性は、一般には各レーザによってそれぞれ異なるため、各レーザのキンク特性を考慮せずに光を出力した場合、キンクによる影響が大きいレーザの光量が相対的に小さくなり、色ずれが生じることとなる。一方、特許文献1に記載の技術によりレーザ光を調整する場合、機器が大型化してしまうという問題がある。
本発明が解決しようとする課題は上記のようなものが例として挙げられる。本発明は、映像のちらつきや色ずれを好適に抑制しつつ、広範囲の階調を表現することが可能な投影装置を提供することを主な目的とする。
請求項に記載の発明では、画像信号に基づいて画像を投影する投影装置であって、走査手段により投影面上に走査される光ビームを発光するレーザ素子と、前記画像信号に基づいて前記レーザ素子を駆動し、前記光ビームの強度を制御する制御手段と、を備え、前記制御手段は、前記レーザ素子を駆動する電流をパルス幅変調またはフレーム変調することで、前記光ビームの見かけ上の強度を制御することを特徴とする。
また、請求項に記載の発明では、走査手段により投影面上に走査される光ビームを発光するレーザ素子を有し、画像信号に基づいて画像を投影する投影装置が実行する制御方法であって、前記画像信号に基づいて前記レーザ素子を駆動し、前記光ビームの強度を制御する制御工程を有し、前記制御工程は、前記レーザ素子を駆動する電流をパルス幅変調またはフレーム変調することで、前記光ビームの見かけ上の強度を制御することを特徴とする。
また、請求項に記載の発明では、走査手段により投影面上に走査される光ビームを発光するレーザ素子を有し、画像信号に基づいて画像を投影する投影装置が実行するプログラムであって、前記画像信号に基づいて前記レーザ素子を駆動し、前記光ビームの強度を制御する制御手段として前記投影装置を機能させ、前記制御手段は、前記レーザ素子を駆動する電流をパルス幅変調またはフレーム変調することで、前記光ビームの見かけ上の強度を制御することを特徴とする。
本実施例に係る画像描画装置の構成を示す。 レーザ駆動電流ILとレーザが出力する光量との関係を示すグラフである。 任意の画素で各階調を表すのに必要なレーザ駆動電流の大きさ及びパルス幅を示す図である。 画素P1〜P4について、デューティー比を変えずにレーザ駆動電流を変動させて表示制御を行う例を示す。 画素P1〜P4について、レーザ駆動電流をパルス幅変調して表示制御を行う例を示す。 第2実施例において、任意の画素で各階調を表すのに必要なレーザ駆動電流の大きさ及びパルス幅を示す図である。 画像描画装置が適用された光源部を有するヘッドアップディスプレイの構成例を示す。 4つのフレームで階調を表現する場合の、各階調を表すのに必要なフレームごとのレーザ駆動電流の大きさを示す図である。
本発明の1つの好適な実施形態では、画像信号に基づいて画像を投影する投影装置であって、走査手段により投影面上に走査される光ビームを発光するレーザ素子と、前記画像信号に基づいて前記レーザ素子を駆動し、前記光ビームの強度を制御する制御手段と、を備え、前記制御手段は、前記レーザ素子を駆動する電流をパルス幅変調またはフレーム変調することで、前記光ビームの見かけ上の強度を制御する。
上記の投影装置は、レーザ素子と、制御手段とを有する。レーザ素子は、走査手段により投影面上に走査される光ビームを発光する。制御手段は、画像信号に基づいてレーザ素子を駆動し、光ビームの強度を制御する。このとき、制御手段は、レーザ素子を駆動する電流をパルス幅変調またはフレーム変調することで、光ビームの見かけ上の強度を制御する。この態様により、投影装置は、レーザ素子が限られた範囲の光ビームの強度しか高精度に出力できない場合であっても、広範囲の階調を的確に表現することができる。
上記投影装置の他の一態様では、前記制御手段は、前記レーザ素子を駆動する電流を、当該レーザ素子におけるキンクの影響が生じない電流値に保持しながらパルス幅変調またはフレーム変調する。この態様により、投影装置は、キンクによる影響を受けることなく、広範囲の階調を的確に表現することができる。
上記投影装置の他の一態様では、前記制御手段は、前記レーザ素子におけるキンクの影響が生じない電流値で前記レーザ素子を駆動した場合の光ビームより強度が弱い光ビームを発光させる場合にのみ、前記レーザ素子を駆動する電流をパルス幅変調またはフレーム変調する。この態様により、投影装置は、変調により必要となるクロック数の増加を低減することができる。
上記投影装置の他の一態様では、それぞれ異なる色の光ビームを発光する複数のレーザ素子を備え、前記制御手段は、前記複数のレーザ素子をそれぞれ駆動する電流をパルス幅変調またはフレーム変調する。この態様により、各色のレーザ素子が出力する階調を的確に表現し、カラーバランスを適切に保つことができる。
上記投影装置の他の一態様では、前記制御手段は、パルス幅変調またはフレーム変調する階調を前記複数のレーザ素子で一致させ、かつ、当該階調を、前記複数のレーザ素子の少なくとも1つがキンクによる影響を受ける階調に設定する。この態様により、投影装置は、パルス幅変調またはフレーム変調に起因した色ずれを好適に抑制することができる。
上記投影装置の他の一態様では、投影する画像の所望の明るさを決定するための情報を取得する取得手段を備え、前記制御手段は、前記情報と前記画像信号に基づいて前記レーザ素子を駆動し、前記光ビームの見かけ上の強度を制御する。この場合であっても、投影装置は、レーザ素子を駆動する電流をパルス幅変調またはフレーム変調することで、種々の階調を表現することができるため、指定された明るさにより画像を適切に表示することができる。
本発明の他の好適な実施形態では、ヘッドアップディスプレイは、上記いずれかの投影装置を備え、前記画像をユーザの目の位置から虚像として視認させる。一般に、ヘッドアップディスプレイは、種々の明るさの環境下で虚像を表示するため、広範囲の階調を表現する必要がある。従って、ヘッドアップディスプレイは、上述の投影装置を備えることで、種々の明るさの環境下で虚像を適切に表示することができる。
本発明のさらに別の実施形態では、走査手段により投影面上に走査される光ビームを発光するレーザ素子を有し、画像信号に基づいて画像を投影する投影装置が実行する制御方法であって、前記画像信号に基づいて前記レーザ素子を駆動し、前記光ビームの強度を制御する制御工程を有し、前記制御工程は、前記レーザ素子を駆動する電流をパルス幅変調またはフレーム変調することで、前記光ビームの見かけ上の強度を制御する。投影装置は、この制御方法を実行することで、レーザ素子が限られた範囲の光ビームの強度しか高精度に出力できない場合であっても、広範囲の階調を的確に表現することができる。
本発明のさらに別の実施形態では、走査手段により投影面上に走査される光ビームを発光するレーザ素子を有し、画像信号に基づいて画像を投影する投影装置が実行するプログラムであって、前記画像信号に基づいて前記レーザ素子を駆動し、前記光ビームの強度を制御する制御手段として前記投影装置を機能させ、前記制御手段は、前記レーザ素子を駆動する電流をパルス幅変調またはフレーム変調することで、前記光ビームの見かけ上の強度を制御する。投影装置は、このプログラムを実行することで、レーザ素子が限られた範囲の光ビームの強度しか高精度に出力できない場合であっても、広範囲の階調を的確に表現することができる。好適には、上記プログラムは、記憶媒体に記憶される。
以下、図面を参照して本発明の好適な実施例について説明する。
[画像描画装置の構成]
図1は、本発明に係る投影装置が適用された各実施例に係る画像描画装置1の構成を示す。図1に示すように、画像描画装置1は、画像信号入力部2と、ビデオASIC3と、フレームメモリ4と、ROM5と、RAM6と、レーザドライバASIC7と、MEMS制御部8と、レーザ光源部9と、MEMSミラー12とを備える。画像描画装置1は、例えばヘッドアップディスプレイの光源として用いられ、コンバイナ等の光学素子に表示像を構成する光を出射する。
画像信号入力部2は、外部から入力される画像信号(「入力画像信号Si」とも呼ぶ。)を受信してビデオASIC3に出力する。
ビデオASIC3は、画像信号入力部2から供給される入力画像信号Si及びMEMSミラー12から入力される走査位置情報「Sc」に基づいてレーザドライバASIC7やMEMS制御部8を制御するブロックであり、ASIC(Application Specific Integrated Circuit)として構成されている。ビデオASIC3は、映像処理部31と、タイミングコントローラ32と、を備える。
映像処理部31は、入力画像信号Siに対し、所定の信号処理を行う。具体的には、映像処理部31は、補正後の入力画像信号Siから、画像表示部に表示される画像データと同期信号とを分離し、画像データをフレームメモリ4へ書き込む。また、映像処理部31は、フレームメモリ4に書き込まれた画像データを読み出してビットデータに変換する。さらに映像処理部31は、変換されたビットデータを、各レーザの発光パターンを表す信号(「発光パターン信号」とも呼ぶ。)に変換する。ここで、発光パターン信号には、各レーザを発光させる輝度、即ち各レーザ光の光量に関する情報も含まれる。さらに、映像処理部31は、各レーザLD1〜LD3に生じるキンクによる色ずれを抑制するため、入力画像信号Si又は発光パターン信号の補正を行う。映像処理部31は、本発明における「制御手段」の一例である。
タイミングコントローラ32は、映像処理部31の動作タイミングを制御する。また、タイミングコントローラ32は、後述するMEMS制御部8の動作タイミングも制御する。
フレームメモリ4には、映像処理部31により分離された画像データが書き込まれる。ROM5は、ビデオASIC3が動作するための制御プログラムやデータなどを記憶している。本実施例では、ROM5は、レーザの各々のキンク特性に関する情報を記憶する。RAM6には、ビデオASIC3が動作する際のワークメモリとして、各種データが逐次読み書きされる。
レーザドライバASIC7は、後述するレーザ光源部9に設けられるレーザダイオードを駆動する信号を生成するブロックであり、ASICとして構成されている。レーザドライバASIC7は、赤色レーザ駆動回路71と、青色レーザ駆動回路72と、緑色レーザ駆動回路73と、を備える。
赤色レーザ駆動回路71は、映像処理部31が出力する発光パターン信号に基づき、赤色レーザ「LD1」を駆動するための電流を赤色レーザLD1に供給する。青色レーザ駆動回路72は、映像処理部31が出力する発光パターン信号に基づき、青色レーザ「LD2」を駆動するための電流を青色レーザLD2に供給する。緑色レーザ駆動回路73は、映像処理部31が出力する信号に基づき、緑色レーザ「LD3」を駆動するための電流を緑色レーザLD3に供給する。
MEMS制御部8は、タイミングコントローラ32が出力する信号に基づきMEMSミラー12を制御する。MEMS制御部8は、サーボ回路81と、ドライバ回路82と、を備える。
サーボ回路81は、タイミングコントローラ32からの信号に基づき、MEMSミラー12の動作を制御する。
ドライバ回路82は、サーボ回路81が出力するMEMSミラー12の制御信号を所定レベルに増幅して出力する。
レーザ光源部9は、レーザドライバASIC7から出力される駆動信号に基づいて、レーザ光を出射する。具体的には、レーザ光源部9は、主に、赤色レーザLD1と、青色レーザLD2と、緑色レーザLD3と、コリメータレンズ91a〜91cと、反射ミラー92a〜92cと、マイクロレンズアレイ94と、レンズ95と、を備える。レーザLD1〜LD3は、それぞれ、本発明における「レーザ素子」の一例である。
赤色レーザLD1は赤色のレーザ光(「赤色レーザ光LR」とも呼ぶ。)を出射し、青色レーザLD2は青色のレーザ光(「青色レーザ光LB」とも呼ぶ。)を出射し、緑色レーザLD3は緑色のレーザ光(「緑色レーザ光LG」とも呼ぶ。)を出射する。コリメータレンズ91a〜91cは、それぞれ、赤色、青色及び緑色のレーザ光LR、LB、LGを平行光にして、反射ミラー92a〜92cに出射する。反射ミラー92bは、青色レーザ光LBを反射させ、反射ミラー92aは、青色レーザ光LBを透過させ、赤色レーザ光LRを反射させる。そして、反射ミラー92cは、緑色レーザ光LGのみを透過させ、青色及び赤色のレーザ光LB、LRを反射させる。こうして反射ミラー92cを透過した緑色レーザ光LG及び反射ミラー92cで反射された青色及び赤色のレーザ光LB、LRは、MEMSミラー12に入射される。
また、レーザLD1〜LD3は、それぞれ、レーザ駆動回路71〜73から供給される電流(「レーザ駆動電流IL」とも呼ぶ。)に応じた光量を出力する。ここで、各レーザLD1〜LD3には、出力される光量が供給される電流に比例して直線的に増加しなくなる現象であるキンクが発生する。キンクは、低輝度を表示する際に発生し、キンクが発生する電流値及びその程度は、各レーザLD1〜LD3のそれぞれで個体差がある。以上を勘案し、本実施例では、画像描画装置1は、描画した画像の色ずれ等を抑制するように、レーザ駆動電流ILの変調を行う。以後では、キンクが発生するレーザ駆動電流ILの範囲を「キンク電流域Ikw」とも呼ぶ。
MEMSミラー12は、反射ミラー92cから入射されたレーザ光をEPE(Exit
Pupil Expander)の一例であるマイクロレンズアレイ94に向けて反射する。また、MEMSミラー12は、基本的には、画像信号入力部2に入力された画像を表示するためにMEMS制御部8の制御により、スクリーンとしてのマイクロレンズアレイ94上を走査するように移動し、その際の走査位置情報(例えばミラーの角度などの情報)をビデオASIC3へ出力する。マイクロレンズアレイ94は、複数のマイクロレンズが配列されており、MEMSミラー12で反射されたレーザ光が入射される。レンズ95は、マイクロレンズアレイ94の放射面に形成された画像を拡大する。
[第1実施例]
次に、第1実施例におけるキンク補正について説明する。概略的には、映像処理部31は、レーザ駆動電流ILを、キンク電流域Ikw内の電流値よりも大きい所定の電流値に固定し、パルス幅変調(Pulse Width Modulation)を行う。これにより、映像処理部31は、低輝度画素を、キンクによる影響を受けることなく適切に表示する。
まず、キンク電流域Ikwについて、図2を参照して説明する。図2は、レーザ駆動電流ILと所定のレーザが出力する光量との関係を概念的に示すグラフである。図2のグラフでは、レーザ駆動電流ILを下げて光量を下げていくと、レーザ駆動電流ILが電流値「Ik」以下の場合に、レーザ駆動電流ILと光量とが非線形となり、かつ、レーザ駆動電流ILに対する光量の変化の割合が大きくなる。従って、この場合、電流値Ik以下のレーザ駆動電流ILの値域がキンク電流域Ikwとなる。そして、キンク電流域Ikwに対応する低輝度階調の光量を出力する場合、レーザの動作が不安定となり、映像がちらつく場合がある。また、キンク電流域Ikwの境界値である電流値Ikは、レーザごとに異なる。
以上を勘案し、本実施例では、映像処理部31は、各レーザについて、上述のレーザ駆動電流ILと出力される光量とが非線形となるキンク電流域Ikw又はその境界値である電流値Ikを予めROM5等に記憶しておく。そして、映像処理部31は、各レーザのキンク電流域Ikw以外のレーザ駆動電流ILにて各レーザLD1〜LD3を駆動するように、レーザ駆動電流ILをパルス幅変調した発光パターン信号を生成する。
次に、レーザ駆動電流ILのパルス幅変調について、図3を参照して説明する。
図3は、所定のレーザが各階調を表すのに必要な画素ごとのレーザ駆動電流ILの大きさ及びパルス幅を示す図である。図3では、レーザ駆動電流ILに設定する電流値及びレーザ光により表現する階調は、それぞれレベル1からレベル8までの8段階ある。そして、デューティー比を1に固定し、かつキンクの影響を無視した場合、レベル1〜8の各階調を表現するのに必要なレーザ駆動電流ILは、それぞれレベル1〜8の電流値であるものとする。また、図3では、レベル1の電流値からレベル3の電流値までの値域がキンク電流域Ikwに含まれるものとする。
この場合、映像処理部31は、いずれの階調レベルを表現する場合であっても、レーザ駆動電流ILを最高のレベル8の電流値に固定し、かつ、表現すべき階調のレベルが低いほどデューティー比を小さくする。具体的には、映像処理部31は、レベル1の階調を表示する場合には、レベル8のレーザ駆動電流ILをデューティー比1/8で印加する。同様に、映像処理部31は、レベル2〜8の階調を表示する場合、レベル8のレーザ駆動電流ILをデューティー比2/8〜8/8で印加する。
このように、映像処理部31は、キンク電流域Ikw以外の電流値をレーザ駆動電流ILに固定し、デューティー比を変更することで、低輝度画素についても適切に表示することができる。
次に、第1実施例の効果について、図4及び図5を参照して補足説明する。図4は、画素「P1」〜「P4」について、デューティー比を制御せずにレーザ駆動電流ILの大きさのみを変動させて表示制御を行う比較例を示す。具体的には、図4(A)は、画素P1〜P4を表示する際のレーザ駆動電流ILの時間変化を示し、図4(B)は、画素P1〜P4を走査するレーザ光の遷移を示す。図4(B)では、レーザ駆動電流ILが電流値「I1」の場合の低輝度のレーザ光「Ls1」と、レーザ駆動電流ILが電流値「I2」の場合の高輝度のレーザ光「Ls2」とがそれぞれ表示されている。
図4に示す比較例では、映像処理部31は、キンク電流域Ikw内の電流値I1をレーザ駆動電流ILに設定して画素P1、P2を表示し、キンク電流域Ikw外の電流値I2をレーザ駆動電流ILに設定して画素P3、P4を表示している。この場合、画素P1、P2では、キンク電流域Ikw内の電流値I1をレーザ駆動電流ILに設定することにより、キンクに起因して実際のレーザ光の光量が目標の光量とずれる。また、キンクの影響は、レーザ光ごとに異なる。その結果、映像処理部31は、画素P1、P2を、目標の輝度及び色により表示することができなくなる。
図5は、第1実施例に基づき、画素P1〜P4について、レーザ駆動電流ILを固定したパルス幅変調に基づく表示制御を行う例を示す。具体的には、図5(A)は、画素P1〜P4を表示する際のレーザ駆動電流ILの時間変化を示し、図5(B)は、画素P1〜P4を走査するレーザ光の遷移を示す。また、図5(C)は、画素P1〜P4を近距離で観察した場合の外観図を示し、図5(D)は、画素P1〜P4を通常の距離だけ離れて観察した場合の外観図を示す。図5(B)では、レーザ駆動電流ILが電流値「I2」の場合の高輝度のレーザ光Ls2と共に、レーザ駆動電流ILを印加しない場合に相当する仮想的なレーザ光「Ls3」を表示している。
図5の例において、低輝度の画素P1、P2を表示する場合、映像処理部31は、レーザ駆動電流ILをキンク電流域Ikw外の電流値I2に固定し、デューティー比を調整している。これにより、図4の比較例と比べて、映像処理部31は、キンク電流域Ikw内の電流値I1をレーザ駆動電流ILに設定する必要がないため、低輝度の画素P1、P2でのカラーバランスや輝度のばらつきを抑制することができる。
また、第1実施例に基づきデューティー比を調整した場合、図5(C)に示すように、画素P1、P2内で、レーザ光Ls2が照射された高輝度部分と他の低輝度部分とが混在することになる。この場合であっても、図5(D)に示すように、観察者が通常の態様で観察する場合、観察者は、画素P1、P2をそれぞれ上述の高輝度部分の輝度と低輝度部分の輝度とを平均化した輝度により視認する。従って、本実施例によれば、映像処理部31は、低輝度画素についても的確に表示することができる。
以上説明したように、第1実施例に係る画像描画装置1は、レーザLD1〜LD3と、映像処理部31とを有する。レーザLD1〜LD3は、MEMSミラー12により投影面上に走査されるレーザ光LR、LB、LGを発光する。映像処理部31は、入力画像信号Siに基づいてレーザLD1〜LD3を駆動し、各レーザ光の強度(光量)を制御する。このとき、映像処理部31は、各レーザLD1〜LD3のレーザ駆動電流ILをパルス幅変調することで、各レーザ光LR、LB、LGの見かけ上の強度を制御する。これにより、画像描画装置1は、キンク電流域Ikw以外の電流値をレーザ駆動電流ILに設定して、広範囲の階調を的確に表現することができる。
[第2実施例]
第2実施例では、映像処理部31は、キンクの影響が発生する階調を表示する場合に限りパルス幅変調を行い、キンクの影響が発生しない階調を表示する場合にはデューティー比を固定してレーザ駆動電流ILの大きさを調整する。これにより、第1実施例と比較して変調周波数を低減して必要なクロック数を抑制する。
図6は、第2実施例において、所定のレーザが各階調を表すのに必要な画素ごとのレーザ駆動電流ILの大きさ及びパルス幅を示す図である。図6では、図3と同様に、レベル1の電流値からレベル3の電流値までの値域がキンク電流域Ikwに含まれるものとする。
図6の例では、映像処理部31は、キンク電流域Ikw外のレベル4〜8の電流値に対応するレベル4〜8の階調を表現する場合、パルス幅変調を行わない。即ち、この場合、映像処理部31は、各階調を表示するのに必要な電流値にレーザ駆動電流ILを設定し、デューティー比を1に固定する。
一方、映像処理部31は、キンク電流域Ikw内のレベル1〜3の電流値に対応するレベル1〜3の階調を表示する場合、キンク電流域Ikw外の電流値にレーザ駆動電流ILを固定して第1実施例と同様にパルス幅変調を行う。この例では、映像処理部31は、キンク電流域Ikw外のレベル4〜8のうち最も低いレベル4の電流値にレーザ駆動電流ILを固定している。そして、映像処理部31は、表現すべき階調のレベルが低いほどデューティー比を段階的に小さくしている。図6の例では、映像処理部31は、レベル1の階調を表示する場合にはデューティー比を1/4に設定し、レベル2の階調を表示する場合にはデューティー比を2/4に設定し、レベル3の階調を表示する場合にはデューティー比を3/4に設定する。
次に、第2実施例の効果について補足説明する。第1実施例では、表現する階調が増えるほど、必要なクロック数が大きくなる。例えば、図3の例では、階調数が8であるため、図4に示す比較例のようにデューティー比を固定する場合と比較して、8倍のクロック数が必要となる。また、一般に、クロック数が高くなるほど、レーザや電気回路の立ち上がり波形のなまりなどにより、レーザ駆動電流ILの制御が困難となる。
以上を勘案し、第2実施例では、キンク電流域Ikw内の電流値に対応する階調を表示する場合に限り、デューティー比を調整している。これにより、第2実施例では、第1実施例と比較して、映像処理部31は、必要なクロック数を低減させている。例えば、図6の例では、図3の例と比較して、必要なクロック数が1/2に減少している。このように、第2実施例では、映像処理部31は、表現する全ての階調でパルス幅変調を行う場合と比較して、必要なクロック数を低減させつつ、低輝度画素を適切に表示することができる。
また、映像処理部31は、フレーム変調を行う階調(図3ではレベル1〜3)を、各レーザLD1〜LD3で共通にするとよい。この場合、好適には、映像処理部31は、各レーザLD1〜LD3でキンク電流域Ikwが異なる場合には、最も広いキンク電流域Ikwに応じてパルス幅変調を行う階調を決定する。即ち、映像処理部31は、レーザLD1〜LD3のうち少なくとも1つにおいて、キンクによる影響を受ける階調では、レーザLD1〜LD3の任意のレーザで当該階調を表現する場合に、パルス幅変調を行う。これにより、映像処理部31は、パルス幅変調に起因した表示の劣化を抑制することができる。
[応用例]
上述の画像描画装置1は、ヘッドアップディスプレイに好適に適用される。これについて、図7を参照して具体例を示す。
図7は、画像描画装置1が適用された光源部100を有するヘッドアップディスプレイの構成例を示す。図7に示すヘッドアップディスプレイは、光源部100が出射した光に基づき、コンバイナ26を介して虚像「Iv」を運転者に視認させるものである。
図7に示す構成では、光源部100は、上述した実施例の画像描画装置1として機能する。そして、光源部100は、支持部材110a、110bを介して車室内の天井部22に付設され、現在地を含む地図情報や経路案内情報、走行速度、その他運転を補助する情報(以後、「運転補助情報」とも呼ぶ。)を示す表示像を構成する光を、コンバイナ26に向けて出射する。具体的には、光源部100は、光源部100内に表示像の元画像(実像)を生成し、その画像を構成する光をコンバイナ26へ出射することで、運転者に虚像Ivを視認させる。
コンバイナ26は、光源部1から出射される表示像が投影されると共に、表示像を運転者の視点(アイポイント)「Pe」へ反射することで当該表示像を虚像Ivとして表示させる。そして、コンバイナ26は、天井部22に設置された支持軸部27を有し、支持軸部27を支軸として回動する。支持軸部27は、例えば、フロントウィンドウ20の上端近傍の天井部22、言い換えると運転者用の図示しないサンバイザが設置される位置の近傍に設置される。
図7に示すヘッドアップディスプレイによれば、ユーザは、キンクに起因した色ずれやちらつきを感じることなく、好適に、虚像Ivにより運転補助情報を視認することができる。この効果について補足説明する。一般に、ヘッドアップディスプレイは、日中から夜間まで、幅広い明るさの環境下で虚像Ivを表示するため、室内等で使用する通常のプロジェクタと比較して、キンクによる影響を受ける低輝度部分も含めて広範囲の階調表現ができることが望ましい。従って、ヘッドアップディスプレイは、画像描画装置1として機能する光源部100を搭載し、キンク電流域Ikw以外の電流値をレーザ駆動電流ILに設定して各レーザを駆動することで、広範囲の階調を的確に表現することができる。
また、好適には、ヘッドアップディスプレイは、外光量を検知するセンサを有し、光源部100は、当該センサの出力に基づき虚像Ivの輝度を変更してもよい。例えば、光源部100は、外光量が小さいほど、運転者が虚像Ivを視認するのに必要な輝度は小さいと判断し、虚像Ivの輝度を小さくする。同様に、光源部100は、外光量以外の虚像Ivの輝度を決定するための情報を取得し、当該情報に基づき虚像Ivの輝度を変更してもよい。例えば、光源部100は、車両の制御部からライトの点灯状態を示す情報を受信し、当該情報に基づき夜間か否かを判断し、虚像Ivの輝度を認識した時間帯に応じた輝度に変更する。他の例では、光源部100は、光源部100に設けられたボタン等や光源部100とは別体のリモートコントローラへのユーザ操作を検知することで、輝度設定の情報を取得し、虚像Ivの輝度が当該情報に応じた輝度となるように各レーザLD1〜LD3を駆動する。
なお、本発明が適用可能なヘッドアップディスプレイの構成は、図7に示す構成に限られない。例えば、ヘッドアップディスプレイは、コンバイナ26を有さず、光源部100は、フロントウィンドウ20へ投影することで、フロントウィンドウ20に表示像を運転者のアイポイントPeへ反射させてもよい。また、光源部100の位置は、天井部22に設置される場合に限らず、ダッシュボード24の内部に設置されてもよい。この場合、ダッシュボード24には、コンバイナ26又はフロントウィンドウ20に光を通過させるための開口部が設けられる。
[変形例]
次に、第1及び第2実施例に好適な変形例について説明する。
映像処理部31は、パルス幅変調に代えて、又はパルス幅変調に加えて、フレーム変調(FRC:Frame Rate Control)により、キンクの影響を受ける階調を表現してもよい。即ち、本変形例では、映像処理部31は、2つの色が高速で切り替わると人間の目にはそれが1つの中間色として映るという性質を利用し、各画素の階調を、複数フレーム(「単位フレーム群Fs」とも呼ぶ。)の平均値により表現する。これについて、図8を参照して説明する。
図8(A)〜(D)は、4つのフレーム(第1〜第4フレーム)で階調を表現する場合の、各階調を表すのに必要なフレームごとのレーザ駆動電流ILの大きさを示す図である。
図8の例では、映像処理部31は、キンク電流域Ikw外の電流値で表現可能なレベル4〜8の階調に対して、第1〜第4フレームにおいて、対応するレベル4〜8の各電流値をレーザ駆動電流ILに設定して対象のレーザに印加する。このように、キンク電流域Ikw外の電流値で表現可能なレベル4〜8の階調に対して、映像処理部31は、フレーム変調を行わず、単位フレーム群Fs間でレーザ駆動電流ILを固定する。
一方、映像処理部31は、キンク電流域Ikw内の電流値に対応するレベル1〜3の階調に対して、フレーム変調を行っている。具体的には、映像処理部31は、レベル1〜3の階調を表現する場合、レーザ駆動電流ILをキンク電流域Ikw外の所定の電流値(ここではレベル4の電流値)に共通して設定し、低いレベルの階調ほど、レーザ駆動電流ILを印加させるフレーム数を少なくする。具体的には、レベル1の階調を表現する場合、映像処理部31は、図8(A)に示す第1フレームでのみレーザ駆動電流ILを対象のレーザに印加する。また、レベル2の階調を表現する場合、映像処理部31は、図8(A)、(B)に示す第1及び第2フレームでレーザ駆動電流ILをレーザに印加し、図8(C)、(D)に示す第3及び第4フレームではレーザ駆動電流ILを印加しない。また、レベル3の階調を表現する場合、映像処理部31は、図8(A)〜(C)に示す第1〜第3フレームでレーザ駆動電流ILをレーザに印加し、図8(D)に示す第4フレームではレーザ駆動電流ILを印加しない。
また、本変形例では、映像処理部31は、単位フレーム群Fsの数(図8では4)及びフレーム変調を行う階調(図8ではレベル1〜3)を、各レーザLD1〜LD3で共通にするとよい。この場合、好適には、映像処理部31は、各レーザでキンク電流域Ikwが異なる場合には、最も広いキンク電流域Ikwに応じて、単位フレーム群Fsの数及びフレーム変調を行う階調を決定する。
このように、映像処理部31は、フレーム変調によっても、キンクの影響を受けることなく低輝度画素を適切に表示することができる。
1 画像描画装置
3 ビデオASIC
7 レーザドライバASIC
8 MEMS制御部
9 レーザ光源部
12 MEMSミラー
100 光源部
請求項に記載の発明では、画像信号に基づいて画像を投影する投影装置であって、走査手段により投影面上に走査される光ビームを発光するレーザ素子と、前記画像信号に基づいて前記レーザ素子を駆動し、前記光ビームの強度を制御する制御手段と、を備え、前記制御手段は、前記レーザ素子におけるキンクの影響が生じない電流値で前記レーザ素子を駆動した場合の光ビームより強度が弱い光ビームを発光させる場合に、前記レーザ素子を駆動する電流を、前記レーザ素子におけるキンクの影響が生じない電流値に保持しながらパルス幅変調またはフレーム変調することで前記光ビームの見かけ上の強度を制御することを特徴とする。
また、請求項に記載の発明では、走査手段により投影面上に走査される光ビームを発光するレーザ素子を有し、画像信号に基づいて画像を投影する投影装置が実行する制御方法であって、前記画像信号に基づいて前記レーザ素子を駆動し、前記光ビームの強度を制御する制御工程を有し、前記制御工程は、前記レーザ素子におけるキンクの影響が生じない電流値で前記レーザ素子を駆動した場合の光ビームより強度が弱い光ビームを発光させる場合に、前記レーザ素子を駆動する電流を、前記レーザ素子におけるキンクの影響が生じない電流値に保持しながらパルス幅変調またはフレーム変調することで前記光ビームの見かけ上の強度を制御することを特徴とする。
また、請求項に記載の発明では、走査手段により投影面上に走査される光ビームを発光するレーザ素子を有し、画像信号に基づいて画像を投影する投影装置が実行するプログラムであって、前記画像信号に基づいて前記レーザ素子を駆動し、前記光ビームの強度を制御する制御手段として前記投影装置を機能させ、前記制御手段は、前記レーザ素子におけるキンクの影響が生じない電流値で前記レーザ素子を駆動した場合の光ビームより強度が弱い光ビームを発光させる場合に、前記レーザ素子を駆動する電流を、前記レーザ素子におけるキンクの影響が生じない電流値に保持しながらパルス幅変調またはフレーム変調することで前記光ビームの見かけ上の強度を制御することを特徴とする。
また、映像処理部31は、パルス幅変調を行う階調(図3ではレベル1〜3)を、各レーザLD1〜LD3で共通にするとよい。この場合、好適には、映像処理部31は、各レーザLD1〜LD3でキンク電流域Ikwが異なる場合には、最も広いキンク電流域Ikwに応じてパルス幅変調を行う階調を決定する。即ち、映像処理部31は、レーザLD1〜LD3のうち少なくとも1つにおいて、キンクによる影響を受ける階調では、レーザLD1〜LD3の任意のレーザで当該階調を表現する場合に、パルス幅変調を行う。これにより、映像処理部31は、パルス幅変調に起因した表示の劣化を抑制することができる。

Claims (10)

  1. 画像信号に基づいて画像を投影する投影装置であって、
    走査手段により投影面上に走査される光ビームを発光するレーザ素子と、
    前記画像信号に基づいて前記レーザ素子を駆動し、前記光ビームの強度を制御する制御手段と、
    を備え、
    前記制御手段は、前記レーザ素子を駆動する電流をパルス幅変調またはフレーム変調することで、前記光ビームの見かけ上の強度を制御することを特徴とする投影装置。
  2. 前記制御手段は、前記レーザ素子を駆動する電流を、当該レーザ素子におけるキンクの影響が生じない電流値に保持しながらパルス幅変調またはフレーム変調することを特徴とする投影装置。
  3. 前記制御手段は、前記レーザ素子におけるキンクの影響が生じない電流値で前記レーザ素子を駆動した場合の光ビームより強度が弱い光ビームを発光させる場合にのみ、前記レーザ素子を駆動する電流をパルス幅変調またはフレーム変調することを特徴とする請求項1または2に記載の投影装置。
  4. それぞれ異なる色の光ビームを発光する複数のレーザ素子を備え、
    前記制御手段は、前記複数のレーザ素子をそれぞれ駆動する電流をパルス幅変調またはフレーム変調することを特徴とする請求項1〜3のいずれか一項に記載の投影装置。
  5. 前記制御手段は、パルス幅変調またはフレーム変調する階調を前記複数のレーザ素子で一致させ、かつ、当該階調を、前記複数のレーザ素子の少なくとも1つがキンクによる影響を受ける階調に設定することを特徴とする請求項4に記載の投影装置。
  6. 投影する画像の所望の明るさを決定するための情報を取得する取得手段を備え、
    前記制御手段は、前記情報と前記画像信号に基づいて前記レーザ素子を駆動し、前記光ビームの見かけ上の強度を制御することを特徴とする請求項1〜5のいずれか一項に記載の投影装置。
  7. 請求項1乃至6のいずれか一項に記載の投影装置を備え、前記画像をユーザの目の位置から虚像として視認させることを特徴とするヘッドアップディスプレイ。
  8. 走査手段により投影面上に走査される光ビームを発光するレーザ素子を有し、画像信号に基づいて画像を投影する投影装置が実行する制御方法であって、
    前記画像信号に基づいて前記レーザ素子を駆動し、前記光ビームの強度を制御する制御工程を有し、
    前記制御工程は、前記レーザ素子を駆動する電流をパルス幅変調またはフレーム変調することで、前記光ビームの見かけ上の強度を制御することを特徴とする制御方法。
  9. 走査手段により投影面上に走査される光ビームを発光するレーザ素子を有し、画像信号に基づいて画像を投影する投影装置が実行するプログラムであって、
    前記画像信号に基づいて前記レーザ素子を駆動し、前記光ビームの強度を制御する制御手段
    として前記投影装置を機能させ、
    前記制御手段は、前記レーザ素子を駆動する電流をパルス幅変調またはフレーム変調することで、前記光ビームの見かけ上の強度を制御することを特徴とするプログラム。
  10. 請求項9に記載のプログラムを記憶したことを特徴とする記憶媒体。
JP2015509668A 2013-04-01 2013-04-01 投影装置、ヘッドアップディスプレイ、制御方法、プログラム及び記憶媒体 Active JP5976925B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/059877 WO2014162414A1 (ja) 2013-04-01 2013-04-01 投影装置、ヘッドアップディスプレイ、制御方法、プログラム及び記憶媒体

Publications (2)

Publication Number Publication Date
JP5976925B2 JP5976925B2 (ja) 2016-08-24
JPWO2014162414A1 true JPWO2014162414A1 (ja) 2017-02-16

Family

ID=51657748

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015509668A Active JP5976925B2 (ja) 2013-04-01 2013-04-01 投影装置、ヘッドアップディスプレイ、制御方法、プログラム及び記憶媒体

Country Status (3)

Country Link
EP (1) EP2983160A4 (ja)
JP (1) JP5976925B2 (ja)
WO (1) WO2014162414A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017078727A (ja) * 2015-10-19 2017-04-27 株式会社Jvcケンウッド 光源駆動装置及び画像表示装置
JP2018156062A (ja) * 2017-03-15 2018-10-04 株式会社リコー 表示装置、物体装置及び表示方法
JP2019164217A (ja) * 2018-03-19 2019-09-26 株式会社リコー 表示装置、表示システムおよび移動体
JP2019164204A (ja) * 2018-03-19 2019-09-26 株式会社リコー 光源装置、表示装置、表示システムおよび移動体

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0258526A (ja) 1988-08-25 1990-02-27 Ajinomoto Co Inc 高分子固体電解質
US4998257A (en) * 1989-03-09 1991-03-05 Konica Corporation Semiconductor laser driving apparatus
JP4820025B2 (ja) * 2001-07-26 2011-11-24 株式会社リコー 光走査型画像表示装置及びその画像表示方法
JP2006294999A (ja) 2005-04-13 2006-10-26 Sharp Corp 半導体レーザ素子の光学特性生成装置および光学特性生成方法
JP5115044B2 (ja) * 2007-06-13 2013-01-09 セイコーエプソン株式会社 画像表示装置及び画像表示方法
JP2010250208A (ja) * 2009-04-20 2010-11-04 Funai Electric Co Ltd 画像表示装置および画像表示装置の制御方法
JP2011180277A (ja) * 2010-02-26 2011-09-15 Brother Industries Ltd 画像表示装置
WO2012108032A1 (ja) * 2011-02-10 2012-08-16 パイオニア株式会社 画像表示装置
JP5842419B2 (ja) * 2011-07-06 2016-01-13 日本精機株式会社 ヘッドアップディスプレイ装置

Also Published As

Publication number Publication date
EP2983160A1 (en) 2016-02-10
JP5976925B2 (ja) 2016-08-24
WO2014162414A1 (ja) 2014-10-09
EP2983160A4 (en) 2016-09-07

Similar Documents

Publication Publication Date Title
JP6387589B2 (ja) 画像形成装置、車両、及び画像形成装置の制御方法
JP5956949B2 (ja) 画像表示装置
JP6728659B2 (ja) プロジェクタ
JP5195942B2 (ja) 走査型画像表示装置
US20140292831A1 (en) Projection device and head-up display device
US10187620B2 (en) Display device
US9905997B2 (en) Image display device
JP5976925B2 (ja) 投影装置、ヘッドアップディスプレイ、制御方法、プログラム及び記憶媒体
JP6137006B2 (ja) 画像表示装置および画像表示方法
WO2017006885A1 (ja) 画像生成装置、ヘッドアップディスプレイ
JPWO2017138321A1 (ja) 画像表示装置、車載システム及び画像表示方法
US10162176B2 (en) Head-up display device
US9349348B2 (en) System and methods for laser beam display
WO2018159317A1 (ja) 表示装置、ヘッドアップディスプレイ
JP6311823B2 (ja) 画像表示装置および画像表示方法
JP2017083631A (ja) 表示装置、制御方法、プログラム及び記憶媒体
WO2016117005A1 (ja) 投影装置、投影方法、プログラム及び記憶媒体
WO2010103974A1 (ja) 画像表示装置
JP2014007358A (ja) 投影装置、ヘッドアップディスプレイ、制御方法、プログラム及び記憶媒体
JP2016099561A (ja) 投影装置、投影方法、プログラム及び記憶媒体
JP6606634B2 (ja) 投影装置、制御方法、プログラム及び記憶媒体
WO2014162503A1 (ja) 投影装置、制御方法及びプログラム、並びに記録媒体
JP2016025430A (ja) プロジェクタおよびヘッドアップディスプレイ装置
WO2019163656A1 (ja) レーザー光出力制御装置およびレーザー走査型表示装置
JP2017156547A (ja) 画像表示装置、制御方法、プログラム及び記憶媒体

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160705

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160720

R150 Certificate of patent or registration of utility model

Ref document number: 5976925

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350