JP5661364B2 - 映像出力装置およびバックライト制御方法 - Google Patents

映像出力装置およびバックライト制御方法 Download PDF

Info

Publication number
JP5661364B2
JP5661364B2 JP2010168346A JP2010168346A JP5661364B2 JP 5661364 B2 JP5661364 B2 JP 5661364B2 JP 2010168346 A JP2010168346 A JP 2010168346A JP 2010168346 A JP2010168346 A JP 2010168346A JP 5661364 B2 JP5661364 B2 JP 5661364B2
Authority
JP
Japan
Prior art keywords
period
backlight
video
frame
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010168346A
Other languages
English (en)
Other versions
JP2012027391A (ja
Inventor
八島 大亮
大亮 八島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Toshiba Lifestyle Products and Services Corp
Original Assignee
Toshiba Corp
Toshiba Lifestyle Products and Services Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp, Toshiba Lifestyle Products and Services Corp filed Critical Toshiba Corp
Priority to JP2010168346A priority Critical patent/JP5661364B2/ja
Publication of JP2012027391A publication Critical patent/JP2012027391A/ja
Application granted granted Critical
Publication of JP5661364B2 publication Critical patent/JP5661364B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Liquid Crystal (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Description

本発明の実施形態は、映像出力装置およびバックライト制御方法に関する。
近年、LCD(Liquid Crystal Display)を背面から照射するバックライトにLED(発光ダイオード)を使用したLCDパネルが用いられた映像出力装置が開発されている。このようなバックライトにLEDを使用した映像出力装置によれば、映像に合わせてバックライトの発光輝度を増減させる調光を行うことにより、コントラスト比の高い映像を実現することができる。
従来利用されてきたCCFL(冷陰極管)では、応答速度等の問題から、印加電圧を変更することで調光を行うのが一般的であった。一方、比較的応答速度の高いLEDでは、一定電圧でLED素子を駆動しつつ時間方向でON/OFF(H/L)を切り替えることで輝度を調整し、CCFLよりも高い階調数での調光が容易に行えるようになっている。
また、各画素の表示素子を有機EL(Electronic Luminescence)素子で構成し、有機EL素子を駆動しつつ時間方向でON/OFFを切り替えることで輝度を調整する映像表示装置も知られている。
特開2006−30516号公報
ところで、LCDの液晶画素の書き換えタイミングは、例えば画面上から画面下に1フレームの時間をかけて書き換えることになる。これに対し、バックライトは、1フレームに1回、調光制御信号をON/OFF(H/L)することで調光を行った場合、輝度が一定とすると、1フレーム内の一部に発光期間が集中し、常に一部の液晶画素の書き換え中に発光していることになる。これにより、映像によっては画面表示に輝度ムラが見えるなど画質に関する問題が発生している。
本発明は、上記に鑑みてなされたものであって、バックライトの調光による画質の低下を抑制することを目的とする。
実施形態の映像出力装置は、バックライト発光によりパネルに表示させる1のフレームの書換期間を予め設定された分割数に従って複数の分割期間に分割し、当該フレームの前記書換期間において前記バックライトを発光させる期間の比率に従って、前記分割期間において前記バックライトを発光させる第1期間および前記バックライトを消光させる第2期間を求める制御部と、前記第1期間および前記第2期間に従って、前記バックライトを発光させる駆動部と、を備え、前記制御部は、前記第1期間または前記第2期間が前記バックライトを発光可能かつ消光可能な予め設定された最小期間よりくなる場合には前記分割数を減じて、前記第1期間および前記第2期間を求めなおす
実施形態のバックライト制御方法は、映像出力装置におけるバックライト制御方法であって、バックライト発光によりパネルに表示させる1のフレームの書換時間を予め設定された分割数に従って複数の分割期間に分割し、当該フレームの前記書換期間において前記バックライトを発光させる期間の比率に従って、前記分割期間において前記バックライトを発光させる第1期間および前記バックライトを消光させる第2期間を求める制御工程と、前記第1期間および前記第2期間に従って、前記バックライトを駆動させる駆動工程と、を含み、前記制御工程は、前記第1期間または前記第2期間が前記バックライトを発光可能かつ消光可能な予め設定された最小期間よりくなる場合には前記分割数を減じて、前記第1期間および前記第2期間を求めなおす
図1は、第1の実施形態にかかるデジタルテレビジョンの一例を示す外観斜視図である。 図2は、デジタルテレビジョンの信号処理系を示すブロック図である。 図3は、合成処理部の構成を示すブロック図である。 図4は、立体視用眼鏡の構成を示すブロック図である。 図5は、映像処理部の構成を示すブロック図である。 図6は、バックライト制御信号生成部の構成を示すブロック図である。 図7は、従来の調光制御信号を示すタイミングチャートである。 図8は、バックライト制御部の構成を示すブロック図である。 図9は、分割数判定部における分割数判定処理の流れを示すフローチャートである。 図10は、調光制御信号を示すタイミングチャートである。 図11は、調光値補正部における調光補正処理の流れを示すフローチャートである。 図12は、調光値補正部におけるパルス幅の補正例を示す模式図である。 図13は、調光値補正部におけるパルス幅の補正例を示す模式図である。 図14は、第2の実施形態にかかるデジタルテレビジョンの分割数判定部における分割数判定処理の流れを示すフローチャートである。
(第1の実施形態)
図1は、第1の実施形態にかかる映像出力装置であるデジタルテレビジョン1の一例を示す外観斜視図である。図1に示すように、デジタルテレビジョン1は、前方から見た正面視(前面に対する平面視)で、長方形状の外観を呈している。デジタルテレビジョン1は、筐体2と、LCD(Liquid Crystal Display)パネル3を備えている。LCDパネル3は、後述する映像処理部20(図2参照)から映像信号を受け取り、静止画や動画等の映像を表示する。また、筐体2は、支持部4に支持されている。
図2は、デジタルテレビジョン1の信号処理系を示すブロック図である。なお、このデジタルテレビジョン1は、通常の平面視(2次元)表示用の映像信号に基づく映像表示を行なうだけでなく、立体視(3次元)表示用の映像信号に基づく映像表示も行なうことができる。
図2に示すように、デジタルテレビジョン1は、アンテナ12で受信したデジタルテレビジョン放送信号を、入力端子13を介してチューナ部14に供給することにより、所望のチャンネルの放送信号を選局することが可能になっている。デジタルテレビジョン1は、チューナ部14で選局された放送信号を、復調復号部15に供給してデジタルの映像信号及び音声信号等に復元した後、信号処理部16に出力する。
信号処理部16は、復調復号部15から供給されたデジタルの映像信号及び音声信号に対してそれぞれ所定のデジタル信号処理を施す。なお、信号処理部16が行なう所定のデジタル信号処理には、通常の平面視(2次元)表示用の映像信号を立体視(3次元)表示用の映像信号に変換する処理や、立体視表示用の映像信号を平面視表示用の映像信号に変換する処理等も含まれている。
また、信号処理部16は、デジタルの映像信号を合成処理部17に出力し、デジタルの音声信号を音声処理部18に出力している。このうち、合成処理部17は、信号処理部16から供給されるデジタルの映像信号に、OSD(On Screen Display)信号生成部19で生成される字幕、GUI(Graphical User Interface)、OSDなどの重畳用映像信号であるOSD信号を重畳して出力している。この場合、合成処理部17は、信号処理部16から供給される映像信号が通常の平面視表示用の映像信号であれば、その映像信号にOSD信号生成部19から供給されたOSD信号をそのまま重畳して出力している。また、合成処理部17は、信号処理部16から供給される映像信号が立体視表示用の映像信号である場合、OSD信号生成部19から供給されたOSD信号に対して、入力された立体視表示用の映像信号に対応した立体視表示用の信号処理を施した後、そのOSD信号を入力映像信号に重畳して出力している。
デジタルテレビジョン1は、合成処理部17から出力したデジタルの映像信号を、映像処理部20に供給する。映像処理部20は、入力されたデジタルの映像信号を、LCDパネル3で表示可能なフォーマットのアナログ映像信号に変換している。デジタルテレビジョン1は、映像処理部20から出力されたアナログ映像信号を、LCDパネル3に供給して映像表示に供する。
LCDパネル3は、図2に示すように、映像表示部として機能するLCD3aと、LCD3aを背面から照射するバックライト3bと、バックライト3bを駆動するバックライト駆動部3cとを有している。バックライト3bは、光源に多数のLED(発光ダイオード)が採用されており、バックライト駆動部3cによってエリアごとの発光制御が可能となっている。バックライト部は、バックライト3bとバックライト駆動部3cとで構成される。
音声処理部18は、入力されたデジタルの音声信号を、スピーカ22で再生可能なフォーマットのアナログ音声信号に変換している。そして、この音声処理部18から出力されたアナログ音声信号が、スピーカ22に供給されることにより音声再生に供される。
ここで、デジタルテレビジョン1は、上記した各種の受信動作を含むその全ての動作を制御部23によって統括的に制御している。この制御部23は、CPU(Central Processing Unit)23aを内蔵しており、デジタルテレビジョン1の本体に設置された操作部24からの操作情報を受けて、または、リモートコントローラ25から送出され受信部26で受信した操作情報を受けて、その操作内容が反映されるように各部をそれぞれ制御している。
制御部23は、メモリ部23bを利用している。メモリ部23bは、主として、CPU23aが実行する制御プログラムを格納したROM(Read Only Memory)と、該CPU23aに作業エリアを提供するためのRAM(Random Access Memory)と、各種の設定情報及び制御情報等が格納される不揮発性メモリとを有している。また、制御部23には、ディスクドライブ部27が接続されている。ディスクドライブ部27は、例えばDVD(Digital Versatile Disk)等の光ディスク28を着脱自在とするもので、装着された光ディスク28に対してデジタルデータの記録再生を行なう機能を有している。
制御部23は、視聴者による操作部24やリモートコントローラ25の操作に基づいて、復調復号部15から得られるデジタルの映像信号及び音声信号を、記録再生処理部29によって暗号化し所定の記録フォーマットに変換した後、ディスクドライブ部27に供給して光ディスク28に記録させるように制御することができる。
また、制御部23は、視聴者による操作部24やリモートコントローラ25の操作に基づいて、ディスクドライブ部27により光ディスク28からデジタルの映像信号及び音声信号を読み出させ、上記記録再生処理部29によって復号化した後、信号処理部16に供給することによって、以後、上記した映像表示及び音声再生に供させるように制御することができる。
制御部23には、HDD(Hard Disk Drive)30が接続されている。制御部23は、視聴者による操作部24やリモートコントローラ25の操作に基づいて、復調復号部15から得られるデジタルの映像信号及び音声信号を、記録再生処理部29によって暗号化し所定の記録フォーマットに変換した後、HDD30に供給してハードディスク30aに記録させるように制御することができる。
また、制御部23は、視聴者による操作部24やリモートコントローラ25の操作に基づいて、HDD30によりハードディスク30aからデジタルの映像信号及び音声信号を読み出させ、記録再生処理部29によって復号化した後、信号処理部16に供給することによって、以後、上記した映像表示及び音声再生に供させるように制御することができる。
さらに、デジタルテレビジョン1には、入力端子31が接続されている。入力端子31は、デジタルテレビジョン1の外部からデジタルの映像信号及び音声信号を直接入力するためのものである。この入力端子31を介して入力されたデジタルの映像信号及び音声信号は、制御部23の制御に基づいて、記録再生処理部29を介した後、信号処理部16に供給されて、以後、上記した映像表示及び音声再生に供される。
また、入力端子31を介して入力されたデジタルの映像信号及び音声信号は、制御部23の制御に基づいて、記録再生処理部29を介した後、ディスクドライブ部27による光ディスク28に対しての記録再生や、HDD30によるハードディスク30aに対しての記録再生に供される。
なお、制御部23は、視聴者による操作部24やリモートコントローラ25の操作に基づいて、ディスクドライブ部27とHDD30との間で、光ディスク28に記録されているデジタルの映像信号及び音声信号をハードディスク30aに記録したり、ハードディスク30aに記録されているデジタルの映像信号及び音声信号を光ディスク28に記録したりすることも制御している。
また、制御部23には、ネットワークインターフェース32が接続されている。このネットワークインターフェース32は、入出力端子33を介して外部のネットワーク34に接続されている。そして、このネットワーク34には、当該ネットワーク34を介した通信機能を利用して各種のサービスを提供するための複数(図示の場合は2つ)のネットワークサーバ35,36が接続されている。このため、制御部23は、ネットワークインターフェース32、入出力端子33及びネットワーク34を介して、所望のネットワークサーバ35,36にアクセスして情報通信を行なうことにより、そこで提供しているサービスを利用することができるようになっている。
デジタルテレビジョン1は、ディスクドライブ部27やHDD30から取得した映像や音声等の情報に対しては、リモートコントローラ25の再生停止キーや再生/一時停止キーを操作することにより、再生、停止、一時停止を行なうことが可能となる。また、デジタルテレビジョン1は、リモートコントローラ25の逆方向スキップキーや順方向スキップキーを操作することにより、ディスクドライブ部27やHDD30で再生している映像や音声等の情報を、その再生方向に対して逆方向や順方向に一定量ずつスキップさせる、いわゆる、逆方向スキップや順方向スキップを行なうことができる。さらに、デジタルテレビジョン1は、リモートコントローラ25の早戻しキーや早送りキー等を操作することにより、ディスクドライブ部27やHDD30で再生している映像や音声等の情報を、その再生方向に対して逆方向や順方向に連続的に高速で再生させる、いわゆる、早戻し再生や早送り再生を行なうことができる。
図3は、合成処理部17の構成を示すブロック図である。図3に示すように、合成処理部17は、信号処理部16から出力されるデジタルの映像信号を、入力端子37を介して映像生成部として機能する映像変換部38に供給する。
映像変換部38は、入力された映像信号が立体視(3次元)表示用の映像信号である場合、その映像信号を特定の映像フォーマットに変換して、画質制御部39及び視差量抽出部40に出力している。すなわち、立体視表示用の映像信号には、1フレーム同期期間内で左目用映像フレーム後に右目用映像フレームを送出するフレームパッキング(トップアンドボトム)方式や、1水平期間内で左目用映像ライン後に右目用映像ラインを送出するサイドバイサイド方式、インターリーブ方式等、様々な映像フォーマットが存在する。さらに、各映像フォーマットの中でも、映像のサイズや走査方式(インターレース/プログレッシブ)等が種々存在する。このため、第1の実施形態にかかるデジタルテレビジョン1においては、映像変換部38が、入力された立体視表示用の映像信号に対して、スケーリング処理やIP(Interlace/Progressive)変換処理等の適切な処理を施すことにより、水平方向1920画素×垂直方向1080ラインの映像サイズのフレームシーケンシャル方式の映像フォーマットに変換し、画質制御部39及び視差量抽出部40に出力するものとする。フレームシーケンシャル方式は、フレーム毎にL(左目用映像)とR(右目用映像)とを時分割で出力してLCDパネル3上において交互に表示させるものである。
すなわち、第1の実施形態にかかるデジタルテレビジョン1においては、フレームシーケンシャル方式の映像フォーマット以外の立体視表示用の様々な映像フォーマットにも対応可能である。
また、映像変換部38は、超解像処理を実行する。超解像処理とは、アップコンバートした仮の高解像度画像をダウンコンバートした仮の低解像度画像とオリジナルの入力画像にアンシャープマスクをかけて強調化した画像とを比較し、オリジナルの入力画像が本来持っているはずの画像信号を復元する技術である。なお、比較と復元の処理を繰り返すほどに、超解像処理の精度は向上する。従って、比較と復元の処理を1回だけ行う処理も超解像処理であるし、比較と復元の処理を複数回繰り返す処理も超解像処理である。時間に余裕がある場合、例えば録画した画像を後で視聴する場合や、超解像処理に生じるタイムラグが許容され得る場合には、比較と復元の処理を複数回繰り返す超解像処理を利用することができる。
ただし、映像変換部38における超解像処理の手法は、上記に限定されるものではなく、低解像度または中解像度の画像信号から本来の画素値を推定して画素を増やすことにより、高解像度の画像信号を復元する処理を一例として、あらゆる手法を適用することができる。超解像処理には、映像そのものの解像度ヒストグラムを分析し、その解像度に応じて最適な高画質処理を行うことも含む。例えば、HD解像度(1920×1080)で受信した映像信号の、映像そのものの解像度ヒストグラムを分析し、その解像度(例えば、1920×1080の解像度)に応じた鮮鋭化処理を含む。この場合は、超解像処理による解像度の変更はないが、画像が視聴者にもたらす解像感を向上させることができる。
このように映像変換部38において、超解像処理を実行することにより、より解像度の高い立体映像を実現することができる。特に、フレームパッキング方式、サイドバイサイド方式、インターリーブ方式は、元映像の1/2の解像度で入力されるため、超解像により元映像の解像度に近い立体映像が得られる。
さらに、映像変換部38は、フレームを内挿又は外挿することによるフレームレートのアップコンバータ機能を有している。これにより、低フレームレートの映像をアップコンバートすることができる。特に、フレームシーケンシャル方式の映像データは、低フレームレートであることが多いので、アップコンバートでより高いフレームレートの立体映像を実現することができる。
画質制御部39は、入力された映像信号に対して、制御部23の制御に基づいた明るさ調整、コントラスト調整及び色相調整等の画質調整処理を施し、垂直同期信号に同期させて合成部41に出力する。
視差量抽出部40は、映像変換部38により、フレームシーケンシャル方式の映像フォーマットに変換された立体視表示用の映像信号に対して、その左目用映像フレームと右目用映像フレームとの間の映像の比較を行ない、視差量を抽出する。視差量抽出部40による視差量の抽出処理は、左目用映像フレームに表示されている物体の位置を基準として、右目用映像フレームに表示されている同じ物体の左右方向の位置ずれを、画素数で示すことによって行なわれる。この視差量抽出処理は、連続するフレームで表示される同じ物体の動き位置を検出するための動きベクトルの技術を利用することで容易に実現することができる。
具体的には、画面上で水平方向に1920個配列された画素に1〜1920の番号を振り、左目用映像フレームに表示されている物体の所定位置の画素の番号から、右目用映像フレームに表示されている物体の同じ所定位置の画素の番号を減算することにより、視差量を画素数で示すことができる。
この場合、視差量が負値のときは、左目用映像より右目用映像が右側に存在することになり、物体は画面よりも奥側で結像される映像となる。また、視差量が正値のときは、左目用映像より右目用映像が左側に存在することになり、物体は画面よりも手前で結像される映像となる。
そして、視差量抽出部40によって抽出された視差量は、映像生成部として機能するOSD位置算出部42に供給される。OSD位置算出部42は、入力された視差量に基づいて、OSDを立体視表示させる際の表示位置を補正する計算を行ない、その計算結果を示す視差制御信号を出力する。
なお、OSD位置算出部42は、視差量抽出部40で抽出した視差量が時間軸方向の変動がない状態、または、視差量が時間軸方向に緩やかに変動している映像表示状態のときに、OSDを立体視表示させる際の表示位置を補正する計算を実行する。すなわち、視差量が時間軸方向に激しく変動している場合は、映像が奥行き方向に激しく動いている状態であり、この状態では視聴者は映像に意識が向いているため、重畳するOSDも奥行き方向に激しく動くと見苦しくなるからである。このため、OSD位置算出部42は、視差量が激しく変動している状態では、視差量の変動がすくないときに算出した結果を示す視差制御信号を出力している。
OSD位置算出部42から出力される視差制御信号は、OSD立体変換部43に供給される。このOSD立体変換部43には、OSD信号生成部19から出力されるOSD信号が、入力端子44を介して供給されている。OSD立体変換部43は、視差制御信号に基づいて、入力されたOSD信号から、左目用映像フレームに重畳する左目用OSD信号と、右目用映像フレームに重畳する右目用OSD信号とを生成し、OSDバッファ45に出力し記憶させている。
具体的に言えば、OSD立体変換部43は、OSD信号生成部19から明るさ調整用のOSD信号が供給された場合、映像変換部38によって形成される水平方向1920画素×垂直方向1080ラインの映像サイズのフレームシーケンシャル方式の映像フォーマット上において、その左目用映像フレームと右目用映像フレームとに、視差制御信号に基づいた画素数分の水平方向の視差量(位置ずれ)を有する、左目用の明るさ調整用OSDと右目用の明るさ調整用OSDとをそれぞれ表示させるように、OSDバッファ45上に左目用OSD信号と右目用OSD信号とを記憶させている。そして、このOSDバッファ45に記憶された左目用OSD信号と右目用OSD信号とは、垂直同期信号に同期して合成部41に出力される。
このため、合成部41は、画質制御部39から出力される映像信号と、OSDバッファ45から出力される映像信号とを合成する。この場合、画質制御部39から出力される左目用映像フレームの映像信号にOSDバッファ45から出力される左目用OSD信号が重畳され、画質制御部39から出力される右目用映像フレームの映像信号にOSDバッファ45から出力される右目用OSD信号が重畳される。
そして、合成部41で合成された映像信号は、フレーム変換部46に供給されて、垂直同期周波数を2倍に変換されて、つまり、フレーム周波数を倍速化された後、出力端子47から上記映像処理部20を介してLCDパネル3のLCD3aに出力される。これにより、LCDパネル3のLCD3aでは、左目用OSD信号が重畳された左目用映像フレームと、右目用OSD信号が重畳された右目用映像フレームとが交互に表示される。すなわち、映像表示部として機能するLCD3aは、左目用映像フレームと右目用映像フレームとを時分割で出力する機能を有している。
また、フレーム変換部46で生成されるフレーム同期信号は、眼鏡制御部48に供給される。眼鏡制御部48は、フレーム変換部46から供給されたフレーム同期信号に基づいて左目用及び右目用のシャッタ制御信号を生成し、出力端子49を介して視聴者の掛けている立体視用眼鏡50に出力している。
図4は、立体視用眼鏡50の構成を示すブロック図である。図4に示すように、立体視用眼鏡50は、液晶シャッタ眼鏡51と、液晶シャッタ眼鏡制御装置52と、を備えている。
液晶シャッタ眼鏡51は、左眼の視界を開放または遮蔽するための左眼液晶シャッタ(Lシャッタ)511と、右眼の視界を開放または遮蔽するための右眼液晶シャッタ(Rシャッタ)512とを有しており、視聴者は、この液晶シャッタ眼鏡51を装着して、交互に表示される左眼用の画像と右眼用の画像とを左眼と右眼とで交互に鑑賞することにより、立体視を体感する。
図4に示すように、液晶シャッタ眼鏡制御装置52は、デジタルテレビジョン1に対して左眼用の画像と右眼用の画像とを交互に表示させるためのフレームデータを出力する合成処理部17が、当該フレームデータと共に出力するフレーム同期信号を入力し、このフレーム同期信号に基づき、Lシャッタ511およびRシャッタ512を開閉させるためのシャッタ制御信号Lおよびシャッタ制御信号Rを生成して液晶シャッタ眼鏡51に供給する。そして、液晶シャッタ眼鏡制御装置52は、このシャッタ制御信号Lおよびシャッタ制御信号Rを自動調整するための自動調整部521を備えている。
合成処理部17の眼鏡制御部48は、左目用映像が表示されているとき立体視用眼鏡50の右目のRシャッタ512を閉じ、右目用映像が表示されているとき立体視用眼鏡50の左目のLシャッタ511を閉じるように制御しており、これにより、視聴者に立体視映像を認識させるようにしている。
なお、信号処理部16から出力されるデジタルの映像信号が、通常の平面視(2次元)表示用の映像信号である場合、映像変換部38からフレームパッキング方式の映像フォーマットで出力される左目用映像フレームと右目用映像フレームとは、全く同じ映像となる。このため、視差量抽出部40で抽出される視差量は0となり、OSD立体変換部43は、OSD信号生成部19から供給されたOSD信号を、フレームシーケンシャル方式の映像フォーマットの左目用映像フレームと右目用映像フレームとで同じ位置に表示させるように、OSDバッファ45に記憶させる。これにより、合成部41からは、OSD信号の重畳された平面視(2次元)表示用の映像信号が出力されることとなり、その映像信号がフレーム変換部46でフレーム周波数を倍速変換された後、出力端子47から映像処理部20を介してLCDパネル3のLCD3aに出力され、通常の2次元表示用の映像として表示されることになる。
デジタルテレビジョン1によれば、OSDを表示する際、立体視表示する左目用映像フレームと右目用映像フレームとの視差量に基づいて、左目用OSD信号と右目用OSD信号との視差量を決定し、左目用及び右目用映像フレームの映像信号と左目用及び右目用OSD信号とを合成するようにしている。このため、OSDを立体視映像上に違和感なく表示させることが可能となり、視聴者が立体視映像の視聴中に表示されたOSDの判読や、立体視映像の視聴中にOSDを表示させて各種の調整及び設定等の操作を行なうことが容易にできるようになり、視聴者にとっての取り扱いを便利にすることができるようになる。
なお、第1の実施形態にかかるデジタルテレビジョン1では、立体視映像の表示中にOSDを表示させることについて説明したが、表示させる情報としてはOSDに限るものではなく、例えば、放送や、光ディスク28、ハードディスク30aまたはネットワークサーバ35,36等から取得した映像信号に基づく表示映像とは別個に、デジタルテレビジョン1が独自に発生して表示可能な画面表示信号に広く適用可能である。
次に、第1の実施形態にかかるデジタルテレビジョン1の特徴的な機能を有する映像処理部20について詳述する。図5は、映像処理部20の構成を示すブロック図である。図5に示すように、映像処理部20は、合成処理部17で生成された左目用映像フレームが供給されるバックライト制御部201Lと、合成処理部17で生成された右目用映像フレームが供給されるバックライト制御部201Rと、バックライト制御信号生成部202とを備えている。
バックライト制御部201Lおよびバックライト制御部201Rは、合成処理部17で生成された左目用映像フレームおよび右目用映像フレームに応じて、LCDパネル3のバックライト3bを構成する各LEDの発光量を制御する。より詳細には、画面(フレーム)を分割してエリアごとに、LCDパネル3のバックライト3bを構成する各LEDの発光量を制御する。例えば、エリアごとの明るさを検出して、ピーク輝度を明るくするなどの補正を追加する。これにより、光の明暗をエリアごとにコントロールすることができるので、メリハリのある映像を表示することができるようになる。このようにしてバックライト制御部201Lで生成された左目映像用バックライト制御信号と、バックライト制御部201Rで生成された右目映像用バックライト制御信号とは、バックライト制御信号生成部202に供給される。
加えて、バックライト制御部201Lおよびバックライト制御部201Rは、画面全体(フレーム全体)のヒストグラムを利用して黒面積を把握するとともに、エリアごとのバックライト3bを構成するLEDの点灯値に応じた映像最適化処理を実行する。これにより、各シーンでコントラスト感を高め、きめ細かい階調性を実現することができる。このようにしてバックライト制御部201Lで最適化された左目用映像フレームと、バックライト制御部201Rで最適化された右目用映像フレームとは、LCDパネル3のLCD3aに供給される。
バックライト制御信号生成部202は、概略的には、バックライト制御部201Lで生成された左目映像用バックライト制御信号と、バックライト制御部201Rで生成された右目映像用バックライト制御信号とを、マージしてバックライト制御信号を生成する。ここで、図6はバックライト制御信号生成部202の構成を示すブロック図である。図6に示すように、バックライト制御信号生成部202は、バックライト制御信号入力部301Lと、バックライト制御信号入力部301Rと、信号変換部302と、遅延制御部303とを備えている。
バックライト制御信号入力部301Lは、バックライト制御部201Lで生成された左目映像用バックライト制御信号を入力する。また、バックライト制御信号入力部301Rは、バックライト制御部201Rで生成された右目映像用バックライト制御信号を入力する。
信号変換部302は、バックライト制御信号入力部301Lおよびバックライト制御信号入力部301Rで受け取ったバックライト制御信号(左目映像用バックライト制御信号および右目映像用バックライト制御信号)を、LCDパネル3のバックライト駆動部3cが受け取れる形に変換する。すなわち、信号変換部302は、左目映像用バックライト制御信号と右目映像用バックライト制御信号とを順番に並べてマージした新たなバックライト制御信号を生成する。
遅延制御部303は、LCDパネル3のLCD3aからシーケンシャルに出力される映像(左目用映像フレームおよび右目用映像フレーム)に同期させてバックライト3bを点灯させるために、信号変換部302で生成したバックライト制御信号を遅延させる。
そして、バックライト制御信号生成部202から出力されたバックライト制御信号を受け取ったLCDパネル3のバックライト駆動部3cは、バックライト制御信号に基づいてバックライト3bを点灯する。
このように第1の実施形態のデジタルテレビジョン1によれば、フレームシーケンシャル方式の映像フォーマットで送られた右目用映像と左目用映像とに対して高精度なバックライト制御を実行することができるので、コントラスト比の高い立体映像を実現することができる。
また、第1の実施形態のデジタルテレビジョン1によれば、左目用映像フレームおよび右目用映像フレームを、バックライト制御部201Lおよびバックライト制御部201Rによってそれぞれ処理するようにしたので、単一のバックライト制御部を用いる場合に比べて高いフレームレートを実現することができる。
ところで、LCDパネル3のLCD3aの液晶画素の書き換えタイミングは、例えば画面上から画面下に1フレームの時間をかけて書き換えることになる。これに対し、バックライトは、図7に示すように、1フレームに1回、調光制御信号をON/OFF(H/L)することで調光を行った場合、輝度が一定とすると、1フレーム内の一部に発光期間が集中し、常に一部の液晶画素の書き換え中に発光していることになる。これにより、映像によっては画面表示に輝度ムラが見える場合がある。
そこで、第1の実施形態のデジタルテレビジョン1は、バックライト制御部201Lおよびバックライト制御部201Rにおいて、PMW(Pulse Width Modulation)パルスを分割することで、LCDパネル3のLCD3aの濃度ムラを抑えるとともに、分割による階調性の低下を防止するようにしたものである。この点について、以下において詳述する。
バックライト制御部201Lおよびバックライト制御部201R(以下、バックライト制御部201という。)は、図8に示すように、上述のように映像用バックライト制御信号(調光値)を生成する調光値生成部401と、分割数判定部402と、調光値補正部403と、パルス生成部404と、を備えている。図8に示すように、分割数判定部402およびパルス生成部404によって、分割制御部405が構成される。
分割数判定部402は、調光値生成部401で生成された映像用バックライト制御信号(調光値)について、1フレーム内のH期間/L期間を1パルスのPWMとせずに複数に分割するにあたり、その分割数を判定する。また、分割数判定部402は、制御部23のメモリ部23bに予め設定された最小パルス幅を用い、分割後のH期間/L期間が最小パルス幅より小さくなることが無いように、調光値に応じて自動的に分割数を緩和する。
分割数判定部402における分割数判定処理について図9のフローチャートを参照して説明する。図9に示すように、分割数判定部402は、まず、調光値生成部401から映像用バックライト制御信号(調光値)A(以下、調光値Aとする。)を取得する(ステップS1)。映像用バックライト制御信号(調光値)はパルスのH期間を示したもので、例えば0〜1のような比率として与えられる。
分割数判定部402は、次に、個々の分割数について、最小パルス幅の設定を満たすか否かを判定する。判定する分割数は、分割無しから順に大きな値を判定しても良いし、最大分割数を規定しておいて、そこから順に小さい分割数を判定しても良い。図9のフローチャートにおいては、分割数の最大値から判定している。
具体的には、分割数判定部402は、まず1フレームの期間(周期)を分割数(最大値)Nで割って、その分割数の場合の1つパルスのL期間+H期間の合計を算出する(ステップS2)。
Tf=1フレームの期間/分割数N
次に、分割数判定部402は、ステップS2で算出したTfに対して、調光値Aをかけることで、H期間の幅Thを求める(ステップS3)。
Th=Tf*A
次に、分割数判定部402は、ステップS3で求めたH期間の幅Thが予め設定された最小パルス幅以上であるか以下であるかを判定する(ステップS4)。なお、最小パルス幅は、LED素子が所望の発光・消光動作を行いうることができるパルス幅のうち最小の幅を、予め実験により求めたものである。
ステップS3で求めたH期間の幅Thが予め設定された最小パルス幅以上でない場合は(ステップS4のNo)、この分割数は使用できないので、分割数を減らして(N=N−1)、ループの先頭に戻る。
一方、H期間が最小パルス幅以上である場合は(ステップS4のYes)、分割数判定部402は、L期間の幅Tlを求める(ステップS5)。
Tl=Tf*(1−A)
次に、分割数判定部402は、ステップS5で求めたL期間の幅Tlが予め設定された最小パルス幅以上であるか以下であるかを判定する(ステップS6)。
ステップS5で求めたL期間の幅Tlが予め設定された最小パルス幅以上でない場合は(ステップS6のNo)、この分割数は使用できないので、分割数を減らして(N=N−1)、ループの先頭に戻る。
一方、L期間が最小パルス幅以上である場合は(ステップS6のYes)、L期間がH期間と同様に最小パルス幅以上であり、現在判定している分割数を使用できるので、分割数判定部402は、ループを抜けて現在の分割数を出力する(ステップS7)。
なお、ループを繰り返して分割数が1に達した場合はこれ以上分割できないので、分割数1として出力する(ステップS8)。
上述したように、分割数判定部402において、最小パルス幅を設定し、分割後のH期間/L期間が最小パルス幅より小さくなることが無いように、調光値に応じて自動的に分割数を緩和するようにしたのは、次のような理由による。
図10の(a)に示すように、1フレーム内のH期間/L期間を1パルスのPWMとせずに、ただ単に複数に分割した場合、次に示すような問題が発生する。調光値が0%、100%の近傍になるとPWMのH期間/L期間のいずれかが小さくなるが、LED素子の応答特性・電圧印加回路の特性によっては、H期間/L期間を一定範囲より小さくした場合に望んだ発光・消灯を行えない可能性がある。これは、1フレームの1パルスのPWMでも起こる問題だが、複数に分割することでその発生確率が高くなり、調光値0%、100%近傍でバックライト制御の階調性の低下を招きやすくなる。そこで、図10の(b)に示すように、分割数判定部402において、最小パルス幅を設定し、分割後のH期間/L期間が最小パルス幅より小さくなることが無いように、調光値に応じて自動的に分割数を緩和することによって、望んだ発光・消灯を行えない可能性を、1フレームの1パルスの場合と同等に抑えるようにしたものである。
次に、調光値補正部403について説明する。調光値補正部403は、分割数に応じて調光値に補正をかけることによって、正しい輝度を実現するものである。具体的には、1パルス当たりの補正量はLED素子の特性に合わせて正負両方が設定できるようにし、これに分割数を乗算したものが、1フレームの補正量になる。
調光値補正部403における調光補正処理について図11のフローチャートを参照して説明する。図11に示すように、調光値補正部403は、まず、調光値A、現フレームの分割数、1パルス当たりの補正量を取得する(ステップS11〜S13)。なお、1パルス当たりの補正量は、予め実験により求めたものであり、制御部23のメモリ部23bに予め記憶されているものとする。
次に、調光値補正部403は、1フレーム全体の補正量を算出する(ステップS14)。1フレーム全体の補正量は、1パルスの補正量に現フレームの分割数を乗じた値である。
次いで、調光値補正部403は、補正後調光値A´を算出する(ステップS15)。具体的には、まず、1フレームの期間に調光値Aを乗算した1フレームのH期間の幅に対して1フレーム全体の補正量を加算して、1フレームの期間で除算して、1フレームの補正後のH期間の幅を求める。なお、1パルスの補正量はLED素子特性などを考慮した設定次第で正負どちらでもとりえる。このため、1フレームの補正後のH期間の幅は、元のH期間よりも大きくなることも、小さくなることもありえる。このようにして求めた1フレームの補正後のH期間の幅を1フレームの周期で割ったものが、補正後調光値(H期間の比率)A´となる。
ただし、補正後調光値A´として、0以下(ステップS16のYes)は取り得ないので、その場合は、補正後調光値A´を下限0(ステップS18)にクリップする。
また、補正後調光値A´として、1以上(ステップS16のNo、ステップS17のYes)も取り得ないので、その場合は、補正後調光値A´を上限1(ステップS19)にクリップする。
上述したように、調光値補正部403において、分割数に応じて調光値に補正をかけるようにしたのは、次のような理由による。
前述したように、最小パルス幅を設定することで、意図しない輝度が生じることは防げる。しかしながら、これに伴う問題として、分割数がフレーム毎に動的に変化することで、輝度に変化が生じフリッカ(ディスプレイに生じる細かいちらつき現象)の原因になる可能性がある。この輝度変化は、図12の(a)や図13の(a)に示す波形のように、破線のような調光制御信号を出力しても、輝度の立ち上り/立ち下りの特性が実線のようであれば、1フレームの制御パルスの数(=分割数)の分だけ誤差が累積することになり、パルス数の変化が誤差量の変化に繋がるためである。
そこで、第1の実施形態のデジタルテレビジョン1においては、図12の(b)に示すように、調光値の波形について立ち上がりが遅く立ち下がりが速い特性を有している場合には、調光値補正部403において前記バックライト制御パルスのパルス幅を広げる方向に補正して、積分値をあわせるようにする。また、第1の実施形態のデジタルテレビジョン1においては、図13の(b)に示すように、調光値の波形について立ち上がりが速く立ち下がりが遅い特性を有している場合には、調光値補正部403において前記バックライト制御パルスのパルス幅を縮める方向に補正して、積分値をあわせるようにする。
次に、パルス生成部404について説明する。パルス生成部404は、1フレームの周期に調光値をかけて、1フレームのH期間、残りを1フレームのL期間として求め、それぞれを分割数で割った値を1つのPWM信号のパルスのH期間、L期間とする。カウンタ等で時間計測して、バックライト制御パルスに分割後のH期間だけHを出力し、次に分割後のL期間だけLを出力する。これを分割数の数だけ繰り返すことで、1フレームのバックライト制御パルスを生成する。
このように第1の実施形態のデジタルテレビジョン1によれば、PWMパルスを分割することで、LCDパネル3のLCD3aの輝度ムラを抑えることが出来、また、分割によって階調性が低下する問題を防ぐことが出来ようになる。加えて、パルス毎に輝度の応答を補正することで、より正しい輝度での発光が可能になる。これはフリッカの抑制にも効果がある。これらにより、LCDパネル3のLCD3aの画質の改善、あるいは劣化を抑制することが出来る。
(第2の実施形態)
次に、第2の実施形態について説明する。なお、第1の実施形態と同じ部分ついては説明を省略する。
第1の実施形態においては、調光値補正部403において、分割数に応じて調光値に補正をかけることによって、フリッカ(ディスプレイに生じる細かいちらつき現象)を防止するようにした。第2の実施形態においては、分割数判定部402におけるヒステリシス制御によって、前フレームの分割数に留まりやすくすることで、分割数が過敏に変化することによるフリッカを更に抑制するようにしたものである。
第2の実施形態のデジタルテレビジョン1の分割数判定部402は、分割数を決定する際の最小パルス幅として、前フレームと同じ分割数用とそれ以外の分割数用の2種類を持ち、分割数判定の閾値を変えることで、現フレームに留まり易くしてヒステリシス制御を行う。これによって、微小な調光値の変化によって分割数が変化することを抑制できるので、フリッカを抑えることが出来る。
分割数判定部402における分割数判定処理について図14のフローチャートを参照して説明する。図14に示すように、分割数判定部402は、調光値生成部401から調光値Aを取得すると(ステップS1)、前フレームの分割数を取得する(ステップS21)。なお、前フレームの分割数は、制御部23のメモリ部23bに予め記憶されているものとする。
次に、分割数判定部402は、ループの各分割数判定において、ステップS2の処理に先立ち、判定する分割数Nが前フレームの分割数に一致しているときだけ(ステップS22のYes)、同一分割数用のパルス幅2を最小パルス幅として使用し(ステップS23)、判定する分割数Nが前フレームの分割数に一致していない場合には(ステップS22のNo)、異なる分割数用のパルス幅1(パルス幅1>パルス幅2)を使用する(ステップS24)。
このように第2の実施形態のデジタルテレビジョン1によれば、パルス幅1>パルス幅2とすることで、前フレームと同じ分割数が選択されやすくなり(前フレームの分割数から分割数が緩和されにくくなり)、ヒステリシス制御が実現できるので、微小な調光値の変化によって分割数が変化することを抑制できるので、更にフリッカを抑えることが出来る。
なお、各実施形態において、複数のPWM信号を使用してLCDパネル3のバックライト3bの輝度を領域ごとに制御するようにしたが、これに限るものではなく、LCDパネル3のバックライト3b全体を1系統のPWM信号で制御するようにしても良い。このようにLCDパネル3のバックライト3b全体を1系統のPWM信号で制御する場合においても、本提案のPWMの分割処理は有効である。
また、各実施形態では、分割数として取りえる値を特に制限していないが、1以上の連続した自然数とせず、取りえる自然数を離散的にしても良い。例えば、分割数を2のべき乗の値にすれば、割り算の演算量を減らすことが出来、より簡単な回路として実装可能である。
また、各実施形態においては、映像出力装置として立体視(3次元)表示用の映像信号に基づく映像表示を行なうことができるデジタルテレビジョン1を適用したが、これに限るものではなく、通常の平面視(2次元)表示用の映像信号に基づく映像表示のみを行なうデジタルテレビジョンを映像出力装置として適用するようにしても良い。
なお、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。
1 映像出力装置
3a 映像表示部
3b、3c バックライト部
401 調光値生成部
403 調光値補正部
405 分割制御部

Claims (6)

  1. ックライト発光によりパネルに表示させる1のフレームの書換期間を予め設定された分割数に従って複数の分割期間に分割し、当該フレームの前記書換期間において前記バックライトを発光させる期間の比率に従って、前記分割期間において前記バックライトを発光させる第1期間および前記バックライトを消光させる第2期間を求める制御部と、
    前記第1期間および前記第2期間に従って、前記バックライトを発光させる駆動部と、
    を備え、
    記制御部は、前記第1期間または前記第2期間が前記バックライトを発光可能かつ消光可能な予め設定された最小期間よりくなる場合には前記分割数を減じて、前記第1期間および前記第2期間を求めなおす
    ことを特徴とする映像出力装置。
  2. 記制御部は、前記第1期間および前記第2期間を求めた前記フレームの前記分割数である第1分割数と、当該フレームの直前に表示されるフレームの前記分割数である第2分割数とが異なる場合、前記最小期間として第1最小期間を用い、前記第1分割数と前記第2分割数とが同一である場合、前記最小期間として前記第1最小期間より短い第2最小期間を用いる、
    ことを特徴とする請求項1記載の映像出力装置。
  3. 前記制御部は、前記分割期間において前記第1期間ハイレベルとなりかつ前記第2期間ロウレベルとなるパルスを前記駆動部に出力し、前記バックライトから発光される光の輝度の立ち上がりが遅く立ち下がりが速い特性を前記バックライトが有している場合には、前記パルスのパルス幅を広げる方向に補正
    前記駆動部は、前記パルスに従って、前記バックライトを発光させる、
    ことを特徴とする請求項1または2記載の映像出力装置。
  4. 前記制御部は、前記バックライトから発光される光の輝度の立ち上がりが速く立ち下がりが遅い特性を有している場合には、前記パルスのパルス幅を縮める方向に補正する、
    ことを特徴とする請求項3記載の映像出力装置。
  5. 像出力装置におけるバックライト制御方法であって、
    ックライト発光によりパネルにより表示させる1のフレームの書換時間を予め設定された分割数に従って複数の分割期間に分割し、当該フレームの前記書換期間において前記バックライトを発光させる期間の比率に従って、前記分割期間において前記バックライトを発光させる第1期間および前記バックライトを消光させる第2期間を求める制御工程と、
    前記第1期間および前記第2期間に従って、前記バックライトを駆動させる駆動工程と、
    を含み、
    記制御工程は、前記第1期間または前記第2期間が前記バックライトを発光可能かつ消光可能な予め設定された最小期間よりくなる場合には前記分割数を減じて、前記第1期間および前記第2期間を求めなおす
    ことを特徴とするバックライト制御方法。
  6. 記制御工程は、前記第1期間および前記第2期間を求めた前記フレームの前記分割数である第1分割数と、当該フレームの直前に表示されるフレームの前記分割数である第2分割数とが異なる場合、前記最小期間として第1最小期間を用い、前記第1分割数と前記第2分割数とが同一である場合、前記最小期間として前記第1最小期間より短い第2最小期間を用いる、
    ことを特徴とする請求項記載のバックライト制御方法。
JP2010168346A 2010-07-27 2010-07-27 映像出力装置およびバックライト制御方法 Expired - Fee Related JP5661364B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010168346A JP5661364B2 (ja) 2010-07-27 2010-07-27 映像出力装置およびバックライト制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010168346A JP5661364B2 (ja) 2010-07-27 2010-07-27 映像出力装置およびバックライト制御方法

Publications (2)

Publication Number Publication Date
JP2012027391A JP2012027391A (ja) 2012-02-09
JP5661364B2 true JP5661364B2 (ja) 2015-01-28

Family

ID=45780339

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010168346A Expired - Fee Related JP5661364B2 (ja) 2010-07-27 2010-07-27 映像出力装置およびバックライト制御方法

Country Status (1)

Country Link
JP (1) JP5661364B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6102252B2 (ja) * 2012-12-27 2017-03-29 日本精機株式会社 表示装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4912597B2 (ja) * 2004-07-13 2012-04-11 パナソニック株式会社 液晶表示装置
EP2012564A4 (en) * 2006-04-24 2011-04-13 Panasonic Corp TAIL LIGHT CONTROL AND DISPLAY
JP2007294278A (ja) * 2006-04-26 2007-11-08 Matsushita Electric Ind Co Ltd バックライト調光装置
JP4857921B2 (ja) * 2006-06-08 2012-01-18 パナソニック株式会社 液晶表示装置用バックライト制御装置

Also Published As

Publication number Publication date
JP2012027391A (ja) 2012-02-09

Similar Documents

Publication Publication Date Title
JP5039182B2 (ja) 立体映像出力装置およびバックライト制御方法
JP4172495B2 (ja) 画像表示装置、信号処理装置、および画像処理方法、並びにコンピュータ・プログラム
TWI404034B (zh) 過驅動值產生裝置及過驅動值產生方法
JP5276404B2 (ja) 表示装置
JP2007133051A (ja) 画像表示装置
US9704443B2 (en) Liquid crystal display apparatus and display method
JP2009518682A (ja) 表示装置及び表示方法
JP2009512896A (ja) 表示装置、表示制御装置及び表示方法
JP4525946B2 (ja) 画像処理装置、画像表示装置および画像処理方法
US20150242704A1 (en) Image display apparatus and method of controlling image display apparatus
EP2579241A1 (en) Liquid crystal display device
JP2012028963A (ja) 画像表示装置、画像表示方法、及び、画像供給装置
WO2012063777A1 (ja) 立体映像表示装置
JP4840519B2 (ja) 立体画像表示装置
WO2013172100A1 (ja) 表示装置、表示装置の制御方法、テレビジョン受像機、制御プログラム、および記録媒体
JP2012519885A (ja) 例えば液晶ディスプレイのバックライトに関するボケ防止(anti−blur)装置
JP6257225B2 (ja) 表示制御装置、表示制御装置の制御方法、及びプログラム
JP2005321424A (ja) 画像表示装置
JP5661364B2 (ja) 映像出力装置およびバックライト制御方法
WO2011148677A1 (ja) 液晶表示装置
WO2011099234A1 (ja) 立体表示装置および立体表示方法
JP5538849B2 (ja) 画像表示装置、画像表示方法
JP5237915B2 (ja) 記録再生装置、表示装置
JP2013182108A (ja) 画像処理装置及び方法、並びに画像表示装置
JP2011215345A (ja) 映像表示装置及び映像表示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130523

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140121

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140324

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20140806

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20140806

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141203

R150 Certificate of patent or registration of utility model

Ref document number: 5661364

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313115

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees