JP5111872B2 - 映像信号処理装置、映像信号処理方法、映像信号処理プログラムおよび映像信号表示装置 - Google Patents
映像信号処理装置、映像信号処理方法、映像信号処理プログラムおよび映像信号表示装置Info
- Publication number
- JP5111872B2 JP5111872B2 JP2007012214A JP2007012214A JP5111872B2 JP 5111872 B2 JP5111872 B2 JP 5111872B2 JP 2007012214 A JP2007012214 A JP 2007012214A JP 2007012214 A JP2007012214 A JP 2007012214A JP 5111872 B2 JP5111872 B2 JP 5111872B2
- Authority
- JP
- Japan
- Prior art keywords
- video signal
- gain
- unit
- display device
- signal processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/10—Intensity circuits
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/20—Circuitry for controlling amplitude response
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/06—Adjustment of display parameters
- G09G2320/0626—Adjustment of display parameters for control of overall brightness
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
- G09G2330/02—Details of power systems and of start or stop of display operation
- G09G2330/021—Power management, e.g. power saving
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Controls And Circuits For Display Device (AREA)
- Television Receiver Circuits (AREA)
- Transforming Electric Information Into Light Information (AREA)
Description
一方、近年、環境意識の向上に伴い、消費電力を削減することが重要となっている。
この相反する、表示画面の明るさ向上と消費電力削減とを両立させるディスプレイ装置を実現することが望まれている。
多くの自発光型のディスプレイ装置には、消費電力抑制するために、映像信号のアベレージピクチャーレベル(以下、「APL」という。)が高い場合、消費電力を制限にする制御がある。この制御が有効な場合、自発光型のディスプレイ装置において、表示画面全体の発光量の総和が一定になるように制御される。
図16に、従来技術の一例としての映像信号表示装置1600の構成を示す。
映像信号表示装置1600は、映像信号に所定の処理を行う映像信号処理装置1601と、映像信号処理装置1601で処理された映像信号を表示させる表示装置1602とから構成される。
映像信号処理装置1601は、入力された映像信号のAPLを検出する平均輝度検出部1603と、検出されたAPLに基づいて信号レベル調整用ゲインを生成するゲイン生成部1604と、生成された信号レベル調整用ゲインに基づいて、入力された映像信号の信号レベルを調整し、表示装置1602に出力する信号レベル調整部1605と、から構成される。
図16(b)に示すような画像を形成する映像信号が映像信号表示装置1600に入力された場合で、図16(b)に示すPQ間の1ラインを形成する映像信号が入力されたときを例に、以下説明する。
この場合、入力された映像信号は、平均輝度検出部1603で検出されたAPLに基づく信号レベル調整用ゲインにより信号レベル調整がなされ、表示装置1602に出力される。具体的には、PQ間の映像信号について、図16(c)のような信号レベル調整用ゲインが生成され、この信号レベル調整用ゲインを入力されたPQ間の映像信号に乗算することで、映像信号に対して信号レベル調整が実行される。
これにより、表示装置1602に出力される映像信号は、中心付近の信号レベルが周辺の信号レベルより高くなるので、表示装置1602に表示される表示画面は、PQ間の中心付近が明るく、周辺に行くにしたがって明るさが低下する表示画面となる。したがって、映像信号表示装置1600では、表示画面の表示品位の低下を抑制しながら、消費電力を低減させることができる。
本発明は、上記問題点を解決するもので、ヒトの注視しやすい領域が表示画面内に複数存在している場合であっても、表示画面において、十分な明るさ感を得ることができ、かつ、消費電力を抑えることができる映像信号表示装置、映像信号処理装置、映像信号処理方法、集積回路、および映像信号処理プログラムを実現することを目的とする。
この映像信号処理装置では、複数オブジェクト検出部により単位画像に含まれる複数のオブジェクトが検出され、単位画像を表示装置に表示させた場合の表示画面において、任意の2つのオブジェクトの略中心点の表示画面上の発光量より低い発光量となる点が、2つのオブジェクトの略中心点間の領域に存在するように補正ゲインを算出され、その補正ゲインにより入力映像信号が補正される。これにより、表示画面において、ヒトが注視しやすい複数のオブジェクトを中心に発光量が高くなり、その周辺の発光量が低くなる。したがって、表示画面において、ヒトが注視しやすい複数のオブジェクトを中心に明るさ感を保持したまま、映像信号を表示させる表示装置の消費電力を抑えることができる。
第2の発明は、第1の発明であって、補正ゲイン算出部は、オブジェクトの検出数の最大数と同数個設置され、複数オブジェクト検出部により検出されたオブジェクトごとに傾斜ゲインを算出する傾斜ゲイン生成部と、オブジェクトごとの傾斜ゲインを結合し、1つの補正ゲインを生成する傾斜ゲイン結合部と、を有する。
この映像信号処理装置では、傾斜ゲイン生成部により、オブジェクト検出数分の傾斜ゲインを算出することができ、そのオブジェクト検出数分の傾斜ゲインを傾斜ゲイン結合部により結合することで1つの補正ゲインを算出することができる。
これにより、検出されたオブジェクト順に、傾斜ゲイン生成部を割り当てることができる。つまり、検出されたオブジェクトがN個である場合、1番目に検出されたオブジェクト用の傾斜ゲインを算出するために、1番目の傾斜ゲイン生成部が割り当てられ、2番目に検出されたオブジェクト用の傾斜ゲインを算出するために、2番目の傾斜ゲイン生成部が割り当てられ、・・・、N番目に検出されたオブジェクト用の傾斜ゲインを算出するために、N番目の傾斜ゲイン生成部が割り当てられることになる。
なお、「対応づけられる」とは、例えば、検出されたオブジェクトごとに傾斜ゲイン生成部を割り当てられることを意味する。
第5の発明は、第2から第4のいずれかの発明であって、オブジェクトの検出数の最大数は、予め設定された数である。
これにより、オブジェクト検出数の上限数を設定することができるため、映像信号処理装置において処理効率を上げることができる。また、この映像信号処理装置をハードウェアで実現する場合、実装する回路の規模を削減することができる。
この映像信号処理装置では、傾斜ゲイン結合部により、オブジェクトごとの傾斜ゲインのうちの最小値の傾斜ゲインを補正ゲインとされ、入力映像信号は、信号レベル補正部により、(1−(補正ゲイン))倍することで補正される。これにより、表示画面において、複数オブジェクトが重なりあった状態になった場合でも、傾斜ゲインが大きく変化することがなく、表示画面においてチラツキの発生等を抑えることができる。
第7の発明は、第2から第6のいずれかの発明であって、傾斜ゲイン生成部は、単位画像を構成する画素ごとに、画素とオブジェクトとの距離を算出する距離算出部と、距離算出部で算出された距離に応じて傾斜ゲインを算出するゲイン算出部と、を有する。
これにより、画素とオブジェクトとの距離に応じた傾斜ゲインを算出することができる。
この映像信号処理装置では、オブジェクトの略中心点からの距離が大きくなるにつれ、傾斜ゲインが大きくなるように傾斜ゲインが変化するので、表示画面において、自然な明るさ感を保持しながら、映像信号処理装置から出力された映像信号を表示装置に表示させたときの消費電力を抑えることができる。
第9の発明は、第8の発明であって、ゲイン算出部は、ガウス関数により傾斜ゲインを算出する。
この映像信号処理装置では、オブジェクトの略中心点からの距離が大きくなるにつれ、傾斜ゲインが大きくなるように、ガウス関数を用いて、なだらかに傾斜ゲインが変化するので、表示画面において、自然な明るさ感を保持しながら、映像信号処理装置から出力された映像信号を表示装置に表示させたときの消費電力を抑えることができる。
この映像信号処理装置では、オブジェクト距離算出部により、そのオブジェクト距離算出部に対応づけられたオブジェクトと、そのオブジェクト距離算出部に対応づけられたオブジェクト以外のオブジェクトとの距離の総和である総和オブジェクト距離が算出され、その総和オブジェクト距離に基づいて、傾斜ゲインが算出される。これにより、表示画面上において複数オブジェクトが集中した部分と、オブジェクトが分散している部分とで、補正ゲインを変化させることができる。そして、表示画面上において、ヒトが注目しやすいオブジェクトが集中している部分をより明るくすることで、明るさ感を向上させることができる。
第12の発明は、第11の発明であって、オブジェクトの属性は、オブジェクトの検出数、オブジェクトの大きさ、および、表示画面の中央からオブジェクトの略中心点までの距離の少なくとも1つである、
これにより、例えば、表示画面上に大きなオブジェクトが存在する場合、そのオブジェクト中心からその周辺に行くにしたがってなだらかに表示画面上での輝度を低下させるように傾斜ゲインを設定することができる。したがって、ヒトが注視しやすい大きなオブジェクト周辺の明るさ感を向上させることができる。
第13の発明は、第2から第12のいずれかの発明であって、単位画像を構成する画素ごとに、画素と表示画面中央との距離を算出する中央距離算出部と、中央距離算出部で算出された距離に応じて傾斜ゲインを算出するゲイン算出部と、を有するデフォルト傾斜ゲイン生成部をさらに備える。傾斜ゲイン結合部は、複数オブジェクト検出部によりオブジェクトが1つも検出されなかった場合、デフォルト傾斜ゲイン生成部により算出された傾斜ゲインを補正ゲインとし、複数オブジェクト検出部によりオブジェクトが検出された場合、デフォルト傾斜ゲイン生成部により算出された傾斜ゲインおよび傾斜ゲイン生成部により算出された傾斜ゲインを結合し、1つの補正ゲインを生成する。
これにより、表示画面上に1つもオブジェクトがない場合であっても、明るさ感を保持しつつ、映像信号を表示させる表示装置の消費電力を抑えることができる。
これにより、例えば、オブジェクト検出数が多い場合に、デフォルト傾斜ゲイン生成部により算出された傾斜ゲインを補正ゲインとする信号レベル補正を行うことができる。
第15の発明は、第2から第14のいずれかの発明であって、単位画像における特徴量を抽出する特徴量抽出部をさらに備える。ゲイン算出部は、特徴量に応じて、傾斜ゲインを算出する。
これにより、単位画像の特徴に応じた傾斜ゲインにより、入力映像信号の信号レベル調整を行うことができる。例えば、フィールドあるいはフレームごとの単位画像の特徴に応じた傾斜ゲインにより、入力映像信号の信号レベル調整を行うことができるので、特に、動画である映像を処理する場合に有効である。なお、ここで特徴量とは、例えば、単位画像における所定の周波数成分のパワー、平均輝度、平均彩度、ヒストグラム分布量等である。
第17の発明は、第16の発明であって、表示装置は、映像信号のアベレージピクチャレベルが所定の値以上になると、表示装置の消費電力を制限する電力制限部を有する自発光型表示装置である。
この映像信号処理方法は、第1の発明と同様の効果を奏する。
この映像信号処理プログラムは、第1の発明と同様の効果を奏する。
この集積回路は、第1の発明と同様の効果を奏する。
[第1実施形態]
<1.1:映像信号表示装置の構成>
図1に、第1実施形態に係る映像信号表示装置100の構成図を示す。
第1実施形態に係る映像信号表示装置100は、主に、映像信号処理装置101と、表示装置104と、遅延部102と、記憶部103とから構成される。
映像信号処理装置101は、入力映像信号に対して、所定の処理を行い、表示装置104に出力する。表示装置104は、映像信号処理装置101で処理された映像信号により形成される映像を表示装置104の表示部(不図示)に表示させる。
記憶部103は、映像信号により形成される単位画像(例えば、1フレームの画像)分の入力映像信号を映像信号データとして記憶し保持する。記憶部103で記憶保持された入力画像信号の映像信号データについては、外部からアクセス可能である。記憶部103として、例えば、フレームメモリを用いることができる。
映像信号処理装置101は、主に、入力映像信号からその入力映像信号に含まれる複数のオブジェクトを検出する複数オブジェクト検出部1、検出された複数のオブジェクトのそれぞれの情報から、それぞれのオブジェクトに対応するN個(N:2以上の自然数)の傾斜ゲインを生成するN個の傾斜ゲイン生成部2A〜2N、N個の傾斜ゲインを結合させて補正ゲインを生成する傾斜ゲイン結合部3、および補正ゲインに基づき入力映像信号の補正を行う信号レベル補正部4から構成される。そして、傾斜ゲイン生成部2A〜2Nは、それぞれ、オブジェクトの情報(オブジェクトの位置情報)から距離情報を算出する距離算出部2A1〜2N1と、距離情報から傾斜ゲインを算出するゲイン算出部2A2〜2N2とを備える。ここで、位置情報とは、単位画像分の映像信号(1枚の表示画像を形成することができる映像信号。例えば、1フレーム分の映像信号がこれに相当する。)により形成される2次元の表示画像上における2次元座標情報をいう。なお、以下、1単位画像を1フレームとして説明する。
傾斜ゲイン結合部3は、ゲイン算出部2A2〜2N2で求められたN個のゲインを入力とし、そのN個のゲインから補正ゲインを求め、信号レベル補正部4に出力する。
信号レベル補正部4は、遅延部102から出力された映像信号を、傾斜ゲイン結合部3により求められた補正ゲインにより、信号レベルを補正し、表示装置104に出力する。
なお、上記各構成部は、映像信号が形成する画像の画素単位で処理が実行される。
<1.2:映像信号表示装置の動作>
次に、映像信号表示装置100の動作について説明する。
入力映像信号は、位置情報および明るさ情報を有する信号であり、ここでは、位置情報を表示画面の画素位置(x,y)で表し、明るさ情報をRGB信号(各8bit)で表す。入力映像信号がハイデフェニション放送用信号(HDTV信号)の場合、x,yの値域は、それぞれ、1〜1920,1〜1080である。
なお、映像信号表示装置において、1フレーム単位に処理を行う場合について説明する。
入力映像信号は、まず、記憶部103および遅延部102に入力される。
記憶部103において、1フレーム分の入力映像信号が記憶され、映像信号データとして保持される。そして、記憶部103に保持されている1フレーム分の映像信号データは、外部からアクセス可能である。
オブジェクトの属性とは、例えば、顔の検出数N、各顔の中心点のx座標,y座標及びその横幅,縦幅である。
検出数Nは、1フレーム内の顔の数であり、Nは自然数である。回路規模削減のため、オブジェクト検出数Nに上限(LimN)を設け、Nの値域を0〜LimNに制限してもよい。
複数オブジェクト検出部1により、検出されたN個のオブジェクト属性は、傾斜ゲイン生成部2A〜2Nに出力される。
傾斜ゲイン生成部2A〜2Nは、映像信号が形成する画像の画素(当該画素に対応する映像信号データ)ごとに、各オブジェクトの略中心から表示画面における発光量を低下させる傾斜ゲインを生成する。ここで、発光量とは、映像信号を表示装置104に表示させた場合における表示画面から放出される光の量であり、映像信号がRGB信号であるとき、R^γ+G^γ+B^γで表される。γとはパネルガンマを意味し、一般的に、γは1.8〜2.4の値である。なお、Rは、RGB信号である映像信号のR信号成分、Gは、同信号のG信号成分、Bは、同信号のB信号成分である。
図4(a)は、映像信号表示装置100の表示装置104における表示画面の一例を表し、オブジェクトの略中心Qから信号レベルが低下している様子を示した図である。つまり、表示画面上において、オブジェクト略中心Qから信号レベルを低下させる割合を表している。
図4(a)に記載の等高線は、同じ傾斜ゲインとなる表示画像上の画素を線で結ぶことで形成されているもので、各等高線上の数値(図4(a)において矢印で示している数値)は、傾斜ゲインによる信号レベルの低下度合い(=出力信号レベル/入力信号レベル)を示している。図4では、オブジェクトの略中心Qから、滑らかに傾斜ゲインを変化させるために、ガウス関数を用いている。図4(b)は、距離と正規化後のガウス関数の値との関係を示している。図4(b)において、横軸は距離であり、縦軸は正規化されたガウス関数の値である。なお、正規化されたガウス関数とは、
〔1−{gauss(rpi’)−gauss(1)}/{gauss(0)−gauss(1)}〕
である。ここで、rpi’=rpi/r_maxである。
このようにして算出された距離rpiは、距離算出部2A1〜2N1により、それぞれ、ゲイン算出部2A2〜2N2に出力される。
次に、ゲイン算出部2A2〜2N2により、距離rpiから傾斜ゲインgainpiが求められる。傾斜ゲインは、距離から求められるスカラー量であり、ここでは、ヒトが輝度の低下を検知し難いように、傾斜ゲインが滑らかに変化するガウス関数を用いた(数式2)により、傾斜ゲインを算出する。
gauss(rpi’)=exp[{‐rpi’×rpi’/(2×σ×σ)}/σ]
である。ここで、expは指数とする。また、σは傾斜距離(距離rpi)に対する輝度低下量(輝度低下率)の形状を規定する定数(=0.35)である。
なお、傾斜ゲインの値域を0〜Kにするために、正規化を行う。
図4(c)に、距離(オブジェクト中心からの各画素までの距離)と傾斜ゲインとの関係を示す。図4(c)の横軸においては、オブジェクト中心Qを原点としている。
なお、距離による傾斜ゲインの変化は必ずしも連続でなくてもよい。オブジェクト中心付近の平均発光量が、オブジェクトから離れた領域(表示画面上の表示領域に対応。)の平均発光量より、相対的に高くなるような傾斜ゲインであればよい。
以上により生成した傾斜ゲインは、画素ごとに、傾斜ゲイン生成部2A〜2Nのゲイン算出部2A2〜2N2から、傾斜ゲイン結合部3に出力される。
図5において、破線で各オブジェクト(図5(a)、(b)において、オブジェクト数Nは2である。)の傾斜ゲインを示し、実線で補正ゲインを示す。
各オブジェクトの傾斜ゲインを最小値でなく加算平均値を補正ゲインとした場合について、図5(c1)、(c2)を用いて説明する。
3つのオブジェクトが検出される図5(c1)の状態から、2つのオブジェクトが検出される図5(c2)の状態に瞬時に変化したような場合、図5(c1)、(c2)の太線で示すように、オブジェクト検出数の変化により補正ゲインが大きく変化し、表示画面上で、チラツキが生じる映像となる場合がある。この場合、左側のオブジェクトがある場所付近の信号レベル調整用補正ゲインが、図5(c1)から図5(c2)に変化した場合に、大きく変化しており、この部分における表示画面上のチラツキが発生しやすい。
映像信号表示装置100において、傾斜ゲインの最小値をとることで補正ゲインを求める方法を用いることで、映像信号を表示装置104に表示させる場合、表示される映像にチラツキが発生せず、また、表示画面において、自然な明るさ感を得ることができる。
複数オブジェクト検出部1での顔(オブジェクト)検出の精度が十分に高くない場合、各オブジェクトの傾斜ゲインの平均値を用いない方法(傾斜ゲインの最大値、最小値あるいは中央付近の値を用いる方法)を用いる方法もある。
また、上記では、傾斜ゲインの最小値をとることで補正ゲインを求める方法について説明したが、これに限定されることはない。例えば、乗算、相乗平均あるいは相加平均により補正ゲインを算出してもよい。
1−(1−gainp1)×・・・×(1−gainpN)
により、補正ゲインを求める。
相乗平均により補正ゲインを求める場合は、
1−{(1−gainp1)×・・・×(1−gainpN)}^(1/N)
により、補正ゲインを求める。
相加平均により補正ゲインを求める場合は、
1−{(1−gainp1)×・・・×(1−gainpN)}/N
により、補正ゲインを求める。
傾斜ゲイン結合部3において、以上のように補正ゲインを算出することで、オブジェクト中心付近の画素の補正ゲインを、オブジェクト間の画素の補正ゲインよりも小さくすることができる。これにより、表示画面において、オブジェクト中心付近の画素の発光量を、オブジェクト間の画素の発光量よりも相対的に高くすることができる。つまり、ヒトが注視しやすいオブジェクト中心の発光量を維持させながら、その周辺の発光量を低下させるので、表示画面において十分な明るさ感(特に注視しやすいオブジェクトに対する明るさ感)を保持したまま、消費電力を抑えることができる。
傾斜ゲイン結合部3で算出された補正ゲインは、信号レベル補正部4に入力される。
信号レベル補正部4は、補正ゲインに応じて、遅延部102から出力された入力映像信号を補正して、表示装置104に出力する。たとえば、入力映像信号の信号レベルと補正ゲインの積から信号レベル低下量を求め、その信号レベル低下量を入力映像信号から減算することで取得された信号レベルとなる映像信号を、出力映像信号として、表示装置104に出力する。つまり、信号レベル補正部4は、(数式3)で表される処理を実行する。
図3(a)に示すような画像を形成する1フレーム分の入力映像信号が信号レベル補正部4に入力された場合、図3(a)のPQ間の映像信号に対しては、図3(b)のような信号レベル調整が、信号レベル補正部4によりなされる。なお、図3(b)において、横軸はPQ間における画面位置であり、縦軸は信号レベル調整用補正ゲイン(=1−(補正ゲイン))である。
信号レベル補正部4から出力された映像信号は、表示装置104に入力され、表示装置104において映像として表示される。
以上により、映像信号表示装置100では、ヒトの注視しやすい領域が表示画面内に複数存在している場合であっても、表示画面において、十分な明るさ感(特に注視しやすいオブジェクトが存在する領域に対する明るさ感)を得ることができ、かつ、消費電力を抑えることができる。また、表示画面において、オブジェクト同士が重なり合った場合であっても、映像にちらつきを発生させることなく自然な映像を表示させることができる。
以下、第1実施形態に係る映像信号表示装置100について、具体的な数値をあげて説明する。
入力映像信号が形成する1フレームの画像の画素数を横1920縦1080pixelとし、複数オブジェクト検出部1で、2つの顔を検出した場合について説明する。複数オブジェクト検出部1で検出した2つの顔を、顔1,顔2とし、顔1の中心点(位置情報)を(600,540),顔2の中心点(位置情報)を(1200,540)とする。
傾斜ゲイン生成部2A〜2Nでは、画素pの座標を(800,540)とし、画素pの補正ゲインを算出する場合について説明する。
まず、顔1に対する傾斜ゲインgain1を求める。
(数式1)を用いて、距離rp1を求める。つまり、
rp1={(800−600)^2+(540−540)^2}^0.5=200
となる。
(数式2)を用いて、傾斜ゲインを求める。つまり、
gain1=0.064
となる。
rp2={(800−1200)^2+(540−540)^2}^0.5=400
となり、
gain2=0.212
となる。
最大輝度低下率KをK=0.5と定め、ガウス関数の形状を規定する定数σをσ=0.35と定める。
距離の最大値r_maxは、この場合、表示画面4隅と表示画面の中心との距離なので(数式4)により求められる。
つまり、この場合、補正ゲインは、
Min(0.064,0.212)=0.064
となる。なお、ここで、Min()は、最小値を求める関数である。
最後に、信号レベル補正部4は、画素pの入力映像信号を(In_p_R,In_p_G,In_p_B)=(255,128,0)とした場合、出力映像信号のレベルは、(数式3)より、R,G,Bそれぞれについて、(Out_p_R,Out_p_G,Out_p_B)=(239,120,0)となる。
全ての画素において同様に処理することで、信号レベル補正部4により、出力映像信号を得ることが出来る。
次に、第1実施形態に係る映像信号表示装置100の変形例としての映像信号表示装置100’について説明する。
図2に、映像信号表示装置100’の構成を示す。なお、映像信号表示装置100と同様の部分については、同じ符号を付し、説明を省略する。
映像信号表示装置100’において、映像信号表示装置100と異なるのは、映像信号処理装置101’において、特徴量抽出部7をさらに備え、傾斜ゲイン生成部2A’〜2N’のゲイン算出部が動的ゲイン算出部2A2’〜2N2’に置換されているところである。
特徴量抽出部7は、記憶部103に記憶保持されている1フレーム分の映像信号データから1フレームの画像から入力映像信号の特徴量C(後述)を抽出する。
映像信号表示装置100においては、最大輝度低下率Kは、映像信号によらず固定値であったが、映像信号表示装置100’においては、更なる明るさ感向上のために、入力映像信号に応じてフレームごとにKを動的に変化させる。
つまり、特徴量抽出部により、フレーム毎に入力映像信号から、入力映像信号の特徴量Cを抽出する特徴量抽出部と、特徴量Cを用いて、そのフレームに応じた傾斜ゲインを出力する動的傾斜ゲイン生成部を用いる。
これにより、フレーム内で最適な最大輝度低下率Kを用いた信号レベル補正が実行される。
図6に、第2実施形態に係る映像信号表示装置200の構成図を示す。なお、第1実施形態に係る映像信号表示装置100と同様の部分については、同じ符号を付し、説明を省略する。
映像信号表示装置200において、映像信号表示装置100との相違点は、傾斜ゲイン生成部62A〜62Nに、オブジェクト距離算出部62A3〜62N3が追加されており、傾斜ゲイン生成部62A〜62Nにおいて、オブジェクトとオブジェクトとの距離に応じて、傾斜ゲインを変化させる点である。
なお、距離算出部62A1〜62N1は、第1実施形態での距離算出部2A1〜2N1と同じものである。
ゲイン算出部62A2〜62N2において、最大輝度低下率Kをオブジェクト距離objRiと連動させる。たとえば、i番目のオブジェクトの最大輝度低下率Ki=K×objRiとする。これに伴い、傾斜ゲインを算出する数式が(数式2)から(数式6)に変更される。
以上より、複数オブジェクトが集中した部分と、オブジェクトが分散している部分とで、補正ゲインを変化させることができる。これにより、ヒトが注目しやすい部分が集中している部分をより明るくすることで、映像信号表示装置200において、更なる明るさ感を向上させることができる。
また、最大輝度低下率Kは、映像信号によらず固定値だが、更なる明るさ感向上のために、入力映像信号に応じてフレームごとに最大輝度低下率Kを動的に変化させてもよい。入力映像信号に応じてフレームごとに最大輝度低下率Kを動的に変化させる映像信号表示装置200’を図7に示す。なお、映像信号表示装置100、100’および200と同様の部分については、同じ符号を付し、説明を省略する。
映像信号表示装置200’において、映像信号表示装置200と異なるのは、映像信号処理装置201’において、特徴量抽出部7をさらに備え、傾斜ゲイン生成部62A’〜62N’のゲイン算出部が動的ゲイン算出部62A2’〜62N2’に置換されているところである。
まず、入力映像信号から明るさ信号(InY)を(数式7)から求める。
なお、周波数帯域成分を求めるのに、ローパスフィルタを用いても良い。これにより、フーリエ変換(フーリエ変換に限らず、ウェーブレット変換、DCT変換等でも良い。)を用いる場合よりも回路規模を削減できる。また、フレーム毎に複数の特徴量を抽出しても良い。さらに、特徴量として、周波数帯域成分だけでなく、平均輝度や平均彩度、ヒストグラム分布量等を用いても良い。
動的ゲイン算出部62A2’〜62N2’は、特徴量抽出部7で求めた特徴量Cに応じた動的最大輝度低下率を求める。その際、主観評価実験により輝度の傾斜による画質劣化が検知できない最大となる動的最大輝度低下率KKを求める。たとえば、特徴量Cと動的最大輝度低下率KKをテーブル図9のように対応付ける。これに伴い、傾斜ゲインを算出するが数式が(数式2)から(数式9)に変更される。つまり、動的ゲイン算出部62A2’〜62N2’は、(数式9)に相当する処理を行い、傾斜ゲインを算出する。
[第3実施形態]
図10に、第3実施形態に係る映像信号表示装置300の構成図を示す。なお、前述の実施形態に係る映像信号表示装置と同様の部分については、同じ符号を付し、説明を省略する。
映像信号表示装置300において、前述の実施形態に係る映像信号表示装置との相違点は、傾斜ゲイン生成部102A〜102Nにおいて、オブジェクトの属性に応じて、傾斜ゲインを変化させる点である。
複数オブジェクト検出部1001で検出したオブジェクトの属性には、前述の実施形態で記載したように、オブジェクトの大きさ(w,h)、オブジェクトの検出数Nがある。
ゲイン算出部102A2〜102N2は、オブジェクトの属性を入力とし、i番目のオブジェクトの大きさsizeiを(数式10)により算出する。
オブジェクトの大きさsizeiに応じて、傾斜ゲインを算出する数式が式(数式2)から(数式11)に変更される。つまり、ゲイン算出部102A2〜102N2は、(数式11)に相当する処理により、傾斜ゲインを算出する。
以上により、ヒトが注目しやすい顔(オブジェクト)の大きさが大きい場合、距離に対する傾斜ゲインの変化量を調整することができる。これにより、映像信号表示装置300において、顔(オブジェクト)が大きい場合、顔(オブジェクト)全体の輝度を上げることができ、顔(オブジェクト)が小さい場合、顔(オブジェクト)周辺の輝度を上げないので、有効的に制限された電力を使用できるため、映像信号表示装置300の消費電力を抑えつつ、更なる明るさ感を向上させることができる。
なお、第3実施形態においても、図11に示す映像信号表示装置300’のように、特徴量抽出部7を追加し、ゲイン算出部102A2〜102N2を動的ゲイン算出部102A2’〜102N’に置換することで構成し、第2実施形態と同様、更なる明るさ感向上のために、入力映像信号に応じてフレームごとに最大輝度低下率を動的に変化させるようにしてもよい。
[第4実施形態]
図13に、第4実施形態に係る映像信号表示装置400の構成図を示す。なお、前述の実施形態に係る映像信号表示装置と同様の部分については、同じ符号を付し、説明を省略する。
入力映像信号が形成する1フレームの画像において、顔(オブジェクト)検出がない(N=0)場合、表示画面の中央付近をヒトは注視する場合が多いので、傾斜ゲイン生成部20において、オブジェクトの中心点(x0,y0)を表示画面の中央部として、gainp0を算出する。映像信号表示装置400では、このgainp0を用いて、顔検出がない場合について、従来どおりの処理を実行する。つまり、映像信号表示装置400の信号レベル補正部4では、傾斜ゲイン生成部20により算出された傾斜ゲインgainp0のみを用いて、入力映像信号に対して、信号レベル補正処理を行う。
さらに、入力映像信号が形成する1フレームの画像において、顔(オブジェクト)検出された場合、顔(オブジェクト)の部分を局所的に明るくする。これに伴い、ゲイン算出部20A2および2A2〜2N2では、(数式13)を用いて傾斜ゲインを算出する。
(変形例)
なお、第4実施形態においても、図14に示す映像信号表示装置400’のように、特徴量抽出部7を追加し、ゲイン算出部20A2および2A2〜2N2を動的ゲイン算出部20A2’および2A2’〜2N’に置換することで構成し、第2実施形態および第3実施形態と同様、更なる明るさ感向上のために、入力映像信号に応じてフレームごとに最大輝度低下率を動的に変化させるようにしてもよい。
上記実施形態において説明した映像信号表示装置および映像信号処理装置において実現される任意の機能を組み合わせることで映像信号表示装置および映像信号処理装置を実現してもよい。
上記実施形態では、映像の場合について説明したが、これに限定される必要はなく、静止画についても本発明を適用させることができる。
上記実施形態では、フレーム単位の処理について説明したが、これに限定される必要はなく、フィールド単位の処理を行うようにしてもよい。
上記実施形態では、画素ごとについて処理を行う場合について説明したが、これに限定される必要はなく、例えば、上記実施形態の映像信号表示装置の一部において、複数画素からなるブロック単位の処理を行うようにしてもよく、また、上記実施形態の映像信号表示装置の一部において、間引き処理を行い、処理を行うようにしてもよい。
なお、ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてあり得る。
101、101’、201、201’、301、301’、401、401’ 映像信号処理装置
104 表示装置
1、61、1001 複数オブジェクト検出部
2A〜2N、62A〜62N、102A〜102N、20 傾斜ゲイン生成部
2A’〜2N’、62A’〜62N’、102A’〜102N ’、20’ 傾斜ゲイン生成部
2A1〜2N1、62A1〜62N1、102A1〜102N1 距離算出部
2A2〜2N2、62A2〜62N2、102A2〜102N2 ゲイン算出部
2A2’〜2N2’、62A2’〜62N2’、102A2’〜102N2’ 動的ゲイン算出部
62A3〜62N3 オブジェクト距離算出部
102A〜102N オブジェクト属性を用いたゲイン算出部
3 傾斜ゲイン結合部
4 信号レベル補正部
Claims (17)
- 調光可能な表示装置に表示させる表示映像信号を生成する映像信号処理装置であって、
入力映像信号により形成される単位画像に含まれる複数のオブジェクトを検出する複数オブジェクト検出部と、
前記複数オブジェクト検出部により検出された前記複数のオブジェクトごとに傾斜ゲインを算出する傾斜ゲイン生成部と、
前記オブジェクトごとの前記傾斜ゲインを結合し、1つの補正ゲインを生成する傾斜ゲイン結合部と、
前記オブジェクトごとの前記傾斜ゲインのうちの最小値の前記傾斜ゲインを前記補正ゲインとし、前記補正ゲインに応じて前記入力映像信号を補正して、前記表示映像信号として前記表示装置に出力する信号レベル補正部と、
を備える映像信号処理装置。 - 前記傾斜ゲイン生成部は、前記オブジェクトの検出数の最大数と同数個設置される、
請求項1に記載の映像信号処理装置。 - 前記傾斜ゲイン生成部は、前記複数オブジェクト検出部が検出した前記オブジェクトの検出順にしたがって対応づけられる、
請求項2に記載の映像信号処理装置。 - 前記傾斜ゲイン生成部は、前記複数オブジェクト検出部が検出した前記オブジェクトの大きさ順にしたがって対応づけられる、
請求項2に記載の映像信号処理装置。 - 前記オブジェクトの検出数の前記最大数は、予め設定された数である、
請求項2から4のいずれかに記載の映像信号処理装置。 - 前記信号レベル補正部は、(1−(前記補正ゲイン))倍することで、前記入力映像信号を補正する、
請求項1から5のいずれか一項に記載の映像信号処理装置。 - 前記傾斜ゲイン生成部は、前記単位画像を構成する画素ごとに、前記画素と前記オブジェクトの略中心点との距離を算出する距離算出部と、前記距離算出部で算出された前記距離に応じて前記傾斜ゲインを算出するゲイン算出部と、を有する、
請求項1から6のいずれか一項に記載の映像信号処理装置。 - 前記ゲイン算出部は、前記オブジェクトの前記略中心点からの距離が大きくなるにつれ、大きくなる前記傾斜ゲインを算出する、
請求項7に記載の映像信号処理装置。 - 前記ゲイン算出部は、ガウス関数により前記傾斜ゲインを算出する、
請求項8に記載の映像信号処理装置。 - 前記傾斜ゲイン生成部は、それぞれ、前記複数オブジェクト検出部により検出された前記オブジェクトに対応づけられ、対応づけられた前記オブジェクトの略中心点と、対応づけられた前記オブジェクト以外の前記オブジェクトの略中心点との距離の総和である総和オブジェクト距離を算出するオブジェクト距離算出部をさらに有し、
前記ゲイン算出部は、前記総和オブジェクト距離に基づいて、傾斜ゲインを算出する、
請求項7に記載の映像信号処理装置。 - 前記傾斜ゲイン生成部は、前記オブジェクトの属性に応じて、前記傾斜ゲインを算出する、
請求項1から10のいずれか一項に記載の映像信号処理装置。 - 前記オブジェクトの属性は、前記オブジェクトの検出数、前記オブジェクトの大きさ、および、前記表示画面の中央から前記オブジェクトの前記略中心点までの距離の少なくとも1つである、
請求項11に記載の映像信号処理装置。 - 前記単位画像における特徴量を抽出する特徴量抽出部をさらに備え、
前記ゲイン算出部は、前記特徴量に応じて、前記傾斜ゲインを算出する、
請求項7に記載の映像信号処理装置。 - 請求項1に記載の映像信号処理装置と、前記映像信号処理装置から出力される映像信号を表示させる表示装置と、を備える映像信号表示装置。
- 前記表示装置は、前記映像信号のアベレージピクチャレベルが所定の値以上になると、
前記表示装置の消費電力を制限する電力制限部を有する自発光型表示装置である、
請求項14に記載の映像信号表示装置。 - 調光可能な表示装置に表示させる表示映像信号を生成する映像信号処理方法であって、
入力映像信号により形成される単位画像に含まれる複数のオブジェクトを検出する複数オブジェクト検出ステップと、
前記複数オブジェクト検出ステップにおいて検出された前記複数のオブジェクトごとに傾斜ゲインを算出する傾斜ゲイン生成ステップと、
前記オブジェクトごとの前記傾斜ゲインを結合し、1つの補正ゲインを生成する傾斜ゲイン結合ステップと、
前記オブジェクトごとの前記傾斜ゲインのうちの最小値の前記傾斜ゲインを前記補正ゲインとし、前記補正ゲインに応じて前記入力映像信号を補正して、前記表示映像信号として前記表示装置に出力する信号レベル補正ステップと、
を有する映像信号処理方法。 - 調光可能な表示装置に表示させる表示映像信号を生成する映像信号処理プログラムであって、コンピュータを、
入力映像信号により形成される単位画像に含まれる複数のオブジェクトを検出する複数オブジェクト検出部、
前記複数オブジェクト検出部により検出された前記複数のオブジェクトごとに傾斜ゲインを算出する傾斜ゲイン生成部と、
前記オブジェクトごとの前記傾斜ゲインを結合し、1つの補正ゲインを生成する傾斜ゲイン結合部と、
前記オブジェクトごとの前記傾斜ゲインのうちの最小値の前記傾斜ゲインを前記補正ゲインとし、前記補正ゲインに応じて前記入力映像信号を補正して、前記表示映像信号として前記表示装置に出力する信号レベル補正部、
として機能させるための映像信号処理プログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007012214A JP5111872B2 (ja) | 2007-01-23 | 2007-01-23 | 映像信号処理装置、映像信号処理方法、映像信号処理プログラムおよび映像信号表示装置 |
| US12/017,556 US8049764B2 (en) | 2007-01-23 | 2008-01-22 | Video signal processing device, video signal processing method, video signal processing program, integrated circuit, and video signal display device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007012214A JP5111872B2 (ja) | 2007-01-23 | 2007-01-23 | 映像信号処理装置、映像信号処理方法、映像信号処理プログラムおよび映像信号表示装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008180756A JP2008180756A (ja) | 2008-08-07 |
| JP5111872B2 true JP5111872B2 (ja) | 2013-01-09 |
Family
ID=39640777
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007012214A Expired - Fee Related JP5111872B2 (ja) | 2007-01-23 | 2007-01-23 | 映像信号処理装置、映像信号処理方法、映像信号処理プログラムおよび映像信号表示装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US8049764B2 (ja) |
| JP (1) | JP5111872B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5259628B2 (ja) | 2008-05-21 | 2013-08-07 | パナソニック株式会社 | 映像信号表示装置、映像信号表示方法、プログラムおよび集積回路 |
| JP2011002520A (ja) * | 2009-06-16 | 2011-01-06 | Sony Corp | 自発光表示装置、消費電力削減方法及びプログラム |
| JP5538849B2 (ja) * | 2009-12-08 | 2014-07-02 | キヤノン株式会社 | 画像表示装置、画像表示方法 |
| JP5175910B2 (ja) * | 2010-09-16 | 2013-04-03 | 株式会社東芝 | 画像処理装置、画像処理方法およびプログラム |
| WO2014188533A1 (ja) * | 2013-05-22 | 2014-11-27 | Necディスプレイソリューションズ株式会社 | 表示装置、表示システム、映像出力装置、および表示装置の制御方法 |
| KR102109933B1 (ko) | 2013-07-01 | 2020-05-12 | 삼성전자주식회사 | 디스플레이의 곡률을 참조하는 영상 처리장치 및 방법 |
| JP6562770B2 (ja) * | 2015-08-24 | 2019-08-21 | キヤノン株式会社 | 画像処理装置及び画像処理方法、プログラム、記憶媒体 |
| JP2023108808A (ja) * | 2022-01-26 | 2023-08-07 | 株式会社Joled | 電流制限回路、表示装置、及び、電流制限方法 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3115727B2 (ja) | 1993-03-25 | 2000-12-11 | パイオニア株式会社 | プラズマディスプレイパネルの駆動装置 |
| JP2000338942A (ja) * | 1999-03-23 | 2000-12-08 | Hitachi Medical Corp | 医用画像表示装置 |
| US6791566B1 (en) | 1999-09-17 | 2004-09-14 | Matsushita Electric Industrial Co., Ltd. | Image display device |
| JP2002055675A (ja) | 1999-09-17 | 2002-02-20 | Matsushita Electric Ind Co Ltd | 画像表示装置 |
| JP2002072951A (ja) | 2000-09-01 | 2002-03-12 | Matsushita Electric Ind Co Ltd | 表示装置およびその駆動方法 |
| JP2002116728A (ja) | 2000-10-10 | 2002-04-19 | Matsushita Electric Ind Co Ltd | 表示装置 |
| JP2004021374A (ja) * | 2002-06-13 | 2004-01-22 | Fuji Xerox Co Ltd | 画像処理方法、画像処理装置、プログラム、記憶媒体 |
| JP2005184295A (ja) * | 2003-12-18 | 2005-07-07 | Hitachi Medical Corp | 医用画像表示装置 |
| JP4208767B2 (ja) * | 2004-06-03 | 2009-01-14 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| JP4903577B2 (ja) * | 2004-11-05 | 2012-03-28 | パナソニック株式会社 | 映像信号変換装置、映像表示装置 |
| US9083969B2 (en) * | 2005-08-12 | 2015-07-14 | Sharp Laboratories Of America, Inc. | Methods and systems for independent view adjustment in multiple-view displays |
| JP4824411B2 (ja) | 2005-01-20 | 2011-11-30 | パナソニック株式会社 | 顔抽出装置、半導体集積回路 |
-
2007
- 2007-01-23 JP JP2007012214A patent/JP5111872B2/ja not_active Expired - Fee Related
-
2008
- 2008-01-22 US US12/017,556 patent/US8049764B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US20080174605A1 (en) | 2008-07-24 |
| US8049764B2 (en) | 2011-11-01 |
| JP2008180756A (ja) | 2008-08-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5111872B2 (ja) | 映像信号処理装置、映像信号処理方法、映像信号処理プログラムおよび映像信号表示装置 | |
| US7158158B1 (en) | Method and apparatus for nonlinear anamorphic scaling of video images | |
| US9743073B2 (en) | Image processing device with image compensation function and image processing method thereof | |
| TWI519151B (zh) | 影像處理方法以及影像處理裝置 | |
| US7796095B2 (en) | Display specific image processing in an integrated circuit | |
| JP2005217574A (ja) | 映像信号処理装置及び方法 | |
| KR100691553B1 (ko) | 영상 신호 처리 회로 및 텔레비전 수상기 | |
| US9661262B2 (en) | Content processing device and content processing method | |
| CN105869579A (zh) | 背光亮度调整方法、装置及显示终端 | |
| CN102123288B (zh) | 图像处理设备和图像处理方法 | |
| CN115424582A (zh) | 亮度补偿方法、装置、电子设备及存储介质 | |
| US8390542B2 (en) | Apparatus, method, and program for processing image | |
| CN116489377A (zh) | 图像处理方法和电子设备 | |
| KR20190055290A (ko) | 표시 장치 및 이의 구동 방법 | |
| JP5585494B2 (ja) | 画像処理装置、画像処理プログラム及び画像処理方法 | |
| JP2002311893A (ja) | プラズマディスプレイパネルに入力する映像の逆補正処理方法 | |
| US8189951B2 (en) | Video signal display device, video signal display method, storage medium, and integrated circuit | |
| US10290254B2 (en) | Image processing apparatus, display apparatus, and computer-readable storage medium | |
| JP6226186B2 (ja) | 映像表示制御装置 | |
| JP2008129521A (ja) | 画像処理装置、画像処理方法、画像処理用プログラム、集積回路およびプラズマ・ディスプレイ装置 | |
| JP2005346639A (ja) | 画像処理装置および画像処理方法 | |
| US12073803B2 (en) | Dual-panel liquid crystal display device and control method for reducing risk of displaying killer pattern | |
| JP2007104377A (ja) | 映像信号表示装置 | |
| JP5946281B2 (ja) | 画像処理装置、画像表示システム、および画像表示方法 | |
| JP2007104378A (ja) | 映像信号表示装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091110 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120411 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120417 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120615 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120710 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120731 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120918 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121010 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151019 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5111872 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |
