JP5111872B2 - 映像信号処理装置、映像信号処理方法、映像信号処理プログラムおよび映像信号表示装置 - Google Patents

映像信号処理装置、映像信号処理方法、映像信号処理プログラムおよび映像信号表示装置

Info

Publication number
JP5111872B2
JP5111872B2 JP2007012214A JP2007012214A JP5111872B2 JP 5111872 B2 JP5111872 B2 JP 5111872B2 JP 2007012214 A JP2007012214 A JP 2007012214A JP 2007012214 A JP2007012214 A JP 2007012214A JP 5111872 B2 JP5111872 B2 JP 5111872B2
Authority
JP
Japan
Prior art keywords
video signal
gain
unit
display device
signal processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007012214A
Other languages
English (en)
Other versions
JP2008180756A (ja
Inventor
真也 木内
毅 平島
文平 田路
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2007012214A priority Critical patent/JP5111872B2/ja
Priority to US12/017,556 priority patent/US8049764B2/en
Publication of JP2008180756A publication Critical patent/JP2008180756A/ja
Application granted granted Critical
Publication of JP5111872B2 publication Critical patent/JP5111872B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0626Adjustment of display parameters for control of overall brightness
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/02Details of power systems and of start or stop of display operation
    • G09G2330/021Power management, e.g. power saving
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/16Calculation or use of calculated indices related to luminance levels in display data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Television Receiver Circuits (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Description

本発明は、自ら光を発する自発光型で、調光可能な表示画面を有する映像信号処理装置に関する。
近年、高画質なディスプレイ装置が望まれており、その重要な要素の一つに、ディスプレイ装置の表示画面の明るさがある。単純にディスプレイ装置に表示される表示画面を明るくすると、多くの消費電力が必要になる。
一方、近年、環境意識の向上に伴い、消費電力を削減することが重要となっている。
この相反する、表示画面の明るさ向上と消費電力削減とを両立させるディスプレイ装置を実現することが望まれている。
多くの自発光型のディスプレイ装置には、消費電力抑制するために、映像信号のアベレージピクチャーレベル(以下、「APL」という。)が高い場合、消費電力を制限にする制御がある。この制御が有効な場合、自発光型のディスプレイ装置において、表示画面全体の発光量の総和が一定になるように制御される。
そこで、自発光型のディスプレイ装置において、ヒトが比較的注視しない表示画面の一部の発光量を低下させ、その低下させた発光量の分だけ、ヒトが注視しやすい表示画面中央の発光量を向上させることで、消費電力を一定に保ったまま、表示画面の全体的な明るさ感が向上させる技術がある(例えば、特許文献1〜3参照)。
図16に、従来技術の一例としての映像信号表示装置1600の構成を示す。
映像信号表示装置1600は、映像信号に所定の処理を行う映像信号処理装置1601と、映像信号処理装置1601で処理された映像信号を表示させる表示装置1602とから構成される。
映像信号処理装置1601は、入力された映像信号のAPLを検出する平均輝度検出部1603と、検出されたAPLに基づいて信号レベル調整用ゲインを生成するゲイン生成部1604と、生成された信号レベル調整用ゲインに基づいて、入力された映像信号の信号レベルを調整し、表示装置1602に出力する信号レベル調整部1605と、から構成される。
次に、図16を用いて、映像信号表示装置1600の動作について説明する。
図16(b)に示すような画像を形成する映像信号が映像信号表示装置1600に入力された場合で、図16(b)に示すPQ間の1ラインを形成する映像信号が入力されたときを例に、以下説明する。
この場合、入力された映像信号は、平均輝度検出部1603で検出されたAPLに基づく信号レベル調整用ゲインにより信号レベル調整がなされ、表示装置1602に出力される。具体的には、PQ間の映像信号について、図16(c)のような信号レベル調整用ゲインが生成され、この信号レベル調整用ゲインを入力されたPQ間の映像信号に乗算することで、映像信号に対して信号レベル調整が実行される。
これにより、表示装置1602に出力される映像信号は、中心付近の信号レベルが周辺の信号レベルより高くなるので、表示装置1602に表示される表示画面は、PQ間の中心付近が明るく、周辺に行くにしたがって明るさが低下する表示画面となる。したがって、映像信号表示装置1600では、表示画面の表示品位の低下を抑制しながら、消費電力を低減させることができる。
特開平6−282241号公報 特開2002−116728号公報 特開2006−228199号公報
しかしながら、従来の映像信号表示装置では、表示される映像の表示画面において、ある点(例えば、表示画面中央)を中心に表示画面周辺に向けて、単調に発光量を低下させるため、ヒトの注視しやすい領域(顔など)が表示画面内に複数存在している場合、発光量を表示画面中央から表示画面周辺に向けて単調減少させる補正では、必ずしも注視領域の発光量を上げることができず、表示画面において、十分な明るさ感を得ることが出来ないという問題点がある。
本発明は、上記問題点を解決するもので、ヒトの注視しやすい領域が表示画面内に複数存在している場合であっても、表示画面において、十分な明るさ感を得ることができ、かつ、消費電力を抑えることができる映像信号表示装置、映像信号処理装置、映像信号処理方法、集積回路、および映像信号処理プログラムを実現することを目的とする。
第1の発明は、調光可能な表示装置に表示させる表示映像信号を生成する映像信号処理装置であって、複数オブジェクト検出部と、補正ゲイン算出部と、信号レベル補正部と、を備える。複数オブジェクト検出部は、入力映像信号により形成される単位画像に含まれる複数のオブジェクトを検出する。補正ゲイン算出部は、単位画像を表示装置に表示させた場合の表示画面において、任意の2つのオブジェクトの略中心点の表示画面上の発光量より低い発光量となる点が、2つのオブジェクトの略中心点間の領域に存在するように補正ゲインを算出する。信号レベル補正部は、補正ゲインに応じて入力映像信号を補正して、表示映像信号として表示装置に出力する。
この映像信号処理装置では、複数オブジェクト検出部により単位画像に含まれる複数のオブジェクトが検出され、単位画像を表示装置に表示させた場合の表示画面において、任意の2つのオブジェクトの略中心点の表示画面上の発光量より低い発光量となる点が、2つのオブジェクトの略中心点間の領域に存在するように補正ゲインを算出され、その補正ゲインにより入力映像信号が補正される。これにより、表示画面において、ヒトが注視しやすい複数のオブジェクトを中心に発光量が高くなり、その周辺の発光量が低くなる。したがって、表示画面において、ヒトが注視しやすい複数のオブジェクトを中心に明るさ感を保持したまま、映像信号を表示させる表示装置の消費電力を抑えることができる。
なお、ここで「単位画像」とは、表示装置に表示させることができる1枚の画像のことをいい、例えば、インターレース方式のテレビジョン信号における1フレーム分の映像信号により形成される1枚の画像(表示装置に1つの表示画面として表示される1枚の画像)や、ノンインターレース方式のテレビジョン信号における1フィールド分の映像信号により形成される1枚の画像がこれに相当する。
第2の発明は、第1の発明であって、補正ゲイン算出部は、オブジェクトの検出数の最大数と同数個設置され、複数オブジェクト検出部により検出されたオブジェクトごとに傾斜ゲインを算出する傾斜ゲイン生成部と、オブジェクトごとの傾斜ゲインを結合し、1つの補正ゲインを生成する傾斜ゲイン結合部と、を有する。
この映像信号処理装置では、傾斜ゲイン生成部により、オブジェクト検出数分の傾斜ゲインを算出することができ、そのオブジェクト検出数分の傾斜ゲインを傾斜ゲイン結合部により結合することで1つの補正ゲインを算出することができる。
第3の発明は、第2の発明であって、傾斜ゲイン生成部は、複数オブジェクト検出部が検出したオブジェクトの検出順にしたがって対応づけられる。
これにより、検出されたオブジェクト順に、傾斜ゲイン生成部を割り当てることができる。つまり、検出されたオブジェクトがN個である場合、1番目に検出されたオブジェクト用の傾斜ゲインを算出するために、1番目の傾斜ゲイン生成部が割り当てられ、2番目に検出されたオブジェクト用の傾斜ゲインを算出するために、2番目の傾斜ゲイン生成部が割り当てられ、・・・、N番目に検出されたオブジェクト用の傾斜ゲインを算出するために、N番目の傾斜ゲイン生成部が割り当てられることになる。
なお、「対応づけられる」とは、例えば、検出されたオブジェクトごとに傾斜ゲイン生成部を割り当てられることを意味する。
第4の発明は、第2の発明であって、傾斜ゲイン生成部は、複数オブジェクト検出部が検出したオブジェクトの大きさ順にしたがって割り当てられる。
第5の発明は、第2から第4のいずれかの発明であって、オブジェクトの検出数の最大数は、予め設定された数である。
これにより、オブジェクト検出数の上限数を設定することができるため、映像信号処理装置において処理効率を上げることができる。また、この映像信号処理装置をハードウェアで実現する場合、実装する回路の規模を削減することができる。
第6の発明は、第2から第5のいずれかの発明であって、傾斜ゲイン結合部は、オブジェクトごとの傾斜ゲインのうちの最小値の傾斜ゲインを補正ゲインとし、信号レベル補正部は、(1−(補正ゲイン))倍することで、入力映像信号を補正する。
この映像信号処理装置では、傾斜ゲイン結合部により、オブジェクトごとの傾斜ゲインのうちの最小値の傾斜ゲインを補正ゲインとされ、入力映像信号は、信号レベル補正部により、(1−(補正ゲイン))倍することで補正される。これにより、表示画面において、複数オブジェクトが重なりあった状態になった場合でも、傾斜ゲインが大きく変化することがなく、表示画面においてチラツキの発生等を抑えることができる。
第7の発明は、第2から第6のいずれかの発明であって、傾斜ゲイン生成部は、単位画像を構成する画素ごとに、画素とオブジェクトとの距離を算出する距離算出部と、距離算出部で算出された距離に応じて傾斜ゲインを算出するゲイン算出部と、を有する。
これにより、画素とオブジェクトとの距離に応じた傾斜ゲインを算出することができる。
第8の発明は、第7の発明であって、ゲイン算出部は、オブジェクトの略中心点からの距離が大きくなるにつれ、傾斜ゲインが大きくなるように傾斜ゲインを算出する。
この映像信号処理装置では、オブジェクトの略中心点からの距離が大きくなるにつれ、傾斜ゲインが大きくなるように傾斜ゲインが変化するので、表示画面において、自然な明るさ感を保持しながら、映像信号処理装置から出力された映像信号を表示装置に表示させたときの消費電力を抑えることができる。
第9の発明は、第8の発明であって、ゲイン算出部は、ガウス関数により傾斜ゲインを算出する。
この映像信号処理装置では、オブジェクトの略中心点からの距離が大きくなるにつれ、傾斜ゲインが大きくなるように、ガウス関数を用いて、なだらかに傾斜ゲインが変化するので、表示画面において、自然な明るさ感を保持しながら、映像信号処理装置から出力された映像信号を表示装置に表示させたときの消費電力を抑えることができる。
第10の発明は、第2から第9のいずれかの発明であって、傾斜ゲイン生成部は、それぞれ、複数オブジェクト検出部により検出されたオブジェクトに対応づけられ、対応づけられたオブジェクトと、対応づけられたオブジェクト以外のオブジェクトとの距離の総和である総和オブジェクト距離を算出するオブジェクト距離算出部をさらに有し、ゲイン算出部は、総和オブジェクト距離に基づいて、傾斜ゲインを算出する。
この映像信号処理装置では、オブジェクト距離算出部により、そのオブジェクト距離算出部に対応づけられたオブジェクトと、そのオブジェクト距離算出部に対応づけられたオブジェクト以外のオブジェクトとの距離の総和である総和オブジェクト距離が算出され、その総和オブジェクト距離に基づいて、傾斜ゲインが算出される。これにより、表示画面上において複数オブジェクトが集中した部分と、オブジェクトが分散している部分とで、補正ゲインを変化させることができる。そして、表示画面上において、ヒトが注目しやすいオブジェクトが集中している部分をより明るくすることで、明るさ感を向上させることができる。
第11の発明は、第2から第10のいずれかの発明であって、傾斜ゲイン生成部は、オブジェクトの属性に応じて、傾斜ゲインを算出する、
第12の発明は、第11の発明であって、オブジェクトの属性は、オブジェクトの検出数、オブジェクトの大きさ、および、表示画面の中央からオブジェクトの略中心点までの距離の少なくとも1つである、
これにより、例えば、表示画面上に大きなオブジェクトが存在する場合、そのオブジェクト中心からその周辺に行くにしたがってなだらかに表示画面上での輝度を低下させるように傾斜ゲインを設定することができる。したがって、ヒトが注視しやすい大きなオブジェクト周辺の明るさ感を向上させることができる。
第13の発明は、第2から第12のいずれかの発明であって、単位画像を構成する画素ごとに、画素と表示画面中央との距離を算出する中央距離算出部と、中央距離算出部で算出された距離に応じて傾斜ゲインを算出するゲイン算出部と、を有するデフォルト傾斜ゲイン生成部をさらに備える。傾斜ゲイン結合部は、複数オブジェクト検出部によりオブジェクトが1つも検出されなかった場合、デフォルト傾斜ゲイン生成部により算出された傾斜ゲインを補正ゲインとし、複数オブジェクト検出部によりオブジェクトが検出された場合、デフォルト傾斜ゲイン生成部により算出された傾斜ゲインおよび傾斜ゲイン生成部により算出された傾斜ゲインを結合し、1つの補正ゲインを生成する。
これにより、表示画面上に1つもオブジェクトがない場合であっても、明るさ感を保持しつつ、映像信号を表示させる表示装置の消費電力を抑えることができる。
第14の発明は、第13の発明であって、傾斜ゲイン結合部は、複数オブジェクト検出部により検出されるオブジェクトの検出数が一定値以上の場合、デフォルト傾斜ゲイン生成部により算出された傾斜ゲインを補正ゲインとする。
これにより、例えば、オブジェクト検出数が多い場合に、デフォルト傾斜ゲイン生成部により算出された傾斜ゲインを補正ゲインとする信号レベル補正を行うことができる。
第15の発明は、第2から第14のいずれかの発明であって、単位画像における特徴量を抽出する特徴量抽出部をさらに備える。ゲイン算出部は、特徴量に応じて、傾斜ゲインを算出する。
これにより、単位画像の特徴に応じた傾斜ゲインにより、入力映像信号の信号レベル調整を行うことができる。例えば、フィールドあるいはフレームごとの単位画像の特徴に応じた傾斜ゲインにより、入力映像信号の信号レベル調整を行うことができるので、特に、動画である映像を処理する場合に有効である。なお、ここで特徴量とは、例えば、単位画像における所定の周波数成分のパワー、平均輝度、平均彩度、ヒストグラム分布量等である。
第16の発明は、第1から第15のいずれかの発明である映像信号処理装置と、映像信号処理装置から出力される映像信号を表示させる表示装置と、を備える映像信号表示装置である。
第17の発明は、第16の発明であって、表示装置は、映像信号のアベレージピクチャレベルが所定の値以上になると、表示装置の消費電力を制限する電力制限部を有する自発光型表示装置である。
第18の発明は、調光可能な表示装置に表示させる表示映像信号を生成する映像信号処理方法であって、複数オブジェクト検出ステップと、補正ゲイン算出ステップと、信号レベル補正ステップと、を有する。複数オブジェクト検出ステップでは、入力映像信号により形成される単位画像に含まれる複数のオブジェクトを検出する。補正ゲイン算出ステップでは、単位画像を表示装置に表示させた場合の表示画面において、任意の2つのオブジェクトの略中心点の表示画面上の発光量より低い発光量となる点が、2つのオブジェクトの略中心点間の領域に存在するように補正ゲインを算出する。信号レベル補正ステップでは、補正ゲインに応じて入力映像信号を補正して、表示映像信号として表示装置に出力する。
この映像信号処理方法は、第1の発明と同様の効果を奏する。
第19の発明は、調光可能な表示装置に表示させる表示映像信号を生成する映像信号処理プログラムであって、コンピュータを、複数オブジェクト検出部、補正ゲイン算出部、信号レベル補正部、として機能させる。複数オブジェクト検出部は、入力映像信号により形成される単位画像に含まれる複数のオブジェクトを検出する。補正ゲイン算出部は、単位画像を表示装置に表示させた場合の表示画面において、任意の2つのオブジェクトの略中心点の表示画面上の発光量より低い発光量となる点が、2つのオブジェクトの略中心点間の領域に存在するように補正ゲインを算出する。信号レベル補正部は、補正ゲインに応じて入力映像信号を補正して、表示映像信号として表示装置に出力する。
この映像信号処理プログラムは、第1の発明と同様の効果を奏する。
第20の発明は、調光可能な表示装置に表示させる表示映像信号を生成する集積回路であって、複数オブジェクト検出部と、補正ゲイン算出部と、信号レベル補正部と、を備える。複数オブジェクト検出部は、入力映像信号により形成される単位画像に含まれる複数のオブジェクトを検出する。補正ゲイン算出部は、単位画像を表示装置に表示させた場合の表示画面において、任意の2つのオブジェクトの略中心点の表示画面上の発光量より低い発光量となる点が、2つのオブジェクトの略中心点間の領域に存在するように補正ゲインを算出する。信号レベル補正部は、補正ゲインに応じて入力映像信号を補正して、表示映像信号として表示装置に出力する。
この集積回路は、第1の発明と同様の効果を奏する。
本発明によれば、ヒトの注視しやすい領域が表示画面内に複数存在している場合であっても、表示画面において、十分な明るさ感を得ることができ、かつ、消費電力を抑えることができる映像信号表示装置、映像信号処理装置、映像信号処理方法、集積回路、および映像信号処理プログラムを実現することができる。
以下、本発明の実施形態について、図面を参照しながら説明する。
[第1実施形態]
<1.1:映像信号表示装置の構成>
図1に、第1実施形態に係る映像信号表示装置100の構成図を示す。
第1実施形態に係る映像信号表示装置100は、主に、映像信号処理装置101と、表示装置104と、遅延部102と、記憶部103とから構成される。
映像信号処理装置101は、入力映像信号に対して、所定の処理を行い、表示装置104に出力する。表示装置104は、映像信号処理装置101で処理された映像信号により形成される映像を表示装置104の表示部(不図示)に表示させる。
記憶部103は、映像信号により形成される単位画像(例えば、1フレームの画像)分の入力映像信号を映像信号データとして記憶し保持する。記憶部103で記憶保持された入力画像信号の映像信号データについては、外部からアクセス可能である。記憶部103として、例えば、フレームメモリを用いることができる。
遅延部102は、所定時間だけ入力映像信号を遅延させる。
映像信号処理装置101は、主に、入力映像信号からその入力映像信号に含まれる複数のオブジェクトを検出する複数オブジェクト検出部1、検出された複数のオブジェクトのそれぞれの情報から、それぞれのオブジェクトに対応するN個(N:2以上の自然数)の傾斜ゲインを生成するN個の傾斜ゲイン生成部2A〜2N、N個の傾斜ゲインを結合させて補正ゲインを生成する傾斜ゲイン結合部3、および補正ゲインに基づき入力映像信号の補正を行う信号レベル補正部4から構成される。そして、傾斜ゲイン生成部2A〜2Nは、それぞれ、オブジェクトの情報(オブジェクトの位置情報)から距離情報を算出する距離算出部2A1〜2N1と、距離情報から傾斜ゲインを算出するゲイン算出部2A2〜2N2とを備える。ここで、位置情報とは、単位画像分の映像信号(1枚の表示画像を形成することができる映像信号。例えば、1フレーム分の映像信号がこれに相当する。)により形成される2次元の表示画像上における2次元座標情報をいう。なお、以下、1単位画像を1フレームとして説明する。
複数オブジェクト検出部1は、記憶部103に記憶されている1フレーム分の入力映像信号データから、オブジェクト検出を行い、検出結果を距離算出部2A1〜2N1に出力する。つまり、1フレーム分の入力映像信号により形成される表示画像に含まれるヒトが注視しやすいオブジェクト(例えば、ヒトの顔の画像)を、オブジェクト抽出技術(例えば、特開2006−228199号に開示されている技術)を用いて認識し、その検出したオブジェクトの位置情報(1フレーム分の入力映像信号により形成される2次元の表示画像上における2次元座標情報)を検出する。そして、オブジェクト検出部1は、検出したオブジェクトの位置情報を、検出した順番に、距離算出部2A1〜2N1に出力する。つまり、1番目に検出したオブジェクトの位置情報を距離算出部2A1に、2番目に検出したオブジェクトの位置情報を距離算出部2B1に、・・・、N番目に検出したオブジェクトの位置情報を距離算出部2N1に、出力する。なお、複数オブジェクト検出部1は、検出オブジェクト数がNより大きいとき、Nを超えた分のオブジェクトの位置情報については、出力しない(処理を行わない)。また、オブジェクトの位置情報の出力する順番は、オブジェクトを検出した順番だけでなく、例えば、検出したオブジェクトの大きさ(オブジェクトが表示画像上で占有する面積)順にしてもよい。
距離算出部2A1〜2N1は、それぞれ、遅延部102から出力される映像信号と、複数オブジェクト検出部1の出力とを入力とし、距離情報をゲイン算出部2A2〜2N2に、それぞれ出力する。つまり、距離算出部2A1〜2N1は、それぞれ、入力映像信号の位置情報と、複数オブジェクト検出部1により検出されたオブジェクトの位置情報との距離を算出する。ここで、距離算出部2A1〜2N1に入力される映像信号は、処理のタイミングを合わせるために、遅延部102により、入力映像信号に対して所定時間だけ遅延させた映像信号である。つまり、遅延部102は、記憶部103が1フレーム分の映像信号を記憶し、複数オブジェクト検出部1が複数のオブジェクトの位置情報を取得し、距離算出部2A1〜2N1に出力するまでに要する時間だけ、入力映像信号を遅延させる。そして、遅延部102により遅延された映像信号が距離算出部2A1〜2N1にそれぞれ入力されることで、距離算出部2A1〜2N1は、それぞれ、入力映像信号の位置情報と、複数オブジェクト検出部1により検出されたオブジェクトの位置情報との距離を算出することができる。
ゲイン算出部2A2〜2N2は、それぞれ、距離算出部2A1〜2N1から出力された距離情報を入力とし、その距離情報からゲインを算出し、傾斜ゲイン結合部3に出力する。
傾斜ゲイン結合部3は、ゲイン算出部2A2〜2N2で求められたN個のゲインを入力とし、そのN個のゲインから補正ゲインを求め、信号レベル補正部4に出力する。
信号レベル補正部4は、遅延部102から出力された映像信号を、傾斜ゲイン結合部3により求められた補正ゲインにより、信号レベルを補正し、表示装置104に出力する。
なお、上記各構成部は、映像信号が形成する画像の画素単位で処理が実行される。
<1.2:映像信号表示装置の動作>
次に、映像信号表示装置100の動作について説明する。
まず、映像信号表示装置に入力される入力映像信号について説明する。
入力映像信号は、位置情報および明るさ情報を有する信号であり、ここでは、位置情報を表示画面の画素位置(x,y)で表し、明るさ情報をRGB信号(各8bit)で表す。入力映像信号がハイデフェニション放送用信号(HDTV信号)の場合、x,yの値域は、それぞれ、1〜1920,1〜1080である。
なお、映像信号表示装置において、1フレーム単位に処理を行う場合について説明する。
入力映像信号は、まず、記憶部103および遅延部102に入力される。
記憶部103において、1フレーム分の入力映像信号が記憶され、映像信号データとして保持される。そして、記憶部103に保持されている1フレーム分の映像信号データは、外部からアクセス可能である。
複数オブジェクト検出部1は、記憶部103に保持されている映像信号データからから、ヒトが注視しやすいオブジェクト(例えば、ヒトの顔の画像)を検出し、オブジェクトの属性を出力する。ここでは、ヒトが注視しやすいオブジェクトを顔と定め、映像信号により形成される画像において、その画像に含まれる顔をオブジェクトとして検出する。顔検出の方法の一例としては、特開2006−228199号に開示されている技術を用いるとよい。
オブジェクトの属性とは、例えば、顔の検出数N、各顔の中心点のx座標,y座標及びその横幅,縦幅である。
検出数Nは、1フレーム内の顔の数であり、Nは自然数である。回路規模削減のため、オブジェクト検出数Nに上限(LimN)を設け、Nの値域を0〜LimNに制限してもよい。
以下、表記の単純化のために、i番目のオブジェクトのx座標,y座標及びその横幅,縦幅をそれぞれ、(xi,yi)及び(wi,hi)と記載する。たとえば、N=2のとき、1番目のオブジェクトについては(x1,y1)及び(w1,h1)と、2番目のオブジェクトについては(x2,y2)及び(w2,h2)と記載する。
複数オブジェクト検出部1により、検出されたN個のオブジェクト属性は、傾斜ゲイン生成部2A〜2Nに出力される。
傾斜ゲイン生成部2A〜2Nは、映像信号が形成する画像の画素(当該画素に対応する映像信号データ)ごとに、各オブジェクトの略中心から表示画面における発光量を低下させる傾斜ゲインを生成する。ここで、発光量とは、映像信号を表示装置104に表示させた場合における表示画面から放出される光の量であり、映像信号がRGB信号であるとき、R^γ+G^γ+B^γで表される。γとはパネルガンマを意味し、一般的に、γは1.8〜2.4の値である。なお、Rは、RGB信号である映像信号のR信号成分、Gは、同信号のG信号成分、Bは、同信号のB信号成分である。
図4を用いて、傾斜ゲインについて説明する。
図4(a)は、映像信号表示装置100の表示装置104における表示画面の一例を表し、オブジェクトの略中心Qから信号レベルが低下している様子を示した図である。つまり、表示画面上において、オブジェクト略中心Qから信号レベルを低下させる割合を表している。
図4(a)に記載の等高線は、同じ傾斜ゲインとなる表示画像上の画素を線で結ぶことで形成されているもので、各等高線上の数値(図4(a)において矢印で示している数値)は、傾斜ゲインによる信号レベルの低下度合い(=出力信号レベル/入力信号レベル)を示している。図4では、オブジェクトの略中心Qから、滑らかに傾斜ゲインを変化させるために、ガウス関数を用いている。図4(b)は、距離と正規化後のガウス関数の値との関係を示している。図4(b)において、横軸は距離であり、縦軸は正規化されたガウス関数の値である。なお、正規化されたガウス関数とは、
〔1−{gauss(rpi’)−gauss(1)}/{gauss(0)−gauss(1)}〕
である。ここで、rpi’=rpi/r_maxである。
距離rpiとは、ある画素pとi番目のオブジェクトの略中心点(xi,yi)から求めるスカラー量であり、ここでは、(数式1)で表された単純な距離とするが、これに限定される必要はなく、例えば、特許文献2に記載の楕円空間や矩形空間での距離としてもよい。
Figure 0005111872
ここで、(xp,yp)をある画素pの座標とし、(xi,yi)をi番目のオブジェクトの略中心点の座標とする。
このようにして算出された距離rpiは、距離算出部2A1〜2N1により、それぞれ、ゲイン算出部2A2〜2N2に出力される。
次に、ゲイン算出部2A2〜2N2により、距離rpiから傾斜ゲインgainpiが求められる。傾斜ゲインは、距離から求められるスカラー量であり、ここでは、ヒトが輝度の低下を検知し難いように、傾斜ゲインが滑らかに変化するガウス関数を用いた(数式2)により、傾斜ゲインを算出する。
Figure 0005111872
ここで、Kは0〜1の定数(実数)であり、最大輝度低下率(=最小輝度値/最大輝度値)である。例えば、図4(c)に示したS点(オブジェクト中心から最も距離の大きい点)での傾斜ゲインがこれに該当する。また、rpi’とは、画面中央と画面隅の距離で正規化されたrpiである。rpiがr_maxより大きい場合は、rpiをr_maxで飽和させる。なお、gaussは、ガウス関数を表しており、
gauss(rpi’)=exp[{‐rpi’×rpi’/(2×σ×σ)}/σ]
である。ここで、expは指数とする。また、σは傾斜距離(距離rpi)に対する輝度低下量(輝度低下率)の形状を規定する定数(=0.35)である。
なお、傾斜ゲインの値域を0〜Kにするために、正規化を行う。
図4(c)に、距離(オブジェクト中心からの各画素までの距離)と傾斜ゲインとの関係を示す。図4(c)の横軸においては、オブジェクト中心Qを原点としている。
図4(c)に示した距離と傾斜ゲインとの関係に従い、ある画素pのi番目のオブジェクトに対する傾斜ゲインgainpiを、ゲイン算出部2A2〜2N2により、生成することができる。つまり、各オブジェクト(1,・・・i,・・・,N)に対して、それぞれの傾斜ゲイン(gainp1,・・・,gainpi,・・・,gainpN,)を求めることができる。
なお、距離による傾斜ゲインの変化は必ずしも連続でなくてもよい。オブジェクト中心付近の平均発光量が、オブジェクトから離れた領域(表示画面上の表示領域に対応。)の平均発光量より、相対的に高くなるような傾斜ゲインであればよい。
以上により生成した傾斜ゲインは、画素ごとに、傾斜ゲイン生成部2A〜2Nのゲイン算出部2A2〜2N2から、傾斜ゲイン結合部3に出力される。
傾斜ゲイン結合部3は、画素ごとに、それぞれのオブジェクトごとに算出された傾斜ゲインを結合し、1つの補正ゲインを算出する。傾斜ゲイン結合部3は、画素ごとに、各オブジェクトの傾斜ゲインの中で、最も傾斜ゲインが小さいものを補正ゲインとする。これについて、図5を用いて説明する。図5(a)は、画面位置(表示画面上の位置)と補正ゲインとの関係を示した図である。図5(b)は、画面位置(表示画面上の位置)と(1−(補正ゲイン))(以下、これを「信号レベル調整用補正ゲイン」という。)との関係を示した図である。
図5において、破線で各オブジェクト(図5(a)、(b)において、オブジェクト数Nは2である。)の傾斜ゲインを示し、実線で補正ゲインを示す。
各オブジェクトの傾斜ゲインを最小値でなく加算平均値を補正ゲインとした場合について、図5(c1)、(c2)を用いて説明する。
図5(c1)、(c2)は、画面位置(表示画面上の位置)と信号レベル調整用補正ゲインとの関係を示した図であり、2つのオブジェクトが移動し、重なり1つのオブジェクトしか見えなくなる状態の変化を示した図である。具体的には、図5(c1)は、3つのオブジェクトが検出されており、図5(c1)の左側で2つのオブジェクトが、右側で1つのオブジェクトが検出されており、左側の2つのオブジェクトが重なり合う直前の状態を示している。図5(c2)は、左側の2つのオブジェクトが重なり合い、左側で1つのオブジェクトが、右側で1つのオブジェクトが検出されている状態を示している。
3つのオブジェクトが検出される図5(c1)の状態から、2つのオブジェクトが検出される図5(c2)の状態に瞬時に変化したような場合、図5(c1)、(c2)の太線で示すように、オブジェクト検出数の変化により補正ゲインが大きく変化し、表示画面上で、チラツキが生じる映像となる場合がある。この場合、左側のオブジェクトがある場所付近の信号レベル調整用補正ゲインが、図5(c1)から図5(c2)に変化した場合に、大きく変化しており、この部分における表示画面上のチラツキが発生しやすい。
このため、補正ゲインを求めるのに、傾斜ゲインの最小値をとるという方法を用いる。
映像信号表示装置100において、傾斜ゲインの最小値をとることで補正ゲインを求める方法を用いることで、映像信号を表示装置104に表示させる場合、表示される映像にチラツキが発生せず、また、表示画面において、自然な明るさ感を得ることができる。
複数オブジェクト検出部1での顔(オブジェクト)検出の精度が十分に高くない場合、各オブジェクトの傾斜ゲインの平均値を用いない方法(傾斜ゲインの最大値、最小値あるいは中央付近の値を用いる方法)を用いる方法もある。
また、上記では、傾斜ゲインの最小値をとることで補正ゲインを求める方法について説明したが、これに限定されることはない。例えば、乗算、相乗平均あるいは相加平均により補正ゲインを算出してもよい。
つまり、乗算により補正ゲインを求める場合は、
1−(1−gainp1)×・・・×(1−gainpN)
により、補正ゲインを求める。
相乗平均により補正ゲインを求める場合は、
1−{(1−gainp1)×・・・×(1−gainpN)}^(1/N)
により、補正ゲインを求める。
相加平均により補正ゲインを求める場合は、
1−{(1−gainp1)×・・・×(1−gainpN)}/N
により、補正ゲインを求める。
傾斜ゲイン結合部3において、以上のように補正ゲインを算出することで、オブジェクト中心付近の画素の補正ゲインを、オブジェクト間の画素の補正ゲインよりも小さくすることができる。これにより、表示画面において、オブジェクト中心付近の画素の発光量を、オブジェクト間の画素の発光量よりも相対的に高くすることができる。つまり、ヒトが注視しやすいオブジェクト中心の発光量を維持させながら、その周辺の発光量を低下させるので、表示画面において十分な明るさ感(特に注視しやすいオブジェクトに対する明るさ感)を保持したまま、消費電力を抑えることができる。
また、映像信号処理装置のハードウェア構成によっては、顔検出数がNの場合、N以上の回路(傾斜ゲイン生成部に相当する回路)から、傾斜ゲイン(gainpN+1,・・・,gainpM)が傾斜ゲイン結合部3に入力される場合が考えられるが(MはNより大きい自然数)、この場合、傾斜ゲイン結合部3において、補正ゲインの算出には、Nまでの傾斜ゲインしか使用しないようにすればよい。
傾斜ゲイン結合部3で算出された補正ゲインは、信号レベル補正部4に入力される。
信号レベル補正部4は、補正ゲインに応じて、遅延部102から出力された入力映像信号を補正して、表示装置104に出力する。たとえば、入力映像信号の信号レベルと補正ゲインの積から信号レベル低下量を求め、その信号レベル低下量を入力映像信号から減算することで取得された信号レベルとなる映像信号を、出力映像信号として、表示装置104に出力する。つまり、信号レベル補正部4は、(数式3)で表される処理を実行する。
Figure 0005111872
なお、ここで、映像信号がRGB映像信号であるものとし、画素pにおける入力映像信号(R,G,B)及び出力映像信号(R,G,B)をそれぞれ、In_Rp,In_Gp,In_Bp,及びOut_Rp,Out_Gp,Out_Bpと表記する。
図3(a)に示すような画像を形成する1フレーム分の入力映像信号が信号レベル補正部4に入力された場合、図3(a)のPQ間の映像信号に対しては、図3(b)のような信号レベル調整が、信号レベル補正部4によりなされる。なお、図3(b)において、横軸はPQ間における画面位置であり、縦軸は信号レベル調整用補正ゲイン(=1−(補正ゲイン))である。
信号レベル補正部4から出力された映像信号は、表示装置104に入力され、表示装置104において映像として表示される。
表示装置104は、自ら光を発する自発光型で、調光可能な表示画面を有し、信号レベル補正部4からの出力映像信号に応じて、画素ごとに光量を調節することができるものである。表示装置104として、例えば、2枚のガラスの間にヘリウムやネオンなどの高圧のガスを封入し、そこに電圧をかけることによって発光させるプラズマディスプレイ、電圧をかけると発光する有機物質を利用した有機EL、電子銃を利用したCRT(CathodeRayTube)、平面状の電子放出源(エミッター)から真空中に電子を放ち、蛍光体にぶつけて発光させるFED(FieldEmissionDisplay)等を用いることができる。
以上により、映像信号表示装置100では、ヒトの注視しやすい領域が表示画面内に複数存在している場合であっても、表示画面において、十分な明るさ感(特に注視しやすいオブジェクトが存在する領域に対する明るさ感)を得ることができ、かつ、消費電力を抑えることができる。また、表示画面において、オブジェクト同士が重なり合った場合であっても、映像にちらつきを発生させることなく自然な映像を表示させることができる。
(具体例)
以下、第1実施形態に係る映像信号表示装置100について、具体的な数値をあげて説明する。
入力映像信号が形成する1フレームの画像の画素数を横1920縦1080pixelとし、複数オブジェクト検出部1で、2つの顔を検出した場合について説明する。複数オブジェクト検出部1で検出した2つの顔を、顔1,顔2とし、顔1の中心点(位置情報)を(600,540),顔2の中心点(位置情報)を(1200,540)とする。
傾斜ゲイン生成部2A〜2Nでは、画素pの座標を(800,540)とし、画素pの補正ゲインを算出する場合について説明する。
まず、顔1に対する傾斜ゲインgain1を求める。
(数式1)を用いて、距離rp1を求める。つまり、
rp1={(800−600)^2+(540−540)^2}^0.5=200
となる。
(数式2)を用いて、傾斜ゲインを求める。つまり、
gain1=0.064
となる。
同様に、顔2に対する傾斜ゲインgain2を求める。つまり、
rp2={(800−1200)^2+(540−540)^2}^0.5=400
となり、
gain2=0.212
となる。
最大輝度低下率KをK=0.5と定め、ガウス関数の形状を規定する定数σをσ=0.35と定める。
距離の最大値r_maxは、この場合、表示画面4隅と表示画面の中心との距離なので(数式4)により求められる。
Figure 0005111872
傾斜ゲイン結合部3では、傾斜ゲインの最小値を求める際、顔検出数N=2なので、gainp1とgainp2との中から最小値を求め、その最小値を補正ゲインとする。
つまり、この場合、補正ゲインは、
Min(0.064,0.212)=0.064
となる。なお、ここで、Min()は、最小値を求める関数である。
最後に、信号レベル補正部4は、画素pの入力映像信号を(In_p_R,In_p_G,In_p_B)=(255,128,0)とした場合、出力映像信号のレベルは、(数式3)より、R,G,Bそれぞれについて、(Out_p_R,Out_p_G,Out_p_B)=(239,120,0)となる。
全ての画素において同様に処理することで、信号レベル補正部4により、出力映像信号を得ることが出来る。
(変形例)
次に、第1実施形態に係る映像信号表示装置100の変形例としての映像信号表示装置100’について説明する。
図2に、映像信号表示装置100’の構成を示す。なお、映像信号表示装置100と同様の部分については、同じ符号を付し、説明を省略する。
映像信号表示装置100’において、映像信号表示装置100と異なるのは、映像信号処理装置101’において、特徴量抽出部7をさらに備え、傾斜ゲイン生成部2A’〜2N’のゲイン算出部が動的ゲイン算出部2A2’〜2N2’に置換されているところである。
特徴量抽出部7は、記憶部103に記憶保持されている1フレーム分の映像信号データから1フレームの画像から入力映像信号の特徴量C(後述)を抽出する。
動的ゲイン算出部2A2’〜2N2’は、特徴量抽出部7で求められた特徴量Cに基づき、最大輝度低下率Kを変化させ、変化させた最大輝度低下率Kにより傾斜ゲインを算出する。
映像信号表示装置100においては、最大輝度低下率Kは、映像信号によらず固定値であったが、映像信号表示装置100’においては、更なる明るさ感向上のために、入力映像信号に応じてフレームごとにKを動的に変化させる。
つまり、特徴量抽出部により、フレーム毎に入力映像信号から、入力映像信号の特徴量Cを抽出する特徴量抽出部と、特徴量Cを用いて、そのフレームに応じた傾斜ゲインを出力する動的傾斜ゲイン生成部を用いる。
これにより、フレーム内で最適な最大輝度低下率Kを用いた信号レベル補正が実行される。
[第2実施形態]
図6に、第2実施形態に係る映像信号表示装置200の構成図を示す。なお、第1実施形態に係る映像信号表示装置100と同様の部分については、同じ符号を付し、説明を省略する。
映像信号表示装置200において、映像信号表示装置100との相違点は、傾斜ゲイン生成部62A〜62Nに、オブジェクト距離算出部62A3〜62N3が追加されており、傾斜ゲイン生成部62A〜62Nにおいて、オブジェクトとオブジェクトとの距離に応じて、傾斜ゲインを変化させる点である。
なお、距離算出部62A1〜62N1は、第1実施形態での距離算出部2A1〜2N1と同じものである。
オブジェクト距離算出部62A3〜62N3は、各オブジェクトとの距離の総和を算出する。i番目のオブジェクトの各オブジェクトとの距離の総和であるオブジェクト距離objRiは、(数式5)により算出される。
Figure 0005111872
ここで、jの値域は1〜Nとする。
ゲイン算出部62A2〜62N2において、最大輝度低下率Kをオブジェクト距離objRiと連動させる。たとえば、i番目のオブジェクトの最大輝度低下率Ki=K×objRiとする。これに伴い、傾斜ゲインを算出する数式が(数式2)から(数式6)に変更される。
Figure 0005111872
図8(a)に示すような画像を形成する1フレーム分の入力映像信号が信号レベル補正部4に入力された場合、図8(a)のPQ間の映像信号に対しては、図8(b)のような信号レベル調整が、信号レベル補正部4によりなされる。なお、図8(b)において、横軸はPQ間における画面位置であり、縦軸は信号レベル調整用補正ゲイン(=1−(補正ゲイン))である。図8(a)の左側の3つのオブジェクトは、密集しており、オブジェクト距離objRiが小さいので、最大輝度低下率Kの値が小さな値に設定される。一方、図8(a)の右側の1つのオブジェクトは、孤立しており、オブジェクト距離objRiが大きいので、最大輝度低下率Kの値が大きな値に設定される。
以上より、複数オブジェクトが集中した部分と、オブジェクトが分散している部分とで、補正ゲインを変化させることができる。これにより、ヒトが注目しやすい部分が集中している部分をより明るくすることで、映像信号表示装置200において、更なる明るさ感を向上させることができる。
(変形例)
また、最大輝度低下率Kは、映像信号によらず固定値だが、更なる明るさ感向上のために、入力映像信号に応じてフレームごとに最大輝度低下率Kを動的に変化させてもよい。入力映像信号に応じてフレームごとに最大輝度低下率Kを動的に変化させる映像信号表示装置200’を図7に示す。なお、映像信号表示装置100、100’および200と同様の部分については、同じ符号を付し、説明を省略する。
映像信号表示装置200’において、映像信号表示装置200と異なるのは、映像信号処理装置201’において、特徴量抽出部7をさらに備え、傾斜ゲイン生成部62A’〜62N’のゲイン算出部が動的ゲイン算出部62A2’〜62N2’に置換されているところである。
特徴量抽出部7は、特徴量として、例えば、周波数帯域成分を出力する。周波数帯域成分とは、入力映像信号の特定領域の周波数成分の二乗和(パワー)である。
まず、入力映像信号から明るさ信号(InY)を(数式7)から求める。
Figure 0005111872
次に、明るさ信号InYから周波数帯域成分を求めるために、入力信号InYをフーリエ変換し、F(w)を求める。周波数帯域0〜1cpdにおけるパワーを(数式8)から求める。
Figure 0005111872
ここで、cpd(cycle per degree)は空間周波数である。例えば、表示画面の水平画素数が「1024」であり、視角が33度であるとき、空間周波数の最高値は約15.5cpdとなる。
なお、周波数帯域成分を求めるのに、ローパスフィルタを用いても良い。これにより、フーリエ変換(フーリエ変換に限らず、ウェーブレット変換、DCT変換等でも良い。)を用いる場合よりも回路規模を削減できる。また、フレーム毎に複数の特徴量を抽出しても良い。さらに、特徴量として、周波数帯域成分だけでなく、平均輝度や平均彩度、ヒストグラム分布量等を用いても良い。
動的ゲイン算出部62A2’〜62N2’は、特徴量抽出部7で求めた特徴量Cに応じた動的最大輝度低下率を求める。その際、主観評価実験により輝度の傾斜による画質劣化が検知できない最大となる動的最大輝度低下率KKを求める。たとえば、特徴量Cと動的最大輝度低下率KKをテーブル図9のように対応付ける。これに伴い、傾斜ゲインを算出するが数式が(数式2)から(数式9)に変更される。つまり、動的ゲイン算出部62A2’〜62N2’は、(数式9)に相当する処理を行い、傾斜ゲインを算出する。
Figure 0005111872
これにより、映像信号表示装置200’において、入力映像信号に応じた処理を行うことが出来るため、表示画面において、輝度の傾斜が目立たない画質を維持しつつ、更に明るさ感を向上させることができる。
[第3実施形態]
図10に、第3実施形態に係る映像信号表示装置300の構成図を示す。なお、前述の実施形態に係る映像信号表示装置と同様の部分については、同じ符号を付し、説明を省略する。
映像信号表示装置300において、前述の実施形態に係る映像信号表示装置との相違点は、傾斜ゲイン生成部102A〜102Nにおいて、オブジェクトの属性に応じて、傾斜ゲインを変化させる点である。
なお、距離算出部102A1〜102N1は、第1実施形態での距離算出部2A1〜2N1と同じものである。
複数オブジェクト検出部1001で検出したオブジェクトの属性には、前述の実施形態で記載したように、オブジェクトの大きさ(w,h)、オブジェクトの検出数Nがある。
ゲイン算出部102A2〜102N2は、オブジェクトの属性を入力とし、i番目のオブジェクトの大きさsizeiを(数式10)により算出する。
Figure 0005111872
ここで、Lは定数である。
オブジェクトの大きさsizeiに応じて、傾斜ゲインを算出する数式が式(数式2)から(数式11)に変更される。つまり、ゲイン算出部102A2〜102N2は、(数式11)に相当する処理により、傾斜ゲインを算出する。
Figure 0005111872
図12(a)のような、顔の大きさが異なる2つの顔がある画像を形成する1フレーム分の入力映像信号が信号レベル補正部4に入力された場合、図12(b)のような信号レベル調整が、信号レベル補正部4によりなされる。なお、図12(b)において、横軸はPQ間における画面位置であり、縦軸は信号レベル調整用補正ゲイン(=1−(補正ゲイン))である。図12(a)の左側のオブジェクトは、その大きさが小さいので、オブジェクト中心からその周辺に行くにしたがって急峻に信号レベル調整用補正ゲインを低下させるように傾斜ゲインを設定する。一方、図12(a)の右側のオブジェクトは、その大きさが大きいので、オブジェクト中心からその周辺に行くにしたがってなだらかに信号レベル調整用補正ゲインを低下させるように傾斜ゲインを設定する。
以上により、ヒトが注目しやすい顔(オブジェクト)の大きさが大きい場合、距離に対する傾斜ゲインの変化量を調整することができる。これにより、映像信号表示装置300において、顔(オブジェクト)が大きい場合、顔(オブジェクト)全体の輝度を上げることができ、顔(オブジェクト)が小さい場合、顔(オブジェクト)周辺の輝度を上げないので、有効的に制限された電力を使用できるため、映像信号表示装置300の消費電力を抑えつつ、更なる明るさ感を向上させることができる。
また、オブジェクトの検出数Nに応じて、傾斜ゲインを算出する数式が(数式2)から(数式12)に変更される。つまり、ゲイン算出部102A2〜102N2は、(数式11)に相当する処理により、傾斜ゲインを算出する。
Figure 0005111872
図12(c)のような、検出されるオブジェクト数が多い画像を形成する1フレーム分の入力映像信号が信号レベル補正部4に入力された場合、図12(d)のような信号レベル調整が、信号レベル補正部4によりなされる。なお、図12(d)において、横軸は、PQ間における画面位置であり、縦軸は信号レベル調整用補正ゲイン(=1−(補正ゲイン))である。図12(c)のように検出されるオブジェクト数が多い場合、オブジェクト中心からその周辺に行くにしたがって急峻に信号レベル調整用補正ゲインを低下させるように傾斜ゲインを設定する。これにより、表示画面上において、検出されるオブジェクト数が多くなっても、信号レベル調整用補正ゲインが高くなる部分と低くなる部分とを発生させることができ、映像信号表示装置300における消費電力を抑えることができる。つまり、図12(d)において、各オブジェクトに対応する信号レベル調整用補正ゲインの波形が急峻な凸型波形となるので、各オブジェクトの信号レベル調整用補正ゲインの最大値をとった波形(図12(d)の実線による波形)は、図12(d)に示した点線αβに対して、相対的に高くなる部分と低くなる部分とが発生し、山谷が存在する波形となる。したがって、表示装置104における表示画面において輝度レベルを低下させる部分が発生するので、オブジェクト周辺の明るさ感を保持したまま、映像信号表示装置300における消費電力を抑えることができる。
(変形例)
なお、第3実施形態においても、図11に示す映像信号表示装置300’のように、特徴量抽出部7を追加し、ゲイン算出部102A2〜102N2を動的ゲイン算出部102A2’〜102N’に置換することで構成し、第2実施形態と同様、更なる明るさ感向上のために、入力映像信号に応じてフレームごとに最大輝度低下率を動的に変化させるようにしてもよい。
[第4実施形態]
図13に、第4実施形態に係る映像信号表示装置400の構成図を示す。なお、前述の実施形態に係る映像信号表示装置と同様の部分については、同じ符号を付し、説明を省略する。
映像信号表示装置400において、第1実施形態に係る映像信号表示装置100との相違点は、傾斜ゲイン生成部20が追加されている点である。
入力映像信号が形成する1フレームの画像において、顔(オブジェクト)検出がない(N=0)場合、表示画面の中央付近をヒトは注視する場合が多いので、傾斜ゲイン生成部20において、オブジェクトの中心点(x0,y0)を表示画面の中央部として、gainp0を算出する。映像信号表示装置400では、このgainp0を用いて、顔検出がない場合について、従来どおりの処理を実行する。つまり、映像信号表示装置400の信号レベル補正部4では、傾斜ゲイン生成部20により算出された傾斜ゲインgainp0のみを用いて、入力映像信号に対して、信号レベル補正処理を行う。
さらに、入力映像信号が形成する1フレームの画像において、顔(オブジェクト)検出された場合、顔(オブジェクト)の部分を局所的に明るくする。これに伴い、ゲイン算出部20A2および2A2〜2N2では、(数式13)を用いて傾斜ゲインを算出する。
Figure 0005111872
ここで、Aiはオブジェクトごとに変化する変数で、0番目のオブジェクトのとき、A0=1とし(A0は、ゲイン算出部20A2用の変数。)、0番目以外のオブジェクトのとき、Aiを1より大きい数(Aiは、ゲイン算出部2A2〜2N2用の変数。)に設定する。これにより、図15(a)のような画像を形成する1フレーム分の入力映像信号が信号レベル補正部4に入力された場合、図15(b)のような信号レベル調整が、信号レベル補正部4によりなされる。なお、図15(b)において、横軸は、PQ間における画面位置であり、縦軸は信号レベル調整用補正ゲイン(=1−(補正ゲイン))である。図15(b)に示すように、映像信号表示装置400では、顔(オブジェクト)の部分だけを局所的に明るくすることができる。
(変形例)
なお、第4実施形態においても、図14に示す映像信号表示装置400’のように、特徴量抽出部7を追加し、ゲイン算出部20A2および2A2〜2N2を動的ゲイン算出部20A2’および2A2’〜2N’に置換することで構成し、第2実施形態および第3実施形態と同様、更なる明るさ感向上のために、入力映像信号に応じてフレームごとに最大輝度低下率を動的に変化させるようにしてもよい。
[他の実施形態]
上記実施形態において説明した映像信号表示装置および映像信号処理装置において実現される任意の機能を組み合わせることで映像信号表示装置および映像信号処理装置を実現してもよい。
上記実施形態では、映像の場合について説明したが、これに限定される必要はなく、静止画についても本発明を適用させることができる。
上記実施形態では、フレーム単位の処理について説明したが、これに限定される必要はなく、フィールド単位の処理を行うようにしてもよい。
上記実施形態では、画素ごとについて処理を行う場合について説明したが、これに限定される必要はなく、例えば、上記実施形態の映像信号表示装置の一部において、複数画素からなるブロック単位の処理を行うようにしてもよく、また、上記実施形態の映像信号表示装置の一部において、間引き処理を行い、処理を行うようにしてもよい。
上記実施形態で説明した映像信号表示装置および映像信号処理装置において、各ブロックは、LSIなどの半導体装置により個別に1チップ化されても良いし、一部又は全部を含むように1チップ化されても良い。
なお、ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてあり得る。
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェアにより実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。ソフトウェアにより実現する場合の一例として、バス接続されたマイクロプロセッサ、ROM、およびRAM等を用いて処理する場合がある。この場合、記憶部103をマイクロプロセッサにバス接続されているRAM等で実現することができる。例えば、1フレーム分(1フィールド分)の入力映像信号データをRAMに記憶させ、映像信号処理装置の機能に相当する処理をソフトウェアにより実現する。この場合において、映像を扱うときは、表示装置104において映像が表示される更新周期(例えば、1フレーム周期や1フィールド周期)内にソフトウェア処理を完了させる必要があるのは言うまでもない。また、この場合、距離算出部に入力させるデータを、RAMに記憶させた映像信号データとすれば、遅延部102を省略することも可能である。
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
本発明に係る映像信号処理装置、映像信号処理方法、映像信号処理プログラム、集積回路および映像信号表示装置は、ヒトの注視しやすい領域が表示画面内に複数存在している場合であっても、表示画面において、十分な明るさ感を得ることができ、かつ、消費電力を抑えることができるので、映像機器関連産業分野において、有用であり、当該分野において実施することができる。
本発明の第1実施形態に係る映像信号表示装置の構成図 本発明の第1実施形態に係る映像信号表示装置の構成図(変形例) (a)2つの顔が表示された映像信号による表示画面の模式図(b)図3(a)のPQ間における信号レベル調整用補正ゲインと画面位置との関係を示す図 傾斜ゲインを説明するための図 傾斜ゲインの結合について説明するための図 本発明の第2実施形態に係る映像信号表示装置の構成図 本発明の第2実施形態に係る映像信号表示装置の構成図(変形例) (a)表示画面内に集中度合いが異なる映像信号による表示画面の模式図(b)図8(a)のPQ間における信号レベル調整用補正ゲインと画面位置との関係を示す図 特徴量と最大輝度低下率との関係を示す図 本発明の第3実施形態に係る映像信号表示装置の構成図 本発明の第3実施形態に係る映像信号表示装置の構成図(変形例) (a)大きさの異なる顔が表示された映像信号による表示画面の模式図(b)図12(a)のPQ間における信号レベル調整用補正ゲインと画面位置との関係を示す図(c)4つの顔が表示された映像信号による表示画面の模式図(d)図12(c)のPQ間における信号レベル調整用補正ゲインと画面位置との関係を示す図 本発明の第4実施形態に係る映像信号表示装置の構成図 本発明の第4実施形態に係る映像信号表示装置の構成図(変形例) (a)1つの顔が表示された映像信号による表示画面の模式図(b)図15(a)のPQ間における信号レベル調整用補正ゲインと画面位置との関係を示す図 従来の映像信号表示装置を説明するための図
符号の説明
100、100’、200、200’、300、300’、400、400’ 映像信号表示装置
101、101’、201、201’、301、301’、401、401’ 映像信号処理装置
104 表示装置
1、61、1001 複数オブジェクト検出部
2A〜2N、62A〜62N、102A〜102N、20 傾斜ゲイン生成部
2A’〜2N’、62A’〜62N’、102A’〜102N ’、20’ 傾斜ゲイン生成部
2A1〜2N1、62A1〜62N1、102A1〜102N1 距離算出部
2A2〜2N2、62A2〜62N2、102A2〜102N2 ゲイン算出部
2A2’〜2N2’、62A2’〜62N2’、102A2’〜102N2’ 動的ゲイン算出部
62A3〜62N3 オブジェクト距離算出部
102A〜102N オブジェクト属性を用いたゲイン算出部
3 傾斜ゲイン結合部
4 信号レベル補正部

Claims (17)

  1. 調光可能な表示装置に表示させる表示映像信号を生成する映像信号処理装置であって、
    入力映像信号により形成される単位画像に含まれる複数のオブジェクトを検出する複数オブジェクト検出部と、
    前記複数オブジェクト検出部により検出された前記複数のオブジェクトごとに傾斜ゲインを算出する傾斜ゲイン生成部と、
    前記オブジェクトごとの前記傾斜ゲインを結合し、1つの補正ゲインを生成する傾斜ゲイン結合部と、
    前記オブジェクトごとの前記傾斜ゲインのうちの最小値の前記傾斜ゲインを前記補正ゲインとし、前記補正ゲインに応じて前記入力映像信号を補正して、前記表示映像信号として前記表示装置に出力する信号レベル補正部と、
    を備える映像信号処理装置。
  2. 前記傾斜ゲイン生成部は、前記オブジェクトの検出数の最大数と同数個設置される、
    請求項1に記載の映像信号処理装置。
  3. 前記傾斜ゲイン生成部は、前記複数オブジェクト検出部が検出した前記オブジェクトの検出順にしたがって対応づけられる、
    請求項2に記載の映像信号処理装置。
  4. 前記傾斜ゲイン生成部は、前記複数オブジェクト検出部が検出した前記オブジェクトの大きさ順にしたがって対応づけられる、
    請求項2に記載の映像信号処理装置。
  5. 前記オブジェクトの検出数の前記最大数は、予め設定された数である、
    請求項2から4のいずれかに記載の映像信号処理装置。
  6. 前記信号レベル補正部は、(1−(前記補正ゲイン))倍することで、前記入力映像信号を補正する、
    請求項1から5のいずれか一項に記載の映像信号処理装置。
  7. 前記傾斜ゲイン生成部は、前記単位画像を構成する画素ごとに、前記画素と前記オブジェクトの略中心点との距離を算出する距離算出部と、前記距離算出部で算出された前記距離に応じて前記傾斜ゲインを算出するゲイン算出部と、を有する、
    請求項1から6のいずれか一項に記載の映像信号処理装置。
  8. 前記ゲイン算出部は、前記オブジェクトの前記略中心点からの距離が大きくなるにつれ、大きくなる前記傾斜ゲインを算出する、
    請求項7に記載の映像信号処理装置。
  9. 前記ゲイン算出部は、ガウス関数により前記傾斜ゲインを算出する、
    請求項8に記載の映像信号処理装置。
  10. 前記傾斜ゲイン生成部は、それぞれ、前記複数オブジェクト検出部により検出された前記オブジェクトに対応づけられ、対応づけられた前記オブジェクトの略中心点と、対応づけられた前記オブジェクト以外の前記オブジェクトの略中心点との距離の総和である総和オブジェクト距離を算出するオブジェクト距離算出部をさらに有し、
    前記ゲイン算出部は、前記総和オブジェクト距離に基づいて、傾斜ゲインを算出する、
    請求項7に記載の映像信号処理装置。
  11. 前記傾斜ゲイン生成部は、前記オブジェクトの属性に応じて、前記傾斜ゲインを算出する、
    請求項1から10のいずれか一項に記載の映像信号処理装置。
  12. 前記オブジェクトの属性は、前記オブジェクトの検出数、前記オブジェクトの大きさ、および、前記表示画面の中央から前記オブジェクトの前記略中心点までの距離の少なくとも1つである、
    請求項11に記載の映像信号処理装置。
  13. 前記単位画像における特徴量を抽出する特徴量抽出部をさらに備え、
    前記ゲイン算出部は、前記特徴量に応じて、前記傾斜ゲインを算出する、
    請求項7に記載の映像信号処理装置。
  14. 請求項1に記載の映像信号処理装置と、前記映像信号処理装置から出力される映像信号を表示させる表示装置と、を備える映像信号表示装置。
  15. 前記表示装置は、前記映像信号のアベレージピクチャレベルが所定の値以上になると、
    前記表示装置の消費電力を制限する電力制限部を有する自発光型表示装置である、
    請求項14に記載の映像信号表示装置。
  16. 調光可能な表示装置に表示させる表示映像信号を生成する映像信号処理方法であって、
    入力映像信号により形成される単位画像に含まれる複数のオブジェクトを検出する複数オブジェクト検出ステップと、
    前記複数オブジェクト検出ステップにおいて検出された前記複数のオブジェクトごとに傾斜ゲインを算出する傾斜ゲイン生成ステップと、
    前記オブジェクトごとの前記傾斜ゲインを結合し、1つの補正ゲインを生成する傾斜ゲイン結合ステップと、
    前記オブジェクトごとの前記傾斜ゲインのうちの最小値の前記傾斜ゲインを前記補正ゲインとし、前記補正ゲインに応じて前記入力映像信号を補正して、前記表示映像信号として前記表示装置に出力する信号レベル補正ステップと、
    を有する映像信号処理方法。
  17. 調光可能な表示装置に表示させる表示映像信号を生成する映像信号処理プログラムであって、コンピュータを、
    入力映像信号により形成される単位画像に含まれる複数のオブジェクトを検出する複数オブジェクト検出部、
    前記複数オブジェクト検出部により検出された前記複数のオブジェクトごとに傾斜ゲインを算出する傾斜ゲイン生成部と、
    前記オブジェクトごとの前記傾斜ゲインを結合し、1つの補正ゲインを生成する傾斜ゲイン結合部と、
    前記オブジェクトごとの前記傾斜ゲインのうちの最小値の前記傾斜ゲインを前記補正ゲインとし、前記補正ゲインに応じて前記入力映像信号を補正して、前記表示映像信号として前記表示装置に出力する信号レベル補正部、
    として機能させるための映像信号処理プログラム。

JP2007012214A 2007-01-23 2007-01-23 映像信号処理装置、映像信号処理方法、映像信号処理プログラムおよび映像信号表示装置 Expired - Fee Related JP5111872B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007012214A JP5111872B2 (ja) 2007-01-23 2007-01-23 映像信号処理装置、映像信号処理方法、映像信号処理プログラムおよび映像信号表示装置
US12/017,556 US8049764B2 (en) 2007-01-23 2008-01-22 Video signal processing device, video signal processing method, video signal processing program, integrated circuit, and video signal display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007012214A JP5111872B2 (ja) 2007-01-23 2007-01-23 映像信号処理装置、映像信号処理方法、映像信号処理プログラムおよび映像信号表示装置

Publications (2)

Publication Number Publication Date
JP2008180756A JP2008180756A (ja) 2008-08-07
JP5111872B2 true JP5111872B2 (ja) 2013-01-09

Family

ID=39640777

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007012214A Expired - Fee Related JP5111872B2 (ja) 2007-01-23 2007-01-23 映像信号処理装置、映像信号処理方法、映像信号処理プログラムおよび映像信号表示装置

Country Status (2)

Country Link
US (1) US8049764B2 (ja)
JP (1) JP5111872B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5259628B2 (ja) 2008-05-21 2013-08-07 パナソニック株式会社 映像信号表示装置、映像信号表示方法、プログラムおよび集積回路
JP2011002520A (ja) * 2009-06-16 2011-01-06 Sony Corp 自発光表示装置、消費電力削減方法及びプログラム
JP5538849B2 (ja) * 2009-12-08 2014-07-02 キヤノン株式会社 画像表示装置、画像表示方法
JP5175910B2 (ja) * 2010-09-16 2013-04-03 株式会社東芝 画像処理装置、画像処理方法およびプログラム
WO2014188533A1 (ja) * 2013-05-22 2014-11-27 Necディスプレイソリューションズ株式会社 表示装置、表示システム、映像出力装置、および表示装置の制御方法
KR102109933B1 (ko) 2013-07-01 2020-05-12 삼성전자주식회사 디스플레이의 곡률을 참조하는 영상 처리장치 및 방법
JP6562770B2 (ja) * 2015-08-24 2019-08-21 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体
JP2023108808A (ja) * 2022-01-26 2023-08-07 株式会社Joled 電流制限回路、表示装置、及び、電流制限方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3115727B2 (ja) 1993-03-25 2000-12-11 パイオニア株式会社 プラズマディスプレイパネルの駆動装置
JP2000338942A (ja) * 1999-03-23 2000-12-08 Hitachi Medical Corp 医用画像表示装置
US6791566B1 (en) 1999-09-17 2004-09-14 Matsushita Electric Industrial Co., Ltd. Image display device
JP2002055675A (ja) 1999-09-17 2002-02-20 Matsushita Electric Ind Co Ltd 画像表示装置
JP2002072951A (ja) 2000-09-01 2002-03-12 Matsushita Electric Ind Co Ltd 表示装置およびその駆動方法
JP2002116728A (ja) 2000-10-10 2002-04-19 Matsushita Electric Ind Co Ltd 表示装置
JP2004021374A (ja) * 2002-06-13 2004-01-22 Fuji Xerox Co Ltd 画像処理方法、画像処理装置、プログラム、記憶媒体
JP2005184295A (ja) * 2003-12-18 2005-07-07 Hitachi Medical Corp 医用画像表示装置
JP4208767B2 (ja) * 2004-06-03 2009-01-14 キヤノン株式会社 画像処理装置及び画像処理方法
JP4903577B2 (ja) * 2004-11-05 2012-03-28 パナソニック株式会社 映像信号変換装置、映像表示装置
US9083969B2 (en) * 2005-08-12 2015-07-14 Sharp Laboratories Of America, Inc. Methods and systems for independent view adjustment in multiple-view displays
JP4824411B2 (ja) 2005-01-20 2011-11-30 パナソニック株式会社 顔抽出装置、半導体集積回路

Also Published As

Publication number Publication date
US20080174605A1 (en) 2008-07-24
US8049764B2 (en) 2011-11-01
JP2008180756A (ja) 2008-08-07

Similar Documents

Publication Publication Date Title
JP5111872B2 (ja) 映像信号処理装置、映像信号処理方法、映像信号処理プログラムおよび映像信号表示装置
US7158158B1 (en) Method and apparatus for nonlinear anamorphic scaling of video images
US9743073B2 (en) Image processing device with image compensation function and image processing method thereof
TWI519151B (zh) 影像處理方法以及影像處理裝置
US7796095B2 (en) Display specific image processing in an integrated circuit
JP2005217574A (ja) 映像信号処理装置及び方法
KR100691553B1 (ko) 영상 신호 처리 회로 및 텔레비전 수상기
US9661262B2 (en) Content processing device and content processing method
CN105869579A (zh) 背光亮度调整方法、装置及显示终端
CN102123288B (zh) 图像处理设备和图像处理方法
CN115424582A (zh) 亮度补偿方法、装置、电子设备及存储介质
US8390542B2 (en) Apparatus, method, and program for processing image
CN116489377A (zh) 图像处理方法和电子设备
KR20190055290A (ko) 표시 장치 및 이의 구동 방법
JP5585494B2 (ja) 画像処理装置、画像処理プログラム及び画像処理方法
JP2002311893A (ja) プラズマディスプレイパネルに入力する映像の逆補正処理方法
US8189951B2 (en) Video signal display device, video signal display method, storage medium, and integrated circuit
US10290254B2 (en) Image processing apparatus, display apparatus, and computer-readable storage medium
JP6226186B2 (ja) 映像表示制御装置
JP2008129521A (ja) 画像処理装置、画像処理方法、画像処理用プログラム、集積回路およびプラズマ・ディスプレイ装置
JP2005346639A (ja) 画像処理装置および画像処理方法
US12073803B2 (en) Dual-panel liquid crystal display device and control method for reducing risk of displaying killer pattern
JP2007104377A (ja) 映像信号表示装置
JP5946281B2 (ja) 画像処理装置、画像表示システム、および画像表示方法
JP2007104378A (ja) 映像信号表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091110

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120417

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120615

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120710

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120731

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120918

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121010

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151019

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5111872

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees