JP5314029B2 - 色信号変換装置及び色信号変換方法 - Google Patents

色信号変換装置及び色信号変換方法 Download PDF

Info

Publication number
JP5314029B2
JP5314029B2 JP2010526538A JP2010526538A JP5314029B2 JP 5314029 B2 JP5314029 B2 JP 5314029B2 JP 2010526538 A JP2010526538 A JP 2010526538A JP 2010526538 A JP2010526538 A JP 2010526538A JP 5314029 B2 JP5314029 B2 JP 5314029B2
Authority
JP
Japan
Prior art keywords
color
signal
color gamut
unit
conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010526538A
Other languages
English (en)
Other versions
JPWO2010023884A1 (ja
Inventor
春生 山下
康浩 桑原
武志 井東
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2010526538A priority Critical patent/JP5314029B2/ja
Publication of JPWO2010023884A1 publication Critical patent/JPWO2010023884A1/ja
Application granted granted Critical
Publication of JP5314029B2 publication Critical patent/JP5314029B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6058Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/64Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • H04N1/646Transmitting or storing colour television type signals, e.g. PAL, Lab; Their conversion into additive or subtractive colour signals or vice versa therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/841Camera processing pipelines; Components thereof for processing colour signals to modify gamut
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/86Camera processing pipelines; Components thereof for processing colour signals for controlling the colour saturation of colour signals, e.g. automatic chroma control circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/68Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/06Colour space transformation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)

Description

本発明は、カメラ、ディスプレイを含む信号処理システムに関するものであり、特に広い色域を扱う画像・映像を処理・保存・伝送する色信号変換装置、映像表示装置、色信号変換方法、映像表示方法及び画像データに関する。
ディスプレイデバイスは、近年の急速な進歩により表現できる色の範囲(以降、色域と呼ぶ)を広げ鮮やかな色が表示できるようになってきた。
現在民生の映像機器の色表現としては、デジタル放送(HDTV)ではITUの国際規格ITU−R BT.709(以降、BT.709と呼ぶ)で定められたものが使われている。したがって民生機器で表現できる色域は、この規格で扱える色の範囲(以降、BT.709色域と呼ぶ)に限定されていた。そのため、たとえ広い色域を表示できるディスプレイデバイスを開発しても、その広色域を活かして鮮やかな色を忠実に再現できるという本来の使い方ができず、広がった色域は画像の彩度を上げて鮮やかに見せる所謂絵作りの一部としての利用にとどまっている。
本当にディスプレイデバイスの広色域を活かすためにはディスプレイデバイスの改良だけでは不十分であり、撮像から記録・伝送、表示まで、統一された広色域色表現で行うことが必要であり、カメラからコンテンツ作成(オーサリング)、映像フォーマット、蓄積メディアフォーマット、インターフェース等の改良が同時に進まなければならない。
映像規格は、画素の色をR、G、Bの原色(以降、プライマリと呼ぶ)で色を表現し、これを輝度・色差形式(以降、YCC形式と呼ぶ)に変換して扱っている。
広い色域を伝えるには、映像規格で定義するR、G、Bのプライマリをより広い色域が表現できる鮮やかなものに変更すれば可能である。
しかし映像規格自体の変更は、過去との互換性の観点で困難である。たとえば、BT.709より広い色域を与える3原色(R、G、B)を、新たなプライマリとして追加した場合、BT.709プライマリと、広色域な新プライマリとを識別できる新しいディスプレイデバイスであれば、どちらの色も正しく再現できる。しかし、BT.709のみを前提にしている従来ディスプレイデバイスでは正しく再現できない。広色域のプライマリで表現された色をBT.709として再現すると、彩度の低い褪せた色として再現されてしまう。このように、映像規格自体の変更においては、下位互換性を有さない。
この課題に対して、BT.709との互換性を有する広色域色表現としてxvYCCがIEC61966−2−4で規格化された。このxvYCCは、プライマリをBT.709から変更せず、BT.709に対して主に以下の2点の拡張を行うことにより広色域化を行っている。
一つめは、R、G、BからYCCへ変換した際の8bitで表されるYCCのほぼ全数値範囲をとることを認め明記したことである。これは、R、G、B表現では、従来の0〜1の範囲でなく、0以下と1以上の値をとることも認めたことになり、色表現範囲を広げることができる。二つめは、色差の取り得る値の範囲を、BT.709では使用されない範囲も使用するように拡張したことである。つまり、色差の取り得る8bitで表された範囲を、16〜240から1〜254に拡張したことにより、広色域化をさらに行っている。
xvYCCは、プライマリを変えていないため、BT.709の色域の範囲の色、すなわちR、G、Bが0〜1の範囲の色に対して、BT.709と完全な互換性を有するという特長を持つ。この下位互換性を有した上で、色域がマンセルカラーカスケード色票のカバー率100%になることを実現している(例えば、特許文献1参照)。
図19は、従来の映像信号における色表現を説明する図であり、BT.709とxvYCCの関係を表している。縦軸は輝度(Y)、横軸は色差(Cb、Cr)を表しており、上ほど明るく、左右に広がるほど鮮やかな色を表現する。また、説明を容易にするため、本来3次元のものを2次元で表現している。したがって、図中の二つの矢印はプライマリを表しているが、R、G、Bの三つのプライマリのうちのいずれか二つを意味している。
BT.709プライマリ905、906は、BT.709規格のプライマリを表している。これら二つのプライマリで構成される平行四辺形状のBT.709色域901は、これらのプライマリがそれぞれ0〜1の間の値を取るときに表現できる範囲であり、BT.709規格で表現できる色域を表す。上記BT.709色域901を囲む長方形状のBT.709領域902は、輝度・色差による色表現に変換したとき、輝度・色差信号がとる値の範囲を示している。この図から明らかなように、BT.709規格が扱う色は、輝度・色差信号では全ての値をとるわけではなく、BT.709色域901の外側は使用されていない。
また、BT.709規格での信号は8bitであり、その値の物理表現は、輝度では論理値の0〜1が物理値の16〜235と定められており、色差(Cb、Cr)では、論理値の−0.5〜+0.5が8bitの物理値での16〜240と定められている。したがって、輝度・色差とも8bitの数値の全範囲を使用していない。
ここで、プライマリの色度と強度(この図では二つの矢印の傾きと長さ)はそのままで、輝度・色差表現におけるBT.709領域902の全範囲(BT.709色域901の外側も許容する)の色表現の使用を認めることを考える。そうすると、暗くて鮮やかな色(BT.709領域902内の斜線部のうち下の三角領域)や、明るくて鮮やかな色(BT.709領域902内の斜線部のうち上の三角領域)へ色域が広がる。ここで拡張されたBT.709領域902の色域をR、G、Bのプライマリにより原色で表現するためには、下の三角領域では、R、G、Bのプライマリの内一つまたは二つが論理値で負の値をとり、上の三角領域では、R、G、Bのプライマリの内一つまたは二つが論理値で1以上の値をとる必要があり、R、G、Bのプライマリは、負から1以上までの範囲を扱えねばならない。
xvYCCは、上記方式によりBT.709のプライマリを変更しない代わりに、R、G、B信号の扱う値の範囲を負から1以上まで広げ、輝度・色差表現した際のBT.709領域902の全域の使用を許容することにより、BT.709よりも表現できる色域を広げている。実際のxvYCCでは、上記BT.709領域902に加えて、BT.709では使用されていなかったxvYCCで表現可能なxvYCC領域903の範囲(8bitで表現される色差の物理値のほぼ全域である1〜254)も使用することにしている。このため、色差の論理値は、約−0.57〜+0.56まで広がっている。((254−128)/(240−128)×0.5=0.56、(128−1)/(128−16)×(−0.5)=−0.57)
前述のように、xvYCCは、BT.709からプライマリが変更されていないため、BT.709の色域、即ち、BT.709が定義しているR、G、Bが0〜1の範囲については、BT.709と互換性を有し、かつ、BT.709と比べてかなり広い色域が表現できるものであり、多くのAV機器で使用されつつある。
特開2006−33575号公報
実際に広い色域を持ち、その広い色域が活かせるコンテンツとして映画(シネマ)がある。シネマは、今まで銀塩フィルムが用いられてきた長い歴史がある。この銀塩フィルムは、減法混色による発色であるため、ディスプレイデバイスとは色域が異なる。主に、暗い色の色域が広く、暗くて鮮やかな赤(深紅)などを得意としている。シネマも、デジタル化されてきているが、この色域を再現することは制作者の意図を表現する上で重要であるため、デジタルシネマ上映用のプロジェクタは、銀塩フィルムをカバーすることを目指した広いプライマリが採用されている。その中で広く用いられているのが、デジタルシネマ規格であるDCI(Digital Cinema Initiatives)のミニマム規格(以降DCIと呼ぶ)と呼ばれるものである。
DCIの表現できる色域は、民生用のテレビなどと比較すると大変広いものである。しかし、最近のディスプレイデバイスの進歩により、民生用でありながら、DCIに近いプライマリを持つ広色域ディスプレイデバイスが登場している。そのようなディスプレイデバイスを用いると、家庭でデジタルシネマの色を忠実に再現できる可能性がある。
しかし、民生用で使える広色域の映像フォーマットとしては上記xvYCCのみである。広い色域が表現できるxvYCCであるが、さすがにDCIの色域全体をカバーすることはできず、一部の鮮やかな色が表現できないため、デジタルシネマの色をそのまま家庭で再現することはできないことになる。
図20は、図19に示された従来の色表現を説明する図に、DCIミニマム規格のプライマリにより表現される色域を追記したものである。DCIプライマリ907、908は、DCIミニマム規格のプライマリであり、DCIで表現できる色域は、これらのプライマリが論理値で0〜1の間で表現できる範囲である平行四辺形のDCI色域909である。
この図で表現されているように、DCI色域909は、xvYCCで表現可能な範囲であるxvYCC領域903を超えている色(DCI色域909中のもっとも鮮やかな部分であり、同図の斜線で示される部分)が存在する。これらの色は、xvYCCでは表現できないため、従来のディスプレイデバイスに表現することができない。これらの色は、実際にはクリップされてしまうか、色よりも階調性を重視してクリップを避ける絵作りが行われることもある。
ここで、DCI色域909を伝送するのは、たとえばDCIプライマリ907、908を用いた映像フォーマットを新たに規格化すれば可能である。しかし、プライマリを変えた映像フォーマットは、従来のBT.709との下位互換性を有さないため、民生市場では市場に受け入れられることは難しい。具体的には、DCIプライマリ907、908に対応しない従来のディスプレイデバイスに表示すると、低彩度のくすんだ色で表示されるため、民生機として実現は困難である。
本発明は、上記課題に鑑みて、DCI色域に対応し、かつxvYCCとBT.709との下位互換性を有する色信号変換装置、映像表示装置、色信号変換方法、映像表示方法及び画像データを提供することを目的とする。
上記目的を達成するために、本発明の一態様に係る色信号変換装置は、第1の色域で表現される第1の色信号を変換する色信号変換装置であって、前記第1の色信号を、所定の規格の原色点で定められる所定の色域よりも広くかつ前記所定の規格の原色点を有する第2の色域で表現される第2の色信号に変換する原色変換部と、前記第2の色信号を、ガンマ特性に応じて変換するガンマ変換部と、前記ガンマ変換部によって変換された前記第2の色信号を、輝度信号と色差信号とに変換する輝度色差変換部と、前記色差信号がとり得る数値範囲のうち、前記第2の色域で表現可能な数値範囲外の色差信号が、前記所定の色域よりも広くかつ前記第2の色域よりも狭い色域を有する色差信号になるように、変換係数に基づいて、前記色差信号を変換する色差信号変換部と、前記色差信号変換部によって変換された前記色差信号と、前記輝度色差変換部によって変換された前記輝度信号とを出力信号として出力する出力部とを備える。
ここで、第1の色域は、入力される画像の有する色域であり、例えば、DCIの色域、又はDCIの色域よりも広い色域である。つまり、第1の色域は、例えば、DCIのプライマリを有する色域である。また、所定の色域は、例えば、BT.709の色域であり、第2の色域は、例えば、xvYCCの色域である。つまり、これによれば、DCIの色域又は、DCIの色域よりも広い色域にあるxvYCCの色域で表現不可能な色差信号を、xvYCCの色域で表現可能な色差信号に変換する。これにより、輝度信号を変更することなく、色差信号のみ変換することで、DCI色域に対応可能であり、かつxvYCCとBT.709との下位互換性を有するようにすることができる。
また、好ましくは、前記色差信号変換部は、前記色差信号の色差を示す値に前記変換係数を乗じることで、前記色差信号を変換する。
これによれば、色差に変換係数を乗じることで色差信号が変換されるので、クリップとは異なる連続的な階調を有する色差信号に変換することができる。
また、前記色差信号変換部は、前記色差信号に含まれるCr信号とCb信号とを、それぞれ異なる変換係数を用いて変換してもよい。また、前記色差信号変換部は、前記Cr信号がとり得る数値範囲のうち、前記第2の色信号が取り得るCr信号の正及び負の数値範囲外のCr信号である正Cr信号及び負Cr信号を、それぞれ異なる変換係数を用いて変換してもよい。さらに、前記色差信号変換部は、前記Cb信号がとり得る数値範囲のうち、前記第2の色信号が取り得るCb信号の正及び負の数値範囲外のCb信号である正Cb信号及び負Cb信号を、それぞれ異なる変換係数を用いて変換してもよい。
これによれば、Cr信号の正側及び負側とCb信号の正側及び負側との色差信号の特性に合った変換係数を用いて、それぞれ変換することができる。
また、前記色差信号変換部は、前記所定の色域の色差信号がとり得る数値範囲の第1の端点と、前記第2の色域の色差信号がとり得る数値範囲の第2の端点との間の任意の2点に応じて設定される前記変換係数に基づいて、前記色差信号を変換してもよい。さらに、好ましくは、前記色差信号変換部は、前記第1の端点と前記第2の端点に応じて設定される前記変換係数に基づいて、前記色差信号を変換する。
これによれば、色差信号を、第1の端点と第2の端点との間の任意の2点を結ぶ線形に変換することで、簡易的な計算により変換することができる。
また、さらに、前記第1の色域を判定する色域判定部と、前記色域判定部が判定した結果に基づいて、前記変換係数を決定する制御部とを備え、前記制御部は、前記第1の色域の変化に応じて、前記変換係数を変化させることにしてもよい。また、さらに、前記第1の色域を判定する色域判定部と、前記色域判定部が判定した結果に基づいて、前記色差信号を変換するか否かを判断する制御部と、前記色差信号変換部が前記色差信号を変換したか否かを示す情報であるフラグを生成する付加情報生成部とを備え、前記制御部が前記色差信号を変換すると判断した場合に、前記色差信号変換部は前記色差信号を変換するとともに、前記付加情報生成部は前記フラグを生成することにしてもよい。
これによれば、決定された変換係数と生成されたフラグとに基づいて、色差信号を変換することができる。
また、前記出力部は、さらに、前記変換係数を示す情報を出力してもよい。そして、前記出力部は、前記出力信号を動画像ストリームに他の情報と多重化する際、前記変換係数を示す情報を前記動画像ストリームのヘッダーに格納して出力することにしてもよい。また、前記出力部は、前記出力信号を動画像ストリームに他の情報と多重化し、記録媒体に書き込む場合、前記変換係数を示す情報を前記記録媒体の管理情報内に格納して出力することにしてもよい。また、前記出力部は、前記出力信号を動画像ストリームに他の情報と多重化し、外部の通信路に対し送信する場合、前記変換係数を示す情報を、前記通信路のプロトコルを用いて送信することで出力することにしてもよい。
これによれば、変換係数を様々な方式により、出力することができる。
また、前記出力部は、さらに、前記色差信号変換部が前記色差信号を変換したか否かを示す情報であるフラグを出力してもよい。そして、前記出力部は、前記出力信号を動画像ストリームに他の情報と多重化する際、前記フラグを前記動画像ストリームのヘッダーに格納して出力することにしてもよい。また、前記出力部は、前記出力信号を動画像ストリームに他の情報と多重化し、記録媒体に書き込む場合、前記フラグを前記記録媒体の管理情報内に格納して出力することにしてもよい。また、前記出力部は、前記出力信号を動画像ストリームに他の情報と多重化し、外部の通信路に対し送信する場合、前記フラグを、前記通信路のプロトコルを用いて送信することで出力することにしてもよい。
これによれば、フラグを様々な方式により、出力することができる。
また、上記目的を達成するために、本発明の一態様に係る映像表示装置は、色信号の輝度信号と色差信号とを変換し、ディスプレイデバイスに映像を表示する映像表示装置であって、輝度信号と色差信号とを受信する入力部と、前記受信された色差信号のうち、第1の色域よりも広く、第2の色域よりも狭い色域を有する色差信号を、所定の比率で伸張する色域伸張部と、前記伸張された色差信号と、前記受信された輝度信号とを色信号に変換する逆輝度色差変換部と、前記逆輝度色差変換部によって変換された色信号を、逆ガンマ特性に応じて変換する逆ガンマ変換部と、前記逆ガンマ変換部によって変換された色信号を、前記ディスプレイデバイスに表示可能な色信号に変換する色信号変換部と、前記色信号変換部によって変換された色信号に基づいて、前記ディスプレイデバイスに映像を表示する表示部とを備える。
これによれば、圧縮された色差信号を伸張して、ディスプレイデバイスに映像を表示することができる。ここで、第1の色域は、例えば、BT.709の色域であり、第2の色域は、xvYCCの色域である。つまり、例えば、DCI色域にあるBT.709色域外の色差信号が、xvYCCで表現可能な色域の色差信号に圧縮されている場合、この圧縮された色差信号を、DCI色域に伸張することで、DCI色域を表示可能なディスプレイデバイスに映像を表示することができる。
また、前記入力部は、さらに、前記受信された色差信号が変換されていることを示す情報であるフラグを受信し、前記色域伸張部は、前記入力部が前記フラグを受信した場合にのみ、前記色差信号を伸張することにしてもよい。また、前記入力部は、さらに、前記所定の比率を示す変換係数を示す情報を受信し、前記色域伸張部は、前記変換係数に基づいて、前記色差信号を伸張することにしてもよい。
これによれば、入力部が受信したフラグ及び変換係数によって、色差信号を伸張することができる。
また、前記入力部は、動画像ストリームのヘッダーに格納された前記フラグを受信することにしてもよい。また、前記入力部は、外部の通信路のプロトコルを用いて送信された前記フラグを受信することにしてもよい。
これによれば、フラグを様々な方式により、受信することができる。
また、前記色域伸張部は、前記受信された色差信号に含まれるCr信号とCb信号とを、それぞれ異なる比率を用いて伸張することにしてもよい。また、前記色域伸張部は、前記Cr信号がとり得る数値範囲のうち、前記所定の規格に規定されるCr信号の正及び負の数値範囲外のCr信号である正Cr信号及び負Cr信号を、それぞれ異なる比率を用いて伸張することにしてもよい。さらに、前記色域伸張部は、前記Cb信号がとり得る数値範囲のうち、前記所定の規格に規定されるCb信号の正及び負の数値範囲外のCb信号である正Cb信号及び負Cb信号を、それぞれ異なる比率を用いて伸張することにしてもよい。
これによれば、Cr信号の正側及び負側とCb信号の正側及び負側との色差信号の特性に合った比率を用いて、それぞれ伸張することができる。
また、前記色域伸張部は、前記ディスプレイデバイスに表示可能な色域まで、前記色差信号を伸張することにしてもよい。また、さらに、色域の補正を行う色補正部を備え、前記色補正部は、前記色域伸張部が色差信号を伸張した後に、前記ディスプレイデバイスの色域に合わせて色域の補正を行うことにしてもよい。
これによれば、ディスプレイデバイスに表示可能な色域まで、色域伸張部又は色補正部が色域の伸張、圧縮を行うことで、ディスプレイデバイスに合った色域の補正がなされる。
なお、本発明は、このような色信号変換装置及び映像表示装置として実現することができるだけでなく、その色信号変換装置や映像表示装置を構成する各処理部をステップとする方法やプログラム、そのプログラムを格納する記憶媒体、および集積回路としても実現することができる。また、その色信号変換装置から出力される色差信号、輝度信号、変換係数を示す情報、及びフラグ等を格納する画像データや、その画像データを記録したコンピュータ読み取り可能な記録媒体としても実現することができる。
本発明によれば、BT.709色域の範囲では、BT.709との互換性を有し、そしてBT.709の色域を拡張したxvYCCとも実質的な互換性も有し、さらにデジタルシネマが用いる極めて広い色域を忠実に処理・記録・伝送が可能な色信号変換装置、映像表示装置、色信号変換方法、映像表示方法及び画像データを提供することができる。
図1は、第1の実施の形態における色信号変換装置の機能構成を示すブロック図である。 図2は、第1の実施の形態における色信号変換装置の動作の一例を示すフローチャートである。 図3は、ガンマ変換部の変換特性を表す図である。 図4は、DCI色域を色差平面で表す図である。 図5は、第1の実施の形態における色域圧縮部の変換特性を説明する図である。 図6は、第1の実施の形態における色域圧縮部の変換特性を説明する図である。 図7Aは、第1の実施の形態における色域圧縮部の色域圧縮を模式的に説明する概念図である。 図7Bは、第1の実施の形態の変形例における色域圧縮部の色域圧縮を模式的に説明する概念図である。 図7Cは、第1の実施の形態の変形例における色域圧縮部の色域圧縮を模式的に説明する概念図である。 図8は、第1の実施の形態における出力部の具体構成図である。 図9は、第1の実施の形態における出力部の具体構成図である。 図10は、MPEG2−TSの概略構成を示す図である。 図11は、第2の実施の形態における映像表示装置の機能構成を示すブロック図である。 図12は、第2の実施の形態における入力部の具体構成を示す図である。 図13は、第2の実施の形態における入力部の具体構成を示す図である。 図14は、第2の実施の形態における映像表示装置の動作の一例を示すフローチャートである。 図15は、逆ガンマ変換部の変換特性を説明する図である。 図16は、第3の実施の形態における映像表示装置の機能構成を示すブロック図である。 図17Aは、第3の実施の形態における映像表示装置の機能を説明する図である。 図17Bは、第3の実施の形態における映像表示装置の機能を説明する図である。 図18は、色信号の輝度信号と色差信号とを記録又は伝送するための画像データの一例を示す図である。 図19は、従来の映像信号の色表現を説明する概念図である。 図20は、DCI色域を説明する概念図である。
以下、本発明の実施形態における色信号変換装置及び映像表示装置について、図面を参照しながら説明する。
(第1の実施の形態)
まず、第1の実施の形態である色信号変換装置について説明する。本実施形態は、広色域な情報をxvYCCフォーマットのような輝度・色差フォーマットで記録および伝送する色信号変換装置に関する実施形態である。実際の応用形態としては、ビデオカメラや広色域の素材から映像ディスク又は、映像信号を制作するオーサリングなどとなる。
図1は、第1の実施の形態における色信号変換装置の機能構成を示すブロック図である。
同図に示すように、色信号変換装置は、撮像部101及び、第1の信号処理部1を備えている。
撮像部101は光学系、イメージセンサ、A/D変換部を内蔵し、所望の被写体を広い色域を用いて撮像可能な部位である。ここでは、撮像部101は、DCIの色域よりも広い色域で所望の被写体像を撮影する。
第1の信号処理部1は、撮像部101が撮影したシーンをBT.709プライマリを有しxvYCCの色域を用いて表現可能な輝度・色差信号で出力する処理部である。同図に示すように、第1の信号処理部1は、第1の色域変換部102、第1の色変換部103、ガンマ変換部104、輝度色差変換部105、色域圧縮部106、選択部107、出力部108、操作部109、色域判定部110、制御部111及び付加情報生成部112を備えている。
第1の色域変換部102及び第1の色変換部103は、第1の色信号を、所定の原色点で定められる所定の色域よりも広くかつ前記所定の規格の原色点を有する第2の色域で表現される第2の色信号に変換する。ここで、第1の色信号は、DCIの色域、又はDCIの色域よりも広い色域で表現される色信号である。また、所定の原色点は、例えば、BT.709規格に規定されるプライマリである。また、第2の色域は、BT.709の色域よりも広くかつBT.709プライマリを有する色域であり、ここでは、xvYCCにて表現される色域である。
具体的には、第1の色域変換部102は、撮像部101で撮影して得られる色信号が有する色域を、DCIのプライマリを有し、当該DCIの色域内に納めるように変換する。
また、第1の色変換部103は、第1の色域変換部102から出力される色信号が有するDCIのプライマリを、BT.709プライマリに変換する。
ここで、請求の範囲に記載の「原色変換部」は、第1の色変換部103の機能を有しても構わないし、第1の色変換部103と第1の色域変換部102との機能を有する構成でも構わない。
ガンマ変換部104は、第2の色信号を、ガンマ特性に応じて変換する。具体的には、ガンマ変換部104は、負および1以上の数値で入力される色信号に対しても処理できるようxvYCCで規定されているガンマ補正によって、変換を行う。
輝度色差変換部105は、第2の色信号を輝度信号と色差信号とに変換する。具体的には、輝度色差変換部105は、ガンマ補正によって変換されたR、G、Bの色信号を輝度・色差信号に変換する。
色域圧縮部106は、色差信号がとり得る数値範囲のうち、第2の色域で表現可能な数値範囲外の色差信号が、所定の色域よりも広くかつ第2の色域よりも狭い色域を有する色差信号になるように、変換係数に基づいて、色差信号を変換する。ここでは、第2の色域は、xvYCCで表現可能な色域である。具体的には、色域圧縮部106は、xvYCCに規定される信号レンジを越える色を、xvYCCに規定される色差信号の数値範囲に色域圧縮する。ここで、請求の範囲に記載の「色差信号変換部」は、色域圧縮部106の機能を有する。
選択部107は、色域圧縮部106による色域圧縮処理の有無を切り替える。
出力部108は、選択部107の出力信号を出力する。具体的には、出力部108は、色域圧縮部106によって変換された色差信号と、輝度色差変換部105によって変換された輝度信号とを出力信号として出力する。また、出力部108は、変換係数を示す情報や、色域圧縮部106が色差信号を変換したか否かを示す情報であるフラグを出力する。
操作部109は、ユーザI/Fにより操作者の意思を制御部111に伝える。
色域判定部110は、撮像部101が撮影した被写体を含むシーン全体の色分布を調べ、撮影シーンの色域を判定する。
制御部111は、本実施形態における色信号変換装置全体の動作を制御する。例えば、制御部111は、色域判定部110が判定した結果に基づいて、変換係数を決定するとともに、当該結果に応じて変換係数を変化させる。また、制御部111は、色域判定部110が判定した結果に基づいて、色差信号を変換するか否かを判断する。
付加情報生成部112は、制御部111の指示により映像信号に付加する情報を生成する。例えば、付加情報生成部112は、色域圧縮部106が色差信号を変換したか否かを示す情報であるフラグを生成する。
図2は、第1の実施の形態における色信号変換装置の動作の一例を示すフローチャートである。
まず、撮像部101が、所望の被写体を撮影することでDCIの色域よりも広い色域を有する色信号を生成する(S102)。
そして、第1の色域変換部102は、撮像部101において生成された色信号が有する色域をDCIの色域内に納めるように変換し、さらに、第1の色変換部103は、DCIのプライマリをBT.709プライマリに変換する(S104)。
次に、ガンマ変換部104は、ガンマ特性に応じて、第1の色変換部103で得られる色信号をガンマ補正する(S106)。
そして、輝度色差変換部105は、ガンマ補正によって得られたR、G、Bのプライマリを、輝度・色差信号に変換する(S108)。
そして、色域判定部110は、撮像部101が撮影した被写体を含む撮影シーン全体の色域を判定する(S110)。
そして、制御部111は、色域判定部110が判定した結果に基づいて、色域圧縮を行うか否かを判断する(S112)。
制御部111は、色域圧縮を行うと判断した場合(S112でYES)、色域判定部110が判定した結果に基づいて、色域圧縮のための変換係数を決定する(S114)。
そして、色域圧縮部106は、変換係数に基づいて、xvYCCに規定される信号レンジを越える色を、xvYCCに規定される色信号の数値範囲に色域圧縮する(S116)。
具体的には、色域圧縮部106は、色差信号の色差に変換係数を作用させることにより、色差信号を変換する。また、色域圧縮部106は、圧縮すべき色差信号に含まれるCr信号とCb信号とを、それぞれ異なる変換係数を用いて変換する。また、色域圧縮部106は、Cr信号がとり得る数値範囲のうち、BT.709規格に規定されるCr信号の正及び負の数値範囲外のCr信号である正Cr信号及び負Cr信号を、それぞれ異なる変換係数を用いて変換する。また、色域圧縮部106は、Cb信号がとり得る数値範囲のうち、BT.709に規定されるCb信号の正及び負の数値範囲外のCb信号である正Cb信号及び負Cb信号を、それぞれ異なる変換係数を用いて変換する。
さらに、色域圧縮部106は、BT.709規格に規定される色差信号がとり得る数値範囲の第1の端点と、xvYCCに規定される色差信号がとり得る数値範囲の第2の端点との間の任意の2点に応じて設定される変換係数に基づいて、色差信号を変換する。この任意の2点とは、例えば、第1の端点及び第2の端点である。詳細については、後述する。
次に、付加情報生成部112は、色域圧縮部106が色域圧縮をしたことを示すフラグなどの付加情報を生成する(S118)。
また、制御部111が色域圧縮を行わないと判断した場合(S112でNO)、選択部107は、色域圧縮部106による色域圧縮処理を無しに切り替え、付加情報生成部112は、色域圧縮部106が色域圧縮をしていないことを示すフラグである付加情報を生成する(S118)。
そして、出力部108は、出力信号と、変換係数を示す情報や、色域圧縮部106が色域圧縮をしたか否かを示すフラグなどを出力する(S120)。
次に本実施形態の具体的な動作の一例を説明する。ここで、撮像部101は、DCIの色域に近いあるいは超える色域を撮影可能なデジタルビデオカメラであるものとして説明する。
第1の色域変換部102は、撮像部101で撮影されカメラのイメージセンサのカラーフィルタなどで決まるプライマリ(R、G、B)で表された出力信号を、DCIの色域を超える色領域がある場合は公知な色域変換処理により視覚的に自然にDCIの色域の範囲内に制限する。なお、色域変換手法は、ガマット変換処理など、色域を制限できるものであればどのような方式でも可能である(非特許文献:「色彩工学の基礎」、コロナ社、P.178−180)。
また、撮像部101がDCIに規定する色域を超える色域を撮像できないものである場合には、第1の色域変換部102は不要である。また、被写体としても一部の発光物以外ではDCIの色域を超えるものはかなり少ないため、第1の色域変換部102を省略してもその影響は小さい。
次に、第1の色変換部103は、DCIの色域に制限された色信号を、BT.709規格に規定されるプライマリへ変換する。通常この変換には、次に例示すような線形マトリクスが用いられる。マトリクスの係数は、撮像部101のフィルタの分光分布により決まるプライマリをBT.709のプライマリに変換する際の、入出力各々のプライマリの色度点と入出力の白色点の色度値を設定すると一意に定めることが出来る。実際の具現化構成では多くの場合、ホワイトバランス係数など、他の補正要素も併せてこのマトリクス係数に含めて一括して処理されることも多いため、必ずしも上記説明だけで決まる係数になるとは限らない。ここでは、説明を簡単にするために撮像部101の広いプライマリがちょうどDCIのプライマリに一致している場合を例にとって説明する。この場合当然第1の色域変換部102は不要である。
Figure 0005314029
DCIに規定される広い色域をBT.709の様な相対的に狭い色域を表すプライマリで表現するため、第1の色変換部103のマトリクスはR、G、Bの差を拡大する係数をもつ。そのため、R、G、Bに0〜1の範囲の値を与えても、出力されるR709、G709、B709は負や1以上の値をとる。例えば、DCIのプライマリであるR、G、Bがそれぞれ0〜1の範囲をとる場合、色変換後のBT.709のR709、G709、B709は、R709は−0.235〜1.121、G709は−0.039〜1.087、B709は−0.100〜0.955の値をとる。
したがってガンマ変換部104は、上記範囲のR709、G709、B709が変換できる必要がある。図3はそのR709、G709、B709の変換特性を表す図であり、次式に従って作成されている。R709、G709、B709について同じ変換であるため、ここではR709についてのみを記述している。つまり、次式は、入力R709に対する出力値を算出する計算式である。また、Rが0〜1の範囲についてはBT.709での定義と一致している。R709、G709、B709が取り得る値の範囲は上記のように各々異なるため、必要な範囲だけ処理できる回路やテーブルが用意できればよい。
Figure 0005314029
輝度色差変換部105は、ガンマ変換されたBT.709プライマリを、BT.709の輝度・色差信号に変換する。この変換特性は、次式で表される。
Figure 0005314029
また、この変換によりDCIの色域(図20に示されたDCI色域909)には、xvYCCに規定される輝度・色差信号が8bitで表現できる範囲である−0.57〜0.56の範囲に収まらない色域(図20中の斜線ハッチング部)が存在する。従来のxvYCCにおいては、これらの色はクリップされる。
図4は、DCI色域を色差平面で表す図であり、DCI色域全体に均等に分布する色(11×11×11=1331色)をxvYCCのCb信号、Cr信号の範囲に写像し輝度情報を除いてCb−Cr平面を上から見ている。図中の実線の正方形は、Cb信号とCr信号が各々−0.57〜0.56の範囲を示しており、この正方形の内部の色はxvYCCで表現可能である。同様に破線の正方形は、Cb信号とCr信号が±0.5であるBT.709規格の色差信号によって表現可能な数値範囲を示している。
xvYCCの色差信号は、BT.709規格の色差信号と比べて取り得る数値範囲が広くなるよう改良されているが、非常に広いDCIの色差信号が取り得る数値範囲全体は表現できない。また、DCIの色域でxvYCCで表現可能な数値範囲からはみ出す度合いは一様ではなく色毎に異なっている。例えば、緑(G)、シアン(C)、黄(Y)は大きく超えており、赤(R)も少し超えている。ただし、このCb−Cr平面上でのはみ出し度合いがそのまま目で見た際の色の違いに一致はしない。少ししかはみ出していない赤の色の違いは大きい。
そして、色域圧縮部106は、xvYCCを超える色域を有するBT.709プライマリによる輝度・色差信号を、xvYCCで表現可能な色域まで色域圧縮する。色域圧縮とは一種の色域変換であり様々な手法が考えられる。通常の色域変換では、画質的に自然であることが目標となり、非線形で複雑な変換が行われることが多い。しかし本実施形態の色域圧縮は、色域圧縮した画像の画質が優れているだけでは不十分であり、元の色域に逆変換することを前提とした色域圧縮であるため、限られたビット精度で精度よい変換ができることが最重要課題である。もちろん、xvYCCとの実質的な下位互換性を得るためには、色域を逆変換しない状態、即ち通常の色域変換としての画質も優れている必要がある。
本発明では、図4などによるDCIの色域の分布を詳細に検討し、次に示す色域圧縮手法を得た。図5、図6は本実施形態における色域圧縮部106の変換特性の一例を説明する図である。図5の横軸は、色域圧縮部106に入力される色差信号のひとつであるCr信号であり、縦軸は色域圧縮後のCr信号(Cr')を表している。同様に、図6の横軸は、色域圧縮部106に入力される色差信号のひとつであるCb信号であり、縦軸は色域圧縮後のCb信号(Cb')を表している。
色域圧縮の基本的な考え方は、Cb軸、Cr軸に対して各々独立した折れ線変換を用いて、DCIの色域が、Cb信号、Cr信号に要求する値の範囲を、xvYCCの色域要求するCb信号、Cr信号に許容する値の範囲に収めるものである。図5は色差信号のうちCr信号に関する変換特性を示している。Cr信号の正方向では、0.5〜0.61の範囲を0.5〜0.56に圧縮する変換を行う(実線の変換特性)。負方向では、−0.77〜−0.5を−0.57〜−0.5に圧縮変換する。Cb信号については、負方向の−0.65〜−0.5を−0.57〜−0.5の範囲に圧縮変換する(実線の変換特性)。
本色域圧縮の手法は次の考察から得られたものである。
第一は、本発明の目標であるBT.709規格との完全な下位互換性の確保である。したがって、輝度は変化させず、色差信号についても色差平面におけるBT.709規格の表現可能な数値範囲(図4の点線の正方形内)は変化させない必要がある。
第二は、本発明のもうひとつの目標であるxvYCCとの実質的な下位互換性の確保である。xvYCCとの実質的な互換性とは、本発明の色域圧縮を行ったxvYCCで表現される色信号の色域伸張を行わない従来のxvYCC対応機器で表示した際に、本発明の色域圧縮を行なわなかった時と比べて画質の劣化がないまたは無視できるくらい少ないことを意味している。これは、本発明の色域圧縮が良好な画質が得られる色域変換になっている必要があることを意味している。そのため、視覚的に感度が高く変化が目立ちやすい、明度と色相の変化は最小限にとどめ、変化が目につきにくい彩度圧縮を中心にする。またグラデーションを飽和させないため連続的な彩度圧縮による色域圧縮を行う。
第三は、階調性の確保である。xvYCCの拡張であり、8bitという限られた精度の中での色域圧縮であるため、階調性の劣化が少ない方式であることが必要である。高画質を得るための広色域化であるため、広色域にはなる代わりに階調性が劣化したのでは意味がない。8bitしかない精度の信号を様々な色空間に変換したり非線形に圧縮したりするとその都度bit精度が低下する。また、非線形変換したものを逆変換した場合、階調毎に精度が変化するため、階調性の悪い階調が原理的に生じる。したがって、Cb信号、Cr信号からできるだけ単純な色空間の変換が好ましく、圧縮特性も線形圧縮であることが好ましい。また処理が簡単であることも重要である。
以上の条件を満たすものとして本実施形態では、図5、図6に示すものを用いている。通常、彩度圧縮としては、目につきやすい色相変化を抑えるため、色差平面を極座標と見て色相角を変えないよう原点からの距離を減少させる二次元処理による圧縮手法がとられる。本実施形態でもそのような手法を用いることもできるが、圧縮を行いたい色の座標の特徴を考慮し、圧縮と伸張による精度確保を優先した一次元処理による手法を実施している。図5はCr信号を単独で行う一次元処理による階調変換(Crを入力してCr'を出力する)であり、図6はCbに対する一次元処理による階調変換である。これら二つの一次元処理による階調変換を同時に行うことにより色域圧縮が行われる。
この色域圧縮としては、Cb信号、Cr信号の各々が−0.5〜0.5の範囲は変化させないことから第一の条件を満たしていることは明らかである。
また、xvYCCで表現可な数値範囲を超える色信号はR、Y、G、Cであるが、RとCはCr軸と概略平行であり、YはCb軸と概略平行であるので、各々Cr軸およびCb軸に沿った一次元圧縮をしても彩度変化が中心となり色相変化は少ない。残るGはCr軸の負圧縮とCb軸の負圧縮に概略同時にかかるため、やはり色相変化は抑制され彩度変化が中心になる。したがって、xvYCCで表現可能な数値範囲を超える色信号に対しては、連続的な彩度圧縮になるため、色域変換として見たときの画質も優れており、第二の条件も満たしている。
さらに、階調変換が直線の傾きを変える変換であるため階調劣化が最小限に抑えられるので、第三の条件も満たしている。例えば、傾き1/2で圧縮し2倍で戻した場合、圧縮した範囲の階調精度は1/2即ち1bit落ちるが、これを非線形な曲線で行った場合、1/2よりも圧縮率の低い階調もある代わりに1/2よりも強く圧縮する階調も存在することになり、特定の階調の階調精度が極端に劣化することになる。
これに対し、折れ線による線形圧縮では特定階調の精度低下は起こらない。
図7Aは、本実施形態における色域圧縮部106の色域圧縮を模式的に説明する概念図である。
同図に示すように、色域圧縮部106は、DCI色域909を色域圧縮する。具体的には、DCI色域909の色差が0.5以上、または−0.5以下の領域が、同図に示す斜線領域911、912に圧縮される。これにより、図20に示されたDCI色域909の斜線部分を、斜線領域911、912内に圧縮することができる。
(色域圧縮部106の変形例)
図7B及び図7Cは、本実施形態の変形例における色域圧縮部106の色域圧縮を模式的に説明する概念図である。
これらの図に示すように、色域圧縮部106は、DCI色域909を色域圧縮する。具体的には、図7Bに示すように、DCI色域909の色差が0.5よりも大きい値以上、または−0.5よりも小さい値以下の領域が、0.56以下、または−0.57以上の斜線領域911、912に圧縮される。また、図7Cに示すように、DCI色域909の色差が0.5以上、または−0.5以下の領域が、0.56よりも小さい値以下、または−0.57よりも大きい値以上の斜線領域911、912に圧縮される。
これにより、図20に示されたDCI色域909の斜線部分を、斜線領域911、912内に圧縮することができる。
さらに具体的に、色域圧縮部106の変形例として、図5、図6の点線の圧縮特性について説明する。図5はCr信号、図6はCb信号の圧縮特性である。
色域圧縮部106は、Cr信号の正方向については、0.61以下の領域を傾き1/4で圧縮している。圧縮範囲の下限は原点を通る傾き1の直線との交点(p1)までである。色域圧縮部106は、Cr信号の負方向については、−0.77以上の領域を傾き1/4で圧縮している。圧縮範囲の上限は原点を通る傾き1の直線との交点(p2)までである。この場合、p1=0.543であり、p2=−0.503であるため−0.5〜0.5の範囲は変化させていない。
また、色域圧縮部106は、Cb信号の負方向については、−0.65以上を1/4の傾きで圧縮している。この際の交点p3は−0.543であり、やはり−0.5〜0.5の範囲に影響を与えない点については、前述の実線の特性と同じである。本変形例では、圧縮変換する傾きを2で割り切れる1/4に固定しているため、圧縮・伸張における精度をもっとも保つことができる。
この場合、色域圧縮部106による色域圧縮は、図7Bに示されたような図になる。なお、Cr信号の正方向については、傾き1/4でなく1/2とすることも可能である。
なお、本変形例では入力される最大および最小のCb信号、Cr信号を基準に、傾き1/4で圧縮したが、Cb信号、Cr信号が0.5のところを基準にして、傾き1/4で圧縮する構成を取ることも可能である。この場合、色域圧縮部106による色域圧縮は、図7Cに示されたような図になる。
このように、Cr信号がとり得る数値範囲の正方向及び負方向の端点と、Cb信号がとり得る数値範囲の正方向及び負方向の端点の、合計4点から被圧縮範囲が特定されるため、この4点の数値に基づいて圧縮するための変換係数が算出される。
なおCr信号、Cb信号の正負の被圧縮範囲はこの数値に限定されるものではなく、実質的に同等の効果が得られるものであれば同様である。例えば少し範囲が異なるとか、Cb信号とCr信号、あるいは正負の被圧縮範囲を同じにするなども可能である。また、Cb信号、Cr信号の±0.5の範囲は変化させないと述べたが、例えば0.48などわずかであれば±0.5の範囲内におよんでもBT.709との互換性が問題になることはない。
なお、本実施の形態では色域圧縮部106はCb信号、Cr信号を各々1次元で行っているが、Cb−Cr平面での2次元圧縮とすれば、図4のR、G、B、C、M、Yの各色相に沿って原点に向かって色域圧縮することが可能になり、色相変化が最小にできるため、xvYCCとの互換性をさらに良くすることが可能である。
また、選択部107は色域圧縮部106の処理の有無を選択するものであり、色域圧縮部106は、前述した色域圧縮の方式、圧縮範囲、圧縮パラメータを制御部111の指示により設定できる。
制御部111は、操作部109によりユーザが指示した撮影モード(例えば、風景撮影モード、人物撮影モード、花撮影モード、あかちゃん撮影モード、夜景撮影モード、花火撮影モードなど)や絵作りの種類(忠実、カラフル、セピアなど)や、色域判定部110が判定した現在撮影している被写体の色域(鮮やかな色が多いか少ないか、xvYCCの色域を超える色があるのかどうか)に応じて、色域圧縮処理をするべきかどうか、するとしたらどのようなパラメータでするべきかを判断し、色域圧縮部106や選択部107に指示を出す。
色域判定部110は撮像部101の撮影画像から撮像しているシーン中のいくつかの鮮やかな色を抽出し、それらの色を元に撮像シーンの色域を推定する。色域の決定を左右するような鮮やかな色の被写体が各シーンで必ずしも存在するとは限らない。したがって、xvYCCで表現可能な数値範囲を越える色信号が存在しない場合は、最大色域をxvYCCとし、xvYCCに規定される色域を越える色信号が抽出されたときは、少なくともその色を含む色域を最大色域と推定する。
つまり、制御部111は、色域判定部110が推定した前記最大色域から色域圧縮部106に色域圧縮をさせるか否かを判断する。また、制御部111は、前記最大色域から決まる圧縮すべき範囲に連動した特性にするよう色域圧縮部106のパラメータを決定しても良い。
また、xvYCCで表現可能な数値範囲を越えて存在する被写体の色信号に応じて、色域圧縮部106はCr方向の正方向のみ、負方向のみ、あるいはCb方向の正方向のみ、負方向のみ等特定の色軸方向の圧縮のみを行うことも出来る。また、動画撮影の場合の圧縮パラメータの変化は、例えば全変化に数秒掛けるなど、時間的にゆっくりした変化にするのが色の連続性から画質的に好ましい。また、圧縮パラメータの変化をゆっくりにするのではなく、検出した最大色域の変化そのものをゆっくりにしても良い。
さらに制御部111は、付加情報生成部112に指示を出し、上記色域圧縮の有無および色域圧縮で使用したパラメータに関するメタデータを生成し出力部108に送出させる。
このメタデータは、出力部108が映像データとセットにして送出する。
図8、図9は出力部108の具体構成図である。
図8は、映像データをMPEG2やH.264のようなコーディックを用いず非圧縮で転送する例えばHDMIのようなインターフェースの形態の出力部108を示している。
送信制御部126は、非圧縮の映像データの転送を制御する処理部であり、プロトコル制御部127は、インターフェースのプロトコルを制御する処理部である。
本出力部108の形態は、非圧縮のインターフェースを用いており、このようなインターフェースは通常映像データにメタ情報を付加できないものが多い。例えば、HDMIを例にとると映像データにはメタ情報を付加できない。しかし、そのような情報は転送前に受信側とプロトコルを用いてやりとりを行うことが可能である。プロトコル制御部127は、受信側の機器とのプロトコルを通じて、色域圧縮の有無やそのパラメータを伝送し、その後、非圧縮の映像データを送出する。
また、HDMI−CEC(Consumer Electronics Control)を用いて、コマンドを新規に定義し、色域圧縮の有無やそのパラメータを伝送することにしてもよい。なお、既存のコマンドを利用し送信する構成にしても構わない。
図9は、映像データをMPEG2やH.264のようなコーディックを用いて圧縮し出力する形態の出力部108を示している。
エンコーダ121は、映像データのデータ量を公知なアルゴリズムにより圧縮するエンコーダである。フォーマット制御部122は、エンコーダ121により圧縮された映像データを用いて、例えば標準化されているファイルフォーマットやストリームフォーマットを構築する。記録制御部123は、前記ファイルやストリームをテープ、ハードディスク、メモリ、メモリカードなどの記憶媒体に記録する。
色域圧縮部106により色域圧縮された場合、色域圧縮された映像データはエンコーダ121により情報量の圧縮が行われ、フォーマット制御部122により色域圧縮が行われていることを示すフラグなどのメタ情報が付加され、記録制御部123により記録メディアに書き込まれる。色域圧縮が行われない場合には、色域圧縮が行われていないことを示すフラグの付加あるいは、色域圧縮に関するフラグ自体を付加しないという操作が行われる。
フォーマット制御部122はファイルとしてのフォーマット形成だけでなく、ストリームとしてのフォーマット形成においても同様の動作を行う。
なお、色域圧縮が行われる場合は、色域圧縮が行われていることを示すフラグだけでなく、色域圧縮のパラメータそのものを付加してもよい。この圧縮パラメータには、実際の圧縮特性、例えば折れ線の座標や傾きなどの場合や、予め定義された複数の圧縮特性を示すコードの場合、圧縮する範囲や程度を%で与える場合など種々の与え方がある。
また、ストリームは記録メディアに格納されることなく有線あるいは無線で伝送される形態もある。
図10は、映像データ、および色域圧縮に関するフラグや色域圧縮パラメータを伝達するさらに具体的な実施の形態の一例として、記録媒体に記録されるMPEG2−TS(Transport Stream)の構成を示す図である。
図10に示すMPEG2−TSは、TSパケット1101と呼ばれる固定長のパケットで構成される。TSパケット1101により、映像や音声のデータが格納されたPES(Packetized Elementary Stream)パケット1102及び、PCR(Program Clock Reference)1103と呼ばれる基準クロック情報等が伝送される。
PESパケット1102のPESパケットヘッダ1104には、PESパケットペイロード1105に格納された映像や音声の復号化単位であるアクセスユニットの表示・復号化タイミングをそれぞれ表すPTS(Presentation Time Stamp)及び、DTS(Decoding Time Stamp)と呼ばれる情報が格納される。
映像データの各アクセスユニットには1ピクチャ分の符号化データが含まれており、符号化ストリームに含まれるピクチャの画像データや、SPS(Sequence Parameter Set)やPPS(Picture Parameter Set)等の画像復号化に用いられるパラメータ、各ピクチャのタイミング情報等の付加情報を含むSEI(Supplemental Enhancement Information)といった情報を格納した複数のNAL(Network Abstraction Layer)ユニット1106という単位のデータで構成される。
また、各NALユニットのヘッダーには、そのNALユニットに他のNALユニットから参照され得るデータが含まれているか否かを示す情報(nal_ref_idc)が含まれている。
またNALユニットには、VUI(Video Usability Information)があり色のプライマリ情報、マトリック情報が格納されている。
したがって、色域圧縮に関するフラグや色域圧縮パラメータは、上記SEIやVUI等に格納し伝達することが可能である。
また、ストリーム全体の管理情報の中に格納することも可能であるが、上記SEIやVUIのような周期的に送られる情報に付加される方が良い。
また記録メディアにファイルとして記憶される場合は、MPEG2−PS(Program Stream)が用いられるが、この場合も同様である。また、圧縮の方式は、動画像の圧縮規格であるVC−1などでもよく、どのような方式であってもよい。
また、色域圧縮に関するフラグや色域圧縮パラメータは、必ずしもMPEGファイルやストリームそのものに格納せねばならないわけでなく、より上位の管理情報、例えばDVDやBDディスクの管理情報やEPGの情報などの中に格納することも可能である。
(第2の実施の形態)
第2の実施の形態である映像表示装置について説明する。第2の実施形態は、xvYCCフォーマットのような輝度・色差フォーマットで記録及び、伝送された広色域な映像データを表示する映像表示装置に関する実施形態である。実際の応用形態としては、例えば、テレビ、PDPデバイス、シネマ用プロジェクタなど、輝度・色差フォーマットを表示用信号に変換し表示を行なうデバイスを含む。
図11は、第2の実施の形態における映像表示装置の機能構成を示すブロック図である。
同図に示すように、映像表示装置は、表示部208及び信号処理部2を備えている。
表示部208は、信号処理部2において処理された信号の可視化を行なう表示手段である。この表示部208は、DCIの色域又は、DCIに近い広色域を表示できる表示手段である。
第2の信号処理部2は、xvYCCの色域で表現される映像データを入力し表示部208を駆動する処理部である。同図に示すように、第2の信号処理部2は、入力部201、色域伸張部202、選択部203、逆輝度色差変換部204、逆ガンマ変換部205、第2の色域変換部206、第2の色変換部207、操作部209、色域圧縮情報読取部210、制御部211を備えている。
入力部201は、輝度信号と色差信号とを受信するとともに、受信された色差信号が変換されていることを示す情報であるフラグ又は、所定の比率を示す変換係数を示す情報とを受信する。具体的には、入力部201は、例えば、Blu−ray(登録商標)ディスク、DVD、ハードディスク、メモリカードなどの記録媒体又は、当該映像表示装置と、例えばHDMI、WiHD等の伝送規格を用いて接続されている外部装置から、xvYCCの色域で表現される映像データを入力する。
色域伸張部202は、受信された色差信号のうち、xvYCCの色域で表現可能な数値範囲内の信号のうち、BT.709の色域で表現可能な数値範囲外の色差信号を、所定の比率を用いて圧縮前の数値まで伸張する。具体的に色域伸張部202は、フラグがある場合、予め設定された変換係数を用いて色差信号に算術処理を行ない、DCIの色域にて表現可能な数値範囲又は、DCIよりも広い色域で表現可能な数値範囲にまで伸張する。また、記録媒体に変換係数が蓄積されている場合、当該蓄積されている変換係数を用いてフラグがある場合と同様に伸張を行う。
選択部203は、色域伸張の有無を切り替える。具体的には、入力部201にフラグ又は、変換係数を示す情報が入力された場合は、色域伸張部202から出力される信号を使用し、そうでない場合は、入力部201から出力される信号をそのまま使用するよう信号の選択を行なう。
逆輝度色差変換部204は、選択部203から出力される色差信号と、輝度信号とを色信号に変換する。具体的には、逆輝度色差変換部204はxvYCCの輝度・色差信号を、xvYCCの色域で表現されるBT.709プライマリ(R、G、B)の色信号に変換する。
逆ガンマ変換部205は、BT.709の色域で表現可能な輝度信号と色差信号とがとり得る数値範囲よりも広い範囲において定義される逆ガンマ特性に応じて、変換された色信号を第2の色信号に変換する。具体的には、逆ガンマ変換部205は、負および1以上の入力に対しても処理できるようxvYCCで規定されている逆ガンマ補正によって、変換を行う。
第2の色域変換部206及び第2の色変換部207は、逆ガンマ変換部205において変換された色信号を、ディスプレイデバイスに表示可能な色信号に変換する。
具体的には、第2の色域変換部206は逆ガンマ変換された負および1以上の値を持つプライマリで表現されるDCIの色域を有する色信号を、ディスプレイデバイスの色域に制限(色域変換)する。
また、第2の色変換部207は、ディスプレイデバイスの色域に制限されたBT.709プライマリのR、G、Bを、ディスプレイデバイス固有のプライマリのR、G、Bに変換する。
ここで、請求の範囲に記載の「色信号変換部」は、第2の色域変換部206及び第2の色変換部207の機能を有する。
また、色域圧縮情報読取部210は、入力部201から得られる映像データに付加された色域圧縮の有無や色域圧縮パラメータ等の情報を抽出する。
操作部209は、ユーザインターフェースを含む操作部である。
制御部211は、少なくとも色域圧縮情報読取部210および操作部209の情報から色域伸張をするかどうか、および色域伸張のパラメータを設定する。
ここで、入力部201について、以下に具体的に説明する。
図12は、MPEG2やH.264のようなコーディックを用いて圧縮された映像データを入力する入力部201の具体構成を示す図である。
再生制御部221は、例えば、Blu−rayディスク、DVD、ハードディスク、メモリ、メモリカードなどの記録メディア124からファイルを再生し、あるいはストリームを再生する。第2のフォーマット制御部222は、前記ファイルやストリームから得られるMPEG2やH.264等の公知なコーディックでエンコードされた圧縮映像データを解析し、ヘッダーなどの管理情報記憶部から特定のメタ情報を取り出すとともに圧縮映像データそのものを分離する。特定のメタ情報とは、例えば、圧縮映像データにおいてxvYCCの色域に色信号を圧縮した際の色域圧縮情報が該当する。
デコーダ223は、前記分離された圧縮映像データをデコードし、非圧縮状態に展開する。
同様に、図13は、HDMI等の非圧縮映像インターフェースを通じて送られてくる映像を入力する入力部201の具体構成を示す図である。
第2のプロトコル制御部226は、インターフェースのプロトコルを制御し必要な情報の取得を行う。
また、受信制御部227は、インターフェースを通じて映像データの受信を行う。
このように、入力部201は、動画像ストリームのヘッダーに格納されたフラグ、又は、外部の通信路のプロトコルを用いて送信されたフラグを受信する。
図14は、第2の実施の形態における映像表示装置の動作の一例を示すフローチャートである。
まず、入力部201は、輝度信号と色差信号とを受信するとともに、受信された色差信号が変換されていることを示す情報であるフラグと、所定の比率を示す変換係数を示す情報とを受信する(S202)。そして、色域圧縮情報読取部210が、入力部201が受信したフラグや変換係数などの情報を抽出する。
次に、制御部211は、色域圧縮情報読取部210の情報から、色差信号が変換されていることを示すフラグを入力部201が受信したか否かを判断する(S204)。
制御部211が、入力部201が当該フラグを受信したと判断すれば(S204でYES)、色域伸張部202は、変換係数に基づいて、色差信号を伸張する(S206)。
具体的には、色域伸張部202は、受信された色差信号のうち、Cr信号とCb信号とを、それぞれ異なる比率を用いて伸張する。また、色域伸張部202は、Cr信号がとり得る数値範囲のうち、BT.709の色域で表現可能な数値範囲外のCr信号である正Cr信号及び負Cr信号を、それぞれ異なる比率を用いて伸張する。さらに、色域伸張部202は、Cb信号がとり得る数値範囲のうち、BT.709の色域で表現可能な数値範囲外のCb信号である正Cb信号及び負Cb信号を、それぞれ異なる比率を用いて伸張する。
そして、逆輝度色差変換部204は、伸張された色差信号と、受信された輝度信号とを色信号に変換する(S208)。
また、制御部211が、入力部201が当該フラグを受信していないと判断すれば(S204でNO)、選択部203が色域伸張しないように切り替え、逆輝度色差変換部204は、受信された色差信号と輝度信号とを色信号に変換する(S208)。
次に、逆ガンマ変換部205は、逆ガンマ特性に応じて、変換された色信号を第2の色信号に変換する(S210)。
そして、第2の色域変換部206及び第2の色変換部207は、変換された第2の色信号を、ディスプレイデバイスに表示可能な色信号に変換する(S212)。
そして、表示部208は、変換された色信号に基づいて、ディスプレイデバイスに映像を表示する(S214)。
次に本実施形態の具体的な動作の一例を説明する。表示部208は、DCIの色域に近いあるいは超える色域を表示可能なPDPやLCD、有機ELなどのディスプレイデバイスに表示するものとして説明する。
再生制御部221は、記録メディア124に格納されているH.264により圧縮された映像ファイルのデータである圧縮映像データを読み出し、第2のフォーマット制御部222に送る。第2のフォーマット制御部222は、当該圧縮映像データから、H.264のヘッダーに格納されている色域圧縮の有無や色域圧縮のパラメータに関するメタ情報を取り出すとともに、圧縮映像データをデコーダ223に送る。デコーダ223は、圧縮映像データを非圧縮の状態にデコードし、映像データとして出力する。
また、HDMIのような非圧縮のインターフェースを用いる場合、第2のプロトコル制御部226は、まず送信側とのプロトコルにより色域圧縮の有無や色域圧縮のパラメータに関するメタ情報を取得し出力し、受信制御部227は映像データ自身を受信し出力する。
色域伸張部202は、出力された輝度・色差形式の映像データについて、BT.709の色域の数値範囲外の色差信号であり、かつ、xvYCCの色域の数値範囲内に色域圧縮されていた色差信号を伸張する。伸張された色差信号はxvYCCの色域で表現可能な信号レンジ(−0.57〜0.56)を越えるため、上に1ビット拡張して処理する必要がある。
制御部211は、操作部209によるユーザの指示や入力部201および色域圧縮情報読取部210が取得した色域圧縮に関するメタデータを基に、色域伸張部202に色域圧縮のパラメータを与える。また、色域圧縮されていない場合は、選択部203により色域伸張されていない映像データを選択する。
具体的には、色域圧縮を示すフラグがない場合、またはプロトコルを通じて色域圧縮を示すメタデータが送られてこなかった場合は、選択部203は色域伸張されていない映像データを選択する。
また、色域圧縮されていないことを示すフラグがある場合、またはプロトコルを通じて色域圧縮されていないことを示すメタデータが送られてきた場合も、選択部203は色域伸張されていない映像データを選択する。なお、色域圧縮を示すメタデータが送られてこなかった場合は、予め当該ディスプレイ側で設定されたパラメータに基づいて伸張を行う構成にしても構わない。
色域圧縮を示すフラグがある場合、またはプロトコルを通じて色域圧縮を示すメタデータが送られてきた場合は、選択部203は色域伸張部202により色域伸張映像データを選択する。さらに、色域圧縮のレベルやパラメータが付加されている場合、色域伸張部202はその情報を元にして色域伸張する。
色域の伸張は、本願の広色域画像データが実施の形態1で説明した色域圧縮部106により圧縮されていた場合は、色域圧縮部106の圧縮特性の逆特性を用いて伸張することで実現する。具体的には、図5、図6の逆特性により変換する。
また、色域圧縮の圧縮パラメータが付加されている場合は、この圧縮パラメータを用いて、その逆特性を算出して伸張すべき特性パラメータを決定し伸張を行う。
この圧縮パラメータには、実際の伸張すべき特性、例えば折れ線の座標や傾きなどの場合や、予め定義された複数の圧縮特性を示すコードの場合、圧縮する範囲や程度を%で与える場合など種々の与え方がある。
逆輝度色差変換部204は、色域伸張されてxvYCCを越えるDCI色域まで復元されたxvYCCの輝度・色差信号を、BT.709プライマリのR、G、B信号に変換する。
次に、逆ガンマ変換部205は、このR、G、Bにかかっているガンマを逆ガンマ変換で逆補正し、リニアR、G、Bに変換する。図15は、xvYCCで規定されている逆ガンマ変換部205の変換特性を説明する図である。BT.709のガンマ特性を1以上にまで拡張しさらに、負方向には点対称で拡張しているものであり、次式で定義されている。
Figure 0005314029
逆ガンマ変換部205により線形化された色信号は、xvYCCの色域よりも広いDCIの色域を、BT.709プライマリの信号レベルとして負および1以上の値を使用することにより表現している。ところがディスプレイデバイスで表示出来る色域は、3原色のディスプレイではデバイスに固有のR、G、Bプライマリできまる。本実施形態では、少なくともxvYCCで表現できない色も表示できるディスプレイデバイスを前提としているが、必ずしもDCIの全ての色域をカバーできるとは限らない。
第2の色域変換部206は、一般にガマット変換と呼ばれる公知なアルゴリズムによりDCIの色域を自然にディスプレイデバイス固有の色域に制限するものである。なお、ガマット変換手法は色域を制限できるものであればどのような方式でも可能である。また、表示部208で表示される色域がDCIの色域を超えるものである場合には、第2の色域変換部206は不要である。
第2の色変換部207は、第2の色域変換部206によりディスプレイデバイスの色域に制限されたR、G、Bを、ディスプレイデバイス固有のプライマリのR、G、Bに変換する。第2の色域変換部206によりディスプレイデバイスの色域に制限されているため、第2の色変換部207により変換されたR、G、Bは0〜1の値を持ちディスプレイデバイスで再現可能である。
通常この変換には、次に示すような線形マトリクスが用いられる。表示部208で表示される色域のプライマリは、PDPの場合は蛍光体の分光分布、液晶ならカラーフィルタの分光分布とバックライトの分光分布の積などにより決まり、マトリクスの係数は、これらのプライマリとBT.709のプライマリとの関係から決定できる。ただし、実際の具現化構成では多くの場合、ディスプレイデバイスの色温度などの調整も含めてマトリクスの係数が決められることが多いため、必ずしも上記説明だけで決まる係数になるとは限らない。ここでは、説明を簡単にするために、表示部208で表示される色域のプライマリがDCIに一致している場合を例にとって説明する。この場合第2の色域変換部206は不要である。
Figure 0005314029
DCIの広い色域をもつ上記R、G、Bは、右辺のBT.709のR、G、Bが負や1以上の値を取ったとしても、DCIの色域の範囲に制限されているため左辺は0〜1の間に入り再現可能になる。
(第3の実施の形態)
第3の実施の形態である映像表示装置を用いたテレビ受像器について説明する。第3の実施形態は、xvYCCフォーマットのような輝度・色差フォーマットで記録および伝送された広色域な映像データを正しい色で忠実に表示するだけでなく、一方テレビとして求められる綺麗に見せるための絵作りも併用する際に行う処理に関するものである。
図16は、第3の実施の形態における映像表示装置の機能構成を示すブロック図である。
同図に示すように、本実施形態における映像表示装置は、第3の信号処理部3と表示部208とを備えている。また、第3の信号処理部3は、図11に示された第2の信号処理部2の各処理部に加えて、彩度拡大部232と選択部233とを備えている。なお、図11に示された各処理部と同じ処理部は同様の機能を有しているため、説明を省略する。
彩度拡大部232は、色域の補正を行う。具体的には、彩度拡大部232は、美しく見せる絵作りを行う。ここで、請求の範囲に記載の「色補正部」は、彩度拡大部232の機能を有する。
選択部233は、彩度拡大部232による処理をON/OFFする。
この彩度拡大部232の拡大度合い、および選択部233の選択処理は、制御部211から制御される。
従来から開発されている民生用テレビ受像器の絵作りは、忠実よりも彩度を高めに絵作りして鮮やかさを強調することが行われている。しかし、彩度を強調すればもともと彩度の高い色はディスプレイデバイスの色域の限界に達し色飽和・階調飽和を起こすため彩度強調に限界がある。ここで色域の広い、例えばDCIの色域が表示可能なディスプレイデバイスが使用できれば絵作りとして彩度を強調できる範囲が広がり、テレビの絵作りの観点での自由度が増す。
一方、上記のような広色域ディスプレイデバイスの特性を生かして、広色域な映像データを忠実に再現できることも期待されている。
この相反する要求に対応するため、本実施形態では、テレビの画質モードとして例えば「忠実モード」と「絵作りモード」を例示し、ユーザが操作部209によりモードを指示するものとする。「忠実モード」は広色域な映像データを忠実に再現するモードであり、「絵作りモード」は彩度を強調し見た目の美しさを実現するモードである。
図17A及び図17Bは、第3の実施の形態における映像表示装置の機能を説明する図である。
同図では、広色域ディスプレイデバイスを備えたテレビに対して、上記2つの画質モードと、入力信号の色域圧縮フラグ(DCI色域をxvYCCの範囲に色域圧縮したか否か)との組み合わせに対する動作について説明している。横軸は、相対的な色域の大きさを概念的に表している。
図17Aは、ディスプレイデバイスとして、DCIの色域を超える色域を有すDisplayAの場合の動作を示しており、図17Bは表示できる色域がDCIの色域を下回るDisplayBの場合の動作を示している。フラグFは、例えば記録媒体から映像データを読み出ししている場合、当該読み出した映像データのメタデータとしてヘッダーに付加されているものである。このフラグFは、DCIの色域よりも広い色域で表現される色信号を、xvYCCの色域内で表現可能な色信号に色域圧縮したか否かを示すものであり、F=1は色域圧縮されていることを示し、F=0は色域圧縮されていないことを示す。また、映像データに色域圧縮フラグ自体が存在しない場合は、F=0として扱う。
同様に上記画質モードは、フラグMで表される。M=1は「絵作りモード」、M=0は「忠実モード」である。
次に、各モードの組み合わせに対する本実施形態の動作を説明する。本実施の形態においては、映像データはDCIの色域で撮影され、xvYCCの色域に圧縮されているものとする。なお、映像データは撮影時にDCIの色域で撮影されることに限定されず、xvYCC等、従来使用される色域よりも広い色域で撮影されていればどのような構成でも構わない。
まず、ディスプレイデバイスの物理的な色域が、DCIの色域を越えるか、若しくはDCIの色域と等しい色域を有するDisplayA(図17A)についてその動作を説明する。
(1)F=0、M=0:入力映像データが色域圧縮無しかつ忠実モードの場合
入力される映像データが色域圧縮されていないため、選択部203は色域拡大しない信号を選択する。忠実モードでは絵作りをしないため、選択部233は彩度拡大をしない信号を選択する。図17Aに示すように、入力信号(一点鎖線の矢印)の色域を加工せず、入力された映像データを忠実にDisplayAに再現し、DisplayAの広い色域は利用しない。
(2)F=0、M=1:入力映像データが色域圧縮無し、かつ絵作りモードの場合
入力される映像データが色域圧縮無しであるため、選択部203は色域拡大しない信号を選択し、選択部233は絵作りのために彩度拡大部232の出力を選択する。彩度拡大部232の拡大度合い(破線の矢印)は絵作りの設計思想により、例えば忠実モードに近い僅かな彩度拡大からDisplayAの色域を使い切るところまでの彩度拡大まで、自由度がある。設計思想は、より多数の表示モード(ダイナミック、シネマ、スタンダードなど)を設け、それぞれに対する絵作り思想により使い分けても良い。
(3)F=1、M=0:入力映像データが色域圧縮あり、かつ忠実モードの場合
DCIの色域、若しくはDCIよりも広い色域がxvYCCの色域内に圧縮されているため、選択部203は色域伸張部202により色域伸張された映像データ、つまり、図17Aに示す元のDCI色域を復元した信号(実線の矢印)を選択する。図17Aの場合では復元した色域はDisplayAで表示できるため、そのまま忠実に表示する。DisplayAの色域はまだ余裕があるが忠実性を重視して使用しない。
(4)F=1、M=1:入力映像データが色域圧縮ありかつ絵作りモードの場合
上記(3)と同様に、選択部203は、色域伸張部202により色域伸張され、DCIの色域に復元した映像データ(実線の矢印)を選択する。さらに選択部233は絵作りのために彩度拡大部232の出力を選択し、彩度を拡大する。このときの彩度の拡大するレンジはDisplayAが表現可能な領域に設定される(点線の矢印)。
このモードの実装には、別の変形例がある。
選択部203が選択する色域伸張部202の伸張特性パラメータとして、忠実にDCI色域まで伸張するものでなく、一気にDisplayAの色域まで伸張(下側の実線の矢印)する手法である。この手法は、上記(3)の忠実モードと同様に彩度拡大部232と選択部233が不要であるという特徴を持つ。
次に、ディスプレイデバイスの物理的な色域がxvYCCの色域よりも広く、かつDCIの色域よりは小さい色域を表現可能なDisplayBの場合(図17B)についてその動作を説明する。
(1)F=0、M=0:入力映像データが色域圧縮無し、かつ忠実モードの場合
図17Aと同様に、選択部203は色域拡大しない信号を選択し、選択部233は彩度拡大をしない信号を選択する。入力信号(一点鎖線の矢印)のままの色域を忠実にDisplayBに再現することを示しており、DisplayBの色域一杯までは使用しない。
(2)F=0、M=1:入力映像データが色域圧縮無し、かつ絵作りモードの場合
図17Aと同様に、選択部203は色域拡大しない信号を選択し、選択部233は彩度拡大部232の出力を選択する。彩度拡大部232の拡大度合い(破線の矢印)は、DisplayBの色域が図17Aより狭いため絵作りの設計思想による設計自由度は小さくなる。多くの場合DisplayBの色域一杯まで拡大するのが効果的である。
(3)F=1、M=0:入力映像データが色域圧縮ありかつ忠実モードの場合および、
(4)F=1、M=1:入力映像データが色域圧縮ありかつ絵作りモードの場合
図17Bでは、ディスプレイデバイスによって表現可能な色域が、DCIの色域よりも小さいため、DCIの色域の再現すら完全に行うことは困難であり、DCI再現にさらに絵作りを加味するというのはさらに困難である。したがって、絵作りの余裕はなく、忠実再現と絵作りモードとの基本的な違いは出しにくいため、本実施例では区別していない。(3)及び、(4)ではDCIの色域、若しくはDCIの色域よりも広い色域がxvYCCの色域内に圧縮されているため、選択部203は色域伸張部202により色域伸張した信号(実線の矢印)を選択するが、色域伸張の範囲は元のDCIの色域ではなく、DisplayBで再現可能な色域にとどめるよう、制御部211はパラメータを設定する。
このモードの実装には、別の変形例がある。
色域伸張部202は、DCI色域まで復元(下部の実線の矢印)した後、前述の実施形態における第1の色域変換部102と同様の図示しない公知な色域変換処理により、DisplayBの色域を超える色を視覚的自然にDisplayBの色域にマッピング(逆向けの破線の矢印)することができる。この手法は、上記手法に比べて図示しない新たな色域変換部が必要になり構成が複雑になりコストでは不利であるが、色域変換部に公知で高度な手法(非特許文献:「デジタルハードコピー技術」、共立出版株式会社、P59−P63)が採れるため、画質的に優れている。
本実施の形態は、従来必ずしも忠実な色再現を目指してこなかったテレビの絵作りとの整合性・互換性を確保できるという効果と、新たにデジタルシネマの広い色域の色を忠実に再現できるという効果を両立できるテレビを実現できる。たとえば、スタジオ収録の通常のテレビ放送の場合は、「絵作りモード」を用いることにより、映像データが色域圧縮されている場合でもされていない場合でも、テレビに使用されているディスプレイデバイスの限界までの色域を使った絵作りが可能である。
また、入力される映像データが色域圧縮された広色域のデータの場合は、テレビでの絵作りに使用される範囲は自動的に減少するため、絵作りの方向が正しい色に近づく効果もある。
また、従来のxvYCCの色域で表現される映像データの場合、忠実モードでは、xvYCCの色域の数値範囲で忠実再現され、入力される映像データが色域圧縮された広色域の映像データの場合は、例えばDCIの色域まで忠実に再現可能なテレビを実現できる。
なお、絵作りとしては必ずしも、彩度の強調に限られるものではない。例えば、記憶色の補正(空の青、木々の緑、人の肌色など、人間が記憶している色を再現する方が忠実に出すよりも好ましく感じることを利用した色補正処理)等も絵作りとして用いられることが多い。
以上のように、色域伸張部202は、ディスプレイデバイスに表示可能な色域まで、色差信号を伸張することにしてもよいし、色域伸張部202が色差信号を伸張した後に、彩度拡大部232が、ディスプレイデバイスの色域に合わせて色域の補正を行うことにしてもよい。また、彩度拡大部232は、色域を線形的に拡大してもよいし、非線形に拡大してもよい。さらに、彩度拡大部232の拡大範囲は限定されない。
図18は、色信号の輝度信号と色差信号とを記録又は伝送するための画像データ300の一例を示す図である。
画像データ300は、色信号変換装置の第1の信号処理部1の出力部108が出力し、映像表示装置の第2の信号処理部2の入力部201に入力されるデータである。同図に示すように、画像データ300は、データ格納部310とパラメータ格納部320とを備えている。
データ格納部310は、出力部108が出力した映像データの色差信号と輝度信号とを格納している。
パラメータ格納部320は、色域圧縮部106が色差信号を変換したか否かを示す情報であるフラグと、変換係数を示す情報とを格納している。
このように、画像データ300にフラグと変換係数とが含まれるため、映像表示装置は、入力された画像データ300のフラグと変換係数とに基づいて、DCIの色域又はDCIに近い広色域での映像を表示することができる。
[他の実施形態]
本発明の第1〜第3の実施形態で説明したそれぞれの機能ブロックは、他のカメラやディスプレイデバイスの信号処理機能と一体として集積回路などを用いたハードウェアにより実施してもよいし、集積回路の中に備えられた中央処理装置(以下、「CPU」という)を用いて組み込みソフトウェアで実視されてもよい。また、DVDやBDのオーサリングシステムのように独立したコンピュータのアプリケーションソフトウエアとして実施されてもよい。上記各種機能をソフトウェアおよびハードウェアの混在処理により実現してもよい。
まず、前述の各種機能をハードウェアで実施する場合は、各実施の形態での各機能を個別に集積回路としてもよいし、一部またはすべてを含むように1チップ化された集積回路としてもよい。
なお、ここでの集積回路とは、LSIに限らず、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路は、専用回路または汎用プロセッサーで実現してもよい。たとえば、半導体チップを製造した後、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、集積回路内部のセルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
さらには、半導体技術の進歩または派生する別技術による集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。たとえば、バイオ技術の進歩により、バイオコンピュータの適用などが考えられる。
また、アプリケーションソフトウエアは、ディスク等に格納されて配布される形態のみ成らずネットワークを通じてダウンロードする形態のものでもよい。
また、前述の実施形態において、ビデオカメラを前提にした説明の部分は、これに限定されることはなく、静止画を撮影するデジタルカメラであっても、映像フォーマットがBT.709のプライマリを持つxvYCCから、sRGBのプライマリを持つsYCCに替わり、広色域のDCIが広色域のOP−RGB(AdobeRGBと等価)に替わるだけで、同様の考えで広色域伝送が可能であり、本発明は、デジタルカメラに利用することも可能である。
したがって、本発明の各実施の形態における信号処理部は、静止した被写体を撮影するスチルカメラ又は、動いている被写体を撮像するビデオカメラ等のデジタルカメラ、被写体を監視する監視カメラ、撮像機能を備えた携帯電話、撮像機能を備えた情報機器、撮像用集積回路等に応用することができる。
なお、HDTVを例にとりBT.709を用いて説明したが、SDTVの場合は同様にBT.601を用いればよい。また、Cb信号、Cr信号で記述したが、これは2つの色差信号の代表としての意味であり、Pb、PrやU、Vなど多くの表現がある。いずれも、数値の取り得る範囲が少し変化するだけで、同様に使用できる。
なお、本発明の具体的な構成は、前述の各実施の形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。また、発明の趣旨を逸脱しない範囲で、上記複数の実施の形態における各構成要素を任意に組み合わせても良い。
本発明に係る色信号変換装置及び映像表示装置によれば、既存の民生用の映像信号形態との互換性を確保しながら、従来の広色域フォーマットへの拡張では成し得なかったきわめて広い色域の伝送が可能になる。このため、例えば映画などの広い色域を持つコンテンツを、従来との互換性を有しながらDVDやBDに格納することを可能にし、従来との互換性を確保しながら例えばHDMIインターフェースでディスプレイデバイスに送ることが可能になる。また、従来と互換性を有する広色域ディスプレイデバイス、テレビや広色域の撮影が出来るカメラ等を実現することが出来る。
1 第1の信号処理部
2 第2の信号処理部
3 第3の信号処理部
101 撮像部
102 第1の色域変換部
103 第1の色変換部
104 ガンマ変換部
105 輝度色差変換部
106 色域圧縮部
107 選択部
108 出力部
109 操作部
110 色域判定部
111 制御部
112 付加情報生成部
121 エンコーダ
122 フォーマット制御部
123 記録制御部
126 送信制御部
127 プロトコル制御部
201 入力部
202 色域伸張部
203 選択部
204 逆輝度色差変換部
205 逆ガンマ変換部
206 第2の色域変換部
207 第2の色変換部
208 表示部
209 操作部
210 色域圧縮情報読取部
211 制御部
221 再生制御部
222 第2のフォーマット制御部
223 デコーダ
226 第2のプロトコル制御部
227 受信制御部
232 彩度拡大部
233 選択部
300 画像データ
310 データ格納部
320 パラメータ格納部
901 BT.709色域
902 BT.709領域
903 xvYCC領域
905、906 BT.709プライマリ
907、908 DCIプライマリ
909 DCI色域

Claims (8)

  1. 第1の色域で表現される第1の色信号を変換する色信号変換装置であって、
    前記第1の色信号を、所定の規格の原色点で定められる所定の色域よりも広くかつ前記所定の規格の原色点を有する第2の色域で表現される第2の色信号に変換する原色変換部と、
    前記第2の色信号を、ガンマ特性に応じて変換するガンマ変換部と、
    前記ガンマ変換部によって変換された前記第2の色信号を、輝度信号と色差信号とに変換する輝度色差変換部と、
    前記色差信号がとり得る数値範囲のうち、(1)少なくとも前記所定の色域で表現可能な値については、値を変換せずにそのままの値を保持し、(2)前記第2の色域で表現できない値については、前記所定の色域よりも広くかつ前記第2の色域よりも狭い色域の範囲内において表現可能な値に、変換係数を用いて階調を残しながら変換する色差信号変換部と、
    前記色差信号変換部によって変換された前記色差信号と、前記輝度色差変換部によって変換された前記輝度信号とを出力信号として出力する出力部と
    を備える色信号変換装置。
  2. 前記色差信号変換部は、前記色差信号に含まれるCr信号とCb信号とを、それぞれ異なる変換係数を用いて変換する
    請求項1記載の色信号変換装置。
  3. 前記色差信号変換部は、前記Cr信号がとり得る数値範囲のうち、前記第2の色信号が取り得るCr信号の正及び負の数値範囲外のCr信号である正Cr信号及び負Cr信号を、それぞれ異なる変換係数を用いて変換する
    請求項記載の色信号変換装置。
  4. 前記色差信号変換部は、前記Cb信号がとり得る数値範囲のうち、前記第2の色信号が取り得るCb信号の正及び負の数値範囲外のCb信号である正Cb信号及び負Cb信号を、それぞれ異なる変換係数を用いて変換する
    請求項記載の色信号変換装置。
  5. 前記色差信号変換部は、前記所定の色域の色差信号がとり得る数値範囲の第1の端点と、前記第2の色域の色差信号がとり得る数値範囲の第2の端点との間の任意の2点に応じて設定される前記変換係数に基づいて、前記色差信号を変換する
    請求項1記載の色信号変換装置。
  6. 前記色差信号変換部は、前記第1の端点と前記第2の端点に応じて設定される前記変換係数に基づいて、前記色差信号を変換する
    請求項記載の色信号変換装置。
  7. さらに、
    前記第1の色域を判定する色域判定部と、
    前記色域判定部が判定した結果に基づいて、前記変換係数を決定する制御部とを備え、
    前記制御部は、前記第1の色域の変化に応じて、前記変換係数を変化させる
    請求項1記載の色信号変換装置。
  8. 第1の色域で表現される第1の色信号を変換する色信号変換方法であって、
    前記第1の色信号を、所定の規格の原色点で定められる所定の色域よりも広くかつ前記所定の規格の原色点を有する第2の色域で表現される第2の色信号に変換する原色変換ステップと、
    前記第2の色信号を、ガンマ特性に応じて変換するガンマ変換ステップと、
    前記ガンマ変換ステップで変換された前記第2の色信号を、輝度信号と色差信号とに変換する輝度色差変換ステップと、
    前記色差信号がとり得る数値範囲のうち、(1)少なくとも前記所定の色域で表現可能な値については、値を変換せずにそのままの値を保持し、(2)前記第2の色域で表現できない値については、前記所定の色域よりも広くかつ前記第2の色域よりも狭い色域の範囲内において表現可能な値に、変換係数を用いて階調を残しながら変換する色差信号変換ステップと、
    前記色差信号変換ステップで変換された前記色差信号と、前記輝度色差変換ステップで変換された前記輝度信号とを出力信号として出力する出力ステップと
    を含む色信号変換方法。
JP2010526538A 2008-08-29 2009-08-26 色信号変換装置及び色信号変換方法 Expired - Fee Related JP5314029B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010526538A JP5314029B2 (ja) 2008-08-29 2009-08-26 色信号変換装置及び色信号変換方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2008222078 2008-08-29
JP2008222078 2008-08-29
PCT/JP2009/004106 WO2010023884A1 (ja) 2008-08-29 2009-08-26 色信号変換装置、映像表示装置、色信号変換方法、映像表示方法及び画像データ
JP2010526538A JP5314029B2 (ja) 2008-08-29 2009-08-26 色信号変換装置及び色信号変換方法

Publications (2)

Publication Number Publication Date
JPWO2010023884A1 JPWO2010023884A1 (ja) 2012-01-26
JP5314029B2 true JP5314029B2 (ja) 2013-10-16

Family

ID=41721067

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010526538A Expired - Fee Related JP5314029B2 (ja) 2008-08-29 2009-08-26 色信号変換装置及び色信号変換方法

Country Status (3)

Country Link
US (1) US20110128438A1 (ja)
JP (1) JP5314029B2 (ja)
WO (1) WO2010023884A1 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5140206B2 (ja) * 2010-10-12 2013-02-06 パナソニック株式会社 色信号処理装置
KR20120091578A (ko) * 2011-02-09 2012-08-20 삼성전자주식회사 영상의 밝기 변환 방법 및 장치
JP2013031024A (ja) * 2011-07-29 2013-02-07 Hitachi Consumer Electronics Co Ltd 画像伝送装置、画像伝送方法、画像受信装置および画像受信方法
JP5739262B2 (ja) * 2011-07-29 2015-06-24 日立マクセル株式会社 画像伝送装置、画像伝送方法、画像受信装置および画像受信方法
US9451292B2 (en) 2011-09-15 2016-09-20 Dolby Laboratories Licensing Corporation Method and system for backward compatible, extended dynamic range encoding of video
TWI460712B (zh) * 2012-08-21 2014-11-11 Au Optronics Corp 顯示器之色域補償方法
WO2014185109A1 (ja) * 2013-05-13 2014-11-20 シャープ株式会社 液晶表示装置、および液晶表示装置におけるデータ補正方法
JP2015049463A (ja) * 2013-09-03 2015-03-16 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び画像表示装置
US9264683B2 (en) * 2013-09-03 2016-02-16 Sony Corporation Decoding device and decoding method, encoding device, and encoding method
TWI646828B (zh) * 2013-09-03 2019-01-01 日商新力股份有限公司 解碼裝置及解碼方法、以及編碼裝置及編碼方法
JP6307856B2 (ja) * 2013-11-28 2018-04-11 ソニー株式会社 送信装置、広色域画像データ送信方法、受信装置、広色域画像データ受信方法およびプログラム
JP2015111779A (ja) * 2013-12-06 2015-06-18 三星ディスプレイ株式會社Samsung Display Co.,Ltd. 画像処理装置、画像処理方法およびコンピュータプログラム
WO2015102449A1 (ko) 2014-01-06 2015-07-09 엘지전자 주식회사 컬러 개멋 리샘플링을 기반으로 하는 방송 신호 송수신 방법 및 장치
JP6388431B2 (ja) * 2014-04-25 2018-09-12 日本放送協会 信号変換装置、信号復元装置、およびそれらのプログラム
JP2015222400A (ja) * 2014-05-23 2015-12-10 株式会社ジャパンディスプレイ 表示装置、表示システム及び画像処理回路
JP2015227949A (ja) * 2014-05-30 2015-12-17 株式会社ジャパンディスプレイ 表示装置、表示装置の駆動方法及び電子機器
EP3163894B1 (en) * 2014-06-27 2020-08-19 Panasonic Intellectual Property Management Co., Ltd. Data output device, data output method, and data generation method
JP6456635B2 (ja) * 2014-09-16 2019-01-23 ソニー・オリンパスメディカルソリューションズ株式会社 医療用観察装置および医療用観察システム
US10015525B2 (en) 2014-10-27 2018-07-03 Dolby Laboratories Licensing Corporation Content mapping using extended color range
EP3217657A4 (en) * 2014-11-04 2018-06-06 LG Electronics Inc. Method and apparatus for transmitting and receiving broadcast signal so as to adjust colour range of content
KR20160059240A (ko) * 2014-11-18 2016-05-26 삼성전자주식회사 색 재현 영역을 표시하는 방법 및 장치
US9860504B2 (en) 2015-01-09 2018-01-02 Vixs Systems, Inc. Color gamut mapper for dynamic range conversion and methods for use therewith
AU2016270443B2 (en) * 2015-06-05 2019-01-03 Apple Inc. Rendering and displaying high dynamic range content
WO2017022358A1 (ja) * 2015-08-06 2017-02-09 ソニー・オリンパスメディカルソリューションズ株式会社 医療用信号処理装置、医療用表示装置、及び医療用観察システム
WO2017129713A1 (en) * 2016-01-28 2017-08-03 Tintometer Gmbh Displaying colours on an electronic visual display
US10205967B2 (en) 2016-03-15 2019-02-12 Apple Inc. Extended YCC format for backward-compatible P3 camera video
US10796621B2 (en) * 2018-09-14 2020-10-06 Chongqing Hkc Optoelectronics Technology Co., Ltd. Method for processing data, display device and computer readable storage medium
US20230326175A1 (en) * 2020-08-28 2023-10-12 Xi'an Novastar Tech Co., Ltd. Method for a Luminance and Chrominance Correction
KR102566794B1 (ko) * 2021-05-17 2023-08-14 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003037745A (ja) * 2001-07-24 2003-02-07 Matsushita Electric Ind Co Ltd 色域圧縮方法
JP2005026962A (ja) * 2003-07-01 2005-01-27 Nikon Corp 信号処理装置、信号処理プログラム、および電子カメラ
JP2006033575A (ja) * 2004-07-20 2006-02-02 Sony Corp 信号処理装置および方法、並びにプログラム
JP2006140972A (ja) * 2004-11-15 2006-06-01 Canon Inc 色処理方法およびその装置
WO2007125697A1 (ja) * 2006-04-26 2007-11-08 Panasonic Corporation 映像処理装置、記録媒体、映像信号処理方法、映像信号処理用プログラムおよび集積回路
WO2008016015A1 (fr) * 2006-08-02 2008-02-07 Sharp Kabushiki Kaisha dispositif d'affichage, procédé pour générer quatre signaux chromatiques primaires ou plus, et programme amenant un ordinateur à exécuter le traitement pour générer quatre signaux chromatiques primaires ou plus
JP2008058650A (ja) * 2006-08-31 2008-03-13 Sony Corp 色域変換装置、色域変換方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100612835B1 (ko) * 2002-12-12 2006-08-18 삼성전자주식회사 영상의 색 특성에 관한 사용자 선호성 데이터 생성 방법및 장치와 이를 이용한 영상 색선호특성 변환 방법 및 장치
JP2008131282A (ja) * 2006-11-20 2008-06-05 Sony Corp 映像伝送方法、映像伝送システム及び映像処理装置
JP2008187695A (ja) * 2007-01-31 2008-08-14 Toshiba Corp 映像信号変換装置及び映像信号変換方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003037745A (ja) * 2001-07-24 2003-02-07 Matsushita Electric Ind Co Ltd 色域圧縮方法
JP2005026962A (ja) * 2003-07-01 2005-01-27 Nikon Corp 信号処理装置、信号処理プログラム、および電子カメラ
JP2006033575A (ja) * 2004-07-20 2006-02-02 Sony Corp 信号処理装置および方法、並びにプログラム
JP2006140972A (ja) * 2004-11-15 2006-06-01 Canon Inc 色処理方法およびその装置
WO2007125697A1 (ja) * 2006-04-26 2007-11-08 Panasonic Corporation 映像処理装置、記録媒体、映像信号処理方法、映像信号処理用プログラムおよび集積回路
WO2008016015A1 (fr) * 2006-08-02 2008-02-07 Sharp Kabushiki Kaisha dispositif d'affichage, procédé pour générer quatre signaux chromatiques primaires ou plus, et programme amenant un ordinateur à exécuter le traitement pour générer quatre signaux chromatiques primaires ou plus
JP2008058650A (ja) * 2006-08-31 2008-03-13 Sony Corp 色域変換装置、色域変換方法

Also Published As

Publication number Publication date
WO2010023884A1 (ja) 2010-03-04
US20110128438A1 (en) 2011-06-02
JPWO2010023884A1 (ja) 2012-01-26

Similar Documents

Publication Publication Date Title
JP5314029B2 (ja) 色信号変換装置及び色信号変換方法
JP7407373B2 (ja) 表示装置、表示方法、および、コンピュータプログラム
US10402953B2 (en) Display method and display device
US9948884B2 (en) Converting method and converting apparatus for converting luminance value of an input video into a second luminance value
US8837907B2 (en) Recording apparatus, recording method, image pickup apparatus, reproducing apparatus and video system
KR102529013B1 (ko) 컬러 픽처를 인코딩 및 디코딩하는 방법 및 장치
KR102061349B1 (ko) 높은 다이내믹 레인지 이미지 신호의 생성 및 처리
JP6946325B2 (ja) 高ダイナミックレンジピクチャを符号化する方法及び装置、対応する符号化方法及並びに符号化装置
CN107203974A (zh) 扩展的高动态范围hdr到hdr色调映射的方法、装置和系统
KR20180021869A (ko) Hdr 컬러 픽처를 인코딩 및 디코딩하기 위한 방법 및 디바이스
CN104813666A (zh) 解码装置和解码方法、以及编码装置和编码方法
WO2007125697A1 (ja) 映像処理装置、記録媒体、映像信号処理方法、映像信号処理用プログラムおよび集積回路
JP2018524924A (ja) Hdrピクチャ及び前記hdrピクチャから得られるsdrピクチャの両方をカラーマッピング関数を使用して符号化するための方法及びデバイス
WO2023016035A1 (zh) 视频处理方法、装置、电子设备和存储介质
WO2023016037A1 (zh) 视频处理方法、装置、电子设备和存储介质
KR102385726B1 (ko) 하이 다이내믹 레인지 화상을 코딩된 비트스트림으로 인코딩/디코딩하기 위한 방법 및 장치
US20230215051A1 (en) Systems, apparatus, and methods for color space representation

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130410

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130625

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130704

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees