JPWO2014027559A1 - 画像ファイル生成装置及び表示装置 - Google Patents

画像ファイル生成装置及び表示装置 Download PDF

Info

Publication number
JPWO2014027559A1
JPWO2014027559A1 JP2014530511A JP2014530511A JPWO2014027559A1 JP WO2014027559 A1 JPWO2014027559 A1 JP WO2014027559A1 JP 2014530511 A JP2014530511 A JP 2014530511A JP 2014530511 A JP2014530511 A JP 2014530511A JP WO2014027559 A1 JPWO2014027559 A1 JP WO2014027559A1
Authority
JP
Japan
Prior art keywords
image data
display
image
data
shadow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014530511A
Other languages
English (en)
Other versions
JP5732175B2 (ja
Inventor
渡辺 幹夫
幹夫 渡辺
田丸 雅也
雅也 田丸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2014530511A priority Critical patent/JP5732175B2/ja
Application granted granted Critical
Publication of JP5732175B2 publication Critical patent/JP5732175B2/ja
Publication of JPWO2014027559A1 publication Critical patent/JPWO2014027559A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3871Composing, repositioning or otherwise geometrically modifying originals the composed originals being of different kinds, e.g. low- and high-resolution originals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/407Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H04N1/4072Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0238Improving the black level
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0271Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0271Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • G09G2320/0276Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping for the purpose of adaptation to the characteristics of a display device, i.e. gamma correction
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0626Adjustment of display parameters for control of overall brightness
    • G09G2320/0646Modulation of illumination source brightness and image signal correlated to each other
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/02Handling of images in compressed format, e.g. JPEG, MPEG
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0428Gradation resolution change
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/16Calculation or use of calculated indices related to luminance levels in display data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • H04N5/202Gamma control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Control Of El Displays (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Picture Signal Circuits (AREA)

Abstract

撮影処理により生成された14ビットのRAWデータDを取得する。RAWデータDに、γ補正処理、YC変換処理、ノイズ低減処理を施して8ビットの本体画像データDHを生成する。本体画像データDHをJPEG圧縮する。RAWデータDの各画素の中から画素値(輝度)が所定のシャドーレベルLs以下になる低輝度画素を選択して、各低輝度画素の画素値にγs補正処理、YC変換処理、ノイズ低減処理を施す。低輝度画素の数が所定のしきい値以上である場合に、低輝度画素に基づき8ビットのシャドー画像データDSを生成する。シャドー画像データDSをJPEG圧縮する。本体画像データDHとシャドー画像データDSとシャドーレベルLsとを関連付けた静止画像ファイルを生成する。

Description

本発明は、多階調の画像データから記録用の画像ファイルを生成する画像ファイル生成装置、及びこの画像ファイルを表示する画像ファイル表示装置に関する。
デジタルカメラ、スマートフォンなどの携帯端末、TV、及び各種モニタには、画像表示装置として液晶表示装置が設けられているものが多い。液晶表示装置は、光の透過率を調整可能な液晶素子が2次元配列されてなる液晶パネルと、この液晶パネルに向けて光を照射するバックライト(装置)とを備えている。
近年、液晶表示装置として、液晶パネルの表示領域を複数に分割した各エリアを個別に照明可能な複数の照明部を有しており、かつ各照明部の輝度を独立して制御するローカルディミング制御(エリア制御ともいう)を行うものが知られている。ローカルディミング制御を行うことで、画像に局所的に輝度が低い領域と局所的に輝度が高い領域とが含まれている場合にコントラスト感が高められ、特に輝度が低い領域(以下、シャドー部という)の階調再現能力を向上させることができる。
このようなローカルディミング制御を行う液晶表示装置(以下、単に液晶表示装置という)においてデジタルカメラで撮影された撮影画像データの表示を行う場合に、現行のデジタルカメラでは8ビットで撮影画像データの記録を行うため、撮影画像データのシャドー部の階調数が不足している。このため、広ダイナミックレンジの液晶表示装置の性能を生かすことができず、階調再現能力が向上(例えば10ビット)した液晶表示装置であっても、表示される撮影画像の画質は従来の液晶表示装置と変わらないという問題があった。
特許文献1に記載のデジタルカメラでは、撮影画像データをRAW(非圧縮記録形式)やJPEG(圧縮記録形式)等の複数フォーマットで記録している。RAWデータではシャドー部の階調数が十分に確保されるので、このRAWデータに基づき撮影画像のシャドー部を十分な階調で表示することができる。
特許文献2に記載の画像処理装置では、8ビットの入力画像データを10ビットの階調表示が可能な液晶表示装置で表示するために、入力画像データをαビット拡張した後に平滑処理を施している。これにより、8ビットの入力画像データの実効的な階調数を増加させることができる。
非特許文献1に記載の画像記録方式では、12ビットのRAWデータと8ビットのJPEG画像データとの差分データを求めておき、JPEG画像データと差分データとを同じ画像ファイルに記録している。JPEG画像データと差分データとからRAWデータと同等の画像データが得られるので、シャドー部を十分な階調で表示することができる。
特許文献3に記載の画像記録装置では、14ビット階調情報(画像データ)を8ビット階調情報に変換するステップと、14ビット階調情報を低い輝度側の再現特性を重視した変換特性で12ビット階調情報に変換するステップとを実行する。次いで、画像記録装置では、上述の12ビット階調情報と8ビット階調情報の差分情報を求めるステップと、8ビット階調情報と差分情報とを関連付けて記憶するステップとを実行する。これにより、8ビット階調情報と差分情報に基づき12ビットの階調情報を生成可能であるので、シャドー部を十分な階調で表示することができる。
特許文献4に記載の画像処理装置では、入力画像データを濃画像領域と淡画像領域とに分離するためのパラメータを設定した後、この入力画像データのビット数が所定の量子化ビット数よりも大きい場合に、上述のパラメータに従って入力画像データの各画素が濃画像領域と淡画像領域のどちらに属するかを示す濃淡マップを生成する。次いで、画像処理装置では、上述の濃淡マップと量子化ビット数に基づき各画素についてその画素が属する領域に対応する量子化ビット数で量子化し、量子化された各画素に基づき量子化データを生成する。これにより、従来の符号化時に失われるシャドー部のデータを良好に保持することができるので、液晶表示装置にてシャドー部を十分な階調で表示することができる。
特開2011−250464号公報 特開2008−301010号公報 特開2001−203970号公報 特開2010−278889号公報
コダック株式会社、"DCS Pro SLR/n Digital Camera DCSテクノロジー"、[平成24年8月3日検索]、インターネット(URL:http://wwwjp.kodak.com/JP/ja/professional/products/cameras/dcsproslr/eri_jpeg.shtml)
特許文献1に記載のデジタルカメラではRAWデータの記録を行っているが、RAWデータは撮像素子の種類ごとにデータ配列や特性が異なる。このため、RAWデータは、撮像素子の種類毎にデータ形式が異なるため互換性がなく、画像再生時にユーザがパラメータを指定しなければならず、操作が煩雑になるという問題が生じる。また、RAWデータはデータ量が大きくなるという問題が生じる。
特許文献2に記載の画像処理装置では、8ビットの入力画像データをαビット拡張しているが、元の入力画像データは8ビット分しかないので、拡張αビット分は分解能が得られない。その結果、シャドー部が十分な階調で表示されないおそれがある。
非特許文献1に記載の画像記録方式では、JPEG画像データと差分データとを同じ画像ファイルに記録しているが、RAWデータとの差分(差分データ)を全て記録するので、記録するデータ量が大きくなるという問題が生じる。
特許文献3に記載の画像記録装置では、8ビット階調情報(画像データ)と差分情報を関連付けて記憶しているが、差分情報は12ビット階調情報を復元するために可逆圧縮または低圧縮の可逆圧縮とする必要がある。差分情報は元の階調情報(14ビット階調情報)に比べて隣り合うデータ間の相関が低くなるので、通常、差分情報は通常8ビット階調情報の数倍のデータ容量を有することになる。このため、特許文献3に記載の方式では、12ビットレンジの画像データを非圧縮で記録するのと同等、またはそれ以上のデータ量を有することになり、データの保存、送信、伝送等に不向きである。
特許文献4に記載の画像処理装置では、各画素についてその画素が属する領域(濃画像領域、淡画像領域)に対応する量子化ビット数で量子化しているが、画素毎に異なる量子化ビット数で量子化して記録するので、単一の量子化ビット数での量子化を前提とする通常の表示装置で再生することができず、記録データに互換性がないという問題がある。
本発明の目的は、記録データ量が著しく増加することなく、シャドー部を十分な階調で表示することができる画像ファイルを生成可能な画像ファイル生成装置、及びこの画像ファイルを表示可能な画像ファイル表示装置を提供することにある。
本発明の目的を達成するための画像ファイル生成装置は、Nビットの第1の画像データを取得する第1の画像データ取得手段と、第1の画像データ取得手段が取得した第1の画像データから、M(M<N)ビットの第2の画像データを生成する第2の画像データ生成手段と、第1の画像データ取得手段が取得した第1の画像データの各画素の中から、輝度が予め定められた輝度レベルの低輝度画素を選択し、低輝度画素に基づき第2の画像データの輝度レベル以下に割り当てられる階調数よりも階調数の多い第3の画像データを生成する第3の画像データ生成手段と、第2の画像データ生成手段が生成した第2の画像データと、第3の画像データ生成手段が生成した第3の画像データと、第3の画像データの生成に用いられた輝度レベルを示す輝度レベル情報とを関連付けた画像ファイルを生成する画像ファイル生成手段と、を備える。
本発明によれば、輝度が輝度レベル以下となる低輝度部分(シャドー部)の表示に、記録データ量が少なく抑えられた第3の画像データを用いることができる。
第2の画像データ生成手段は、第1の画像データに対して第1の信号処理を施し、第3の画像データ生成手段は、第3の画像データに対して第2の信号処理を施し、第1の信号処理及び第2の信号処理には、γ補正処理、ノイズ低減処理、シャープネス処理、及び圧縮処理の各処理が含まれており、第1の信号処理と第2の信号処理とは、各処理の少なくともいずれか1つの処理の特性が異なっていることが好ましい。これにより、第3の画像データを第2の画像データと比較して良好な画像にしたり、第3の画像データの記録量を抑えることができる。
第3の画像データ生成手段は、低輝度画素の画素数をカウントして、画素数が予め定めたしきい値よりも大きくなる場合に第3の画像データの生成を行うことが好ましい。これにより、低輝度部分の割合が低い不要な第3の画像データの記録が行われることが防止される。
第1の画像データ取得手段は、被写体を撮像して第1の画像データを生成する撮像部を有することが好ましい。
撮像部は複数種類の撮影モードを有しており、撮影モードを選択する撮影モード選択手段を備え、第3の画像データ生成手段は、撮影モード選択手段で特定の撮影モードが選択された場合に第3の画像データを生成することが好ましい。低輝度部分の多階調表示の効果が顕著となる場合に第3の画像データを記録することができ、さらに低輝度部分の割合が低い不要な第3の画像データの記録が行われることが防止される。
撮像部が被写体を撮像する条件を示す撮影設定値を設定する設定手段を備え、第3の画像データ生成手段は、設定手段で設定された撮影設定値が予め定めた範囲内となる場合に第3の画像データを生成することが好ましい。低輝度部分の多階調表示の効果が顕著となる場合に第3の画像データを記録することができ、さらに低輝度部分の割合が低い不要な第3の画像データの記録が行われることが防止される。
第1の画像データ取得手段が取得した第1の画像データの各画素の画素値の統計量を算出する画素値統計量算出手段と、画素値統計量算出手段が算出した統計量に基づき、第1の画像データの中で予め定められた割合の画素を低輝度画素として選択可能な輝度レベルを決定する輝度レベル決定手段と、を備え、第3の画像データ生成手段は、輝度レベル決定手段が決定した輝度レベルに基づき低輝度画素の選択を行うことが好ましい。第1の画像データに含まれる低輝度部分の輝度及びその割合(頻度)に応じた第3の画像データを生成することができる。
低輝度画素は、第1の画像データの下位Mビットの画素であり、第3の画像データ生成手段は、Mビットの第3の画像データを生成することが好ましい。
本発明の目的を達成するための画像ファイル表示装置は、上記に記載の画像ファイル生成装置で生成された画像ファイルを取得する画像ファイル取得手段と、Q(Q>M)ビットの階調表示が可能な表示面を有する表示手段と、画像ファイル取得手段が取得した画像ファイルに基づき生成した表示用データを表示手段に出力して表示面に表示画像を表示させる表示制御手段であって、表示画像内の輝度が輝度レベルよりも大きくなる通常輝度部分に対応する表示用データを第2の画像データから生成し、表示画像内の輝度が輝度レベル以下になる低輝度部分に対応する表示用データを第3の画像データから生成する表示制御手段と、を備える。
本発明によれば、表示画像の低輝度部分に対応する表示用データを第3の画像データから生成することができる。
表示手段は、液晶パネルと、液晶パネルの表示面を複数に分割した各セグメントをそれぞれ個別に照明する複数の照明部を有し、かつ複数の照明部の輝度を個別に制御可能なバックライトと、を有しており、第2の画像データに基づき、各セグメントにそれぞれ対応する照明部の発光率を決定する発光率決定手段と、第2の画像データと発光率決定手段が決定した発光率とに基づき、照明部の輝度を個別に算出して制御するバックライト制御手段と、を備え、表示制御手段は、輝度レベルのビット数がB(Bは1以上の自然数)であり、かつ照明部の輝度が最大輝度の1/2(Pは0以上の自然数)倍に制御された場合に、第3の画像データに2を掛け合わせた乗算データを生成し、乗算データの上位(B+P)ビットを低輝度部分に対応する表示用データとして選択することが好ましい。表示画像の低輝度部分を多階調表示することができる。
発光率決定手段は、第2の画像データに基づいて各セグメントごとの第2の画像データの画素値の代表値を求め、各セグメントのそれぞれの代表値に基づき発光率を決定することが好ましい。セグメント毎に適切な発光率を定めることができる。例えば代表値がセグメントの画素値のピーク値である場合、このピーク値が比較的小さいセグメントでは照明部の輝度を下げることができるので省電力化が図れる。
本発明の目的を達成するための画像ファイル表示装置は、請求項1から8のいずれか1項に記載の画像ファイル生成装置で生成された画像ファイルを取得する画像ファイル取得手段と、Q(Q>M)ビットの階調表示が可能な表示面を有する表示手段と、表示手段の階調情報を取得する階調情報取得手段と、画像ファイル取得手段が取得した画像ファイルに基づき生成した表示用データを表示手段に出力して表示面に表示画像を表示させる表示制御手段であって、輝度レベルのビット数がB(Bは1以上の自然数)である場合に、階調情報取得手段が取得した階調情報に基づき、第2の画像データと、第3の画像データの上位(B+1)ビット以下の(Q−M)ビットとを用いてQビットの表示用データを生成する表示制御手段と、を備える。
本発明によれば、表示画像の低輝度部分に対応する表示用データを第3の画像データから生成することができる。
本発明の画像ファイル生成装置は、Nビットの第1の画像データから生成したM(M<N)ビットの第2の画像データと、第1の画像データの各画素の中で予め定めた輝度レベルの低輝度画素に基づき生成された第3の画像データと、輝度レベル情報とを関連付けた画像ファイルを生成するので、この画像ファイルに基づき表示画像内の低輝度部分(シャドー部)を十分な階調で表示することができる。また、第2の画像データと第3の画像データを記録するだけでよいので、記録データ量が著しく増加することはない。さらに、第2の画像データは標準の記録方式で生成・記録することができるので、互換性が確保される。
また、本発明の画像ファイル表示装置は、画像ファイル生成装置で生成された画像ファイルに基づき、表示画像の低輝度部分に対応する表示用データを第3の画像データから生成するので、この低輝度部分を十分な階調で表示することができる。
第1実施形態のデジタルカメラの正面斜視図である。 デジタルカメラの背面斜視図である。 デジタルカメラの電気的構成を示すブロック図である。 画像処理回路の電気的構成を示すブロック図である。 表示画像におけるシャドー部を説明するための説明図である。 第1、第2ノイズ低減回路に用いられるノイズ低減フィルタの特性を説明するための説明図である。 シャドー画像データを説明するための説明図である。 本体画像データ及びシャドー画像データの圧縮に用いられるハフマン符号を説明するための説明図である。 本体画像データ及びシャドー画像データの圧縮に用いられるハフマン符号を説明するための説明図である。 静止画像ファイルを説明するための説明図である。 デジタルカメラの静止画像ファイル生成・記録処理の流れを示すフローチャートである。 本体画像データ生成処理の流れを示すフローチャートである。 シャドー画像データ生成処理の流れを示すフローチャートである。 シャドー画像データが、本体画像データのシャドーレベル以下に割り当てられる階調数よりも階調数の多い画像データであることを説明するための説明図である。 第2実施形態の画像ファイル表示装置の電気的構成を示すブロック図である。 液晶表示装置の分解斜視図である。 表示処理回路の電気的構成を示すブロック図である。 通常表示モード時の表示出力データの生成処理を説明するための説明図である。 画質向上モード時の表示出力データの生成処理を説明するための説明図である。 画像ファイル表示装置による静止画像ファイルの表示処理の流れを示すフローチャートである。 通常表示モード時の表示出力データの生成処理の流れを示すフローチャートである。 画質向上モード時の表示出力データの生成処理の流れを示すフローチャートである。 シャドー画像データによりシャドー部が多階調表示されることを説明するための説明図である。 シャドー画像データによりシャドー部が多階調表示されることを説明するための説明図である。 シャドー画像データによりシャドー部が多階調表示されることを説明するための別の説明図である。 第3実施形態のデジタルカメラの電気的構成を示すブロック図である。 第3実施形態の静止画像ファイル生成・記録処理の流れを示すフローチャートである。 第4実施形態のデジタルカメラの電気的構成を示すブロック図である。 画素値統計量算出部が算出したヒストグラムを説明するための説明図である。 第5実施形態の画像ファイル表示装置の電気的構成を示すブロック図である。 第5実施形態の表示処理回路の電気的構成を示すブロック図である。 表示出力データの生成処理を説明するための説明図である。 第5実施形態の画像ファイル表示装置による静止画像ファイルの表示処理の流れを示すフローチャートである。 第5実施形態における通常表示モード時の表示出力データの生成処理の流れを示すフローチャートである。 第5実施形態における画質向上モード時の表示出力データの生成処理の流れを示すフローチャートである。 シャープネス処理回路を備える他実施形態の画像処理回路の電気的構成を示すブロック図である。 動画像ファイルを説明するための説明図である。 スマートフォンの外観斜視図である。 スマートフォンの電気的構成を示すブロック図である。
[第1実施形態(デジタルカメラ)の構成]
図1において、デジタルカメラ2は、本発明の画像ファイル生成装置に相当するものである。このデジタルカメラ2のカメラ本体3の前面には、撮像光学系などを含んで構成されるレンズ鏡筒4、ストロボ発光部5などが設けられている。カメラ本体3の上面には、シャッタボタン6、電源スイッチ7などが設けられている。
図2に示すように、カメラ本体3の背面には表示部8、操作部9が設けられている。表示部8は、撮影待機状態時には電子ビューファインダとして機能し、ライブビュー画像(スルー画ともいう)を表示する。また、画像再生時にはメモリカード10に記録されている画像データに基づき、表示部8に画像が再生表示される。
操作部9は、モード切替スイッチ、十字キー、実行キーなどから構成されている。モード切替スイッチは、デジタルカメラ2の動作モードを切り替える際に操作される。デジタルカメラ2は、被写体を撮像して撮影画像データを得る撮影モード、撮影画像データに基づき再生表示を行う再生モードなどを有する。
十字キーや実行キーは、表示部8に各種のメニュー画面や設定画面を表示したり、これらメニュー画面や設定画面内に表示されるカーソルを移動したり、デジタルカメラ2の各種設定を確定したりする際などに操作される。
カメラ本体3の底面には、図示は省略するが、メモリカード10が装填されるカードスロットと、このカードスロットの開口を開閉する装填蓋とが設けられている。メモリカード10には、被写体を撮像して得られた撮影画像データが各種のファイル形式の画像ファイルとして記録される。このメモリカード10が画像ファイル表示装置11にセットされることで、メモリカード10に記録された画像ファイルが画像ファイル表示装置11にて再生表示される。
画像ファイル表示装置11は、撮影モード時にメモリカード10に記録された画像ファイルを読み出して、特に撮影画像データのシャドー部を十分な階調で表示する機能を有している。画像ファイル表示装置11は、デジタルカメラ2と共に、画像ファイルを生成及び表示する画像ファイル生成表示システムを構成している。
図3に示すように、デジタルカメラ2のCPU12は、操作部9からの制御信号に基づき、メモリ13から読み出した各種プログラムやデータを逐次実行して、デジタルカメラ2の各部を統括的に制御する。なお、メモリ13のRAM領域は、CPU12が処理を実行するためのワークメモリや、各種データの一時保管先として機能する。
レンズ鏡筒4には、ズームレンズ15及びフォーカスレンズ16などで構成される撮影光学系17が組み込まれている。ズームレンズ15及びフォーカスレンズ16は、それぞれズーム機構19、フォーカス機構20により駆動され、撮影光学系17の光軸OAに沿って前後移動される。
メカシャッタ18は、カラー撮像素子23への被写体光の入射を阻止する閉じ位置と、被写体光の入射を許容する開き位置との間で移動する可動部(図示は省略)を有する。メカシャッタ18は、可動部を各位置に移動させることによって、撮影光学系17からカラー撮像素子23へと至る光路を開放/遮断する。また、メカシャッタ18には、カラー撮像素子23に入射する被写体光の光量を制御する絞りが含まれている。メカシャッタ18、ズーム機構19、及びフォーカス機構20は、レンズドライバ24を介してCPU12によって動作制御される。
撮影光学系17の背後にはカラー撮像素子23が配置されている。カラー撮像素子23は、撮影光学系17とともに本発明の撮像部を構成するものであり、撮影光学系17を通過した被写体光を電気的な出力信号に変換して出力する。なお、カラー撮像素子23として、CCD(Charge Coupled Device)カラー撮像素子、CMOS(Complementary Metal Oxide Semiconductor)カラー撮像素子などの各種類の撮像素子が用いられる。撮像素子ドライバ25は、CPU12の制御の下でカラー撮像素子23の駆動を制御する。
信号調整回路28は、撮影光学系17及びカラー撮像素子23とともに、本発明の第1の画像データ取得手段を構成している。信号調整回路28は、カラー撮像素子23から出力される出力信号に各種の信号調整処理を施して、RAWデータD(第1の画像データ)を生成する。RAWデータのビット数「N」は特に限定されないが、本実施形態では14ビットのRAWデータDが生成されて、画像処理回路29に出力される。なお、信号調整回路28は、カラー撮像素子23がCCD型の場合には例えばCDS/AGC回路やA/D変換回路などで構成され、CMOS型の場合には例えばアンプなどで構成される。
画像処理回路29は、信号調整回路28から入力されるRAWデータDに対してガンマ補正処理、YC変換処理、ノイズ低減処理、圧縮処理などの各種の信号処理(第1の信号処理、第2の信号処理)を施して圧縮画像データを生成する。具体的に、画像処理回路29は、撮影モード中にシャッタボタン6が押下されたときに、8ビットの本体画像データDH(第2の画像データ、図4参照)を生成してJPEG圧縮する。また、画像処理回路29は、前述の本体画像データDHの他に、RAWデータDの各画素のうちで輝度が所定のシャドーレベルLs以下の画素に基づきシャドー画像データDS(第3の画像データ、図4参照)を生成してJPEG圧縮する。
なお、画像処理回路29は、撮影モード時にはRAWデータからスルー画表示用の画像データ(以下、スルー画用画像データという)を生成して表示部8に出力する。
画像処理回路29によりJPEG圧縮された圧縮画像データは、メディアI/F31を介してメモリカード10に画像ファイルとして記録される。また、画像処理回路29は、メディアI/F31を介してメモリカード10から読み出された画像ファイルの圧縮画像データに対して伸長処理を施す。
メディアI/F31は、メモリカード10に対する各画像データの記録及び読み出しなどを行う。表示部8は、液晶ディスプレイなどが用いられ、スルー画像や再生画像などを表示する。
<画像処理回路の構成>
図4に示すように、画像処理回路29は、本体画像生成処理部(第2の画像データ生成手段)29aとシャドー画像生成処理部(第3の画像データ生成手段)29bと、内部メモリ32とを有している。内部メモリ32には、信号調整回路28から入力されたRAWデータDが一時的に格納される。本体画像生成処理部29a及びシャドー画像生成処理部29bは、それぞれ内部メモリ32から読み出したRAWデータDに基づき、本体画像データDH、シャドー画像データDSをそれぞれ生成する。
本体画像生成処理部29aは、RAWデータDに基づき8ビットの本体画像データDHの生成を行う。この本体画像生成処理部29aは、γ補正回路33と、YC変換回路34と、第1ノイズ低減回路35と、第1圧縮伸長回路36とを備えている。これら各回路33〜36は、本発明の第1の信号処理(γ補正処理、YC変換処理、ノイズ低減処理、圧縮処理)を行う。
γ補正回路33は、内部メモリ32から読み出した14ビットのRAWデータDに対してγの補正(階調変換(通常、0.45乗))を施すことで、8ビットの本体画像データDHを生成する。YC変換回路34は、γ補正回路33により生成された本体画像データDHのRGB信号を、輝度信号Y及び色差信号Cr、Cbに変換するYC変換処理を行う。
第1ノイズ低減回路35は、例えばローパスフィルタなどのノイズ低減フィルタを用いて、YC変換処理された本体画像データDHに対してノイズ低減処理を施す。第1圧縮伸長回路36は、ノイズ低減処理された本体画像データDHをJPEG圧縮する。JPEG圧縮された本体画像データDHはメモリカード10に記録される。
図5に示すように、シャドー画像生成処理部29bは、RAWデータDの各画素の中から輝度が予め定められたシャドーレベル(輝度レベル)Ls以下となるシャドー部(低輝度部分)37Sの画素を選択して、シャドー画像データDSを生成する。なお、符号37Nは、シャドー部以外の通常輝度部である。
シャドー部37Sは、例えば最高輝度に対して1%以下の領域であり、8ビットの画像データでは(0〜3)/255に相当する。本実施形態ではシャドーレベルLsをLs=3(8ビット画像)する。そして、シャドー画像生成処理部29bは、シャドーレベルLs=3(2ビット)であり、かつ8ビットのシャドー画像データDSを生成する場合には、14ビットのRAWデータDの下位8ビット(図13参照)をシャドー画像データDSとして生成する。
なお、シャドーレベルLsは、例えば操作部9で任意の値に設定可能であり、操作部9で設定されたシャドーレベルLsに関する情報は、CPU12を介してシャドー画像生成処理部29b(ビット選択回路38)に入力される。
図4に戻って、シャドー画像生成処理部29bは、ビット選択回路38と、γs補正回路39と、YC変換回路40と、第2ノイズ低減回路41と、画像生成回路42と、第2圧縮伸長回路43とを備えている。ビット選択回路38以外の各回路39〜43は、本発明の第2の信号処理(γ補正処理、YC変換処理、ノイズ低減処理、圧縮処理)を行う。
ビット選択回路38は、CPU12から入力されたシャドーレベルLsに基づき、内部メモリ32から読み出したRAWデータDの各画素(i)[i=0〜(214−1)または1〜214]の画素値(輝度値)D(i)がそれぞれシャドーレベルLs以下になるか否かを判定する。そして、ビット選択回路38は、画素値D(i)がシャドーレベルLs以下となる低輝度画素(i)を選択してその画素値D(i)を、シャドー画像データDSを構成する画素値DS0(i)としてγs補正回路39に出力する。
また、ビット選択回路38は、画素値D(i)がシャドーレベルLsよりも大きくなる画素(i)については、その画素値DS0(i)を「00h」とする。
γs補正回路39は、ビット選択回路38で選択された低輝度画素(i)の画素値DS0(i)に対してγsの補正(階調変換)を施す。このγsの特性は、前述のγと同じ特性(通常、0.45乗)であってもよいが、0近傍が持ち上げられることによるビット落ちを防ぐために、通常はリニア特性とする。
YC変換回路40は、前述のYC変換回路34と基本的に同じものであり、γs補正された低輝度画素(i)の画素値DS0(i)のRGB信号を、輝度信号Y及び色差信号Cr、Cbに変換するYC変換処理を行う。
第2ノイズ低減回路41は、ノイズ低減フィルタ等を用いて、YC変換処理された低輝度画素(i)の画素値DS0(i)に対してノイズ低減処理を施す。これにより、シャドー画像データDHを構成する画素値DS(i)が生成される。この際に、シャドー画像データDSは、本体画像データDHに比べて広域ノイズを減らすことで良好な画像(滑らかな画像)になる。このため、第2ノイズ低減回路41は、第1ノイズ低減回路35とは異なる特性をもつノイズ低減フィルタを用いる。
具体的には、図6に示すように、第1ノイズ低減回路35及び第2ノイズ低減回路41のそれぞれのノイズ低減フィルタを「ノイズ低減1」、「ノイズ低減2」とする。ノイズ低減2はノイズ低減1に比べて広域ノイズを抑えるために、ノイズ低減2のカットオフ周波数fS2がノイズ低減1のカットオフ周波数fs1よりも低く設定されている。
図4及び図7に示すように、画像生成回路42は、ノイズ低減処理が施された低輝度画素(i)の画素数をカウントして、この画素数が所定のしきい値SS(図12参照)よりも大きくなる場合に、各低輝度画素(i)の画素値DS(i)に基づき、8ビットのシャドー画像データDSを生成する。この際に、ビット選択回路38にて画素値D(i)がシャドーレベルLsよりも大きくなると判定された画素(i)については、その画素値DS0(i)に「00h」(図7中では「00」と表示)が挿入される。
一方、画像生成回路42は、低輝度画素(i)の画素数がしきい値SS以下の場合には、シャドー画像データDSの生成を行わない。これにより、RAWデータDにおけるシャドー部37Sの割合が低い場合には、シャドー画像データDSの生成は実行されない。
図4及び図8A,図8Bに示すように、第2圧縮伸長回路43は、シャドー画像データDSをJPEG圧縮する。この際に、シャドー画像データDSは、図7に示したように値「00h」が連続する頻度が高い。このため、第2圧縮伸長回路43は、通常のJPEGハフマン符号表とは異なる符号長が割り当てられたシャドー画像データDS専用のハフマン符号表を用いてJPEG圧縮を行う。
具体的には、第1圧縮伸長回路36による本体画像データDHのJPEG圧縮では、図8Aに示したハフマン符号表が用いられる。一方、シャドー画像データDSは、00hを多く含んでおり、DC差分=0近傍の頻度が本体画像データDHよりも高くなる。このため、図8Bに示すように、第2圧縮伸長回路43で用いられるハフマン符号表では、DC差分=0及びその近傍のハフマン符号として短い符号長を割り当てることができる。その結果、圧縮後のシャドー画像データDSのデータ量を少なく抑えることができる。JPEG圧縮されたシャドー画像データDSはメモリカード10に記録される。
なお、第2圧縮伸長回路43による圧縮処理方法として、JPEG以外の別方式を用いた場合でもシャドー画像データDSのデータ量を減らすことは可能である。この別方式としては、例えば、ゼロランレングスを用いた符号化が用いられる。
図9に示すように、画像処理回路29で生成及びJPEG圧縮された本体画像データDH及びシャドー画像データDSと、ビット選択回路38に設定されたシャドーレベルLsに関するシャドーレベル情報(輝度レベル情報)とは、互いに関連付けられて1つの静止画像ファイル45としてメモリカード10に記憶される。
静止画像ファイル45のヘッダには、シャドーレベル情報(図中Lsで表示)と、γ補正回路33及びγs補正回路39にて用いられたγ、γsと、本体画像データDH及びシャドー画像データDSのアドレスを示すオフセットアドレス(図中では「オフセット」と表示)とが格納されている。なお、画像生成回路42にてシャドー画像データDSの生成が行われない場合には、本体画像データDHと、γと、本体画像データDHのオフセットアドレスが、1つの静止画像ファイル45としてメモリカード10に記憶される。
[デジタルカメラの作用]
次に、図10を用いて上記構成のデジタルカメラ2の作用、特に静止画像ファイル45の生成・記録処理について説明を行う。操作部9にてデジタルカメラ2の動作モードが撮影モードに設定されると(ステップS1)、CPU12は予め定められたシャドーレベル情報(Ls=3)をビット選択回路38に入力する(ステップS2)。
次いで、CPU12はレンズドライバ24を介してメカシャッタ18の動作を制御するとともに、撮像素子ドライバ25を介してカラー撮像素子23を駆動して、撮像処理を開始する(ステップS3)。所定のシャッタ速度でメカシャッタ18が開閉され、カラー撮像素子23の各画素にそれぞれ信号電荷が蓄積する。そして、撮像素子ドライバ25の制御の下、カラー撮像素子23の各画素から信号が出力される。
信号調整回路28は、カラー撮像素子23からの出力信号に各種の信号調整処理を施してRAWデータDを生成し、このRAWデータDを画像処理回路29に出力する。画像処理回路29は、RAWデータDからスルー画表示用画像データを生成して表示部8に出力する。これにより、表示部8にスルー画像が表示される。
シャッタボタン6が押下されると、カラー撮像素子23から1フレーム分の信号が出力され、信号調整回路28にて1フレーム分のRAWデータDが生成される。このRAWデータDは画像処理回路29に出力されて、内部メモリ32に一時的に保存される(ステップS4)。次いで、画像処理回路29による本体画像データDHの生成処理(ステップS5)と、シャドー画像データDSの生成処理(ステップS6)とが開始される。なお、ステップS5とステップS6とは同時またはいずれが先に開始されてもよい。
<本体画像データ生成処理>
図11に示すように、本体画像データDHの生成処理が開始されると、本体画像生成処理部29aの各回路が作動する。γ補正回路33は、内部メモリ32からRAWデータDを読み出して(ステップS8)、このRAWデータDに対してγ補正(階調変換)を施すことで本体画像データDHを生成してYC変換回路34に出力する(ステップS9)。YC変換回路34は、γ補正回路33から入力された本体画像データDHにYC変換処理を施した後、この本体画像データDHを第1ノイズ低減回路35に出力する(ステップS10)。
第1ノイズ低減回路35は、図6の「ノイズ低減1」で示したノイズ低減フィルタを用いて、YC変換処理された本体画像データDHに対してノイズ低減処理を施した後、この本体画像データDHを第1圧縮伸長回路36に出力する(ステップS11)。第1圧縮伸長回路36は、図8Aに示したハフマン符号表を用いてノイズ低減処理された本体画像データDHをJPEG圧縮する(ステップS12)。以上で本体画像データ生成処理が完了する。
<シャドー画像データDS生成処理>
図12に示すように、本体画像データDHの生成処理が開始されると、シャドー画像生成処理部29bの各回路が作動する。
ビット選択回路38は、内部メモリ32からRAWデータの第0画素(0)の画素値D(0)を読み出す(ステップS14、ステップS15)。そして、ビット選択回路38は、画素値D(0)が8ビット画像におけるシャドーレベルLs=3以下(下位2ビット)、すなわち、14ビットのRAWデータDにおける下位8ビットに相当する画素値(図13参照)であるか否かを判定する(ステップS16)。
次いで、ビット選択回路38は、画素値D(0)がシャドーレベルLs以下となる低輝度画素(0)の画素値を、画素値DS0(0)としてγs補正回路39に出力する(ステップS17)。一方、ビット選択回路38は、画素値D(0)がシャドーレベルLsよりも大きくなる画素(0)については、画素値DS0(0)を「00h」とする(ステップS18)。
γs補正回路39は、ビット選択回路38で選択された低輝度画素(0)の画素値DS0(0)に対してγs補正(階調変換)を施した後、この画素値DS0(0)をYC変換回路40に出力する(ステップS19)。YC変換回路40は、γs補正回路39から入力された画素値DS0(0)に対してYC変換処理を施した後、この画素値DS0(0)を第2ノイズ低減回路41に出力する(ステップS20)。
第2ノイズ低減回路41は、図6の「ノイズ低減2」で示したノイズ低減フィルタを用いて、YC変換処理された画素値DS0(0)に対してノイズ低減処理を施して画素値DS(0)を生成した後、この画素値DS(0)を画像生成回路42に出力する(ステップS21,S22)。
画像生成回路42は、ノイズ低減処理が施された低輝度画素(0)を一時的に格納するとともに、低輝度画素の画素数のカウンタを+1(ΣS=ΣS+1)する(ステップS23)。
RAWデータの全画素D(i)の読み出しが完了していない場合(ステップS24でYES)、ビット選択回路38は、内部メモリ32からRAWデータの第1画素(1)の画素値D(1)を読み出す(ステップS15)。そして、前述のステップS16からステップS23までの処理が実行される。以下同様に、RAWデータの全ての画素の画素値D(i)が順番に読み出されて、前述のステップS16からステップS23までの処理が繰り返し実行される(ステップS24,S25)。
画像生成回路42は、最後の画素D(i_max)についてのステップS23までの処理が完了した後(ステップS24でNO)、カウンタのカウント値を確認して低輝度画素(i)の画素数ΣSがしきい値SSよりも大きくなっているか否かを判定する(ステップS26)。そして、画像生成回路42は、画素数ΣSがしきい値SS以下となる場合には、先に格納された全ての画素値DS(0〜i_max)を破棄する(ステップS27)。これにより、RAWデータD中におけるシャドー部37Sの割合が低い不要なシャドー画像データDSの記録が行われることが防止される。
また、画像生成回路42は、画素数ΣSがしきい値SSよりも大きくなる場合には、各低輝度画素(i)の画素値DS(i)に基づき、8ビットのシャドー画像データDSを生成する。この際に、先に画素値D(i)がシャドーレベルLsよりも大きくなると判定された画素iについては、その画素値DS0(i)に「00h」が挿入される。画像生成回路42は、生成したシャドー画像データDSを第2圧縮伸長回路43に出力する。
第2圧縮伸長回路43は、図8Bに示したハフマン符号表を用いてシャドー画像データDSをJPEG圧縮する(ステップS28)。以上でシャドー画像データ生成処理が完了する。
<静止画像ファイル記録処理>
図10に戻って、画像処理回路29にてJPEG圧縮された本体画像データDH及びシャドー画像データDSと、シャドーレベル情報(Ls=3)と、γ及びγsと、は互いに関連付けられて、図9に示した1つの静止画像ファイル45としてメモリカード10に記憶される(ステップS29)。そして、撮影モードを継続する場合には、上述の各処理が繰り返し実行される。
<デジタルカメラの作用効果>
図13に示すように、8ビットの本体画像データDHは、シャドーレベルLs=3以下のシャドー部37S、すなわち、下位2ビットに対応する階調が特に不足する。なお、図中の「Bls」はシャドーレベルLsのビット数(ここでは「Bls=2」)を示している。このようなシャドー部37Sの階調の不足に対応するため、本発明では、本体画像データDHの下位2ビット(図中のBlsはLsのビット数を示す)に対応する14ビットのRAWデータDの下位8ビットをシャドー画像データDSとして別途記録している。このシャドー画像データDSは、本体画像データDHのシャドーレベルLs=3以下に割り当てられる階調数よりも階調数の多い画像データである。このため、後述の画像ファイル表示装置11で再生表示を行う際にシャドー画像データDSを用いてシャドー部37Sの画像を表示することで、シャドー部37Sの階調再現性を向上させることができる。
また、静止画像ファイル45として8ビットの本体画像データDHと8ビットのシャドー画像データDSとを記録するだけでよく、RAWデータを記録する上記特許文献1の記録方式、RAWデータの差分データを記録する非特許文献1の記録方式、12ビット階調情報を復元するため差分情報を記録する特許文献3の記録方式などと比較して、記録データ量の増大が十分に抑えられる。さらに、本体画像データDHは標準の記録方式で記録するので、通常の画像表示装置での再生表示が可能であり、画素毎に異なる量子化ビット数で量子化して記録する特許文献4の記録方式とは異なり互換性が確保される。
[第2実施形態(画像ファイル表示装置)の構成]
次に、図14を用いて本発明の画像ファイル表示装置11(以下、単に表示装置11という)について説明を行う。表示装置11は、上述のデジタルカメラ2で記録された静止画像ファイル45を再生表示するものであり、シャドー画像データDSを用いてシャドー部37Sの多階調表示を行う。この表示装置11は、大別して液晶表示装置(表示手段)50と、装置本体51とで構成されている。
図15に示すように、液晶表示装置50は、装置本体51の制御により、画像(静止画像および動画像)や文字情報などを表示する。この液晶表示装置50は、液晶パネル(LCD:Liquid Crystal Display)52と、バックライト53とで構成されている。
液晶パネル52は、光の透過率を調整可能な多数の液晶素子が2次元配列されてなる。なお、立体画像(3D画像)を鑑賞する場合には、レンチキュラレンズを備えるなどの立体視が可能な液晶パネル52が用いられる。
バックライト53は、液晶パネル52の背面側に配置されている。このバックライト53は、液晶パネル52の表示面を複数に分割した各セグメント54(m)をそれぞれ個別に照明する複数の照明部55(m)を有している。ここで、セグメント54(m)は、例えば水平16画素×垂直16画素の領域である。また、「m」はセグメントの個数を表すものであり、例えば表示面が64分割されている場合には、m=0〜63(または1〜64)となる。
各照明部55(m)には、1または複数個の発光ダイオード(以下、LED:Light Emitting Diode)56が配置されている。各照明部55(m)の輝度は独立して制御可能であり、これにより、いわゆるローカルディミング制御(エリア制御ともいう)が可能になる。このローカルディミング制御を行うことで、液晶パネル52の表示階調が8ビットであったとしても、9ビット以上の階調表示が可能となる。すなわち、液晶表示装置50は、本体画像データのビット数をM(本実施形態ではM=8)としたときに、Q(Q>M)ビットの階調表示が可能である。
図14に戻って、装置本体51は、大別して、カードスロット59と、データ読出回路60と、第1伸長回路61と、第1RGB変換回路62と、再生γ変換回路63と、第2伸長回路64と、第2RGB変換回路65と、再生γs変換回路66と、表示処理回路67とを備えている。
カードスロット59には、デジタルカメラ2にて静止画像ファイル45等が記録されたメモリカード10がセットされる。このカードスロット59は、後述のデータ読出回路60と共に本発明の画像ファイル取得手段を構成している。
データ読出回路60は、カードスロット59にセットされたメモリカード10から静止画像ファイル45を読み出して、この静止画像ファイル45に含まれる本体画像データDHを第1伸長回路61に出力し、シャドー画像データDSを第2伸長回路64に出力する。また、データ読出回路60は、静止画像ファイル45のヘッダに記録された各情報(図9参照)を読み出して、各情報のうちシャドーレベル情報(Ls)は表示処理回路67へ出力し、γは再生γ変換回路63へ出力し、γsは再生γs変換回路66へ出力する。
第1伸長回路61は、JPEG圧縮された本体画像データDHをJPEG伸長する。第1RGB変換回路62は、JPEG伸長された本体画像データDHの輝度信号Y及び色差信号Cr、CbをRGB信号に変換するRGB変換処理を行う。
再生γ変換回路63は、データ読出回路60から入力されたγの情報に基づき、RGB変換処理された本体画像データDHを、撮影時のγとは逆特性の再生γ(逆γともいう)で変換処理(通常、2.2乗)して、液晶表示装置50に対応した本体画像データDHDを生成する。そして、再生γ変換回路63は、本体画像データDHDをセグメント54(m)ごとに分割(例えば64分割)して、各セグメント54(m)に対応した本体画像データDHD(m)を順番に表示処理回路67に出力する。
第2伸長回路64は、JPEG圧縮されたシャドー画像データDSをJPEG伸長する。第2RGB変換回路65は、JPEG伸長されたシャドー画像データDSの輝度信号Y及び色差信号Cr、CbをRGB信号に変換するRGB変換処理を行う。
再生γs変換回路66は、データ読出回路60から入力されたγsの情報に基づき、RGB変換処理されたシャドー画像データDSを、撮影時のγsとは逆特性の再生γs(逆γs)で変換処理して、液晶表示装置50に対応したシャドー画像データDSDを生成する。そして、再生γs変換回路66は、シャドー画像データDSDをセグメント54(m)ごとに分割(例えば64分割)して、各セグメント54(m)に対応したシャドー画像データDSD(m)を順番に表示処理回路67に出力する。
表示処理回路67は、液晶表示装置50の表示処理を制御する。この表示処理回路67は、各回路60,63、66からの入力データ・情報に基づき、液晶表示装置50の各セグメント54(m)に対応した8ビットの表示出力データDD(m)、及び各照明部55(m)の輝度を示す8ビットのバックライト輝度設定値(以下、単にバックライト輝度という)BL(m)をそれぞれ出力する。
表示処理回路67は、表示出力データDD(m)を液晶パネル52へ出力する。この表示出力データDD(m)に基づき、セグメント54(m)内の各液晶素子の光透過率が制御される。また、表示処理回路67は、バックライト輝度BL(m)をバックライト53へ出力する。このバックライト輝度BL(m)に基づき、セグメント54(m)に対応した照明部55(m)の輝度が制御される。これにより、液晶パネル52の表示面に画像が表示される。
<表示処理回路の構成>
図16に示すように、表示処理回路67は、発光率決定回路(発光率決定手段)69と、表示装置制御部70とを備えている。
発光率決定回路69は、本体画像データDHD(m)に基づき、本発明の発光率に相当するセグメント54(m)毎のバックライト発光率Rb(m)を算出する。この発光率Rb(m)の算出には、下記の式(1)が用いられる。式(1)の「Peak(DHD(m))」は、本発明の代表値に相当するものであり、本体画像データDHD(m)の画素値(輝度値)のピーク値である。発光率決定回路69は、各セグメント54(m)の発光率Rb(m)を順番に算出して、この算出結果を表示装置制御部70へ逐次出力する。
Rb(m)=255/Peak(DHD(m))・・・式(1)
なお、上記式(1)ではPeak(DHD(m))を用いて発光率Rb(m)を算出しているが、例えば、本体画像データDHD(m)の画素値(輝度値)の平均値を本発明の代表値として算出し、この平均値を用いて発光率Rb(m)を算出してもよい。
表示装置制御部70は、本体画像データDHD(m)とシャドー画像データDSD(m)と発光率Rb(m)とシャドーレベル情報とに基づき、表示出力データDD(m)及びバックライト輝度BL(m)を決定し、これらをそれぞれ液晶パネル52、バックライト53に出力する。この表示装置制御部70は、バックライト制御部(バックライト制御手段)72と、表示制御部(表示制御手段)73とを備えている。
バックライト制御部72は、発光率決定回路69が算出した発光率Rb(m)に基づき、バックライト輝度BL(m)を算出する。このバックライト輝度BL(m)の算出には、下記の式(2)が用いられる。なお、式(2)の「BL_peak」は、液晶表示装置50の輝度設定最大値である。バックライト制御部72は、発光率決定回路69から新たな発光率Rb(m)が入力される毎にバックライト輝度BL(m)を算出して、この算出結果をバックライト53へ出力する。
BL(m)=BL_Peak/Rb(m)・・・式(2)
この際に、前述の発光率決定回路69は、本発明の代表値として、本体画像データDHD(m)の画素値(輝度値)のピーク値を用いているので、このピーク値が比較的小さいセグメント54(m)ではバックライト輝度BL(m)を下げることができるので省電力化が図れる。
表示制御部73は、セグメント54(m)毎の表示出力データDD(m)を算出する。この表示制御部73は、静止画像ファイル45にシャドー画像データDSが含まれていない場合には通常表示モードで動作する。また、表示制御部73は、静止画像ファイル45にシャドー画像データDSが含まれている場合にはシャドー部画質向上モード(以下、単に画質向上モードという)で動作する。
通常表示モードは、従来の8ビット画像の表示に対応した表示モードである。通常表示モード時の表示制御部73は、本体画像データDHD(m)と発光率Rb(m)とに基づき、各セグメント54(m)に対応した表示出力データDD(m)を求めて液晶パネル52に順番に出力する。
画質向上モードは、シャドー部37Sを多階調で表示するための表示モードである。画質向上モード時の表示処理回路67は、本体画像データDHD(m)及びシャドー画像データDSD(m)と、シャドーレベル情報(Ls)と、発光率Rb(m)とに基づき、各セグメント54(m)に対応した表示出力データDD(m)を求めて液晶パネル52に順番に出力する。
<通常表示モード時の表示出力データDD(m)の決定>
通常表示モードの表示制御部73は、表示出力データDD(m)をセグメント54(m)内の画素毎に算出する。表示制御部73は、本体画像データDHD(m)の第i画素の画素値(輝度値)をDHD(m,i)としたときに、画素値DHD(m,i)に発光率Rb(m)を乗算した乗算データを、表示出力データDD(m,i)とする。ここで、セグメント54(m)が16画素×16画素で構成されている場合、iはi=0〜(16−1)または1〜16となる。以下、図17を用いて通常表示モード時の表示出力データDD(m,i)の算出を具体的に説明する。
図17の(A)部分は14ビットのRAWデータDであり、図17の(B)部分は8ビットの本体画像データDHDである。例えば発光率Rb(m)=4である場合には、図17の(C)部分に示すように、乗算データ[DHD(m,i)×Rb(m)]は、画素値DHD(m,i)に4を掛け合わせた値、すなわち、画素値DHD(m,i)を2ビットシフトさせた値となる。これは、上記式(2)に基づきバックライト輝度BL(m)が輝度設定最大値の1/4倍となるため、画素値DHD(m,i)を4倍にして画素(i)の光の透過率を4倍にすることで、この画素(i)における表示輝度レベルは通常と同じ[(1/4)×4=1]になるからである。これにより、表示出力データDD(m,i)[=DHD(m,i)×Rb(m)]が算出される。
表示制御部73は、セグメント54(m)内の全画素(i)について表示出力データDD(m,i)を算出する。これにより、1つのセグメント54(m)に対応する表示出力データDD(m)が求められる。以下、同様にして全セグメント54(m)に対応する表示出力データDD(m)が求められる。
<画質向上モード時の表示出力データDD(m)の決定>
画質向上モードの表示制御部73は、通常表示モード時と同様に、表示出力データDD(m)をセグメント54(m)内の画素毎に算出する。表示制御部73は、データ読出回路60から取得したシャドーレベル情報に基づき、本体画像データDHD(m)の第i画素の画素値DHD(m,i)がシャドーレベルLs以下になるか否かを判定する。そして、表示制御部73は、画素値DHD(m,i)がシャドーレベルLsよりも大きくなる場合には、上述の通常表示モード時と同様に乗算データ[DHD(m,i)×Rb(m)]を求めることで、表示出力データDD(m,i)を決定する。これにより、表示出力データDD(m)に基づく表示画像の中で、シャドー部37S以外の通常輝度部37N(図5参照、通常輝度部分)に対応する表示出力データDD(m,i)が決定される。
一方、表示制御部73は、画素値DHD(m,i)がシャドーレベルLs以下になる場合に、シャドー画像データDSD(m)から画素値DHD(m,i)に対応する第i画素の画素値DSD(m,i)を抽出する。そして、表示制御部73は、画素値DSD(m,i)に発光率Rb(m)を乗算した乗算データを算出し、この乗算データから表示出力データDD(m,i)を選択する。以下、図18を用いて表示出力データDD(m,i)について具体的に説明する。
図18の(A)部分は14ビットのRAWデータDであり、図18の(B)部分は8ビットの本体画像データDHDであり、図18の(C)部分は8ビットのシャドー画像データDSDである。図18の(D)部分に示すように、表示制御部73は、シャドーレベルLs以下の各画素値DHD(m,i)にそれぞれ対応する各画素値DSD(m,i)に発光率Rb(m)を掛け合わせた乗算データ[DSD(m,i)×Rb(m)]を求め、この乗算データの中から所定の上位ビットを表示出力データDD(m,i)として選択する。
図18の(E)部分に示すように、例えば発光率Rb(m)が4である場合は、乗算データ[DSD(m,i)×Rb(m)]は各画素値DSD(m,i)に4を掛け合わせた値、すなわち、各画素値DSD(m,i)を2ビットシフトさせた値となる。そして、表示制御部73は、乗算データ[DSD(m,i)×4]の上位4ビット(ここでは最下位ビットLSBから7番目及びこれより上位4ビット、言い換えると最上位ビットMSBから4番目までの上位4ビット)を表示出力データDD(m,i)として選択する。
また、図18の(F)部分に示すように、例えば発光率Rb(m)が8である場合に、乗算データ[DSD(m,i)×Rb(m)]は各画素値DSD(m,i)に8を掛け合わせた値、すなわち、各画素値DSD(m,i)を3ビットシフトさせた値となる。そして、表示制御部73は、乗算データ[DSD(m,i)×8]の上位5ビット(ここでは最下位ビットLSBから7番目及びこれより上位5ビット、言い換えると最上位ビットMSBから5番目までの上位5ビット)を表示出力データDD(m,i)として選択する。
さらに、シャドーレベルLsのビット数をBls(Blsは1以上の自然数、本発明のBに相当)をしたときに、発光率Rb(m)が2(Pは0以上の自然数)である場合、すなわち、バックライト輝度BL(m)が輝度設定最大値の1/2倍となる場合には、各画素値DSD(m,i)に2を掛け合わせた乗算データが生成される。そして、この乗算データの上位(Bls+P)ビットが表示出力データDD(m,i)として選択される。これにより、表示出力データDD(m)に基づく表示画像の中で、シャドー部37Sに対応する表示出力データDD(m,i)が選択される。
表示制御部73は、セグメント54(m)内の全画素(i)について表示出力データDD(m,i)を求めることで、1つのセグメント54(m)に対応する表示出力データDD(m)を求める。この際に、前述の乗算データ[DSD(m,i)×Rb(m)]の上位(Bls+P)ビットから選択された表示出力データDD(m,i)は、表示出力データDD(m)の下位にマッピングされる。その結果、表示出力データDD(m)の下位(Bls)ビットに相当するシャドー部37Sを、(Bls+P)ビットで表現することができる。これにより、発光率Rb(m)が大きくなるほど(バックライト輝度BL(m)が小さくなるほど)より多ビットでシャドー部37Sを表現することができる。
[画像ファイル表示装置の作用]
次に、図19を用いて上記構成の表示装置11の画像表示処理について説明を行う。前述のデジタルカメラ2にて静止画像ファイル45が記録されたメモリカード10がカードスロット59にセットされた後、図示しない操作部にて画像表示操作がなされると、データ読出回路60はメモリカード10から静止画像ファイル45を読み出す(ステップS31)。
データ読出回路60は、静止画像ファイル45にシャドー画像データDSが含まれている場合に、本体画像データDHを第1伸長回路61へ出力し、シャドー画像データDSを第2伸長回路64に出力する。また、静止画像ファイル45のヘッダからシャドーレベル情報Ls、γ、γsをそれぞれ読み出して、シャドーレベル情報を表示処理回路67に出力し、γを再生γ変換回路63に出力し、γsを再生γs変換回路66に出力する。
一方、データ読出回路60は、静止画像ファイル45にシャドー画像データDSが含まれていない場合に、本体画像データDHを第1伸長回路61へ出力し、γを再生γ変換回路63へ出力する。
第1伸長回路61は、データ読出回路60から入力された本体画像データDHをJPEG伸長して第1RGB変換回路62に出力する(ステップS32)。第1RGB変換回路62は、第1伸長回路61から入力された本体画像データDHに対してRGB変換処理を施した後、この本体画像データDHを再生γ変換回路63に出力する(ステップS33)。
再生γ変換回路63は、データ読出回路60から入力されたγの情報に基づき、第1RGB変換回路62から入力された本体画像データDHを再生γで変換処理して本体画像データDHDを生成する(ステップS34,S35)。この本体画像データDHDは、セグメント54(m)ごとに分割されて、再生γ変換回路63から各セグメント54(m)に対応した本体画像データDHD(m)が表示処理回路67に順番に出力される。
<通常表示モード>
表示処理回路67は、シャドー画像データDSD(m)の入力が無い場合、あるいはデータ読出回路60からシャドー画像データDSが存在しない旨の通知を受けた場合などの静止画像ファイル45にシャドー画像データDSが含まれていない場合には、表示制御部73を通常表示モードで動作させる(ステップS36でNO、ステップS37)。
図20に示すように、発光率決定回路69は、再生γ変換回路63から第0番目のセグメント54(0)に対応した本体画像データDHD(0)が入力されたときに(ステップS39)、本体画像データDHD(0)の画素値のピーク値「Peak(DHD(0))」を求める。次いで、発光率決定回路69は、求めたピーク値「Peak(DHD(0))」を上記式(1)に代入することにより、セグメント54(0)の発光率Rb(0)を算出する(ステップS40)。この発光率Rb(0)の算出結果は表示装置制御部70に入力される。
バックライト制御部72は、発光率決定回路69から入力された発光率Rb(0)を上記式(2)に代入して、セグメント54(0)に対応した照明部55(0)のバックライト輝度BL(0)を算出する(ステップS41)。
一方、通常表示モードの表示制御部73は、再生γ変換回路63から入力された本体画像データDHD(0)の第0画素の画素値DHD(0,0)に、発光率決定回路69から入力された発光率Rb(0)を乗算する(ステップS42)。これにより、セグメント54(0)の第0画素に対応した表示出力データDD(0,0)が算出される。次いで、表示制御部73は、本体画像データDHD(0)の第1画素の画素値DHD(0,1)に発光率Rb(0)を乗算して、セグメント54(0)の第1画素に対応した表示出力データDD(0,1)を算出する(ステップS43でYES、ステップS44,S42)。以下同様に、表示制御部73は、セグメント54(0)の全画素について、表示出力データDD(0,i)を算出する。
セグメント54(0)の全画素(i=i_max)について表示出力データDD(0,i)が算出されることにより(ステップS43でNO)、セグメント54(0)に対応する表示出力データDD(0)が求められる。
バックライト制御部72が求めたバックライト輝度BL(0)はバックライト53へ出力され、表示制御部73が求めた表示出力データDD(0)は液晶パネル52に出力される(ステップS45)。
次いで、再生γ変換回路63から表示処理回路67に入力されたセグメント54(1)に対応した本体画像データDHD(1)に基づき、発光率決定回路69が発光率Rb(1)を算出した後に、バックライト制御部72及び表示制御部73がそれぞれバックライト輝度BL(1)、表示出力データDD(1)の算出及び出力を行う(ステップS46でYES、ステップS47,S48,S40〜S45)。
以下同様にして、全てのセグメント54(m)及びこれに対応する照明部55(m)についてのバックライト輝度BL(m)、表示出力データDD(m)の算出及び出力が実行される(ステップS46でNO)。液晶パネル52の表示面に表示画像が表示される。
<画質向上モード>
図19に戻って表示処理回路67は、シャドー画像データDSD(m)が入力された場合、あるいはデータ読出回路60からシャドー画像データDSを出力した旨の通知を受けた場合などの静止画像ファイル45にシャドー画像データDSが含まれている場合には、表示制御部73を画質向上モードで動作させる(ステップS36でYES、ステップS49)。
図21に示すように、静止画像ファイル45にシャドー画像データDSが含まれている場合に、第2伸長回路64は、データ読出回路60から入力されたシャドー画像データDSをJPEG伸長して第2RGB変換回路65に出力する(ステップS50)。第2RGB変換回路65は、第2伸長回路64から入力されたシャドー画像データDSに対してRGB変換処理を施した後、このシャドー画像データDSを再生γs変換回路66に出力する(ステップS51)。
再生γs変換回路66は、データ読出回路60から入力されたγsの情報に基づき、第2RGB変換回路65から入力されたシャドー画像データDSを再生γsで変換処理してシャドー画像データDSDを生成する(ステップS52,S53)。このシャドー画像データDSDは、セグメント54(m)ごとに分割されて、再生γs変換回路66から各セグメント54(m)に対応したシャドー画像データDSD(m)が表示処理回路67に順番に出力される。なお、ステップS50からステップS53までの処理は、前述のステップS32からステップS35までの処理と並行して行われる。
次いで、前述のステップS39からステップS41と同様に、発光率決定回路69が発光率Rb(0)を算出して表示装置制御部70へ出力した後(ステップS54,S55)、バックライト制御部72がバックライト輝度BL(0)を算出する(ステップS56)。
一方、画質向上モード時の表示制御部73は、データ読出回路60から取得したシャドーレベル情報に基づき、再生γ変換回路63から入力された本体画像データDHD(0)のi=0番目の画素値DHD(0,0)がシャドーレベルLs以下になるか否かを判定する(ステップS57)。
表示制御部73は、画素値DHD(0,0)がシャドーレベルLsよりも大きくなる場合(ステップS57でYES)には、前述の通常表示モードのステップS42と同様に、画素値DHD(0,0)に発光率Rb(0)を乗算した乗算データ[DHD(0,0)×Rb(0)]を算出する(ステップS58)。
逆に画素値DHD(0,0)がシャドーレベルLs以下になる場合(ステップS57でNO)に、表示制御部73は、シャドー画像データDSD(0)から画素値DHD(0,0)に対応する第0画素の画素値DSD(0,0)を抽出する。そして、表示制御部73は、画素値DSD(0,0)に発光率Rb(m)を乗算した乗算データ[DSD(0,0)×Rb(0)]を算出する(ステップS59)。
次いで、表示制御部73は、本体画像データDHD(0)の第1画素の画素値DHD(0,1)がシャドーレベルLs以下になるか否かを判定する(ステップS60でYES、ステップS61,S57)。そして、表示制御部73は、画素値DHD(0,1)がシャドーレベルLsよりも大きくなる場合には乗算データ[DSD(0,1)×Rb(0)]を算出する(ステップS57でYES、ステップS58)。また、表示制御部73は、画素値DHD(0,1)がシャドーレベルLs以下になる場合には乗算データ[DSD(0,1)×Rb(0)]を算出する(ステップS57でNO、ステップS59)。
以下同様に、表示制御部73は、セグメント54(0)の全画素(i=i_max)について、乗算データ[DHD(0,i)×Rb(0)]または乗算データ[DSD(0,i)×Rb(0)]を算出する(ステップS60でNO)。
表示制御部73は、乗算データ[DHD(0,i)×Rb(0)]を通常輝度部37Nに対応する表示出力データDD(0,i)とする。また、表示制御部73は、乗算データ[DSD(0,i)×Rb(0)]の上位所定ビット、例えばLs=3(Bls=2)、発光率Rb(0)=4の場合には、上位4ビットをシャドー部37Sに対応する表示出力データDD(0,i)として選択する。この上位4ビットは、表示出力データDD(0)の下位にマッピングされる。これにより、セグメント54(0)に対応する8ビットの表示出力データDD(0)が求められる。
バックライト制御部72が求めたバックライト輝度BL(0)はバックライト53へ出力され、表示制御部73が求めた表示出力データDD(0)は液晶パネル52に出力される(ステップS62)。
次いで、再生γ変換回路63から入力されたセグメント54(1)に対応した本体画像データDHD(1)に基づき、発光率決定回路69が発光率Rb(1)を算出する(ステップS63でYES、ステップS64,S65,S55)。そして、前述のステップS56からステップS62で説明したように、バックライト制御部72及び表示制御部73がそれぞれバックライト輝度BL(1)、表示出力データDD(1)の算出及び出力を行う。以下同様にして、全てのセグメント54(m)及びこれに対応する照明部55(m)についてのバックライト輝度BL(m)、表示出力データDD(m)の算出及び出力が実行される。
全てのセグメント54(m=m_max)及びこれに対応する照明部55(m=m_max)についてのバックライト輝度BL(m)、表示出力データDD(m)の算出及び出力が実行されることで(ステップS63でNO)、液晶パネル52の表示面に画像が表示される。
図19に戻って、メモリカード10に記録された別の静止画像ファイル45を再生表示する場合には上述の各処理が繰り返し実行されて(ステップS67)、液晶パネル52の表示面に新たな画像が表示される。
<画像ファイル表示装置の作用効果>
比較例を示す図22Aにおいて、8ビットの本体画像データDHDを通常通り(発光率Rb(m)=1、輝度100%)に表示したときの(1)通常階調に対して、発光率Rb(m)=4、すなわち、バックライト輝度BL(m)を25%(1/4倍)にした場合には、輝度0からシャドー輝度レベルBsを表示するため、従来は本体画像データの値0〜3を4倍する。すなわち、本体画像データの値1に相当する輝度を(2)で表示するには値4、本体画像データの値2に相当する輝度を(2)で表示するには値8とするが、この場合に、本体画像データの値1から値4、値4から値8の中間の階調がない。このため、(2)の表示階調は(1)と同じ4階調となる。
これに対して、図22Bに示すように、本発明では、別途記録したシャドー画像データの上位4ビット(Bls=2)を表示に使用することで、(3)に示すように輝度0からシャドー輝度レベルBsまでのシャドー部37Sを最大14階調(図中では12階調)で表示することができる。また、発光率Rb(m)=64、すなわち、バックライト輝度BL(m)を1/64倍にした場合にはシャドー画像データの上位8ビットを表示に使うことでより多階調で表示することができる。これにより、シャドー部37Sを十分な階調で表示することができる。
また、セグメント54(m)内の画素値とバックライト輝度との関係を示す図23においても同様に、シャドーレベルLs以下の画素値を従来通り表示する場合には目標階調Aに近い4つの値(4階調)で表示され、バックライト輝度は100%に設定される。そして、バックライト輝度が25%の場合に、従来方式では本体画像データの値が4倍されて目標階調Bに近い4つの値(4階調)で表示されるが、4階調で表示されることは変わらない。これに対して、本発明では、シャドー画像データの上位4ビット(Bls=2)を表示に使用することで、シャドー部37Sを最大16階調で表示することができるので、シャドー部を十分な階調(多ビット)で表示することができる。
さらに、画素値のピーク値が比較的小さいセグメント54(m)では上記式(1)、(2)に基づき、バックライト輝度を下げることができるので省電力化が図れる。
[第3実施形態のデジタルカメラ]
次に、図24を用いて本発明の第3実施形態のデジタルカメラ78について説明を行う。上記第1実施形態のデジタルカメラ2では、シャドー部37Sを構成する低輝度画素(i)の画素数(図12に示したΣS)がしきい値SSよりも大きくなったときに、シャドー画像データDSの生成・記録を行っている。これに対して、デジタルカメラ78では、操作部9にて特定の撮影モードの選択または特定の撮影設定値の設定が行われたときに、シャドー画像データDSの生成・記録を行う。
なお、デジタルカメラ78は、撮影モードの選択や撮影設定値の設定を行う点を除けば、第1実施形態のデジタルカメラ2と基本的に同じ構成であり、上記第1実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。
デジタルカメラ78の操作部9には、撮影モード選択部(撮影モード選択手段)79と、露光補正量設定部(設定手段)80とが設けられている。
撮影モード選択部79は、デジタルカメラ78の撮影モードの選択に用いられる。デジタルカメラ78の撮影モードとしては、通常撮影モードの他に、夜景を撮影するのに最適な撮影条件に設定される夜景モードを有しており、各撮影モードの選択は撮影モード選択部79にて行われる。撮影モードとして夜景モードが設定されると、CPU12は、カラー撮像素子23の感度を増幅させたり、メカシャッタ18のシャッタ速度を遅くして露光量を増加させたりなどする。
露光補正量設定部80は、撮影時の露光補正量(撮影設定値)の設定に用いられる。CPU12は、露光補正量設定部80にて設定された露光補正量に応じて、メカシャッタ18のシャッタ速度や絞りの開口径を調整することで、撮影時の露光量を増減させる。
画像処理回路81は、図4に示した第1実施形態の画像処理回路29と基本的に同じ構成である。ただし、画像処理回路81は、操作部9にて低輝度画素(i)の画素数が増加するような操作が行われた場合にシャドー画像データDSの生成・記録を行い、この操作が行われない場合にはシャドー画像データDSの生成・記録を行わない。この低輝度画素(i)の画素数が増加するような操作とは、撮影モードとして夜景モードを選択する操作や、露光補正量のマイナス量が所定量以上(予め定めた範囲内)になるように設定する操作である。ここで「所定量」は、露光補正量のマイナス量を増減させたときの低輝度画素(i)の画素数を実験やシミュレーションにより求めておくことで、適宜決定される。
[第3実施形態のデジタルカメラの作用]
図25を用いて、上記構成のデジタルカメラ78の作用(静止画像ファイル45の生成・記録処理)について説明を行う。なお、ステップS1からステップS5までの処理は、図10及び図11に示した第1実施形態の各処理と同じであるので、ここでは説明を省略する。
画像処理回路81(シャドー画像生成処理部29b)は、撮影モード選択部79にて夜景モードが設定されている場合(ステップS5−1)、または露光補正量設定部80にて設定された露光補正量のマイナス量が所定量以上の場合(ステップS5−2)には、前述の図12に示したシャドー画像データDS生成処理(ステップS6)と、図10に示した静止画像ファイル45の記録処理(ステップS29)とが実行される。
また、画像処理回路81は、夜景モードが設定されておらず、かつ露光補正量のマイナス量が所定量以上でない場合には、シャドー画像データDSの生成を行わない。この場合には、本体画像データDH及びγが静止画像ファイル45としてメモリカード10に記録される。
<第3実施形態の作用効果>
このように第3実施形態のデジタルカメラ78では、低輝度画素(i)の画素数(シャドー部37Sの面積)の増加によりシャドー画像データDSを用いたシャドー部37Sの多階調表示の効果が顕著となる場合に、シャドー画像データDSを記録することができる。また、シャドー部37Sの割合が低い不要なシャドー画像データDSの記録が行われることが防止される。
なお、上記第3実施形態では、低輝度画素(i)の画素数が増加する可能性の高い撮影モードや撮影設定値の例として夜景モード、露光補正量を例に挙げて説明したが、この画素数が増加する可能性のある各種の撮影モードを選択する場合、または各種の撮影設定値を設定する場合にも本発明を適用することができる。
[第4実施形態のデジタルカメラ]
次に、図26を用いて本発明の第5実施形態のデジタルカメラ83について説明を行う。上記第1及び第3実施形態のデジタルカメラ2、78では、RAWデータDに関係なく定められたシャドーレベルLsに従って低輝度画素(i)の選択を行っているが、デジタルカメラ83では、RAWデータD毎にシャドーレベルLsを決定する。
デジタルカメラ83は、そのCPU12が画素値統計量算出部(画素値統計量算出手段)84、シャドーレベル決定部(輝度レベル決定手段)85として機能する点を除けば、第1実施形態のデジタルカメラ2と基本的に同じ構成であり、上記第1実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。
画素値統計量算出部84は、信号調整回路28で生成されたRAWデータDを取得して、このRAWデータDの各画素(i)の画素値D(i)に基づき、各画素(i)の画素値D(i)の統計量としてヒストグラムHを算出する。
図27に示すように、ヒストグラムHは、画素値(0〜(214−1))とこの画素値毎の画素数との関係を示すものである。このヒストグラムHを解析することで、RAWデータDの中で任意の画素値以下の画素(i)の画素数を判別することができる。このヒストグラムHはシャドーレベル決定部85に出力される。
シャドーレベル決定部85は、画素値統計量算出部84から入力されたヒストグラムHを解析して、RAWデータDの中で予め定められた割合(例えば5%)の画素を低輝度画素(i)として選択可能なシャドーレベルLsを決定する。シャドーレベル決定部85は、決定したシャドーレベルLsに関するシャドーレベル情報を画像処理回路29に出力する。
画像処理回路29は、シャドーレベル決定部85が決定したシャドーレベルLsに従って低輝度画素(i)の選択を行ってシャドー画像データDSを生成する。これにより、RAWデータ毎に、RAWデータDに含まれるシャドー部37Sの輝度レベル及びシャドー部の割合(頻度)に応じたシャドー画像データDSを生成することができる。
なお、上記第5実施形態ではRAWデータDの各画素(i)の画素値D(i)の統計量としてヒストグラムHを算出しているが、画素値とこの画素値毎の画素数との関係を判別可能な各種の統計量を算出してもよい。
[第5実施形態の画像ファイル表示装置]
次に、図28を用いて本発明の第5実施形態の画像ファイル表示装置90(以下、単に表示装置90という)について説明を行う。上記第2実施形態の表示装置11では、ローカルディミング制御可能な液晶表示装置50で静止画像ファイル45に基づく画像表示を行うが、表示装置90では液晶表示装置以外の多階調表示が可能な表示装置を用いて静止画像ファイル45に基づく画像表示を行う。
表示装置90は、12ビットの階調表示が可能な有機ELパネル(表示手段)91と、装置本体92とにより構成されている。有機ELパネル91の構造については公知であるのでここでは具体的な説明は省略する。
なお、表示装置90は、液晶表示装置50の代わりに有機ELパネル91を備える点を除けば、第2実施形態の表示装置11と基本的に同じ構成であり、上記第2実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。
装置本体92は、上記第2実施形態の表示処理回路67とは異なる表示処理回路93を備える点を除けば、第2実施形態の装置本体51と基本的に同じ構成である。ただし、装置本体92の再生γ変換回路63は本体画像データDHDを表示処理回路93に出力し、再生γs変換回路66はシャドー画像データDSDを表示処理回路93に出力する。
図29に示すように、表示処理回路93はビット選択回路95を備えている。ビット選択回路95は、有機ELパネル91から取得した階調情報gb(例えば12ビット)と、各回路60,63、66からの入力データ・情報(8ビットの画像データDHD,DSD、及びシャドーレベル情報)に基づき、12ビットの表示出力データDDを生成して有機ELパネル91に出力する。この際に、ビット選択回路95は、表示出力データDDを有機ELパネル91の画素(i)毎に決定する。
なお、ビット選択回路95は、第2実施形態の表示制御部73と同様に、静止画像ファイル45にシャドー画像データDSが含まれていない場合には通常表示モードで動作し、シャドー画像データDSが含まれている場合には画質向上モードで動作する。
<通常表示モード時のビット選択回路の動作>
図30の(A)〜(D)部分において、RAWデータDが14ビットであり、本体画像データDHD及びシャドー画像データDSDが8ビットであり、表示出力データDDがgb=12ビットであり、シャドーレベルLsのビット数がBls=2である場合についてのビット選択回路95の動作について具体的に説明する。
通常表示モードのビット選択回路95は、最初に、有機ELパネル91から取得した階調情報gbに基づき、有機ELパネル91の表示階調が12ビットであることを判別する。そして、ビット選択回路95は、本体画像データDHDの第i(i=0〜(212−1))画素の8ビットの画素値DHD(i)を、12ビットの表示出力データDDのi画素の上位8ビット[DD(i,5)〜DD(i,12)]に割り当てる。また、ビット選択回路95は、表示出力データDDの第i画素の下位4ビット[DD(i,0)〜DD(i,4)]には0を挿入する。なお、「DD(i,b)」は、表示出力データDDの第i画素の第bビットである。これにより、12ビットの表示出力データDDが生成される。
<画質向上モード時のビット選択回路の動作>
画質向上モードのビット選択回路95は、通常表示モード時と同様に有機ELパネル91の表示階調が12ビットであることを判別した後、本体画像データDHDの第i画素の画素値DHD(i)がシャドーレベルLs以下になるか否かを判別する。そして、ビット選択回路95は、本体画像データDHDの第i画素の画素値DHD(i)がシャドーレベルLsよりも大きくなる場合には、通常表示モード時と同様に、画素値DHD(i)を表示出力データDDの第i画素の上位8ビット[DD(i,5)〜DD(i,12)]に割り当てる。また、ビット選択回路95は、下位4ビット[DD(i,0)〜DD(i,4)]には0を挿入する。
一方、ビット選択回路95は、本体画像データDHDの第i画素の画素値DHD(i)がシャドーレベルLs以下になる場合には、第i画素の画素値DHD(i)を表示出力データDDの第i画素の上位8ビット[DD(i,5)〜DD(i,12)]に割り当てる。なお、通常は「0」が挿入される。
また、ビット選択回路95は、シャドー画像データDSDの第i画素の8ビットの画素値DSD(i)の上位3ビット以下の4(=gb−8)ビット、具体的には上位3番目「5」から6番目「2」のビットを、表示出力データDDの第i画素の下位8ビット[DD(i,0)〜DD(i,3)]に割り当てる。これにより、12ビットの表示出力データDDが生成される。
有機ELパネル91は、ビット選択回路95から入力された12ビットの表示出力データDDに基づき、表示面に画像を表示する。
[第5実施形態の画像ファイル表示装置の作用]
次に、図31を用いて上記構成の表示装置90の画像表示処理について説明を行う。表示装置90の電源がONされると、表示処理回路93(ビット選択回路95)は、有機ELパネル91から階調情報gb(gb=12)を取得する(ステップS30)。これにより、ビット選択回路95は、有機ELパネル91の表示階調が12ビットであることを判別する。以下、前述の第2実施形態のステップS31からステップS35までの処理が実行されて、ビット選択回路95に本体画像データDHDが入力される。
<通常表示モード>
ビット選択回路95は、シャドー画像データDSDの入力が無い場合、あるいはデータ読出回路60からシャドー画像データDSが存在しない旨の通知を受けた場合などの静止画像ファイル45にシャドー画像データDSが含まれていない場合には、通常表示モードで動作する(ステップS36でNO、ステップS70)。
図32に示すように、ビット選択回路95は、本体画像データDHDの第0画素の画素値DHD(0)を、12ビットの表示出力データDDの第0画素の上位8ビット[DD(0,5)〜DD(0,12)]に割り当てる。また、表示出力データDDの第0画素の下位4ビット[DD(0,0)〜DD(0,4)]には0を挿入する(ステップS71、S72)。
次いで、ビット選択回路95は、本体画像データDHDの第1画素の画素値DHD(1)を、表示出力データDDの第1画素の上位8ビット[DD(1,5)〜DD(1,12)]に割り当てるとともに、下位4ビット[DD(0,0)〜DD(0,4)]には0を挿入する(ステップS73でYES,ステップS74,S72)。以下同様に、ビット選択回路95は、本体画像データDHDの全画素について上述の処理を繰り返し実行することで(ステップS73でNO)、表示出力データDDを生成して有機ELパネル91に出力する(ステップS75)。これにより、有機ELパネル91の表示面に表示出力データDDに基づく画像が表示される。
<画質向上モード>
図31に戻って、ビット選択回路95は、シャドー画像データDSDが入力された場合、あるいはデータ読出回路60からシャドー画像データDSを出力した旨の通知を受けた場合などの静止画像ファイル45にシャドー画像データDSが含まれている場合には、画質向上モードで動作する(ステップS36でYES、ステップS77)。
図33に示すように、静止画像ファイル45にシャドー画像データDSが含まれている場合には、前述の第2実施形態のステップS50からステップS53までの処理が実行されることで、ビット選択回路95にシャドー画像データDSが入力される。
ビット選択回路95は、本体画像データDHDの第0画素の画素値DHD(0)がシャドーレベルLs以下になるか否かを判別する(ステップS78,S79)。ビット選択回路95は、画素値DHD(0)がシャドーレベルLsよりも大きくなる場合には、通常表示モード時と同様の処理を実行する(ステップS79でYES、ステップS80)。
一方、ビット選択回路95は、画素値DHD(0)がシャドーレベルLs以下になる場合(ステップS79でNO)には、画素値DHD(0)を表示出力データDDの第0画素の上位8ビット[DD(0,5)〜DD(0,12)]に割り当てる。
また、ビット選択回路95は、シャドー画像データDSDの画素値DSD(0)の上位3ビット以下の4(=gb−8)ビット、具体的には上位3番目「5(=7−Bls)」から6番目「2(=16−Bls−gb)」のビットを、表示出力データDDの第0画素の下位8ビット[DD(0,0)〜DD(0,3)]に割り当てる(ステップS81)。
次いで、ビット選択回路95は、本体画像データDHDの第1画素の画素値DHD(1)がシャドーレベルLs以下になるか否かを判別する(ステップS82でYES、ステップS83,S79)。そして、ビット選択回路95は、画素値DHD(1)がシャドーレベルLsよりも大きくなる場合には画素値DHD(1)を表示出力データDDの上位8ビット[DD(1,5)〜DD(1,12)]に割り当て、画素値DSD(1)の上位3番目から6番目のビットを表示出力データDDの下位8ビット[DD(1,0)〜DD(1,3)]に割り当てる(ステップS81)。
以下同様に、ビット選択回路95は、本体画像データDHDの全画素について上述の処理を繰り返し実行することで(ステップS82でNO)、表示出力データDDを生成して有機ELパネル91に出力する(ステップS84)。これにより、有機ELパネル91の表示面に表示出力データDDに基づく画像が表示される。
図31に戻って、メモリカード10に記録された別の静止画像ファイル45を再生表示する場合には上述の各処理が繰り返し実行されて(ステップS86)、有機ELパネル91の表示面に新たな表示出力データDDに基づく画像が表示される。
<第5実施形態の作用効果>
このように第5実施形態においても、8ビットの本体画像データDHDでは不足する12ビットの表示出力データDDの下位ビットをシャドー画像データDSDから補填することができるので、シャドー部37Sを十分な階調で表示することができる。また、シャドー部37Sを階調のつながりがよく、高画質に表示することができる。
なお、上記第5実施形態では、8ビットの本体画像データDHD及びシャドー画像データDSから12ビットの表示出力データを生成する場合について説明したが、Mビット(Mは任意ビット数)の本体画像データDHD及びシャドー画像データDSDから、Q(Q>M)ビット表示可能な有機ELパネル等の表示装置に対応したQビットの表示出力データを生成してもよい。
[その他]
上記各実施形態のデジタルカメラ2では、画像処理回路29の本体画像生成処理部29a、シャドー画像生成処理部29bがそれぞれ本発明の第1の信号処理、第2の信号処理として、γ補正処理、YC変換処理、ノイズ低減処理、圧縮処理を行っているが、例えばさらにシャープネス処理を行ってもよい。この場合には、図34に示すように、本体画像生成処理部29a及びシャドー画像生成処理部29bにそれぞれ第1シャープネス処理回路97、第2シャープネス処理回路98を設ければよい。なお、第1シャープネス処理回路97が行うシャープネス処理の特性と、第2シャープネス処理回路98が行うシャープネス処理の特性が異なっていてもよい。
上記各実施形態のデジタルカメラでは、静止画像ファイル45の生成・記録を行っているが、例えば、図35に示すように、動画像ファイル99の生成・記録を行うこともできる。この動画像ファイル99は、例えばモーションJPEG形式で生成・記録されたものであり、フレーム毎に本体画像データDHと、シャドー画像データDSと、オーディオ(音声)データDAとが交互に記録される。そして、フレーム毎に本体画像データDHとシャドー画像データDSとが関連付けられている。
動画像ファイル99のヘッダには、シャドーレベル情報(Ls)と、γ、γsと、各データDH,DSのアドレスを示すオフセットアドレスとが格納されている。動画像ファイル99の生成・記録処理は、前述の静止画像ファイル45の生成・記録処理と基本的には同じであるので、ここでは説明を省略する。なお、途中のフレームでLs、γ、γsの少なくともいずれかがが変更された場合には、変更後の情報についてもヘッダに格納する。
また、上記各実施形態の表示装置では、静止画像ファイル45の再生表示を行っているが、動画像ファイル99の再生表示を行うことができる。この場合には、動画像ファイル99のフレームごとに、前述の静止画像ファイル45の再生表示と同様の処理を行えばよいので、動画像ファイル99の再生表示処理についての説明は省略する。
上記各実施形態のデジタルカメラでは、14ビットのRAWデータDから8ビットの本体画像データDHと8ビットのシャドー画像データDSを生成しているが、Nビット(Nは任意ビット数)の各種画像データからM(M<N)ビットの本体画像データDDとシャドー画像データDSを生成する場合にも本発明を適用することができる。
上記各実施形態の表示装置では、液晶表示装置や有機ELパネルを用いて画像表示を行っているが、例えばプラズマディスプレイパネル、プロジェクタなどの多階調(広ダイナミックレンジ)表示可能、特にシャドー部の階調再現能力が向上している各種の表示手段を用いて画像表示を行う場合に本発明を適用することができる。また、上記各実施形態の表示装置として、パーソナルコンピュータ型の表示装置(図2参照)を例に挙げて説明したが、テレビ、モニタ、携帯端末などの画像表示可能な各種の表示装置に本発明を適用することができる。
上記各実施形態では本発明の画像ファイル生成装置としてデジタルカメラを例に挙げて説明を行ったが、例えば、カメラ機能を有する携帯電話機やスマートフォン、PDA(Personal Digital Assistants)、携帯型ゲーム機にも本発明を適用することができる。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。
<スマートフォンの構成>
図36は、スマートフォン500の外観を示すものである。スマートフォン500は、平板状の筐体501を有している。筐体501の一方の面には、液晶表示装置502と、スピーカ503と、マイクロホン504、操作部505と、カメラ部506とを備えている。なお、筐体501の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成、折り畳み構造やスライド機構を有する構成を採用することもできる。
液晶表示装置502は、CPU507からの指令を受けた表示処理部508の制御により、画像(静止画像および動画像)や文字情報などを表示する。また、液晶表示装置502は、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネル構造を有している。この液晶表示装置502は、液晶パネル510と、バックライト511と、操作パネル512とで構成されている。
液晶パネル510及びバックライト511は、上記第2実施形態の液晶パネル52、バックライト53と基本的に同じものである。このため、液晶表示装置502もローカルディミング制御を行うことができる。
操作パネル512は、光透過性を有しており、液晶パネル510の表示面上に載置されている。この操作パネル512は、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号をスマートフォン500のCPUに出力する。CPUは、受信した検出信号に基づいて、液晶パネル510上の操作位置(座標)を検出する。このような操作パネル512で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられる。
図37に示すように、スマートフォン500は、液晶表示装置502、スピーカ503、マイクロホン504、操作部505、カメラ部506、CPU507、表示処理部508の他に、無線通信部515と、通話部516と、記憶部517と、外部入出力部518と、GPS(Global Positioning System)受信部519と、モーションセンサ部520と、電源部521とを備える。
無線通信部515は、CPU507の指示にしたがって、移動通信網に収容された基地局装置に対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Webデータやストリーミングデータなどの受信を行う。
通話部516は、スピーカ503やマイクロホン504を備え、マイクロホン504を通じて入力されたユーザの音声を音声データに変換してCPU507に出力したり、無線通信部515等で受信された音声データを復号してスピーカ503から出力する。なお、スピーカ503やマイクロホン504の搭載位置は、図1に示した位置に限定されず、適宜変更可能である。
操作部505は、例えば押しボタン式のスイッチや十字キーなどを用いたハードウェアキーであり、ユーザからの指示を受け付ける。この操作部505は、例えば筐体501の表示部の下部や筐体501の側面に搭載される。
記憶部517は、CPU507の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータなどを記憶し、またストリーミングデータなどを一時的に記憶する。また、記憶部517は、スマートフォン内蔵の内部記憶部517aと着脱自在な外部メモリスロットを有する外部記憶部517bにより構成される。なお、内部記憶部517aと外部記憶部517bとしては、フラッシュメモリタイプ(flash memory type)、ハードディスクタイプ(hard disk type)などの公知の各種記憶媒体が用いられる。
外部入出力部518は、スマートフォン500に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等により直接的又は間接的に接続するためのものである。
GPS受信部519は、GPS衛星ST1〜STnから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、スマートフォン500の緯度、経度、高度からなる位置を検出する。この検出結果はCPU507に出力される。
モーションセンサ部520は、例えば、3軸の加速度センサなどを備えており、スマートフォン500の物理的な動きを検出する。これにより、スマートフォン500の動く方向や加速度が検出される。この検出結果はCPU507に出力される。また、電源部521は、スマートフォン500の各部に、バッテリ(図示しない)に蓄えられた電力を供給する。
CPU507は、記憶部517から読み出した制御プログラムや制御データに従って動作し、スマートフォン500の各部を統括して制御する。また、CPU507は、液晶パネル510に対する表示制御、操作部505や操作パネル512を通じたユーザ操作を検出する操作検出制御などを実行する。
表示制御の実行により、CPU507は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、液晶パネル510の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
また、操作検出制御の実行により、CPU507は、操作部505を通じたユーザ操作を検出したり、操作パネル512を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
更に、操作検出制御の実行によりCPU507は、操作パネル512に対する操作位置が、液晶パネル510に重なる重畳部分(表示領域)か、それ以外の液晶パネル510に重ならない外縁部分(非表示領域)かを判定し、操作パネル512の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
また、CPU507は、操作パネル512に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することができる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも1つについて軌跡を描く操作を意味する。
カメラ部506は、上記各実施形態のデジタルカメラに相当するものである。このため、カメラ部506においても前述の静止画像ファイル45や動画像ファイル99を生成・記録することができる。なお、静止画像ファイル45や動画像ファイル99は、外部記憶部517bに記憶される。
表示処理部508は、上記各実施形態の画像ファイル表示装置に相当するものである。このため、別途記録したシャドー画像データの上位を表示に使用することで、シャドー部37Sを十分な階調で表示することができる。このようにスマートフォン500は、上記各実施形態のデジタルカメラと画像ファイル表示装置の機能の両方を備えた画像ファイル生成・表示装置である。なお、スマートフォン500が、上記各実施形態のデジタルカメラと画像ファイル表示装置のいずれか一方の機能だけを備えていてもよい。
上記各実施形態では本発明の画像ファイル生成装置としてデジタルカメラ等の撮像装置を例に挙げて説明したが、デジタルカメラで取得されたRAWデータを、メモリカード、各種の通信インターフェース、各種の通信ネットワーク(インターネットを含む)から取得して(第1の画像データ取得手段)、静止画像ファイル45等を生成する画像ファイル生成装置にも本発明を適用することができる。
2,78,83…デジタルカメラ,11,90…画像ファイル表示装置,23…カラー撮像素子,29…画像処理回路,29a…本体画像生成処理部,29b…シャドー画像生成処理部,37S…シャドー部,38…ビット選択回路,51…液晶表示装置,52…液晶パネル,53…バックライト,60…データ読出回路,67,93…表示処理回路,69…発光率決定回路,72…バックライト制御部,73…表示制御部,91…有機ELパネル,95…ビット選択回路

Claims (12)

  1. Nビットの第1の画像データを取得する第1の画像データ取得手段と、
    前記第1の画像データ取得手段が取得した前記第1の画像データから、M(M<N)ビットの第2の画像データを生成する第2の画像データ生成手段と、
    前記第1の画像データ取得手段が取得した前記第1の画像データの各画素の中から、輝度が予め定められた輝度レベルの低輝度画素を選択し、前記低輝度画素に基づき前記第2の画像データの前記輝度レベル以下に割り当てられる階調数よりも階調数の多い第3の画像データを生成する第3の画像データ生成手段と、
    前記第2の画像データ生成手段が生成した前記第2の画像データと、前記第3の画像データ生成手段が生成した前記第3の画像データと、当該第3の画像データの生成に用いられた前記輝度レベルを示す輝度レベル情報とを関連付けた画像ファイルを生成する画像ファイル生成手段と、
    を備える画像ファイル生成装置。
  2. 前記第2の画像データ生成手段は、前記第1の画像データに対して第1の信号処理を施し、
    前記第3の画像データ生成手段は、前記第3の画像データに対して第2の信号処理を施し、
    前記第1の信号処理及び前記第2の信号処理には、γ補正処理、ノイズ低減処理、シャープネス処理、及び圧縮処理の各処理が含まれており、
    前記第1の信号処理と前記第2の信号処理とは、前記各処理の少なくともいずれか1つの処理の特性が異なっている請求項1記載の画像ファイル生成装置。
  3. 前記第3の画像データ生成手段は、前記低輝度画素の画素数をカウントして、前記画素数が予め定めたしきい値よりも大きくなる場合に前記第3の画像データの生成を行う請求項1または2記載の画像ファイル生成装置。
  4. 前記第1の画像データ取得手段は、被写体を撮像して前記第1の画像データを生成する撮像部を有する請求項1から3のいずれか1項記載の画像ファイル生成装置。
  5. 前記撮像部は複数種類の撮影モードを有しており、
    前記撮影モードを選択する撮影モード選択手段を備え、
    前記第3の画像データ生成手段は、前記撮影モード選択手段で特定の撮影モードが選択された場合に前記第3の画像データを生成する請求項4記載の画像ファイル生成装置。
  6. 前記撮像部が被写体を撮像する条件を示す撮影設定値を設定する設定手段を備え、
    前記第3の画像データ生成手段は、前記設定手段で設定された前記撮影設定値が予め定めた範囲内となる場合に前記第3の画像データを生成する請求項4または5記載の画像ファイル生成装置。
  7. 前記第1の画像データ取得手段が取得した前記第1の画像データの各画素の画素値の統計量を算出する画素値統計量算出手段と、
    前記画素値統計量算出手段が算出した前記統計量に基づき、前記第1の画像データの中で予め定められた割合の画素を前記低輝度画素として選択可能な前記輝度レベルを決定する輝度レベル決定手段と、を備え、
    前記第3の画像データ生成手段は、前記輝度レベル決定手段が決定した前記輝度レベルに基づき前記低輝度画素の選択を行う請求項1から6のいずれか1項記載の画像ファイル生成装置。
  8. 前記低輝度画素は、前記第1の画像データの下位Mビットの画素であり、
    前記第3の画像データ生成手段は、Mビットの前記第3の画像データを生成する請求項1から7のいずれか1項記載の画像ファイル生成装置。
  9. 請求項1から8のいずれか1項に記載の画像ファイル生成装置で生成された画像ファイルを取得する画像ファイル取得手段と、
    Q(Q>M)ビットの階調表示が可能な表示面を有する表示手段と、
    前記画像ファイル取得手段が取得した前記画像ファイルに基づき生成した表示用データを前記表示手段に出力して前記表示面に表示画像を表示させる表示制御手段であって、前記表示画像内の輝度が前記輝度レベルよりも大きくなる通常輝度部分に対応する前記表示用データを前記第2の画像データから生成し、前記表示画像内の輝度が前記輝度レベル以下になる低輝度部分に対応する前記表示用データを前記第3の画像データから生成する表示制御手段と、
    を備える画像ファイル表示装置。
  10. 前記表示手段は、液晶パネルと、前記液晶パネルの表示面を複数に分割した各セグメントをそれぞれ個別に照明する複数の照明部を有し、かつ前記複数の照明部の輝度を個別に制御可能なバックライトと、を有しており、
    前記第2の画像データに基づき、前記各セグメントにそれぞれ対応する前記照明部の発光率を決定する発光率決定手段と、
    前記第2の画像データと前記発光率決定手段が決定した発光率とに基づき、前記照明部の輝度を個別に算出して制御するバックライト制御手段と、を備え、
    前記表示制御手段は、前記輝度レベルのビット数がB(Bは1以上の自然数)であり、かつ前記照明部の輝度が最大輝度の1/2(Pは0以上の自然数)倍に制御された場合に、前記第3の画像データに2を掛け合わせた乗算データを生成し、前記乗算データの上位(B+P)ビットを前記低輝度部分に対応する前記表示用データとして選択する請求項9記載の画像ファイル表示装置。
  11. 前記発光率決定手段は、前記第2の画像データに基づいて前記各セグメントごとの前記第2の画像データの画素値の代表値を求め、前記各セグメントのそれぞれの前記代表値に基づき前記発光率を決定する請求項10記載の画像ファイル表示装置。
  12. 請求項1から8のいずれか1項に記載の画像ファイル生成装置で生成された画像ファイルを取得する画像ファイル取得手段と、
    Q(Q>M)ビットの階調表示が可能な表示面を有する表示手段と、
    前記表示手段の階調情報を取得する階調情報取得手段と、
    前記画像ファイル取得手段が取得した前記画像ファイルに基づき生成した表示用データを前記表示手段に出力して前記表示面に表示画像を表示させる表示制御手段であって、前記輝度レベルのビット数がB(Bは1以上の自然数)である場合に、前記階調情報取得手段が取得した階調情報に基づき、前記第2の画像データと、前記第3の画像データの上位(B+1)ビット以下の(Q−M)ビットとを用いてQビットの前記表示用データを生成する表示制御手段と、
    を備える画像ファイル表示装置。
JP2014530511A 2012-08-16 2013-07-26 画像ファイル生成装置及び表示装置 Active JP5732175B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014530511A JP5732175B2 (ja) 2012-08-16 2013-07-26 画像ファイル生成装置及び表示装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012180523 2012-08-16
JP2012180523 2012-08-16
JP2014530511A JP5732175B2 (ja) 2012-08-16 2013-07-26 画像ファイル生成装置及び表示装置
PCT/JP2013/070296 WO2014027559A1 (ja) 2012-08-16 2013-07-26 画像ファイル生成装置及び表示装置

Publications (2)

Publication Number Publication Date
JP5732175B2 JP5732175B2 (ja) 2015-06-10
JPWO2014027559A1 true JPWO2014027559A1 (ja) 2016-07-25

Family

ID=50685549

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014530511A Active JP5732175B2 (ja) 2012-08-16 2013-07-26 画像ファイル生成装置及び表示装置

Country Status (5)

Country Link
US (1) US9384536B2 (ja)
JP (1) JP5732175B2 (ja)
CN (1) CN104584526B (ja)
DE (1) DE112013004068B4 (ja)
WO (1) WO2014027559A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102555096B1 (ko) * 2016-06-09 2023-07-13 엘지디스플레이 주식회사 데이터 압축 방법 및 이를 이용한 유기 발광 다이오드 표시 장치
KR102493746B1 (ko) * 2016-08-18 2023-02-02 삼성전자주식회사 이미지 신호 처리 방법, 이미지 신호 프로세서, 및 전자 장치
CN109426055B (zh) * 2017-08-31 2021-04-06 深圳光峰科技股份有限公司 投影系统
CN113312944A (zh) * 2020-02-27 2021-08-27 北京小米移动软件有限公司 图像采集方法、校准方法、屏下指纹识别装置和移动终端

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4288398B2 (ja) 2000-01-18 2009-07-01 株式会社ニコン 画像記録装置、画像再生装置および画像処理プログラムを記録した記録媒体
JP4169188B2 (ja) * 2002-06-03 2008-10-22 株式会社K−Will 画像処理方法
JP2004304712A (ja) * 2003-04-01 2004-10-28 Canon Inc 画像処理方法及び装置
US20040252217A1 (en) * 2003-06-12 2004-12-16 Battles Amy E. System and method for analyzing a digital image
US20060239674A1 (en) * 2003-06-12 2006-10-26 Manson Susan E System and method for analyzing a digital image
US20050083274A1 (en) * 2003-07-30 2005-04-21 Aaron Beddes Sub-pulse width modulation for gamma correction and dimming control
JP2005252711A (ja) * 2004-03-04 2005-09-15 Fuji Photo Film Co Ltd デジタルスチルカメラを用いた撮影システム、及び撮影制御方法
JP2006115475A (ja) * 2004-09-15 2006-04-27 Seiko Epson Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP4835593B2 (ja) * 2005-03-15 2011-12-14 オムロン株式会社 画像処理装置および画像処理方法、プログラム、並びに、記録媒体
JP4687216B2 (ja) * 2005-04-18 2011-05-25 ソニー株式会社 画像信号処理装置、カメラシステム、および画像信号処理方法
TWI285047B (en) * 2005-11-24 2007-08-01 Sunplus Technology Co Ltd Method of automatic exposure control and automatic exposure compensated apparatus
JP4768448B2 (ja) * 2006-01-13 2011-09-07 富士フイルム株式会社 撮像装置
JP4867365B2 (ja) * 2006-01-30 2012-02-01 ソニー株式会社 撮像制御装置、撮像装置および撮像制御方法
US8149283B2 (en) * 2007-01-23 2012-04-03 Nikon Corporation Image processing device, electronic camera, image processing method, and image processing program
JP4527750B2 (ja) 2007-05-30 2010-08-18 三菱電機株式会社 画像処理装置及び方法並びに画像表示装置
EP2051527A1 (en) * 2007-10-15 2009-04-22 Thomson Licensing Enhancement layer residual prediction for bit depth scalability using hierarchical LUTs
JP5142833B2 (ja) * 2008-06-04 2013-02-13 三菱電機株式会社 画像処理装置及び画像処理方法
JP5223730B2 (ja) * 2009-03-03 2013-06-26 富士通株式会社 表示装置およびコレステリック液晶表示パネルの駆動方法
JP5247594B2 (ja) 2009-05-29 2013-07-24 キヤノン株式会社 画像処理装置及びその制御方法、プログラム
JP5526950B2 (ja) * 2009-05-29 2014-06-18 株式会社リコー 画像処理装置及び方法、並びに撮像装置
JP4803284B2 (ja) * 2009-07-08 2011-10-26 カシオ計算機株式会社 画像処理装置、及び画像処理プログラム
US8681082B2 (en) * 2009-11-11 2014-03-25 Sony Corporation Display device and drive method therefor, and electronic unit
TWI419061B (zh) * 2010-01-18 2013-12-11 Pixart Imaging Inc 多物件影像辨識方法
JP2011234342A (ja) * 2010-04-08 2011-11-17 Canon Inc 画像処理装置及びその制御方法
TWI479898B (zh) * 2010-08-25 2015-04-01 Dolby Lab Licensing Corp 擴展影像動態範圍
JP2012085258A (ja) * 2010-08-31 2012-04-26 Panasonic Corp カメラ本体、撮像装置、カメラ本体の制御方法、プログラムおよびプログラムを記録した記録媒体
JP5129879B2 (ja) 2011-07-25 2013-01-30 キヤノン株式会社 撮像装置及びその制御方法、プログラム
US20130088429A1 (en) * 2011-10-05 2013-04-11 Pantech Co., Ltd. Apparatus and method for recognizing user input
CN102903347B (zh) * 2012-10-29 2015-04-22 广东步步高电子工业有限公司 一种有效解决液晶显示屏阳光下显示不清晰的方法及系统

Also Published As

Publication number Publication date
JP5732175B2 (ja) 2015-06-10
CN104584526B (zh) 2016-04-13
US20150130828A1 (en) 2015-05-14
WO2014027559A1 (ja) 2014-02-20
CN104584526A (zh) 2015-04-29
US9384536B2 (en) 2016-07-05
DE112013004068B4 (de) 2018-02-15
DE112013004068T5 (de) 2015-06-03

Similar Documents

Publication Publication Date Title
TWI293846B (en) Image pickup device with brightness correcting function and method of correcting brightness of image
JP5683745B2 (ja) 画像表示装置及び方法
JP4530277B2 (ja) 画像再生装置、画像再生方法、プログラムおよび記録媒体
CN104159021B (zh) 成像设备、成像方法和计算机可读介质
US20110205397A1 (en) Portable imaging device having display with improved visibility under adverse conditions
JP6063093B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP5730439B2 (ja) 画像表示装置、撮影装置、画像表示システム及び方法
JP6063092B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
CN1691754A (zh) 照相机和照相机的控制方法
JP5732175B2 (ja) 画像ファイル生成装置及び表示装置
CN105407295B (zh) 移动终端拍摄装置和方法
JP6911135B2 (ja) 撮像装置、撮像方法、およびプログラム
JP2013229856A (ja) 画像処理装置、撮像装置、サーバ装置およびコンピュータプログラム
KR20100018334A (ko) 사용자가 원하는 메뉴 컨텐츠를 적용하는 디지털 영상 처리장치의 제어 방법, 상기 방법을 기록한 기록 매체 및 상기방법에 의해 동작하는 디지털 영상 처리 장치
JP2008109305A (ja) 画像処理装置および画像処理装置の制御方法
JPWO2018066454A1 (ja) 撮像装置、撮像方法、およびプログラム
CN105578064A (zh) 摄像装置和摄像装置的控制方法
JPWO2020161969A1 (ja) 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム
JP4757828B2 (ja) 画像合成装置、撮影装置、画像合成方法及び画像合成プログラム
JP4934983B2 (ja) カメラ装置、撮影方法並びに撮影プログラム
JP2009021733A (ja) 画像ファイル生成装置、及び、画像ファイル生成プログラム
JP2021078051A (ja) 画像処理装置および画像制御方法、プログラム、並びに記憶媒体
JP2018152702A (ja) 画像処理装置および画像処理方法
KR101341505B1 (ko) 단말기 및 이를 위한 영상 촬영 방법

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150330

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150410

R150 Certificate of patent or registration of utility model

Ref document number: 5732175

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250