JP7226893B2 - 画像輝度の調整方法及び装置、電子機器及びコンピュータプログラム - Google Patents

画像輝度の調整方法及び装置、電子機器及びコンピュータプログラム Download PDF

Info

Publication number
JP7226893B2
JP7226893B2 JP2021547520A JP2021547520A JP7226893B2 JP 7226893 B2 JP7226893 B2 JP 7226893B2 JP 2021547520 A JP2021547520 A JP 2021547520A JP 2021547520 A JP2021547520 A JP 2021547520A JP 7226893 B2 JP7226893 B2 JP 7226893B2
Authority
JP
Japan
Prior art keywords
brightness
luminance
image
target
pixel point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021547520A
Other languages
English (en)
Other versions
JP2022520264A (ja
Inventor
瑞祥 ▲趙▼
▲懷▼哲 李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Publication of JP2022520264A publication Critical patent/JP2022520264A/ja
Application granted granted Critical
Publication of JP7226893B2 publication Critical patent/JP7226893B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/90
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • G06T5/94
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/28Indexing scheme for image data processing or generation, in general involving image processing hardware
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0233Improving the luminance or brightness uniformity across the screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0271Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/066Adjustment of display parameters for control of contrast
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/16Calculation or use of calculated indices related to luminance levels in display data

Description

本出願は、2019年05月05日に中国特許に提出された、出願番号201910368934.3、出願名称「画像輝度の調整方法、装置、記憶媒体及び電子機器」の中国特許出願の優先権を主張し、その全部の内容は、援用により本出願に結合される。
本出願は、コンピュータの分野に関し、特に、画像輝度の調整技術に関する。
従来、画像の暗部を調整する方法として、主に、画像におけるある輝度閾値未満のすべての画素に対して輝度を増強調整することで、画像全体の暗い部分の細部の視認性を実現することである。しかし、このような調整方法では、周囲の画素との相対的な輝度の変化を考慮していないため、画面全体の画素輝度がある絶対閾値未満であれば輝度を増強するように調整され、画素近傍のコントラストの細部の変化が犠牲になってしまうという重要な問題が生じる。
上記の問題に対して、現在有効な解決策は提出されていない。
本出願の実施例は、画像輝度の調整方法、装置、記憶媒体及び電子機器を提供し、輝度の調整が元の画像輝度分布により合わせるようにし、画像に対して輝度調整する際の調整効果を高める技術的効果を実現する。
本出願の実施例の一態様により、画像輝度の調整方法を提供し、
元の画像において、輝度が輝度閾値よりも低い目標画素点を決定し、前記輝度閾値は前記元の画像における画素点の輝度に基づいて決定される閾値であり、
前記元の画像における前記目標画素点に隣接する隣接画素点の輝度分布強度を取得し、
前記輝度閾値と前記隣接画素点の輝度分布強度との差分を決定し、
前記差分と前記目標画素点の元の輝度とに基づいて、前記目標画素点を、対応する目標輝度に調整することを含む。
本出願の実施例の別の態様により、さらに、画像輝度の調整装置を提供し、
元の画像において、輝度が輝度閾値よりも低い目標画素点を決定するためのものであり、前記輝度閾値は前記元の画像における画素点の輝度に基づいて決定される閾値である第1決定モジュールと、
前記元の画像における前記目標画素点に隣接する隣接画素点の輝度分布強度を取得するための取得モジュールと、
前記輝度閾値と前記隣接画素点の輝度分布強度との差分を決定するための第2決定モジュールと、
前記差分と前記目標画素点の元の輝度とに基づいて、前記目標画素点を対応する目標輝度に調整するための調整モジュールとを含む。
任意選択で、前記装置は、
前記輝度分布強度が前記輝度閾値よりも高い場合に、前記目標画素点に対する輝度調整をキャンセルするキャンセルモジュールをさらに含む。
本出願の実施形態の別の態様により、さらに、記憶媒体を提供し、前記記憶媒体にコンピュータプログラムを記憶しており、前記コンピュータプログラムは、実行される場合に、前記いずれか一項に記載の方法を実行させるように設置されることを特徴とする。
本出願の実施形態の別の態様により、さらに、電子機器を提供し、メモリとプロセッサとを備え、前記メモリには、コンピュータプログラムを記憶しており、前記プロセッサは、前記コンピュータプログラムによって前記いずれか1項に記載の方法を実行するように設置されることを特徴とする。
本出願の実施形態の別の態様により、命令を含むコンピュータプログラム製品を提供し、コンピュータ上で実行される場合に、前記いずれか1項に記載の方法を前記コンピュータに実行させることを特徴とする。
本出願の実施形態では、元の画像において、輝度が輝度閾値よりも低い目標画素点を決定し、輝度閾値は元の画像における画素点の輝度に基づいて決定される閾値であり、元の画像における目標画素点に隣接する隣接画素点の輝度分布強度を取得し、輝度閾値と隣接画素点の輝度分布強度との差分を決定し、前記差分と前記目標画素点の元の輝度とに基づいて、目標画素点を対応する目標輝度に調整することを採用する。元の画像における画素点の輝度に基づいて輝度閾値を決定し、元の画像中から輝度が輝度閾値よりも低い目標画素点を決定し、輝度閾値と輝度分布強度との差分に基づいて目標画素点の元の輝度を調整し、輝度閾値は、元の画像における画素点の輝度に基づいて動的に決定されるため、輝度閾値は元の画像における画素点の輝度分布状況により合わせるようにし、輝度閾値と輝度分布強度との差分に基づいて動的に輝度調整を行うことで、目標画素点に対する輝度調整がその周辺画素点の輝度状況を参照できるようになり、目標画素点と周辺画素点との相対的な輝度変化特性を保留し、輝度の調整が元の画像輝度分布により合わせるようになり、画像に対して輝度調整する際の調整効果を高める技術的効果を実現する。
本明細書に記載した図面は、本出願のさらなる理解を提供するために使用され、本出願の一部を構成し、本出願の例示的な実施例とその説明は本出願を説明するために使用され、本出願の不当な限定を構成するものではない。
本出願の実施例による選択可能な画像輝度の調整方法の概略図である。 本出願の実施例による選択可能な画像輝度の調整方法の適用環境の概略図である。 本出願の選択可能な実施形態による選択可能な画像輝度の調整方法の概略図である。 本出願の選択可能な実施形態による他の選択可能な画像輝度の調整方法の概略図1である。 本出願の選択可能な実施形態による他の選択可能な画像輝度の調整方法の概略図2である。 本出願の選択可能な実施形態による他の選択可能な画像輝度の調整方法の概略図3である。 図7aは本出願の実施例による選択可能な画像輝度の調整装置の概略図1である。 図7bは本出願の実施例による選択可能な画像輝度の調整装置の概略図1である。 本出願の実施例による選択可能な画像輝度の調整装置の概略図2である。 本出願の実施例による選択可能な画像輝度の調整装置の概略図3である。 本出願の実施例による選択可能な画像輝度の調整装置の概略図4である。 本出願の実施例による選択可能な画像輝度の調整装置の概略図5である。 本出願の実施例による選択可能な画像輝度の調整装置の概略図6である。 本出願の実施例による選択可能な画像輝度の調整方法の適用シーンの概略図1である。 本出願の実施例による選択可能な画像輝度の調整方法の適用シーンの概略図2である。 本出願の実施例による選択可能な電子機器の概略図である。
当業者が本出願の技術案をよりよく理解できるようにするために、本出願の実施例における技術案を本出願の実施形例の中の図面と結合して明確かつ完全に説明する。明らかに、説明された実施例は本出願の一部の実施例にすぎず、全部の実施例ではない。本出願における実施例に基づいて、当業者が進歩性に値する労働を付せずに得た他のすべての実施例は、本出願の保護範囲に属するものとする。
なお、本出願の明細書及び特許請求の範囲、ならびに上記図面中の用語「第1」、「第2」などは、類似の目標を区別するためのものであり、特定の順序や前後順位を記述するためのものではない。ここに記載されている本出願の実施例が本明細書で図示または説明されているもの以外の順序で実施されることを可能にするため、このように使用されるデータは適宜交換可能であることを理解されたい。また、「含む」と「備える」及び彼らのいかなる変形も、排他的でない包含をカバーすることを意図しており、例えば、一連のステップまたはユニットを含むプロセス、方法、システム、製品または電子機器は、必ずしも明確に挙げられているものに限定されず、明確に挙げられていないか、あるいは、これらのプロセス、方法、製品または電子機器に固有の他のステップまたはユニットを含んでいてもよい。
本出願の実施例の一態様によれば、画像輝度の調整方法を提供し、図1に示すように、当該方法は、S102、S104、S106及びS108を含む。
S102において、元の画像において、輝度が輝度閾値よりも低い目標画素点を決定し、前記輝度閾値は前記元の画像における画素点の輝度に基づいて決定される閾値である。
S104において、前記元の画像における前記目標画素点に隣接する隣接画素点の輝度分布強度を取得する。
S106において、前記輝度閾値と前記隣接画素点の輝度分布強度との差分を決定する。
S108において、前記差分と前記目標画素点の元の輝度とに基づいて、前記目標画素点を、対応する目標輝度に調整する。
任意選択で、本実施形態では、上記画像輝度の調整方法は、図2に示される端末202で構成するハードウェア環境に適用してもよい。図2に示すように、端末202は、元の画像において、輝度が輝度閾値よりも低い目標画素点を決定し、輝度閾値が、元の画像における画素点の輝度に基づいて決定される閾値であり、元の画像における目標画素点に隣接する隣接画素点の輝度分布強度を取得する。ここで述べた隣接画素点の輝度分布強度は、該目標画素点の隣接画素点の輝度状況を表現することができ、いくつかの実施例では、目標画素点に隣接する複数の隣接画素点について、該輝度分布強度は、これらの隣接画素点の輝度状況を統合的に表現するために、該複数の隣接画素点の輝度平均値であってもよい。
輝度閾値と隣接画素点の輝度分布強度との差分を決定することにより、前記差分と前記目標画素点の元の輝度とに基づいて、前記目標画素点を、対応する目標輝度に調整する。本実施例では、上記画像輝度の調整方法は、端末に画像を表示するシーンに適用してもよいが、これに限定されない。なお、上記端末は、携帯電話、タブレット、パソコン、スマートウェアラブルデバイス、スマートホームデバイスなどを含んでもよいが、これに限定されない。上記画像輝度の調整方法は、上記端末にインストールされているクライアントに適用することができるが、これに限定されず、例えば、オンライン教育アプリケーション、インスタントメッセージングアプリケーション、コミュニティ空間アプリケーション、ゲームアプリケーション、ショッピングアプリケーション、ブラウザアプリケーション、金融アプリケーション、マルチメディアアプリケーション、ライブアプリケーションなど、様々なタイプのアプリケーションに適用することができる。具体的には、上記携帯電話にインストールされているマルチメディアアプリケーションで画像を表示するシーンに適用してもよいが、これに限定されるか、又は、上記スマートウェアラブルデバイスにインストールされているインスタントメッセージングアプリケーションで画像を表示するシーンに適用してもよいが、これに限定されず、画像に対して輝度調整する際の調整効果を高める。上記はあくまでも一例であり、本実施例ではこれを何ら限定するものではない。
上記の画像輝度の調整方法は、サーバに適用することもでき、該サーバは、端末に輝度調整サービスを提供するために用いられてもよく、サーバは、該方法を実行することにより、目標画素点に対して輝度調整する目標輝度を決定でき、該目標輝度を端末に送信し、端末が該目標輝度に基づいて目標画素点に対して輝度調整するようにする。なお、該サーバは独立したサーバであってもよいし、クラスタ内のサーバやクラウドサーバなどであってもよい。
任意選択で、本実施例では、目標画素点に隣接する隣接画素点は、目標画素点の周囲の所定の範囲内の画素点であってもよいが、これに限定されない。該所定の範囲は距離値であってもよいが、これに限定されず、目標画素点との距離が距離値よりも小さい画素点は、目標画素点に隣接する隣接画素点に決定される。
任意選択で、本実施例では、目標画素点に隣接する隣接画素点は、目標画素点の所定の方向に位置する点であってもよいが、これに限定されない。例えば、目標画素点に隣接する隣接画素点は、目標画素点の上、下、左、右、左上、左下、右上、右下に位置する8つの点である。
任意選択で、本実施例では、輝度閾値は元の画像における画素点の輝度に基づいて決定される。一つの可能な実現方法では、元の画像における画素点の輝度平均値に基づいて該輝度閾値を決定することができ、元の画像における画素点の輝度平均値が高いと、画像自体が明るい可能性があり、高い輝度閾値を決定できる。元の画像における画素点の輝度平均値が低いと、画像自体が暗い可能性があり、低い輝度閾値を決定できる。このような輝度閾値を動的に決定する方法により、輝度の調整がより柔軟になり、元の画像の真のコントラストに合わせることができる。
任意選択で、本実施例では、元の画像に対する輝度調整の効率を高めるために、一つの可能な実現方法では、上記S106で輝度閾値と隣接画素点の輝度分布強度との差分を決定する方法は、
前記輝度分布強度が前記輝度閾値よりも低い場合に、前記輝度閾値と前記隣接画素点の輝度分布強度との差分を決定することを含むことができる。つまり、目標画素点の周辺画素点の輝度が暗いと決定された場合、輝度閾値と隣接画素点の輝度分布強度との差分を決定して、該目標画素点に対して輝度調整することができる。
任意選択で、本実施例では、輝度分布強度が輝度閾値よりも高い場合に、元の画像の該目標画素点での画素コントラストを保留するために、目標画素点に対して輝度調整しなくてもよい。例えば、上記ステップS104の後、輝度分布強度が輝度閾値よりも高い場合、端末は目標画素点に対する輝度調整をキャンセルしてもよい。
この態様では、隣接画素点の輝度が相対的に低い場合に、目標画素点に対して輝度調整し、隣接画素点の輝度が相対的に高い場合に、目標画素点に対する輝度調整をキャンセルすることで、輝度調整を行う画素点の数を効果的に減らし、画像の輝度調整の効率を向上させることができる。
一つの選択可能な実施形態では、図3に示すように、端末上に表示される必要がある元の画像は、図Aであり、ここで、図Aにおける画素点の輝度平均値はPであり、端末が該輝度平均値Pに基づいて決定される輝度閾値はMであり、端末は、図Aにおいて、輝度がMよりも低い目標画素点を点Bと点Cと決定し、端末は、図Aにおいて点Bに隣接する隣接画素点の輝度分布強度をN、点Cに隣接する隣接画素点の輝度分布強度をQと取得する。点Bに対応する輝度分布強度NがMよりも低い場合、MとNとの差分、すなわちM-Nを決定し、M-Nに対応する目標輝度調整曲線をS1と決定すると、目標輝度調整曲線S1に従って、点Bの元の輝度Lを、目標輝度調整曲線に示された目標輝度L’に調整する。点Cに対応する輝度分布強度QがMよりも高い場合、点Cに対する輝度調整をキャンセルする。
本出願の実施例では、S108で前記差分と前記目標画素点の元の輝度とに基づいて、前記目標画素点を、対応する目標輝度に調整する方法は、
前記差分に対応する目標輝度調整曲線を決定することを含むことができる。ここで、該目標輝度調整曲線は、異なる目標画素点と隣接画素点に対する輝度分布強度の相対輝度変化を表現することができ、目標画素点を調整して目標輝度を達成する必要がある。
これにより、目標輝度調整曲線に従って、目標画素点の元の輝度を前記目標輝度調整曲線に示された目標輝度に調整する。
このような目標輝度調整曲線に基づいて輝度調整を行う方式により、目標画素点の輝度の動的調整を実現する。
以上の手順により、元の画像における画素点の輝度に基づいて輝度閾値を決定し、元の画像中から輝度が輝度閾値よりも低い目標画素点を決定し、輝度閾値と輝度分布強度との差分に基づいて目標画素点の元の輝度を調整することがわかる。輝度閾値は、元の画像における画素点の輝度に基づいて動的に決定されるため、輝度閾値は元の画像における画素点の輝度分布状況により合わせるようにし、輝度閾値と輝度分布強度との差分に基づいて動的に輝度調整を行うことで、目標画素点に対する輝度調整がその周辺画素点の輝度状況を参照できるようになり、目標画素点と周辺画素点との相対的な輝度変化特性を保留し、輝度の調整が元の画像輝度分布により合わせるようになり、画像に対して輝度調整する際の調整効果を高める技術的効果を実現する。
選択可能な案として、差分に対応する目標輝度調整曲線を決定することは、S11とS12を含む。
S11において、差分に基づいて、目標画素点に対応する調整強度を決定し、差分が大きいほど、調整強度が大きくなる。
S12において、調整強度と輝度閾値とに基づいて目標輝度調整曲線を決定する。
ここで、上記の調整強度は、目標画素点に対して輝度調整する強度の大きさを表し、調整強度が大きいほど目標画素点を調整した後の目標輝度が大きくなり、調整強度が小さいほど目標画素点を調整した後の目標輝度が小さくなる。
任意選択で、本実施例では、輝度調整曲線を予め複数設定しておくことができ、差分に基づいて決定された調整強度と元の画像における画素点の輝度平均値とに基づいて、これらの輝度調整曲線の中から輝度閾値に対応する一つの輝度調整曲線を目標輝度調整曲線として決定することができる。
例えば、画像における画素輝度が輝度閾値よりも低い場合、画素点の周囲の隣接画素点の輝度分布強度と輝度閾値との関係から輝度調整の根拠を得ることができる。Sは、該目標画素点の輝度の調整強度を代表しており、目標画素点の周囲の隣接画素点の輝度分布強度値が輝度閾値Tよりもはるかに低い場合に、その画素の輝度をもっと増強される必要があるからである。逆に、目標画素点の周囲の隣接画素点の輝度分布強度が輝度閾値Tよりもわずかに低い場合に、その画素輝度はわずかに増強さればよい。このようにすると、画素が広い暗部領域にある場合に、その暗部領域全体の輝度が大幅に増強されることを確保する。逆に、画素が小さな暗部にあるが周囲の隣接画素点の輝度が高い場合に、その暗部はわずかに増強されるだけで、その暗部の独自性が確保される。
選択可能な実施形態では、図4に示すように、目標画素点が輝度を調整する必要がある場合、上記の状況に応じた結果により、調整された輝度強度は輝度値0と輝度閾値Tの間に収束することを保証する。前述の調整強度Sに基づいて、目標輝度調整曲線の曲率を調整し、例えば、本来0.15の輝度値であるが、異なる調整強度S(1.0、2.0、3.0)の影響によって、異なる目標輝度(0.165、0.185、0.215)に輝度を増強させる。
任意選択で、本実施形態では、
S=(T-La)*kによって調整強度を決定してもよいが、これに限定されなく、ここで、Sは調整強度であり、Tは輝度閾値であり、Laは前記隣接画素点の輝度分布強度であり、kは定数因子である。
任意選択で、本実施形態では、
L’=Lc+S*sin(PI*Lc/T)によって目標輝度調整曲線を決定してもよいが、これに限定されなく、ここで、L’は目標輝度調整曲線であり、Lcは元の輝度であり、PIは定数πである。
任意選択で、本実施形態では、上記の輝度調整式は、大量かつ時間のかかる数学演算関数を使用する必要はなく、数学演算ロジック全体はグラフィックスプロセッシングユニット(Graphics Processing Unit,GPU)のパイプラインでシェーダ(Shader)によって直接実装して実行するのにも適している。これは、Mipmapの機能につながるとともに、実行全体のコストを最小限に抑え、装置の演算効率やメモリ使用のニーズが低く、演算効率やメモリ使用のニーズが低いスマートフォンで高品質な暗部調整レンダリングメカニズムを実現させる。
好ましい案として、元の画像において輝度が輝度閾値よりも低い目標画素点を決定する前に、S21とS22さらに含む。
S21において、GPUグラフィックスパイプラインのMipmap機能により、元の画像における画素点の輝度平均値を決定する。
S22において、元の画像における画素点の輝度平均値に基づいて輝度閾値を決定し、輝度平均値が大きいほど輝度閾値が大きくなる。
輝度調整の流れの中で、画像全体の輝度平均値を参照して、輝度閾値を動的に生成し、この閾値によって画像におけるどの画素が輝度調整を行う必要があるかを判断する必要がある。また、画素輝度を調整する際に、まずその画素の周囲、すなわち隣接画素点の輝度分布強度を計算し、この輝度分布強度によって輝度の調整に必要な強度を決定する必要もある。この部分を従来のCPUで演算する場合、まず画像全体の画素をポーリングして輝度平均値を算出しなければならず、輝度平均値から輝度閾値を生成する場合、再び画像全体をポーリングし画素輝度とその輝度閾値との差分を比較し、輝度を調整する必要がある画素を決定しなければならない。次に、その画素輝度を再調整する場合、その画素の周囲、すなわち隣接画素点の輝度をポーリングすることで周囲の輝度分布強度を算出し、後の画素輝度調整の根拠とする必要もある。このような計算は、多大な時間がかかるだけでなく、大画面解像度の画像結果の場合、暗部の輝度を常に調整するというニーズを満たすことはほとんど不可能である。
任意選択で、本実施例では、現在のスマートフォンには高性能なGPUグラフィックスパイプラインのアーキテクチャが搭載されている。これらのGPUグラフィックスパイプラインはすべて同じ規格(OpenGL ES)に基づいて策定されているため、平均輝度と周囲の輝度分布強度の計算をGPUグラフィックスパイプラインを通じて行うことができれば、必要な計算時間を大幅に短縮できるだけでなく、ほとんどのスマートフォンでこの方法を実行できることも保証する。
任意選択で、本実施形態では、GPUグラフィックスパイプラインにより平均輝度と周囲、すなわち隣接画素点の輝度分布強度を算出する方法はいくつかあり、例えばCompute Shaderプログラムを作成して計算してもよく、複数回のマッピング次元削減レンダリングによって実現してもよい。
任意選択で、本実施形態では、GPUグラフィックスパイプラインのMipmap機能を用いて輝度平均値と輝度分布強度を決定してもよい。
選択可能な案として、GPUグラフィックスパイプラインのMipmap機能により、元の画像における画素点の輝度平均値を決定することは、S31とS32を含む。
S31において、Mipmap機能により元の画像に対応する第1画像を生成し、第1画像の解像度は1×1である。
S32において、第1画像輝度を、元の画像における画素点の輝度平均値として決定する。
任意選択で、本実施例では、GPUグラフィックスパイプラインに対してMipmapの生成指示を出す場合、GPUの内部で解像度が元の画像よりも低い画像を2のべき乗で減衰して生成し、1×1である解像度の第1画像の輝度を、元の画像における画素点の輝度平均値として確定することができる。
例えば、図5に示すように、一番左の元の画像は128×128の解像度の元の画像であり、GPUグラフィックスパイプラインにMipmapの生成命令を出すと、GPU内部で64×64、32×32、16×16、8×8、4×4、2×2、1×1などの異なる解像度の縮小画像をそれぞれ2のべき乗減衰で生成する。これらの間の各レベルの小画像の各画素の色は、前のレベルの大画像の相対位置にある4つの画素の色を平均した色値である。つまり、各レベルの小画像は前のレベルの大画像の色平均結果と見なすことができる。上記のプロセスを経て、1×1解像度での画素色値は、元の128×128解像度のすべての画素色を合計した色値と考えることができる。Mipmapの機能はGPUグラフィックスパイプラインでハードウェアにより直接生成されるため、生成効率が非常に速く、余分な計算コストがほとんどないツールと考えられる。
このMipmapの機能により、1×1の画素画像から画面全体のすべての色の平均値を極めて低コストで取得することができる。これにより、この1×1の画素輝度値を輝度閾値として、後続の輝度を調整する必要がある暗部の判断根拠とすることができる。
選択可能な案として、元の画像における目標画素点に隣接する隣接画素点の輝度分布強度を取得することは、S41~S44を含む。
S41において、GPUグラフィックスパイプラインのMipmap機能により、元の画像に対応する第2画像が生成し、前記第2画像の解像度が元の画像の解像度よりも小さい。
S42において、目標画素点の元の画像における第1位置を取得する。
S43において、第2画像における第1位置に対応する第2位置を決定する。
S44において、第2画像における第2位置にある画素点の輝度を、隣接画素点の輝度分布強度として決定する。
任意選択で、本実施例では、Mipmapの機能により、隣接画素点の輝度分布強度演算の流れを加速することができる。Mipmapの中間階層の低解像度(例えば、64×64)を参考に使用すると、64×64のような解像度の画像における各画素の色輝度値は、元の画像における(画像幅を64で割る)及び(画像高さを64で割る)ブロック色輝度平均値とみなすことができる。
選択可能な実施形態では、図6に示すように、元の画像の画素輝度値が輝度閾値よりも小さい場合、つまり輝度を調整する必要がある場合は、64×64の解像度のような画像の同じ画像における座標位置を直接調べることができ、例えば、目標画素点の元の画像における座標位置(0.3,0.5)において、画像における対応する64×64解像度画像の座標位置が(0.3,0.5)である画素輝度を調べることができる。ここで、コンピュータグラフィクスマッピング内部差分メカニズムを使用すると、元の画像におけるこの画素の周囲「画像幅を64で割る」及び画像高さを64で割る」とのブロック色平均輝度データを返す。この平均輝度データは、周囲すなわち隣接画素点の輝度分布強度とし、この画素輝度を調整する根拠とすることができる。
なお、前述の各方法の実施例については、簡単に説明するため、これらを一連の動作の組み合わせとして表現したが、本出願によると、いくつかのステップは他の順序を採用してもよいし、あるいは同時に行ってもよいため、本出願は記述した動作の順序に限定されないことを当業者は理解すべきである。また、本明細書に記述された実施形態はすべて好ましい実施形態であり、関連する動作及びモジュールは必ずしも本出願に必須ではないことを当業者も理解すべきである。
以上の実施形態に対する説明によって、上記の実施例による方法は、ソフトウェアに必要な汎用的なハードウェアプラットフォームを組み込む方法で実現できること、またもちろんハードウェアを介してもよいが、多くの場合前者がより好ましい実施形態であることが当業者には明らかである。このような理解に基づいて、本出願の技術案は、本質的に、または従来技術に貢献する部分は、記憶媒体(例えば、ROM/RAM、ディスク、光ディスク)に格納されたソフトウェア製品の形で具現化することができ、1台の端末装置(携帯電話、コンピュータ、サーバ、またはネットワーク装置などであってもよい)に本出願の各実施例で説明される方法を実行させるためのいくつかの命令を含んでいる。
本出願の実施形態の別の態様により、上記画像輝度の調整方法を実施するための画像輝度の調整装置をさらに提供し、図7aに示すように、該装置は、
元の画像において、輝度が輝度閾値よりも低い目標画素点を決定するためのものであり、前記輝度閾値は前記元の画像における画素点の輝度に基づいて決定される閾値である第1決定モジュール702と、
元の画像における目標画素点に隣接する隣接画素点の輝度分布強度を取得するための取得モジュール704と、
輝度閾値と隣接画素点の輝度分布強度との差分を決定するための第2決定モジュール706と、
前記差分と前記目標画素点の元の輝度とに基づいて、前記目標画素点を対応する目標輝度に調整するための調整モジュール710とを含む。
任意選択で、本実施例では、図7bに示すように、前記装置は、
差分に対応する目標輝度調整曲線を決定するための第3決定モジュール708をさらに含んでおり、
調整モジュール710は、具体的に、目標輝度調整曲線に従って、目標画素点の元の輝度を、目標輝度調整曲線に示された目標輝度に調整するために用いられる。
任意選択で、本実施例では、第2決定モジュールは、具体的に、
前記輝度分布強度が前記輝度閾値よりも低い場合に、前記輝度閾値と前記隣接画素点の輝度分布強度との差分を決定するために用いられる。
任意選択で、本実施例では、目標画素点に隣接する隣接画素点は、目標画素点の周囲の所定の範囲内の画素点であってもよいが、これに限定されない。該所定の範囲は距離値であってもよいが、これに限定されず、目標画素点との間の距離が該距離値よりも小さい画素点は、目標画素点に隣接する隣接画素点に決定される。
任意選択で、本実施例では、目標画素点に隣接する隣接画素点は、目標画素点の所定の方向に位置する点であってもよいが、これに限定されない。例えば、目標画素点に隣接する隣接画素点は、目標画素点の上、下、左、右、左上、左下、右上、右下に位置する8つの点である。
任意選択で、本実施例では、輝度閾値は元の画像における画素点の輝度に基づいて決定される。一つの可能な実現方法では、元の画像における画素点の輝度平均値に基づいて該輝度閾値を決定することができ、例えば、元の画像における画素点の輝度平均値が高い場合、画像自体が明るい可能性がある場合は、高い輝度閾値を決定することができる。元の画像における画素点の輝度平均値が低い場合、画像自体が暗い可能性がある場合は、低い輝度閾値を決定できる。このような輝度閾値を動的に決定することで、輝度の調整がより柔軟になり、元の画像の真のコントラストに合わせることができる。
上記装置により、元の画像における画素点の輝度に基づいて輝度閾値を決定し、元の画像中から輝度が輝度閾値よりも低い目標画素点を決定し、輝度閾値と輝度分布強度との差分に基づいて目標画素点の元の輝度を調整し、輝度閾値は、元の画像における画素点の輝度に基づいて動的に決定されるため、輝度閾値は元の画像における画素点の輝度分布状況により合わせるようにし、輝度閾値と輝度分布強度との差分に基づいて動的に輝度調整を行うことで、目標画素点に対する輝度調整がその周辺画素点の輝度状況を参照できるようになり、目標画素点と周辺画素点との相対的な輝度変化特性を保留し、輝度の調整が元の画像輝度分布により合わせるようになり、画像に対して輝度調整する際の調整効果を高める技術的効果を実現する。
図8は、本出願の実施形態で提供される画像輝度の調整装置の概略図2である。任意選択で、前記装置は、
輝度分布強度が輝度閾値よりも高い場合に、目標画素点に対する輝度調整をキャンセルするキャンセルモジュール802をさらに含む。
図9は、本出願の実施形態に基づいて提供される画像輝度の調整装置の概略図3である。第3決定モジュール780は、
差分に基づいて、目標画素点に対応する調整強度を決定するためのものであり、差分が大きいほど調整強度が大きくなる第1決定ユニット902と、
調整強度と輝度閾値とに基づいて目標輝度調整曲線を決定するための第2決定ユニット904とを含む。
任意選択で、本実施例では、輝度調整曲線を予め複数設定しておくことができ、差分に基づいて決定された調整強度と元の画像における画素点の輝度平均値とに基づいて、これらの輝度調整曲線の中から、輝度閾値に対応する一つの輝度調整曲線を目標輝度調整曲線として決定してもよい。
任意選択で、第1決定ユニットは、
S=(T-La)*kによって調整強度を決定するために用いられ、
Sは調整強度であり、Tは輝度閾値であり、Laは隣接画素点の輝度分布強度であり、kは定数因子である。
第2決定ユニットは、
L’=Lc+S*sin(PI*Lc/T)によって目標輝度調整曲線を決定するために用いられ、
L’は目標輝度調整曲線であり、Lcは元の輝度であり、PIは定数πである。
図10は、本出願の実施形態に基づいて提供される画像輝度の調整装置の概略図4である。任意選択で、上記装置は、
グラフィックスプロセッシングユニットGPUグラフィックスパイプラインのMipmap機能により、元の画像における画素点の輝度平均値を決定するための第4決定モジュール1002と、
元の画像における画素点の輝度平均値に基づいて、輝度閾値を決定するためのものであり、輝度平均値が大きいほど輝度閾値が大きくなる第5決定モジュール1004とをさらに含む。
任意選択で、本実施例では、現在のスマートフォンには高性能なGPUグラフィックスパイプラインのアーキテクチャが搭載されている。これらのGPUグラフィックスパイプラインはすべて同じ規格(OpenGL ES)に基づいて策定されているため、平均輝度と周囲の輝度分布強度の計算をGPUグラフィックスパイプラインを通じて行うことができれば、必要な計算時間を大幅に短縮できるだけでなく、ほとんどのスマートフォンでこの方法を実行できることを保証することもできる。
任意選択で、本実施例では、GPUグラフィックスパイプラインのMipmap機能を用いて輝度平均値と輝度分布強度を決定してもよい。
図11は、本出願の実施例に基づいて提供される画像輝度の調整装置の概略図5である。任意選択で、第4決定モジュール1002は、
Mipmap機能により元の画像に対応する第1画像を生成するためのものであり、第1画像の解像度は1×1である第1生成ユニット1102と、
第1画像の輝度を、元の画像における画素点の輝度平均値として決定するための第3決定ユニット1104とを含む。
任意選択で、本実施例では、GPUグラフィックスパイプラインに対してMipmapの生成命令を出す場合、GPU内部で解像度が元の画像よりも低い画像を2のべき乗で減衰して生成し、1×1である解像度の第1画像輝度を元の画像における画素点の輝度平均値として確定することができる。
図12は、本出願の実施形態に基づいて提供される画像輝度の調整装置の概略図6である。取得モジュール704は、
GPUグラフィックスパイプラインのMipmap機能により、元の画像に対応する第2画像を生成するためのものであり、第2画像の解像度が元の画像の解像度よりも小さい第2生成ユニット1202と、
目標画素点の元の画像における第1位置を取得するための取得ユニット1204と、
第2画像における第1位置に対応する第2位置を決定するための第4決定ユニット1206と、
第2画像における第2位置にある画素点の輝度を隣接画素点の輝度分布強度として決定するための第5決定ユニット1208とを含む。
任意選択で、本実施例では、Mipmapの機能により、隣接画素点の輝度分布強度演算の流れを加速することができる。Mipmapの中間階層の低解像度(例えば、64×64)を参考に使用すると、64×64のような解像度の画像における各画素の色輝度値は、元の画像における「画像幅を64で割る」と「画像高さを64で割る」とのブロック色輝度平均値とみなすことができる。
本出願の実施例の適用環境は、上記の実施例の適用環境を参照することができるが、これに限定するものではなく、本実施例では説明を省略する。本出願の実施例は、上記したリアルタイム通信を実施するための接続方法の選択可能な具体的な適用例を提供する。
選択可能な実施例として、上記の画像輝度の調整方法は、図13に示される端末に画像を表示するシーンに適用され得るが、これに限定するものではない。このシーンでは、画像の輝度調整システムを提供し、該システムは、以下のモジュールを含む。
輝度分布マップジェネレータ(Luminance Propagation Map Generator)モジュールは、輝度分布マップ(Luminance Propagation Map)が、画像における画素の周囲の他の画素の輝度分布強度状況を記録することを意味し、画素輝度を増強する必要がある場合に参照される目標輝度調整曲線の曲率を判断するために使用される。この画像は、Mipmapのあるレベルの低解像度の小画像で直接表すことができる。
輝度平均値マップ(Luminance Average Map)は、画面全体の平均輝度結果を意味する。この画像は、Mipmapにおける最低解像度1×1の小画像で直接表すことができる。
Luminance Propagation Map Generatorモジュールの機能は、主にLuminance Propagation MapとLuminance Average Mapを生成することであり、これまでの説明によると、モジュール全体の機能は、GPUグラフィックスパイプラインのMipmap機能を呼び出した後、解像度の低いある階層の小画像と、1×1である解像度の小画像を取るだけで得られる。モジュール全体はMipmap機能を使用しているため、必要な演算コストを大幅に削減している。
輝度閾値生成器(Dark-Threshold Generator)モジュールは、Dark-Thresholdが輝度閾値であり、画像における画素に輝度最適化が必要かどうかを判断するために用いられる。この輝度閾値は画像全体の平均輝度値に基づいているため、直前のLuminance Propagation Map Generatorで生成されたMipmapにおける1×1解像度の小画像の結果をそのまま受け取ることができ、余分な演算コストをかけることなく直接得ることができる。
輝度曲線調整器(Luminance Curve Adjustor)モジュールは、画素輝度を調整するための曲線発生器モジュールである。主に、画素の周囲の輝度分布強度と輝度閾値との差異によって、この差分の曲率に合わせる目標輝度調整曲線を生成し、この曲線によって目標輝度を決定する。この曲線発生器の数式は先に示したように、いずれも極めて安い数式の組み合わせである。また、曲線生成を加えたプロセスは、画素を調整するかどうかの後続の処理と一緒にGPUグラフィックスパイプライン内のFragment Shaderに統合することができ、GPUネイティブのマルチスレッド同期処理メカニズムにより、演算全体のコストが非常に低くなり、暗部最適化のメカニズムが効果的に機能することを保証する。
選択可能な実施形態では、図14に示すように、元の画像は、Luminance Propagation Mapモジュールを介して、Mipmapの機能を利用して、各画素の周囲の輝度分布の強度を表す1枚のLuminance Propagation Mapと、1×1の解像度である1枚の全体輝度平均マップを生成する。
画像における各画素はGPUグラフィックスパイプライン内のFragment Shaderが実行される。ここで、1×1解像度である輝度平均マップから画像全体の輝度平均値を取得し、Dark-Threshold Generatorを通じて輝度閾値を生成する。画像の各画素は、Luminance Propagation Mapを調べることで、画素の周囲の輝度分布強度を取得する。この画素の周囲の輝度分布強度と輝度閾値とを比較し、画素の周囲の輝度分布強度が輝度閾値よりも高いと、輝度の調整を行わず、画素の周囲の輝度分布強度が輝度閾値よりも低いと、画素の周囲の輝度分布強度と輝度閾値との差分を計算する。輝度の差分は、Luminance Curve Adjustorを通じて、この差分に合わせるクエリ曲線を得る。その後、曲線によって、この画素の目標輝度を判定して最適化する。
以上の形態により、スマートフォンに必須のGPUグラフィックスパイプラインプロセスのメカニズムを用いて、本来は多大な演算コストとシステムリソースを必要としていた地域的な動的映像輝度増強技術を実現することができる。本形態は、ただハードウェアに必須のGPUグラフィックスパイプライン手段で実現されるため、市販されているスマートフォン製品のほとんどで動作できる。携帯電話の性能が年々最適化されるにつれて、GPUグラフィックパイプラインユニットの性能も年々更新され、本技術もその恩恵を受けて、より多くの計算性能コストを下げることができる。
本出願の実施形態の別の態様により、上記画像輝度の調整を実施するための電子機器をさらに提供する。図15に示すように、該電子機器は、1つまたは複数(図示ではただ1つのみ)のプロセッサ1502と、メモリ1504と、センサ1506と、エンコーダ1508と、伝送装置1510とを備える。該メモリはコンピュータプログラムを格納し、該プロセッサは上記の方法の実施形態のうちのいずれかのステップをコンピュータプログラムによって実行するように設けられる。
任意選択で、本実施例では、上記電子機器は、コンピュータネットワークの複数のネットワーク電子機器のうちの少なくとも1つに位置してもよい。
任意選択で、本実施例では、上記プロセッサは、コンピュータプログラムによって、S51~S54を実行するように構成してもよい。
S51において、元の画像において、輝度が輝度閾値よりも低い目標画素点を決定し、前記輝度閾値は前記元の画像における画素点の輝度に基づいて決定される閾値である。
S52において、前記元の画像における前記目標画素点に隣接する隣接画素点の輝度分布強度を取得する。
S53において、前記輝度閾値と前記隣接画素点の輝度分布強度との差分を決定する。
S54において、前記差分と前記目標画素点の元の輝度とに基づいて、前記目標画素点を、対応する目標輝度に調整する。
任意選択で、図15に示す構成は単なる例示であり、電子機器は、スマートフォン(例えば、Androidフォン、iOSフォンなど)、タブレットPC、パームトップ、及びモバイルインターネットデバイス((Mobile Internet Devices,MID)、PADなどの端末デバイスであり得ることを当業者は理解すべきである。図15は、上記の電子機器の構成を限定するものではない。例えば、電子機器は、図15に示す構成要素よりも多くても少なくてもよい構成要素(例えば、ネットワークインタフェース、表示装置など)を含んでもよいし、図15に示す構成とは異なる構成を有していてもよい。
なお、メモリ1504はソフトウェアプログラム及びモジュール、たとえば本出願の実施形態における画像輝度の調整方法及び装置に対応するプログラム命令/モジュールを記憶するために使用され、プロセッサ1502は、メモリ1504に記憶されたソフトウェアプログラム及びモジュールを実行することによって、様々な機能アプリケーション及びデータ処理を実行し、すなわち前述の目標コンポーネントの制御方法を実現する。メモリ1504は、高速ランダムメモリを含んでもよく、また、1または複数の磁気記憶デバイス、フラッシュメモリ、または他の不揮発性固体メモリのような不揮発性メモリを含んでいてもよい。いくつかの例では、メモリ1504は、ネットワークを介して端末に接続可能なプロセッサ1502に対して遠隔設定されたメモリをさらに含んでもよい。上記のネットワークの例には、インターネット、イントラネット、ローカルエリアネットワーク、移動体通信ネットワーク、及びそれらの組み合わせを含んでもよいが、これらに限定されない。
上記伝送装置1510は、1つのネットワークを介してデータを受信または送信するために使用される。上記のネットワークの具体例は、有線ネットワーク及び無線ネットワークを含んでもよい。一例では、伝送装置1510は、ネットワークケーブルを介して他のネットワークデバイスとルータに接続され、インターネットまたはローカルエリアネットワークと通信可能なネットワークアダプタ(Network Interface Controller、NIC)を含む。一例では、伝送装置1510は、無線によってインターネットと通信するための無線周波数(Radio Frequency、RF)モジュールである。
具体的には、メモリ1504はアプリケーションプログラムを記憶するために使用される。
本発明の実施例は、記憶媒体をさらに提供し、該記憶媒体にココンピュータプログラムを記憶しており、前記コンピュータプログラムは、実行される場合に上記の方法のいずれかの実施形態の各ステップを実行させるように設置される。
任意選択で、本実施例では、上記記憶媒体は、S61~S64を実行させるためのコンピュータプログラムを記憶するように構成してもよい。
S61において、元の画像において、輝度が輝度閾値よりも低い目標画素点を決定し、前記輝度閾値は前記元の画像における画素点の輝度に基づいて決定される閾値である。
S62において、前記元の画像における前記目標画素点に隣接する隣接画素点の輝度分布強度を取得する。
S63において、前記輝度閾値と前記隣接画素点の輝度分布強度との差分を決定する。
S64において、前記差分と前記目標画素点の元の輝度とに基づいて、前記目標画素点を対応する目標輝度に調整する。
任意選択で、記憶媒体は、さらに、上記実施例の方法に含まれる各ステップを実行させるためのコンピュータプログラムを記憶するように設置されるが、本実施例ではこれについては説明を省略する。
任意選択で、本実施例では、上記の実施例の各種方法の全部または一部のステップを、プログラムによって端末装置に関連するハードウェアに指示することで実現できることを当業者は理解すべきである。該プログラムは、コンピュータ読み取り可能な記憶媒体に記憶することができ、記憶媒体は、フラッシュメモリ、読み出し専用メモリ(Read-Only Memory,ROM)、ランダムアクセスメモリ(Random Access Memory,RAM)、磁気ディスク、又は光ディスク等を含むことができる。
本開示の実施例は、命令を含むコンピュータプログラム製品をさらに提供し、コンピュータ上で実行される場合に、コンピュータに上記のいずれかに記載の方法を実行させる。
上記本出願の実施形態の番号は説明のためのものであり、実施形態の優劣を表すものではない。
上記実施例における統合的な手段がソフトウェア機能手段の形で実現され、独立した製品として販売または使用される場合、上記コンピュータ読み取り可能な記憶媒体に記憶されていてもよい。このような理解に基づいて、本出願の技術案は、本質的に、または従来技術に貢献する部分、あるいは該技術案の全部または一部は、ソフトウェア製品の形で具現化されてもよい。該コンピュータソフトウェア製品は、記憶媒体に記憶され、本出願の各実施例に記載する方法のステップの全部または一部を1つまたは複数のコンピュータ装置(パーソナルコンピュータ、サーバ、またはネットワーク装置などであってもよい)に実行させるための命令を含む。
本出願の上記実施例では、それぞれの実施例の説明に重点が置かれ、ある実施形態では詳述しない部分について、他の実施形態の関連する説明を参照してください。
本明細書で提供されるいくつかの実施例では、開示されたクライアントは他の方法で実現されてもよいことが理解すべきである。なお、上記装置の実施形態は単なる例示にすぎず、例えば、その手段の区分は、単なる論理的機能の区分であり、実際には、追加の区分、例えば、複数のユニットまたはコンポーネントが結合されても別のシステムに統合されてもよいし、あるいは、いくつかの特徴が無視されてもよいし、実行されなくてもよい。一方、表示または議論された相互間の結合または直接結合または通信接続は、いくつかのインターフェース、手段またはモジュールを介した間接的結合または通信接続であってもよく、電気的または他の形態であってもよい。
前記分離部品として説明するユニットは、物理的に分離されていてもいなくてもよく、ユニットとして表示する部品は、物理的なユニットであってもいなくてもよく、一箇所にあってもよく、あるいは複数のネットワーク手段に分散してもよい。本実施例による目的は、実際の必要に応じてその一部または全部の手段を選択して実現することができる。
また、本出願の各実施例における各機能ユニットは、1つの処理ユニットに統合してもよいし、各ユニットが単独で物理的に存在してもよいし、2つ以上のユニットが1つのユニットに統合してもよい。上記の統合されたユニットは、ハードウェアの形で実現してもよいし、ソフトウェア機能ユニットの形で実現してもよい。
以上の説明は、本出願の好ましい実施形態にすぎない。指摘すべきなのは、当業者にとって、本出願の構想から逸脱しない前提で、さらに、若干の変形及び改良を行ってもよく、これらはいずれも本出願の保護範囲に当該当すべきである。
202 端末
702 第1決定モジュール
704 取得モジュール
706 第2決定モジュール
708 第3決定モジュール
710 調整モジュール
780 第3決定モジュール
802 キャンセルモジュール
902 第1決定ユニット
904 第2決定ユニット
1002 第4決定モジュール
1004 第5決定モジュール
1102 第1生成ユニット
1104 第3決定ユニット
1202 第2生成ユニット
1204 取得ユニット
1206 第4決定ユニット
1208 第5決定ユニット
1502 プロセッサ
1504 メモリ
1506 センサ
1508 エンコーダ
1510 伝送装置

Claims (12)

  1. 画像輝度の調整装置により実行される、画像輝度の調整方法であって、
    元の画像において、輝度が輝度閾値よりも低い目標画素点を決定するステップであって、前記輝度閾値は、前記元の画像における画素点の輝度平均値に基づいて、動的に決定される閾値であるステップと、
    前記元の画像における、前記目標画素点に隣接する隣接画素点の輝度分布強度を取得するステップと、
    前記輝度閾値と前記隣接画素点の輝度分布強度との差分を決定するステップと、
    前記差分と前記目標画素点の元の輝度とに基づいて、前記目標画素点を、対応する目標輝度に調整するステップとを含む方法。
  2. 前記差分と前記目標画素点の元の輝度に基づいて、前記目標画素点を、対応する目標輝度に調整するステップは、
    前記差分に対応する目標輝度調整曲線を決定するステップと、
    前記目標輝度調整曲線に従って、前記目標画素点の元の輝度を、前記目標輝度調整曲線に示された目標輝度に調整するステップとを含む請求項1に記載の方法。
  3. 前記輝度閾値と前記隣接画素点の輝度分布強度との差分を決定するステップは、
    前記輝度分布強度が前記輝度閾値よりも低い場合に、前記輝度閾値と前記隣接画素点の輝度分布強度との差分を決定するステップを含む請求項1または2に記載の方法。
  4. 前記元の画像における前記目標画素点に隣接する隣接画素点の輝度分布強度を取得した後に、前記方法は、
    前記輝度分布強度が前記輝度閾値よりも高い場合に、前記目標画素点に対する輝度調整をキャンセルするステップをさらに含む請求項3に記載の方法。
  5. 前記差分に対応する目標輝度調整曲線を決定するステップは、
    前記差分に基づいて前記目標画素点に対応する調整強度を決定し、前記差分が大きいほど前記調整強度が大きくなるステップと、
    前記調整強度と前記輝度閾値とに基づいて前記目標輝度調整曲線を決定するステップとを含む請求項2に記載の方法。
  6. 前記差分に基づいて前記目標画素点に対応する調整強度を決定するステップは、
    S=(T-La)*kにより前記調整強度を決定するステップを含み、
    Sは前記調整強度であり、Tは前記輝度閾値であり、Laは前記隣接画素点の輝度分布強度であり、kは定数因子であり、
    前記調整強度と前記輝度閾値とに基づいて前記目標輝度調整曲線を決定するステップは、
    L’=Lc+S*sin(PI*Lc/T)により前記目標輝度調整曲線を決定するステップを含み、
    L’は前記目標輝度調整曲線であり、Lcは前記元の輝度であり、PIは定数πである請求項5に記載の方法。
  7. 前記元の画像において輝度が輝度閾値よりも低い目標画素点を決定する前に、前記方法は、
    グラフィックスプロセッシングユニットGPUグラフィックスパイプラインのMipmap機能により、前記元の画像における画素点の輝度平均値を決定するステップと、
    前記元の画像における画素点の輝度平均値に基づいて前記輝度閾値を決定し、前記輝度平均値が大きいほど前記輝度閾値が大きくなるステップとをさらに含む請求項に記載の方法。
  8. 前記グラフィックスプロセッシングユニットGPUグラフィックスパイプラインのMipmap機能により、前記元の画像における画素点の輝度平均値を決定するステップは、 前記Mipmap機能により前記元の画像に対応する第1画像を生成し、前記第1画像の解像度は1×1であるステップと、
    前記第1画像輝度を、前記元の画像における画素点の輝度平均値として決定するステップとを含む請求項に記載の方法。
  9. 前記元の画像における前記目標画素点に隣接する隣接画素点の輝度分布強度を取得するステップは、
    前記グラフィックスプロセッシングユニットGPUグラフィックスパイプラインのMipmap機能により、前記元の画像に対応する第2画像を生成し、前記第2画像の解像度が元の画像の解像度よりも小さくなるステップと、
    前記目標画素点の前記元の画像における第1位置を取得するステップと、
    前記第2画像における前記第1位置に対応する第2位置を決定するステップと、
    前記第2画像における前記第2位置にある画素点の輝度を、前記隣接画素点の輝度分布強度として決定するステップとを含む請求項7または8に記載の方法。
  10. 画像輝度の調整装置であって、
    元の画像において、輝度が輝度閾値よりも低い目標画素点を決定するためのものであり、前記輝度閾値は、前記元の画像における画素点の輝度平均値に基づいて、動的に決定される閾値である第1決定モジュールと、
    前記元の画像における前記目標画素点に隣接する隣接画素点の輝度分布強度を取得するための取得モジュールと、
    前記輝度閾値と前記隣接画素点の輝度分布強度との差分を決定するための第2決定モジュールと、
    前記差分と前記目標画素点の元の輝度とに基づいて、前記目標画素点を対応する目標輝度に調整するための調整モジュールとを含む装置。
  11. メモリとプロセッサとを備える電子機器であって、
    前記メモリには、コンピュータプログラムを記憶しており、
    前記プロセッサは、前記コンピュータプログラムによって前記請求項1~のいずれか1項に記載の方法を実行するように設置される電子機器。
  12. 命令を含むコンピュータプログラムであって、
    コンピュータ上で実行される場合に、請求項1~のいずれか1項に記載の方法を前記コンピュータに実行させるコンピュータプログラム。
JP2021547520A 2019-05-05 2020-04-14 画像輝度の調整方法及び装置、電子機器及びコンピュータプログラム Active JP7226893B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910368934.3 2019-05-05
CN201910368934.3A CN110120021B (zh) 2019-05-05 2019-05-05 图像亮度的调整方法、装置、存储介质及电子装置
PCT/CN2020/084581 WO2020224390A1 (zh) 2019-05-05 2020-04-14 图像亮度的调整方法、装置、存储介质及电子装置

Publications (2)

Publication Number Publication Date
JP2022520264A JP2022520264A (ja) 2022-03-29
JP7226893B2 true JP7226893B2 (ja) 2023-02-21

Family

ID=67520359

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021547520A Active JP7226893B2 (ja) 2019-05-05 2020-04-14 画像輝度の調整方法及び装置、電子機器及びコンピュータプログラム

Country Status (7)

Country Link
US (2) US11587530B2 (ja)
EP (1) EP3968268A4 (ja)
JP (1) JP7226893B2 (ja)
KR (1) KR102548745B1 (ja)
CN (1) CN110120021B (ja)
SG (1) SG11202105754RA (ja)
WO (1) WO2020224390A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110120021B (zh) 2019-05-05 2021-04-09 腾讯科技(深圳)有限公司 图像亮度的调整方法、装置、存储介质及电子装置
CN110766703A (zh) * 2019-10-21 2020-02-07 合肥成方信息技术有限公司 基于GPU的Compute Shader的智能图像识别方法
CN110910333B (zh) * 2019-12-12 2023-03-14 腾讯科技(深圳)有限公司 图像处理方法和图像处理设备
CN112750086A (zh) * 2020-08-31 2021-05-04 腾讯科技(深圳)有限公司 一种图像处理方法、装置、电子设备及存储介质
CN112669227B (zh) * 2020-12-16 2023-10-17 Tcl华星光电技术有限公司 图标边缘处理方法、装置和计算机可读存储介质
CN112383719B (zh) * 2021-01-13 2022-02-01 腾讯科技(深圳)有限公司 图像亮度的调整方法、装置、设备及可读存储介质
US20230317023A1 (en) * 2022-04-05 2023-10-05 Meta Platforms Technologies, Llc Local dimming for artificial reality systems

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1667694A (zh) 2004-03-11 2005-09-14 晨星半导体股份有限公司 适应性地调整图像亮度的装置及相关方法
JP2005312008A (ja) 2003-09-11 2005-11-04 Matsushita Electric Ind Co Ltd 視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置
WO2006025486A1 (ja) 2004-09-01 2006-03-09 Nec Corporation 画像補正処理システム及び画像補正処理方法
JP2007312349A (ja) 2005-10-12 2007-11-29 Matsushita Electric Ind Co Ltd 視覚処理装置、表示装置および集積回路
JP2007316630A (ja) 2006-04-28 2007-12-06 Matsushita Electric Ind Co Ltd 視覚処理装置、視覚処理方法、プログラム、記録媒体、表示装置および集積回路
CN101118721A (zh) 2006-07-31 2008-02-06 三星电子株式会社 补偿阴影区域的方法、介质和系统
JP2008084302A (ja) 2006-08-28 2008-04-10 Matsushita Electric Ind Co Ltd 描画装置、描画方法、および描画プログラム
JP2008092462A (ja) 2006-10-04 2008-04-17 Nanao Corp 輪郭補正方法、画像処理装置及び表示装置
WO2010116522A1 (ja) 2009-04-10 2010-10-14 パイオニア株式会社 画像処理装置、その方法、そのプログラム、そのプログラムを記録した記録媒体、および表示装置
JP2011135182A (ja) 2009-12-22 2011-07-07 Sony Corp 画像処理装置および方法、並びにプログラム
JP2012028937A (ja) 2010-07-21 2012-02-09 Nippon Hoso Kyokai <Nhk> 映像信号補正装置および映像信号補正プログラム
CN104517268A (zh) 2014-12-24 2015-04-15 小米科技有限责任公司 调整图像亮度的方法及装置
JP2015197473A (ja) 2014-03-31 2015-11-09 ソニー株式会社 信号処理方法、表示装置、及び電子機器
JP2018537748A (ja) 2015-12-16 2018-12-20 グーグル エルエルシー 可変の計算量を用いた画像のライトフィールドレンダリング
CN109064998A (zh) 2018-06-28 2018-12-21 努比亚技术有限公司 一种屏幕亮度调节方法、终端及计算机可读存储介质

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1667064A4 (en) * 2003-09-11 2009-06-10 Panasonic Corp IMAGE PROCESSING DEVICE, METHOD AND PROGRAM AND SEMICONDUCTOR ELEMENT
KR100590529B1 (ko) * 2003-11-04 2006-06-15 삼성전자주식회사 영상의 국부적 휘도 향상 방법 및 장치와 컴퓨터프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록 매체
JP4683994B2 (ja) * 2005-04-28 2011-05-18 オリンパス株式会社 画像処理装置、画像処理方法、電子カメラ、スキャナ
KR100977396B1 (ko) * 2008-08-08 2010-08-24 팅크웨어(주) 밉맵 이미지 처리 장치 및 그 방법
TWI464706B (zh) * 2009-03-13 2014-12-11 Micro Star Int Co Ltd 以單張影像模擬高動態範圍之暗部曝光補償方法及其應用該方法的影像處理裝置
JP4803284B2 (ja) * 2009-07-08 2011-10-26 カシオ計算機株式会社 画像処理装置、及び画像処理プログラム
US8559059B2 (en) * 2010-07-29 2013-10-15 Brother Kogyo Kabushiki Kaisha Image processing device superimposing supplemental image to encompass area of original based on luminance difference between nearby pixels
US9105078B2 (en) * 2012-05-31 2015-08-11 Apple Inc. Systems and methods for local tone mapping
KR101981573B1 (ko) * 2012-11-22 2019-05-23 삼성전자주식회사 이미지 신호 프로세서 및 이미지 신호 프로세서를 포함하는 모바일 촬영 장치
CN103971330B (zh) * 2013-02-05 2017-10-20 腾讯科技(深圳)有限公司 图像增强方法及装置
TWI536341B (zh) * 2014-03-21 2016-06-01 緯創資通股份有限公司 顯示補償方法與顯示補償系統
JP6042030B2 (ja) 2014-03-28 2016-12-14 富士フイルム株式会社 画像処理装置、撮影装置、画像処理方法、及びプログラム
CN104301624B (zh) * 2014-10-30 2018-04-03 青岛海信移动通信技术股份有限公司 一种图像拍摄亮度控制方法及装置
CN104715735B (zh) * 2015-03-31 2017-08-25 福州瑞芯微电子股份有限公司 一种背光调整的方法和装置
WO2016165967A1 (en) * 2015-04-14 2016-10-20 Fotonation Limited Image acquisition method and apparatus
US10140953B2 (en) * 2015-10-22 2018-11-27 Dolby Laboratories Licensing Corporation Ambient-light-corrected display management for high dynamic range images
JP6834383B2 (ja) * 2016-11-14 2021-02-24 ブラザー工業株式会社 画像読取装置及び決定方法
CN109145678B (zh) * 2017-06-15 2020-12-11 杭州海康威视数字技术股份有限公司 信号灯检测方法及装置和计算机设备及可读存储介质
CN107545871B (zh) * 2017-09-30 2020-03-24 青岛海信电器股份有限公司 图像亮度处理方法及装置
CN108307125B (zh) * 2018-02-08 2021-10-08 腾讯科技(深圳)有限公司 一种图像采集方法、装置和存储介质
CN108806616A (zh) * 2018-05-30 2018-11-13 深圳市零度智控科技有限公司 背光控制方法、装置及计算机可读存储介质
CN108924525B (zh) * 2018-06-06 2021-07-06 平安科技(深圳)有限公司 图像亮度调整方法、装置、计算机设备及存储介质
CN109064431B (zh) * 2018-08-23 2021-10-26 腾讯数码(天津)有限公司 一种图片亮度调节方法、设备及其存储介质
CN109587392B (zh) * 2018-10-18 2020-12-22 蒋涛 监控设备的调整方法及装置、存储介质、电子装置
CN109256077B (zh) * 2018-11-01 2021-12-14 京东方科技集团股份有限公司 显示面板的控制方法、装置及可读存储介质
CN109686342B (zh) * 2018-12-25 2021-04-06 海信视像科技股份有限公司 一种图像处理方法及装置
CN109697738A (zh) * 2018-12-28 2019-04-30 Oppo广东移动通信有限公司 图像处理方法、装置、终端设备及存储介质
CN109672829B (zh) * 2019-01-04 2021-02-02 Oppo广东移动通信有限公司 图像亮度的调整方法、装置、存储介质及终端
CN110120021B (zh) * 2019-05-05 2021-04-09 腾讯科技(深圳)有限公司 图像亮度的调整方法、装置、存储介质及电子装置

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005312008A (ja) 2003-09-11 2005-11-04 Matsushita Electric Ind Co Ltd 視覚処理装置、視覚処理方法、視覚処理プログラムおよび半導体装置
CN1667694A (zh) 2004-03-11 2005-09-14 晨星半导体股份有限公司 适应性地调整图像亮度的装置及相关方法
US20050212825A1 (en) 2004-03-11 2005-09-29 Wei-Kuo Lee Device for adaptively adjusting video luminance and related method
WO2006025486A1 (ja) 2004-09-01 2006-03-09 Nec Corporation 画像補正処理システム及び画像補正処理方法
JP2007312349A (ja) 2005-10-12 2007-11-29 Matsushita Electric Ind Co Ltd 視覚処理装置、表示装置および集積回路
JP2007316630A (ja) 2006-04-28 2007-12-06 Matsushita Electric Ind Co Ltd 視覚処理装置、視覚処理方法、プログラム、記録媒体、表示装置および集積回路
CN101118721A (zh) 2006-07-31 2008-02-06 三星电子株式会社 补偿阴影区域的方法、介质和系统
JP2008084302A (ja) 2006-08-28 2008-04-10 Matsushita Electric Ind Co Ltd 描画装置、描画方法、および描画プログラム
JP2008092462A (ja) 2006-10-04 2008-04-17 Nanao Corp 輪郭補正方法、画像処理装置及び表示装置
WO2010116522A1 (ja) 2009-04-10 2010-10-14 パイオニア株式会社 画像処理装置、その方法、そのプログラム、そのプログラムを記録した記録媒体、および表示装置
JP2011135182A (ja) 2009-12-22 2011-07-07 Sony Corp 画像処理装置および方法、並びにプログラム
JP2012028937A (ja) 2010-07-21 2012-02-09 Nippon Hoso Kyokai <Nhk> 映像信号補正装置および映像信号補正プログラム
JP2015197473A (ja) 2014-03-31 2015-11-09 ソニー株式会社 信号処理方法、表示装置、及び電子機器
CN104517268A (zh) 2014-12-24 2015-04-15 小米科技有限责任公司 调整图像亮度的方法及装置
JP2018537748A (ja) 2015-12-16 2018-12-20 グーグル エルエルシー 可変の計算量を用いた画像のライトフィールドレンダリング
CN109064998A (zh) 2018-06-28 2018-12-21 努比亚技术有限公司 一种屏幕亮度调节方法、终端及计算机可读存储介质

Also Published As

Publication number Publication date
JP2022520264A (ja) 2022-03-29
EP3968268A4 (en) 2022-07-13
EP3968268A1 (en) 2022-03-16
KR102548745B1 (ko) 2023-06-27
CN110120021B (zh) 2021-04-09
SG11202105754RA (en) 2021-06-29
US20230169935A1 (en) 2023-06-01
WO2020224390A1 (zh) 2020-11-12
CN110120021A (zh) 2019-08-13
KR20210102382A (ko) 2021-08-19
US11587530B2 (en) 2023-02-21
US20210295801A1 (en) 2021-09-23

Similar Documents

Publication Publication Date Title
JP7226893B2 (ja) 画像輝度の調整方法及び装置、電子機器及びコンピュータプログラム
JP7362044B2 (ja) 修正されたシェイプフロムシェーディング(sfs)スキームを使用した三角形3次元メッシュの形状改善
JP7007348B2 (ja) 画像処理装置
WO2020038124A1 (zh) 图像对比度增强方法、装置、设备及存储介质
WO2019085838A1 (zh) 对象渲染方法和装置、存储介质及电子装置
US20100134494A1 (en) Remote shading-based 3d streaming apparatus and method
JP2023513304A (ja) 分散システムにおける動き平滑化
US20220312063A1 (en) Methods and Systems for Graphics Rendering Assistance by a Multi-Access Server
CN113299245B (zh) 显示设备局部背光调节方法、装置、显示设备及存储介质
JP5462882B2 (ja) 写実的画像形成の処理負荷を分散するためのシステム及び方法
CN111292236B (zh) 一种减少中央凹注视渲染中的混叠伪像的方法和计算系统
KR102247565B1 (ko) 렌더링 방법 및 장치
JP4857376B2 (ja) レーダビデオ表示装置
JP5585494B2 (ja) 画像処理装置、画像処理プログラム及び画像処理方法
JP2016081225A (ja) 情報提示システム
US20180253886A1 (en) Texturing of a three-dimensional (3d) model by uv map in-painting
CN108898644A (zh) 一种栅格数据动态渲染方法、系统和存储介质
KR101582578B1 (ko) 그래픽 처리 장치 및 방법
CN107452045B (zh) 基于虚拟现实应用反畸变网格的空间点映射方法
CN107004292A (zh) 使用高速缓存的纹理空间模糊的运动模糊
KR20200053591A (ko) 화상처리장치, 화상처리방법 및 화상처리 프로그램을 기록한 기록 매체
WO2019066704A1 (en) METHOD IN IMAGE COMPRESSION DEVICE AND IMAGE DECOMPRESSION DEVICE
CN117237249A (zh) 一种无人机探测图像的透雾增强方法、装置以及电子设备
US20220182682A1 (en) Frame overlay for encoding artifacts
WO2011030383A1 (ja) 画像処理装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210813

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210813

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220815

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230203

R150 Certificate of patent or registration of utility model

Ref document number: 7226893

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150