JP6615917B2 - 実時間ビデオエンハンスメント方法、端末及び非一時的コンピュータ可読記憶媒体 - Google Patents

実時間ビデオエンハンスメント方法、端末及び非一時的コンピュータ可読記憶媒体 Download PDF

Info

Publication number
JP6615917B2
JP6615917B2 JP2017565891A JP2017565891A JP6615917B2 JP 6615917 B2 JP6615917 B2 JP 6615917B2 JP 2017565891 A JP2017565891 A JP 2017565891A JP 2017565891 A JP2017565891 A JP 2017565891A JP 6615917 B2 JP6615917 B2 JP 6615917B2
Authority
JP
Japan
Prior art keywords
current frame
range
pixel
enhancement curve
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017565891A
Other languages
English (en)
Other versions
JP2018517993A (ja
Inventor
デン，ハイボ
Original Assignee
テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド filed Critical テンセント・テクノロジー・（シェンジェン）・カンパニー・リミテッド
Publication of JP2018517993A publication Critical patent/JP2018517993A/ja
Application granted granted Critical
Publication of JP6615917B2 publication Critical patent/JP6615917B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)

Description

関連出願
本願は、２０１５年１１月１８日に出願された「実時間ビデオエンハンスメント及び装置」という名称の中国特許出願第２０１５１０７９８９８２．８号に対する優先権を主張し、その全体が参照により本明細書に組み込まれる。
本開示は、信号処理の分野に関し、特に、実時間ビデオエンハンスメント方法、端末及び非一時的コンピュータ可読記憶媒体に関する。
現在、圧倒的多数のスマートフォンは既にビデオ撮影機能を有している。レンズとコストには制限が課されるので、単一画素上の光束は比較的小さい。特に、照明が不十分であるか照度が低い屋内シーンでは、一部の携帯電話の露出は不十分であり、明らかに暗い映像になってしまい、ビデオ通話の使用が限られてしまう。ビデオエンハンスメント処理により、このタイプのシーンにおけるビデオエフェクトは、カスタマーの主観的感情を改善し、それによりビデオ通話アプリケーションのシーンを拡大するように、効果的に改善することができる。
従来のビデオエンハンスメント技術は、主に画像エンハンスメントを参考にする。例えば、ヒストグラム平坦化法では、エンハンスメント曲線は画像の累積確率分布関数であり、画像全体のコントラストを最大限に伸ばすことができる。暗いシーンにおける画像のヒストグラムはピークを有するので、ヒストグラム平坦化処理後に画像が過度に強調され、結果として画像が歪んでしまう。
このため、画像が過度に強調されることを防止し、画像の歪みを防止するために、実時間ビデオエンハンスメント方法を提供する必要がある。
また、画像が過度に強調されることを防止し、画像の歪みを防止するために、端末及び非一時的コンピュータ可読記憶媒体を提供することが更に必要である。
実時間ビデオエンハンスメント方法は、
画像の現在のフレームの平均輝度を取得するステップと、
平均輝度が輝度閾値未満か否かを決定し、輝度閾値未満である場合、現在のフレームの関心領域の画素範囲を取得し、現在のフレームの関心領域の画素範囲に従って、現在のフレームの局所エンハンスメント曲線を取得し、現在のフレームの平均輝度に従って、現在のフレームに対応する第１のエンハンスメント曲線を取得するステップと、
現在のフレームの局所エンハンスメント曲線と現在のフレームの第１のエンハンスメント曲線とに従って、現在のフレームの第２のエンハンスメント曲線を取得し、第２のエンハンスメント曲線に従って現在のフレームを調整するステップと、
を含む。
端末は、メモリ及びプロセッサを備える。メモリはコンピュータ可読命令を記憶する。コンピュータ可読命令は、プロセッサによる実行時に、
画像の現在のフレームの平均輝度を取得するステップと、
平均輝度が輝度閾値未満か否かを決定し、輝度閾値未満である場合、現在のフレームの関心領域の画素範囲を取得し、現在のフレームの関心領域の画素範囲に従って、現在のフレームの局所エンハンスメント曲線を取得し、現在のフレームの平均輝度に従って、現在のフレームに対応する第１のエンハンスメント曲線を取得するステップと、
現在のフレームの局所エンハンスメント曲線と現在のフレームの第１のエンハンスメント曲線とに従って、現在のフレームの第２のエンハンスメント曲線を取得し、第２のエンハンスメント曲線に従って現在のフレームを調整するステップと、
をプロセッサに実行させる。
１つ以上の非一時的コンピュータ可読記憶媒体は、コンピュータ実行可能命令を有する。コンピュータ実行可能命令は、１つ以上のプロセッサによって実行されると、
画像の現在のフレームの平均輝度を取得するステップと、
平均輝度が輝度閾値未満か否かを決定し、輝度閾値未満である場合、現在のフレームの関心領域の画素範囲を取得し、現在のフレームの関心領域の画素範囲に従って、現在のフレームの局所エンハンスメント曲線を取得し、現在のフレームの平均輝度に従って、現在のフレームに対応する第１のエンハンスメント曲線を取得するステップと、
現在のフレームの局所エンハンスメント曲線と現在のフレームの第１のエンハンスメント曲線とに従って、現在のフレームの第２のエンハンスメント曲線を取得し、第２のエンハンスメント曲線に従って現在のフレームを調整するステップと、
１つ以上のプロセッサに実行させる。
本発明の1つ以上の実施形態の詳細は、以下の添付図面及び説明に記載されている。本開示の他の特徴、目的及び利点は、明細書、添付図面及び特許請求の範囲によって明らかになる。
以下、本発明の実施形態又は既存技術の技術的解決策をより明確に説明するために、実施形態又は既存技術を説明するための添付図面を簡単に説明する。明らかに、以下の説明における添付図面は、本発明の一部の実施形態に過ぎず、当業者であれば、これらの添付図面に基づいて創意工夫なしに他の添付図面を得ることができる。
実施形態に係る実時間ビデオエンハンスメント方法の応用環境の概略図である。 実施形態に係る、図１の端末の内部構造の概略図である。 実施形態に係る実時間ビデオエンハンスメント方法のフローチャートである。 実施形態に係る、現在のフレームの関心領域の画素範囲に従って現在のフレームの局所エンハンスメント曲線を取得するステップの具体的なフローチャートである。 シーンに応じて暗から明に設計された複数グループの第１のエンハンスメント曲線の概略図である。 別の実施形態に係る実時間ビデオエンハンスメント方法のフローチャートである。 実施形態に係る実時間ビデオエンハンスメント装置の構造ブロック図である。 別の実施形態に係る実時間ビデオエンハンスメント装置の構造ブロック図である。
本開示の目的、技術的解決策及び利点をより理解しやすくするために、以下、本開示は更に、添付図面及び実施形態を参照して詳細に説明される。本明細書に記載される特定の実施形態は、本開示を説明するために使用されるものに過ぎず、本開示を限定するために使用されるものではないことを理解されたい。
図１は、実施形態に係る実時間ビデオエンハンスメント方法の応用環境の概略図である。応用環境は、１以上の端末を含んでよい。実時間ビデオエンハンスメント方法は、端末のビデオ撮影機能におけるビデオエンハンスメント処理や、実時間ストリーミングメディアサービスにおけるビデオエンハンスメント処理に適用されてよく、或いは、複数の端末間で実行される実時間ビデオコールのビデオエンハンスメント処理に適用されてよい。図１は、２つの端末が実時間ビデオ通話を行う応用環境である。これは一例に過ぎず、本開示はこれに限定されない。他の実施形態では、サーバを使用することにより、複数の端末間でデータを送信することができる。
図２は、実施形態に係る、図１の端末の内部構造の概略図である。図２に示されるように、端末は、システムバスを用いて接続されたプロセッサ、記憶媒体、メモリ、ネットワークインタフェース、音声収集装置、表示画面、スピーカ及び入力装置を備える。端末の記憶媒体は、オペレーティングシステムを格納し、更に、実時間ビデオエンハンスメント装置を含む。実時間ビデオエンハンスメント装置は、実時間ビデオエンハンスメント方法を実現するために用いられる。プロセッサは、計算及び制御機能を提供するために用いられ、端末全体の実行をサポートする。端末内のメモリは、実時間ビデオエンハンスメント装置を記憶媒体内で実行するための環境を提供する。ネットワークインタフェースは、サーバ又は別の端末とのネットワーク通信を実行するために用いられ、例えば、サーバ又は端末にデータを送信したり、サーバ又は端末によって返されたデータを受信するために用いられる。端末の表示画面は、液晶表示画面又は電子インク表示画面であってよい。入力装置は、表示画面を覆うタッチ層であってよく、或いは端末筐体に設けられたキー、トラックボール又はタッチパッドであってよく、或いは外部キーボード、タッチパッド、マウスなどであってよい。端末は、携帯電話、タブレットコンピュータ又はパーソナルデジタルアシスタントであってよい。当業者であれば、図２に示される構造は、本願解決策に関する部分構造のブロック図に過ぎず、本願解決策が適用される端末に対して何らかの限定を構成するものではないことを理解できよう。具体的には、端末に含まれる部分は、図に示されているものより多くても少なくてもよく、或いは一部の部分が組み合わされてもよいし、異なる部分配置が行われてもよい。
図３は、実施形態に係る実時間ビデオエンハンスメント方法のフローチャートである。図３に示されるように、実時間ビデオエンハンスメント方法は以下のステップを含む。
ステップ３０２：画像の現在のフレームの平均輝度を取得する。
具体的には、実時間ビデオの画像が取得される。その後、画像の現在のフレームの画素点の輝度値が求められ、画素点の輝度値の平均値が計算されて、画像の現在のフレームの平均輝度が得られる。
ステップ３０４：平均輝度が輝度閾値未満か否かを決定する。輝度閾値未満である場合、ステップ３０６を実行する。輝度閾値未満でない場合、プロセスは終了する。
具体的には、シーンが暗い場合、画像全体の平均画素値は比較的低い。一般に、最も明るい値の１／３が輝度閾値として用いられる。平均輝度が輝度閾値未満である場合、画像が暗いとみなされ、画像に対してエンハンスメント処理を実行する必要がある。平均輝度が輝度閾値以上であるとき、エンハンスメント処理は不要である。
ステップ３０６：現在のフレームの関心領域の画素範囲を取得し、現在のフレームの関心領域の画素範囲に従って、現在のフレームの局所エンハンスメント曲線を取得する。
具体的には、現在のフレームの関心領域の画素範囲の上限は、画素上限の総画素数よりも大きく総画素数以下である第１の所定のパーセンテージである。画素範囲の下限は、画素下限の総画素数よりも小さく総画素数以下である第２の所定のパーセンテージである。第１の所定のパーセンテージと第２の所定のパーセンテージは、必要に応じて調整することができる。本実施形態では、第１の所定のパーセンテージと第２の所定のパーセンテージはいずれも１パーセントである。
例えば、ＹＵＶ空間では、輝度成分Ｙとクロミナンス成分ＵＶとが分離され、Ｙ成分のみが処理されて、ＵＶカラー情報を維持する。画像グレースケールの値範囲は［０，２５５］である。現在のフレームの関心領域の画素範囲は、［Tlow，Thigh］である。現在のフレームの画素数をpixNumと仮定して、現在のフレームのグレースケールヒストグラムHistが算出され、画素範囲の下限Tlowと上限Thighは以下を満たす。
Figure 0006615917
 実施形態では、図４に示されるように、現在のフレームの関心領域の画素範囲に従って、現在のフレームの局所エンハンスメント曲線を取得するステップは、以下を含む。
ステップ４０２：現在のフレームの関心領域の画素範囲を調整して、画素マッピング範囲を取得する。
具体的には、関心領域は、具体的な適用シナリオに従って設定される。例えば、ビデオ通話シナリオでは、関心領域は人間の顔である。
現在のフレームの関心領域の画素範囲の上限値と下限値との差が所定値未満であるとき、画素マッピング範囲の上限値は、現在のフレームの関心領域の画素範囲の上限値の所定のパーセンテージであり、画素マッピング範囲の下限値は、現在のフレームの関心領域の画素範囲の下限値の所定のパーセンテージである。
現在のフレームの関心領域の画素範囲の上限値と下限値との差が所定値以上であるとき、画素マッピング範囲の上限値は２５５であり、画素マッピング範囲の下限値は０である。
具体的には、画素マッピング範囲［T'low，T'high］が決定される。動的な画素範囲が小さすぎる場合、［０，２５５］への直接マッピングが実行されるときにオーバーエンハンスメントが発生し、したがって画素マッピング範囲を調整する必要がある。
Figure 0006615917
 現在のフレームの関心領域の画素範囲の上限値の所定のパーセンテージと、現在のフレームの関心領域の画素範囲の下限値の所定のパーセンテージとは、必要に応じて設定されてよい。例えば、上記の所定のパーセンテージは両方とも０．５、すなわち５０％である。
ステップ４０４：対応する画素マッピング範囲に、現在のフレームの関心領域の画素範囲をマッピングして、現在のフレームの局所エンハンスメント曲線を取得する。
具体的には、ステップ４０４は、画素マッピング範囲の上限値と下限値との差の、現在のフレームの関心領域の画素範囲の上限値と下限値との差に対する比率を取得するステップと、現在のフレームの関心領域の画素範囲における各値と現在のフレームの関心領域の画素範囲の下限値との差に、比率を掛け、乗算された差に、現在のフレームの関心領域の画素範囲の下限値を加えて、現在のフレームの局所エンハンスメント曲線を取得するステップと、を含む。
画素範囲［Tlow，Thigh］内の画素は、画素マッピング範囲［T'low，T'high］に一様にマッピングされて、現在のフレームの局所エンハンスメント曲線L1が得られる。
Figure 0006615917
 ステップ３０８：現在のフレームの平均輝度に従って、現在のフレームに対応する第１のエンハンスメント曲線を取得する。
具体的には、輝度範囲と第１のエンハンスメント曲線とのマッピング関係が最初に確立される。第１のエンハンスメント曲線では、暗い画素のコントラストを改善する必要があり、明るい画素のコントラストを抑制する必要がある。第１のエンハンスメント曲線は、暗領域では１よりも大きい画素値勾配を有し、明領域では１未満の画素値勾配を有する。暗領域は、一般に、画像画素値が最も明るい値の３分の１未満の領域である。明領域は、画像画素値が最も明るい値の２／３よりも大きい領域である。最も明るい値は最も高い画素値である。例えば、８ビットに格納される画素値のうち最も高い画素値は２５５である。コントラストは、現在の画素と周囲の画素との間の差である。第１のエンハンスメント曲線はマッピング関数であり、水平座標は現在の画素値xを示し、垂直座標はマッピング後の画素値L(x)を示す。暗領域の画素が第１のエンハンスメント曲線によってマッピングされた後、暗領域のコントラストが増加し、明領域のコントラストが減少する。例えば、画素について、画素のコントラストがk*(x0-x1)であれば、画素のコントラストはマッピングによってk*(L(x0)-L(x1))である。非常に近い２つの画素点については、コントラストはおおよそk*L*(x0-x1)である場合がある。暗領域ではL＞１であり、コントラストは増加する。明領域ではL＜１であり、コントラストは減少する。
第１のエンハンスメント曲線のグループは、各輝度範囲に対して構成される。第１のエンハンスメント曲線は、大量のビデオで収集された統計に基づいて得られた経験値である。
図５は、シーンに応じて暗から明に設計された複数グループの第１のエンハンスメント曲線の概略図である。図５に示されるように、画像の平均輝度が暗いほど、暗領域におけるエンハンスメント曲線の勾配が大きく、明領域におけるエンハンスメント曲線勾配が小さいことを示す。図５では、ボトムアップから第１のエンハンスメント曲線に対応する画像の平均輝度が徐々に増加する。複数グループの第１のエンハンスメント曲線が設計され、ビデオ輝度が変化したときにスムーズなスイッチングが実行される。
現在のフレームの平均輝度に従って、現在のフレームに対応する第１のエンハンスメント曲線を取得するステップは、現在のフレームの平均輝度に従って、輝度範囲と第１のエンハンスメント曲線とのマッピング関係から、現在のフレームに対応する第１のエンハンスメント曲線を取得するステップを含む。
具体的には、現在のフレームの平均輝度が輝度範囲と比較され、現在のフレームの平均輝度の位置する輝度範囲が決定される。その後、輝度範囲と第１のエンハンスメント曲線との間のマッピング関係に従って、対応する第１のエンハンスメント曲線L0が見出される。
ステップ３１０：現在のフレームの局所エンハンスメント曲線と現在のフレームの第１のエンハンスメント曲線とに従って、現在のフレームの第２のエンハンスメント曲線を取得する。
具体的には、現在のフレームの第２のエンハンスメント曲線を得るために、現在のフレームの局所エンハンスメント曲線と現在のフレームの第１のエンハンスメント曲線に対して、算術平均又は加重平均が実行される。
現在のフレームの局所エンハンスメント曲線と現在のフレームの第１のエンハンスメント曲線に対して算術平均を実行する式は、L2=(L0+L1)/2である。L2は第２のエンハンスメント曲線である。
現在のフレームの局所エンハンスメント曲線と現在のフレームの第１のエンハンスメント曲線に対して加重平均を行う式は、L2=(aL0+bL1)/(a+b)である。式中、a及びbは正の数である。
ステップ３１２：第２のエンハンスメント曲線に従って、現在のフレームを調整する。
具体的には、第２のエンハンスメント曲線の水平座標は、現在のフレームの画素点の現在の画素値であり、垂直座標は、現在のフレームの調整画素点の画素値である。
上記の実時間ビデオエンハンスメント方法では、現在のフレームの平均輝度が輝度閾値未満であると決定され、現在のフレームの関心領域の画素範囲が取得され、局所エンハンスメント曲線が取得され、平均輝度に従って対応する第１のエンハンスメント曲線が取得され、第１のエンハンスメント曲線及び局所エンハンスメント曲線に従って、現在のフレームの第２のエンハンスメント曲線が取得され、第２のエンハンスメント曲線に従って現在のフレームが調整され、第１のエンハンスメント曲線及び局所エンハンスメント曲線を用いて総合的な処理が行われる。それにより、画像が過度にエンハンスメントされることが防止され、画像の歪みが防止される。更に、計算量が非常に少なく、実時間ビデオエンハンスメントに適するように、追加の記憶スペースは不要である。
図６は、別の実施形態に係る実時間ビデオエンハンスメント方法のフローチャートである。図６に示されるように、実時間ビデオエンハンスメント方法は以下のステップを含む。
ステップ６０２：画像の現在のフレームの平均輝度を取得する。
具体的には、画像の現在のフレームの画素点の輝度値が取得され、それから画素点の輝度値の平均値が計算されて、画像の現在のフレームの平均輝度が取得される。
ステップ６０４：平均輝度が輝度閾値未満か否かを決定する。輝度閾値未満である場合、ステップ３０６を実行する。輝度閾値未満でない場合、プロセスは終了する。
具体的には、シーンが暗い場合、画像全体の平均画素値は比較的低い。一般に、最も明るい値の１／３が輝度閾値として用いられる。平均輝度が輝度閾値未満である場合、画像が暗いとみなされ、画像に対してエンハンスメント処理を実行する必要がある。平均輝度が輝度閾値以上であるとき、エンハンスメント処理は不要である。
ステップ６０６：現在のフレームの関心領域の画素範囲を取得し、現在のフレームの関心領域の画素範囲に従って、現在のフレームの局所エンハンスメント曲線を取得する。
具体的には、現在のフレームの関心領域の画素範囲の上限は、画素上限の総画素数よりも大きく総画素数以下である第１の所定のパーセンテージである。画素範囲の下限は、画素下限の総画素数よりも小さく総画素数以下である第２の所定のパーセンテージである。第１の所定のパーセンテージと第２の所定のパーセンテージは、必要に応じて調整することができる。本実施形態では、第１の所定のパーセンテージと第２の所定のパーセンテージはいずれも１パーセントである。
例えば、ＹＵＶ空間では、輝度成分Ｙとクロミナンス成分ＵＶとが分離され、Ｙ成分のみが処理されて、ＵＶカラー情報を維持する。画像グレースケールの値範囲は［０，２５５］である。現在のフレームの関心領域の画素範囲は、［Tlow，Thigh］である。現在のフレームの画素数をpixNumと仮定して、現在のフレームのグレースケールヒストグラムHistが算出され、画素範囲の下限Tlowと上限Thighは以下を満たす。
Figure 0006615917
 現在のフレームの関心領域の画素範囲に従って、現在のフレームの局所エンハンスメント曲線を取得するステップは、現在のフレームの関心領域の画素範囲を調整して、画素マッピング範囲を取得するステップと、対応する画素マッピング範囲に現在のフレームの関心領域の画素範囲をマッピングして、現在のフレームの局所エンハンスメント曲線を取得するステップとを含む。
現在のフレームの関心領域の画素範囲を調整して、画素マッピング範囲を取得するステップは、現在のフレームの関心領域の画素範囲の上限値と下限値との差が所定値未満であるとき、画素マッピング範囲の上限値が、現在のフレームの関心領域の画素範囲の上限値の所定のパーセンテージであり、画素マッピング範囲の下限値が、現在のフレームの関心領域の画素範囲の下限値の所定のパーセンテージであることを含む。
現在のフレームの関心領域の画素範囲の上限値と下限値との差が所定値以上であるとき、画素マッピング範囲の上限値は２５５であり、画素マッピング範囲の下限値は０である。
具体的には、画素マッピング範囲［T'low，T'high］が決定される。動的な画素範囲が小さすぎる場合、［０，２５５］への直接マッピングが実行されるときにオーバーエンハンスメントが発生し、したがって画素マッピング範囲を調整する必要がある。
Figure 0006615917
 現在のフレームの関心領域の画素範囲の上限値の所定のパーセンテージと、現在のフレームの関心領域の画素範囲の下限値の所定のパーセンテージとは、必要に応じて設定されてよい。例えば、上記の所定のパーセンテージは両方とも０．５、すなわち５０％である。
対応する画素マッピング範囲に現在のフレームの関心領域の画素範囲をマッピングして、現在のフレームの局所エンハンスメント曲線を取得するステップは、画素マッピング範囲の上限値と下限値との差の、現在のフレームの関心領域の画素範囲の上限値と下限値との差に対する比率を取得するステップと、現在のフレームの関心領域の画素範囲における各値と現在のフレームの関心領域の画素範囲の下限値との差に、比率を掛け、乗算された差に、現在のフレームの関心領域の画素範囲の下限値を加えて、現在のフレームの局所エンハンスメント曲線を取得するステップと、を含む。
画素範囲［Tlow，Thigh］内の画素は、画素マッピング範囲［T'low，T'high］に一様にマッピングされて、現在のフレームの局所エンハンスメント曲線L1が得られる。
Figure 0006615917
 ステップ６０８：現在のフレームに前のフレームからのシーン変化がないか否かと、前のフレームのエンハンスメント曲線が存在するか否かとを決定する。そうであればステップ６１０を実行し、そうでなければステップ６１２を実行する。
具体的には、シーンが変化したか否かは、現在のフレームの平均輝度を取得することによって決定されてよい。現在のフレームの平均輝度は、前のフレーム又は前の複数フレームの平均輝度と比較される。現在のフレームの平均輝度と前のフレーム又は前の複数フレームの平均輝度との差がエラー閾値未満である場合、シーンは変化していないとみなされる。又は、エラー閾値以上である場合、シーンが変化したとみなされる。例えば、前のフレームの平均輝度は１２０、現在のフレームの平均輝度は１２１、エラー閾値は４である。したがって、現在のフレームの平均輝度と前のフレームの平均輝度との差は１であり、エラー閾値よりも小さいので、シーンは変化していないとみなされる。
ステップ６１０：前のフレームの第２のエンハンスメント曲線を取得し、前のフレームの第２のエンハンスメント曲線を現在のフレームの第２のエンハンスメント曲線として用いる。それからステップ６１６を実行する。
ステップ６１２：現在のフレームの平均輝度に従って、現在のフレームに対応する第１のエンハンスメント曲線を取得する。その後、ステップ６１４を実行する。
具体的には、輝度範囲と第１のエンハンスメント曲線とのマッピング関係が最初に確立される。第１のエンハンスメント曲線では、暗い画素のコントラストを改善する必要があり、明るい画素のコントラストを抑制する必要がある。第１のエンハンスメント曲線は、暗領域では１よりも大きい画素値勾配を有し、明領域では１未満の画素値勾配を有する。暗領域は、一般に、画像画素値が最も明るい値の３分の１未満の領域である。明領域は、画像画素値が最も明るい値の２／３よりも大きい領域である。最も明るい値は最も高い画素値である。例えば、８ビットに格納される画素値のうち最も高い画素値は２５５である。コントラストは、現在の画素と周囲の画素との間の差である。第１のエンハンスメント曲線はマッピング関数であり、水平座標は現在の画素値xを示し、垂直座標はマッピング後の画素値L(x)を示す。暗領域の画素が第１のエンハンスメント曲線によってマッピングされた後、暗領域のコントラストが増加し、明領域のコントラストが減少する。例えば、画素について、画素のコントラストがk*(x0-x1)であれば、画素のコントラストはマッピングによってk*(L(x0)-L(x1))である。非常に近い２つの画素点については、コントラストはおおよそk*L*(x0-x1)である場合がある。暗領域ではL＞１であり、コントラストは増加する。明領域ではL＜１であり、コントラストは減少する。
第１のエンハンスメント曲線のグループは、各輝度範囲に対して構成される。第１のエンハンスメント曲線は、大量のビデオで収集された統計に基づいて得られた経験値である。
現在のフレームの平均輝度に従って、現在のフレームに対応する第１のエンハンスメント曲線を取得するステップは、現在のフレームの平均輝度に従って、輝度範囲と第１のエンハンスメント曲線とのマッピング関係から、現在のフレームに対応する第１のエンハンスメント曲線を取得するステップを含む。
具体的には、現在のフレームの平均輝度が輝度範囲と比較され、現在のフレームの平均輝度の位置する輝度範囲が決定される。その後、輝度範囲と第１のエンハンスメント曲線との間のマッピング関係に従って、対応する第１のエンハンスメント曲線L0が見出される。
ステップ６１４：現在のフレームの局所エンハンスメント曲線と現在のフレームの第１のエンハンスメント曲線とに従って、現在のフレームの第２のエンハンスメント曲線を取得する。
具体的には、現在のフレームの第２のエンハンスメント曲線を得るために、現在のフレームの局所エンハンスメント曲線と現在のフレームの第１のエンハンスメント曲線に対して、算術平均又は加重平均が実行される。
現在のフレームの局所エンハンスメント曲線と現在のフレームの第１のエンハンスメント曲線に対して算術平均を実行する式は、L2=(L0+L1)/2である。L2は第２のエンハンスメント曲線である。
現在のフレームの局所エンハンスメント曲線と現在のフレームの第１のエンハンスメント曲線に対して加重平均を行う式は、L2=(aL0+bL1)/(a+b)である。式中、a及びbは正の数である。
ステップ６１６：第２のエンハンスメント曲線に従って、現在のフレームを調整する。
具体的には、第２のエンハンスメント曲線の水平座標は、現在のフレームの画素点の現在の画素値であり、垂直座標は、現在のフレームの調整画素点の画素値である。
上記の実時間ビデオエンハンスメント方法では、現在のフレームの平均輝度が輝度閾値未満であると決定され、現在のフレームの関心領域の画素範囲が取得され、局所エンハンスメント曲線が取得され、平均輝度に従って対応する第１のエンハンスメント曲線が取得され、第１のエンハンスメント曲線及び局所エンハンスメント曲線に従って、現在のフレームの第２のエンハンスメント曲線が取得され、第２のエンハンスメント曲線に従って現在のフレームが調整され、第１のエンハンスメント曲線及び局所エンハンスメント曲線を用いて総合的な処理が行われる。それにより、画像が過度にエンハンスメントされることが防止され、画像の歪みが防止される。計算量が非常に少なく、実時間ビデオエンハンスメントに適するように、追加の記憶スペースは不要である。シーンが変更されず、前のフレームに第２のエンハンスメント曲線が存在する場合、現在のフレームも、前のフレームの第２のエンハンスメント曲線を用いて調整される。それにより、更に、計算量が低減され、切換時間が大幅に短縮されることで、処理される隣接フレームがより自然になり、点滅が発生しないようになる。
図７は、実施形態に係る実時間ビデオエンハンスメント装置の構造ブロック図である。図７に示されるように、実時間ビデオエンハンスメント装置は、取得モジュール７１０、決定モジュール７２０及び処理モジュール７３０を備える。
取得モジュール７１０は、画像の現在のフレームの平均輝度を取得するように構成される。具体的には、画像の現在のフレームの画素点の輝度値が取得され、画素点の輝度値の平均値を計算して、画像の現在のフレームの平均輝度が取得される。
決定モジュール７２０は、平均輝度が輝度閾値未満か否かを決定するように構成される。輝度閾値未満である場合、処理モジュール７３０は、現在のフレームの関心領域の画素範囲を取得し、現在のフレームの関心領域の画素範囲に従って、現在のフレームの局所エンハンスメント曲線を取得し、現在のフレームの平均輝度に従って、現在のフレームに対応する第１のエンハンスメント曲線を取得し、現在のフレームの局所エンハンスメント曲線と現在のフレームの第１のエンハンスメント曲線とに従って、現在のフレームの第２のエンハンスメント曲線を取得し、第２のエンハンスメント曲線に従って、現在のフレームを調整するように構成される。輝度閾値未満でない場合、プロセスは終了する。
具体的には、シーンが暗い場合、画像全体の平均画素値は比較的低い。一般に、最も明るい値の１／３が輝度閾値として用いられる。平均輝度が輝度閾値未満である場合、画像が暗いとみなされ、画像に対してエンハンスメント処理を実行する必要がある。平均輝度が輝度閾値以上であるとき、エンハンスメント処理は不要である。
現在のフレームの関心領域の画素範囲の上限は、画素上限の総画素数よりも大きく総画素数以下である第１の所定のパーセンテージである。画素範囲の下限は、画素下限の総画素数よりも小さく総画素数以下である第２の所定のパーセンテージである。第１の所定のパーセンテージと第２の所定のパーセンテージは、必要に応じて調整することができる。本実施形態では、第１の所定のパーセンテージと第２の所定のパーセンテージはいずれも１パーセントであるが、これに限定されない。
例えば、ＹＵＶ空間では、輝度成分Ｙとクロミナンス成分ＵＶとが分離され、Ｙ成分のみが処理されて、ＵＶカラー情報を維持する。画像グレースケールの値範囲は［０，２５５］である。現在のフレームの関心領域の画素範囲は、［Tlow，Thigh］である。現在のフレームの画素数をpixNumと仮定して、現在のフレームのグレースケールヒストグラムHistが算出され、画素範囲の下限Tlowと上限Thighは以下を満たす。
Figure 0006615917
 処理モジュール７３０は更に、現在のフレームの関心領域の画素範囲を調整して、画素マッピング範囲を取得し、対応する画素マッピング範囲に、現在のフレームの関心領域の画素範囲をマッピングして、現在のフレームの局所エンハンスメント曲線を取得するように構成される。
具体的には、関心領域は、具体的な適用シナリオに従って設定される。例えば、ビデオ通話シナリオでは、関心領域は人間の顔である。
現在のフレームの関心領域の画素範囲の上限値と下限値との差が所定値未満であるとき、画素マッピング範囲の上限値は、現在のフレームの関心領域の画素範囲の上限値の所定のパーセンテージであり、画素マッピング範囲の下限値は、現在のフレームの関心領域の画素範囲の下限値の所定のパーセンテージである。
現在のフレームの関心領域の画素範囲の上限値と下限値との差が所定値以上であるとき、画素マッピング範囲の上限値は２５５であり、画素マッピング範囲の下限値は０である。
具体的には、画素マッピング範囲［T'low，T'high］が決定される。動的な画素範囲が小さすぎる場合、［０，２５５］への直接マッピングが実行されるときにオーバーエンハンスメントが発生し、したがって画素マッピング範囲を調整する必要がある。
Figure 0006615917
 現在のフレームの関心領域の画素範囲の上限値の所定のパーセンテージと、現在のフレームの関心領域の画素範囲の下限値の所定のパーセンテージとは、必要に応じて設定されてよい。例えば、上記の所定のパーセンテージは両方とも０．５、すなわち５０％である。
処理モジュール７３０は更に、画素マッピング範囲の上限値と下限値との差の、現在のフレームの関心領域の画素範囲の上限値と下限値との差に対する比率を取得し、現在のフレームの関心領域の画素範囲における各値と現在のフレームの関心領域の画素範囲の下限値との差に、該比率を掛け、乗算された差に、現在のフレームの関心領域の画素範囲の下限値を加えて、現在のフレームの局所エンハンスメント曲線を取得するように構成される。
画素範囲［Tlow，Thigh］内の画素は、画素マッピング範囲［T'low，T'high］に一様にマッピングされて、現在のフレームの局所エンハンスメント曲線L1が得られる。
Figure 0006615917
 輝度範囲と第１のエンハンスメント曲線とのマッピング関係が最初に確立される。第１のエンハンスメント曲線では、暗い画素のコントラストを改善する必要があり、明るい画素のコントラストを抑制する必要がある。第１のエンハンスメント曲線は、暗領域では１よりも大きい画素値勾配を有し、明領域では１未満の画素値勾配を有する。暗領域は、一般に、画像画素値が最も明るい値の３分の１未満の領域である。明領域は、画像画素値が最も明るい値の２／３よりも大きい領域である。
最も明るい値は最も高い画素値である。例えば、８ビットに格納される画素値のうち最も高い画素値は２５５である。コントラストは、現在の画素と周囲の画素との間の差である。第１のエンハンスメント曲線はマッピング関数であり、水平座標は現在の画素値xを示し、垂直座標はマッピング後の画素値L(x)を示す。暗領域の画素が第１のエンハンスメント曲線によってマッピングされた後、暗領域のコントラストが増加し、明領域のコントラストが減少する。例えば、画素について、画素のコントラストがk*(x0-x1)であれば、画素のコントラストはマッピングによってk*(L(x0)-L(x1))である。非常に近い２つの画素点については、コントラストはおおよそk*L*(x0-x1)である場合がある。暗領域ではL＞１であり、コントラストは増加する。明領域ではL＜１であり、コントラストは減少する。
第１のエンハンスメント曲線のグループは、各輝度範囲に対して構成される。第１のエンハンスメント曲線は、大量のビデオで収集された統計に基づいて得られた経験値である。
処理モジュール７３０が、現在のフレームの平均輝度に従って現在のフレームに対応する第１のエンハンスメント曲線を取得することは、現在のフレームの平均輝度に従って、輝度範囲と第１のエンハンスメント曲線とのマッピング関係から、現在のフレームに対応する第１のエンハンスメント曲線を取得することを含む。
具体的には、現在のフレームの平均輝度が輝度範囲と比較され、現在のフレームの平均輝度の位置する輝度範囲が決定される。その後、輝度範囲と第１のエンハンスメント曲線との間のマッピング関係に従って、対応する第１のエンハンスメント曲線L0が見出される。
現在のフレームの第２のエンハンスメント曲線を得るために、現在のフレームの局所エンハンスメント曲線と現在のフレームの第１のエンハンスメント曲線に対して、算術平均又は加重平均が実行される。
現在のフレームの局所エンハンスメント曲線と現在のフレームの第１のエンハンスメント曲線に対して算術平均を実行する式は、L2=(L0+L1)/2である。L2は第２のエンハンスメント曲線である。
現在のフレームの局所エンハンスメント曲線と現在のフレームの第１のエンハンスメント曲線に対して加重平均を行う式は、L2=(aL0+bL1)/(a+b)である。式中、a及びbは正の数である。
第２のエンハンスメント曲線の水平座標は、現在のフレームの画素点の現在の画素値であり、垂直座標は、現在のフレームの調整画素点の画素値である。
上記の実時間ビデオエンハンスメント装置では、現在のフレームの平均輝度が輝度閾値未満であると決定され、現在のフレームの関心領域の画素範囲が取得され、局所エンハンスメント曲線が取得され、平均輝度に従って対応する第１のエンハンスメント曲線が取得され、第１のエンハンスメント曲線及び局所エンハンスメント曲線に従って、現在のフレームの第２のエンハンスメント曲線が取得され、第２のエンハンスメント曲線に従って現在のフレームが調整され、第１のエンハンスメント曲線及び局所エンハンスメント曲線を用いて総合的な処理が行われる。それにより、画像が過度にエンハンスメントされることが防止され、画像の歪みが防止される。更に、計算量が非常に少なく、実時間ビデオエンハンスメントに適するように、追加の記憶スペースは不要である。
実施形態において、決定モジュール７２０は更に、現在のフレームの平均輝度に従って、現在のフレームに対応する第１のエンハンスメント曲線を取得する前に、現在のフレームに前のフレームからのシーン変化がないか否かと、前のフレームのエンハンスメント曲線が存在するか否かとを決定するように構成され、
そうであれば、処理モジュール７３０は更に、前のフレームの第２のエンハンスメント曲線を取得し、前のフレームの第２のエンハンスメント曲線を現在のフレームの第２のエンハンスメント曲線として用いるように構成され、又は、
そうでなければ、処理モジュール７３０は、現在のフレームの平均輝度に従って、現在のフレームに対応する第１のエンハンスメント曲線を取得する。
上記の実時間ビデオエンハンスメント装置では、現在のフレームの平均輝度が輝度閾値未満であると決定され、現在のフレームの関心領域の画素範囲が取得され、局所エンハンスメント曲線が取得され、平均輝度に従って対応する第１のエンハンスメント曲線が取得され、第１のエンハンスメント曲線及び局所エンハンスメント曲線に従って、現在のフレームの第２のエンハンスメント曲線が取得され、第２のエンハンスメント曲線に従って現在のフレームが調整され、第１のエンハンスメント曲線及び局所エンハンスメント曲線を用いて総合的な処理が行われる。それにより、画像が過度にエンハンスメントされることが防止され、画像の歪みが防止される。計算量が非常に少なく、実時間ビデオエンハンスメントに適するように、追加の記憶スペースは不要である。シーンが変更されず、前のフレームに第２のエンハンスメント曲線が存在する場合、現在のフレームも、前のフレームの第２のエンハンスメント曲線を用いて調整される。それにより、更に、計算量が低減され、切換時間が大幅に短縮されることで、処理される隣接フレームがより自然になり、点滅が発生しないようになる。
図８は、別の実施形態に係る実時間ビデオエンハンスメント装置の構造ブロック図である。図８に示されるように、実時間ビデオエンハンスメント装置は更に、取得モジュール７１０、決定モジュール７２０及び処理モジュール７３０に加えて、関係確立モジュール７４０を備える。
関係確立モジュール７４０は、輝度範囲と第１のエンハンスメント曲線とのマッピング関係を確立するように構成される。第１のエンハンスメント曲線のグループは、各輝度範囲に対して構成される。第１のエンハンスメント曲線は、大量のビデオで収集された統計に基づいて得られた経験値である。
処理モジュール７３０は更に、現在のフレームの平均輝度に従って、輝度範囲と第１のエンハンスメント曲線とのマッピング関係から、現在のフレームに対応する第１のエンハンスメント曲線を取得するように構成される。
具体的には、現在のフレームの平均輝度が輝度範囲と比較され、現在のフレームの平均輝度の位置する輝度範囲が決定される。その後、輝度範囲と第１のエンハンスメント曲線との間のマッピング関係に従って、対応する第１のエンハンスメント曲線L0が見出される。
当業者であれば、前述の実施形態の方法の手順の全部又は一部を、関連するハードウェアに指示するコンピュータプログラムによって実施できることを理解することができるであろう。プログラムは、非一時的コンピュータ可読記憶媒体に記憶されてよい。プログラムが実行されると、プログラムは、前述の方法の実施形態の手順を含むことができる。記憶媒体は、磁気ディスク、光ディスク、リードオンリーメモリ（ＲＯＭ）等であってよい。
上記の実施形態は、本開示のいくつかの実施例を示すに過ぎず、これらの実施形態は具体的且つ詳細に記載されているので、本開示の特許範囲の限定と解釈することはできない。当業者であれば、本開示の思想から逸脱することなく、いくつかの変形及び改良を行うことができることに留意すべきである。そのような変形及び改良はすべて、本開示の保護範囲内に入る。したがって、本開示の特許保護範囲は、添付の特許請求の範囲に従うものとする。

Claims (17)

  1. 実時間ビデオエンハンスメント方法であって、
    画像の現在のフレームの平均輝度を取得するステップと、
    前記平均輝度が輝度閾値未満か否かを決定し、前記輝度閾値未満である場合、前記現在のフレームの関心領域の画素範囲を取得し、前記現在のフレームの前記関心領域の前記画素範囲に従って、前記現在のフレームの局所エンハンスメント曲線を取得し、前記現在のフレームの前記平均輝度に従って、前記現在のフレームに対応する第１のエンハンスメント曲線を取得するステップと、
    前記現在のフレームの前記局所エンハンスメント曲線と前記現在のフレームの前記第１のエンハンスメント曲線とに従って、前記現在のフレームの第２のエンハンスメント曲線を取得し、前記第２のエンハンスメント曲線に従って前記現在のフレームを調整するステップと、
    を含み、
    前記現在のフレームの前記関心領域の前記画素範囲に従って、前記現在のフレームの局所エンハンスメント曲線を取得する前記ステップは、
    前記現在のフレームの前記関心領域の前記画素範囲を調整して、画素マッピング範囲を取得するステップと、
    対応する前記画素マッピング範囲に前記現在のフレームの前記関心領域の前記画素範囲をマッピングして、前記現在のフレームの前記局所エンハンスメント曲線を取得するステップと、
    を含む、方法。
  2. 前記現在のフレームの前記平均輝度に従って、前記現在のフレームに対応する第１のエンハンスメント曲線を取得する前記ステップの前に、
    前記現在のフレームに前のフレームからのシーン変化がないか否かと、前記前のフレームのエンハンスメント曲線が存在するか否かとを決定するステップと、
    そうである場合、前記前のフレームの第２のエンハンスメント曲線を取得し、前記前のフレームの前記第２のエンハンスメント曲線を、前記現在のフレームの前記第２のエンハンスメント曲線として用いるステップ、又は、
    そうでない場合、前記現在のフレームの前記平均輝度に従って、前記現在のフレームに対応する前記第１のエンハンスメント曲線を取得するステップ、
    を含む、請求項１に記載の方法。
  3. 前記現在のフレームに前のフレームからのシーン変化がないか否かを決定する前記ステップは、
    前記現在のフレームの前記平均輝度を取得するステップと、
    前記現在のフレームの前記平均輝度を隣接する前の１つのフレーム又は前の複数フレームの平均輝度と比較するステップと、
    前記現在のフレームの前記平均輝度と前記隣接する前の１つのフレーム又は前記前の複数フレームの前記平均輝度との差がエラー閾値未満である場合、前記シーンが変化していないとみなし、前記エラー閾値以上である場合、前記現在のフレームにシーン変化があると決定するステップと、
    を含む、請求項２に記載の方法。
  4. 輝度範囲と前記第１のエンハンスメント曲線とのマッピング関係を確立するステップ、
    を更に含み、
    前記現在のフレームの前記平均輝度に従って、前記現在のフレームに対応する第１のエンハンスメント曲線を取得する前記ステップは、
    前記現在のフレームの前記平均輝度に従って、前記輝度範囲と前記第１のエンハンスメント曲線との前記マッピング関係から、前記現在のフレームに対応する前記第１のエンハンスメント曲線を取得するステップ、
    を含む、請求項１に記載の方法。
  5. 前記現在のフレームの前記関心領域の前記画素範囲を調整して、画素マッピング範囲を取得する前記ステップは、
    前記現在のフレームの前記関心領域の前記画素範囲の上限値と下限値との差が所定値未満であるとき、前記画素マッピング範囲の上限値を、前記現在のフレームの前記関心領域の前記画素範囲の前記上限値の所定のパーセンテージに設定し、前記画素マッピング範囲の下限値を、前記現在のフレームの前記関心領域の前記画素範囲の前記下限値の所定のパーセンテージに設定するステップ、又は、
    前記現在のフレームの前記関心領域の前記画素範囲の前記上限値と前記下限値との前記差が前記所定値以上であるとき、前記画素マッピング範囲の前記上限値を２５５に設定し、前記画素マッピング範囲の前記下限値を０に設定するステップ、
    を含む、請求項１に記載の方法。
  6. 対応する前記画素マッピング範囲に前記現在のフレームの前記関心領域の前記画素範囲をマッピングして、前記現在のフレームの前記局所エンハンスメント曲線を取得する前記ステップは、
    前記画素マッピング範囲の上限値と下限値との差の、前記現在のフレームの前記関心領域の前記画素範囲の上限値と下限値との差に対する比率を取得するステップと、
    前記現在のフレームの前記関心領域の前記画素範囲における各値と前記現在のフレームの前記関心領域の前記画素範囲の前記下限値との差に、前記比率を掛け、乗算された前記差に、前記現在のフレームの前記関心領域の前記画素範囲の前記下限値を加えて、前記現在のフレームの前記局所エンハンスメント曲線を取得するステップと、
    を含む、請求項１に記載の方法。
  7. 前記現在のフレームの前記局所エンハンスメント曲線と前記現在のフレームの前記第１のエンハンスメント曲線とに従って、前記現在のフレームの第２のエンハンスメント曲線を取得する前記ステップは、
    前記現在のフレームの前記局所エンハンスメント曲線と前記現在のフレームの前記第１のエンハンスメント曲線とに対して算術平均又は加重平均を実行して、前記現在のフレームの前記第２のエンハンスメント曲線を取得するステップ、
    を含む、請求項１に記載の方法。
  8. 端末であって、メモリ及びプロセッサを備え、前記メモリはコンピュータ可読命令を記憶し、前記コンピュータ可読命令は、前記プロセッサによる実行時に、
    画像の現在のフレームの平均輝度を取得するステップと、
    前記平均輝度が輝度閾値未満か否かを決定し、輝度閾値未満である場合、前記現在のフレームの関心領域の画素範囲を取得し、前記現在のフレームの前記関心領域の前記画素範囲に従って、前記現在のフレームの局所エンハンスメント曲線を取得し、前記現在のフレームの前記平均輝度に従って、前記現在のフレームに対応する第１のエンハンスメント曲線を取得するステップと、
    前記現在のフレームの前記局所エンハンスメント曲線と前記現在のフレームの前記第１のエンハンスメント曲線とに従って、前記現在のフレームの第２のエンハンスメント曲線を取得し、前記第２のエンハンスメント曲線に従って前記現在のフレームを調整するステップと、
    を前記プロセッサに実行させ、
    前記現在のフレームの前記関心領域の前記画素範囲に従って、前記現在のフレームの局所エンハンスメント曲線を取得する前記ステップは、
    前記現在のフレームの前記関心領域の前記画素範囲を調整して、画素マッピング範囲を取得するステップと、
    対応する前記画素マッピング範囲に前記現在のフレームの前記関心領域の前記画素範囲をマッピングして、前記現在のフレームの前記局所エンハンスメント曲線を取得するステップと、
    を含む、端末。
  9. 前記現在のフレームの前記平均輝度に従って、前記現在のフレームに対応する第１のエンハンスメント曲線を取得する前記ステップの前に、前記プロセッサは更に、
    前記現在のフレームに前のフレームからのシーン変化がないか否かと、前のフレームのエンハンスメント曲線が存在するか否かとを決定するステップと、
    そうであれば、前記前のフレームの第２のエンハンスメント曲線を取得し、前記前のフレームの前記第２のエンハンスメント曲線を、前記現在のフレームの前記第２のエンハンスメント曲線として用いるステップ、又は、
    そうでなければ、前記現在のフレームの前記平均輝度に従って、前記現在のフレームに対応する前記第１のエンハンスメント曲線を取得するステップ、
    を実行する、請求項８に記載の端末。
  10. 前記プロセッサは更に、
    前記現在のフレームの前記平均輝度を取得するステップと、
    前記現在のフレームの前記平均輝度を、隣接する前の１つのフレーム又は前の複数フレームの平均輝度と比較するステップと、
    前記現在のフレームの前記平均輝度と前記隣接する前の１つのフレーム又は前記前の複数フレームの前記平均輝度との差がエラー閾値未満である場合、前記現在のフレームにおいて前記前の複数フレームからシーン変化がないと決定し、又は、前記エラー閾値以上である場合、前記現在のフレームに前記前の複数フレームからシーン変化があると決定するステップと、
    を実行する、請求項９に記載の端末。
  11. 前記プロセッサは更に、
    輝度範囲と前記第１のエンハンスメント曲線とのマッピング関係を確立するステップ、
    を実行し、
    前記現在のフレームの前記平均輝度に従って、前記現在のフレームに対応する第１のエンハンスメント曲線を取得する前記ステップは、
    前記現在のフレームの前記平均輝度に従って、前記輝度範囲と前記第１のエンハンスメント曲線との前記マッピング関係から、前記現在のフレームに対応する前記第１のエンハンスメント曲線を取得するステップ、
    を含む、請求項８に記載の端末。
  12. 前記現在のフレームの前記関心領域の前記画素範囲を調整して、画素マッピング範囲を取得する前記ステップは、
    前記現在のフレームの前記関心領域の前記画素範囲の上限値と下限値との差が所定値未満であるとき、前記画素マッピング範囲の上限値を、前記現在のフレームの前記関心領域の前記画素範囲の前記上限値の所定のパーセンテージに設定し、前記画素マッピング範囲の下限値を、前記現在のフレームの前記関心領域の前記画素範囲の前記下限値の所定のパーセンテージに設定するステップ、又は、
    前記現在のフレームの前記関心領域の前記画素範囲の前記上限値と前記下限値との前記差が前記所定値以上であるとき、前記画素マッピング範囲の前記上限値を２５５に設定し、前記画素マッピング範囲の前記下限値を０に設定するステップ、
    を含む、請求項８に記載の端末。
  13. 対応する前記画素マッピング範囲に前記現在のフレームの前記関心領域の前記画素範囲をマッピングして、前記現在のフレームの前記局所エンハンスメント曲線を取得する前記ステップは、
    前記画素マッピング範囲の上限値と下限値との差の、前記現在のフレームの前記関心領域の前記画素範囲の上限値と下限値との差に対する比率を取得するステップと、
    前記現在のフレームの前記関心領域の前記画素範囲における各値と前記現在のフレームの前記関心領域の前記画素範囲の前記下限値との差に、前記比率を掛け、乗算された前記差に、前記現在のフレームの前記関心領域の前記画素範囲の前記下限値を加えて、前記現在のフレームの前記局所エンハンスメント曲線を取得するステップと、
    を含む、請求項８に記載の端末。
  14. 前記現在のフレームの前記局所エンハンスメント曲線と前記現在のフレームの前記第１のエンハンスメント曲線とに従って、前記現在のフレームの第２のエンハンスメント曲線を取得する前記ステップは、
    前記現在のフレームの前記局所エンハンスメント曲線と前記現在のフレームの前記第１のエンハンスメント曲線とに対して算術平均又は加重平均を実行して、前記現在のフレームの前記第２のエンハンスメント曲線を取得するステップ、
    を含む、請求項８に記載の端末。
  15. コンピュータ実行可能命令を備える１つ以上の非一時的コンピュータ可読記憶媒体であって、
    前記コンピュータ実行可能命令は、１以上のプロセッサによって実行されると、
    画像の現在のフレームの平均輝度を取得するステップと、
    前記平均輝度が輝度閾値未満か否かを決定し、輝度閾値未満である場合、前記現在のフレームの関心領域の画素範囲を取得し、前記現在のフレームの前記関心領域の前記画素範囲に従って、前記現在のフレームの局所エンハンスメント曲線を取得し、前記現在のフレームの前記平均輝度に従って、前記現在のフレームに対応する第１のエンハンスメント曲線を取得するステップと、
    前記現在のフレームの前記局所エンハンスメント曲線と前記現在のフレームの前記第１のエンハンスメント曲線とに従って、前記現在のフレームの第２のエンハンスメント曲線を取得し、前記第２のエンハンスメント曲線に従って前記現在のフレームを調整するステップと、
    を前記１以上のプロセッサに実行させ、
    前記現在のフレームの前記関心領域の前記画素範囲に従って、前記現在のフレームの局所エンハンスメント曲線を取得する前記ステップは、
    前記現在のフレームの前記関心領域の前記画素範囲を調整して、画素マッピング範囲を取得するステップと、
    対応する前記画素マッピング範囲に前記現在のフレームの前記関心領域の前記画素範囲をマッピングして、前記現在のフレームの前記局所エンハンスメント曲線を取得するステップと、
    を含む、非一時的コンピュータ可読記憶媒体。
  16. 前記現在のフレームの前記関心領域の前記画素範囲を調整して、画素マッピング範囲を取得する前記ステップは、
    前記現在のフレームの前記関心領域の前記画素範囲の上限値と下限値との差が所定値未満であるとき、前記画素マッピング範囲の上限値を、前記現在のフレームの前記関心領域の前記画素範囲の前記上限値の所定のパーセンテージに設定し、前記画素マッピング範囲の下限値を、前記現在のフレームの前記関心領域の前記画素範囲の前記下限値の所定のパーセンテージに設定するステップ、又は、
    前記現在のフレームの前記関心領域の前記画素範囲の前記上限値と前記下限値との前記差が前記所定値以上であるとき、前記画素マッピング範囲の前記上限値を２５５に設定し、前記画素マッピング範囲の前記下限値を０に設定するステップ、
    を含む、請求項１５に記載の非一時的コンピュータ可読記憶媒体。
  17. 対応する前記画素マッピング範囲に前記現在のフレームの前記関心領域の前記画素範囲をマッピングして、前記現在のフレームの前記局所エンハンスメント曲線を取得する前記ステップは、
    前記画素マッピング範囲の上限値と下限値との差の、前記現在のフレームの前記関心領域の前記画素範囲の上限値と下限値との差に対する比率を取得するステップと、
    前記現在のフレームの前記関心領域の前記画素範囲における各値と前記現在のフレームの前記関心領域の前記画素範囲の前記下限値との差に、前記比率を掛け、乗算された前記差に、前記現在のフレームの前記関心領域の前記画素範囲の前記下限値を加えて、前記現在のフレームの前記局所エンハンスメント曲線を取得するステップと、
    を含む、請求項１５に記載の非一時的コンピュータ可読記憶媒体。
JP2017565891A 2015-11-18 2016-05-13 実時間ビデオエンハンスメント方法、端末及び非一時的コンピュータ可読記憶媒体 Active JP6615917B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201510798982.8 2015-11-18
CN201510798982.8A CN105407296B (zh) 2015-11-18 2015-11-18 实时视频增强方法和装置
PCT/CN2016/081958 WO2017084255A1 (zh) 2015-11-18 2016-05-13 实时视频增强方法、终端和非易失性计算机可读存储介质

Publications (2)

Publication Number Publication Date
JP2018517993A JP2018517993A (ja) 2018-07-05
JP6615917B2 true JP6615917B2 (ja) 2019-12-04

Family

ID=55472512

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017565891A Active JP6615917B2 (ja) 2015-11-18 2016-05-13 実時間ビデオエンハンスメント方法、端末及び非一時的コンピュータ可読記憶媒体

Country Status (7)

Country Link
US (2) US10467734B2 (ja)
EP (1) EP3379822B1 (ja)
JP (1) JP6615917B2 (ja)
KR (1) KR101998531B1 (ja)
CN (1) CN105407296B (ja)
MY (1) MY185776A (ja)
WO (1) WO2017084255A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105407296B (zh) 2015-11-18 2021-03-23 腾讯科技（深圳）有限公司 实时视频增强方法和装置
CN106875344B (zh) 2016-12-21 2019-09-17 浙江大华技术股份有限公司 一种视频图像的补光处理方法及装置
CN108460730B (zh) 2017-02-17 2020-06-26 京东方科技集团股份有限公司 一种图像处理方法及其装置
CN107392879B (zh) * 2017-07-20 2019-10-25 武汉大学 一种基于参考帧的低照度监控图像增强方法
CN108364271B (zh) * 2018-01-19 2021-07-23 昆山国显光电有限公司 一种图像对比度的提高方法和装置
CN112071037B (zh) * 2019-06-11 2022-07-01 虹球环艺科技集团有限公司 现场指示灯驱动方法
US11134180B2 (en) * 2019-07-25 2021-09-28 Shenzhen Skyworth-Rgb Electronic Co., Ltd. Detection method for static image of a video and terminal, and computer-readable storage medium
US11223792B2 (en) 2019-12-12 2022-01-11 Google Llc Summing-up video frames to enhance image brightness
CN110910333B (zh) * 2019-12-12 2023-03-14 腾讯科技（深圳）有限公司 图像处理方法和图像处理设备
CN111147924B (zh) * 2019-12-24 2022-10-04 书行科技(北京)有限公司 一种视频增强处理方法及系统
CN113255507B (zh) * 2021-05-20 2022-04-29 株洲中车时代电气股份有限公司 一种弓网燃弧的识别方法、系统及存储介质

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0142290B1 (ko) * 1993-11-24 1998-06-15 김광호 장면적응 영상개선방법 및 그 회로
JP4169188B2 (ja) * 2002-06-03 2008-10-22 株式会社Ｋ−Ｗｉｌｌ 画像処理方法
JP3873917B2 (ja) * 2003-03-14 2007-01-31 セイコーエプソン株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
EP1482726A1 (en) * 2003-05-30 2004-12-01 Sony International (Europe) GmbH Method of and apparatus for processing a sequence of images
US7715649B2 (en) * 2005-02-14 2010-05-11 Fujifilm Corporation Generation and adjustment of a luminance correction curve to prevent saturation of the image during contrast enhancement
CN100411424C (zh) * 2005-04-18 2008-08-13 凌阳科技股份有限公司 珈玛校正的方法及系统
KR100742333B1 (ko) * 2005-09-12 2007-07-26 삼성전자주식회사 적응적 계수보간법을 이용한 영상 콘트라스트 개선장치 및그 방법
JP2007194683A (ja) * 2006-01-17 2007-08-02 Fuji Xerox Co Ltd 色調整方法、色調整装置および色調整プログラム
US7738698B2 (en) * 2006-01-26 2010-06-15 Vestel Elektronik Sanayi Ve Ticaret A.S. Method and apparatus for adjusting the contrast of an image
CN1874527A (zh) * 2006-06-09 2006-12-06 北京中星微电子有限公司 伽马校正装置及实现伽马校正的方法和装置
US7826680B2 (en) * 2006-06-26 2010-11-02 Genesis Microchip Inc. Integrated histogram auto adaptive contrast control (ACC)
JP4869959B2 (ja) 2006-10-11 2012-02-08 株式会社Ｊｖｃケンウッド 映像信号処理装置及び映像表示装置
US8014623B2 (en) * 2006-11-29 2011-09-06 Ipera Technology, Inc. System and method for efficiently enhancing videos and images
CN100515042C (zh) * 2007-03-29 2009-07-15 上海交通大学 多曝光图像增强方法
WO2009063553A1 (ja) * 2007-11-13 2009-05-22 Fujitsu Limited 画像補正装置、画像補正方法および画像補正プログラム
CN101340511B (zh) * 2008-08-07 2011-10-26 中兴通讯股份有限公司 一种基于亮度检测的自适应视频图像增强方法
CN101340512B (zh) * 2008-08-12 2010-06-09 中兴通讯股份有限公司 一种视频图像处理方法
US20100080459A1 (en) * 2008-09-26 2010-04-01 Qualcomm Incorporated Content adaptive histogram enhancement
KR100970883B1 (ko) * 2008-10-08 2010-07-20 한국과학기술원 영역 특성을 고려한 영상 보정 장치 및 그 방법
CN101646091B (zh) * 2009-08-25 2011-07-20 浙江大学 基于边缘检测误差扩散的伽马校正方法及装置
US8781248B2 (en) * 2010-01-28 2014-07-15 Stmicroelectronics Asia Pacific Pte. Ltd. Image details preservation and enhancement
JP5293702B2 (ja) * 2010-08-25 2013-09-18 パナソニック株式会社 映像表示装置
CN102625030B (zh) * 2011-02-01 2014-10-01 株式会社理光 视频增强方法和系统
JP5269964B2 (ja) * 2011-09-30 2013-08-21 株式会社東芝 電子機器及び映像処理方法
US9064313B2 (en) * 2012-09-28 2015-06-23 Intel Corporation Adaptive tone map to a region of interest to yield a low dynamic range image
KR101382625B1 (ko) * 2012-10-17 2014-04-10 고려대학교 산학협력단 대상체의 동적 변화 산출 장치 및 방법
CN104202604B (zh) * 2014-08-14 2017-09-22 深圳市腾讯计算机系统有限公司 视频增强的方法和装置
US9892494B2 (en) * 2015-02-05 2018-02-13 Apple Inc. Region-of-interest biased tone mapping
US10136074B2 (en) * 2015-06-02 2018-11-20 Samsung Electronics Co., Ltd. Distribution-point-based adaptive tone mapping
CN105407296B (zh) * 2015-11-18 2021-03-23 腾讯科技（深圳）有限公司 实时视频增强方法和装置
US10403214B2 (en) * 2017-05-12 2019-09-03 Apple Inc. Electronic devices with tone mapping to accommodate simultaneous display of standard dynamic range and high dynamic range content
CN107403422B (zh) * 2017-08-04 2020-03-27 上海兆芯集成电路有限公司 用以增强图像对比度的方法及其系统

Also Published As

Publication number Publication date
JP2018517993A (ja) 2018-07-05
US20180005359A1 (en) 2018-01-04
CN105407296A (zh) 2016-03-16
EP3379822A1 (en) 2018-09-26
US20200020084A1 (en) 2020-01-16
WO2017084255A1 (zh) 2017-05-26
US10878543B2 (en) 2020-12-29
MY185776A (en) 2021-06-07
EP3379822B1 (en) 2021-07-28
KR101998531B1 (ko) 2019-10-01
CN105407296B (zh) 2021-03-23
EP3379822A4 (en) 2018-11-21
KR20180018748A (ko) 2018-02-21
US10467734B2 (en) 2019-11-05

Similar Documents

Publication Publication Date Title
JP6615917B2 (ja) 実時間ビデオエンハンスメント方法、端末及び非一時的コンピュータ可読記憶媒体
KR102149187B1 (ko) 전자 장치와, 그의 제어 방법
CN111028189B (zh) 图像处理方法、装置、存储介质及电子设备
JP6469678B2 (ja) 画像アーティファクトを補正するシステム及び方法
US10565742B1 (en) Image processing method and apparatus
CN110766621B (zh) 图像处理方法、装置、存储介质及电子设备
CN108009997B (zh) 一种调整图像对比度的方法及装置
CN107395991B (zh) 图像合成方法、装置、计算机可读存储介质和计算机设备
WO2014106445A1 (zh) 逆光检测方法及设备
CN105208281A (zh) 一种夜景拍摄方法及装置
CN109686342B (zh) 一种图像处理方法及装置
CN110445986B (zh) 图像处理方法、装置、存储介质及电子设备
CN112541868B (zh) 图像处理方法、装置、计算机设备和存储介质
CN112950499B (zh) 图像处理方法、装置、电子设备及存储介质
CN115496668A (zh) 图像处理方法、装置、电子设备及存储介质
CN110136085B (zh) 一种图像的降噪方法及装置
CN109308690B (zh) 一种图像亮度均衡方法及终端
WO2022111269A1 (zh) 视频的细节增强方法、装置、移动终端和存储介质
CN111970451B (zh) 图像处理方法、图像处理装置及终端设备
CN115049572A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN112215237B (zh) 图像处理方法及装置、电子设备和计算机可读存储介质
CN114266803A (zh) 图像处理方法、装置、电子设备及存储介质
CN112950515A (zh) 图像处理方法及装置、计算机可读存储介质和电子设备
CN112419217B (zh) 图像处理方法、装置、计算机设备及介质
CN114298935B (zh) 图像增强方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171219

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190523

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191015

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191106

R150 Certificate of patent or registration of utility model

Ref document number: 6615917

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250