JP5492087B2 - コンテンツベースの画像調整 - Google Patents

コンテンツベースの画像調整 Download PDF

Info

Publication number
JP5492087B2
JP5492087B2 JP2010527090A JP2010527090A JP5492087B2 JP 5492087 B2 JP5492087 B2 JP 5492087B2 JP 2010527090 A JP2010527090 A JP 2010527090A JP 2010527090 A JP2010527090 A JP 2010527090A JP 5492087 B2 JP5492087 B2 JP 5492087B2
Authority
JP
Japan
Prior art keywords
image
characteristic
content
input signal
video input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010527090A
Other languages
English (en)
Other versions
JP2010541009A (ja
Inventor
アレクサンダー ベレストフ
チュエン シン リー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JP2010541009A publication Critical patent/JP2010541009A/ja
Application granted granted Critical
Publication of JP5492087B2 publication Critical patent/JP5492087B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4398—Processing of audio elementary streams involving reformatting operations of audio signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57—Control of contrast or brightness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、ビデオ信号を調整することに関する。より詳細には、信号特性、画像特性、及び、画像内容（image content）に基づいて画像表示設定を調整することに関する。
著作権表示
本特許文献の開示の一部は著作権保護の対象となる要素を含んでいる。特許商標庁の特許のファイル又は記録に見られるように、著作権者は、本特許文献又は本特許の開示についての任意の者による複製されたコピーに対して異論はない。しかし、その他の点では、全ての著作権を留保し、以下の警告が適用される。著作権者 ソニーエレクトロニクス社 無断複写・複製・転載を禁ず。
最近のテレビ及びモニタは通常、複数の異なる画像調整機構を有する。ユーザは、表示メニューを検索し、明るさ、コントラスト、鮮明さ、色相などの画像表示設定を手動で調整することができる。いかに画像表示設定を調整しても、画像は、テレビ又はモニタ上で異なって表示される。
さらに、あるテレビ及びモニタは、一又は二以上のプリセット表示モードを有する。そのモードのそれぞれは、プリセットされた色相、鮮明さ、コントラスト、明るさなどを含む。ユーザは、表示メニューを検索することによって、プリセット表示モードを選択することができる。ある表示モードでは、所定の画像を他の表示モードより正確に表示することができる。例えば、スポーツ表示モードでは、スポーツイベントを見るために最適であると一般に考えられる画像表示設定を含むことができる。同様に、シネマ表示モードでは、動画を見るために最適であると一般に考えられる画像表示設定を含むことができる。しかしながら、そのようなプリセット表示モードの利点を得るために、ユーザは、見ようとしているものを変更する度に手動で表示モードを変更しなければならない。さらに、プリセット表示モードは、動画全体（全てのシーンのために）を通して、スポーツイベントの間中などに適用される。しかしながら、特定のプリセット表示モードは、ある番組、動画、又は、スポーツイベント全体についての最適な画像表示設定を盛り込むことはできない。
ビデオ入力信号は画像特性及び画像内容を検出するよう分析される。画像内容の検出は、画像特徴を自動的に抽出することを含む。ビデオ入力信号についてのコンテンツグループは、検出した画像の内容に基づいて決定される。各コンテンツグループは、所定の画像特性を含む。画像表示設定は、検出された画像特性と所定の画像特性との間の相違に基づいて調整される。
画像調整装置の一実施例を示す。 本発明の一実施例による典型的な信号分析器を示す。 本発明の一実施例による典型的なグループ判定器を示す。 本発明の一実施例による典型的なマルチメディアシステムを示す。 本発明の他の実施例による典型的なマルチメディアシステムを示す。 本発明の更なる他の実施例による典型的なマルチメディアシステムを示す。 本発明の一実施例による画像を修正する方法を示す。 本発明の他の実施例による画像を修正する方法を示す。 本発明の更なる他の実施例による画像を修正する方法を示す。 本発明の一実施例による入力信号を修正する方法を示す。 本発明の実施例を動作可能なコンピュータシステムの典型的な形態における機械についてのブロック図を示す。
本発明の実施例についての以下の詳細な説明において、参照記号は添付の図面に沿って構成されており、同じ参照記号は同じ要素を示す。さらに、それら図面は、本発明を実施可能な特定の実施例の図解のために示す。それら実施例は、当業者が本発明を実施するために十分詳細に記述されている。さらに、本発明の範囲から逸脱することなく、他の実施例を利用することができること、そして、当然のことながら、論理的変更、機械的変更、電気的変更、機能的変更、それら以外の変更も構成可能である。したがって、以下の詳細な記述を限定的な意味でとらえるべきではなく、本発明の範囲は、添付の特許請求の範囲のみによって定義される。
説明を明確にする目的のために、以下に、用語を定義する。
用語“信号特性”は、ビデオ信号の特性又はスチール画像信号の特性を意味する。信号特性には、メタデータ（例えば、タイトル、時間、日付、ＧＰＳ座標などについて）、信号の構造（例えば、インタレース又は順次操作（プログレッシブスキャン））、エンコーディング方式（例えば、エムペグ７）、信号ノイズなどを含むことができる。
用語“画像特性”は、信号により表示可能な画像の特性を意味する。画像特性には、画像サイズ、画像の解像度、フレームレート、ダイナミックレンジ、カラーキャスト（色かぶり）（特定の色による優越性）、ヒストグラム（各カラーチャンネルについての画像内の各グレースケール値でのピクセル数）、ブラー、画像ノイズなどを含むことができる。
用語“画像内容”は、視聴者が画像を見るときに見分けられるオブジェクト及びシーン（例えば、カメラによって得られるオブジェクト及びシーン）、さらには、オブジェクト及びシーンの特性を意味する。画像内容には、高水準の画像特徴（例えば、顔、建物、人、動物、風景など）及び低水準の画像特徴（例えば、テクスチャ、オブジェクトの実際の色、形状など）が含まれる。
用語“画像表示設定”は表示についての設定を意味する。その設定は、ディスプレイ上に画像を表示させる方法を修正するために調整される。信号特性、画像特性、及び、画像内容が信号の特性である場合、画像表示設定は表示装置の特性である。画像表示設定には、スクリーンの解像度（対語として、画像の解像度）、リフレッシュレート（refreshment rate）、明るさ、コントラスト、色相、彩度、ホワイトバランス、鮮明さなどを含むことができる。
用語“表示対象の画像特性”は、表示装置（又は、画像調整装置）が画像の処理を行った後の画像についての特性を意味する。表示対象の画像特性には、“画像特性”と同じパラメータを含むことができるが、パラメータの値は異なっていてもよい。通常、画像表示設定は、表示対象の画像特性に影響を与える。
本発明の動作についての概要から説明する。図１は、画像調整装置１００の一実施例を示す。画像調整装置１００は、一又は二以上の画像表示設定（例えば、コントラスト、明るさ、色相など）を修正することができ、表示対象の画像特性（例えば、ダイナミックレンジ、ブラー、画像ノイズなど）と入力信号の画像特性とが異なるようにすることができる。他には、画像調整装置１００は、入力信号を修正することができ、修正された画像特性を含む出力信号を生成する。画像表示設定を修正するために、画像調整装置１００は、ビデオ入力を分析し、画像特性及び画像内容を検出することができる。画像調整装置１００は、検出した画像内容に基づいて、ビデオ入力信号についてのコンテンツグループを決定する（及び、コンテンツグループをビデオ入力信号に適用する）ことができ、さらに、適切なコンテンツグループを適用することができる。コンテンツグループは、画像表示設定の修正方法を決定するために、検出された画像特性との比較対照である所定の画像特性を含むことができる。画像表示設定を修正することによって、より見やすい画像、より審美的に心地よい画像、記録されている画像をより正確に描写した画像などを生成することができる。
画像調整装置１００は、信号源とビデオ信号の最終的な表示との間の任意のポイントでビデオ信号を途中で取得し（intercept）修正するよう用いられ得る。例として、画像調整装置１００は、テレビやモニタ、又は、セットトップボックス、サーバサイドのルータやクライアントサイドのルータなどに備えることができる。説明の明確化のために、簡略化した画像調整装置１００が記載されているが、一方で、本発明は、内容の検出、コンテンツグループの割り当て、又は、画像表示設定の調整に関して、特定のロジック又はアルゴリズムに限定されない。
一実施例において、画像調整装置１００は、マイクロコントローラ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、又は、他の専用の処理ユニットによって実行されるロジックを含む。他の実施例において、画像調整装置１００は中央処理装置によって実行されるロジックを含むことができる。他には、画像調整装置１００は、一連の状態機械（例えば、一連の動作をどのように実行するかを決められている内部ロジック）、ロジック回路（例えば、時間内に一連のイベントを調べるロジック又は入力の変化によって出力を随時変化させるロジック）、又は、状態機械とロジック回路との組み合わせとして実装が可能である。
一実施例において、画像調整装置１００は、入力端末１０５、信号分析器１１０、フレームレート調整器１１２、グループ判定器１１５、画像調整器１２０、音声調整器１２５、及び、出力端末１３０を備える。他には、フレームレート調整器１１２、グループ判定器１１５、画像調整器１２０、音声調整器１２５の一又は二以上を省略することができる。
入力端末１０５は、入力信号を受信する。入力信号はビデオ入力信号又はスチール画像入力信号とすることができる。受信対象であるビデオ入力信号の例としては、デジタルビデオ信号（例えば、最先端テレビシステム委員会、（Advanced Television Systems Committee、ＡＴＳＣ）信号、デジタルビデオ放送（ Digital Video Broadcasting，ＤＶＢ）信号など）信号、又は、アナログビデオ信号（例えば、全米テレビジョン放送方式標準化委員会（National Television System Committee、ＮＴＳＣ）信号、位相反転線（Phase Alternating Line、ＰＡＬ）信号、順次式カラーメモリ（sequential color with memory、ＳＥＣＡＭ）信号、ＰＡＬ／ＳＥＣＡＭ信号など）を含む。受信対象のビデオ信号、及び／又は、スチール画像信号は、圧縮されていてもよい（例えば、モーションピクチャエキスパートグループ１（ＭＰＥＧ−１）、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−７、ビデオコーデック１（ＶＣ−１）などを用いて、）、又は、圧縮されていなくてもよい。受信対象のビデオ入力信号は、インタレースであっても非インタレースであってもよい。
入力端末１０５は、信号分析器１１０に接続されており、受信対象の入力信号を信号分析器１１０に送信することができる。信号分析器１１０は、入力信号を分析し、信号特性、画像内容、及び／又は、画像特性を決定することができる。決定される画像特性の例としては、画像サイズ、画像解像度、ダイナミックレンジ、色かぶりなどを含む。決定される信号特性の例としては、エンコーディング方式、信号ノイズ、信号構造（インタレース又はプログレッシブスキャン）などを含む。一実施例において、画像内容を決定することは、入力信号についての画像特徴を抽出することを含む。高水準の画像特徴（例えば、顔、建物、人、動物、風景など）及び低水準の画像特徴（例えば、テクスチャ、色、形状など）の両方が抽出され得る。信号分析器１１９は、低水準の画像特徴及び高水準の画像特徴の両方を自動的に抽出することができる。そして、信号分析器１１０は、抽出した画像特徴の組み合わせに基づいて内容を判定することができる。信号分析器１１０については、以下図１Ｂを参照して、より詳細に説明する。
図１Ａを参照すると、一実施例において、画像調整装置１００は、フレームレート調整器１１２を含む。一実施例において、フレームレート調整器１１２は、（図示されているように）信号分析器１１０の出力に接続されている入力を有する。他の実施例において、フレームレート調整器１１２は、グループ判定器１１５、画像調整器１２０、及び／又は、音声調整器１２５の出力に接続されている入力を有する。
フレームレート調整器１１２は、信号分析器１１０によって検出された信号特性、画像内容、及び／又は、動きに基づいて、ビデオ入力信号のフレームレートを調整することができる。一実施例において、ある閾値より大きい動きの状態である画像特性が検出された場合、フレームレート調整器１１２はフレームレートを増加させる。一実施例において、フレームレートの閾値は、動いているオブジェクトの速度に基づいて決定される。例えば、閾値は、オブジェクトがフレーム間で３ピクセルより多く移動してはならないことを示す。したがって、オブジェクトが２つのフレーム間で３つのピクセルより多く動くことが検出された場合、フレーム間におけるオブジェクトの移動が３ピクセル未満となるまでフレームレートを増加させることができる。
また、フレームレートの増加量は、閾値と検出した動きとの間の相違に依存させることができる。他には、参照テーブル（lookup table）又は他のデータ構造は、複数のエントリを含むことができる。各エントリは、動きベクトル又はブラーの量と特定のフレームレートとを関連付ける。一実施例において、広範囲の動きの平均は、フレームレートを調整するか決定するために用いることができる。他には、フレームレート調整は、最も早く動く画像特徴に基づいていてもよい。
一実施例において、グループ判定器１１５は、フレームレート調整器１１２の出力に接続されている入力を有する。他の実施例において、グループ判定器１１５は、信号分析器１１０の出力に接続されている入力を有する。グループ判定器１１５は、信号分析器１１０によって抽出された低水準の特徴及び高水準の特徴を受信する。低水準の特徴及び／又は高水準の特徴に基づいて、グループ判定器１１５は、入力信号についてのコンテンツグループ（また、コンテンツモードとも呼ばれる）を決定することができ、さらに、決定されたコンテンツグループを信号に割当てることができる。例えば、抽出された画像特徴には空及び自然の景観が含まれており、顔が存在しない場合、景観のグループが決定され、割当てられる。一方で、動きがない複数の顔が検出された場合、ポートレイトのグループが決定され、割当てられる。
一実施例において、グループ判定器１１５は、単一のコンテンツグループを画像に割当てる。他には、グループ判定器１１５は、画像を複数の部分画像に分割することができる。画像は、空間配置（例えば、画像の上半分に対して、画像の下半分）に基づいて、抽出された特徴の境界に基づいて、又は、他の基準に基づいて、複数の画像部分に分割され得る。そして、グループ判定器１１５は、第１の画像特徴を含む第１の画像部分についての第１のコンテンツグループを決定することができ、さらに、第２の画像特徴を含む第２の画像部分についての第２のコンテンツグループを決定することができる。さらに、入力信号は、２つより多くの画像部分に分割されてもよい。各画像部分には、異なるコンテンツグループが割当てられる。グループ判定器１１５は、以下図１Ｃを参照して、より詳細に説明する。
図１Ａを参照すると、一実施例において、画像調整装置１００は画像調整器１２０を備える。画像調整器１２０は、グループ判定器１１５の出力に接続されている入力を有する。上述の通り、各コンテンツグループは、所定の画像特性のコレクションを含む。画像調整器１２０は、（信号分析器１１０によって検出されるような）検出された画像特性と割当てられたコンテンツグループの所定の画像特性との比較に基づいて、一又は二以上の画像表示設定を調整することができる。検出された画像特性と所定の画像特性との間の相違は、画像調整設定についての調整の規模（magnitude）を決定することができる。他に、画像調整器１２０は入力信号を修正することができ、これにより、既知の画像表示設定を有するディスプレイ上で表示が行われるとき、表示される画像は所定の画像特性を有することとなる。
一実施例において、画像調整装置１００は、グループ判定器１１５の出力に接続されている入力を有する音声調整器１２５を備える。音声調整器１２５は、（信号分析器１１０によって検出されるような）検出された音声特性と割当てられたコンテンツグループの所定の音声特性との比較に基づいて、一又は二以上の音声設定（例えば、ボリューム、イコライザ設定、音声の再生速度など）を調整することができる。複数のコンテンツグループが入力信号に割当てられる場合、音声設定は、検出された音声特性とコンテンツグループの一つにおける所定の音声特性との間の相違に基づいて、又は、割当てられたコンテンツグループの音声特性の平均又は他の組み合わせに基づいて修正される。
出力端末１３０は、フレームレート調整器１１２、画像調整器１２０、及び、音声調整器１２５の一又は二以上の出力に接続されている入力を有することができる。一実施例において、出力端末１３０は、調整された画像表示設定、及び／又は、調整されたフレームレートを用いて入力信号を表示するディスプレイを備える。また、出力端末１３０は、調整された音声設定を用いて入力信号の音声部分を発するスピーカを備えることができる。
他の実施例において、出力端末１３０は、ディスプレイ及び／又はスピーカを有する装置に出力信号を送信する。出力端末１３０は、フレームレート調整器１１２、画像調整器１２０、及び、音声調整器１２５の一又は二以上から受信した調整についての指示に基づいて出力信号を生成することができる。出力信号は、既知の画像表示設定を有するディスプレイ装置上で表示されるとき、決定されたコンテンツグループの所定の画像特性を有することができる。さらに、出力信号は、そのディスプレイ装置上で表示されるとき、決定されたコンテンツグループの調整されたフレームレート及び／又は所定の音声特性を有することができる。
さらなる他の実施例において、出力端末１３０は、ディスプレイ及び／又はスピーカを有する装置に画像表示設定用修正信号とともに入力信号を送信する。画像表示設定用修正信号は、表示装置に画像表示設定を調整するように指示し、画像を表示する。これにより、決定されたコンテンツグループの所定の画像特性が示される。画像表示設定用修正信号は、入力信号に付加されるメタデータとすることもできる。
図１Ｂは、本発明の一実施例による、典型的な信号分析器１１０を示す。信号分析器１１０は、入力信号を分析し、信号特性、画像内容、及び／又は、画像特性を決定することができる。一実施例において、画像内容を決定することは、入力信号についての画像特徴を抽出することを含む。高水準の画像特徴（例えば、顔、建物、人、動物、景観など）及び低水準の画像特徴（例えば、テクスチャ、色、形状など）の両方が抽出される。そして、信号分析器１１０は、抽出された画像特徴の組み合わせに基づいてコンテンツを決定することができる。
受信した信号を圧縮する場合、信号が圧縮されたままで、一又は二以上の信号の特性、画像特性、及び／又は、画像内容が決定される。そして、信号が伸長され、その後、追加の信号特性、画像特性、及び／又は、画像内容を決定することもできる。ある信号特性、画像特性、及び／又は、画像内容は、画像が圧縮されている間に検出しやすく、一方で、他の信号特性、画像特性、及び／又は、画像内容は、画像が伸長された後に決定し易い。例えば、ノイズ検出は、圧縮データで実行することができるが、顔検出は、伸長されたデータで実行することができる。
信号分析器１１０は、信号がフレーム単位（例えば、フレーム毎、一つおきのフレーム毎などに個別に分析される）又は一連のフレーム単位（例えば、３つのフレームが同時に分析される）で受信されるのと同時に、信号を動的に分析することができる。一連のフレームが同時に分析される場合、一つのフレームに現れる画像内容は、その一連の並びにおける各フレームに適用される可能性がある。他の例では、画像内容が一連の並びにおける各フレームに現れていなければ、画像内容は、それらフレームに適用されない。
一実施例において、信号分析器１１０は、信号特性検出器１３５及び画像特性検出器１４０を備える。また、他の実施例において、信号分析器１１０は、モーション検出器１５０及び音声特性検出器１５５を備える。
信号特性検出器１３５は、入力信号を分析し、信号特性（例えば、エンコーディング方式、信号ノイズ、信号構造など）を決定する。例えば、信号特性検出器１３５は、入力信号を分析し、信号に付加されている任意のメタデータを読み取ることができる。そのようなメタデータは、画像内容及び／又は画像特性についての情報を定義することができる。例えば、ＭＰＥＧ−７でエンコードされているビデオ信号は、画像内容、音声情報、及び、信号についての他の情報を記述することができるメタデータを含む。例として、信号特性検出器１３５は信号対ノイズ比（ＳＮ比）を決定することができ、さらには、信号がインターレスであるか非インターレスであるか決定することができる。
一実施例において、画像特性検出器１４０は、入力信号における画像特性を決定する。画像特性の例としては、画像サイズ、画像の解像度、色かぶりなどである。一実施例において、画像特性検出器１４０は入力信号についての画像特徴を抽出する。そして、その画像特徴は、入力信号の画像内容を決定するために用いられる。画像特性検出器１４０は、入力信号から高水準の画像特徴（例えば、顔、建物、人、動物、風景など）及び低水準の画像特徴（例えば、テクスチャ、色、形状など）の両方を抽出する。画像特性検出器１４０は、低水準の画像特徴及び高水準の画像特徴の両方を自動的に抽出することもできる。コンテンツベースの画像検査（image retrieval）における当業者にとって既知であり考え得る画像特徴の抽出のための典型的技術を以下で説明する。しかしながら、他の既知の技術は、同一又は異なる画像特徴を抽出するよう用いることができる。
一実施例において、画像特性検出器１４０は、入力信号を分析し、その信号に含まれる色を抽出する。高水準の特徴及び／又は画像内容を決定するために、抽出した色及びその色の画像内の分布は、単独又は他の低水準の特徴とともに用いられてもよい。例えば、ある画像において、第１の画像部分では青が大半を占め、他の画像部分では黄色が大半を占める場合、その画像はビーチ風景の画像である可能性がある。色ヒストグラムをマッピングすることによって色を抽出することができる。そして、そのような色ヒストグラムは、保存されている色ヒストグラムと比較することができる。その色ヒストグラムは特定の高水準の特徴に関連している。その比較に基づいて、画像内容の情報を決定することができる。さらに、別の技術（例えば、ガウス分布モデル、ベイズ識別器など）を用いて色を決定し比較することもできる。
一実施例において、画像特性検出器１４０は、楕円色モデル（elliptical color models）を用いて、高水準の特徴及び／又は画像内容を決定する。色相、彩度、明度（ＨＳＶ）色空間で高水準の特徴を有する画像のセットにおけるピクセルのマッピングを行うことによって、高水準の特徴のための楕円色モデルが生成される。そして、高水準の特性を有する第１の画像の訓練セット及び高水準の特性を欠く第２の画像の訓練セットを用いて、画像のセットを操作することができる。最適な楕円色モデルは、画像についての第１の訓練セットと画像についての第２の訓練セットとの統計的な隔たりを最大化することによって決定される。
画像（例えば、入力信号の画像）は、ＨＳＶ色空間上にマッピングされ、高水準の特徴のための楕円色モデルと比較される。楕円色モデル内のピクセルに適合する画像内のピクセルの割合は、画像が高水準の画像特徴を有する可能性を予想するために用いられる。この比較は、以下の計算式を用いて決定される。
Figure 0005492087
ここで、
Figure 0005492087
は色楕円モデルにおけるピクセル量、
Figure 0005492087
は色楕円モデル内にある画像のピクセル量である。色楕円モデルにおけるピクセル量
Figure 0005492087
に適合するピクセル量
Figure 0005492087
が大きい画像の場合、隔たりd(I,T)は小さくなる傾向がある。そして、高水準の特徴が画像内に存在することが分かる。
高水準の特徴が複数の異なる色を含んでいる（例えば、赤色の花、緑色の葉など）場合、高水準の特徴をセグメントに分割することができる。独立した楕円色モデルは、各セグメント毎に生成されるようにすることができる。ＨＳＶ色空間にマッピングされた画像は、色楕円モデルのそれぞれと比較することができる。両方の色楕円モデルに関して、隔たりd(I,T)が小さい場合、高水準の特徴が画像内に存在することが分かる。
一実施例において、画像特性検出器１４０は、入力信号を分析し、信号に含まれるテクスチャを抽出する。テクスチャは、入力信号に含まれる画像の視覚的なパターンを探し出すことによって決定される。さらに、テクスチャは、画像及び視覚的なパターンが空間的にどのように定義されているかについての情報を含むことができる。テクスチャはテクスチャ要素（テクセル）として表現することができる。テクセルは、どれ位のテクスチャが画像内で検出されるか、どのようにテクセルが配置されているかなどに依存して、多くのセット（例えば、アレイなど）に分類され得る。セットは、テクスチャを定義することができ、さらに、テクスチャが画像のどこに位置するか定義することができる。それらテクセル及びセットは、画像内容の情報を決定するために、特定の高水準の特徴と関連する保存されているテクセル及びセットとを比較することができる。
一実施例において、画像特性検出器１４０は、ウェーブレットベースのテクスチャ特徴抽出（wavelet-based texture feature extraction）を用いて、高水準の特徴及び／又は画像内容を決定する。画像特性検出器１４０は、特定の画像特徴又は画像内容それぞれのために複数のテクスチャモデルを含むことができる。各テクスチャモデルは、以下で説明するように、ウェーブレット係数や、ウェーブレット係数に関連する様々な値を含むことができる。それらウェーブレット係数及び関連値は、入力信号から抽出されたウェーブレット係数及び関連値と比較され、高水準の特徴及び／又は画像内容のいずれかがビデオ入力信号に含まれているかが決定される。
例えば、画像上でハールウェーブレット変換(Haar wavelet transformation)を実行することによって、ウェーブレット係数を計算することができる。初期の低レベルの係数は、以下の計算式の通り、近接するピクセル値を組み合わせることによって計算され得る。
Figure 0005492087
ここで、Ｌは低い周波数の係数(low-frequency coefficient)、ｉはウェーブレット係数のインデックス番号、Ｐは画像のピクセル値である。初期の高いレベルの係数は、以下の計算式の通り、近接するピクセル値を組み合わせることによって計算され得る。
Figure 0005492087
ここで、Ｈは高い周波数の係数、ｉはウェーブレット係数のインデックス番号、Ｐは画像のピクセル値である。
ハールウェーブレット変換は、繰り返して(recursively)適用することができる。これにより、初期の低レベルの係数それぞれ、そして、初期の高レベルの係数それぞれで実行され、第２のレベルの係数を生成する。そして、そのハールウェーブレット変換は、必要に応じて、第２のレベルの係数にも適用することができ、第３のレベルの係数を生成する。一実施例において、第４のレベルの係数が用いられる（例をあげると、４回繰り返したウェーブレット変換が計算される）。
複数のレベルによるウェーブレット変換は、複数のレベルの様々なサブバンドについての係数の平均絶対値を計算するよう用いられる。例えば、ある所定のサブバンド（例えば、ＬＨサブバンド）についての係数の平均絶対値μは、以下の計算式を用いて計算される。
Figure 0005492087
ここで、ＬＨ（ｉ）はレベルｉにおけるＬＨサブバンド、Ｗはウェーブレット係数、ｍは係数の行、ｎは係数の列であり、Ｍは係数の行についての総数に等しく、さらに、Ｎは係数の列についての総数に等しい。また、複数のレベルについての他のサブバンド（例えば、ＨＨ、ＨＬ、及び、ＬＬ）のために、係数の平均絶対値を決定することができる。
複数のレベルについてのウェーブレット係数は、係数の変化量を計算するために用いることができる。その変化量は、複数のレベルにおける様々なサブバンドについての値である。例えば、係数の変化量σ2は、以下の計算式を用いて所定のサブバンドＬＨについて計算される。
Figure 0005492087
ここで、ＬＨ（ｉ）はレベルｉでのＬＨサブバンド、Ｗはウェーブレット係数、ｍは係数の行、ｎは係数の列、Ｍは係数の行についての総数に等しく、Ｎは係数の列についての総数に等しい、さらに、μは係数の平均絶対値に相当する。また、複数のレベルの他のサブバンド（例えば、ＨＨ、ＨＬ、及び、ＬＬ）のために係数の変化量を計算することができる。
さらに、平均絶対テクスチャ角（mean absolute texture angless）は、以下の計算式の通り、係数の平均絶対値を用いて計算される。
Figure 0005492087
ここで、θμ(i)は平均絶対値のテクスチャ角、μは係数の平均絶対値、ｉはサブバンドレベル、ＬＨはＬＨサブバンド、ＨＬはＨＬサブバンドである。
変化量のテクスチャ角は、以下の計算式の通り、係数の変化量を用いて計算される。
Figure 0005492087
ここで、θσ(i)は変化量のテクスチャ角、σは係数の変化量、ｉはサブバンドレベル、ＬＨはＬＨサブバンド、ＨＬはＨＬサブバンドである。平均絶対テクスチャ角及び変化量テクスチャ角はともに、画像内でテクスチャをどのように順応させるかを示す。
平均絶対値の合計は、以下の計算式の通り計算することができる。
Figure 0005492087
ここで、μ(i)は平均絶対値の合計、ｉはウェーブレットレベル、μLH(i)はＬＨサブバンドについての係数の平均絶対値、μHH(i)はＨＨサブバンドについての係数の平均絶対値、μHL(i)はＨＬサブバンドについての係数の平均絶対値である。
変化量の合計は、以下の計算式の通り計算することができる。
Figure 0005492087
ここで、σ(i)は変化量の合計、ｉはウェーブレットレベル、σLH(i)はＬＨサブバンドについての係数の変化量、σHH(i)はＨＨサブバンドについての係数の変化量、σHL(i)はＨＬサブバンドについての係数の変化量である。
平均絶対値の合計及び変化量の合計は、入力信号についてのテクスチャモデルと画像との間の隔たりの値を計算するために用いられる。上述の値は、高水準の特徴を有する画像又は参照画像のために計算され、テクスチャモデルが生成される。そして、その値は入力信号について計算され得る。ビデオ入力信号についての値はテクスチャモデルについての値と比較される。その２つの値間の隔たりＤ（テクスチャの類似点を表す）が小さい場合、入力信号は高水準の特徴を含んでいると判定される。隔たりＤは以下の計算式を用いて計算される。
Figure 0005492087
ここで、Ｄは隔たりについての値であり、Ｔはテクスチャモデルを示し、Ｉはテスト画像を示し、ｉはウェーブレットレベル、μは平均絶対値の合計、σは変化量の合計、θσは変化量のテクスチャ角、θμは平均絶対値のテクスチャ角である。
一実施例において、画像特性検出器１４０は画像内の領域（例えば、画像の一部）の形状を判定する。形状は、セグメンテーション技術、ブロブ抽出技術、輪郭検出技術、及び／又は、その他、既知の形状検出技術を画像に適用することによって決定される。そして、決定された形状は記憶されている形状についてのデータベースと比較され、画像内容についての情報を決定する。画像特性検出器１４０は、検出された画像特性及び／又は画像特徴に基づいて画像内容を決定することができる。一実施例において、画像特性検出器１４０は、抽出した画像特徴を組み合わせて用いて画像内容を決定する。
一実施例において、画像特性検出器１４５は抽出された低水準の画像特徴を用いて高水準の画像特徴を決定する。例えば、抽出された低水準の画像特徴は、一人又は複数の人、景観、建物などを判定するために用いられる。画像特性検出器１４５は、上述の低水準の画像特徴と同様に技術的に既知である他の低水準の画像特徴を組み合わせ、高水準の画像特徴を判定することもできる。例えば、第１の形状、テクスチャ、及び、色は、顔に相当し、一方で、第２の形状、テクスチャ、及び、色は、木に相当する。
一実施例において、信号分析器１１０はモーション検出器１５０を備える。モーション検出器１５０は、ビデオ入力信号の画像内の動きを検出する。例として、モーション検出器１５０は、動きベクトルを用いることによって、動いている画像部分を判定する。動きベクトルは、全体の動き（シーン内の全体の移動量）と居所的な動き（画像の一又は二以上の部分における移動量、及び／又は、一又は二以上の特徴の移動が検出された量）を判定するために用いられる。さらに、モーション検出器１５０は、ブラーなどの画像特性を分析することによって動いている画像の部分を検出することができる。方向性を有しているブラーも判定することができる。方向性を有しているブラーは、検出され、そのブラーの方向においてオブジェクト（又はカメラ）の移動を示す。ブラーの程度は動いているオブジェクトの速度を予測するために用いられる。
一実施例において、信号分析器１１０は音声特性検出器１５５を備える。音声特性検出器１５５は入力信号の音声特性（音声特徴）を判定する。しばしば、音声特性は画像特徴との強い相互関係を見せる。したがって、一実施例において、そのような音声は画像内容をより最適に判定するのに用いられる。画像特徴を判定するために検出され用いられる音声特性の例としては、ケプストラムフラックス、多チャンネルコクリヤー分解、ケプストラムフラックス、多チャンネルベクトル、低エネルギーフラクション、スペクトルフラックス、スペクトルロールオフポイント、ゼロクロッシングレート、ゼロクロッシングレートの変化、エネルギー、及び、エネルギーの変化が含まれる。
図１Ｃは、本発明の一実施例によって典型的なグループ判定器１１５を示す。グループ判定器１１５は、複数のコンテンツグループ１６０を備える。グループ検出器１１５は、信号分析器１１０によって抽出された低水準の特徴及び高水準の特徴を受信する。グループ検出器１１５は、低水準の特徴及び／又は高水準の特徴に基づいて、入力信号についてのコンテンツグループ（コンテンツモードともいう）を複数のコンテンツグループ１６０から決定することができ、さらに、決定したコンテンツグループを信号に割当てる。例えば、抽出された画像特徴が、空や自然の景観を含み、かつ、顔を含まない場合、景観についてのグループが決定されて割当てられる。一方、動きがない複数の顔が検出された場合、ポートレートグループが決定されて割当てられる。一実施例において、コンテンツグループを決定することは、そのコンテンツグループを自動的に信号に割当てることを含む。
一実施例において、グループ検出器１１５は、複数のコンテンツグループ１６０から単一のコンテンツグループを画像に割当てる。他には、グループ検出器１１５は、画像を複数の画像部分に分割する。画像は、空間的な配置（例えば、画像の上半分と画像の下半分）に基づいて、抽出された特徴の境界に基づいて、又は、他の基準に基づいて、複数の画像部分に割当てられる。そして、グループ検出器１１５は、第１の画像特徴を含む第１の画像部分についての第１のコンテンツグループを決定し、さらに、第２の画像特徴を含む第２の画像部分についての第２のコンテンツグループを決定することができる。また、入力信号は２つより多い画像部分に分割されてもよい。各部分には異なるコンテンツグループが割当てられる。
各コンテンツグループ１６０は、特定の環境（例えば、映画環境、景観環境など）における画像の復元のために所定の画像特性を含むことができる。各コンテンツグループは、音声の復元のために所定の音声特性も含むことができる。コンテンツグループ６０は特定の環境のための最適な画像特性及び／又は音声特性を有することが望ましい。所定の画像特性は、表示装置の画像表示設定を変更することによって実現される。他には、所定の画像特性は入力信号を変更ことによって実現される。これにより、既知の画像表示設定を有するディスプレイによって表示されるとき、画像は所定の画像特性で表示される。
典型的なコンテンツグループ１６０については後述する。これらのコンテンツグループ１６０は例示の目的のためのものであって、当然のことながら、追加のコンテンツグループも想定される。
一実施例において、コンテンツグループ１６０は、デフォルトのコンテンツグループを含む。デフォルトのコンテンツグループは、異なるコンテンツグループが決定されるまで、全ての画像に自動的に適用される。デフォルトコンテンツグループは、一連の多くの環境の中で満足のいく画像を提供する所定の画像特性を含むことができる。一実施例において、デフォルトコンテンツグループは、最適なテレビ番組の表示のために、鮮明さを向上させ、コントラストを鮮やかにし、明るさを鮮明にする。
一実施例において、コンテンツグループ１６０は、ポートレートコンテンツグループを含む。ポートレートコンテンツグループは、最適に肌を再現した画像を写す所定の画像特性を含む。また、ポートレートコンテンツグループは、より適切にスチール画像を表示する所定の画像特性を含むことができる。一実施例において、ポートレートコンテンツグループは、マジェンタ、赤、及び、黄色の色調についての所定のカラー設定を提供する。そのカラー設定は、最少のカラーバイアスで健康的な肌の色の再現を可能にする。さらに、このポートレートコンテンツグループは、肌のテクスチャに不要なものを取り除くよう鮮明さを低下させる。
一実施例において、コンテンツグループ１６０は、景観コンテンツグループを含む。景観コンテンツグループは、所定の画像特性を含むことができる。その所定の画像特性は、緑から青のレンジ（例えば、青い空、青い海、緑の葉などをより適切に表示する）で画像の色鮮やかな（vivid）再現を可能にする。また、景観コンテンツグループは、向上した鮮明さについての所定の画像特性を含むことができる。
一実施例において、コンテンツグループ１６０はスポーツコンテンツグループを含む。スポーツコンテンツグループは、正確な色の濃さと明暗のグラデーションを再現することができ、そして、ガンマ曲線及び彩度調整を用いて画像を鮮明にすることができ、さらに、緑色（例えば、フットボールの競技場）がより鮮やかになるようにカラー設定を調整することができる。
一実施例において、コンテンツグループ１６０は、シネマコンテンツグループを含む。シネマコンテンツグループは、ガンマカーブ訂正を用いて不鮮明なシーンを鮮やかに表示する色補正を可能とし、一方で、画像の動きに不要なものを取り除く。
コンテンツグループ１６０の他の考え得る例としては、テキストコンテンツグループ（テキストは背景がハイコントラストで有るべきであり、さらに、境界が鮮明であるべきである。）、ニュース放送用コンテンツグループ、スチール写真用コンテンツグループ、ゲームコンテンツグループ、コンサートコンテンツグループ、ホームビデオコンテンツグループが含まれる。
図２は本発明の一実施例による典型的なマルチメディアシステム２００を示す。マルチメディアシステム２００は表示装置２４０に接続されている信号源２０５を備える。信号源２０５は、ビデオ信号、スチール画像信号、音声信号のいずれかの一又は二以上を生成することができる。一実施例において、信号源は、放送局や、ケーブルテレビプロバイダ又は衛星テレビプロバイダ、又は、遠隔にある他のマルチメディアサービスプロバイダである。他に、信号源は、ビデオカセットレコーダ（ＶＣＲ）、デジタルビデオディスク（ＤＶＤ）プレーヤ、高詳細デジタル多用途ディスク（ＨＤ−ＤＶＤ）プレーヤ、ブルーレイ（商標）プレーヤ、又は、他のメディア再生装置とすることができる。
信号源２０５を表示装置２４０に接続するための手段は、信号源２０５及び／又は表示装置２４０の属性に依存してもよい。例えば、信号源２０５がテレビ放送局である場合、信号源２０５は、ビデオ信号を搬送する電波を介して表示装置２４０と接続することができる。一方で、信号源２０５がＤＶＤプレーヤである場合、信号源２０５は、例として、ＲＣＡケーブル、ＤＶＩケーブル、ＨＤＭＩケーブルなどを介して表示装置と接続することができる。
表示装置２４０は、テレビや、モニター、プロジェクター、又は、スチール画像及び／又はビデオ画像を表示することができる他の装置とすることができる。表示装置２４０は、ディスプレイ２１５に接続されている画像調整装置２１０を備えることができる。一実施例において、画像調整装置２１０は図１Ａの画像調整装置１００に相当する。
表示装置２４０は、信号源２０５から入力信号２２０を受信する。画像調整装置２１０は、画像表示設定を変更することができる。これにより、ディスプレイ２１５に表示される出力信号は、決定された一又は二以上のコンテンツグループの所定の画像特性を含む。
図２Ｂは、本発明の他の実施例による典型的なマルチメディアシステム２５０を示す。マルチメディアシステム２５０は、表示装置２６０に接続されているメディアプレーヤ２５５を備える。メディアプレーヤ２５５は、ＶＣＲや、ＤＶＤプレーヤ、ＨＤ−ＤＶＤプレーヤ、ブルーレイ（商標）プレーヤ、デジタルビデオレコーダ（ＤＶＲ）、又は、他のメディア再生装置とすることができる。さらに、そのメディアプレーヤ２５５は、ビデオ信号、スチール画像信号、音声信号のいずれか一又は二以上を生成することができる。一実施例において、メディアプレーヤ２５５は画像調整装置２１０を含む。その画像調整装置２１０は、図１Ａの画像表示装置１００に対応することができる。
画像調整装置２１０は、出力信号２２５を生成するために、メディアの再生の間に生成される入力信号を変更することができる。出力信号２２５は、その信号２２５を表示することができる表示装置２６０に送信される。一実施例において、信号調整装置２１０は入力信号を調整する。これにより、表示装置２６０に表示を行うとき、出力信号は、一又は二以上の画像コンテンツグループに対応する所定の画像特性を有する画像を示す。表示装置２６０に所定の画像特性を表示するよう入力信号をどのように変更すべきか決定するために、信号調整装置２１０は画像設定２２７を表示装置２６０から受信することができる。画像設定２２７の特定のセットが得られることで、出力信号２２５が生成され、その結果、所定の画像特性が表示される。
他の実施例において、出力信号は変更されていない入力信号のほかに追加の信号（又は入力信号に付加されるメタデータ）も含む。その追加の信号は、表示装置に特定の画像表示設定が使用されるように指示する。
図２Ｃは、本発明の更なる他の実施例による典型的なマルチメディアシステム２７０を示す。マルチメディアシステム２７０は、信号源２０５、画像調整装置２７５、及び、表示装置２６０を含む。
例示の通り、画像調整装置２７５は、信号源２０５と表示装置２６０との間に配置されており、さらに、信号源２０５及び表示装置２６０に接続されている。画像調整装置２７５は、図１Ａの画像調整装置１００に対応させることもできる。一実施例において、画像調整装置２７５は、スタンドアロンの装置であり、表示装置２６０に送信する信号を変更するために用いられる。他の実施例において、画像調整装置２７５は、例であるが、セットトップボックス、デジタルビデオレコーダ（ＤＶＲ）、ケーブルボックス、衛星放送受信機などの構成要素であってもよい。
画像調整装置２７５は、信号源２０５によって生成される入力信号２２０を受信することができる。そして、画像調整装置２７５は入力信号２２０を変更し、出力信号２２５を生成することができる。さらに、その出力信号２２５は、表示装置２６０に送信される。表示装置２６０は出力信号２２５を表示することができる。信号調整装置２７５は、出力信号２２５の生成に先立って、表示装置２６０から表示設定２２７を受信することができる。受信した表示設定は、出力信号を生成するために、入力信号をどのように変更すべきか決定するために用いられる。
本発明の特定の方法は、図３乃至６に示す一連のフロー図に準拠したコンピュータソフトウエアに関して記載されている。図３乃至６に示されているフロー図は、画像を変更する方法を示しており、図１Ａの画像調整装置１００によって実行されてもよい。方法は、コンピュータプログラムを構成する。そのコンピュータプログラムは、コンピュータが実行可能な指示で形成されており、指示は、例えば、図３のブロック（動作）３０５乃至３３５として示されている。フロー図の参照によって方法を説明することは、そのようなプログラムを当業者が作成することを可能にする。そのプログラムには、適切に設定されたコンピュータ又はコンピュータ用デバイス（メモリを含むコンピュータ読み取り可能な媒体からの指示を実行するコンピュータのプロセッサなど）上で方法を実行する指示が含まれている。コンピュータが実行可能な指示は、コンピュータ用のプログラム言語で記載することができる。また、その指示は、ファームウエアのロジックで実現することもできる。承認済みの標準に準拠したプログラム言語で書かれている場合、そのような指示は、さまざまなハードウエアのプラットフォーム上で実行され、さらに、さまざまなオペレーティングシステムのインタフェースのために実行することができる。
本発明は、特定のプログラム言語ついて表されるものではない。当然のことながら、ここに記述するように発明の開示を実装するために、さまざまなプログラム言語を用いることができる。さらに、動作を実行又は結果を得るために一つの形態又は他の形態（例えば、プログラム、プロシージャ、プロセス、アプリケーション、モジュール、ロジックなど）であることは、ソフトウエアの技術ではよく行われることである。この表現は、コンピュータによるソフトウエアの実行がそのコンピュータのプロセッサに動作を実行又は結果を得るようにさせるということを単に簡潔に表現したものである。当然、本発明の範囲から逸脱することなく、より多い又はより少ないプロセスを図３乃至図６に示した方法に組み込むこともでき、さらに、ここに示し説明されているブロックの配置になるような特定の順序が必ず用いられるものではない。
最初に図３を参照すると、画像の変更についての方法３００を実現するコンピュータによって実行される動作が示されている。
本発明の特定の実施例において、方法３００は、ビデオ入力信号を受信する（ブロック３０５）（例えば、図１の入力端末１０５によって）。ブロック３１０において、ビデオ入力信号は分析され（例えば、図１Ａの信号分析器１１０によって）、画像特性及び画像内容が検出される。他の実施例において、ビデオ入力信号が分析され、信号特性が検出されてもよい（例えば、信号がインタレースであるか非インタレースであるか、信号が圧縮されているか圧縮されていないか、又は、信号のノイズレベルなどを決定する）。信号が圧縮されている場合、一又は二以上の画像特性及び／又は画像内容を決定する前に、信号を伸長する必要がある。
ビデオ入力信号はフレーム毎に分析される。他の実施例において、ビデオ入力信号の一連のフレーム（フレームのシーケンス）は同時に分析される。これにより、変更は、そのシーケンス内の各フレームで発生する。画像特性は、画像サイズ、画像の解像度、ダイナミックレンジ、カラーキャスト、ブラーなどを含むことができる。画像内容は、低水準の画像特徴（例えば、テクスチャ、色、形状など）及び高水準の画像特徴（例えば、顔、人、建物、空、など）を抽出することによって検出される。そのような画像特徴は、ビデオ入力信号を受信することにより、自動的に抽出される。
ブロック３１５において、ビデオ入力信号についてのコンテンツグループが決定される（例えば、図１Ａのグループ判定器１１５によって）。コンテンツグループは、検出された画像内容に基づいて決定される。他の実施例において、コンテンツグループは、ビデオ信号に含まれるメタデータを用いて決定される。メタデータは画像内容及び／又は画像特性についての情報を有することができる。例えば、メタデータは、動画の現在のシーンをアクションシーンとして識別することができる。ブロック３１８において、コンテンツグループは入力ビデオ信号に適用される。
ブロック３２０において、検出された画像特性が決定されたコンテンツグループに関連する所定の画像特性と適合するか否かを決定する。検出された画像特性が所定の画像特性に適合する場合、方法はブロック３３０へ進む。検出された画像特性が所定の画像特性に適合しない場合、方法はブロック３２５に留まる。
ブロック３２５において、画像表示設定及び／又はビデオ入力信号が調整される（例えば、図１Ａの画像調整器１２０によって）。画像表示設定及び／又はビデオ入力信号は検出された画像特性と所定の画像特性との相違に基づいて調整される。これは、入力信号が所定の画像特性を示して表示されることを可能にする。ブロック３３０において、ビデオ入力信号が表示される。ここで、方法が終了する。
異なるタスクが実行される特定のブロックを有するよう方法３００が示されているが、いくつかのブロックによって実行されるいくつかのタスクを分割及び／又は統合することができることは予想されるであろう。例えば、ブロック３１０は、ビデオ入力信号が分析され画像内容及び画像特性を一緒に決定することを示している。しかしながら、ビデオ信号を分析し、画像特性を決定することなく画像内容を検出することもできる。そして、信号を分析し画像特性を決定した後、コンテンツグループを決定することができる。他の実施例において、（コンテンツグループを決定する）ブロック３１５及び（コンテンツグループを割当てる）ブロック３１８は、単一のブロックに統合する（例えば、単一のアクション）ことができる。説明した方法についての他の変更も予測することができる。
図４を参照すると、画像の変更についての方法４００を実現するコンピュータによって実行される動作が示されている。
本発明の特定の実施例において、方法４００は、ビデオ入力信号を受信することを含む（ブロック４０５）（例えば、図１Ａの入力端末１０５によって）。ブロック４１０において、画像特性、信号特性、及び／又は、画像内容が検出される（例えば、図１の信号分析器１１０によって）。ブロック４１２において、画像は第１の画像部分と第２の画像部分に分割される。一実施例において、画像は、画像特徴の境界に基づいて、第１の画像部分と第２の画像部分に分割される。他の実施例において、分割は、画像の等しい部分又は等しくない部分への分離に基づく。例えば、画像は、第１の半分部分（例えば、上半分又は右半分）と第２の半分部分（例えば、下半分又は左部分）とに分割される。第１の画像部分は第１の画像特徴を含むことができ、第２の画像部分は第２の画像特徴を含むことができる。
ブロック４１５において、第１の画像部分についての第１のコンテンツグループが決定され（例えば、図１Ａのグループ判定器１１５によって）、第２の画像部分についての第２のコンテンツグループが決定される。第１のコンテンツグループ及び第２のコンテンツグループを決定することは、それぞれ、第１のコンテンツグループ及び第２のコンテンツグループを適用することを含むことができる。第１のコンテンツグループは第１の所定の画像特性を含むことができる。さらに、第２のコンテンツグループは第２の所定の画像特性を含むことができる。第１コンテンツグループ及び第２コンテンツグループは、それぞれ、各画像部分の検出された画像内容に基づいて決定される。
ブロック４２０において、検出された画像特性が所定の画像特性に適合するか否かを決定する。その所定の画像特性は、決定されたコンテンツグループ及び／又は割当てられたコンテンツグループと関連する。検出された画像特性が所定の画像特性に適合する場合、方法はブロック４３０へ進む。検出された画像特性が所定の画像特性に適合しない場合、方法はブロック４２５に留まる。
ブロック４２５において、画像表示設定及び／又はビデオ入力信号が調整される（例えば、図１Ａの画像調整器１２０によって）。これにより、検出された画像特性は第１の画像部分及び第２の画像部分の所定の画像特性と適合する。第１の画像部分についての画像表示設定及び／又はビデオ入力信号は、検出された第１の画像特性と第１のコンテンツグループの第１の所定の画像特性との相違に基づいて調整される。第２の画像部分についての画像表示設定及び／又はビデオ入力信号は、検出された第２の画像特性と第２のコンテンツグループの第２の所定の画像特性との相違に基づいて調整される。ブロック４３０において、ビデオ入力信号が表示される。ここで、方法が終了する。
図５を参照すると、音声出力の変更についての方法５００を実現するコンピュータによって実行される動作が示されている。
本発明の特定の実施例において、方法５００は、ビデオ入力信号を受信することを含む（ブロック５０５）（例えば、図１Ａの入力端末１０５によって）。ブロック５１０において、ビデオ入力信号が分析され（例えば、図１Ａの信号分析器１１０によって）、音声特性及び画像内容を検出する。音声特性には、ケプストラムフラックス、多チャンネルコクリヤー分解、多チャンネルベクトル、低エネルギーフラクション、スペクトルフラックス、スペクトルロールオフポイント、ゼロクロッシングレート、ゼロクロッシングレートの変化、エネルギー、及び、エネルギーの変化などを含むことができる。ブロック５１５において、ビデオ入力信号についてコンテンツグループが決定される（例えば、図１Ａのグループ判定器１１５によって）。コンテンツグループは、検出された画像内容に基づいて決定される。さらに、そのコンテンツグループは、所定の音声特性を含むことができる。
ブロック５２０において、検出された音声特性が決定されたコンテンツグループに関連する所定の音声特性と適合するか否かを決定する。検出された音声特性が所定の音声特性に適合する場合、方法はブロック５３０へ進む。検出された音声特性が所定の音声特性に適合しない場合、方法はブロック５２５に留まる。
ブロック５２５において、ビデオ入力信号の音声設定及び／又は音声部分が調整される（例えば、図１Ａの音声調整器１２５によって）。ビデオ入力信号の音声設定及び／又は音声部分は、検出された音声特性と所定の音声特性との相違に基づいて調整される。調整可能音声設定の例は、音量、再生速度、及び、イコライザ設定を含む。ブロック５３０において、ビデオ入力信号が出力される（例えば、送信される及び／又は再生される）。ここで、方法が終了する。
図６を参照すると、画像の変更についての方法６００を実現するコンピュータによって実行される動作が示されている。
本発明の特定の実施例において、方法６００は、ビデオ入力信号を受信することを含む（例えば、図１Ａの入力端末１０５によって）（ブロック６０６）。ブロック６１０において、ビデオ入力信号が分析され（例えば、図１Ａの信号分析器１１０によって）、画像内容が検出される。ブロック６１５において、画像内容が移動しているか否か決定する。そのような決定の例としては、動きベクトルを用いて行われる。又は、ブラーの程度及び方向の検出によって行われる。ブロック６２０において、画像内容の動きがどれ程の速さであるか決定する。
ブロック６３０において、画像内容がどれ程の速さであるかに基づいて、ビデオ信号のフレームレートが調整される（例えば、図１Ａのフレームレート調整器１１２によって）。例えば、画像内容がより早く移動することを検出すると、フレームレートを増加させる。ブロック６３６において、動いているオブジェクトの鮮明さが調整される（例えば、図１Ａの画像調整器１２０によって）。他には、全信号の鮮明さが調整されてもよい。鮮明さの調整は画像内容が移動する速さに基づくことができる。
ブロック６４０において、調整されたフレームレート及び調整された鮮明さを用いて、ビデオ入力信号が出力される（例えば、送信される及び／又は表示される）。方法はここで終了する。
図７は、コンピュータシステム７００の典型的な形態における機械のブロック図を示す。ここに示す一又は二以上の方法を機械に実行させるために、コンピュータシステム７００内において指示のセットが実行される。典型的なコンピュータシステム７００は、処理装置（プロセッサ）７０５、メモリ７１０（例えば、読み取り専用メモリ（ＲＯＭ）、ストレージ装置、スタティックメモリなど）、及び、入力／出力７１５を含んでいる。それらプロセッサ７０５、メモリ７１０、及び、入力／出力７１５は、バス７２０を介して互いに接続されている。本発明の実施例は、コンピュータシステム７００及び／又は追加のハードウエア要素（図示せず）によって実行される。また、本発明の実施例は、機械実行可能な命令によって実現されていてもよい。なお、その命令がプログラムされているとき、その命令はプロセッサ７０５に上述の方法を実行させるよう用いられる。他の実施例において、方法はハードウエアとソフトウエアとの組み合わせによって実行される。
プロセッサ７０５は、マイクロプロセッサや中央処理装置などのような一又は二以上の汎用目的の処理装置を示す。より詳細には、プロセッサ７０５は、複合命令セットコンピュータ（ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピュータ（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＷ）マイクロプロセッサ、他の命令セットを実現するマイクロプロセッサ、又は、命令セットの組み合わせを実現するプロセッサとすることができる。また、プロセッサ７０５は、特定用途向け集積回路（ＡＳＩＣ）や、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、ネットワークプロセッサなどのような一又は二以上の専用処理装置とすることもできる。
本発明は、コンピュータプログラムプロダクト、又は、メモリ７１０に保存可能なソフトウエア、として提供され得る。メモリ７１０は、命令を保存する機械読み取り可能な媒体を含むことができる。その命令は、典型的なコンピュータシステム７００（又は他の電子デバイス）をプログラムするために用いることができ、本発明による処理を実行する。他の機械読み取り可能な媒体は、以下に限定しないが、フレキシブルディスク、光学ディスク、ＣＤ−ＲＯＭ、光磁気ディスク、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気カード、光学カード、フラッシュメモリ、電気的命令を保存するのに適切な他のタイプのメディア又は機械読み取り可能な他のタイプのメディアなどを含み、それら媒体は、典型的なコンピュータシステム７００（又は他の電子デバイス）用にプログラムされた命令を保存することができる。
入力／出力７１５は、追加の装置及び／又はコンポーネントと通信することができる。これにより、入力／出力７１５は、例えば、ネットワークに接続されているコンピュータや、サーバ、モバイル装置などにデータを送信し、さらに、それらからデータを受信することができる。
図７による説明は、本発明を実現するために適切なコンピュータハードウエア及び動作のための他のコンポーネントの概要を説明することを目的とするが、応用として用いられる環境を制限することを意図したものでない。図７のコンピュータシステム７００は、多くの考え得るコンピュータシステムの一例であると理解されるであろう。その考え得るコンピュータシステムは、異なるアーキテクチャで実現される。本発明が他のコンピュータシステムの構成で実現されることは当業者であれば理解可能であろう。他のコンピュータシステムは、マイクロプロセッサシステム、マイクロコンピュータ、メインフレームコンピュータなどを含む。本発明は分散型のコンピュータ環境においても実現することができる。その場合、タスクは通信ネットワークを介して接続されているリモート処理装置によって実行される。
信号を調整するための装置及び方法を説明した。特定の実施例を例示して説明したが、ここに示した特定の実施例の代わりに、同一の目的を達成するよう計算が行われる任意の配置を代用することができることは当業者であれば理解可能であろう。本出願は、本発明の改変又は変更を取り扱うことも意図している。例えば、説明したもの以外の画像内容検出アルゴリズム及びその技術を用いることは、当業者であれば可能である。
信号の変更に関して、本出願で用いられる専門用語は、信号を変更することができる全ての装置及び環境を含むことを意図する。したがって、本発明は以下のクレーム及びその均等物のみによって制限される。

Claims (18)

  1. コンピュータで動作する方法であって、
    ビデオ入力信号を分析し、画像内容及び画像特性を検出するステップであって、当該画像内容を検出することは画像特徴を自動的に抽出することを含むようなステップと、
    所定の画像特性を含んでいるコンテンツグループであって、前記ビデオ入力信号についてのコンテンツグループを、検出した前記画像内容である検出画像内容に基づいて判定するステップと、
    検出した前記画像特性と前記所定の画像特性との相違に基づいて、画像表示設定及び前記ビデオ入力信号のうちの少なくとも一つを調整するステップと、
    前記ビデオ入力信号によって表される１つの画像を、少なくとも、第１の画像特性を有する第１の画像部分と第２の画像特性を有する第２の画像部分とに分割するステップと、
    第１の所定の画像特性を有する第１のコンテンツグループであって、前記第１の画像部分についての第１のコンテンツグループを決定するステップと、
    第２の所定の画像特性を有する第２のコンテンツグループであって、前記第２の画像部分についての第２のコンテンツグループを決定するステップと、
    前記第１の画像部分についての前記画像表示設定及び前記ビデオ入力信号のうちの少なくとも一つを、前記第１の画像特性と前記第１の所定の画像特性との相違に基づいて調整するステップと、
    前記第２の画像部分についての前記画像表示設定及び前記ビデオ入力信号のうちの少なくとも一つを、前記第２の画像特性と前記第２の所定の画像特性との相違に基づいて調整するステップと、
    を含むことを特徴とする方法。
  2. 請求項１に記載のコンピュータで動作する方法において、
    信号特性を検出するよう前記ビデオ入力信号をさらに分析し、前記コンテンツグループは前記検出画像内容及び当該信号特性に基づいて決定されることを特徴とする方法。
  3. 請求項２に記載のコンピュータで動作する方法において、
    前記信号特性は前記画像内容及び前記画像特性のうちの少なくとも一つについての情報を有するメタデータを含み、前記コンテンツグループは当該メタデータを用いて決定されることを特徴とする方法。
  4. 請求項１に記載のコンピュータで動作する方法において、
    ディスプレイの現在の画像表示設定を受けるステップと、
    出力信号を前記ディスプレイに出力するステップと、
    をさらに含み、
    前記出力信号が受信した前記画像表示設定を用いて前記ディスプレイ上に表示されるとき、当該出力信号は前記所定の画像特性を有することを特徴とする方法。
  5. 請求項１に記載のコンピュータで動作する方法において、
    前記ビデオ入力信号を受けるステップを含むことを特徴とする方法。
  6. 請求項１に記載のコンピュータで動作する方法において、
    前記ビデオ入力信号は検出された音声特性を有し、そして、前記コンテンツグループは所定の音声特性を有し、
    さらに、方法は、
    前記検出された音声特性と前記所定の音声特性との相違に基づいて音声設定を調整するステップを含むことを特徴とする方法。
  7. プロセッサを具備する機械によって実行されるときに、コンピュータで動作する方法を当該プロセッサに実行させる命令を保存している機械読み取り可能な媒体であって、当該方法は、
    ビデオ入力信号を分析し、画像内容及び画像特性を検出するステップであって、当該画像内容を検出することは画像特徴を自動的に抽出することを含むようなステップと、
    所定の画像特性を含んでいるコンテンツグループであって、前記ビデオ入力信号についてのコンテンツグループを、検出した前記画像内容である検出画像内容に基づいて判定するステップと、
    検出した前記画像特性と前記所定の画像特性との相違に基づいて、画像表示設定及び前記ビデオ入力信号のうちの少なくとも一つを調整するステップと、
    前記ビデオ入力信号によって表される１つの画像を、少なくとも、第１の画像特性を有する第１の画像部分と第２の画像特性を有する第２の画像部分とに分割するステップと、
    第１の所定の画像特性を有する第１のコンテンツグループであって、前記第１の画像部分についての第１のコンテンツグループを決定するステップと、
    第２の所定の画像特性を有する第２のコンテンツグループであって、前記第２の画像部分についての第２のコンテンツグループを決定するステップと、
    前記第１の画像部分についての前記画像表示設定及び前記ビデオ入力信号のうちの少なくとも一つを、前記第１の画像特性と前記第１の所定の画像特性との相違に基づいて調整するステップと、
    前記第２の画像部分についての前記画像表示設定及び前記ビデオ入力信号のうちの少なくとも一つを、前記第２の画像特性と前記第２の所定の画像特性との相違に基づいて調整するステップと、
    を含むこと特徴とする機械読み取り可能な媒体。
  8. 請求項７に記載の機械読み取り可能な媒体において、
    信号特性を検出するよう前記ビデオ入力信号をさらに分析し、前記コンテンツグループは前記検出画像内容及び当該信号特性に基づいて決定されることを特徴とする機械読み取り可能な媒体。
  9. 請求項８に記載の機械読み取り可能な媒体において、
    前記信号特性は前記画像内容及び前記画像特性のうちの少なくとも一つについての情報を有するメタデータを含み、前記コンテンツグループは当該メタデータを用いて決定されることを特徴とする機械読み取り可能な媒体。
  10. 請求項７に記載の機械読み取り可能な媒体において、
    さらに、方法は、
    ディスプレイの現在の画像表示設定を受けるステップと、
    出力信号を前記ディスプレイに出力するステップと、
    を含み、
    前記出力信号が受信した前記画像表示設定を用いて前記ディスプレイ上に表示されるとき、当該出力信号は前記所定の画像特性を有することを特徴とする機械読み取り可能な媒体。
  11. 請求項７に記載の機械読み取り可能な媒体において、
    前記ビデオ入力信号は前記画像内容及び前記画像特性のうちの少なくとも一つについての情報を有するメタデータを含み、前記コンテンツグループは当該メタデータを用いて決定されることを特徴とする機械読み取り可能な媒体。
  12. 請求項７に記載の機械読み取り可能な媒体において、
    前記ビデオ入力信号は検出された音声特性を有し、そして、前記コンテンツグループは所定の音声特性を有し、
    さらに、方法は、
    前記検出された音声特性と前記所定の音声特性との相違に基づいて音声設定を調整するステップを含むことを特徴とする機械読み取り可能な媒体。
  13. 請求項１２に記載の機械読み取り可能な媒体において、
    前記音声特性を調整することは、音量、イコライザー設定、及び、再生速度のうちの少なくとも一つを調整することを含む機械読み取り可能な媒体。
  14. 装置であって、
    ビデオ入力信号を分析し、画像内容及び画像特性を検出する手段であって、当該画像内容を検出することは画像特徴を自動的に抽出することを含むような手段と、
    所定の画像特性を含んでいるコンテンツグループであって、前記ビデオ入力信号についてのコンテンツグループを、検出した前記画像内容である検出画像内容に基づいて判定する手段と、
    検出した前記画像特性と前記所定の画像特性との相違に基づいて、画像表示設定及び前記ビデオ入力信号のうちの少なくとも一つを調整する手段と、
    前記ビデオ入力信号によって表される１つの画像を、少なくとも、第１の画像特性を有する第１の画像部分と第２の画像特性を有する第２の画像部分とに分割する手段と、
    第１の所定の画像特性を有する第１のコンテンツグループであって、前記第１の画像部分についての第１のコンテンツグループを決定する手段と、
    第２の所定の画像特性を有する第２のコンテンツグループであって、前記第２の画像部分についての第２のコンテンツグループを決定する手段と、
    前記第１の画像部分についての前記画像表示設定及び前記ビデオ入力信号のうちの少なくとも一つを、前記第１の画像特性と前記第１の所定の画像特性との相違に基づいて調整する手段と、
    前記第２の画像部分についての前記画像表示設定及び前記ビデオ入力信号のうちの少なくとも一つを、前記第２の画像特性と前記第２の所定の画像特性との相違に基づいて調整する手段と、
    を備えること特徴とする装置。
  15. 請求項１４に記載の装置において、
    前記ビデオ入力信号を分析し、さらに信号特性を検出する手段と、
    前記検出画像内容及び前記信号特性に基づいて、前記コンテンツグループを決定する手段と、
    を備えること特徴とする装置。
  16. 請求項１４に記載の装置において、
    ディスプレイの現在の画像表示設定を受ける手段と、
    出力信号を前記ディスプレイに出力する手段と、
    をさらに備え、
    前記出力信号が受信した前記画像表示設定を用いて前記ディスプレイ上に表示されるとき、当該出力信号は前記所定の画像特性を有すること特徴とする装置。
  17. 請求項１４に記載の装置において、
    前記ビデオ入力信号は検出された音声特性を有し、そして、前記コンテンツグループは所定の音声特性を有し、
    装置は、
    前記検出された音声特性と前記所定の音声特性との相違に基づいて音声設定を調整する手段をさらに備えること特徴とする装置。
  18. コンピュータ化されたシステムであって、
    ビデオ入力信号を分析し、画像内容及び画像特性を検出する分析器であって、当該画像内容を検出することは画像特徴を自動的に抽出することを含むような分析器と、
    所定の画像特性を含んでいるコンテンツグループであって、前記ビデオ入力信号についてのコンテンツグループを、検出した前記画像内容である検出画像内容に基づいて判定するグループ判定器と、
    検出した前記画像特性と前記所定の画像特性との相違に基づいて、画像表示設定及び前記ビデオ入力信号のうちの少なくとも一つを調整する調整器と、
    前記ビデオ入力信号によって表される１つの画像を、少なくとも、第１の画像特性を有する第１の画像部分と第２の画像特性を有する第２の画像部分とに分割する手段と、
    第１の所定の画像特性を有する第１のコンテンツグループであって、前記第１の画像部分についての第１のコンテンツグループを決定する手段と、
    第２の所定の画像特性を有する第２のコンテンツグループであって、前記第２の画像部分についての第２のコンテンツグループを決定する手段と、
    前記第１の画像部分についての前記画像表示設定及び前記ビデオ入力信号のうちの少なくとも一つを、前記第１の画像特性と前記第１の所定の画像特性との相違に基づいて調整する手段と、
    前記第２の画像部分についての前記画像表示設定及び前記ビデオ入力信号のうちの少なくとも一つを、前記第２の画像特性と前記第２の所定の画像特性との相違に基づいて調整する手段と、
    を備えていることを特徴とするシステム。
JP2010527090A 2007-09-28 2008-09-23 コンテンツベースの画像調整 Active JP5492087B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/906,070 US8488901B2 (en) 2007-09-28 2007-09-28 Content based adjustment of an image
US11/906,070 2007-09-28
PCT/US2008/077411 WO2009045794A1 (en) 2007-09-28 2008-09-23 Content based adjustment of an image

Publications (2)

Publication Number Publication Date
JP2010541009A JP2010541009A (ja) 2010-12-24
JP5492087B2 true JP5492087B2 (ja) 2014-05-14

Family

ID=40508412

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010527090A Active JP5492087B2 (ja) 2007-09-28 2008-09-23 コンテンツベースの画像調整

Country Status (5)

Country Link
US (1) US8488901B2 (ja)
JP (1) JP5492087B2 (ja)
CN (1) CN101809590B (ja)
BR (1) BRPI0817477A2 (ja)
WO (1) WO2009045794A1 (ja)

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8334857B1 (en) * 2007-12-14 2012-12-18 Nvidia Corporation Method and system for dynamically controlling a display refresh rate
US8120621B1 (en) 2007-12-14 2012-02-21 Nvidia Corporation Method and system of measuring quantitative changes in display frame content for dynamically controlling a display refresh rate
US9508111B1 (en) 2007-12-14 2016-11-29 Nvidia Corporation Method and system for detecting a display mode suitable for a reduced refresh rate
JP5453717B2 (ja) * 2008-01-10 2014-03-26 株式会社ニコン 情報表示装置
US8855211B2 (en) * 2008-01-22 2014-10-07 At&T Intellectual Property I, Lp Method and apparatus for managing video transport
US20090278928A1 (en) * 2008-05-09 2009-11-12 Honeywell International Inc. Simulating a fluttering shutter from video data
JP5084615B2 (ja) * 2008-06-03 2012-11-28 三菱電機株式会社 画像表示装置
US20100161801A1 (en) * 2008-12-23 2010-06-24 At&T Intellectual Property I, L.P. Multimedia processing resource with distributed settings
JP5444797B2 (ja) * 2009-04-10 2014-03-19 ソニー株式会社 送信装置、表示装置および画像表示システム
JP5398341B2 (ja) * 2009-05-11 2014-01-29 キヤノン株式会社 物体認識装置及び物体認識方法
US9286709B2 (en) * 2009-07-27 2016-03-15 Dreamworks Animation Llc Variable frame rate rendering and projection
JP5378135B2 (ja) * 2009-09-29 2013-12-25 富士フイルム株式会社 画像レイアウト決定方法ならびにそのプログラムおよび情報処理装置
JP5241031B2 (ja) * 2009-12-08 2013-07-17 ルネサスエレクトロニクス株式会社 表示装置、表示パネルドライバ、及び画像データ処理装置
JP5724202B2 (ja) * 2010-04-02 2015-05-27 セイコーエプソン株式会社 プロジェクター及び画像表示方法
WO2011154997A1 (ja) * 2010-06-09 2011-12-15 三菱電機株式会社 撮像システム、撮像装置および表示装置
IT1403800B1 (it) 2011-01-20 2013-10-31 Sisvel Technology Srl Procedimenti e dispositivi per la registrazione e la riproduzione di contenuti multimediali utilizzando metadati dinamici
US8988512B2 (en) * 2011-04-14 2015-03-24 Mediatek Inc. Method for adjusting playback of multimedia content according to detection result of user status and related apparatus thereof
US9332294B2 (en) * 2011-07-22 2016-05-03 Canon Kabushiki Kaisha Timing of displayed objects
KR101915520B1 (ko) * 2011-11-07 2018-11-07 삼성전자 주식회사 휴대단말기의 영상 표시 제어장치 및 방법
US9510018B2 (en) * 2011-11-23 2016-11-29 Luca Rossato Signal analysis and generation of transient information
US9355585B2 (en) * 2012-04-03 2016-05-31 Apple Inc. Electronic devices with adaptive frame rate displays
US9113053B2 (en) * 2012-08-10 2015-08-18 Lg Electronics Inc. Input apparatus and method for acquiring a scan image
CN103699532B (zh) * 2012-09-27 2017-08-25 中国电信股份有限公司 图像颜色检索方法和系统
WO2014157889A1 (en) * 2013-03-25 2014-10-02 Samsung Electronics Co., Ltd. Method and apparatus for improving quality of experience in sharing screen among devices, and recording medium thereof
US20150178896A1 (en) * 2013-12-20 2015-06-25 Zhigang Fan Image processing and enhancement methods and associated display systems
US9747867B2 (en) * 2014-06-04 2017-08-29 Mediatek Inc. Apparatus and method for performing image content adjustment according to viewing condition recognition result and content classification result
EP3751839A1 (en) * 2015-05-01 2020-12-16 GoPro, Inc. Camera mode control
US10063777B2 (en) * 2015-05-01 2018-08-28 Gopro, Inc. Motion-based camera mode control to reduce rolling shutter artifacts
CN105426515B (zh) * 2015-12-01 2018-12-18 小米科技有限责任公司 视频归类方法及装置
KR102438199B1 (ko) * 2015-12-24 2022-08-30 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 설정 값을 변경하는 방법
CN106980900A (zh) * 2016-01-18 2017-07-25 阿里巴巴集团控股有限公司 一种特征数据处理方法及设备
US10043239B2 (en) 2016-05-05 2018-08-07 The Climate Corporation Using digital images of a first type and a feature set dictionary to generate digital images of a second type
US10721473B2 (en) 2016-07-25 2020-07-21 Honeywell International Inc. Systems and methods for adjusting the frame rate of transmitted video based on the level of motion in the video
EP3435659A1 (en) * 2017-07-26 2019-01-30 Koninklijke Philips N.V. Automatic video source detection
US10721527B2 (en) * 2018-04-23 2020-07-21 Free Stream Media Corporation Device setting adjustment based on content recognition
CN110660229A (zh) * 2018-06-29 2020-01-07 比亚迪股份有限公司 车速的测量方法、装置及车辆
CN109040802A (zh) * 2018-09-03 2018-12-18 青岛海信传媒网络技术有限公司 一种媒体资源获取的方法及装置
TWI678927B (zh) * 2018-09-18 2019-12-01 宏碁股份有限公司 動態調整影像清晰度的方法及其影像處理裝置
CN109640169B (zh) * 2018-11-27 2020-09-22 Oppo广东移动通信有限公司 视频增强控制方法、装置以及电子设备
EP3991427A1 (en) 2019-06-28 2022-05-04 Dolby Laboratories Licensing Corporation Video content type metadata for high dynamic range
CN114143521A (zh) * 2019-09-30 2022-03-04 深圳市火乐科技发展有限公司 一种游戏投影方法、投影仪及存储介质
CN110717444A (zh) * 2019-10-09 2020-01-21 北京明略软件系统有限公司 一种口红色号识别方法及装置
CN116349233A (zh) * 2021-01-20 2023-06-27 三星电子株式会社 用于确定视频中的运动显著性和视频回放风格的方法和电子装置
US11956539B2 (en) * 2021-06-29 2024-04-09 Canon Kabushiki Kaisha Correction control apparatus, image capturing apparatus, control method, and recording medium
US11849244B2 (en) 2021-07-22 2023-12-19 Grass Valley Canada System and method for temporal keying in a camera

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR930005599B1 (ko) * 1991-05-16 1993-06-23 삼성전자 주식회사 칼라텔레비젼의 화면 조정 회로 및 방법
JPH06169395A (ja) * 1992-11-27 1994-06-14 Sharp Corp 画像形成装置
US5528339A (en) * 1994-08-26 1996-06-18 Eastman Kodak Company Color image reproduction of scenes with color enhancement and preferential tone mapping
JP2586851B2 (ja) 1995-10-06 1997-03-05 セイコーエプソン株式会社 液晶テレビ
US5721792A (en) * 1996-08-29 1998-02-24 Sensormatic Electronics Corporation Control of brightness of text/graphics overlay
JPH10108108A (ja) * 1996-09-30 1998-04-24 Hitachi Ltd 画像信号の表示方法、及び表示装置
US6263502B1 (en) * 1997-03-18 2001-07-17 Thomson Licensing S.A. System and method for automatic audio and video control settings for television programs
US6581170B1 (en) * 1997-10-23 2003-06-17 Sony Corporation Source coding to provide for robust error recovery during transmission losses
EP0967792B1 (en) * 1998-06-26 2011-08-03 Sony Corporation Printer having image correcting capability
JP2000214838A (ja) * 1999-01-27 2000-08-04 Fuji Photo Film Co Ltd 表示装置
US6393148B1 (en) * 1999-05-13 2002-05-21 Hewlett-Packard Company Contrast enhancement of an image using luminance and RGB statistical metrics
US6791716B1 (en) 2000-02-18 2004-09-14 Eastmas Kodak Company Color image reproduction of scenes with preferential color mapping
JP3758452B2 (ja) 2000-02-28 2006-03-22 コニカミノルタビジネステクノロジーズ株式会社 記録媒体、並びに、画像処理装置および画像処理方法
US7221780B1 (en) * 2000-06-02 2007-05-22 Sony Corporation System and method for human face detection in color graphics images
US6763069B1 (en) * 2000-07-06 2004-07-13 Mitsubishi Electric Research Laboratories, Inc Extraction of high-level features from low-level features of multimedia content
US7085613B2 (en) * 2000-11-03 2006-08-01 International Business Machines Corporation System for monitoring audio content in a video broadcast
DE50112268D1 (de) * 2001-02-09 2007-05-10 Imaging Solutions Ag Digitale lokale Bildeigenschaftssteuerung mittels Masken
JP2003044497A (ja) * 2001-07-31 2003-02-14 Mikio Numata モバイル図鑑
US7283181B2 (en) * 2002-01-31 2007-10-16 Hewlett-Packard Development Company, L.P. Selectable color adjustment for image display
US6778183B1 (en) * 2002-07-10 2004-08-17 Genesis Microchip Inc. Method and system for adaptive color and contrast for display devices
JP2004093731A (ja) * 2002-08-30 2004-03-25 Seiko Epson Corp 画像表示装置および画像表示システム
US7068722B2 (en) * 2002-09-25 2006-06-27 Lsi Logic Corporation Content adaptive video processor using motion compensation
US7143352B2 (en) * 2002-11-01 2006-11-28 Mitsubishi Electric Research Laboratories, Inc Blind summarization of video content
US7355611B2 (en) 2002-11-26 2008-04-08 Hewlett-Packard Development Company, L.P. Method and arrangement for improving image quality on a display of an imaging device
US7409145B2 (en) * 2003-01-02 2008-08-05 Microsoft Corporation Smart profiles for capturing and publishing audio and video streams
US7184054B2 (en) * 2003-01-21 2007-02-27 Hewlett-Packard Development Company, L.P. Correction of a projected image based on a reflected image
CN1774916A (zh) * 2003-04-14 2006-05-17 皇家飞利浦电子股份有限公司 通过节目图像内容产生隐式tv推荐器
US7483083B2 (en) 2003-04-16 2009-01-27 Intervideo, Inc. Movie enhancement
WO2005041109A2 (en) * 2003-10-17 2005-05-06 Nielsen Media Research, Inc. Methods and apparatus for identifiying audio/video content using temporal signal characteristics
US7428333B2 (en) 2004-01-23 2008-09-23 Old Dominion University Visibility improvement in color video stream
KR20050080393A (ko) * 2004-02-09 2005-08-12 삼성전자주식회사 색 좌표를 이용한 영상 조정 장치 및 그 방법
US8411902B2 (en) * 2004-04-07 2013-04-02 Hewlett-Packard Development Company, L.P. Providing a visual indication of the content of a video by analyzing a likely user intent
US20050251273A1 (en) * 2004-05-05 2005-11-10 Motorola, Inc. Dynamic audio control circuit and method
CN1977542B (zh) * 2004-06-30 2010-09-29 皇家飞利浦电子股份有限公司 利用感知规律提取主色以产生来自视频内容的环境光
US20060012586A1 (en) * 2004-07-15 2006-01-19 David Ochs Display device and method for adjusting display device settings based on a predetermined code
JP4506409B2 (ja) * 2004-10-27 2010-07-21 株式会社デンソー 領域分割方法及び装置、画像認識処理装置、プログラム、記録媒体
US7545421B2 (en) 2004-10-28 2009-06-09 Qualcomm Incorporated Apparatus, system, and method for optimizing gamma curves for digital image devices
JP4696548B2 (ja) * 2004-12-14 2011-06-08 セイコーエプソン株式会社 自動画像補正装置及び電子機器
JP4487191B2 (ja) * 2004-12-24 2010-06-23 カシオ計算機株式会社 画像処理装置および画像処理プログラム
JP5123472B2 (ja) * 2005-03-09 2013-01-23 京セラ株式会社 携帯情報端末
US8014034B2 (en) 2005-04-13 2011-09-06 Acd Systems International Inc. Image contrast enhancement
US7352410B2 (en) 2005-05-31 2008-04-01 Kolorific, Inc. Method and system for automatic brightness and contrast adjustment of a video source
US7447488B2 (en) * 2005-07-07 2008-11-04 Bose Corporation Broadcast signal reception enhancing
JP2007041987A (ja) * 2005-08-05 2007-02-15 Sony Corp 画像処理装置および方法、並びにプログラム
US20070055955A1 (en) * 2005-08-24 2007-03-08 Lee Jae I System and method for information handling system display color space management
JP4750520B2 (ja) * 2005-09-21 2011-08-17 富士フイルム株式会社 人物画像補正装置および方法
JP4755489B2 (ja) * 2005-11-28 2011-08-24 株式会社日立製作所 映像処理装置及び映像処理方法
CN100515096C (zh) * 2005-12-31 2009-07-15 财团法人工业技术研究院 显示器之数字图像适应性色彩调整方法与装置
US8558772B2 (en) * 2006-08-02 2013-10-15 Mitsubishi Electric Corporation Image display apparatus
US7881555B2 (en) * 2006-08-29 2011-02-01 Siemens Medical Solutions Usa, Inc. Methods and systems for reducing bright burn in images
JP2008135801A (ja) * 2006-11-27 2008-06-12 Seiko Epson Corp 投写型表示装置、投写表示方法、及び、投写表示制御プログラム
US20080266459A1 (en) * 2007-04-26 2008-10-30 Mark Butterworth Multiple format video display
BRPI0721634A2 (pt) * 2007-06-20 2013-02-05 Thomson Licensing correÇço gama automÁtica de conteédo de fonte de entrada

Also Published As

Publication number Publication date
CN101809590B (zh) 2013-01-23
CN101809590A (zh) 2010-08-18
JP2010541009A (ja) 2010-12-24
BRPI0817477A2 (pt) 2015-03-24
US20090087016A1 (en) 2009-04-02
WO2009045794A1 (en) 2009-04-09
US8488901B2 (en) 2013-07-16

Similar Documents

Publication Publication Date Title
JP5492087B2 (ja) コンテンツベースの画像調整
JP6024110B2 (ja) 画像処理装置、画像処理方法、プログラム、端末装置及び画像処理システム
Winkler Perceptual video quality metrics—A review
KR102229156B1 (ko) 디스플레이 장치 및 디스플레이 장치의 제어 방법
JP2024041933A (ja) 様々なレベルのメタデータを含む色管理を制御するスケーラブルシステム
US9912924B2 (en) Image forming apparatus, image forming method, image processing apparatus and image processing method thereof
US9489726B2 (en) Method for processing a video sequence, corresponding device, computer program and non-transitory computer-readable-medium
US9299119B2 (en) Overlay-based watermarking for video synchronization with contextual data
JP2018042253A (ja) シーン不変化されたメタデータを生成するためのシステムおよび方法
EP2960905A1 (en) Method and device of displaying a neutral facial expression in a paused video
US20080170067A1 (en) Image processing method and apparatus
US8743290B2 (en) Apparatus and method of processing image as well as apparatus and method of generating reproduction information with display position control using eye direction
US9749550B2 (en) Apparatus and method for tuning an audiovisual system to viewer attention level
KR20200144775A (ko) 디스플레이장치 및 그 제어방법
KR101372639B1 (ko) 광고 영상 검출 방법 및 장치
KR20220117057A (ko) 오디오의 존재 및 비존재에 따른 비디오 품질 평가 방법 및 장치
JP4298743B2 (ja) 画像表示装置
US11908340B2 (en) Magnification enhancement of video for visually impaired viewers
JPWO2009031398A1 (ja) 類似画像判別装置、チャプタ判定装置、映像信号記録装置及び画像処理装置
CN115665477A (zh) 视频增强系统、方法及装置
JP2017130709A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2005229451A (ja) 映像表示装置、映像表示方法、映像表示方法のプログラム及び映像表示方法のプログラムを記録した記録媒体
KR20060117130A (ko) 사용자 단말에서 선호색 제어를 위한 색상 판단 고속알고리즘 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110817

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130819

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130826

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140228

R150 Certificate of patent or registration of utility model

Ref document number: 5492087

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250