JP7488002B2 - 映像処理装置、映像処理装置の作動方法および映像処理プログラム - Google Patents
映像処理装置、映像処理装置の作動方法および映像処理プログラム Download PDFInfo
- Publication number
- JP7488002B2 JP7488002B2 JP2021006896A JP2021006896A JP7488002B2 JP 7488002 B2 JP7488002 B2 JP 7488002B2 JP 2021006896 A JP2021006896 A JP 2021006896A JP 2021006896 A JP2021006896 A JP 2021006896A JP 7488002 B2 JP7488002 B2 JP 7488002B2
- Authority
- JP
- Japan
- Prior art keywords
- calculation
- video
- processing device
- image
- estimation unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 108
- 238000000034 method Methods 0.000 title claims description 24
- 238000004364 calculation method Methods 0.000 claims description 109
- 230000008859 change Effects 0.000 claims description 45
- 238000013473 artificial intelligence Methods 0.000 description 88
- 230000008569 process Effects 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000009467 reduction Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 239000003623 enhancer Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000011017 operating method Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000036548 skin texture Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/57—Control of contrast or brightness
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Television Signal Processing For Recording (AREA)
- Television Receiver Circuits (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Processing (AREA)
Description
本発明の実施形態は、映像処理装置、映像処理装置の作動方法および映像処理プログラムに関する。
番組の映像をジャンルに応じた画質、音質に自動的に調整する機能を有するテレビジョン受信機、スマートフォン等の映像表示装置が開発されている。番組のジャンルは、ＥＰＧ番組表等のメタデータから取得される。
しかし、１つの番組には、最適の画質等が異なる複数のシーン（場面）が含まれている。例えば、ジャンルがニュースの番組には、人物シーン、屋内シーン、風景シーン、および、スポーツシーン等が含まれている。
このため、番組のジャンルだけに基づく調整では、それぞれのシーンに最適な映像を提供できない。また、ＥＰＧ番組表等のメタデータを参照できない映像もある。
近年、映像処理にＡＩ（人工知能）演算が用いられている。ＡＩ演算は、演算量が多いため、大きなリソース（計算資源）が必要である。ＡＩ演算を効率的に行う方法の開発が進んでいる。
しかし、テレビジョン受信機等のエッジデバイスでは、リソースが小さいため、ＡＩ演算を用いて適切な映像処理を行うことは容易ではなかった。
本発明の実施形態は、シーンに応じた最適の映像を出力する映像処理装置、シーンに応じた最適の映像を出力する映像処理装置の作動方法およびシーンに応じた最適の映像を出力する映像処理プログラムを提供することを目的とする。
本発明の実施形態の映像処理装置は、テレビジョン受信装置の映像処理装置であって、映像の変化レベルを推定する第１のＡＩ演算を行う第１推定部と、前記変化レベルを所定値と比較する比較部と、前記変化レベルが前記所定値超の場合にだけ、映像が複数のシーンのいずれに分類されるかを推定する第２のＡＩ演算を行う第２推定部と、推定されたシーンに基づいて画質パラメータを設定する設定部と、前記画質パラメータを用いて映像を調整する調整部と、を具備し、前記第１推定部とリソースを共有する前記第２推定部は、前記第１推定部の処理が行われていない間に分割して処理を行う。
本発明の実施形態の映像処理装置の作動方法は、テレビジョン受信装置の映像処理装置の作動方法であって、映像の変化レベルを推定する第１のＡＩ演算を行うステップと、前記変化レベルを所定値と比較するステップと、前記変化レベルが前記所定値超の場合にだけ、映像が複数のシーンのいずれに分類されるかを推定する第２のＡＩ演算を行うステップと、推定されたシーンに基づいて画質パラメータを設定するステップと、前記画質パラメータを用いて映像を調整するステップと、を具備し、前記第１のＡＩ演算処理間隔は、前記第１のＡＩ演算の第１の処理時間よりも長く、前記第１の処理時間と前記第２のＡＩ演算の第２の処理時間との合計時間よりも短く、前記第２のＡＩ演算は、前記第１のＡＩ演算が行われていない間に分割して処理を行う。
本発明の実施形態の映像処理プログラムは、テレビジョン受信装置の映像処理プログラムであって、映像の変化レベルを推定する第１のＡＩ演算を行うステップと、前記変化レベルを所定値と比較するステップと、前記変化レベルが前記所定値超の場合にだけ、映像が複数のシーンのいずれに分類されるかを推定する第２のＡＩ演算を行うステップと、推定されたシーンに基づいて画質パラメータを設定するステップと、前記画質パラメータを用いて映像を調整するステップと、をコンピュータに実行させ、前記第１のＡＩ演算処理間隔は、前記第１のＡＩ演算の第１の処理時間よりも長く、前記第１の処理時間と前記第２のＡＩ演算の第２の処理時間との合計時間よりも短く、前記第２のＡＩ演算は、前記第１のＡＩ演算が行われていない間に分割して処理を行う。
＜第１実施形態＞
図１に示すように本実施形態の映像処理装置１は、チューナ３１およびメモリ３２と、受信装置３０を構成している、受信装置３０は、モニタ４２およびスピーカ４３と、受信システム９を構成している。受信装置３０は、モニタ４２およびスピーカ４３と一体のテレビジョン受信装置でもよい。
図１に示すように本実施形態の映像処理装置１は、チューナ３１およびメモリ３２と、受信装置３０を構成している、受信装置３０は、モニタ４２およびスピーカ４３と、受信システム９を構成している。受信装置３０は、モニタ４２およびスピーカ４３と一体のテレビジョン受信装置でもよい。
モニタ４２は、液晶、ＥＬ（エレクトロミネッセンス）、プラズマディスプレイ、ＳＥＤ（表面電界ディスプレイ）、ビデオプロジェクタ、リアプロジェクション（背面投影型）、またはブラウン管（平面型を含む）などである。利用者が受信装置３０を操作する端末であるリモコン４４は、スマートフォン、タブレット端末、ＡＩスピーカ等でもよい。
チューナ３１は、例えば、受信アンテナ４１によって受信される地上デジタルテレビジョン放送および衛星デジタルテレビジョン放送の複数のチャンネルの中から１つのチャンネルを選局することによって受信する。チューナ３１は、ネット回線４６を経由してサーバー４７から入力されるインターネット放送を受信してもよい。レコーダ４５に記録されている番組映像が、受信装置３０に入力されてもよい。
映像処理装置１は、入力された映像を処理し、画像信号と音声信号とを出力する。画像信号はモニタ４２に出力され、音声信号はスピーカ４３に出力されることによって、利用者は番組を視聴する。
映像処理装置１は、プロセッサであるＣＰＵ１０と、ニューラルネットワークであるＡＩ演算部２０と、を有する。
ＡＩ演算部２０は第１推定部２１と第２推定部２２とを有する。第１推定部２１と第２推定部２２とは、ＡＩ演算部２０のリソースを共有しているため、同時に演算処理を行うことはできない。ＡＩ演算部２０は半導体からなり、例えば、メモリ３２に記憶されているプログラムを読み込み動作する。
後述するように、第１推定部２１は、映像の画像の変化レベルＤを、ニューラルネットワークを用いて推定する第１のＡＩ演算（ＡＩ演算１）を行う。第２推定部２２は、映像が複数のシーンのいずれに分類されるかを、ニューラルネットワークを用いて推定する第２のＡＩ演算（ＡＩ演算２）を行う。
ニューラルネットワークによるＡＩ演算は、深層学習アルゴリズムに基づく深層学習を用いて、映像の解析処理を実行する。深層学習アルゴリズムは、公知の畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）の手法と、全結合層と、出力層とを含むアルゴリズムである。深層学習はディープラーニングと呼ばれる。深層学習を用いたＡＩ演算による画像解析処理は公知技術であるので、具体的な説明は省略する。
ＣＰＵ１０は、受信装置３０の全体の制御を行う。ＣＰＵ１０は半導体からなり、例えば、メモリ３２に記憶されているプログラムを読み込み動作する。ＣＰＵ１０は、比較部１１、設定部１２、調整部１３を含む。なお、ＣＰＵ１０が実行する、これらの機能部の少なくともいずれかは、ＣＰＵ１０とは別の専用回路として構成されていてもよい。また、１つのＣＰＵユニットが、ＣＰＵ１０とＡＩ演算部２０とを有していてもよい。ただし、高速処理のためには、ＡＩ演算はＡＩ専用プロセッサにおいて行われることが好ましい。
比較部１１は、第１推定部２１が推定した映像の変化レベルＤを所定値Ｋと比較する。第２推定部２２は、第１推定部２１が第１のＡＩ演算によって推定した変化レベルＤが所定値Ｋ超の場合にだけ、シーンの推定演算である第２のＡＩ演算を行う。
例えば、所定値Ｋが７５％、映像が変化している可能性である変化レベルＤが８０％の場合、変化レベルＤが所定値Ｋ超であるため、第２のＡＩ演算が行われる。設定部１２は、第２推定部２２が推定したシーンに基づいて、画質パラメータを設定する。調整部１３は、画質パラメータを用いて映像を調整する。
所定値Ｋが７５％、変化レベルＤが６０％の場合、変化レベルＤが所定値Ｋ以下であるため、第２のＡＩ演算は行われない。
従来のＡＩ演算では、複数の演算は必ず連続して行われるパイプライン方式であった。すなわち、第１のＡＩ演算の出力にかかわらず第２のＡＩ演算が行われる。これに対して、映像処理装置１では、第１のＡＩ演算の出力によっては、第２のＡＩ演算を行わないことがある。このため、リソースが小さいエッジデバイスである映像処理装置であっても、シーンに応じた最適の映像を出力する。
＜映像処理装置の作動方法＞
図２のフローチャートにそって、映像処理装置１の作動方法を説明する。
図２のフローチャートにそって、映像処理装置１の作動方法を説明する。
＜ステップＳ１０＞ フレーム画像入力
図３の上段に示すように、テレビジョン放送の映像は、例えば、１秒間に３０枚のフレーム画像（静止画）を有している。第１推定部２１に、フレーム画像（第１画像）と、その次のフレーム画像（第２画像）とが入力される。
図３の上段に示すように、テレビジョン放送の映像は、例えば、１秒間に３０枚のフレーム画像（静止画）を有している。第１推定部２１に、フレーム画像（第１画像）と、その次のフレーム画像（第２画像）とが入力される。
＜ステップＳ２０＞ 第１のＡＩ演算
第１推定部２１は、第１画像と第２画像との変化レベルＤをＡＩ演算部２０において推定する第１のＡＩ演算を行う。例えば、第１のＡＩ演算においては、２次元の特徴マップの抽出、または１次元の特徴ベクトルの抽出を行う。
第１推定部２１は、第１画像と第２画像との変化レベルＤをＡＩ演算部２０において推定する第１のＡＩ演算を行う。例えば、第１のＡＩ演算においては、２次元の特徴マップの抽出、または１次元の特徴ベクトルの抽出を行う。
映像の明るさ変化、画素毎の輝度の変化等を基にシーンを推定すると、映像が、僅かにズームアップされたり、カメラがターンしたりした場合に、シーンが変化したと誤った推定をするおそれがある。しかし、ＡＩ演算を用いることによって、シーンの変化を正確に推定できる。
＜ステップＳ３０＞ 変化レベル比較
比較部１１が、第１推定部２１が推定した変化レベルＤと、所定値Ｋとを比較する。変化レベルＤが所定値Ｋより大きい場合（ＹＥＳ）には、ステップＳ４０の処理が行われる。変化レベルＤが所定値Ｋ以下の場合（ＮＯ）には、ステップＳ１０の処理が行われる。
比較部１１が、第１推定部２１が推定した変化レベルＤと、所定値Ｋとを比較する。変化レベルＤが所定値Ｋより大きい場合（ＹＥＳ）には、ステップＳ４０の処理が行われる。変化レベルＤが所定値Ｋ以下の場合（ＮＯ）には、ステップＳ１０の処理が行われる。
なお、所定値Ｋが小さすぎると、頻繁に画質調整が行われ不自然な映像となるおそれがある。このため、所定値Ｋは適切な値、例えば７０％超に設定される。所定値Ｋは利用者の操作によって変更可能であってもよい。
＜ステップＳ４０＞ 第２のＡＩ演算開始
第２推定部２２は、第２画像が複数のシーンのいずれであるかを、第１推定部２１と共有のＡＩ演算部２０において推定する第２のＡＩ演算を行う。
第２推定部２２は、第２画像が複数のシーンのいずれであるかを、第１推定部２１と共有のＡＩ演算部２０において推定する第２のＡＩ演算を行う。
シーンは、例えば、人物シーン、風景シーン、夜景シーン、スポーツシーンである。
例えば、第２のＡＩ演算においては、２次元の特徴マップを入力とした物体検出もしくはセグメンテーション、または、１次元の特徴ベクトルを入力とした画像分類処理が行われる。
＜ステップＳ５０＞ 時間計測（ＴＡ経過）
図３に示すように、映像処理装置１では、繰り返して行われる第１推定部２１の処理間隔（時間）ＴＡ、すなわち、第１のＡＩ演算の間隔ＴＡは、第１のＡＩ演算の第１の処理時間Ｔ１よりも長い。しかし、間隔ＴＡは、第１のＡＩ演算の第１の処理時間Ｔ１と第２のＡＩ演算の第２の処理時間Ｔ２（Ｔ２Ａ＋Ｔ２Ｂ）との合計時間よりも短い。このため、間隔ＴＡの間に、第２のＡＩ演算は完了しない。
図３に示すように、映像処理装置１では、繰り返して行われる第１推定部２１の処理間隔（時間）ＴＡ、すなわち、第１のＡＩ演算の間隔ＴＡは、第１のＡＩ演算の第１の処理時間Ｔ１よりも長い。しかし、間隔ＴＡは、第１のＡＩ演算の第１の処理時間Ｔ１と第２のＡＩ演算の第２の処理時間Ｔ２（Ｔ２Ａ＋Ｔ２Ｂ）との合計時間よりも短い。このため、間隔ＴＡの間に、第２のＡＩ演算は完了しない。
処理間隔ＴＡになると（ＹＥＳ）、映像処理装置１は、第２のＡＩ演算をいったん中断して、ステップＳ６０からの処理を行う。
＜ステップＳ６０＞ フレーム画像入力
ステップＳ１０と同じように、第１推定部２１に、新しい２枚のフレーム画像が入力される。
ステップＳ１０と同じように、第１推定部２１に、新しい２枚のフレーム画像が入力される。
＜ステップＳ７０＞ 第１のＡＩ演算
ステップＳ２０と同じように、第１推定部２１は変化レベルＤを推定する第１のＡＩ演算を行う。
ステップＳ２０と同じように、第１推定部２１は変化レベルＤを推定する第１のＡＩ演算を行う。
＜ステップＳ８０＞ 変化レベル比較
ステップＳ３０と同じように、比較部１１が、第１推定部２１が推定した変化レベルＤと、所定値Ｋとを比較する。ステップＳ８０では、変化レベルＤが所定値Ｋより大きい場合（ＹＥＳ）には、ステップＳ４０において新たな第２のＡＩ演算が行われる。途中まで処理されていた第２の演算は強制終了される。なお、すでに処理済みの途中結果を第２のＡＩ演算結果として代替利用してもかまわない。これに対して、変化レベルＤが所定値Ｋ以下の場合（ＮＯ）には、途中まで行われていた第２のＡＩ演算Ａが、再開する。
ステップＳ３０と同じように、比較部１１が、第１推定部２１が推定した変化レベルＤと、所定値Ｋとを比較する。ステップＳ８０では、変化レベルＤが所定値Ｋより大きい場合（ＹＥＳ）には、ステップＳ４０において新たな第２のＡＩ演算が行われる。途中まで処理されていた第２の演算は強制終了される。なお、すでに処理済みの途中結果を第２のＡＩ演算結果として代替利用してもかまわない。これに対して、変化レベルＤが所定値Ｋ以下の場合（ＮＯ）には、途中まで行われていた第２のＡＩ演算Ａが、再開する。
すなわち、第２推定部２２による第２のＡＩ演算は、第１推定部２１による第１のＡＩ演算が行われていない間に分割して行われる。映像処理装置１では、第２のＡＩ演算は、第２のＡＩ演算２Ａ、２Ｂに、２分割して行われていたが、第２のＡＩ演算は、３分割以上されてもよいことは言うまでも無い。
なお、映像処理装置１では、第１のＡＩ演算の処理間隔ＴＡは、フレーム間隔Ｔｆ（例えば、１／３０秒）よりも長い。しかし、ＡＩ演算速度が速い場合には、全フレーム画像に対して、第１のＡＩ演算が行われてもよい。
また、第２のＡＩ演算に続いて第３のＡＩ演算が行われてもよい。例えば、第２のＡＩ演算において映像シーンが「スポーツ」であることが推定された後に、第３のＡＩ演算において具体的な競技名「サッカー」が推定されてもよい。
＜ステップＳ９０＞ 第２のＡＩ演算完了
第２のＡＩ演算が完了する（ＹＥＳ）と、ステップＳ１０からの一連の処理が再び行われると同時に、ステップＳ１００の処理が行われる。第２のＡＩ演算は完了するまで（ＮＯ）、続けられる。
第２のＡＩ演算が完了する（ＹＥＳ）と、ステップＳ１０からの一連の処理が再び行われると同時に、ステップＳ１００の処理が行われる。第２のＡＩ演算は完了するまで（ＮＯ）、続けられる。
＜ステップＳ１００＞
第２推定部２２が推定したシーンに基づいて、設定部１２が画質パラメータを設定する。調整部１３が画質パラメータを用いて映像、すなわち、変化があったフレーム画像以降のフレーム画像を調整する。
第２推定部２２が推定したシーンに基づいて、設定部１２が画質パラメータを設定する。調整部１３が画質パラメータを用いて映像、すなわち、変化があったフレーム画像以降のフレーム画像を調整する。
画質パラメータは、例えば、明るさ、色の濃さ、色合い、色温度、シャープネス、ノイズリダクションレベル、コントラストエンハンサーレベル、ディテールエンハンサーレベルである。
例えば、風景シーンの場合には、明るさレベル、色の濃さ、および、色合いの各レベルを標準パラメータよりも上げることによって、鮮やかな映像となる。人物シーンの場合には、ノイズリダクションレベルおよびディテールエンハンサーレベルを上げて、色の濃さレベルを下げることによって、肌の質感が自然となる。それぞれのシーンに基づく画質パラメータは、例えば、予めメモリ３２に記憶されている。
映像処理装置１は、リソースが小さいエッジデバイスであるが、シーンに応じた最適の映像を出力できる。
以上の説明のように、映像処理装置の作動方法は、第１のＡＩ演算によって映像の変化レベルを推定するステップＳ２０と、前記変化レベルを所定値と比較するステップＳ３０と、前記変化レベルが前記所定値超の場合にだけ、第２のＡＩ演算によって映像が複数のシーンのいずれに分類されるかを推定するステップＳ４０と、推定されたシーンに基づいて画質パラメータを設定するステップＳ１００と、前記画質パラメータを用いて映像を調整するステップＳ１００と、を具備する。
映像処理プログラムは、第１のＡＩ演算によって映像の変化レベルを推定するステップＳ２０と、前記変化レベルを所定値と比較するステップＳ３０と、前記変化レベルが前記所定値超の場合にだけ、第２のＡＩ演算によって、映像が複数のシーンのいずれに分類されるかを推定するステップＳ４０と、推定されたシーンに基づいて画質パラメータを設定するステップＳ１００と、前記画質パラメータを用いて映像を調整するステップＳ１００と、をコンピュータに実行させる。
＜第１実施形態の変形例１＞
本変形例の映像処理装置１Ａは、映像処理装置１と類似しているので、同じ機能の構成要素には同じ符号を付し説明は省略する。
本変形例の映像処理装置１Ａは、映像処理装置１と類似しているので、同じ機能の構成要素には同じ符号を付し説明は省略する。
映像処理装置１Ａは、例えば、テレビジョン番組の映像信号に付加されている番組データ（例えば、ＥＰＧ：Electronic Programming Guide）を取得する。ＥＰＧデータはメモリ３２に記憶される。番組データは、番組名、出演者、番組概要等に加えて、ジャンルデータを有している。ジャンルは、例えば、「ニュース／報道」、「スポーツ」、「情報／ワイドショー」、「ドラマ」、「音楽」、「バラエティ」、「映画」、「アニメ／特撮」、「ドキュメンタリー／教養」、「劇場／公演」、「趣味／教育」、「福祉」である。
映像処理装置１Ａの設定部１２は、ジャンルおよび第２推定部２２が推定したシーンに基づいて画質パラメータを、設定する。
すなわち、同じ風景シーンであっても、ジャンルがニュースの映像の場合には、ジャンルが映画の映像の場合によりも、明るさレベル、色の濃さ、および、色合いの各レベルを上げる割合が小さい画質パラメータが設定される。このため、ジャンルがニュースの映像においては、例えば、人物シーンから風景シーンに切り替わっても大きく映像が変化することがない。逆に、ジャンルが映画の映像においては、ジャンルがニュースの映像よりも迫力のある風景シーンの映像が出力される。
複数のジャンルそれぞれの複数のシーンに基づく画質パラメータは、例えば、予めメモリ３２に記憶されている。映像処理装置１Ａは、ジャンルに応じて、より適切にシーンの映像を調整できる。
＜第１実施形態の変形例２＞
本変形例の映像処理装置１Ｂは、映像処理装置１と類似しているので、同じ機能の構成要素には同じ符号を付し説明は省略する。
本変形例の映像処理装置１Ｂは、映像処理装置１と類似しているので、同じ機能の構成要素には同じ符号を付し説明は省略する。
映像処理装置１Ｂの設定部１２は、シーンに基づいて、画質パラメータだけでなく、音質パラメータを設定する。調整部１３は、映像の画質だけでなく、音質パラメータを用いて映像の音を調整する。
音質パラメータは、例えば、ハイパスフィルターおよびローパスフィルタによるイコライザレベル、ノイズリダクションレベル、である。
例えば、人物の口が動いている会話シーンでは、より聞き取りやすくするため、イコライザレベルはフラットに、ノイズリダクションレベルは大きく、設定される。
映像処理装置１Ｂでは、映像は、画像だけでなく音も、シーンに応じて適切に調整される。
映像処理装置１Ｂにおいて、映像処理装置１Ａのように、ジャンルおよび第２推定部２２が推定したシーンに基づいて画質パラメータを設定してもよいことは言うまでも無い。
＜第２実施形態＞
本実施形態の映像処理装置１Ｃは、映像処理装置１等と類似しているので、同じ機能の構成要素には同じ符号を付し説明は省略する。
本実施形態の映像処理装置１Ｃは、映像処理装置１等と類似しているので、同じ機能の構成要素には同じ符号を付し説明は省略する。
図４のフローチャートにそって、映像処理装置１Ｃの作動方法を説明する。
＜ステップＳ１０－Ｓ３０＞
図２において説明した映像処理装置１と同じである。
図２において説明した映像処理装置１と同じである。
＜ステップＳ４１＞
第２のＡＩ演算が開始し、完了するまで処理が行われる。第２のＡＩ演算が完了後に、ステップＳ１０からの一連の処理が再び行われると同時に、ステップＳ１００の処理が行われる。
第２のＡＩ演算が開始し、完了するまで処理が行われる。第２のＡＩ演算が完了後に、ステップＳ１０からの一連の処理が再び行われると同時に、ステップＳ１００の処理が行われる。
＜ステップＳ１００＞
図２において説明した映像処理装置１と同じである。
図２において説明した映像処理装置１と同じである。
映像処理装置１Ｃでは、映像処理装置１と同じように、繰り返して行われる第１推定部２１の第１の処理間隔（時間）ＴＡは、第１のＡＩ演算の第１の処理時間Ｔ１と第２のＡＩ演算の第２の処理時間Ｔ２（Ｔ２Ａ＋Ｔ２Ｂ）との合計時間よりも短い。
図５に示すように、映像処理装置１Ｃの第１推定部２１は、第２推定部２２の処理が完了するまで処理を再開しない。このため、第２のＡＩ演算が行われた場合の第１推定部２１の第２の処理間隔ＴＡ２は、第２のＡＩ演算が行われない場合の第１の処理間隔ＴＡ１よりも長くなる。
映像処理装置１Ｃは、第１推定部２１の処理間隔が長くなることがあるため、シーン変化の激しい映像では適切にシーンの映像を調整できないおそれもある。しかし、第１推定部２１が映像のシーン変化を検出した場合に、映像処理装置１よりも早く、適切な画質の映像を出力できる。
映像処理装置１ｃにおいて、映像処理装置１Ａのようにジャンルおよび第２推定部２２が推定したシーンに基づいて画質調整したり、映像処理装置１Ｂのようにシーンに基づいて音質調整したり、してもよいことは言うまでも無い。
発明のいくつかの実施の形態を説明したが、これらの実施の形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施の形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
１、１Ａ－１Ｃ…映像処理装置
９…受信システム
１１…比較部
１２…設定部
１３…調整部
２０…ニューラルネットワーク
２１…第１推定部
２２…第２推定部
３０…受信装置
３１…チューナ
３２…メモリ
４１…受信アンテナ
４２…モニタ
４３…スピーカ
４４…リモコン
４５…レコーダ
４６…ネット回線
４７…サーバー
９…受信システム
１１…比較部
１２…設定部
１３…調整部
２０…ニューラルネットワーク
２１…第１推定部
２２…第２推定部
３０…受信装置
３１…チューナ
３２…メモリ
４１…受信アンテナ
４２…モニタ
４３…スピーカ
４４…リモコン
４５…レコーダ
４６…ネット回線
４７…サーバー
Claims (7)
- テレビジョン受信装置の映像処理装置であって、
映像の変化レベルを推定する第１のＡＩ演算を行う第１推定部と、
前記変化レベルを所定値と比較する比較部と、
前記変化レベルが前記所定値超の場合にだけ、映像が複数のシーンのいずれに分類されるかを推定する第２のＡＩ演算を行う第２推定部と、
推定されたシーンに基づいて、画質パラメータを設定する設定部と、
前記画質パラメータを用いて、映像を調整する調整部と、を具備し、
前記第１推定部とリソースを共有する前記第２推定部が演算中に、第１のＡＩ演算をするタイミングとなった場合は、演算を中断し、前記第１推定部の処理が行われていない間に分割して処理を行うことを特徴とする映像処理装置。 - テレビジョン受信装置の映像処理装置であって、
映像の変化レベルを推定する第１のＡＩ演算を行う第１推定部と、
前記変化レベルを所定値と比較する比較部と、
前記変化レベルが前記所定値超の場合にだけ、映像が複数のシーンのいずれに分類されるかを推定する第２のＡＩ演算を行う第２推定部と、
推定されたシーンに基づいて、画質パラメータを設定する設定部と、
前記画質パラメータを用いて、映像を調整する調整部と、を具備し、
前記第１推定部の第１の処理間隔は、前記第１推定部の第１の処理時間よりも長く、前記第１の処理時間と前記第２推定部の第２の処理時間との合計時間よりも短く、
前記第１推定部は、リソースを共有する前記第２推定部の処理が完了するまで処理を再開しないことを特徴とする映像処理装置。 - チューナ、モニタおよびスピーカとともに、前記テレビジョン受信装置を構成していることを特徴とする請求項１または請求項２に記載の映像処理装置。
- 前記映像が、ジャンルが判明している放送番組の映像であり、
前記設定部は、前記ジャンルおよび前記第２推定部が推定した前記シーンに基づいて前記画質パラメータを、設定することを特徴とする請求項１または請求項２に記載の映像処理装置。 - 前記設定部は、前記シーンに基づいて、音質パラメータを設定し、
前記調整部は、前記音質パラメータを用いて前記映像の音を調整することを特徴とする請求項１または請求項２に記載の映像処理装置。 - テレビジョン受信装置の映像処理装置の作動方法であって、
映像の変化レベルを推定する第１のＡＩ演算を行うステップと、
前記変化レベルを所定値と比較するステップと、
前記変化レベルが前記所定値超の場合にだけ、映像が複数のシーンのいずれに分類されるかを推定する第２のＡＩ演算を行うステップと、
推定されたシーンに基づいて、画質パラメータを設定するステップと、
前記画質パラメータを用いて、映像を調整するステップと、を具備し、
前記第２のＡＩ演算は、前記第１のＡＩ演算が行われていない間に分割して処理を行うことを特徴とする映像処理装置の作動方法。 - テレビジョン受信装置の映像処理装置の映像処理プログラムであって、
映像の変化レベルを推定する第１のＡＩ演算を行うステップと、
前記変化レベルを所定値と比較するステップと、
前記変化レベルが前記所定値超の場合にだけ、映像が複数のシーンのいずれに分類されるかを推定する第２のＡＩ演算を行うステップと、
推定されたシーンに基づいて、画質パラメータを設定するステップと、
前記画質パラメータを用いて、映像を調整するステップと、をコンピュータに実行させ、
前記第１のＡＩ演算処理間隔は、前記第１のＡＩ演算の第１の処理時間よりも長く、前記第１の処理時間と前記第２のＡＩ演算の第２の処理時間との合計時間よりも短く、
前記第２のＡＩ演算は、前記第１のＡＩ演算が行われていない間に分割して処理を行うことを特徴とする映像処理プログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021006896A JP7488002B2 (ja) | 2021-01-20 | 2021-01-20 | 映像処理装置、映像処理装置の作動方法および映像処理プログラム |
| PCT/CN2021/118764 WO2022156248A1 (zh) | 2021-01-20 | 2021-09-16 | 影像处理设备、影像处理设备的工作方法以及非易失性存储介质 |
| CN202180027166.0A CN115398880A (zh) | 2021-01-20 | 2021-09-16 | 影像处理设备、影像处理设备的工作方法以及非易失性存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021006896A JP7488002B2 (ja) | 2021-01-20 | 2021-01-20 | 映像処理装置、映像処理装置の作動方法および映像処理プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022111459A JP2022111459A (ja) | 2022-08-01 |
| JP7488002B2 true JP7488002B2 (ja) | 2024-05-21 |
Family
ID=82548480
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021006896A Active JP7488002B2 (ja) | 2021-01-20 | 2021-01-20 | 映像処理装置、映像処理装置の作動方法および映像処理プログラム |
Country Status (3)
| Country | Link |
|---|---|
| JP (1) | JP7488002B2 (ja) |
| CN (1) | CN115398880A (ja) |
| WO (1) | WO2022156248A1 (ja) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008193285A (ja) | 2007-02-02 | 2008-08-21 | Mitsubishi Electric Corp | 映像表示装置 |
| JP2009194550A (ja) | 2008-02-13 | 2009-08-27 | Sony Corp | 画質調整装置、画質調整方法及びプログラム |
| JP2011166315A (ja) | 2010-02-05 | 2011-08-25 | Sharp Corp | 表示装置、表示装置の制御方法、プログラム及び記録媒体 |
| JP2014241457A (ja) | 2011-10-04 | 2014-12-25 | シャープ株式会社 | シーンチェンジ検出装置、表示装置、シーンチェンジ検出方法およびシーンチェンジ検出プログラム |
| JP2020024277A (ja) | 2018-08-07 | 2020-02-13 | 国立研究開発法人情報通信研究機構 | データ・セグメンテーション装置 |
| US20200162262A1 (en) | 2018-11-21 | 2020-05-21 | Avaya Inc. | Systems and methods for detecting device location and usage |
| US20200211172A1 (en) | 2018-12-27 | 2020-07-02 | Lg Electronics Inc. | Signal processing device and image display apparatus including the same |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007121953A (ja) * | 2005-10-31 | 2007-05-17 | Nanao Corp | 表示方法及び表示装置 |
| CN105898364A (zh) * | 2016-05-26 | 2016-08-24 | 北京小米移动软件有限公司 | 一种视频播放处理方法、装置、终端及系统 |
| CN108810649B (zh) * | 2018-07-12 | 2021-12-21 | 深圳创维－Rgb电子有限公司 | 画质调节方法、智能电视机及存储介质 |
| KR102644126B1 (ko) * | 2018-11-16 | 2024-03-07 | 삼성전자주식회사 | 영상 처리 장치 및 그 동작 방법 |
| CN110933490B (zh) * | 2019-11-20 | 2021-07-27 | 深圳创维－Rgb电子有限公司 | 一种画质和音质的自动调整方法、智能电视机及存储介质 |
| CN110996153B (zh) * | 2019-12-06 | 2021-09-24 | 深圳创维－Rgb电子有限公司 | 基于场景识别的音画品质增强方法、系统和显示器 |
-
2021
- 2021-01-20 JP JP2021006896A patent/JP7488002B2/ja active Active
- 2021-09-16 WO PCT/CN2021/118764 patent/WO2022156248A1/zh active Application Filing
- 2021-09-16 CN CN202180027166.0A patent/CN115398880A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008193285A (ja) | 2007-02-02 | 2008-08-21 | Mitsubishi Electric Corp | 映像表示装置 |
| JP2009194550A (ja) | 2008-02-13 | 2009-08-27 | Sony Corp | 画質調整装置、画質調整方法及びプログラム |
| JP2011166315A (ja) | 2010-02-05 | 2011-08-25 | Sharp Corp | 表示装置、表示装置の制御方法、プログラム及び記録媒体 |
| JP2014241457A (ja) | 2011-10-04 | 2014-12-25 | シャープ株式会社 | シーンチェンジ検出装置、表示装置、シーンチェンジ検出方法およびシーンチェンジ検出プログラム |
| JP2020024277A (ja) | 2018-08-07 | 2020-02-13 | 国立研究開発法人情報通信研究機構 | データ・セグメンテーション装置 |
| US20200162262A1 (en) | 2018-11-21 | 2020-05-21 | Avaya Inc. | Systems and methods for detecting device location and usage |
| US20200211172A1 (en) | 2018-12-27 | 2020-07-02 | Lg Electronics Inc. | Signal processing device and image display apparatus including the same |
Non-Patent Citations (1)
| Title |
|---|
| 株式会社東芝研究開発本部，ＡＩ技術を駆使してテレビの画質を向上させるＡＩ高画質技術，東芝レビュー TOSHIBA REVIEW，日本，株式会社東芝 TOSHIBA CORPORATION，2018年03月01日，第73巻、第2号，40頁 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022156248A1 (zh) | 2022-07-28 |
| JP2022111459A (ja) | 2022-08-01 |
| CN115398880A (zh) | 2022-11-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11601699B2 (en) | Predictive content delivery for video streaming services | |
| US8866943B2 (en) | Video camera providing a composite video sequence | |
| JP5305557B2 (ja) | 受信器で視聴覚的記録を見る方法及びそのような記録を見るための受信器 | |
| EP3306940B1 (en) | Device and method for processing video content for display control | |
| US20130235223A1 (en) | Composite video sequence with inserted facial region | |
| CN108184165B (zh) | 视频播放方法、电子装置和计算机可读存储介质 | |
| JP2015115947A (ja) | 埋め込みデータを用いたロバスト自動露出制御 | |
| CN111405339B (zh) | 一种分屏显示方法、电子设备及存储介质 | |
| JP2015149691A (ja) | 画像補正装置、画像補正方法、及び、撮像装置 | |
| US20200107084A1 (en) | Method and device for playback optimization | |
| US11138437B2 (en) | Image processing apparatus and method thereof | |
| JP7488002B2 (ja) | 映像処理装置、映像処理装置の作動方法および映像処理プログラム | |
| JP2011166315A (ja) | 表示装置、表示装置の制御方法、プログラム及び記録媒体 | |
| US11544830B2 (en) | Enhancing image data with appearance controls | |
| CN113099132B (zh) | 视频处理方法、装置、电子设备、存储介质及程序产品 | |
| US11930207B2 (en) | Display device, signal processing device, and signal processing method | |
| US20230088882A1 (en) | Judder detection for dynamic frame rate conversion | |
| JP6378589B2 (ja) | 撮像装置、その制御方法、及びプログラム | |
| US20110280438A1 (en) | Image processing method, integrated circuit for image processing and image processing system | |
| US20210211757A1 (en) | Systems and methods for adapting playback device for content display | |
| WO2018103867A1 (en) | Video insert control | |
| JP4506190B2 (ja) | 映像表示装置、映像表示方法、映像表示方法のプログラム及び映像表示方法のプログラムを記録した記録媒体 | |
| JP2016058792A (ja) | 撮像装置、その制御方法、及びプログラム | |
| CN115706853A (zh) | 视频处理方法、装置、电子设备和存储介质 | |
| CN111897609A (zh) | 一种显示器自动调整最佳画质显示摄影图片的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230117 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240118 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240123 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240229 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240319 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240325 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240409 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240507 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7488002 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |