JP7186877B2 - 映像デコーディング制御方法、装置、電子機器及び記憶媒体 - Google Patents

映像デコーディング制御方法、装置、電子機器及び記憶媒体 Download PDF

Info

Publication number
JP7186877B2
JP7186877B2 JP2021529682A JP2021529682A JP7186877B2 JP 7186877 B2 JP7186877 B2 JP 7186877B2 JP 2021529682 A JP2021529682 A JP 2021529682A JP 2021529682 A JP2021529682 A JP 2021529682A JP 7186877 B2 JP7186877 B2 JP 7186877B2
Authority
JP
Japan
Prior art keywords
application
video
applications
decoding
load factor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021529682A
Other languages
English (en)
Other versions
JP2022509191A (ja
Inventor
徳良 彭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Publication of JP2022509191A publication Critical patent/JP2022509191A/ja
Application granted granted Critical
Publication of JP7186877B2 publication Critical patent/JP7186877B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00007Time or data compression or expansion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/57Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for processing of video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • H04N21/42607Internal components of the client ; Characteristics thereof for processing the incoming bitstream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/4424Monitoring of the internal components or processes of the client device, e.g. CPU or memory load, processing speed, timer, counter or percentage of the hard disk space used
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00007Time or data compression or expansion
    • G11B2020/00072Time or data compression or expansion the compressed signal including a video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Stored Programmes (AREA)

Description

関連出願の相互参照
本発明は、2018年11月27日に提出された出願番号CN201811441950.2の中国出願の優先権を要求し、ここにあらゆる目的のため、引用により、その全ての内容を本明細書に組み込む。
本発明は、画像処理技術分野に関し、より具体的には、映像デコーディング制御方法、装置、電子機器及び記憶媒体に関する。
ディスプレイ付き電子機器の応用は、社会の発展に伴い、その応用範囲が拡大し続けている。例えば、ディスプレイを利用して写真及び映像等の画像を表示する。しかしながら、大部分の電子機器の表示品質は、周囲の光源の変化により、又は再生映像の入手先の品質問題により、著しく影響を受ける。
上記問題に鑑み、本発明は、映像デコーディング制御方法、装置、電子機器及び記憶媒体を提案して下記問題を改善する。
第一に、本発明は電子機器に用いられる映像デコーディング制御方法を提供する。前記方法は、複数のアプリケーションが分割画面モードで動作していることが検出されると、前記複数のアプリケーションのうち映像再生状態にあるアプリケーションを検出することと、構成待ちアプリケーションとして、
検出された映像再生状態にあるアプリケーションを取得することと、前記構成待ちアプリケーションによる再生映像をハードデコーディング方法によりデコーディングするように構成することとを含む。
第二に、本発明は電子機器で動作する映像デコーディング制御装置を提供する。前記装置は、複数のアプリケーションが分割画面モードで動作していることが検出されると、前記複数のアプリケーションのうち映像再生状態にあるアプリケーションを検出するアプリケーション検出ユニットと、構成待ちアプリケーションとして、検出された映像再生状態にあるアプリケーションを取得する構成待ちアプリケーション取得ユニットと、前記構成待ちアプリケーションによる再生映像をハードデコーディング方法によりデコーディングするように構成するデコーディング制御ユニットとを含む。
第三に、本発明は電子機器を提供する。前記電子機器は1つ以上のプロセッサ及びメモリと、1つ以上のプログラムとを含み、前記1つ以上のプログラムは前記メモリに格納され前記1つ以上のプロセッサによって実行し、前記方法を実行するように構成される。
第四に、本発明はコンピューターの可読記憶媒体を提供する。前記コンピューターの可読記憶媒体にはプログラムコードが格納され、前記プログラムコードが動作する際に上記方法を実行する。
本発明実施例中の技術手段をさらに明確に説明するため、以下では実施例説明中に使用する必要のある図面を簡単に紹介する。言うまでもなく、以下説明中の図面は、本発明のいくつかの実施例にすぎず、本分野当業者にとっては、創造的労働を行わないことを前提として、これらの図面に基づいてその他の図面を得ることもできる。
図1は本発明の実施例にかかわる映像処理フレームワークを示す図である。 図2は本発明の実施例にかかわる映像デコーディング制御方法のフローチャートである。 図3は本発明の実施例にかかわるアプリケーションスイッチウィジェットを示す図である。 図4は本発明の実施例にかかわる映像再生インターフェースを示す図である。 図5は本発明のもう一つの実施例にかかわる映像デコーディング制御方法のフローチャートである。 図6は本発明のさらなる実施例にかかわる映像デコーディング制御方法のフローチャートである。 図7は本発明の実施例にかかわる映像デコーディング装置の構造ブロック図である。 図8は本発明のもう一つの実施例にかかわる映像デコーディング装置の構造ブロック図である。 図9は本発明のさらなる実施例にかかわる映像デコーディング装置の構造ブロック図である。 図10は本発明の実施例にかかわる映像デコーディング制御方法を実行する電子機器の構造ブロック図である。 図11は本発明の実施例にかかわる、本発明の実施例による映像デコーディング制御方法を実現するプログラムコードを格納または携帯するための記憶素子である。
以下では本発明実施例中の図面を結び付け、本発明の実施例中の技術手段を明確に、完全に説明する。説明される実施例は、本発明の一部の実施例にすぎず、すべての実施例でないことは明らかである。本発明中の実施例に基づき、本分野一般当業者が創造的労働を行わないことを前提として得られるその他すべての実施例は、本発明が保護する範囲に属する。
電子機器のハードウェア性能の向上に伴い、より多くの電子機器が映像再生を行うことをサポートすることができるようになった。例えば、電子機器は、映像再生クライアントを動作させ、該映像再生クライアントを介してネットワークからリクエストされた映像を再生することができ、又はウェブページブラウザを動作させ、ウェブページブラウザ中で映像再生を行うことにより、さらに又は電子機器は、映像再生ソフトウェアによりローカルに格納された映像ファイルを再生することができる。
また、ネットワーク上で伝送再生される映像についても、ローカルに格納された映像についても、映像が生成される際に、格納空間の占有を減らすことができるように、またネットワーク上の伝送をしやすくするように、生成された映像を圧縮する。それに対応して、電子機器が映像を取得する場合も、まず取得できるものは圧縮コーディング後の映像であり、このような場合、電子機器は、まず圧縮コーディングされた映像に対して映像デコーディングを行う。
通常は図1に示されているように、電子機器は、ハードデコーディング及びソフトデコーディングの2種類の方法により映像デコーディングを行うことができる。ここで、ハードデコーディングとは、GPU(Graphics Processing Unit)、専用のDSP、FPGA、ASICチップ等のCPU以外のものを使用してデコーディングを行うことをいう。また、ソフトデコーディングとは、CPUを使用してデコーディングを行うことをいう。
具体的には、図1に示されているように、Media Framework(マルチメディアフレームワーク)は、クライアント又はウェブページブラウザとの間のAPIインターフェースを介して再生待ち映像ファイルを取得し、Video Decode(映像デコーダ)に渡す。ここで、Media Framework(マルチメディアフレームワーク)は、OS中のマルチメディアフレームワークである。
ハードデコーディングであっても、ソフトデコーディングであっても、映像データをデコーディングした後、デコーディング後の映像データをSurfaceFlinger(レイヤ伝送モジュール)に送信し、SurfaceFlingerによりデコーディング後の映像データをレンダリング及び合成した後、ディスプレイ上に表示する。ここで、SurfaceFlingerは、独立したServiceであり、すべてのSurfaceを受信して入力とし、ZOrder、透明度、サイズ、位置等のパラメータに基づき、各Surfaceの最終合成画像中における位置を算出し、その後、HWComposer又はOpenGLに渡して最終的表示Bufferを生成し、その後、特定のディスプレイ機器に表示する。
発明者は、ハードデコーディング工程中であっても、ソフトデコーディング工程中であっても、視覚増強工程を加え、それにより後続の再生映像により高い視覚効果を持たせることができることを発見した。例えば、HQV(hollywood quality video)技術に基づき、映像にエッジノイズ除去、露出度調節又は鮮明度向上等を行うことができる。このほか、その他の方法により、再生映像の視覚体験、例えば、色のあざやかさの度合い等を向上させることもできる。
しかし、発明者は、再生映像に対してデコーディングを行う制御方法については、なお向上が待たれることをさらに発見した。例えば、通常、映像ごとにビットレートが異なっているが、電子機器は映像デコーディング中、通常、映像のビットレートのデコーディング品質とデコーディング消耗に与える影響は考慮されていないので、電子機器に映像デコーディング中に、如何なるビットレートの映像を問わず、固定されたデコーディング方法に従って処理させる。また、例えば、映像フォーマットの増加に伴い、より多くの映像フォーマットとの適応を容易にするために、より多くのアプリケーションは、デフォルトでソフトデコーディングによって映像デコーディングを行っている。ソフトデコーディングはソフトウェアによるデコーディングであるので、すべての映像フォーマットと互換性があり、ハードデコーディングは回路自体の問題に制限されるので、一部の映像フォーマットのみと互換性があると理解できる。そこで、より多くのアプリケーションがいずれもソフトデコーディングにより映像デコーディングを行うように構成される場合、CPUの負荷が増加する。このため、本発明による制御の利便性及びインテリジェント化を向上させることができる映像デコーディング制御方法、装置、電子機器並びに記憶媒体を提案した。
以下では具体的実施例を結び付けて本発明の内容を説明する。
本発明による映像デコーディング制御方法は電子機器に用いられ、前記方法は以下のステップを含む。(図2を参照。)
ステップS110:複数のアプリケーションが分割画面モードで動作していることを検出すると、前記複数のアプリケーションのうち映像再生状態にあるアプリケーションを検出する。
本発明において、電子機器は、複数の方法により、映像再生状態にあるかどうかを識別することができる。
一態様として、前記電子機器が映像再生状態にあるかどうかを検出するステップは、前記電子機器中に所定の映像再生アプリケーションが動作しているかを検出することと、所定の映像再生アプリケーションが動作していることを検出した場合、前記電子機器が前記映像再生状態にあると判定することとを含む。ここで、電子機器は、あらかじめ映像再生アプリケーションのリストを構築して、該リスト中に映像再生アプリケーションを記録することができるようにする。ここで、該リストは、電子機器のユーザーが自由に構成してもよく、ある映像再生アプリケーションの使用状況に応じて決定してもよい。
例えば、図3に示されているように、図3に示されたインターフェース中に複数のアプリケーション及び各アプリケーションに対応する状態を表示する。アプリケーションに対応する状態が図示された「オフ」である場合、該アプリケーションが削除され、又は上記リスト中に加えられていないことを表し、アプリケーションに対応する状態が図示された「ON」である場合、該アプリケーションが上記リスト中に加えられたことを表すと理解することができる。例えば、名称が「TX映像」であるアプリケーションについて、対応する状態が「ON」であれば、「TX映像」というアプリケーションが前述のリスト中に存在することを表す。また、名称が「AQY映像」であるアプリケーションについて、対応する状態が「オフ」であれば、「AQY映像」というアプリケーションが前述のリスト中に存在しないことを表す。
さらに、電子機器は、各映像再生アプリケーションの使用頻度を検出することができ、ある映像再生プログラムの使用頻度が所定の頻度を超えたことを検出した場合、該映像再生アプリケーションを前述のリスト中に加え、それに対応して該映像再生アプリケーションの名称の図3中の対応する状態を「ON」にすることができる。
このような場合、電子機器は、まず現行のフォアグラウンド動作しているアプリケーションがどれであるかを検出し、その後さらに現行のフォアグラウンド動作しているアプリケーションが該リスト中にあるかどうかを検出することができ、もしあれば、該アプリケーションが映像再生状態にあると判定する。ここで、一態様として、電子機器がAndroidのOSである場合、ActivityManagerのgetRunningTasks方法を実行することにより、現行のフォアグラウンド動作しているアプリケーションの名称を取得することができる。このほか、電子機器は、UsageStatsManagerによりユーザーが使用するアプリケーションの一覧を取得し、該一覧中に記録された直近に使用したアプリケーションを現行のフォアグラウンドアプリケーションとして識別することもできる。さらに、Android搭載のアクセシビリティ機能により、ウィンドウフォーカスの変化を監視し、フォーカスウィンドウに対応するパッケージ名を入手し、現行のフォアグラウンド動作しているアプリケーションとすることもできる。
もう1つの態様として、電子機器は、AudioManager系の戻り値の検出を結合して、映像を再生しているかどうかを確認することもできる。このような場合、電子機器は、まずAudioManager系の戻り値を検出して、オーディオ出力があるかどうかを確認することができ、オーディオ出力があることを検出した場合、さらに上述の検出に映像再生アプリケーションが動作しているかどうかに基づき、電子機器が映像再生状態にあるかどうかを確認する。
さらに、さらなる方法として、電子機器は、映像再生キーのタッチ状態を検出することにより、映像再生状態にあるかどうかを検出することもできる。例えば、図4に示されているように、図4に示された映像再生インターフェース99中に再生キー98が表示され、且つ図4中に示されたインターフェースは、映像再生一時停止の状態である。このような場合、再生キー98がタッチされたのが検出されると、電子機器が映像再生状態にあると判定することができる。
ステップS120:構成待ちアプリケーションとして、検出された映像再生状態にあるアプリケーションを取得する。
ステップS130:ハードデコーディングの方法により、前記構成待ちアプリケーションによる再生映像をデコーディングするように構成する。
必要なアプリケーションはデフォルトのデコーディング方法を有すると理解できる。アプリケーションの映像再生中には、まず、このデフォルトのデコーディング方法により再生映像をデコーディングする。こういう場合、電子機器は構成待ちアプリケーションを、デフォルトでソフトデコーディングをするように構成されたアプリケーション及びデフォルトでデコーディングしないように構成されたアプリケーション分けることができる。ここで、デフォルトでソフトデコーディングするように構成されたアプリケーションに対して、電子機器はソフトデコーディングをするリクエストを遮断して直接当該映像データに対してハードデコーディングを行うことができる。
一態様として、ソフトデコーディングの過程では、すべてOSがCPUによるデータ処理を制御するので、通常、ソフトデコーディングのリクエストは、すべてまずOSに送信され(電子機器と理解してもよい)、OSによって応答が行われ、いくつかのアプリケーションに対して、ソフトデコーディングをするように構成した後に、応答情報を検出するメカニズムを構成すると理解することができる。例えば、ソフトデコーディングリクエストをOSに送信した後、OSがソフトデコーディング応答情報を正常に実施したフィードバックをしたかどうかを検出するようにアプリケーションを構成しても良い。ソフトデコーディングの応答情報を正常に実施したフィードバックをしていないと判断された場合、ソフトデコーディングのリクエストの再送を試みる。こういう場合、電子機器はすでに元のソフトデコーディングリクエストを遮断し、逆にハードデコーディングを開始するが、アプリケーションはデコーディングが開始されていないと誤認してソフトデコーディングのリクエストをOSに送信し続ける。したがって、データエラーを引き起こす可能性があるだけではなく、資源の浪費にもつながり、電子機器の性能にも影響を与える恐れある。
したがって、上記の問題を回避するために、デフォルトでソフトデコーディングをするように構成されたアプリケーションに対して、電子機器は、送信されたソフトデコーディングリクエストを直接遮断することに加えて、さらに、ソフトデコーディングが正常に実行されたという応答情報をフィードバックして(ハードデコーディングを行ったがが)、ソフトデコーディングのリクエストを再度送信しないようにする。これにより、データエラーの発生を回避するだけでなく、電力消耗も削減する。
本発明による映像デコーディング制御方法は、複数のアプリケーションが分割画面モードで動作していることが検出されると、前記複数のアプリケーションのうち映像再生状態にあるアプリケーションを検出しはじめ、その後、検出された映像再生状態にあるアプリケーションを取得して構成待ちアプリケーションとし、最終的には、前記構成待ちアプリケーションによる再生映像をハードデコーディング方法によりデコーディングするように構成する。これにより、本方法によって、複数のアプリケーションが分割画面表示モードにある場合、また、複数のアプリケーションのうち、複数のアプリケーションがいずれも映像再生機能を備えている場合、ハードデコーディング方法により、映像再生状態にあるアプリケーションによる再生映像をデコーディングするように構成することで、CPU負荷率が減少し、CPUに他のタスクを処理できるように多くの処理能力を持たせることができ、電子機器が固まる確率が低減し、ユーザーの体験を向上させる。
本発明による映像デコーディング制御方法は電子機器に用いられ、前記方法以下のステップを含む。(図5を参照。)
ステップS210:複数のアプリケーションが分割画面モードで動作していることを検出すると、前記複数のアプリケーションのうち映像再生状態にあるアプリケーションを検出する。
ステップS220:構成待ちアプリケーションとして、検出された映像再生状態にあるアプリケーションを取得する。
ステップS230:前記電子機器のCPU負荷率を取得する。
ここで、説明すべきは、CPU負荷率は通常、現行の処理中または処理を待機しているタスクの数の和と、CPUが同時に処理できるタスクの最大数の比率を指す。一態様として、電子機器は採集したCPUの実際の負荷率を、そのままステップS230で取得するCPUの負荷率とすることができる。
電子機器には通常複数のアプリケーションがインストールされており、アプリケーション毎に異なるタスクを処理する必要があると理解できる。従って、電子機器中のアプリケーションは異なるタイミングで動作を開始することが可能なので、電子機器のCPU負荷率は動的変化の状態になる。例えば、電子機器にアプリケーションA、アプリケーションB及びアプリケーションCがインストールされている場合、当面アプリケーションAのみが動作していると、電子機器はCPUの実際の負荷率が30%だと検出し、アプリケーションBが起動し始めるとCPUの実際の負荷率がすでに40%に達していると検出し、さらに、アプリケーションCも動作し始めたと検出するとCPUの実際の負荷率がすでに50%に達したと検出することができる。そこで、CPU負荷率の急激な増加によって固まるのを防ぐ態様として、現行のCPUの実際の負荷率を取得し、指定時間の間に新たに増加するCPU負荷率を推定し、前記新たに増加するCPU負荷率と前記現行のCPUの実際のCPU負荷率に基づいてCPU負荷率を取得することができる。
一態様として、前記指定時間の間に新たに増加するCPUの負荷率を推定するステップは、現行の動作中のアプリケーションに対応する過去のCPU負荷、及び前記指定時間の間に過去に動作されたアプリケーションに対応する過去のCPU負荷のうち少なくとも一つの条件に基づき、指定時間の間に新たに増加するCPUの負荷を推定する。
電子機器内の各アプリケーションが占めるCPU負荷は異なるが、いくつかのアプリケーションがどのようなタイミングで起動されるかについては、電子機器はある程度の推定を行うことができると理解できる。例えば、電子機器は各アプリケーションの動作時間を統計し、その後、あるアプリケーションの通常の動作時間帯を統計することができ、さらに、毎日どのタイミングで当該アプリケーションが起動されて動作するかを推断できる。従って、当該方法に基づき、ある時間帯内に、起動するアプリケーションがあるかをあらかじめ推定できる。
いくつかのアプリケーションについて、通常所定タイミングに情報アップデートをし、または所定タイミングにネットワークにデータリクエストをすると理解できる。例えば、ブラウザ類のアプリケーションについて、一部のWebページデータについては、ブラウザのユーザー操作インターフェースが起動されなくてもバックグラウンドで動作することで、ユーザーがユーザー操作インターフェーストリガーを起動して表示すると、ユーザーにすばやく表示できるようにしている。ブラウザ類のアプリケーションは、バックグラウンドでネットワークデータをアップデートまたはリクエストする過程では、必然的にCPUの負荷を占有し、CPUの負荷率を増加させると理解できる。
また、アプリケーション以外にも、電子機器のシステムプログラムも定期的に起動してデータ処理を行っている。電子機器のシステムプログラムには対応するユーザーインターフェースはないが、依然として所定の時間帯に起動されて電子機器のバックグラウンドデータを処理する。これに伴い、電子機器のシステムプログラムも動作中にCPUの負荷を占有し、CPUの負荷率を高める。
一態様として、電子機器はデータテーブルで構成して、統計して得られたアプリケーションまたはシステムプログラムの動作サイクルを記憶する。電子機器が映像再生を開始し、映像再生状態になると、指定時間の間に起動するアプリケーションまたはシステムプログラムがあるかを検出することができ、また指定時間の間に新たに増加するCPU負荷率を推定することができる。
ここで、好ましくは、前記指定時間の間は再生映像の長さであっても良い。この場合、電子機器は映像再生状態にあることが検出されると、再生映像の長さを取得し、取得した当該長さを指定時間の間とすることができる。その後、さらに、当該指定時間の間に起動するアプリケーションまたはシステムプログラムがあるかを検出し、指定時間の間に新たに増加するCPU負荷率を推定する。その後、推定された新たに増加するCPU負荷率を介して当該映像再生過程中の最高CPU負荷率を決定し、取得した最高CPU負荷率をCPU負荷率とすることができる。
ステップS240:CPUの負荷率が目標しきい値を下回っていないかを確認する。
ステップS250:CPU負荷率が目標しきい値を下回っていないと判断された場合は、ハードデコーディングの方法により、前記構成待ちアプリケーションによる再生映像をデコーディングするように構成する。
ステップS251:CPU負荷率が目標しきい値を下回っていると判断された場合は、構成待ちアプリケーションによる再生映像のフォーマットがハードデコーディングと互換性があるかどうかを検出する。
ここで、一態様として、電子機器はあらかじめデータテーブルを構成して映像フォーマットとデコーディング方法の対応関係を記憶し、これにより、各映像フォーマットに対応するデコーディング方法を記録しもよい。この場合、電子機器はテーブルの検索方法に基づいて構成待ちアプリケーションの再生映像のフォーマットがハードデコーディングと互換性があるかを確認できる。
もう一つの態様として、電子機器は再生映像に対して、ソフトデコーディングとハードデコーディングを別々に実行できる。その後、ハードデコーディングとソフトデコーディングで得られた映像の画像品質の比較によって構成待ちアプリケーション再生映像のフォーマットがハードデコーディングと互換性があるかを判断する。ここで、ソフトデコーディング及びハードデコーディングを1回行うということは、一フレーム画像をデコーディングすると理解することができる。ここで、解像度とノイズによって品質を決定することができる。
好ましくは、電子機器は様々な方法で解析された画像の解像度を取得することができる。
1フレーム画像がすでにぼやけている場合、その画像に対して再度ぼやけ処理を行っても画像中の高周波成分はあまり変化しないと理解できる。しかし、画像自体の鮮明度が高く、それに一回ぼやけ処理を行う場合、高周波成分が大きく変化する。そこで、一態様として、電子機器は対象画像(前記解析して得られた1フレーム画像)をぼかし処理(ガウスぼかし処理など)を行って当該画像の劣化画像が得、その後、さらにぼかし処理前の画像とぼかし処理後の画像の隣接画素値の変化情況を比較し、変化の大きさに応じて鮮明度の大小を決定して、そのあと、決定した鮮明度を解像度とする。この場合、変化が大きいほど、対象画像の鮮明度が高く、解像度も高い。
また、上述の対象画像に対してぼかし処理を行って画像の鮮明度を決定するほかにも、その他の方法によって鮮明度を計算することができる。好ましくは、以下の計算式によって鮮明度を決定することができる。
Figure 0007186877000001
ここで、f(x、y)は画像fの対応画素点(x、y)のグレースケール値を示し、D(f)は画像鮮明度計算結果を示す。その後、当該結果を解像度とする。好ましくは、本発明において、f(x、y)はリアルタイムのプレビュー画像中の高周波成分領域を選択することができる。
好ましくは、現行の再生映像が、ユーザーが選択するように複数の解像度を提供した場合、ユーザーが選択した映像再生中の解像度を読み取ることで現行の映像の解像度が得られる。
従って、電子機器はハードデコーディングとソフトデコーディングで得られた画像の解像度の比較によって、解像度の高い方を品質がより良い画像とすることができる。
さらに、解像度だけでなく、ノイズの数を判断することで判断することができる。
さらに、画像にノイズがある場合、ノイズは画像のエッジ領域(高周波成分領域)またはエッジ以外の領域に存在する可能性があると理解できる。しかし、エッジに沿ったノイズは視覚的に明らかではないため、一態様として、評価時間を短縮するために、モバイル端末はエッジ以外のノイズだけ検出してもよい。エッジ検出はノイズの影響を受けるため、エッジを検出する前にモバイル端末はノイズフィルタリングの前処理をしてもよい。好ましくは、モバイル端末は、平均フィルタリングを用いて部分ノイズを除去してもよい。平均フィルタリング後の画像g(x、y)は
Figure 0007186877000002
である。
従って、候補ノイズは、
Figure 0007186877000003
である。
同じく、垂直方向で対応する値を計算することができる。その後、得られた候補ノイズは、
Figure 0007186877000004
である。
ここで、Ncand(x、y)は検出されたノイズを表す。統計により、リアルタイムのプレビュー画像中のノイズの数が得られる。
この場合、電子機器は、ノイズの数の少ない画像をより高品質の画像とする。
ステップS260:構成待ちアプリケーションのうち、再生映像のフォーマットがハードデコーディングと互換性のある第1目標アプリケーションを取得する。
ステップS270:ハードデコーディングの方法により、前記第1目標アプリケーションによる再生映像をデコーディングするように構成する。
ステップS280:構成待ちアプリケーションのうち、再生映像のフォーマットがハードデコーディングと互換性のない第2目標アプリケーションを取得する。
ステップS290:ソフトデコーディング方法により、前記第2目標アプリケーションによる再生映像をデコーディングするように構成する。
本発明による映像デコーディング制御方法は、複数のアプリケーションが分割画面モードで動作していることが検出されると、前記複数のアプリケーションのうち映像再生状態にあるアプリケーションを検出しはじめ、その後、構成待ちアプリケーションとして検出された映像再生状態にあるアプリケーションを取得し、その後、電子機器のCPUの負荷率によって、どのアプリケーションによる再生映像に対してハードデコーディングを行い、どのアプリケーションによる再生映像に対してソフトデコーディングを行うかを決定する。従って、本発明によって、複数のアプリケーションが分割画面表示モードにある場合、また、複数のアプリケーションのうち、複数のアプリケーションがいずれも映像再生機能を備えている場合、映像再生状態にあるアプリケーションによる再生映像をハードデコーディング方法によりデコーディングするように構成し、これによりCPU負荷率が減少し、CPUに他のタスクを処理できるように多くの処理能力を持たせることができ、電子機器が固まる確率が低減し、ユーザーの体験を向上させ、それと同時にデコーディング方法制御の柔軟性も向上させている。
本発明による映像デコーディング制御方法は電子機器に用いられ、前記方法は以下のステップを含む。(図6を参照。)
ステップS310:複数のアプリケーションが分割画面モードで動作していることを検出すると、前記複数のアプリケーションのうち映像再生状態にあるアプリケーションを検出する。
ステップS320:構成待ちアプリケーションとして、検出された映像再生状態にあるアプリケーションを取得する。
ステップS330:検出された構成待ちアプリケーションのそれぞれのレベルを取得する。
一態様として、前記検出された構成待ちアプリケーションのそれぞれが対応するレベルを取得するステップは、所定のデータテーブルから、検出された構成待ちアプリケーションそれぞれに対応するレベルを検索することと、前記データテーブルから、構成待ちアプリケーションに対応するレベルが検索されていない場合、前記データテーブルのうち、前記検索されていないレベルのアプリケーションと同類のアプリケーションを取得することと、前記同類のアプリケーションのレベルを検索されていない構成待ちアプリケーションに対応するレベルとすることとを含む。
電子機器は、アプリケーションがインストールされていることが検出されると、インストールされたアプリケーションに一つのレベルを与えると理解することができる。ここで該レベルの高さは当該アプリケーションの主な機能によって決められる。本発明の実施例において、一態様として、映像再生専用のアプリケーションのレベルを最も高く構成し、映像再生機能を備えているが、主な機能が映像再生でないアプリケーションのレベルは2番目に高く構成する。
ステップS340:映像再生状態であってレベルがしきい値レベルよりも高いアプリケーションによる再生映像をハードデコーディングの方法によりデコーディングするように構成する。
本発明による映像デコーディング制御方法において、複数のアプリケーションが分割画面モードで動作していることが検出されると、前記複数のアプリケーションのうち映像再生状態にあるアプリケーションを検出しはじめ、その後、検出された映像再生状態にあるアプリケーションを取得して構成待ちアプリケーションとし、さらに各構成待ちアプリケーションのレベルを検出し、レベルがしきい値より高いレベルのアプリケーションを取得し、最後に前記構成待ちアプリケーションのうちレベルが閾値より高いレベルのアプリケーションによる再生映像をハードデコーディング方法によりデコーディングするように構成する。従って、本発明によると、複数のアプリケーションが分割画面表示モードにある場合、また、複数のアプリケーションのうち、複数のアプリケーションがいずれも映像再生機能を備えている場合、映像再生状態にあるアプリケーションによる再生映像をハードデコーディング方法によりデコーディングするように構成し、これにより、CPU負荷率が減少し、CPUに他のタスクを処理できるように多くの処理能力を持たせることができ、電子機器が固まる確率が低減し、ユーザーの体験を向上させる。
本発明による映像デコーディング制御装置400は、電子機器で動作され、前記装置400は、アプリケーション検出ユニット410、構成待ちアプリケーション取得ユニット420及びデコーディング制御ユニット430を含む。(図7を参照。)
アプリケーション検出ユニット410は、複数のアプリケーションが分割画面モードで動作していることが検出されると、前記複数のアプリケーションのうち映像再生状態であるアプリケーションを検出する。
構成待ちアプリケーション取得ユニット420は、構成待ちアプリケーションとして、検出された映像再生状態にあるアプリケーションを取得する。
デコーディング制御ユニット430は、前記構成待ちアプリケーションによる再生映像をハードデコーディングによりデコーディングするように構成する。
必要なアプリケーションはデフォルトのデコーディング方法を有すると理解することができる。該アプリケーションの映像再生過程には、まず再生映像を当該デフォルトのデコーディング方法によりデコーディングされる。この場合、電子機器は、構成待ちアプリケーションを、デフォルトでソフトデコーディングを行うアプリケーションと、デフォルトのデコーディング方法に構成されていないアプリケーションに分けられる。ここで、デコーディング制御ユニット430は、具体的にはデフォルトでソフトデコーディングを行うように構成されたアプリケーションに用いられ、電子機器は、ソフトデコーディングのリクエストを遮断し、直接該映像データに対してハードデコーディングを行うことができる。
本発明による映像デコーディング制御装置500は電子機器で動作され、前記装置500は、アプリケーション検出ユニット510、構成待ちアプリケーション取得ユニット520、負荷率取得ユニット530、判断ユニット540及びデコーディング制御ユニット550を含む。(図8を参照。)
アプリケーション検出ユニット510、複数のアプリケーションが分割画面モードで動作していることが検出されると、前記複数のアプリケーションのうち映像再生状態であるアプリケーションを検出する。
構成待ちアプリケーション取得ユニット520は、構成待ちアプリケーションとして、検出された映像再生状態にあるアプリケーションを取得する。
負荷率取得ユニット530は、前記電子機器のCPU負荷率を取得する。
判断ユニット540は、前記CPU負荷率が目標しきい値を下回っていないかを判断する。
デコーディング制御ユニット550は、CPU負荷率が目標しきい値を下回っていないと判断された場合は、前記構成待ちアプリケーションによる再生映像をハードデコーディング方法によりデコーディングするように構成する。
フォーマット判断ユニットは、CPU負荷率が目標しきい値を下回っていると判断された場合に、構成待ちアプリケーションによる再生映像のフォーマットがハードデコーディングと互換性があるかどうかを検出する。
デコーディング制御ユニット550は、さらに、構成待ちアプリケーションのうち、再生映像のフォーマットがハードデコーディングと互換性のある第1目標アプリケーション取得し、前記第1目標アプリケーションによる再生映像をハードデコーディング方法によりデコーディングするように構成する。
デコーディング制御ユニット550は、さらに、構成待ちアプリケーションのうち、再生映像のフォーマットがハードデコーディングと互換性のない第2目標アプリケーションを取得し、前記第2目標アプリケーションによる再生映像をソフトデコーディングの方法によりデコーディングするように構成する。
本発明による映像デコーディング制御装置600は、電子機器で動作され、前記装置600は、アプリケーション検出ユニット610、構成待ちアプリケーション取得ユニット620、レベル取得ユニット630及びデコーディング制御ユニット640を含む。(図9を参照。)
アプリケーション検出ユニット610は、複数のアプリケーションが分割画面モードで動作していることが検出されると、前記複数のアプリケーションのうち映像再生状態にあるアプリケーションを検出する。
構成待ちアプリケーション取得ユニット620は、構成待ちアプリケーションとして、検出された映像再生状態にあるアプリケーションを取得する。
レベル取得ユニット630は、検出された構成待ちアプリケーションそれぞれに対応するレベルを取得する。
一態様として、前記検出された構成待ちアプリケーションそれぞれに対応するレベルを取得するステップは、所定のデータテーブルから、検出された構成待ちアプリケーションそれぞれに対応するレベルを検索することと、前記データテーブルから、構成待ちアプリケーションに対応するレベルが検出されないと、前記データデーブルのうち、検出されていないレベルのアプリケーションと同類のアプリケーションを取得することと、前記同類のアプリケーションのレベルを、検出されていない構成待ちアプリケーションに対応するレベルとすることとを含む。
デコーディング制御ユニット640は、前記映像再生状態にあってレベルがしきい値レベルよりも高いアプリケーションによる再生映像をハードデコーディング方法によってデコーディングするように構成する。
属する分野の当業者なら、記述の便を図り、簡潔を期すため、上で記述された装置及びユニットの具体的動作工程は、前述の方法実施例中の対応する工程を参照にすることができることが明らかであり、ここではこれ以上説明しない。本発明によるいくつかの実施例において、モジュール相互間のカップリングは、電気的であってもよいし、機械又はその他の形式のカップリングでもよい。また、本発明各実施例中の各機能モジュールは、1つのプロセッシングモジュール中に集積されてもよく、各モジュール物理的に単独で存在してもよく、2つ又はそれ以上のモジュールを1つのモジュール中に集積してもよい。上記集積されたモジュールは、ハードウェアの形式により実現されてもよく、ソフトウェア機能モジュールの形式により実現されてもよい。
本発明において具体的にどのようにオーディオコーディングのタイプに応じてオーディオデータをコーディングするかは、従来技術を用いることができ、本発明ではこれ以上詳述しない。
上記をまとめれば、本発明による映像デコーディング制御方法、装置、電子機器及び記憶媒体は、複数のアプリケーションが分割画面モードで動作していることが検出されると、前記複数のアプリケーションのうち映像再生状態であるアプリケーションを検出し、その後、前記構成待ちアプリケーションによる再生映像をハードデコーディング方法によりデコーディングするように構成する。従って、本発明によって、複数のアプリケーションが分割画面表示モードにある場合、また、複数のアプリケーションのうち、複数のアプリケーションがいずれも映像再生機能を備えている場合、映像再生状態にあるアプリケーションによる再生映像をハードデコーディング方法によりデコーディングするように構成し、これによりCPU負荷率が減少し、CPUに他のタスクを処理できるように多くの処理能力を持たせることができ、電子機器が固まる確率が低減し、ユーザーの体験を向上させている
以下では図10を結び付けて、本発明による電子機器について説明する。
上記映像デコーディング制御方法、装置に基づき、本発明実施例は、前述の映像デコーディング制御方法を実行することができるもう1つの電子機器100をさらに提供する。(図10を参照)電子機器100は、互いにカップリングされた1つ又は複数の(図中には1つしか示していない)プロセッサ102と、メモリ104と、ネットワークモジュール106と、映像エンコーダ/デコーダ108と、ディスプレイ112とを含む。ここで、該メモリ104中に前述の実施例中のコンテンツを実行することができるプログラムを格納し、またプロセッサ102は、該メモリ104中に格納されたプログラムを実行することができる。
ここで、プロセッサ102は、1つ又は複数のプロセッシングコアを含んでもよい。プロセッサ102は、各種インターフェース及び回路を用いて電子機器100全体内の各部分を接続し、メモリ104内に格納された命令、プログラム、コードセット若しくは命令セットを動作させ又は実行し、またメモリ104内に格納されたデータを呼び出すことにより、電子機器100の各種機能を実行し、データを処理する。好ましくは、プロセッサ102は、デジタル信号処理(Digital Signal Processing、DSP)、フィールドプログラマブルゲートアレイ(Field-Programmable Gate Array、FPGA)、プログラマブルロジックアレイ(Programmable Logic Array、PLA)のうち少なくとも1つのハードウェア形式により実現することができる。プロセッサ102は、中央処理装置(Central Processing Unit、CPU)、画像プロセッサ(Graphics Processing Unit、GPU)及び変調デコーダ等のうち1つ又は複数の組合せを集積してもよい。ここで、CPUは主にOS、ユーザーインターフェース及びアプリケーション等を処理し、GPUは、表示コンテンツのレンダリング及び描画に用いられ、変調デコーダは、無線通信を処理に用いられる。上記変調デコーダは、プロセッサ102中に集積されず、単独で1つの通信チップにより実現されてもよいと理解することができる。
メモリ104は、ランダムメモリ(Random Access Memory、RAM)を含んでもよく、読み出し専用メモリ(Read-Only Memory)を含んでもよい。メモリ104は、命令、プログラム、コード、コードセット又は命令セットを格納するために用いてもよい。メモリ104は、プログラム格納エリアと、データ格納エリアとを含んでもよく、例えば、メモリ104中に、映像デコーディング制御装置を格納してもよい。該映像デコーディング制御装置は、前述の装置400、装置500又は装置600であってもよい。ここで、プログラム格納エリアは、OSを実現するための命令、少なくとも1つの機能を実現するための命令(タッチ機能、オーディオ再生機能、画像再生機能等)、下記の各方法実施例を実現するための命令等を格納することができる。データ格納エリアは、端末100が使用中に作成するデータ(電話帳、オーディオ/ビジュアルデータ、チャット記録データ等)等を格納することもできる。
前記ネットワークモジュール106は、電磁波を受信及び送信し、電磁波と電気信号との相互変換を実現し、それにより通信ネットワーク又はその他の機器、例えば、無線接続点との通信を行う。前記ネットワークモジュール106は、これらの機能を実行するための各種既存の回路素子、例えば、アンテナ、無線周波数送受信器、デジタル信号プロセッサ、暗号化/復号化チップ、加入者識別モジュール(SIM)カード、メモリ等を含んでもよい。前記ネットワークモジュール106は、インターネット、イントラネット、無線ネットワーク等の各種ネットワークと通信し、又は無線ネットワークを介してその他の機器と通信することができる。上記無線ネットワークは、ハニカム型電話網、無線LAN又はメトロポリタンエリアネットワークを含んでもよい。
該映像エンコーダ/デコーダ108は、ディスプレイ112に伝送して表示するために、ネットワークモジュール106がネットワークからリクエストしたデータをデコーディングするために用いることができる。具体的には、映像エンコーダ/デコーダ108は、GPU、専用のDSP、FPGA、ASICチップ等であってもよい。
本発明実施例が提供するコンピューター可読記憶媒体の構造ブロック図を示している。該コンピューター可読媒体800中にプログラムコードを格納し、前記プログラムコードは、プロセッサによって呼び出され、上記方法実施例中に記述された方法を実行することができる。(図11を参照。)
コンピューター可読記憶媒体800は、フラッシュメモリ、EEPROM(電気的消去可能プログラマブル読み取り専用メモリ)、EPROM、ハードウェア又はROM等の電子メモリであってもよい。好ましくは、コンピューター可読記憶媒体800は、非一時的コンピューター可読媒体(non-transitory computer-readable storage medium)を含む。コンピューター可読記憶媒体800は、上記方法中のいかなる方法ステップをも実行するプログラムコード810の格納空間を有する。これらのプログラムコードは、1つ若しくは複数のコンピュータープログラム製品中から読み出し又はこの1つ又は複数のコンピュータープログラム製品中に書き込むことができる。プログラムコード810は、例えば適当な形式で圧縮することができる。
以上の実施例は、本発明の技術方案を説明するためのものにすぎず、それを制限するものではなく、前述の実施例を参照して本発明を詳細に説明したが、本分野一般当業者なら、依然として前述の各実施例に記載の技術方案を修正し、又はその中の一部技術的特徴を同等変換することができるが、これらの修正又は変換は、対応する技術方案の本質を本発明各実施例の技術方案の精神及び範囲から逸脱させるように促すものではないことを理解するはずであることを最後に説明しておかなければならない。

Claims (18)

  1. 電子機器に用いられる映像デコーディング制御方法であって、
    複数のアプリケーションが分割画面モードで動作していることが検出されると、前記複数のアプリケーションのうち映像再生状態にあるアプリケーションを検出することと、
    構成待ちアプリケーションとして、検出された映像再生状態にあるアプリケーションを取得することと、
    前記構成待ちアプリケーションによる再生映像をハードデコーディング方法によりデコーディングするように構成することと、
    を含み、
    前記構成待ちアプリケーションによる再生映像をハードデコーディング方法によりデコーディングするように構成するステップの前に、さらに、
    前記電子機器のCPU負荷率を取得することと、
    前記CPUの負荷率が目標しきい値を下回っていないかを判断することと、
    CPUの負荷率が目標しきい値を下回っていないと判断された場合、前記構成待ちアプリケーションによる再生映像をハードデコーディング方法によりデコーディングするように構成することを実行することと、
    を含み、
    前記電子機器のCPU負荷率を取得するステップは、
    前記電子機器のCPUの実際の負荷率を取得することと、
    前記電子機器の現行の動作状態にあるアプリケーションに基づいて、指定時間の間に新たに増加するCPUの負荷率を推定することと、
    前記CPUの実際の負荷率及び前記新たに増加するCPUの負荷率に基づいて前記CPUの負荷率を得ることと、
    を含むことを特徴とする映像デコーディング制御方法。
  2. 指定時間の間に新たに増加するCPUの負荷率を推定するステップは、
    現行の動作中のアプリケーションに対応する過去のCPU負荷と、前記指定時間の間に過去に動作されたアプリケーションに対応する過去のCPU負荷との少なくとも一つの条件に基づいて指定時間の間に新たに増加するCPUの負荷率を推定することを含むことを特徴とする請求項に記載の方法。
  3. CPU負荷率が目標しきい値を下回っていると判断された場合、構成待ちアプリケーションによる再生映像のフォーマットがハードデコーディングと互換性があるかを検出することと、
    構成待ちアプリケーションのうち、再生映像のフォーマットがハードデコーディングと互換性のある第1目標アプリケーションを取得することと、
    ハードデコーディング方法により前記第1目標アプリケーションによる再生映像をデコーディングするように構成することと、
    をさらに含むことを特徴とする請求項に記載の方法。
  4. 構成待ちアプリケーションによる再生映像のフォーマットがハードデコーディングと互換性があるかを検出するステップは、
    前記構成待ちアプリケーションによる再生映像のフォーマットを取得することと、
    あらかじめ設けられた、映像フォーマットとデコーディング方法の対応関係が格納されているデータテーブル中から前記再生映像のフォーマットに対応するデコーディング方法を検索することと、
    検索結果によって前記再生映像のフォーマットがハードデコーディングと互換性があるかを決定することと、
    を含むことを特徴とする請求項に記載の方法。
  5. 構成待ちアプリケーションによる再生映像のフォーマットがハードデコーディングと互換性があるかを検出するステップは、
    前記構成待ちアプリケーションによる再生映像に対して、それぞれソフトデコーディングとハードデコーディングを一回行うことと、
    ソフトデコーディングとハードデコーディングによって得られた映像画像の品質の比較を通じて、前記構成待ちアプリケーションによる再生映像フォーマットがハードデコーディングと互換性があるかを判断することと
    を含み、
    画像の品質は解像度とノイズによって決定することを特徴とする請求項に記載の方法。
  6. 構成待ちアプリケーションのうち再生映像のフォーマットがハードデコーディングと互換性のない第2目標アプリケーションを取得することと、
    ソフトデコーディングの方法により、前記第2目標アプリケーションによる再生映像をデコーディングするように構成することと、
    をさらに含むことを特徴とする請求項ないしのいずれか1項に記載の方法。
  7. 前記構成待ちアプリケーションによる再生映像をハードデコーディング方法によりデコーディングするように構成するステップは、
    検出された構成待ちアプリケーションそれぞれに対応するレベルを取得することと、
    ハードデコーディング方法により、前記構成待ちアプリケーションのうちレベルがしきい値のレベルを上回るアプリケーションによる再生映像をデコーディングするように構成することと、
    を含むことを特徴とする請求項1ないしのいずれか1項に記載の方法。
  8. 検出された構成待ちアプリケーションそれぞれに対応するレベルを取得するステップは、
    所定のデータテーブルから、検出された構成待ちアプリケーションそれぞれに対応するレベルを検索することと、
    前記データテーブルから構成待ちアプリケーションに対応するレベルが検索されなかった場合、前記データテーブルから、検索されていないレベルのアプリケーションと同類のアプリケーションを取得することと、
    前記同類のアプリケーションのレベルを、検索されていない構成待ちアプリケーションに対応するレベルとすることと、
    を含むことを特徴とする請求項に記載の方法。
  9. 前記構成待ちアプリケーションは、デフォルトでソフトデコーディングを行うように構成されたアプリケーションを含み、
    前記構成待ちアプリケーションによる再生映像をハードデコーディング方法によりデコーディングするように構成するステップは、
    ソフトデコーディングのリクエストを遮断して、前記構成待ちアプリケーションによる再生映像データに対してハードデコーディングを行うこと、
    を含むことを特徴とする請求項1ないしのいずれか1項に記載の方法。
  10. 前記複数のアプリケーションのうち映像再生状態にあるアプリケーションを検出するステップは、
    映像再生状態にあるかを検出することと、
    映像再生状態にある場合、前記複数のアプリケーションのうち映像再生状態にあるアプリケーションを検出することと、
    を含むことを特徴とする請求項1ないしのいずれか1項に記載の方法。
  11. 映像再生状態にあるかを検出するステップは、
    所定の映像再生アプリケーションが動作しているかを検出することと、
    所定の映像再生アプリケーションが動作していると検出されると、映像再生状態にあると判断することと、
    を含むことを特徴とする請求項10に記載の方法。
  12. 映像再生状態にあるかを検出するステップは、
    現行のフォアグラウンドで動作しているアプリケーションを取得することと、
    前記アプリケーションがあらかじめ構築された映像再生アプリケーションのリストに含まれているかを検出することと、
    含まれている場合、映像再生状態にあると判断することと、
    を含むことを特徴とする請求項10に記載の方法。
  13. 現行のフォアグラウンドで動作しているアプリケーションを取得するステップは、
    ユーザーが使用するアプリケーションの一覧を取得することと、
    前記一覧に記録された最近使用されたアプリケーションを現行のフォアグラウンドで動作しているアプリケーションとして識別することと、
    を含むことを特徴とする請求項12に記載の方法。
  14. 前記アプリケーションがあらかじめ構築された映像再生アプリケーションのリストに含まれているかを検出するステップは、
    前記アプリケーションの使用頻度を検出することと、
    前記使用頻度が所定頻度を超えている場合、前記アプリケーションがあらかじめ構築された映像再生アプリケーションのリストにあると判断することと、
    を含むことを特徴とする請求項12に記載の方法。
  15. 映像再生状態にあるかを検出するステップは、
    オーディオ出力があるかを検出することと、
    オーディオ出力がある場合、映像再生アプリケーションが動作しているかを検出することと、
    映像再生アプリケーションが動作している場合、映像再生状態にあると判断することと、
    を含むことを特徴とする請求項10に記載の方法。
  16. 電子機器で動作し、
    複数のアプリケーションが分割画面モードで動作していることが検出されると、前記複数のアプリケーションのうち映像再生状態にあるアプリケーションを検出するアプリケーション検出ユニットと、
    構成待ちアプリケーションとして、検出された映像再生状態にあるアプリケーションを取得する構成待ちアプリケーション取得ユニットと、
    前記構成待ちアプリケーションによる再生映像をハードデコーディング方法によりデコーディングするように構成するデコーディング制御ユニットと、
    前記電子機器のCPU負荷率を取得する負荷率取得ユニットであって、前記電子機器のCPU負荷率を取得することは、前記電子機器のCPUの実際の負荷率を取得することと、前記電子機器の現行の動作状態にあるアプリケーションに基づいて、指定時間の間に新たに増加するCPUの負荷率を推定することと、前記CPUの実際の負荷率及び前記新たに増加するCPUの負荷率に基づいて前記CPUの負荷率を得ることと、を含む負荷率取得ユニットと、
    前記CPU負荷率が目標しきい値を下回っていないかを判断する判断ユニットと、
    を含むことを特徴とする映像デコーディング制御装置。
  17. 1つ以上のプロセッサ、映像エンコーダ/デコーダ及びメモリと、
    前記メモリに格納され、前記1つ以上のプロセッサにより実行され、請求項1ないし15の何れか1項に記載の方法を実行するように構成された1つ以上のプログラムと、
    を含むことを特徴とする電子機器。
  18. プログラムコードが格納され、
    プロセッサによって前記プログラムコードが動作する際に、請求項1ないし15の何れか1項に記載の方法を実行することを特徴とするコンピューターの可読記憶媒体。
JP2021529682A 2018-11-27 2019-08-27 映像デコーディング制御方法、装置、電子機器及び記憶媒体 Active JP7186877B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201811441950.2 2018-11-27
CN201811441950.2A CN109640179B (zh) 2018-11-27 2018-11-27 视频解码控制方法、装置以及电子设备
PCT/CN2019/102906 WO2020107972A1 (zh) 2018-11-27 2019-08-27 视频解码控制方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
JP2022509191A JP2022509191A (ja) 2022-01-20
JP7186877B2 true JP7186877B2 (ja) 2022-12-09

Family

ID=66069648

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021529682A Active JP7186877B2 (ja) 2018-11-27 2019-08-27 映像デコーディング制御方法、装置、電子機器及び記憶媒体

Country Status (6)

Country Link
US (1) US11456013B2 (ja)
EP (1) EP3883255B1 (ja)
JP (1) JP7186877B2 (ja)
KR (1) KR102528877B1 (ja)
CN (1) CN109640179B (ja)
WO (1) WO2020107972A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109640179B (zh) * 2018-11-27 2020-09-22 Oppo广东移动通信有限公司 视频解码控制方法、装置以及电子设备
CN110572622B (zh) * 2019-09-30 2021-07-16 威创集团股份有限公司 视频解码方法及装置
CN112287263B (zh) * 2020-10-30 2024-04-02 安徽鸿程光电有限公司 网页显示方法、装置、系统及终端、计算机可读存储介质
CN114143595A (zh) * 2021-12-08 2022-03-04 珠海豹趣科技有限公司 一种视频壁纸播放方法、装置、电子设备及可读存储介质
CN115543699B (zh) * 2022-11-30 2023-02-03 北京麟卓信息科技有限公司 一种基于对象快照的应用透明的自由缩放容错方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003517746A (ja) 1998-12-11 2003-05-27 株式会社日立製作所 共通プロセッサを使用する複数イメージのデコードおよび表示を行う方法および装置
JP2008505510A (ja) 2004-07-02 2008-02-21 松下電器産業株式会社 Avストリーム再生装置、デコーダ切り換え方法、方法プログラム、プログラム記録媒体、及び集積回路
US20120320967A1 (en) 2011-06-17 2012-12-20 Microsoft Corporation Adaptive codec selection
JP2013214842A (ja) 2012-03-31 2013-10-17 Axell Corp 動画再生処理方法及びその方法を採用した携帯情報端末
JP2014509118A (ja) 2011-01-19 2014-04-10 クアルコム,インコーポレイテッド 動的ビデオスイッチング
CN105933724A (zh) 2016-05-23 2016-09-07 福建星网视易信息系统有限公司 视频制作方法、装置及系统
JP2016171383A (ja) 2015-03-11 2016-09-23 株式会社リコー 情報端末、画像表示システム及びプログラム
US20170164041A1 (en) 2015-12-07 2017-06-08 Le Holdings (Beijing) Co., Ltd. Method and electronic device for playing videos

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3750846B2 (ja) * 2000-12-22 2006-03-01 日本ビクター株式会社 映像信号記録方法、及び映像信号記録装置
US8614732B2 (en) * 2005-08-24 2013-12-24 Cisco Technology, Inc. System and method for performing distributed multipoint video conferencing
CN101252618B (zh) * 2008-04-09 2011-01-12 嘉兴闻泰通讯科技有限公司 一种实现画中画在手机流媒体中应用的方法
CN102118612B (zh) * 2009-12-31 2012-11-14 Tcl集团股份有限公司 一种音视频硬解码芯片内存资源的获取方法及系统
CN102479108B (zh) * 2010-11-26 2013-09-11 中国科学院声学研究所 一种多应用进程的嵌入式系统终端资源管理系统及方法
CN103096163B (zh) * 2011-11-01 2015-12-09 中国移动通信集团公司 媒体播放器和媒体文件的播放方法
US9418397B2 (en) * 2013-10-25 2016-08-16 Harman International Industries, Incorporated Start-up processing task distribution among processing units
CN103716694A (zh) * 2013-12-09 2014-04-09 乐视致新电子科技(天津)有限公司 智能家电、智能家电cpu变频方法及装置
CN105740081A (zh) * 2014-12-12 2016-07-06 华为技术有限公司 客户端、usb设备及显示处理系统和方法
US9785442B2 (en) * 2014-12-24 2017-10-10 Intel Corporation Systems, apparatuses, and methods for data speculation execution
CN104796768A (zh) * 2015-04-17 2015-07-22 苏州健雄职业技术学院 一种基于omap硬解码加速的嵌入式高清媒体播放器及其操作方法
CN104837058A (zh) * 2015-05-06 2015-08-12 湖南昇云科技有限公司 提高云终端播放视频图像质量的方法与系统
CN105898496A (zh) * 2015-11-18 2016-08-24 乐视网信息技术(北京)股份有限公司 基于Android设备的HLS流硬解码方法及装置
CN105872755A (zh) * 2015-12-07 2016-08-17 乐视云计算有限公司 视频播放方法及装置
CN105898320A (zh) * 2015-12-09 2016-08-24 乐视网信息技术(北京)股份有限公司 基于安卓平台的全景视频的解码方法、装置及终端设备
CN105721921B (zh) * 2016-01-29 2019-07-12 四川长虹电器股份有限公司 一种多窗口视频解码器的自适应选择方法
CN106231051B (zh) * 2016-08-01 2020-04-03 腾讯科技(深圳)有限公司 一种视频解码的测试方法及相关设备
CN106210726A (zh) * 2016-08-08 2016-12-07 成都佳发安泰科技股份有限公司 根据cpu与gpu的使用率对视频数据进行自适应解码的方法
CN106331822B (zh) * 2016-08-26 2020-02-07 北京金山安全软件有限公司 一种播放多视频的方法、装置及电子设备
CN106484537B (zh) * 2016-09-30 2019-07-19 网易(杭州)网络有限公司 一种cpu核资源的分配方法和设备
CN106658107A (zh) 2016-11-29 2017-05-10 北京航天爱威电子技术有限公司 多路多模式图像显示方法
CN106792066A (zh) * 2016-12-20 2017-05-31 暴风集团股份有限公司 优化的视频解码播放的方法及系统
CN107087231B (zh) * 2017-03-31 2021-03-05 北京潘达互娱科技有限公司 视频数据播放方法及装置
CN109640179B (zh) * 2018-11-27 2020-09-22 Oppo广东移动通信有限公司 视频解码控制方法、装置以及电子设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003517746A (ja) 1998-12-11 2003-05-27 株式会社日立製作所 共通プロセッサを使用する複数イメージのデコードおよび表示を行う方法および装置
JP2008505510A (ja) 2004-07-02 2008-02-21 松下電器産業株式会社 Avストリーム再生装置、デコーダ切り換え方法、方法プログラム、プログラム記録媒体、及び集積回路
JP2014509118A (ja) 2011-01-19 2014-04-10 クアルコム,インコーポレイテッド 動的ビデオスイッチング
US20120320967A1 (en) 2011-06-17 2012-12-20 Microsoft Corporation Adaptive codec selection
JP2013214842A (ja) 2012-03-31 2013-10-17 Axell Corp 動画再生処理方法及びその方法を採用した携帯情報端末
JP2016171383A (ja) 2015-03-11 2016-09-23 株式会社リコー 情報端末、画像表示システム及びプログラム
US20170164041A1 (en) 2015-12-07 2017-06-08 Le Holdings (Beijing) Co., Ltd. Method and electronic device for playing videos
CN105933724A (zh) 2016-05-23 2016-09-07 福建星网视易信息系统有限公司 视频制作方法、装置及系统

Also Published As

Publication number Publication date
EP3883255A1 (en) 2021-09-22
JP2022509191A (ja) 2022-01-20
US20210287715A1 (en) 2021-09-16
CN109640179A (zh) 2019-04-16
KR20210090259A (ko) 2021-07-19
EP3883255A4 (en) 2022-03-16
EP3883255B1 (en) 2024-01-31
CN109640179B (zh) 2020-09-22
KR102528877B1 (ko) 2023-05-04
WO2020107972A1 (zh) 2020-06-04
US11456013B2 (en) 2022-09-27

Similar Documents

Publication Publication Date Title
JP7186877B2 (ja) 映像デコーディング制御方法、装置、電子機器及び記憶媒体
AU2020201023B2 (en) Adaptive transfer function for video encoding and decoding
JP7169449B2 (ja) 映像増強制御方法、装置、電子機器及び記憶媒体
WO2020062924A1 (zh) 视频增强控制方法、装置、电子设备及存储介质
JP7295950B2 (ja) 映像増強制御方法、装置、電子機器及び記憶媒体
US20210281718A1 (en) Video Processing Method, Electronic Device and Storage Medium
WO2020038127A1 (zh) 解码方法、装置、电子设备以及存储介质
CN109618228B (zh) 视频增强控制方法、装置以及电子设备
US11562772B2 (en) Video processing method, electronic device, and storage medium
CN110557417B (zh) 一种图像处理方法及装置、存储介质
WO2020038071A1 (zh) 视频增强控制方法、装置、电子设备及存储介质
WO2020107970A1 (zh) 视频解码方法、装置、电子设备及存储介质
CN109819187B (zh) 视频录制的控制方法、装置、移动终端及存储介质
CN109218803B (zh) 视频增强控制方法、装置以及电子设备
KR102265419B1 (ko) 클라우드 스트리밍 서비스 시스템, 선택적 인코딩 처리 유닛을 이용한 클라우드 스트리밍 서비스 방법 및 이를 위한 장치
WO2018196614A1 (zh) 图片转码方法、计算设备及存储介质
JP2021013145A (ja) 動画像伝送装置、動画像伝送方法
JP2021013148A (ja) 動画像伝送装置、動画像伝送方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210525

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220629

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221014

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221101

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221129

R150 Certificate of patent or registration of utility model

Ref document number: 7186877

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150