JP7269265B2 - 映像フレームの伝送方法、装置、電子機器及び可読記憶媒体 - Google Patents

映像フレームの伝送方法、装置、電子機器及び可読記憶媒体 Download PDF

Info

Publication number
JP7269265B2
JP7269265B2 JP2021000861A JP2021000861A JP7269265B2 JP 7269265 B2 JP7269265 B2 JP 7269265B2 JP 2021000861 A JP2021000861 A JP 2021000861A JP 2021000861 A JP2021000861 A JP 2021000861A JP 7269265 B2 JP7269265 B2 JP 7269265B2
Authority
JP
Japan
Prior art keywords
video
target
video frame
frame
frame rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021000861A
Other languages
English (en)
Other versions
JP2021083092A (ja
Inventor
ロン リュウ
シンチアン チェン
ジャオロン チェン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Intelligent Connectivity Beijing Technology Co Ltd
Original Assignee
Apollo Intelligent Connectivity Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apollo Intelligent Connectivity Beijing Technology Co Ltd filed Critical Apollo Intelligent Connectivity Beijing Technology Co Ltd
Publication of JP2021083092A publication Critical patent/JP2021083092A/ja
Application granted granted Critical
Publication of JP7269265B2 publication Critical patent/JP7269265B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/013—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the incoming video signal comprising different parts having originally different frame rate, e.g. video and graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/001—Arbitration of resources in a display system, e.g. control of access to frame buffer by video controller and/or main processor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/23805—Controlling the feeding rate to the network, e.g. by controlling the video pump
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41422—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance located in transportation means, e.g. personal vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H04N21/6379—Control signals issued by the client directed to the server or network components directed to server directed to encoder, e.g. for requesting a lower encoding rate
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435—Change or adaptation of the frame rate of the video stream
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2350/00—Solving problems of bandwidth in display systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本願の実施例は、コンピュータ技術分野に関し、特に映像フレームの伝送方法、装置、電子機器及び可読記憶媒体に関する。
スマートバックミラーは独立のオペレーティングシステムを有し、ユーザが自分でそれにソフトウェアをインストールすることができる電子機器である。スマートバックミラーは従来のバックミラーと同様に、車両内部のフロントガラスの中央に近い箇所などの位置に取り付けられてもよい。ユーザは、スマートバックミラーを使用して運転記録、速度違反警報、後進画像及びナビゲーションの表示などの操作を行える。スマートバックミラーはユーザの操作に応答するとき、応答の内容をスマートバックミラーのインターフェースに提示することができ、又は、スマートバックミラーは提示する必要のある内容を搭載されている車両の車載機器端末に投影することもできる。例示的に、ユーザは、音声起動命令でスマートバックミラーを起動し、スマートバックミラーはユーザの命令を認識した後、起動した後の画面をスマートバックミラーに提示するのではなく、提示する必要のある画面を車載機器に投影して、車載機器によって車載機器のスクリーンに表示することができる。スマートバックミラーは投影する必要があるとき、提示する必要のある内容を録画して映像にし、映像を映像ストリームに符号化して車載機器に伝送する。
従来技術において、スマートバックミラーは固定フレームレートを使用して映像ストリームを伝送する。具体的には、スマートバックミラーは各種の車載機器に投影するとき、いずれも固定フレームレートを使用して映像ストリームを伝送する。
しかしながら、従来技術の方法は、映像ストリームの伝送の大き過ぎる時間遅延が大き過ぎる可能性があり、映像の車載機器での提示効果に影響を及ぼす。
本願の実施例は、従来技術における、映像ストリームの伝送の時間遅延が大き過ぎて映像の提示効果に影響を及ぼす問題を解決するための、映像フレームの伝送方法、装置、電子機器及び可読記憶媒体を提供する。
第１態様では、本願の実施例にて提供される映像フレームの伝送方法は、
基準フレームレートにしたがってターゲット装置にターゲット映像の第１映像フレームを送信することと、
前記第１映像フレームの時間遅延を取得することと、
前記時間遅延に基づいて、前記ターゲット映像のうちの送信対象である第２映像フレームのターゲットフレームレートを決定することと、
ターゲットフレームレートにしたがって前記ターゲット装置に前記第２映像フレームを送信することと、を含む。
第２態様では、本願の実施例にて提供される映像フレームの伝送装置は、
基準フレームレートにしたがってターゲット装置にターゲット映像の第１映像フレームを送信し、前記第１映像フレームの時間遅延を取得し、前記時間遅延に基づいて、前記ターゲット映像のうちの送信対象である第２映像フレームのターゲットフレームレートを決定するための処理モジュールと、
ターゲットフレームレートにしたがって前記ターゲット装置に前記第２映像フレームを送信するための送信モジュールと、を含む。
第３態様では、本願の実施例にて提供される電子機器は、
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサと通信接続するメモリと、を含み、ただし、
前記メモリには、前記少なくとも１つのプロセッサによって実行されえる命令が記憶され、前記命令は、前記少なくとも１つのプロセッサが上記の第１態様に記載の方法を実行できるように、前記少なくとも１つのプロセッサによって実行される。
第４態様では、本願の実施例は、コンピュータ命令が記憶されている非一時的なコンピュータ可読記憶媒体を提供し、前記コンピュータ命令は、前記コンピュータに上記の第１態様に記載の方法を実行させるために用いられる。
本願の技術によれば、ターゲット映像のうち前にある第１映像フレームを送信した後、第１映像フレームの時間遅延に基づいて、後にある第２映像フレームを送信するターゲットフレームレートを再決定して、当該ターゲットフレームレートにしたがってターゲット装置に第２映像フレームを送信することにより、第２映像フレームの送信フレームレートをターゲット装置の実際の処理能力に一致させるため、映像フレームの送信フレームレートを動的に調整して、映像フレームの作成からターゲット装置に表示されるまでの時間遅延を低下させることにより、ターゲット装置での映像の提示効果を保証する。
本明細書にて説明する内容は、本開示の実施例の主要な又は重要な特徴を特定することを意図せず、本願の範囲を制限するものでもないことを理解されたい。本開示の他の特徴は、以下の明細書によってより容易に理解できる。
添付図面は、本方案をより良く理解するためのものであり、本願を限定するものではない。
本願の実施例にて提供される映像フレームの伝送方法の例示的なシステム構成図である。 本願の実施例にて提供される映像フレームの伝送方法の概略フローチャートである。 スマートバックミラーが車載機器に投影するシーンのインターフェースの例示図である。 スマートバックミラーが車載機器に投影するときにフレームレートを動的に調整する処理フローチャートである。 本願の実施例にて提供される映像フレームの伝送装置５００のモジュール構造図である。 本願の実施例による映像フレームの伝送方法の電子機器のブロック図である。
以下、添付図面を参照しながら、本願の例示的な実施例について説明し、ただし、理解を容易にするために本願の実施例の様々な詳細が含まれているが、それらをただの例示的なものと見なすべきである。したがって、当業者は、本願の範囲及び精神から逸脱せず、ここで説明した実施例に対して様々な変更及び修正を行うことができることを理解すべきである。同様に、明確かつ簡潔にするために、以下の説明では公知の機能及び構造に対する説明を省略した。
従来技術において、スマートバックミラーは、様々な種類の車載機器に投影するとき、いずれにも固定フレームレートを使用して映像ストリームを伝送する。しかしながら、車載機器は種類によって性能が異なる。性能が良い車載機器について、車載機器は、スマートバックミラーが固定フレームレートにしたがって映像ストリームを伝送するとき、映像ストリームのうちの各映像をタイムリーに表示することができる。性能が悪い車載機器は、映像ストリームのうちの各映像の復号などの処理に必要な時間が多く、スマートバックミラーが固定フレームレートにしたがって映像ストリームを伝送するとき、車載機器が映像フレームの復号及び表示をタイムリーに完了することができない可能性があり、それにより投影の時間遅延が大きくなり、さらに、車載機器端末での映像の提示効果に影響を及ぼす。例えば、ユーザがスマートバックミラーに何らかの指示を下した後、ユーザが指示を下してから当該指示に応答するためのインターフェースが車載機器スクリーン上に表示されるまでの間隔が大きく、及び／又は、映像の表示がスムーズにならない。
従来技術における、スマートバックミラーが固定フレームレートを使用して映像フレームを送信することにより投影の時間遅延が大きくなり、さらに、車載機器端末での映像の提示効果に影響を及ぼす問題を考慮して、本願の実施例は、映像フレームが車載機器まで送信される時間遅延に基づいて映像フレームを送信するフレームレートを動的に調整することにより、送信フレームレートを車載機器の実際の処理能力に一致させることができ、さらに、投影の時間遅延が大きくなることを回避し、車載機器端末での映像の提示効果を保証する。
図１は、本願の実施例にて提供される映像フレームの伝送方法の例示的なシステム構成図であり、図１に示すように、当該方法は、スマートバックミラー及び車載機器に関する。スマートバックミラー及び車載機器は、いずれも車両内に設置され、スマートバックミラーは、車両内部のフロントガラスの中央に近い箇所などの位置に取り付けられてもよい。車載機器は、車両のセンターコンソール内に取り付けられてもよく、車載機器のスクリーンはセンターコンソールの表面に設置されてユーザに様々な情報を表示する。スマートバックミラーは車載機器と有線を介して接続してもよく、例えば汎用ユニバーサル・シリアル・バス（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ、略称ＵＳＢ）を介して車載機器と接続し、又は、無線を介して接続してもよく、例えばブルートゥース(登録商標)又はワイヤレス・フィディリティー（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ、略称Ｗｉ－Ｆｉ）を介して接続してもよい。一部のシーンでは、例えば、ユーザは、スマートバックミラーの運転記録機能の使用を期待しながら、スマートバックミラーがミラーの形態で表示されて車両の後方の道路状況を確認することを期待し、スマートバックミラーは、スクリーンに表示する必要のある内容を録画して映像を形成し、映像を本願の実施例の方法にしたがって車載機器に伝送し、車載機器によって自分のスクリーンに表示することができ、即ち、スマートバックミラーが表示する必要のある画面を車載機器に投影する。
説明する価値があるのは、上記図１は、本願の実施例の１つの例示的なシステム構成及び本願の実施例の例示的な応用シーンに過ぎず、これ以外にも、本願の実施例の方法は、他のシステム構成及び応用シーンにも適用できる。例えば、携帯電話のうちの映像を車載機器に伝送して表示するシーンに適用できる。説明の便宜上、本願の以下の実施例は、スマートバックミラーから車載機器に投影するシーンを例として説明する。
図２は、本願の実施例にて提供される映像フレームの伝送方法の概略フローチャートであり、当該方法の実行主体は、映像ストリームを他の機器に伝送する必要のある電子機器であり、例えば、上記のスマートバックミラーである。図２に示すように、当該方法は、Ｓ２０１～Ｓ２０４を含む。
Ｓ２０１、基準フレームレートにしたがってターゲット装置にターゲット映像の第１映像フレームを送信する。
選択可能に、上記ターゲット映像は、スマートバックミラーがターゲット装置に送信して表示する必要のある映像であり得る。例示的に、当該ターゲット映像は、スマートバックミラーによって生成された複数の表示インターフェースで構成される映像、又はナビゲーション画面で構成される映像などであってもよい。
上記第１映像フレームは、ターゲット映像のうち１番目の映像フレームであっても、ターゲット映像の映像フレームシーケンスのうち上位にある１つの映像フレームであってもよい。
上記基準フレームレートは、スマートバックミラーがターゲット映像を伝送し始めた時の初期フレームレートであってもよく、又は、第１映像フレームがターゲット映像フレームの後の１つの映像フレームである場合、上記基準フレームレートは、第１映像フレームの前に伝送された１つの映像フレームに基づいて得られたフレームレートであってもよい。
上記ターゲット装置は、ターゲット映像を表示する必要のある電子機器であってもよく、例えば、ターゲット装置は前述の車載機器であってもよい。
Ｓ２０２、上記第１映像フレームの時間遅延を取得する。
上記第１映像フレームの時間遅延は、スマートバックミラーが第１映像フレームを作成した時点からターゲット装置が第１映像フレームの処理を完了して表示する時点まで経過した時間を指し得る。時間遅延が大きいほど、ターゲット装置が映像フレームを処理する速度とスマートバックミラーが映像フレームを送信するフレームレートが一致しないことを表す。具体的には、時間遅延が多いほど、スマートバックミラーが映像フレームを送信するフレームレートが速すぎて、短期間内にターゲット装置に送信された映像フレームの数がターゲット装置の処理能力を超えてしまい、それによりターゲット装置が映像の復号処理及び表示などをタイムリーに完了できない可能性があることを表す。
Ｓ２０３、上記時間遅延に基づいて、上記ターゲット映像のうちの送信対象である第２映像フレームのターゲットフレームレートを決定する。
選択可能に、上記第２映像フレームは第１映像フレームの後の映像フレームであり、第１映像フレームに隣接する次の映像フレームであってもよく、第１映像フレームの後の第１映像フレームに隣接しない映像フレームであってもよい。
第１映像フレームの時間遅延は、スマートバックミラーが映像フレームを送信するフレームレートがターゲット装置の処理能力に一致するか否かを反映できるため、第２映像フレームが送信された後、ターゲット装置がタイムリーに第２映像フレームを処理及び表示することができるように、第１映像フレームの時間遅延に基づいて、第１映像フレームの後の第２映像フレームを送信するときのフレームレートを再決定することができる。
Ｓ２０４、ターゲットフレームレートにしたがって上記ターゲット装置に上記第２映像フレームを送信する。
ターゲット装置は第２映像フレームを受信した後、第２映像フレームに対して復号などの操作を行い、ターゲット装置のスクリーンを介して第２映像フレームを表示する。
本実施例において、ターゲット映像のうち前にある第１映像フレームを送信した後、第１映像フレームの時間遅延に基づいて、後にある第２映像フレームを送信するターゲットフレームレートを再決定して、当該ターゲットフレームレートにしたがってターゲット装置に第２映像フレームを送信することにより、第２映像フレームの送信フレームレートをターゲット装置の実際の処理能力に一致させるため、映像フレームの送信フレームレートを動的に調整して、映像フレームの作成からターゲット装置に表示されるまでの時間遅延を低下させることにより、ターゲット装置での映像の提示効果をさらに保証する。
スマートバックミラーが車載機器に投影するとき、上記実施例の方法を使用すると、スマートバックミラーが投影映像を送信するフレームレートを車載機器の実際の処理能力に一致させることができ、さらに、投影の時間遅延が大きいということを回避でき、車載機器端末での映像の提示効果を保証する。
以下、スマートバックミラーが車載機器に投影するシーンで映像ストリームを生成、伝送及び表示するプロセスについて説明する。
選択可能に、スマートバックミラーは、車載機器への投影指示に応じて、スクリーンへの表示に備えている情報を映像に録画して、ターゲット映像を得ることができる。さらに、本願の実施例の方法でターゲット映像を車載機器に投影し、車載機器によってそのスクリーンに表示される。
選択可能に、車載機器への投影指示は、ユーザによって入力されてもよく、スマートバックミラーによって自動的に認識されてもよい。
一例示において、スマートバックミラーが車載機器に有線方法又は無線方法で通信接続した後、車載機器のスクリーンに投影に関するアイコン、ボタン、リンクなどのマークを表示できる。ユーザは当該マークをクリックすることができ、車載機器はユーザの操作を認識した後、ユーザが投影を希望するという指示を受信したと決定し、当該指示をスマートバックミラーに送信する。スマートバックミラーは当該指示を受信した後、後続でスクリーンに表示する必要のある内容がある場合、後続でスクリーンに表示する必要のある内容をバックグランド、即ちユーザが見えない方法で表示しながら録画して映像に録画し、当該録画した映像がターゲット映像である。
別の例示において、ユーザがＵＳＢ線を使用してスマートバックミラーを車載機器に接続した後、スマートバックミラーは車載機器との通信接続の確立を認識し、スマートバックミラーは後続で表示する必要のある内容を車載機器に投影して表示する必要があると確認する。
図３は、スマートバックミラーが車載機器に投影するシーンのインターフェースの例示図であり、図３に示すように、スマートバックミラーがすでに前述のいずれかの方法により投影指示を受信し、さらに、ユーザがスマートバックミラーに音声指示を出してスマートバックミラーを起動し、例えば、ユーザが「小Ａ小Ａ(シャオエイ・シャオエイ)」のウェイクアップ音声を出し、スマートバックミラーが当該音声を認識した後、音声アシスタントの画面を表示する必要があると確認すると、スマートバックミラーは表示する必要のある画面をバックグランドで映像に録画して、映像を車載機器に１フレームずつ送信し、車載機器がそのスクリーンに表示する。
以下、上記ステップＳ２０３で第１映像フレームの時間遅延に基づいて、後にある第２映像フレームを動的に決定するプロセスについて説明する。
選択可能な一方法として、第１映像フレームの時間遅延が予め設定された閾値以上である場合、第１映像フレームを送信するときに使用した基準フレームレートに基づいて、基準フレームレートを下げ、上記ターゲットフレームレートを得る。
例示的に、基準フレームレートを基に、基準フレームレートを３フレーム／秒だけ下げ、ターゲットフレームレートを得る。
第１映像フレームの時間遅延が予め設定された閾値以上である場合、スマートバックミラーの送信フレームレートが速すぎて、ターゲット装置の処理能力に一致しにくいことを表し、したがって、基準フレームレートを下げ、下げた後の値をターゲットフレームレートとすることにより、送信フレームレートをターゲット装置の処理能力に一致させ、ターゲット装置での映像の提示効果を保証する。また、上記プロセスをループ実行することができ、ループ実行中に、映像フレームの時間遅延が低下し続けることができ、それにより表示効果がますますよくなり、ユーザの体験を大きく向上させる。
選択可能な別の方法として、第１映像フレームの時間遅延が予め設定された閾値より小さく、且つ、基準フレームレートで送信した第１映像フレームの後の予め設定された数の映像フレームの時間遅延がいずれも予め設定された閾値より小さい場合、基準フレームレートをターゲットフレームレートとして決定する。
第１映像フレームの時間遅延が予め設定された閾値より小さい場合、第１映像フレームを送信するときのフレームレートがターゲット装置の処理能力に一致することを表す。基準フレームレートで送信した第１映像フレームの後の予め設定された数の映像フレームの時間遅延がいずれも予め設定された閾値より小さい場合、第１映像フレームから始め、その後の複数の映像フレームに当該基準フレームレートを使用するとき、時間遅延がいずれも要件を満たすことを表し、したがって、当該基準フレームレートは、今回ターゲット映像を伝送するときに、ターゲット装置の処理能力に一致するフレームレートであることを表す。したがって、当該基準フレームレートをターゲットフレームレートとして第２映像フレームを伝送する。
基準フレームレートを使用して複数の映像フレームを伝送する時の時間遅延がいずれも要件を満たす場合、当該基準フレームレートがターゲット映像の伝送に適したフレームレートであると決定でき、それにより映像フレームの時間遅延を低下させる。
さらに、ターゲットフレームレートとしての基準フレームレートにしたがって第２映像フレームを伝送する以外に、ターゲットフレームレートとしての当該基準フレームレートにしたがってターゲット装置にターゲット映像のうち第２映像フレームの後の映像フレームを送信してもよい。
上記プロセスにより、当該基準フレームレートがターゲット映像の伝送に適したフレームレートであると決定できるため、当該基準フレームレートでターゲットフレームレートのうち後続の映像フレームを伝送でき、時間遅延に基づいてフレームレートを調整することを必要とせず、それにより初期のいくつかの映像フレームのフレームレートで調整してターゲット映像に適用するフレームレートを得ることを実現し、良好な表示効果を素早く実現する。
また、選択可能に、今回決定したターゲット映像に適用するターゲットフレームレートについて、スマートバックミラーはそれを保存し、当該ターゲットフレームレートを、ターゲット装置にターゲット映像の後の映像を送信するときの初期フレームレートとしてよい。
当該ターゲットフレームレートを、ターゲット装置にターゲット映像の後の映像を送信するときの初期フレームレートとすると、スマートバックミラーが再び車載機器に投影する必要がある場合、当該初期フレームレートはすでに動的に調整されたフレームレートであるため、少量だけ調整するだけで送信フレームレートをターゲット装置の実際の処理能力に一致させることができ、フレームレートを調整する時間を短縮し続ける。
以下、上記ステップＳ２０２で第１映像フレームの時間遅延を取得するプロセスについて説明する。
選択可能な一実施形態として、スマートバックミラーは、第１映像フレームの作成時点及び第１映像フレームのターゲット装置での表示時点に応じて、第１映像フレームがターゲット装置に送信されるまでの時間遅延を決定できる。
例示的に、スマートバックミラーは第１映像フレームの作成時点と表示時点との差を計算し、当該差を第１映像フレームがターゲット装置に送信されるまでの時間遅延としてよい。又は、スマートバックミラーは、差に対して特定処理を行い、例えば特定の係数を掛け、処理後の結果を時間遅延としてもよい。
作成時点及び表示時点に応じて時間遅延を決定すると、時間遅延の正確性を保証しつつ、計算プロセスを簡便にし、決定効率を大幅に向上させる。
第１映像フレームの表示時点は、ターゲット装置によって提供される。第１映像フレームの作成時点は、スマートバックミラーによって提供されてもよく、ターゲット装置によって提供されてもよい。それに対応して、表示時点及び作成時点の取得方法は次の２種類の方法を含み得る。
第１種類の方法では、スマートバックミラーは、第１映像フレームを作成した後、第１映像フレームのマーク及び対応する作成時間を記録し、第１映像フレームがターゲット装置まで伝送された後、ターゲット装置は第１映像フレームを処理及び表示した後、第１映像フレームの表示時間をスマートバックミラーに送信する。スマートバックミラーは第１映像フレームのマークに応じて、第１映像フレームの作成時間を読み取り、ターゲット装置によって送信された表示時間を参照して、時間遅延を決定できる。
第２種類の方法では、スマートバックミラーは、第１映像フレームを作成した後、第１映像フレームの作成時間を一時的に保存し、第１映像フレームを送信するとき、ターゲット装置に作成時間及び第１映像フレームを同時に送信する。ターゲット装置はこれらの情報を受信した後、第１映像フレームの作成時間を一時的に保存し、スマートバックミラーに表示時間をフィードバックするとき、スマートバックミラーに第１映像フレームの表示時間及び作成時間を同時に送信する。それにより、スマートバックミラーは、第１映像フレームの作成時間及び表示時間を同時に取得し、作成時間及び表示時間に基づいて時間遅延を決定できる。
当該第２種類の方法では、スマートバックミラーは、第１映像フレームを送信するときに、ターゲット装置に第１映像フレームの作成時間を同時に送信し、ターゲット装置がスマートバックミラーに表示時間を送信するときに、スマートバックミラーに作成時間を同時に送信することにより、追加の方法で作成時間を取得することを必要とせず、スマートバックミラーは作成時間及び表示時間を直接及び同時に取得することができ、それにより処理効率を大幅に向上させる。
図４は、スマートバックミラーが車載機器に投影する時にフレームレートを動的に調整する処理フローチャートであり、図４に示すように、当該プロセスは、Ｓ４０１～Ｓ４１５を含む。
Ｓ４０１、投影を開始する。
Ｓ４０２、車載機器の装置識別子を読み取る。
Ｓ４０３、前回当該車載機器に投影するときに使用したフレームレートが保存されているか否かを判断し、「はい」であれば、ステップＳ４０４を実行し、「いいえ」であれば、ステップＳ４０５を実行する。
Ｓ４０４、前回当該車載機器に投影するときに使用したフレームレートを初期フレームレートとする。
Ｓ４０５、初期フレームレートを第１の予め設定された値として設定する。
当該第１の予め設定された値は、例えば２５フレーム／秒であってもよい。
Ｓ４０６、達成回数を０にリセットする。
Ｓ４０７、車載機器に映像フレームを送信する。
Ｓ４０８、車載機器によって返された映像フレームの表示時間を受信する。
Ｓ４０９、映像フレームの表示時間及び作成時間に基づいて映像フレームの時間遅延を計算する。
Ｓ４１０、映像フレームの時間遅延が予め設定された閾値よりも小さいか否かを判断し、「はい」であれば、ステップＳ４１１を実行し、「いいえ」であれば、ステップ４１４を実行する。
Ｓ４１１、達成回数に１を加える。
Ｓ４１２、達成回数が第２の予め設定された値に達するか否かを判断し、「はい」であれば、ステップＳ４１３を実行し、「いいえ」であれば、ステップＳ４０７を実行し続ける。
当該第２の予め設定された値は、例えば２５回であってもよい。
当該第２の予め設定された値は前述の予め設定された数に１を加えた値であってもよい。
Ｓ４１３、現在のフレームレートを使用して後続の映像フレームを送信する。
Ｓ４１４、達成回数を０にリセットする。
Ｓ４１５、現在のフレームレートから第３の予め設定された値を引き、ステップＳ４０７を実行し続ける。
当該第３の予め設定された値は、例えば３フレーム／秒であってもよい。
図５は、本願の実施例にて提供される映像フレームの伝送装置５００のモジュール構造図であり、図５に示すように、当該装置は、
基準フレームレートにしたがってターゲット装置にターゲット映像の第１映像フレームを送信し、前記第１映像フレームの時間遅延を取得し、前記時間遅延に基づいて、前記ターゲット映像のうちの送信対象である第２映像フレームのターゲットフレームレート決定するための処理モジュール５０１と、
ターゲットフレームレートにしたがって前記ターゲット装置に前記第２映像フレームを送信するための送信モジュール５０２と、を含む。
選択可能な一実施形態として、処理モジュール５０１は、具体的には、
前記時間遅延が予め設定された閾値以上である場合、前記第１映像フレームを送信するときに使用した基準フレームレートに基づいて、前記基準フレームレートを下げ、前記ターゲットフレームレートを得るために用いられる。
選択可能な一実施形態として、処理モジュール５０１は、具体的には、
前記時間遅延が予め設定された閾値よりも小さく、且つ、基準フレームレートで送信された前記第１映像フレームの後の予め設定された数の映像フレームの時間遅延がいずれも予め設定された閾値より小さい場合、前記基準フレームレートを前記ターゲットフレームレートとして決定するために用いられる。
選択可能な一実施形態として、送信モジュール５０２は、さらに、
前記ターゲットフレームレートにしたがって前記ターゲット装置に前記ターゲット映像のうちの前記第２映像フレームの後の映像フレームを送信するために用いられる。
選択可能な一実施形態として、処理モジュール５０１は、さらに、
前記ターゲットフレームレートを、前記ターゲット装置に前記ターゲット映像の後の映像を送信するときの初期フレームレートとするために用いられる。
選択可能な一実施形態として、処理モジュール５０１は、具体的には、
前記第１映像フレームの作成時点及び前記第１映像フレームの前記ターゲット装置への表示時点に基づいて、前記第１映像フレームが前記ターゲット装置に送信されるまでの時間遅延を決定するために用いられる。
継続して図５を参照すると、選択可能な一実施形態として、前記装置は、さらに、
前記ターゲット装置からの前記第１映像フレームの前記ターゲット装置への表示時点及び前記第１映像フレームの作成時点を受信するための受信モジュール５０３を含む。
選択可能な一実施形態として、送信モジュール５０２は、具体的には、
基準フレームレートにしたがってターゲット装置に前記ターゲット映像の前記第１映像フレーム及び前記第１映像フレームの作成時点を送信するために用いられる。
選択可能な一実施形態として、前記ターゲット装置は車載機器である。処理モジュール５０１は、具体的には、
前記車載機器への投影指示に応じて、スクリーンへの表示に備えている情報を映像に録画して、前記ターゲット映像を得るために用いられる。
選択可能な一実施形態として、前記車載機器への投影指示はユーザによって入力される。
本願の実施例によれば、本願は、電子機器及び可読記憶媒体をさらに提供する。
図６に示すように、本願の実施例による映像フレームの伝送方法の電子機器のブロック図である。電子機器は、例えばラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ、及び他の適当なコンピュータなどの様々な形式のデジタルコンピュータを表すことを意図している。電子機器は、さらに、例えば携帯端末、セルラーホン、スマートホン、ウエアラブル装置及び他の類似する計算装置などの様々な形式の携帯装置を表し得る。本明細書に示す部材、それらの接続及び関係、並びにそれらの機能は、単なる例示であり、本明細書に説明及び／又は主張する本願の実施を制限することを意図していない。
図６に示すように、当該電子機器は、１つ又は複数のブロセッサ６０１と、メモリ６０２と、高速インターフェース及び低速インターフェースを含む、各部材を接続させるインターフェースとを含む。各部材は、異なるバスを利用して互いに接続され、共通のマザーボードに取り付けられてもよく、必要に応じて他の方法で取り付けられてもよい。ブロセッサは、メモリ内又はメモリ上に記憶されて外部入出力装置（例えば、インターフェースに結合された表示装置）にＧＵＩのグラフィック情報を示すための命令を含む、電子機器内で実行される命令を処理することができる。他の実施形態において、必要があれば、複数のブロセッサ及び／又は複数のメモリとを一緒に使用してもよい。同様に、複数の電子機器を接続させてもよく、各装置は一部の必要な操作（例えば、サーバアレイ、ブレードサーバ群、又はマルチプロセッサシステムとして）を提供する。図６は、１つのブロセッサ６０１を例に挙げている。
メモリ６０２は、本願にて提供される非一時的なコンピュータ可読記憶媒体である。ここで、前記メモリには、本願にて提供される映像フレームの伝送方法を前記少なくとも１つのブロセッサに実行させるように、少なくとも１つのブロセッサによって実行可能な命令が記憶されている。本願の非一時的なコンピュータ可読記憶媒体には、本願にて提供される映像フレームの伝送方法をコンピュータに実行させるためのコンピュータ命令が記憶されている。
メモリ６０２は、非一時的なコンピュータ可読記憶媒体として、例えば本願の実施例の映像フレームの伝送方法に対応するプログラム命令／モジュール（例えば、図５に示す処理モジュール５０１、送信モジュール５０２及び受信モジュール５０３）など、非一時的なソフトウェアプログラム、非一時的なコンピュータ実行可能プログラム及びモジュールを記憶するために用いることが可能である。ブロセッサ６０１は、メモリ６０２に記憶されている非一時的なソフトウェアプログラム、命令及びモジュールを実行することにより、サーバの様々な機能アプリケーション及びデータ処理を実行し、即ち、上記方法の実施例の映像フレームの伝送方法を実施する。
メモリ６０２は、オペレーティングシステム及び少なくとも１つの機能に必要なアプリケーションプログラムを記憶することが可能なプログラム記憶領域と、映像フレーム伝送用の電子機器の使用に応じて作成されたデータなどを記憶することが可能なデータ記憶領域とを含んでもよい。また、メモリ６０２は、高速ランダムアクセスメモリを含んでもよく、非一時的なメモリを含んでもよく、例えば少なくとも１つの磁気ディスクストレージデバイス、フラッシュメモリデバイス、又は他の非一時的なソリッドステートメモリデバイスがある。一部の実施例において、メモリ６０２は、ブロセッサ６０１に対して遠隔に設置されたメモリを含むものを選択してもよく、これらの遠隔メモリはネットワークを介して映像フレームの伝送用の電子機器に接続できる。上記ネットワークは、実例としてインターネット、企業のイントラネット、ローカルエリアネットワーク、移動体通信ネットワーク、及びそれらの組み合わせを含むが、これらに限定されない。
映像フレームの伝送方法用の電子機器は、さらに、入力装置６０３及び出力装置６０４を含む。ブロセッサ６０１、メモリ６０２、入力装置６０３及び出力装置６０４は、バス又は他の方法を介して接続されてもよく、図６では、バスを介して接続されることを例に挙げている。
入力装置６０３は、入力された数字や文字情報を受信でき、且つ映像フレーム伝送用の電子機器のユーザ設定及び機能制御に関するキー信号の入力が発生し、例えば、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパネル、ポインティングスティック、１つ又は複数のマウスボタン、トラックボール、ジョイスティック等の入力装置がある。出力装置６０４は表示装置、補助照明装置（例えば、ＬＥＤ）及び触覚フィードバック装置（例えば、振動モータ）などを含み得る。当該表示装置は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ及びプラズマディスプレイを含み得るが、これらに限定されない。一部の実施形態において、表示装置はタッチスクリーンであってもよい。
本明細書で説明するシステム及び技法の様々な実施形態は、デジタル電子回路システム、集積回路システム、特定用途向けＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせによって実現されることができる。これらの様々な実施形態は、少なくとも１つのプログラマブルブロセッサを含むプログラマブルシステム上で実行及び／又は解釈され得る１つ又は複数のコンピュータプログラムで実施され、当該プログラマブルブロセッサは、特定用途向け又は汎用のプログラマブルブロセッサであってもよく、記憶システム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信するとともに、データ及び命令を当該記憶システム、当該少なくとも１つの入力装置、及び当該少なくとも１つの出力装置に伝送することができる。
これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードとも呼ばれる）は、プログラマブルブロセッサの機械語命令を含み、ハイレベルプロセス及び／又はオブジェクト指向のプログラミング言語、及び／又はアセンブリ／機械語を利用してこれらのコンピュータプログラムを実施してもよい。本明細書に使用されているように、用語「機械可読媒体」及び「コンピュータ可読媒体」とは、機械語命令及び／又はデータをプログラマブルブロセッサに提供するための如何なるコンピュータプログラム製品、機器、及び／又は装置（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を言い、機械可読信号としての機械語命令を受信する機械可読媒体を含む。用語「機械可読信号」とは、機械語命令及び／又はデータをプログラマブルブロセッサに提供するための如何なる信号を言う。
ユーザとのインターアクションを提供するために、コンピュータ上で本明細書に説明したシステム及び技術を実施でき、当該コンピュータは、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（ブラウン管）又はＬＣＤ（液晶ディスプレイ）モニター）と、キーボード及びポインティングデバイス（例えば、マウスやトラックボールなど）とを有し、ユーザは当該キーボード及び当該ポインティングデバイスを介して入力をコンピュータに提供することができる。他の種類の装置も、ユーザとのインターアクションを提供するために用いることができ、例えば、ユーザに提供されるフィードバックは、如何なる形式の感覚フィードバック（例えば、ビジョンフィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、如何なる形式（音響入力、音声入力又は触覚入力を含む）でユーザからの入力を受信してもよい。
本明細書に説明したシステム及び技術を、バックグラウンド部材を含むコンピューティングシステム（例えば、データサーバとして）、又はミドルウェア部材を含むコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンド部材を含むコンピューティングシステム（例えば、グラフィカルユーザーインターフェイス又はＷｅｂブラウザーを有するユーザコンピュータ、ユーザは当該グラフィカルユーザーインターフェイス又は当該Ｗｅｂブラウザーを介して本明細書に説明したシステム及び技術の実施形態とインターアクションできる）、又はこのようなバックグラウンド部材、ミドルウェア部材、又はフロントエンド部材を含む任意の組み合わせのコンピューティングシステムで実施され得る。システムの部材は、如何なる形式又は媒体のデジタルデータ通信（例えば、通信ネットワーク）を介して互いに接続できる。通信ネットワークの例として、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）及びインターネットを含む。
コンピュータシステムは、クライアント及びサーバを含み得る。クライアント及びサーバは、一般に、互いに離れていて、且つ通常通信ネットワークを介してインターアクションする。クライアントとサーバとの関係は、対応するコンピュータ上で実行されるとともに互いにクライアント―サーバ関係を有するコンピュータプログラムによって生成される。
なお、上記に示した様々な形式のフローを使用して、ステップを並び替え、追加又は削除してもよい。例えば、本願に開示される技術的解決手段の望ましい結果が実現される限り、本願に記載の各ステップを同時に実行しても、順番に実行しても、異なる順序で実行してもよく、本明細書では制限しない。
上記の具体的な実施形態は、本願の保護範囲を限定するものではない。当業者は、設計要件及び他の要因に従って、様々な修正、組み合わせ、サブ組み合わせ、及び置換を行うことができることを理解すべきである。本発明の精神及び原理の範囲内で行われるあらゆる修正、同価置換、改良などは、いずれも本発明の保護範囲に含まれるべきである。

Claims (14)

  1. 基準フレームレートにしたがってターゲット装置にターゲット映像の第１映像フレームを送信することと、
    前記第１映像フレームの時間遅延を取得することと、
    前記時間遅延に基づいて、前記ターゲット映像のうちの送信対象である第２映像フレームのターゲットフレームレートを決定することと、
    ターゲットフレームレートにしたがって前記ターゲット装置に前記第２映像フレームを送信することと、を含み、
    前記第１映像フレームの時間遅延を取得することは、
    前記第１映像フレームの作成時点及び前記第１映像フレームの前記ターゲット装置への表示時点に基づいて、前記第１映像フレームが前記ターゲット装置に送信されるまでの時間遅延を決定することを含む、映像フレームの伝送方法。
  2. 前記時間遅延に基づいて、前記ターゲット映像のうちの送信対象である第２映像フレームのターゲットフレームレートを決定することは、
    前記時間遅延が予め設定された閾値以上である場合、スマートバックミラーが前記第１映像フレームを送信するときのフレームレートと前記ターゲット装置の処理能力に一致しないことを表し、前記第１映像フレームを送信するときに使用する前記基準フレームレートを下げて、前記ターゲットフレームレートを得ることを含む、請求項１に記載の映像フレームの伝送方法。
  3. 前記時間遅延に基づいて、前記ターゲット映像のうちの送信対象である第２映像フレームのターゲットフレームレートを決定することは、
    前記時間遅延が、予め設定された閾値より小さく、且つ、基準フレームレートで送信された前記第１映像フレームの後の予め設定された数の映像フレームの時間遅延がいずれも予め設定された閾値より小さい場合、スマートバックミラーが前記第１映像フレームを送信するときのフレームレートと前記ターゲット装置の処理能力に一致することを表し、前記基準フレームレートを前記ターゲットフレームレートとして決定することを含む、請求項１に記載の映像フレームの伝送方法。
  4. 前記ターゲットフレームレートにしたがって、前記ターゲット装置に前記ターゲット映像のうちの前記第２映像フレームの後の映像フレームを送信する、請求項３に記載の映像フレームの伝送方法。
  5. 前記ターゲットフレームレートを、前記ターゲット装置に前記ターゲット映像の後の映像を送信するときの初期フレームレートとすることをさらに含む、請求項４に記載の映像フレームの伝送方法。
  6. 前記第１映像フレームの作成時点及び前記第１映像フレームの前記ターゲット装置への表示時点に基づいて、前記第１映像フレームが前記ターゲット装置に送信されるまでの時間遅延を決定することの前に、さらに、
    前記ターゲット装置からの前記第１映像フレームの前記ターゲット装置への表示時点及び前記第１映像フレームの作成時点を受信することを含む、請求項１に記載の映像フレームの伝送方法。
  7. 基準フレームレートにしたがってターゲット装置にターゲット映像の第１映像フレームを送信することは、
    基準フレームレートにしたがってターゲット装置に前記ターゲット映像の前記第１映像フレーム及び前記第１映像フレームの作成時点を送信することを含む、請求項６に記載の映像フレームの伝送方法。
  8. 前記ターゲット装置は車載機器であり、
    前記基準フレームレートにしたがってターゲット装置にターゲット映像の第１映像フレームを送信することの前に、さらに、
    前記車載機器への投影指示に応じて、スクリーンへの表示に備えている情報を映像に録画して、前記ターゲット映像を得ることを含む、請求項１～７のいずれか１項に記載の映像フレームの伝送方法。
  9. 前記車載機器への投影指示はユーザによって入力される、請求項８に記載の映像フレームの伝送方法。
  10. 基準フレームレートにしたがってターゲット装置にターゲット映像の第１映像フレームを送信し、前記第１映像フレームの時間遅延を取得し、前記時間遅延に基づいて、前記ターゲット映像のうちの送信対象である第２映像フレームのターゲットフレームレートを決定するための処理モジュールと、
    ターゲットフレームレートにしたがって前記ターゲット装置に前記第２映像フレームを送信するための送信モジュールと、を含み、
    前記第１映像フレームの時間遅延を取得することは、
    前記第１映像フレームの作成時点及び前記第１映像フレームの前記ターゲット装置への表示時点に基づいて、前記第１映像フレームが前記ターゲット装置に送信されるまでの時間遅延を決定することを含む、映像フレームの伝送装置。
  11. 前記ターゲット装置からの前記第１映像フレームの前記ターゲット装置への表示時点及び前記第１映像フレームの作成時点を受信するための受信モジュールをさらに含む、請求項１０に記載の映像フレームの伝送装置。
  12. 少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサと通信接続するメモリと、を含み、ただし、
    前記メモリには、前記少なくとも１つのプロセッサによって実行されえる命令が記憶され、前記命令は、前記少なくとも１つのプロセッサが請求項１～９のいずれか１項に記載の映像フレームの伝送方法を実行できるように、前記少なくとも１つのプロセッサによって実行される、電子機器。
  13. コンピュータ命令が記憶されている非一時的なコンピュータ可読記憶媒体であって、前記コンピュータ命令は、コンピュータに請求項１～９のいずれか１項に記載の映像フレームの伝送方法を実行させるために用いられる、非一時的なコンピュータ可読記憶媒体。
  14. コンピュータに請求項１～９のいずれか１項に記載の映像フレームの伝送方法を実行させる、コンピュータプログラム。
JP2021000861A 2020-05-13 2021-01-06 映像フレームの伝送方法、装置、電子機器及び可読記憶媒体 Active JP7269265B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010400881.1A CN111541919B (zh) 2020-05-13 2020-05-13 视频帧传输方法、装置、电子设备及可读存储介质
CN202010400881.1 2020-05-13

Publications (2)

Publication Number Publication Date
JP2021083092A JP2021083092A (ja) 2021-05-27
JP7269265B2 true JP7269265B2 (ja) 2023-05-08

Family

ID=71979354

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021000861A Active JP7269265B2 (ja) 2020-05-13 2021-01-06 映像フレームの伝送方法、装置、電子機器及び可読記憶媒体

Country Status (4)

Country Link
US (1) US11438547B2 (ja)
EP (1) EP3813363A1 (ja)
JP (1) JP7269265B2 (ja)
CN (1) CN111541919B (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113138737B (zh) 2021-04-16 2023-11-03 阿波罗智联(北京)科技有限公司 投屏场景的显示控制方法、装置、设备、介质及程序产品
CN113364840B (zh) * 2021-05-26 2022-12-23 阿波罗智联(北京)科技有限公司 用于智能后视镜的时延估计方法、装置和电子设备
CN113362845B (zh) 2021-05-28 2022-12-23 阿波罗智联(北京)科技有限公司 声音数据降噪方法、装置、设备、存储介质及程序产品
CN113727181B (zh) * 2021-08-30 2024-05-17 努比亚技术有限公司 一种投屏时延动态配置方法、设备及计算机可读存储介质
CN114510191A (zh) * 2022-02-16 2022-05-17 北京字跳网络技术有限公司 一种投屏方法及装置
CN115297291A (zh) * 2022-08-04 2022-11-04 阿波罗智联(北京)科技有限公司 数据处理方法、装置、电子设备、介质
CN115396696B (zh) * 2022-08-22 2024-04-12 网易（杭州）网络有限公司 视频数据传输方法、系统、处理设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013062621A (ja) 2011-09-12 2013-04-04 Fujitsu Ltd 情報処理装置、画像送信方法及び画像送信プログラム
JP2013137668A (ja) 2011-12-28 2013-07-11 Kayaba Ind Co Ltd ドライブレコーダ
CN109286813A (zh) 2018-11-14 2019-01-29 北京奇艺世纪科技有限公司 一种视频通信质量检测方法和装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11308271A (ja) * 1998-04-21 1999-11-05 Canon Inc データ通信装置及び受信装置及び制御方法及び記憶媒体及びデータ通信システム
JP3967443B2 (ja) * 1998-01-22 2007-08-29 富士通株式会社 画像データ送受信システムおよびその送信側装置およびその受信側装置並びにそのプログラムを記憶した記憶媒体
US8842555B2 (en) 2005-10-21 2014-09-23 Qualcomm Incorporated Methods and systems for adaptive encoding of real-time information in packet-switched wireless communication systems
CN101516017B (zh) * 2008-02-22 2010-12-01 中国移动通信集团公司 一种会话类业务视频传输时延的测量方法、装置和系统
US20120311173A1 (en) 2011-05-31 2012-12-06 Broadcom Corporation Dynamic Wireless Channel Selection And Protocol Control For Streaming Media
CN102413307B (zh) * 2011-11-30 2013-11-27 晶门科技（深圳）有限公司 电视视频聊天的自适应码率调整方法及调整装置
US9894311B2 (en) 2013-07-30 2018-02-13 Robert Bosch Gmbh Adaptive methods for wireless camera communication
CN106375841B (zh) * 2015-07-23 2020-02-11 阿里巴巴集团控股有限公司 无线投屏数据处理、视频数据显示方法、装置及电子设备
CN106534055A (zh) * 2015-09-15 2017-03-22 广州世荣电子有限公司 一种视频传输方法及系统
CN105430532B (zh) * 2015-11-18 2019-04-16 南京创维信息技术研究院有限公司 一种视频数据传输自适应调整的控制方法及其系统
US10530825B2 (en) * 2016-06-01 2020-01-07 Amazon Technologies, Inc. Catching up to the live playhead in live streaming
CN110673813B (zh) 2019-09-29 2023-04-07 阿波罗智联(北京)科技有限公司 一种数据处理方法、装置、电子设备和介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013062621A (ja) 2011-09-12 2013-04-04 Fujitsu Ltd 情報処理装置、画像送信方法及び画像送信プログラム
JP2013137668A (ja) 2011-12-28 2013-07-11 Kayaba Ind Co Ltd ドライブレコーダ
CN109286813A (zh) 2018-11-14 2019-01-29 北京奇艺世纪科技有限公司 一种视频通信质量检测方法和装置

Also Published As

Publication number Publication date
CN111541919A (zh) 2020-08-14
JP2021083092A (ja) 2021-05-27
US20210195138A1 (en) 2021-06-24
CN111541919B (zh) 2022-07-29
US11438547B2 (en) 2022-09-06
EP3813363A1 (en) 2021-04-28

Similar Documents

Publication Publication Date Title
JP7269265B2 (ja) 映像フレームの伝送方法、装置、電子機器及び可読記憶媒体
KR102562060B1 (ko) 화면 전환 표시 방법, 장치, 스마트 백미러 및 판독 가능 저장 매체
JP7167222B2 (ja) アプレットデータの取得方法、装置、機器及び記憶媒体
JP7230093B2 (ja) スマートバックミラーを制御するための方法、装置、電子機器及び記憶媒体
KR20210042863A (ko) 차량의 시간 동기화 방법, 장치, 기기 및 저장매체
JP2021099533A (ja) 音声インタラクション処理方法、装置及び電子機器
JP7258071B2 (ja) スクリーン投影方法、装置、機器及び記憶媒体
JP2021101356A (ja) 機器インタラクション方法、装置、機器、システム及び媒体
EP3816802A2 (en) Method and device for processing mini program data
WO2015117445A1 (zh) 任务窗口的处理方法及装置
CN111688580A (zh) 智能后视镜进行拾音的方法以及装置
CN112235417A (zh) 调试指令的发送方法、装置
CN110704012A (zh) 一种音频数据处理方法、装置、电子设备和介质
JP2021151870A (ja) 車窓表示方法及び装置
CN111857902A (zh) 应用的显示方法、装置、设备和可读存储介质
US11566913B2 (en) Method, apparatus, electronic device and storage medium for displaying AR navigation
CN112579032A (zh) 智能设备引导的方法及装置
CN112565908B (zh) 用于图像的显示方法、装置、电子设备及存储介质
CN111857887B (zh) 数据采集方法、装置、电子设备和可读存储介质
JP7298089B2 (ja) オーディオ再生処理方法、装置、電子機器及び記憶媒体
US20220284902A1 (en) Delay estimation method and apparatus for smart rearview mirror, and electronic device
CN111831391B (zh) 自动驾驶仿真系统之中预置容器的管理方法和装置
CN112017528B (zh) 车机地图配置方法、装置及电子设备
CN110672112B (zh) 引导线切换方法、装置、设备和介质
CN115542870A (zh) 交互控制装置、方法、电子设备和存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210106

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20211101

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220913

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20220921

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20220927

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230421

R150 Certificate of patent or registration of utility model

Ref document number: 7269265

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150