JP7454748B2 - フォロワモードのビデオ動作 - Google Patents

フォロワモードのビデオ動作 Download PDF

Info

Publication number
JP7454748B2
JP7454748B2 JP2023516620A JP2023516620A JP7454748B2 JP 7454748 B2 JP7454748 B2 JP 7454748B2 JP 2023516620 A JP2023516620 A JP 2023516620A JP 2023516620 A JP2023516620 A JP 2023516620A JP 7454748 B2 JP7454748 B2 JP 7454748B2
Authority
JP
Japan
Prior art keywords
image data
frame
display
electronic device
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023516620A
Other languages
English (en)
Other versions
JP2023540396A (ja
Inventor
アッサフ メナチェム,
ピーター エフ. ホランド,
ユン‐チン チェン,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of JP2023540396A publication Critical patent/JP2023540396A/ja
Application granted granted Critical
Publication of JP7454748B2 publication Critical patent/JP7454748B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1431Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using a single graphics controller
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/005Adapting incoming signals to the display format of the display terminal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/12Synchronisation between the display unit and other units, e.g. other display units, video-disc players
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43076Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of the same content streams on multiple devices, e.g. when family members are watching the same movie on different devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/04Synchronising
    • H04N5/06Generation of synchronising signals
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00Command of the display device
    • G09G2310/08Details of timing specific for flat panels, other than clock recovery
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/04Display device controller operating with a plurality of display units
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/20Details of the management of multiple sources of image data

Description

(関連出願の相互参照)
本出願は、2020年9月14日出願の米国特許仮出願第63/078,300号の優先権および利益を主張し、その全体があらゆる目的のために参照により本明細書に組み込まれる。
本開示は、概して、異なるディスプレイデバイス間の信号を使用して、電子デバイスにおいて異なるビデオ動作モードを利用することに関する。
この節では、後述しおよび/または請求される本技術の様々な態様に関連し得る様々な態様を読者に紹介する。本論考は、本開示の様々な態様の、より良好な理解を容易にするための背景技術を読者に提供する際に、助けとなるものと考えられる。したがって、これらの記述は、上述の観点から読まれるべきであり、先行技術の承認として読まれるべきではないことを理解されたい。
統合型電子ディスプレイは、対応する画像処理回路との共通クロック信号を使用して動作し得る。しかしながら、外部ディスプレイを介した表示のために画像データを準備するとき、共通クロック信号および外部ディスプレイのためのクロック信号は、互いに対してドリフトし得る。したがって、異なるデバイス間でクロック信号を同期させるための改善されたシステムおよび方法が有用であり得る。
本明細書に開示のある実施形態の要約を以下に記載する。これらの態様が、単にこれらのある実施形態の概要を読者に提供するために提示されていること、およびこれらの態様が、本開示の範囲を限定することは意図されていないことを理解されたい。実際に、本開示は、以下に記載されていない様々な態様を包含し得る。
本開示は、概して電子ディスプレイに関し、より詳細には、2つの電子ディスプレイを使用して画像データを表示するために2つの電子デバイス間の調整を改善することに関する。上述したように、統合型電子ディスプレイは、電子デバイスの画像処理回路(例えば、ディスプレイパイプライン)との共通クロック信号に基づいて動作し得る。画像処理回路は、電子ディスプレイのための画像データを準備することができ、電子ディスプレイは、共通クロック信号に基づいて、画像データを表示することができる。しかしながら、外部ディスプレイは、同じ共通クロック信号を使用しない場合がある。すなわち、外部ディスプレイは、別個のクロック信号を使用して、外部ディスプレイを介した画像データの提示を調整することができる。ただし、画像処理回路が、それに接続された電子ディスプレイおよび外部ディスプレイに画像データを提供するために用いられるとき、2つのクロック信号間のドリフトによって、外部ディスプレイと電子デバイスに提供される画像データが同期しなくなる可能性がある。
上記を考慮して、いくつかの実施形態では、電子デバイスの画像処理回路は、画像処理回路が外部ディスプレイのフォロワとして動作するように、外部ディスプレイ用の画像データを準備し得る。すなわち、外部ディスプレイは、画像処理回路のタイミングを調整または制御し得る。いくつかの実施形態では、画像処理回路は、アイドル状態に対応する画像データのフレームの期間または部分を含む画像データのフレームを受信し得る。画像処理回路は、次のフレームの処理を開始するためにアイドル状態の間に外部トリガ信号を待機することができ、それによって、画像処理回路および外部ディスプレイが確実に同期を保つ。
本開示の様々な態様は、以下の詳細な説明を読み以下の図面を参照すると、より良好に理解され得る。
本開示の一実施形態に係る、ハードウェアアクセラレータを含む、ディスプレイを備えた電子デバイスのブロック図である。
本開示の一実施形態に係る、図1の電子デバイスの一例である。
本開示の一実施形態に係る、図1の電子デバイスの別の例である。
本開示の一実施形態に係る、図1の電子デバイスの別の例である。
本開示の一実施形態に係る、図1の電子デバイスの別の例である。
本開示の一実施形態に係る、画像データの異なるフレームの部分を表すブロック図である。
本開示の一実施形態に係る、外部ディスプレイによって受信された信号に基づいて、画像処理回路を使用して、画像フレームデータの処理を調整する方法のフローチャートである。
本開示の一実施形態に係る、画像データのフレームのタイミング図である。
本開示の1つ以上のある特定の実施形態を以下に述べる。これらの述べる実施形態は、本明細書で開示されている技術の実施例に過ぎない。さらに、これらの実施形態の簡潔な説明を提供するために、本明細書に実際の実施態様の全ての特徴が示されるとは限らない。あらゆる工学的または設計プロジェクトにおけるように、あらゆるこのような実際の実装形態の開発において、実装形態ごとに変動し得るシステム関連およびビジネス関連の制約への準拠などの開発者の具体的な目標を達成するために、実装形態に特有の多数の決定がなされなければならないことを理解されたい。さらに、開発努力は複雑で時間がかかる可能性があるが、それでも、本開示の利益を有する当業者には、設計、製作、および製造の通常業務であり得ることを理解されたい。
本開示の様々な実施形態の要素を導入するときに、冠詞「a」、「an」、および「the」は、1つ以上の要素があることを意味することが意図されている。「含む(including)」および「有する(having)」という用語は、包括的であることが意図されており、列挙された要素以外に追加の要素があり得ることを意味する。さらに、本開示の「一実施形態(one embodiment)」、「実施形態(an embodiment)」、「実施形態(embodiments)」、および「いくつかの実施形態(some embodiments)」の参照は、列挙した特徴を組み込む追加の実施形態の存在を除外するように解釈されることを意図したものではないことを理解されたい。
上述のように、電子デバイスの画像処理回路は、画像処理回路が外部ディスプレイのフォロワとして動作するように、外部ディスプレイ用の画像データを準備し得る。このようにして、外部ディスプレイは、画像処理回路のタイミングを制御し得る。外部ディスプレイのフォロワとして画像処理回路を使用することに関する追加の詳細は、図1~図8を参照して以下で説明する。
はじめに、図1は、電子デバイス10のブロック図を示す。電子デバイス10は、コンピュータ、携帯電話、ポータブルメディアデバイス、ウェアラブルデバイス、タブレット、テレビ、仮想現実ヘッドセット、および車両ダッシュボードなどの任意の好適な電子デバイスであり得る。したがって、図1は特定の実装の一実施例に過ぎず、電子デバイス10内に存在し得る構成要素の種類を例示することを意図するものであることに留意されたい。
図示の実施形態では、電子デバイス10は、電子ディスプレイ12と、1つ以上の入力デバイス14と、1つ以上の入出力(I/O)ポート16と、1つ以上のプロセッサまたはプロセッサコアを有するプロセッサ18と、ローカルメモリ20と、メインメモリストレージデバイス22と、ネットワークインタフェース24と、電源26とを備える。図1に記載する様々な構成要素は、ハードウェア要素(例えば、回路)、ソフトウェア要素(例えば、命令を記憶する有形的非一時的コンピュータ可読媒体)、またはハードウェア要素とソフトウェア要素の両方の組み合わせを含んでもよい。図示の様々な構成要素は、組み合わされてより数の少ない構成要素になされてもよく、または分離されて追加の構成要素になされてもよいことを留意されたい。例えば、ローカルメモリ20およびメインメモリストレージデバイス22は、単一の構成要素に含めることができる。
プロセッサ18は、ローカルメモリ20および/またはメインメモリストレージデバイス22に記憶された命令を実行して、画像データを生成するおよび/または送信することなどの動作を実行し得る。したがって、プロセッサ18は、1つ以上のマイクロプロセッサ、1つ以上の特定用途向けプロセッサ(application specific processor、ASIC)、1つ以上のフィールドプログラマブルロジックアレイ(field programmable logic array、FPGA)、1つ以上のグラフィック処理ユニット(graphics processing unit、GPU)などの1つ以上のプロセッサを含み得る。さらに、前述するように、プロセッサ18は、実行可能命令に従ってそれぞれがデータを処理する1つ以上の別個の処理論理コアを含み得る。
ローカルメモリ20および/またはメインメモリストレージデバイス22は、実行可能命令、並びにプロセッサ18のコアによって処理されるべきデータを記憶し得る。したがって、ローカルメモリ20および/またはメインメモリ記憶デバイス22は、1つ以上の有形的非一時的コンピュータ可読媒体を含み得る。例えば、ローカルメモリ20および/またはメインメモリストレージデバイス22は、ランダムアクセスメモリ(random access memory、RAM)、読み出し専用メモリ(read only memory、ROM)、フラッシュメモリ、ハードドライブ、光ディスクなどの書き換え可能な不揮発性メモリを含み得る。
ネットワークインタフェース24は、ネットワーク接続を介して他の電子デバイスとデータを通信することを容易にし得る。例えば、ネットワークインタフェース24(例えば、無線周波数システム)は、電子デバイス10を、Bluetooth(登録商標)ネットワークなどのパーソナルエリアネットワーク(personal area network、PAN)、802.11x Wi-Fi(登録商標)ネットワークなどのローカルエリアネットワーク(local area network、LAN)、および/または4G、LTE、または5Gセルラネットワークなどの広域ネットワーク(wide area network、WAN)に通信可能に結合することを可能にし得る。ネットワークインタフェース24は、電子デバイス10に接続されたネットワークを介して通信するように構成された1つ以上のアンテナを含む。電源26は、充電式リチウムポリマー(lithium polymer、Li-poly)バッテリおよび/または交流(AC)電力変換器などの任意の好適なエネルギ源を含んでもよい。
I/Oポート16は、電子デバイス10がポート接続を使用して入力データおよび/または出力データを受信することを可能にし得る。例えば、ポータブルストレージデバイスをI/Oポート16(例えば、ユニバーサルシリアルバス(Universal Serial Bus、USB))に接続し、それによって、プロセッサ18がポータブルストレージデバイスとデータを通信することを可能にすることができる。I/Oポート16は、電子デバイス10から音声を出力する1つ以上のスピーカを含み得る。プロセッサ18は、プライマリプロセッサ(例えば、中央処理装置)の能力を補うように構成された1つ以上のコプロセッサまたは他のマイクロプロセッサを含み得る。
入力デバイス14は、ユーザ入力を受信することにより、電子デバイス10とのユーザ対話を容易にすることができる。例えば、入力デバイス14は、1つ以上のボタン、キーボード、マウス、トラックパッド、および/または同様なものを含んでもよい。入力デバイス14はまた、音声をキャプチャするために使用され得る1つ以上のマイクロフォンを含み得る。入力デバイス14は、電子ディスプレイ12内のタッチセンシング構成要素を含み得る。そのような実施形態では、タッチセンシング構成要素は、電子ディスプレイ12の表面にタッチする物体の存在および/または位置を検出することにより、ユーザ入力を受け取ることができる。
電子ディスプレイ12は、1つ以上の表示画素を有するディスプレイパネルを含み得る。電子ディスプレイ12は、表示画素からの発光を制御して、対応する画像データに少なくとも部分的に基づいて画像フレームを表示することにより、オペレーティングシステムのグラフィカルユーザインタフェース(graphical user interface、GUI)、アプリケーションインタフェース、静止画像、または動画コンテンツなどの、情報の視覚表現を提示し得る。いくつかの実施形態では、電子ディスプレイ12は、液晶ディスプレイ(liquid crystal display、LCD)を用いたディスプレイ、有機発光ダイオード(organic light-emitting diode、OLED)ディスプレイなどの自己発光型ディスプレイなどであり得る。
電子ディスプレイ12は、提示する画像データを画像処理回路27を介して受信することができる。画像処理回路27またはディスプレイパイプラインは、ディスプレイ12が画像データを提示することを可能にするために、プロセッサ18によって提供される画像データを処理する1つ以上の回路構成要素を含み得る。したがって、画像処理回路27は、補正(例えば、ベイヤーフィルタの適用)、ノイズ低減、画像スケーリング、ガンマ補正、画像強調、色空間変換(例えば、RGB、YUV、またはYCbCrなどのフォーマット間)、クロマサブサンプリング、フレームレート変換、画像圧縮/ビデオ圧縮(例えば、JPEG)、およびコンピュータデータ記憶/データ送信などの様々な動作を実行するための構成要素を含み得る。
いくつかの実施形態において、電子デバイス10は、外部ディスプレイ28に通信可能に結合され得る。外部ディスプレイ28は、モニタ、タブレット画面などの追加のディスプレイデバイスに対応し得る。加えて、外部ディスプレイ28は、電子眼鏡、ハンドヘルドデバイス、または電子デバイス10の外付けであっても電子デバイス10と別個でもあり得、かつ画像データを提示することができる、任意の適切なディスプレイデバイスを含み得る。ディスプレイ12および外部ディスプレイ28はそれぞれ、それぞれのクロック回路によって提供されるそれぞれのクロック信号を使用して動作し得る。画像データがディスプレイ12および外部ディスプレイ28によって経時的に提示されるにつれて、これらの2つのクロック回路から受信されるクロック信号は、互いに対してドリフトする可能性がある。その結果、ディスプレイ12および外部ディスプレイ28上に描画される画像データは、非同期になる可能性がある。外部ディスプレイ28および外部ディスプレイ12を介した画像データの提示をより良好に同期させるために、画像処理回路27は、画像データのフレームの時間の一部の間に外部ディスプレイ12からフォロワゴー信号を受信し得る。すなわち、画像データの各フレームは、フォロワゴー信号が外部ディスプレイ28から受信され得るアイドル部分を含み得る。フォロワゴー信号を受信したことに応答して、画像処理回路27は、画像データのフレームの残りの部分を処理し、結果として得られた画像データをディスプレイ12および外部ディスプレイ28に提供して、2つのディスプレイが画像データをより同期して提示することができるようにすることができる。実際、フォロワゴー信号は、ディスプレイ12が外部ディスプレイ28を制御するために使用されるクロック信号に基づいて動作することを保証し、それによって、2つのディスプレイが同期していることを保証する。
上述したように、電子デバイス10は、任意の好適な電子デバイスであってもよい。図示目的で、好適な電子デバイス10の一実施例、具体的にはハンドヘルドデバイス10Aを図2に示す。いくつかの実施形態では、ハンドヘルドデバイス10Aは、ポータブル電話機、メディアプレーヤ、パーソナルデータオーガナイザ、ハンドヘルドゲームプラットフォームおよび/または同様なものとすることができる。例えば、ハンドヘルドデバイス10Aは、アップル社から入手可能な任意のIPHONE(登録商標)モデルなどのスマートフォンとすることができる。
ハンドヘルドデバイス10Aは、エンクロージャ29(例えば、筐体)を含む。エンクロージャ29は、内部構成要素を物理的破損から保護するおよび/または電磁干渉から遮蔽することができる。図示した実施形態では、電子ディスプレイ12は、アイコン32のアレイを有するグラフィカルユーザインタフェース(GUI)30を表示している。例として、アイコン32が電子ディスプレイ12の入力デバイス14またはタッチセンシング構成要素のいずれかによって選択されると、対応するアプリケーションプログラムが起動し得る。
入力装置14は、エンクロージャ29を貫通して延びていてもよい。前述のように、入力デバイス14は、ユーザがハンドヘルドデバイス10Aと相互作用することを可能にし得る。例えば、入力デバイス14は、ユーザが、音声を記録すること、ハンドヘルドデバイス10Aをアクティブ若しくは非アクティブにすること、ユーザインタフェースをホーム画面にナビゲーションすること、ユーザインタフェースをユーザが構成変更可能なアプリケーション画面にナビゲーションすること、音声認識機能をアクティブにすること、音量制御を提供すること、および/または振動モードと鳴動モードとの間でトグルすることを可能にし得る。I/Oポート16もまた、エンクロージャ29を貫通して延びていてもよい。いくつかの実施形態では、I/Oポート16は、例えば、外部デバイスに接続するためのオーディオジャックを含み得る。前述したように、I/Oポート16は、ハンドヘルドデバイス10Aから音を出力する1つ以上のスピーカを含み得る。
好適な電子デバイス10の別の実施例は、図3に示すタブレットデバイス10Bである。例示のために、タブレットデバイス10Bは、アップル社から入手可能な任意のIPAD(登録商標)モデルとすることができる。好適な電子デバイス10の更なる実施例、具体的にはコンピュータ10Cを図4に示す。例示のために、コンピュータ10Cは、アップル社から入手可能な任意のMACBOOK(登録商標)またはIMAC(登録商標)モデルであり得る。好適な電子デバイス10の別の実施例、具体的にはウェアラブルデバイス10Dを図5に示す。例示のために、ウェアラブルデバイス10Dは、アップル社から入手可能な任意のAPPLE WATCH(登録商標)モデルであり得る。図示のように、タブレットデバイス10B、コンピュータ10C、およびウェアラブルデバイス10Dもそれぞれ、電子ディスプレイ12、入力デバイス14、およびエンクロージャ29を含む。
図6は、本明細書で説明される実施形態に従って使用され得る画像データのフレーム部分を示すブロック図である。図6を参照すると、画像データ50は、フレームN、N+1、およびN+2を含む。画像データ50の各フレームは、垂直同期(VSYNC)部分52と、垂直バックポーチ(VBP)部分54と、垂直フロントポーチ(VFP)部分56と、垂直アクティブ(VACTIVE)部分58とを含み得る。VSYNC部分52は、ディスプレイ12上の垂直行の画像データを同期させる同期パルスに関する情報を含み得る。VFP部分56およびVBP部分54は、アクティブエリア(例えば、VACTIVE部分58)の間にディスプレイ12によって見ることができる画像データ50の部分が指定されるように、VSYNC部分52の間にバッファリング期間を提供し得る。次いで、VACTIVE部分58は、ディスプレイ12の一部である画素の行のための画像データを提供し得る。
画像データ50が、ディスプレイ12および外部ディスプレイ28上に画像を描画するために使用されているとき、外部ディスプレイ28は、画像データ50のアイドル部分60の間にフォロワゴー信号を送信し得る。図6に示すように、アイドル部分60は、VACTIVE部分58の直後に生じる。いくつかの実施形態では、画像処理回路27は、プロセッサ18から画像データ50を受信して、ディスプレイ12によって表示される画像を処理して描画することができる。画像処理回路27が、画像データ50のアイドル部分60の間に外部ディスプレイ28からフォロワゴー信号を受信する場合、画像処理回路27は、VFP部分56に進んで、画像データの次のフレームの処理を開始し得る。
このことに留意すると、特定のアプリケーションは、ビデオタイミング動作が外部コンポーネント(例えば、外部ディスプレイ28)に従うように、画像処理回路27の動作を調整することを含み得る。したがって、アイドル部分60は、画像処理回路27のビデオタイミングが外部トリガに基づいて暗黙的に調整されることができるように、画像処理回路27と外部ディスプレイ28との間のビデオタイミング調整を容易にするために使用され得る。フォロワゴー信号に依存して画像データの次のフレームに進むことによって、画像処理回路27は、異なる水晶から導出されたクロックで動作する2つのエンティティ間のドリフトを回避するようにそのビデオタイミングを適合させることができる。
アイドル部分60の間、画像処理回路27のラインカウンタは、フォロワゴー信号が受信されない限り、通常通りに生成される水平タイミング信号を用いて、ライン粒度で増分され得る。フォロワゴー信号がアイドル部分60の間に受信された場合、ラインカウンタは、VFP部分56に遷移する前に後続のライン境界期間を待機することができ、通常通りカウントを継続する。アイドルの持続時間を制御することによって、画像処理回路27は、最大1ライン時間の粒度でターゲットタイミングを満たすようにフレーム時間を調整することができる。
外部装置(例えば、外部ディスプレイ28)は、有効な時間にフォロワゴー信号を発行することが期待される。画像処理回路27がアイドル部分60の外でフォロワゴー信号を受信した場合、画像処理回路27は無視され、フォロワゴー信号の欠落に対する予期せぬイベントを示すために割り込みがアサートされ得る。フレーム内の最初のそのような発生に対応するライン番号は、画像処理回路27によってデバッグ目的のためにログに記録される。
フォロワゴー信号が設定可能な時間(例えば、最大アイドル期間)内に画像処理回路27によって受信されない場合、画像処理回路27は、アイドル時間が経過したという予期せぬイベントを示すために割込みがアサートされた状態で、後続フレームのVFP部分56に遷移し得る。対応するライン番号は、デバッグのために画像処理回路27によってログに記録される。
上記を念頭に置いて、VFP部分56、VSYNC部分52、VBP部分54、およびVACTIVE部分58の間のライン割り込みは通常通りに挙動するが、画像処理回路27は、アイドル部分60の間にいかなるライン割り込みをも構成しない場合があることに留意されたい。いくつかの実施形態では、画像処理回路27は、少なくとも1ラインの間、アイドル部分60に留まることにより、外部ディスプレイ28がフォロワゴー信号を送信するのに十分な時間を確保する。したがって、起動時に、画像処理回路27は、アイドル部分60で開始し、VFP部分56に遷移する前にフォロワゴー信号を待機し得る。
いくつかの実施形態では、画像データのフレーム全体は、VACTIVE部分58がライン数の第1の部分を構成し、アイドル部分60がライン数の第2の部分を構成するように、特定の数のラインを含み得る。画像データのフレーム内の各ラインは、同一の持続時間を有する。したがって、画像処理回路27は、それぞれの新しいラインの先頭を追跡し、フォロワゴー信号を受信すると、次のラインの先頭で画像データの新しいフレームを開始し得る。しかしながら、フォロワゴー信号が受信されない場合、画像処理回路27は、代わりに、所定のまたは特定のライン番号の先頭で画像データの新しいフレームを開始し得る。すなわち、画像処理回路27は、フォロワゴー信号が所定のライン番号までに受信されない場合、所定のまたは特定のライン番号の先頭で画像データの新しいフレームを開始し得る。
図7は、画像処理回路27が2つ以上のディスプレイデバイスの画像データ50のタイミングを調整するために行うことができる方法70のフローチャートを示す。方法70は特定の順序で説明されるが、方法は任意の適切な順序で実行されてもよいことを理解されたい。加えて、方法70は画像処理回路27によって実行されるものとして記載されているが、任意の適切な処理回路が本明細書に記載の方法70を実行してもよいことに留意されたい。
次に図7を参照すると、ブロック72において、画像処理回路27は、画像データ50を受信し、ラインカウンタを開始し、フレームの先頭においてラインカウンタをトグルすることができる。したがって、画像処理回路27は、アイドル期間中に待機することによって画像データ50の処理を開始し得る。例として、図8は、上述したように、フォロワゴー信号の受信と画像データ50の処理の開始との間の関係を示すタイミング図100を示す。
図8を参照すると、時間t0において、画像処理回路27はラインカウンタを開始し、フォロワゴー信号を受信するまでラインカウンタのトグルを開始することができる。図7に戻って参照すると、ブロック72において、画像処理回路27は、フォロワゴー信号が外部デバイス(例えば、外部ディスプレイ28)から受信されたかどうかを判定することができる。フォロワゴー信号が受信されていない場合、画像処理回路27はブロック76に進み、最大アイドル期間が経過したかどうかを判定することができる。最大アイドル期間はユーザによって構成可能であり得て、画像処理回路27のクロックと外部デバイスのクロックとの間の予想されるドリフトなどに対応するために経時的に修正され得る。最大アイドル期間が経過していない場合、画像処理回路27はブロック74に戻り、フォロワゴー信号を監視し続けることができる。
最大アイドル期間が経過した後、画像処理回路27はブロック78に進み、最大アイドル期間の終わりにライン番号をログに記録するために割り込みを生成し得る。ライン番号は、最大アイドル期間が、外部デバイスがフォロワゴー信号などを送信することを可能にするのに十分であるかどうかを判定するために、デバッグ目的で使用され得る。次いで、画像処理回路27は、ブロック79において、画像データ50のフレームのVFP部分56を開始することによって、画像データ50の処理を開始し得る。
次いで、画像処理回路27は、ブロック82に進み、フォロワゴー信号が最大アイドル期間後に受信されたかどうかを判定し得る。最大アイドル期間が経過した後にフォロワゴー信号が受信された場合、画像処理回路27はブロック84に進み、割り込みを生成し、予期しないフォロワ信号のライン番号をログに記録し得る。次に、ログに記録されたライン番号が、画像データ50などの他のフレームの間に、アイドル部分60のより良好な同期に使用され得る。次いで、画像処理回路27は、ブロック86において、画像データ50のVACTIVE部分58が終了したかどうかを判定し、VACTIVE部分58が終了した後にブロック88に進み得る。ブロック88において、画像処理回路27は、ラインカウンタをトグルし、画像データのフレームのアイドル部分60を開始し得る。例えば、タイミング図100を参照すると、時間t2において、VACTIVE部分58が終了し、アイドル部分60が開始する。ブロック86において、画像処理回路27が、VACTIVE部分58の終わりに達していないと判定した場合、画像処理回路27はブロック82に戻ることができる。
ブロック74に戻って簡単に参照すると、画像処理回路27は、フォロワゴー信号を受信した後、ブロック80に進んでもよい。ブロック80において、画像処理回路27は、画像データ50のフレームのVFP部分56を開始することによって、画像データ50の処理を開始し得る。例えば、図8のタイミング図100の時間t1において、フォロワゴー信号102は、画像処理回路27によって受信されている可能性がある。いくつかの実施形態では、フォロワゴー信号102はパルスであり得、パルスの終了によって、画像処理回路27はブロック80に進むことができる。しかしながら、他の実施形態では、画像処理回路27は、フォロワゴー信号102の立ち上がりエッジで、またはフォロワゴー信号102の受信に関連する任意の他の適切な時点で、ブロック80に進み得ることに留意されたい。
VFP部分56の間に画像データのフレームの処理を開始した後、画像処理回路27はブロック86に進み、画像データ50のVACTIVE部分58が終了したかどうかを判定し得る。上述したように、画像処理回路27は、VACTIVE部分58が終了したか否かに応じて、ブロック88に進むか、ブロック82に戻ることができる。
上記の具体的な実施形態は、例として示されており、これらの実施形態は、様々な修正形態および代替形態が可能であり得ることを理解されたい。特許請求の範囲は、開示の特定の形態に限定されることは意図されておらず、むしろ、本開示の本旨および範疇内の全ての修正形態、均等物、および代替形態を包含することが意図されていることをさらに理解されたい。
本明細書に提示されており特許請求されている技法は、本技術分野を実証可能に改善する実用的な性質の有形物(material object)および実際の例に参照および適用され、よって、抽象的な、無形の、または純粋に理論的なものではない。さらに、本明細書の最後に添付された特許請求の範囲のいずれかが、「~[機能]を[実行]する手段」または「~[機能]を[実行]するステップ」として示された1つ以上の要素を含む場合、そのような要素が、米国特許法第112条(f)に従って解釈されることになることを意図している。しかし、任意の他の方法で示された要素を含む特許請求の範囲のいずれに関しても、そのような要素は、米国特許法第112条(f)に従って解釈されることにならないことを意図している。

Claims (20)

  1. プロセッサによって、画像データの第1のフレームを受信することと、ここで画像データの前記第1のフレームはアクティブ部分およびアイドル部分を有し、前記アクティブ部分は第1の電子デバイスの第1のディスプレイによって1つ以上の画像を提示するためのデータを有し、前記アイドル部分は前記プロセッサが画像データの第2のフレームを処理する前に待機する時間に対応し、
    画像データの前記第1のフレームの前記アイドル部分の間に、前記プロセッサによって第2の電子デバイスから信号を受信することと、ここで前記第2の電子デバイスは前記第1のディスプレイとは別個であり、
    画像データの前記第1のフレームの前記アイドル部分の間に前記第2の電子デバイスから前記信号が受信されたことに応答して、前記プロセッサによって画像データの前記第1のフレームに後続する画像データの第2のフレームを処理することと、をし、
    前記信号がパルスを有し、前記第2のフレームの処理が前記パルスの終わりに開始する、方法。
  2. 前記プロセッサによって前記時間が経過したか否かを判定することと、ここで前記時間の経過中には前記第2の電子デバイスから前記信号が受信されておらず、
    前記時間が経過したことに応答して、前記プロセッサによって画像データの前記第2のフレームの処理を開始することと、
    さらに有する、請求項1に記載の方法。
  3. 前記時間が設定可能である、請求項2に記載の方法。
  4. 前記画像データの前記第1のフレームは複数のラインを有し、前記信号を受信せずに前記時間が経過したことによって割り込みが発生した場合、前記プロセッサによって、前記複数のラインのうち前記割り込みに対応するライン番号をデバッグのためにメモリにログ記録することをさらに有する、請求項2に記載の方法。
  5. 前記画像データの前記第1のフレームは複数のラインを有し、前記第1のフレームの前記アクティブ部分で前記第2の電子デバイスから前記信号を受信した場合、前記プロセッサによって、前記複数のラインのうち前記信号の最初の受信に対応するライン番号をデバッグのためにメモリにログ記録すること、さらに有する、請求項2に記載の方法。
  6. 前記画像データの前記第1のフレームは複数のラインを有し、前記信号が前記アイドル部分で前記第2の電子デバイスから受信されていないことに応答して割り込みが発生した場合前記プロセッサによって、前記割り込みに対応するライン番号をデバッグのためにメモリにログ記録することをさらに有する、請求項1に記載の方法。
  7. 前記信号がパルスを有する、請求項1から6のいずれか1項に記載の方法。
  8. 画像データの前記第1のフレームの前記アイドル部分が、前記画像データの前記第2のフレームの垂直フロントポーチ(VFP)部分の直前にある、請求項1から6のいずれか1項に記載の方法。
  9. 前記パルスが第1の電圧から第2の電圧への第1の遷移と、前記第2の電圧から前記第1の電圧への第2の遷移とを有する、請求項1から6のいずれか1項に記載の方法。
  10. 前記プロセッサにより、画像データの前記第1のフレームに対応する複数のラインの各ラインの先頭を追跡し、前記信号を受信した場合、次のラインの先頭で前記第2のフレームの処理を開始することをさらに有する、請求項1から6のいずれか1項に記載の方法。
  11. ディスプレイと、
    画像処理回路と、を有する電子デバイスであって、
    前記画像処理回路は、
    画像データのフレームを受信し、ここで画像データの前記フレームはアクティブ部分およびアイドル部分を有し、前記アクティブ部分は第1の電子デバイスの第1のディスプレイによって1つ以上の画像を提示するためのデータを有し、
    画像データの前記フレームの前記アイドル部分の間に、追加のディスプレイから信号を受信し、ここで前記追加のディスプレイは前記ディスプレイとは別個であり、
    前記追加のディスプレイから前記信号が受信されたことに応答して、画像データの追加のフレームの処理を開始する、ように構成され、前記ディスプレイは第1のクロックに関連付けられ、前記追加のディスプレイは第2のクロックに関連付けられ、前記信号は、前記ディスプレイおよび前記追加のディスプレイによって提示されている、画像データの前記追加のフレームの1つ以上の追加画像を同期させるように構成される、電子デバイス。
  12. 前記画像処理回路は、前記ディスプレイおよび前記追加のディスプレイによって前記1つ以上の追加画像を提示するようにさらに構成される、請求項11に記載の電子デバイス。
  13. 前記第1のクロックは前記第2のクロックに対してドリフトしている、請求項11または12に記載の電子デバイス。
  14. 前記画像処理回路は、前記信号が前記追加のディスプレイから受信された後に、画像データの前記追加のフレームの処理を開始するようにさらに構成される、請求項13に記載の電子デバイス。
  15. 1つ以上の動作を実行するように構成された画像処理回路であって、前記1つ以上の動作が、
    画像データのフレームを受信することと、ここで画像データの前記フレームはアクティブ部分と、アイドル部分とを有し、前記アクティブ部分は第1の電子デバイスの第1のディスプレイによって1つ以上の画像を提示するためのデータを有し、画像データの前記フレームは画像データの複数のラインを有し、
    画像データの前記フレームの前記アイドル部分の間に第2の電子デバイスから信号を受信することと、ここで前記信号は前記複数のラインの第1のラインの間に受信され、前記第2の電子デバイスは第1のディスプレイと別個であり、
    前記第2の電子デバイスから前記信号を受信したことに応答して、画像データの前記フレームの処理を、前記第1のラインの直後の前記複数のラインの第2のラインで開始することと、
    を含む、画像処理回路。
  16. 前記1つ以上の動作は、
    時間が経過したか否かを判定することと、ここで前記時間の間には前記第2の電子デバイスから前記信号が受信されておらず、
    前記時間が経過したことに応答して、前記複数のラインの予め定められたラインで画像データの前記フレームの処理を開始することと、
    さらに含む、請求項15に記載の画像処理回路。
  17. 前記1つ以上の動作は、前記予め定められたラインの先頭で前記画像データの前記フレームの前記処理を開始するために前記複数のラインの各ラインの先頭を追跡することをさらに含む、請求項16に記載の画像処理回路。
  18. 前記1つ以上の動作は、前記アイドル部分の間に前記信号が前記第2の電子デバイスから受信されていないことに応答して割り込みが発生した場合に前記割り込みに対応する前記フレームのライン番号をデバッグのためにメモリにログ記録することをさらに、請求項15に記載の画像処理回路。
  19. 前記1つ以上の画像は、前記第1のディスプレイおよび、前記第2の電子デバイスの第2のディスプレイによって提示される、請求項15から18のいずれか1項に記載の画像処理回路。
  20. 前記第2の電子デバイスは第2のディスプレイを有する、請求項15から18のいずれか1項に記載の画像処理回路。
JP2023516620A 2020-09-14 2021-09-13 フォロワモードのビデオ動作 Active JP7454748B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063078300P 2020-09-14 2020-09-14
US63/078,300 2020-09-14
US17/148,512 US11537347B2 (en) 2020-09-14 2021-01-13 Follower mode video operation
US17/148,512 2021-01-13
PCT/US2021/050112 WO2022056407A1 (en) 2020-09-14 2021-09-13 Follower mode video operation

Publications (2)

Publication Number Publication Date
JP2023540396A JP2023540396A (ja) 2023-09-22
JP7454748B2 true JP7454748B2 (ja) 2024-03-22

Family

ID=80626737

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023516620A Active JP7454748B2 (ja) 2020-09-14 2021-09-13 フォロワモードのビデオ動作

Country Status (5)

Country Link
US (2) US11537347B2 (ja)
JP (1) JP7454748B2 (ja)
CN (1) CN116325714A (ja)
DE (1) DE112021004802T5 (ja)
WO (1) WO2022056407A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000236455A (ja) 1999-02-16 2000-08-29 Sony Corp 信号処理回路および信号処理システム
JP2002186785A (ja) 2000-12-20 2002-07-02 Intelligent Systems Co Ltd 通信ゲームシステム
JP2003071137A (ja) 2001-09-03 2003-03-11 Nintendo Co Ltd 通信ゲームシステム
JP2005261856A (ja) 2004-03-22 2005-09-29 Nintendo Co Ltd ゲームシステム、ゲーム装置、およびゲームプログラム
JP2014146009A (ja) 2013-01-30 2014-08-14 Canon Inc 映像処理システム、映像処理装置、およびそれらの制御方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6919899B2 (en) * 2002-10-19 2005-07-19 Via Technologies, Inc. Continuous graphics display for single display device during the processor non-responding period
KR100693863B1 (ko) 2005-09-12 2007-03-12 삼성전자주식회사 디스플레이 구동 회로
EP2129084B1 (en) * 2008-05-29 2010-11-24 Lg Electronics Inc. Transparent display and operation method thereof
US8736700B2 (en) 2010-09-30 2014-05-27 Apple Inc. Techniques for synchronizing audio and video data in an image signal processing system
KR102278506B1 (ko) * 2014-10-01 2021-07-16 삼성디스플레이 주식회사 표시 장치 및 그 구동 방법
KR20160099277A (ko) 2015-02-12 2016-08-22 삼성전자주식회사 멀티 디스플레이 장치
US9930222B2 (en) * 2016-03-09 2018-03-27 Intersil Americas LLC Method and system for smooth video transition between video sources
KR102424519B1 (ko) * 2018-01-04 2022-07-26 삼성전자 주식회사 디스플레이장치 및 그 제어방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000236455A (ja) 1999-02-16 2000-08-29 Sony Corp 信号処理回路および信号処理システム
JP2002186785A (ja) 2000-12-20 2002-07-02 Intelligent Systems Co Ltd 通信ゲームシステム
JP2003071137A (ja) 2001-09-03 2003-03-11 Nintendo Co Ltd 通信ゲームシステム
JP2005261856A (ja) 2004-03-22 2005-09-29 Nintendo Co Ltd ゲームシステム、ゲーム装置、およびゲームプログラム
JP2014146009A (ja) 2013-01-30 2014-08-14 Canon Inc 映像処理システム、映像処理装置、およびそれらの制御方法

Also Published As

Publication number Publication date
WO2022056407A1 (en) 2022-03-17
US11537347B2 (en) 2022-12-27
US20220083304A1 (en) 2022-03-17
CN116325714A (zh) 2023-06-23
US20230124009A1 (en) 2023-04-20
US11868162B2 (en) 2024-01-09
DE112021004802T5 (de) 2023-07-27
JP2023540396A (ja) 2023-09-22

Similar Documents

Publication Publication Date Title
US10019968B2 (en) Variable refresh rate display synchronization
JP6894976B2 (ja) 画像円滑性向上方法および装置
CN108702480B (zh) 电子设备和用于驱动其显示器的方法
JP6598408B2 (ja) 表示方法および端末デバイス
TWI575368B (zh) 用於降低三維(3d)應用程式工作負載的裝置及方法以及電腦可讀取儲存媒體
JP2017519318A (ja) フレーム内ブランキング
TWI540891B (zh) 媒體播放工作量排程器
US10978027B2 (en) Electronic display partial image frame update systems and methods
JP2012177902A (ja) グラフィックコンテンツの外部ディスプレイへのミラーリング
JP6329649B2 (ja) 電子ディスプレイ、コンピューティングデバイス、それらの方法、及びコンピュータプログラム
US11442528B2 (en) Electronic display power management systems and methods
US20160277706A1 (en) Electronic display telecine pulldown systems and methods
US20160267881A1 (en) Seamless video transitions
CN109119012A (zh) 开机启动方法与电路
CN115151969A (zh) 用以补偿被延迟的图形处理单元渲染时间的被减少的显示处理单元传送时间
JP7454748B2 (ja) フォロワモードのビデオ動作
US20190027114A1 (en) Collision avoidance schemes for displays
JP6776504B2 (ja) 画像伝送装置及び画像伝送システム、並びに画像伝送装置の制御方法
US20190303322A1 (en) Direct interrupt routing for display processing
WO2021164002A1 (en) Delaying dsi clock change based on frame update to provide smoother user interface experience
US11758259B2 (en) Electronic apparatus and controlling method thereof
KR102118523B1 (ko) 전자 장치 및 그 제어 방법
US8976163B2 (en) Using clock detect circuitry to reduce panel turn-on time
US20150373512A1 (en) Information processing method, terminal apparatus and information processing system

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230426

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230530

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230426

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20230530

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230915

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240311

R150 Certificate of patent or registration of utility model

Ref document number: 7454748

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150