JP6554184B2 - ソフトプロセッサベースの画像信号ソースシステムおよび画像信号処理方法 - Google Patents

ソフトプロセッサベースの画像信号ソースシステムおよび画像信号処理方法 Download PDF

Info

Publication number
JP6554184B2
JP6554184B2 JP2017561953A JP2017561953A JP6554184B2 JP 6554184 B2 JP6554184 B2 JP 6554184B2 JP 2017561953 A JP2017561953 A JP 2017561953A JP 2017561953 A JP2017561953 A JP 2017561953A JP 6554184 B2 JP6554184 B2 JP 6554184B2
Authority
JP
Japan
Prior art keywords
control block
module
programmable logic
configuration
image signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017561953A
Other languages
English (en)
Other versions
JP2018523205A (ja
Inventor
彭▲ちえん▼
付文明
叶金平
沈亜非
陳凱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Jingce Electronic Group Co Ltd
Original Assignee
Wuhan Jingce Electronic Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Jingce Electronic Group Co Ltd filed Critical Wuhan Jingce Electronic Group Co Ltd
Publication of JP2018523205A publication Critical patent/JP2018523205A/ja
Application granted granted Critical
Publication of JP6554184B2 publication Critical patent/JP6554184B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26291Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for providing content or additional data updates, e.g. updating software modules, stored at the client
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4331Caching operations, e.g. of an advertisement for later insertion during playback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643Communication protocols

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Stored Programmes (AREA)
  • Image Processing (AREA)

Description

本発明は、画像信号ソースシステムの分野に関し、より詳細には、ソフトプロセッサベースの画像信号ソースシステムおよび画像信号処理方法に関する。
現在の画像信号ソースシステムは、ハードプロセッサ(ARM)に基づいており、ハードプロセッサとプログラマブルロジックデバイス(FPGA)との間の協働によって実現される。 ARMに基づく画像信号ソースシステムには、次のような問題がある。
1.電源を入れた後、最初の画像を出力する時間が長い。ARMによって確立された信号ソースシステム画像データがARMの周辺にあるフラッシュ(flash)に保存されると、電源を入れた後に、まずARMが起動され、次に画像データがフラッシュから読み取られてARMのDDRに送信され、次にARMのDDRから読み出されたデータは、相互接続バスを介してFPGAのDDRに伝送される。最後に、FPGAの制御論理ブロックは、FPGAのDDRから画像データを読み出し、画像データを画像出力インタフェースに出力する。全体のプロセスは複雑であり、最初に電源を入れたときに、最初の画像を出力するのに長い時間を要する。
2.画像データの伝送効率が低い。画像信号は、オンラインで出力されても、オフラインで出力されても、最初にARMによって処理された後、相互接続バスを介してFPGAに送信され、最終的に、画像信号の出力種類に基づいてFPGAによって処理された後、異なるインタフェースから出力される。プロセス全体が煩雑であり、画像信号の伝送効率が低い。
3.アーキテクチャが複雑であり、コストが高い。 ARMによって確立された画像信号ソースシステムは、FPGAと一緒にARMによって実現され、複雑なハードウェアアーキテクチャおよびソフトウェアアーキテクチャをもたらし、ハードウェアおよびソフトウェアの開発および保守コストが増加する。
4.システムの遠隔アップグレード速度が遅い。ARMによって確立された画像信号ソースシステムの外部リモート接続は、主にARMのイーサネット機能に基づく。 特に、FPGAプログラムの遠隔アップグレード処理では、最初にイーサネットを介してARMにプログラムファイルが送信され、次にARMによりシリアルバスを介してFPGAのFLASHに書き込まれる。アップグレードプロセス全体の時間が比較的長い。
本発明の目的は、上述した技術背景に鑑みてなされたものであり、その目的とするところは、簡単な構成で、低コストで効率よく画像信号を出力するソフトプロセッサベースの画像信号ソースシステムと画像信号処理方法を提供することである。
本発明の技術的解決法は以下の通りである。ソフトプロセッサベースの画像信号ソースシステムは、出力インタフェースと、第1ソフトプロセッサと、プロトコルスタックと、マスタ制御ブロックとを含む。第1ソフトプロセッサ、プロトコルスタックおよびマスタ制御ブロックは、1つのプログラマブルロジックデバイス内に配置される。
プログラマブルロジックデバイスは、上位コンピュータの構成情報に基づいて画像ファイルを画像信号に変換して出力するように構成される。
プロトコルスタックは、上位コンピュータによって送信された構成情報および画像ファイルを受信するように構成される。
第1ソフトプロセッサは、構成情報に従ってマスタ制御ブロックを構成し、プログラマブルロジックデバイスにおけるタスクスケジューリング、ファイルシステム管理、制御命令の分析と分配、および前記プログラマブルロジックデバイス内の各制御ブロックのワークフローの制御を担当するように構成される。
マスタ制御ブロックは、第1ソフトプロセッサの構成コマンドに従って画像ファイルを処理し、大容量のデータを送信するとともに、バスの切替および多重化を行い、出力インタフェースに画像信号を出力するように構成されている。
好ましくは、上記の技術的解決策は、イーサネットトランシーバモジュールおよび外部データ記憶モジュールをさらに備える。
イーサネットトランシーバモジュールは、前記プログラマブルロジックデバイスを前記上位コンピュータと通信させるように構成される。
外部データ記憶モジュールは、前記構成情報および前記画像ファイルを記憶するように構成される。
好ましくは、上記の技術的解決策は、複合プログラマブルロジックモジュールおよび不揮発性記憶モジュールをさらに備える。
上記の技術的解決策では、プロトコルスタックは、上位コンピュータによって送信されたプログラムファイルおよびプログラム構成またはアップグレード命令を受信するようにさらに構成される。
複合プログラマブルロジックモジュールは、プログラマブルロジックデバイスのプログラム構成またはアップグレードを実行するように構成される。
不揮発性記憶モジュールは、プログラマブルロジックデバイスのプログラム構成またはアップグレードを実行するプログラムファイルを記憶するように構成される。
また、本発明は、ソフトプロセッサベースの画像信号処理方法であって、
(1)上位コンピュータによって送信された構成情報および画像ファイルをプロトコルスタックが受信し、
(2)第1ソフトプロセッサが、前記構成情報に従ってマスタ制御ブロックを構成し、
(3)前記マスタ制御ブロックは、前記第1ソフトプロセッサの構成コマンドに従って画像ファイルを処理し、画像信号を生成する。
好ましくは、上記の技術的解決策は、第1ソフトプロセッサの構成コマンドに従って、出力インタフェースのインタフェースタイプの構成を完了する工程をさらに含む。
好ましくは、上記の技術的解決策は、プログラム構成またはアップグレード方法をさらに含み、
(s1)プロトコルスタックは、上位コンピュータによって送信されたプログラム構成またはアップグレード命令を受信し、
(s2)第1ソフトプロセッサは、プログラム構成またはアップグレード命令に従って複合プログラマブルロジックモジュールに制御命令を送信し、
(s3)プロトコルスタックは、上位コンピュータによって送信されたプログラムファイルを受信し、そのプログラムファイルをキャッシュし、
(s4)複合プログラマブルロジックモジュールは、前記制御命令に従ってキャッシュされた後のプログラムファイルを読み取り、プログラマブルロジックデバイスのプログラム構成またはアップグレードを完了する。
本発明では、画像信号ソースシステムはシングルモードFPGA(プログラマブルロジックデバイス)を採用し、ソフトプロセッサを埋め込んで画像信号処理機能を持たせ、CPLD(複合プログラマブルロジックモジュール)を用いて画像信号ソースシステムの更新プログラム管理やFPGAのローディングスタートアップ処理を行い、 ARMアーキテクチャを省略し、ARMアーキテクチャに基づく信号ソースシステムの複雑なデータ処理を減らすため、システムの遠隔アップデートの速度が速く、画像出力のオンラインまたはオフライン伝送効率が高く、画像の切り替え速度が速い。 さらに、ソフトプロセッサベースの信号ソースシステムのシステムアーキテクチャは単純であり、ハードウェアのコストは低く、ソフトウェアの開発および保守コストが低い。
本発明の回路図である。 本発明による遠隔アップグレードを開始するフローチャートである。 本発明によるオンライン画像信号出力のフローチャートである。 本発明によるオフライン画像信号出力のフローチャートである。
以下、本発明の実施の形態を図面を参照して詳細に説明するが、本発明はこれらの実施の形態に限定されるものではない。
本実施形態では、プログラマブルロジックデバイス3は、FPGAに基づいて実現される。複合プログラマブルロジックモジュール5は、CPLDに基づいて実現される。埋込み型記憶制御ブロックは、eMMCメモリ(eMMCフラッシュ埋込み型メモリ)に基づいて実現される。不揮発性記憶モジュール6は、Nandフラッシュ(Nandフラッシュメモリ)に基づいて実現される。
図1に示すように、本発明のソフトプロセッサベースの画像信号ソースシステムは、イーサネットトランシーバモジュール2、プログラマブルロジックデバイス3、外部データ記憶モジュール4、複合プログラマブルロジックモジュール5、Nand記憶モジュール6、出力インタフェース7を備えている。それぞれの接続系統は次のとおりである。前記イーサネットトランシーバモジュール2の入力制御端は、上位コンピュータ1に接続されている。前記イーサネットトランシーバモジュール2の出力制御端は、プログラマブルロジックデバイス3の入力制御端に接続されている。前記プログラマブルロジックデバイス3のデータ制御端は、外部データ記憶モジュール4の入力端が接続されている。前記プログラマブルロジックデバイス3の画像出力端は、出力インタフェース7の入力端に接続されている。前記プログラマブルロジックデバイス3のインタフェース制御端は、複合プログラマブルロジックモジュール5の入力端に接続されている。前記プログラマブルロジックデバイス3の構成入力端は、複合プログラマブルロジックモジュール5のデータ出力端に接続されている。前記複合プログラマブルロジックモジュール5のデータ制御端は、Nand記憶モジュール6の入力端が接続されている。
上記の解決策において、プログラマブルロジックデバイス3は、第1ソフトプロセッサ31、プロトコルスタック32、マスタ制御ブロック33、eMMC記憶制御ブロック34、DDR(DDR SDRAM、ダブルデータレートシンクロナスダイナミックランダムアクセスメモリ)キャッシュ制御ブロック35、画像出力制御ブロック36を備えている。前記プロトコルスタック32の入力端は、上位コンピュータ1に接続されている。前記プロトコルスタック32のコマンド出力端は、第1ソフトプロセッサ31の入力端に接続されている。前記プロトコルスタック32の出力制御端は、マスタ制御ブロック33の入力制御端に接続されている。前記第1ソフトプロセッサ31の制御端は、マスタ制御ブロック33のコマンド制御端に接続されている。前記マスタ制御ブロック33のデータ記憶制御端は、eMMC記憶制御ブロック34の入力端に接続されている。前記マスタ制御ブロック33のデータキャッシュ制御端は、DDRキャッシュ制御ブロック35の入力端に接続されている。前記マスタ制御ブロック33の出力端は、画像出力制御ブロック36の入力端に接続されている。前記画像出力制御ブロック36の出力端は、出力インタフェース7の入力端に接続されている。
上記の技術的解決策において、プログラマブルロジックデバイス3は、マスタ外部記憶インタフェース制御ブロック37および構成モジュール38をさらに含む。前記マスタ制御ブロック33のインタフェース制御端は、マスタ外部記憶インタフェース制御ブロック37の入力端に接続される。前記マスタ外部記憶インタフェース制御ブロック37の出力端は、複合プログラマブルロジックモジュール5の入力端に接続されている。前記構成モジュール38の入力端は、複合プログラマブルロジックモジュール5のデータ出力端と接続されている。
上記の技術的解決策において、外部データ記憶モジュール4は、eMMC外部記憶モジュール41とDDR外部キャッシュモジュール42とを含む。前記eMMC外部記憶モジュール41の入力端は、eMMC記憶制御ブロック34の出力端と接続されている。前記DDR外部キャッシュモジュール42の入力端は、DDRキャッシュ制御ブロック35の出力端と接続されている。
上記の技術的解決策において、出力インタフェース7は、第1出力インタフェース71、第2出力インタフェース72、第3出力インタフェース73、および第4出力インタフェース74を備える。前記第1出力インタフェース71、第2出力インタフェース72、第3出力インタフェース73、第4出力インタフェース74は、画像出力制御ブロック36の4つの出力端にそれぞれ接続されている。
上記の技術的解決策では、複合プログラマブルロジックモジュール5は、スレーブ外部記憶インタフェース制御ブロック51、第2ソフトプロセッサ52、Nand記憶制御ブロック53、およびロードモジュール54を含む。前記スレーブ外部記憶インタフェース制御ブロック51の入力端は、プログラマブルロジックデバイス3のインタフェース制御端に接続される。前記スレーブ外部記憶インタフェース制御ブロック51のコマンド出力端は、第2ソフトプロセッサ52の入力端に接続される。前記スレーブ外部記憶インタフェース制御ブロック51のデータ出力端は、Nand記憶制御ブロック53のデータ入力端に接続されている。前記第2ソフトプロセッサ52の制御端は、Nand記憶制御ブロック53のコマンド制御端に接続されている。前記Nand記憶制御ブロック53のデータ制御端は、Nand記憶モジュール6の入力端に接続されている。前記Nand記憶制御ブロック53のデータ出力端は、ロードモジュール54の入力端に接続されている。前記ロードモジュール54の出力端は、プログラマブルロジックデバイス3の構成入力端に接続されている。
上記の技術的解決策において、各制御ロジックモジュールの機能は以下の通りである。
上位コンピュータ(PC)1は、人間とコンピュータの相互作用、信号ソースシステム画像出力パラメータの編集、画像出力の制御、および遠隔アップグレードのために使用される。
イーサネットトランシーバモジュール2は、上位コンピュータからデータを受信してプログラマブルロジックデバイスに送信し、プログラマブルロジックデバイスからデータを受信して上位コンピュータに送信するように構成されている。
プログラマブルロジックデバイス(FPGA)3は、システム全体の中核部分である。プログラマブルロジックデバイス3には、ソフトプロセッサ(nios ii A)および自己定義機能モジュールが統合され、画像信号を出力し、上位コンピュータと通信する。
第1ソフトプロセッサ(nios ii A)31は、プログラマブルロジックデバイスにおけるタスクスケジューリング、ファイルシステム管理、制御命令の分析と分配、および各制御ブロックのワークフローの制御を担当する。
プロトコルスタック32は、イーサネットトランスポートプロトコル層上にあり、イーサネットによって送信されたデータを分析し、コマンドデータをnios ii Aに送信し、画像ファイルをマスタ制御ブロックに送信するように構成される。
マスタ制御ブロック33は、主に、大容量のデータを送信するとともに、バスの切替および多重化を行う。これは特に、第1ソフトプロセッサの制御命令に従って画像ファイルを処理し、画像ファイルを出力インタフェースに出力するために使用される。
eMMC記憶制御ブロック34は、主にマスタ制御ブロックとデータ取引を行い、eMMC外部記憶モジュールを読み書きするために使用される。
eMMC外部記憶モジュール41は、外部記憶ユニットであり、主に構成情報および画像ファイルを記憶するように構成されている。
DDRキャッシュ制御ブロック35は、マスタ制御ブロックとデータ取引を行い、DDR外部キャッシュモジュールを読み書きする。
DDR外部キャッシュモジュール42は、外部データキャッシュユニットであり、処理対象のデータを一時的に格納するように構成されている。
画像出力制御ブロック36は、主にマスタ制御ブロックとデータ取引を行い、異なる外部出力インタフェースに応じて出力インタフェースの種類を異ならせて、画像ファイルを出力する。
マスタ外部記憶インタフェース制御ブロック37は、主にマスタ制御ブロックとデータ取引を行い、外部バスを制御してCPLDへデータ伝送を行う。
構成モジュール38は、複合プログラマブルモジュールによって送信されたアップグレードプログラムに従い、プログラマブルロジックデバイスのプログラム構成を実行することによって、プログラマブルロジックデバイスを開始するように構成される。プログラマブルロジックデバイスのハードウェアロジック構成に属する。最初にプログラマブルロジックデバイスがモジュール構成を構成して初期化状態に入り、その後に使用状態に入ることにより、ユーザの操作が可能になる。
第1出力インタフェース71は、主として、LVDSインタフェースタイプの画像出力インタフェースを提供するように構成され、インタフェースは、1link/ 2 link / 4link/ 8 linkのLVDSインタフェースタイプをサポートする。
第2出力インタフェース72は、主として、MIPIインタフェースタイプの画像出力インタフェースを提供するように構成され、インタフェースは、4lane/ 8laneのMIPI DSIインタフェースタイプをサポートする。
第3出力インタフェース73は、主として、DPインタフェースタイプの画像出力インタフェースを提供するように構成され、インタフェースは、4lane/ 8laneのDP1.2インタフェースタイプをサポートする。
第4出力インタフェース74は、主として、V-BY-ONEインタフェースタイプの画像出力インタフェースを提供するように構成され、インタフェースは、8lane/ 16laneのV-BY-ONEインタフェースタイプをサポートする。
複合プログラマブルロジックモジュール(CPLD)5は、プログラマブルロジックデバイス3のプログラムファイルを記憶するためのメモリを外部に搭載し、プログラマブルロジックデバイス3と通信してプログラムのアップグレードを完了し、プログラマブルロジックデバイスのプログラム構成を実行してプログラマブルロジックデバイスの起動を完了させる。
スレーブ外部記憶インタフェース制御ブロック51は、プログラマブルロジックデバイスとバスインタラクションを行い、プログラマブルロジックデバイスの構成プログラム及びコマンドデータを受信し、構成プログラムをNand記憶制御ブロックに送信し、コマンドデータを第2ソフトプロセッサに送る。
第2ソフトプロセッサ(nios ii B)52は、CPLDにおけるタスクスケジューリング、コマンド分析、およびワークフローの制御を処理するように構成される。
Nand記憶制御ブロック53は、スレーブ外部記憶インタフェース制御ブロックからデータを受信するように構成され、データは外部Nand記憶モジュールに記憶される。また、Nand記憶制御ブロック53は、記憶モジュールからデータを読み出し、ロードモジュールに送り、第2ソフトプロセッサから制御命令を受信するように構成されている。
ロードモジュール54は、Nand記憶制御ブロックからプログラマブルロジックデバイスのアップグレードプログラムを受信し、外部バスを介してプログラマブルロジックデバイス上でプログラム構成を実行するように構成される。
Nand記憶モジュール6は、CPLDの外部記憶コントローラであり、プログラマブルロジックデバイスのプログラムファイルを保存するように構成されている。
ソフトプロセッサベースの画像信号ソースシステムは、単一のプログラマブルロジックデバイスを採用する。nios iiソフトプロセッサは、その中に埋め込まれ、画像信号ソースシステムの機能を実現するように構成されている。主要信号処理作用には、遠隔プログラムの構成又はアップグレード、画像信号のオンライン出力、画像情報のオンラインダウンロード及び画像信号のオフライン出力を含む。
1.図2に示すように、遠隔プログラムの構成またはアップグレード動作は以下の通りである。
1.1)環境が確立される。画像信号ソースシステムは上部コンピュータに接続されている。
1.2)上位コンピュータ1は、イーサネットトランシーバモジュール2を介してプロトコルスタック32にプログラム構成またはアップグレード命令を送る。プロトコルスタック32は、受信したプログラム構成またはアップグレード命令を第1ソフトプロセッサ31に送る。第1ソフトプロセッサ31がプログラム構成又はアップグレード命令を受信すると、マスタ制御ブロック33及びマスタ外部記憶インタフェース制御ブロック37を制御することにより、プログラム構成又はアップグレード命令が複合プログラマブルロジックモジュール5内の第2ソフトプロセッサ52に送られる。
1.3)上位コンピュータ1は、画像信号ソースシステムの構成プログラムまたはアップグレードプログラムファイルを、分析のためにイーサネットトランシーバモジュール2を介してプロトコルスタック32に送る。プロトコルスタック32で分析されたプログラムファイルは、マスタ制御ブロック33およびDDRキャッシュ制御ブロック35を介して、DDR外部キャッシュモジュール42に保存される。
1.4)第1ソフトプロセッサ31がプログラムを受信して保存した後、マスタ制御ブロック33とDDRキャッシュ制御ブロック35を制御することにより、DDR外部キャッシュモジュール42からプログラムファイルを読み出し、マスタ外部記憶インタフェース制御ブロック37を介して、複合プログラマブルロジックモジュール5内のスレーブ外部記憶インタフェース制御ブロック51に送る。
1.5)スレーブ外部記憶インタフェース制御ブロック51は、第2ソフトプロセッサ52によって制御され、プログラム構成またはアップグレード命令に従って、プログラムファイルを受信する。プログラムファイルは、Nand記憶制御ブロック53を介してNand記憶モジュール6に記憶される。
1.6)画像信号ソースシステムが次にパワーオンとされた後、最初に、複合プログラマブルロジックモジュール5が自己始動する。
1.7)CPLDの開始後、CPLD内の第2ソフトプロセッサ52によって、プログラマブルロジックデバイス3のブートプログラム構成、すなわち、プログラム構成またはアップグレード命令に従って、Nand記憶制御ブロック53が制御され、Nand記憶モジュール6から対応する構成プログラムまたはアップグレードプログラムファイルを読み出し、ロードモジュール54に送信する。
1.8)ロードモジュール54は、外部バスを介して、プログラマブルロジックデバイス3の構成モジュール38にプログラムファイルを送信する。構成モジュール38がプログラムファイルを受信した後、プログラム構成またはアップグレードを完了するために、プログラムの構成がプログラマブルロジックデバイス上で実行される。
2.図3に示すように、画像信号のオンライン出力は以下の通りである。
2.1)環境が確立される。画像信号ソースシステムは、画像信号ソースシステムを開くためにPCに接続されている。
2.2)上位アプリケーションソフトウェアが開かれる。オンライン画像出力が選択される。対応するモジュール情報は、出力インタフェースのタイプを考慮して選択される。開始ボタンがクリックされる。
2.3)上位コンピュータ1は、分析のために、イーサネットトランシーバモジュール2を介して、プロトコルスタック32に構成情報及び画像ファイルを送信する。
2.4)プロトコルスタック32は、分析された構成情報を、第1ソフトプロセッサ31に送る。第1ソフトプロセッサ31は、受け取った構成情報に従って、マスタ制御ブロック33の機能切り替えを構成し、画像出力制御ブロック36を設定することにより出力インタフェースのタイプを選択し、各ロジックブロックの協働作用を制御する。
2.5)第1ソフトプロセッサ31の情報構成が完了した後、分析された画像ファイルは、プロトコルスタック32によってマスタ制御ブロック33に送られる。マスタ制御ブロック33が画像ファイルを受信した後、画像ファイルはDDRキャッシュ制御ブロック35に送られる。画像ファイルは、DDRキャッシュ制御ブロック35を介して、DDR外部キャッシュモジュール42に書き込まれる。
2.6)画像ファイルが保存された後、上位コンピュータ1は、第1ソフトプロセッサ31に画像出力命令を送る。第1ソフトプロセッサ31は、マスタ制御ブロック33及びDDRキャッシュ制御ブロック35を制御し、受信された命令に従って、DDR外部キャッシュモジュール42からの画像を読み取る。この画像ファイルは、画像出力制御ブロック36に送られる。画像出力制御ブロック36は、設定された出力インタフェースを介して、同じ画像または異なる画像を出力して表示する。画像出力制御ブロック36は、第1ソフトプロセッサ31が画像切替命令を受信すると、異なるコマンドに従ってDDR外部キャッシュモジュール42から異なる画像ファイルを読み出して出力するように制御する。画像切替命令を受信していない場合は、現在の画像出力表示が保持される。
3.オフライン出力動作は、オンラインダウンロードとオフライン出力に分けられる。オンラインダウンロードとは、上位コンピュータが画像ファイル及び構成情報を送信し、画像ファイル及び構成情報がプログラマブルロジックデバイスの外部記憶領域(eMMC外部記憶モジュール)に記憶されることを意味する。そして、次回に画像信号ソースシステムの電源がオフであることを条件として、画像ファイルを再度読み出し、対応するインタフェースを介して出力する。図4に示すように、具体的な処理は以下の通りである。
3.1)環境が確立される。画像信号ソースシステムは、上位コンピュータに接続され、画像信号ソースシステムを開く。
3.2)上位アプリケーションソフトウェアが開かれる。ダウンロード画像情報の操作が選択される。対応するモジュール情報は、出力インタフェースのタイプを考慮して選択される。開始ボタンがクリックされる。
3.3)上位コンピュータ1は、分析のために、イーサネットトランシーバモジュール2を介して、プロトコルスタック32に構成情報及び画像ファイルを送信する。
3.4)プロトコルスタック32は分析された構成情報と画像ファイルをマスタ制御ブロック33に送る。マスタ制御ブロック33は構成情報と画像ファイルを受信して、DDRキャッシュ制御ブロック35に送る。構成情報およびイメージファイルは、DDRキャッシュ制御ブロック35を介してDDR外部キャッシュモジュール42に書き込まれる。
3.5)マスタ制御ブロック33及びDDRキャッシュ制御ブロック35は、第1ソフトプロセッサ31によって制御され、DDR外部キャッシュモジュール42から構成情報及び画像ファイルを読み出す。構成情報及び画像ファイルは、eMMC記憶制御ブロック34に送られる。構成情報および画像ファイルは、オンラインダウンロードを実現するために、eMMC記憶制御ブロック34によってeMMC外部記憶モジュール41に保存される。
3.6)次に画像信号ソースシステムがパワーオンとされた後、マスタ制御ブロック33およびeMMC記憶制御ブロック34は、第1ソフトプロセッサ31によって制御され、eMMC外部記憶モジュール41から構成情報を読み取る。構成情報は、DDRキャッシュ制御ブロック35に送られ、DDR外部キャッシュモジュール42に保存される。DDRキャッシュ制御ブロック35は、マスタ制御ブロック33によって制御され、DDR外部キャッシュモジュール42から構成情報を読み出し、構成情報は第1ソフトプロセッサ31に送られる。
3.7)第1ソフトプロセッサ31は、マスタ制御ブロック33と画像出力制御ブロック36の機能切り替えを構成し、構成情報に応じて出力インタフェースの種類を選択する。
3.8)構成後、eMMC記憶制御ブロック34は、マスタ制御ブロック33によって制御され、eMMC外部記憶モジュール41から画像ファイルを読み出す。画像ファイルは、DDRキャッシュ制御ブロック35に送られ、DDR外部キャッシュモジュール42に保存される。
3.9)DDRキャッシュ制御ブロック35は、マスタ制御ブロック33によって制御され、DDR外部キャッシュモジュール42から画像ファイルを読み出す。画像ファイルは、画像出力制御ブロック36に送られる。画像出力制御ブロック36は、構成された出力インタフェースを介して、同じ画像または異なる画像を出力および表示する。
本明細書に詳細に記載されていない内容は、当該技術分野において既知の先行技術に属する。
1 上位コンピュータ
2 イーサネットトランシーバモジュール
3 プログラマブルロジックデバイス
31 第1ソフトプロセッサ
32 プロトコルスタック
33 マスタ制御ブロック
34 eMMC記憶制御ブロック(埋込み型記憶制御ブロック
35 DDRキャッシュ制御ブロック
36 画像出力制御ブロック
37 マスタ外部記憶インタフェース制御ブロック
38 構成モジュール
4 外部記憶モジュール
41 eMMC外部記憶モジュール(埋込み型記憶モジュール
42 DDR外部キャッシュモジュール
5 複合プログラマブルロジックモジュール
51 スレーブ外部記憶インタフェース制御ブロック
52 第2ソフトプロセッサ
53 Nand記憶制御ブロック(不揮発性記憶制御ブロック)
54 ロードモジュール
Nand記憶モジュール(不揮発性記憶モジュール
7 出力インタフェース
71 第1出力インタフェース
72 第2出力インタフェース
73 第3出力インタフェース
74 第4出力インタフェース

Claims (8)

  1. ソフトプロセッサベースの画像信号ソースシステムであって、出力インタフェース(7)と、第1ソフトプロセッサ(31)と、プロトコルスタック(32)と、マスタ制御ブロック(33)を含み、前記第1ソフトプロセッサ(31)、プロトコルスタック(32)及びマスタ制御ブロック(33)は、1つのプログラマブルロジックデバイス(3)内に配置され、
    前記プログラマブルロジックデバイス(3)は、上位コンピュータの構成情報に基づいて画像ファイルを画像信号に変換して出力するように構成され、
    前記プロトコルスタック(32)は、前記上位コンピュータによって送信された構成情報および画像ファイルを受信するように構成され、
    前記第1ソフトプロセッサ(31)は、構成情報に従って前記マスタ制御ブロック(33)を構成し、プログラマブルロジックデバイス(3)におけるタスクスケジューリング、ファイルシステム管理、制御命令の分析と分配、および前記プログラマブルロジックデバイス(3)内の各制御ブロックのワークフローの制御を担当するように構成され、
    前記マスタ制御ブロック(33)は、前記第1ソフトプロセッサ(31)の構成コマンドに従って画像ファイルを処理し、大容量のデータを送信するとともに、バスの切替および多重化を行い、前記画像信号を出力インタフェース(7)に出力するように構成され
    前記画像信号ソースシステムは、複合プログラマブルロジックモジュール(5)および不揮発性記憶モジュール(6)をさらに含み、前記プロトコルスタック(32)は、さらに、上位コンピュータによって送信されたプログラムファイルおよびプログラム構成またはアップグレード命令を受信するように構成され、
    前記複合プログラマブルロジックモジュール(5)は、前記プログラマブルロジックデバイス(3)のプログラム構成またはアップグレードを実行するように構成され、
    前記不揮発性記憶モジュール(6)は、プログラマブルロジックデバイス(3)のプログラム構成またはアップグレードを実施するプログラムファイルを記憶するように構成される
    ことを特徴とする、ソフトプロセッサベースの画像信号ソースシステム
  2. 前記画像信号ソースシステムは、イーサネットトランシーバモジュール(2)および外部データ記憶モジュール(4)をさらに備え、前記イーサネットトランシーバモジュールは、前記プログラマブルロジックデバイス(3)を前記上位コンピュータと通信させるように構成され、前記外部データ記憶モジュール(4)は、構成情報及び画像ファイルを記憶するように構成される、請求項1に記載のソフトプロセッサベースの画像信号ソースシステム
  3. 前記外部データ記憶モジュール(4)は、埋込み型記憶モジュール(41)とDDR外部キャッシュモジュール(42)を含み、前記プログラマブルロジックデバイス(3)は、埋込み型記憶制御ブロック(34)と、DDRキャッシュ制御ブロック(35)と、画像出力制御ブロック(36)をさらに含み、
    前記埋込み型記憶モジュール(41)は、前記構成情報および画像ファイルを記憶するように構成され、
    前記DDR外部キャッシュモジュール(42)は、前記構成情報および画像ファイルを一時的に記憶するように構成され、
    前記埋込み型記憶制御ブロック(34)は、前記埋込み型記憶モジュール(41)を読み書きするように構成され、
    前記DDRキャッシュ制御ブロック(35)は、前記DDR外部キャッシュモジュール(42)を読み書きするように構成され、
    前記画像出力制御ブロック(36)は、前記第1ソフトプロセッサ(31)の構成コマンドに従って出力インタフェース(7)のインタフェースタイプの構成を完了するように構成される
    ことを特徴とする請求項2に記載のソフトプロセッサベースの画像信号ソースシステム
  4. 前記プログラマブルロジックデバイス(3)は、マスタ外部記憶インタフェース制御ブロック(37)および構成モジュール(38)をさらに備え、前記マスタ外部記憶インタフェース制御ブロック(37)は、前記マスタ制御ブロック(33)とのデータ相互作用を行い、外部バスを制御して、前記複合プログラマブルロジックモジュール(5)にデータを送信するように構成され、前記構成モジュール(38)は、前記複合プログラマブルロジックモジュール(5)によって送信されたプログラムファイルに従って、プログラマブルロジックデバイス(3)でプログラム構成またはアップグレードを行うように構成される、請求項1に記載のソフトプロセッサベースの画像信号ソースシステム
  5. 前記複合プログラマブルロジックモジュール(5)は、スレーブ外部記憶インタフェース制御ブロック(51)と、第2ソフトプロセッサ(52)と、不揮発性記憶制御ブロック(53)と、ロードモジュール(54)を含み、前記スレーブ外部記憶インタフェース制御ブロック(51)は、前記プログラムファイル及びプログラム構成又はアップグレード命令を受信するように構成され、前記第2ソフトプロセッサ(52)は、前記プログラム構成またはアップグレード命令に従って、前記スレーブ外部記憶インタフェース制御ブロック(51)および不揮発性記憶制御ブロック(53)の作用フローを制御するように構成され、前記不揮発性記憶制御ブロック(53)は、プログラムファイルを前記不揮発性記憶モジュール(6)に保存し、プログラムファイルを不揮発性記憶モジュール(6)から読み出し、プログラムファイルをロードモジュール(54)に送信するように構成され、前記ロードモジュール(54)は、前記不揮発性記憶制御ブロック(53)からプログラムファイルを受信し、外部バスを介してプログラムファイルをプログラマブルロジックデバイス(3)に送信するように構成される、請求項4に記載のソフトプロセッサベースの画像信号ソースシステム
  6. ソフトプロセッサベースの画像信号処理方法であって、
    (1)プロトコルスタック(32)は、上位コンピュータ(1)によって送信された構成情報および画像ファイルを受信し、
    (2)第1ソフトプロセッサ(31)は、前記構成情報に従ってマスタ制御ブロック(33)を構成し、
    (3)前記マスタ制御ブロック(33)は、画像信号を生成するために前記第1ソフトプロセッサ(31)の構成コマンドに従って画像ファイルを処理する
    ことを特徴とし、
    さらに、プログラム構成またはアップグレードの方法を含み、
    (s1)プロトコルスタック(32)は、上位コンピュータ(1)によって送信されたプログラム構成またはアップグレード命令を受信し、
    (s2)第1ソフトプロセッサ(31)は、前記プログラム構成またはアップグレード命令に従って制御命令を複合プログラマブルロジックモジュール(5)に送信し、
    (s3)プロトコルスタック(32)は、上位コンピュータ(1)によって送信されたプログラムファイルを受信し、プログラムファイルがキャッシュされ、
    (s4)複合プログラマブルロジックモジュール(5)は、制御命令に従ってキャッシュされた後のプログラムファイルを読み取ることによってプログラマブルロジックデバイス(3)のプログラム構成またはアップグレードを完了する
    ことを特徴とするソフトプロセッサベースの画像信号処理方法。
  7. 前記第1ソフトプロセッサ(31)の構成コマンドに従って、出力インタフェース(7)のインタフェースタイプの構成を完了する工程をさらに含むことを特徴とする請求項6に記載のソフトプロセッサベースの画像信号処理方法。
  8. 前記工程(s4)は、
    (s4.1)スレーブ外部記憶インタフェース制御ブロック(51)は、第2ソフトプロセッサ(52)によって、制御命令に従ってプログラムファイルを受信するように制御され、プログラムファイルは不揮発性記憶制御ブロック(53)を介して不揮発性記憶モジュール(6)に記憶され、
    (s4.2)画像信号がパワーオンされた後に、複合プログラマブルロジックモジュール(5)が最初に始動し、不揮発性記憶制御ブロック(53)は、第2ソフトプロセッサ(52)によって制御され、不揮発性記憶モジュール(6)からプログラムファイルを読み出し、プログラムファイルをロードモジュール(54)に送り、
    (s4.3)プログラムファイルは外部バスを介してロードモジュール(54)によってプログラマブルロジックデバイスの構成モジュール(38)に送られ、構成モジュール(38)がプログラムファイルを受け取った後、プログラム構成およびアップグレードを完了するためにプログラマブルロジックデバイス(3)で実行される
    請求項6に記載のソフトプロセッサベースの画像信号処理方法。
JP2017561953A 2015-05-28 2016-05-17 ソフトプロセッサベースの画像信号ソースシステムおよび画像信号処理方法 Active JP6554184B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201510282198.1 2015-05-28
CN201510282198.1A CN104935786B (zh) 2015-05-28 2015-05-28 一种基于软处理器的图像信号源及其处理图像信号的方法
PCT/CN2016/082324 WO2016188344A1 (zh) 2015-05-28 2016-05-17 一种基于软处理器的图像信号源及其处理图像信号的方法

Publications (2)

Publication Number Publication Date
JP2018523205A JP2018523205A (ja) 2018-08-16
JP6554184B2 true JP6554184B2 (ja) 2019-07-31

Family

ID=54122734

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017561953A Active JP6554184B2 (ja) 2015-05-28 2016-05-17 ソフトプロセッサベースの画像信号ソースシステムおよび画像信号処理方法

Country Status (4)

Country Link
JP (1) JP6554184B2 (ja)
KR (1) KR102012120B1 (ja)
CN (1) CN104935786B (ja)
WO (1) WO2016188344A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104935786B (zh) * 2015-05-28 2018-03-27 武汉精测电子集团股份有限公司 一种基于软处理器的图像信号源及其处理图像信号的方法
CN105573789B (zh) * 2015-09-07 2017-08-08 武汉精测电子技术股份有限公司 基于软核处理器的fpga多镜像升级加载方法及装置
CN105704543A (zh) * 2016-01-26 2016-06-22 武汉精测电子技术股份有限公司 一种便携式图像信号源及其控制方法
CN107071324A (zh) * 2017-01-25 2017-08-18 上海电气集团股份有限公司 一种视觉图像处理系统及其设计方法
CN108933841A (zh) * 2017-05-27 2018-12-04 嘉兴鹏武电子科技有限公司 一种射频前端设备的控制方法及装置
CN108228127B (zh) * 2018-01-09 2022-07-01 武汉精测电子集团股份有限公司 用于产生spi接口图形信号的装置及图形信号发生器
CN112114836A (zh) * 2019-06-19 2020-12-22 西安诺瓦星云科技股份有限公司 文件更新方法、装置及系统、存储介质和显示箱体
CN110730304B (zh) * 2019-10-25 2022-06-28 北京凯视佳光电设备有限公司 一种加速图像采集和显示的智能相机
CN112486515B (zh) * 2020-11-29 2022-09-30 中国航空工业集团公司洛阳电光设备研究所 一种基于1K-XModem协议的FPGA软件在线升级方法
CN113867836B (zh) * 2021-09-24 2024-06-11 哈尔滨工程大学 用于fpga的装置、程序动态加载方法及数据传输方法
CN115167885B (zh) * 2022-08-03 2024-02-06 江苏新质信息科技有限公司 一种多fpga系统的上电后程序加载方法及系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001202236A (ja) * 2000-01-20 2001-07-27 Fuji Xerox Co Ltd プログラマブル論理回路装置によるデータ処理方法、プログラマブル論理回路装置、情報処理システム、プログラマブル論理回路装置への回路再構成方法
JP2005035396A (ja) * 2003-07-15 2005-02-10 Stanley Electric Co Ltd 車載用情報処理装置
CN101751881B (zh) * 2008-12-10 2012-07-04 群康科技(深圳)有限公司 外接图像信号源的液晶显示装置
CN101625754A (zh) * 2009-08-05 2010-01-13 黄以华 一种基于fpga的图像处理系统
JP5423419B2 (ja) * 2010-01-21 2014-02-19 富士ゼロックス株式会社 データ処理装置
CN101923840B (zh) * 2010-06-12 2012-05-02 武汉大学 基于可编程逻辑器件的大容量超高速图像数字信号发生器
CN102136970B (zh) * 2011-02-22 2013-01-30 北京航空航天大学 基于lxi的并行多通道可重构仪器
CN102158728A (zh) * 2011-04-08 2011-08-17 北京理工大学 视频图像处理系统延时检测方法
CN104199707A (zh) * 2014-09-12 2014-12-10 武汉精测电子技术股份有限公司 对fpga进行升级的系统和方法
CN104407885B (zh) * 2014-10-31 2017-11-10 武汉精测电子技术股份有限公司 同时对多台图形发生器内的fpga进行程序加载的方法
CN104572211B (zh) * 2015-01-23 2017-10-10 武汉精测电子技术股份有限公司 基于arm的fpga程序多镜像加载方法
CN104935786B (zh) * 2015-05-28 2018-03-27 武汉精测电子集团股份有限公司 一种基于软处理器的图像信号源及其处理图像信号的方法

Also Published As

Publication number Publication date
KR20180012327A (ko) 2018-02-05
CN104935786A (zh) 2015-09-23
KR102012120B1 (ko) 2019-08-19
CN104935786B (zh) 2018-03-27
WO2016188344A1 (zh) 2016-12-01
JP2018523205A (ja) 2018-08-16

Similar Documents

Publication Publication Date Title
JP6554184B2 (ja) ソフトプロセッサベースの画像信号ソースシステムおよび画像信号処理方法
CN105573789B (zh) 基于软核处理器的fpga多镜像升级加载方法及装置
CN105573800B (zh) 一种基于zynq的单板或多板系统及在线更新方法
US20180074828A1 (en) Setting a startup parameter and controlling startup of a mainboard
CN106557442B (zh) 一种芯片系统
WO2016047312A1 (ja) 車両制御装置、リプログラミングシステム
CN107277390B (zh) 一种基于Zynq多路视频拼接系统
CN104077166B (zh) 基于fpga中ip核的epcs与epcq存储器在线升级方法
CN107015914B (zh) 数据标定方法及系统
CN109669729A (zh) 一种处理器的启动引导方法
JP2016045954A (ja) 不揮発制御によるrfモジュール初期化システム及び方法
JP6233418B2 (ja) モータ制御プログラム転送システム、上位コントローラ、モータ制御装置及びモータ制御プログラム転送方法
WO2016033941A1 (zh) Boot在线升级装置及方法
JP2005173747A (ja) フィールド機器のメモリ更新システム
KR20160131359A (ko) 메모리 모듈, 메모리 모듈의 모듈 콘트롤러 및 메모리 모듈의 동작 방법
CN106528217B (zh) 一种现场可编程门阵列程序加载系统和方法
JP2004021867A (ja) 情報処理システム
WO2012033595A1 (en) Disabling circuitry from initiating modification, at least in part, of state-associated information
CN105871571A (zh) 一种传感器网络管理方法及系统
JP2010039737A (ja) プログラマブルコントローラ高速化方式およびこの方式によるプログラマブルコントローラ
CN102929677B (zh) 多数字信号处理器的加载系统及方法
CN113075915A (zh) 基于em-plant的虚拟仿真实现方法、系统及设备
CN104598259A (zh) 对经三防处理的io控制器进行软件在线烧写装置及方法
CN104077156A (zh) 可程序化中央处理单元的重新启动系统及其方法
JP2019016124A (ja) プログラマブルコントローラ

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190225

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190513

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190612

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190624

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190705

R150 Certificate of patent or registration of utility model

Ref document number: 6554184

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250