JP6261696B2 - 画像処理装置、およびその制御方法 - Google Patents

画像処理装置、およびその制御方法 Download PDF

Info

Publication number
JP6261696B2
JP6261696B2 JP2016189422A JP2016189422A JP6261696B2 JP 6261696 B2 JP6261696 B2 JP 6261696B2 JP 2016189422 A JP2016189422 A JP 2016189422A JP 2016189422 A JP2016189422 A JP 2016189422A JP 6261696 B2 JP6261696 B2 JP 6261696B2
Authority
JP
Japan
Prior art keywords
input means
sdi
image
input
payload
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016189422A
Other languages
English (en)
Other versions
JP2017037321A (ja
Inventor
琢哉 小菅
琢哉 小菅
匡昭 西埜
匡昭 西埜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016189422A priority Critical patent/JP6261696B2/ja
Publication of JP2017037321A publication Critical patent/JP2017037321A/ja
Application granted granted Critical
Publication of JP6261696B2 publication Critical patent/JP6261696B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、画像処理装置、およびその制御方法に関するものである。
画像信号のブランキング期間に画像の画素値とは別のデータを重畳し、画像信号と同時に伝送する技術が知られている。例えば、SMPTE(the Society of Motion Picture and Television Engineers)が規格を定めているSDI(Serial Digital Interface)信号がある。SMPTE ST 291:2010規格において、SDI信号の水平および垂直ブランキング期間にAncillary Data(補助データ)を重畳して伝送する方式が、規定されている。補助データの種類としては様々なものが規定されている。例えば、SMPTE 12M−2−2008で規定されているTime Code、SMPTE ST 352:2010で規定されているVideo Payload Identification Code(以下、Payloadと略記)が知られている。
Time Codeは、画像信号の各フレーム(インターレースの場合は各フィールドの場合もある)の撮影時の「時」、「分」、「秒」、「フレーム番号」のデータであり、画像編集時の時間位置合わせなどに使用される。Time Codeは、「01:23:45:01」のようなフォーマットの文字列で表示される。Time Codeは、「フレーム番号」を含んだデータであるから、通常、フレームごと(インターレースの場合はフィールドごとの場合もある)に変化する。Paylodは、画像信号のカラーフォーマット(4:2:2 Y/Cb/Crなど)やフレームレート(24/1.001Hzなど)を表すデータであり、画像処理装置の画像処理制御に使用される。Payloadは、画像信号のフォーマットが変化したときに同時に変化するデータであり、通常は頻繁に変化するデータではない。なお、SMPTE ST 352:2010では、カラーフォーマットを「sampling structre」と表記している。また、フレームレートを「picture rate」と表記している。
補助データは、SMPTE ST 291:2010に規定されているように特別な画素値000h、3FFh、3FFh(16進数、Ancillary Data Flag)から開始される。よって、その画素値を検出して続く補助データをメモリに記録するハードウエアとハードウエアのメモリからデータを読み出して処理するCPUとで構成される手段で、補助データを取得することが可能である。例えば、特許文献1には、アナログビデオ信号に重畳されたデータを取得する方法が開示されており、同様の考え方をデジタル方式であるSDIにも適用可能である。Time Codeは、フレームごと(インターレースの場合はフィールドごとの場合もある)に変化するデータであるから、前述のハードウエアとCPUによる取得処理もフレームごと(インターレースの場合はフィールドごとの場合もある)に行う必要がある。
近年、いわゆる4K×2Kのような高精細の画像信号を扱う画像処理装置が実用化されている。このような画像処理装置では、従来の画素数を大幅に上回る画素数の画像信号を入力するために、複数の画像入力インタフェースを同時に並列に使用して画像信号を入力する場合がある。このような画像処理装置では、例えば、SDI入力手段端子を4端子、または、8端子使用して画像信号を入力する。画像入力端子を複数有する画像処理装置では、各入力端子に同一のフォーマットの画像信号を入力する運用と、異なるフォーマットの画像信号を入力する運用が考えられる。入力端子ごとにフォーマットが異なる場合、画像信号のフレームレートやフレームの切り替わりタイミングも端子ごとに異なる。フォー
マットが異なる条件で、前述の補助データ取得を行う場合、それぞれの端子に対してハードウエアとCPUによる取得処理をフレームごとに行う必要がある。しかも、フレームごとの処理タイミングが端子ごとに異なる。
よって、従来、フォーマットが異なる複数の入力端子から補助データを取得するために、ハードウエアとCPUを入力端子の数に応じて複数備える構成とすることが一般的であった。また、補助データに関する処理をすべてハードウエアとして実装し、そのハードウエアを入力端子の数に応じて複数備える構成とすることもあった。例えば、Time Codeに関する処理として、SDI信号からTime Codeを取り出し、解析して文字列データに変換し、フォントデータを用いて画像に変換し、画像信号に画像を重ね合わせる処理がある。これら一連の処理がハードウエアとして実装されていた。
特開平9−289628号公報
しかしながら、上述した従来の技術では、ハードウエアとCPUを入力端子の数に応じて複数備える必要があり、画像処理装置の複雑化を招いていた。そこで、本発明では、1個のCPUで複数の入力端子の補助データを取得可能とすることにより、従来よりも単純な構成の画像処理装置およびその制御方法を提供することを目的とする。
本発明は、画像信号がそれぞれ独立に入力される複数の入力手段と、
前記入力手段ごとに設けられ、画像信号のブランキング期間に伝送され補助データを記憶する複数の記憶手段と、
前記複数の入力手段のうちいずれか1つを同期対象の入力手段、それ以外の入力手段を非同期対象の入力手段とし、前記同期対象の入力手段に補助データが伝送されるブランキング期間が終了したとに応じて、前記同期対象の入力手段に対応する記憶手段から補助データ取得を開始し、前記同期対象の入力手段に対応する記憶手段からの補助データの取得と同期して前記非同期対象の入力手段のうち少なくとも1つの入力手段に対応する記憶手段から補助データを取得する取得処理を行う取得手段と、
を備えることを特徴とする画像処理装置である
本発明は、画像信号がそれぞれ独立に入力される複数の入力手段と、
前記入力手段ごとに設けられ、画像信号のブランキング期間に伝送され補助データを記憶する複数の記憶手段と、
を有する画像処理装置の制御方法であって、
前記複数の入力手段のうちいずれか1つを同期対象の入力手段、それ以外の入力手段を非同期対象の入力手段とし、前記同期対象の入力手段に補助データが伝送されるブランキング期間が終了したとに応じて、前記同期対象の入力手段に対応する記憶手段から補助データ取得を開始し、前記同期対象の入力手段に対応する記憶手段からの補助データの取得と同期して前記非同期対象の入力手段のうち少なくとも1つの入力手段に対応する記憶手段から補助データを取得する取得処理を行う工程
を有することを特徴とする画像処理装置の制御方法である
入力端子が複数であっても、1個のCPUで複数の入力端子の補助データを取得可能とすることにより、画像処理装置を従来よりも単純な構成とすることができる。
実施例に係る画像表示装置の構成を示す図 CPUによる制御、SDI入力手段、SDIレシーバによる処理を示す図 実施例1に係るCPUの処理を示すフローチャート 実施例3に係るCPUの処理を示すフローチャート
(実施例1)
本実施例では、画像入力手段として4個のSDI入力手段を有する画像表示装置に本発明を適用する例を示す。本実施例の画像表示装置は、Time Code(タイムコード)に関しては、4個のSDI入力手段からTime Code取得対象として1個を選択し、その選択されたSDI入力手段からTime Codeを取得する。本実施例の画像表示装置は、Payload(ペイロード)に関しては、4個のSDI入力手段すべてから取得する。なお、本実施例では画像表示装置の一部を構成する画像処理装置への本発明の適用例を説明するが、本発明において表示機能を有することは必須ではなく、表示機能を有さない画像処理装置にも本発明を適用可能である。
本実施例における画像表示装置の構成を説明する。図1は、本実施例における画像表示装置の構成を示す図である。画像表示装置は、4個のSDI入力手段としてSDI入力手段101、SDI入力手段102、SDI入力手段103、SDI入力手段104を有する。画像表示装置は、4個のSDIレシーバとしてSDIレシーバ1、SDIレシーバ2、SDIレシーバ3、SDIレシーバ4を有する。SDIレシーバ1は、その内部に、内部処理部121、検出部131、FIFO141を有する。SDIレシーバ2は、その内部に、内部処理部122、検出部132、FIFO142を有する。SDIレシーバ3は、その内部に、内部処理部123、検出部133、FIFO143を有する。SDIレシーバ4は、その内部に、内部処理部124、検出部134、FIFO144を有する。
なお、SDIレシーバ2、SDIレシーバ3、SDIレシーバ4の内部構成は、図1には示していないが、SDIレシーバ1と同様の内部構成である。画像表示装置内部では、4系統の画像信号経路により、各SDIレシーバから出力された画像信号151、画像信号152、画像信号153、画像信号154が伝送される。さらに、画像表示装置は、セレクタ161、CPU162、画像処理部163、ビデオ結合部164、拡大縮小部165、ビデオグラフィックス合成部166、グラフィックス生成部167、液晶パネル168を有する。画像表示装置は、Time Code記憶部169、Payload記憶部111、Payload記憶部112、Payload記憶部113、Payload記憶部114を有する。
画像表示装置を構成する各要素について説明する。SDI入力手段101〜104は、SDI信号を入力する手段であり、それぞれSDIレシーバ1〜4へ接続される。SDIレシーバ1〜4は、SDI信号を受信しSDI信号をLVTTL(Low Voltage Transistor−Transistor Logic)レベル信号などの別の形式の画像信号151〜154に変換する。さらに、SDIレシーバ1〜4は、SDI信号から補助データを取り出す。内部処理部121は、SMPTE 292−2008規格などに定められた、NRZI(Non Return to Zero)変換を含む処理を実施するが、詳細な説明は割愛する。
検出部131は、SMPTE ST 291:2010に定められたフォーマットに従い、内部処理部121が出力した画像信号から補助データを検出し、検出したデータをFIFO141へ書き込む。FIFO141は、検出部131により書き込まれた補助データを記憶する。セレクタ161は、画像信号151〜154から1個の画像信号を選択し、CPU162に割り込みを発生させる基準となる信号(割り込み源)として出力する。CPU162は、ソフトウエアとして実装された本実施例に係る各種制御を実行する。C
PU162は、FIFO141〜144から補助データを読み出す。また、CPU162は、セレクタ161が選択した画像信号を割り込み源とし、セレクタ161が選択した画像信号の変化に応じて、動作のタイミングを制御することができる。
画像処理部163は、CPU162の制御に応じて、画像信号151〜154に対し、色空間変換などの画像信号処理を実施する。ビデオ結合部164は、4系統の画像信号を1系統に合成する。拡大縮小部165は、画像信号に対し拡大または縮小処理を実施する。ビデオグラフィックス合成部166は、拡大縮小部165が出力した画像信号とグラフィックス生成部167が出力したグラフィックス信号を合成する。グラフィックス生成部167は、CPU162の制御に従い、グラフィックス信号を生成する。液晶パネル168は、ビデオグラフィックス合成部が出力した画像信号を表示する表示装置である。
Time Code記憶部169は、CPU162が取得したTime Codeを記憶するためのメモリである。Payload記憶部111は、CPU162がSDIレシーバ1から取得したPayloadを記憶するためのメモリである。Payload記憶部112は、CPU162がSDIレシーバ2から取得したPayloadを記憶するためのメモリである。Payload記憶部113は、CPU162がSDIレシーバ3から取得したPayloadを記憶するためのメモリである。Payload記憶部114は、CPU162がSDIレシーバ4から取得したPayloadを記憶するためのメモリである。
前述の通り、本実施例の画像表示装置は、Time Codeに関しては、SDI入力手段101〜104から1個を選択し、選択されたSDI入力手段からTime Codeを取得する。選択の方法としては、例えば、操作者が選択するためのユーザーインターフェースを備え、操作者が選択したSDI入力手段からTime Codeを取得する方法がある。以下、Time Code取得対象としてSDI入力手段101が選択された場合を例に説明する。
本実施例におけるCPU162による制御について、SDI入力手段101〜104から入力されるSDI信号、SDIレシーバ1〜4による処理との時間上の関連を含めて、説明する。図2は、CPU162による制御、SDI入力手段101〜104から入力されるSDI信号、SDIレシーバ1〜4による処理およびそれらの時間上の関連を示す図である。
図2を用いて、SDI入力手段101〜104について説明する。
SDI入力手段101は、画像表示装置へSDI信号を入力するSDI入力手段のひとつである。SDI信号は、大きく分けて、垂直ブランキング期間と垂直有効画像期間に分かれる。ここで、垂直ブランキング期間とは、1ライン期間に有効画素を含まないラインで構成される期間である。垂直有効画像期間とは、全画像期間のうち、垂直ブランキング期間ではない期間である。さらに、垂直ブランキング期間の中に、Time CodeとPayloadが含まれる。なお、図面の簡略化のために、図2では、Time CodeをTC、PayloadをPLと表している。
Time CodeおよびPayloadの挿入タイミングは、SMPTE 12M−2−2008およびSMPTE ST 352:2010に詳しく規定されている。本実施例では、Time CodeおよびPayloadの挿入タイミングが垂直ブランキング期間に含まれている場合を例に説明する。垂直ブランキング期間の開始から垂直有効画像期間の終了までの期間が、プログレッシブ画像の場合の1フレーム期間、インターレースまたはProgressive Segmented Frame信号の場合の1フィールド期間である。
SDI入力手段102は、画像表示装置へSDI信号を入力するSDI入力手段のひとつである。SDI入力手段101から入力されるSDI信号と比べ、1フレーム期間(インターレース信号の場合、1フィールド期間。以下同様)の長さは同一であるが、1フレーム期間(1フィールド期間)の開始位置は異なる。
SDI入力手段103は、画像表示装置へSDI信号を入力するSDI入力手段のひとつである。SDI入力手段101から入力されるSDI信号と比べ、1フレーム期間(1フィールド期間)の長さが異なる。
SDI入力手段104は、画像表示装置へSDI信号を入力するSDI入力手段のひとつである。SDI入力手段101から入力されるSDI信号と比べ、1フレーム期間(1フィールド期間)の長さが異なる。さらに、SDI入力手段104から入力されるSDI信号は、SDI入力手段103から入力されるSDI信号と比べ、1フレーム期間(1フィールド期間)の長さは同一であるが、1フレーム期間(1フィールド期間)の開始位置は異なる。
なお、以上説明した図2に示すSDI入力手段101〜104から入力されるSDI信号のフォーマットは説明のための一例であり、上述のフォーマットとは異なる画像信号が入力される画像表示装置にも本発明は適用可能である。
図2を用いて、SDIレシーバ1〜4の処理について説明する。
SDIレシーバ1の処理について説明する。SDI入力手段101にTime Codeが伝送されたとき、SDIレシーバ1の検出部131がTime Codeを検出し、FIFO141へ書き込む。検出方法としては、Time CodeのDIDが60h(16進数)、SDIDが60h(16進数)であるため(詳細は、SMPTE 12M−2−2008参照)、その値を見つけることにより、Time Codeを検出する。ここで、DIDはData Identifier、SDIDはSecondary Data Identifierである。
SDI入力手段101にPayloadが伝送されたとき、SDIレシーバ1の検出部131がPayloadを検出し、FIFO141へ書き込む。検出方法としては、PayloadのDIDが41h(16進数)、SDIDが01h(16進数)であるため(詳細は、SMPTE ST 352:2010参照)、その値を見つけることにより、Payloadを検出する。
SDIレシーバ2の処理について説明する。SDI入力手段102にPayloadが伝送されたとき、SDIレシーバ2の検出部132がPayloadを検出し、FIFO142へ書き込む。検出方法は、SDIレシーバ1の処理と同様である。SDI入力手段102は、Time Codeの取得対象として選択されていない(非同期処理対象である)ため、SDIレシーバ2の処理としては、Time Codeを取得する処理は含まれない。
SDIレシーバ3の処理について説明する。SDIレシーバ2と同様、SDIレシーバ3は、Payloadを取得し、Time Codeを取得しない。
SDIレシーバ4の処理について説明する。SDIレシーバ2と同様、SDIレシーバ4は、Payloadを取得し、Time Codeを取得しない。
前述の通り、操作者が、SDI入力手段101〜104から、Time Code取得
対象(同期処理対象)として1個を選択する。操作者の選択に応じて、SDIレシーバ1〜4の動作を制御する方法を説明する。SMPTE ST 291:2010にて詳細に規定されているように、Time CodeやPayloadを含む補助データは、DIDおよびSDIDで識別することができる。よって、画像表示装置は、SDIレシーバ1に対して、Time CodeおよびPayloadを示すDIDおよびSDIDを持つ補助データを取り込むように設定する。画像表示装置は、SDIレシーバ2〜4に対して、Payloadを示すDIDおよびSDIDを持つ補助データを取り込むように設定する。以上の設定により、SDIレシーバ1がTime CodeおよびPayloadを取得し、SDIレシーバ2〜4がPayloadを取得することができる。
CPU162の処理について説明する。
CPU162は、操作者がTime Code取得対象として選択したSDI入力手段に応じて、セレクタ161を設定し、画像信号151〜154からCPU162の割り込み源を選択する。本実施例では、操作者がSDI入力手段101をTime Code取得対象として選択しているため、CPU162は、SDI入力手段101の画像信号151を割り込み源として選択する。
より詳細には、CPU162は、画像信号151が垂直ブランキング期間から垂直有効画像期間に遷移したとき、割り込みを発生させる。例えば、CPU162は、画像信号151に含まれるSAV(Start of Active Video)およびEAV(End of Active Video)のVビットの値が1から0へ変化したとき、割り込みを発生させる。これは、Vビットの値は、画像信号151が垂直ブランキング期間であるとき1、画像信号151が垂直有効画像期間であるとき0であるからである(詳細は、SMPTE 292−2008参照)。
割り込みの発生タイミングは、画像信号151に依存するが、図2においては、SDI入力手段101から入力されるSDI信号が垂直ブランキング期間から垂直有効画像期間に遷移したとき、割り込みが発生するように記載してある。SDI入力手段101から入力されるSDI信号と画像信号151との遅延量は小さい。そのため、垂直ブランキング期間から垂直有効画像期間に遷移するタイミングは、SDI入力手段101から入力されるSDI信号と画像信号151とでほぼ同一とみなすことができるためである。従って、図面の簡略化のために、図2には、SDI入力手段101から入力されるSDI信号のみ記載し、画像信号151は記載していない。
図2を用いて、CPU162の処理について、時間の経過順に説明する。
期間207(期間201〜206を合わせた期間)について説明する。CPU162は、前述の割り込みにより、SDI入力手段101から入力されるSDI信号が垂直ブランキング期間から垂直有効画像期間へ遷移したとき、処理を開始する。CPU162は、SDIレシーバ1のFIFO141からTime Codeを読み出す(期間201)。CPU162は、SDIレシーバ1のFIFO141からPayloadを読み出す(期間202)。CPU162は、SDIレシーバ2のFIFO142からPayloadを読み出す(期間203)。
続いて、CPU162は、SDIレシーバ1のFIFO141から読み出したTime
Codeを解析する(期間204)。具体的には、CPU162は、SMPTE 12M−2−2008に規定されたTime Codeのフォーマットに従って、解析を行う。CPU162は、SDIレシーバ1のFIFO141から読み出したPayloadを解析する(期間205)。具体的には、CPU162は、SMPTE ST 291:2010に規定されたPayloadのフォーマットに従って、解析を行う。CPU162は、SDIレシーバ2のFIFO142から読み出したPayloadを解析する(期間
206)。
期間217(期間211〜216を合わせた期間)について説明する。期間211、期間212、期間214、期間215に関しては、期間201、期間202、期間204、期間205と同じである。CPU162は、SDIレシーバ3のFIFO143からPayloadを読み出す(期間213)。CPU162は、SDIレシーバ3のFIFO143から読み出したPayloadを解析する(期間216)。
期間227(期間221〜226を合わせた期間)について説明する。期間221、期間222、期間224、期間225に関しては、期間201、期間202、期間204、期間205と同じである。CPU162は、SDIレシーバ4のFIFO144からPayloadを読み出す(期間223)。CPU162は、SDIレシーバ4のFIFO144から読み出したPayloadを解析する(期間226)。
CPU162は、期間207(期間201〜206)において、SDI入力手段101から入力されるSDI信号とSDI入力手段102から入力されるSDI信号から補助データを取得する。CPU162は、期間217(期間211〜216)において、SDI入力手段101から入力されるSDI信号とSDI入力手段103から入力されるSDI信号から補助データを取得する。CPU162は、期間227(期間221〜226)において、SDI入力手段101から入力されるSDI信号とSDI入力手段104から入力されるSDI信号から補助データを取得する。以後、CPU162は、上記説明した期間207、217、及び227の3期間分の処理を繰り返す。
よって、CPU162は、Time Code取得対象として選択されているSDI入力手段101からは、1フレーム期間(1フィールド期間)ごとに1回、Time CodeおよびPayloadを取得する。また、CPU162は、Time Code取得対象として選択されていないSDI入力手段102〜104からは、それぞれ、3フレーム期間(3フィールド期間)ごとに1回、Payloadを取得する。換言すると、CPU162は、1フレーム期間(1フィールド期間)ごとに、Time Code取得対象として選択されていない3つのSDI入力手段102〜104のうちから順次1個を選んで、Payloadを取得する。つまり、CPU162は、3フレーム期間(3フィールド期間)を周期として、上記の処理を繰り返す。すなわち、Time Code取得対象のSDI入力手段101からの補助データの取得及びそれと同期したSDI入力手段102〜104いずれかからの補助データの取得を1回(1単位)の取得処理とする。そして、所定回数(本実施例では3回)の取得処理によって、全ての非同期処理対象のSDI入力手段からの補助データの取得が行われる。
期間201〜206、期間211〜216、期間221〜226におけるCPU162の処理(取得処理)について、フローチャートを用いて詳細に説明する。図3は、CPU162の処理を示すフローチャートである。ステップS301〜S314の処理が、期間207(期間201〜206)、期間217(期間211〜216)、期間227(期間221〜226)のそれぞれの期間に行われる取得処理を表す。以下、各ステップについて、詳細に説明する。
ステップS301:CPU162は、Nに2を代入する。Nは、SDIレシーバ1以外の3つのSDIレシーバのうちPL取得対象となるSDIレシーバの番号を表す変数である。本実施例では、N=2,3,4である。前述のように、本実施例では、3フレーム期間(3フィールド期間)を周期として繰り返す上記の処理内の1単位の取得処理ごとに、SDIレシーバ1以外のPL取得対象となるSDIレシーバNは、N=2,3,4の順番で切り替えられていく。
ステップS302:SDI入力手段101から入力されるSDI信号が、垂直ブランキング期間から垂直有効画像期間へ遷移し、CPU162に割り込みが発生するまで、CPU162は、待つ。
ステップS303:割り込みが発生したら、CPU162は、SDIレシーバ1のFIFO141からTime Codeを読み出す。ステップS303は、図2の期間201、期間211、期間221における処理に対応する。
ステップS304:CPU162は、SDIレシーバ1のFIFO141からPayloadを読み出す。ステップS304は、図2の期間202、期間212、期間222における処理に対応する。
ステップS305:CPU162は、SDIレシーバNのFIFOからPayloadを読み出す。より詳細には、Nが2のとき、CPU162は、SDIレシーバ2のFIFO142からPayloadを読み出す。Nが3のとき、CPU162は、SDIレシーバ3のFIFO143らPayloadを読み出す。Nが4とき、CPU162は、SDIレシーバ4のFIFO144らPayloadを読み出す。ステップS305は、図2の期間203、期間213、期間223における処理に対応する。
ステップS306:CPU162は、SDIレシーバ1のFIFO141から読み出したTime Codeを解析する。ステップS306は、図2の期間204、期間214、期間224における処理に対応する。
ステップS307:CPU162は、ステップS306で解析したSDIレシーバ1のTime CodeをTime Code記憶部169に書き込み、内部に記憶しているSDIレシーバ1のTime Codeデータを更新する。なお、本データは、画像表示装置がTime Codeをグラフィックスで表示する際に利用される。
ステップS308:CPU162は、SDIレシーバ1のFIFO141から読み出したPayloadを解析する。ステップS308は、図2の期間205、期間215、期間225における処理に対応する。
ステップS309:CPU162は、ステップS308で解析したSDIレシーバ1のPayloadをPayload記憶部111に書き込み、内部に記憶しているSDIレシーバ1のPayloadデータを更新する。なお、本データは、画像表示装置がPayloadに基づき画像処理を制御する際に利用される。
ステップS310:CPU162は、SDIレシーバNのFIFOから読み出したPayloadを解析する。より詳細には、Nが2のとき、CPU162は、SDIレシーバ2のFIFO142から読み出したPayloadを解析する。Nが3のとき、CPU162は、SDIレシーバ3のFIFO143ら読み出したPayloadを解析する。Nが4のとき、CPU162は、SDIレシーバ4のFIFO144ら読み出したPayloadを解析する。ステップS310は、図2の期間206、期間216、期間226における処理に対応する。
ステップS311:CPU162は、ステップS310で解析したSDIレシーバNのPayloadが有効(正常)か確認する。SDIレシーバNのPayloadは、SDI入力手段102〜104にPayloadが伝送されるタイミングや伝送の途中で読み出しが行われる可能性がある。その場合、Payloadが無効(異常)なデータとなる
可能性がある。よって、ここでは、Payloadが有効か否かの確認が行われる。
確認の具体的な方法としては、SMPTE ST 252:2010に規定されているように、PayloadにDC(Data Count、データの個数)、Checksumが含まれるため、DCとChecksumの整合を調べる方法がある。Payloadが有効のとき、CPU162は、ステップS312へ進む。Payloadが無効のとき、CPU162は、ステップS313へ進む。
ステップS312:CPU162は、ステップS310で解析したSDIレシーバNのPayloadをPayload記憶部112〜114のうちSDIレシーバNに対応する記憶部に書き込む。より詳細には、Nが2のとき、CPU162は、SDIレシーバ2のPayloadをPayload記憶部112に書き込む。Nが3のとき、CPU162は、SDIレシーバ3のPayloadをPayload記憶部113に書き込む。Nが4のとき、CPU162は、SDIレシーバ4のPayloadをPayload記憶部114に書き込む。なお、本データは、画像表示装置がPayloadに基づき画像処理を制御する際に利用される。
Payloadが無効のとき、ステップS312は実行されないため、Payload記憶部112〜114の内部に記憶されているSDIレシーバNのPayloadデータは更新されない。この場合、以前取得してPayload記憶部に記憶されているPayloadデータが後述の画像処理制御に引き続き用いられる。
ステップS313:CPU162は、Nを1増加させる。
ステップS314:CPU162は、Nが4を超えるとき、ステップS301へ進み、再び、Nに2を代入する。CPU162は、Nが4以下の時、ステップS302へ進む。ステップS314により、前述の3フレーム期間(3フィールド期間)を周期として繰り返す処理が実現される。
CPU162による画像処理部163に関する制御を説明する。画像処理部163は、各種の画像処理を行う。例えば、色差色空間の信号をRGB色空間の信号へ変換する処理がある。CPU162は、SDI入力手段101〜104からPayloadを取得し記憶している。SMPTE ST 252:2010に規定されているように、Payloadには色空間の情報が含まれる。そのため、CPU162は、Payload記憶部111〜114から読み出したPayloadに従い画像処理部163を制御して、液晶パネル168が表示するために適した色空間に画像信号を変換させる。なお、色空間は、SDI入力手段101〜104から入力されるSDI信号で、それぞれ異なる場合があるので、色空間変換の制御も、SDI入力手段から入力されるSDI信号ごとにそれぞれ独立に行われる。
CPU162によるグラフィックス生成部167に関する制御を説明する。グラフィックス生成部167は、CPU162の制御により、グラフィックス画像を生成する。グラフィックス画像には、画像表示装置が内蔵するフォントデータを用いて、Time Codeデータから生成される文字画像も含まれる。CPU162は、SDI入力手段101からTime Codeを取得し記憶している。CPU162は、Time Code記憶部169から読み出したTime Codeに従いグラフィックス生成部167を制御して、取得したTime Codeから文字画像を生成させる。
図3のフローチャートに示す各ステップのうち、CPU162の処理とSDI入力手段101〜104およびSDIレシーバ1〜4の処理との関連が深いステップに対応する期
間のみ、図2の「CPU162の処理」の欄に示している。図面の簡略化のために、その他のステップに対応する処理については図示を省略したものもある。
本実施例の画像表示装置は、Time Code取得対象として選択されている1個のSDI入力手段に対して、その垂直画像信号開始タイミングに合わせてTime CodeおよびPayloadを取得する(同期処理)。垂直画像信号開始タイミングは、垂直ブランキング期間から垂直有効画像期間へ遷移するタイミングである。さらに、本実施例の画像表示装置は、Time Code取得対象として選択されていない残り3個のSDI入力手段に対して、その垂直画像信号開始位置とは無関係にPayloadを取得する(非同期処理)。つまり、本画像表示装置は、その内部に含まれる1個のCPUが、Time Code取得対象として選択されている1個のSDI入力手段に同期させて、当該SDI入力手段のTime Code取得及び全てのSDI入力手段のPayload取得の処理を行う。
よって、入力端子が複数であっても、1個のCPUで複数の入力端子の補助データを取得可能となり、入力端子の数に応じてハードウエアとCPUを複数備える従来の画像表示装置の構成よりも単純な構成とすることができる。
また、補助データに関する処理をすべてハードウエアとして実装し、そのハードウエアを入力端子の数に応じて複数備える従来の画像表示装置では、複数のSDIレシーバの各々について画像処理部との間に補助データ処理用のハードウエアが実装されることになる。そのような構成では、画像処理部には、Time Codeのグラフィック画像が合成された画像信号が入力されることになる。そのため、拡大縮小部165は、グラフィック画像が合成された画像信号に対して拡大縮小処理を行うことになり、Time Codeのグラフィック画像が不鮮明となる課題があった。さらに、縮小処理は画素の間引きを伴うため、Time Codeのグラフィック画像に画素欠損が起きる課題があった。
これに対し、本実施例の画像表示装置の構成の場合、拡大縮小部165による拡大縮小処理の後にビデオグラフィックス合成部166によりTime Codeのグラフィック画像の合成が行われる。そのため、Time Codeのグラフィック画像は拡大縮小部165による拡大縮小処理の対象とならず、Time Codeのグラフィック画像が不鮮明となる課題、画素欠損が起きる課題が解決される。
本実施例では、SDI入力手段が4個の場合を説明したが、SDI入力手段が8個など、SDI入力手段が2個以上の画像表示装置であれば、本発明を適用できる。
図2に示したSDI入力手段101〜104から入力されるSDI信号の1フレーム期間(1フィールド期間)の長さ、垂直ブランキング期間および垂直有効画像期間の長さやタイミングはあくまで一例である。SDI入力手段101〜104から入力されるSDI信号の内容が、図2に示すものとは異なっていても、本発明を適用できる。
本実施例では、画像表示装置への画像信号入力インタフェースがSDIの場合を例に説明した。補助データが画像信号の垂直ブランキング期間に伝送され、CPUが垂直有効画像期間にそのデータをFIFOから読み出し可能であれば、他の画像信号入力インタフェースを備える画像表示装置にも本発明を適用可能である。例えば、アナログコンポジットビデオ信号の垂直ブランキング期間に補助データを重畳する方式が知られているが、このような画像信号入力インタフェースを複数備える画像表示装置に対しても本発明を適用可能である。さらに、補助データが画像信号の垂直有効画像期間に伝送され、CPUが垂直ブランキング期間にそのデータをFIFOから読み出し可能な画像表示装置にも本発明を適用できる。また、補助データが画像信号の特定の期間に伝送され、CPUが、補助デー
タが伝送されていない期間にそのデータをFIFOから読み出し可能な画像表示装置にも本発明を適用できる。
(実施例2)
実施例1では、全てのSDI入力手段にTime CodeおよびPayloadが伝送される場合の例を説明した。実際には、SDI信号においてTime Codeだけ伝送される場合や、Payloadだけ伝送される場合、双方とも伝送されない場合もあり得る。本実施例では、Time CodeまたはPayloadの少なくとも一方が伝送されない場合の例を説明する。
以下、実施例1との差異を中心に説明する。
SMPTE規格に規定されているように、補助データは、それぞれ、特定のDIDおよびSDIDを持つ。よって、SDIレシーバ1〜4のFIFO141〜144から読み出したデータを解析することにより、Time CodeまたはPayloadがSDI入力手段101〜104から入力されるSDI信号に含まれるか、判別することができる。また、Time CodeまたはPayloadのDIDおよびSDIDがSDIレシーバ1〜4のFIFO141〜144から読み出したデータに含まれるが、Checksumに不整合がある場合も、本実施例を適用することができる。
Time Code取得対象のSDI入力手段(実施例2では、SDI入力手段101)から入力されるSDI信号にTime Codeが含まれていないとき、画像表示装置は、Time Codeのグラフィックス描画を停止する。または、画像表示装置は、「--:--:--:--」のような、Time Codeが含まれていないことを示す特別な文字列
をグラフィックスで描画する。ただし、インターレース信号の場合は、片方のフィールドだけにTime Codeが含まれる場合がある。このため、次のようにすると良い。すなわち、画像表示装置は、あるフィールドにTime Codeが含まれていないとき、直前のフィールドにTime Codeが含まれていれば、そのTime Codeをグラフィックスを描画する。一方、画像表示装置は、2フィールド以上連続してTime Codeが含まれていなければ、「--:--:--:--」のような、Time Codeが含ま
れていないことを示すグラフィックスを描画する。
SDI信号にPayloadが含まれていないとき、画像表示装置は、Payloadが含まれていないSDI入力手段から入力されるSDI信号に対する画像処理として、何らかの規定の処理をする。例えば、色差色空間信号に対する処理を規定の処理とした場合、画像表示装置は、Payloadが含まれていないSDI入力手段から入力されるSDI信号を色差色空間信号とみなし、色差色空間からRGB色空間への変換処理を実施する。
本実施例の画像表示装置は、Time Code取得対象ではないSDI入力手段からは非同期にPayloadを取得するため、Payloadの伝送途中にPayloadの読み出しが行われてPayloadの取得に失敗する可能性がある。この場合、本来ならPayloadが含まれているにも関わらず、Payloadが含まれていないSDI信号であると誤判定されてしまう可能性がある。そこで、Payloadは変化頻度が小さいことに鑑みて、例えば、次のようにすると良い。すなわち、画像表示装置は、所定フレーム数以内(例えば5フレーム以内)に取得できたPayloadがある場合は、そのPayloadを用いて画像処理を制御する。一方、所定フレーム数を超えてPayloadが取得できなかった場合に、Payloadが含まれていないSDI信号であると判断して規定の処理をする。
本実施例によれば、複数のSDI入力手段から、Time CodeやPayload
が伝送されないSDI信号が入力される場合であっても、Time Codeの表示や画像処理を破綻無く行うことが可能である。
(実施例3)
実施例1の画像表示装置では、Time Code取得対象ではないSDI入力手段からは、非同期処理により、Payloadを取得している。よって、Time Code取得対象のSDI入力手段とTime Code取得対象ではないSDI入力手段との時間上の位相関係が、Time Code取得対象ではないSDI入力手段からのPayload取得に成功する確率に影響を与える。ここで、Payload取得に成功するとは、取得したPayloadに異常がない(有効なデータである)ということである。本実施例では、Time Code取得対象ではないSDI入力手段からのPayload取得に成功する確率を高める方法を説明する。
図4は、CPU162の処理を示すフローチャートである。本実施例では、CPU162による処理を図4に示すように、実施例1から一部変更する。なお、各ステップの処理内容で、実施例1と同じものについては、図3と同じ符号を用いて詳細な説明を割愛する。
実施例1からの変更点について詳細に説明する。CPU162は、ステップS311にて、Time Code取得対象ではないSDI入力手段からのPayloadが有効か(Checksumに不整合がないか)判断するが、無効であった場合、ステップS315へ進む。ステップS315にて、CPU162は、SDIレシーバのFIFOから読み出したデータを解析し、Payloadを示すDIDおよびSDIDがFIFOから読み出されたか否かを判定する。
Payloadを示すDIDおよびSDIDがFIFOから読み出された場合(ステップS315:Yes)、CPU162は、ステップS314へ進む。この場合、Nが増加しないため、Time Code取得対象であるSDI入力手段から入力されるSDI信号の次のフレーム(インタレースの場合はフィールド)にて、Payload取得に失敗したSDI入力手段から、再度、Payload取得が試みられる。すなわち、次回の取得処理において再度同じSDI入力手段からのPayloadの取得が行われる。よって、Payload取得に成功する確率が高まる。
一方、Payloadを示すDIDおよびSDIDがFIFOから読み出されない場合(ステップS315:No)、CPU162は、ステップS313へ進む。この場合、Nが増加するため、Payloadが含まれないSDI信号が入力されている場合に、非同期処理にてPayloadを取得するSDI入力手段が切り替わらなくなることを防止できる。
本実施例によれば、非同期処理にてPayloadを取得するSDI入力手段からのPayload取得に成功する確率が高まり、SDI信号に含まれるPayloadを用いた適切な画像処理の制御が可能になる。
上記説明した実施例には本発明の範囲内で種々の変更を行うことができる。実施例1では、1処理周期は、Time Code取得対象であるSDI入力手段から入力されるSDI信号の3フレーム分の期間であった。そして、1処理周期にて、同期処理による補助データの取得を1回、非同期処理による補助データの取得を非同期処理対象のSDI入力手段ごとに1回ずつ行った。これに対し、1処理周期につき、非同期処理による補助データの取得を非同期処理対象の各SDI入力手段について複数回行うようにしても良い。或いは、複数処理周期につき、非同期処理による補助データの取得を非同期処理対象の各S
DI入力手段について1回ずつ行うようにしても良い。
1、2、3、4 SDIレシーバ
101、102、103、104 SDI入力手段
162 CPU
163 画像処理部

Claims (11)

  1. 画像信号がそれぞれ独立に入力される複数の入力手段と、
    前記入力手段ごとに設けられ、画像信号のブランキング期間に伝送され補助データを記憶する複数の記憶手段と、
    前記複数の入力手段のうちいずれか1つを同期対象の入力手段、それ以外の入力手段を非同期対象の入力手段とし、前記同期対象の入力手段に補助データが伝送されるブランキング期間が終了したとに応じて、前記同期対象の入力手段に対応する記憶手段から補助データ取得を開始し、前記同期対象の入力手段に対応する記憶手段からの補助データの取得と同期して前記非同期対象の入力手段のうち少なくとも1つの入力手段に対応する記憶手段から補助データを取得する取得処理を行う取得手段と、
    を備えることを特徴とする画像処理装置。
  2. 前記取得手段は、所定の周期で前記取得処理を実行することを特徴とする請求項1に記載の画像処理装置。
  3. 前記所定の周期は、前記同期対象の入力手段に入力される画像信号の1フレーム期間又は1フィールド期間であることを特徴とする請求項に記載の画像処理装置。
  4. 前記取得手段は、所定回数の取得処理によって全ての前記非同期対象の入力手段に対応する記憶手段からの補助データの取得が行われるように、前記同期対象の入力手段に対応する記憶手段からの補助データの取得を行うごとに、前記非同期対象の入力手段のうち、補助データを取得する対象となる入力手段を切り替えることを特徴とする請求項1乃至請求項のいずれか1項に記載の画像処理装置。
  5. 前記取得手段は、前記非同期対象の入力手段に対応する記憶手段から取得した補助データに異常があった場合、次回の取得処理において前記非同期対象の記憶手段からの補助データの取得を再度行うことを特徴とする請求項1乃至請求項のいずれか1項に記載の画像処理装置。
  6. 前記取得手段は、前記同期対象の入力手段に対応する記憶手段からタイムコード及びペ
    イロードを取得し、前記非同期対象の入力手段に対応する記憶手段からペイロードを取得することを特徴とする請求項1乃至請求項のいずれか1項に記載の画像処理装置。
  7. 前記取得手段により取得される補助データに基づき、前記複数の入力手段から入力される複数の画像信号に対し独立に信号処理を行う処理手段をさらに備えることを特徴とする請求項1乃至請求項のいずれか1項に記載の画像処理装置。
  8. 前記処理手段による信号処理は、タイムコードに基づく画像を画像信号に基づく画像に合成する処理と、ペイロードに基づく画像処理と、を含む請求項に記載の画像処理装置。
  9. 前記複数の入力手段のうち、前記同期対象の入力手段を選択する選択手段をさらに備えることを特徴とする請求項1乃至請求項のいずれか1項に記載の画像処理装置。
  10. 前記画像信号は、SDI信号であることを特徴とする請求項1乃至請求項のいずれか1項に記載の画像処理装置。
  11. 画像信号がそれぞれ独立に入力される複数の入力手段と、
    前記入力手段ごとに設けられ、画像信号のブランキング期間に伝送され補助データを記憶する複数の記憶手段と、
    を有する画像処理装置の制御方法であって、
    前記複数の入力手段のうちいずれか1つを同期対象の入力手段、それ以外の入力手段を非同期対象の入力手段とし、前記同期対象の入力手段に補助データが伝送されるブランキング期間が終了したとに応じて、前記同期対象の入力手段に対応する記憶手段から補助データ取得を開始し、前記同期対象の入力手段に対応する記憶手段からの補助データの取得と同期して前記非同期対象の入力手段のうち少なくとも1つの入力手段に対応する記憶手段から補助データを取得する取得処理を行う工程
    を有することを特徴とする画像処理装置の制御方法。
JP2016189422A 2016-09-28 2016-09-28 画像処理装置、およびその制御方法 Expired - Fee Related JP6261696B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016189422A JP6261696B2 (ja) 2016-09-28 2016-09-28 画像処理装置、およびその制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016189422A JP6261696B2 (ja) 2016-09-28 2016-09-28 画像処理装置、およびその制御方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2012077142A Division JP2013205759A (ja) 2012-03-29 2012-03-29 画像処理装置、その制御方法、および画像表示装置

Publications (2)

Publication Number Publication Date
JP2017037321A JP2017037321A (ja) 2017-02-16
JP6261696B2 true JP6261696B2 (ja) 2018-01-17

Family

ID=58048248

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016189422A Expired - Fee Related JP6261696B2 (ja) 2016-09-28 2016-09-28 画像処理装置、およびその制御方法

Country Status (1)

Country Link
JP (1) JP6261696B2 (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4623069B2 (ja) * 2007-09-14 2011-02-02 ソニー株式会社 情報処理装置および方法、プログラム、並びに、記録媒体
JP5062031B2 (ja) * 2008-05-19 2012-10-31 ソニー株式会社 信号処理装置、信号処理方法および信号処理プログラム
JP5215883B2 (ja) * 2009-01-20 2013-06-19 日本放送協会 デジタル映像信号送信装置

Also Published As

Publication number Publication date
JP2017037321A (ja) 2017-02-16

Similar Documents

Publication Publication Date Title
US7557815B2 (en) System and method for producing a video signal
US9832421B2 (en) Apparatus and method for converting a frame rate
EP2227902B1 (en) Interpolation frame generation apparatus, interpolation frame generation method, and broadcast receiving apparatus
US7417633B2 (en) Workstation for processing and producing a video signal
US20100134684A1 (en) Image Processing Apparatus, Receiver, and Display Device
US20060028583A1 (en) System and method for overlaying images from multiple video sources on a display device
US7509442B2 (en) Informational-signal-processing apparatus, functional block, and method of controlling the functional block
US6642968B1 (en) System and method for frame rate matching
JP6261696B2 (ja) 画像処理装置、およびその制御方法
US8194188B2 (en) Displaying image frames in combination with a subpicture frame
KR100199515B1 (ko) 파형표시 신호발생장치
US8279207B2 (en) Information processing apparatus, information processing method, and program
JP2013205759A (ja) 画像処理装置、その制御方法、および画像表示装置
KR100696109B1 (ko) 디스플레이장치 및 그 신호처리방법
US20140056524A1 (en) Image processing device, image processing method, and program
JP2003348446A (ja) 映像信号処理装置
JP4357239B2 (ja) 映像信号処理装置及び映像表示装置
CN111295703A (zh) 影像处理装置、显示装置、影像处理方法、控制程序、以及记录介质
JP2014216668A (ja) 撮像装置
WO2022137325A1 (ja) 映像信号を合成する装置、方法及びプログラム
KR101102388B1 (ko) 디지털 방송 수신기에서의 정지 영상 캡쳐 장치 및 방법
JP2010098539A (ja) ビデオデータ送受信装置
JP5328549B2 (ja) 画像処理装置及びその制御方法
KR100745299B1 (ko) 디지털티브이의화면동기장치및방법
JP4960433B2 (ja) 画像処理装置、受信装置および表示装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170822

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171011

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171212

R151 Written notification of patent or utility model registration

Ref document number: 6261696

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees