JP7115859B2

JP7115859B2 - 画像表示装置

Info

Publication number: JP7115859B2
Application number: JP2018014023A
Authority: JP
Inventors: 光徳川崎
Original assignee: Ikegami Tsushinki Co Ltd
Current assignee: Ikegami Tsushinki Co Ltd
Priority date: 2018-01-30
Filing date: 2018-01-30
Publication date: 2022-08-09
Anticipated expiration: 2038-01-30
Also published as: JP2019134265A

Description

本発明は画像表示装置に関する。

近年、画像表示装置では、４Ｋ、８Ｋと表示対象の映像の高解像度化が進むにつれて、１画面で扱う情報量が多くなってきている。一方で画像表示装置の入出力インターフェースとして従来使用している入出力インターフェースを用いる場合、そのインターフェースが伝送可能な情報量は限られる。そのため、４Ｋ、８Ｋといった高画質の映像を画面に表示させる場合には、画像表示装置に入力する映像信号を画面の各表示領域に対応する分割画面のものに分割した映像信号を、複数のチャンネル（チャンネルを単に「ＣＨ」ともいう）を介して入力し、これら複数の映像信号を組み合わせて１つの画面に画像を表示させている場合が多い。こうした入力手法に対応した画像表示装置は、画面分割式多入力モニタとして知られている。

特開２０１６－１６３１２７号公報

しかしながら、画面分割式多入力モニタの場合、映像信号を入力するチャンネル数が多くなるにつれて誤接続をする可能性が高くなり、また、誤接続した場合に手動によって接続切り替えをして誤接続を修正することも簡単なことではない。特に映像の入力コネクタが背面にあり、パネルサイズが大きい場合は、表示画面を確認しながら接続切り替えをすることは困難になる。

例えば特許文献１に記載の画像表示装置では、４Ｋ田の字４分割（ＳｑｕａｒｅＤｉｖｉｓｉｏｎ（田の字型分割））画像のチャンネル選択を自動化し、並び替えて表示している。チャンネル選択は、各画面の４隅周辺の輝度データを測定し、各チャンネル同士の輝度データの分散値を計算して行う。分散値の比較結果から４チャンネルの配置パターンを導き出している。しかしながら、画面の位置決定に各画面４隅の輝度値を用いるため、分割画面の4隅において輝度値の差が検出できない場合に並び替えをおこなうことができない。

本発明は上記従来の問題に鑑みなされたものであって、本発明の課題は、複数チャンネルの分割多入力映像の入力チャンネルを誤接続した場合でも、各入力チャネルに入力される分割画面の映像信号の画面位置を正確に把握して、画面に正しく表示されるように各入力チャンネルに入力された分割画面の映像信号の表示位置を並べ替えることができる画像表示装置を提供することにある。

上記の課題を解決するために、第１の実施形態として記載された発明は、映像信号に基づいて複数フレームからなる画像を表示する表示画面と、一画面として表示すべき画像をマトリックス状に分割した複数の分割画面の映像信号を入力する複数の映像信号入力チャンネルと、前記複数の分割画面の映像信号を並び替えて前記表示画面に一画面の映像として表示させる映像信号処理部とを備えた画像表示装置であって、前記映像信号処理部は、前記並び替えを、前記複数の映像信号入力チャンネルからの複数の分割画面の映像信号について、前記複数の映像信号入力チャンネルを順次１つの基準チャンネルとその他のチャンネルとに分けて取得した、当該基準チャンネルに隣接するチャンネルを示す隣接データに基づいて行い、前記隣接データは、基準チャンネル内のオブジェクトであって複数のフレーム経過後において、当該基準チャンネルからその他のチャンネルに移動するオブジェクトを注目オブジェクトとして、該注目オブジェクトの動きを検出することにより取得されることを特徴とする画像表示装置である。

第２の実施形態として記載された発明は、映像信号に基づいて複数フレームからなる画像を表示する表示画面と、一画面として表示すべき画像をマトリックス状に分割した複数の分割画面の映像信号を入力する複数の映像信号入力チャンネルと、前記複数の分割画面の映像信号を並び替えて前記表示画面に一画面の映像として表示させる映像信号処理部とを備えた画像表示装置であって、前記映像信号処理部は、注目オブジェクトを特定して、基準チャンネルおよびその他のチャンネルそれぞれにおける注目オブジェクトの動きベクトルを検出するオブジェクト検出手段と、前記検出した注目オブジェクトの動きベクトルに基づいて基準チャンネルに隣接する隣接分割画面のチャンネルの情報である隣接データを取得する隣接データ取得手段と、前記取得した隣接データに基づいて、チャンネルごとに隣接分割画面となるチャンネルを組み合わせた隣接ブロックを作成する隣接ブロック作成手段と、前記作成した隣接ブロックに基づいて前記画面位置を決定する画面位置決定手段とを有することを特徴とする画像表示装置である。

他の実施態様としては、第１の実施形態または第２の実施形態において、前記その他のチャンネルにおいて、前記注目オブジェクトについて、基準チャンネルの動きベクトルと方向が一致する動きベクトルが検出されたチャンネルを前記基準チャンネルに隣接する隣接分割画面のチャンネルとして前記隣接データが取得されることを特徴とする。

他の実施態様としては、第２の実施形態において、前記隣接ブロック作成手段において作成される隣接ブロックは、隣接可能な４方向のうち、２方向のみに隣接分割画面が存在するＬ型と、４方向にのみ隣接分割画面が存在するＴ型と、４方向に隣接分割画面が存在する十字型とのいずれかであることを特徴とする。

第３の実施形態として記載された発明は、映像信号に基づいて複数フレームからなる画像を表示する表示画面と、一画面として表示すべき画像をマトリックス状に分割した複数の分割画面の映像信号を入力する複数の映像信号入力チャンネルと、前記複数の分割画面の映像信号を並び替えて前記表示画面に一画面の映像として表示させる映像信号処理部とを備えた画像表示装置における画像表示方法であって、注目オブジェクトを特定して、基準チャンネルおよびその他のチャンネルそれぞれにおける注目オブジェクトの動きベクトルを検出するオブジェクト検出処理と、前記検出した注目オブジェクトの動きベクトルに基づいて基準チャンネルに隣接する隣接分割画面のチャンネルの情報である隣接データを取得する隣接データ取得処理と、前記取得した隣接データに基づいて、チャンネルごとに隣接分割画面となるチャンネルを組み合わせた隣接ブロックを作成する隣接ブロック作成処理と、前記作成した隣接ブロックに基づいて前記画面位置を決定する画面位置決定処理と、前記決定された画面位置に応じて前記複数の分割画面の映像信号並び替えて前記表示画面に映像として表示させる表示処理とを含むことを特徴とする画像表示方法である。

本実施形態の画像表示装置の概略構成を示す図である。分割画面を説明する図である。映像信号処理部における処理の処理フロー例を示す図である。基準チャンネルの注目オブジェクトの動きベクトルを検出する処理の処理フロー例を示す図である。注目オブジェクトの消失を確認する処理の処理フロー例を示す図である。画面端付近の領域を説明する図である。基準チャンネル以外のチャンネルでの注目オブジェクトの動きベクトルを検出する処理の処理フロー例を示す図である。隣接データの一例を示す図である。隣接分割画面の方向データ取得処理の処理フロー例を示す図である。基準ＣＨでの注目オブジェクトの動きベクトルとその延長線を現した図である。隣接分割画面の種類データ取得処理の処理フロー例を示す図である。注目オブジェクトの移動先のＣＨにおける動きベクトルとその後ろ側の延長線を現した図である。基準ＣＨの方向データに対する隣接分割画面の種類データのカウント処理の処理フロー例を示す図である。隣接分割画面ブロックについて説明する図である。隣接分割画面データ数判定処理の処理フロー例を示す図である。基準画面に対する隣接ブロック判定処理の処理フロー例を示す図である。隣接分割画面ブロック数の判定処理の処理フロー例を示す図である。画面位置決定処理の処理フロー例を示す図である。画面位置決定処理の処理フロー例を示す図である。

以下、本発明の実施の形態について、詳細に説明する。

図１は本実施形態の画像表示装置の概略構成を示す図である。本実施形態の画像表示装置１の構成として、図１には、複数の映像入力チャンネル（チャンネルを単に「ＣＨ」ともいう）１０₁～１０_Nと、映像信号処理部２０と、表示画面３０とが示されている。本実施形態の画像表示装置１では、複数の映像入力チャンネル１０₁～１０_Nから入力された映像信号が映像信号処理部２０で信号処理されて、表示画面３０に所望の映像として表示される。

複数の映像入力チャンネル１０₁～１０_Nは、有線の信号入力ケーブルや無線の通信インターフェースにより映像信号が入力される端子であって、映像信号の入出力インターフェースである。複数の映像入力チャンネル１０₁～１０_Nは、分割画面の映像信号が独立した信号として入力されるように、物理的に別々の端子に構成されている。映像信号処理部２０は、入力された映像信号を画像表示装置１での表示形式に変換するとともに、分割画面の映像信号を１つの画面を形成するように並び替えて表示画面３０に出力するＬＳＩ（Ｌａｒｇｅ―ＳｃａｌｅＩｎｔｅｇｒａｔｉｏｎ）やＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）などの信号処理回路である。映像信号処理部２０は、ＣＰＵ等の汎用処理装置を用いてもよい。表示画面３０は、液晶画面などの映像を表示する画面であるが、プロジェクタなどの投影表示する手段であってもよい。

図２は分割画面を説明する図である。複数の映像入力チャンネル１０₁～１０_Nには、図２に示すように１つの画面を複数のマトリックス状の領域に分割した分割画面の映像信号が入力される。１つの画面は、各分割画面の映像信号がｎ×ｍ個（ｎ×ｍ＝Ｎ個）並んで構成される。各分割画面の大きさ、形状は同じである。複数の映像入力チャネル１０₁～１０_Nは、それぞれ、座標（ｘ、ｙ）の分割画面への入力端子として機能することになる。なお、ｘは１からｎ、ｙは１からｍである。この場合、分割画面（１、１）への入力端子は映像入力チャネル１ＣＨであり、分割画面（１、２）への入力端子は映像入力チャネル２ＣＨであるものとして説明する。各映像入力チャンネル１０₁～１０_Nに接続されたケーブルから入力される映像信号は、そのチャンネルに対応する分割画面の位置に表示されると、例えば映像入力チャンネル１から分割画面（１、２）に出力すべき映像信号と映像入力チャンネル２から分割画面（１、１）に出力すべき映像信号とが入力されると、分割画面が入り乱れ、全体で１つの画面を形成することができず、本来表示すべき画像が表示出来ない場合がある。

映像信号処理部２０は、複数の映像入力チャンネル１０₁₁～１０_nmから入力された映像信号がどの領域に出力されるべきなのかを識別（映像信号識別処理）して、表示画面３０の適切な領域に表示される信号として処理し、表示画面３０上に出力する。

本実施形態の画像表示装置では、映像信号処理部２０において、各分割画面の映像信号についてオブジェクト検出技術とオブジェクト追跡技術を用いて、各チャンネルの４方向に隣接するチャンネル番号と位置関係を示すデータを取得する。さらに、取得したデータをもとに、チャンネルごとに隣接分割画面となるチャンネルを組み合わせた隣接分割画面ブロックを作成する。作成した隣接分割画面ブロックを組み合わせることで全体画面に対する分割画面チャンネルの配置を決定し、並び替えて表示させる。本実施形態の画像表示装置によれば、オブジェクトの検出が可能な映像であれば輝度の差が無い場合であっても全体画面の正しい位置関係を導くことができる。かかる映像信号処理部２０における処理の詳細について、以下に説明する。

図３は、映像信号処理部２０における処理の処理フロー例を示す図である。本実施形態の映像信号識別処理では、最初に、画像表示装置を初期化し（Ｓ３０１）、全チャネルに映像信号が入力されていることを確認（Ｓ３０２）した後に、基準チャンネルを設定して（Ｓ３０３、Ｓ３０４）、設定した基準チャネルについて、オブジェクト検出処理（処理グループ１：Ｓ３０５からＳ３０７）と、隣接データ取得処理（処理グループ２：Ｓ３０８、Ｓ３０９、Ｓ３１０）と、隣接ブロック作成処理（処理グループ３：Ｓ３１１、Ｓ３１２、Ｓ３１３、Ｓ３１４）と、画面位置決定処理（処理グループ４：Ｓ３１６）とを実行することにより、各チャンネルに入力される映像信号を識別している。処理グループ３では全てのＣＨのデータが取得できているかどうかが判断されて（Ｓ３１２）、全てのＣＨのデータが取得できていない場合は（Ｓ３１２：Ｎｏ）、データが足りないＣＨのうち一番小さいＣＨ番号を基準チャンネルとしてＳ３０４の処理に戻る（Ｓ３１５）。

本実施形態の映像信号識別処理では、オブジェクト検出処理において、注目オブジェクトを特定して、基準チャンネルおよびその他のチャンネルそれぞれにおける注目オブジェクトの動きベクトルを検出し、隣接データ取得処理において、検出した注目オブジェクトの動きベクトルに基づいて基準チャンネルに隣接する隣接分割画面のチャンネルの情報（隣接データ）を取得し、隣接ブロック作成処理において、隣接データに基づいて隣接ブロックを作成し、画面位置決定処理において、隣接ブロックに基づいて画面位置を決定する。

まず、本実施形態の映像信号識別処理の各処理グループについてそれぞれ説明する。

（処理グループ１：オブジェクト検出処理）
オブジェクト検出処理（処理グループ１）では、基準チャンネルにおいて、適切なオブジェクトを注目オブジェクトとして特定し、注目オブジェクトの動きベクトルを基準チャンネルおよびそれ以外のチャンネルの両方においてそれぞれ検出する。具体的には、基準チャンネルの注目オブジェクトの動きベクトルを検出する処理（図４）を行い、注目オブジェクトの消失を確認する処理（図５）を行い、基準チャンネル以外のチャンネルでの注目オブジェクトの動きベクトルを検出する処理（図７）を行う。

図４は基準チャンネルの注目オブジェクトの動きベクトルを検出する処理の処理フロー例を示す図である。図４に示すように、まず、基準ＣＨ内でオブジェクトを検出できるか否かが判断され（Ｓ４０１）、オブジェクトを検出できた場合は（Ｓ４０１：Ｙｅｓ）、検出されたオブジェクトを注目オブジェクトとし、注目オブジェクトが他のＣＨで同時に検出されるか否かが判断される（Ｓ４０２）。Ｓ４０２の処理は、注目オブジェクトとそれ以外のオブジェクトの区別をつけるため、基準ＣＨ内で検出された注目オブジェクトが他ＣＨで同時に検出されないことを確認して重複検出を避ける処理である。

注目オブジェクトが基準ＣＨ内のみで検出され、他のＣＨで同時に検出されない場合は（Ｓ４０２：Ｙｅｓ）、注目オブジェクトを所定のフレーム間（pフレーム間）追跡する（Ｓ４０３）。追跡した結果、注目オブジェクトの動きを検知できた場合（Ｓ４０４：Ｙｅｓ）は、注目オブジェクトの移動方向と移動速度、すなわち動きベクトルを取得し（Ｓ４０５）、基準チャンネルの注目オブジェクトの動きベクトルを検出する処理が終了する。

所定のフレーム間追跡した注目オブジェクトの動きを検知できなかった場合は（Ｓ４０４：Ｎｏ）、静止オブジェクトとして判断し（Ｓ４０６）、Ｓ４０１に戻って、今回Ｓ４０１で検出したオブジェクトとは別のオブジェクトについて検出と追跡を行う。図４のオブジェクトの検出処理は任意のオブジェクトの移動ベクトルを検出できるまで繰り返し行う。

図５は、注目オブジェクトの消失を確認する処理の処理フロー例を示す図である。本実施形態の映像信号識別処理では、注目オブジェクトの移動を追跡することで基準ＣＨに隣接するＣＨを決定する。注目オブジェクトがＣＨ間を移動するときは、基準ＣＨ内で追跡していた注目オブジェクトが消失し、同時に移動先のＣＨに注目オブジェクトが出現することになる。この場合、基準ＣＨ内での注目オブジェクトの消失は画面の中央でなく端部領域で生じると考えられる。このフローでは、画面端付近で注目オブジェクトの消失があったときに、基準ＣＨ内で消失したか否かが判断される。注目オブジェクトの消失が基準ＣＨ内で消失したものである場合は、注目オブジェクトに適さないとして、基準チャンネルの注目オブジェクトの動きベクトルを検出する処理に戻って、対象とする注目オブジェクトを別のオブジェクトに変えることができる。

図５に示すように、まず、図４の処理において動きベクトルを検出した注目オブジェクトをｐフレーム間追跡する（Ｓ５０１）。追跡している注目オブジェクトが、基準ＣＨ内から消失するか否かを判断する（Ｓ５０２）。基準ＣＨ内から消失した場合（Ｓ５０２：Ｙｅｓ）、基準ＣＨに対応する分割画面の画面端付近で注目オブジェクトが消失したか否かが判断される（Ｓ５０３）。

図６は画面端付近の領域を説明する図である。図６には、分割画面６０が示されており、画面端付近とは、分割画面６０の周辺領域６１のことである。かかる領域で注目オブジェクトが消失した場合は、単に映像から注目オブジェクトが消失したというよりも、隣に位置する分割画面に注目オブジェクトが移動したと考えられる。したがって、この注目オブジェクトの移動先を特定することにより、隣接分割画面を特定することができる。

図５に戻って、画面端付近で注目オブジェクトが消失した場合は（Ｓ５０３：Ｙｅｓ）、隣接分割画面に注目オブジェクトが移動したこと、すなわちＣＨ間消失したと判断し（Ｓ５０４）、終了する。また、画面端付近で注目オブジェクトが消失していない場合は（Ｓ５０３：Ｎｏ）、他の画面に注目オブジェクトは移動しておらず、基準ＣＨで注目オブジェクトが消失したと判断し（Ｓ５０５）、図４の基準ＣＨの注目オブジェクトの動きベクトル検出処理に戻って、対象とする注目オブジェクトを別のオブジェクトにする。

図７は、基準チャンネル以外のチャンネルでの注目オブジェクトの動きベクトルを検出する処理の処理フロー例を示す図である。注目オブジェクトのＣＨ間での消失が確認できた場合、図７の処理フローにより、基準ＣＨ以外のＣＨにて同様に注目オブジェクトの検出と動きベクトルの取得を行う。

まず、ｐフレーム間、各チャンネルにて注目オブジェクトの検出を行い（Ｓ７０１）、基準ＣＨにて追跡していた注目オブジェクトが他ＣＨにて検出できる場合は（Ｓ７０２：Ｙｅｓ）、検出したＣＨを注目オブジェクトの移動先と判定する（Ｓ７０３）。

その次にｐフレーム間、注目オブジェクトの追跡を行う（Ｓ７０４）。ここで注目オブジェクトの動きが検知できる場合（Ｓ７０５：Ｙｅｓ）は動きベクトルを取得（Ｓ７０６）して処理を終了する。一方、注目オブジェクトの動きが検知できない場合（Ｓ７０５：Ｎｏ）は静止オブジェクトと判断（Ｓ７０８）して図４の基準ＣＨの注目オブジェクトの動きベクトル検出処理に戻る。また、基準ＣＨ以外のＣＨにてｐフレーム間で注目オブジェクトが検出できない場合（Ｓ７０２：Ｎｏ）は、移動先に画面が無いと判定（Ｓ７０７）して処理を終える。Ｓ７０７での判定は隣接分割画面が画面無しであることを意味する。

（処理グループ２：隣接データ取得処理）
隣接データ取得処理（処理グループ２）では、処理グループ１で検出した注目オブジェクトの基準チャンネル内およびそれ以外のチャンネルそれぞれにおける動きベクトルに基づいて、基準チャンネルに対する隣接データを取得する。

図８は隣接データの一例を示す図である。隣接データは、基準チャンネルに対してどの方向にどのチャンネルの分割画面が隣接しているかを示すデータである。図８に示す例では、基準チャンネルのチャンネル番号と隣接方向とが主キーとなり、画面種類（チャンネル番号または画面無し）がこの主キーに対するフィールドとなり、各レコードの数値は、主キーの基準チャンネルの隣接方向に個々のフィールドのチャネル番号の分割画面が存在すると判断された回数である。また、データ数は、主キーごとのカウント数の合計値である。図８の例では、主キーには、基準ＣＨがＮ＝１の場合は、ＣＨ１右、ＣＨ１左、ＣＨ１上、ＣＨ１下が選択される。隣接データ取得処理では、この選択した基準ＣＨの上下左右の方向に対して、ＣＨ番号または画面無しといった隣接分割画面の種類データをカウントしていく。隣接分割画面の種類データは、隣接分割画面のＣＨ番号または画面無しという画面種類を意味する。

隣接データ取得処理（処理グループ２）では、具体的には、隣接分割画面の方向データ取得処理（図９）を行い、隣接分割画面の種類データ取得処理（図１１）を行い、基準ＣＨの方向データに対する隣接分割画面の種類データのカウント処理（図１３）を行う。これらの３つの処理を通して、基準ＣＨの上下左右、４方向に対する隣接分割画面の種類データをカウントする。

図９は、隣接分割画面の方向データ取得処理の処理フロー例を示す図である。隣接分割画面の方向データ取得処理では、基準ＣＨでの注目オブジェクトの動きベクトルから、移動先の画面が基準ＣＨに対して隣接している上下左右の方向を決定する（Ｓ９０１）。

図１０は基準ＣＨでの注目オブジェクトの動きベクトルとその延長線を現した図である。隣接分割画面の方向データは、注目オブジェクトの動きベクトルの延長線が交わる辺が４方向のうちどの辺になるかで判定する。図１０に示す例では、注目オブジェクトの動きベクトルの延長線が右辺に交わっているので、基準ＣＨの方向データが右に決定（選択）される。

図９に戻って、基準ＣＨでの注目オブジェクトの動きベクトルの延長線が交わる辺が右であるか否か（Ｓ９０２）と、左であるか否か（Ｓ９０４）と、上であるか否か（Ｓ９０６）と、左であるか否か（Ｓ９０８）とが順次判断され、該当する場合（Ｓ９０２、Ｓ９０４、Ｓ９０６、Ｓ９０８：Ｙｅｓ）は、その決定された辺が基準ＣＨの方向データとして選択される（Ｓ９０３、Ｓ９０５、Ｓ９０７、Ｓ９０９）。なお、左右上下いずれの辺をどの順に判断していくかは図９の例は一例にすぎない。Ｓ９０２、Ｓ９０４、Ｓ９０６、Ｓ９０８における判断の際、動きベクトルの延長線が頂点に交わるなど４方向を導くことが出来ない場合は、基準ＣＨの注目オブジェクト検出処理までフローを戻す。

図１１は、隣接分割画面の種類データ取得処理の処理フロー例を示す図である。隣接分割画面の種類データの取得処理では、ＣＨ間移動前後のオブジェクトの動きベクトルを比較することで隣接分割画面の種類データを決定する。隣接分割画面の種類データはＣＨ番号または画面無しの情報のことである。

まず、オブジェクトの移動先が基準ＣＨ以外のＣＨであるかどうかを判断する（Ｓ１１０１）。この処理は、図７のＳ７０７にて注目オブジェクトの移動先が画面無しであると判定した場合に、Ｎｏと判断し、隣接分割画面の種類データは、「画面無し」であると決定する（Ｓ１１０５）。画面が無い方向への移動（種類データが「画面無し」）と判断した際には本処理を終了する。

一方、注目オブジェクトの移動先が他のＣＨである場合は、ＣＨ間移動前後のオブジェクトの動きベクトルを比較する（Ｓ１１０２）。図１２は注目オブジェクトの移動先のＣＨにおける動きベクトルとその後ろ側の延長線を現した図である。Ｓ１１０２では、図９に示す基準ＣＨ内の注目オブジェクトの動きベクトルの延長線と、図１２の動きベクトルの後ろ側の延長線とを比較して、両者が一致するか否かを判断する。これにより画面種類判定の精度を上げることができる。２つの動きベクトルが一致する場合（Ｓ１１０３：Ｙｅｓ）は、画面の種類データは移動先ＣＨのＣＨ番号であると決定（Ｓ１１０４）して処理を終了する。動きベクトルが一致しない場合（Ｓ１１０３：Ｎｏ）は、対象とする注目オブジェクトを変えるべく基準ＣＨのオブジェクト検出処理に戻る。

図１３は、基準ＣＨの方向データに対する隣接分割画面の種類データのカウント処理の処理フロー例を示す図である。種類データのカウント処理では、移動先ＣＨが隣接分割画面であることを確認し、正しいと判定した場合に移動先ＣＨを基準ＣＨの方向データに対する隣接分割画面としてカウントする処理を行う。

隣接の判定は、図１２のように移動後ＣＨでの注目オブジェクトの動きベクトルに対し、その後ろ側の延長線が交わる辺の４方向が移動前後で合致するかどうかを調べることで行われる。移動前後の方向の比較なので、基準ＣＨでの注目オブジェクトの出力方向（図１０）と基準ＣＨからの注目オブジェクトの入力方向（図１２）は逆方向になる。図１３の処理例では、隣接分割画面の種類データ取得処理において決定した画面の種類データ（移動先のＣＨ番号）に基づいて、移動先のＣＨにおける注目オブジェクトの動きベクトルの後方部分の延長線が交わる辺を決定する（Ｓ１３０１）。交わる辺が左である場合（Ｓ１３０２：Ｙｅｓ）は、基準ＣＨの方向データが対応しているか否か、すなわち右であるか否かが判断される（Ｓ１３０３）。移動先のＣＨにおける交わる辺と基準ＣＨの方向データが対応している場合は、移動前後で合致するとして、基準ＣＨの方向データに対する移動先のＣＨのＣＨ番号がカウントされ（Ｓ１３０４）、図１３の処理を終了する。終了するまで４辺について順次行なう（Ｓ１３０５からＳ１３１２）。４辺の判断の順序は、図１３に示す例に限らない。判定の結果、誤りとなった場合（移動先のＣＨにおける交わる辺と基準ＣＨの方向データが対応していない場合）は、対象とする注目オブジェクトを変えるべく基準ＣＨのオブジェクト検出処理に戻る。

（処理グループ３：隣接分割画面ブロック作成処理）
隣接分割画面ブロック作成処理（処理グループ３）では、処理グループ２で取得した隣接データに基づいて、画面位置決定に使用する隣接分割画面ブロックを作成する。

図１４は、隣接分割画面ブロックについて説明する図である。隣接分割画面ブロックとは基準ＣＨに対する隣接分割画面と判断されたチャンネルのグループであり、画面分割をマトリックス状とする場合、それぞれの基準ＣＨの分割画面に隣接する隣接分割画面の数により大きく３つに分類することが出来る。図１４に示すように、隣接分割画面数が２つの基準ＣＨをＬ型（図１４の左側）と分類でき、隣接分割画面数が３つの基準ＣＨをＴ型（図１４の中央）と分類でき、隣接分割画面数が４つの基準ＣＨを十字型（図１４の右側）と分類できる。画面全体のうち、４つ角に位置するＬ型は、Ｌ左上型、Ｌ右下型、Ｌ右上型、Ｌ左下型の４種に分けられる。Ｌ型の個数はそれぞれ１個ずつとなる。画面端に位置するＴ型はＴ下型、Ｔ右型、Ｔ左型、Ｔ上型の４種類ある。画面全体の上下端に位置するＴ下型とＴ上型はそれぞれ（ｎ－２）個ある。画面全体の左右端に位置するＴ右型とＴ左型はそれぞれ（ｍ－２）個ある。画面端以外に位置する十字型は、ｍ×ｎ－２（ｎ－２）－２（ｍ－２）－４個ある。

隣接分割画面ブロック作成処理では、まず隣接分割画面データ数の判定処理を行う。その後、隣接分割画面データ数が必要数揃っているかの判定をし、全てのＣＨに対して必要数が揃っている場合は、基準ＣＨに対する隣接分割画面ブロックの種類を判定して、隣接分割画面ブロックを作成する。

隣接分割画面ブロック作成処理（処理グループ３）では、具体的には、隣接分割画面データ数の判定処理（図１５）を行い、基準画面に対する隣接分割画面ブロック判定処理（図１６）を行い、隣接分割画面ブロック数の判定処理（図１７）を行う。

図１５は、隣接分割画面データ数判定処理の処理フロー例を示す図である。本実施形態の映像信号識別処理では、注目オブジェクトの検出から基準画面の方向データに対する隣接分割画面の種類を決定する処理を所定回数以上繰り返し行って隣接分割画面判定の精度を上げることができる。隣接分割画面データ数判定処理では、基準ＣＨの４方向の位置に対して、画面種類データ（隣接分割画面データ数）が画面位置決定に必要な数だけ揃っているかの判定を行う。

図１５に示す処理では始めに、対象とする基準ＣＨ（Ｎとする）の４方向（Ｎ右、Ｎ左、Ｎ上、Ｎ下）に対してデータが２０個以上あるかどうかの確認を行う（Ｓ１５０１からＳ１５０４）。ここで見ている個数は、例えば図８の隣接データの主キーごとのカウント数の合計値（データ数というフィールド）である。それぞれ２０個以上無い場合（Ｓ１５０１からＳ１５０４：Ｎｏ）は、基準ＣＨの注目オブジェクト検出処理に移行してこれまでの処理を再度実行する。ここで必要データ数は暫定的に２０個としているが、実際は統計的に信頼性が得られる数であればこれに限定されない。

データが必要数揃っている場合（Ｓ１５０１からＳ１５０４：Ｙｅｓ）は、方向データに対する画面種類のデータ数が一番多い画面種類を隣接分割画面として決定する（Ｓ１５０５）。

ひとつの基準ＣＨに対して、４方向の方向データに対して決定された画面種類データは、画面無し以外は同じ種類の画面が重複することはない。そこで、次に４方向の画面種類データの比較を行う（Ｓ１５０６からＳ１５０８）。まず、４方向の画面種類データが一つも重複しない場合（Ｓ１５０６：Ｙｅｓ）は正しいデータと判断して、隣接分割画面データ数の判定処理を終了する。４方向の画面種類データに重複がある場合（Ｓ１５０６：Ｎｏ）、画面無しデータ数によってフローを分岐させる（Ｓ１５０７）。画面無しデータ数は画面端の場合に１個、角の画面で２個、それ以外は０個である。よって、画面無しデータ数が２個以上ある場合（Ｓ１５０７：Ｎｏ）、ＣＨ番号の画面種類データが重複する場合（Ｓ１５０８：Ｎｏ）は対象とした基準ＣＨに対する画面種類データを全て削除して、基準ＣＨのオブジェクト検出処理に移行する（図３のＳ１３１７）。

図１６は、基準画面に対する隣接ブロック判定処理の処理フロー例を示す図である。基準画面に対する隣接分割画面ブロック判定処理では、基準ＣＨの隣接分割画面ブロックの種類を決定する。隣接分割画面ブロックは図１４を用いて説明したように、隣接分割画面の数によって３種類に分類することが出来る。基準画面に対する隣接ブロック判定処理では隣接分割画面数が４つの場合に十字型、隣接分割画面数が３つの場合にＴ型、隣接分割画面数が２つ以下の場合にＬ型と判定するように条件分岐を行っている。Ｔ型とＬ型においては、それぞれの上下左右の４種類の分類も行う。Ｌ型と判定された後に４種類に分類できない場合はそのＣＨの画面種類データを削除して基準ＣＨのオブジェクト検出処理に移行する。隣接ブロック判定処理は基準チャンネル番号Ｎ＝１から判定処理を開始し、判定終了ごとにＮをインクリメントして繰り返し行う。処理は全チャンネル数Ｍまで判定できたら終了する。

図１６において、まず最初に、チャンネル番号１を基準チャンネルとし（Ｓ１６０１）、基準ＣＨに対する隣接分割画面データがすべてＣＨ番号である（画面無しデータがない）か否かが判断され（Ｓ１６０２）、すべてＣＨ番号の場合（Ｓ１６０２：Ｙｅｓ）は、基準ＣＨは十字型と判定する（Ｓ１６０３）。

すべてＣＨ番号でない場合（Ｓ１６０２：Ｎｏ）は、基準ＣＨに対する隣接分割画面データのうち、画面無しデータ数が１つ（または３つがＣＨ番号）か否かが判定され（Ｓ１６０４）、画面無しデータ数が１つの場合（Ｓ１６０４：Ｙｅｓ）、基準ＣＨはＴ型と判定する（Ｓ１６０５）。さらに、画面無しのデータの隣接方向をもとに、Ｔ下型、Ｔ右型、Ｔ左型、Ｔ上型のいずれかを分類する（Ｓ１６０６）。

隣接分割画面データのすべてがＣＨ番号でなく、画面無しデータ数が１つではない場合（Ｓ１６０４：Ｎｏ）、基準ＣＨはＬ型と判定する（Ｓ１６０７）。さらに、画面無しのデータの隣接方向をもとに、Ｌ左上型、Ｌ右下型、Ｌ右上型、Ｌ左下型のいずれかを分類する（Ｓ１６０８）。Ｓ１６０８における分類が、Ｌ型の４種類に重複なく分類できたかを判定する（Ｓ１６０９）。重複がある場合（Ｓ１６１０）は、その基準ＣＨに対する画面種類データを削除し、基準ＣＨの注目オブジェクトの動きベクトルの検出処理に戻る。

これらの（Ｓ１６０２からＳ１６０９）の処理をすべての基準ＣＨに対して実行する（Ｓ１６１１、Ｓ１６１２）。

図１７は、隣接分割画面ブロック数の判定処理の処理フロー例を示す図である。図１６までの処理で、全てのＣＨに対して隣接分割画面ブロックの決定が終わっている。隣接分割画面ブロックの個数は種類ごとに決まっているため、隣接分割画面ブロック数の判定処理では、隣接分割画面ブロックの種類と数の照合を行う。

データの照合は始めにＬ型の４種類に対して行う（Ｓ１７０１からＳ１７０４）。照合の際にデータ数が合致しない場合（Ｓ１７０１からＳ１７０４：Ｎｏ）はその種類のデータを削除する（Ｓ１７０９からＳ１７１２）。データの削除が行われた場合は、削除したＣＨのうち、ＣＨ番号が最小のＣＨを基準ＣＨとして（Ｓ１７１３）、基準ＣＨのオブジェクト検出処理までフローを戻す。

Ｌ型の次はＴ型の４種類に対して数の照合を行う（Ｓ１７０５からＳ１７０８）。Ｔ型の判定時に個数が一致しなかった場合（Ｓ１７０５からＳ１７０８：Ｎｏ）は、Ｔ型と判定されたＣＨのデータの削除（Ｓ１７１４）に加えて十字型と判定されたＣＨのデータも削除する（Ｓ１７１５）。これは、Ｔ型のデータが間違っている場合に十字型のデータの信頼性も低くなるためである。データの削除が行われた場合の処理はＬ型のフローと同じである。Ｌ型、Ｔ型の個数が正しい場合は残りの十字型の個数も正しくなるため、本処理を終了する。

（処理グループ４：画面位置決定処理）
画面位置決定処理（処理グループ４）では、処理グループ３で作成した隣接分割画面ブロックを並べることで各ＣＨの画面位置を決定する。

図１８、図１９は画面位置決定処理の処理フロー例を示す図である。まず、Ｌ型の位置は４隅となるため、Ｌ型を配置する（Ｓ１８０１）。Ｌ左上型は左上角、Ｌ右下型は右下角、Ｌ右上型は右上角、Ｌ左下型は左下角に配置する。この説明では、画面位置の座標（ｘ、ｙ）は、分割画面を合成した画面の左上部を原点とし、右側へｘ、下方向にｙとして表している。図２の例では、ｘの最大値がｎであり、ｙの最大値がｍである。

次にｘ＝１として（Ｓ１８０２）、Ｔ下型のブロックを（基準ＣＨの座標：２，１）から右方向に埋めていき、Ｔ上型のブロックを（基準ＣＨの座標：２，ｍ）から右方向に埋めていく（Ｓ１８０３からＳ１８０８）。このとき、次に配置するブロックの左側に隣接するＣＨが重なるように配置していく。すなわち、前に配置したＴ上型またはＴ下型のブロックの基準ＣＨのＣＨ番号が次に配置するブロックの左側（基準ＣＨの左隣）のＣＨ番号と一致するように配置していく。この処理は右端を除いたｘ＝ｎ－１になるまでｘをインクリメントして繰り返す。

Ｔ下型、Ｔ上型のブロックの配置が終了したら、次にｙ＝１として（Ｓ１８０９）、Ｔ右型のブロックを（基準ＣＨの座標：１，２）から下方向に埋めていき、Ｔ左型のブロックを（基準ＣＨの座標：ｎ，２）から下方向に埋めていく（Ｓ１８１０からＳ１８１５）。このとき、次に配置するブロックの上側に隣接するＣＨが重なるように配置していく。すなわち、前に配置したＴ右型またはＴ左型のブロックの基準ＣＨのＣＨ番号が次に配置するブロックの上側（基準ＣＨの上隣）のＣＨ番号と一致するように配置していく。この処理は下端を除いたｙ＝ｍ－１になるまでｙをインクリメントして繰り返す。

ここまでの処理で、画面の上下左右の端に位置するＣＨの位置が決定している。次は、十字型のブロックの配置を行う。ｘ＝１，ｙ＝１として（Ｓ１８１６）、（基準ＣＨの座標：２，１）から順に右方向に埋めていく。このとき、次に配置するブロックの上側と左側のＣＨが重なるように配置する（Ｓ１８１７からＳ１８２２）。すなわち、前に配置した十字型のブロックの基準ＣＨのＣＨ番号が次に配置するブロックの上側および左側（基準ＣＨの上隣および左隣）のＣＨ番号と一致するように配置していく。この処理は右端を除いたｘ＝ｎ－１になるまでｘをインクリメントして繰り返す。ｘ方向に対して繰り返した後はｙ方向にインクリメントして同様の処理をｘ方向に対して繰り返す。これらの処理は下端を除いたｙ＝ｍ－１になるまで繰り返す。

これらの隣接分割画面ブロックの配置の際に、隣接ＣＨが繋がらない場合は、全てのデータの初期化を行い（Ｓ１８２３）、全ＣＨの信号入力確認判定後（すなわち基準ＣＨの注目オブジェクトの動き検出処理）までフローをもどす。

画面位置決定処理の結果、各分割画面の映像信号について画面位置が決定する。

図３に戻って、画面位置決定処理（処理グループ４）において決定された画面位置に従って映像信号を並び替える（Ｓ３１７）。ここまでの処理をした時点で、全てのＣＨの表示位置が決定している。したがって最後は、映像信号処理部２０により決定したＣＨの画面位置になるように表示する画面を切り替えて表示画面３０に表示させれば、所望の映像が表示される。

１画像表示装置
１０₁～１０_N 複数の映像入力チャンネル
２０映像信号処理部
３０表示画面

Claims

映像信号に基づいて複数フレームからなる画像を表示する表示画面と、
一画面として表示すべき画像をマトリックス状に分割した複数の分割画面の映像信号を入力する複数の映像信号入力チャンネルと、
前記複数の分割画面の映像信号を並び替えて前記表示画面に一画面の映像として表示させる映像信号処理部とを備えた画像表示装置であって、
前記映像信号処理部は、
注目オブジェクトを特定して、基準チャンネルおよびその他のチャンネルそれぞれにおける注目オブジェクトの動きベクトルを検出するオブジェクト検出手段と、
前記検出した注目オブジェクトの動きベクトルに基づいて基準チャンネルに隣接する隣接分割画面のチャンネルの情報である隣接データを取得する隣接データ取得手段と、
前記取得した隣接データに基づいて、チャンネルごとに隣接分割画面となるチャンネルを組み合わせた隣接ブロックを作成する隣接ブロック作成手段と、
前記作成した隣接ブロックに基づいて各分割画面の画面位置を決定する画面位置決定手段とを有する
ことを特徴とする画像表示装置。
前記その他のチャンネルにおいて、前記注目オブジェクトについて、基準チャンネルの動きベクトルと方向が一致する動きベクトルが検出されたチャンネルを前記基準チャンネルに隣接する隣接分割画面のチャンネルとして前記隣接データが取得される
ことを特徴とする請求項１に記載の画像表示装置。
前記隣接ブロック作成手段において作成される隣接ブロックは、隣接可能な４方向のうち、２方向のみに隣接分割画面が存在するＬ型と、３方向にのみ隣接分割画面が存在するＴ型と、４方向に隣接分割画面が存在する十字型とのいずれかである
ことを特徴とする請求項１に記載の画像表示装置。
映像信号に基づいて複数フレームからなる画像を表示する表示画面と、
一画面として表示すべき画像をマトリックス状に分割した複数の分割画面の映像信号を入力する複数の映像信号入力チャンネルと、
前記複数の分割画面の映像信号を並び替えて前記表示画面に一画面の映像として表示させる映像信号処理部とを備えた画像表示装置における画像表示方法であって、
注目オブジェクトを特定して、基準チャンネルおよびその他のチャンネルそれぞれにおける注目オブジェクトの動きベクトルを検出するオブジェクト検出処理と、
前記検出した注目オブジェクトの動きベクトルに基づいて基準チャンネルに隣接する隣接分割画面のチャンネルの情報である隣接データを取得する隣接データ取得処理と、
前記取得した隣接データに基づいて、チャンネルごとに隣接分割画面となるチャンネルを組み合わせた隣接ブロックを作成する隣接ブロック作成処理と、
前記作成した隣接ブロックに基づいて各分割画面の画面位置を決定する画面位置決定処理と、
前記決定された画面位置に応じて前記複数の分割画面の映像信号を並び替えて前記表示画面に映像として表示させる表示処理とを含む
ことを特徴とする画像表示方法。