JP6650568B2 - 電子機器及びその制御方法 - Google Patents

Description

本開示は、映像を表示可能な表示部を有する電子機器及びその制御方法に関する。

特許文献１は、映像を表示可能な表示部を有する表示装置（オシロスコープ）を開示している。特許文献１に記載の表示装置は、表示部に第１映像を表示中に、所定色の第２映像の映像信号を受信した場合、第２映像を半透明状態等にした映像を第１映像に重畳した映像を表示部に表示可能とする。

特開平１０−３０７６９７号公報

本開示は、コンピュータ等の電子機器において、ＯＳの管理下で生成される第１映像に、第２映像を第１映像の上位階層側にＯＳの管理外で重畳して表示する場合に、ＯＳ等により、警告ウィンドウ等の表示オブジェクトが表示されたことをユーザに認識させる、ことが可能な電子機器を提供する。

本開示の電子機器は、入力された映像信号に基づく映像を表示する表示部と、オペレーティングシステムの管理に基づいて第１映像を示す第１映像信号を生成する制御部と、を備える。また、第１映像信号と、第２映像を示す第２映像信号とを入力し、オペレーティングシステムの管理外で第２映像を第１映像の上位階層側に配置した合成映像を生成し、生成した合成映像を示す合成映像信号を表示部に出力する映像重畳部、を備える。制御部は、表示オブジェクトを階層的に配置した映像を第１映像として生成するとともに、所定イベントの発生時に、所定イベントの発生を示す第１表示オブジェクトを最上位階層に配置する。また、制御部は、映像重畳部が合成映像信号を表示部に出力している間、最上位階層よりも下位の階層で、かつ合成映像の第２映像部分の表示領域と同じ領域に、第２表示オブジェクトを配置した映像を第１映像として生成し、第１映像において第２表示オブジェクトが配置された領域内の映像の色の変化を監視し、色の変化を検知したときは、合成映像の表示態様を変更する。

これにより、オペレーティングシステムの管理外で、第２映像を第１映像の上位階層側に配置した合成映像が生成されている間、第１映像において、第２表示オブジェクトが配置された所定領域内の映像の色の変化が監視される。そして、第１表示オブジェクトが生成されると、所定領域内の映像の色が変化する。そのため、色の変化が検知される。その結果、所定イベントの発生をユーザが認識可能なように、合成映像の表示態様が変更される。したがって、所定イベントが発生したことをユーザに認識させることができる。

図１は、実施の形態１の電子機器の外観を示す図である。 図２は、実施の形態１の電子機器の電気的構成を示すブロック図である。 図３は、実施の形態１の電子機器の機能を示す機能ブロック図である。 図４は、実施の形態１の電子機器の表示画面の第１映像の一例を示す図である。 図５は、実施の形態１の電子機器の表示画面において、第１映像に第２映像が上位階層側に配置（重畳）された合成映像の一例を示す図である。 図６は、実施の形態１の電子機器の表示画面の第２映像部分に警告ウィンドウが重なったときの表示画面を示す図である。 図７は、実施の形態１の電子機器において表示される合成映像の階層構造を説明する図である。 図８は、実施の形態１の電子機器において表示される合成映像の階層構造を説明する図である（警告表示時）。 図９は、実施の形態１の電子機器における合成映像の表示態様の変更動作を説明するフローチャートである。 図１０は、実施の形態１の電子機器の表示画面において、合成映像の表示態様の変更を行ったときの表示画面を示す第１例の図である。 図１１は、実施の形態１の電子機器の表示画面において、合成映像の表示態様の変更を行ったときの表示画面を示す第２例の図である。 図１２は、実施の形態１の電子機器の表示画面において、合成映像の表示態様の変更を行ったときの表示画面を示す第３例の図である。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。

（開示の経緯）
コンピュータ等の電子機器においては、一般に、オペレーティングシステム（ＯＳ）の管理下で、ウィンドウ等の表示オブジェクトの表示制御が行われる。

コンピュータ等の電子機器においては、外部入力端子を介して映像信号が入力され、入力された映像信号が示す映像がデスクトップ上に重畳されて表示部に表示される場合がある。この場合、電子機器は、入力された映像に対してＣＰＵ（中央処理装置）で所定の処理を施して、表示部に表示させる。

外部入力映像の解像度が高くなると、処理すべきデータ量が増大するため、ＣＰＵの処理能力が不足する場合がある。この場合、ＣＰＵとは別に映像処理用のＧＰＵ（映像処理装置）を設け、入力された映像を、ＣＰＵから出力される第１映像の上位階層側にＯＳの管理外で重畳（配置）して表示することが考えられる。しかし、ＯＳの管理下で生成された警告ウィンドウ等の表示オブジェクトが、上位階層側で重畳された第２映像により隠される場合がある。

本開示は、コンピュータ等の電子機器において、ＯＳの管理下で生成される第１映像に、第２映像を第１映像の上位階層側にＯＳの管理外で重畳して表示する場合に、ＯＳ等により警告ウィンドウ等のオブジェクトが表示されたことをユーザに認識させることを可能にする。

（実施の形態１）
以下、図面を参照して、実施の形態１を説明する。

１−１．構成
図１は、実施の形態１の電子機器１００の外観を示す図である。

電子機器１００は、タブレット型のコンピュータである。

電子機器１００は、表示部１１０、タッチパネル１２０、操作ボタン１３０、及び外部入力端子１４０を備える。

表示部１１０は、入力された映像信号に基づいて、画像や映像を表示する。表示部１１０は、例えば液晶ディスプレイにより構成される。表示部１１０は、水平方向の画素数が３８４０、垂直方向の画素数が２１６０のいわゆる４Ｋタイプのディスプレイである。そのため、表示部１１０は、４Ｋ映像（水平方向の画素数が３８４０、垂直方向の画素数が２１６０の映像）を原解像度のまま表示可能である。

タッチパネル１２０は、表示部１１０の表面に重ねて設けられている。タッチパネル１２０は、タッチされた位置を示す信号を出力するポインティングデバイスである。

操作ボタン１３０は、押下式のスイッチであり、押下されたときに押下されたことを示す信号を出力する。

外部入力端子１４０は、外部機器から出力される信号を入力する。外部入力端子１４０は、例えば、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ、登録商標）端子である。

図２は、実施の形態１の電子機器１００の電気的構成を示すブロック図である。

電子機器１００は、ＣＰＵ２１０（中央処理装置）、記憶部２２０、バス２３０、及びＧＰＵ３００（映像処理装置）をさらに備える。

記憶部２２０は、電子機器１００が情報処理を行う為に必要なデータを一時的、または恒久的に記憶する。記憶部２２０は、例えば、プログラムや、プログラムが参照するデータを格納する。記憶部２２０は、例えば揮発性メモリ、不揮発性メモリ、またはハードディスクドライブ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ（ＨＤＤ））等により構成される。記憶部２２０は、オペレーティングシステム（ＯＳ）を格納している。ＯＳは、電子機器１００が備える構成要素をソフトウェア的に取り扱うためのシステムをユーザに提供する。記憶部２２０は、後述する各種の処理を行うプログラムを格納している。

ＣＰＵ２１０は、電子機器１００全体の動作を制御する。ＣＰＵ２１０は、記憶部２２０からＯＳ及びプログラムを読み出す。ＣＰＵ２１０は、読み出したＯＳ及びプログラムに基づいて演算処理を行うことにより、電子機器１００における種々の機能を実現する。ＣＰＵ２１０は、ＯＳ及びプログラムに基づいて、表示部１１０に表示する映像を示す映像信号を生成する機能を有する。ＣＰＵ２１０は、タッチパネル１２０または操作ボタン１３０から信号を受信した場合、ＯＳ及びプログラムに基づいて所定の処理を実行する。

バス２３０は、電子機器１００を構成する各構成要素が、他の構成要素との間で、種々の信号を送受信するための信号路である。バス２３０には、タッチパネル１２０、操作ボタン１３０、ＣＰＵ２１０、記憶部２２０、及びＧＰＵ３００が接続されている。

ＧＰＵ３００は、４Ｋ映像の映像処理が可能なＬＳＩ（大規模集積回路）により構成されている。ＧＰＵ３００は、４Ｋ映像という非常に多画素の映像に対する映像処理を行う際の、ＣＰＵ２１０の処理負荷を軽減するために設けられている。ＧＰＵ３００は、ＣＰＵ２１０で生成された第１映像信号と、外部入力端子１４０を介して入力された第２映像信号とを入力し、オペレーティングシステムの管理外で第２映像を第１映像の上位階層側に配置した合成映像を生成し、生成された合成映像を示す合成映像信号を表示部１１０に出力する。ＧＰＵ３００は、外部入力端子１４０から外部映像信号が入力されていないときは、ＣＰＵ２１０で生成された第１映像信号をそのまま表示部１１０に出力する。

１−２．動作
実施の形態１の電子機器１００の動作について説明する。

１−２−１．概要
図３は、実施の形態１の電子機器１００の機能を示す機能ブロック図である。

制御部２１０Ｃでは、ＣＰＵ２１０によりＯＳ及び映像アプリケーションが実行される。制御部２１０Ｃは、主制御部２１０Ａ（第１制御部）と、外部映像制御部２１０Ｂ（第２制御部）とを含む。

主制御部２１０Ａ（第１制御部）では、ＣＰＵ２１０によりＯＳが実行される。主制御部２１０Ａは、電子機器１００の動作を統括的に制御する。また、主制御部２１０Ａは、ＯＳの管理下で第１映像信号ＳＧ１を生成し、生成された第１映像信号ＳＧ１を出力する。

外部映像制御部２１０Ｂでは、ＯＳ上で映像アプリケーションがＣＰＵ２１０により実行される。外部映像制御部２１０Ｂは、主制御部２１０Ａとの間で種々の信号を授受し、授受した信号に基づいてＧＰＵ３００の外部映像入力部３００Ａ及び映像重畳部３００Ｂを制御する。

ＯＳ上では、映像アプリケーション以外に、音楽管理アプリケーション、表計算アプリケーション、及び文書作成アプリケーション等、種々のアプリケーションが実行可能である。図３では、アプリケーション部（以下、アプリ部と略記）５００Ａ、５００Ｂ、及び５００Ｃにおいて、上記のようなアプリケーションがＣＰＵ２１０によりＯＳ上で実行される。

ＧＰＵ３００は、外部映像入力部３００Ａと映像重畳部３００Ｂとを含む。

外部映像入力部３００Ａは、外部映像機器４００から外部入力端子１４０を介して入力された映像信号を、映像重畳部３００Ｂで処理可能な形式の映像信号に変換する。外部映像入力部３００Ａの出力が、第２映像信号ＳＧ２である。外部映像機器４００は、例えば、映像再生部４１０及び映像出力部４２０を備え、映像再生部４１０で再生された４Ｋ映像を示す４Ｋ映像信号を、映像出力部４２０から出力する。

映像重畳部３００Ｂは、第１映像信号ＳＧ１と、第２映像を示す第２映像信号ＳＧ２とを入力する。映像重畳部３００Ｂは、第２映像を第１映像の上位階層側に配置した合成映像を生成する。映像重畳部３００Ｂは、生成した合成映像を示す合成映像信号ＳＧＣを表示部１１０に出力する。

図４は、実施の形態１の電子機器１００の表示画面の第１映像の一例を示す図である。本例では、デスクトップ上に複数のアイコン６００が配置されている。図５は、実施の形態１の電子機器１００の表示画面において、第１映像に第２映像が上位階層側に配置（重畳）された合成映像の一例を示す図である。

映像重畳部３００Ｂは、上述のように、ＯＳの管理外で、ＯＳにより生成された第１映像Ｉｍ１の上位階層側に、第２映像Ｉｍ２を合成する。そのため、図４に示す第１映像Ｉｍ１に対して、映像重畳部３００Ｂで第２映像Ｉｍ２を合成した場合、図５に示すように、第２映像Ｉｍ２が第１映像Ｉｍ１の上位階層側に合成された合成映像Ｉｍｃが生成される。

ここで、ＯＳは、ウィンドウ等の表示オブジェクトを階層的に管理する。ＯＳは、ウィンドウ等の表示オブジェクトを管理している、階層の順番で配置（重畳）した映像を生成し、生成された第１映像Ｉｍ１を示す第１映像信号ＳＧ１を出力する。

ＯＳは、電子機器１００において所定イベントが発生すると、第１表示オブジェクトを生成し、ＯＳの管理可能な範囲での最上位階層に配置する。所定イベントは、例えば電子機器１００が所定の警告すべき状態となったことである。第１表示オブジェクトは、例えば警告ウィンドウである。所定の警告すべき状態とは、例えば、電子機器１００のバッテリの残存容量が所定容量以下になった状態である。なお、以下の説明は、所定イベントが所定の警告すべき状態であり、第１表示オブジェクトが警告ウィンドウである場合について行う。

１−２−２．本開示の課題
本開示の課題について、図６を参照して説明する。図６は、実施の形態１の電子機器１００の表示画面の第２映像部分に警告ウィンドウが重なったときの表示画面を示す図である。上述したＯＳの管理外で、第１映像Ｉｍ１に第２映像Ｉｍ２をその上位階層側で合成した合成映像Ｉｍｃを映像重畳部３００Ｂで生成する構成においては、合成映像Ｉｍｃの表示中に所定の警告すべき状態が発生すると、ＯＳにより最上位階層に警告ウィンドウＷａが配置された第１映像Ｉｍ１が生成される。しかし、映像重畳部３００Ｂにより、ＯＳの管理外で、その上位階層側に第２映像Ｉｍ２が配置されているため、合成映像Ｉｍｃにおいて、警告ウィンドウＷａは第２映像Ｉｍ２により隠される。そのため、ユーザが所定の警告すべき状態の発生を認識できない可能性がある。この問題を解決するため、本実施の形態では以下の構成を採用する。

１−２−３．問題解決のための構成
本実施の形態では、警告ウィンドウＷａが合成映像Ｉｍｃの第２映像Ｉｍ２部分に重なって生成されたことを外部映像制御部２１０Ｂが検知する。外部映像制御部２１０Ｂが検知した場合、所定イベントの発生をユーザが認識可能なように、合成映像Ｉｍｃの表示態様を変更する。以下、詳しく説明する。

１−２−３−１．重なり検知ウィンドウの配置
図７は、実施の形態１の電子機器１００において表示される合成映像の階層構造を説明する図である。本実施の形態では、合成映像を生成する際、ＯＳが管理する最上位階層よりも下位の階層で、かつ、合成映像の第２映像Ｉｍ２部分の表示領域と同じ領域である重なり検知領域Ｒｄに、重なり検知ウィンドウＷｄ（第２表示オブジェクト）を配置する。重なり検知ウィンドウＷｄは、一の色で塗りつぶされたウィンドウである。一の色は、どのような色でもよい。重なり検知ウィンドウＷｄは、ＯＳが管理する階層のうちの最上位階層の１つ下の階層に、ＯＳの管理により配置される。そのため、所定の警告すべき状態が発生した場合、図８に示すように、警告ウィンドウＷａは、重なり検知ウィンドウＷｄよりも上位の階層に配置されることとなる。図８は、実施の形態１の電子機器１００において表示される合成映像の階層構造を説明する図である（警告表示時）。

上述の図３を参照して、重なり検知ウィンドウＷｄを生成する処理、及び第２映像Ｉｍ２を第１映像Ｉｍ１の上位階層側に重畳する処理について説明する。

ユーザにより映像アプリケーションが起動されると、外部映像制御部２１０Ｂは、ＯＳが管理する階層のうちの最上位階層の１つ下の階層に、重なり検知ウィンドウＷｄを生成することを依頼する指令（Ｃ１）を、主制御部２１０Ａに送信する。また、外部映像制御部２１０Ｂは、生成した重なり検知ウィンドウＷｄを配置した位置の情報（位置情報）の送信を依頼する指令（Ｃ２）を、主制御部２１０Ａに送信する。位置情報は、例えばウィンドウの左上の角及び右下の角の座標で示される。

主制御部２１０Ａは、ＯＳが管理する階層のうちの最上位階層の１つ下の階層において重なり検知ウィンドウＷｄを生成し、生成した重なり検知ウィンドウＷｄの位置情報（Ｃ３）を外部映像制御部２１０Ｂに送信する。

外部映像制御部２１０Ｂは、主制御部２１０Ａから受信した重なり検知ウィンドウＷｄの位置情報（Ｃ４）を映像重畳部３００Ｂに送信する。

映像重畳部３００Ｂは、第１映像Ｉｍ１に対して、外部映像制御部２１０Ｂから受信した重なり検知ウィンドウＷｄの位置情報に対応する位置に、第２映像Ｉｍ２を重畳した合成映像Ｉｍｃを生成する。映像重畳部３００Ｂは、生成した合成映像Ｉｍｃを示す合成映像信号ＳＧＣを表示部１１０に出力する。

上記の処理により、重なり検知ウィンドウＷｄを生成するとともに、第２映像Ｉｍ２を重なり検知ウィンドウＷｄの上の階層に重なり検知ウィンドウＷｄを重畳させて配置することができる。

１−２−３−２．重なり検知処理及び合成映像の表示態様の変更処理
本実施の形態では、第２映像Ｉｍ２と重なる位置に主制御部２１０Ａにより警告ウィンドウＷａが生成されたことを外部映像制御部２１０Ｂが検知し、外部映像制御部２１０Ｂが検知した場合、合成映像Ｉｍｃの表示態様の変更を行う。以下、この処理について説明する。

図９は、実施の形態１の電子機器１００における合成映像の表示態様の変更動作を説明するフローチャートである。このフローチャートによる処理は、所定周期で実行される。

まず、外部映像制御部２１０Ｂは、主制御部２１０Ａから、第１映像信号ＳＧ１が示す第１映像Ｉｍ１中の重なり検知領域Ｒｄ（第１映像Ｉｍ１において重なり検知ウィンドウＷｄが配置された領域）内の映像信号（図３におけるＣ５）を取得する（ステップＳ１１）。ここで、映像アプリケーションが実行されているとき、主制御部２１０Ａは、上記所定周期で、重なり検知領域Ｒｄ内の映像信号を外部映像制御部２１０Ｂに出力する。なお、外部映像制御部２１０Ｂは、主制御部２１０Ａから、上記所定周期で、第１映像信号ＳＧ１を取得し、重なり検知領域Ｒｄ内の映像信号のみを切り取ることにより、重なり検知領域Ｒｄ内の映像信号を取得してもよい。

外部映像制御部２１０Ｂは、主制御部２１０Ａから取得した第１映像Ｉｍ１中の重なり検知領域Ｒｄ内の映像信号が示す映像の色の変化を監視し、色の変化の有無を判断する（ステップＳ１２）。具体的には、重なり検知領域Ｒｄは、重なり検知ウィンドウＷｄに対応する領域に設定されている。したがって、警告ウィンドウＷａが重なり検知ウィンドウＷｄの上位階層側に配置されていない場合、重なり検知領域Ｒｄ内の映像信号が示す映像の色は、重なり検知ウィンドウＷｄと同じとなる。一方、警告ウィンドウＷａが重なり検知ウィンドウＷｄの上位階層側に配置されると、重なり検知領域Ｒｄ内の映像信号が示す映像の色には、重なり検知ウィンドウＷｄとは異なる色が含まれることとなる。つまり、重なり検知領域Ｒｄ内の映像信号が示す映像の一部の色が変化する。より具体的には、重なり検知領域Ｒｄ内において、警告ウィンドウＷａが配置されている部分に含まれる画素の色が、重なり検知ウィンドウＷｄの色から変化する。ステップＳ１２では、このような画素の色の変化の有無を判断する。なお、色の変化の監視についてのより具体的な例については後述する。

重なり検知領域Ｒｄ内の映像信号が示す映像の色の変化があった場合（ステップＳ１２でＹｅｓのとき）、外部映像制御部２１０Ｂは、合成映像Ｉｍｃの表示態様の変更を指示する指令（図３におけるＣ６）を、映像重畳部３００Ｂ及び主制御部２１０Ａの両方またはいずれか一方に出力する（ステップＳ１３）。表示態様の変更の具体例については後述する。

これに対し、重なり検知領域Ｒｄ内の映像信号が示す映像の色の変化がない場合（ステップＳ１２でＮｏのとき）、外部映像制御部２１０Ｂは、現在の態様で合成映像Ｉｍｃの表示を継続する。

１−２−４．表示態様の変更例
１−２−４−１．表示態様の変更の第１例
図１０は、実施の形態１の電子機器１００の表示画面において、合成映像の表示態様の変更を行ったときの表示画面を示す第１例の図である。第１例において、制御部２１０Ｃ（外部映像制御部２１０Ｂ）は、第１映像Ｉｍ１に対する第２映像Ｉｍ２の重畳を停止するように、映像重畳部３００Ｂを制御する。具体的には、外部映像制御部２１０Ｂは、第１映像Ｉｍ１に対する第２映像Ｉｍ２の重畳を停止する指令（図３におけるＣ６）を映像重畳部３００Ｂに出力する。

これにより、合成映像Ｉｍｃにおいて第２映像Ｉｍ２が重畳されなくなる。そのため、画面には、重なり検知ウィンドウＷｄおよび警告ウィンドウＷａが表示された状態となり、警告ウィンドウＷａをユーザに視認させて、警告が発生したことをユーザに認識させることができる。

なお、本例において、重なり検知ウィンドウＷｄに、「ＯＳにより、重要な情報が表示された可能性があるため、一旦映像を停止しています」といった、ユーザに映像を停止した理由を示すメッセージを表示してもよい。また、本例において、外部映像制御部２１０Ｂは、第１映像Ｉｍ１に対する第２映像Ｉｍ２の重畳を停止する指令Ｃ６を映像重畳部３００Ｂに出力する際、重なり検知ウィンドウＷｄの消去を指示する指令を主制御部２１０Ａに出力してもよい。これにより、重なり検知ウィンドウＷｄも消去されることとなる。

１−２−４−２．表示態様の変更の第２例
図１１は、実施の形態１の電子機器１００の表示画面において、合成映像の表示態様の変更を行ったときの表示画面を示す第２例の図である。第２例において、外部映像制御部２１０Ｂ及び主制御部２１０Ａ、つまり制御部２１０Ｃは、第１映像Ｉｍ１の上位階層側に配置する第２映像Ｉｍ２の位置を、警告ウィンドウＷａと重ならない位置に変更する。具体的には、外部映像制御部２１０Ｂは、警告ウィンドウＷａと重ならなくなる重なり検知ウィンドウＷｄ及び第２映像Ｉｍ２の配置位置（座標）を求める。外部映像制御部２１０Ｂは、求めた配置位置に重なり検知ウィンドウＷｄ及び第２映像Ｉｍ２を配置させる指令を主制御部２１０Ａ及び映像重畳部３００Ｂに出力する。そして、主制御部２１０Ａは、重なり検知ウィンドウＷｄを指令に基づく位置に配置した第１映像Ｉｍ１を示す第１映像信号ＳＧ１を出力する。映像重畳部３００Ｂは、指令に基づく位置に第２映像Ｉｍ２を合成した合成映像信号ＳＧＣを出力する。

これにより、第２映像Ｉｍ２の表示位置が警告ウィンドウＷａと重ならない位置に変更される。そのため、警告ウィンドウＷａをユーザに視認させて、警告が発生したことをユーザに認識させることができる。

なお、本例において、警告ウィンドウＷａを、第２映像Ｉｍ２と重ならなくなる位置に移動させてもよい。また、警告ウィンドウＷａと第２映像Ｉｍ２の両方を、これらが重ならなくなる位置に移動させてもよい。また、第２映像Ｉｍ２及び重なり検知ウィンドウＷｄの表示サイズを、警告ウィンドウＷａと重ならなくなる表示サイズに変更してもよい。これらによっても、第２映像Ｉｍ２を警告ウィンドウＷａと重ならない位置に移動させた場合と同様の効果が得られる。

１−２−４−３．表示態様の変更の第３例
図１２は、実施の形態１の電子機器１００の表示画面において、合成映像の表示態様の変更を行ったときの表示画面を示す第３例の図である。第３例において、外部映像制御部２１０Ｂ及び主制御部２１０Ａ、つまり制御部２１０Ｃは、警告ウィンドウＷａが表示されたことを注意喚起するための注意ウィンドウＷｃを、第２映像Ｉｍ２と重ならない位置に表示する。具体的には、外部映像制御部２１０Ｂは、第２映像Ｉｍ２と重ならない注意ウィンドウの配置位置（座標）を求める。外部映像制御部２１０Ｂは、求めた配置位置に注意ウィンドウＷｃを生成して配置させる指令を主制御部２１０Ａに出力する。そして、主制御部２１０Ａは、注意ウィンドウＷｃを生成して、生成した注意ウィンドウＷｃを指令に基づく位置に配置した第１映像Ｉｍ１を示す第１映像信号ＳＧ１を出力する。

これにより、警告ウィンドウＷａが表示されたことを示す新たな注意ウィンドウＷｃをユーザに視認させて、警告が発生したことをユーザに認識させることができる。

１−２−５．外部映像制御部による第１映像信号が示す映像の色の変化の監視の具体例
外部映像制御部２１０Ｂによる、第１映像信号ＳＧ１が示す映像の色の変化の監視の具体例について説明する。

外部映像制御部２１０Ｂは、主制御部２１０Ａから取得した第１映像信号ＳＧ１が示す第１映像Ｉｍ１において、重なり検知領域Ｒｄ内の映像の色の変化を所定画素数おきに監視する。所定画素数は、例えば３画素や４画素等の任意の画素数である。

また、外部映像制御部２１０Ｂは、主制御部２１０Ａから取得した第１映像信号ＳＧ１が示す第１映像Ｉｍ１において、重なり検知領域Ｒｄ内の映像の色の変化を、所定フレーム数おきに監視する。所定フレーム数は、例えば３フレームや４フレーム等の任意のフレーム数である。

このような構成を採用する意義は以下の通りである。すなわち、色の変化の監視は、外部映像制御部２１０Ｂが主制御部２１０Ａと協働することにより行われる。外部映像制御部２１０Ｂ及び主制御部２１０Ａにおいては、ＣＰＵ２１０がＯＳ及び映像アプリケーションを実行する。そのため、全フレームについて重なり検知領域Ｒｄ内の全画素の色の変化の監視を行うと、ＣＰＵ２１０における色の監視の負荷の比重が高くなり、電子機器１００のレスポンスや、入力された外部映像の表示に影響を及ぼす可能性がある。そこで、上記のように、色の変化を、所定画素数おきあるいは所定フレーム数おきに監視することにより、色の変化を監視する際のＣＰＵ２１０の負荷を減少させることができる。これにより、外部映像制御部２１０Ｂにおける合成映像Ｉｍｃの生成処理に対する影響を軽減することができる。

上記の場合において、外部映像制御部２１０Ｂは、タッチパネル１２０または操作ボタン１３０に対するユーザの操作の有無を判断し、ユーザの操作があったと判断したときは、上記の所定画素数及び所定フレーム数の両方またはいずれか一方を大きくしてもよい。これにより、電子機器１００がユーザにより操作されている場合、ＣＰＵ２１０における色の監視の負荷をさらに減少させて、電子機器１００のレスポンス、または、入力された外部映像の表示への影響を一層軽減することができる。

なお、ＣＰＵ２１０の演算性能に余裕がある場合は、全画素及び全フレームの両方またはいずれか一方について、重なり検知領域Ｒｄ内の全画素の色の変化の監視を行ってもよい。

１−２−６．映像アプリケーション以外のアプリケーションにより警告ウィンドウが最上位階層に表示された場合の検知及び表示態様の変更
映像アプリケーション以外のアプリケーションにより構成されるアプリ部５００Ａ、５００Ｂ、及び５００Ｃが、警告ウィンドウを最上位階層に配置する場合がある。本実施の形態の検知方法では、このような警告ウィンドウの生成についても検知できる。警告ウィンドウの生成を検知した場合、表示態様の変更として、上述の表示態様の変更の第１例（第２映像Ｉｍ２の重畳を停止する）を採用すれば、アプリ部５００Ａ、５００Ｂ、及び５００Ｃに対して指令等を出すことなく、表示態様の変更を行うことができる。

１−３．効果等
以上のように、実施の形態１の電子機器１００は、入力された映像信号に基づく映像を表示する表示部１１０と、オペレーティングシステムの管理に基づいて第１映像Ｉｍ１を示す第１映像信号ＳＧ１を生成する制御部２１０Ｃと、を備える。また、第１映像信号ＳＧ１と、第２映像Ｉｍ２を示す第２映像信号ＳＧ２とを入力し、オペレーティングシステムの管理外で第２映像Ｉｍ２を第１映像Ｉｍ１の上位階層側に配置した合成映像Ｉｍｃを生成し、生成した合成映像Ｉｍｃを示す合成映像信号ＳＧＣを表示部１１０に出力する映像重畳部３００Ｂ、を備える。制御部２１０Ｃは、表示オブジェクトを階層的に配置した映像を第１映像Ｉｍ１として生成するとともに、所定イベントの発生時に、所定イベントの発生を示す警告ウィンドウＷａに相当する第１表示オブジェクトを最上位階層に配置する。制御部２１０Ｃは、映像重畳部３００Ｂが合成映像信号ＳＧＣを表示部１１０に出力している間、最上位階層よりも下位の階層で、かつ合成映像Ｉｍｃの第２映像Ｉｍ２部分の表示領域と同じ領域に、重なり検知ウィンドウＷｄに相当する第２表示オブジェクトを配置した映像を第１映像Ｉｍ１として生成し、第１映像Ｉｍ１において重なり第２表示オブジェクトが配置された領域内の映像の色の変化を監視し、色の変化を検知したときは、合成映像Ｉｍｃの表示態様を変更する。

これにより、オペレーティングシステムの管理外で、第２映像Ｉｍ２を第１映像Ｉｍ１の上位階層側に配置した合成映像Ｉｍｃが生成されている間、第１映像Ｉｍ１において重なり検知ウィンドウＷｄに相当する第２表示オブジェクトが配置された領域である重なり検知領域Ｒｄの映像の色の変化が監視される。そして、警告ウィンドウＷａが生成されると、重なり検知領域Ｒｄ内の映像の色が変化する。そのため、色の変化が検知される。その結果、所定イベントの発生をユーザが認識可能なように、合成映像Ｉｍｃの表示態様が変更される。したがって、所定イベントが発生したことをユーザに認識させることができる。

本実施の形態の制御部２１０Ｃは、表示態様の変更において、第２映像Ｉｍ２を合成していない映像を示す映像信号を表示部１１０に出力するように映像重畳部３００Ｂを制御してもよい。

これにより、合成映像Ｉｍｃにおいて第２映像Ｉｍ２が重畳されなくなる。そのため、合成映像Ｉｍｃにおいて、第２映像Ｉｍ２部分の下位階層に配置されていた警告ウィンドウＷａをユーザに視認させて、所定イベントが発生したことをユーザに認識させることができる。

本実施の形態において、制御部２１０Ｃは、表示態様の変更において、第１映像Ｉｍ１に配置する第２映像Ｉｍ２の位置と警告ウィンドウＷａの位置との少なくとも一方の位置を、第２映像Ｉｍ２と警告ウィンドウＷａとが重ならない位置に変更した映像を第１映像Ｉｍ１として生成してもよい。

これにより、第１映像Ｉｍ１に配置する第２映像Ｉｍ２の位置と、警告ウィンドウＷａの位置との少なくとも一方の位置が、第２映像Ｉｍ２と警告ウィンドウＷａとが重ならない位置に変更される。そのため、第２映像Ｉｍ２部分の下位階層に配置されていた警告ウィンドウＷａをユーザに視認させて、所定イベントが発生したことをユーザに認識させることができる。

本実施の形態において、制御部２１０Ｃは、表示態様の変更において、所定イベントが発生したことを示す情報を第２映像Ｉｍ２部分に重ならない位置に配置した映像を第１映像Ｉｍ１として生成してもよい。

これにより、所定イベントが発生したことをユーザに認識させることができる。

本実施の形態において、第１映像Ｉｍ１は複数の画素で構成されている。制御部２１０Ｃは、第１映像Ｉｍ１において、検知ウィンドウＷｄに相当する第２表示オブジェクトが配置された重なり検知領域Ｒｄ内の映像の色の変化を所定画素数おきに監視してもよい。

これにより、ＣＰＵ２１０における色の監視の負荷を減少させることができる。そのため、合成映像Ｉｍｃの生成処理に対する影響を軽減することができる。

本実施の形態において、電子機器１００は、電子機器１００に対するユーザの操作を受け付けるタッチパネル１２０及び操作ボタン１３０の少なくとも一方に相当する操作部をさらに備えてよい。制御部２１０Ｃは、操作部が操作されたときは、所定画素数を大きくしてもよい。

これにより、電子機器１００がユーザにより操作されているときには、さらに、ＣＰＵ２１０における色の監視の負荷を減少させることができる。

本実施の形態において、制御部２１０Ｃは、第１映像Ｉｍ１において、検知ウィンドウＷｄに相当する第２表示オブジェクトが配置された重なり検知領域Ｒｄ内の映像の色の変化を、所定フレーム数おきに監視してもよい。

これにより、ＣＰＵ２１０における色の監視の負荷を減少させることができる。そのため、合成映像Ｉｍｃの生成処理に対する影響を軽減することができる。

本実施の形態の電子機器１００は、電子機器１００に対するユーザの操作を受け付けるタッチパネル１２０及び操作ボタン１３０の少なくとも一方に相当する操作部をさらに備えてよい。制御部２１０Ｃは、操作部が操作されたときは、所定フレーム数を大きくしてもよい。

これにより、電子機器１００がユーザにより操作されているときには、さらに、ＣＰＵ２１０における色の監視の負荷を減少させることができる。

本実施の形態の電子機器１００は、映像信号を入力する外部入力端子１４０をさらに備えてよい。第２映像Ｉｍ２は、外部入力端子１４０を介して入力された映像信号が示す映像であってよい。

これにより、外部から入力した映像を表示部１１０に表示させる場合に上述の効果が得られる。

本実施の形態において、制御部２１０Ｃは、オペレーティングシステムに基づいて動作する主制御部２１０Ａに相当する第１制御部と、オペレーティングシステム上で動作する映像アプリケーションに相当するアプリケーションプログラムに基づいて動作する外部映像制御部２１０Ｂに相当する第２制御部と、を含んでもよい。第１制御部は、表示オブジェクトを階層的に配置した第１映像Ｉｍ１が生成する。第２制御部は、映像重畳部３００Ｂの動作の制御、及び第１映像Ｉｍ１において、検知ウィンドウＷｄに相当する第２表示オブジェクトが配置された重なり検知領域Ｒｄ内の映像の色の変化の監視を行う。

これにより、オペレーティングシステム上で動作するアプリケーションプログラムを利用して、上述の効果が得られる。

本実施の形態において、
第２制御部は、第２表示オブジェクトを配置した位置の位置情報を映像重畳部に送信し、
映像重畳部は、位置情報に対応する位置に、第２映像を重畳した合成映像を生成してもよい。

これにより、第２表示オブジェクトを配置した位置に第２映像を重畳させることができる。

本実施の形態において、
第２制御部は、映像重畳部及び第１制御部の少なくとも一方に、表示態様を変更する指令を送信してもよい。

これにより、合成映像の表示態様を変更することができる。

本実施の形態の電子機器１００の制御方法は、表示オブジェクトを階層的に配置した映像を第１映像Ｉｍ１として生成するステップと、所定イベントの発生時に、所定イベントの発生を示す表示オブジェクトを最上位階層に配置するステップと、オペレーティングシステムの管理外で、第２映像Ｉｍ２を第１映像Ｉｍ１の上位階層側に配置した合成映像Ｉｍｃを生成するステップと、最上位階層よりも下位の階層で、かつ合成映像Ｉｍｃの第２映像部分の表示領域と同じ領域に、重なり検知ウィンドウＷｄを配置した映像を第１映像Ｉｍ１として生成するステップと、第１映像Ｉｍ１において重なり検知ウィンドウＷｄが配置された領域内の映像の色の変化を監視するステップと、色の変化を検知したときに、合成映像Ｉｍｃの表示態様を変更するステップとを含む。

これにより、オペレーティングシステムの管理外で、第２映像Ｉｍ２を第１映像Ｉｍ１の上位階層側に配置した合成映像Ｉｍｃが生成されている間、第１映像Ｉｍ１において重なり検知ウィンドウＷｄに相当する第２表示オブジェクトが配置された領域である重なり検知領域Ｒｄの映像の色の変化が監視される。そして、警告ウィンドウＷａが生成されると、重なり検知領域Ｒｄ内の映像の色が変化する。そのため、色の変化が検知される。その結果、所定イベントの発生をユーザが認識可能なように、合成映像Ｉｍｃの表示態様が変更される。そのため、所定イベントが発生したことをユーザに認識させることができる。

（他の実施の形態）
以上のように、本開示における技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

以下、他の実施の形態を例示する。

実施の形態１において、第２映像Ｉｍ２は、外部入力端子１４０を介して入力された外部映像信号が示す映像である。しかし、本開示において、第２映像Ｉｍ２は、電子機器１００が有する映像記録媒体に記録されている映像信号が示す映像であってもよい。この場合、映像記録媒体として、記憶部２２０を利用してもよい。これにより、電子機器１００に記録されている映像を表示部１１０に表示させる場合においても、実施の形態１で説明した種々の効果が得られる。

実施の形態１において、重なり検知ウィンドウＷｄ（第２表示オブジェクト）は、一の色で塗りつぶされたウィンドウである。しかし、重なり検知ウィンドウＷｄは、一の色で塗りつぶされたウィンドウでなくてもよい。例えば、重なり検知ウィンドウＷｄは撮像された写真または絵柄模様等の静止画像であってもよい。この場合、重なり検知ウィンドウＷｄ内に表示させる画像と、第２映像Ｉｍ２の表示を開始した後に主制御部２１０Ａから取得した第１映像Ｉｍ１における重なり検知領域Ｒｄ内の映像とを比較し、両映像間に差があるか否かを判断すればよい。両映像間に差があることは、警告ウィンドウＷａ等の所定の表示オブジェクトが重なり検知ウィンドウＷｄの上位の階層側に配置されたことを意味する。そのため、警告ウィンドウＷａ等の所定の表示オブジェクトが重なり検知ウィンドウＷｄの上位の階層側に配置されたことを検知することができる。

実施の形態１において、第１表示オブジェクトは警告ウィンドウＷａである。しかし、本開示において、第１表示オブジェクトは、ＯＳが管理する最上位の表示階層に表示される表示オブジェクトであればよい。なお、最上位の表示階層には一般に重要なメッセージが表示される。

実施の形態１において、所定イベントの発生は警告すべき状態の発生である。しかし、本開示において、所定イベントの発生は、第１表示オブジェクトをＯＳが管理する最上位の表示階層に表示させるべき状態の発生であればよい。

実施の形態１では、警告ウィンドウＷａ全体が第２映像Ｉｍ２により完全に隠されている例を示した。しかし、本開示の技術によれば、警告ウィンドウＷａの一部のみが第２映像Ｉｍ２により完全に隠されている場合についても、第１映像Ｉｍ１と第２映像Ｉｍ２との重なりによる色の変化を検知することが可能である。これにより、実施の形態１同様に、表示態様を変更できる。

実施の形態１では、第２映像Ｉｍ２が第１映像Ｉｍ１の一部の領域に重畳される例を示した。しかし、本開示の技術によれば、第２映像Ｉｍ２が第１映像Ｉｍ１と全く同じ領域を有している場合、例えば、第２映像Ｉｍ２を表示部１１０の表示領域に対して全画面表示したような場合についても、第１映像Ｉｍ１と第２映像Ｉｍ２との重なりによる色の変化を検知することが可能である。これにより、実施の形態１同様に、表示態様を変更できる。なお、全画面表示の場合は、表示態様の変更の第２例及び第３例では効果が得られないので、第１例を採用すればよい。あるいは、色の変化を検知したときに、第２映像Ｉｍ２上に警告メッセージを表示可能なように、制御部２１０Ｃ及び映像重畳部３００Ｂを構成してもよい。あるいは、全画面表示を一時的に終了し、警告ウィンドウＷａと重ならない位置に第２映像Ｉｍ２を表示するようにしてもよい。

実施の形態１において、電子機器１００はタブレット型コンピュータである。しかし、本開示の電子機器は、ノートブック型コンンピュータ、デスクトップ型コンンピュータ、またはスマートフォン等の電子機器であってもよい。

本実施の形態の電子機器１００は、映像信号を記録する映像記録媒体をさらに備えてもよい。第２映像Ｉｍ２は、映像記録媒体に記録された映像信号が示す映像であってもよい。

これにより、映像記録媒体に記録された映像を表示部１１０に表示させる場合に上述の効果が得られる。

以上のように、本開示における技術の例示として、実施の形態１と他の実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、第１映像に第２映像を重畳した映像を表示可能な電子機器において広く利用可能である。

１００ 電子機器
１１０ 表示部
１２０ タッチパネル
１３０ 操作ボタン
１４０ 外部入力端子
２１０ ＣＰＵ
２１０Ａ 主制御部
２１０Ｂ 外部映像制御部
２１０Ｃ 制御部
２２０ 記憶部
２３０ バス
３００ ＧＰＵ
３００Ａ 外部映像入力部
３００Ｂ 映像重畳部
４００ 外部映像機器
４１０ 映像再生部
４２０ 映像出力部
５００Ａ アプリ部
５００Ｂ アプリ部
５００Ｃ アプリ部
６００ アイコン
Ｉｍ１ 第１映像
Ｉｍ２ 第２映像
Ｉｍｃ 合成映像
ＳＧ１ 第１映像信号
ＳＧ２ 第２映像信号
ＳＧＣ 合成映像信号
Ｗｄ 重なり検知ウィンドウ
Ｗａ 警告ウィンドウ
Ｗｃ 注意ウィンドウ
Ｒｄ 重なり検知領域

Claims (14)

1. 入力された映像信号に基づく映像を表示する表示部と、
   オペレーティングシステムの管理に基づいて第１映像を示す第１映像信号を生成する制御部と、
   前記第１映像信号と、第２映像を示す第２映像信号とを入力し、前記オペレーティングシステムの管理外で前記第２映像を前記第１映像の上位階層側に配置した合成映像を生成し、生成した合成映像を示す合成映像信号を前記表示部に出力する映像重畳部と、
   を備え、
   前記制御部は、
   表示オブジェクトを階層的に配置した映像を前記第１映像として生成するとともに、
   所定イベントの発生時に、前記所定イベントの発生を示す第１表示オブジェクトを最上位階層に配置し、
   前記制御部は、
   前記映像重畳部が前記合成映像信号を前記表示部に出力している間、
   前記最上位階層よりも下位の階層で、かつ前記合成映像の第２映像部分の表示領域と同じ領域に、第２表示オブジェクトを配置した映像を前記第１映像として生成し、
   前記第１映像において前記第２表示オブジェクトが配置された領域内の映像の色の変化を監視し、前記色の変化を検知したときは、前記合成映像の表示態様を変更する、
   電子機器。
2. 前記制御部は、前記表示態様の変更において、前記第２映像を合成していない映像を示す映像信号を前記表示部に出力するように前記映像重畳部を制御する、
   請求項１に記載の電子機器。
3. 前記制御部は、前記表示態様の変更において、前記第１映像に配置する前記第２映像の位置と前記第１表示オブジェクトの位置との少なくとも一方の位置を、前記第２映像と前記第１表示オブジェクトとが重ならない位置に変更した映像を前記第１映像として生成する、
   請求項１に記載の電子機器。
4. 前記制御部は、前記表示態様の変更において、前記所定イベントが発生したことを示す情報を前記第２映像部分に重ならない位置に配置した映像を前記第１映像として生成する、
   請求項１に記載の電子機器。
5. 前記第１映像は複数の画素で構成されており、
   前記制御部は、前記第１映像において、前記第２表示オブジェクトが配置された領域内の映像の色の変化を所定画素数おきに監視する、
   請求項１に記載の電子機器。
6. 前記電子機器に対するユーザの操作を受け付ける操作部をさらに備え、
   前記制御部は、前記操作部が操作されたときは、前記所定画素数を大きくする、
   請求項５に記載の電子機器。
7. 前記制御部は、前記第１映像において、前記第２表示オブジェクトが配置された領域内の映像の色の変化を、所定フレーム数おきに監視する、
   請求項１に記載の電子機器。
8. 前記電子機器に対するユーザの操作を受け付ける操作部をさらに備え、
   前記制御部は、前記操作部が操作されたときは、前記所定フレーム数を大きくする、
   請求項７に記載の電子機器。
9. 前記映像信号を入力する外部入力端子をさらに備え、
   前記第２映像は、前記外部入力端子を介して入力された前記映像信号が示す映像である、請求項１に記載の電子機器。
10. 前記映像信号を記録する映像記録媒体をさらに備え、
    前記第２映像は、前記映像記録媒体に記録されている前記映像信号が示す映像である、請求項１に記載の電子機器。
11. 前記制御部は、
    前記オペレーティングシステムに基づいて動作する第１制御部と、
    前記オペレーティングシステム上で動作するアプリケーションプログラムに基づいて動作する第２制御部と、を含み、
    前記第１制御部は、前記表示オブジェクトを階層的に配置した前記第１映像を生成し、
    前記第２制御部は、前記映像重畳部の動作の制御、及び前記第１映像において、前記第２表示オブジェクトが配置された領域内の映像の色の変化の監視を行う、
    請求項１に記載の電子機器。
12. 前記第２制御部は、前記第２表示オブジェクトを配置した位置の位置情報を前記映像重畳部に送信し、
    前記映像重畳部は、前記位置情報に対応する位置に、前記第２映像を重畳した合成映像を生成する、
    請求項１１に記載の電子機器。
13. 前記第２制御部は、前記映像重畳部及び前記第１制御部の少なくとも一方に、前記表示態様を変更する指令を送信する、
    請求項１２に記載の電子機器。
14. 表示オブジェクトを階層的に配置した映像を第１映像として生成するステップと、
    所定イベントの発生時に、前記所定イベントの発生を示す表示オブジェクトを最上位階層に配置するステップと、
    オペレーティングシステムの管理外で、第２映像を前記第１映像の上位階層側に配置した合成映像を生成するステップと、
    前記最上位階層よりも下位の階層で、かつ前記合成映像の第２映像部分の表示領域と同じ領域に、重なり検知ウィンドウを配置した映像を前記第１映像として生成するステップと、
    前記第１映像において前記重なり検知ウィンドウが配置された領域内の映像の色の変化を監視するステップと、
    前記色の変化を検知したときに、前記合成映像の表示態様を変更するステップとを含む、
    電子機器の制御方法。