<実施の形態1>
<構成>
図1に、本実施の形態における画像合成装置100の機能ブロック図を示す。本実施の形態では、説明を簡単にするために、画像合成装置100に入力される映像信号の数を2つ(第1、2の映像信号1,2)とし、副画面表示の形態はピクチャーインピクチャーとする。
画像合成装置100は、第1の映像信号1で表される第1の映像を特定の大きさに切り出す映像切出し部3と、映像切出し部3から出力される映像信号と、第1の映像信号1とを切り替える映像切替部4とを備える。
画像合成装置100はさらに、映像切替部4から出力される映像信号を拡大縮小する拡大縮小部5と、拡大縮小部5から出力される映像信号と、第2の映像信号2で表される第2の映像とを合成する合成部6とを備える。
画像合成装置100はさらに、合成部6から出力される出力映像信号に重畳されている第1の映像信号の内容について、映像情報を取得する映像情報検出部8と、映像情報検出部8の出力に応じて、後述する対象領域を切り替える監視領域切替部9とを備える。映像情報検出部8は、カウント部81と判定部82とで構成されている。
また、画像合成装置100はさらに、映像切出し部3および監視領域切替部9に対して、あらかじめ用意されたパラメータを提供する、設定テーブル1000を備える。
また、画像合成装置100はさらに、監視領域の位置座標を、主画面上の座標系に変換する副画面オフセット調節部12を備えている。
また、画像合成装置100はさらに、合成された映像を外部の画像表示装置に出力する映像出力部7と、副画面オフセット調節部12と拡大縮小部5を制御するCPU13とを備える。
監視領域切替部9と映像切替部4は連動しており、映像情報検出部8の出力によって、同時に切り替わる。つまり、映像切替部4が、映像切出し部3の出力を選択しているときは、監視領域切替部9は後述する設定テーブル1000のパラメータのうち、監視領域A(切出し映像用)を選択する。また、映像切替部4が、第1の映像信号1を選択しているときは、監視領域切替部9は設定テーブル1000のパラメータのうち、監視領域B(非切出し映像用)を選択する。
<動作>
画像合成装置100は、主画面映像として第2の映像信号2と、副画面映像として第1の映像信号1とを、ピクチャーインピクチャーの表示形態として、同一画面内に表示する。なお、副画面映像は、元の入力映像の1/2の大きさに縮小したうえで、主画面映像と合成し、表示されるとする。
図2に、第1、2の映像信号1,2の映像、および合成後の映像の例を示す。なお、説明を分かりやすくするために、以降では、映像情報としては有益な領域(有効映像領域)が画面全体の3分の1しかない映像11のような縦向きの映像を「縦映像」と呼び、必要に応じて、「縦映像(映像11)」のように記載する。また、映像10のように画面全体が映像情報として有益な横向きの映像信号を「横映像」と呼び、必要に応じて「横映像(映像10)」のように記載する。
また、映像切出し部3の出力を「切り出し映像」と呼び、必要に応じて「切り出し映像(映像31)」のように記載する。映像20は、第2の映像信号で表される映像の例である。本実施の形態の説明においては、主画面映像としては、すべて映像20を使用する。
図2において、映像10は、画面全体が映像情報として有益な映像の例、即ち横映像である。映像11は、有効映像領域が画面全体の3分の1しかない例、すなわち縦映像である。映像11の詳細としては、有効映像領域が608×1080、すなわちアスペクト比が9:16の縦映像が、1920×1080の映像フォーマットの中央に配置されている。有効映像領域の左右の領域はすべて黒色の背景となっている。
映像30は、設定テーブル1000の設定に従って、切出し部3が映像10の特定の領域を切り出した、切出し映像である。また、映像31は、設定テーブル1000の設定に従って、切出し部3が映像11の特定の領域を切り出した、切出し映像である。
また、映像10S,30S,11S,31Sは、拡大縮小部に映像10,30,11,31が入力されたときの拡大縮小部5の出力である。ここでは1/2に縮小した例を示している。
図2において、映像510,530,511,531は、合成部6で、映像20と、映像10S,30S,11S,31Sのそれぞれとが合成された映像である。この映像は、実際に使用者が視聴するピクチャーインピクチャーの映像である。
映像切出し部3について説明する。映像切出し部3は、設定テーブル1000を参照して第1の映像信号1の映像を切り出す。ここでは、設定テーブル1000の、パラメータ1001に設定されている「切り出し領域」に従って、第1の映像信号1の映像を切り出す。
切り出された映像は、映像切替部4に出力される。このとき、映像切出し部3は、縦映像(映像11)の映像信号に対し、有効映像領域だけでなく、不要映像領域(例えば黒色映像部分)を一部含むように切り出す(映像31)。さらに、このとき一緒に切り出される不要映像領域は、後述の映像情報検出部8で画素カウントの対象となる監視領域を全て含むように切り出される。
切り出し領域と、後述する監視領域との関係については、後述の設定テーブル1000の説明で詳細に述べる。
映像切替部4は、映像情報検出部8の出力信号に従って、第1の映像信号1と、映像切出し部3の出力である切り出し映像の信号のいずれかを選択して、拡大縮小部5に出力する。ここで、映像情報検出部8の出力信号とは、判定部82の出力である。
判定部82は、後述するカウント部81の出力に基づいて、第1の映像信号1が縦映像(映像11)か横映像(映像10)かを判定する。判定部82の判定結果が縦映像だった場合は、映像切替部4は映像切出し部3からの出力を選択する。一方、判定部82の判定結果が横映像だった場合は、映像切替部4は第1の映像信号1を選択する。映像切替部4の出力は、前述のとおり、映像10,30,11,31のいずれかとなる。
拡大縮小部5について説明する。拡大縮小部5は、映像切替部4から出力される映像を、CPU13の指示に従って、任意の大きさに拡大縮小する。本実施の形態では、1/2の大きさに縮小処理するものとする。拡大縮小部5の出力は、前述のとおり、映像10S,30S,11S,31Sのいずれかである。拡大縮小処理された映像は、合成部6に出力される。
合成部6について説明する。合成部6は、第2の映像信号2を主画面の映像とし、拡大縮小部5からの映像を副画面の映像として合成する。なお、本実施の形態では副画面表示の形態の一例として、ピクチャーインピクチャーをあげて説明しているが、別の手法、例えばピクチャーアウトピクチャーなどであっても良い。ピクチャーインピクチャーについては、一般的に知られている多画面表示の手法のひとつであるため、詳細な説明は省略する。
合成処理された映像は、映像出力部7へ出力され、最終的に表示装置(図示せず)に映像として表示される。本実施の形態では映像出力部7から出力される映像は、映像510,530,511,533のいずれかである。また同時に、合成処理された映像は、映像情報検出部8へも出力される。
映像情報検出部8について説明する。映像情報検出部8は、カウント部81と判定部82とで構成されている。カウント部81には、合成部6の出力である、ピクチャーインピクチャーの状態の映像(つまり、映像510,530,511,531のいずれか)が入力される。
カウント部81は、合成部6から出力される映像に合成された第1の映像のうち、所定の監視領域について、背景色(例えば黒色)の画素(ピクセル)の総数をカウントする。
ここで、所定の監視領域とは、監視領域切替部9によって指定される領域(監視領域Aまたは監視領域B)を、後述の副画面オフセット調節部12にて主画面座標系に置換した領域のことである。
また、背景色の画素の種類としては、例えば黒色の画素である。これは、一般的に不要映像領域は黒色で表現されているためである。不要映像領域を安定して識別可能であれば、黒色以外でも良い。
カウントされた背景色の画素の総数は、判定部82に送られる。判定部82は、背景色としてカウントされた画素の総数と監視領域の画素数との比較に基づいて、第1の映像信号1が縦映像なのか、横映像なのかを判定する。判定結果は、判定部82の出力として、監視領域切替部9および映像切替部4に送出される。
監視領域切替部9について説明する。監視領域切替部9は、判定部82の出力に従って、設定テーブル1000のパラメータ内であらかじめ設定されている情報、つまり監視領域A(切出し映像用)と監視領域B(非切出し映像用)を切り替え、副画面オフセット調節部12に出力する。
副画面オフセット調節部12は、監視領域Aまたは監視領域Bの情報を主画面座標系に置換したのち、映像情報検出部8に出力する。副画面オフセット調節部12が出力する監視領域について、カウント部81は背景色の画素の総数をカウントする。
監視領域切替部9と映像切替部4は連動しており、映像情報検出部8の出力である、判定部82の出力によって、同時に切り替わる。つまり、映像切替部4が、映像切出し部3の出力を選択しているときは、監視領域切替部9は後述する設定テーブル1000のパラメータのうち、監視領域A(切出し映像用)を選択する。また、映像切替部4が、第1の映像信号1を選択しているときは、監視領域切替部9は設定テーブル1000のパラメータのうち、監視領域B(非切出し映像用)を選択する。
設定テーブル1000について説明する。設定テーブル1000には、監視領域A(切出し映像用)、監視領域B(非切出し映像用)、切出し領域Cの3つの情報を一組とした複数のパラメータ1001,1002,1003が格納されている。
パラメータ1001の例を図3に示す。パラメータ1001は、第1の映像1の入力フォーマットが1920×1080に対応する。パラメータ1001の各要素(即ち、監視領域A、監視領域B、切出し領域C)は、入力される第1の映像信号1の座標系で記述されている。監視領域A(切出し映像用)の情報として、2箇所の領域、即ち、左側監視領域ALと右側監視領域ARについて、それぞれ開始点(x、y)と、領域の幅w、領域の高さhの情報が記載されている。監視領域B(非切出し映像用)の情報として、2箇所の領域、即ち、左側監視領域BLと右側監視領域BRについて、それぞれ開始点(x、y)と、領域の幅w、領域の高さhの情報が記載されている。また、切出し領域Cの情報として、切出し領域Cの開始点(x、y)と、領域の幅w、領域の高さhの情報が記載されている。
なお、スマートフォンやタブレット端末では、端末本体の表示部に表示される映像と、外部表示機器に表示される映像とで違和感が無いように、映像のアスペクト比の同一性が保たれている。この性質を利用し、入力される縦映像(映像11)の有効映像領域は、出力フォーマットが1920×1080の場合は、その中央部分の608×1080としている。スマートフォンやタブレット端末によっては、有効映像領域の映像端外側に縁を付与したり、有効映像領域の周辺に映像効果としてグラデーションを持つ映像を付与する場合があるので、横幅については大きめに切出すように設定しても良い。これらの設定情報を一組とし、1920×1080の解像度用のパラメータ1001とする。また、1280×720の解像度用の同様の設定情報を、パラメータ1002とする。このように、設定テーブル100には、入力フォーマットに応じた複数のパラメータが保持される。
次に、監視領域A(切出し映像用)、監視領域B(非切出し映像用)、および切出し領域Cの関係について、図4、図5、図6、図7を用いて、詳細に説明する。
図4(a)に、1920×1080の解像度の縦映像(映像11)の例を示す。図4(a)に対して、映像切出し部3で切り出し処理を行ったあとの映像の例を図4(b)に示す。図4(a)は、中央部分に有効映像領域(608×1080)を有している。
また、図5(a)に、1280×720の解像度の縦映像(映像11)の例を示す。図5(a)に対して、映像切出し部3で切り出し処理を行ったあとの映像の例を図5(b)に示す。図5(a)は、中央部分に有効映像領域406×720を有している。
図6に、縦映像に対する、有効映像領域、不要映像領域、監視領域A(左側監視領域AL、右側監視領域AR)、監視領域B(左側監視領域BL、右側監視領域BR)および切出し領域Cを模式的に示す。切出し領域Cが実際に副画面に表示される映像となる。切出し領域Cは、有効映像領域の全てまたは一部である。また切出し領域Cは、不要映像領域の一部を必ず含むように設定される。
図6に示すように、監視領域Bは、左側監視領域BL、右側監視領域BRとして、有効映像領域の左右に1つずつ配置され、左右どちらについても、不要映像領域のみを含むように設定される。つまり監視領域Bは有効映像領域を含まない。
図6に示すように、監視領域A(左側監視領域AL、右側監視領域AR)は、その領域のすべてが、監視領域B(非切出し映像用)に含まれるように設定される。結果として、監視領域Aは、有効映像領域を含まない。
次に図7、図8を用いて、1920×1080の解像度の縦映像(映像11)について、監視領域A、監視領域B、切出し領域に具体的な数値を当てはめて説明する。座標情報は、第1の映像の左上端を基点(0,0)として記載するものとする。
図7(a)に、監視領域A(切出し映像用)の例を示す。また、監視領域Aの具体的な座標情報、幅および高さ情報を、図8(a)に示す。監視領域A(切出し映像用)の左側の領域を左側監視領域AL、右側の領域を右側監視領域ARとする。左側監視領域ALは(648,0)を開始位置とする、8×1080の領域である。右側監視領域ARは(1264,0)を開始位置とする、8×1080の領域である。
図7(b)に、監視領域B(非切出し映像用)の例を示す。また、監視領域Bの具体的な座標情報、幅および高さ情報を、図8(b)に示す。監視領域B(非切出し映像用)の左側の領域を左側監視領域BL、右側の領域を右側監視領域BRとする。左側監視領域BLは(0,0)を開始位置とする、656×1080の領域である。右側監視領域BRは(1264,0)を開始位置とする、656×1080の領域である。
図7(c)に、切出し領域の例を示す。また、切出し領域Cの具体的な座標情報、幅および高さ情報を図8(c)に示す。切出し領域Cは、(648,0)を開始位置とする、624×1080の領域である。以上の監視領域A,B、切出し領域Cの情報が、パラメータ1001に記載されている。
次に、第1の映像信号1の種類(横映像(映像10)、縦映像(映像11))によって、どのように副画面表示が変化するかを説明する。まず、第1の映像信号1の映像が横映像(映像10)から縦映像(映像11)に変化したときの動作について説明する。
現在の状態として、判定部82の判定結果が横映像、即ち映像切替部4が第1の映像信号1を選択しており、かつ第1の映像信号1の映像として横映像(映像10)が入力されているとする。
このとき、合成後の映像は、映像510であり、判定部82は、判定結果として横映像と判定しており、監視領域切替部9は、監視領域B(非切出し映像用)を選択しており、映像切替部4は、前述のとおり、第1の映像信号1を選択している。
この状態から、第1の映像信号1の表す映像が、横映像(映像10)から縦映像(映像11)に変化すると、合成部6が出力する映像は、映像510から映像511に変化する。同時に、映像511は、映像情報検出部8に入力される。
監視領域切替部9は、監視領域B(非切出し映像用)を選択しているので、カウント部81が画素をカウントする監視領域は、左側監視領域BLと右側監視領域BRである。左側監視領域BLと右側監視領域BRは、副画面オフセット調節部12によって、映像511内の副画面の表示位置に適合するように置換され、結果として、図9(b)に示すとおり左側監視領域BLSと右側監視領域BRSとなる。なお、図9(a)〜(c)において、副画面における座標情報は、左上端を基点(0,0)として記載するものとする。
カウント部81は、左側監視領域BLSについて、背景色(例えば黒色)の画素数をカウントする。縦映像(映像11S)の左側監視領域BLSはすべて背景色のため、カウント数は328×540=177,120個となる。背景色の画素数が、左側監視領域BLSの全画素数と同じであることから、判定部82は、入力された第1の映像信号1は縦映像(映像11)であると判断する。
同様に、縦映像(映像11S)の右側監視領域BRSの背景色の画素数は328×540=177,120個となる。背景色の画素数が、右側監視領域BRSの全画素数と同じであることから、判定部82は、入力された第1の映像信号1は縦映像(映像11)であると判断する。左側監視領域BLS、右側監視領域BRSの両方の監視領域について、判定部82は縦映像であると判定するため、映像情報検出部8は、最終出力として、入力された第1の映像信号1は縦映像(映像11)であるとする判定結果を出力する。
もし、左側監視領域BLS、右側監視領域BRSのいずれか一方が、横映像(映像10)と判断された場合は、映像情報検出部8の最終出力は、横映像とする結果を出力する。
なお、副画面に表示されている映像が縦映像である、と判定する基準として、背景色の画素数が、監視領域の全画素数と同じであることとした。入力映像信号にノイズ成分が含まれるなどしていて、一部の画素が高い輝度値を持つような映像を取り扱う場合は、例えば、カウントした画素の総和が監視領域の全画素数の90%以上、というように、判定条件を緩和してもよい。
また、上述の説明では、背景色を例えば黒色として画素のカウントを行った。1つの画素が0〜255階調で表現されるR(赤色)、G(緑色)、B(青色)の3つの要素で構成されている場合、黒色とは(R,G,B)=(0,0,0)の値を指す。また、映像信号フォーマットによっては、映像の黒レベルは(R,G,B)=(16,16,16)で規定されている場合がある。その場合は、対象の画素(ピクセル)の値を(R,G,B)=(16,16,16)あるいは、(R,G,B)=(16,16,16)以下と設定し、その総和を算出する。
また、背景色の画素をカウントする別の手法としては、上述のRGB信号を一旦YPbPr信号のような色差信号に変換し、輝度信号であるY信号を計測対象として用いる構成が考えられる。この場合、(R,G,B)=(0,0,0)の代わりにY=0、あるいは(R,G,B)=(16,16,16)の代わりにY(輝度信号)レベル=16以下の値を持つ画素(ピクセル)の総和を算出してもよい。
このように、特定の色を指定して背景色の画素をカウントしてもよいし、所定の輝度以下の画素を背景色の画素とみなしてカウントを行ってもよい。
映像情報検出部8の最終出力は、縦映像と判定する判定結果を出力しているので、映像切替部4は、映像切出し部3からの映像、すなわち映像31を選択する。結果として、表示装置(図示せず)に表示される最終の映像は映像531となる。
このとき、副画面の映像(映像31S)は、第1の映像信号1から、有効映像領域(608×1080)の左右に8×1080の黒映像が存在するように切り出され、さらにそれを1/2に縮小した映像である。つまり、映像31Sは、図9(a)に示すように、有効映像領域(304×540)の左右に、4×540の黒映像が存在する映像である。
引き続き、表示装置(図示せず)に表示される最終の映像が映像531の状態のときの動作について説明する。
現在の状況は、第1の映像信号1として縦映像(映像11)が入力されており、最終の合成後の映像は、映像531であり、判定部82は、判定結果として縦映像を示しており、監視領域切替部9は、監視領域A(切出し映像用)を選択している。
監視領域切替部9は、監視領域A(切出し映像用)を選択しているので、カウント部81が画素をカウントする監視領域は、左側監視領域ALと右側監視領域ARである。左側監視領域ALと右側監視領域ARは、副画面オフセット調節部12によって、映像531内の副画面の表示位置に適合するように置換される。結果として、図9(a)に示すとおり左側監視領域ALSと右側監視領域ARSとなる。
なお、左側監視領域ALと右側監視領域ARについては、これらの領域が切出し領域Cに含まれるのであれば、例えば図8(d)のように領域の位置、幅、高さを変更してもよい。
カウント部81は、左側監視領域ALSについて、背景色(例えば黒色)の画素数をカウントする。縦映像(映像11S)の左側監視領域ALSはすべて黒色のため、黒色の画素数は4×540=2,160個となる。背景色の画素数が、左側監視領域ALSの全画素数と同じであることから、判定部82は、入力された第1の映像信号1は縦映像であると判断する。同様に、右側監視領域ARSの背景色の画素数は4×540=2,160個となる。背景色の画素数が、右側監視領域ARSの全画素数と同じであることから、判定部82は、入力された第1の映像信号1は縦映像であると判断する。左側監視領域ALS、右側監視領域ARSの両方の監視領域について、判定部82は縦映像であると判定する。よって、映像情報検出部8は、最終出力として、入力された第1の映像信号1は縦映像であるとする判定結果を出力する。
もし、左側監視領域ALS、右側監視領域ARSのいずれか一方が、横映像と判断された場合、映像情報検出部8は、最終出力として横映像とする結果を出力する。
結果として、表示装置(図示せず)に表示される最終の映像は変わらず映像531となる。同様の動作と判定が繰り返されるため、安定して映像531が表示装置(図示せず)に表示され続ける。
次に、第1の映像信号1の表す映像が、縦映像(映像11)から横映像(映像10)に変化したときの動作について説明する。現在の状態は、第1の映像信号1が表す映像として縦映像(映像11)が入力されており、最終の合成後の映像は、映像531であり、判定部82は、判定結果として縦映像を示しており、監視領域切替部9は、監視領域A(切出し映像用)を選択している。
この状態から、第1の映像信号1の表す映像が、縦映像(映像11)から横映像(映像10)に変化すると、最終の合成後の映像は、映像531から映像530に変化する。同時に、映像530は、映像情報検出部8に入力される。
監視領域切替部9は、監視領域A(切出し映像用)を選択しているので、カウント部81が画素をカウントする監視領域は、左側監視領域ALと右側監視領域ARである。左側監視領域ALと右側監視領域ARは、副画面オフセット調節部12によって、映像530内の副画面の表示位置に適合するように置換される。結果として、図9(a)に示す様に、左側監視領域ALSと右側監視領域ARSとなる。
カウント部81は、左側監視領域ALSについて、背景色(例えば黒色)の画素数をカウントする。横映像(映像30S)の左側監視領域ALSには、背景色の画素が部分的にしか存在せず、背景色の画素数が、左側監視領域ALSの全画素数と同じにならない。よって、判定部82は、入力された第1の映像信号1の表す映像は横映像であると判断する。
同様に、横映像(映像30S)の右側監視領域ARSには、背景色の画素が部分的にしか存在せず、背景色の画素数が、右側監視領域ARSの全画素数と同じにならない。よって、判定部82は、入力された第1の映像信号1の表す映像は横映像であると判断する。左側監視領域ALS、右側監視領域ARSの両方の領域について、判定部82は横映像であると判定するため、映像情報検出部8は、最終出力として、入力された第1の映像信号1の表す映像は横映像であるとする判定結果を出力する。
映像情報検出部8の最終出力は、横映像とする判定結果を出力しているので、映像切替部4は、第1の映像信号1の映像10を選択する。結果として、表示装置(図示せず)に表示される最終出力の映像は映像510となる。
引き続き、表示装置(図示せず)に表示される最終の映像が映像510の状態のときの動作について説明する。
現在の状況は、第1の映像信号1の表す映像として横映像(映像10)が入力されており、最終の合成後の映像は、映像510であり、判定部82は、判定結果として横映像と判定しており、監視領域切替部9は、監視領域B(非切出し映像用)を選択している。
監視領域切替部9は、監視領域B(非切出し映像用)を選択しているので、カウント部81がカウントを行う監視領域は、左側監視領域BLと右側監視領域BRである。左側監視領域BLと右側監視領域BRは、副画面オフセット調節部12によって、映像510内の副画面の表示位置に適合するように置換される。結果として、左側監視領域BLと右側監視領域BRは、図9(b)に示す様に左側監視領域BLSと右側監視領域BRSに置換される。
カウント部81は、左側監視領域BLSについて、背景色(例えば黒色)の画素数をカウントする。横映像(映像10S)の左側監視領域BLSには、背景色の画素が部分的にしか存在しないため、背景色の画素数は、左側監視領域BLSの全画素数と同じにならない。よって、判定部82は、入力された第1の映像信号1の表す映像は、横映像(映像10)であると判定する。
同様に、横映像(映像10S)の右側監視領域BRSには、黒色の画素が部分的にしか存在せず、黒色の画素数が、右側監視領域BRSの全画素数と同じにならない。よって、判定部82は、入力された第1の映像信号1は横映像であると判断する。左側監視領域BLS、右側監視領域BRSの両方の監視領域について、判定部82は横映像であると判定する。よって、映像情報検出部8は最終出力として、入力された第1の映像信号1の表す映像は横映像(映像10)であるとする判定結果を出力する。
結果として、表示装置(図示せず)に表示される最終の映像は変わらず映像510となる。同様の動作と判定が繰り返されるため、安定して映像510が表示装置(図示せず)に表示され続ける。
本実施の形態において、所定の監視領域(監視領域Aまたは監視領域B)は、右側監視領域と左側監視領域の2つの監視領域から構成される。つまり、2つの監視領域に基づいて個別に判定を行うため、第1の映像が、縦映像か横映像かの判定をより高精度に行うことが可能である。
ところで、スマートフォンやタブレット端末は、一定の期間操作をしない場合、出力画面の映像が黒く暗転する機能があることは前述したとおりである。画面全体が黒く暗転した場合に、不用意に副画面の表示が切り替わらないように、副画面内の映像の全体の平均輝度レベルを監視する。そして、全画面が黒い(暗い)と判断した場合には、映像切替部4の動作を停止させ、最後の選択状態を継続するように動作させてもよい。
また、本実施の形態の設定テーブル1000には、入力される映像のアスペクト比ごとに、複数のパラメータ1001,1002,1003が格納されている。
よって、使用しているスマートフォンやタブレット端末が変わった場合であっても、多画面表示時、利用者は、あらかじめ設定された複数の選択肢の中から、使用している端末のアスペクト比に近いパラメータを選ぶだけでよい。よって、使用者は、容易かつ確実に、副画面内の不要映像領域によって主画面の映像が隠れて見えなくなるという問題を低減し、表示装置の表示領域を、より有効に活用することができる。
さらに、本実施の形態における画像合成装置100は、切り出した副画面映像に対して、拡大処理を施して主画面に合成することができるため、副画面映像の有効映像部分の視認性を高めることができる。
従来、監視領域は、使用者自身で設定する必要があった。また、使用者は副画面に適切に映像を表示するために、監視領域をどのように設定すればよいか不明なため、勘に頼って設定を行っていた。よって、所望の結果が得られない場合があるという問題があった。
例えば、副画面用の映像として図2の映像11が入力されているとする。このとき使用者は、図2の映像11の有効映像領域を、切り出し領域として設定し、監視領域にも同じ領域を設定し、入力される映像信号が図2の映像10に変化したときには、自動的に副画面の表示領域を拡大して表示するような動作を期待したとする。
ところが、実際には監視領域内の映像には相違が無いため、「変化なし」と判断され、結果、副画面の表示領域は拡大されず、図2の映像530の状態の映像、すなわち、有効映像領域が部分的に欠けた状態の映像が副画面内に表示されることになってしまう。
そこで、本実施の形態における画像合成装置100は、判定部82の判定に応じて監視領域A,Bを切り替えることによって、副画面に表示される映像(重畳後の映像における第1の映像)からであっても、元の第1の映像が縦映像(映像11)か横映像(映像10)かを判定して、有効表示領域を適切に副画面に表示することが可能である。
従来は、副画面映像内の監視領域の映像が不要な映像であるかどうか識別する手段に以下の問題があった。副画面映像内の監視領域において、元映像が例えばアナログデータである場合は、ノイズ成分が映像内に含まれており、このため例えば黒映像部分の映像の輝度レベルは常に安定して0とは限らず、例えば階調0〜255のうち、0〜16の間でランダムに変化していることがある。このため、例えば黒色(階調0)の画素をカウントしても、黒色の映像の画素を適切にカウントできない問題があった。よって、副画面の映像が切り替わったか否かを適切に判断できなかった。
そこで、本実施の形態における画像合成装置100は、例えば0〜16の範囲の階調値を持つ画素は全て黒色と定義して、黒色の画素のカウントを行う。よって映像にノイズがある場合でも、副画面の映像が切り替わったか否かを精度良く判断できる。
<効果>
本実施の形態における画像合成装置100は、第1の映像信号1により表される第1の映像の所定の範囲を切り出す映像切出し部3と、第1の映像と、映像切出し部3にて切り出された映像どちらかを選択する映像切替部4と、映像切替部4にて選択された映像を拡大縮小する拡大縮小部5と、第2の映像信号により表される第2の映像と、拡大縮小部5にて拡大縮小された映像とを重畳する合成部6と、映像情報検出部8と、を備え、映像情報検出部8は、第1の映像に基づく映像の所定の監視領域について、背景色の画素数をカウントするカウント部81と、背景色の画素数に基づいて、第1の映像が縦向きの映像か横向きの映像かを判定する判定部82と、を備え、映像切替部4は、判定部82の判定に基づいて映像の選択を行うことを特徴とする。
従って、入力された映像信号(第1の映像信号1)の映像に対し、視聴する映像情報としては有益でない映像領域(即ち不要映像領域)の一部または全部を取り除いて副画面として表示して、多画面表示をすることができる。よって、多画面表示時に、不要映像領域によって主画面の映像が隠れて見えなくなるという問題を低減し、画像表示装置の表示領域を、より有効に活用することができる。
また、入力される映像信号で表される映像の縦/横の向きが変化して、不要映像領域の位置が変化した場合であっても、入力される映像信号の縦/横の向きを判定し、判定結果に応じて映像切替部4が映像の選択を行う。よって、利用者に画面表示装置に対する操作負担をかけることなく、画面表示装置の表示領域を有効活用した多画面表示を実現することができる。
また、本実施の形態における画像合成装置100において、カウント部81は、合成部6による重畳後の映像における第1の映像の所定の監視領域について、背景色の画素数をカウントすることを特徴とし、所定の監視領域(即ち監視領域Aまたは監視領域B)は、判定部82の判定に応じて切り替えられることを特徴とする。
従って、判定部82の判定に応じて監視領域A,Bを切り替えることによって、副画面に表示される映像(重畳後の映像における第1の映像)からであっても、元の第1の映像が縦映像か横映像かを判定することが可能である。
また、本実施の形態における画像合成装置100において、第1の映像の所定の範囲(即ち切出し領域C)は、当該範囲の境界の少なくとも一部に沿って背景色の領域を含むことを特徴とする。
従って、意図的に背景色の領域を含むように映像を切り出すことにより、切出した後の映像の所定の監視領域において背景色をカウントすることで、元の映像(即ち第1の映像)が縦映像か横映像かを判定することが可能である。
また、本実施の形態における画像合成装置100は、設定テーブル1000をさらに備え、当該設定テーブル1000には、第1の映像を切り出す所定の範囲と、背景色をカウントする所定の監視領域との組み合わせが複数記載されており、カウント部81は、判定部82の判定に応じて設定テーブル1000を参照し、映像切出し部3は、設定テーブル1000を参照することを特徴とする。
従って、第1の映像を切り出す所定の範囲と、背景色をカウントする所定の監視領域との組み合わせを1組のパラメータとし、パラメータごとに異なるアスペクト比に対応するように、複数のパラメータを設定しておく。こうすることで、使用しているスマートフォンやタブレット端末が変わった場合であっても、利用者は、あらかじめ設定された複数の選択肢の中から、使用している端末のアスペクト比に近いパラメータを選ぶだけでよい。よって、使用者は、容易かつ確実に、副画面内の不要映像領域によって主画面の映像が隠れて見えなくなるという問題を低減し、表示装置の表示領域を、より有効に活用することができる。
また、1つのパラメータに対して複数の監視領域を記載しておけば、判定部82の判定結果に応じて監視領域を切り替えることで、副画面中の映像に基づいて、元の映像(第1の映像)が縦映像か横映像かを判定することが可能である。
また、本実施の形態における画像合成装置100において、背景色の画素とは、所定の色範囲の画素および/または所定の輝度範囲の画素である。
従って、カウント部81は、所定の監視領域(監視領域領域Aまたは監視領域B)について、例えば、0〜255の階調のうち、0〜16の範囲の階調値を持つ画素は全て黒色と定義し、該当する画素をカウントする。これにより、画像に含まれるノイズなどに起因するカウント間違いを低減することができ、より安定して縦映像か横映像かの判断を行うことができる。また、同様にカウントする画素の輝度に一定の幅を設けることにより、背景色がノイズの影響により輝度のばらつきを持つ場合にも、安定してカウントを行うことが可能である。
また、不要映像領域を構成する画素が例えば黒レベルの画素だとすると、黒レベルの画素だけをカウントするように対象を限定することができる。このように対象が限定されることを条件に、カウント結果に対する判断基準、すなわち閾値を固定値であっても使用することができ、また固定値であっても、副画面映像が縦映像か横映像かの判断を正しく行うことができる。
<実施の形態2>
<構成>
図10に、本実施の形態における画像合成装置200の機能ブロック図を示す。画像合成装置200は、実施の形態1における画像合成装置100に対して、副画面オフセット調節部12を備えない。その他の機能ブロック構成は実施の形態1(図1)と同じため、説明を省略する。
画像合成装置200は、画像合成装置100と同様、監視領域切替部9と映像切替部4は連動しており、映像情報検出部8の出力である判定部82の出力によって、同時に切り替わる。
つまり、映像切替部4が、映像切出し部3の出力を選択しているときは、監視領域切替部9は設定テーブル1000のパラメータのうち、監視領域A(切出し映像用)を選択する。また、映像切替部4が、第1の映像信号1を選択しているときは、監視領域切替部9は設定テーブル1000のパラメータのうち、監視領域B(非切出し映像用)を選択する。
<動作>
画像合成装置200は、画像合成装置100と同様、主画面映像としての第2の映像信号2と、副画面映像としての第1の映像信号1とを、ピクチャーインピクチャーの表示形態として、同一画面内に表示する。なお、副画面映像は、元の入力映像の1/2の大きさに縮小したうえで、主画面映像と合成し、表示されるとする。
次に、映像切出し部3について説明する。映像切出し部3は、設定テーブル1000であらかじめ設定されている値に従って第1の映像信号1の映像を切り出す。ここでは、設定テーブル1000の、パラメータ1001で設定されている、切り出し領域に従って、第1の映像信号1の映像を切り出す。
切り出した映像は、映像切替部4に出力される。このとき、映像切出し部3は、縦映像(映像11)に対し、有効映像領域だけを切出し、不要映像領域は含まないように切り出す。切出した映像は、図11の映像32,33のようになる。
映像切替部4、拡大縮小部5、合成部6および映像出力部7の動作は、実施の形態1と同じため、説明は省略する。
映像情報検出部8について説明する。映像情報検出部8は、カウント部81と判定部82とで構成されている。実施の形態1ではカウント部81には合成後の映像が入力されたが、本実施の形態では、カウント部には第1の映像信号1が直接入力される。
カウント部81は、第1の映像信号1のうち、特定の領域(即ち、監視領域Aまたは監視領域B)に対して、背景色(例えば黒色)の画素の総数をカウントする。背景色の画素については実施の形態1で述べたとおりである。カウントされた画素の総数は、判定部82に送られる。
判定部82は、背景色の画素の総数と監視領域の画素数を比較して、第1の映像信号1の表す映像が縦映像なのか、横映像なのかを判定する。判定結果は、判定部82の出力として、監視領域切替部9および映像切替部4に送出される。
監視領域切替部9は、判定部82の出力に従って、設定テーブル1000のパラメータ内であらかじめ設定されている情報、つまり監視領域A(切出し映像用)と監視領域B(非切出し映像用)を切り替え、カウント部81に出力する。
画像合成装置200は、画像合成装置100と同様、監視領域切替部9と映像切替部4は連動しており、映像情報検出部8の出力である判定部82の出力によって、同時に切り替わる。
つまり、映像切替部4が、映像切出し部3の出力を選択しているときは、監視領域切替部9は設定テーブル1000のパラメータのうち、監視領域A(切出し映像用)を選択する。また、映像切替部4が、第1の映像信号1を選択しているときは、監視領域切替部9は設定テーブル1000のパラメータのうち、監視領域B(非切出し映像用)を選択する。
設定テーブル1000は、実施の形態1で述べたとおりである。例えば、パラメータ1001(図3)は1920×1080の解像度用の設定情報であり、パラメータ1002は1280×720の解像度用の設定情報である。
次に、監視領域A(切出し映像用)と、監視領域B(非切出し映像用)と、切出し領域Cの関係について、図11、図12、図13を用いて説明する。
図12に、縦映像(映像11)に対する、有効映像領域、監視領域A(切出し映像用)、監視領域B(非切出し映像用)および切出し領域Cを示す。縦映像(映像11)は中央の有効映像領域と、その左右の不要映像領域とから構成される。不要映像領域は背景色(例えば黒色)の画素で構成される領域である。
図12(c)に示す切出し領域Cが実際に副画面に表示される映像となる。本実施の形態において、切出し領域Cは、視聴者にとって不要映像領域を含まないように設定される。
図12(b)に示す監視領域B(非切出し映像用)は、有効映像領域の左右に1つずつ配置される。監視領域B(即ち左側監視領域BLおよび右側監視領域BR)は、不要映像領域のみを含み、有効映像領域を含まないように設定される。
図12(a)に示す監視領域A(切出し映像用)は、有効映像領域の左右に1つずつ配置される。左右の監視領域A(即ち左側監視領域ALおよび右側監視領域AR)は、監視領域Bの左側監視領域BL、右側監視領域BRの範囲に完全に含まれるように設定される。
次に、図13を用いて、1920×1080の解像度の映像に具体的な数値を当てはめて説明する。第1の映像の左上端を基点(0,0)として座標情報を記載する。
図11(a)に、監視領域A(切出し映像用)の例を示す。図11(b)に、監視領域B(非切出し映像用)の例を示す。図11(c)に、切出し領域の例を示す。監視領域A,Bについては、実施の形態1と同じである。
実施の形態1と異なる点は、切出し領域Cについてである。切出し領域Cは、(656,0)を開始位置とする、608×1080の領域である。本実施の形態において、カウント部81に入力される映像は、第1の映像自体であり、合成後に副画面内に表示される映像ではない。このため、実施の形態1の様に、切出し領域Cに不要映像領域を含ませる必要がない。これらの情報(監視領域A,B、切出し領域C)が、パラメータ1001に記載されている。
次に、第1の映像信号1の内容によって、どのように副画面表示が変化するかを、横映像(映像10)と縦映像(映像11)を用いて説明する。まず、第1の映像信号1の表す映像が横映像(映像10)から縦映像(映像11)に変化したときの動作について説明する。
現在の状態として、映像情報検出部8の出力する判定結果は横映像、すなわち映像切替部4は第1の映像信号1を選択しており、第1の映像信号1として横映像(映像10)が入力されているとする。
このとき、最終の合成後の映像は、映像510であり、判定部82は、判定結果として横映像と判定しており、監視領域切替部9は、監視領域B(非切出し映像用)を選択しており、映像切替部4は、前述のとおり第1の映像信号1を選択している。
この状態から、第1の映像信号1の表す信号が、横映像(映像10)から縦映像(映像11)に変化すると、最終の合成後の映像は、映像510から映像511に変化する。
監視領域切替部9は、監視領域B(非切出し映像用)を選択している。よって、カウント部81は、第1の映像信号1の表す第1の映像(映像11)における監視領域B(左側監視領域BL、右側監視領域BR)について、背景色の画素をカウントする。
カウント部81は、左側監視領域BLについて、背景色(例えば黒色)の画素数をカウントする。縦映像(映像11)の左側監視領域BLはすべて黒色のため、カウントした画素の総数は、左側監視領域BLの全画素数と同じとなる。よって、判定部82は、入力された第1の映像信号1の映像は縦映像であると判定する。右側監視領域BRでも同様の判定が行われ、判定部82は縦映像であると判定する。結果、映像情報検出部8は最終出力として、入力された第1の映像信号1の映像は縦映像であるとする判定結果を出力する。
なお、左側監視領域BL、右側監視領域BRのいずれか一方が、縦映像と判定されなかった場合は、映像情報検出部8は最終出力として、横映像であるとする判定結果を出力する。
映像情報検出部8は最終出力として、縦映像(映像11)であるとする判定結果を出力しているので、映像切替部4は、映像切出し部3からの映像、すなわち映像33を選択する。また、監視領域切替部9は、設定テーブル1000の監視領域A(切出し映像用)を選択する。
結果として、表示装置(図示せず)に表示される最終の映像は映像533となる。このとき、切り出された映像33は、第1の映像信号1のうち、有効映像領域(608×1080)のみを含んでおり、不要映像領域は含まれない。
引き続き、表示装置(図示せず)に表示される最終の映像が映像533の状態のときの動作について説明する。現在の状況は、第1の映像信号1の映像として縦映像(映像11)が入力されている。また、最終の合成後の映像は、映像533であり、判定部82は、判定結果として縦映像を示しており、監視領域切替部9は、監視領域A(切出し映像用)を選択している。
監視領域切替部9は、監視領域A(切出し映像用)を選択しているので、カウント部81がカウントを行う領域は、左側監視領域ALと右側監視領域ARである。カウント部81には、第1の映像信号1自体(即ち映像11)が入力されている。
なお、前述した様に監視領域Aは監視領域Bに含まれていればよいため、監視領域Aと監視領域Bの範囲は同一でもかまわない。
カウント部81は、左側監視領域ALについて、背景色(例えば黒色)の画素の総数をカウントする。縦映像(映像11)の左側監視領域ALはすべて背景色のため、カウントした画素数は、左側監視領域ALの画素数と同じとなる。よって、判定部82は、入力された第1の映像信号1の映像は縦映像であると判断する。右側監視領域ARについても同様の判定が行われ、判定部82は縦映像であると判定する。結果として、映像情報検出部8は最終出力として、入力された第1の映像信号1の映像は縦映像(映像11)であるとする判定結果を出力する。
結果として、表示装置(図示せず)に表示される最終の映像は変わらず映像533となる。同様の動作と判定が繰り返されるため、安定して映像533が表示装置(図示せず)に表示され続ける。
なお、左側監視領域AL、右側監視領域ARのいずれか一方について、縦映像でないと判定された場合は、映像情報検出部8は最終出力として、横映像(映像10)であるとする判定結果を出力する。
次に、第1の映像信号1が縦映像(映像11)から横映像(映像10)に変化したときの動作について説明する。
現在の状態は、第1の映像信号1の映像として縦映像(映像11)が入力されており、最終の合成後の出力映像は、映像533である。また、判定部82は、判定結果として縦映像であると判定結果を示しており、監視領域切替部9は、監視領域A(切出し映像用)を選択している。
この状態から、第1の映像信号1の映像が、縦映像(映像11)から横映像(映像10)に変化すると、合成後の出力映像は、映像533から映像532に変化する。
監視領域切替部9は、監視領域A(切出し映像用)を選択しているので、カウント部81がカウントを行う領域は、左側監視領域ALと右側監視領域ARである。カウント部81には、第1の映像信号1の表す映像(映像10)が入力されている。
カウント部81は、左側監視領域ALについて、背景色の画素の総数をカウントする。横映像(映像10)の左側監視領域ALには、背景色の画素は部分的にしか存在しないため、カウントした画素数と、左側監視領域ALの画素数とは同じにならない。よって、判定部82は、入力された第1の映像信号1の映像は横映像であると判定する。右側監視領域ARでも同様の判定が行われ、判定部82は、横映像であると判定する。よって、左側監視領域AL、右側監視領域ARの両方の領域について、判定部82は横映像(映像10)であると判定するため、映像情報検出部8は最終出力として、入力された第1の映像信号1の映像は横映像(映像10)であるとする判定結果を出力する。
よって、映像切替部4は、第1の映像信号1の映像(映像10)を選択する。また、監視領域切替部9は、設定テーブル1000の監視領域B(非切出し映像用)を選択する。結果として、表示装置(図示せず)に表示される最終の映像は映像510となる。
なお、実施の形態1では、判定部82の判定結果に応じて、監視領域切替部9は監視領域A,Bの切り替えを行った。一方、本実施の形態においては、監視領域A,Bの切り替えを行わず、監視領域切替部9は、常に、例えば監視領域Aを選択していてもよい。
<効果>
本実施の形態における画像合成装置200において、カウント部81は、第1の映像自体の所定の監視領域について、背景色の画素数をカウントすることを特徴とする。
従って、縦映像か横映像かの判断を、入力される第1の映像自体に対して行うことにより、第1の映像から不要映像領域を全て取り除いて副画面表示とすることが可能となる。つまり、副画面内に一切不要映像領域を含まない状態でも、第1の映像が縦映像か横映像かの判定を正しく行うことができる。
また、本実施の形態における画像合成装置200において、第1の映像の所定の範囲(即ち切出し領域C)は、当該範囲の境界に沿って背景色の領域を含まないことを特徴とする。
従って、切り出す前の第1の映像自体に対して縦映像か横映像かの判定を行うことにより、第1の映像から不要映像領域、即ち有効映像領域の外側に存在する背景色部分を全て取り除くように映像の切出しを行うことが可能となる。
なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略することが可能である。