以下に添付図面を参照しながら、本開示の実施形態について説明する。なお、本明細書及び図面において実質的に同一の機能を有する要素については、同一の符号を付することにより重複説明を省略する場合がある。
[1.システム]
以下、図1を参照しながら、本開示の一実施形態に係るシステムについて説明する。図1は、本開示の一実施形態に係るシステムについて説明するための図である。
図1に示すように、本開示の一実施形態に係るシステムは、撮像システム10、映像配信システム20、及び端末機器31、32を含む。図1の例では、撮像システム10と映像配信システム20とを分けて記載しているが、撮像システム10と映像配信システム20とが1つのシステムに統合されてもよい。また、図1には2台の端末機器31、32が明示されているが、端末機器の数は3以上であってもよい。
撮像システム10は、配信用の映像を生成するためのシステムである。撮像システム10により生成された映像は、映像配信システム20に提供される。映像配信システム20は、映像を配信するためのシステムである。例えば、映像配信システム20は、ネットワークNWを介して端末機器31、32に映像を配信する。ネットワークNWは、WAN(Wide Area Network)、LAN(Local Area Network)、光通信ネットワーク、移動体通信ネットワークなど、様々なネットワーク又はそれらの組み合わせでありうる。
端末機器31、32は、ネットワークNWを介して映像配信システム20にアクセスし、映像配信システム20により配信された映像を受信しうる。端末機器31は、縦H1、横W1の幅を有するディスプレイ311を搭載し、受信した映像をディスプレイ311に表示しうる。同様に、端末機器32は、縦H2、横W2の幅を有するディスプレイ321を搭載し、受信した映像をディスプレイ321に表示しうる。ディスプレイ311、321の縦横比は同じである(H1:W1=H2:W2)。
撮像システム10は、撮像装置11及び映像処理装置12を含む。
撮像装置11は、光学系111、撮像センサ112、及び制御部113を有する。光学系111は、少なくとも1つのレンズ又は少なくとも1つのレンズ群を含み、入射した光を撮像センサ112へと導くための光学部材である。撮像センサ112は、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal-Oxide-Semiconductor)イメージセンサなどの固体撮像素子である。撮像センサ112は、それぞれがPD(Photodiode)などの光電変換素子で形成される複数の画素を有し、各画素について入射する光の強度に応じた電気信号を出力する。
撮像センサ112は、縦方向(Y方向)にN画素、横方向(X方向)にN画素の幅を持つ撮像領域を有する。Nは、例えば、2160、3840、4096である。撮像センサ112の撮像領域は縦横比が1:1の正方形状であり、この撮像領域からの出力信号に基づく映像は正方形の映像となる。制御部113は、撮像センサ112の出力信号にADC(Analog to Digital Conversion)などの処理を施して映像信号を生成し、その映像信号を映像処理装置12へと出力する。
なお、図1の例では正方形の撮像領域を有する1枚の撮像センサ112を利用しているが、変形例として、長方形の撮像領域を有する2枚の撮像センサを組み合わせて正方形の撮像領域を実現してもよい。例えば、横3840画素、縦2160画素の幅を持つ4Kイメージセンサを2枚組み合わせて縦横3840画素の幅を持つ正方形の撮像領域を実現することができる。この変形例について、図2を参照しながら説明する。図2は、撮像装置の変形例について説明するための図である。
図2に示すように、変形例に係る撮像装置11は、絞り111a、レンズ111b、プリズム111c、撮像センサ112a、112b、及び制御部113を含む。図2の破線A~Eは、絞り111a及びレンズ111bを通ってプリズム111cに入射し、プリズム111cを通って撮像センサ112a、112bに導かれる光の光路を示す。RIは、入射する光の約50%を透過し、残りの約50%について光路を直角に折り曲げる分波面を示す。なお、説明を容易にするため、分波面RIを透過する光路及び分波面RIで反射する光路の一部が省略されている。
撮像センサ112a、112bのそれぞれは、縦方向にM画素、横方向にN画素の幅を持つ撮像領域を有する。Mは、N未満である。また、Mは、N/2以上であってよい。図2の例では、「M>N/2」である。撮像センサ112aにおける縦方向は矢印Paの方向であり、紙面に垂直な方向が撮像センサ112aにおける横方向である。撮像センサ112bにおける縦方向は矢印Pbの方向であり、紙面に垂直な方向が撮像センサ112bにおける横方向である。
撮像センサ112aは、光路Aと光路Dとの間の領域を通る光のうち、分波面RIを透過する透過光が入射する位置に配置される。撮像センサ112bは、光路Bと光路Eとの間の領域を通る光のうち、分波面RIで反射される反射光が入射する位置に配置される。光路Cは、光路Aと光路Eとの間の丁度中間である。光路Bは、光路Cよりも光路A寄りに位置する。光路Dは、光路Cよりも光路E寄りに位置する。そのため、光路Bと光路Dとの間の領域を通る光は、分波面RIで分波され、撮像センサ112a、112bの両方に入射する。従って、撮像センサ112a、112bの両方から、光路Bと光路Dとの間の領域に対応する映像部分の信号が出力される。
制御部113は、撮像センサ112a、112bからの出力信号に基づく2枚の映像を合成して合成映像を生成する。上記のように、撮像センサ112a、112bからの出力信号には、同じ映像部分の信号が含まれる。そのため、制御部113は、2枚の映像を合成する際、図2に示すように、同じ映像部分を含む領域(以下、重複領域)を重ね合わせ、重複領域の画素値を調整して合成映像113aを生成する。重複領域の処理としては、例えば、2枚の映像から得られる画素値の平均値又は重み付き平均値を計算し、計算結果を合成映像113aの画素値として利用する方法がある。なお、MがN/2の場合、重複領域に対する画素値の調整は省略される。
本開示の実施形態に係る技術を適用可能な正方形の撮像領域は、1枚の撮像センサ112を利用して実装されてもよいし、上記変形例のように2枚の撮像センサ112a、112bを利用して実装されてもよい。さらに、正方形の撮像領域は、3枚以上の撮像センサを利用して実装されてもよいし、また、上記変形例におけるプリズム111cの形状及び撮像センサ112a、112bの配置は変更されてもよい。このように、本開示の実施形態に係る技術を適用するに当たり、正方形の撮像領域を実装するための実装形態は任意に採用することができ、そのような実装形態についても当然に本開示の技術的範囲に属する。
次に、図3を参照しながら、映像処理装置12のハードウェアについて説明する。図3は、映像処理装置12のハードウェアについて説明するためのブロック図である。
後述する映像処理装置12の機能は、例えば、図3に示すハードウェア資源を用いて実現することが可能である。つまり、映像処理装置12が有する機能は、コンピュータプログラムを用いて図3に示すハードウェアを制御することにより実現される。
図3に示すように、映像処理装置12は、プロセッサ12a、メモリ12b、表示IF(Interface)12c、通信IF12d、及び接続IF12eを有する。
プロセッサ12aは、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、GPU(Graphics Processing Unit)などの処理回路(Processing Circuitry)である。メモリ12bは、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disk Drive)、SSD(Solid State Drive)、フラッシュメモリなどのストレージデバイスである。
表示IF12cは、LCD(Liquid Crystal Display)、ELD(Electro-Luminescence Display)などのディスプレイデバイスを接続するためのインターフェースである。例えば、表示IF12cは、プロセッサ12a、及び/又は表示IF12cに搭載されたGPUにより表示を制御する。通信IF12dは、ネットワークNWに接続するためのインターフェースである。
接続IF12eは、外部デバイスを接続するためのインターフェースである。接続IF12eは、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)などである。接続IF12eには、入出力インターフェースの他、記録媒体12fが接続されうる。記録媒体12fは、磁気記録媒体、光ディスク、光磁気ディスク、半導体メモリなどの非一時的なコンピュータ可読記録媒体(Non-transitory computer readable storage medium)でありうる。
プロセッサ12aは、記録媒体12fに格納されたプログラムを読み出してメモリ12bに格納し、メモリ12bから読み出したプログラムに従って映像処理装置12の動作を制御しうる。映像処理装置12の動作を制御するプログラムは、メモリ12bに予め格納されてもよいし、通信IF12dを介してネットワークからダウンロードされてもよい。
図3には映像処理装置12のハードウェアを例示したが、撮像装置11の制御部113、映像配信システム20、端末機器31、32の機能も、図3に示したハードウェア要素の少なくとも一部を用いて実現可能である。そのため、撮像装置11の制御部113、映像配信システム20、及び端末機器31、32のハードウェアについては、図3に関する上記の説明を引用することで詳細な説明を省略する。
(端末機器の機能)
次に、図4を参照しながら、端末機器31、32の機能について説明する。図4は、端末機器31の機能について説明するためのブロック図である。なお、端末機器31、32の機能は実質的に同じであるため、端末機器31の機能について説明し、端末機器32の機能については詳細な説明を省略する。
図4に示すように、端末機器31は、ディスプレイ311、記憶部312、センサ部313、余白制御部314、及び映像再生部315を有する。
ディスプレイ311は、LCD、ELDなどの表示用デバイスである。記憶部312の機能は、上述したメモリ12bに相当するハードウェア要素により実現されうる。センサ部313の機能は、上述した接続IF12eに接続されるセンサ類(加速度センサ、ジャイロセンサ、磁気センサなど)により実現されうる。余白制御部314及び映像再生部315の機能は、いずれも上述したプロセッサ12a及び表示IF12cに相当するハードウェア要素により実現されうる。
記憶部312には、視聴プログラム312aが格納される。視聴プログラム312aは、映像配信システム20から配信される映像を視聴するためのアプリケーションプログラムである。端末機器31上で視聴プログラム312aが実行されることで、後述する余白制御部314及び映像再生部315の機能が提供されうる。なお、視聴プログラム312aの機能は、Webブラウザや、Webブラウザ上で動作するプラグインアプリケーションプログラムとして実装されてもよい。また、視聴プログラム312aは、映像配信システム20からネットワークNWを介してダウンロードされてもよいし、外部のアプリケーションサーバからインターネットを介してダウンロードされてもよい。
センサ部313は、端末機器31の姿勢及び動きを検知する。例えば、センサ部313は、ディスプレイ311の画面が横長となるように、ユーザが端末機器31を横に構えているか、それとも、ディスプレイ311の画面が縦長となるように、ユーザが端末機器31を縦に構えているかを検知する。以下では、説明を簡単にするため、横長画面となる端末機器31の姿勢を「横向き」、縦長画面となる端末機器31の姿勢を「縦向き」と表現する場合がある。例えば、図1に示した端末機器31は「横向き」の姿勢である。
また、センサ部313は、端末機器31の動きを検知する。例えば、センサ部313は、画面の長手方向に平行で画面中心を通る軸を回転軸(以下、軸AX1)とする端末機器31の回転、及び、画面の短手方向に平行で画面中心を通る軸を回転軸(以下、軸AX2)とする端末機器31の回転を検知する。また、センサ部313は、画面と平行な面内で端末機器31が回転する動き、軸AX1が平行移動する動き、軸AX2が平行移動する動きなど、端末機器31の様々な動きを検知しうる。センサ部313による検知の結果は、余白制御部314に提供される。
余白制御部314は、センサ部313による検知の結果に応じて、映像配信システム20から受信される正方形の映像のうち、ディスプレイ311に表示される範囲及び表示方法を制御する。映像再生部315は、映像配信システム20から受信される映像を再生する。例えば、映像再生部315は、映像配信システム20から配信される符号化された映像信号を受信し、この映像信号を復号して得た映像をディスプレイ311に表示する。映像の符号化には、AVC/H.264、HEVC/H.265、Motion JPEG、AV1(AOMedia Video 1)、MPEG-2など、任意のコーデックが利用されうる。
ここで、図5~図11を参照しながら、余白制御部314による表示範囲及び表示方法の制御について、さらに説明する。
まず、図5を参照しながら、映像領域の区画について説明する。図5は、映像領域の区画について説明するための図である。図5には、映像配信システム20から配信される映像の外形が映像領域114として模式的に示されている。映像領域114は、撮像センサ112の撮像領域に対応し、一辺がN画素の長さを持つ正方形の領域である。また、映像領域114は、9つの領域A0~A8に区画される。
領域A0は、その中心が映像領域114の中心と一致するように配置され、且つ一辺がP画素の長さを持つ正方形の領域である。4つの領域A1~A4は、それぞれ短辺がQ画素、長辺がP画素の長さを持つ長方形の領域である。4つの領域A5~A8は、それぞれ一辺がQ画素の長さを持つ正方形の領域である。ここで、Pは下記の式(1)で与えられ、Qは下記の式(2)で与えられる。
P=N×(W1/H1) …(1)
Q=(N-P)/2 …(2)
端末機器31が縦向きのとき、通常は、領域A0、A1、A3の映像がディスプレイ311に表示される。端末機器31が横向きのとき、通常は、領域A0、A2、A4の映像がディスプレイ311に表示される。以下では、端末機器31が縦向きのときの領域A2、A4~A8、及び、端末機器31が横向きのときの領域A1、A3、A5~A8を「余白領域」と表現する場合がある。余白領域は、通常視聴時には表示されなくてもよく、余白制御部314による制御が介在する場合に表示されうる。
余白制御部314は、図6~図9に示すように、端末機器31の姿勢変化に応じて表示範囲を制御し、余白領域の一部をディスプレイ311に表示させる。図6~図9は、端末機器による表示制御について説明するための図である。
例えば、端末機器31を横向きに持ち、画面上端がユーザに近づく向きに端末機器31を傾けた場合(手前側への回転)、余白制御部314は、図6に示すように、映像領域114の表示範囲を下方へ移動させる。図6の破線311aは、端末機器31を傾ける前のディスプレイ311の位置を示す。この動作により、ディスプレイ311には、余白領域の一部である領域A3、A6、A7が表示される。以下では、この動作での軸AX1についての回転量をtW1、表示範囲の移動量をSW1と表記する。
また、端末機器31を横向きに持ち、画面上端がユーザから遠ざかる向きに端末機器31を傾けた場合(奥側への回転)、余白制御部314は、図7に示すように、映像領域114の表示範囲を上方へ移動させる。図7の破線311aは、端末機器31を傾ける前のディスプレイ311の位置を示す。この動作により、ディスプレイ311には、余白領域の一部である領域A1、A5、A8が表示される。以下では、この動作での軸AX1についての回転量をtW2、表示範囲の移動量をSW2と表記する。
また、端末機器31を縦向きに持ち、画面左端がユーザに近づく向きに端末機器31を傾けた場合(左回転)、余白制御部314は、図8に示すように、映像領域114の表示範囲を右方へ移動させる。図8の破線311aは、端末機器31を傾ける前のディスプレイ311の位置を示す。この動作により、ディスプレイ311には、余白領域の一部である領域A4、A7、A8が表示される。以下では、この動作での軸AX2についての回転量をtH1、表示範囲の移動量をSH1と表記する。
また、端末機器31を縦向きに持ち、画面左端がユーザから遠ざかる向きに端末機器31を傾けた場合(右回転)、余白制御部314は、図9に示すように、映像領域114の表示範囲を左方へ移動させる。図9の破線311aは、端末機器31を傾ける前のディスプレイ311の位置を示す。この動作により、ディスプレイ311には、余白領域の一部である領域A2、A5、A6が表示される。以下では、この動作での軸AX2についての回転量をtH2、表示範囲の移動量をSH2と表記する。
上記のように、余白領域を表示できるようにすることで、映像配信システム20から配信される映像の映像領域114を全て有効に活用できるようになる。
ここで、人の行動パターンについて考察を加えたい。いま、箱の中に何か小さな物が入っているとしよう。箱が深く、中の物が箱の隅に隠れている場合、人は、箱を傾けたり、箱の中を覗き込んだりして中の物を確認するだろう。箱の手前側に隠れている物を探すとき、人は、箱を手前側に傾けるか、箱の奥側に顔を近づけるだろう。また、箱の奥側に隠れている物を探すとき、人は、箱の手前側を持ち上げるか、箱の手前側に顔を近づけるだろう。つまり、隠れている物を見ようとするとき、人は、隠れている物と目とを離そうとする。図6~図9に示した表示制御は、このような行動パターンを反映したものである。
例えば、図6の表示制御によれば、端末機器31を手前側に傾けて画面の下端をユーザの目から遠ざける操作に応じて、画面の下側に隠れている余白領域(領域A3、A6、A7)が表示される。図7の表示制御によれば、端末機器31を奥側に傾けて画面の上端をユーザの目から遠ざける操作に応じて、画面の上側に隠れている余白領域(領域A1、A5、A8)が表示される。
また、図8の表示制御によれば、端末機器31を左回転させて画面の右端をユーザの目から遠ざける操作に応じて、画面の右側に隠れている余白領域(領域A4、A7、A8)が表示される。図9の表示制御によれば、端末機器31を右回転させて画面の左端をユーザの目から遠ざける操作に応じて、画面の左側に隠れている余白領域(領域A2、A5、A6)が表示される。
上記の表示制御を適用することで、余白領域の表示について直感的な操作インターフェースを実現することができる。上記の通り、映像配信システム20からは正方形の映像全体が配信されるため、通常視聴時は端末機器31を縦持ちにしても横持ちにしても高精細な映像を視聴でき、さらに、画面端の先にある余白映像をシームレスに視聴できるため、これまでにない視聴形態が実現されうる。
以下、図10及び図11を参照しながら、上述した余白領域の表示制御について、さらに説明する。図10は、横向きに構えた端末機器31の回転量と表示範囲の移動量との関係について説明するためのグラフである。図11は、縦向きに構えた端末機器31の回転量と表示範囲の移動量との関係について説明するためのグラフである。
図10には、端末機器31の回転量tWと、ディスプレイ311に表示される表示範囲の移動量SWとの関係を示す4つのグラフgW1~gW4が示されている。
回転量tWは、図6及び図7に示した回転量tW1、tW2の大きさに対応し、図6及び図7に示した破線311aの位置から、軸AX1を中心にディスプレイ311が手前側へ傾いたときの回転量tW1と、奥側へ傾いたときの回転量tW2とを表す。移動量SWは、図6及び図7の移動量SW1、SW2に対応し、図6及び図7に示した破線311aの位置から、軸AX1を中心にディスプレイ311が手前側へ傾いた場合における移動量SW1と、奥側へ傾いた場合における移動量SW2とを表す。
なお、図中では通常視聴時に画面の一端側に隠れている余白領域(図6の例では領域A3、A6、A7)が全て表示される場合の移動量SWを1、余白領域が全く表示されない通常視聴時の移動量SWを0としている。
余白制御部314は、グラフgW1~gW4のいずれかのグラフに従って上述した余白領域の表示制御を実施しうる。なお、どのグラフに従って余白制御部314が表示制御を実施するかはユーザが任意に選択してもよいし、映像の内容に応じて視聴プログラム312aが自動的に選択してもよい。視聴プログラム312aが自動的に選択する場合、後からユーザが再選択できるようにすることが好ましい。また、映像の内容に応じて視聴プログラム312aがお勧めの選択肢を提示し、ユーザが選択するようにしてもよい。
図10(A)のグラフgW1、gW2では、回転量tWが所定範囲(この例では0~25°)で回転量tWと移動量SWとが線形関係にあり、回転量tWの増加に比例して移動量SWが増加する。回転量tWが一定角度(この例では25°)を超えると映像が見難くなることがあるため、一定角度に達するまでに画面の一端側に隠れていた余白領域が全て表示されるように設定されている。
グラフgW1は、回転量tWが0°から立ち上がる。そのため、グラフgW1に従って余白領域の表示を制御すると、端末機器31を僅かに傾けただけでも余白領域が表示されるようになる。自然環境を映し出した映像など、映像全体を見渡すように視聴できると楽しみが増すような映像については、表示範囲を動かしやすいグラフgW1に基づく表示制御が好ましい。
グラフgW2は、回転量tWが所定角度(この例では10°)に達してから立ち上がる。そのため、グラフgW2に従って余白領域の表示を制御すると、端末機器31をある程度傾けるまで通常視聴時の表示範囲が維持され、余白領域が表示されない。映像領域114の中心付近に主たる被写体が位置するバラエティー番組、ニュース番組、ドラマなどの映像では、端末機器31の僅かな動きで表示範囲が動いてしまうと見難くなってしまうことがある。そのため、このような映像については、ユーザが意図的に余白領域を表示する操作を行うまで表示範囲が動かないグラフgW2に基づく表示制御が好ましい。
図10(B)のグラフgW3、gW4では、回転量tWと移動量SWとが非線形関係にある。
グラフgW3は、回転量tWの増加に伴って滑らかに移動量SWが増加する。グラフgW3の曲線は、スプライン曲線やベジェ曲線など、複数の制御点を基準とする滑らかな曲線であってもよいし、高次多項式で表現される他の曲線であってもよい。
グラフgW3においては、回転量tWが小さい領域で、回転量tWの増加に比して移動量SWが小さく、また、回転量tWが大きい領域で、回転量tWの増加に比して移動量SWが大きい。そのため、端末機器31を僅かに傾けると余白領域が徐々に見えてきて、傾きを大きくすると余白領域が素早く拡大する。通常視聴時には表示範囲が動きにくく、余白領域の表示を意図した操作に対しては素早く反応するため、グラフgW3によれば、映像の種類によらず、ユーザに違和感を与えにくい表示制御が実現されうる。
グラフgW4は、回転量tWの増加に伴って段階的に移動量SWが増加する。図10(B)の例では、回転量tWが5°、15°、25°に達したタイミングで移動量SWが増加する。なお、グラフgW4では各タイミングで瞬間的に移動量SWが増加しているように見えるが、各タイミングに達した時点から所定時間(例えば、1秒)が経過するまでの間に徐々に移動量SWが増加するように制御されてもよい。グラフgW4のように段階的に移動量SWを変えられるようにすることで、余白領域を一定範囲だけ表示した状態で安定させることができ、余白領域を含む映像の安定した表示が実現されうる。
図11には、端末機器31の回転量tHと、ディスプレイ311に表示される表示範囲の移動量SHとの関係を示す4つのグラフgH1~gH4が示されている。
回転量tHは、図8及び図9に示した回転量tH1、tH2の大きさに対応し、図8及び図9に示した破線311aの位置から、軸AX2を中心にディスプレイ311が左側へ回転したときの回転量tH1と、右側へ回転したときの回転量tH2とを表す。移動量SHは、図8及び図9の移動量SH1、SH2に対応し、図8及び図9に示した破線311aの位置から、軸AX2を中心にディスプレイ311が左側へ回転した場合における移動量SH1と、右側へ回転した場合における移動量SH2とを表す。
なお、図中では通常視聴時に画面の一端側に隠れている余白領域(図8の例では領域A4、A7、A8)が全て表示される場合の移動量SHを1、余白領域が全く表示されない通常視聴時の移動量SHを0としている。
余白制御部314は、グラフgH1~gH4のいずれかのグラフに従って上述した余白領域の表示制御を実施しうる。なお、どのグラフに従って余白制御部314が表示制御を実施するかはユーザが任意に選択してもよいし、映像の内容に応じて視聴プログラム312aが自動的に選択してもよい。視聴プログラム312aが自動的に選択する場合、後からユーザが再選択できるようにすることが好ましい。また、映像の内容に応じて視聴プログラム312aがお勧めの選択肢を提示し、ユーザが選択するようにしてもよい。
図11(A)のグラフgH1、gH2では、回転量tHが所定範囲(この例では0~25°)で回転量tHと移動量SHとが線形関係にあり、回転量tHの増加に比例して移動量SHが増加する。回転量tHが一定角度(この例では25°)を超えると映像が見難くなることがあるため、一定角度に達するまでに画面の一端側に隠れていた余白領域が全て表示されるように設定されている。
グラフgH1は、上述したグラフgW1と同様に、回転量tHが0°から立ち上がる。そのため、グラフgH1に従って余白領域の表示を制御すると、端末機器31を僅かに傾けただけでも余白領域が表示されるようになる。グラフgH2は、上述したグラフgW2と同様に、回転量tHが所定角度(この例では10°)に達してから立ち上がる。そのため、グラフgH2に従って余白領域の表示を制御すると、端末機器31をある程度傾けるまで通常視聴時の表示範囲が維持され、余白領域が表示されない。
図11(B)のグラフgH3、gH4では、回転量tHと移動量SHとが非線形関係にある。グラフgH3は、上述したグラフgW3と同様に、回転量tHの増加に伴って滑らかに移動量SHが増加する。そのため、端末機器31を僅かに傾けると余白領域が徐々に見えてきて、傾きを大きくすると余白領域が素早く拡大する。グラフgH4は、上述したグラフgW4と同様に、回転量tHの増加に伴って段階的に移動量SHが増加する。そのため、余白領域を一定範囲だけ表示した状態で安定させることができ、余白領域を含む映像の安定した表示が実現されうる。
図10及び図11に示したグラフに基づく表示制御は一例であり、回転量tWと移動量SWとの関係、及び回転量tHと移動量SHとの関係は上記の例に限定されない。また、回転量tWと移動量SWとの関係と、回転量tHと移動量SHとの関係とは、それぞれ独立に設定されてもよい。例えば、回転量tWと移動量SWとの関係をグラフgW2に設定し、回転量tHと移動量SHとの関係をグラフgH4に設定しうる。
ここで、回転量tW、tHの基準となる端末機器31の姿勢(回転量tW、tHが0°となる端末機器31の姿勢)を設定する方法について説明する。以下、回転量tW、tHの基準となる端末機器31の姿勢を「基準姿勢」と表現することがある。
一例として、基準姿勢は、ユーザの明示的な操作に基づいて設定されてよい。例えば、端末機器31に対する所定の操作(ボタン押下、タッチ、タップ、フリック、ジェスチャーなど)が行われた時点で、余白制御部314が、その時点における端末機器31の姿勢を基準姿勢に設定し、その時点でのセンサ部313からの出力を記憶部312に格納する。これにより、余白制御部314は、基準姿勢におけるセンサ部313の出力と、任意の時点におけるセンサ部313の出力とを比較して回転量tW、tHを求めうる。
他の例として、基準姿勢は、端末機器31の起動時点における端末機器31の姿勢に基づいて設定されてよい。例えば、余白制御部314は、端末機器31の起動時点におけるセンサ部313からの出力を記憶部312に格納する。これにより、余白制御部314は、基準姿勢におけるセンサ部313の出力と、任意の時点におけるセンサ部313の出力とを比較して回転量tW、tHを求めうる。
次に、表示範囲を固定する操作を追加する変形例について説明する。上述したように、余白制御部314は、回転量tW、tHにおいて表示範囲を移動させる。そのため、端末機器31が傾いた状態では余白領域が表示されるが、端末機器31の姿勢を基準姿勢に戻すと余白領域が表示されなくなる。従って、余白領域を表示したまま映像を視聴するには、端末機器31を傾けた状態で維持する必要がある。この変形例では、余白領域を表示した状態で表示範囲を固定する操作を追加する。以下では、表示範囲を固定することを「ロックオン」と表現することがある。
一例として、ロックオンは、ユーザの明示的な操作に基づいて設定されてよい。例えば、余白制御部314は、ユーザが端末機器31を横向きに構えている場合に、軸AX2を回転軸とする回転操作に応じてロックオンを設定してもよい。また、余白制御部314は、ユーザが端末機器31を縦向きに構えている場合に、軸AX1を回転軸とする回転操作に応じてロックオンを設定してもよい。ロックオンのトリガは、回転角が所定の閾値(例えば、10°)を超えたこと、右回り及び左周りの両方に回転されたこと、回転角が所定の閾値を超えた状態で一定時間(例えば3秒)維持されたことなどに設定されうる。
他の例として、ロックオンは、余白制御部314が自動的に設定してもよい。例えば、余白制御部314は、ほぼ同じ表示範囲が一定時間(例えば、10秒)維持された場合にロックオンを設定する。このとき、余白制御部314は、回転量tW、tH(横向きの場合にはtW、縦向きの場合にはtH)を監視し、回転量tW、tHの変化量が所定範囲(例えば、±2°)以内である状態が一定時間維持されたときにロックオンを設定する。また、余白制御部314は、通常視聴時に画面の一端側に隠れていた余白領域が全て表示された状態になったときにロックオンを設定してもよい。
ロックオンが設定されると、余白制御部314は、ロックオン解除の操作が行われるまで表示範囲を維持する。ロックオン解除のトリガは、例えば、ロックオン設定時の回転操作と反対方向の回転操作が行われたこと(例えば、右回転でロックオンしたときは左回転でロックオン解除)、端末機器31が左右に振られたこと、ロックオン解除のためのボタン操作が行われたことなどに設定されうる。なお、ロックオン及びロックオン解除のための操作は、上記の例に限定されず、実施の態様に応じて、端末機器31に対する任意の入力操作(ボタン操作など)、或いは、ジェスチャーなどに割り当てることができる。
上記のロックオン機能を視聴プログラム312aに追加することで、余白領域を含む表示範囲を固定した状態でディスプレイ311の向きを自由に変えることができるようになり、余白領域の継続的な視聴を望むユーザには、より快適な視聴環境が提供されうる。
上記のように、正方形の映像領域114を持つ映像全体を配信し、その映像全体を有効に活用することで、これまでにない視聴環境を提供することが可能になる。また、中央付近の映像領域をメインとしつつ、余白領域が視聴されることになるため、映像を配信する側も、そのような視聴形態に適した新たな映像表現に挑むことができる。
但し、正方形の映像全体を配信する場合、横長の映像を配信していた従来の方式に比べると、伝送負荷が高くなる。そのため、本開示の一実施形態に係るシステムでは、伝送負荷を低減するための機能が映像処理装置12に追加されている。
(映像処理装置の機能)
以下、図12を参照しながら、映像処理装置12の機能について説明する。図12は、映像処理装置12の機能について説明するためのブロック図である。
図12に示すように、映像処理装置12は、記憶部121、モード設定部122、及び信号処理部123を有する。記憶部121の機能は、上述したメモリ12bにより実現されうる。モード設定部122及び信号処理部123の機能は、上述したプロセッサ12aにより実現されうる。
記憶部121には、モード情報121aが格納される。モード情報121aは、映像の処理方法についての動作モードを規定する情報である。例えば、モード情報121aは、図13に示すような内容を有する。図13は、モード情報121aについて説明するための図表である。
図13に示すように、モード情報121aは、各モードを識別するためのモード番号と、領域A0~A8の画質設定に関する情報とを含む。なお、図13の図表には、備考欄が設けられ、各モードの属性に応じた名称(以下、モード名)が記載されている。また、説明の都合上、各モードに2桁のモード番号を割り当て、同じモード名に対応するモードのモード番号2桁目を同じ数字に設定している。以下の説明では、表記を簡単にするため、モード番号#xxのモードを「モード#xx」と表記する場合がある。
画質設定の欄は、高画質の欄、中画質の欄、低画質の欄に分けられ、高画質の欄には高画質に設定される領域の情報が含まれ、中画質の欄には中程度の画質に設定される領域の情報が含まれ、低画質の欄には低画質に設定される領域の情報が含まれる。
映像の画質は、各フレームにおける対象領域の解像度(画素密度)や画素階調などを変えることで調整されうる。また、映像の画質は、符号化の際に、フレームレート、変換ブロック(MB(Macroblock)、CTU(Coding Tree Unit)など)のサイズ、量子化パラメータなどを指定することで調整されうる。ここでは、符号化前の映像信号に対して画質調整の処理を施すことを想定し、高画質の領域に比べて解像度を下げた領域の画質を低画質、高画質と低画質との間の画質を中画質と呼ぶことにする。
モード#01の場合、映像領域114のうち領域A0が高画質に設定され、領域A1~A4が中程度の画質に設定され、領域A5~A8が低画質に設定される。図5に示したように、領域A0は、映像領域114の中央に位置する一辺がP画素の長さを持つ正方形の領域である。領域A1~A4は、領域A0と接し、長辺がP画素、短辺がQ画素の長さを持つ長方形の領域である。領域A5~A8は、映像領域114の四隅に位置し、一辺がQ画素の長さを持つ正方形の領域である。
上記のように、モード#01では中央の領域A0が高画質に設定され、領域A0の周囲にある領域A1~A8が、領域A0よりも低い画質に設定される。そのため、モード#01は「中央重視モード」に属する。バラエティー番組、ニュース番組、ドラマなどの映像では、主たる被写体が映像領域114の中央付近に位置することが多く、領域A0の周囲に位置する各領域の画質を下げてもユーザは気づきにくい。また、このような映像を視聴する際、ユーザが余白領域を積極的に視聴する機会は少ないだろう。
上記のような事情がある場合に中央重視モードは有効である。モード#01では、通常視聴時に表示されない領域A5~A8を低画質に設定して当該領域の情報量を大きく減らし、さらに、領域A1~A4を中画質に設定して通常視聴時に表示される映像の画質低下を抑えつつ、当該領域の情報量を減らしている。この設定により、ユーザが通常注視する領域の画質低下を抑えつつ、映像配信時の伝送負荷を低減できる。
モード#02、#03も中央重視モードである。モード#02では、領域A0の周囲に位置する領域A1~A8が全て低画質に設定される。そのため、モード#02は、ニュース番組など、画面中央に位置する主たる被写体にほとんど動きがない映像に適している。モード#03は、映像領域114の四隅に位置する領域A5~A8が中画質に設定される。そのため、モード#03は、画面中央に主たる被写体がいるが、ある程度、余白領域の視聴が想定される映像に適している。
通常視聴時に表示される領域A0~A4の画質を重視したい場合、画質優先モードに属するモード#11、#12が適している。モード#11、#12では、領域A0~A4が高画質に設定される。そのため、ユーザは、端末機器31を横向きに構えて映像を視聴しても、縦向きに構えて映像を視聴しても、通常視聴時には高画質の映像を視聴することができる。モード#11では、映像領域114の四隅に位置する領域A5~A8が低画質に設定され、モード#12では、領域A5~A8が中画質に設定される。モード#11の方が、モード#12に比べて映像配信時の伝送負荷が低い。
端末機器31を横向きに構えて映像を視聴する機会が多いと推定される映像については、横向き重視モードに属するモード#21~#23が適している。例えば、主たる被写体が横長の被写体である場合、或いは、映像領域114を横切る被写体がある場合、ユーザは、横長の画面で視聴する方が快適に映像を視聴できるだろう。このような映像は、端末機器31を横向きに構えて視聴する際に通常注視する領域A0、A2、A4が高画質に設定される横向き重視モードに適している。
モード#21では、領域A0、A2、A4が高画質に設定され、それ以外の領域A1、A3、A5~A8が低画質に設定される。モード#22では、領域A0、A2、A4が高画質に設定され、それ以外の領域A1、A3、A5~A8が中画質に設定される。モード#23では、領域A0、A2、A4が高画質に設定され、領域A1、A3が中画質に設定され、領域A5~A8が低画質に設定される。
主たる被写体に高さがある場合、或いは、被写体が映像領域114を横切るものの上下の動きもある場合には余白領域が表示される可能性が高いため、モード#22、#23が適している。モード#23の方が、モード#22に比べて映像配信時の伝送負荷が低いため、映像領域114の四隅に目が行きにくい映像の場合には伝送負荷を低減する観点からはモード#23が好適である。
端末機器31を縦向きに構えて映像を視聴する機会が多いと推定される映像については、縦向き重視モードに属するモード#31~#33が適している。例えば、主たる被写体が縦長の被写体である場合、或いは、映像領域114を上下に移動する被写体がある場合、ユーザは、縦長の画面で視聴する方が快適に映像を視聴できるだろう。このような映像は、端末機器31を縦向きに構えて視聴する際に通常注視する領域A0、A1、A3が高画質に設定される横向き重視モードに適している。
モード#31では、領域A0、A1、A3が高画質に設定され、それ以外の領域A2、A4~A8が低画質に設定される。モード#32では、領域A0、A1、A3が高画質に設定され、それ以外の領域A1、A4~A8が中画質に設定される。モード#33では、領域A0、A1、A3が高画質に設定され、領域A2、A4が中画質に設定され、領域A5~A8が低画質に設定される。
主たる被写体に横幅がある場合、或いは、被写体が映像領域114を上下に移動するものの横方向の動きもある場合には余白領域が表示される可能性が高いため、モード#32、#33が適している。モード#33の方が、モード#32に比べて映像配信時の伝送負荷が低いため、映像領域114の四隅に目が行きにくい映像の場合には伝送負荷を低減する観点からはモード#33が好適である。
モード情報121aには、映像領域114の四隅に位置する領域A5~A8を伝送しない四隅非伝送モードの情報も含まれている。四隅非伝送モードでは、領域A5~A8の画素値が一定値に設定されるなど、領域A5~A8の映像情報がカットされる。四隅非伝送モードに属するモード#41では、映像領域114の中央に位置する領域A0が高画質に設定され、残りの領域A1~A4が中画質に設定される。また、モード#42では、領域A0が高画質に設定され、残りの領域A1~A4が低画質に設定される。四隅非伝送モードでは余白領域の視聴が制限されるが、伝送負荷は低い。
なお、上記のモードに加え、映像領域114の全てを高画質で伝送するモード、及び、映像領域114の四隅を除いた残りの領域A0~A4を全て高画質で伝送するモードを用意してもよい。前者のモードは、上述した余白領域の視聴機能を利用できるが、モード情報121aに含まれる全てのモードに比べて伝送負荷が高い。後者のモードは、上述した余白領域の視聴機能を実質的に利用できない上、モード情報121aの四隅非伝送モードに比べて伝送負荷が高い。
映像処理装置12のモード設定部122は、上記のモード情報121aを参照して各フレームにいずれかのモードを割り当てる。モードの割り当て方法としては、1つ1つのフレームにモードを割り当てる方法、或いは、複数のフレームを含むフレーム群に同じモードを割り当てる方法などが適用されうる。フレーム群は、連続する所定数(例えば、24枚)のフレーム、GOP(Group Of Pictures)、或いは、全フレームなどであってよい。
なお、映像の全フレームについて適用されるモードが予め設定されていてもよい。この場合、モード設定部122の機能は省略されうる。以下では、説明の都合上、連続する所定数のフレームを含むフレーム群を単位としてモード設定部122によりモードを割り当てる方法について説明する。
図12に示したように、モード設定部122は、モード選択機能122a、及び映像特徴解析機能122bを有する。モード選択機能122aは、各フレーム群に割り当てられるモードを選択する機能である。映像特徴解析機能122bは、映像の特徴を解析する機能である。モード選択機能122aは、映像特徴解析機能122bによる解析結果をモード選択に利用する。
既に説明したように、モード情報121aには、中央重視モード、画質優先モード、横向き重視モード、縦向き重視モード、及び四隅非伝送モードの情報が含まれる。なお、四隅非伝送モードは、映像の全フレームにモードを予め設定する場合に利用されうる。また、モード情報121aには、同じ種類のモード(例えば、中央重視モード)について、複数のモード番号に対応する複数の具体的なモード(例えば、モード#01~#03)が用意されている。どの具体的なモードを選択するかは予め設定されてよい。
中央重視モードは、主たる被写体など、ユーザが注視する領域が中央付近に集中している映像に対して有利である。画質優先モードは、余白領域を表示しない通常視聴時の視聴形態において全ての領域が高画質に設定されるため、ユーザが注視する領域が広い範囲に分布している映像や、被写体が移動するような映像に対して有利である。横向き重視モードは、横長の被写体を含む映像や、横方向に移動する被写体を含む映像に対して有利である。縦向き重視モードは、縦長の被写体を含む映像や、縦方向に移動する被写体を含む映像に対して有利である。
モード設定部122は、映像特徴解析機能122bによって撮像装置11から出力される映像の特徴を解析し、モード選択機能122aによって、その特徴に合ったモードを選択する。例えば、モード設定部122は、所定の物体認識アルゴリズムを利用して映像に含まれる人や物体などの被写体を認識し、所定の物体追跡アルゴリズムを利用して被写体の動きを特定する。そして、モード設定部122は、モードの割り当て単位となる個々のフレーム群について、被写体の認識結果(映像領域114内の位置及び形状など)及び被写体の動きに関する情報を特徴情報として記憶部121に格納する。
なお、モード設定部122が利用する物体認識アルゴリズム及び物体追跡アルゴリズムは、現時点で利用可能な任意の公知アルゴリズム又は将来時点で利用可能になる任意の公知アルゴリズムであってよい。
モード設定部122は、記憶部121に格納した特徴情報を参照し、対象となるフレーム群において領域A0に主たる被写体が収まっているフレーム数の割合を計算する。主たる被写体は、人や移動物体などに設定されうる。また、複数の人が映像に含まれる場合、主たる被写体は、発言している人や、映像領域114の中心に近い人に設定されうる。モード設定部122は、計算された割合が所定の第1閾値(90%など)以上である場合に、対象となるフレーム群に中央重視モードを割り当てる。
また、モード設定部122は、計算された閾値が第1閾値未満である場合に、主たる被写体が領域A0と隣接領域(領域A1~A4)との間の境界を跨いでいるか、或いは、境界を跨いで移動しているかを判定する。
主たる被写体が、領域A0と領域A2との間の境界及び領域A0と領域A4との間の境界の少なくとも一方を跨いでいるか、跨いで移動している場合、モード設定部122は、主たる被写体が領域A1、A3、A5~A8にはみ出すフレームを特定する。また、モード設定部122は、対象となるフレーム群のうち、主たる被写体が領域A1、A3、A5~A8にはみ出すフレームが占める割合を計算する。そして、モード設定部122は、計算した割合が第2閾値(50%など)未満である場合、対象となるフレーム群に横向き重視モードを割り当てる。一方、計算した割合が第2閾値以上の場合、モード設定部122は、画質優先モードを割り当てる。
主たる被写体が、領域A0と領域A1との間の境界及び領域A0と領域A3との間の境界の少なくとも一方を跨いでいるか、跨いで移動している場合、モード設定部122は、主たる被写体が領域A2、A4~A8にはみ出すフレームを特定する。また、モード設定部122は、対象となるフレーム群のうち、主たる被写体が領域A2、A4~A8にはみ出すフレームが占める割合を計算する。そして、モード設定部122は、計算した割合が第2閾値未満である場合、対象となるフレーム群に縦向き重視モードを割り当てる。一方、計算した割合が第2閾値以上の場合、モード設定部122は、画質優先モードを割り当てる。
モード設定部122は、各フレーム群に割り当てたモードに関する割り当て情報を記憶部121に格納する。記憶部121に格納された割り当て情報は、信号処理部123により利用される。なお、上述した割り当て方法は一例であり、実施の態様に応じて任意に変形することができる。例えば、横向き重視モード及び縦向き重視モードを省略し、主たる被写体が中心付近にいるフレームの割合に応じて、中央重視モードと画質優先モードとが切り替わるように各フレーム群にモードを割り当てる仕組みに変形してもよい。このような変形についても当然に本開示の技術的範囲に属する。
図12に示したように、信号処理部123は、画質調整機能123aと、符号化機能123bとを有する。信号処理部123は、記憶部121に格納された割り当て情報を参照し、画質調整機能123aによって、モード設定部122が各フレーム群に割り当てたモードに従って各フレームの画質を調整する。また、信号処理部123は、符号化機能123bにより、画質調整後の映像を所定のコーデック(AVC/H.264、HEVC/H.265、Motion JPEG、AV1、MPEG-2など)に従って符号化する。符号化された映像のデータは、映像配信システム20に提供される。
ここで、図14及び図15を参照しながら、画質調整機能123aによる画質調整方法について説明する。図14及び図15は、画質調整方法について説明するための図である。なお、図13のモード情報121aが示すように、画質が中画質又は低画質に調整されることがある領域は領域A1~A8に限られ、映像領域114の中央に位置する領域A0は高画質のまま維持される。
符号化前の映像に含まれる各フレームの画質を下げる方法としては、解像度(画素密度)を下げる方法や階調を下げる方法などがあるが、図14及び図15の例は、解像度を下げる方法を示している。なお、図14及び図15の例では、中央重視モードに属するモード#01が想定されている。モード#01は、領域A1~A4を中画質に調整し、領域A5~A8を低画質に調整するモードである。図14及び図15には、領域A0、A1、A2、A5の境界付近における画素配置が模式的に示されている。
図14(A)において、領域A0の1マスは1つの画素に対応する。また、領域A1、A2に含まれる長方形の1マスは同じ画素値を有する2つの画素に対応する。また、領域A5に含まれる正方形の1マスは同じ画素値を有する4つの画素に対応する。各マスの中に記載されている数字は画素数を表す。領域A1、A2、A5において、1つのマスの画素値は、そのマスを成す画素群に対応する複数の画素値の平均値に設定される。このように、領域A0の周辺領域において複数の画素を1つに纏め、同じ画素値(平均値)を設定することで、その周辺領域の画素密度を下げることができる。
図14(A)の例では、領域A1、A2の画素密度は、領域A0に比べて1/2に低減される。また、領域A5の画素密度は、領域A0に比べて1/4に低減される。これにより、領域A0の画質に比べて領域A1、A2の画質は低くなり、さらに、領域A1、A2の画質に比べて領域A5の画質は低くなる。つまり、領域A0が高画質、領域A1、A2が中画質、領域A5が低画質となる。なお、中画質及び低画質に対応する画素密度は、上記の例に限定されず、実施の態様に応じて適宜変更されうる。
ところで、図14(A)の例では、領域A1のマスが縦長の長方形に設定され、領域A2のマスが横長の長方形に設定されている。つまり、領域A1では、画素密度の低下に伴い、縦方向の情報量だけが低減され、領域A2では横方向の情報量だけが低減されている。一方、図14(B)の例では、領域A1のマスが横長の長方形に設定され、領域A2のマスが縦長の長方形に設定されている。つまり、領域A1では、画素密度の低下に伴い、横方向の情報量だけが低減され、領域A2では縦方向の情報量だけが低減されている。
上記の例のように、領域の位置関係に応じて特定の方向についての情報量を低減してもよい。主たる被写体の形状及びその動きによっては、画質低下を感じにくくさせる効果が期待されうる。但し、図14の例に限らず、画素値を平均化する画素群の形状は任意の形状に設定されうる。例えば、L字型やコの字型などに設定されてもよい。
図14の例では各領域の画素密度が一定であったが、図15に示すように、領域A0に近い方から徐々に画素密度が低下するように設定してもよい。図15(A)の例は、図14(A)と同様に領域A1において縦方向の情報量が減り、領域A2において横方向の情報量が減るように画素密度を下げる方法を基本とし、領域A0に近い方から順に画素密度を下げる方法を示している。図15(B)の例は、図14(B)に対応し、領域A0に近い方から順に画素密度を下げる方法を示している。領域A5については、いずれの例でも領域A0から離れるほど画素密度が低くなる。
なお、上記の画質調整方法は一例であり、実施の態様に応じて様々な変形が可能である。そうした変形例についても当然に本開示の技術的範囲に属する。
以上、本開示の一実施形態に係るシステムについて説明した。
[2.処理フロー]
次に、本開示の一実施形態に係るシステムで実行される処理の流れを説明する。
(モード選択方法)
まず、図16を参照しながら、本開示の一実施形態に係るモード選択方法について説明する。図16は、本開示の一実施形態に係るモード選択方法について説明するためのフロー図である。なお、図16の例では、映像について複数の区間(連続する所定数のフレームで形成されるフレーム群など)が設定されているとする。
(S101)モード設定部122は、映像の全フレームに適用されるモードの指定があるか否かを判定する。モードの指定がある場合、処理はS102へと進む。一方、モードの指定がない場合、処理はS103へと進む。
(S102)モード設定部122は、映像の全フレームに対して、指定されたモードを割り当てる。なお、指定可能なモードは、モード情報121aで示される全てのモードである。例えば、中央重視モードが指定されてもよいし、四隅非伝送モードが指定されてもよい。また、特定のモード番号のモードが指定されてもよい。S102の処理が完了すると、図16に示した一連の処理は終了する。
(S103)モード設定部122は、対象区間(対象となるフレーム群など)について、所定の物体認識技術及び物体追跡技術を利用して映像の特徴を解析し、映像に含まれる人や物体などの被写体を認識すると共に、その被写体の動きを特定する。なお、モード設定部122が利用する物体認識アルゴリズム及び物体追跡アルゴリズムは、現時点で利用可能な任意の公知アルゴリズム又は将来時点で利用可能になる任意の公知アルゴリズムであってよい。
(S104)モード設定部122は、横方向に移動する物体又は縦方向に移動する物体があるか否かを判定する。横方向に移動する物体又は縦方向に移動する物体がある場合、処理はS105へと進む。一方、横方向に移動する物体も、縦方向に移動する物体もない場合、処理はS106へと進む。
(S105)モード設定部122は、横方向に移動する物体がある場合には横向き重視モードを選択し、縦方向に移動する物体がある場合には横向き重視モードを選択する。そして、モード設定部122は、選択したモードを対象区間に割り当てる。S105の処理が完了すると、処理はS109へと進む。
(S106)モード設定部122は、領域A0、A2の境界及び領域A0、A4の境界の少なくとも一方を跨ぐ位置に物体があるか、或いは、領域A0、A3の境界及び領域A0、A1の境界の少なくとも一方を跨ぐ位置に物体があるかを判定する。いずれかの境界を跨ぐ位置に物体がある場合、処理はS107へと進む。一方、いずれの境界についても、境界を跨ぐ位置に物体がない場合、処理はS108へと進む。
(S107)モード設定部122は、例えば、以下で述べる選択方法に従って、横向き重視モード、縦向き重視モード、及び画質優先モードのいずれかを選択する。そして、モード設定部122は、選択されたモードを対象区間に割り当てる。S107の処理が完了すると、処理はS109へと進む。
選択方法は次の通りである。モード設定部122は、領域A0、A2の境界及び領域A0、A4の境界の少なくとも一方を跨ぐ位置には物体があり、且つ領域A0、A3の境界及び領域A0、A1の境界の少なくとも一方を跨ぐ位置には物体がない場合、横向き重視モードを選択する。また、モード設定部122は、領域A0、A2の境界及び領域A0、A4の境界の少なくとも一方を跨ぐ位置には物体がなく、且つ領域A0、A3の境界及び領域A0、A1の境界の少なくとも一方を跨ぐ位置には物体がある場合、縦向き重視モードを選択する。また、モード設定部122は、領域A0、A2の境界及び領域A0、A4の境界の少なくとも一方を跨ぐ位置に物体があり、且つ領域A0、A3の境界及び領域A0、A1の境界の少なくとも一方を跨ぐ位置にも物体がある場合、画質優先モードを選択する。
(S108)モード設定部122は、中央重視モードを選択する。そして、モード設定部122は、対象区間に中央重視モードを割り当てる。
(S109)モード設定部122は、映像の全区間について解析が完了したか否かを判定する。全区間について解析が完了した場合、図16に示した一連の処理は終了する。一方、解析が完了していない区間がある場合、S103へと進み、その区間を対象区間としてS103以降の処理が実行される。
(映像処理方法)
次に、図17を参照しながら、本開示の一実施形態に係る映像処理方法について説明する。図17は、本開示の一実施形態に係る映像処理方法について説明するためのフロー図である。
(S111、S113)信号処理部123は、k番目(k=1,…,K)のフレームPkを特定するためのインデックスkをインクリメントしながら、S112の処理を繰り返し実行する。インデックスkがKに達し、S112の処理が完了して処理がS113へと到達した場合、処理はS114へと進む。
(S112)信号処理部123は、モード設定部122による選択されたモードに応じてフレームPkの画質を調整する。例えば、フレームPkを含む区間を対象に中央重視モード(モード#01)が選択されている場合、信号処理部123は、領域A1~A4の画質を中画質に調整し、領域A5~A8を低画質に調整する。
(S114)信号処理部123は、所定のコーデック(AVC/H.264、HEVC/H.265、Motion JPEG、AV1、MPEG-2など)に従って画質調整後の映像を符号化する。
(S115)信号処理部123は、符号化された映像のデータを映像配信システム20へ送信する。なお、映像配信システム20に対するデータ送信のタイミングは、符号化の直後でなくてよく、例えば、映像配信システム20からの要求に応じたタイミングであってよい。S115の処理が完了すると、図17に示した一連の処理は終了する。
(応用例:映像配信方法)
次に、図18を参照しながら、本開示の一実施形態に係る映像配信方法について説明する。図18は、本開示の一実施形態に係る映像配信方法について説明するためのシーケンス図である。なお、図18の例は、これまで説明してきた映像処理方法の応用例であり、端末機器31の姿勢に応じて横向き重視モードで画質調整された映像と、縦向き重視モードで画質調整された映像とを切り替えられるようにする仕組みに関する。
(S201、S202)映像処理装置12は、撮像装置11から出力されるオリジナル映像の全フレームを横向き重視モードで画質調整し、画質調整後の映像(映像#1)を符号化する。そして、映像処理装置12は、映像配信システム20に横向き重視モードに対応する映像#1を提供する。
(S203、S204)映像処理装置12は、S201で処理した映像と同じオリジナル映像の全フレームを縦向き重視モードで画質調整し、画質調整後の映像(映像#2)を符号化する。そして、映像処理装置12は、映像配信システム20に縦向き重視モードに対応する映像#2を提供する。
(S205)端末機器31は、映像配信システム20にアクセスし、映像の配信を要求する配信要求を映像配信システム20に送信する。このとき、端末機器31は、端末機器31が縦向きであるか、横向きであるかを示す姿勢情報を配信要求に含めて映像配信システム20に送信する。
(S206、S207)映像配信システム20は、端末機器31からの配信要求を受信し、その配信要求内の姿勢情報に基づいて配信する映像を選択する。図18の例では、配信要求内の姿勢情報は、端末機器31が横向きであることを示している。そのため、映像配信システム20は、横向き重視モードに対応する映像#1を端末機器31に送信する。映像#1は、通常視聴時に表示される領域A0、A2、A4が高画質に設定されている。また、映像#1には、余白領域となる領域A1、A3、A5~A8も含まれる。そのため、ユーザは、通常視聴時には高画質の映像を快適に視聴でき、さらに、余白領域も楽しむことができる。また、余白領域の画質低減により情報量が抑えられているため、映像#1の配信にかかる伝送負荷も低く抑えられている。
(S208、S209)ユーザが端末機器31を縦に構えなおした場合、端末機器31は、端末機器31の姿勢変化を検知する。また、端末機器31は、変化後の姿勢が一定時間継続しているかを判定する。図18の例では、端末機器31が縦向きの姿勢で一定時間が経過している。この場合、端末機器31は、配信される映像の切り替えを要求する切替要求を映像配信システム20に送信する。このとき、端末機器31は、現在の姿勢情報を切替要求に含めて映像配信システム20に送信する。
(S210、S211)映像配信システム20は、端末機器31からの切替要求を受信し、その切替要求内の姿勢情報に基づいて配信する映像を変更する。図18の例では、切替要求内の姿勢情報は、端末機器31が縦向きであることを示している。そのため、映像配信システム20は、縦向き重視モードに対応する映像#2を端末機器31に送信する。映像#2は、通常視聴時に表示される領域A0、A1、A3が高画質に設定されている。また、映像#2には、余白領域となる領域A2、A4~A8も含まれる。そのため、ユーザは、通常視聴時には高画質の映像を快適に視聴でき、さらに、余白領域も楽しむことができる。また、余白領域の画質低減により情報量が抑えられているため、映像#2の配信にかかる伝送負荷も低く抑えられている。
上記のように、同じオリジナル映像について複数のモードに対応する複数の映像を用意しておき、端末機器31からの要求に応じて複数の映像を切り替える仕組みを設けてもよい。また、端末機器31では、姿勢変化が一定時間継続した場合に切替要求を送信するようにすることで、端末機器31と映像配信システム20との間の無駄なやり取りを減らし、通信量及び処理負担を低減することができる。なお、いずれのモードでも領域A0は高画質に設定されるため、横長の画面で、縦向き重視モードに対応する映像#2を見ても十分な品質が維持されており、切替要求の遅れが気になることは少ない。
以上、本開示の一実施形態に係るシステムで実行される処理の流れを説明した。
[4.変形例]
次に、本開示の一実施形態に係るいくつかの変形例について紹介する。
図6~図9に示したように、端末機器31の姿勢変化に応じて余白領域が表示される。このとき、画面端の先にある余白領域の映像がどのようなものか、そのイメージがつかめると余白領域を利用しやすくなるだろう。例えば、画面端付近に余白映像のサムネイルを表示したり、画面端付近に余白領域の映像を圧縮した映像を表示したりすれば、画面端の先に続く余白領域の映像を把握しやすくなる。
端末機器31を縦向きに持っている場合、通常視聴時には領域A0、A1、A3の映像が表示される。この場合、画面右端に領域A4、A7、A8の映像を圧縮して表示し、画面左端に領域A2、A5、A6の映像を圧縮して表示すれば、図8及び図9のような操作を行った際に視聴可能になる映像を先に把握できるようになる。なお、ここで言う圧縮は、例えば、横方向に映像が潰れたような表示にすることを意味する。また、余白領域の映像に関連するアイテムが映像とは別に表示されてもよい。
また、上記の説明では、ネットワークNWを介して映像配信システム20から端末機器31に映像が配信されることを前提としていた。しかし、映像の配信方法は上記の例に限定されず、地上波放送又は衛星放送の電波を利用して映像が配信されるようにしてもよい。また、図1の例ではスマートフォンを模した端末機器31、32が記載されているが、端末機器31、32は、PC(Personal Computer)、テレビジョン受像器、カーナビゲーションシステム、ゲーム機、カメラ、タブレット端末、その他の電子機器であってよい。また、映像配信システム20から配信される映像は、一般視聴者向けの配信番組であってもよいし、監視映像のような特定視聴者向けの映像であってもよい。
上記のような変形例についても当然に本開示の技術的範囲に属する。
以上、添付図面を参照しながら本開示の好適な実施形態について説明したが、本開示は係る例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属する。