JP6466638B2 - 動き変化量に応じて撮影動画像のフレームを間引く端末、システム、プログラム及び方法 - Google Patents

Description

本発明は、端末間のオンラインビデオサービスの技術に関する。

近年、スマートフォンやタブレット等の端末の普及に伴って、地理的に離れた端末間で、ネットワークを介したオンラインビデオサービスが提供されている（例えば非特許文献１参照）。このサービスによれば、例えば現場作業の用途として、現場作業員が持つ端末で撮影された映像を、遠隔の作業管理者へリアルタイムに送信することができる。これに対し、作業管理者は、映像でその作業現場の状況を認識し、音声で指示することができる。

図１は、オンラインビデオサービスのシステム構成図である。

図１のシステムによれば、携帯電話機やスマートフォンのような端末が、撮影した映像データを、ネットワークを介してリアルタイムに他方の端末へ、ストリーミングで伝送している。近年、携帯端末のようなポータブル型機器でも、ＨＤ(High-Definition)クラスの映像を撮影し送受信することができる。

図１によれば、端末１は、現場作業員（被指示者）によって所持され、搭載されたカメラによってその映像が撮影される。一方で、端末２は、作業管理者（指示者）によって所持される。そして、端末１は、アクセスネットワーク及びインターネットを介して、その映像データを端末２へリアルタイムに送信する。端末２は、受信した映像データをディスプレイに再生することによって、作業管理者に対し、現場作業員の状況を視認させることができる。

「Skype」、[online]、［平成２５年１１月１３日検索］、インターネット＜URL:http://www.skype.com/ja/＞

作業管理者（指示者）は、現場の多種多様な機器や操作部分の位置を映像から視認する必要がある。ここで、現場作業員（非指示者）の端末に搭載されたカメラが手振れ等で揺れ動く場合、その映像自体も揺れ動き、作業管理者にとっては視認が困難となる。そのため、一般に、映像を撮影するカメラを搭載した端末１は、三脚等により固定的に設置されることが望ましい。

しかしながら、映像を撮影するカメラを搭載した端末１を三脚等で固定すると利便性が低下するため、現場作業員が手に保持した状態等で利用されることも多い。その場合、作業管理者が持つ端末２には、現場作業員による手の動きなどによって、揺れ動く映像が表示され続けることとなり、作業管理者の気分が悪くなる場合もある。また、揺れ動く映像は、映像圧縮の特性上、画像が荒く、映像に映る対象物の詳細な部分が確認しづらくなる。

そこで、本発明は、揺れ動く映像を視認するユーザが、その映像に写る対象物をできる限り認識しやくする端末、システム、プログラム及び方法を提供することを目的とする。

本発明によれば、カメラと、端末自身の動きを検知する動き検知センサとを有し、当該カメラで撮影した撮影動画像を送信する第１の端末と、受信した該撮影動画像を再生表示する第２の端末とを有するシステムにおいて、
第１の端末は、
動き検知センサの出力値における時間的前後の動き変化量を計測する動き変化量計測手段と、
動き変化量を送信する動き変化量送信手段と
を有し、
第２の端末は、
撮影動画像を、既定のフレームレートで再生する第１のモードと、所定時間幅で間引いたフレームレートで再生する第２のモードとを切り替え可能な撮影動画像復号手段と、
動き変化量が、所定閾値よりも大きい場合に、撮影動画像復号手段に対して第１のモードを指示し、所定閾値以下となる場合に、撮影動画像復号手段に対して第２のモードを指示するフレームレート制御手段と
を有することを特徴とする。

本発明によれば、カメラと、端末自身の動きを検知する動き検知センサとを有する送信側端末から、当該カメラで撮影した撮影動画像を受信して再生表示する受信側端末において、
撮影動画像を、既定のフレームレートで再生する第１のモードと、所定時間幅で間引いたフレームレートで再生する第２のモードとを切り替え可能な撮影動画像復号手段と、
送信側端末から受信した、動き検知センサの出力値における時間的前後の動き変化量が、所定閾値よりも大きい場合に、撮影動画像復号手段に対して第１のモードを指示し、所定閾値以下となる場合に、撮影動画像復号手段に対して第２のモードを指示するフレームレート制御手段と
を有することを特徴とする受信側端末。

本発明によれば、カメラと、端末自身の動きを検知する動き検知センサとを有する送信側端末から、当該カメラで撮影した撮影動画像を受信して再生表示する受信側端末に搭載されたコンピュータを機能させるプログラムにおいて、
撮影動画像を、既定のフレームレートで再生する第１のモードと、所定時間幅で間引いたフレームレートで再生する第２のモードとを切り替え可能な撮影動画像復号手段と、
送信側端末から受信した、動き検知センサの出力値における時間的前後の動き変化量が、所定閾値よりも大きい場合に、撮影動画像復号手段に対して第１のモードを指示し、所定閾値以下となる場合に、撮影動画像復号手段に対して第２のモードを指示するフレームレート制御手段と
してコンピュータを機能させることを特徴とする。

本発明によれば、カメラと、端末自身の動きを検知する動き検知センサとを有し、当該カメラで撮影した撮影動画像を送信する第１の端末と、受信した該撮影動画像を再生表示する第２の端末とを有するシステムの撮影動画像受信方法において、
第２の端末は、撮影動画像を、既定のフレームレートで再生する第１のモードと、所定時間幅で間引いたフレームレートで再生する第２のモードとを切り替え可能な撮影動画像復号部を有し、
第１の端末が、動き検知センサの出力値における時間的前後の動き変化量を、第２の端末へ送信する第１のステップと、
第２の端末が、動き変化量が、所定閾値よりも大きい場合に、撮影動画像復号部に対して第１のモードを指示し、所定閾値以下となる場合に、撮影動画像復号部に対して第２のモードを指示する第２のステップと
を有することを特徴とする。

本発明の端末、システム、プログラム及び方法によれば、揺れ動く映像を視認するユーザが、その映像に写る対象物をできる限り認識しやくすることができる。

オンラインビデオサービスのシステム構成図である。 本発明における端末の機能構成図である。 本発明におけるシーケンス図である。 撮影動画像の符号化フレームを表す説明図である。 本発明のシステムにおける端末の機能構成図である。 図５のシステムに対するシーケンス図である。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。

本発明によれば、以下の２つの実施形態を有する。

［第１の実施形態］
図２は、本発明における端末の機能構成図である。

第１の実施形態によれば、映像の送信側端末が、動き変化量に応じてストリーム映像／パラパラ画像を切り替える。図２によれば、端末１は、ハードウェアとして、動画像を撮影可能なカメラ１０１と、ネットワークに接続された通信インタフェース１０２と、動き検知センサ１０３とを有する。カメラ１０１は、当該端末に予め搭載されたものであってもよいし、外部に接続されたものであってもよい。また、動き検知センサ１０３は、例えば端末自身の動きを検知する加速度センサであってもよい。

また、端末１は、撮影動画像符号化部１１と、動き変化量計測部１２と、フレームレート制御部１３とを有する。これら機能構成部は、端末に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。

撮影動画像符号化部１１は、例えば動き補償フレーム間予測方式に基づいて、撮影動画像を符号化するものであって、以下の２つのモードで切り替えることができる。
（モード１）既定のフレームレート(frame per sec)で送信する
（モード２）所定時間幅で間引いたフレームレートで送信する
動き補償フレーム間予測方式の場合、Ｉフレームのみを送信する
モード２は、「ストリーミング映像」を「パラパラ画像」とすることによって、端末２のユーザにとって、撮影された対象物の画像を認識しやすくする。

動き変化量計測部１２は、撮影動画像について、時間的前後の「動き変化量」を計測する。ここで、動き変化量は、以下の２つのいずれかである。
（１）動き検知センサの出力値
（２）撮影動画像が動き補償フレーム間予測方式である場合、Ｉフレームに対する
Ｐ及びＢフレームの差分値

フレームレート制御部１３は、動き変化量が所定閾値以下となった際、撮影動画像符号化部１１に対して「モード２」への切り替えを指示する。
動き変化量が大きい->既定の高フレームレート（ストリーム映像）
動き変化量が小さい->間引いた低フレームレート（離散的なパラパラ画像）
このように、動き変化量が小さいということは、例えば、端末１の現場作業員（被指示側）としては、所定の対象物に焦点を当てて撮影しているために、端末２の作業管理者（指示側）に注意を払って確認してもらいたい場面と言える。

図３は、本発明におけるシーケンス図である。

図３によれば、図２の端末が、映像の送信側の第１の端末１として備えられている。（Ｓ１）最初に、端末１は、撮影動画像を、既定のフレームレート（モード１）で送信しているとする。動き補償フレーム間予測方式である場合、端末１は、Ｉ、Ｐ、Ｂフレームの全てを送信しており、端末２では、端末１によって撮影動画像が、ストリーミング映像として視認できる。

（Ｓ２）端末１では、時間的前後の動き変化量が常に計測されている。動き変化量は、加速度センサからの出力値、又は、Ｉフレームに対するＰ，Ｂフレームの差分値である。尚、ここでの時間的前後の時間単位は、極めて短いものである。例えば１／２４秒（０．０４１６秒）単位の程度であってもよい。即ち、端末１を操作するユーザが、所定の対象物に焦点を当てて撮影していることが認識できる程度の時間単位である。

（Ｓ３）端末１は、動き変化量が所定閾値以下となったと判定したとする。このとき、端末１は、モード１からモード２へ切り替える。端末１は、間引きしたフレームのみを送信しており、端末２では、端末１によって撮影動画像が、パラパラ画像として視認できる。

尚、端末２のディスプレイの右上に、「停止確認」用ボタンが明示されている。端末２のユーザは、撮影動画像がパラパラ画像として逐次進行していく際に、「停止確認」用ボタンを押下することによって１枚の画像を対象として、停止させることができる。そのユーザは、画像を停止させることによって、対象物の映る映像の細部に渡って視認することができる。

その後、端末１は、モード２でパラパラ画像を送信している際に、動き変化量が所定閾値よりも高くなった時、モード１へ切り替える。端末１は、Ｉ、Ｐ、Ｂフレームの全てを送信し、端末２では、端末１によって撮影動画像が、再び、ストリーミング映像として視認できる。

図３によれば、時間経過に対する利用帯域を表すグラフも描画されている。
本発明によれば、動き変化量が所定閾値以下となった時、既定のフレームレートから間引いたフレームレートへ変更し、ストリーミング映像からパラパラ画像へ切り替えるものである。

図４は、撮影動画像の符号化フレームを表す説明図である。

図４（ａ）によれば、例えばMotion JPEGの場合であって、撮影動画像は、全ての各フレームがJPEG圧縮されたものであり、単に所定時間幅でフレームを間引いたものである。

図４（ｂ）によれば、例えば動き補償フレーム間予測方式の場合であって、複数のフレームがＧＯＰ(Group Of Pictures)単位で構成されている。ＧＯＰは、一般に、１つのＩ(Intra-picture)フレームと、複数のＰ(Predictive-picture)フレーム及びＢ(Bidirectionally-picture)フレームとから構成される。そして、本発明によれば、撮影動画像として、Ｉ(Intra-picture)フレームのみが抽出される。即ち、画像全体が符号化されたフレームのみを、パラパラ画像として送信する。

また、「モード２」で送信されるＩフレームのデータレートを、１つのＧＯＰのデータレート以下であって比較的高いデータレートに設定することも好ましい。例えばＩフレーム１枚のデータレートと、ＧＯＰのデータレートとを同一にすることもできる。通信帯域に余裕があってもあえて、低フレームレートのパラパラ画像として送信しているために、その１枚のＩフレーム自体の解像度を高くして、画像品質を向上させることができる。これによって、受信側の端末２のユーザは、撮影された対象物の細部に渡って認識しやすくなる。

［第２の実施形態］
図５は、本発明のシステムにおける端末の機能構成図である。

第２の実施形態によれば、映像の受信側端末が、送信側端末の動き変化量に応じてストリーム映像／パラパラ画像を切り替える。図５のシステムによれば、カメラで撮影した撮影動画像を送信する端末１と、受信したその撮影動画像を再生表示する端末２とが、ネットワークを介して通信する。

端末１は、撮影動画像符号化部１１と、動き変化量計測部１２と、動き変化量送信部１４とを有する。
撮影動画像符号化部１１は、カメラ１０１から取得した撮影動画像を、例えば動き補償フレーム間予測方式に基づいて符号化する。ここでは、端末１は、Ｉ、Ｐ、Ｂフレームの全てを送信する。
動き変化量計測部１２は、撮影動画像について、時間的前後の「動き変化量」を計測する。動き変化量は、動き検知センサの出力値、又は、Ｉフレームに対するＰ及びＢフレームの差分値である。
動き変化量送信部１４は、動き変化量計測部１２から出力された動き変化量を、映像フレームと共に送信する。

一方で、受信側の端末２は、ディスプレイ２０１と、通信インタフェース２０２と、撮影動画像復号部２１と、フレームレート制御部２２とを有する。ディスプレイ２０１は、当該端末に予め搭載されたものであってもよいし、外部に接続されたものであってもよい。撮影動画像復号部２１及びフレームレート制御部２２は、端末２に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。

撮影動画像復号部２１は、撮影動画像を復号するものであって、以下の２つのモードで切り替えることができる。
（モード１）既定のフレームレートで再生する
（モード２）所定時間幅で間引いたフレームレートで再生する
動き補償フレーム間予測方式の場合、Ｉフレームのみを再生する

フレームレート制御部２２は、受信した動き変化量が所定閾値以下となった際、撮影動画像復号部２１に対してモード２への切り替えを指示する。

図６は、図５のシステムに対するシーケンス図である。

（Ｓ１）端末１は、撮影動画像を、既定のフレームレートで送信している。動き補償フレーム間予測方式である場合、端末１は、Ｉ、Ｐ、Ｂフレームの全てを送信している。端末２は、Ｉ、Ｐ、Ｂフレームの全てを用いてモード１で再生表示する。これによって、端末２には、ストリーミング映像が再生される。
（Ｓ２）端末１では、時間的前後の動き変化量が常に計測されている。その動き変化量は、撮影動画像と共に、端末２へ送信される。
（Ｓ３）端末２は、端末１から受信した動き変化量が所定閾値以下となったと判定したとする。このとき、端末２は、モード１からモード２へ切り替える。これによって、端末２には、端末１の撮影動画像が、所定時間幅で間引いたフレームレート（パラパラ画像）で再生表示される。

その後、端末２は、モード２でパラパラ画像が再生表示されている際に、受信した動き変化量が所定閾値よりも高くなった時、モード１へ切り替える。これによって、端末２には、端末１の撮影動画像が、ストリーム映像として再生表示される。

以上、詳細に説明したように、本発明の端末、プログラム及び方法によれば、揺れ動く映像を視認するユーザが、その映像に写る対象物をできる限り認識しやくすることができる。

カメラで撮影する端末１を所持するユーザは、対象物に注目して相手方ユーザに視認させたい場合、そのカメラの動き変化量をできる限り小さくしようとする。そのために、本発明によれば、撮影動画像の受信側の端末には、送信側の端末の動き変化量が大きいときにはストリーミング映像（高いフレームレート）で再生表示させ、その動き変化量が小さいときにはパラパラ画像（低いフレームレート）で再生表示させることができる。これによって、その撮影動画像を視認するユーザが、細かい揺れ動きによって気分が悪くなることもなくなる。また、パラパラ画像における１枚あたりのビットレートを高くすることによって、受信側の端末のユーザは、撮影動画像の細部に渡って視認することができる。

前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

１ 端末
１０１ カメラ
１０２ 通信インタフェース
１０３ 動き検知センサ
１１ 撮影動画像符号化部
１２ 動き変化量計測部
１３ フレームレート制御部
１４ 動き変化量送信部
２ 端末
２０１ ディスプレイ
２０２ 通信インタフェース
２１ 撮影動画像復号部
２２ フレームレート制御部

Claims (4)

1. カメラと、端末自身の動きを検知する動き検知センサとを有し、当該カメラで撮影した撮影動画像を送信する第１の端末と、受信した該撮影動画像を再生表示する第２の端末とを有するシステムにおいて、
   第１の端末は、
   前記動き検知センサの出力値における時間的前後の動き変化量を計測する動き変化量計測手段と、
   前記動き変化量を送信する動き変化量送信手段と
   を有し、
   第２の端末は、
   前記撮影動画像を、既定のフレームレートで再生する第１のモードと、所定時間幅で間引いたフレームレートで再生する第２のモードとを切り替え可能な撮影動画像復号手段と、
   前記動き変化量が、所定閾値よりも大きい場合に、前記撮影動画像復号手段に対して第１のモードを指示し、所定閾値以下となる場合に、前記撮影動画像復号手段に対して第２のモードを指示するフレームレート制御手段と
   を有することを特徴とするシステム。
2. カメラと、端末自身の動きを検知する動き検知センサとを有する送信側端末から、当該カメラで撮影した撮影動画像を受信して再生表示する受信側端末において、
   前記撮影動画像を、既定のフレームレートで再生する第１のモードと、所定時間幅で間引いたフレームレートで再生する第２のモードとを切り替え可能な撮影動画像復号手段と、
   前記送信側端末から受信した、前記動き検知センサの出力値における時間的前後の動き変化量が、所定閾値よりも大きい場合に、前記撮影動画像復号手段に対して第１のモードを指示し、所定閾値以下となる場合に、前記撮影動画像復号手段に対して第２のモードを指示するフレームレート制御手段と
   を有することを特徴とする受信側端末。
3. カメラと、端末自身の動きを検知する動き検知センサとを有する送信側端末から、当該カメラで撮影した撮影動画像を受信して再生表示する受信側端末に搭載されたコンピュータを機能させるプログラムにおいて、
   前記撮影動画像を、既定のフレームレートで再生する第１のモードと、所定時間幅で間引いたフレームレートで再生する第２のモードとを切り替え可能な撮影動画像復号手段と、
   前記送信側端末から受信した、前記動き検知センサの出力値における時間的前後の動き変化量が、所定閾値よりも大きい場合に、前記撮影動画像復号手段に対して第１のモードを指示し、所定閾値以下となる場合に、前記撮影動画像復号手段に対して第２のモードを指示するフレームレート制御手段と
   してコンピュータを機能させることを特徴とする受信側端末用のプログラム。
4. カメラと、端末自身の動きを検知する動き検知センサとを有し、当該カメラで撮影した撮影動画像を送信する第１の端末と、受信した該撮影動画像を再生表示する第２の端末とを有するシステムの撮影動画像再生方法において、
   第２の端末は、前記撮影動画像を、既定のフレームレートで再生する第１のモードと、所定時間幅で間引いたフレームレートで再生する第２のモードとを切り替え可能な撮影動画像復号部を有し、
   第１の端末が、前記動き検知センサの出力値における時間的前後の動き変化量を、第２の端末へ送信する第１のステップと、
   第２の端末が、前記動き変化量が、所定閾値よりも大きい場合に、前記撮影動画像復号部に対して第１のモードを指示し、所定閾値以下となる場合に、前記撮影動画像復号部に対して第２のモードを指示する第２のステップと
   を有することを特徴とするシステムの撮影動画像再生方法。

Images