JP6554200B1 - 遠隔制御サポートのための送信機、受信機、その動作方法、及び遠隔制御システム - Google Patents

Abstract

【課題】ソースデバイスと接続された遠隔制御サポートのための送信機を提供する。。【解決手段】送信機は、ソースデバイスのディスプレイ画面データを受信する第１の受信部、第１の受信部で受信されるディスプレイ画面データをエンコーディングするエンコーダ及びエンコーディングされたデータをリアルタイム通信プロトコルを利用して受信機に送信する第１の送信部を含む。送信機は、ソースデバイスとデジタルインターフェース（Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）を介して有線で接続されるハードウェアデバイスである。【選択図】図２

Description

本発明は、遠隔制御装置及びシステムに関し、より詳しくは、遠隔地で装置を効率的に制御するようにサポートするための装置及びシステムに関する。
本出願は、大韓民国の韓国産業技術評価管理院と産業通商資源部が主管する先端技術研究センター事業（ＡＴＣ（Ａｄｖａｎｃｅｄ Ｔｅｃｈｎｏｌｏｇｙ Ｃｅｎｔｅｒ Ａｓｓｏｃｉａｔｉｏｎ）事業）（課題番号：１００５２４６４（２０１７年６月〜２０１９年５月３１日）、課題名：ＩｏＴ大容量データ解析のためのＭｕｌｔｉ−Ｄｉｍｅｎｓｉｏｎａｌ Ｖｉｓｕａｌｉｚａｔｉｏｎ技術開発）の結果物のうち一つである。

最近、遠隔で離れた位置のスマートフォンまたはＰＣを介して制御対象デバイス（ソースデバイスとも呼ばれる）を遠隔で制御するプログラムが多数リリースされて、ユーザは、ソースデバイスの前にいなくても遠隔地で制御対象デバイスに対する制御が可能である。

ただし、このような遠隔制御方法は、ソースデバイスと遠隔地に位置したスマートフォンまたはＰＣに、ソフトウェア形態の遠隔制御プログラムを各々設置すべき制約事項が存在する。また、このようなソフトウェア形態の遠隔制御プログラムを介して動作するソースデバイスは、他の作業を実行しながら高画質のディスプレイ画面を共にエンコーディングしなければならないため、デバイス自体に相当な負担をかける。また、エンコーディングだけでなく、遠隔地のスマートフォンまたはＰＣに送信しながら遠隔制御命令通りに動作すべき負担もかけられるため、処理速度が突然に遅くなり、または激しい場合は装置が任意に中断される問題点がある。

前述した問題点を解決するための本発明の一態様による目的は、ソースデバイスのディスプレイ画面データを受信し、エンコーディング及びミキシングを介してソースデバイスの遠隔制御動作の負荷（ｌｏａｄ）を減らすことができるハードウェア形態の遠隔制御サポートのための送信機、受信機、前記装置の動作方法及び遠隔制御システムを提供することにある。

前記目的を達成するための本発明の一態様によるソースデバイスと接続された遠隔制御サポートのための送信機（Ｔｘ）は、前記ソースデバイスのディスプレイ画面データを受信する第１の受信部、前記第１の受信部で受信されるディスプレイ画面データをエンコーディングするエンコーダ、及び前記エンコーディングされたデータをリアルタイム通信プロトコルを利用して受信機に送信する第１の送信部を含み、前記送信機は、前記ソースデバイスとデジタルインターフェース（Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）を介して有線で接続されるハードウェアデバイスである。

前記送信機は、前記受信機から受信される制御命令を受信する第２の受信部、及び前記第２の受信部で受信された制御命令をパーシングして前記ソースデバイスに提供する命令提供部をさらに含む。

前記ディスプレイ画面データをＹＵＶデータに変換する第１の変換部、及び前記ＹＵＶデータをＲＧＢデータに変換する第２の変換部をさらに含む。

前記第２の変換部は、複数のチャネルを介して複数個の変換データを生成して前記エンコーダ及びミキサ（ｍｉｘｅｒ）に提供し、前記ミキサは、前記変換データを前記デジタルインターフェースを介してバイパス（ｂｙｐａｓｓ）で第１のディスプレイ手段に表示するためにミキシングを実行する。

前記受信機は、前記送信機の周辺に位置したモバイル端末を含み、前記送信部は、前記エンコーディングされたデータを近距離無線通信ネットワークを介して前記モバイル端末に送信する。

前記モバイル端末は、第１の送信機からの第１のエンコーディング映像データと第２の送信機からの第２のエンコーディング映像データを受信し、これを組み合わせて一つの画面に表示する。

前記送信機は、固有のＩＰアドレス、ネットマスク（Ｎｅｔｍａｓｋ）、ゲートウェイアドレス及びＭＡＣアドレス（Ｍａｃ Ａｄｄｒｅｓｓ）のうち少なくとも一つを有し、ユーザインターフェースを介して任意に前記アドレス情報のうち少なくとも一部を可変する。

前記エンコーダは、前記ディスプレイ画面データのエンコーディングファクタ（ｆａｃｔｏｒ）として、解像度、コーデック種類、フレームレート（ｆｒａｍｅ ｒａｔｅ）及びビットレート（ｂｉｔ ｒａｔｅ）のうち少なくとも一つを考慮し、ユーザインターフェースを介して任意に前記エンコーディングファクタのうち少なくとも一部を変更する。

前記送信機は、他の送信機からエンコーディングされたデータを受信してデコーディングした後、ディスプレイ手段に提供する受信機の機能を共に含み、ユーザインターフェースを介して動作モードを送信機と受信機との間で任意にスイッチングする。

前記ディスプレイ画面データをエンコーディングする時、基準値より動きが多い映像は、第１のモードでエンコーディングし、基準値より動きが少ない映像は、第２のモードでエンコーディングする。

前記ディスプレイ画面データをエンコーディングする時、現在ネットワーク負荷をリアルタイム分析して、ネットワーク負荷が基準値より高い場合は、第３のモードでエンコーディングし、前記ネットワーク負荷が基準値より低い場合は、第４のモードでエンコーディングする。

前記ソースデバイスがイベント信号を前記送信機に提供する時、前記送信機は、イベント信号提供時点前後のディスプレイ画面データを格納する。

前記受信機からのイベント信号提供時点前後のディスプレイ画面データに対する要求に対応して格納されたディスプレイ画面データを受信機に提供する。

前記目的を達成するための本発明の一態様によるソースデバイスと接続された送信機（Ｔｘ）の動作方法は、前記ソースデバイスのディスプレイ画面データを受信するステップ、前記受信されるディスプレイ画面データをエンコーディングするステップ、及び前記エンコーディングされたデータをリアルタイム通信プロトコルを利用して受信機に送信するステップを含み、前記送信機は、前記ソースデバイスとデジタルインターフェース（Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）を介して有線で接続されるハードウェアデバイスである。

前記目的を達成するための本発明の他の態様による遠隔制御サポートのための受信機（Ｒｘ）は、ソースデバイスと接続された送信機（Ｔｘ）から、ソースデバイスディスプレイ画面データをエンコーディングして生成されたエンコーディングデータをリアルタイム通信プロトコルを利用して受信する第３の受信部、前記第３の受信部で受信されたエンコーディングデータをデコーディングするデコーダ、及び前記デコーディングされたデータを第２のディスプレイ手段に提供するためにミキシングを実行するミキサを含む。

前記受信機は、ユーザインターフェースを介して前記ソースデバイスを遠隔制御するための制御命令を受信する制御命令入力部、及び前記送信機に前記制御命令を送信する第２の送信部をさらに含む。

前記受信機は、前記デコーディングされたＹＵＶデータをＲＧＢデータに変換する第３の変換部をさらに含む。

前記受信機は、接続可能な少なくとも一つの送信機のリストを管理し、ユーザインターフェースを介して前記リストに含まれている前記少なくとも一つの送信機のうち少なくとも一つを選択し、前記選択された送信機からディスプレイ画面データを受信する。

前記目的を達成するための本発明の他の態様による遠隔制御サポートのための受信機（Ｒｘ）の動作方法は、ソースデバイスと接続された送信機（Ｔｘ）から、ソースデバイスディスプレイ画面データをエンコーディングして生成されたエンコーディングデータをリアルタイム通信プロトコルを利用して受信するステップ、前記受信されたエンコーディングデータをデコーディングするステップ、及び前記デコーディングされたデータを第２のディスプレイ手段に提供するためにミキシングを実行するステップを含む。

前記目的を達成するための本発明の他の態様によるソースデバイスと接続された遠隔制御サポートのためのシステムは、前記ソースデバイスのディスプレイ画面データを受信し、前記受信されるディスプレイ画面データをエンコーディングして前記エンコーディングされたデータをリアルタイム通信プロトコルを利用して受信機に送信する送信機（Ｔｘ）、及び前記送信機から、前記エンコーディングされたデータをリアルタイム通信プロトコルを利用して受信し、前記受信されたエンコーディングデータをデコーディングし、接続されたディスプレイ手段に前記デコーディングされたデータを提供するためにミキシングを実行する受信機（Ｒｘ）を含み、前記送信機は、前記ソースデバイスとデジタルインターフェース（Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）を介して有線で接続されるハードウェアデバイスであり、前記受信機と前記送信機は、離隔されて位置する。

本発明の一態様による遠隔制御サポートのための送信機、受信機、前記装置の動作方法及び遠隔制御システムによると、ソースデバイスの遠隔制御関連動作の負荷を送信機と受信機が担当することによってソースデバイスの速度が遅くなることを防止して円滑な遠隔制御が行われるようにする効果がある。

本発明の一実施例に係る遠隔制御サポートのための送信機及び受信機を含むシステムを概略的に示すブロック図である。 本発明の一実施例に係る遠隔制御サポートのための送信機を示すブロック図である。 本発明の一実施例に係る遠隔制御サポートのための送信機のエンコーダを具体的に示す詳細ブロック図である。 本発明の一実施例に係る遠隔制御サポートのための送信機の動き量対比適応的エンコーディング方式を示す流れ図である。 本発明の他の実施例に係る遠隔制御サポートのための送信機のネットワーク負荷分析を介した適応的エンコーディング方式を示す流れ図である。 本発明の一実施例に係る遠隔制御サポートのための送信機のネットワーク設定画面を示す。 本発明の一実施例に係る遠隔制御サポートのための送信機のエンコーディングパラメータ設定画面を示す。 本発明の一実施例に係る遠隔制御サポートのための送信機のファームウェアのアップグレード設定画面を示す。 本発明の一実施例に係る遠隔制御サポートのための送信機のモード設定画面を示す。 無線ネットワークを介して送信機から映像情報を受信する受信機の動作を説明するための概念図である。 複数個の送信機から近距離ネットワークを介して送信される映像情報を一つの画面に組み合わせて表示する受信機の動作を説明するための概念図である。 デュアルモニタを使用するソースデバイスの画面を処理する送信機を説明するための図面である。 本発明の一実施例に係る遠隔制御サポートのための受信機を示すブロック図である。 本発明の一実施例に係る遠隔制御サポートのための受信機の送信機リスト管理画面を示す。 本発明の一実施例に係る双方向制御システムを示すブロック図である。 本発明の一実施例に係る両方向コンファレンスシステムを示すブロック図である。

本発明は、多様な変更を加えることができ、様々な実施例を有することができ、特定実施例を図面に例示して詳細に説明する。

しかし、これは本発明を特定の実施形態に対して限定するものではなく、本発明の思想及び技術範囲に含まれる全ての変更、均等物乃至代替物を含むと理解しなければならない。

第１、第２などの用語は、多様な構成要素の説明に使われることができるが、前記構成要素は、前記用語により限定されてはならない。前記用語は、一つの構成要素を他の構成要素から区別する目的としてのみ使われる。例えば、本発明の権利範囲を外れない限り、第１の構成要素は第２の構成要素と命名することができ、同様に、第２の構成要素も第１の構成要素と命名することができる。及び／またはという用語は、複数の関連記載項目の組み合わせまたは複数の関連記載項目のうちいずれか一つの項目を含む。

一構成要素が他の構成要素に“連結されている”または“接続されている”と言及された場合、該当他の構成要素に直接的に連結されており、または接続されていることもあるが、中間に他の構成要素が存在することもあると理解しなければならない。それに対し、一構成要素が他の構成要素に“直接連結されている”または“直接接続されている”と言及された場合、中間に他の構成要素が存在しないと理解しなければならない。

本出願で使用した用語は、単に特定の実施例を説明するために使われたものであり、本発明を限定するものではない。単数の表現は、文脈上明白に異なる意味ではない限り、複数の表現を含む。本出願において、“含む”または“有する”などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品またはそれらを組み合わせたものが存在することを指定し、一つまたはそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品またはそれらを組み合わせたものの存在または付加可能性をあらかじめ排除しないと理解しなければならない。

技術的または科学的な用語を含めてここで使われる全ての用語は、他の意味で定義されない限り、本発明が属する技術分野において、通常の知識を有する者により一般的に理解される意味である。一般的に使われる辞書に定義されている用語は、関連技術の文脈上意味と一致すると解釈されなければならず、本出願で明白に定義しない限り、理想的または過度に形式的な意味で解釈されない。

以下、添付図面を参照し、本発明の好ましい実施例を詳細に説明する。本発明を説明するにあたって、全体的な理解を容易にするために、図面上の同じ構成要素に対しては同じ参照符号を使用し、同じ構成要素に対して重複した説明は省略する。

遠隔制御システム

図１は、本発明の一実施例に係る遠隔制御サポートのための送信機及び受信機を含むシステムを概略的に示すブロック図である。図１に示すように、本発明の一実施例に係る遠隔制御サポートのためのシステムは、ソースデバイス１１０、送信機１２０（ＲＤＳ−Ｔｘ）及び受信機１３０（ＲＤＳ−Ｒｘ）を含むことができる。

図１を参照すると、ソースデバイス１１０は、遠隔制御されるデバイスである。ソースデバイス１１０は、個人携帯情報端末（ＰＤＡ：Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、パソコン（ＰＣ：Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ラップトップ、スマートフォン、無線センサ、モバイル端末、消費者電子機器（ＣＥ）を含むことができる。

ソースデバイス１１０は、ソースモニタ１１２と接続されてディスプレイ画面を表示することができる。ソースモニタ１１２との接続は、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）またはＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）等、デジタルインターフェースを介して行われることができる。

また、第１のユーザインターフェース１１４と接続されてソースデバイス１１０のユーザの入力を受けて制御されることができる。

前記ソースモニタ１１２とソースデバイス１１０、及び第１のユーザインターフェース１１４とソースデバイス１１０の関係は、一般的なコンピュータ本体とモニタ、及び本体とキーボード／マウスの関係と同じであると見なされる。

送信機１２０がデジタルインターフェースを介してソースデバイス１１０と接続される時、ソースデバイス１１０が送信機１２０との接続を認識してソースデバイス１１０のディスプレイ画面データが送信機１２０側にリアルタイムで提供されることができる。このとき、送信機１２０がソースデバイス１１０に認識されるように、ソースデバイス１１０には、送信機１２０と関連付けられたドライバが設置されているべきである。

ソースデバイス１１０は、離隔して配置された受信機１３０のユーザからの制御命令を送信機１２０を介して入力を受けて前記ユーザが受信機１３０に入力した制御命令によって制御されることができる。

本発明の一実施例によると、ソースデバイス１１０は、サーバ装置であって、多数の周辺機器を管理する機能を遂行することができ、ここで、周辺機器は、各種センシング情報を収集するモノのインターネット（ＩｏＴ）ベースのデバイスまたはセンサ（図示せず）を含むことができる。即ち、ソースデバイス１１０は、ＩｏＴセンサを介して収集されるデータに基づいてシステムをコントロールする装置であって、これを介して収集されたセンシング情報は、遠隔制御送信機１２０及び受信機１３０を介して遠隔地のユーザによりモニタリングされる。また、ソースデバイス１１０は、前記受信機１３０と接続された第３のユーザインターフェース１３４を介して遠隔制御されることができる。ソースデバイス１１０が第３のユーザインターフェース１３４を介して遠隔地のユーザに制御されることによって、ソースデバイス１１０と接続されたＩｏＴセンサも遠隔地で制御されることができる。

送信機１２０は、ソースデバイス１１０とデジタルインターフェース（ＨＤＭＩ／ＤＶＩを含む）を介して有線で接続されたハードウェアデバイスである。送信機１２０は、エンコーディング機能、ネットワーク機能及びコンピュータ命令解釈機能を含むことができる。送信機１２０は、デジタルインターフェースを介して有線で接続されたソースデバイス１１０からソースデバイス１１０のディスプレイ画面情報（ビデオストリーム）を受信する。また、送信機１２０は、受信されたディスプレイ画面情報をリアルタイムでエンコーディングしてネットワークを介して受信機１３０に提供する。このとき、エンコーディングされたデータは、リアルタイム通信プロトコル（ＲＴＰまたはＲＴＳＰ）を介して受信機１３０に提供されて受信機１３０のユーザが該当データを見て直ちに遠隔地で制御命令を下すことができるようにする。

送信機１２０は、第１のバイパスモニタ１２２を介して自分がエンコーディングした画面を第１のバイパスモニタ１２２に提供して送信機１２０のユーザが送信機１２０を介して送信されるディスプレイ情報を確認することができるようにする。また、送信機１２０のエンコーディング、ネットワーク及び／またはシステム設定画面を第１のバイパスモニタ１２２に提供して送信機１２０のユーザが送信機１２０と接続された第２のユーザインターフェース１２４を介して送信機１２０の前記設定情報を変更するようにすることができる。

また、送信機１２０は、受信機１３０からソースデバイス１１０に対する制御命令をネットワークを介して受信することができる。これもリアルタイム通信プロトコルを介して行われることが好ましい。送信機１２０は、受信された制御命令をパーシングしてソースデバイス１１０に提供することができ、ソースデバイス１１０は、これを受信して遠隔制御されることができる。

受信機１３０は、ネットワークを介して送信機１２０からソースデバイス１１０のディスプレイ映像と関連付けられたエンコーディングデータをリアルタイムで受信し、デコーディングを介して第２のバイパスモニタ１３２にデコーディングされた映像を表示する。このとき、受信機１３０と第２のバイパスモニタ１３２もデジタルインターフェース（ＨＤＭＩ／ＤＶＩ）を介して接続されることができる。受信機１３０のユーザは、リアルタイムデコーディングされたソースデバイス１１０のディスプレイ映像を第２のバイパスモニタ１３２を見ながら確認することができ、確認された映像を介してソースデバイス１１０を遠隔制御することができる。また、受信機１３０の設定と関連付けられたパラメータ調整のための画面を第２のバイパスモニタ１３２に表示し、受信機１３０のユーザは、第３のユーザインターフェース１３４を介して受信機１３０と関連付けられたパラメータを変更することができる。

また、受信機１３０は、第３のユーザインターフェース１３４と接続されて受信機１３０のユーザからの入力を受信することができる。このとき、第３のユーザインターフェース１３４を介したユーザ入力は、受信機１３０に対するパラメータ変更のための入力である。それによって、受信機１３０装置設定が変更されることができる。または、前記入力は、ソースデバイス１１０に対する制御命令である。

送信機１２０と受信機１３０は、離隔された距離にネットワークに接続された別途のハードウェア装備であって、互いに対で存在し、ソースデバイス１１０のディスプレイ画面及び遠隔制御命令を送受信する。このような送信機１２０の機能と受信機１３０の機能は、互いに対応されるため、一つのデバイスは、送信機１２０及び受信機１３０の機能を二つとも含んで各々モード変更を介して送信機の機能をすることもでき、受信機の機能をすることもできるように構成されることができる。

ＲＤＳ送信機（Ｔｘ）

図２は、本発明の一実施例に係る遠隔制御サポートのための送信機を示すブロック図である。図２に示すように、本発明の一実施例に係る送信機は、第１の受信部２１０、第１の変換部２２０、第２の変換部２３０、２３２、エンコーダ２４０、第１のミキサ２４２、第１の送信部２５０、第２の受信部２６０及び命令提供部２７０を含むことができる。各構成要素は、各構成要素の機能と関連付けられた命令語を実行する一つのハードウェアプロセッサで具現され、または各機能によってまたは組み合わせた機能によって複数個のハードウェアプロセッサで具現されることができる。

図２を参照すると、第１の受信部２１０は、ソースデバイス２０５からディスプレイ画面データを受信する。第１の受信部２１０は、デジタルインターフェースで接続された状態でソースデバイス２０５のディスプレイ画面データをリアルタイムで受信することができる。

第１の受信部２１０は、ＨＤＭＩ／ＤＶＩのようなデジタルインターフェースを介して受信されたディスプレイ画面データ（ビデオストリーム）をＭＩＰＩ ＣＳＩ（Ｍｏｂｉｌｅ Ｉｎｄｕｓｔｒｙ Ｐｒｏｃｅｓｓｏｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｃａｍｅｒａ Ｓｅｒｉａｌ Ｉｎｔｅｒｆａｃｅ）に変換する。ＭＩＰＩ ＣＳＩは、カメラのような映像撮影装置とホストプロセッサとのインターフェースである。これはＣＳＩ−１、ＣＳＩ−２、ＣＳＩ−３及びＣＳＩ−４のような標準プロトコルに従う。

第１の変換部２２０は、第１の受信部２１０からＭＩＰＩ ＣＳＩディスプレイ映像データを受信してＹＵＶデータフォーマットに変換する。本発明の実施例によると、変換されたＹＵＶデータは、ＹＵＶ４２０データフォーマットを含むことができる。前記ＹＵＶ４２０データフォーマットは、既存システムとの互換性のためのレガシフォーマット（ｌｅｇａｃｙ ＹＵＶ ４２０）及び低費用実行のためのノンレガシＹＵＶ４２０（ｎｏｎ−ｌｅｇａｃｙ ＹＵＶ ４２０）フォーマットを含むことができる。第１の変換部２２０は、二つに分割されたチャネルを介して第２の変換部２３０、２３２に前記ＹＵＶフォーマットのディスプレイ画面データを提供する。このとき、第２の変換部２３０を介したチャネルではエンコーディングを介して受信機２１５への送信が行われ、第２の変換部２３２を介したチャネルではミキシングを介してバイパスモニタ２２５への画面データ提供が行われる。

第２の変換部２３０、２３２は、前記ＹＵＶデータをＲＧＢデータに変換する。ＹＵＶフォーマットは、高い圧縮率を有することができるため、これを赤色（Ｒ）、緑色（Ｇ）、及び青色（Ｂ）を有する低い圧縮率のＲＧＢフォーマットのデータに変換することが好ましい。第２の変換部２３０の変換方法は、４：２：０、４：２：２、及び４：４：４変換方式のうち少なくとも一つが使われることができる。ただし、必ずこれに限定されるものではない。

エンコーダ２４０は、第２の変換部２３０で変換されたＲＧＢフォーマットのソースデバイス２０５のディスプレイ画面データ（ビデオストリーム）をエンコーディングする。エンコーディング方式ではＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、Ｈ．２６４／ＡＶＣ、ＳＶＣ（Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、ＭＶＣ（Ｍｕｌｔｉｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、ＤｉｖＸ、ＷＭＶ（Ｗｉｎｄｏｗ Ｍｅｄｉａ Ｖｉｄｅｏ）等、多様な方式が使われることができる。これはユーザ設定で選択可能であり、ユーザインターフェースを介して変更されることができる。また、エンコーダ２４０は、ユーザ設定を介して、解像度、フレームレート（ｆｒａｍｅ ｒａｔｅ）及び／またはビットレート（ｂｉｔ ｒａｔｅ）を変更してデータをエンコーディングすることができる。エンコーダ２４０は、一つのフレーム単位でデータをエンコーディングすることができ、または一つのフレームを分割した分割フレーム単位（例えば、１／４フレーム）でエンコーディングして第１の送信部２５０に提供できる。

第１の送信部２５０は、エンコーダ２４０を介してエンコーディングされたソースデバイス２０５のディスプレイ画面データを受信機２１５に送信する。第１の送信部２５０は、エンコーダ２４０から一つの完成されたフレームを受信してパケット化した後、受信機２１５に送信できる。または、第１の送信部２５０は、分割フレーム単位のエンコーディングされたデータを受信してパケット化した後、受信機２１５に送信することもできる。第１の送信部２５０は、ＲＴＰまたはＲＴＳＰのようなリアルタイム通信プロトコルを介してエンコーディングされたデータを受信機２１５に送信する。

第１のミキサ２４２は、第２の変換部２３２を介して変換されたＲＧＢフォーマットのディスプレイ画面データをＨＤＭＩ／ＤＶＩのようなデジタルインターフェースを介して出力可能な形態にミキシングする。ミキシングされたデータは、前記デジタルインターフェースを介して接続されたバイパスモニタ２２５に提供される。

このようなミキシング過程を介したビデオストリーム出力によってバイパスモニタ２２５は、送信機で処理されて受信機２１５側に送信される画面を送信機のユーザに表示でき、前記送信機のユーザは、現在遠隔制御されるソースデバイス２０５の画面を確認することができ、また、遠隔制御により変更されるソースデバイス２０５の画面を確認することができる。例えば、遠隔地の受信機２１５のユーザがソースデバイス２０５の特定フォルダをクリックしてフォルダを開いた場合、このようなソースデバイス２０５の画面内の変化がバイパスモニタ２２５に表示されて送信機のユーザが感知できるようにする。

第２の受信部２６０は、受信機２１５から制御命令を受信する。前記制御命令は、ソースデバイス２０５に対する遠隔地での制御命令であって、ソースデバイス２０５の画面を見ながら受信機２１５のユーザが受信機２１５と接続されたユーザインターフェース（図示せず）を利用して提供する命令語である。これはカーソル移動、カーソルクリック、文字／数字／符号入力、命令語入力などを含むことができる。

命令提供部２７０は、第２の受信部２６０で受信した制御命令をパーシングしてソースデバイス２０５に提供する。ソースデバイス２０５は、これを受信して受信機２１５ユーザの命令を遂行する。

図３は、本発明の一実施例に係る遠隔制御サポートのための送信機のエンコーダを具体的に示す詳細ブロック図である。図３に示すように、本発明の一実施例に係るエンコーダ３００は、コーデック選択部３１０、解像度調節部３２０、フレームレート調節部３３０及びビットレート調節部３４０を含むことができる。

図３を参照すると、コーデック選択部３１０は、複数個のコーデック（コーデック１、コーデック２、...コーデックＮ）のうち一つのコーデック方式を選択する。コーデック選択部３１０は、ユーザ設定によって複数のコーデックのうち一つを選択可能である。コーデック選択部３１０は、デフォルト（ｄｅｆａｕｌｔ）として設定されたコーデック１にエンコーディングを実行する中に、ユーザ設定によりコーデック変更がある場合、変更設定されたコーデック２を介してエンコーディングを実行することができるように制御する。

解像度調節部３２０は、エンコーディングと関連付けられてフレームの解像度を調節する。即ち、エンコーディングされたデータの表現の繊細さの程度を調節することができる。これは水平画素及び垂直画素の数で定義されることができる。これもデフォルト値として設定される数値が存在でき、ユーザインターフェースを介してユーザが任意に値を変更することができる。または、複数個のモード（１９２０×１０８０、１０２４×７６８、１２８０×７２０）を設定しておき、このうち一つを可変選択するようにすることができる。

フレームレート調節部３３０は、エンコーディングと関連付けられてフレームレートを調節し、ビットレート調節部３４０は、ビットレートを調節する。フレームレートとビットレートもデフォルト値として一定値が設定され、ユーザインターフェースを介してユーザが任意に該当値を変更することができる。フレームレートは、秒当たりに処理させるフレーム数に定義され、ビットレートは、秒当たりに処理させる情報の量に定義されることができる。ユーザは、このようなフレームレート及び／またはビットレートを任意に調節することによって、ソースデバイスのディスプレイ画面データの画質を効果的に調節できる。即ち、送信機のユーザは、ソースデバイスの特性によって高画質のデータを取り扱う場合、送信機のエンコーディング関連パラメータを高画質でエンコーディングが実行されるようにして遠隔地のユーザも高画質のディスプレイ画面を視聴することができるようにし、それに対し、比較的低画質のデータを取り扱っても構わない場合、エンコーディング関連パラメータを低画質でエンコーディングが実行されるようにして効率を上げることができる。

適応的エンコーディング

図４ａは、本発明の一実施例に係る遠隔制御サポートのための送信機の動き量対比適応的エンコーディング方式を示す流れ図である。

図４ａを参照すると、送信機は、第１の受信部を介してソースデバイスからディスプレイ画面データ、即ち、ビデオストリームを受信する（Ｓ４１０）。また、該当ビデオストリームの動き量を計算する（Ｓ４２０）。動き量の計算は、ビデオストリームを時分割して生成された複数個のサブフレーム信号の変化量を介して計算されることができる。または、サブフレームを比較するものではなく、直接連続するフレーム間の変化量を比較して動き量を算出することもできる。

また、計算された動き量とあらかじめ設定された動き量に対する基準値を比較する（Ｓ４３０）。比較結果、基準値より高い場合、動きが多いビデオストリーム処理に適した第１のモードのエンコーディング方式を選択してエンコーディングを実行する（Ｓ４４０）。基準値は、ユーザ設定を介して決定されることができる。もし、基準値より動き量が低い場合、動きが少ないビデオストリーム処理に適した第２のモードのエンコーディング方式を選択してエンコーディングを実行することができる（Ｓ４５０）。

このとき、第１のモードのエンコーディング方式は、第２のモードのエンコーディング方式とコーデック、解像度、フレームレート及びビットレートのうち少なくとも一つが異なることもある。例えば、動き量が多いストリームに適用される第１のモードは、基本ストリーミングモードが使われることができ、動き量が少ない映像に適用される第２のモードは、残差値ベースのエンコーディングモードが使われることができる。また、前記第２のモードの場合、停止している画面上のピクセルが多いため、該当画面に含まれている境界線が曖昧に見える確率が存在する。したがって、該当フレームをインターポレーション（ｉｎｔｅｒｐｏｌａｔｉｏｎ）して複数個のサブフレームに生成してエンコーディングできる。

図４ｂは、本発明の他の実施例に係る遠隔制御サポートのための送信機のネットワーク負荷分析を介した適応的エンコーディング方式を示す流れ図である。

図４ｂを参照すると、送信機は、ネットワーク状態情報をリアルタイムで取得する（Ｓ４６０）。前記ネットワーク状態情報は、ＣＳＩ（Ｃｈａｎｎｅｌ Ｓｔａｔｅ Ｉｎｆｏｒｍａｔｉｏｎ）を介して取得できる。また、取得された状態情報に基づいて現在ネットワーク負荷を分析する（Ｓ４７０）。分析結果によって現在ネットワーク負荷が基準値以上かどうかを判断し（Ｓ４８０）、基準値より高くない場合、第３のモードでエンコーディングし（Ｓ４９０）、基準値より高い場合、第４のモードでエンコーディングされるように制御できる（Ｓ４９５）。ここで、基準値は、図４ａの基準値とは異なる。多重エンコーディングを介して現在ネットワーク負荷に合う形態にエンコーディングが実行されることができる。このとき、ネットワーク負荷が基準値より高い場合、ビットレート及びフレームレートを低くして低画質でエンコーディングし、ネットワーク負荷が基準値より低い場合は、高画質でエンコーディングすることが好ましい。ビットレート及びフレームレートだけでなく、他のエンコーディング関連ファクタを互いに異なるように設定して第３または第４のモードを構成することができる。また、分析されたネットワーク状態情報は、ウェブＵＩ（Ｗｅｂ ＵＩ）を介して画面に表示できる。ここには、チャート、グラフィックなどの表現方法が使われることができる。

ネットワーク設定

図５は、本発明の一実施例に係る遠隔制御サポートのための送信機のネットワーク設定画面を示す。

図５を参照すると、送信機は、固有のネットワーク情報を有する。前記ネットワーク情報は、ＩＰアドレス、ネットマスク（ｎｅｔｍａｓｋ）、ゲートウェイアドレス、ＭＡＣアドレスのうち少なくとも一つを含むことができる。送信機は、固有のネットワークアドレスを有するため、有線または無線ＩＰネットワークまたは通信ネットワークを介して受信機と接続されることができる。このとき、ユーザは、図５に示す送信機のネットワーク設定ディスプレイ画面を介して現在設定されたネットワーク情報を確認することができ、ユーザは、ユーザインターフェースを利用して、即ち、ＩＰアドレスはブロック５１０を介して、ネットマスクはブロック５２０を介して、ゲートウェイアドレスはブロック５３０を介して、ＭＡＣアドレスはブロック５４０を介して変更できる。

エンコーディングパラメータ設定

図６は、本発明の一実施例に係る遠隔制御サポートのための送信機のエンコーディング設定画面を示す。

図６を参照すると、ビデオストリームに対する画質及びコーデック方式を調節することができる。ブロック６１０を介して解像度を設定することができ、ブロック６２０を介してコーデックの種類を設定することができる。また、ブロック６３０を介してフレームレートを設定し、ブロック６４０を介してビットレートを設定することができる。ビットレートは、基本設定として高速（Ｈｉｇｈ）、中間（Ｍｉｄ）、低速（Ｌｏｗ）のレートを設定しておき、このうち一つを選択する方式に設定できる。

また、図面には示していないが、ビデオストリームの動き量によるモードスイッチング方式を使用するかどうかを設定することもでき、このとき、使われる多数モードのエンコーディングパラメータ情報もユーザが任意に変更できる。

ファームウェアアップグレード

図７は、本発明の一実施例に係る遠隔制御サポートのための送信機のファームウェアのアップグレード設定画面を示す。

図７を参照すると、送信機は、ファームウェアに基づいて運営され、ファームウェア検索及び選択を介して特定ファームウェアに基づいて動作できる。また、最新バージョンのファームウェアをネットワークに基づいて検索してアップグレードを実行することができる。これは改善されたバージョンにアップグレードするためのものであって、ファームウェアを管理する製造社のサーバ側で提供するファームウェアをバージョン別に検索及び選択できる。このとき、検索すれば使用可能なファームウェアのリストが表示される。既存にダウンロードしたファームウェアは、ストーレッジに格納されて今後に再び選択及び活用可能に保管されることができる。

本発明の実施例によると、サーバが配布する最新ファームウェアがリアルタイムで設置可能に提供されるため、送信機のユーザは、提供される最新ファームウェアを選択してアップロードしてファームウェアをリアルタイムでアップグレードできる。

本発明の他の実施例によると、送信機及び／または受信機が最新ファームウェアでアップグレードされると、対に接続されている受信機及び／または送信機も該当ファームウェアを自動でアップグレードするように設定できる。

モードスイッチング

図８は、本発明の一実施例に係る遠隔制御サポートのための送信機のモード設定画面を示す。

図８を参照すると、一つのデバイスは、送信機の機能とそれに対応される受信機の機能を二つとも含んでブロック８１０のデバイスモード変更を介して送信機の機能をすることもでき、受信機の機能をすることもできるように構成される。モードが変更されると、送信機の構成要素と関連付けられたチャネルと受信機の構成要素と関連付けられたチャネルとの間の接点でスイッチングが発生して機能が反対になることができる。即ち、送信機から受信機への、受信機から送信機への機能変更が発生することができる。例えば、第１のソースデバイスのディスプレイ画面データを受信してエンコーディングした後、第２のデバイスに送信した第１のデバイスの機能が送信機から受信機に変更される場合、第１のデバイスは、第２のデバイスと接続された第２のソースデバイスのディスプレイ画面データを第２のデバイスから受信してデコーディングした後、接続されたバイパスモニタに表示する。また、表示される画面に基づいてユーザから入力される制御命令を第２のデバイスに送信できる。

このように、送信機と受信機のモード変更が発生すると、再起動（ｒｅｂｏｏｔ）をすることが好ましい。

無線ネットワークを介した遠隔制御

図９は、無線ネットワークを介して送信機から映像情報を受信する受信機の動作を説明するための概念図である。

図９を参照すると、送信機９２０は、ソースデバイス９１０のディスプレイ画面データを受信して近距離無線通信ネットワーク９３０を介して受信機９４０に送信できる。

本発明の一実施例によると、受信機９４０にソースデバイス９１０のディスプレイ画面データを送信するために使われる近距離無線通信ネットワーク９３０は、ワイパイ（Ｗｉ−Ｆｉ）、ブルートゥース（ｂｌｕｅｔｏｏｔｈ）、ジグビー（ｚｉｇｂｅｅ）、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）などを含むことができる。送信機９２０は、前記近距離無線通信ネットワーク９３０を介して周辺の受信機９４０にリアルタイムでソースデバイス９１０のディスプレイ画面データを送信することができる。本発明の他の実施例によると、近距離無線通信の外にＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、ＬＴＥ−Ａ及び３Ｇのような広いカバレッジの無線通信方式が使われることができる。

このとき、受信機９４０は、送信機９２０の周辺に位置したモバイル端末であり、前記モバイル端末は、送信機９２０とのペアリングを介した遠隔制御のためのアプリケーションを設置した端末であって、前記アプリケーションの実行を介して受信機の機能を遂行することができる。

図１０は、複数個の送信機から近距離ネットワークを介して送信される映像情報を一つの画面に組み合わせて表示する受信機の動作を説明するための概念図である。

図１０を参照すると、複数個の送信機１０１０−１、１０１０−２、１０１０−３、１０１０−４は、近距離ネットワーク１０２０を介して一つの受信機１０３０に各々接続されたソースデバイス（図示せず）のディスプレイ画面データを送信することができる。受信機１０３０は、自分が接続する送信機１０１０−１、１０１０−２、１０１０−３、１０１０−４を選択することができる。このとき、接続可能な送信機の数には特別な制限がない。

受信機１０３０と近距離ネットワーク１０２０を介して接続された複数個の送信機１０１０−１、１０１０−２、１０１０−３、１０１０−４は、各々自分が接続されたソースデバイスのディスプレイ画面データを受信機１０３０に提供し、受信機１０３０は、自分が設定した画面配置によって前記送信機１０１０−１、１０１０−２、１０１０−３、１０１０−４の画面を一つのページで組み合わせて表示できる。このとき、受信機１０３０の画面内に多数のセルが配置されることができ、各セルの大きさ及びセルの横及び縦の大きさもユーザ設定を介して調節可能である。このとき、各セルの区分を受信機１０３０が認識して受信機１０３０のユーザが特定セル内での遠隔制御命令が入力される時、該当送信機に入力された制御命令を送信することができる。それによって、セルの区分内で行われる制御を対応される送信機のソースデバイスに送信できる。

また、受信機１０３０のユーザは、多数の送信機と関連付けられた画面が表示される中に、一つを選択し、選択された送信機の画面のみが全体画面に表示されるように制御できる。また、受信機１０３０のユーザは、ユーザインターフェース（本実施例ではタッチスクリーン）を介して選択された送信機を制御することができる。

デュアルモニタ画面処理

図１１は、デュアルモニタを使用するソースデバイスの画面を処理する送信機を説明するための図面である。

図１１を参照すると、ソースデバイス１１２０は、モニタ１ １１１０及びモニタ２ １１１２とデュアルで接続されて二つのモニタ１１１０、１１１２から二つのディスプレイ画面データ（ビデオストリーム）を受信することができる。このとき、各モニタは、一つのグラフィックプロセッサと接続されてディスプレイ画面データを処理することができ、ソースデバイス１１２０は、二つのグラフィックプロセッサを介して二つのディスプレイ画面データを同時に並列処理できる。このように処理される二つのディスプレイ画面データは、送信機１１３０に提供されることができる。送信機１１３０は、ソースデバイス１１２０内の二つのグラフィックプロセッサで処理されたディスプレイ画面データを受信して一つの画面に組み合わせ、または二つのうち一つの画面を選択処理して受信機に提供できる。送信機１１３０は、デュアルモニタ１１１０、１１１２の二つのディスプレイ画面データをあらかじめ設定された比率（例えば、１：１または２：１等）で組み合わせて一つの画面に生成した後、これをエンコーディングして受信機に送信できる。または、ユーザの設定によって二つのうち一つのモニタ画面（例えば、モニタ１ １１１０）を選択して該当画面のみをエンコーディングして受信機に送信することもできる。どのモニタの画面をエンコーディングして送信するかは、ユーザ設定を介して選択できる。

ＲＤＳ受信機（Ｒｘ）

図１２は、本発明の一実施例に係る遠隔制御サポートのための受信機を示すブロック図である。図１２に示すように、本発明の一実施例に係る受信機は、第３の受信部１２１０、デコーダ１２２０、第３の変換部１２３０、第２のミキサ１２４０、制御命令入力部１２５０及び第２の送信部１２６０を含むことができる。各構成要素は、各構成要素の機能と関連付けられた命令語を実行する一つのハードウェアプロセッサで具現され、または各機能によってまたは組み合わせた機能によって複数個のハードウェアプロセッサで具現されることができる。

図１２を参照すると、第３の受信部１２１０は、送信機１２０５からエンコーディングされたビデオストリーム（ソースデバイスのディスプレイ画面データ）を受信する。第３の受信部１２１０は、通信プロセッサで具現されることができる。

デコーダ１２２０は、第３の受信部１２１０で受信したエンコーディングされたビデオストリームをデコーディングする。デコーディングは、エンコーディングされた方式と対応される方式で行われることができる。デコーダ１２２０は、エンコーディングされたビデオストリームをＹＵＶフォーマットのデータでデコーディングできる。このとき、前記ＹＵＶデータは、ＹＵＶ４２０データである。

第３の変換部１２３０は、デコーダ１２２０でデコーディングされたＹＵＶデータをＲＧＢデータに変換する。これは送信機の第２の変換部の動作と類似方式で行われることができる（図２参照）。

第２のミキサ１２４０は、第３の変換部１２３０で変換されたＲＧＢデータをＨＤＭＩ／ＤＶＩのようなデジタルインターフェースを介して送信可能にミキシングする。ミキシングされたデータは、バイパスモニタ１２２５に提供されて受信機の受信者が前記バイパスモニタ１２２５を介して遠隔地のソースデバイスの画面を見ることができるようにする。

このとき、受信機のユーザは、ユーザインターフェース１２１５を介して制御命令を入力することができる。ユーザインターフェース１２１５は、タッチスクリーン、キーボード及び／またはマウスなどであり、制御命令は、タッチスクリーンのタッチ、キーボードの入力及び／またはマウスのホイール移動またはクリック入力などを介して行われる。

制御命令入力部１２５０は、前記のようにユーザインターフェース１２１５を介してユーザが入力する入力に基づいて制御命令を生成して第２の送信部１２６０に提供する。

第２の送信部１２６０は、前記入力された制御命令１２５０を受信して送信機１２０５に有線または無線ネットワークを介して送信する。

送信機リスト管理

図１３は、本発明の一実施例に係る遠隔制御サポートのための受信機の送信機リスト管理画面を示す。

図１３を参照すると、受信機は、接続可能な送信機の情報を示す送信機リスト１３１０を生成することができる。受信機は、送信機のネットワークアドレス（例えば、ＩＰアドレスなど）を介して送信機を識別して接続可能な送信機のリストを生成することができる。このとき、接続可能な送信機は、受信機が過去または現在に接続を認識した送信機である。即ち、以前に接続された送信機及び／または現在有線または無線ネットワークに接続された送信機がリストに含まれることができる。

受信機は、リフレッシュリストブロック１３２０（Ｒｅｆｒｅｓｈ Ｌｉｓｔ）をクリックして該当リストをリフレッシュすることができる。

このとき、現在接続された送信機のアドレスは、ブロック１３３０に表示されることができる。または、前記リストに含まれている送信機のうち一つを選択すると、ブロック１３３０にＩＰアドレスが入力され、このとき、サーバＩＰアドレスの右側に備えられた接続要求ブロックをクリックすると、該当アドレスの送信機と接続されることができる。

本発明の一実施例によると、受信機は、送信機リストに含まれている送信機を複数個選択して複数個の送信機からビデオストリームを受信することができる。

本発明の他の実施例によると、受信機も送信機と同様に、ネットワークアドレスを含み、ファームウェアアップグレードが行われることができる。また、システム設定を介して送信機モードへの転換も可能である。

双方向制御システム

図１４は、本発明の一実施例に係る双方向制御システムを示すブロック図である。

図１４を参照すると、ソースデバイス１ １４０４は、送受信機１ １４０２と有線及び／または無線で接続されて送受信機１ １４０２に画面データを送信し、送受信機１ １４０２は、ソースデバイス１ １４０４の画面データを送受信機２ １４０６にネットワークを介して送信する。それに対し、ソースデバイス２ １４０８は、送受信機２ １４０６と有線及び／または無線で接続されて送受信機２ １４０６に画面データを送信し、送受信機２ １４０６は、ソースデバイス２ １４０８の画面データを送受信機１ １４０２にネットワークを介して送信する。

このとき、各送受信機１４０２、１４０６は、遠隔制御サポートのための送信機機能と受信機機能を二つとも備えている機器であって、各送受信機１４０２、１４０６に接続されたバイパスモニタ１４１０、１４２０は、二つの送受信機１４０２、１４０６を介して提供される被制御端末、即ち、ソースデバイス１ １４０４及びソースデバイス２ １４０８の画面を各モニタ１４１０、１４２０にディスプレイできる。

即ち、画面の左側一部の面にはソースデバイス１の画面１４１２、１４２２がディスプレイされ、画面の右側一部の面にはソースデバイス２の画面１４１４、１４２４がディスプレイされ、それぞれの送受信機１４０２、１４０６が各々接続されたソースデバイス１４０４、１４０８の同期画面データを互いに送受信できる。即ち、同じ画面を見ながら双方向に制御が可能にすることができる。

このとき、相手のソースデバイスに対する制御命令を提供することができる。即ち、送受信機１ １４０２は、ソースデバイス１ １４０４の画面データを送信し、必要によって、ソースデバイス２ １４０８に対する制御命令を提供することができる。それに対し、送受信機２ １４０６は、ソースデバイス２ １４０８の画面データを送信し、ソースデバイス１ １４０４に対する制御命令を提供することができる。

双方向コンファレンスシステム

図１５は、本発明の一実施例に係る双方向コンファレンスシステムを示すブロック図である。

図１５を参照すると、基本的に、このとき、各送受信機１５０２、１５０６は、遠隔制御サポートのための送信機機能と受信機機能を二つとも備えている。また、ソースデバイス１ １５０４は、送受信機１ １５０２と有線及び／または無線で接続されており、ソースデバイス２ １５０８は、送受信機２ １５０６と有線及び／または無線で接続されている。ここではソースデバイスが二つ接続されていると叙述しているが、１０個以上の多数の機器が接続されて多数参加者がビデオコンファレンスを実行する状況でも本発明の双方向コンファレンスシステムが活用されることができる。

このとき、送受信機１ １５０２に接続されたモニタ及び／またはソースデバイス１ １５０４のモニタ１５１０は、ソースデバイス２ １５０８の画面を表示することができる。即ち、ソースデバイス２ １５０８とソースデバイス１ １５０４は、同じ画面を見ることができる。本実施例が３名以上の参加者で構成された場合、ソースデバイス３の画面を３個の送受信機が同一にディスプレイしながらコンファレンスを進行することができる。即ち、各コンファレンス参加者のソースデバイスの画面のリアルタイムエンコーディングデータを互いに送受信し、各送受信機の選択によって特定ソースデバイスの画面を同時にディスプレイして特定ソースデバイスで処理されるコンテンツ（文書、ビデオ、オーディオファイル等）を同時にリアルタイムで見ながらコンファレンスが行われるようにすることができる。このとき、ビデオとオーディオは、送受信機１５０２、１５０６に別途にプロセシングされて各々接続されたマイク／スピーカ１５０３、１５０７を介して出力されることが好ましい。

特に、ソースデバイス２ １５０８の画面を送受信機１５０２、１５０６を介して同時に送受信して接続されたモニタ１５１０、１５２０を媒介にして参加者が見ている場合、送受信機１ １５０２に接続されたユーザインターフェース（図示せず）またはソースデバイス１ １５０４に接続されたユーザインターフェース（図示せず）を介してソースデバイス２に対する制御命令を送信することができ、コンファレンスのためのオーディオデータを送受信機２ １５０６に送信することができる。このとき、送受信機２ １５０６は、ソースデバイス２ １５０８の同期画面ビデオデータを送信し、接続されたマイク１５０７を介して入力されるオーディオデータを送受信機１ １５０２に送信できる。

また、同時にリアルタイムに送信されるビデオデータ、オーディオデータ及び／または制御命令は、送受信機１５０２、１５０６で受信されて独立的に処理されることができるように分類される。

送受信機２ １５０６に画面データを送信し、送受信機２ １５０６は、ソースデバイス２ １５０８の画面データを送受信機１ １５０２にネットワークを介して送信する。

このとき、各送受信機１５０２、１５０６は、遠隔制御サポートのための送信機機能と受信機機能を二つとも備えている機器であって、各送受信機１５０２、１５０６に接続されたバイパスモニタ１５１０、１５２０は、二つの送受信機１５０２、１５０６を介して提供される被制御端末、即ち、ソースデバイス１ １５０４及びソースデバイス２ １５０８の画面を各モニタ１５１０、１５２０にディスプレイできる。

ローカルストーレッジの活用

本発明の他の実施例によると、ソースデバイスがカメラのような撮影装置である場合、映像のシームレスな送信が重要であるため、受信機は、ネットワーク接続が切れた時に備えた構成を含むように構成されることができる。即ち、送信機のエンコーダは、ネットワーク接続が一時的に切れた場合に備えてローカルストーレッジ（図示せず）でエンコーディングされたデータを提供することができる。ストーレッジは、レコーダ（図示せず）を介してエンコーディングされたデータを一時的に格納していることがある。このとき、ストーレッジは、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）ストーレッジを含むことができる。

本発明の実施例によると、送信機は、ソースデバイスから受信される動映像ストリームをローカルストーレッジに格納すると同時に、受信機に中継できる。このとき、受信機から周期的に受信関連報告を受信して映像受信に異常があるかどうかを確認することができる。また、映像受信不能状態になった時、ネットワーク不能地点を検出して検出地点から動映像ストリームを復旧することができるように格納する。それによって、復旧遅延時間による映像送信が切れることをなくすことができる。

送信機は、ソースデバイスから動映像を受信し、受信された動映像を一定時間（例えば、障害復旧時間のために最小１５秒内外）キュー（ｑｕｅｕｅ）にバッファリング（ｂｕｆｆｅｒｉｎｇ）することができる。その後、送信機は、バッファリングと共に受信機に動映像ストリームを中継することができる。

受信機は、送信機から受信される動映像ストリームを受信して記録できる。受信機は、特定周期によって現在映像受信可能可否及び／または映像録画可否などに対する情報を含む状態報告メッセージを生成して送信機に送信できる。受信機が受信不能状態（例えば、ネットワーク障害または機能障害など）になった時、送信機は、一定時間状態報告がないことを介してこれを検知することができる。このとき、送信機は、無応答時点を基準にして第１のストーレッジ（例えば、バッファリングのためのキューまたはＳＳＤストーレッジ）から映像送信中断部分を探して第２のストーレッジ（例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）ストーレッジ）に録画を続けて実行することができる。

本発明の実施例によると、送信機と受信機は、共同データベースに相互連係して動映像ストリームを記録することができる。このとき、送信機は、共同データベースに既に記録された動映像ストリームに基づいて受信機からの録画が中断された時点を探してキューのバッファリングされた動映像ストリームの該当地点から共同データベースに記録できる。それによって、共同データベースにはシームレス（ｓｅａｍｌｅｓｓ）な録画映像が別途の作業なしに記録されるようにすることができる。

本発明の一実施例によると、受信機の録画障害発生時にもシームレスな録画が可能であり、原本動映像変換がない録画記録の場合、低仕様（例えば、デスクトップ）機器のみで具現が可能である。

送信機は、キューにバッファリングされた動映像ストリームの特定部分（または、特定フレーム）から第２のストーレッジに格納することができる。送信機は、動映像ストリームを受信して第１のストーレッジにバッファリングしながら、バッファリングされた動映像ストリームを受信機に送信し、または第２のストーレッジに提供できる。受信機に提供するモードを第１のモード（または、中継モードとも呼ばれる）に定義し、第２のストーレッジに提供するモードを第２のモード（または、記録モードとも呼ばれる）に定義することができる。送信機は、基本的に第１のモードで動作するように設定されることができる。第１のモードによると、受信機の正常映像受信または映像録画を仮定し、ソースデバイスから受信される動映像ストリームを受信機に中継する。

送信機は、受信機からの状態報告メッセージに基づいて受信機の正常録画動作可否を判断することができる。即ち、現在正常受信／録画が行われているかどうかに対する情報を取得することができる。例えば、正常受信が行われていない受信障害状況が検出された場合、送信機は、第１のモードから第２のモードに動作モードをスイッチングすることができる。受信障害状況の検出と関連付けられ、送信機は、受信機から受信される状態報告時間をあらかじめ設定された臨界時間と比較して臨界時間以上状態報告が受信されない場合、録画障害状況が発生されたと判断できる。このとき、臨界時間は、最大バッファリング時間に設定されることができる。または、送信機は、臨界条件によって録画障害状況発生を判断することができる。臨界条件は、状態報告の平均受信時間値より状態報告の遅延時間（例えば、最も最近状態報告時点から状態報告が受信されていない現在時点までの時間）が大きい場合及び／または状態報告遅延時間が設定された最大バッファリング時間の半分の時間より大きい場合という条件を含むことができる。前記臨界条件が満たされると、受信機との接続が解除または受信機の録画不能と判断し、送信機が直接動映像ストリームを記録する第２のモードにスイッチングする。第２のモードによると、送信機は、動映像ストリームが直接第２のストーレッジに格納されるようにする。送信機は、第１のストーレッジでバッファリングされたストリームを受信して第２のストーレッジに提供し、またはバッファを制御する制御部に指示して第１のストーレッジから直接第２のストーレッジに動映像ストリームを格納するようにすることができる。このとき、報告の無応答時点から受信機が動映像ストリームを受信しなかったと仮定し、無応答時点を探して該当時点からキューに格納された動映像を第２のストーレッジに格納することができる。

また、送信機は、受信機から報告が再開される場合、状態報告を再び受信した時点に第２のモードから第１のモードにスイッチングして再び受信機が動映像ストリームを受信及び録画するようにし、自分は中継機役割をするようにすることができる。

本発明の一実施例によると、送信機は、受信機から受信される状態報告メッセージの受信時間情報を一定容量記録できる。また、これに基づいて報告の平均周期を計算することができる。また、状態報告メッセージ及び報告メッセージ平均周期情報に基づいて下記のスイッチング条件（または、臨界条件）を介して障害発生可否を判断することができる。

−スイッチング条件

Ｒｔ＝受信機から受信される状態報告受信時間

Ｂｍ＝設定された最大バッファリング時間

Ｖｔ＝Ｒｔの平均周期

Ｔｎ＝測定されたＲｔの遅延時間

Ｖｔ＜Ｔｎ＆＆（ii）Ｔｎ＞（Ｂｍ／２）を満たす場合、スイッチング実行

前記スイッチング条件によると、送信機は、状態報告受信時間を基準にして遅延時間（Ｔｎ）を測定し、測定された遅延時間が平均周期（Ｖｔ）より大きく、及び／または測定された遅延時間（Ｔｎ）が最大バッファリング時間（Ｂｍ）の半分より大きい場合、録画障害状態が発生したと判断できる。このとき、遅延時間は、無応答時点を基準にして起算されることができる。また、スイッチング条件は、必ず最大バッファリング時間（Ｂｍ）の半分を基準にするものではなく、最大バッファリング時間（Ｂｍ）自体や最大バッファリング時間（Ｂｍ）から一定時間を引いた時間を基準にすることができる。これはユーザインターフェースを介してユーザが任意に設定できる。このとき、送信機は、障害発生を検知してモード変更を指示する制御信号を生成することができる。また、同時に、無応答時点（例えば、最近状態報告信号受信時間）を検出して該当時点からのバッファリングされた動映像ストリームを格納することを指示する制御信号を、バッファを管理する制御部に提供できる。

また、送信機は、第２のモードにスイッチングされた状態、即ち、障害発生が進行している状況で再び状態報告が再開される時点を状態報告受信の起点として把握できる。このとき、送信機は、第２のモードから第１のモードにモードを変更することを指示する制御信号を生成することができる。

前記スイッチング条件は、必ず録画不能状態のみを含むものではなく、バッファリングを実行する第１のストーレッジと大容量の第２のストーレッジとの間に衝撃検知センサまたは映像分析モジュールを備え、あらかじめ設定された基準値以上の衝撃が検出され、または一定値以上の映像内の異常を検出する場合、動作モードを中継モードから録画モードに変更し、または中継と録画モードが同時に行われる形態に変更することを考慮することができる。

システムモニタリングサーバ（コントロールサーバ）との連動

図１で説明した通り、本発明の一実施例において、送信機と接続されたソースデバイスは、ＩｏＴベースのセンサまたはカメラなどからセンシング情報を受けて全体工程またはシステムを管理するコントロールサーバである。このとき、コントロールサーバは、センシング情報及びカメラから取得される映像情報に基づいてシステムの異常有無をリアルタイムでモニタリングして異常発生時にイベント信号を発生させることによって管理者に該当事実を知らせることができる。コントロールサーバは、取得されるセンシング情報及び映像情報を時間の順序によって大容量ストーレッジに格納することができる。格納される時、各情報は、時間情報及び特定時刻化空間にオブジェクト化されて格納されることができ、今後特定時点の特定センサ及び／またはカメラのセンシング情報及び／または映像を読み取って見ることができるように管理される。コントロールサーバと接続された送信機は、コントロールサーバを介して管理される前記のようなぼう大なセンシング及び映像情報を送信機及び受信機を介して遠隔地のユーザに表示でき、ユーザは、表示された画面内容を見て制御命令を提供することができる。即ち、イベント発生を遠隔地で認知することができ、遠隔地で認知された異常発生に対応して異常発生時点の特定センサ及び／または特定カメラのセンシング情報及び／または映像情報を確認することができる。

本発明の一実施例によると、前記センシング情報及び／または映像情報をモニタリングする中にイベントが発生した場合、コントロールサーバは、異常が発生した時点を検知することができる。また、検知された時点情報を送信機に提供できる。送信機は、異常発生時点から前後一定時間区間のコントロールサーバから受信されるビデオストリーム（コントロールサーバのディスプレイ画面データ）を装置の内部または外部のストーレッジに格納することができる。このような動作は、自動で行われることができる。

受信機のユーザは、異常発生時点に受信機に提供されたコントロールサーバのディスプレイ画面データを確認することができなかったとしても、受信機は、ユーザの入力を介して異常発生時点映像を提供することを送信機に要求して前記格納されたビデオストリームの提供を受けることができる。

以上、図面及び実施例を参照して説明したが、本発明の保護範囲が前記図面または実施例により限定されることを意味するものではなく、該当技術分野の熟練された当業者は、特許請求の範囲に記載された本発明の思想及び領域から外れない範囲内で本発明を多様に修正及び変更可能であることを理解することができる。

Claims (19)

1. ソースデバイスと接続された前記ソースデバイスの遠隔制御サポートのための送信機（Ｔｘ）において、
   前記ソースデバイスのディスプレイ画面データを受信する第１の受信部；
   前記第１の受信部で受信されるディスプレイ画面データをエンコーディングするエンコーダ；
   前記エンコーディングされたデータをリアルタイム通信プロトコルを利用して受信機に送信する第１の送信部；
   前記受信機から受信される制御命令を受信する第２の受信部；及び、
   前記第２の受信部で受信された制御命令を解析して前記ソースデバイスに提供する命令提供部；を含み、
   前記送信機は、前記ソースデバイスとデジタルインターフェース（Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）を介して有線で接続されるハードウェアデバイスである遠隔制御サポートのための送信機。
2. 前記ディスプレイ画面データをＹＵＶデータに変換する第１の変換部；及び、
   前記ＹＵＶデータをＲＧＢデータに変換する第２の変換部；をさらに含む請求項１に記載の遠隔制御サポートのための送信機。
3. 前記第２の変換部は、複数のチャネルを介して複数個の変換データを生成して前記エンコーダ及びミキサ（ｍｉｘｅｒ）に提供し、
   前記ミキサは、前記変換データを前記デジタルインターフェースを介してバイパス（ｂｙｐａｓｓ）で第１のディスプレイ手段に表示するためにミキシングを実行する請求項２に記載の遠隔制御サポートのための送信機。
4. 前記受信機は、前記送信機の周辺に位置したモバイル端末を含み、
   前記送信部は、前記エンコーディングされたデータを近距離無線通信ネットワークを介して前記モバイル端末に送信する請求項１に記載の遠隔制御サポートのための送信機。
5. 前記モバイル端末は、第１の送信機からの第１のエンコーディング映像データと第２の送信機からの第２のエンコーディング映像データを受信し、これを組み合わせて一つの画面に表示する請求項４に記載の遠隔制御サポートのための送信機。
6. 前記送信機は、固有のＩＰアドレス、ネットマスク（Ｎｅｔｍａｓｋ）、ゲートウェイアドレス及びＭＡＣアドレス（Ｍａｃ Ａｄｄｒｅｓｓ）のうち少なくとも一つを有し、 ユーザインターフェースを介して任意に前記アドレス情報のうち少なくとも一部を可変する請求項１に記載の遠隔制御サポートのための送信機。
7. 前記エンコーダは、前記ディスプレイ画面データのエンコーディングファクタ（ｆａｃｔｏｒ）として、解像度、コーデック種類、フレームレート（ｆｒａｍｅ ｒａｔｅ）及びビットレート（ｂｉｔ ｒａｔｅ）のうち少なくとも一つを考慮し、
   ユーザインターフェースを介して任意に前記エンコーディングファクタのうち少なくとも一部を変更する請求項１に記載の遠隔制御サポートのための送信機。
8. 他の送信機からエンコーディングされたデータを受信してデコーディングした後、ディスプレイ手段に提供する受信機の機能を共に含み、
   ユーザインターフェースを介して動作モードを送信機と受信機との間で任意にスイッチングする請求項１に記載の遠隔制御サポートのための送信機。
9. 前記ディスプレイ画面データをエンコーディングする時、基準値より動きが多い映像は、第１のモードでエンコーディングし、基準値より動きが少ない映像は、第２のモードでエンコーディングする請求項１に記載の遠隔制御サポートのための送信機。
10. 前記ディスプレイ画面データをエンコーディングする時、現在ネットワーク負荷をリアルタイム分析し、ネットワーク負荷が基準値より高い場合は、第３のモードでエンコーディングし、前記ネットワーク負荷が基準値より低い場合は、第４のモードでエンコーディングする請求項１に記載の遠隔制御サポートのための送信機。
11. 前記ソースデバイスがイベント信号を前記送信機に提供する時、前記送信機は、イベント信号提供時点前後のディスプレイ画面データを格納する請求項１に記載の遠隔制御サポートのための送信機。
12. 前記受信機からのイベント信号提供時点前後のディスプレイ画面データに対する要求に対応して格納されたディスプレイ画面データを受信機に提供する請求項１１に記載の遠隔制御サポートのための送信機。
13. ソースデバイスと接続された前記ソースデバイスの遠隔制御サポートのための送信機（Ｔｘ）の動作方法において、
    前記ソースデバイスのディスプレイ画面データを受信するステップ；
    前記受信されるディスプレイ画面データをエンコーディングするステップ；
    前記エンコーディングされたデータをリアルタイム通信プロトコルを利用して受信機に送信するステップ；
    前記受信機から受信される制御命令を第２の受信部によって受信するステップ；及び、
    前記第２の受信部で受信された制御命令を解析して前記ソースデバイスに提供するステップ；を含み、
    前記送信機は、前記ソースデバイスとデジタルインターフェース（Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）を介して有線で接続されるハードウェアデバイスである遠隔制御サポートのための送信機の動作方法。
14. ソースデバイスの遠隔制御サポートのための受信機（Ｒｘ）において、
    前記ソースデバイスと接続された送信機（Ｔｘ）から、ソースデバイスディスプレイ画面データをエンコーディングして生成されたエンコーディングデータをリアルタイム通信プロトコルを利用して受信する第３の受信部；
    前記第３の受信部で受信されたエンコーディングデータをデコーディングするデコーダ；及び、
    前記デコーディングされたデータを第２のディスプレイ手段に提供するためにミキシングを実行するミキサ；を含み、
    前記送信機は、前記受信機から受信される制御命令を受信する第２の受信部及び前記第２の受信部で受信された制御命令を解析して前記ソースデバイスに提供する命令提供部を含む、遠隔制御サポートのための受信機。
15. ユーザインターフェースを介して前記ソースデバイスを遠隔制御するための前記制御命令を受信する制御命令入力部；及び、
    前記送信機に前記制御命令を送信する第２の送信部；をさらに含む請求項１４に記載の遠隔制御サポートのための受信機。
16. 前記デコーディングされたＹＵＶデータをＲＧＢデータに変換する第３の変換部をさらに含む請求項１４に記載の遠隔制御サポートのための受信機。
17. 接続可能な少なくとも一つの送信機のリストを管理し、
    ユーザインターフェースを介して前記リストに含まれている前記少なくとも一つの送信機のうち少なくとも一つを選択し、前記選択された送信機からディスプレイ画面データを受信する請求項１４に記載の遠隔制御サポートのための受信機。
18. ソースデバイスの遠隔制御サポートのための受信機（Ｒｘ）の動作方法において、
    前記ソースデバイスと接続された送信機（Ｔｘ）から、ソースデバイスディスプレイ画面データをエンコーディングして生成されたエンコーディングデータをリアルタイム通信プロトコルを利用して受信するステップ；
    前記受信されたエンコーディングデータをデコーディングするステップ；及び、
    前記デコーディングされたデータを第２のディスプレイ手段に提供するためにミキシングを実行するステップ；を含み、
    前記送信機は、前記受信機から受信される制御命令を受信する第２の受信部及び前記第２の受信部で受信された制御命令を解析して前記ソースデバイスに提供する命令提供部を含む、遠隔制御サポートのための受信機の動作方法。
19. ソースデバイスと接続された前記ソースデバイスの遠隔制御サポートのためのシステムにおいて、
    前記ソースデバイスのディスプレイ画面データを受信し、前記受信されるディスプレイ画面データをエンコーディングして前記エンコーディングされたデータをリアルタイム通信プロトコルを利用して受信機に送信する送信機（Ｔｘ）；及び、
    前記送信機から、前記エンコーディングされたデータをリアルタイム通信プロトコルを利用して受信し、前記受信されたエンコーディングデータをデコーディングし、接続されたディスプレイ手段に前記デコーディングされたデータを提供するためにミキシングを実行する受信機（Ｒｘ）；を含み、
    前記送信機は、前記ソースデバイスとデジタルインターフェース（Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）を介して有線で接続されるハードウェアデバイスであり、
    前記受信機と前記送信機は、離隔されて位置し、
    前記送信機は、前記受信機から受信される制御命令を受信する第２の受信部及び前記第２の受信部で受信された制御命令を解析して前記ソースデバイスに提供する命令提供部を含む、遠隔制御サポートのためのシステム。