JP7119190B2 - Video display device - Google Patents

Video display device Download PDF

Info

Publication number
JP7119190B2
JP7119190B2 JP2021142052A JP2021142052A JP7119190B2 JP 7119190 B2 JP7119190 B2 JP 7119190B2 JP 2021142052 A JP2021142052 A JP 2021142052A JP 2021142052 A JP2021142052 A JP 2021142052A JP 7119190 B2 JP7119190 B2 JP 7119190B2
Authority
JP
Japan
Prior art keywords
remote control
television
unit
video camera
smartphone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021142052A
Other languages
Japanese (ja)
Other versions
JP2021184652A (en
Inventor
和彦 吉澤
明 石山
康宣 橋本
宏 清水
光信 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Ltd filed Critical Maxell Ltd
Priority to JP2021142052A priority Critical patent/JP7119190B2/en
Publication of JP2021184652A publication Critical patent/JP2021184652A/en
Priority to JP2022123963A priority patent/JP7350947B2/en
Application granted granted Critical
Publication of JP7119190B2 publication Critical patent/JP7119190B2/en
Priority to JP2023148448A priority patent/JP2023160984A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、映像データを保持する外部機器、映像表示装置、および遠隔操作端末間の機器連携技術に関する。 TECHNICAL FIELD The present invention relates to a device cooperation technology among an external device holding video data, a video display device, and a remote control terminal.

本技術分野の背景技術として、特許文献１には、課題として「複数のモニタに接続されたＳＴＢ（セット・トップ・ボックス）に記憶された映像コンテンツをスマートフォンなどで操作可能な映像送信システムにおける操作性を向上させる制御部、送信装置、及び送信方法を提供する。」と記載されている。 As a background art of this technical field, Patent Document 1 describes the problem as "Operation in a video transmission system that can operate video content stored in a STB (set top box) connected to multiple monitors with a smartphone or the like. provide a control unit, a transmission device, and a transmission method that improve performance."

この課題の解決手段として、「映像データ制御部（スマートフォン）は、表示装置（ベッドルームＴＶ）に対して特定情報を無線発信する状態にするよう指示する特定情報発信指示を送信可能に構成された特定情報発信指示送信部（近距離無線通信部、Ｗｉ－Ｆｉ通信部）と、特定情報の電波強度に基づいて最も近くの表示装置を特定可能に構成された表示装置特定部（制御部）と、映像データを無線で送信可能に構成された映像データ送信装置（サーバ）に対して、最も近くの表示装置に映像データを送信するよう指示する映像データ送信指示を送信可能に構成された映像データ送信指示送信部（Ｗｉ－Ｆｉ通信部）と、を備える。（要約抜粋）」と記載されている。 As a solution to this problem, "the video data control unit (smartphone) is configured to be able to transmit a specific information transmission instruction that instructs the display device (bedroom TV) to wirelessly transmit the specific information. a specific information transmission instruction transmission unit (near-field wireless communication unit, Wi-Fi communication unit), and a display device identification unit (control unit) configured to be able to identify the nearest display device based on the radio wave intensity of the specific information , video data configured to be able to transmit a video data transmission instruction for instructing a video data transmission device (server) configured to transmit video data wirelessly to transmit video data to the nearest display device. and a transmission instruction transmission unit (Wi-Fi communication unit).(summary excerpt)”.

特開２０１６－２５５９９号公報JP 2016-25599 A

しかしながら、上記文献に記載の技術においては、映像データ制御部(スマホ)を所有するユーザが、主体的に、表示装置(テレビ)および映像データ送信装置(サーバ)に対して指示をすることにより、映像データ制御部(スマホ)と表示装置(テレビ)と映像データ送信装置(サーバ)との間の連携を確立する必要があり、使い勝手が悪かった。また、上記映像データ送信装置(サーバ)に代替する機器として、ビデオカメラやビデオレコーダ等の外部機器が考えられるが、上記表示装置(テレビ)と接続される外部機器が変更された際の連携動作についても考慮されていない。 However, in the technology described in the above document, the user who owns the video data control unit (smartphone) voluntarily instructs the display device (television) and the video data transmission device (server), It was difficult to use because it was necessary to establish linkage between the video data control unit (smartphone), the display device (television), and the video data transmission device (server). Also, external devices such as video cameras and video recorders can be considered as devices to replace the video data transmission device (server). is also not considered.

本発明は、上記事情に鑑みてなされたもので、多種多様な外部機器が映像表示装置に接続される可能性のある環境において、少ない負担で外部機器、映像表示装置および遠隔操作端末間の連携を確立するとともに、ユーザに高い操作性をもたらす機器間の連携動作を実現する技術を提供することを目的とする。 SUMMARY OF THE INVENTION The present invention has been made in view of the above circumstances. and to provide a technology for realizing cooperative operation between devices that brings high operability to the user.

上記課題を解決するため、本発明は、映像表示装置であって、外部機器を接続し、当該外部機器と通信するインタフェース部と、前記外部機器を遠隔操作する遠隔操作端末とネットワークを介して通信する通信部と、映像を表示する表示部と、前記インタフェース部と前記通信部と前記表示部とを制御する制御部と、を備え、前記制御部は、前記インタフェース部に接続された前記外部機器から当該外部機器の機器情報を受信すると、前記遠隔操作端末を、予め作成された前記外部機器と当該外部機器を遠隔操作する可能性のある遠隔操作端末とを対応付けた中継テーブルを参照して決定するように制御するとともに、決定した前記遠隔操作端末に対して、前記外部機器を遠隔操作するためのアプリケーションソフトウェアを前記遠隔操作端末に起動させるための通信を前記通信部と前記遠隔操作端末との間で行うように制御することを特徴とする。 In order to solve the above problems, the present invention provides a video display device comprising an interface unit for connecting an external device and communicating with the external device, a remote control terminal for remotely controlling the external device, and a network. a communication unit that communicates, a display unit that displays an image, and a control unit that controls the interface unit, the communication unit, and the display unit; When the device information of the external device is received from the device, the remote control terminal is referred to a pre-created relay table that associates the external device with a remote control terminal that may remotely control the external device. The communication unit and the remote control terminal communicate with the determined remote control terminal so as to cause the remote control terminal to start application software for remotely controlling the external device. It is characterized by controlling to perform between

本発明によれば、多種多様な外部機器が映像表示装置に接続される可能性のある環境において、少ない負担で外部機器、映像表示装置および遠隔操作端末間の連携を確立でき、ユーザに高い操作性をもたらす機器間の連携動作を実現できる。上記に記載した以外の目的、構成、効果は以下の説明で明らかにされる。 According to the present invention, in an environment where a wide variety of external devices may be connected to the image display device, it is possible to establish cooperation among the external device, the image display device, and the remote control terminal with a small burden, thereby allowing the user to perform high-level operations. It is possible to realize cooperative operation between devices that brings about flexibility. Objects, configurations, and effects other than those described above will become apparent in the following description.

第一の実施形態の三者連携システムの構成図である。1 is a configuration diagram of a three-party collaboration system according to a first embodiment; FIG. （ａ）は、第一の実施形態のテレビ（ＴＶ）のブロック構成図であり、（ｂ）は、第一の実施形態の映像表示装置（ＴＶ）の機能ブロック図である。1A is a block configuration diagram of a television (TV) according to a first embodiment, and FIG. 1B is a functional block diagram of a video display device (TV) according to the first embodiment; FIG. （ａ）は、第一の実施形態のスマートフォンのブロック構成図であり、（ｂ）は、第一の実施形態のスマートフォンの機能ブロック図である。(a) is a block configuration diagram of the smartphone of the first embodiment, and (b) is a functional block diagram of the smartphone of the first embodiment. 第一の実施形態のビデオカメラのブロック構成図である。1 is a block configuration diagram of a video camera of a first embodiment; FIG. 第一の実施形態の中継テーブルを説明するための説明図である。FIG. 4 is an explanatory diagram for explaining a relay table according to the first embodiment; FIG. 第一の実施形態の連携テーブルを説明するための説明図である。FIG. 4 is an explanatory diagram for explaining a cooperation table according to the first embodiment; FIG. 第一の実施形態の三者連携処理のフローチャートである。4 is a flowchart of three-party collaboration processing according to the first embodiment; 第一の実施形態の中継アプリ取得処理のフローチャートである。9 is a flowchart of relay application acquisition processing according to the first embodiment; 第一の実施形態のリモコン決定処理のフローチャートである。4 is a flowchart of remote control determination processing according to the first embodiment; 第一の実施形態のリモコンアプリ取得処理のフローチャートである。9 is a flowchart of remote control application acquisition processing according to the first embodiment; （ａ）および（ｂ）は、第一の実施形態のリモコン画像を説明するための説明図である。(a) and (b) are explanatory diagrams for explaining a remote control image according to the first embodiment. 第二の実施形態の三者連携システムの構成図である。It is a block diagram of the three-party cooperation system of 2nd embodiment. （ａ）は、第二の実施形態のビデオカメラの機能ブロック図であり、（ｂ）は、第二の実施形態のスマートフォンの機能ブロック図であり、（ｃ）は、第二の実施形態のテレビの機能ブロック図である。(a) is a functional block diagram of the video camera of the second embodiment, (b) is a functional block diagram of the smartphone of the second embodiment, (c) is a It is a functional block diagram of television. 第二の実施形態の連携テーブルを説明するための説明図である。FIG. 11 is an explanatory diagram for explaining a linkage table according to the second embodiment; FIG. 第二の実施形態の三者連携処理のフローチャートである。9 is a flow chart of three-party collaboration processing according to the second embodiment;

＜第一の実施形態＞
以下、図面を用いて本発明の第一の実施形態を説明する。なお、以下に説明する実施形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって、適宜修正または変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。 <First Embodiment>
A first embodiment of the present invention will be described below with reference to the drawings. The embodiment described below is an example for realizing the present invention, and should be appropriately modified or changed according to the configuration of the apparatus to which the present invention is applied and various conditions. is not limited to the embodiment of Moreover, you may comprise suitably combining a part of each embodiment mentioned later.

図１は、本実施形態の三者連携システムの構成図である。本図に示すように、本実施形態の三者連携システムは、映像表示装置１０と、遠隔操作端末２０と、外部機器３０と、を備える。映像表示装置１０と外部機器３０とは、例えば、ＨＤＭＩ（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ：高精細度マルチメディアインターフェース）（登録商標）ケーブル等により接続される。また、遠隔操作端末２０は、近距離無線通信（例えば、ＮＦＣ、ＩＲ通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）等）又は無線ＬＡＮにより、映像表示装置１０に接続される。また、映像表示装置１０は、インターネットを経由して、サーバ９０に接続される。 FIG. 1 is a configuration diagram of a three-party cooperation system of this embodiment. As shown in the figure, the three-party collaboration system of this embodiment includes a video display device 10 , a remote control terminal 20 and an external device 30 . The video display device 10 and the external device 30 are connected by, for example, an HDMI (High-Definition Multimedia Interface) (registered trademark) cable or the like. Also, the remote control terminal 20 is connected to the video display device 10 by short-range wireless communication (for example, NFC, IR communication, Bluetooth (registered trademark), etc.) or wireless LAN. Also, the video display device 10 is connected to the server 90 via the Internet.

映像表示装置１０は、外部から映像データを取得し、自身が備える表示部に表示する。本実施形態の映像表示装置１０は、例えば、テレビ、ＴＶチューナを備えないモニタ等である。以後、テレビを例にあげて説明する。テレビ１０は、無線ＬＡＮのアクセスポイント機能をさらに備え、インターネットを経由して、サーバ９０に接続される。 The video display device 10 acquires video data from the outside and displays it on its own display unit. The video display device 10 of the present embodiment is, for example, a television, a monitor without a TV tuner, or the like. Hereinafter, a description will be given by taking a television as an example. The television 10 further has a wireless LAN access point function and is connected to the server 90 via the Internet.

遠隔操作端末２０は、リモコン機能を実現するアプリケーションソフトウェア（以下「リモコンアプリ」と略記する）を格納する。遠隔操作端末２０では、遠隔操作端末２０を構成するハードウェアがリモコンアプリを実行することにより、リモコン機能が実現される。本実施形態の遠隔操作端末２０は、例えば、スマートフォン、タブレット端末、携帯端末等の通信機能を有する情報処理端末である。以後、スマートフォンを例に挙げて説明する。 The remote control terminal 20 stores application software (hereinafter abbreviated as “remote control application”) that implements a remote control function. In the remote control terminal 20, a remote control function is realized by the hardware forming the remote control terminal 20 executing a remote control application. The remote control terminal 20 of this embodiment is, for example, an information processing terminal having a communication function such as a smart phone, a tablet terminal, or a mobile terminal. Hereafter, a smart phone is mentioned as an example and demonstrated.

外部機器３０は、映像データを保持あるいは中継する。また、テレビ１０に接続され、保持あるいは中継する映像データをテレビ１０に送信する。本実施形態の外部機器３０は、例えば、ビデオカメラ、ビデオレコーダ、セットトップボックス（ＳＴＢ）等である。以後、ビデオカメラを例に挙げて説明する。 The external device 30 holds or relays video data. It is also connected to the television 10 and transmits video data to be held or relayed to the television 10 . The external device 30 of this embodiment is, for example, a video camera, a video recorder, a set-top box (STB), or the like. Hereinafter, a video camera will be taken as an example for explanation.

ビデオカメラ３０とテレビ１０とはＨＤＭＩケーブルで接続しているが、両者の接続は、これに限定されない。ビデオカメラ３０とテレビ１０とを１対１で接続するインタフェースであれば有線、無線を問わず可能である。また、ビデオカメラ３０に代えて、テレビ１０のＵＳＢ端子（図示しない）に接続可能なＵＳＢメモリ装置を用いても良い。この場合、前記ＵＳＢメモリ装置は、ＵＳＢケーブルを用いて、或いは直接テレビ１０と接続されて良い。また、本実施形態では、スマートフォン２０とテレビ１０とは、近距離通信でも接続されているが、この機能はなくてもよい。 The video camera 30 and the television 10 are connected by an HDMI cable, but the connection between them is not limited to this. As long as the interface connects the video camera 30 and the television 10 on a one-to-one basis, it can be wired or wireless. Also, instead of the video camera 30, a USB memory device connectable to a USB terminal (not shown) of the television 10 may be used. In this case, the USB memory device may be connected to the TV 10 using a USB cable or directly. Also, in the present embodiment, the smartphone 20 and the television 10 are connected by short-range communication, but this function may be omitted.

［ハードウェア構成］
以下、本実施形態の三者連携システムにおけるテレビ１０、スマートフォン２０、ビデオカメラ３０それぞれについて、詳細な構成を説明する。 [Hardware configuration]
Detailed configurations of the television 10, the smartphone 20, and the video camera 30 in the three-party cooperation system of the present embodiment will be described below.

［テレビ］
図２（ａ）は、本実施形態のテレビ１０のブロック図である。テレビ１０は、制御部１１と、ＴＶチューナ１２と、表示部１３と、記憶部１４と、ＨＤＭＩ通信インタフェース（Ｉ／Ｆ）１５と、有線ＬＡＮ通信インタフェース（Ｉ／Ｆ）１６と、無線ＬＡＮ通信インタフェース（Ｉ／Ｆ）１７と、近距離通信インタフェース（Ｉ／Ｆ）１８と、を備える。 [tv set]
FIG. 2(a) is a block diagram of the television 10 of this embodiment. The television 10 includes a control unit 11, a TV tuner 12, a display unit 13, a storage unit 14, an HDMI communication interface (I/F) 15, a wired LAN communication interface (I/F) 16, and wireless LAN communication. An interface (I/F) 17 and a short-range communication interface (I/F) 18 are provided.

制御部１１は、所定のプログラムに従ってテレビ１０全体を制御するマイクロプロセッサユニットである。 The control section 11 is a microprocessor unit that controls the entire television 10 according to a predetermined program.

記憶部１４は、プログラム領域と、一時記憶領域と、ストレージ記憶領域とを備える。プログラム領域は、基本動作プログラムおよびその他のアプリケーションプログラムを実行する際、これらのプログラムが展開される領域である。一時記憶領域は、各種アプリケーションプログラム実行時に必要に応じてデータを一時的に保持する。ストレージ記憶領域は、各種設定値、各種プログラム、動画像データ等を電源が供給されていない状態であっても記憶する。ストレージ記憶領域には、例えば、フラッシュＲＯＭ、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等のデバイスが用いられる。 The storage unit 14 includes a program area, a temporary storage area, and a storage storage area. The program area is the area in which basic operating programs and other application programs are deployed when these programs are executed. The temporary storage area temporarily holds data as necessary when various application programs are executed. The storage area stores various setting values, various programs, moving image data, etc. even when power is not supplied. Devices such as flash ROMs, SSDs (Solid State Drives), and HDDs (Hard Disc Drives) are used for the storage storage areas, for example.

なお、本実施形態では、テレビ１０は、アプリケーションサーバから、インターネットを介して、新規アプリケーションプログラムをダウンロードすることにより、機能拡張が可能であるものとする。この際、ダウンロードした新規アプリケーションプログラムは、記憶部１４のストレージ記憶領域に記憶される。 In this embodiment, the television 10 can be expanded in function by downloading a new application program from an application server via the Internet. At this time, the downloaded new application program is stored in the storage area of the storage unit 14 .

本実施形態のテレビ１０は、ストレージ記憶領域に記憶された新規アプリケーションプログラムを、制御部１１がプログラム領域に展開するとともに、展開した新規アプリケーションプログラムを実行することにより、多種の新規機能を実現する。 In the television 10 of the present embodiment, the control unit 11 expands the new application program stored in the storage area into the program area and executes the expanded new application program, thereby realizing various new functions.

表示部１３は、例えば、液晶パネルまたは有機ＥＬディスプレイ等の表示デバイスである。本実施形態の表示部１３は、後述のＴＶチューナ１２が、アンテナで受信した放送電波を受け取り、映像処理した画像等を表示する。 The display unit 13 is, for example, a display device such as a liquid crystal panel or an organic EL display. The display unit 13 of the present embodiment receives airwaves received by the antenna of the TV tuner 12 described later, and displays images and the like that have undergone image processing.

ＴＶチューナ１２は、アンテナで受信した放送電波を映像信号として出力する。ＴＶチューナ１２は、地上デジタルチューナ、ＢＳ／ＣＳデジタルチューナ、ＯＦＤＭ復調部、ＭＰＥＧデコーダ等を備える。 The TV tuner 12 outputs the broadcast wave received by the antenna as a video signal. The TV tuner 12 includes a terrestrial digital tuner, a BS/CS digital tuner, an OFDM demodulator, an MPEG decoder, and the like.

ＨＤＭＩ通信Ｉ／Ｆ１５は、ＨＤＭＩ通信のインタフェース部である。ＨＤＭＩ通信Ｉ／Ｆ１５は、ＴＭＤＳ（Ｔｒａｎｓｉｔｉｏｎ Ｍｉｎｉｍｉｚｅｄ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌｉｎｇ）処理部、ＴＭＤＳ処理部で受信した暗号化された映像信号を復号する復号化部、ＣＥＣ（Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏｎｔｒｏｌ）制御部等を備え、テレビ１０をビデオカメラ３０等と１対１に接続する。 The HDMI communication I/F 15 is an interface unit for HDMI communication. The HDMI communication I/F 15 includes a TMDS (Transition Minimized Differential Signaling) processing unit, a decoding unit that decodes the encrypted video signal received by the TMDS processing unit, a CEC (Consumer Electronics Control) control unit, and the like. are connected to the video camera 30 or the like one-to-one.

無線ＬＡＮ通信Ｉ／Ｆ１７は、無線ＬＡＮのアクセスポイントとして機能し、スマートフォン２０等の無線ＬＡＮ通信Ｉ／Ｆを備える機器とデータの送受信を行う。 The wireless LAN communication I/F 17 functions as a wireless LAN access point, and transmits and receives data to and from a device such as the smart phone 20 having a wireless LAN communication I/F.

有線ＬＡＮ通信Ｉ／Ｆ１６は、ホームゲートウエイを通じてインターネットと接続し、サーバ９０との間でデータの送受信を行う。 The wired LAN communication I/F 16 connects to the Internet through a home gateway and transmits/receives data to/from the server 90 .

近距離通信Ｉ／Ｆ１８はスマートフォン２０等との間で近距離無線通信（ＮＦＣ、ＩＲ通信、Ｂｌｕｅｔｏｏｔｈ等）を行う。 The short-range communication I/F 18 performs short-range wireless communication (NFC, IR communication, Bluetooth, etc.) with the smartphone 20 or the like.

［スマートフォン］
図３（ａ）は、本実施形態のスマートフォン２０のブロック図である。スマートフォン２０は、制御部２１と、携帯網通信Ｉ／Ｆ２２と、タッチパネル２３と、記憶部２４と、無線ＬＡＮ通信Ｉ／Ｆ２７と、近距離通信Ｉ／Ｆ２８と、を備える。 [smartphone]
FIG. 3A is a block diagram of the smart phone 20 of this embodiment. Smartphone 20 includes control unit 21 , mobile network communication I/F 22 , touch panel 23 , storage unit 24 , wireless LAN communication I/F 27 , and short-range communication I/F 28 .

制御部２１は、所定のプログラムに従ってスマートフォン２０全体を制御するマイクロプロセッサユニットである。 The control unit 21 is a microprocessor unit that controls the entire smart phone 20 according to a predetermined program.

記憶部２４は、プログラム領域と、一時記憶領域と、ストレージ記憶領域とを備える。プログラム領域は、基本動作プログラムおよびその他のアプリケーションプログラムを実行する際、これらのプログラムが展開される領域である。一時記憶領域は、各種アプリケーションプログラム実行時に必要に応じてデータを一時的に保持する。ストレージ記憶領域は、各種設定値、各種プログラム、動画像データ等を電源が供給されていない状態であっても記憶する。ストレージ記憶領域には、例えば、フラッシュＲＯＭ、ＳＳＤ、ＨＤＤ等のデバイスが用いられる。 The storage unit 24 includes a program area, a temporary storage area, and a storage storage area. The program area is the area in which basic operating programs and other application programs are deployed when these programs are executed. The temporary storage area temporarily holds data as necessary when various application programs are executed. The storage area stores various setting values, various programs, moving image data, etc. even when power is not supplied. Devices such as flash ROMs, SSDs, and HDDs, for example, are used for the storage storage areas.

本実施形態のスマートフォン２０は、アプリケーションサーバから、インターネットおよび無線ＬＡＮアクセスポイントを介して、上記リモコンアプリを含む新規アプリケーションプログラムをダウンロードすることにより、機能拡張可能とする。この際、ダウンロードした新規アプリケーションプログラムは、記憶部２４のストレージ記憶領域に記憶される。 The smartphone 20 of the present embodiment can be expanded in function by downloading a new application program including the remote control application from an application server via the Internet and a wireless LAN access point. At this time, the downloaded new application program is stored in the storage area of the storage unit 24 .

本実施形態のスマートフォン２０は、制御部２１が、ストレージ記憶領域に記憶された新規アプリケーションプログラムを、プログラム領域に展開して実行することにより、多種の新規機能を実現可能であるものとする。 The smartphone 20 of the present embodiment is capable of realizing various new functions by the control unit 21 deploying a new application program stored in the storage area in the program area and executing the program.

タッチパネル２３は、例えば液晶パネルまたは有機ＥＬディスプレイ等の表示デバイスと、タッチパネル等の信号入力装置とを組み合わせた装置である。本実施形態のスマートフォン２０は、テレビ１０およびビデオカメラ３０のリモコンとして機能する。タッチパネル２３は、この際のリモコン画面等を表示する。また、画面上へのユーザの接触による操作を検出することにより操作入力の検出を行う。 The touch panel 23 is, for example, a device that combines a display device such as a liquid crystal panel or an organic EL display and a signal input device such as a touch panel. The smartphone 20 of this embodiment functions as a remote controller for the television 10 and the video camera 30 . The touch panel 23 displays a remote control screen or the like at this time. Further, an operation input is detected by detecting an operation by a user's touch on the screen.

携帯網通信Ｉ／Ｆ２２は、移動体電話通信網の基地局と無線通信を行い、電話通信（通話）およびデータの送受信を行う。 The mobile network communication I/F 22 performs wireless communication with a base station of the mobile phone communication network, and performs telephone communication (phone call) and data transmission/reception.

無線ＬＡＮ通信Ｉ／Ｆ２７は、無線ＬＡＮアクセスポイントを介してテレビ１０、ビデオカメラ３０、または、サーバ９０とデータの送受信を行う。 The wireless LAN communication I/F 27 transmits and receives data to and from the television 10, video camera 30, or server 90 via a wireless LAN access point.

近距離通信Ｉ／Ｆ２８は、テレビ１０との間で近距離無線通信（ＮＦＣ、ＩＲ通信、Ｂｌｕｅｔｏｏｔｈ等）を行う。 The short-range communication I/F 28 performs short-range wireless communication (NFC, IR communication, Bluetooth, etc.) with the television 10 .

［ビデオカメラ］
図４（ａ）は、本実施形態のビデオカメラ３０のブロック図である。ビデオカメラ３０は、制御部３１と、映像入力処理部３２と、表示部３３と、記憶部３４と、ＨＤＭＩ通信Ｉ／Ｆ３５と、無線ＬＡＮ通信Ｉ／Ｆ３７と、近距離通信Ｉ／Ｆ３８と、を備える。 [Video camera]
FIG. 4A is a block diagram of the video camera 30 of this embodiment. The video camera 30 includes a control unit 31, a video input processing unit 32, a display unit 33, a storage unit 34, an HDMI communication I/F 35, a wireless LAN communication I/F 37, a short-range communication I/F 38, Prepare.

制御部３１は、所定のプログラムに従ってビデオカメラ３０全体を制御するマイクロプロセッサユニットである。 The control section 31 is a microprocessor unit that controls the entire video camera 30 according to a predetermined program.

記憶部３４は、プログラム領域と、一時記憶領域と、ストレージ記憶領域とを備える。プログラム領域は、基本動作プログラムおよびその他のアプリケーションプログラムを実行する際、これらのプログラムが展開される領域である。一時記憶領域は、各種アプリケーションプログラム実行時に必要に応じてデータを一時的に保持する。ストレージ記憶領域は、各種設定値、各種プログラム、動画像データ等を電源が供給されていない状態であっても記憶する。ストレージ記憶領域には、例えば、フラッシュＲＯＭ、ＳＳＤ、ＨＤＤ等のデバイスが用いられる。 The storage unit 34 has a program area, a temporary storage area, and a storage storage area. The program area is the area in which basic operating programs and other application programs are deployed when these programs are executed. The temporary storage area temporarily holds data as necessary when various application programs are executed. The storage area stores various setting values, various programs, moving image data, etc. even when power is not supplied. Devices such as flash ROMs, SSDs, and HDDs, for example, are used for the storage storage areas.

表示部３３は、例えば液晶パネルまたは有機ＥＬディスプレイ等の表示デバイスである。例えば、後述の映像入力処理部３２で映像処理した映像データを表示する。 The display unit 33 is, for example, a display device such as a liquid crystal panel or an organic EL display. For example, the image data processed by the image input processing unit 32, which will be described later, is displayed.

映像入力処理部３２は、撮像光学系と、撮像素子と、映像信号処理系とを備える。撮像光学系は、レンズ、絞り等を備える。映像信号処理系は、入力された映像信号に対し、デジタル信号処理を行う。 The video input processing unit 32 includes an imaging optical system, an imaging device, and a video signal processing system. The imaging optical system includes a lens, an aperture, and the like. The video signal processing system performs digital signal processing on the input video signal.

ＨＤＭＩ通信Ｉ／Ｆ３５は、ＨＤＭＩ通信のＩ／Ｆ部である。ＨＤＭＩ通信Ｉ／Ｆ３５は、ＴＭＤＳ処理部、映像信号を暗号化する暗号化部、ＣＥＣ制御部を備え、テレビ１０等と１対１に接続される。 The HDMI communication I/F 35 is an I/F section for HDMI communication. The HDMI communication I/F 35 includes a TMDS processing section, an encryption section for encrypting video signals, and a CEC control section, and is connected to the television 10 or the like on a one-to-one basis.

無線ＬＡＮ通信Ｉ／Ｆ３７は、無線ＬＡＮアクセスポイントを介してテレビ１０またはスマートフォン２０とデータの送受信を行う。 The wireless LAN communication I/F 37 transmits and receives data to and from the television 10 or smart phone 20 via a wireless LAN access point.

近距離通信Ｉ／Ｆ３８は、無接点充電機（例えば、充電ドック）との間で近距離無線通信（ＮＦＣ、ＩＲ通信、Ｂｌｕｅｔｏｏｔｈ等）を行う。 The short-range communication I/F 38 performs short-range wireless communication (NFC, IR communication, Bluetooth, etc.) with a non-contact charger (for example, charging dock).

［機能構成］
次に、本実施形態のテレビ１０，スマートフォン２０およびビデオカメラ３０の、機能について説明する。 [Function configuration]
Next, the functions of the television 10, smart phone 20 and video camera 30 of this embodiment will be described.

［テレビ］
本実施形態のテレビ１０は、映像データを保持するビデオカメラ３０がＨＤＭＩ通信Ｉ／Ｆ１５を介して接続されたことを検知すると、スマートフォン２０にリモコンアプリを起動させ、その後の連携動作を制御する。スマートフォン２０がスリープ状態にある場合には、スリープ状態を解除した後に、リモコンアプリを起動させるようにしても良い。なお、スマートフォン２０への各種の指示は、無線ＬＡＮ通信Ｉ／Ｆ１７または近距離通信Ｉ／Ｆ１８を介して行う。特に区別する必要がない場合は、通信Ｉ／Ｆと呼ぶ。 [tv set]
When the television 10 of the present embodiment detects that the video camera 30 holding video data is connected via the HDMI communication I/F 15, the television 10 activates the remote control application on the smartphone 20 and controls subsequent cooperative operations. When the smartphone 20 is in the sleep state, the remote control application may be activated after releasing the sleep state. In addition, various instructions to the smart phone 20 are performed via wireless LAN communication I/F17 or short-distance communication I/F18. When there is no particular need to distinguish between them, they are called communication I/Fs.

これを実現するため、図２（ｂ）に示すように、本実施形態のテレビ１０は、テレビ１０、ビデオカメラ３０およびスマートフォン２０の三者間の連携を確立する第一連携確立部１２０と、三者間の連携確立後の連携動作を制御する中継部１３０と、接続検知部１４０と、を備える。また、第一連携確立部１２０は、ペアリング部１２１と、リモコン決定部１２２と、を備える。 In order to realize this, as shown in FIG. 2B, the television 10 of the present embodiment includes a first cooperation establishment unit 120 that establishes cooperation between the television 10, the video camera 30, and the smartphone 20, It includes a relay unit 130 and a connection detection unit 140 that control the cooperation operation after the cooperation between the three parties is established. First cooperation establishing section 120 also includes pairing section 121 and remote controller determining section 122 .

接続検知部１４０は、ビデオカメラ３０がＨＤＭＩ通信Ｉ／Ｆ１５を介して接続されたことを検知し、第一連携確立部１２０に通知する。本実施形態では、ビデオカメラ３０からＨＤＭＩ通信Ｉ／Ｆ１５を介して機器ＩＤが通知される。接続検知部１４０は、この機器ＩＤを得ることにより、接続を検知する。 The connection detection unit 140 detects that the video camera 30 has been connected via the HDMI communication I/F 15, and notifies the first cooperation establishment unit 120 of it. In this embodiment, the device ID is notified from the video camera 30 via the HDMI communication I/F 15 . The connection detection unit 140 detects connection by obtaining this device ID.

ペアリング部１２１は、スマートフォン２０等の、三者連携システムでリモコンとなり得る各種の端末（候補スマートフォン）からの要求（ペアリング要求）に応じて候補ビデオカメラを対応づける。対応づける候補ビデオカメラは、その候補スマートフォンで操作可能なビデオカメラであって、接続する可能性のあるビデオカメラである。対応づけた結果は、中継テーブル５００として保持する。 The pairing unit 121 associates candidate video cameras with requests (pairing requests) from various terminals (candidate smartphones) that can serve as remote controllers in the three-party cooperation system, such as the smartphone 20 . A candidate video camera to be associated is a video camera that can be operated by the candidate smartphone and has a possibility of being connected. The result of the association is held as a relay table 500. FIG.

本実施形態では、ペアリング部１２１は、ビデオカメラ３０が接続されたことを接続検知部１４０から通知されると、そのビデオカメラ３０から、機器情報を受け取り、蓄積する。従って、ペアリング部１２１は、現在接続されているビデオカメラ３０および過去に蓄積されたビデオカメラ３０の機器情報を蓄積する。 In this embodiment, when the connection detection unit 140 notifies the pairing unit 121 that the video camera 30 has been connected, the pairing unit 121 receives and accumulates device information from the video camera 30 . Therefore, the pairing unit 121 accumulates the device information of the currently connected video camera 30 and the video camera 30 accumulated in the past.

なお、機器情報は、そのビデオカメラ３０を識別する情報（機器ＩＤ）と、中継アプリ情報とを含む。中継アプリ情報は、当該ビデオカメラ３０を、テレビ１０を介してスマートフォン２０から操作する際に必要とされるアプリケーションプログラム（中継アプリ）の名称（中継アプリ名）およびスマートフォン２０の対応ＯＳ情報を含む。 The device information includes information (device ID) for identifying the video camera 30 and relay application information. The relay application information includes the name (relay application name) of an application program (relay application) required when operating the video camera 30 from the smartphone 20 via the television 10 and compatible OS information of the smartphone 20 .

中継アプリは、テレビ１０がスマートフォン２０から通信Ｉ／Ｆを介して受信した操作指示を、ビデオカメラ３０との通信Ｉ／ＦであるＨＤＭＩ通信Ｉ／Ｆ１５を介してビデオカメラ３０に指示するアプリケーションプログラムである。 The relay application is an application program that instructs the video camera 30 via the HDMI communication I/F 15, which is the communication I/F with the video camera 30, to operate instructions received by the television 10 from the smartphone 20 via the communication I/F. is.

また、本実施形態のペアリング部１２１は、候補スマートフォンから、ペアリング要求を受け取ると、当該候補スマートフォンで操作可能な候補ビデオカメラを対応づけて、中継テーブル５００を生成する。候補スマートフォンから送信されるペアリング要求は、当該候補スマートフォンの識別情報（機器ＩＤ）と、当該候補スマートフォンのＯＳ情報とを含む。機器ＩＤは、例えば、候補スマートフォンのＩＰアドレス等であってもよい。また、ペアリング部１２１は、対応づけた候補ビデオカメラの機器ＩＤを、折り返し、要求元の候補スマートフォンに通知する。 Also, upon receiving a pairing request from a candidate smartphone, the pairing unit 121 of the present embodiment associates candidate video cameras operable by the candidate smartphone and generates the relay table 500 . A pairing request transmitted from a candidate smartphone includes identification information (device ID) of the candidate smartphone and OS information of the candidate smartphone. The device ID may be, for example, the IP address of the candidate smart phone. In addition, the pairing unit 121 notifies the device ID of the associated candidate video camera back to the requesting candidate smartphone.

ペアリング部１２１は、例えば、ペアリング要求に含まれるスマートフォンのＯＳ情報と、候補外部機器の対応ＯＳ情報とを用い、対応づけの可否を判別する。 The pairing unit 121 uses, for example, the OS information of the smartphone included in the pairing request and the compatible OS information of the candidate external device to determine whether or not the association is possible.

ここで、ペアリング部１２１が作成する中継テーブル５００の例を図５に示す。本図に示すように、本実施形態の中継テーブル５００は、候補スマートフォンの機器ＩＤ５１０に対応づけて、操作可能な候補ビデオカメラ５２０が登録される。そして、候補ビデオカメラ５２０の情報として、機器ＩＤ５２１と、中継アプリ名５２２と、その中継アプリがインストールされているか否かを示す情報（インストール）５２３とが登録される。なお、図５には、インストール５２３として、中継アプリがインストールされている場合は「１」を、インストールされていない場合は「０」を登録する場合を例示する。 FIG. 5 shows an example of the relay table 500 created by the pairing section 121. As shown in FIG. As shown in this figure, in the relay table 500 of the present embodiment, operable candidate video cameras 520 are registered in association with device IDs 510 of candidate smartphones. As information on the candidate video camera 520, a device ID 521, a relay application name 522, and information (installation) 523 indicating whether or not the relay application is installed are registered. FIG. 5 illustrates a case where "1" is registered as the installation 523 when the relay application is installed, and "0" is registered when it is not installed.

なお、１つの候補ビデオカメラに複数の候補スマートフォンが対応づけられる場合、それらの間に、予め優先順位を付し、その情報を中継テーブル５００に登録してもよい。 Note that if one candidate video camera is associated with a plurality of candidate smartphones, priority may be given among them in advance, and the information thereof may be registered in the relay table 500 .

リモコン決定部１２２は、ＨＤＭＩ通信Ｉ／Ｆ１５を介してビデオカメラ３０が接続されると、三者連携システムにおいてリモコンとして用いるスマートフォン２０を決定し、決定したスマートフォン２０にリモコンアプリを起動させる。スマートフォン２０は、ペアリング部１２１が作成した中継テーブル５００を参照し、接続されたビデオカメラ３０（候補ビデオカメラ）に対応づけて登録されている候補スマートフォンの中から決定する。 When the video camera 30 is connected via the HDMI communication I/F 15, the remote controller determination unit 122 determines the smartphone 20 to be used as a remote controller in the three-party cooperation system, and causes the determined smartphone 20 to start the remote controller application. The smartphone 20 refers to the relay table 500 created by the pairing unit 121 and selects candidate smartphones registered in association with the connected video cameras 30 (candidate video cameras).

例えば、中継テーブル５００に、候補スマートフォンの優先順位が付与されている場合、当該優先順位に従って決定する。一方、優先順位が付与されていない場合は、例えば、その時点でテレビ１０に最も近い候補スマートフォンを選択する。最も近い候補スマートフォンは、例えば、テレビ１０と各候補スマートフォンとの間で近距離無線通信（ＮＦＣ、ＩＲ通信、Ｂｌｕｅｔｏｏｔｈ等）または無線ＬＡＮによる通信を行い、最も電波強度の大きいものを選択する。 For example, if the relay table 500 gives priority to candidate smartphones, determination is made according to the priority. On the other hand, if no priority is assigned, for example, the candidate smart phone that is closest to the television 10 at that time is selected. For example, the nearest candidate smartphone performs short-range wireless communication (NFC, IR communication, Bluetooth, etc.) or wireless LAN communication between the television 10 and each candidate smartphone, and selects the smartphone with the highest radio wave intensity.

なお、中継テーブル５００に登録されている複数の候補スマートフォンから、リモコンとして使用するスマートフォン２０を選択する手法は、これに限定されない。例えば、登録されている全ての候補スマートフォンに通知を行い、最も早く承諾の意思を送信してきた候補スマートフォンを選択するよう構成してもよい。 Note that the method of selecting smartphone 20 to be used as a remote controller from multiple candidate smartphones registered in relay table 500 is not limited to this. For example, notification may be sent to all registered candidate smartphones, and the candidate smartphone that has transmitted the intention of acceptance the earliest may be selected.

また、ここで選択したスマートフォン２０との間の通信が途切れた場合、リモコン決定部１２２は、再度、上記手法でリモコンとして用いるスマートフォン２０を決定する。 Further, when communication with the smartphone 20 selected here is interrupted, the remote controller determination unit 122 again determines the smartphone 20 to be used as the remote controller by the above method.

リモコン決定部１２２は、ビデオカメラ３０を操作するリモコンアプリを起動させるための起動信号を生成し、決定したスマートフォン２０に対し、通信Ｉ／Ｆを介して送信する。本実施形態では、起動信号は、テレビ１０およびビデオカメラ３０それぞれの機器ＩＤを含む。この起動信号を受信したスマートフォン２０側では、ビデオカメラ３０を操作するリモコンアプリを起動させる。 Remote controller determination unit 122 generates an activation signal for activating a remote control application for operating video camera 30 and transmits the activation signal to determined smartphone 20 via communication I/F. In this embodiment, the activation signal includes the device IDs of the television 10 and the video camera 30, respectively. Upon receiving this activation signal, the smartphone 20 side activates a remote control application for operating the video camera 30 .

中継部１３０は、三者連携確立後、中継アプリに従って、中継処理を行う。具体的には、スマートフォン２０がリモコンアプリを介して受け付けた操作指示をスマートフォン２０から受信し、ビデオカメラ３０に中継する。また、その操作指示に応じてビデオカメラ３０から転送されたデータを処理する。 After the three-party cooperation is established, the relay unit 130 performs relay processing according to the relay application. Specifically, the smartphone 20 receives an operation instruction received via the remote control application from the smartphone 20 and relays it to the video camera 30 . It also processes data transferred from the video camera 30 according to the operation instruction.

なお、操作指示は、ビデオカメラ３０を操作する指示である。本実施形態では、例えば、表示部１３にビデオカメラ３０の操作画面を表示させる指示、ビデオカメラ３０が保持する映像データを表示部１３に表示させる指示等が含まれる。 Note that the operation instruction is an instruction to operate the video camera 30 . In this embodiment, for example, an instruction to display the operation screen of the video camera 30 on the display unit 13, an instruction to display video data held by the video camera 30 on the display unit 13, and the like are included.

なお、テレビ１０が実現する各機能は、記憶部１４のストレージ領域に格納されるプログラムを、制御部１１のマイクロプロセッサが、プログラム領域に展開し、実行することにより実現される。また、中継テーブル５００は、ストレージ領域に格納される。テレビ１０が実現する各機能のうち、全部または一部の機能は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）などのハードウェアによって実現されてもよい。また、テレビ１０とビデオカメラ３０とがＨＤＭＩで接続される場合、テレビ１０とビデオカメラ３０との間の制御信号のやり取りは、ＣＥＣ機能により実現されてもよい。 Each function realized by the television 10 is realized by developing a program stored in the storage area of the storage unit 14 into a program area by the microprocessor of the control unit 11 and executing the program. Also, the relay table 500 is stored in the storage area. All or part of the functions realized by the television 10 may be realized by hardware such as ASICs (Application Specific Integrated Circuits) and FPGAs (field-programmable gate arrays). Further, when the television 10 and the video camera 30 are connected by HDMI, exchange of control signals between the television 10 and the video camera 30 may be realized by the CEC function.

［スマートフォン］
スマートフォン２０は、テレビ１０からの指示に従って、ビデオカメラ３０のリモコンとして機能する。これを実現するため、図３（ｂ）に示すように、本実施形態のスマートフォン２０は、テレビ１０、ビデオカメラ３０およびスマートフォン２０の三者間の連携を確立する第二連携確立部２１０と、リモコン処理部２２０とを備える。また、第二連携確立部２１０は、連携テーブル作成部２１１を備える。 [smartphone]
The smart phone 20 functions as a remote controller for the video camera 30 according to instructions from the television 10 . In order to realize this, as shown in FIG. 3B, the smartphone 20 of the present embodiment includes a second cooperation establishing unit 210 that establishes cooperation between the television 10, the video camera 30, and the smartphone 20, and a remote control processing unit 220 . Also, the second cooperation establishment unit 210 includes a cooperation table creation unit 211 .

連携テーブル作成部２１１は、三者間の連携を実現するために、連携テーブル６００を作成する。本実施形態では、自身が操作可能なテレビ（候補テレビ）と候補ビデオカメラとの組み合わせ、および、操作に用いるアプリケーション（リモコンアプリ）を対応づけて連携テーブルとして作成する。 The link table creating unit 211 creates a link table 600 in order to realize link among the three parties. In this embodiment, combinations of televisions (candidate televisions) and candidate video cameras that can be operated by the user and applications (remote control applications) used for the operations are associated with each other to create a linkage table.

具体的には、テレビ１０にペアリング要求を行った結果、テレビ１０から通知された候補ビデオカメラの機器ＩＤを、通知元のテレビ１０を候補テレビとして、当該候補テレビの機器ＩＤに対応づけて保持する。また、対応づけた候補ビデオカメラの機器ＩＤおよびテレビ１０の機器ＩＤに基づき、テレビ１０を介して当該候補ビデオカメラを操作するためのリモコンアプリを特定する。 Specifically, as a result of issuing a pairing request to the television 10, the device ID of the candidate video camera notified from the television 10 is associated with the device ID of the candidate television, with the television 10 as the notification source being the candidate television. Hold. Also, based on the associated device ID of the candidate video camera and the device ID of the television 10, a remote control application for operating the candidate video camera via the television 10 is specified.

なお、本実施形態では、上述のように、リモコンアプリは、テレビ１０を介してビデオカメラ３０を操作するリモコンとしてスマートフォン２０を機能させる。すなわち、リモコンアプリは、例えば、ビデオカメラ３０に保持される映像データを、テレビ１０の表示部１３に表示させる指示を受け付けるアプリケーションである。このリモコンアプリは、一般に、外部のサーバ９０に保持される。本実施形態のスマートフォン２０は、インターネットを介してサーバ９０にアクセスし、該当するアプリケーションを入手する。 Note that, in the present embodiment, as described above, the remote control application causes the smartphone 20 to function as a remote control for operating the video camera 30 via the television 10 . That is, the remote control application is an application that receives an instruction to display video data held in the video camera 30 on the display unit 13 of the television 10, for example. This remote control application is generally held in an external server 90 . The smartphone 20 of this embodiment accesses the server 90 via the Internet and obtains the corresponding application.

図６に、本実施形態の連携テーブル作成部２１１が作成する連携テーブル６００の例を示す。本図に示すように、本実施形態の連携テーブル６００は、候補テレビ毎に、当該候補テレビの機器ＩＤ６１０と、当該候補テレビを介して操作可能なビデオカメラである候補ビデオカメラの機器ＩＤ６２０と、当該候補テレビを介して当該候補ビデオカメラをそれぞれ制御するためのリモコンアプリを特定する情報（リモコンアプリ名）６３０と、を対応づけて登録する。また、そのリモコンアプリ名６３０を有するリモコンアプリの、インストールの有無を示す情報（インストール）６４０も合わせて登録する。なお、図６には、インストール６４０として、リモコンアプリがインストールされている場合は「１」を、インストールされていない場合は「０」を登録する場合を例示する。 FIG. 6 shows an example of a link table 600 created by the link table creating unit 211 of this embodiment. As shown in this figure, the linkage table 600 of this embodiment includes, for each candidate television, a device ID 610 of the candidate television, a device ID 620 of the candidate video camera that is a video camera that can be operated via the candidate television, Information (remote control application name) 630 specifying a remote control application for controlling each of the candidate video cameras via the candidate television is associated and registered. Information (installation) 640 indicating whether or not the remote control application having the remote control application name 630 is installed is also registered. FIG. 6 illustrates a case where "1" is registered as the installation 640 when the remote control application is installed, and "0" is registered when it is not installed.

リモコン処理部２２０は、三者連携を実現するための処理を行う。具体的には、リモコンアプリを展開して実行する。 The remote control processing unit 220 performs processing for realizing three-party cooperation. Specifically, the remote control application is expanded and executed.

スマートフォン２０が実現する各機能は、記憶部２４のストレージ領域に格納されるプログラムを、制御部２１のマイクロプロセッサが、プログラム領域に展開し、実行することにより実現される。また、連携テーブル６００は、ストレージ領域に格納される。スマートフォン２０が実現する各機能のうち、全部または一部の機能は、ＡＳＩＣ、ＦＰＧＡなどのハードウェアによって実現されてもよい。 Each function realized by the smartphone 20 is realized by the microprocessor of the control unit 21 developing a program stored in the storage area of the storage unit 24 into a program area and executing the program. Also, the linkage table 600 is stored in the storage area. All or part of the functions realized by the smartphone 20 may be realized by hardware such as ASIC and FPGA.

［ビデオカメラ］
本実施形態のビデオカメラ３０は、ＨＤＭＩ通信Ｉ／Ｆ３５を介して、テレビ１０に接続されると、接続相手のテレビ１０に、自身を制御するための情報を送信する。上述のように、本機能は、ＣＥＣ機能により実現されてもよい。 [Video camera]
When the video camera 30 of the present embodiment is connected to the television 10 via the HDMI communication I/F 35, it transmits information for controlling itself to the television 10 of the connection partner. As mentioned above, this function may be realized by the CEC function.

［三者連携処理の流れ］
以上の機能を有するテレビ１０、スマートフォン２０およびビデオカメラ３０による、三者連携処理の流れを説明する。図７は、本実施形態の三者連携処理の流れを説明するためのフローチャートである。なお、中継テーブル５００および連携テーブル６００は、予め作成されているものとする。 [Three-Party Coordination Processing Flow]
A flow of three-party cooperation processing by the television 10, the smartphone 20, and the video camera 30 having the above functions will be described. FIG. 7 is a flowchart for explaining the flow of the three-party cooperation processing of this embodiment. It is assumed that the relay table 500 and the link table 600 are created in advance.

また、以下では、ビデオカメラ３０の記憶部３４に記録された動画像の中から、スマートフォン２０への操作により所望の動画像を選択してテレビ１０の表示部１３に表示する場合を例にあげて説明する。しかしながら、この例に限定されない。動画像を選択して表示する指示以外にも、例えば、ビデオカメラ３０が保持する動画像または静止画をテレビ１０の記憶部１４に記憶させるための指示等でも、この連携処理を同様に適用できる。 Further, in the following, a case of selecting a desired moving image from the moving images recorded in the storage unit 34 of the video camera 30 by operating the smartphone 20 and displaying it on the display unit 13 of the television 10 will be taken as an example. to explain. However, it is not limited to this example. In addition to the instruction to select and display a moving image, for example, this cooperative processing can be similarly applied to an instruction to store a moving image or still image held by the video camera 30 in the storage unit 14 of the television 10. .

まず、ビデオカメラ３０をテレビ１０にＨＤＭＩで接続し、或いは、ＨＤＭＩでテレビ１０に接続済みのビデオカメラ３０の電源をＯＮにすると（ステップＳ３０１）、ビデオカメラ３０からテレビ１０に、ビデオカメラ３０の機器ＩＤを含むトリガが送信される。 First, when the video camera 30 is connected to the television 10 via HDMI or the power of the video camera 30 already connected to the television 10 via HDMI is turned on (step S301), the video camera 30 is transmitted from the video camera 30 to the television 10. A trigger containing the device ID is sent.

テレビ１０では、接続検知部１４０が機器ＩＤの通知を受け、リモコン決定部１２２に送信する。機器ＩＤを受信すると、テレビ１０のリモコン決定部１２２は、中継テーブル５００を参照し、中継アプリを取得する中継アプリ取得処理を行い（ステップＳ１０１）、中継アプリを取得する。また、リモコンとして用いるスマートフォンを決定するリモコン決定処理も行い（ステップＳ１０２）、スマートフォン２０を決定する。 In the television 10 , the connection detection unit 140 receives the notification of the device ID and transmits it to the remote controller determination unit 122 . Upon receiving the device ID, the remote controller determining unit 122 of the television 10 refers to the relay table 500, performs relay application acquisition processing for acquiring the relay application (step S101), and acquires the relay application. Further, a remote controller determination process for determining the smartphone to be used as the remote controller is also performed (step S102), and the smartphone 20 is determined.

そして、リモコン決定部１２２は、決定したスマートフォン２０に対し、接続指示を通知する（ステップＳ１０３）。ここでは、スマートフォン２０に、テレビ１０の機器ＩＤ、ビデオカメラ３０の機器ＩＤを通知するとともに、リモコンアプリの起動を促すコマンドを送信する。 Then, the remote control determining unit 122 notifies the determined smartphone 20 of a connection instruction (step S103). Here, the device ID of the television 10 and the device ID of the video camera 30 are notified to the smartphone 20, and a command prompting activation of the remote control application is transmitted.

ここで、ステップＳ１０１の中継アプリ取得処理の詳細を、図８を用いて説明する。 Here, the details of the relay application acquisition process in step S101 will be described with reference to FIG.

まず、リモコン決定部１２２は、中継テーブル５００を検索し（ステップＳ４１１）、受信した機器ＩＤが登録されているか否かを判別する（ステップＳ４１２）。ここで、登録されていない場合は、三者連携処理自体を終了する。 First, the remote controller determination unit 122 searches the relay table 500 (step S411), and determines whether or not the received device ID is registered (step S412). Here, if it is not registered, the three-party cooperation processing itself is terminated.

一方、登録されている場合は、リモコン決定部１２２は、当該機器ＩＤ５２１に対応づけて登録されている中継アプリが、インストール済みであるか否かを判別する（ステップＳ４１３）。インストール済みである場合、最新版であるか否かを判別する（ステップＳ４１４）。最新版であるか否かは、インターネット経由でサーバ９０にアクセスし、中継アプリ情報として登録されているバージョン情報と、提供されている最新版の情報とを比較し、判別する。 On the other hand, if it is registered, the remote controller determination unit 122 determines whether or not the relay application registered in association with the device ID 521 has been installed (step S413). If it has been installed, it is determined whether it is the latest version (step S414). Whether or not it is the latest version is determined by accessing the server 90 via the Internet and comparing the version information registered as the relay application information with the provided latest version information.

最新版の中継アプリがインストールされている場合は、処理を終了する。一方、中継アプリがインストールされていない場合、あるいは、インストールされていても最新版でない場合、リモコン決定部１２２は、インターネット経由でサーバ９０にアクセスし、最新版の中継アプリをダウンロードし（ステップＳ４１５）、インストールし（ステップＳ４１６）、中継アプリ取得処理を終了する。 If the latest version of the relay application is installed, the process ends. On the other hand, if the relay application is not installed, or if it is installed but not the latest version, remote controller determination unit 122 accesses server 90 via the Internet and downloads the latest version of the relay application (step S415). , is installed (step S416), and the relay application acquisition process ends.

なお、ビデオカメラ３０が中継アプリを保持し、テレビ１０がビデオカメラ３０から中継アプリを取得するようにしても良い。また、サーバ９０に記憶されている中継アプリとビデオカメラ３０に記憶されている中継アプリとのバージョンを比較し、適宜新しいものを取得するようにしても良い。 Note that the video camera 30 may hold the relay application, and the television 10 may acquire the relay application from the video camera 30 . Also, the version of the relay application stored in the server 90 and the version of the relay application stored in the video camera 30 may be compared, and a new one may be obtained as appropriate.

また、上記説明では、中継アプリがインストールされている場合でも、それが最新版であるか否かをインターネット経由でサーバ９０に確認し、あるいは、ビデオカメラ３０に問い合わせ、常に最新版をインストールするよう構成している。しかしながら、最新版であるか否かの確認は行わなくてもよい。 Further, in the above description, even if the relay application is installed, the server 90 is checked via the Internet as to whether or not it is the latest version, or the video camera 30 is contacted to always install the latest version. Configure. However, it is not necessary to confirm whether it is the latest version.

また、ビデオカメラ３０に古いバージョンの中継アプリが記憶されている状態で、インターネット経由でサーバ９０から最新版の中継アプリをダウンロードした場合、テレビ１０は、サーバ９０から取得した最新版の中継アプリを以て、ビデオカメラ３０に記憶された古いバージョンの中継アプリを更新するようにしても良い。 Further, when the latest version of the relay application is downloaded from the server 90 via the Internet while the old version of the relay application is stored in the video camera 30, the television 10 uses the latest version of the relay application obtained from the server 90. , the old version of the relay application stored in the video camera 30 may be updated.

次に、ステップＳ１０２のリモコン決定処理の詳細を、図９を用いて説明する。 Next, the details of the remote controller determination process in step S102 will be described with reference to FIG.

リモコン決定部１２２は、まず、テレビ１０の無線ＬＡＮの同一サブネットワーク（サブＮＷ）内の、リモコンとなり得る機器を検索し（ステップＳ４２１）、抽出する。ここでは、例えば、同一サブＮＷ内の各種の機器のうち、スマートフォンを検索する。 The remote controller determination unit 122 first searches for a device that can be a remote controller within the same sub-network (sub NW) of the wireless LAN of the television 10 (step S421) and extracts it. Here, for example, smartphones are searched among various devices in the same sub NW.

そして、リモコン決定部１２２は、中継テーブル５００を検索し（ステップＳ４２２）、ステップＳ４２１で抽出したスマートフォンの中に、Ｓ１０１の処理で受信した機器ＩＤを持つビデオカメラ３０に対応づけて登録されている候補スマートフォンがあるか否かを判別する（ステップＳ４２３）。 Then, the remote control determining unit 122 searches the relay table 500 (step S422), and among the smartphones extracted in step S421, the video camera 30 having the device ID received in the process of S101 is registered in association with the video camera 30. It is determined whether or not there is a candidate smartphone (step S423).

登録されていない場合、三者連携処理自体を終了する。なお、終了前に、ユーザにリモコンとして使用可能なスマートフォンの登録がないことを通知するよう構成してもよい。 If not registered, the three-party cooperation processing itself is ended. Note that the user may be notified that there is no registered smartphone that can be used as a remote controller before the end.

一方、登録されている場合は、リモコン決定部１２２は、登録されている候補スマートフォンの台数を判別する（ステップＳ４２４）。 On the other hand, if registered, the remote controller determination unit 122 determines the number of registered candidate smartphones (step S424).

複数台登録されている場合、リモコン決定部１２２は、その中からリモコンとするスマートフォン２０を選択し（ステップＳ４２５）、それをリモコンとして用いるスマートフォン２０と決定する（ステップＳ４２６）。選択は、上述の手法により行う。 If a plurality of smartphones are registered, the remote controller determination unit 122 selects the smartphone 20 to be used as the remote controller from among them (step S425), and determines the smartphone 20 to be used as the remote controller (step S426). The selection is made according to the techniques described above.

上記ステップＳ４２４で、登録されている台数が１台であれば、その候補スマートフォンを、リモコンとして用いるスマートフォン２０と決定する（ステップＳ４２６）。リモコンとして用いるスマートフォン２０が決定すると、リモコン決定部１２２は、リモコン決定処理を終了する。 In step S424, if the number of registered smartphones is one, the candidate smartphone is determined to be the smartphone 20 to be used as a remote controller (step S426). After determining the smartphone 20 to be used as the remote controller, the remote controller determination unit 122 terminates the remote controller determination process.

なお、このリモコン決定処理は、三者連携処理実行中に、何等かの事情でリモコンとして用いるスマートフォン２０との接続が途切れた場合も、実行される。 Note that this remote control determination process is also executed when the connection with the smartphone 20 used as the remote control is interrupted for some reason during the execution of the three-party cooperation process.

図７に戻り、接続指示を受けたスマートフォン２０のリモコン処理部２２０は、リモコンアプリ取得処理を行う（ステップＳ２０１）。 Returning to FIG. 7, the remote control processing unit 220 of the smartphone 20 that has received the connection instruction performs remote control application acquisition processing (step S201).

リモコンアプリ取得処理の詳細を、図１０に従って、説明する。 Details of the remote control application acquisition process will be described with reference to FIG.

リモコン処理部２２０は、通知されたテレビ１０の機器ＩＤおよびビデオカメラ３０の機器ＩＤを用い、連携テーブル６００を検索し（ステップＳ４３１）、両者に対応づけられたリモコンアプリがインストールされているか否かを判別する（ステップＳ４３２）。 Using the notified device ID of the television 10 and the device ID of the video camera 30, the remote control processing unit 220 searches the linkage table 600 (step S431), and determines whether the remote control application associated with both is installed. is determined (step S432).

リモコンアプリがインストールされている場合、リモコン処理部２２０は、そのアプリのバージョンが最新版であるか否かを判別する（ステップＳ４３３）。最新版であるか否かの判別は、インターネット経由でサーバ９０にアクセスし、リモコンアプリ情報として登録されているバージョン情報と、提供されている最新版の情報とを比較し、行う。 If the remote control application is installed, remote control processing unit 220 determines whether the version of the application is the latest version (step S433). Whether or not it is the latest version is determined by accessing the server 90 via the Internet and comparing version information registered as remote control application information with the provided latest version information.

リモコンアプリがインストールされていない場合、あるいは、インストールされていても最新版でない場合、リモコン処理部２２０は、サーバ９０にアクセスし、最新版のリモコンアプリをダウンロードする（ステップＳ４３４）。そして、それをインストールし（ステップＳ４３５）、処理を終了する。 If the remote control application is not installed, or if it is installed but not the latest version, remote control processing unit 220 accesses server 90 and downloads the latest version of the remote control application (step S434). Then, it is installed (step S435), and the process ends.

なお、上述の中継アプリ同様、最新版であるか否かの判別は、行わなくてもよい。さらに、ここでは、リモコンアプリは、サーバ９０からダウンロードするものとして説明したが、テレビ１０からダウンロードしてもよい。この場合、各種リモコンアプリをテレビ１０の記憶部１４のストレージ記憶領域に予め記憶させておく。また、サーバ９０に記憶されているリモコンアプリとテレビ１０に記憶されているリモコンアプリとのバージョンを比較し、新しい方を取得しても良い。また、インターネット経由でサーバ９０からダウンロードしたリモコンアプリをテレビ１０のストレージ記憶領域に記憶させても良い。 As with the relay application described above, it is not necessary to determine whether or not it is the latest version. Furthermore, here, the remote control application has been described as being downloaded from the server 90, but it may be downloaded from the television 10 as well. In this case, various remote control applications are stored in advance in the storage area of the storage unit 14 of the television 10 . Also, the version of the remote control application stored in the server 90 and the version of the remote control application stored in the television 10 may be compared and the newer version may be obtained. Also, a remote control application downloaded from the server 90 via the Internet may be stored in the storage area of the television 10 .

図７に戻り、リモコンアプリ取得処理を終えると、リモコン処理部２２０は、リモコンアプリを起動し、スマートフォン２０のタッチパネル２３に、リモコン画像を表示する（ステップＳ２０２）。ここで、表示されるリモコン画像は、スクロール可能な態様で表示され、テレビ１０またはビデオカメラ３０のどちらを操作するか選択可能な操作表示、チャネル操作表示、録画された動画の再生スタート、ストップの等の表示がなされる。 Returning to FIG. 7, after completing the remote control application acquisition process, the remote control processing unit 220 activates the remote control application and displays a remote control image on the touch panel 23 of the smartphone 20 (step S202). Here, the displayed remote control image is displayed in a scrollable manner, and includes an operation display for selecting which of the television 10 or the video camera 30 is to be operated, a channel operation display, and a display for starting and stopping playback of recorded moving images. etc. are displayed.

表示されるリモコン画像の一例を、図１１（ａ）および図１１（ｂ）に示す。本図に示すように、本実施形態のリモコン画像７００は、操作対象機器選択領域７１０と、リモコン操作受付領域７２０とを備える。 An example of the displayed remote control image is shown in FIGS. 11(a) and 11(b). As shown in this figure, the remote control image 700 of this embodiment includes an operation target device selection area 710 and a remote control operation reception area 720 .

操作対象機器選択領域７１０は、このリモコン画像７００を介して操作する対象の機器の選択を受け付ける。ここでは、テレビ１０およびビデオカメラ３０のいずれかを受け付ける。例えば、これらの図に示すように、選択を受け付けるためのボタンを備える。また、これらのボタンは、選択された機器が識別可能なように表示される。 An operation target device selection area 710 accepts selection of a target device to be operated via this remote control image 700 . Either television 10 or video camera 30 is accepted here. For example, as shown in these figures, buttons are provided for accepting selections. Also, these buttons are displayed so that the selected device can be identified.

リモコン操作受付領域７２０には、操作対象機器選択領域７１０で選択された機器の操作画面が表示される。例えば、テレビ１０が選択された場合、チャンネル選択表示等がなされる。一方、ビデオカメラ３０が選択された場合、再生する動画の選択、再生スタート、再生ストップ等の指示を受け付ける画面表示がなされる。また、いずれを選択した場合でも、音量調整等は、共通に表示される。 The operation screen of the device selected in the operation target device selection region 710 is displayed in the remote control operation reception region 720 . For example, when the television 10 is selected, a channel selection display or the like is performed. On the other hand, when the video camera 30 is selected, a screen is displayed for receiving instructions such as selection of a moving image to be reproduced, reproduction start, reproduction stop, and the like. In addition, regardless of which one is selected, the volume adjustment and the like are displayed in common.

なお、リモコン操作受付領域７２０は、スクロールにより、操作画面が変わるよう構成されていてもよい。この場合も、操作対象機器選択領域７１０に、操作画面で操作する対象の機器が識別可能な態様で表示されてもよい。 Note that the remote control operation receiving area 720 may be configured so that the operation screen changes by scrolling. In this case as well, the device to be operated on the operation screen may be displayed in an identifiable manner in the operation target device selection area 710 .

なお、このリモコン画像７００はあくまでも１例であり、どのように表示させるかは、各機器が実装している機能により変わる。また、例えば、機器選択の表示を３以上に設定しても良い。また、機器毎のリモコン操作を統合したリモコン画像としてもよい。例えば、ビデオカメラ３０の動画を再生すると同時に、その画像をテレビ１０の記憶部１４に記録するように指示することを可能とする画像などである。 Note that this remote control image 700 is merely an example, and how it is displayed varies depending on the functions implemented by each device. Also, for example, the display of device selection may be set to three or more. Also, a remote control image that integrates remote control operations for each device may be used. For example, it is an image that enables an instruction to record the image in the storage unit 14 of the television 10 at the same time as reproducing the moving image of the video camera 30 .

図７に戻り、リモコン画像がタッチパネル２３に表示されると、リモコン処理部２２０は、ビデオカメラ３０の動画選択画面の転送指示を行う（ステップＳ２０３）。この転送指示は、スマートフォン２０から、テレビ１０へ送信される。そして、それを受けたテレビ１０の中継部１３０が、当該指示を、中継先のビデオカメラ３０に送信する（ステップＳ１０４）。 Returning to FIG. 7, when the remote control image is displayed on the touch panel 23, the remote control processing unit 220 instructs to transfer the moving image selection screen of the video camera 30 (step S203). This transfer instruction is transmitted from the smartphone 20 to the television 10 . Then, the relay unit 130 of the television 10 that receives the instruction transmits the instruction to the video camera 30 of the relay destination (step S104).

転送指示を受信したビデオカメラ３０では、動画選択画面のデータをテレビ１０に転送する（ステップＳ３０２）。なお、動画選択画面は、例えば、ビデオカメラ３０に記憶されている動画像を選択する画面とする。選択する画面とは、例えば、動画像のサムネイル画像が表示されている画像等である。 Upon receiving the transfer instruction, the video camera 30 transfers the data of the moving image selection screen to the television 10 (step S302). Note that the moving image selection screen is, for example, a screen for selecting moving images stored in the video camera 30 . The screen to be selected is, for example, an image displaying a thumbnail image of a moving image.

動画選択画面のデータを受信したテレビ１０では、中継部１３０が、当該データに従って、ビデオカメラ３０の動画選択画面を、表示部１３に表示する（ステップＳ１０５）。そして、中継部１３０は、転送指示元のスマートフォン２０に、画面表示が終了したことを意味する画面表示終了通知を行う（ステップＳ１０６）。 In the television 10 that has received the data of the moving image selection screen, the relay unit 130 displays the moving image selection screen of the video camera 30 on the display unit 13 according to the data (step S105). Then, the relay unit 130 notifies the smartphone 20, which is the source of the transfer instruction, that the screen display has ended (step S106).

画面表示終了通知を受け付けると、スマートフォン２０では、リモコン処理部２２０が、自身をユーザからのリモコン操作の受け付けが可能な状態とする。これにより、ユーザは、テレビ１０の表示部１３に表示される動画選択画面を見ながらビデオカメラ３０への指示を行うことができる。 Upon receiving the screen display end notification, the remote control processing unit 220 of the smartphone 20 puts itself into a state capable of receiving a remote control operation from the user. This allows the user to give instructions to the video camera 30 while watching the moving image selection screen displayed on the display unit 13 of the television 10 .

リモコン処理部２２０は、ユーザからの操作による指示（操作指示）を受け付けると、当該操作指示をテレビ１０に送信する（ステップＳ２０４）。ここで受け付ける操作指示は、例えば、選択した動画の再生指示等である。動画の選択は、例えば、テレビ１０に動画選択画面として表示される動画像のサムネイル画像から選択する。 Upon receiving an operation instruction (operation instruction) from the user, the remote control processing unit 220 transmits the operation instruction to the television 10 (step S204). The operation instruction received here is, for example, an instruction to reproduce the selected moving image. The moving image is selected, for example, from thumbnail images of moving images displayed as a moving image selection screen on the television 10 .

スマートフォン２０から操作指示を受信すると、テレビ１０では、中継部１３０が、ビデオカメラ３０に当該操作指示を中継する（ステップＳ１０７）。 Upon receiving the operation instruction from the smartphone 20, the relay unit 130 of the television 10 relays the operation instruction to the video camera 30 (step S107).

指示を受け取ったビデオカメラ３０では、操作指示に従って、データをテレビ１０に転送する（ステップＳ３０３）。例えば、所定の動画の再生指示を受け取った場合、当該動画像データをテレビ１０に転送する。 Upon receiving the instruction, the video camera 30 transfers the data to the television 10 according to the operation instruction (step S303). For example, when an instruction to reproduce a predetermined moving image is received, the moving image data is transferred to the television 10 .

テレビ１０の中継部１３０は、転送されたデータを表示部１３に表示する（ステップＳ１０８）とともに、中継処理を終了したことを意味する処理終了通知を、スマートフォン２０に送信する（ステップＳ１０９）。例えば、動画像データを受信した場合、当該動画像の表示を開始する。 The relay unit 130 of the television 10 displays the transferred data on the display unit 13 (step S108), and transmits a process end notification indicating that the relay process has ended to the smartphone 20 (step S109). For example, when moving image data is received, display of the moving image is started.

処理終了通知を受信したスマートフォン２０では、リモコン処理部２２０が、リモコン画像を更新する（ステップＳ２０５）。なお、ステップＳ１０３でテレビ１０から通知された接続指示を受信したスマートフォン２０は、リモコンアプリがインストール済みの場合、リモコンアプリの自動起動を促さず、代わりに、リモコンアプリのアイコンの色を変更することによりテレビ１０からの通知があった旨をユーザに知らせるようにしても良い。ユーザは、リモコンアプリの色が変わったことを確認してリモコンアプリを手動で起動するようにしても良い。 In the smartphone 20 that has received the processing end notification, the remote controller processing unit 220 updates the remote controller image (step S205). When the remote control app is already installed, the smartphone 20 that has received the connection instruction notified from the television 10 in step S103 does not prompt the automatic activation of the remote control app, and instead changes the color of the icon of the remote control app. The user may be notified that there is a notification from the television 10 by. The user may manually start the remote control application after confirming that the color of the remote control application has changed.

以上説明したように、本実施形態によれば、例えば、ビデオカメラ３０をテレビ１０に接続することをトリガとして、ビデオカメラ３０とテレビ１０とスマートフォン２０との連携を確立する。そして、スマートフォン２０からのリモコン操作により、ビデオカメラ３０とテレビ１０とを連携制御できる。 As described above, according to the present embodiment, for example, connection of the video camera 30 to the television 10 is used as a trigger to establish cooperation among the video camera 30 , the television 10 , and the smartphone 20 . The video camera 30 and the television 10 can be cooperatively controlled by remote control operation from the smartphone 20 .

このように、本実施形態によれば、特定の外部機器に限らず、多種多様な外部機器（ビデオカメラ）が映像表示装置（テレビ）に接続される可能性がある環境であっても、自動的に装置間の連携を確立することができる。このため、操作性および使い勝手のよい三者連携システムを、ユーザに過度な負担を与えることなく確立できる。 As described above, according to the present embodiment, even in an environment in which a wide variety of external devices (video cameras) may be connected to a video display device (television), not only a specific external device, automatic It is possible to establish cooperation between devices automatically. Therefore, a three-party cooperation system with good operability and usability can be established without imposing an excessive burden on the user.

＜第二の実施形態＞
次に、本発明の第二の実施形態を説明する。第一の実施形態では、映像表示装置、外部機器、遠隔操作端末の三者連携処理を、映像表示装置が、中継装置として機能することにより、実現している。本実施形態では、遠隔操作端末が、主導し、連携を実現する。 <Second embodiment>
Next, a second embodiment of the invention will be described. In the first embodiment, the video display device functions as a relay device to realize the three-party cooperation processing of the video display device, the external device, and the remote control terminal. In this embodiment, the remote control terminal takes the lead and implements the cooperation.

すなわち、第一の実施形態では、テレビ１０が中心に位置してシステム全体を制御する役割を果している。一方、第二の実施形態では、スマートフォン２０がシステム全体を制御する。 That is, in the first embodiment, the television 10 is positioned centrally and plays the role of controlling the entire system. On the other hand, in the second embodiment, smartphone 20 controls the entire system.

本実施形態の三者連携システムの構成図を、図１２に示す。本図に示すように、本実施形態の三者連携システムは、映像表示装置（テレビ）１０と、遠隔操作端末（スマートフォン）２０と、外部機器（ビデオカメラ）３０と、アクセスポイント４０と、を備える。 FIG. 12 shows a configuration diagram of the three-party collaboration system of this embodiment. As shown in the figure, the three-party collaboration system of this embodiment includes a video display device (television) 10, a remote control terminal (smartphone) 20, an external device (video camera) 30, and an access point 40. Prepare.

本実施形態のテレビ１０、スマートフォン２０、およびビデオカメラ３０の基本的な構成は、第一の実施形態と同様である。また、アクセスポイント４０は、テレビ１０、スマートフォン２０、ビデオカメラ３０等の無線ＬＡＮクライアント機器間を相互に接続し、また、これらの無線ＬＡＮクライアントを、他のネットワークに接続する。 The basic configurations of the television 10, smartphone 20, and video camera 30 of this embodiment are the same as those of the first embodiment. The access point 40 also connects wireless LAN client devices such as the television 10, the smart phone 20, and the video camera 30 to each other, and also connects these wireless LAN clients to other networks.

以下、本実施形態について、第一の実施形態と異なる構成に主眼をおいて説明する。以下、第一の実施形態と共通する部分には、特に断らない限り、同一の符号を付し、その詳細な説明は省略する。 The present embodiment will be described below, focusing on the configuration different from that of the first embodiment. Hereinafter, unless otherwise specified, parts common to those of the first embodiment are denoted by the same reference numerals, and detailed description thereof will be omitted.

本実施形態では、テレビ１０と、スマートフォン２０と、ビデオカメラ３０とは、例えば、無線ＬＡＮ経由で、アクセスポイント４０を介して接続される。すなわち、これらは、ＨＤＭＩ接続を行わない。従って、テレビ１０およびビデオカメラ３０は、ＨＤＭＩ通信Ｉ／Ｆ１５およびＨＤＭＩ通信Ｉ／Ｆ３５を備えなくてもよい。 In this embodiment, the television 10, the smartphone 20, and the video camera 30 are connected via an access point 40 via a wireless LAN, for example. That is, they do not make HDMI connections. Therefore, the television 10 and the video camera 30 do not have to have the HDMI communication I/F 15 and the HDMI communication I/F 35 .

［機能構成］
［ビデオカメラ］
本実施形態のビデオカメラ３０は、図１３（ａ）に示すように、アクセスポイント４０を介して、無線ＬＡＮの同一サブネットワーク内の全ての機器に対し、接続要求を送信する接続要求送信部３１０を備える。本実施形態では、接続要求は、例えば、自身の機器ＩＤを含む。なお、接続要求の送信先の機器は、テレビ１０とスマートフォン２０とに限定してもよい。接続要求は、無線ＬＡＮ通信Ｉ／Ｆ３７を介して送信される。 [Function configuration]
[Video camera]
As shown in FIG. 13(a), the video camera 30 of this embodiment has a connection request transmission section 310 that transmits a connection request to all devices within the same subnetwork of the wireless LAN via the access point 40. Prepare. In this embodiment, the connection request includes, for example, its own device ID. Note that the devices to which the connection request is sent may be limited to the television 10 and the smartphone 20 . A connection request is transmitted via the wireless LAN communication I/F 37 .

ビデオカメラ３０が実現する上記機能は、記憶部３４のストレージ領域に格納されるプログラムを、制御部３１のマイクロプロセッサが、プログラム領域に展開し、実行することにより実現される。ビデオカメラ３０が実現する各機能のうち、全部または一部の機能は、ＡＳＩＣ、ＦＰＧＡなどのハードウェアによって実現されてもよい。 The above functions realized by the video camera 30 are realized by the microprocessor of the control unit 31 developing a program stored in the storage area of the storage unit 34 into a program area and executing the program. All or part of the functions realized by the video camera 30 may be realized by hardware such as ASIC and FPGA.

［スマートフォン］
図１３（ｂ）に示すように、本実施形態のスマートフォン２０は、第二連携確立部２１０ａと、リモコン処理部２２０ａとを備える。 [smartphone]
As shown in FIG. 13(b), the smartphone 20 of this embodiment includes a second cooperation establishment unit 210a and a remote control processing unit 220a.

第二連携確立部２１０ａは、ビデオカメラ３０から無線ＬＡＮ通信Ｉ／Ｆ２７を介して接続要求を受信すると、ビデオカメラ３０およびテレビ１０それぞれのリモコンアプリを起動する。このため、第二連携確立部２１０ａは、連携テーブル作成部２１１ａと、リモコン決定部２１２と、表示先決定部２１３と、を備える。 Upon receiving a connection request from the video camera 30 via the wireless LAN communication I/F 27, the second cooperation establishing unit 210a activates the remote control applications of the video camera 30 and the television 10, respectively. Therefore, the second cooperation establishment unit 210a includes a cooperation table creation unit 211a, a remote controller determination unit 212, and a display destination determination unit 213.

連携テーブル作成部２１１ａは、連携させる機器同士のペアリングを行い、連携テーブル８００を作成する。ペアリングは、例えば、近距離無線通信等を用いて行う。例えば、近接させた機器同士で相互に指定されたボタン操作を行う等の公知の手段を用いれば良く、特に制限は無い。また、例えば、スマートフォン２０が、アクセスポイント４０にアクセスし、得られる接続機器のリストから、テレビ１０およびビデオカメラ３０を選択するよう構成してもよい。これにより、機器の種別、および当該機器を識別する機器ＩＤを得ることができる。機器の種別は、映像表示装置、画像記憶装置、等を特定可能な情報であり、機器ＩＤは、例えば、ＩＰアドレスなどである。 The linkage table creating unit 211a creates a linkage table 800 by pairing the devices to be linked. Pairing is performed using, for example, short-range wireless communication. For example, there is no particular limitation, and any known means may be used, such as performing mutually designated button operations between devices brought close to each other. Further, for example, the smartphone 20 may be configured to access the access point 40 and select the television 10 and the video camera 30 from the obtained list of connected devices. As a result, the type of device and the device ID that identifies the device can be obtained. The device type is information that can specify a video display device, an image storage device, or the like, and the device ID is, for example, an IP address.

連携テーブル作成部２１１ａは、ペアリングにより得た、機器のリストに対し、機器ＩＤ（ＩＰアドレス）に基づき、サーバ９０等にアクセスし、当該機器のリモコンアプリの情報（例えば、リモコンアプリ名）を取得する。得られた情報を対応づけ、図１４に示すように、連携テーブル８００を作成する。 The linkage table creation unit 211a accesses the server 90 or the like based on the device ID (IP address) for the list of devices obtained by pairing, and obtains the remote control application information (for example, the remote control application name) of the device. get. The obtained information is correlated to create a link table 800 as shown in FIG.

なお、リモコンアプリの情報を取得する際、スマートフォン２０は、連携可能か否かも判別する。例えば、スマートフォン２０のＯＳ用のリモコンアプリが用意されていない場合もある。このようなリモコンアプリしか用意されていない機器は、連携不可能と判別し、連携テーブル８００に登録しない。 In addition, when acquiring the information of the remote control application, the smartphone 20 also determines whether or not cooperation is possible. For example, a remote control application for the OS of the smartphone 20 may not be prepared. A device for which only such a remote control application is prepared is determined to be incapable of cooperation and is not registered in the cooperation table 800 .

作成される連携テーブル８００には、機器ＩＤ８１０と、当該機器の種別を特定する情報（種別）８２０と、当該機器のリモコンアプリの情報（リモコンアプリ名）８３０と、リモコンアプリ名８３０で特定されるリモコンアプリがインストールされているか否かを示す情報（インストール）８４０とが対応づけて登録される。なお、図１４には、インストール８４０として、リモコンアプリがインストールされている場合は「１」を、インストールされていない場合は「０」を登録する場合を例示する。本実施形態の連携テーブル８００は、スマートフォン２０の、記憶部２４に登録される。 In the created linkage table 800, a device ID 810, information (type) 820 specifying the type of the device, remote control application information (remote control application name) 830 of the device, and remote control application name 830 are specified. Information (installation) 840 indicating whether or not the remote control application is installed is associated and registered. FIG. 14 exemplifies a case where "1" is registered as the installation 840 when the remote control application is installed, and "0" is registered when it is not installed. The cooperation table 800 of this embodiment is registered in the storage unit 24 of the smartphone 20 .

リモコン決定部２１２は、ビデオカメラ３０からの接続要求を受け取ると、同一サブネットワークに接続される全スマートフォン間で、リモコンとするスマートフォン２０を決定するリモコン決定処理を行う。 Upon receiving a connection request from the video camera 30, the remote controller determination unit 212 performs remote controller determination processing to determine the smartphone 20 to be the remote controller among all smartphones connected to the same subnetwork.

具体的には、接続要求に含まれる機器ＩＤが、自身が保持する連携テーブル８００に登録されているか否かを判別し、いなければ、処理を終了する。一方、登録されている場合、自身をリモコンとなり得る候補スマートフォンとする。そして、同一サブネットワーク内に、同様に候補スマートフォンとされた他のスマートフォンがあるか否かを判別する。 Specifically, it determines whether or not the device ID included in the connection request is registered in the linkage table 800 held by itself, and if not, ends the process. On the other hand, if registered, the smart phone itself is set as a candidate smart phone that can be used as a remote controller. Then, it is determined whether or not there is another smartphone that is similarly set as a candidate smartphone within the same subnetwork.

このとき、他に候補スマートフォンがなければ、自身を、リモコンとして用いるスマートフォン２０と決定する。一方、他に候補スマートフォンがある場合、当該候補スマートフォン間でやり取りを行い、いずれがリモコンとして用いるスマートフォン２０となるかを決定する。ここでは、例えば、分散アービトレーションの手法を用いて決定する。 At this time, if there are no other candidate smart phones, the smart phone 20 itself is determined to be used as a remote controller. On the other hand, if there are other candidate smartphones, the candidate smartphones communicate with each other to determine which smartphone 20 is to be used as the remote controller. Here, for example, a distributed arbitration technique is used for determination.

なお、リモコンとして用いるスマートフォン２０の選択方法は、予めスマートフォン間の優先順位を決め、最も優先順位の高い候補スマートフォンを選択する方法、ビデオカメラ３０に最も近接した候補スマートフォンを選択する方法等が可能である。ビデオカメラ３０とスマートフォン２０との距離は、ビデオカメラ３０の設置場所を特定し、ＧＰＳまたは無線ＬＡＮの電波強度により、スマートフォン２０のアクセスポイント４０からの位置を推定することにより算出する。 Note that the smartphone 20 to be used as a remote controller can be selected by prioritizing the smartphones and selecting the candidate smartphone with the highest priority, selecting the candidate smartphone closest to the video camera 30, or the like. be. The distance between the video camera 30 and the smartphone 20 is calculated by specifying the installation location of the video camera 30 and estimating the position of the smartphone 20 from the access point 40 based on the radio wave intensity of GPS or wireless LAN.

なお、三者連携処理開始後、リモコンとして選択されたスマートフォン２０との間の通信が切れた場合には、ビデオカメラ３０は、再度、接続要求を行う。このとき、リモコン決定部２１２は、その接続要求を受け、リモコン決定処理を行い、リモコンとして用いるスマートフォン２０を決定することにより、再選択を行う。 Note that if communication with the smartphone 20 selected as the remote controller is disconnected after the start of the three-party cooperation process, the video camera 30 requests connection again. At this time, the remote controller determination unit 212 receives the connection request, performs remote controller determination processing, and performs reselection by determining the smartphone 20 to be used as the remote controller.

さらに、本実施形態のリモコン決定部２１２は、後述の表示先決定部２１３が映像を表示するテレビ１０を決定すると、連携テーブル８００に、三者連携に用いるビデオカメラ３０、テレビ１０それぞれのリモコンアプリがインストールされているか否かを判別する。判別後、必要に応じてリモコンアプリを取得し、インストールを行う。 Further, when the display destination determining unit 213 (to be described later) determines the television 10 on which to display the video, the remote controller determining unit 212 of the present embodiment adds remote control applications for the video camera 30 and the television 10 to be used for the three-way linkage to the linkage table 800. Determine if is installed. After the determination, the remote control application is obtained and installed as necessary.

表示先決定部２１３は、自身がリモコンとして用いるスマートフォン２０と決定された場合、同一サブネットワーク内のテレビのうち、ビデオカメラ３０の画像の表示先（表示先装置）とするテレビ１０を決定する。 When the smart phone 20 used as the remote controller is determined, the display destination determination unit 213 determines the television 10 as the display destination (display destination device) of the image of the video camera 30 among the televisions in the same subnetwork.

同一サブネットワーク内のテレビであって、連携テーブル８００に登録されたテレビ（候補テレビ）が複数ある場合は、その中の１つを表示先装置のテレビ１０として選択する。表示先装置とするテレビ１０の選択は、例えば、予め候補テレビ間の優先順位を決め、最も優先順位の高いテレビを選択する方法、スマートフォン２０に最も近い候補テレビを表示先装置のテレビ１０とする方法、ビデオカメラ３０に最も近い候補テレビを表示先装置のテレビ１０とする方法、或いは複数の候補テレビを一覧表示してユーザに選択させる方法、などにより行う。 If there are a plurality of televisions (candidate televisions) registered in the linkage table 800 within the same subnetwork, one of them is selected as the television 10 of the display destination device. The selection of the television 10 as the display destination device is, for example, by determining the priority among the candidate televisions in advance and selecting the television with the highest priority, or by selecting the candidate television closest to the smartphone 20 as the television 10 as the display destination device. a method of setting the candidate television closest to the video camera 30 as the television 10 of the display destination device, or a method of displaying a list of a plurality of candidate televisions and allowing the user to make a selection.

なお、スマートフォン２０に最も近い候補テレビを選択する場合、例えば、各候補テレビとスマートフォン２０との間で近距離無線通信を行い、その際の電波強度が最も大きい候補テレビをスマートフォン２０に最も近接している候補テレビとする。ビデオカメラ３０に最も近い候補テレビを選択する場合、例えば、ビデオカメラ３０および各候補テレビについて、図示しないＧＰＳ機能等を用いてビデオカメラ３０および各候補テレビがそれぞれ位置情報を取得し、該取得した各位置情報からビデオカメラ３０と各候補テレビの距離を検出し、最も近接している候補テレビを決定する。 Note that when selecting the candidate television closest to the smartphone 20, for example, short-range wireless communication is performed between each candidate television and the smartphone 20, and the candidate television with the highest radio wave intensity at that time is the closest to the smartphone 20. Let TV be a candidate. When selecting the candidate television closest to the video camera 30, for example, the video camera 30 and each candidate television acquire position information using a GPS function (not shown) for the video camera 30 and each candidate television. The distance between the video camera 30 and each candidate television is detected from each piece of position information, and the nearest candidate television is determined.

リモコン処理部２２０ａは、自スマートフォン２０と、表示先装置とするテレビ１０と、ビデオカメラ３０との間で、三者連携処理を実行する。本実施形態では、表示先装置とするテレビ１０用のリモコンアプリと、ビデオカメラ３０用のリモコンアプリとを起動し、ユーザの指示に応じて両者をそれぞれ実行する。 The remote control processing unit 220a executes three-party cooperation processing among the own smartphone 20, the television 10 serving as a display destination device, and the video camera 30. FIG. In the present embodiment, a remote control application for the television 10 serving as the display destination device and a remote control application for the video camera 30 are started, and both are executed according to user instructions.

両リモコンアプリが起動され、スマートフォン２０のタッチパネル２３に表示されるリモコン画像は、第一の実施形態の図１１（ａ）および図１１（ｂ）のリモコン画像と同様である。本実施形態では、操作対象機器選択領域７１０を介して、操作対象機器が選択されると、それに応じて、当該機器のリモコンアプリを動作させる。 The remote control image displayed on the touch panel 23 of the smart phone 20 when both remote control applications are activated is the same as the remote control image shown in FIGS. 11A and 11B in the first embodiment. In this embodiment, when an operation target device is selected via the operation target device selection area 710, the remote control application of the selected device is operated accordingly.

例えば、テレビ１０が選択されると、スマートフォン２０のタッチパネル２３に、テレビ１０用のリモコン画像（例えば、図１１（ａ））７００を表示する。そして、当該画面を介して受け付けた指示を、テレビ１０に向けて送出する。本実施形態では、例えば、テレビ１０のＩＰアドレスを宛先としたコマンドを、アクセスポイント４０に向けて送出する。 For example, when the television 10 is selected, the touch panel 23 of the smartphone 20 displays a remote control image 700 for the television 10 (for example, FIG. 11(a)). Then, the instruction received through the screen is sent to the television 10. - 特許庁In this embodiment, for example, a command addressed to the IP address of the television 10 is sent to the access point 40 .

また、ビデオカメラ３０が選択されると、スマートフォン２０のタッチパネル２３に、ビデオカメラ３０用のリモコン画像（例えば、図１１（ｂ））を表示する。そして、当該リモコン画像を介して受け付けた指示を、ビデオカメラ３０に向けて送出する。本実施形態では、例えば、ビデオカメラ３０のＩＰアドレスを宛先としたコマンドを、アクセスポイント４０に向けて送出する。 Also, when the video camera 30 is selected, the touch panel 23 of the smart phone 20 displays a remote control image for the video camera 30 (for example, FIG. 11(b)). Then, the instruction received via the remote control image is sent toward the video camera 30 . In this embodiment, for example, a command addressed to the IP address of the video camera 30 is sent to the access point 40 .

スマートフォン２０が実現する各機能は、記憶部２４のストレージ領域に格納されるプログラムを、制御部２１のマイクロプロセッサが、プログラム領域に展開し、実行することにより実現される。また、連携テーブル８００は、ストレージ領域に格納される。スマートフォン２０が実現する各機能のうち、全部または一部の機能は、ＡＳＩＣ、ＦＰＧＡなどのハードウェアによって実現されてもよい。 Each function realized by the smartphone 20 is realized by the microprocessor of the control unit 21 developing a program stored in the storage area of the storage unit 24 into a program area and executing the program. Also, the linkage table 800 is stored in the storage area. All or part of the functions realized by the smartphone 20 may be realized by hardware such as ASIC and FPGA.

［テレビ］
本実施形態のテレビ１０は、三者連携のための中継を行わない。従って、図１３（ｃ）に示すように、第一連携確立部１２０および中継テーブル５００は、備えなくてもよい。また、中継部１３０の代わりに、中継部１３０ａを備える。 [tv set]
The television 10 of the present embodiment does not perform relay for three-party cooperation. Therefore, as shown in FIG. 13(c), the first cooperation establishment unit 120 and the relay table 500 do not have to be provided. Further, instead of the relay unit 130, a relay unit 130a is provided.

本実施形態の中継部１３０ａは、スマートフォン２０からデータの送信元を特定する機器ＩＤと、当該データに対する操作指示とを受信する。また、受信した機器ＩＤを有するビデオカメラ３０からデータを受信すると、受信した操作指示に従って当該データを処理する。受信する操作指示は、例えば、当該データを表示部１３に表示する、記憶部１４に格納するなどである。また、処理を終えると、スマートフォン２０にその旨を通知する。なお、機器ＩＤ、操作指示、データは、無線ＬＡＮ通信Ｉ／Ｆ１７を介して受信する。 The relay unit 130a of the present embodiment receives, from the smartphone 20, a device ID that specifies a data transmission source and an operation instruction for the data. Also, when data is received from the video camera 30 having the received device ID, the data is processed according to the received operation instruction. The received operation instruction is, for example, to display the data on the display unit 13, to store the data in the storage unit 14, or the like. Also, when the process is finished, the smart phone 20 is notified to that effect. Note that the device ID, operation instructions, and data are received via the wireless LAN communication I/F 17 .

［三者連携処理の流れ］
以上の機能を有するテレビ１０、スマートフォン２０およびビデオカメラ３０による、本実施形態の三者連携処理の流れを説明する。図１５は、本実施形態の三者連携処理の流れを説明するためのフローチャートである。なお、連携テーブル８００は、予め作成されているものとする。 [Three-Party Coordination Processing Flow]
A flow of three-party cooperation processing of this embodiment by the television 10, the smartphone 20, and the video camera 30 having the above functions will be described. FIG. 15 is a flowchart for explaining the flow of the three-party cooperation processing of this embodiment. It is assumed that the cooperation table 800 is created in advance.

ここでも、第一の実施形態同様、ビデオカメラ３０の記憶部３４に記録された動画像の中から、スマートフォン２０からの操作により所望の動画像を選択してテレビ１０の表示部１３に表示する場合を例にあげて説明する。なお、これ以外のリモコン操作、例えば、ビデオカメラ３０が保持する動画像または静止画をテレビ１０の記憶部１４に記憶する操作等、通常のビデオカメラ３０およびテレビ１０が有するリモコン操作であれば特にこの例に限定されない。 Here, as in the first embodiment, a desired moving image is selected from the moving images recorded in the storage unit 34 of the video camera 30 by operating the smartphone 20 and displayed on the display unit 13 of the television 10. A case will be described as an example. Note that other remote control operations other than this, such as an operation of storing a moving image or still image held by the video camera 30 in the storage unit 14 of the television 10, are particularly applicable to normal remote control operations of the video camera 30 and the television 10. It is not limited to this example.

まず、ビデオカメラ３０の接続要求送信部３１０が、アクセスポイント４０を介して、接続要求を送信する（ステップＳ３２１）。接続要求は、同一サブネットワーク内の全スマートフォンに送信される。 First, the connection request transmission unit 310 of the video camera 30 transmits a connection request via the access point 40 (step S321). The connection request is sent to all smartphones within the same subnetwork.

同一サブネットワーク内の全スマートフォンのリモコン決定部２１２は、それぞれ、ビデオカメラ３０からの接続要求を受信すると、リモコン決定処理を行い、この三者連携処理において、リモコンとなるスマートフォン２０を決定する（ステップＳ２２１）。決定は、上述の手法にて行う。 Upon receiving the connection request from the video camera 30, the remote controller determination units 212 of all smartphones in the same subnetwork perform remote controller determination processing, and determine the smartphone 20 to be the remote controller in this three-party cooperation processing (step S221). Decisions are made in the manner described above.

その後、ステップＳ２２１で決定したスマートフォン２０の表示先決定部２１３は、同一サブネットワーク内の全テレビの中から、表示先装置とするテレビ１０を決定する（ステップＳ２２２）。 After that, the display destination determination unit 213 of the smartphone 20 determined in step S221 determines the television 10 as the display destination device from among all the televisions in the same subnetwork (step S222).

そして、リモコン決定部２１２は、リモコンアプリを取得する（ステップＳ２２３）。リモコンアプリの取得処理の流れは、第一の実施形態の図１０で説明したリモコンアプリ取得処理と略同様である。ただし、本実施形態では、テレビ１０およびビデオカメラ３０それぞれについて本処理を実行する。 Then, the remote controller determining unit 212 acquires a remote controller application (step S223). The flow of the remote control application acquisition process is substantially the same as the remote control application acquisition process described in FIG. 10 of the first embodiment. However, in this embodiment, this processing is executed for each of the television 10 and the video camera 30 .

すなわち、通知されたビデオカメラ３０の機器ＩＤおよび決定したテレビ１０の機器ＩＤを用い、連携テーブル８００を検索し、それぞれの機器ＩＤに対応づけてリモコンアプリがインストールされているか否かを判別する。そして、インストールされている場合、そのアプリのバージョンが最新版であるか否かを判別する。そして、リモコンアプリがインストールされていない場合、あるいは、インストールされていても最新版でない場合、対応サーバから最新版のリモコンアプリをダウンロードし、それをインストールする。 That is, using the notified device ID of the video camera 30 and the determined device ID of the television 10, the link table 800 is searched to determine whether or not the remote control application is installed in association with each device ID. Then, if the application is installed, it is determined whether the version of the application is the latest version. Then, if the remote control application is not installed, or if it is installed but not the latest version, the latest version of the remote control application is downloaded from the corresponding server and installed.

リモコンアプリ取得処理を終えると、スマートフォン２０のリモコン処理部２２０ａは、各リモコンアプリを起動し、スマートフォン２０のタッチパネル２３に、リモコン画像を表示する（ステップＳ２２４）。 After completing the remote control application acquisition process, the remote control processing unit 220a of the smartphone 20 activates each remote control application and displays a remote control image on the touch panel 23 of the smartphone 20 (step S224).

その後、リモコン処理部２２０ａは、ビデオカメラ３０の動画選択画面の転送指示を行う（ステップＳ２２５）。この転送指示は、スマートフォン２０から、アクセスポイント４０を介して、テレビ１０およびビデオカメラ３０へ送信される。なお、転送指示は、テレビ１０、スマートフォン２０およびビデオカメラ３０それぞれの識別情報（例えば、ＩＰアドレス）を含む。 After that, the remote control processing unit 220a instructs to transfer the moving image selection screen of the video camera 30 (step S225). This transfer instruction is transmitted from smartphone 20 to television 10 and video camera 30 via access point 40 . Note that the transfer instruction includes identification information (for example, IP address) of each of the television 10 , the smartphone 20 and the video camera 30 .

そして、それを受けたビデオカメラ３０は、動画選択画面のデータを表示先装置であるテレビ１０に転送する（ステップＳ３２２）。なお、動画選択画面は、第一の実施形態同様、例えば、ビデオカメラ３０に記憶されている動画像を選択する画面とする。選択する画面とは、例えば、動画像のサムネイル画像が表示されている画像等である。 Then, the video camera 30 that has received it transfers the data of the moving image selection screen to the television 10 that is the display destination device (step S322). Note that the moving image selection screen is, for example, a screen for selecting moving images stored in the video camera 30, as in the first embodiment. The screen to be selected is, for example, an image displaying a thumbnail image of a moving image.

動画選択画面のデータを受信したテレビ１０の中継部１３０ａは、当該データに従って、ビデオカメラ３０の動画選択画面を、表示部１３に表示する（ステップＳ１２１）。そして、送信元のスマートフォン２０に、画面表示が終了したことを意味する画面表示終了通知を行う（ステップＳ１２２）。 The relay unit 130a of the television 10 that has received the data of the moving image selection screen displays the moving image selection screen of the video camera 30 on the display unit 13 according to the data (step S121). Then, the smartphone 20 that is the transmission source is notified that the screen display has ended (step S122).

画面表示終了通知を受け付けると、スマートフォン２０のリモコン処理部２２０ａは、ユーザからのリモコン操作の受け付けが可能な状態とする。これにより、ユーザは、テレビ１０の表示部１３に表示される動画選択画面を見ながらビデオカメラ３０への指示を行うことができる。 Upon receiving the screen display end notification, the remote control processing unit 220a of the smartphone 20 enters a state in which it is possible to receive a remote control operation from the user. This allows the user to give instructions to the video camera 30 while watching the moving image selection screen displayed on the display unit 13 of the television 10 .

リモコン処理部２２０ａは、ユーザからの操作指示を受け付けると、当該指示をテレビ１０およびビデオカメラ３０に送信する（ステップＳ２２６）。ここで受け付ける操作指示は、例えば、選択した動画の再生指示等である。動画の選択は、例えば、テレビ１０に動画選択画面として表示される動画像のサムネイル画像から選択する。 Upon receiving an operation instruction from the user, remote control processing unit 220a transmits the instruction to television 10 and video camera 30 (step S226). The operation instruction received here is, for example, an instruction to reproduce the selected moving image. The moving image is selected, for example, from thumbnail images of moving images displayed as a moving image selection screen on the television 10 .

指示を受け取ったビデオカメラ３０では、操作指示に従って、データをテレビ１０に転送する（ステップＳ３２３）。例えば、所定の動画の再生指示を受け取った場合、当該動画像データをテレビ１０に転送する。 Upon receiving the instruction, the video camera 30 transfers the data to the television 10 according to the operation instruction (step S323). For example, when an instruction to reproduce a predetermined moving image is received, the moving image data is transferred to the television 10 .

テレビ１０の中継部１３０ａは、転送されたデータを表示部１３に表示する（ステップＳ１２３）とともに、表示処理を終了したことを意味する処理終了通知を、スマートフォン２０に送信する（ステップＳ１２４）。例えば、動画像データを受信した場合、当該動画像の表示を開始する。 The relay unit 130a of the television 10 displays the transferred data on the display unit 13 (step S123), and transmits a process end notification indicating that the display process has ended to the smartphone 20 (step S124). For example, when moving image data is received, display of the moving image is started.

処理終了通知を受信したスマートフォン２０のリモコン処理部２２０ａは、リモコン画像を更新する（ステップＳ２２７）。 The remote control processing unit 220a of the smartphone 20 that has received the processing end notification updates the remote control image (step S227).

以上説明したように、本実施形態によれば、アクセスポイント４０を介して、ビデオカメラ３０が接続要求を行うことにより、自動的に表示先のテレビ１０およびリモコンとして用いるスマートフォン２０を決定し、それらの間で、三者連携処理が実行される。すなわち、ユーザは、スマートフォン２０の操作により、ビデオカメラ３０とテレビ１０との操作を行うことができ、ビデオカメラ３０に保持される映像データを、テレビ１０に表示させることができる。 As described above, according to the present embodiment, when the video camera 30 issues a connection request via the access point 40, the television 10 as the display destination and the smartphone 20 used as the remote controller are automatically determined, and Three-party cooperation processing is executed between That is, the user can operate the video camera 30 and the television 10 by operating the smartphone 20 , and can display the video data held in the video camera 30 on the television 10 .

このように、本実施形態によれば、第一の実施形態同様、操作性の良い、三者連携システムを、少ない負担で実現することができる。 As described above, according to the present embodiment, it is possible to realize a three-party cooperation system with good operability with a small burden, as in the first embodiment.

なお、上記第二の実施形態では、ビデオカメラ３０が、アクセスポイント４０を介して、同一サブネットワーク内のスマートフォン２０に接続要求を送信することをトリガとして、三者連携処理を開始するよう構成しているが、これに限定されない。 In the above-described second embodiment, the video camera 30 is configured to start the three-party cooperation processing using the transmission of a connection request to the smartphone 20 in the same subnetwork via the access point 40 as a trigger. but not limited to.

例えば、ビデオカメラ３０が充電ドックに設置されたことをトリガとして、三者連携処理を開始するよう構成してもよい。充電ドックは、例えば、無接点充電または電源コンセントからの充電が可能であり、設置されるビデオカメラ３０のサポート状況により、無接点充電または電源コンセントからの充電が選択される。さらに、充電ドックは近距離通信（ＮＦＣ、ＩＲ通信、Ｂｌｕｅｔｏｏｔｈ等）により、充電ドック機器ＩＤをビデオカメラ３０に通知可能に構成される。 For example, the installation of the video camera 30 on the charging dock may be used as a trigger to start the three-party cooperation process. The charging dock is capable of, for example, contactless charging or charging from a power outlet, and contactless charging or charging from a power outlet is selected depending on the support status of the installed video camera 30 . Furthermore, the charging dock is configured to be able to notify the video camera 30 of the charging dock device ID by short-range communication (NFC, IR communication, Bluetooth, etc.).

この場合、ビデオカメラ３０が充電ドックの上に設置されると、例えば、無接点充電が開始され、かつ、ビデオカメラ３０は、ＮＦＣ通信により充電ドックのＩＤを受信する。そして、ビデオカメラ３０は、無線ＬＡＮの同一サブネットワーク内の全ての機器に、自身の機器ＩＤと充電ドックの機器ＩＤとを、トリガとして送信する。 In this case, when the video camera 30 is placed on the charging dock, for example, contactless charging is started and the video camera 30 receives the ID of the charging dock through NFC communication. Then, the video camera 30 transmits its own device ID and the device ID of the charging dock as triggers to all the devices within the same subnetwork of the wireless LAN.

これにより、ビデオカメラ３０を充電ドックに設置するだけで、三者連携処理が実行される。すなわち、ユーザは、ビデオカメラ３０を充電ドックに設置するだけで、所定のスマートフォン２０により、ビデオカメラ３０とテレビ１０とを制御できる。 As a result, simply by installing the video camera 30 in the charging dock, the three-party cooperation process is executed. That is, the user can control the video camera 30 and the television 10 using the predetermined smartphone 20 simply by placing the video camera 30 on the charging dock.

また、第二の実施形態では、連携テーブル８００に、機器毎に、その種別およびリモコンアプリを登録しているが、これに限定されない。例えば、テレビとビデオカメラの組み合わせ毎のリモコンアプリが得られる場合、第一の実施形態と同様の構成を有する連携テーブルとしてもよい。 Further, in the second embodiment, the type and remote control application are registered in the linkage table 800 for each device, but the present invention is not limited to this. For example, when a remote control application is obtained for each combination of a television and a video camera, the linkage table may have the same configuration as the first embodiment.

すなわち、連携テーブル作成部２１１ａは、サーバ９０にアクセスし、候補テレビ毎に、当該候補テレビと連携操作可能なリモコンアプリを有するビデオカメラを抽出する。そして、得られたビデオカメラを、候補ビデオカメラとしてそのリモコンアプリの情報とともに登録する。 That is, the link table creating unit 211a accesses the server 90 and extracts, for each candidate TV, a video camera having a remote control application that can be operated in cooperation with the candidate TV. Then, the obtained video camera is registered as a candidate video camera together with the information of the remote control application.

この場合、リモコン処理部２２０ａは、第一の実施形態同様、ビデオカメラ３０と決定したテレビ１０とに対応づけて連携テーブルに保持されるリモコンアプリを展開し、リモコン処理を実行する。 In this case, as in the first embodiment, the remote control processing unit 220a develops the remote control application held in the link table in association with the video camera 30 and the determined television 10, and executes remote control processing.

また、上記各実施形態では、リモコンアプリがスマートフォン２０に無い場合、自動的にサーバからインターネットを介してダウンロードしてインストールしている。しかしながら、この手法に限定されない。例えば、スマートフォン２０のタッチパネル２３にリモコンアプリのダウンロード促すプロンプト表示を行い、ダウンロードおよびインストールは、ユーザの指示を受け付けてから行うよう構成してもよい。また、第一の実施形態のテレビ１０の中継アプリのダウンロードおよびインストールに関しても同様である。 Further, in each of the above-described embodiments, if the smartphone 20 does not have the remote control application, it is automatically downloaded from the server via the Internet and installed. However, it is not limited to this method. For example, a prompt may be displayed on the touch panel 23 of the smartphone 20 to prompt the user to download the remote control application, and the download and installation may be performed after the user's instruction is received. The same applies to downloading and installing the relay application of the television 10 of the first embodiment.

以上、本発明の実施形態の例を説明した。言うまでもなく、本発明の技術を実現する構成は前記実施形態に限られるものではなく、様々な変形例が考えられる。また、文中や図中に現れる数値等もあくまでも一例であり、異なるものを用いても本発明の効果を損なうことはない。 Examples of embodiments of the present invention have been described above. Needless to say, the configuration for realizing the technology of the present invention is not limited to the above-described embodiment, and various modifications are conceivable. Numerical values appearing in the text and figures are only examples, and the effect of the present invention is not impaired even if different values are used.

前述した本発明の機能等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現しても良い。また、マイクロプロセッサユニット等がそれぞれの機能等を実現するプログラムを解釈して実行することによりソフトウェアで実現しても良い。ハードウェアとソフトウェアを併用しても良い。 Some or all of the above-described functions and the like of the present invention may be realized by hardware by designing them in an integrated circuit, for example. Alternatively, the functions may be realized by software, in which the microprocessor unit or the like interprets and executes a program for realizing each function. Hardware and software may be used together.

また、図中に示した制御線や情報線は説明上必要と考えられるものを示しており、必ずしも製品上の全ての制御線や情報線を示しているとは限らない。 Also, the control lines and information lines shown in the drawings are those considered necessary for explanation, and do not necessarily show all the control lines and information lines on the product.

１０：映像表示装置（テレビ）、１１：制御部、１２：ＴＶチューナ、１３：表示部、１４：記憶部、１５：ＨＤＭＩ通信Ｉ／Ｆ、１６：有線ＬＡＮ通信Ｉ／Ｆ、１７：無線ＬＡＮ通信Ｉ／Ｆ、１８：近距離通信Ｉ／Ｆ、
２０：遠隔操作端末（スマートフォン）、２１：制御部、２２：携帯網通信Ｉ／Ｆ、２３：タッチパネル、２４：記憶部、２７：無線ＬＡＮ通信Ｉ／Ｆ、２８：近距離通信Ｉ／Ｆ、
３０：外部機器（ビデオカメラ）、３１：制御部、３２：映像入力処理部、３３：表示部、３４：記憶部、３５：ＨＤＭＩ通信Ｉ／Ｆ、３７：無線ＬＡＮ通信Ｉ／Ｆ、３８：近距離通信Ｉ／Ｆ、
４０：アクセスポイント、９０：サーバ、
１２０：第一連携確立部、１２１：ペアリング部、１２２：リモコン決定部、１３０：中継部、１３０ａ：中継部、１４０：接続検知部、
２１０：第二連携確立部、２１０ａ：第二連携確立部、２１１：連携テーブル作成部、２１１ａ：連携テーブル作成部、２１２：リモコン決定部、２１３：表示先決定部、２２０：リモコン処理部、２２０ａ：リモコン処理部、
３１０：接続要求送信部、
５００：中継テーブル、５１０：候補スマートフォンの機器ＩＤ、５２０：候補ビデオカメラ、５２１：候補ビデオカメラの機器ＩＤ、５２２：中継アプリ名、５２３：インストールの有無、
６００：連携テーブル、６１０：候補テレビの機器ＩＤ、６２０：候補ビデオカメラの機器ＩＤ、６３０：リモコンアプリ名、６４０：インストールの有無、
７００：リモコン画像、７１０：操作対象機器選択領域、７２０：リモコン操作受付領域、
８００：連携テーブル、８１０：機器ＩＤ、８２０：種別、８３０：リモコンアプリ名、８４０：インストールの有無 10: Video display device (television), 11: Control unit, 12: TV tuner, 13: Display unit, 14: Storage unit, 15: HDMI communication I/F, 16: Wired LAN communication I/F, 17: Wireless LAN communication I/F, 18: short-range communication I/F,
20: remote control terminal (smartphone), 21: control unit, 22: mobile network communication I/F, 23: touch panel, 24: storage unit, 27: wireless LAN communication I/F, 28: near field communication I/F,
30: external device (video camera), 31: control unit, 32: video input processing unit, 33: display unit, 34: storage unit, 35: HDMI communication I/F, 37: wireless LAN communication I/F, 38: short-range communication I/F,
40: access point, 90: server,
120: first cooperation establishment unit, 121: pairing unit, 122: remote controller determination unit, 130: relay unit, 130a: relay unit, 140: connection detection unit,
210: Second cooperation establishing unit 210a: Second cooperation establishing unit 211: Cooperation table creation unit 211a: Cooperation table creation unit 212: Remote control determination unit 213: Display destination determination unit 220: Remote control processing unit 220a : remote control processing part,
310: connection request transmission unit;
500: Relay table, 510: Device ID of candidate smartphone, 520: Candidate video camera, 521: Device ID of candidate video camera, 522: Relay application name, 523: Presence or absence of installation,
600: linkage table, 610: device ID of candidate television, 620: device ID of candidate video camera, 630: remote control application name, 640: installation status,
700: remote control image, 710: operation target device selection area, 720: remote control operation reception area,
800: Linkage table, 810: Device ID, 820: Type, 830: Remote control application name, 840: Presence/absence of installation

Claims (3)

映像表示装置であって、
外部機器を接続し、当該外部機器と通信するインタフェース部と、
前記外部機器を遠隔操作する遠隔操作端末とネットワークを介して通信する通信部と、
映像を表示する表示部と、
前記インタフェース部と前記通信部と前記表示部とを制御する制御部と、を備え、
前記制御部は、
前記インタフェース部に接続された前記外部機器から当該外部機器の機器情報を受信すると、前記遠隔操作端末を、予め作成された前記外部機器と当該外部機器を遠隔操作する可能性のある遠隔操作端末とを対応付けた中継テーブルを参照して決定するように制御するとともに、
決定した前記遠隔操作端末に対して、前記外部機器を遠隔操作するためのアプリケーションソフトウェアを前記遠隔操作端末に起動させるための通信を前記通信部と前記遠隔操作端末との間で行うように制御する
ことを特徴とする映像表示装置。 A video display device,
an interface unit that connects an external device and communicates with the external device;
a communication unit that communicates with a remote control terminal that remotely controls the external device via a network;
a display unit for displaying images;
a control unit that controls the interface unit, the communication unit, and the display unit;
The control unit
When the device information of the external device is received from the external device connected to the interface unit, the remote control terminal is configured as the external device created in advance and a remote control terminal capable of remotely controlling the external device. is determined by referring to the relay table associated with
controlling the determined remote control terminal so that communication between the communication unit and the remote control terminal is performed for starting application software for remotely controlling the external device in the remote control terminal;
An image display device characterized by: 請求項１に記載の映像表示装置であって、
前記制御部は、前記遠隔操作端末からの前記外部機器に対する操作指示を前記通信部で受信し、前記受信した操作指示に基づいて前記インタフェース部から前記外部機器に中継して送信するように制御する
ことを特徴とする映像表示装置。 The video display device according to claim 1,
The control unit receives an operation instruction for the external device from the remote control terminal at the communication unit, and controls the interface unit to relay and transmit the operation instruction to the external device based on the received operation instruction.
An image display device characterized by: 請求項１に記載の映像表示装置であって、
前記インタフェース部は、ＨＤＭＩインタフェースである
ことを特徴とする映像表示装置。 The video display device according to claim 1,
The interface unit is an HDMI interface
An image display device characterized by:
JP2021142052A 2020-07-27 2021-09-01 Video display device Active JP7119190B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021142052A JP7119190B2 (en) 2020-07-27 2021-09-01 Video display device
JP2022123963A JP7350947B2 (en) 2020-07-27 2022-08-03 Video display device
JP2023148448A JP2023160984A (en) 2020-07-27 2023-09-13 Video display device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020126355A JP6938732B2 (en) 2016-09-15 2020-07-27 Video display device
JP2021142052A JP7119190B2 (en) 2020-07-27 2021-09-01 Video display device

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020126355A Division JP6938732B2 (en) 2016-09-15 2020-07-27 Video display device

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022123963A Division JP7350947B2 (en) 2020-07-27 2022-08-03 Video display device

Publications (2)

Publication Number Publication Date
JP2021184652A JP2021184652A (en) 2021-12-02
JP7119190B2 true JP7119190B2 (en) 2022-08-16

Family

ID=73024850

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2020126355A Active JP6938732B2 (en) 2016-09-15 2020-07-27 Video display device
JP2021142052A Active JP7119190B2 (en) 2020-07-27 2021-09-01 Video display device
JP2022123963A Active JP7350947B2 (en) 2020-07-27 2022-08-03 Video display device
JP2023148448A Pending JP2023160984A (en) 2020-07-27 2023-09-13 Video display device

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020126355A Active JP6938732B2 (en) 2016-09-15 2020-07-27 Video display device

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2022123963A Active JP7350947B2 (en) 2020-07-27 2022-08-03 Video display device
JP2023148448A Pending JP2023160984A (en) 2020-07-27 2023-09-13 Video display device

Country Status (1)

Country Link
JP (4) JP6938732B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024063306A1 (en) * 2022-09-21 2024-03-28 삼성전자주식회사 Electronic device and method for controlling electronic device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004356831A (en) 2003-05-28 2004-12-16 Matsushita Electric Ind Co Ltd Data transmitting/receiving system
JP2014017735A (en) 2012-07-10 2014-01-30 Toshiba Corp Information processing terminal and information processing method
JP2014235534A (en) 2013-05-31 2014-12-15 株式会社東芝 Information processing apparatus and display control method
JP2015162790A (en) 2014-02-27 2015-09-07 オンキヨー株式会社 Controller, controller program, and network apparatus

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4971005B2 (en) 2007-03-29 2012-07-11 パイオニア株式会社 Connection information recognition system for external device connected to electronic device and its recognition method
JP4469901B2 (en) 2008-02-29 2010-06-02 株式会社東芝 Electronic device and display control method
JP2009246487A (en) 2008-03-28 2009-10-22 Sharp Corp Remote operation device, device to be operated, control method for remote operation device, control method for device to be operated, and remote operation system
EP2611198A3 (en) 2011-12-30 2013-08-21 Samsung Electronics Co., Ltd. Display apparatus, input apparatus and method for controlling the display apparatus to provide a single-view or multi-view mode
JP5306489B2 (en) * 2012-01-06 2013-10-02 株式会社東芝 Terminal, program and device operation control method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004356831A (en) 2003-05-28 2004-12-16 Matsushita Electric Ind Co Ltd Data transmitting/receiving system
JP2014017735A (en) 2012-07-10 2014-01-30 Toshiba Corp Information processing terminal and information processing method
JP2014235534A (en) 2013-05-31 2014-12-15 株式会社東芝 Information processing apparatus and display control method
JP2015162790A (en) 2014-02-27 2015-09-07 オンキヨー株式会社 Controller, controller program, and network apparatus

Also Published As

Publication number Publication date
JP2020182241A (en) 2020-11-05
JP6938732B2 (en) 2021-09-22
JP7350947B2 (en) 2023-09-26
JP2022140715A (en) 2022-09-27
JP2021184652A (en) 2021-12-02
JP2023160984A (en) 2023-11-02

Similar Documents

Publication Publication Date Title
US11770573B2 (en) Video display device and cooperative control method in video display device
KR20180108674A (en) Remote control binding processing method and apparatus and device
US9038122B2 (en) Device and method to limit operations from an AV device or external terminal
KR101761106B1 (en) Communication apparatus and control method thereof
JP2023160984A (en) Video display device
JP6287092B2 (en) Information processing apparatus, information processing method, imaging system, and program
JP2009065305A (en) Terminal cooperation system for seamless viewing and listening, terminal, server, and method
CN110798745A (en) Multimedia playing control method, server and storage medium
EP2442289A1 (en) Electronic device, control device and control method thereof
US20160050517A1 (en) Communication apparatus, method for controlling communication apparatus, and storage medium
CN113691790A (en) Multimedia data processing method and device, electronic equipment and storage medium
JP2006229947A (en) Remote controller, electronic equipment, communication system and remote control system
JP2013247539A (en) Display device, display method, and display device control program
JP6302062B2 (en) Electronic apparatus, method and program
KR20140029049A (en) Display apparat and input signal processing method using the same
JP5833611B2 (en) Communication management device, terminal, communication management system, communication management method, program, and information storage medium
JP2022109718A (en) Video display device, video output device, and method for controlling video output device
JP2017062791A (en) Display device
WO2015037129A1 (en) Electronic device and connection method for electronic device
JP2022115870A (en) Display device
JP2021166336A (en) Communication apparatus, control method of communication apparatus, and program
JP6068744B2 (en) Set-top box, display system, control method, program, and recording medium
JP2010050930A (en) Communication equipment, communication system, communication method, program, and recording medium
JP2019216485A (en) Video processing device and video processing method
WO2014207931A1 (en) Communication system and method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210901

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210901

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20211020

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220627

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220705

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220803

R150 Certificate of patent or registration of utility model

Ref document number: 7119190

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150