JP4158512B2

JP4158512B2 - Display device, operated device, and user interface control method

Info

Publication number: JP4158512B2
Application number: JP2002370319A
Authority: JP
Inventors: 正司川野
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2002-12-20
Filing date: 2002-12-20
Publication date: 2008-10-01
Anticipated expiration: 2022-12-20
Also published as: JP2004201215A

Description

【０００１】
【発明の属する技術分野】
本発明は、通信で結合された装置間でユーザーインターフェースを代替する仕組みを有する表示装置、被操作装置、操作装置およびユーザーインターフェースシステムに関する。
【０００２】
【従来の技術】
装置固有の情報を表示したり、装置に指示を入力したりする、いわゆるユーザーインターフェース（以下、「ＵＩ」と称す。）機能を構成する場合、従来は以下のような方法が用いられている。
【０００３】
第１の方法は、装置に結合された操作手段と表示手段を纏める制御手段によって管理された閉じたシステムによるものである。
【０００４】
第２の方法は、コンピュータ装置に代表される、操作手段と、表示手段と、制御手段が通信により結合され、相互に情報交換を行うシステムによるもので、操作手段と表示手段を有するインテリジェントな装置が、被操作装置を制御するために固有のアプリケーションプログラムもしくはアプリケーションプログラムと協調して機能するドライバープログラムを通信やインターフェース（以下、「ＩＦ」と称す。）から入手し、組み込むことで被制御装置の制御を可能とする（例えば、パーソナルコンピュータ（以下、「ＰＣ」と称す。）で凡例化している周辺機器用のドライバーソフトウェア組み込み手法（例えば特許文献１を参照。）や、ＰＣではない家庭用のＡＶ機器や家電品を通信で接続し制御するＨａｖｉ（家庭用オーディオ／ビジュアルイニシアチブ）規格におけるＨａｖｌｅｔ（機器操作アプリケーションプログラム）を組み込む周辺機器制御手段（例えば特許文献２を参照。）など）。
【０００５】
図２５を用いて従来の技術の説明を行う。
【０００６】
図２５の構成は前述の第２の方法にて概要説明したシステムの中の主に表示装置の構成であり、表示装置２５０１は、表示管理プログラム２５０３と、通信プログラム２５０５と、外部に通信で接続されて制御を行うべき対象装置となる被操作装置を認識する被操作装置認識プログラム２５０６と、被操作装置認識プログラム２５０６によって表示装置２５０１内に対象となる被操作装置用の制御用表示プログラム２５０９が存在しない場合に外部のドライバーソフトウェア格納部２５０２から該プログラムを組み込む為のドライバー組み込みエリア２５０８と、複数の制御装置のための制御用表示プログラム（ドライバーソフトウェア）を格納するドライバーソフトウェア格納部２５０７とを有する。
【０００７】
ＰＣに例えると、表示装置２５０１はＣＲＴなどのディスプレイ装置とＰＣ本体部が概ね該当する。表示管理プログラム２５０３は、凡例としてはマイクロソフト社のウインドウズシステムの類である。通信プログラム２５０５は、イーサネット（Ｒ）類である。被操作装置認識プログラム２５０６は、同じくマイクロソフト社の提唱するプラグアンドプレイの類である。ドライバー組み込みエリア２５０８とドライバーソフトウェア格納部２５０７は、同じくマイクロソフト社のウインドウズシステムの中のドライバー管理手法の類である。
【０００８】
上記構成の特徴は、汎用性と拡張性を重視して、制御のための新しい周辺装置が開発されて、既存のＰＣにおいて制御を行おうとした場合に、新しい周辺装置のための制御プログラムは、ＰＣとそのシステムで規定されている規則にしたがって作成されていれば、該プログラムをドライバーソフトウェアとしてＰＣに組み込むことで、所望の新しい周辺装置の制御を可能とするものである。
【０００９】
【特許文献１】
特表２００２−５０１２３８号公報
【特許文献２】
特開２００２−１８３００１号公報
【００１０】
【発明が解決しようとする課題】
家庭の中で従来使用されてきた機器群は、その多くが他の機器との接続や情報伝達を行わない閉じたシステムで使われてきた。例えば、冷蔵庫、洗濯機や電子レンジなどの機器群である。一方、ＰＣに代表される情報処理機器群は、統一されたＯＳやシステムの互換性を保証する仕組みや通信のプロトコルを共通化することで、相互の接続性を実現している。然るに、冷蔵庫とＰＣを接続して情報交換を行おうとすれば、冷蔵庫にはＰＣの世界で受け入れられる通信インターフェースを備えるか、ＰＣ側が冷蔵庫のために特殊な機能を追加する必要がある。同様に、ＰＣの周辺機器であるプリンタとＴＶを接続して情報交換を行おうとすれば、ＴＶがＰＣのような機能を所有することが要求される。このように異なるシステムと異なるプラットフォームで設計された機器間の情報伝達と疎通は困難を極めている。
【００１１】
（特許文献１，および２）に記載のシステムは、ＰＣとは異なる家庭用電気製品群、とりわけ衛星通信を主体とするセットトップボックスやデジタルＴＶ等のインテリジェントな家電品をユーザーインターフェースの主機器に配置し、他のオーディオ機器やビデオ機器等の周辺機器をローカルな通信手段（先例ではＩＥＥＥ１３９４）で結合して、Ｈａｖｉ規格に基づいた周辺機器制御手段を構築している。
【００１２】
Ｈａｖｉ規格では、ＰＣと同様に周辺機器を制御するための専用のプログラムを必要とする。ＰＣでは一般にドライバーソフトウェアと称され、Ｈａｖｉ規格ではＨａｖｌｅｔと呼ばれるユーザーインターフェースソフトウェアである。いずれにおいてもインテリジェントな制御機器が、被制御機器のための固有のアプリケーションプログラムを組み込む方式である。インテリジェントな家電製品に使われるＣＰＵ、メモリやインターフェースなどのハードウェアは、ＰＣの世界とは異なり様々な部品が使われる。Ｈａｖｉでは、このような家電製品特有のハードウェアの多様性を吸収するためにＪａｖａ（Ｒ）言語が用いられている。Ｊａｖａ（Ｒ）言語をアプリケーションプログラムの言語とすることで、家電製品間のユーザーインターフェース用アプリケーションプログラムの機器間互換性を維持する仕組みである。
【００１３】
然るに、ＰＣの世界やＨａｖｉで結合される仕組みは、以下のような潜在的な課題を含んでいる。
【００１４】
１）インテリジェントな機器はローカルなネットワークに接続される被制御機器が増えると、制御用のドライバーやＨａｖｌｅｔを組み込むメモリが増える。
【００１５】
２）凝ったユーザーインターフェースを要求するような被制御機器用のアプリケーションプログラムは大きな容量となり、ＵＩを担うインテリジェントな機器のメモリの負担になる。
【００１６】
３）その結果としてインテリジェントな機器として成立するための要求される水準が高くなる。
【００１７】
４）被接続機器が変われば、インテリジェントな機器はアプリケーションプログラムを更新する必要がある。
【００１８】
本発明は、上述したように冷蔵庫、電子レンジや炊飯器などのあまり高度な通信手段を持つ必要のない機器までを視野に入れたユーザーインターフェースの手段とシステムを提供するものである。家電製品の主たる制御が人間と被制御機器との間で行われることに着目して、ユーザーインターフェースの窓口となる機器にはＴＶ等を想定している。また、移動体通信技術の発達で、普及著しい携帯電話に見られる小さな画面とキーを持ったユーザーインターフェース機器となりえる機器群も想定している。本発明は、このように異なるシステムと異なるプラットフォームで設計された機器間の情報の中の、特にユーザーインターフェースに関する部分を、前述の課題を生じることなく容易に実現可能とする表示装置、被操作装置、操作装置およびユーザーインターフェースシステムを提供することを目的とする。
【００１９】
【課題を解決するための手段】
本発明の表示装置は、他の機能装置から情報伝達手段を用いて入手した表示内容を自らの表示部に表示する機能を有する構成としたものである。
【００２０】
本発明によれば、異なるシステムと異なるプラットフォームで設計された機器間のユーザーインターフェースに関する部分を容易に実現することが可能となる。
【００２１】
【発明の実施の形態】
請求項１に記載の発明は、被操作装置から選択番号等の識別情報とこの識別情報に対応付けられた表示内容からなる伝達情報とを含む表示データ及び少なくともグラフィック情報を扱えるか否かを示す通信データを受信する受信手段と、この受信手段により受信した前記表示データを表示する表示手段と、表示フォームを示す表示フォームデータを送信する送信手段とを有し、前記表示を行うに際して、前記被操作装置から受信した前記通信データに基づいて前記被操作装置が少なくともグラフィック情報を扱えるか否かの判断を行い、この判断に基づく前記表示フォームデータを前記被操作装置に送信し、その後前記被操作装置から送られてきた前記表示データを前記判断に基づくレイアウトパターンを用いて前記表示手段により表示することを特徴とする表示装置である。
【００２３】
請求項２に記載の発明は、表示装置に対し選択番号等の識別情報とこの識別情報に対応付けられた表示内容からなる伝達情報とを含む表示データ及び少なくともグラフィック情報を扱えるか否かを示す通信データを送信する送信手段を有し、前記送信手段により前記表示データを送信する前に、前記通信データを前記表示装置に送信し、その後この通信データに対する表示装置よりの表示フォームを示すデータに基づいて前記表示データを前記送信手段により送信することを特徴とする被操作装置である。
【００２４】
請求項３に記載の発明は、前記表示装置よりの表示フォームを示すデータは、表示できる選択ボタン数および文字数であることを特徴とする請求項２記載の被操作装置である。
【００２５】
請求項４に記載の発明は、被操作装置から選択番号等の識別情報とこの識別情報に対応付けられた表示内容からなる伝達情報とを含む表示データ及び少なくともグラフィック情報を扱えるか否かを示す通信データを受信する第１の受信手段と、この第１の受信手段により受信した前記表示データを表示する表示手段と、表示フォームを示す表示フォームデータを送信する第１の送信手段とを有する表示装置と、前記表示装置に対し前記表示データ及び前記通信データを送信する第２の送信手段を有する被操作装置との間において、前記被操作装置は前記第２の送信手段により前記通信データを前記表示装置に送信し、前記表示装置は前記第１の受信手段により受信した前記通信データに基づいて前記被操作装置が少なくともグラフィック情報を扱えるか否かの判断を行った後、この判断に基づく前記表示フォームデータを前記第１の送信手段により前記被操作装置に送信し、前記被操作装置は前記表示フォームデータに基づいた前記表示データを前記第２の送信手段により前記表示装置に送信し、前記表示装置は前記第１の受信手段により受信した前記表示データを前記判断に基づくレイアウトパターンを用いて前記表示手段により表示することを特徴とするユーザーインターフェース制御方法である。
【００２６】
請求項５に記載の発明は、前記表示フォームデータは、前記表示装置の表示手段において表示できる選択ボタン数および文字数を含むデータであることを特徴とする請求項４記載のユーザーインターフェース制御方法である。
【００５４】
以上により、
（１）従来異なるプラットフォームに基づく機能的に異なる機器間では困難あるいは高度の技術的手段を要求されていたユーザーインターフェースが、内容の制限を有するけれども簡易に確実に実現できる。
【００５５】
（２）表示装置、操作装置、被操作装置、あるいはそれらの複合装置は独自に自己の機能の向上が可能であり、かつその結果として、本ユーザーインターフェースのシステムの根幹には如何なる悪影響も与えない。
【００５６】
（３）表示装置にも被操作装置にもユーザーインターフェースを目的に両社が接続されるために新たなメモリやプログラムは必要としない。
【００５７】
（４）表示装置、被操作装置のいずれの装置も少なくとも最も低いランクに適合するように設計・製造されていれば、代替のユーザーインターフェースを成立させる保証が得られるため、装置の開発が極めて自由になる。
【００５８】
（５）表示装置（ＴＶ等）の操作装置（リモコン等）を使って表示装置（ＴＶ等）経由で被操作装置（オーディオ機器、家電、プリンタ等）へ操作装置の操作情報を伝達することが可能となる。
【００５９】
（６）表示装置（ＴＶ等）の操作装置（リモコン等）にどのような操作条件（キーの種類や数）が有るかを被操作装置に知らせることで、被操作装置側が表示装置に要求できる表示の可能性を把握し、操作条件に適合した表示要求にすることが可能となる。
【００６０】
（７）被操作装置の要求した表示内容が表示されるため、操作装置と表示装置と被操作装置が不整合なく機能する。
【００６１】
（８）操作装置の入力として、主に人間とのインターフェースを可能とし、障害を持つ人々のために開発される各種情報入力機器を使用することが可能となる。
【００６２】
（９）表示装置の出力として、主に人間とのインターフェースを可能とし、障害を持つ人々のために開発される各種情報出力機器を使用することが可能となる。
【００６３】
（１０）表示装置（ＴＶ等）と被操作装置（オーディオ機器、家電、プリンタ等）間で通信を行うことが可能となる。
【００６４】
（１１）表示装置、被操作装置がそれぞれに表示能力ランクと表示要求ランクを持つことで、双方のランクの整合性を取り、整合性が取れたランク同士で結合された場合には、表示要求を満たす表示内容が表示装置に表現される。
【００６５】
（１２）表示装置が自身の表現能力のランク情報を被操作装置に伝達することが可能となる。
【００６６】
（１３）被操作装置の表示要求ランクが高く、表示装置の表示能力ランクが低い場合等に、被操作装置の表示要求ランクを下げて表示装置の表示能力ランクにあわせることが可能となる。
【００６７】
（１４）被操作装置が表示能力ランクの異なる複数の表示装置と通信で結合された状態で、それぞれの表示装置との間に異なるランクの表示要求を行うことが可能となる。
【００６８】
（１５）被操作装置自身に操作パネルなどの独自の操作手段を持つことで、通信が成立していない場合や、被操作装置近辺でのＵＩの利便性が向上する。
【００６９】
（１６）表示装置の表示上に選択情報と伝達情報とを分離してレイアウトすることで、例えば内容部が動画などの常にデータが更新される伝達情報の部分と選択キーなどの更新される頻度の少ない選択情報の部分とを効果的に表現することが可能となる。
【００７０】
（１７）表示装置の表示能力が乏しくて、表示装置として十分なＵＩが実現できない場合に表示装置に代わってＵＩのための表現能力が高い代替装置としての表示変換装置を被操作装置との間に置くことで、表示変換装置と被操作装置との間でランクの整合をとることが可能となる。
【００７１】
（１８）表示部を備えた操作表示装置が被操作装置と例えば遠隔に通信で接続される場合において、通信の経路に置かれた１つもしくは複数の中継装置を経由して表示変換装置と被操作装置との間でランクの整合をとることが可能となる。
【００７２】
（１９）ユーザーインターフェースを代替する本システムを構成する装置群がＰＣやセットトップボックスに代表される家電情報処理装置と通信で結合される。
【００７３】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００７４】
図１は本発明の実施の形態におけるＵＩシステムのブロック図である。
【００７５】
図１に示すＵＩシステムは、テレビジョン（ＴＶ）等に代表される表示装置１０１と、リモートコントローラ（以下、「リモコン」と称す。）に代表される操作装置１０３と、オーディオ機器、冷蔵庫やプリンタ等に代表される被操作装置１０２と、表示装置１０１と操作装置１０３との間を接続する情報伝達手段１０５と、表示装置１０１と被操作装置１０２との間を接続する情報伝達手段１０４とから構成される。
【００７６】
ここで、情報伝達手段１０４，１０５については、手法を限定しないが、本実施の形態においては、情報伝達手段１０４は米国電気電子学会（ＩＥＥＥ：ＩｎｓｔｉｔｕｔｅｏｆＥｌｅｃｔｒｉｃａｌａｎｄＥｌｅｃｔｒｏｎｉｃＥｎｇｉｎｅｅｒｓ）のＩＥＥＥ１３９４規格に基づくものである。情報伝達手段１０５は、赤外線リモコンを用いた家電協コードに基づくものである。
【００７７】
また、図１において被操作装置１０２が複数記載されているが、本発明の主旨が表示装置１０１と操作装置１０３と被操作装置１０２との３つの機能装置間に関するものなので、共に１０２という共通番号を付記している。また、情報伝達手段１０４が複数の装置間の通信を可能とするものであれば、図１には記載されていない複数の表示装置１０１が存在し得る。同様に、情報伝達手段１０５及び操作装置１０３に関しても上述の意に添えば、複数の操作装置１０３が存在し得る。
【００７８】
図２は図１の表示装置１０１の構成図である。
【００７９】
図２に示すように、表示装置１０１は、処理用のＣＰＵ（中央処理装置）２０１と、プログラム２０４と、プログラム作業用のワークメモリ２０５と、表示部２０２と、情報伝達手段１０５により通信するリモコンＩＦ部２０６と、情報伝達手段１０４により通信する通信部２０３と、各部を接続する接続部とで構成される。表示の為の表示メモリは、本実施の形態ではワークメモリ２０５に含めるものとするが、いわゆる表示装置の構成は多岐に亘るので、表示メモリが表示部２０２に含まれたり、表示専用素子（ＬＳＩ）等に含まれたりする場合等を本実施の形態の適用外としているわけではない。
【００８０】
図３は図１の被操作装置１０２の構成図である。
【００８１】
図３に示すように、被操作装置１０２は、処理用のＣＰＵ３０１と、プログラム３０２と、プログラム作業用のワークメモリ３０３と、入出力部３０４と、情報伝達手段１０４により通信する通信部３０５と、各部を接続する接続部とで構成される。
【００８２】
本実施の形態では被操作装置１０２は特に機器の種類を特定していない。それ故に入出力部３０４は特定の入出力を規定していない。
【００８３】
図４は図１の操作装置１０３の構成図である。
【００８４】
図４に示すように、操作装置１０３は、操作部である操作キー４０１と、キー入力をコードに変換するエンコーダ部４０２と、情報伝達手段１０５により通信する為のコードを光に変換する発光素子からなる通信部４０３とからなる。
【００８５】
図５は本発明の実施の形態における操作装置の操作キーの構成図である。
【００８６】
本実施の形態では操作装置１０３として簡略したものを図示している。図５に示すように操作キー４０１は、選択と決定の機能を操作者に明示するために必要な操作選択子であって、選択手段としての方向キー５０１と、意思決定手段としての決定キー５０２と、意思解除（キャンセル）手段としての解除キー５０３とからなる。一般に見受けられるリモコン等のように、数字キー、機能設定／選択キーや、携帯電話などのキー部に見られる文字入力キーなどを備えることを制限するものではない。
【００８７】
図６は、本発明の実施の形態におけるＵＩシステムの操作説明図であり、上述の各機能装置（表示装置１０１、被操作装置１０２、操作装置１０３、及び情報伝達手段１０４，１０５）からなるＵＩシステムの操作説明である。
【００８８】
なお、説明の簡略化のために以下を定義する。
【００８９】
１）通信の具体的手法や詳細は記述しない。
【００９０】
２）操作者６０１は人とする。
【００９１】
３）操作装置１０３はリモコンとする。
【００９２】
４）表示装置１０１はＴＶとする。
【００９３】
５）被操作装置１０３はプリンタとする。
【００９４】
人がＴＶを見ながらリモコンを操作するというシーンは極めてありふれたシーンである。人がリモコンを操作（Ａ１）すると、リモコン（操作装置１０３）からＴＶ（表示装置１０１）へ情報（Ｔ１）が送られてＴＶの画面が変わり、画面（Ｖ１）が人に表現される。または、プリンタ（被操作装置１０２）が何らかの表示要求（Ｆ１）をＴＶ（表示装置１０１）に送ると、ＴＶの画面が変わり、画面（Ｖ１）が人に表現される。画面（Ｖ１）は以下の説明の簡便さのために、メニュー画面と表現することにする。
【００９５】
図２４にメニュー画面の一例を示す。メニュー画面という手法は汎用化しており、多くの具現化された表示装置１０１の表示画面に現れるものである。その用途は主として、対象とする装置の機能の変更や設定、ヘルプ機能や通信網の機器表示等、多岐にわたっている。本実施の形態では、ＴＶ（表示装置１０１）と情報伝達手段１０４で接続されたプリンタ（被操作装置１０２）を明示するような意味を持つ表示例を図示している。図２４は、本発明の実施の形態における表示装置のメニュー画面例を示す図であり、プリンタ（被操作装置１０２）がＰＴＲアイコン２４０１としてハイライト表現されている様子を示している。
【００９６】
さて、メニュー画面からＰＴＲアイコン２４０１を選択してリモコン（操作装置１０３）の決定キー５０２を押す操作（Ａ２）を行うと、前述同様に通信（Ｔ２）を経てＴＶ（表示装置１０１）に情報が送られる。ここで、ＴＶとプリンタは、図７のランク調停フローチャートに示す手順で、本発明の主たる要素であるＵＩ貸し出し機能を実現する。
【００９７】
図７を説明する前に、以降の理解を容易にするために図８を用いて通信データ構造を説明する。ＴＶとプリンタの間で通信が行われていることは前述したが、その通信データ８０１の中には、ネゴシエーションコード８０２を含んでいる。ネゴシエーションコード８０２はネゴシエーションコードの内容８０３に示すように、ＵＩ規格Ｖｅｒ（バージョン）情報と装置属性情報と装置ランク情報とを含んでいる。ＵＩ規格Ｖｅｒ情報は、本発明が広範囲の装置間で使用されることを想定した場合に、内容の進化、修正が発生することが想定されるため、予め、装置仕様の規格内容を明確に判別できるようにするものである。装置属性情報は、本発明における３つの機能装置である表示装置１０１、操作装置１０３、被操作装置１０２のいずれかまたは複合した機能を含有していることを示すものである。装置ランク情報は、前記機能がそれぞれどのランクの機能を所有しているかを示すものである。
【００９８】
ランクの説明のために、図９は本発明の実施の形態におけるランク１の表示構成例を示す図である。本実施の形態では、ランク１を以下のように定義する。
【００９９】
１）選択ボタンと相対する内容表現で構成。
【０１００】
２）選択ボタン数：Ｎ（Ｎ＜９）（注：９に特別な意味は無い）
３）内容表現：英数字、ひらがな、カタカナ
４）内容文字数：Ｍ（Ｍ＜２０）（注：２０に特別な意味は無い）
ランク１の表示は、選択ボタンを表示する選択情報表示領域９０１と、それに相対する表示内容を表示する伝達情報表示領域９０２とで基本構成される。
【０１０１】
図１０に本発明の実施の形態における表示装置と被制御装置間の表示データ構造を示す図を示す。
【０１０２】
図１０に示すように通信フォームの中には、表示関連情報部１００１を含む。本実施の形態では、表示関連情報部１００１の構成は、選択情報部１００２と伝達情報部１００３とが組み合わされた１組のデータブロックを選択数分持つ形である（通信パケットのサイズ制約により、データのブロックを選択数分全て一つの通信パケットに組み込むと言う意味ではない）。
【０１０３】
図１１に本発明の実施の形態におけるランク１の表示例を示す図を示す。
【０１０４】
図１１に示す表示例は、選択ボタン１１０１と内容部１１０２との計６組で構成されている。この表示例では文字は英語を使っている。
【０１０５】
図１２に本実施の形態におけるランク２の表示例を示す図である。本実施の形態では、ランク２を以下のように定義する。
【０１０６】
１）選択ボタンと相対する内容で構成。
【０１０７】
２）選択ボタン数Ｎ（Ｎ＜９）（注：９に特別な意味は無い）
３）内容英数字、ひらがな、カタカナ、グラフィック
４）文字数Ｍ（Ｍ＜２０）（注：２０に特別な意味は無い）
ランク２の表示は、選択ボタン１２０１と、各選択ボタン１２０１に対応するグラフィック１２０２と、前述のクラス１同様の文字表現内容１２０３とで構成される。本実施の形態では、グラフィック１２０２のイメージの仕様としてサイズ（Ｘ：１５０ピクセル、Ｙ：１００ピクセル）、色（ＲＧＢ表現で４：４：４）を用いている。
【０１０８】
上のランク１，２の概略説明を踏まえて、図７のフローチャートの説明に戻る。
【０１０９】
図７のステップＳ１で、ＴＶ（表示装置１０１）はプリンタ（被操作装置１０２）に、表示ランク情報（Ｆ２）を送信する（図６参照）。仮に、ＴＶ側が上述のランク２（グラフィック表示可能）をプリンタ側に送ったとする。プリンタがランク２を処理できない場合、もしくはランク２が不要な場合には、ランクの変更に関する調整が必要になる。
【０１１０】
ＴＶとプリンタのランクの調停のためのネゴシエーションフェーズが、図６のネゴシエーション（Ｆ３）である。図７のステップＳ２で、ＴＶとプリンタのランクのネゴシエーションが合意されたらステップＳ３に移行するが、ネゴシエーションが不成立の場合はステップＳ１０，Ｓ１１と進み、ＴＶ側がランクを下げて、再度ステップＳ１からの手順を行う。仮に、ＴＶとプリンタでランク１で合意が取れたとすれば、図７ステップＳ３，Ｓ４と進み、ＴＶはプリンタに表示フォーム形式の送信を行う。表示フォーム形式とは、図９の説明時に記載した選択数（選択ボタンを一度に表示できる数：Ｎの最大値）と内容（文字数Ｍの最大値）である。
【０１１１】
ここで表示フォーム形式を定義した理由を述べる。前述のようにランクと言う概念は装置間のＵＩ表示を保証するための手法であるから、当然のごとく表示フォーム形式に変更可能な規定数値が含まれることは好ましくない。しかしながら、数値を固定することによる弊害も同時に懸念される。例えば、装置が技術の進歩に伴って変わっていくときに、表示装置１０１側の表示能力も向上していくからである。すなわち、同時に被操作機器側も、この向上した表示装置１０１の表現能力を活用したいケースも出てくると考えられるからである。本実施の形態ではランク１で保証する表示フォーム形式に、一つの歯止めをかけている。ここで主張したいのは、表示装置１０１側がランク１で表現できるフォームの形式を拡張して提示することは許されるが、前述のランク１での最低限表示を可能とするために規定した表示フォーム形式よりも表示能力が下回るものを提示してはならないということである。
【０１１２】
さて、図７のステップＳ５で、プリンタ（被操作装置１０２）は表示用のデータ（図６のＦ４）をＴＶ（表示装置１０１）に送信する。ここで、ＴＶはランク１であることが合意されているので、表示画面を形成する処理を行う必要がある。以降の説明のために各装置の構成と機能を詳述する。
【０１１３】
図１１に例示したような形式の表示を行うための本実施の形態における表示装置１０１のＵＩ機能構成を図１３に示す。図１３において、表示装置１０１は、表示位置管理機能１３０１と、操作機器情報管理機能１３０２と、操作キーと表示ボタンの対応付け機能１３０３と、基本レイアウトパターン１３０４と、送受信機能１３０５と、表示資源１３０６とを有している。以下、図５、図１４、図１８および図２０を用いて各機能を説明する。
【０１１４】
表示位置管理機能１３０１は、図１４に示すように表示装置１０１の表示部２０２の中にメニュー表示領域１４０１として場所を確保する機能である。メニュー表示領域１４０１は、ランク１の基本表示形式である図９に基づく表示形式を備える。操作機器情報管理機能１３０２は、図５に示すように、操作装置１０３がどのような操作を前提とした操作部位（方向キー５０１、決定キー５０２、解除キー５０３など）を備えているかを管理する。操作キーと表示ボタンの対応付け機能１３０３は、図２０に示すように操作キーと表示ボタンの関連付けを行うものである。
【０１１５】
ここで、関連付けとは以下のようなことである。リモコン等の操作装置１０３は通常はＴＶ等の表示装置１０１の付属装置であることが多く、更には機器メーカーごとに社内で標準化された仕様を持つことが多い。つまり、表示装置１０１は、操作装置１０３がどのような操作部位を所有しているかを、かなりの確度で把握可能である。そこで、表示装置１０１は、ＵＩの視点に立てば、操作装置１０３の操作部位表示と合った表現をした方が、操作者により良い使いやすさを提供できるはずである。図２０では、操作装置１０３に（Ａ，Ｂ，Ｃ，Ｄ・・・）という操作部位が有って、（１，２，３，４・・）という操作部位がない場合に、本実施の形態でランク１の標準的な表示フォームである選択ボタン表現２００２（１，２，３，４・・）を表示装置１０１が表示するよりも、１をＡに、２をＢにというように対応付けを行った管理手段を設けることで操作装置１０３と表示装置１０１の表現を合わせた選択ボタン表現２００１（Ａ，Ｂ，Ｃ，Ｄ・・・）を表示装置１０１が表示する。つまり、ステップＳ２０１で、操作者は表示装置１０１が表示している選択項目の中のＡを選択する為に操作装置１０３のＡキーを押す。ステップＳ２０２で、表示装置１０１はＡ＝１という対応を行って、ステップＳ２０３で、被操作装置１０２に“操作者がキー１を押した”という主旨の情報を送信する。つまり、表示装置１０１と被操作装置１０３と間で通信される情報の意味は、１は１、２は２のままである。
【０１１６】
基本レイアウトパターン１３０４は、図１１や図１２に示したランクごとの表現形式のことである。送受信機能１３０５は、本実施の形態で使用している情報伝達手段１０４のベースとなるもので詳細な説明は省略する。表示資源１３０６とは、図１８および図１９に示すように、内容に文字が有れば対応する文字表現のための文字フォントや色を管理する手段であり、更には、データが圧縮されている場合（ＪＰＥＧなど）などにそれを伸張する手段を指している。
【０１１７】
さて、ＴＶ（表示装置１０１）が図６の表示用のデータ（Ｆ４）を上述のように画面表示（Ｖ２）（例えば、図１１を参照。）として操作者６０１に提示する（図７のステップＳ７）と、操作者６０１はリモコン（操作装置１０３）のボタンを操作して何れかの選択を決定するリアクション（Ａ３）を行う（図７のステップＳ８）。リモコン（操作装置１０３）は、リアクション（Ａ３）を通信データ（Ｔ３）に変えてＴＶ（表示装置１０１）に送信する（図７のステップＳ９）。ＴＶ（表示装置１０１）は、前述の操作キーと表示ボタンの対応付け機能１３０３を用いて、適切なリアクション情報（Ｆ５）をプリンタ（被操作装置１０２）に伝達する。プリンタ（被操作装置１０２）はリアクション情報（Ｆ５）の内容を判読して新たな内容（Ｆ６）をＴＶ（表示装置１０１）に送信する。
【０１１８】
ところで、図７のステップＳ６ではＵＩ処理の終了判定を行っているが、説明の流れから、内容（Ｆ６）には表示内容以外にＵＩ行為自体の状態を変化させるための制御コマンド類を含んでいるものとする。制御コマンドの一例としては、ＵＩ操作自体を終了する旨の通知を被操作装置１０２が表示装置１０１に送り、表示装置１０１は対応する被操作装置１０２とのＵＩジョブを終了させる終了コマンド（図７のステップＳ６，Ｓ１２，Ｓ１３）や、表示ランクの変更を途中で行うためのランク変更コマンドなどである。
【０１１９】
例えば、図１７に示すようにランク１の文字表示１７０１からランク２のグラフィック表示１７０２に切り換えたいと被操作装置１０２側が所望する場合、図１６に示すように処理フローを改良し、制御コマンド判定のための判定ステップＳ１４を追加し、さらに表示ランク変更判定ステップＳ１５を追加することで、表示装置１０１と被操作装置１０２の間で合意が取れる範囲内で自由な表現に移行できる。
【０１２０】
図１５は被操作装置１０２のＵＩ機能構成を示している。上述したように表示装置１０１と被操作装置１０２はランクのネゴシエーションを行うことで、表示と操作とそれによって操作される物という３者間の相互接続性が構築されている。
【０１２１】
次に、被操作装置１０２側の視点で説明を行うことにする。
【０１２２】
図１５において、被操作装置１０２は、文字コードやグラフィックのイメージデータを格納する表示内容格納部１５０１と、表示要求に対して操作者からのリアクション情報に対して次の表示内容等を管理するＵＩ管理機能１５０２と、表示装置１０１とランクの調停を行うランク調停機能１５０３と、表示装置１０１の表現能力ランク（ランクと表示フォーム形式）に応じて表示内容を修飾する修飾機能１５０４と、要求表示量の適正化機能１５０５と、要求表示をランクに合わせて適切に通信情報のフォームに組み込む要求表示フォーム化機能１５０６と、送受信機能１５０７とを有する。ちなみに被操作装置１０２本来の機能（プリント機能等）は従来と同様であるため、本説明では不要であり、説明図には記載していない。
【０１２３】
図２１、図２２および図２３は、本発明における応用例である。
【０１２４】
図２１は表示装置１０１がＴＶ、操作装置１０３がＴＶ付属のリモコン、被操作装置１０２がインテリジェントな冷蔵庫である。
【０１２５】
図２２は表示装置１０１と被操作装置１０２との間の情報伝達手段１０４が無線の場合を示している。
【０１２６】
図２３は表示装置１０１と操作装置１０３が携帯電話やＰＤＡ（パーソナル・デジタル・アシスタント）機器などの同一の装置内に組み込まれた例を示している。携帯電話やＰＤＡ（機器は、主に情報伝達手段１０４としての無線通信手段によって中継・表示変換装置２３０１を経由して複数の被操作装置１０２と接続される。
【０１２７】
なお、中継・表示変換装置２３０１は図２３では一つの構成装置として記載したが、中継機能という側面から、実際には複数の中継装置から構成されても良い。加えて、表示変換機能という側面から、中継・表示変換装置２３０１は表示装置１０１の機能を内在させても良い。更には、表示変換機能を前記複数の中継装置の中の少なくとも一つの中継装置に内在させても良い。
【０１２８】
例えば、図２３の構成を平易に表現するならば、携帯電話と通信を行う通信網（第１の中継装置）から家庭の通信の入り口となる例えばＡＤＳＬ（ＡｓｙｍｍｅｔｒｉｃＤｉｇｉｔａｌＳｕｂｓｃｒｉｂｅｒＬｉｎｅ；非対称デジタル加入者線）通信端末（第２の中継装置）を経て、ＰＣ（第３の中継装置であり、かつ表示変換可能な情報処理装置）から家庭内のネットワークに接続する情報伝達手段１０４、例えばイーサネット（Ｒ）、ＩＥＥＥ１３９４（Ｈａｖｉなど）、Ｂｌｕｅｔｏｏｔｈ（ブルートゥース）、電力線通信等の通信手段を通じて複数の被操作装置１０２が有機的に接続されていることを表している。このように一見複雑に思える接続形式においても、操作者に表示を提供する手段（表示装置１０１）と操作を提供する手段（操作装置１０３）と操作の結果を反映する被操作装置１０２とからなる３者の構成が成立し、ランクという概念で統一されるＵＩシステムを構築することが可能である。
【０１２９】
【発明の効果】
本発明により、以下の効果を奏することができる。
【０１３０】
本発明の表示装置は、他の機能装置から情報伝達手段を用いて入手した表示内容を自らの表示部に表示する機能を有する構成としたものである。
【０１３１】
本発明によれば、異なるシステムと異なるプラットフォームで設計された機器間のユーザーインターフェースに関する部分を容易に実現することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態におけるＵＩシステムのブロック図
【図２】図１の表示装置の構成図
【図３】図１の被操作装置の構成図
【図４】図１の操作装置の構成図
【図５】本発明の実施の形態における操作装置の操作キーの構成図
【図６】本発明の実施の形態におけるＵＩシステムの操作説明図
【図７】本発明の実施の形態におけるＵＩシステムの動作フローチャート
【図８】本発明の実施の形態における表示装置と被制御装置間の通信データ構造を示す図
【図９】本発明の実施の形態におけるランク１の表示構成例を示す図
【図１０】本発明の実施の形態における表示装置と被制御装置間の表示データ構造を示す図
【図１１】本発明の実施の形態におけるランク１の表示例を示す図
【図１２】本発明の実施の形態におけるランク２の表示例を示す図
【図１３】本発明の実施の形態における表示装置のＵＩ機能構成を示す図
【図１４】本発明の実施の形態における表示装置の機能説明図
【図１５】本発明の実施の形態における被操作装置のＵＩ機能構成を示す図
【図１６】本発明の実施の形態におけるＵＩシステムの改良された動作フローチャート
【図１７】ランク切り換えによる階層表示例を示す図
【図１８】本発明の実施の形態における表示装置による文字表現例を示す図
【図１９】本発明の実施の形態における表示装置によるグラフィック表現例を示す図
【図２０】操作キーと表示ボタンの対応付け機能の具体例を示す図
【図２１】本発明の実施の形態におけるＵＩシステムの接続例１を示す図
【図２２】本発明の実施の形態におけるＵＩシステムの接続例２を示す図
【図２３】本発明の実施の形態におけるＵＩシステムの接続例３を示す図
【図２４】本発明の実施の形態における表示装置のメニュー画面例を示す図
【図２５】従来の機器操作プログラム組み入れ方式の説明図
【符号の説明】
１０１表示装置
１０２被操作装置
１０３操作装置
１０４情報伝達手段
１０５情報伝達手段
２０１ＣＰＵ
２０２表示部
２０３通信部
２０４プログラム
２０５ワークメモリ
２０６リモコンＩＦ部
３０１ＣＰＵ
３０２プログラム
３０３ワークメモリ
３０４入出力部
３０５通信部
４０１操作キー
４０２エンコーダ部
４０３通信部
５０１方向キー
５０２決定キー
５０３解除キー
６０１操作者
８０１通信データ
８０２ネゴシエーションコード
８０３ネゴシエーションコードの内容
９０１選択情報表示領域
９０２伝達情報表示領域
１００１表示関連情報部
１００２選択情報部
１００３伝達情報部
１１０１選択ボタン
１１０２内容部
１２０１選択ボタン
１２０２グラフィック
１２０３文字表現内容
１３０１表示位置管理機能
１３０２操作機器情報管理機能
１３０３操作キーと表示ボタンの対応付け機能
１３０４基本レイアウトパターン
１３０５送受信機能
１３０６表示資源
１４０１メニュー表示領域
１５０１表示内容格納部
１５０２ＵＩ管理機能
１５０３ランク調停機能
１５０４修飾機能
１５０５要求表示量の適正化機能
１５０６要求表示フォーム化機能
１５０７送受信機能
１７０１ランク１の文字表示
１７０２ランク２のグラフィック表示
２００１選択ボタン表現
２００２選択ボタン表現
２３０１中継・表示変換装置
２４０１ＰＴＲアイコン
Ａ１〜Ａ４操作者による操作装置に対するリアクション
Ｆ１〜Ｆ８表示装置と被操作装置間の通信
Ｔ１〜Ｔ４操作装置から表示装置への通信
Ｖ１〜Ｖ３表示装置の表示画面[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a display device, an operated device, an operating device, and a user interface system having a mechanism for substituting a user interface between devices coupled by communication.
[0002]
[Prior art]
In the case of configuring a so-called user interface (hereinafter referred to as “UI”) function for displaying device-specific information or inputting an instruction to the device, conventionally, the following method is used.
[0003]
The first method is by a closed system managed by a control means that combines operating means and display means coupled to the apparatus.
[0004]
The second method is based on a system in which operation means, display means, and control means, represented by a computer device, are coupled by communication and exchange information with each other, and is an intelligent device having operation means and display means. However, a unique application program for controlling the operated device or a driver program that functions in cooperation with the application program is obtained from communication or an interface (hereinafter referred to as “IF”) and incorporated into the controlled device. For example, a method for incorporating driver software for a peripheral device (for example, refer to Patent Document 1) that allows control (for example, a personal computer (hereinafter referred to as “PC”)), or for home use that is not a PC. Havi (home audio / video) that connects and controls AV equipment and home appliances via communication Havlet in Interview Al Initiative) standard (see peripheral control unit (for example, Patent Document 2 incorporating a device control application program).), Etc.).
[0005]
The prior art will be described with reference to FIG.
[0006]
The configuration of FIG. 25 is mainly the configuration of a display device in the system outlined in the second method described above. The display device 2501 is connected to a display management program 2503 and a communication program 2505 by communication. Then, an operated device recognition program 2506 for recognizing the operated device to be controlled and a control display program 2509 for the operated device to be operated in the display device 2501 by the operated device recognition program 2506. A driver installation area 2508 for incorporating the program from the external driver software storage unit 2502 when it does not exist, and a driver software storage unit 2507 for storing control display programs (driver software) for a plurality of control devices. .
[0007]
For example, a display device 2501 generally corresponds to a display device such as a CRT and a PC main body. The display management program 2503 is a kind of Microsoft Windows system as a legend. The communication program 2505 is an Ethernet (R) class. The operated device recognition program 2506 is a kind of plug and play similarly proposed by Microsoft Corporation. The driver installation area 2508 and the driver software storage unit 2507 are also a kind of driver management technique in the Microsoft Windows system.
[0008]
A feature of the above configuration is that when a new peripheral device for control is developed with emphasis on versatility and expandability and control is to be performed on an existing PC, the control program for the new peripheral device is: If the program is created in accordance with the rules defined in the PC and its system, the program can be incorporated into the PC as driver software to control a desired new peripheral device.
[0009]
[Patent Document 1]
JP-T-2002-501238
[Patent Document 2]
JP 2002-183001 A
[0010]
[Problems to be solved by the invention]
Many of the devices that have been used in the home have been used in closed systems that do not connect or communicate with other devices. For example, it is a device group such as a refrigerator, a washing machine, and a microwave oven. On the other hand, an information processing device group represented by a PC realizes mutual connectivity by standardizing a unified OS and system compatibility and a communication protocol. However, if information is exchanged by connecting a refrigerator and a PC, the refrigerator must have a communication interface that is accepted in the PC world, or the PC must add a special function for the refrigerator. Similarly, if information is exchanged by connecting a printer, which is a peripheral device of the PC, to the TV, the TV is required to have a function similar to that of the PC. Information transmission and communication between devices designed on different systems and different platforms is extremely difficult.
[0011]
The systems described in (Patent Documents 1 and 2) use home appliances different from PCs, especially intelligent home appliances such as set-top boxes and digital TVs mainly based on satellite communications as the main device of the user interface. And peripheral devices such as other audio devices and video devices are connected by a local communication means (IEEE1394 in the previous example) to construct peripheral device control means based on the Havi standard.
[0012]
The Havi standard requires a dedicated program for controlling peripheral devices as with a PC. It is user interface software generally called driver software in a PC and called Havlet in the Havi standard. In any case, an intelligent control device incorporates a unique application program for a controlled device. Unlike the PC world, various parts are used for hardware such as CPU, memory and interface used in intelligent home appliances. In Havi, Java (R) language is used to absorb such a variety of hardware unique to home appliances. By using the Java® language as the language of the application program, it is a mechanism for maintaining the compatibility between devices of the application program for user interface between home appliances.
[0013]
However, the mechanism connected with the PC world and Havi includes the following potential problems.
[0014]
1) As the number of controlled devices connected to a local network increases in intelligent devices, the number of memories for incorporating control drivers and hacklets increases.
[0015]
2) Application programs for controlled devices that require elaborate user interfaces have large capacities and burden the memory of intelligent devices that carry the UI.
[0016]
3) As a result, the required level for establishing an intelligent device is increased.
[0017]
4) If the connected device changes, the intelligent device needs to update the application program.
[0018]
As described above, the present invention provides a user interface means and system in view of devices that do not need to have a highly sophisticated communication means such as a refrigerator, a microwave oven, and a rice cooker. Focusing on the fact that main control of home appliances is performed between a person and a controlled device, a TV or the like is assumed as a device serving as a user interface window. In addition, with the development of mobile communication technology, a group of devices that can be user interface devices with small screens and keys found in mobile phones that are becoming increasingly popular is also envisioned. The present invention provides a display device and an operated device that can easily realize a part related to a user interface in information between devices designed with different systems and different platforms, without causing the above-mentioned problems. An object is to provide an operating device and a user interface system.
[0019]
[Means for Solving the Problems]
The display device of the present invention is configured to have a function of displaying the display content obtained from other functional devices using the information transmission means on its own display unit.
[0020]
According to the present invention, it is possible to easily realize a part related to a user interface between devices designed on different systems and different platforms.
[0021]
DETAILED DESCRIPTION OF THE INVENTION
The invention described in claim 1 includes display data including identification information such as a selection number from the operated device and transmission information including display contents associated with the identification information. Communication data indicating whether or not at least graphic information can be handled Received by the receiving means and received by the receiving means Above Display means for displaying display data; Sending means for sending display form data indicating the display form; and Received from the operated device when performing the display Above Determining whether the operated device can handle at least graphic information based on communication data; The display form data based on this determination is transmitted to the operated device, and then the display data sent from the operated device is To judge Based on Use layout pattern Before It is a display device characterized by displaying by the display means.
[0023]
Claim 2 The invention according to claim 1 includes display data including identification information such as a selection number and transmission information including display contents associated with the identification information for the display device. Communication data indicating whether or not at least graphic information can be handled Transmission means for transmitting Above Before sending display data, Above Based on the data indicating the display form from the display device for the communication data after transmitting the communication data to the display device Above Displayed data is transmitted by the transmission means.
[0024]
Claim 3 The invention according to claim 1 is provided by the display device. Show display form The data is the number of selection buttons and the number of characters that can be displayed. 2 It is a to-be-operated apparatus of description.
[0025]
Claim 4 The invention described in First reception for receiving display data including identification information such as a selection number and transmission information including display contents associated with the identification information and communication data indicating whether at least graphic information can be handled from the operated device A display device comprising: means; display means for displaying the display data received by the first receiving means; and first transmission means for transmitting display form data indicating a display form; and Between the operated device having a second transmission means for transmitting the display data and the communication data, The operated device is By the second transmission means, Communication data Above Transmitted to a display device, the display device Received by the first receiving means Based on this determination, after determining whether the operated device can handle at least graphic information based on the communication data The display form data is transmitted by the first transmission means. Transmitted to the operated device, and the operated device is Display form data Based on Above Display data By the second transmission means Transmitted to the display device, the display device Received by the first receiving means The display data for the judgment Based on Using layout pattern By the display means User interface characterized by display Control method It is.
[0026]
Claim 5 The invention described in the above, the display Form data The display device Display means 5. The user interface according to claim 4, wherein the data includes data including the number of selection buttons and the number of characters that can be displayed. Control method It is.
[0054]
With the above,
(1) Conventionally, a user interface that has been difficult or requires advanced technical means between functionally different devices based on different platforms can be easily and surely realized although it has content limitations.
[0055]
(2) A display device, an operation device, an operated device, or a composite device thereof can independently improve its own functions, and as a result, does not have any adverse effect on the basic system of the user interface. .
[0056]
(3) Since both companies are connected to the display device and the operated device for the purpose of user interface, no new memory or program is required.
[0057]
(4) As long as both the display device and the device to be operated are designed and manufactured to fit at least the lowest rank, it is possible to obtain an alternative user interface, so the development of the device is extremely free. become.
[0058]
(5) Using the operation device (remote controller or the like) of the display device (TV or the like) to transmit the operation information of the operation device to the operated device (audio device, home appliance, printer, or the like) via the display device (TV or the like). It becomes possible.
[0059]
(6) The operating device side can request the operating device by informing the operating device what kind of operating conditions (type and number of keys) the operating device (remote controller etc.) of the display device (TV etc.) has. It is possible to grasp the possibility of display and make a display request suitable for the operation conditions.
[0060]
(7) Since the display content requested by the operated device is displayed, the operating device, the display device, and the operated device function without inconsistency.
[0061]
(8) As an input to the operation device, it is possible to mainly interface with humans and use various information input devices developed for people with disabilities.
[0062]
(9) As an output of the display device, it is possible to mainly interface with humans and use various information output devices developed for people with disabilities.
[0063]
(10) Communication can be performed between a display device (TV or the like) and an operated device (audio device, home appliance, printer, or the like).
[0064]
(11) When the display device and the operated device have the display capability rank and the display request rank, respectively, the consistency of both ranks is obtained, and when the consistent ranks are combined with each other, the display request Display contents satisfying the condition are expressed on the display device.
[0065]
(12) It becomes possible for the display device to transmit the rank information of its expression ability to the operated device.
[0066]
(13) When the display request rank of the operated device is high and the display capability rank of the display device is low, the display request rank of the operated device can be lowered to match the display capability rank of the display device.
[0067]
(14) In a state where the operated device is connected to a plurality of display devices having different display capability ranks by communication, display requests of different ranks can be made between the display devices.
[0068]
(15) Since the operated device itself has its own operation means such as an operation panel, the convenience of the UI in the case where communication is not established or in the vicinity of the operated device is improved.
[0069]
(16) By separating the selection information and the transmission information on the display of the display device and laying them out, for example, the content portion is constantly updated in data such as a moving image and the frequency of updating the selection key and the like It is possible to effectively express the portion of the selection information with less.
[0070]
(17) When the display capability of the display device is poor and a sufficient UI cannot be realized as the display device, a display conversion device as an alternative device having a high representation capability for the UI instead of the display device is connected to the operated device. It is possible to match the ranks between the display conversion device and the operated device.
[0071]
(18) When an operation display device including a display unit is connected to an operated device remotely, for example, by communication, the display conversion device and the operated device are connected via one or more relay devices placed on a communication path. It is possible to match the rank with the operating device.
[0072]
(19) A device group constituting this system that replaces the user interface is coupled to a home appliance information processing device represented by a PC or a set-top box by communication.
[0073]
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0074]
FIG. 1 is a block diagram of a UI system according to an embodiment of the present invention.
[0075]
The UI system shown in FIG. 1 includes a display device 101 typified by a television (TV) and the like, an operation device 103 typified by a remote controller (hereinafter referred to as “remote control”), an audio device, a refrigerator, and a printer. And the like, the information transmission means 105 that connects the display device 101 and the operation device 103, and the information transmission means 104 that connects the display device 101 and the operation device 102. Composed.
[0076]
Here, the information transmission means 104 and 105 are not limited in technique, but in the present embodiment, the information transmission means 104 is based on the IEEE1394 standard of the Institute of Electrical and Electronic Engineers (IEEE). is there. The information transmission means 105 is based on a home appliance cooperative code using an infrared remote controller.
[0077]
Further, although a plurality of operated devices 102 are described in FIG. 1, since the gist of the present invention relates to the three functional devices of the display device 101, the operating device 103, and the operated device 102, the common number 102 is used. Is appended. In addition, if the information transmission unit 104 enables communication between a plurality of devices, there may be a plurality of display devices 101 not shown in FIG. Similarly, regarding the information transmission means 105 and the operation device 103, a plurality of operation devices 103 may exist if the above-mentioned meaning is attached.
[0078]
FIG. 2 is a configuration diagram of the display device 101 of FIG.
[0079]
As shown in FIG. 2, the display device 101 includes a processing CPU (central processing unit) 201, a program 204, a work memory 205 for program work, a display unit 202, and a remote controller that communicates with the information transmission means 105. The IF unit 206, the communication unit 203 that communicates with the information transmission unit 104, and a connection unit that connects the units. A display memory for display is included in the work memory 205 in this embodiment mode. However, since the configuration of a so-called display device is diverse, the display memory is included in the display unit 202 or a display dedicated element (LSI). ) And the like are not excluded from this embodiment.
[0080]
FIG. 3 is a block diagram of the operated device 102 of FIG.
[0081]
As shown in FIG. 3, the operated device 102 includes a processing CPU 301, a program 302, a program work work memory 303, an input / output unit 304, and a communication unit 305 that communicates with the information transmission unit 104, It is comprised with the connection part which connects each part.
[0082]
In the present embodiment, the operated device 102 does not particularly specify the type of device. Therefore, the input / output unit 304 does not define a specific input / output.
[0083]
FIG. 4 is a configuration diagram of the operation device 103 of FIG.
[0084]
As shown in FIG. 4, the operation device 103 includes an operation key 401 that is an operation unit, an encoder unit 402 that converts a key input into a code, and a light emitting element that converts a code for communication by the information transmission unit 105 into light. And a communication unit 403.
[0085]
FIG. 5 is a configuration diagram of operation keys of the operation device according to the embodiment of the present invention.
[0086]
In this embodiment, a simplified operation device 103 is illustrated. As shown in FIG. 5, the operation key 401 is an operation selector necessary to clearly indicate the selection and determination functions to the operator, and includes a direction key 501 as a selection unit and a determination key 502 as a decision determination unit. And a release key 503 as intention release (cancellation) means. The present invention is not limited to the provision of numeric keys, function setting / selection keys, and character input keys that can be found on a key portion of a mobile phone, such as a remote control that can be generally found.
[0087]
FIG. 6 is a diagram for explaining the operation of the UI system according to the embodiment of the present invention. The UI includes the above-described functional devices (the display device 101, the operated device 102, the operating device 103, and the information transmission means 104 and 105). It is an operation description of the system.
[0088]
For the sake of simplicity, the following is defined.
[0089]
1) No specific communication method or details will be described.
[0090]
2) The operator 601 is a person.
[0091]
3) The operation device 103 is a remote controller.
[0092]
4) The display device 101 is a TV.
[0093]
5) The operated device 103 is a printer.
[0094]
A scene in which a person operates a remote control while watching TV is a very common scene. When a person operates the remote control (A1), information (T1) is sent from the remote control (operation device 103) to the TV (display device 101), the TV screen changes, and the screen (V1) is expressed to the person. Alternatively, when the printer (operated device 102) sends some display request (F1) to the TV (display device 101), the TV screen changes and the screen (V1) is expressed to a person. The screen (V1) is expressed as a menu screen for the convenience of the following description.
[0095]
FIG. 24 shows an example of the menu screen. The method of the menu screen is generalized and appears on the display screens of many embodied display devices 101. Its application is mainly diverse, such as changing and setting the function of the target device, help function, and device display of the communication network. In the present embodiment, a display example having a meaning of clearly indicating a printer (operated device 102) connected to the TV (display device 101) and the information transmission unit 104 is illustrated. FIG. 24 is a diagram showing an example of a menu screen of the display device according to the embodiment of the present invention, and shows a state in which the printer (operated device 102) is highlighted as a PTR icon 2401.
[0096]
When the PTR icon 2401 is selected from the menu screen and the determination key 502 of the remote controller (operation device 103) is pressed (A2), information is transmitted to the TV (display device 101) through communication (T2) as described above. Sent. Here, the TV and the printer realize the UI lending function, which is the main element of the present invention, according to the procedure shown in the rank arbitration flowchart of FIG.
[0097]
Before describing FIG. 7, the communication data structure will be described with reference to FIG. Although the communication between the TV and the printer is described above, the communication data 801 includes a negotiation code 802. As shown in the negotiation code contents 803, the negotiation code 802 includes UI standard Ver (version) information, device attribute information, and device rank information. The UI standard Ver information clearly identifies the standard content of the device specifications beforehand because it is assumed that the content will evolve and be corrected when the present invention is assumed to be used between a wide range of devices. It is something that can be done. The device attribute information indicates that one of the three functional devices according to the present invention, that is, the display device 101, the operation device 103, the operated device 102, or a composite function is contained. The device rank information indicates which rank function each of the functions possesses.
[0098]
For the purpose of explaining the rank, FIG. 9 is a diagram showing a display configuration example of rank 1 in the embodiment of the present invention. In the present embodiment, rank 1 is defined as follows.
[0099]
1) Consists of content expression opposite to the selection button.
[0100]
2) Number of selected buttons: N (N <9) (Note: 9 has no special meaning)
3) Content expression: alphanumeric characters, hiragana, katakana
4) Number of characters: M (M <20) (Note: 20 has no special meaning)
The display of rank 1 is basically composed of a selection information display area 901 for displaying a selection button and a transmission information display area 902 for displaying the display content relative to the selection information display area.
[0101]
FIG. 10 shows a display data structure between the display device and the controlled device in the embodiment of the present invention.
[0102]
As shown in FIG. 10, the communication form includes a display related information unit 1001. In the present embodiment, the configuration of the display-related information unit 1001 is a form having a selected number of data blocks in which the selection information unit 1002 and the transmission information unit 1003 are combined for the number of selections (due to the size limitation of the communication packet, It does not mean that all blocks of data are incorporated into one communication packet for the selected number).
[0103]
FIG. 11 shows a display example of rank 1 in the embodiment of the present invention.
[0104]
The display example shown in FIG. 11 includes a total of six sets of a selection button 1101 and a content part 1102. In this display example, English characters are used.
[0105]
FIG. 12 is a diagram showing a display example of rank 2 in the present embodiment. In the present embodiment, rank 2 is defined as follows.
[0106]
1) Consists of contents opposite to the selection button.
[0107]
2) Number of selected buttons N (N <9) (Note: 9 has no special meaning)
3) Contents Alphanumeric characters, hiragana, katakana, graphics
4) Number of characters M (M <20) (Note: 20 has no special meaning)
The display of rank 2 includes a selection button 1201, a graphic 1202 corresponding to each selection button 1201, and character expression content 1203 similar to the above-described class 1. In the present embodiment, the size (X: 150 pixels, Y: 100 pixels) and color (RGB representation 4: 4: 4) are used as the specifications of the graphic 1202 image.
[0108]
Returning to the description of the flowchart of FIG.
[0109]
In step S1 of FIG. 7, the TV (display device 101) transmits display rank information (F2) to the printer (operated device 102) (see FIG. 6). Suppose that the TV side sends the above rank 2 (graphic display possible) to the printer side. If the printer cannot process rank 2 or rank 2 is not necessary, adjustments related to the rank change are required.
[0110]
The negotiation phase for mediation of the TV and printer rank is negotiation (F3) in FIG. If negotiation of the rank of the TV and the printer is agreed in step S2 of FIG. 7, the process proceeds to step S3. If the negotiation is not established, the process proceeds to steps S10 and S11, the TV side lowers the rank, and again from step S1. Do the procedure. If an agreement is reached between the TV and the printer at rank 1, the process proceeds to steps S3 and S4 in FIG. 7, and the TV transmits the display form format to the printer. The display form format is the number of selections (the number of selection buttons that can be displayed at one time: the maximum value of N) and the contents (the maximum value of the number of characters M) described in the description of FIG.
[0111]
The reason for defining the display form format is described here. As described above, since the concept of rank is a technique for guaranteeing UI display between devices, it is not preferable that the display form format includes a specified numerical value that can be changed as a matter of course. However, there are also concerns about the negative effects of fixing numerical values. For example, the display capability on the display device 101 side is also improved when the device changes as technology advances. That is, it is considered that there may be a case where the operated device side wants to utilize the improved expression capability of the display device 101 at the same time. In the present embodiment, one pawl is applied to the display form format guaranteed by rank 1. I would like to argue here that the display device 101 side is allowed to present an expanded form format that can be expressed in rank 1, but the display form defined to enable the minimum display in rank 1 described above This means that you must not present anything that is less displayable than the format.
[0112]
In step S5 in FIG. 7, the printer (operated device 102) transmits display data (F4 in FIG. 6) to the TV (display device 101). Here, since it is agreed that the TV is rank 1, it is necessary to perform processing for forming a display screen. The configuration and function of each device will be described in detail for the following explanation.
[0113]
FIG. 13 shows a UI function configuration of the display apparatus 101 in the present embodiment for performing the display in the format illustrated in FIG. In FIG. 13, the display device 101 includes a display position management function 1301, an operation device information management function 1302, an operation key / display button association function 1303, a basic layout pattern 1304, a transmission / reception function 1305, and a display resource 1306. And have. Hereinafter, each function will be described with reference to FIGS. 5, 14, 18 and 20.
[0114]
The display position management function 1301 is a function for securing a place as a menu display area 1401 in the display unit 202 of the display device 101 as shown in FIG. The menu display area 1401 has a display format based on FIG. As shown in FIG. 5, the operating device information management function 1302 manages what operation the operation device 103 is equipped with on which operation parts (direction key 501, enter key 502, release key 503, etc.) are premised. . The operation key / display button association function 1303 associates operation keys and display buttons as shown in FIG.
[0115]
Here, the association is as follows. The operation device 103 such as a remote control is usually an accessory device of the display device 101 such as a TV, and moreover, it often has specifications standardized in-house for each device manufacturer. That is, the display device 101 can grasp with high accuracy what kind of operation part the operation device 103 owns. Therefore, from the viewpoint of the UI, the display device 101 should be able to provide better usability to the operator if it is expressed in accordance with the operation part display of the operation device 103. In FIG. 20, when the operation device 103 has an operation part (A, B, C, D...) And no operation part (1, 2, 3, 4,. The display device 101 displays a selection button expression 2002 (1, 2, 3, 4,...) That is a standard display form of rank 1 in form, so that 1 corresponds to A, 2 corresponds to B, and so on. By providing the attached management means, the display device 101 displays a selection button expression 2001 (A, B, C, D...) That combines the expressions of the operation device 103 and the display device 101. That is, in step S201, the operator presses the A key of the operation device 103 in order to select A among the selection items displayed on the display device 101. In step S <b> 202, the display apparatus 101 performs a response A = 1, and transmits information indicating that “the operator has pressed key 1” to the operated apparatus 102 in step S <b> 203. That is, the meaning of the information communicated between the display device 101 and the operated device 103 remains 1 and 1 and 2 remain unchanged.
[0116]
The basic layout pattern 1304 is an expression format for each rank shown in FIG. 11 and FIG. The transmission / reception function 1305 is a base of the information transmission means 104 used in this embodiment, and detailed description thereof is omitted. As shown in FIGS. 18 and 19, the display resource 1306 is a means for managing character fonts and colors for expressing a corresponding character if the content includes characters, and further, data is compressed. In some cases (such as JPEG), it means a means for decompressing it.
[0117]
Now, the TV (display device 101) presents the display data (F4) of FIG. 6 to the operator 601 as the screen display (V2) (see, for example, FIG. 11) as described above (step of FIG. 7). In step S7), the operator 601 operates a button (A3) in which one of the buttons on the remote controller (the operation device 103) is selected to determine a selection (step S8 in FIG. 7). The remote control (operation device 103) changes the reaction (A3) to communication data (T3) and transmits it to the TV (display device 101) (step S9 in FIG. 7). The TV (display device 101) transmits appropriate reaction information (F5) to the printer (operated device 102) using the above-described operation key / display button association function 1303. The printer (operated device 102) reads the content of the reaction information (F5) and transmits new content (F6) to the TV (display device 101).
[0118]
By the way, although the UI processing end determination is performed in step S6 of FIG. 7, from the flow of explanation, the content (F6) includes control commands for changing the state of the UI action itself in addition to the display content. It shall be. As an example of the control command, the operated device 102 sends a notification to the effect that the UI operation itself is to be terminated to the display device 101, and the display device 101 terminates the UI job with the corresponding operated device 102 (FIG. 7). Steps S6, S12, and S13), a rank change command for changing the display rank in the middle, and the like.
[0119]
For example, when the operated device 102 desires to switch from the character display 1701 of rank 1 to the graphic display 1702 of rank 2 as shown in FIG. 17, the processing flow is improved as shown in FIG. By adding a determination step S14 for this purpose and further adding a display rank change determination step S15, it is possible to shift to a free expression as long as an agreement can be reached between the display device 101 and the operated device 102.
[0120]
FIG. 15 shows a UI function configuration of the operated device 102. As described above, the display device 101 and the operated device 102 negotiate the ranks, thereby establishing the interconnection between the three parties: display, operation, and object operated by the display.
[0121]
Next, a description will be given from the viewpoint of the operated device 102 side.
[0122]
In FIG. 15, the operated device 102 has a display content storage unit 1501 for storing character code and graphic image data, and a UI for managing the next display content and the like for reaction information from the operator in response to a display request. A management function 1502, a rank arbitration function 1503 for mediating ranks with the display device 101, a modification function 1504 for modifying display contents according to the expression capability rank (rank and display form format) of the display device 101, and a requested display amount , An appropriate function 1505, a request display form conversion function 1506 that appropriately incorporates the request display into the communication information form according to the rank, and a transmission / reception function 1507. Incidentally, the original function (printing function, etc.) of the operated device 102 is the same as the conventional one, and is not necessary in this description, and is not described in the explanatory diagram.
[0123]
21, 22 and 23 are application examples in the present invention.
[0124]
In FIG. 21, the display device 101 is a TV, the operation device 103 is a remote control attached to the TV, and the operated device 102 is an intelligent refrigerator.
[0125]
FIG. 22 shows a case where the information transmission means 104 between the display device 101 and the operated device 102 is wireless.
[0126]
FIG. 23 shows an example in which the display device 101 and the operation device 103 are incorporated in the same device such as a mobile phone or a PDA (personal digital assistant) device. Mobile phones and PDAs (devices are connected to a plurality of operated devices 102 via a relay / display conversion device 2301 mainly by wireless communication means as information transmission means 104.
[0127]
Although the relay / display conversion device 2301 is described as one component device in FIG. 23, it may actually be composed of a plurality of relay devices from the aspect of the relay function. In addition, from the aspect of the display conversion function, the relay / display conversion device 2301 may incorporate the function of the display device 101. Further, the display conversion function may be included in at least one relay device among the plurality of relay devices.
[0128]
For example, if the configuration of FIG. 23 is simply expressed, an ADSL (Asymmetric Digital Subscriber Line) serving as an entrance for home communication from a communication network (first relay device) that communicates with a mobile phone, for example, ) Information transmission means 104 connected to a home network from a PC (third relay apparatus and display-convertable information processing apparatus) via a communication terminal (second relay apparatus), for example, Ethernet (R) , IEEE 1394 (Havi, etc.), Bluetooth (Bluetooth), a plurality of operated devices 102 are organically connected through communication means such as power line communication. Even in such a seemingly complicated connection format, it comprises means for providing a display to the operator (display device 101), means for providing an operation (operation device 103), and an operated device 102 that reflects the result of the operation. It is possible to construct a UI system that has a three-party structure and is unified by the concept of rank.
[0129]
【The invention's effect】
According to the present invention, the following effects can be obtained.
[0130]
The display device of the present invention is configured to have a function of displaying the display content obtained from other functional devices using the information transmission means on its own display unit.
[0131]
According to the present invention, it is possible to easily realize a part related to a user interface between devices designed on different systems and different platforms.
[Brief description of the drawings]
FIG. 1 is a block diagram of a UI system according to an embodiment of the present invention.
FIG. 2 is a configuration diagram of the display device of FIG.
3 is a block diagram of the operated device of FIG.
FIG. 4 is a configuration diagram of the operation device in FIG. 1;
FIG. 5 is a configuration diagram of operation keys of the operation device according to the embodiment of the present invention.
FIG. 6 is an operation explanatory diagram of the UI system in the embodiment of the present invention.
FIG. 7 is an operation flowchart of the UI system according to the embodiment of the present invention.
FIG. 8 is a diagram showing a communication data structure between the display device and the controlled device in the embodiment of the present invention.
FIG. 9 is a diagram showing a display configuration example of rank 1 in the embodiment of the present invention.
FIG. 10 is a diagram showing a display data structure between the display device and the controlled device in the embodiment of the present invention.
FIG. 11 is a diagram showing a display example of rank 1 in the embodiment of the present invention.
FIG. 12 is a diagram showing a display example of rank 2 in the embodiment of the present invention.
FIG. 13 is a diagram showing a UI function configuration of a display device according to an embodiment of the present invention.
FIG. 14 is a functional explanatory diagram of a display device according to an embodiment of the present invention.
FIG. 15 is a diagram showing a UI function configuration of the operated device in the embodiment of the present invention;
FIG. 16 is an improved operation flowchart of the UI system in the embodiment of the present invention;
FIG. 17 is a diagram showing a hierarchy display example by rank switching
FIG. 18 is a diagram showing an example of character expression by the display device according to the embodiment of the present invention.
FIG. 19 is a diagram showing an example of graphic representation by the display device in the embodiment of the present invention.
FIG. 20 is a diagram showing a specific example of a function for associating operation keys with display buttons.
FIG. 21 is a diagram showing a connection example 1 of the UI system according to the embodiment of the present invention.
FIG. 22 is a diagram showing a connection example 2 of the UI system according to the embodiment of the present invention.
FIG. 23 is a diagram showing a connection example 3 of the UI system in the embodiment of the present invention.
FIG. 24 is a diagram showing an example of a menu screen of the display device in the embodiment of the present invention.
FIG. 25 is an explanatory diagram of a conventional device operation program incorporation method;
[Explanation of symbols]
101 Display device
102 Device to be operated
103 Operating device
104 Information transmission means
105 Information transmission means
201 CPU
202 Display section
203 Communication Department
204 programs
205 Work memory
206 Remote control IF section
301 CPU
302 program
303 Work memory
304 Input / output unit
305 communication unit
401 Operation keys
402 Encoder unit
403 communication unit
501 Direction key
502 Enter key
503 release key
601 Operator
801 Communication data
802 negotiation code
803 Contents of negotiation code
901 Selection information display area
902 Transmission information display area
1001 Display related information section
1002 Selection information section
1003 Transmission information section
1101 Select button
1102 Contents
1201 Select button
1202 graphics
1203 Character content
1301 Display position management function
1302 Operating equipment information management function
1303 Function for associating operation keys with display buttons
1304 Basic layout pattern
1305 Transmission / reception function
1306 Display resources
1401 Menu display area
1501 Display content storage
1502 UI management function
1503 Rank arbitration function
1504 Modification function
1505 Function to optimize required display amount
1506 Request display form function
1507 Transmission / reception function
1701 Rank 1 character display
1702 Graphical display of rank 2
2001 Selection button representation
2002 Select button representation
2301 Relay / display conversion device
2401 PTR icon
A1 to A4 Reaction to the operation device by the operator
F1 to F8 Communication between display device and operated device
T1 to T4 Communication from operation device to display device
V1 to V3 display device display screen

Claims

Receiving means for receiving display data including identification information such as a selection number and transmission information including display contents associated with the identification information and communication data indicating whether at least graphic information can be handled from the operated device; a display means for displaying the display data received by the receiving means, and a transmitting means for transmitting the display form data indicating the display form, when performing the display, the said communication data received from the operating device And determining whether or not the operated device can handle at least graphic information , transmitting the display form data based on this determination to the operated device, and then transmitting the display data sent from the operated device. display device and displaying the pre-Symbol display means by using the layout pattern based on the determination of

Transmitting means for transmitting display data including identification information such as a selection number and transmission information including display contents associated with the identification information and communication data indicating whether or not at least graphic information can be handled to the display device. and, prior to transmitting said display data by said transmitting means sends said communication data to said display device, then the transmitting means the display data based on the data indicating the display form than the display device for the communication data To be operated.

3. The operated device according to claim 2, wherein the data indicating the display form from the display device is the number of selection buttons and the number of characters that can be displayed.

First reception for receiving display data including identification information such as a selection number and transmission information including display contents associated with the identification information and communication data indicating whether at least graphic information can be handled from the operated device A display device comprising: means; display means for displaying the display data received by the first receiving means; and first transmission means for transmitting display form data indicating a display form; and in between the operating device having a second transmission means for transmitting the display data and the communication data, the operated device transmits the communication data to the display device by the second transmission means, said display device rows is determined whether handle the operated device at least graphic information based on the communication data received by said first receiving means And after the sending to the operated apparatus the display form data based on the determination by the first transmission means, the operated device by the second transmission means the display data based on the display form data A method for controlling a user interface, comprising: transmitting to the display device; and displaying the display data received by the first receiving unit on the display unit using a layout pattern based on the determination.

5. The user interface control method according to claim 4, wherein the display form data is data including the number of selection buttons and the number of characters that can be displayed on the display means of the display device.