JP5802249B2 - 表示装置、ソース機器、及び表示システム - Google Patents

Description

本発明は、表示装置、ソース機器、及び表示システムに関し、より詳細には、ソース機器から送信された画像を表示する表示装置、そのソース機器、及びその表示装置とそのソース機器とを備えた表示システムに関する。

スマートフォン、モバイルＰＣ（Personal Computer）、タブレット端末等の携帯端末装置には、High-Definition Multimedia Interface（ＨＤＭＩ：登録商標、以下同様）規格やMobile High-definition Link（ＭＨＬ：登録商標、以下同様）規格の映像出力端子が設けられ、その端子を介して外部の表示装置に画像（静止画像や動画像）を出力できるように、つまりソース機器として機能するように構成されたものがある。

また、このような携帯端末装置は、内蔵したセンサにより装置の上下方向（表示画面の上下方向）を検出し、その検出結果の変化に応じて表示画面に表示された画像を９０°回転させるように制御することで、ユーザから見た画像の上下方向が常に固定されるようにしている。

そのため、このような携帯端末装置では、基本的に縦長と横長の２つの画面構成が存在する。しかし、ＨＤＭＩ規格やＭＨＬ規格は、サイズが１２８０×７２０ピクセル、アスペクト比が１６：９など、フォーマットとして横長の出力画像を前提とする規格であるため、それらの規格を採用した携帯端末装置では画像出力時に常に横長の画像になるようにしている。なお、無線規格Ｍｉｒａｃａｓｔに対応したＨＤＭＩアダプタであっても、同様に出力画像が横長であることを前提としている。よって、横長の画像に対してはそのまま、縦長の画像に対しては左右に黒帯部分を付加してから、外部の表示装置に出力を行うことになる。

また、特許文献１には、画像データと画像データの加工サイズを含む加工条件とを記憶した記憶部を備えた画像表示装置において、その記憶部から画像データの種類、サイズ、アスペクト比の情報を取得して、取得したサイズが上記加工サイズに合致しているか否かを判定して、両者が合致していない場合に画像データを上記加工条件に従って加工する技術が開示されている。

特開２００５−２２１６３４号公報

しかしながら、携帯端末装置からＨＤＭＩ規格やＭＨＬ規格で伝送される画像はサイズとアスペクト比が横長で固定されていることから、特許文献１に記載の画像表示装置をはじめとする従来の表示装置では、表示装置が受け取っている画像の向きが不明であり、表示装置側が画像を回転させるべきか、黒帯部分を付加するべきかといった判定を行うことができない。よって、そのような判定のためには、ＨＤＭＩ規格やＭＨＬ規格を拡張した仕組みが望まれる。

また、携帯端末装置からの出力画像には黒帯部分が付加されている場合もあり、表示装置でその黒帯部分を不要な部分として除去して表示させたい場合であっても、表示装置側では黒帯部分が付加された出力画像であるのか付加されていない出力画像であるかを示す情報が無いため、自動的に除去することもできない。

さらに、携帯端末装置から出力された黒帯部分を含む出力画像を表示装置で表示させる場合には、表示装置側では、出力元の実際の画像（つまり出力画像から黒帯部分を除いた画像）の向きがどちら向きであるかを示す情報が無い。よって、ユーザが見る位置を変えて（例えばユーザが表示装置に対して横向きに位置して）実際の画像を視認しなければいけない状態になり表示装置を回転動作させる必要が生じるか、若しくは、その表示装置の表示画面全体を最大限利用して大きく表示できていない状態になってしまう。

さらに、表示装置がタッチセンサ付きの装置であった場合には、ソース機器となる携帯端末装置から画像を受信するだけでなく、表示装置で受け付けたタッチ情報をその携帯端末装置に返して、表示装置でのタッチ操作でその携帯端末装置を操作するように制御する、といった使用ケースが考えられる。この使用ケースでは、携帯端末装置からの出力画像に対して、表示装置側で勝手に回転や黒帯部分の付加などの処理を実行してしまうと、表示装置が検出するタッチ座標が携帯端末装置の出力映像とずれているため、そのままタッチ情報を携帯端末装置に返しても、操作が正しくできない。

以上の点は、ＨＤＭＩ規格やＭＨＬ規格に限らず、出力画像のサイズやアスペクト比が固定されているソース機器から画像を出力し、その出力画像を表示装置で表示させる場合にも、同様に生じ得る。

本発明は、上述のような実状に鑑みてなされたものであり、その目的は、ソース機器から送信された送信画像を表示装置で表示するに際し、送信画像に黒帯部分が含まれる場合であっても、表示装置の表示画面の向きに合うように、且つ表示画面全体を最大限利用した大きさでその黒帯部分を除く実画像を表示させることにある。

上記の課題を解決するために、本発明の第１の技術手段は、ユーザ操作によりタッチされた位置を示すタッチ情報を出力するタッチセンサを有する表示部と、該表示部の表示画面の上部又は下部の向きを検出する向き検出部と、ソース機器より送信される画像信号を受信する受信部と、画像処理部と、を備え、前記画像処理部で処理後の画像を前記表示部に表示させる表示装置であって、前記受信部は、前記画像信号と共に、前記画像信号が示す送信画像の上部又は下部の向き並びに該送信画像における黒帯部分の有無を示す状態情報を受信し、前記画像処理部は、前記送信画像に対して、前記向き検出部での検出結果と前記受信部で受信した前記状態情報とに応じて、前記表示画面の上部又は下部の向きと前記受信部で受信した前記送信画像の上部又は下部の向きが一致するように回転させる回転処理、アスペクト比を維持して前記表示画面に最大に表示するようにスケーリングを行うスケーリング処理、及び黒帯部分の付与若しくは除去を行う黒帯処理のいずれか１又は複数の処理を施し、前記表示装置は、前記タッチセンサから前記タッチ情報が出力された場合、前記表示部に表示された表示画像が前記回転処理、前記スケーリング処理、及び前記黒帯処理のそれぞれを実行したものであるか否かに応じて、前記タッチ情報の座標を前記送信画像に一致させるように座標変換し、座標変換後のタッチ情報を前記ソース機器に通知することを特徴としたものである。

本発明の第２の技術手段は、第１の技術手段において、前記表示装置は、前記受信部での前記画像信号の受信前に、前記表示装置が前記回転処理、前記スケーリング処理、及び前記黒帯処理のそれぞれが実行可能であることを示す実行可能情報を、若しくは前記表示装置が前記回転処理及び前記黒帯処理のそれぞれが実行可能であることを示す実行可能情報を、前記ソース機器に通知することを特徴としたものである。

本発明の第３の技術手段は、第１又は第２の技術手段における表示装置に対して画像信号を送信するソース機器であって、前記画像信号と共に、前記画像信号が示す送信画像の上部又は下部の向き並びに該送信画像における黒帯部分の有無を示す状態情報を送信することを特徴としたものである。

本発明の第４の技術手段は、表示システムにおいて、第１又は第２の技術手段における表示装置と、第３の技術手段におけるソース機器と、を備えたことを特徴としたものである。

本発明によれば、ソース機器から送信された送信画像を表示装置で表示するに際し、送信画像に黒帯部分が含まれる場合であっても、表示装置の表示画面の向きに合うように、且つ表示画面全体を最大限利用した大きさでその黒帯部分を除く実画像を表示させることができる。

本発明に係る表示システムの一構成例を示すブロック図である。 図１の表示システムにおけるソース機器側から送信される送信画像の一例を示す図である。 図１の表示システムにおけるソース機器側から送信される送信画像の他の例を示す図である。 図１の表示システムにおけるソース機器側から送信される送信画像の他の例を示す図である。 図１の表示システムにおけるソース機器側の表示画面及びそれに対応する表示装置側の表示画面の一例を示す図である。 図１の表示システムにおけるソース機器側の表示画面及びそれに対応する表示装置側の表示画面の他の例を示す図である。 図１の表示システムにおけるソース機器側の表示画面及びそれに対応する表示装置側の表示画面の他の例を示す図である。 図１の表示システムにおけるソース機器側の表示画面及びそれに対応する表示装置側の表示画面の他の例を示す図である。 図１の表示システムにおけるソース機器側の表示画面及びそれに対応する表示装置側の表示画面の他の例を示す図である。 図１の表示システムにおけるソース機器側の表示画面及びそれに対応する表示装置側の表示画面の他の例を示す図である。 図１の表示システムにおけるソース機器側の表示画面及びそれに対応する表示装置側の表示画面の他の例を示す図である。 図１の表示システムにおけるソース機器側の表示画面及びそれに対応する表示装置側の表示画面の他の例を示す図である。 図１の表示システムにおける表示装置の処理例を説明するためのフロー図である。 図４の処理における画像変換処理の一例を説明するための図である。 図４の処理における画像変換処理の他の例を説明するための図である。 図１の表示システムにおける表示装置の他の処理例を説明するための図である。 図１の表示システムにおける表示装置の他の処理例を説明するためのフロー図である。 図１の表示システムにおいて適用可能な機器間でのネゴシエーション処理の一例を説明するための図である。 図８Ａに続く図である。

本発明に係る表示システムは、表示装置と、その表示装置に対して画像を出力するソース機器と、を備えている。以下、本発明に係る表示システムについて、並びに本発明に係る上記表示装置や上記ソース機器について、基本的に表示装置とソース機器とが有線のＭＨＬケーブルで接続されている例を挙げて説明する。

但し、ＭＨＬケーブルの代わりに、例えばＨＤＭＩケーブルで接続されている場合や、Ｍｉｒａｃａｓｔ対応のＨＤＭＩアダプタにより無線接続されている場合などでも同様である。さらに、本発明は、ＨＤＭＩ規格やＭＨＬ規格に限らず、出力画像のサイズやアスペクト比が固定されているソース機器から画像を出力し、その出力画像を表示装置で表示させる場合に生じ得る課題を解決するためのものであり、表示装置とソース機器との接続に採用する規格もＭＨＬ規格やＨＤＭＩ規格に限ったものではない。無論、本発明に係る表示装置は、出力画像のサイズやアスペクト比が固定されていないソース機器から出力された画像に対しても、後述するようなソース機器からの情報に基づいて、同様の適切な表示が可能である。また、表示装置とソース機器との接続に採用する規格としては、例えばＷｉＦｉ（登録商標）規格を採用することもできる。

（第１の実施形態）
図１は、本発明に係る表示システムの一構成例を示すブロック図である。
図１で例示する表示システムは、シンク機器として機能する表示装置１とソース機器２とがＭＨＬケーブル３で接続され、ソース機器２からＭＨＬケーブル３を介して画像（以下、映像）が表示装置１に送信可能となっている。

表示装置１は、画像を表示する表示部と、ソース機器２より送信（伝送）される画像信号（映像信号）を受信する受信部と、画像処理部と、を備え、上記画像処理部で処理後の画像を上記表示部に表示させる。なお、このような表示制御は、例えば表示装置１の制御部が行えばよい。

また、上記画像処理部は、上記受信部で受信した画像信号が示す送信画像に対して、回転処理、スケーリング処理、及び黒帯処理といった画像処理を施す。なお、上記送信画像は出力画像でありし、表示装置１側から見れば受信画像若しくは入力画像とも言える。

ここで、上記回転処理は、後述の向き検出部１９で検出された表示画面の上部又は下部の向きと上記受信部で受信した送信画像の上部又は下部の向きが一致するように回転させる処理である。スケーリング処理は、アスペクト比を維持して上記表示画面に最大に表示するようにスケーリングを行う処理である。黒帯処理は、黒帯部分の付与若しくは除去を行う処理である。

図１で例示する表示装置１には、上記表示部の一例として映像を表示する映像表示部１１が設けられ、上記受信部の一例として、Transition Minimized Differential Signaling（ＴＭＤＳ：登録商標、以下同様）信号処理部１５、ＭＨＬ Ｉ／Ｆ１６、及びＣＢＵＳ（Control Bus）信号処理部１７が設けられている。

映像表示部１１は、液晶ディスプレイや有機エレクトロルミネッセンスディスプレイ等の表示パネルである。ＭＨＬ Ｉ／Ｆ１６は、ＭＨＬの接続インターフェースであり、ソース機器２から送信されたＴＭＤＳ信号を受信し、ＴＭＤＳ信号処理部１５に渡す。ＴＭＤＳ信号処理部１５は、ＭＨＬ Ｉ／Ｆ１６から入力されたＴＭＤＳ信号を映像信号に変換する。ＣＢＵＳ信号処理部１７は、ＭＨＬ Ｉ／Ｆ１６を介し、接続されたソース機器２とＣＢＵＳの信号（制御信号）のやり取りを行う。

また、図１で例示する表示装置１には、上記画像処理部の一例として、映像処理を実行する映像変換処理部１４が設けられている。映像変換処理部１４は、映像処理として、映像の回転処理、映像のスケーリング処理、映像から黒帯部分を付与／除去する処理を実行することが可能に構成されている。

なお、映像変換処理部１４は、上記受信部で受信した映像だけでなく、内部の記憶装置に格納された写真や動画や文書等のファイルの画像やＵＩ画像（User Interface）などの画像についても、これらの処理が可能に構成されている。内部の記憶装置に格納された画像についても、映像変換処理部１４での処理後は映像表示部１１で表示可能となっている。

また、図１で例示する表示装置１には、上記制御部の一例として主制御部１０が設けられている。なお、映像変換処理部１４から出力された映像が映像表示部１１に表示されるように構成されており、主制御部１０は、映像変換処理部１４を制御することで間接的に映像表示部１１での表示を制御するものとして説明する。

主制御部１０は、プログラム保存領域に格納されたプログラムを動作させ、各種制御を行う。例えば主制御部１０は、ＣＰＵ（Central Processing Unit）又はＭＰＵ（Micro Processing Unit）、作業領域としてのＲＡＭ（Random Access Memory）、及び記憶装置などの制御デバイスで構成され、その一部又は全部を集積回路／ＩＣチップセットとして搭載することもできる。

この記憶装置には、制御プログラム（本発明に係る処理を実行するプログラムを含む）をはじめ、上述したＵＩ画像、各種設定内容、写真や動画像や文書等のファイルなどが記憶される。この記憶装置としては、フラッシュＲＯＭ（Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable and Programmable ＲＯＭ）等が挙げられ、後述の画面向き記憶部１８もこの記憶装置の一部として構成することもできる。表示装置１の種類によってはこの記憶装置としてハードディスクドライブ（ＨＤＤ）を採用することもできる。

また、図１で例示する表示装置１はその他、タッチ入力部１２ａ、タッチ変換処理部１２ｂ、キー入力部１３ａ、ＵＩ処理部１３ｂ、画面向き記憶部１８、及び向き検出部１９を備えている。

キー入力部１３ａは、ハードウェアキーを有し、そのキーからの操作の入力を検出する。このハードウェアキーとしては、例えば電源キーや音量調整キーなどが挙げられる。ＵＩ処理部１３ｂは、そのキー操作の入力によりＯＳＤ（On Screen Display）を表示し、表示装置１についての各種設定を行う。

タッチ入力部１２ａは、ユーザによるタッチ入力を検出するタッチセンサで構成され、映像表示部１１の上面に設けられるか、映像表示部１１に組み込まれる。また、タッチセンサと映像表示部１１とでタッチパネルが形成される。タッチ変換処理部１２ｂは、タッチ入力部１２ａで入力されたタッチ情報に対して座標変換を行う。

映像表示部１１には、写真や動画や文書等のファイルの画像や上記のＵＩ画像などが表示されており、ユーザはその表示内容を見ながら表示画面の所定位置をタッチすることになる。そのタッチをタッチ入力部１２ａが検出し、その検出結果をタッチ情報として主制御部１０に直接（又はタッチ変換処理部１２ｂで何も処理させないようにタッチ変換処理部１２ｂに）出力する。映像表示部１１に、表示装置１の内部のＵＩ画像等の画像が表示されていた場合には、タッチ入力部１２ａで検出したタッチ位置に対応するＵＩ画像等の画像に関する処理が実行される。また、ＵＩ画像の場合、タッチの検出により必要に応じてＵＩ画像の遷移がなされる。

一方で、本発明では、表示装置１の表示画面にソース機器２から送信された送信画像を表示する点に特徴があり、映像表示部１１に送信画像が表示された場面ではタッチセンサによるソース機器２に対するユーザ操作を受け付けることが可能になっている。この点については第２の実施形態として後述するが、それに先立ち簡単に説明しておく。そのような場面では、タッチ入力部１２ａがタッチ情報をタッチ変換処理部１２ｂに出力し、タッチ変換処理部１２ｂがタッチ情報の変換を行うと共に、ＣＢＵＳ信号処理部１７が、タッチ変換処理部１２ｂから出力されたタッチ情報及び表示装置１の縦横の配置情報をＣＢＵＳの信号に変換し、ＭＨＬ Ｉ／Ｆ１６を介してソース機器２側に送信する。

なお、後述する第２の実施形態での説明のために、またユーザの操作性を向上させるために、タッチセンサを設けた表示装置（所謂、タッチモニタ）の例を挙げているが、表示装置１は、ユーザ操作を受け付ける操作部として、ハードウェアキーを有するキー入力部１３ａのみを設け、タッチセンサを設けなくてもよい。

向き検出部１９は、上記表示画面の向き（自身の回転状態）を検出する。この向き（sense）は、ユーザが表示装置１を保持して回転動作させることにより、若しくは表示画面における画像を回転させるユーザ設定を受け付けることにより、変化する。表示画面の向きとしては、表示画面の上部の向き又は下部の向きのいずれかを検出すれば済む。また、向き検出部１９は、表示装置１の現在の姿勢（傾き具合）を検知し、現在の姿勢を示す姿勢情報を出力する姿勢検知部であるとも言える。

まず、向き検出部１９が、ユーザが表示装置１を保持して回転動作させることによって生じる向きの変化を検出する場合について説明する。このような場合、向き検出部１９として表示画面の向きを検出するセンサを設けておけばよい。

ここで、センサでは、表示画面の向きではなく方向（direction）として、つまり上下方向（ユーザが表示装置１を保持して表示装置１の表示画面を見た際に、表示装置１の上側になる位置と下側になる位置とを結ぶ線分の方向）として検出してもよい。このように、センサは、ユーザが表示装置１を保持している方向であって、ユーザに向かって正面を向いているか、９０度回転しているか、といった方向を検出するような構成を採用することもできる。表示装置１によっては、例えば右に９０度回転動作させて画像が９０度左に回転した後、再度右に９０度回転させた場合でも一回目の回転動作以上は画像が回転しないように構成されているものもあるためである。但し、下側になる位置又は上側になる位置を始点とし他方を終点とする（つまり表示画面の上部の向き又は下部の向き）を検出することが好ましい。

向き検出部１９として設けるセンサとしては、既存の技術を利用すればよく、例えば３軸加速度センサや、３軸加速度センサ、３軸角速度センサ、及び３軸地磁気センサを有する９軸モーションセンサや、３軸加速度センサ及び３軸（又は２軸）地磁気センサを有するモーションセンサなどが挙げられる。

向き検出部１９は、スタンドに立てた場合、水平面にやや角度をつけて水平面上に置くために出し入れ可能に設けたツメ等を出して置いた場合、ユーザが水平面に対して角度をつけて手に保持した場合などは、自動的にセンサで表示画面の上部又は下部の向き（又は上下方向）を検出すればよい。

向き検出部１９が、表示画面における画像を回転させるユーザ設定を受け付けることによって生じる向きの変化を検出する場合について説明する。この場合、表示装置１は、ユーザ操作によっても回転処理が可能に構成されており、ユーザ操作による回転処理（回転させるユーザ設定）で生じた結果としての表示画面の上部又は下部の向きを画面向き記憶部１８に記憶させておき、向き検出部１９は、それを読み出すことで検出を実行すればよい。

また、主制御部１０は、ユーザが表示装置１を回転動作させることによる上記センサでの検出結果の変化、若しくは表示画面における画像を回転させるユーザ設定を受け付けることによる変化に応じて、表示画面に表示中の画像を回転させる回転制御を行う画像回転部を有する。

センサの変化に応じた回転制御としては、例えばほぼ表示面に水平な面上で所定角度以上回転させた場合に、表示中の画像を回転させるようにすればよい。なお、回転制御に際しては、アニメーション的に徐々に画像の回転がなされるように、例えば上記検出結果の変化量に応じて表示画像の回転量を決めるようにしておいてもよい。また、表示装置１の表示面が、例えば水平面上から所定角度（例えば５°〜４５°程度）以上傾いている場合にのみ、上記センサが一定以上回転したか否かを検出するように（或いは回転制御を実行するように）しておけば、例えばテーブル等の水平な場所に載置している状態の表示装置１をいくら回転させたとしても回転制御が実行されることはない。

画面向き記憶部（画面向き保持部）１８は、上述したように上記センサの検出結果やユーザ設定を保持する記憶部であり、主制御部１０における上記記憶装置と同様、ＥＥＰＲＯＭやフラッシュＲＯＭ等で構成することができる。画面向き記憶部１８は、向き検出部１９の検出結果である（又はユーザ操作により決定された）現在の表示装置１の設置の向き、映像ソースが縦長／横長か、黒帯付きか否の情報を保持する。

次にソース機器２について説明する。ここでは、本発明に係るソース機器が、スマートフォン、モバイルＰＣ、タブレット端末等の携帯端末装置であることを前提にして説明するが、ソース機器２にも画像を表示する表示部を備え、基本的に画像を回転する回転処理や画像に黒帯部分を付加する処理が可能であるものとする。このような回転処理を備えた装置としては携帯型の装置が多いため、ソース機器２として携帯端末装置を挙げているが、設置型の装置であっても設置台に対して表示パネルを回転させることが可能なものも存在するため、本発明に係るソース機器２としては設置型の装置にも適用可能と言える。

また、ソース機器２は、画像処理部と、表示装置１に対して画像信号（映像信号）を送信（伝送）する送信部と、を備え、この画像処理部で処理後の画像を上記表示部に表示させる。なお、このような表示制御は、例えばソース機器２の制御部が行えばよい。

ソース機器２側の上記画像処理部は、ソース機器２の内部の記憶装置に格納された写真や動画や文書等のファイルの画像やＵＩ画像などの画像に対して、回転処理、スケーリング処理、及び黒帯処理といった画像処理を施す。

ここで、上記回転処理は、後述の向き検出部２９で検出された表示画面の上部又は下部の向きと上記内部の記憶装置に格納された画像の上部又は下部の向きが一致するように回転させる処理である。画像を表示するに際しては、その画像を表示させるアプリケーションプログラムによっては縦表示又は横表示に表示方向が固定されるものも存在している。スケーリング処理は、アスペクト比を維持して上記表示画面に最大に表示するようにスケーリングを行う処理である。黒帯処理は、黒帯部分の付与若しくは除去を行う処理である。

図１で例示するソース機器２には、上記表示部の一例として映像を表示する映像表示部２１が設けられ、上記送信部の一例として、ＴＭＤＳ信号処理部２５、ＭＨＬ Ｉ／Ｆ２６、及びＣＢＵＳ信号処理部２７が設けられ、上記画像処理部の一例として映像変換処理部２４が設けられている。

また、図１で例示するソース機器２には、上記制御部の一例として主制御部１０が設けられている。なお、映像変換処理部２４から出力された映像が映像表示部２１に表示されるように構成されており、主制御部２０は、映像変換処理部２４を制御することで間接的に映像表示部２１での表示を制御するものとして説明する。

映像表示部２１は、液晶ディスプレイや有機エレクトロルミネッセンスディスプレイ等の表示パネルである。映像変換処理部２４は、映像処理として、映像の回転処理、映像のスケーリング処理、映像から黒帯部分を付与／除去する処理を実行することが可能に構成されている。

ＴＭＤＳ信号処理部２５は、表示装置１に送信対象の映像信号をＴＭＤＳ信号に変換する。ＭＨＬ Ｉ／Ｆ２６は、ＭＨＬの接続インターフェースであり、このように変換されたＴＭＤＳ信号をＭＨＬケーブル３経由で表示装置１に送信する。ＣＢＵＳ信号処理部２７は、ＭＨＬ Ｉ／Ｆ２６を介し、接続された表示装置１とＣＢＵＳの信号（制御信号）のやり取りを行う。

主制御部２０は、プログラム保存領域に格納されたプログラムを動作させ、各種制御を行う。例えば主制御部２０は、ＣＰＵ又はＭＰＵ、作業領域としてのＲＡＭ（Random Access Memory）、及び記憶装置などの制御デバイスで構成され、その一部又は全部を集積回路／ＩＣチップセットとして搭載することもできる。

この記憶装置には、制御プログラム（上記アプリケーションプログラムや本発明に係る処理を実行するプログラムを含む）をはじめ、上述したＵＩ画像、各種設定内容、写真や動画像や文書等のファイルなどが記憶される。この記憶装置としては、フラッシュＲＯＭやＥＥＰＲＯＭ等が挙げられ、後述の画面向き記憶部１８もこの記憶装置の一部として構成することもできる。ソース機器２の種類によっては、この記憶装置としてＨＤＤを採用することもできる。

その他、図１で例示するソース機器２は、表示装置１の各部と或る程度同様の構成を有する。つまり、図１のソース機器２は、ソース機器２の制御部の一例である主制御部２０、タッチ入力部２２、キー入力部２３ａ、ＵＩ処理部２３ｂ、画面向き記憶部２８、及び向き検出部２９を備える。

キー入力部２３ａは、キー入力部１３ａと同様に、ハードウェアキーを有し、そのキーからの操作の入力を検出する。ＵＩ処理部２３ｂは、ＵＩ処理部１３ｂと同様に、そのキー操作の入力によりＯＳＤを表示し、ソース機器２についての各種設定を行う。

タッチ入力部２２は、タッチ入力部１２ａと同様に、ユーザによるタッチ入力を検出するタッチセンサで構成され、映像表示部２１の上面に設けられるか、映像表示部２１に組み込まれる。タッチ入力部２２は、タッチ入力部１２ａと異なり、常に主制御部２０にタッチ情報を出力する。ソース機器２には、表示装置１のタッチ変換処理部１２ｂに対応する部位は不要である。映像表示部２１には、写真や動画や文書等のファイルの画像や上記のＵＩ画像などが表示されており、ユーザはその表示内容を見ながら表示画面の所定位置をタッチすることになる。そのタッチをタッチ入力部２２が検出し、その検出結果をタッチ情報として主制御部２０に出力すればよい。映像表示部２１に、ソース機器２の内部のＵＩ画像等の画像が表示されていた場合には、タッチ入力部２２で検出したタッチ位置に対応するＵＩ画像等の画像に関する処理が実行される。また、ＵＩ画像の場合、タッチの検出により必要に応じてＵＩ画像の遷移がなされる。

なお、後述する第２の実施形態での説明のために、またユーザの操作性を向上させるために、タッチセンサを設けたソース機器２の例を挙げているが、ソース機器２は、ユーザ操作を受け付ける操作部として、ハードウェアキーを有するキー入力部２３ａのみを設け、タッチセンサを設けなくてもよい。

向き検出部２９は、向き検出部１９と同様に、上記表示画面の向き（自身の回転状態）を検出する。但し、当然のことながら、検出対象となる表示画面はソース機器２の表示部（映像表示部２１で例示）の表示画面となる。その他の点は向き検出部１９と基本的に同様であり、その説明を省略する。

また、主制御部２０は、主制御部１０の画像回転部と同様に、ユーザがソース機器２を回転動作させることによるセンサでの検出結果の変化、若しくは表示画面における画像を回転させるユーザ設定を受け付けることによる変化に応じて、表示画面に表示中の画像を回転させる回転制御を行う画像回転部を有する。

画面向き記憶部２８は、画面向き記憶部１８と同様の記憶部であり、向き検出部２９の検出結果である（又はユーザ操作により決定された）現在のソース機器２の設置の向き、映像ソースが縦長／横長か、黒帯付きか否の情報を保持する。また、画面向き記憶部２８は、主制御部２０における上記記憶装置と同様、ＥＥＰＲＯＭやフラッシュＲＯＭ等で構成することができる。

次に、本発明の主たる特徴について説明する。本発明の主たる特徴の１つとして、表示装置１の上記受信部は、画像信号と共に、画像信号が示す送信画像の上部又は下部の向き（送信画像が回転させたものであるか否か）並びにその送信画像における黒帯部分の有無（黒帯部分の付与の有／無、つまり送信画像に黒帯部分を挿入しているか否か）を示す状態情報を受信する。

換言すれば、表示装置１に対して画像信号を送信するソース機器２は、画像信号と共に、画像信号が示す送信画像の上部又は下部の向き並びにその送信画像における黒帯部分の有無を示す状態情報を送信する。

そして、本発明の主たる特徴の１つとして、映像変換処理部１４で例示した表示装置１の上記画像処理部は、送信画像に対して、向き検出部１９での検出結果と上記受信部で受信した状態情報とに応じて、回転処理、スケーリング処理、及び黒帯処理のいずれか１又は複数の処理を施す。映像変換処理部１４は、主制御部１０からの検出結果及び状態情報の通知により、又は主制御部１０での実行処理の決定に従い、回転処理、スケーリング処理、及び黒帯処理のいずれか１又は複数の処理を施せばよい。

映像変換処理部１４は、検出結果と状態情報とによっては、３つの処理のうち全ての処理が実行されることもあるし、全ての処理が不要である場合もある。但し、ソース機器２の表示画面を表示装置１の表示画面で表示させようとする場合、前者と後者のサイズが同じであることは有益とは言えず、前者の方が後者より狭いことが通常であるため、そのようなケースにおいては基本的に少なくともスケーリング処理は実行されることになる。

表示装置１の表示画面の向き（表示装置１の配置の方向）は、上述したように画面向き記憶部１８に保持される。また、映像ソースとなるソース機器２から送信された送信画像について、縦長／横長、黒帯があるか否かの情報は、送信画像が伝送される最初のタイミング又は送信画像が切り替わるタイミングで、ＭＨＬ Ｉ／Ｆ１６及びＣＢＵＳ信号処理部１７経由でソース機器２から通知され、その情報も画面向き記憶部１８に保持しておく。これら、画面向き記憶部１８に保持された情報を用い、映像変換処理部１４は送信画像に対して、必要に応じて回転処理、スケーリング処理、黒帯処理を実行する。

次に、このような制御について、図２Ａ〜図２Ｃ及び図３Ａ〜図３Ｈを参照しながら説明する。図２Ａは、ソース機器２側から送信（出力）される送信画像（出力画像）の一例を示す図で、図２Ｂ，図２Ｃはいずれも図２Ａとは異なる他の例を示す図である。また、図３Ａは、ソース機器２側の表示画面及びそれに対応する表示装置１側の表示画面の一例を示す図で、図３Ｂ〜図３Ｈはいずれも図３Ａとは異なる他の例を示す図である。

図２Ａ〜図２Ｃ及び図３Ａ〜図３Ｈでは、映像ソースとなるソース機器２がスマートフォンであり、その映像を表示させる表示装置１がタブレット型のモニタであるような例を挙げている。

また、説明の簡略化のため、表示装置１は、縦長における配置が横長の状態から画像を右９０度回転した状態（つまり表示装置１自体を左９０度回転させた状態）である場合を例に挙げて、処理の流れを説明する。ソース機器２での回転についても同様の場合を例に挙げる。また、図２Ａ〜図２Ｃにおいて、Ｏｐは実画像（黒帯部分付加無しの画像）の原点とし、縦画像の場合には上左端を示し、横画像の場合には下左端を示している。なお、逆に表示装置１及び／又はソース機器２が、縦長における配置が横長の状態から画像を左９０度回転である場合にも、同様の考え方で説明できるため、その説明は省略する。

まず、ソース機器２では、その表示画面の映像を外部の表示装置１に出力する場合に、横置きの画面については、図２Ａの画像２Ｌで例示するようにそのまま出力する。しかし、ソース機器２は、縦置きの画面については、図２Ａの画像２Ｐで例示するようにそのまま出力せずに、その方向が表示の際のアプリケーションにより規定されていない場合には横置きの画面（画像２Ｌ）として出力する。なお、この状況では、ソース機器２の内部では画像２Ｌでデータを保持し、それを回転させて画像２Ｐとして映像表示部２１で表示させている場合もある。一方で、縦置きの画面でアプリケーションにより縦置きと規定されている場合には、実画像２ｐの左右端に黒帯部分を付加し、図２Ｂで例示するような画像２ＰＢを生成してそれを出力する。

また、ソース機器２は、縦置きの画面で且つ表示の際のアプリケーションにより横置きと規定されている場合には、映像表示部２１において、実画像に対して上下端に黒帯部分が付加された図２Ｃで例示する画像２ＬＢのような画像が表示されていることになる。その場合にも、ソース機器２は、図２Ｃで例示する画像２ＬＢＲのような横画像として出力することになる。

本発明に係る表示装置１では、上述したようにソース機器２と同様に表示画面が縦横の回転可能になっているが、自身のその回転を示す情報とソース機器２からの出力映像の上記状態情報に応じて、表示装置１側で映像変換処理部１４が映像処理を行い最適な画面を構成する。

最適な画面構成とは基本的にソース機器２におけるユーザの視聴状態と同じ状態（ユーザが見る向きが同じ状態）の画面構成を指す。つまり、表示画面の画像が回転可能な表示装置１においては、ソース機器２の表示画面と表示装置１の設置の向きによって、図３Ａ〜図３Ｈで例示するような画面を構成することが望まれる。

上述したように、ＭＨＬ規格（又はＨＤＭＩ規格）では、縦横の置き方に拘わらず７２０ｐでの出力が広く用いられる。また、ソース機器２は、ＭＨＬケーブル３を接続している状態では、横置き設置固定で画面を構成することになる。よって、縦画面しかないアプリケーション使用時には、画像の左右端に黒帯部分（黒画面）を入れて、７２０ｐにスケーリングされて表示される。

このようにソース機器２からの送信画像が常に横置きの画像であるため、図３Ａ〜図３Ｈのうち、従来のソース機器をはじめソース機器２が画像出力として対応しているのは、つまり表示装置１の画面が横置きでも送信画像のままの正しい向きで実画像を表示できるのは、図３Ａ、図３Ｃ、図３Ｅ、図３Ｇの場合に限られる。なお、特に説明しないが、スケーリング処理は上述のように必要となり、表示画面のサイズの違いにより黒帯処理も場合によっては必要となる。

図３Ａの場合には、ソース機器２からは表示画像２ａに対して図２Ｂの画像２ＰＢのような黒帯部分が付加された画像が送信され、横置きの表示装置１での表示画像１ａは表示画像２ａに対応する実画像１ａａとその左右端に付加された黒帯部分１ａｂとで構成されることになる。

図３Ｂで例示するように、表示装置１の映像表示部１１側が縦置き（縦長の表示画面）となる場合には、ソース機器２からは表示画像２ａに対して図２Ａの画像２Ｌのような横置きの実画像になるように画像回転が施されてから画像送信がなされる。そして、表示装置１での表示画像１ａは、受信した表示画像２ａを右９０度に回転させた画像となり、ソース機器２の映像表示部２１における縦長の表示画面に表示されたままの縦長の画像となる。

図３Ｃの場合には、ソース機器２からは表示画像２ｂに対して図２Ａの画像２Ｌのような実画像そのままが送信され、横置きの表示装置１での表示画像１ｂは表示画像２ｂに対応する実画像のみで構成されることになる。

一方で、図３Ｄの場合には、ソース機器２のハードウェアの制限により、表示画像２ｂに対して表示装置１で表示画像１ｂとなるように変換を行ってから出力するようなことは困難な場合がある。動画再生アプリケーションなど、映像をハードウェアで処理していて、画面の回転をサポートしていない場合などが挙げられる。実際、動画像を表示させるアプリケーションでは動画像の復号をハードウェア構成のデコーダで実行するように構成されることが多く、そのような構成では、入力された映像を縮小して表示させる処理や回転させて表示させる処理に対応していない。

よって、図３Ｄの場合、表示画像２ｂがそのまま表示装置１に出力され、表示装置１側で結果的に、表示画像１ｂが表示画像２ｂに対応する実画像１ｂａの上下端に黒帯部分１ｂｂを付加したようになる変換を、表示装置１の映像変換処理部１４で実行すればよい。

図３Ｅの場合には、ソース機器２では表示画像２ｃ自体が画像２ｃａの上下端に黒帯部分２ｃｂが付加された状態であり、このような表示画像２ｃが図２Ｃの画像２ＬＢＲのような横置きの画像になるように画像回転が施されてから画像送信がなされる。そして、図３Ｅの場合のように縦置きの表示装置１では、表示画像１ｃは表示画像２ｃが黒帯部分を残したままの画像となり、ソース機器２の映像表示部２１における縦長の表示画面に表示されたままの縦長の画像となる。

図３Ｆで例示するように、表示装置１の映像表示部１１側が横置き（横長の表示画面）となる場合には、図３Ｅの場合と同様に、ソース機器２からは表示画像２ｃに対して図２Ｃの画像２ＬＢＲのような横置きの画像になるように画像回転が施されてから画像送信がなされる。そして、図３Ｆのような横置きの表示装置１では、表示画像１ｃは、受信した表示画像２ｃから黒帯部分２ｃｂを除去した画像となり、ソース機器２の映像表示部２１における実画像２ｃａのみが表示されたままの横長の画像となる。よって、このような黒帯除去処理を表示装置１の映像変換処理部１４で実行すればよい。

図３Ｇの場合には、ソース機器２では表示画像２ｄ自体が画像２ｄａの左右端に黒帯部分２ｄｂが付加された状態であり、このような表示画像２ｄが図２Ｃの画像２ＬＢＲのような横置きのまま画像送信がなされる。そして、図３Ｇのような横縦置きの表示装置１では、表示画像１ｄは表示画像２ｃが黒帯部分を残したままの画像となり、ソース機器２の映像表示部２１における横長の表示画面に表示されたままの横長の画像となる。

図３Ｈで例示するように、表示装置１の映像表示部１１側が縦置き（縦長の表示画面）となる場合には、図３Ｇの場合と同様に、表示画像２ｄ自体が画像２ｄａの左右端に黒帯部分２ｄｂが付加された状態であり、このような表示画像２ｄが図２Ｃの画像２ＬＢＲのような横置きのまま画像送信がなされる。そして、図３Ｈのような縦置きの表示装置１では、表示画像１ｄは、受信した表示画像２ｄから黒帯部分２ｄｂを除去した画像となり、ソース機器２の映像表示部２１における実画像２ｄａのみが表示されたままの縦長の画像となる。よって、このような黒帯除去処理を表示装置１の映像変換処理部１４で実行すればよい。

このようないずれの場合にも対応できるように、ソース機器２では、画像信号と共に状態情報（画像信号が示す送信画像の上部又は下部の向き並びにその送信画像における黒帯部分の有無を示す情報）を送信し、表示装置１がその状態情報を受信し、その状態情報と表示装置１における向き検出部１９での検出結果とに応じて、回転処理、スケーリング処理、及び黒帯処理のいずれか１又は複数の処理を施す。

次に、このような処理（映像を回転するか否かの判定処理を含む）の一例について、図４、図５Ａ、及び図５Ｂを参照しながら説明する。図４は、表示装置１の処理例を説明するためのフロー図である。また、図５Ａは図４の処理における画像変換処理の一例を説明するための図で、図５Ｂは図４の処理における画像変換処理の他の例を説明するための図である。表示装置１についてここで説明する処理は、基本的に主制御部１０又は映像変換処理部１４が実行するものとする。

表示装置１は、ソース機器２からの送信映像が黒帯付きか否かを判定する（ステップＳ１）。図２Ａ〜図２Ｃで説明すると、送信画像及び画像の向きは、画像２Ｐ、画像２Ｌ、画像２ＰＢ、画像２ＬＢ、画像２ＬＢＲのいずれかの状態となる。但し、ここでは、図２Ａ〜図２Ｃで言うところの原点Ｏｐは考慮せず、図示する画像の上部の向きがそのまま向きを示す状態情報として含まれていると仮定して説明している。よって、ステップＳ１では、画像２ＰＢ、画像２ＬＢ、画像２ＬＢＲのような映像の場合にはＹＥＳと判定され、画像２Ｐ、画像２Ｌのような映像の場合にはＮＯと判定される。

ステップＳ１でＹＥＳの場合、つまり黒帯部分が付加された映像であると判定した場合、表示装置１は、映像の向きと表示装置１の向き（画面の向きであって状態情報が示す向き）が一致しているか否かを判定する（ステップＳ２）。表示装置１の表示画面の向きが縦である場合には、画像２ＰＢ、画像２ＬＢＲがＹＥＳと判定され、画像２ＬＢがＮＯと判定される。逆に、表示装置１の表示画面の向きが横である場合には、画像２ＬＢがＹＥＳと判定され、画像２ＰＢ、画像２ＬＢＲがＮＯと判定される。

ステップＳ２でＹＥＳの場合、表示装置１は黒帯部分を除去し、表示画面で最大になるようにスケーリング処理を施して映像を出力する（ステップＳ３）。表示装置１の表示画面の向きが縦である場合には、画像２ＰＢ、画像２ＬＢＲのいずれが送信されてきた場合でも、送信画像から黒帯部分を除いた実画像を拡大したような映像が表示されることになる。表示装置１の表示画面の向きが横である場合には、画像２ＬＢが送信されてきており、送信画像から黒帯部分を除いた実画像を拡大したような映像が表示されることになる。

ステップＳ２でＮＯの場合、表示装置１は、そのまま表示画面で最大になるようにスケーリング処理を施すだけで映像を出力する（ステップＳ５）。表示装置１の表示画面の向きが縦である場合には、画像２ＬＢが送信されてきており、その送信画像を拡大した映像が表示されることになる。表示装置１の表示画面の向きが横である場合には、画像２ＰＢ、画像２ＬＢＲのいずれが送信されてきた場合でも、その送信画像を拡大したような映像が表示されることになる。

例えば、図２Ｂの画像２ＰＢとして図３Ｈや図３Ｇの画像２ｄが送信される場合、そのまま（実際には７２０ｐに縮小された状態で）ソース機器２から送信される。それ同時に、状態情報として黒帯有り及び縦向き画像である旨の情報もソース機器２から送信される。その場合、黒帯有りであるためステップＳ１でＹＥＳとなり、図３Ｈのように表示装置１の表示画面の向きが縦である場合にはステップＳ２でＹＥＳとなり、ステップＳ３に進む。

従って、表示装置１では、受信した図３Ｈの画像２ｄに対し、黒帯部分２ｄｂを除去して実画像２ｄａだけ残し、その後、スケーリング処理して図３Ｈの画像１ｄを生成して表示装置１の映像表示部１１に表示させる。これにより、図３Ｈのようなソース機器２及び表示装置１の表示状態にすることができる。

一方で、図３Ｇのように表示装置１の表示画面の向きが横である場合にはス、テップＳ２でＮＯとなり、ステップＳ５に進む。従って、表示装置１では、受信した図３Ｇの画像２ｄに対し、そのままスケーリング処理して図３Ｇの画像１ｄを生成して表示装置１の映像表示部１１に表示させる。これにより、図３Ｇのようなソース機器２及び表示装置１の表示状態にすることができる。

また、図２Ｃの画像２ＬＢＲとして図３Ｅや図３Ｆの画像２ｃが送信される場合、実際にはこの画像２ｃが横向き状態で且つ７２０ｐに縮小された状態でソース機器２から送信される。それ同時に、状態情報として黒帯有り及び横向き画像である旨の情報もソース機器２から送信される。その場合、黒帯有りであるためステップＳ１でＹＥＳとなり、図３Ｆのように表示装置１の表示画面の向きが横である場合にはステップＳ２でＹＥＳとなり、ステップＳ３に進む。

従って、表示装置１では、受信した図３Ｆの画像２ｄ（受信画像は画像２ＬＢＲのように横向き）に対し、黒帯部分２ｃｂを除去して実画像２ｃａだけ残し、その後、スケーリング処理して図３Ｆの画像１ｃを生成して表示装置１の映像表示部１１に表示させる。これにより、図３Ｆのようなソース機器２及び表示装置１の表示状態にすることができる。

一方で、図３Ｅのように表示装置１の表示画面の向きが縦である場合には、ステップＳ２でＮＯとなり、ステップＳ５に進む。従って、表示装置１では、受信した図３Ｅの画像２ｄ（受信画像は画像２ＬＢＲのように横向き）に対し、そのままスケーリング処理して図３Ｅの画像１ｃを生成して表示装置１の映像表示部１１に表示させる。これにより、図３Ｅのようなソース機器２及び表示装置１の表示状態にすることができる。

ステップＳ１でＮＯの場合、つまり黒帯部分が付加されていない映像であると判定した場合、表示装置１は、入力映像と画面の向きが一致しているか否かを判定する（ステップＳ４）。表示装置１の表示画面の向きが縦である場合には、画像２ＰがＹＥＳと判定され、画像２ＬがＮＯと判定される。逆に、表示装置１の表示画面の向きが横である場合には、画像２ＬがＹＥＳと判定され、画像２ＰがＮＯと判定される。

ステップＳ４でＹＥＳの場合、表示装置１は、そのまま（但し、入力映像の向きのまま）表示画面で最大になるようにスケーリング処理を施すだけで映像を出力する（ステップＳ５）。表示装置１の表示画面の向きが縦である場合には画像２Ｐが送信されてきており、表示装置１の表示画面の向きが横である場合には画像２Ｌが送信されてきており、いずれの場合でも、その送信画像を拡大したような映像が表示されることになる。

図２Ｂの画像２Ｐとして図３Ｂの画像２ａが送信される場合、実際にはこの画像２ａが横向き状態で且つ７２０ｐに縮小された状態でソース機器２から送信される。それ同時に、状態情報として黒帯無し及び縦向き画像である旨の情報もソース機器２から送信される。その場合、黒帯無しであるためステップＳ１でＮＯとなり、図３Ｂのように表示装置１の表示画面の向きが縦である場合にはステップＳ２でＹＥＳとなり、ステップＳ５に進む。

従って、表示装置１では、受信した図３Ｂの画像２ａ（受信画像は画像２Ｌのように横向き）に対し、画像の向きは縦向きのまま（実際には送信された画像を右９０度回転させた状態で）スケーリング処理して図３Ｂの画像１ａを生成して表示装置１の映像表示部１１に表示させる。これにより、図３Ｂのようなソース機器２及び表示装置１の表示状態にすることができる。

図２Ｂの画像２Ｌとして図３Ｃの画像２ｂが送信される場合、そのまま（実際には７２０ｐに縮小された状態で）ソース機器２から送信される。それ同時に、状態情報として黒帯無し及び横向き画像である旨の情報もソース機器２から送信される。その場合、黒帯無しであるためステップＳ１でＮＯとなり、図３Ｃのように表示装置１の表示画面の向きが横である場合にはステップＳ２でＹＥＳとなり、ステップＳ５に進む。

従って、表示装置１では、受信した図３Ｃの画像２ｂに対し、画像の向きは横向きのままスケーリング処理して図３Ｃの画像１ｂを生成して表示装置１の映像表示部１１に表示させる。これにより、図３Ｃのようなソース機器２及び表示装置１の表示状態にすることができる。

ステップＳ４でＮＯの場合、表示装置１は、入力映像の向きを状態情報から判定する（ステップＳ６）。表示装置１の表示画面の向きが縦である場合には画像２Ｌが送信されてきており、表示装置１の表示画面の向きが横である場合には画像２Ｐが送信されてきている。ステップＳ６では、入力映像が縦であるか否かを判定するものとして説明する。

ステップＳ６でＹＥＳの場合、つまり入力映像の向きが画像２Ｐのように縦長であった場合には、その映像を右９０度に回転させる回転処理を施し、左右端に黒帯部分を付加した後、表示画面で最大になるようにスケーリング処理を施して、映像出力を行う（ステップＳ７）。

例えば、画像２Ｐとして図５Ａの画像５１が送信される場合、実際には画像５２のように横向き状態で且つ画像５３のように７２０ｐに縮小された状態でソース機器２から送信される。それ同時に、状態情報として黒帯無し及び縦向き画像である旨の情報もソース機器２から送信される。その場合、黒帯無しであるためステップＳ１でＮＯとなり、表示装置１の表示画面の向きが横である場合にはステップＳ４でＮＯとなり、縦向き画像であるためステップＳ６でＹＥＳとなる。

従って、表示装置１では、受信した画像５３に対し、９０度右回転させて画像５４ａを生成して左右端に黒帯部分５４ｂを付加して画像５４を生成し（或いは上下端に黒帯部分を付加してから９０度右回転させて画像５４を生成し）、スケーリング処理して画像５５を生成して表示装置１の映像表示部１１に表示させる。これにより、図３Ａのようなソース機器２及び表示装置１の表示状態にすることができる。

ステップＳ６でＮＯの場合、つまり入力映像の向きが画像２Ｌのように横長であった場合には、その映像を左９０度に回転させる回転処理を施し、左右端に黒帯部分を付加した後、表示画面で最大になるようにスケーリング処理を施して、映像出力を行う（ステップＳ８）。

例えば、画像２Ｌとして図５Ｂの画像５６が送信される場合、実際には画像５７のように７２０ｐに縮小された状態でソース機器２から送信される。それ同時に、状態情報として黒帯無し及び横向き画像である旨の情報もソース機器２から送信される。その場合、黒帯無しであるためステップＳ１でＮＯとなり、表示装置１の表示画面の向きが縦である場合にはステップＳ４でＮＯとなり、横向き画像であるためステップＳ６でＮＯとなる。

従って、表示装置１では、受信した画像５７に対し、９０度左回転させて画像８４ａを生成して左右端に黒帯部分５８ｂを付加して画像５８を生成し（或いは上下端に黒帯部分を付加してから９０度左回転させて画像５８を生成し）、スケーリング処理して画像５９を生成して表示装置１の映像表示部１１に表示させる。これにより、図３Ｂのようなソース機器２及び表示装置１の表示状態にすることができる。

以上、本発明によれば、ソース機器２から送信された送信画像を表示装置１で表示するに際し、送信画像に黒帯部分が含まれる場合であっても、表示装置１の表示画面の向きに合うように、且つ表示画面全体を最大限利用した大きさでその黒帯部分を除く実画像を表示させることができる。無論、黒帯部分が含まれない場合であっても、表示画面の向きに合うように且つ表示画面全体を最大限利用した大きさで表示させることができる。

また、表示装置１は、上記受信部での画像信号の受信前に、表示装置１が回転処理、スケーリング処理、及び黒帯処理のそれぞれが実行可能であることを示す実行可能情報を、ソース機器２に通知することが好ましい。これにより、ソース機器２は特に表示装置１の能力を気にすることなく画像を状態情報と共に送信すればよいだけになる。なお、スケーリング処理の機能については、多くの表示装置でもっているため、特に通知しなくても有するものとソース機器２側で捉えるようにしておけばよい。換言すれば、わざわざ大きな画面の表示装置でソース機器２の表示画面の画像を表示させようとする場合には、表示装置側で拡大するような機能があることが前提になる。

（第２の実施形態）
次に、本発明の第２の実施形態として、図６を参照しながら表示装置１の他の処理例を説明する。図６は、表示装置１の他の処理例を説明するための図である。

本実施形態の表示装置１は、図１で例示したようにタッチ機能を有することを特徴とする。つまり、表示装置１は、映像表示部１１等の表示部に、ユーザ操作によりタッチされた位置を示すタッチ情報を出力するタッチセンサを有する。

このようなタッチ機能付きの表示装置１の場合、表示装置１側で上述のように送信画像に対して回転処理、スケーリング処理、黒帯処理を施すことで、ソース機器２側では、そのままのタッチ情報を伝送されると映像表示部２１の表示画面とのずれが生じてしまう。

例えば、図３Ｈのような処理が施された場合について、図６を参照しながら説明する。図６で模式的に示すように送信画像に存在した黒帯部分６２が除去され且つ回転処理が施されて実画像６１だけが表示されている。そして、画像６１は、図３Ｈの元の画像２ｄに対応していないため、画像６１の例えば上部や下部、さらには左部や右部をタッチしても、ソース機器２側は黒帯部分２ｄｂをタッチしたとして反応しない。回転処理と黒帯除去処理が施されているためである。また、表示装置１側で黒帯部分を付加した場合には、表示装置１側では黒帯部分を不感帯として取り扱うことになるが、元々送信画像では対応部分が存在しているため、ずれが生じる。

そのようなずれを無くすために、本実施形態の表示装置１は、タッチセンサからタッチ情報が出力された場合、映像表示部２１等の表示部に表示された表示画像が表示装置１側で回転処理、スケーリング処理、及び黒帯処理（挿入／除去）のそれぞれを実行したものであるか否かに応じて、タッチ情報の座標を送信画像に一致させるように座標変換し、座標変換後のタッチ情報をソース機器２に通知する。

座標変換は画像がどのように変換されたかに応じてその逆変換を行うことで実行できる。単なる幾何学計算であるため、具体的例を挙げて説明しないが、タッチの座標は元の送信画像に合わせて、黒帯部分を除去した場合には除去した黒帯部分を加算、黒帯部分を付加した場合には付加した部分を減算し、その後、回転処理が施されている場合にはＸ座標とＹ座標の値を交換し原点座標変換を行う。スケーリング処理に対しては、拡大していれば座標を縮小する処理を施せばよい。

そして、上述のようにＭＨＬケーブル３においてソース機器２の表示画面をミラーリングした映像を表示装置１に伝送するに際し、表示装置１が検出したタッチ情報はＭＨＬケーブル３のＣＢＵＳラインの双方向データ通信においてソース機器２に通知する。これにより、ユーザはソース機器２の映像をミラーリングで表示している表示装置１において、ソース機器２をタッチによって操作することが可能となる。

（第３の実施形態）
次に、本発明の第３の実施形態として、図７、図８Ａ、及び図８Ｂを参照しながら図１の表示システムの他の処理例を説明する。図７は、表示装置１の他の処理例を説明するためのフロー図である。また、図８Ａ及び図８Ｂは、図１の表示システムにおいて適用可能な機器間でのネゴシエーション処理の一例を説明するための図である。

第１，第２の実施形態では、ソース機器２が黒帯部分を付けているか否かに拘わらず送信画像における実画像の向きを表示装置１の向きに必ず一致させる場合を示した。しかし、本実施形態では、表示装置１の設置の向き（表示画面の向き）をソース機器２側へのユーザ入力により設定可能するものとする。

無論、ユーザにソース機器２を操作させて直接入力設定させてもよいが、第２の実施形態のように、表示装置１からソース機器２をタッチで操作できる場合には、表示装置１の表示画面の向きを表示装置側のＵＩで設定する点は同じであるが、ソース機器２の表示画面を表示した状態でソース機器２に対して表示装置１の表示画面の向きを設定することもできる。いずれの場合でも、ソース機器２側において、例えば画面向き記憶部２８で自身の画面向きとは別に表示装置１の表示画面の向きを保持すればよい。

そして、ソース機器２は、保持した表示装置１の表示画面の向きとソース機器２の現状の表示画面の向きが一致しない場合には、黒帯部分を付加して画像を出力させるようにすればよい。表示装置１側では、状態情報を見て黒帯部分が付加されていると判定した場合には、そのまま（必要に応じてスケーリング処理は施して）映像を表示させるようにすればよい。

このような処理の一例について、図７を参照しながら説明する。まず、表示装置１は、図４のステップＳ１と同様に送信映像に黒帯部分が付加されているか否かを判定し（ステップＳ１１）、黒帯部分が付加されていれば（ＹＥＳの場合）、ソース機器２側で映像処理済みであるとみなし、そのまま表示画面を最大限使用するようなスケーリング処理を施して映像を出力する（ステップＳ１２）。黒帯部分が付加されていない場合（ステップＳ１１でＮＯの場合）の処理については、図４のステップＳ４〜Ｓ８で説明した通りであり、その説明を省略する。

また、本実施形態では、ソース機器２側の黒帯処理機能だけでなく回転処理の機能を利用するように構成することもできる。それを可能とするため、表示装置１のようなシンク機器となる表示装置は自身が回転処理、黒帯処理を実行可能であるか否かを予めソース機器２側に通知しておく。なお、スケーリング処理の機能については、多くの表示装置でもっているため、特に通知しなくても有するものと捉えればよい。

第１の実施形態では、表示装置１が、上記受信部での画像信号の受信前に、表示装置１が回転処理、スケーリング処理、及び黒帯処理のそれぞれが実行可能であることを示す実行可能情報（例えばそれぞれを第１、第２、第３の実行可能情報とする）を、ソース機器２に通知する例を挙げた。この通知と同様に、表示装置は、実行可能である処理についてだけ実行可能情報をソース機器２に通知するようにすればよい。なお、第１の実施形態で説明したように第２の実行可能情報については通知しないようにしてもよい。

実際、表示装置において、表示装置１のように回転処理や黒帯処理の機能をもたせることはコストの高い集積回路を使用することが必要であるため、安価な集積回路を利用する表示装置では回転処理や黒帯処理の機能がないものも混在し得る。そのため、表示装置１は、回転処理及び黒帯処理（及びスケーリング処理）の機能を有することを示す情報をソース機器２に通知するとよい。

これにより、ソース機器２は、３つの全ての処理が可能な表示装置１だけではなく、接続された表示装置の能力を知ることができる。そして、この通知を受け取ったソース機器２は、その通知が示す内容に従って、必要に応じてソース機器２側で回転処理、黒帯処理を実行すればよい。

つまり、ソース機器２は、第１の実行可能情報、（第２の実行可能情報、）第３の実行可能情報が表示装置から通知されたか否かに応じて、送信対象の画像を変換し、画像信号として変換後の画像の信号を表示装置に送信し、画像信号と共に状態情報（画像信号が示す送信画像の上部又は下部の向き並びに送信画像における黒帯部分の有無を示す情報）を表示装置に送信するようにすればよい。そして、表示装置側は、表示装置１と同様に（但し、３つの処理のうち不可能な処理については実行しなくてもよくなっている）状態情報と向き検出部１９の検出結果に応じて、実行可能な処理のうち必要な処理を実行することで適切な画面構成とすることができる。

この処理の詳細については説明を省略するが、表示装置側にない機能についてはソース機器２側で対応するため、図３Ａ〜図３Ｈで説明したようないずれの場面にも対応させることができる。

次に、図８Ａ及び図８Ｂを参照しながら、図１の表示システムにおいて適用可能な、機器間でのネゴシエーション処理の一例について説明する。ここで説明するネゴシエーション処理は、上述のような実行可能情報のソース機器２への通知も含めた処理であるが、単なる一例に過ぎず、他の処理方法を採用することもできる。

なお、ここで説明するネゴシエーション処理自体を実行しなくても、ソース機器２から通知された状態情報に応じて３つの処理（回転処理、スケーリング処理、黒帯処理）が可能な表示装置１であれば、単にソース機器２から状態情報を通知するようにしておくだけで、表示装置１側で適切な画面が構成できる。この点は第１，第２の実施形態で説明した通りである。

以下に例示する処理は、ソース機器２と表示装置１のような表示装置との間における、ソース機器２から表示装置への画面出力の設定に関するネゴシエーション処理である。ソース機器２からの送信画像は、上述したように１２８０×７２０といった横長の画像であるため、状態情報の一部として説明したように実画像の縦横の情報を表示装置側に渡す必要がある。また、表示装置側で黒帯処理に対応させるために、ネゴシエーションの際にやり取りするフラグを追加する必要がある。

表示装置側からソース機器２に通知するフラグは、（Ｉ）表示装置の縦横設定フラグ、（ＩＩ）表示装置の能力フラグである。表示装置側で表示画面の縦横の設定をもっている場合は上記（Ｉ）のフラグをソース機器２に通知する。図８Ａ，図８Ｂの例では、設定無しを「０」、横向きの表示画面である場合を「１」、縦向きの表示画面である場合を「２」とし、設定無しの場合も通知するものとする。

また、表示装置側で黒帯部分の付加や除去の対応が可能か否かを上記（ＩＩ）のフラグでソース機器２に通知する。図８Ａ，図８Ｂの例では、全画面表示のみが可能な場合を「０」、全画面表示だけでなく縦表示に左右側に黒帯部分を付加する機能も有する場合を「１」、全画面表示だけでなく横表示に上下側に黒帯部分を付加する機能も有する場合を「２」、全画面表示だけでなく縦表示に左右側に黒帯部分を付加する機能と横表示に上下側に黒帯部分を付加する機能も有する場合を「３」とする。

ソース機器２側から表示装置に通知するフラグは、（ＩＩＩ）ソース機器２側の縦横設定フラグ、（ＩＶ）ソース機器２からの出力画面フラグである。ソース機器２側での縦横の設定を、上記（ＩＩＩ）のフラグで表示装置に通知する。図８Ａ，図８Ｂの例では、横向きに固定の表示画面である場合を「１」、縦向きに固定の表示画面である場合を「２」、設定無しの場合を「０」とする。

また、ソース機器２から出力される画面が縦表示のものか横表示のものかを上記（ＩＶ）のフラグで表示装置に通知する。図８Ａ，図８Ｂの例では、横向き（横表示がユーザから見て正位置）である場合を「０」、縦向き（縦表示がユーザから見て正位置）である場合を「１」とする。上記（ＩＶ）のフラグは、上記状態情報のうち送信画像の上部又は下部の向きを示す情報に該当する。また、上記（ＩＩＩ）のフラグは、上記（ＩＶ）のフラグを考慮すると、上記状態情報のうち黒帯部分の有無の情報に該当する。

ネゴシエーション処理の手順について説明する。まず、（１）表示装置が初期ネゴシエーションパケットに上記（Ｉ），（ＩＩ）のフラグを付加してソース機器２に送信する。

次いで、（２）ソース機器２は上記（Ｉ），（ＩＩ）のフラグが示す情報及びソース機器２内部の状態（ソース機器側の縦横設定メニューと、アプリケーションにおける表示向きの設定［Ｏｒｉｅｎｔａｔｉｏｎ設定］）から出力する画面状態を決定する。

この決定に際しては、縦横設定が表示装置側の上記（Ｉ）とソース機器２側の上記（ＩＩＩ）の両方で設定されている場合は、ソース機器２側の上記（ＩＩＩ）の設定を優先する。

また、通常は縦横設定に応じて、図２Ａの画像２Ｌのように全画面で出力するように画面状態を決定する。一方で、縦横設定が横固定の「１」、且つアプリケーションが縦固定の場合で、上記（ＩＩ）が左右黒帯非対応（つまり「０」又は「２」）の場合には、図５Ａで例示して説明した処理のうち最後のスケーリング処理（及び表示装置の向きに合わせた表示処理）以外をソース機器２側で行う。つまり、ソース機器２側で７２０／１２８０に縮小し、右９０度回転して左右に黒帯部分を入れ、図２Ｂの画像２ＰＢのようにして出力する。

また、縦横設定が縦固定の「２」、且つアプリケーションが横固定で、上記（ＩＩ）が上下黒帯非対応（つまり「０」又は「１」）の場合には、図５Ｂで例示して説明した処理のうち最後のスケーリング処理（及び表示装置の向きに合わせた表示処理）以外をソース機器２側で行う。つまり、ソース機器２側で７２０／１２８０に縮小し、左９０度回転して左右に黒帯部分を入れ、図２Ｃの画像２ＬＢＲのようにして出力する。なお、このような処理が不可能な場合には横全画面で出力すればよい。

次いで、（３）ソース機器２は出力する画面の状態として、上記（ＩＩＩ），（ＩＶ）のフラグを付加したネゴシエーションパケットを表示装置に応答する。なお、ソース機器２側で画面出力状態や設定が変更された場合は、その都度、上記（３）のネゴシエーションパケットで表示装置に通知すればよい。

次いで、（４）表示装置は、上記（ＩＩＩ），（ＩＶ）のフラグ及び自身の状態である上記（Ｉ），（ＩＩ）のフラグが示す情報から表示装置側で必要な対応（画面回転／黒帯付加）を判断して画面表示する。ここで、通常、表示装置側は入力画面のまま全画面で表示するものとする。例えば、上記（ＩＩ）のフラグに関係なく、ソース機器２と表示装置のいずれも縦横設定がない場合は、ソース機器２の表示状態のまま全画面で表示する。なお、ソース機器２で上記（ＩＩＩ）のフラグを出力不可の場合は、表示装置をユーザが回転させたりした向きについての上記（Ｉ）のフラグに基づき出力すればよい。

縦横設定が横固定の「１」、且つ上記（ＩＶ）が縦向きの「１」で、且つ上記（ＩＩ）が左右黒帯対応可能（「１」又は「３」）の場合について説明する。この場合には、図８Ａ，図８Ｂにおいて★印で示した場合であり、図５Ａで例示して説明したように、表示装置側で７２０／１２８０に縮小し、右９０度回転し、左右に黒帯部分を入れて表示させる。

縦横設定が縦固定の「２」、且つ上記（ＩＶ）が横向きの「０」で、且つ上記（ＩＩ）が上下黒帯対応可能（「２」又は「３」）の場合について説明する。この場合には、図８Ａ，図８Ｂにおいて◆印で示した場合であり、図５Ｂで例示して説明したように、表示装置側で７２０／１２８０に縮小し、左９０度回転し、左右に黒帯部分を入れて表示させる。

また、以上の例では、表示装置の回転が０度か９０度しかなく、−９０度などはないことを前提に説明した。しかし、回転フラグをもう１つ追加することで４方向の回転に対応させることができる。

（その他）
以上、本発明に係る表示装置、ソース機器、表示システムについて説明したが、処理の流れをフロー図で例示したように、本発明は、表示部と、上記表示部の表示画面の上部又は下部の向きを検出する向き検出部と、ソース機器より送信される画像信号を受信する受信部と、画像処理部と、を備え、上記画像処理部で処理後の画像を上記表示部に表示させる表示装置における表示方法や、その表示方法をコンピュータ（表示装置の制御部）に実行させるためのプログラムとしての形態も採り得る。

この表示方法は、上記受信部が、上記画像信号と共に、上記画像信号が示す送信画像の上部又は下部の向き並びに上記送信画像における黒帯部分の有無を示す状態情報を受信する受信ステップと、上記画像処理部が、上記送信画像に対して、上記向き検出部での検出結果と上記受信ステップで受信した上記状態情報とに応じて、上記表示画面の上部又は下部の向きと上記受信ステップで受信した上記送信画像の上部又は下部の向きが一致するように回転させる回転処理、アスペクト比を維持して上記表示画面に最大に表示するようにスケーリングを行うスケーリング処理、及び黒帯部分の付与若しくは除去を行う黒帯処理のいずれか１又は複数の処理を施す処理ステップと、を有する。その他の応用例については、表示装置について説明した通りであり、その説明を省略する。

上記プログラムは、換言すると、この表示方法を、上記表示部及び上記向き検出部を備えたコンピュータに実行させるためのプログラムである。すなわち、このプログラムは、上記コンピュータに、上記画像信号と共に、上記画像信号が示す送信画像の上部又は下部の向き並びに上記送信画像における黒帯部分の有無を示す状態情報を受信する受信ステップと、上記送信画像に対して、上記向き検出部での検出結果と上記受信ステップで受信した上記状態情報とに応じて、上記表示画面の上部又は下部の向きと上記受信ステップで受信した上記送信画像の上部又は下部の向きが一致するように回転させる回転処理、アスペクト比を維持して上記表示画面に最大に表示するようにスケーリングを行うスケーリング処理、及び黒帯部分の付与若しくは除去を行う黒帯処理のいずれか１又は複数の処理を施す処理ステップと、を実行させるためのプログラムである。その他の応用例については、表示装置について説明した通りであり、その説明を省略する。

また、本発明は、上記表示装置に対して画像信号を送信するソース機器における送信方法や、その送信方法をコンピュータ（ソース機器の制御部）に実行させるためのプログラムとしての形態も採り得る。この送信方法は、上記画像信号と共に、上記画像信号が示す送信画像の上部又は下部の向き並びに上記送信画像における黒帯部分の有無を示す状態情報を送信するステップを有する。その他の応用例については、ソース機器について説明した通りであり、その説明を省略する。

ソース機器側の上記プログラムは、換言すると、この送信方法を、コンピュータに実行させるためのプログラムである。すなわち、このプログラムは、上記コンピュータに、上記画像信号と共に、上記画像信号が示す送信画像の上部又は下部の向き並びに上記送信画像における黒帯部分の有無を示す状態情報を送信するステップを実行させるためのプログラムである。その他の応用例については、ソース機器について説明した通りであり、その説明を省略する。

１…表示装置、２…ソース機器、３…ＭＨＬケーブル、１０…主制御部、１１…映像表示部、１２ａ…タッチ入力部、１２ｂ…タッチ変換処理部、１３ａ…キー入力部、１３ｂ…ＵＩ処理部、１４…映像変換処理部、１５…ＴＭＤＳ信号処理部、１６…ＭＨＬ Ｉ／Ｆ、１７…ＣＢＵＳ信号処理部、１８…画面向き記憶部、１９…向き検出部、２０…ソース機器側の主制御部、２１…ソース機器側の映像表示部、２２…ソース機器側のタッチ入力部、２３ａ…ソース機器側のキー入力部、２３ｂ…ソース機器側のＵＩ処理部、２４…ソース機器側の映像変換処理部、２５…ソース機器側のＴＭＤＳ信号処理部、２６…ソース機器側のＭＨＬ Ｉ／Ｆ、２７…ソース機器側のＣＢＵＳ信号処理部、２８…ソース機器側の画面向き記憶部、２９…ソース機器側の向き検出部。

Claims (4)

1. ユーザ操作によりタッチされた位置を示すタッチ情報を出力するタッチセンサを有する表示部と、該表示部の表示画面の上部又は下部の向きを検出する向き検出部と、ソース機器より送信される画像信号を受信する受信部と、画像処理部と、を備え、前記画像処理部で処理後の画像を前記表示部に表示させる表示装置であって、
   前記受信部は、前記画像信号と共に、前記画像信号が示す送信画像の上部又は下部の向き並びに該送信画像における黒帯部分の有無を示す状態情報を受信し、
   前記画像処理部は、前記送信画像に対して、前記向き検出部での検出結果と前記受信部で受信した前記状態情報とに応じて、前記表示画面の上部又は下部の向きと前記受信部で受信した前記送信画像の上部又は下部の向きが一致するように回転させる回転処理、アスペクト比を維持して前記表示画面に最大に表示するようにスケーリングを行うスケーリング処理、及び黒帯部分の付与若しくは除去を行う黒帯処理のいずれか１又は複数の処理を施し、
   前記表示装置は、前記タッチセンサから前記タッチ情報が出力された場合、前記表示部に表示された表示画像が前記回転処理、前記スケーリング処理、及び前記黒帯処理のそれぞれを実行したものであるか否かに応じて、前記タッチ情報の座標を前記送信画像に一致させるように座標変換し、座標変換後のタッチ情報を前記ソース機器に通知することを特徴とする表示装置。
2. 前記表示装置は、前記受信部での前記画像信号の受信前に、前記表示装置が前記回転処理、前記スケーリング処理、及び前記黒帯処理のそれぞれが実行可能であることを示す実行可能情報を、若しくは前記表示装置が前記回転処理及び前記黒帯処理のそれぞれが実行可能であることを示す実行可能情報を、前記ソース機器に通知することを特徴とする請求項１に記載の表示装置。
3. 請求項１又は２に記載の表示装置に対して画像信号を送信するソース機器であって、前記画像信号と共に、前記画像信号が示す送信画像の上部又は下部の向き並びに該送信画像における黒帯部分の有無を示す状態情報を送信することを特徴とするソース機器。
4. 請求項１又は２に記載の表示装置と、請求項３に記載のソース機器と、を備えた表示システム。

Images