JPWO2014010170A1 - 表示制御装置 - Google Patents

表示制御装置 Download PDF

Info

Publication number
JPWO2014010170A1
JPWO2014010170A1 JP2014524617A JP2014524617A JPWO2014010170A1 JP WO2014010170 A1 JPWO2014010170 A1 JP WO2014010170A1 JP 2014524617 A JP2014524617 A JP 2014524617A JP 2014524617 A JP2014524617 A JP 2014524617A JP WO2014010170 A1 JPWO2014010170 A1 JP WO2014010170A1
Authority
JP
Japan
Prior art keywords
image
pinp
display
controller
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014524617A
Other languages
English (en)
Other versions
JP5799194B2 (ja
Inventor
卓 北原
卓 北原
修史 守屋
修史 守屋
一政 田畑
一政 田畑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2014524617A priority Critical patent/JP5799194B2/ja
Application granted granted Critical
Publication of JP5799194B2 publication Critical patent/JP5799194B2/ja
Publication of JPWO2014010170A1 publication Critical patent/JPWO2014010170A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43632Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H04N21/43635HDMI
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • H04N21/4854End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • H04N21/4856End-user interface for client configuration for language selection, e.g. for the menu or subtitles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0442Handling or displaying different aspect ratios, or changing the aspect ratio
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/12Use of DVI or HDMI protocol in interfaces along the display data pipeline

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

表示制御装置は、表示部で表示される画像を制御する。表示制御装置は、第1の画像及び第1の画像に重畳した第2の画像を含む画像を生成して表示部に表示させる制御部を備える。制御部は、第1のモードに設定されているときは、第1の画角の第1の画像を表示部に表示するよう制御し(図11(A)(B))、第2のモードに設定されているときは、第1の画角よりも広角な第2の画角の第1の画像を表示部に表示するよう制御する(図11(C)(D))。第2のモードは、第2の画角の第1の画像の領域中における第2の画像の領域を設定するためのモードである。

Description

本開示は、PinP(Picture in Picture)機能を有する表示制御装置に関する。
一の画像中に別の画像を表示するPinP(Picture in Picture)機能を有する表示制御装置が知られている。例えば、特許文献1は、それぞれ異なるテレビ放送局から同時に放送されている、一の放送番組の画像と、他の放送番組の画像とを一画面中に表示するテレビ受像機を開示している。特許文献1では、一方の放送番組の画像を親画像とし、他方の放送番組の画像を子画像としてPinP表示している。
特開平9−163260号公報
本開示は、より好適なPinP表示を行なうことができる表示制御装置を提供する。
本開示に係る表示制御装置は、表示部で表示される映像を制御する表示制御装置である。表示制御装置は、第1の画像及び第1の画像に重畳した第2の画像を含む画像を生成して表示部に表示させる制御部を備える。制御部は、第1のモードに設定されているときは、第1の画角の第1の画像を表示部に表示するよう制御し、第2のモードに設定されているときは、第1の画角よりも広角な第2の画角の第1の画像を表示部に表示するよう制御する。第2のモードは、第2の画角の第1の画像の領域中における第2の画像の領域を設定するためのモードである。
本発明の表示制御装置によれば、より好適なPinP表示を行なうことができる。
本実施形態のテレビ会議システムの構成図 2つの拠点間を接続したテレビ会議システムの利用形態を示した図 メイン画像中にPinP画像を表示するPinP表示機能を説明した図 リモートカメラの電気的構成図 撮像画像領域、メイン画像領域、及びPinP画像領域を説明した図 表示装置の電気的構成図 赤外線リモコンの電気的構成図 リモートカメラを操作するための操作画面を説明した図 PinP表示選択釦が操作されたときの表示装置の動作を示すフローチャート 制御対象選択釦が操作されたときの表示装置の動作を示すフローチャート 制御対象選択釦が操作されたときの画面遷移を説明した図 HDMI出力時の出力アスペクト比の切り替え時の表示装置の動作を示すフローチャート 出力アスペクト比の切り替え時の画面遷移を説明した図
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者(ら)は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
〔実施の形態1〕
図1は、実施の形態1にかかるテレビ会議システムのシステム構成図である。図1に示すように、実施の形態1にかかるテレビ会議システム100は、リモートカメラ200と、リモートカメラ200とHDMIケーブル110を介して接続された表示装置300とを備える。
図2は、実施の形態1のテレビ会議システム100で2つの拠点A、B間を接続した時の構成を示した図である。2つの拠点A、B間において、リモートカメラ200と表示装置300はネットワークを経由して接続されてもよい。
テレビ会議システム100においては、リモートカメラ200に対する赤外線リモコン400の操作や、表示装置300の操作により、表示装置300に表示するPinP画像の表示を制御することができる。ここで、PinP画像とは、図3に示すような、メイン画像800中に表示される別の画像810である。本実施形態のテレビ会議システム100は、表示装置300上に、メイン画像800とともにこのようなPinP画像を表示させるPinP表示機能を有する。
以下、テレビ会議システム100の構成および動作について順に説明する。
〔1−1.構成〕
〔1−1−1.リモートカメラ〕
図4は、リモートカメラ200の電気的構成図である。リモートカメラ200の構成について、図4を用いて説明する。
図4に示すように、リモートカメラ200は、コントローラ210、レンズ220、CMOSイメージセンサ230、画像処理部240、メモリ250、HDMIインタフェース260、及び赤外線受光部270を備える。
コントローラ210は、リモートカメラ200全体の動作を統括制御する。コントローラ210は、プログラム等の情報を格納するROM(不図示)、プログラム等の情報を処理するCPU(不図示)等により構成される。ROMは、レンズ制御や、デジタルズーム制御に関するプログラムの他、リモートカメラ200全体の動作を統括制御するためのプログラムを格納している。コントローラ210は、垂直同期信号(VD)に基づいて、CMOSイメージセンサ230及び画像処理部240などに制御信号を送信する。コントローラ210は、ハードワイヤードな電子回路で構成してもよいし、マイクロコンピュータなどで構成してもよい。また、後述する画像処理部240などと共に1つの集積回路として構成してもよい。なお、ROMはコントローラ210の内部構成である必要はなく、コントローラ210の外部に備わったものでもよい。
レンズ220は、フォーカスレンズ等の光学系を含む。リモートカメラ200は、図示していないが、ズームレンズ、絞り、メカニカルシャッタ、光学式手ぶれ補正レンズを含んでいてもよい。レンズ220を構成する各種レンズは何枚から構成されるものでも、何群から構成されるものでもよい。
CMOSイメージセンサ230は、レンズ220を通して形成された被写体像を撮像して画像データを生成する。CMOSイメージセンサ230は、所定のフレームレート(例えば、30フレーム/秒)で新しいフレームの画像データを生成する。CMOSイメージセンサ230の画像データ生成タイミングおよび電子シャッタ動作は、コントローラ210によって制御される。なお、CMOSイメージセンサ230に代えて、CCDイメージセンサやNMOSイメージセンサなど、他の撮像素子を用いても良い。
画像処理部240は、CMOSイメージセンサ230から出力された画像データに対して各種の画像処理を施す。各種処理としては、ガンマ補正、ホワイトバランス補正、YC変換処理、電子ズーム処理、圧縮処理、伸張処理等が挙げられるが、これらに限定されるものではない。画像処理部240は、ハードワイヤードな電子回路で構成してもよいし、これらの処理を行うためのプログラムを実行するマイクロコンピュータ等で構成してもよい。また、コントローラ210等と共に1つの集積回路として構成してもよい。
メモリ250は、コントローラ210及び画像処理部240のワークメモリとして機能する記憶媒体である。メモリ250はDRAM(Dynamic Random Access Memory)などで実現できる。メモリ250は、撮像画像記憶領域250aと、出力画像記憶領域250bを有する。撮像画像記憶領域250aは、CMOSイメージセンサ230が撮像した画像を一時的に記憶させておくための記憶領域である。出力画像記憶領域250bは、表示装置300に出力する画像を一時的に記憶させておくための記憶領域である。なお、本例では、CMOSイメージセンサ230が撮像した画像の一部の領域を、表示装置300に出力する画像とする。このため、CMOSイメージセンサ230が撮像した画像の画角は、表示装置300に出力する画像の画角よりも大きくなる。
HDMIインタフェース260は、HDMI(High−Definition Multimedia Interface)規格に準拠した通信を実施するための通信インタフェースである。HDMIインタフェース260は、画像・音声等の各種デジタル信号を双方向に伝送することができる。HDMIインタフェース260は、HDMIケーブル110を介して、他の電子機器のHDMIに電気的に接続される。すなわち、リモートカメラ200は、HDMIケーブル110を介して、他の電子機器(表示装置300など)に電気的に接続される。これにより、リモートカメラ200は、他の電子機器に対して画像・音声等の各種デジタル信号を送信したり、他の電子機器から制御コマンド等の各種デジタル信号を受信したりすることができる。なお、HDMIインタフェース260に換えて、有線LAN(Local Area Network)や無線LANなど、他の接続手段を用いても良い。
赤外線受光部270は、赤外線リモコン400からの赤外線信号を受信するためのインタフェースである。赤外線受光部270で受信した赤外線信号は、コントローラ210に送信される。コントローラ210は、受信した赤外線信号に基づいて各種の制御を実行する。赤外線受光部270は、リモートカメラ200に必須の構成要素ではない。但し、赤外線受光部270を備えていることによって、赤外線リモコン400から送信される赤外線信号を受信することができ、使用者に対して、複数の操作方法を提供することができる。
〔1−1−1−1.撮像領域における画像領域〕
図5は、CMOSイメージセンサ230により撮像された全画像領域において表示に使用される各領域を説明するための図である。撮像画像領域900は、CMOSイメージセンサ230の撮像によって得られる画像領域の全領域である。メイン画像領域910は、撮像画像領域900のうちの一部の領域であって、後述のメイン画像800が制御対象として選択されているときに、表示装置300上でメイン画面として採用(表示)される画像領域である。PinP画像領域920A〜920Cは、撮像画像領域900のうち、表示装置300上でPinP画像として採用(表示)される画像領域の例である。図5は、PinP画像領域として採用可能な画像領域のバリエーション920A〜920Cを例示している。PinP画像領域920Aは、メイン画像領域910内に完全に包含されるPinP画像領域を設定した場合の例である。PinP画像領域920Bは、メイン画像領域910と一部が重なるようにPinP画像領域を設定した場合の例である。PinP画像領域920Cは、メイン画像領域910の外側の画像領域をPinP画像領域として設定した場合の例である。このように、本テレビ会議システム100では、撮像画像領域900の一部の領域がPinP画像領域として切り出され、表示装置300に表示される。すなわち、撮像画像領域900内であれば、メイン画像領域910の外側であっても内側であっても、後述するPinP画像領域を設定するモードにおいて、ワイド端方にシフトしたメイン画像800の領域の範囲内であれば、PinP画像領域として採用することができる。これにより、テレビ会議システム100の用途に応じて適切なPinP画像を表示させることができる。
〔1−1−2.表示装置〕
図6は、表示装置300の電気的構成図である。表示装置300の構成について、図6を用いて説明する。
図6に示すように、表示装置300は、コントローラ310、HDMI320、画像処理部330、メモリ340、液晶ディスプレイ350、操作部360を備える。
コントローラ310は、表示装置300全体の動作を統括制御する。コントローラ310は、プログラム等の情報を格納するROM(不図示)、プログラム等の情報を処理するCPU(不図示)等により構成される。ROMは、表示制御に関するプログラムの他、表示装置300全体の動作を統括制御するためのプログラムを格納している。コントローラ310は、垂直同期信号(VD)に基づいて、画像処理部330及び液晶ディスプレイ350などに制御信号を送信する。コントローラ310は、ハードワイヤードな電子回路で構成してもよいし、マイクロコンピュータなどで構成してもよい。また、後述する画像処理部330などと共に1つの集積回路として構成してもよい。なお、ROMはコントローラ310の内部構成である必要はなく、コントローラ310の外部に備わったものでもよい。
HDMIインタフェース320は、HDMI規格に準拠した通信を実施するための通信インタフェースである。HDMIインタフェース320は、画像・音声等の各種デジタル信号を双方向に伝送することができる。HDMIインタフェース320は、HDMIケーブル110を介して、他の電子機器のHDMIに電気的に接続される。すなわち、表示装置300は、HDMIケーブル110を介して、他の電子機器(リモートカメラ200など)に電気的に接続される。これにより、表示装置300は、他の電子機器から画像・音声等の各種デジタル信号を受信したり、他の電子機器に対して制御コマンド等の各種デジタル信号を送信したりすることができる。なお、HDMIインタフェース320に換えて、有線LAN(Local Area Network)や無線LANなど、他の接続手段を用いても良い。
画像処理部330は、HDMIインタフェース320を介して取得した画像データに対して各種の画像処理を施す。各種処理としては、ガンマ補正、ホワイトバランス補正、YC変換処理、電子ズーム処理、圧縮処理、伸張処理等が挙げられるが、これらに限定されるものではない。画像処理部330は、ハードワイヤードな電子回路で構成してもよいし、これらの処理を行うためのプログラムを実行するマイクロコンピュータ等で構成してもよい。また、コントローラ310等と共に1つの集積回路として構成してもよい。
メモリ340は、コントローラ310や、画像処理部330のワークメモリとして機能する記憶媒体である。メモリ340はDRAM(Dynamic Random Access Memory)などで実現できる。メモリ340は、出力画像記憶領域340aを有する。出力画像記憶領域340aは、液晶ディスプレイ350に出力する画像を一時的に記憶させておくための記憶領域である。
液晶ディスプレイ350は、画像処理部330にて処理されメモリ340内の出力画像記憶領域340aに記憶された画像を表示する。なお、液晶ディスプレイ350に代えて、有機ELディスプレイなど、他の表示デバイスを用いてもよい。
操作部360は、表示装置300に備わっているキーボード及びマウス等の総称であり、ユーザによる操作を受け付ける。操作部360は、ユーザによる操作を受け付けると、コントローラ310に種々の動作指示信号を送信する。
〔1−1−3.赤外線リモコン〕
図7は、赤外線リモコン400の電気的構成図である。赤外線リモコン400の構成について、図7を用いて説明する。
図7に示すように、赤外線リモコン400は、操作部410、コントローラ420、赤外線送信部430を備える。
操作部410は、赤外線リモコン400に備わっている十字キーや、ナンバーキー等の総称であり、ユーザによる操作を受け付ける。操作部410は、ユーザによる操作を受け付けると、コントローラ420に種々の動作指示信号を通知する。
コントローラ410は、赤外線リモコン400全体の動作を統括制御する。コントローラ420は、操作部410から受信された動作指示信号に基づいて、制御信号を生成する。コントローラ420は、生成した制御信号を赤外線送信部430に送信する。
赤外線送信部430は、リモートカメラ200の赤外線受光部270に赤外線信号を送信するためのインタフェースである。赤外線送信部430は、コントローラ420から受信した制御信号に基づいて、赤外線信号を外部に発信する。
なお、赤外線リモコン400は、テレビ会議システム100に必須の構成ではない。但し、赤外線400に対応していることにより、使用者に対して、複数の操作方法を提供することができる。
〔1−1−3−1.リモートカメラの操作画面〕
図8は、リモートカメラ200を操作する画面の一例を示す図である。図8を用いて、リモートカメラ200を操作するための画面について説明する。
図8に示す表示画面500は、リモートカメラ200で作成され、HDMIケーブル110を介して表示装置300に送信され、表示装置300の液晶ディスプレイ350に表示される。尚、図8に示す表示画面は、リモートカメラ200側ではなく、表示装置300側で作成するようにしてもよい。表示画面500は、カメラ画像表示領域510、ズーム指示釦520、方向指示釦530、制御対象選択釦540、PinP表示選択釦550等を有している。表示画面500の各種釦520、530、・・・は、表示装置300の操作部360により操作される。
なお、表示画面500において、ズーム指示釦520、方向指示釦530、制御対象選択釦540、PinP表示選択釦550は必須の構成要素ではない。リモートカメラ200の操作を赤外線リモコン400等の他の操作手段を用いて行う場合は、これらの構成要素はなくてもよい。
表示画面500の各構成要素について説明する。カメラ画像表示領域510は、リモートカメラ200から出力されたリアルタイム画像を表示する領域である。
ズーム指示釦520は、望遠方向(画像拡大方向)のズーム指示釦と、広角方向(画像縮小方向)のズーム指示釦とを含む。ユーザは、表示装置300の操作部360を操作して、ズーム指示釦520のいずれかの方向の釦を押下することにより、リモートカメラ200に対して望遠方向または広角方向へのズーム指示を行う。操作部360の操作によりズーム指示を受け付けると、コントローラ310は、HDMIインタフェース320及びHDMIケーブル110を介して、リモートカメラ200にズーム指示する。リモートカメラ200のコントローラ210は、表示装置300からのズーム指示に従ってズーム制御を行なう。そして、リモートカメラ200は、ズーム指示内容が反映された画像を、HDMIインタフェース260及びHDMIケーブル110を介して表示装置300に送信する。これにより、カメラ画像表示領域510に、ズーム指示内容が反映された画像が表示される。
方向指示釦530は、上下左右方向の移動指示釦を含む。ユーザは、操作部360を操作して、方向指示釦530のいずれかの方向の釦を押下することにより、リモートカメラ200により撮影される被写体の位置を変更することができる。
制御対象選択釦540は、メイン画面とPinP画面のいずれを、ズーム指示釦520および方向指示釦530による制御対象とするかを設定するための釦である。ユーザは、表示装置300の操作部360を操作して、制御対象選択釦540のうちのメイン画面釦かPinP画面釦のいずれかを押下する。これにより、リモートカメラ200に対する、ズーム指示釦520または方向指示釦530に基づく指示を、メイン画像とPinP画像のどちらの制御に対して適用するかを選択することができる。
PinP表示選択釦550は、PinP表示のON/OFFを切り替えるための釦である。ユーザにより、操作部360が操作されて、PinP表示の「ON」が選択されると、メイン画面の右上にPinP画像を重畳した合成画像がリモートカメラ200から表示装置300に出力される。これにより、表示画面500のカメラ画像表示領域510に、リモートカメラ200から出力された合成画像(PinP画像)が表示される。PinP表示の「OFF」が選択された場合は、PinP画像は重畳されず、メイン画面のみリモートカメラ200から表示装置300に出力される。これにより、カメラ画像表示領域510にメイン画面のみが表示される。
〔1−2.動作〕
実施の形態1にかかるテレビ会議システム100の動作について順次説明する。
〔1−2−1.PinP表示選択釦の操作時の動作〕
図9は、図8に示す表示画面500においてPinP表示選択釦550が操作されたときの動作を示すフローチャートである。図9を用いて、PinP表示選択釦550を操作したときの動作を説明する。
表示装置300のコントローラ310は、PinP表示選択釦550に対するユーザによる操作(ON/OFF)を監視している(S600)。ユーザがPinP表示選択釦550を操作して、PinP画像の「OFF」を指示する釦が押下された場合(S600におけるNO)、表示装置300のコントローラ310は、PinP画像を出力せずメイン画像のみを出力する旨の指示(PinP表示OFFの指示)を、HDMIインタフェース320経由でリモートカメラ200に送信する。なお、リモートカメラ200へのPinP表示のON/OFFの指示は、表示装置300からHDMIインタフェース320、260経由で行なってもよいし、赤外線リモコン400を使用してリモートカメラ200内部に付属している赤外線受光部270経由で行なってもよい。
リモートカメラ200のコントローラ210は、PinP表示OFFの指示を受信した場合、メモリ250の出力画像記憶領域250bにメイン画像のデータのみ書き込みを行い、その後、出力画像記憶領域250bに書き込んだメイン画像のデータをHDMIインタフェース260を介して表示装置300に出力する。
表示装置300のコントローラ310は、リモートカメラ200からHDMIインタフェース320経由で入力された画像データが示す画像(PinP画像なしのメイン画面)を、液晶ディスプレイ350上のカメラ画像表示領域510に表示する(S610)。
一方、PinP表示選択釦550のうちPinP画像の「ON」を指示する釦が押下された場合(S600におけるYES)、表示装置300のコントローラ310は、メイン画像にPinP画像を重畳した合成画像を出力する旨の指示(PinP表示ONの指示)を、HDMIインタフェース320経由でリモートカメラ200に送信する。リモートカメラ200のコントローラ210は、PinP表示ONの指示を受信すると、メモリ250の出力画像記憶領域250bにおいて、メイン画像の書き込みを行った後メイン画像の画像右上にPinP画像を重畳させて書き込みを行って、合成画像を生成する。その後、コントローラ210は、出力画像記憶領域250bに書き込んだ合成画像を、HDMIインタフェース260を介して表示装置300に出力する。
表示装置300のコントローラ310は、リモートカメラ200からHDMIインタフェース320経由で入力した合成画像を、液晶ディスプレイ350のカメラ画像表示領域510に表示する(S620)。
尚、PinP画像をメイン画像に重畳する位置は右上に限定されず、ユーザ操作による設定により画面の右上、左上、左下、右下等の任意の位置を選択できるようにしてもよい。
〔1−2−2.制御対象選択釦の操作時の動作〕
図10は、制御対象選択釦540が操作されたときの表示装置300の動作を示すフローチャートである。図10を用いて、制御対象選択釦540が操作されたときの表示装置300の動作を説明する。
表示装置300のコントローラ310は、制御対象選択釦540についてメイン画像釦またはPinP画像釦のいずれかが選択されたか否かを監視している。図10のフローチャートに示す処理は、制御対象選択釦540についてメイン画像釦またはPinP画像釦のいずれかが選択されたときに実行される。
ユーザにより制御対象選択釦540のうちメイン画像釦が押下された場合(S700におけるNO)、表示装置300のコントローラ310は、制御対象をメイン画像とする旨の指示を、HDMIインタフェース302経由でリモートカメラ200に送信する(S705)。リモートカメラ200のコントローラ210は、制御対象をメイン画像とする旨の指示を受信する。この状態で表示装置300からズーム指示釦520の操作指示内容が通知されると、リモートカメラ200のコントローラ210は、画像処理部240に対して、メイン画像のみを、操作指示内容に基づきズーム処理するように指示する。
尚、リモートカメラ200におけるズーム処理は、画像処理部240による電子ズーム処理に限定されず、レンズ220による光学的なズーム処理でもよい。
リモートカメラ200の画像処理部240では、垂直同期信号(VD)に基づいて、メイン画像とPinP画像に対して交互に処理を行っている。すなわち、メイン画像を処理しているタイミングにおいて、デジタルズーム処理を行い、デジタルズーム処理された画像をメモリ250に書き込み、HDMIインタフェース260を経由して出力する。方向指示釦530が操作された場合、コントローラ210は、メイン画像が示す被写体の位置を変更するように、画像処理部240に対して指示する。
画像処理部240は、メイン画像の画像処理を行うタイミングにおいて、CMOSイメージセンサ230から出力された撮像画像(メモリ250の撮像画像記憶領域250aに書き込まれた画像)における、メイン画像として採用する画像領域の位置を、方向指示釦530の操作にしたがい変更する。画像処理部240は、変更した画像領域の画像データをメモリ250の出力画像記憶領域250bに書き込み、HDMIインタフェース260を経由して出力する。表示装置300のコントローラ310は、リモートカメラ200からHDMIインタフェース320経由で入力された画像データが示す画像をカメラ画像表示領域510に表示する。
次に、ユーザがPinP画像を制御対象として選択した場合を説明する。図10のフローチャートにおいて、ユーザにより制御対象選択釦540のうちPinP画像釦が押下された場合(S700におけるYES)、表示装置300のコントローラ310は、メイン画像が示す画像の範囲がより広くなるようにHDMI320経由でリモートカメラ200に指示を行う(S710)。すなわち、コントローラ310は、メイン画像のズームポジションをワイド端へ移動させるようにリモートカメラ200に指示を行う(S710)。
PinP画像が制御対象になっているとき、ユーザは、ズーム指示釦520や方向指示釦530を操作することで、撮像画像の全領域のうちの任意の画像領域をPinP画像として設定できる。PinP画像が制御対象になったときに、コントローラ210がメイン画像が示す画像の範囲をより広くすることにより(すなわち、ズームポジションをワイド端へ移動することにより)、ユーザは、PinP画像の現在または将来の設定位置をより把握しやすくなる。すなわち、メイン画像を最も広角な画像に変更されることで、ユーザは、撮像画像領域全体におけるPinP画像の相対的な位置関係を把握しやすくなる。よって、ユーザは、撮像画像領域における、現在設定されているPinP画像領域の位置を把握しやすくなる。また、ユーザは、撮像画像の領域中のいずれの位置にPinP画像を設定すればよいかを、把握しやすくなる。
本実施形態では、PinP画像の設定位置の操作時に、よりユーザが把握しやすいように、ズームポジションをワイド端に移動させた。しかし、ズームポジションはワイド端まで移動させなくてもよい。PinP画像が制御対象とされる直前まで表示されていたメイン画像の画角よりも、よりワイド端側の画角になるよう、ズームポジションをシフトさせてもよい。このような方法であっても、ユーザは、撮像画像領域全体におけるPinP画像の相対的な位置関係を把握しやすくなる。
リモートカメラ200のコントローラ210は、メイン画像のズームポジションをワイド端へ移動する指示を受け取ると、画像処理部240に対して、メイン画像をワイド端にズームするように指示する。画像処理部240は、メイン画像の画像処理をしているタイミングにおいて、ズームポジションがワイド端になるようズーム処理を行い、撮像した画像データをメモリ250に書き込み、HDMIインタフェース260経由で出力する。表示装置300は、HDMIインタフェース320を介して、ズームポジションがワイド端に移動したメイン画像を含む合成画像をリモートカメラ200から取得する(S720)。
そして、表示装置300のコントローラ310は、リモートカメラ200からHDMIインタフェース320経由で取得した合成画像を、液晶ディスプレイ350のカメラ画像表示領域510に表示する(S730)。これにより、ユーザがPinP画像の領域や位置を把握しやすい(すなわち、PinP画像を制御しやすい)合成画像が表示装置300に表示された状態になる。
この状態において、表示装置300のコントローラ310は、ズーム指示釦520や方向指示釦530が操作されたか否かを監視している(S740)。ズーム指示釦520または方向指示釦530が操作された場合(S740におけるYES)、コントローラ310は、操作内容に従ってリモートカメラ200に対して指示を行う(S750)。
例えば、ズーム指示釦520が操作された場合、コントローラ310は、リモートカメラ200の画像処理部240に対して、メイン画像に対してはズーム処理をせず、PinP画像のみをズーム処理するように指示する。画像処理部240は、PinP画像の画像処理をしている期間のみ、PinP画像に対してデジタルズーム処理を行う。そして、画像処理部240は、メモリ250の出力画像記憶領域250bに、デジタルズーム処理後のPinP画像を含む合成画像を書き込む。その後、HDMIインタフェース260経由で合成画像が出力される。
方向指示釦530が操作された場合も同様に、コントローラ310は、リモートカメラ200の画像処理部240に対して、撮像画像の画像領域における、新たなPinP画像の読み出し位置を指示する。画像処理部240では、垂直同期信号に基づいて、PinP画像の画像処理をしている期間において、撮像画像の領域におけるPinP画像の読み出し位置を変更する。変更後の読み出し位置の画像データがメモリ250に書き込まれ、HDMIインタフェース260経由で出力される。
表示装置300のコントローラ310は、リモートカメラ200からHDMIインタフェース320経由で受信した画像データが示す画像をカメラ画像表示領域510に表示する。
この状態において、表示装置300のコントローラ310は、メイン画像が制御対象として選択されたか否かを監視している(S760)。表示装置300のコントローラ310は、メイン画像が制御対象として再び選択されるまで、すなわちPinP画像が制御対象として選択されている間は、ステップS730からステップS760の動作を繰り返す。
その後、メイン画像が制御対象として選択された場合(S760におけるYES)、表示装置300のコントローラ310は、メイン画像が再びステップS700以前の画角に復帰させるようリモートカメラ200に指示する(S770)。そして、表示装置300のコントローラ310は、以前の画角のメイン画像(以前のズームポジションで撮影されたメイン画像)を含む画像データをリモートカメラ200から受信し、受信した画像データが示す画像をカメラ画像表示領域510に表示する(S780)。以上により、撮像画像が示す画像領域のうちいずれの画像領域をPinP画像とするかの設定が完了する。
図11は、制御対象選択釦504が操作されたときの画面の遷移を説明した図である。以下、図11(A)から図11(E)を用いて、制御対象選択釦540が操作されたときの画面遷移について説明する。
図11(A)は、メイン画像800が制御対象として選択されており、PinP画像810の表示がOFFに選択されているときの、カメラ画像表示領域510に表示された画面の例を示した図である。このとき、PinP画像810の表示がOFFに選択されているため、カメラ画像表示領域510にはPinP画像810は表示されない。また、メイン画像800が制御対象として選択されているため、ユーザは、ズーム指示釦520や方向指示釦530を操作することにより、撮像画像の全画像領域において、いずれの画像領域をメイン画像とするかを設定することができる。
図11(B)は、図11(A)の画面から遷移した画面を示している。図11(B)は、メイン画像800が制御対象として選択されたままであり、PinP画像810の表示がONに選択されたときの画面例を示す図である。このとき、PinP画像810の表示がONに選択されたため、カメラ画像表示領域510は、メイン画像800にPinP画像810が重畳された合成画像を表示する。
図11(C)は、図11(B)の画面から遷移した画面を示している。図11(C)は、PinP画像810の表示がONに選択されたままであり、PinP画像810が制御対象として選択されたときの画面の例を示す図である。このとき、PinP画像810が制御対象に選択されたことに伴い、破線枠820がメイン画像800に重畳されて表示されている。この破線枠820は、メイン画像800の画像領域においてPinP画像810として読み出している領域を示している。この破線枠820により、ユーザは、メイン画像800が示す画像領域のうち、いずれの画像領域がPinP画像810として設定されているかを把握することができる。また、PinP画像810が制御対象に選択されたことに伴い、メイン画像800が示す画像領域の画角(ズームポジション)が、ワイド端にシフトしている。これにより、ユーザは、撮像画像のうちPinP画像として現在設定されている画像領域の位置および、撮像画像のうちいずれの画像領域にPinP画像としての設定位置を変更させればよいかを、把握しやすくなる。図11(C)の画面が表示された状態において、ユーザは、より広角なメイン画像の領域中においてPinP画像の領域を設定することができる。
図11(D)は、図11(C)の画面から遷移した画面を示している。図11(D)は、PinP画像810の表示がONに選択されたままであり、PinP画像810が制御対象として選択されたままである。図11(D)では、PinP画像の設定位置を示す破線枠820が、方向指示釦530の操作により、図11(C)に示す位置から移動している。このとき、PinP画像の設定位置を示す破線枠820の位置の移動に伴って、PinP画像810の表示内容も変化している。これにより、ユーザは、PinP画像の設定位置を移動させながら、PinP画像810の表示内容がどのように変更されるかを把握しやすくなる。また、このとき、PinP画像810が制御対象として選択されたままであるので、メイン画像800が示す画像領域の画角(ズームポジション)は、ワイド端に維持されたままとなる。これにより、ユーザは、撮像画像のうちいずれの画像領域にPinP画像としての設定位置を変更させればよいか把握しながら、PinP読み出し位置を移動させることができる。
図11(E)は、図11(D)に示す画面から遷移した画面を示している。図11(E)は、PinP画像810の表示はONに選択されたままであるが、制御対象がPinP画像810からメイン画像800に変更されたときの画面を示す図である。制御対象がPinP画像810からメイン画像800に変更されたことに伴い、PinP画像の設定位置を示す枠820が表示されなくなっている。また、制御対象がPinP画像810からメイン画像800に変更されたことに伴い、PinP画像の設定位置の設定操作が完了したとみなし、メイン画像800が示す画像領域の画角(ズームポジション)を、制御対象がPinP画像810に選択された直前の画角(ズームポジション)に復帰させている。以上の方法により、撮像画像が示す画像領域において、所望の画像領域をPinP画像に設定することができる。
〔1−2−3.アスペクト比の切替時の動作〕
図12は、HDMIインタフェース経由での画像出力時におけるアスペクト比の切り替え時の動作を示すフローチャートである。図12を用いて、HDMI出力時の画像のアスペクト比の切り替えの動作について説明する。
リモートカメラ200のコントローラ210は、メイン画面のアスペクト比に変更があるか否かを監視している(S900)。ユーザは、リモートカメラ200のメニュー操作により、HDMI出力時の出力画像のアスペクト比の切り替えを行うことができる。リモートカメラ200のアスペクト比に変更があった場合(S900におけるYES)、リモートカメラ200のコントローラ210は、リモートカメラ200の画像処理部240に対して、PinP画像を重畳させる位置をシフトするように指示を行う(S910)。
ここで、16:9の出力アスペクトの設定時であって、PinP画像をメイン画像が示す画像領域の右上端に表示している場合に、出力アスペクトが4:3サイドカットに変更された場合を例に説明する。このとき、メイン画像が示す画像領域において、PinP画像を重畳させる位置を内側に移動させる。具体的には、画像処理部240は、4:3サイドカットによりメイン画像に重畳されたPinP画像が表示されなくなるのを防ぐために、PinP画像の位置を少なくともサイドカットの幅の分だけ内側に移動させる。画像処理部240は、PinP画像を画像処理しているタイミングにおいて、この処理を行う。画像処理部240は、メモリ250の出力画像記憶領域250bにPinP画像をメイン画像に重畳して書き込むときに、PinP画像の書き込み位置をずらして書き込む。具体的には、PinP画像の書き込み位置を、少なくともサイドカットにより表示されなくなるのを回避できる幅の分だけ、画面中心側にずらして、PinP画像の書き込みを行う。リモートカメラ200のコントローラ210は、メモリ250の出力画像記憶領域250bから、メイン画像と、画面内側にずらして書き込まれたPinP画像との合成画像を読み出し、画面左右にサイドブラックをつけてHDMIインタフェース260経由で出力する。
表示装置300のコントローラ310は、画面左右にサイドブラックが付けられた合成画像をHDMIインタフェース320を介して、リモートカメラ200から取得する(S920)。
そして、コントローラ310は、リモートカメラ200から取得した合成画像を、液晶ディスプレイ350のカメラ画像表示領域510に表示する(S930)。
以上のように、出力アスペクト比の切り替え時には、PinP画像の表示位置がシフトされる。なお、アスペクト比が4:3から16:9に変更される場合、PinP画像の表示位置は外側にシフトされてもよい。
図13は、出力画像のアスペクト比の切り替え時の画面遷移を説明した図である。図13(A)は、出力アスペクトが16:9に設定されているときの画面の例を示す図である。一方、図13(B)は、図13(A)の状態から出力アスペクトが4:3サイドカットに設定変更されたときの画面の例を示す図である。図13(B)に示すように、出力アスペクトが4:3サイドカットに設定変更されたときに、メイン画像に重畳させるPinP画像の画像領域がサイドカットに重ならないように、PinP画像の位置を移動させている。これにより、PinP画像が、サイドカットにより表示されなくなるのを回避することができる。
上記の例では、アスペクト比が4:3サイドカットに設定変更された場合を説明したが、サイドカットに限らず上下カットでもよい。この場合は、アスペクト比の設定変更に伴い、メイン画像に重畳させるPinP画像の領域が上下カットに重ならないように、PinP画像の位置を移動させる。
また上記の例では、アスペクト比の切り替え操作をリモートカメラ200側にて行なうようにしたが、表示装置300からアスペクト比の切り替えを指示するように構成してもよい。
〔1−3.効果等〕
以上のように、表示装置300は、液晶ディスプレイ350で表示される映像を制御する表示制御装置である。表示装置300は、メイン画像及びメイン画像に重畳したPinP画像を含む画像を生成して液晶ディスプレイ350に表示させるコントローラ310を備える。コントローラ310は、メイン画面を制御対象にするモード(第1のモード)に設定されているときは、所定の画角(第1の画角)のメイン画像を液晶ディスプレイ350に表示するよう制御する。なお、第1のモードでは、メイン画像にPinP画像が重畳されて表示されているが、制御対象はメイン画面となっている。一方、PinP画面を制御対象にするモード、すなわち、メイン画像の領域においてPinP画像の領域を設定するためのモード(第2のモード)に設定されているときは、コントローラ310は、より広角な画角のメイン画像を液晶ディスプレイ350に表示するよう制御する。これにより、ユーザは、撮像画像領域における、PinP画像の現在の設定位置およびこれから設定するPinP画像の位置を把握しやすくなる。
また、コントローラ310は、撮像画像が示す画像領域より狭い範囲の画像領域をメイン画像として設定し、撮像画像が示す画像領域における所定の領域をPinP画像としてそれぞれ設定する。そして、コントローラ310は、設定されたメイン画像に、設定されたPinP画像を重畳させた合成画像を液晶ディスプレイ350に表示するよう制御する。これにより、液晶ディスプレイ350に表示されたメイン画像が示す画像領域の外側の画像領域を、PinP画像として設定することもできる。
また、表示装置300は、メイン画像と、PinP画像とを取得し、取得されたメイン画像のうち、液晶ディスプレイ350への表示領域とする画像領域のアスペクト比に応じて、取得されたPinP画像をメイン画像に重畳させる位置を決定してもよい。その決定した位置に基づいてメイン画像にPinP画像を重畳させた合成画像を液晶ディスプレイ350に表示してもよい。これにより、PinP画像の書き込み位置を、出力画像のアスペクト比の設定変更により表示されなくなるのを回避することができる。
(他の実施の形態)
以上のように、本出願において開示する技術の例示として、実施の形態1を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態1で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。
上記の実施形態では、メイン画像に対して1つのPinP画像を重畳して表示する例を説明したが、PinP画像の数は一つに限らない。メイン画像に対して、複数のPinP画像を重畳して表示させてもよい。
上記の実施形態では、PinP機能に関する技術思想を、リモートカメラ200と表示装置300で構成されるテレビ会議システムに適用したが、適用対象は、テレビ会議システムに限定されない。上記実施の形態の技術思想は、PinP機能を有する電子機器に適用できる。例えば、監視カメラと、監視カメラをコントロールする機器との組み合わせに適用することができる。
上記の実施形態では、表示装置300は液晶ディスプレイ350等の表示デバイスを内部に備えたが、必ずしも表示デバイスを備える必要はない。表示装置300は、映像信号を外部接続した表示デバイスに出力してもよい。すなわち、表示装置300は、内部に備えた又は外部接続した表示デバイスで表示される画像を制御できる装置であればよい。
メイン画像は第1の画像の一例である。PinP画像は第2の画像の一例である。コントローラ360は制御部の一例である。HDMIインタフェース320は通信部の一例である。液晶ディスプレイ350は表示部の一例である。表示装置300は表示制御装置の一例である。
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
本開示は、PinP表示機能を制御する表示制御装置、表示制御システムに適用可能である。
本開示は、PinP(Picture in Picture)機能を有する表示制御装置に関する。
一の画像中に別の画像を表示するPinP(Picture in Picture)機能を有する表示制御装置が知られている。例えば、特許文献1は、それぞれ異なるテレビ放送局から同時に放送されている、一の放送番組の画像と、他の放送番組の画像とを一画面中に表示するテレビ受像機を開示している。特許文献1では、一方の放送番組の画像を親画像とし、他方の放送番組の画像を子画像としてPinP表示している。
特開平9−163260号公報
本開示は、より好適なPinP表示を行なうことができる表示制御装置を提供する。
本開示に係る表示制御装置は、表示部で表示される映像を制御する表示制御装置である。表示制御装置は、第1の画像及び第1の画像に重畳した第2の画像を含む画像を生成して表示部に表示させる制御部を備える。制御部は、第1のモードに設定されているときは、第1の画角の第1の画像を表示部に表示するよう制御し、第2のモードに設定されているときは、第1の画角よりも広角な第2の画角の第1の画像を表示部に表示するよう制御する。第2のモードは、第2の画角の第1の画像の領域中における第2の画像の領域を設定するためのモードである。
本発明の表示制御装置によれば、より好適なPinP表示を行なうことができる。
本実施形態のテレビ会議システムの構成図 2つの拠点間を接続したテレビ会議システムの利用形態を示した図 メイン画像中にPinP画像を表示するPinP表示機能を説明した図 リモートカメラの電気的構成図 撮像画像領域、メイン画像領域、及びPinP画像領域を説明した図 表示装置の電気的構成図 赤外線リモコンの電気的構成図 リモートカメラを操作するための操作画面を説明した図 PinP表示選択釦が操作されたときの表示装置の動作を示すフローチャート 制御対象選択釦が操作されたときの表示装置の動作を示すフローチャート 制御対象選択釦が操作されたときの画面遷移を説明した図 HDMI出力時の出力アスペクト比の切り替え時の表示装置の動作を示すフローチャート 出力アスペクト比の切り替え時の画面遷移を説明した図
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者(ら)は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
〔実施の形態1〕
図1は、実施の形態1にかかるテレビ会議システムのシステム構成図である。図1に示すように、実施の形態1にかかるテレビ会議システム100は、リモートカメラ200と、リモートカメラ200とHDMIケーブル110を介して接続された表示装置300とを備える。
図2は、実施の形態1のテレビ会議システム100で2つの拠点A、B間を接続した時の構成を示した図である。2つの拠点A、B間において、リモートカメラ200と表示装置300はネットワークを経由して接続されてもよい。
テレビ会議システム100においては、リモートカメラ200に対する赤外線リモコン400の操作や、表示装置300の操作により、表示装置300に表示するPinP画像の表示を制御することができる。ここで、PinP画像とは、図3に示すような、メイン画像800中に表示される別の画像810である。本実施形態のテレビ会議システム100は、表示装置300上に、メイン画像800とともにこのようなPinP画像を表示させるPinP表示機能を有する。
以下、テレビ会議システム100の構成および動作について順に説明する。
〔1−1.構成〕
〔1−1−1.リモートカメラ〕
図4は、リモートカメラ200の電気的構成図である。リモートカメラ200の構成について、図4を用いて説明する。
図4に示すように、リモートカメラ200は、コントローラ210、レンズ220、CMOSイメージセンサ230、画像処理部240、メモリ250、HDMIインタフェース260、及び赤外線受光部270を備える。
コントローラ210は、リモートカメラ200全体の動作を統括制御する。コントローラ210は、プログラム等の情報を格納するROM(不図示)、プログラム等の情報を処理するCPU(不図示)等により構成される。ROMは、レンズ制御や、デジタルズーム制御に関するプログラムの他、リモートカメラ200全体の動作を統括制御するためのプログラムを格納している。コントローラ210は、垂直同期信号(VD)に基づいて、CMOSイメージセンサ230及び画像処理部240などに制御信号を送信する。コントローラ210は、ハードワイヤードな電子回路で構成してもよいし、マイクロコンピュータなどで構成してもよい。また、後述する画像処理部240などと共に1つの集積回路として構成してもよい。なお、ROMはコントローラ210の内部構成である必要はなく、コントローラ210の外部に備わったものでもよい。
レンズ220は、フォーカスレンズ等の光学系を含む。リモートカメラ200は、図示していないが、ズームレンズ、絞り、メカニカルシャッタ、光学式手ぶれ補正レンズを含んでいてもよい。レンズ220を構成する各種レンズは何枚から構成されるものでも、何群から構成されるものでもよい。
CMOSイメージセンサ230は、レンズ220を通して形成された被写体像を撮像して画像データを生成する。CMOSイメージセンサ230は、所定のフレームレート(例えば、30フレーム/秒)で新しいフレームの画像データを生成する。CMOSイメージセンサ230の画像データ生成タイミングおよび電子シャッタ動作は、コントローラ210によって制御される。なお、CMOSイメージセンサ230に代えて、CCDイメージセンサやNMOSイメージセンサなど、他の撮像素子を用いても良い。
画像処理部240は、CMOSイメージセンサ230から出力された画像データに対して各種の画像処理を施す。各種処理としては、ガンマ補正、ホワイトバランス補正、YC変換処理、電子ズーム処理、圧縮処理、伸張処理等が挙げられるが、これらに限定されるものではない。画像処理部240は、ハードワイヤードな電子回路で構成してもよいし、これらの処理を行うためのプログラムを実行するマイクロコンピュータ等で構成してもよい。また、コントローラ210等と共に1つの集積回路として構成してもよい。
メモリ250は、コントローラ210及び画像処理部240のワークメモリとして機能する記憶媒体である。メモリ250はDRAM(Dynamic Random Access Memory)などで実現できる。メモリ250は、撮像画像記憶領域250aと、出力画像記憶領域250bを有する。撮像画像記憶領域250aは、CMOSイメージセンサ230が撮像した画像を一時的に記憶させておくための記憶領域である。出力画像記憶領域250bは、表示装置300に出力する画像を一時的に記憶させておくための記憶領域である。なお、本例では、CMOSイメージセンサ230が撮像した画像の一部の領域を、表示装置300に出力する画像とする。このため、CMOSイメージセンサ230が撮像した画像の画角は、表示装置300に出力する画像の画角よりも大きくなる。
HDMIインタフェース260は、HDMI(High−Definition Multimedia Interface)規格に準拠した通信を実施するための通信インタフェースである。HDMIインタフェース260は、画像・音声等の各種デジタル信号を双方向に伝送することができる。HDMIインタフェース260は、HDMIケーブル110を介して、他の電子機器のHDMIに電気的に接続される。すなわち、リモートカメラ200は、HDMIケーブル110を介して、他の電子機器(表示装置300など)に電気的に接続される。これにより、リモートカメラ200は、他の電子機器に対して画像・音声等の各種デジタル信号を送信したり、他の電子機器から制御コマンド等の各種デジタル信号を受信したりすることができる。なお、HDMIインタフェース260に換えて、有線LAN(Local Area Network)や無線LANなど、他の接続手段を用いても良い。
赤外線受光部270は、赤外線リモコン400からの赤外線信号を受信するためのインタフェースである。赤外線受光部270で受信した赤外線信号は、コントローラ210に送信される。コントローラ210は、受信した赤外線信号に基づいて各種の制御を実行する。赤外線受光部270は、リモートカメラ200に必須の構成要素ではない。但し、赤外線受光部270を備えていることによって、赤外線リモコン400から送信される赤外線信号を受信することができ、使用者に対して、複数の操作方法を提供することができる。
〔1−1−1−1.撮像領域における画像領域〕
図5は、CMOSイメージセンサ230により撮像された全画像領域において表示に使用される各領域を説明するための図である。撮像画像領域900は、CMOSイメージセンサ230の撮像によって得られる画像領域の全領域である。メイン画像領域910は、撮像画像領域900のうちの一部の領域であって、後述のメイン画像800が制御対象として選択されているときに、表示装置300上でメイン画面として採用(表示)される画像領域である。PinP画像領域920A〜920Cは、撮像画像領域900のうち、表示装置300上でPinP画像として採用(表示)される画像領域の例である。図5は、PinP画像領域として採用可能な画像領域のバリエーション920A〜920Cを例示している。PinP画像領域920Aは、メイン画像領域910内に完全に包含されるPinP画像領域を設定した場合の例である。PinP画像領域920Bは、メイン画像領域910と一部が重なるようにPinP画像領域を設定した場合の例である。PinP画像領域920Cは、メイン画像領域910の外側の画像領域をPinP画像領域として設定した場合の例である。このように、本テレビ会議システム100では、撮像画像領域900の一部の領域がPinP画像領域として切り出され、表示装置300に表示される。すなわち、撮像画像領域900内であれば、メイン画像領域910の外側であっても内側であっても、後述するPinP画像領域を設定するモードにおいて、ワイド端方にシフトしたメイン画像800の領域の範囲内であれば、PinP画像領域として採用することができる。これにより、テレビ会議システム100の用途に応じて適切なPinP画像を表示させることができる。
〔1−1−2.表示装置〕
図6は、表示装置300の電気的構成図である。表示装置300の構成について、図6を用いて説明する。
図6に示すように、表示装置300は、コントローラ310、HDMIインタフェース320、画像処理部330、メモリ340、液晶ディスプレイ350、操作部360を備える。
コントローラ310は、表示装置300全体の動作を統括制御する。コントローラ310は、プログラム等の情報を格納するROM(不図示)、プログラム等の情報を処理するCPU(不図示)等により構成される。ROMは、表示制御に関するプログラムの他、表示装置300全体の動作を統括制御するためのプログラムを格納している。コントローラ310は、垂直同期信号(VD)に基づいて、画像処理部330及び液晶ディスプレイ350などに制御信号を送信する。コントローラ310は、ハードワイヤードな電子回路で構成してもよいし、マイクロコンピュータなどで構成してもよい。また、後述する画像処理部330などと共に1つの集積回路として構成してもよい。なお、ROMはコントローラ310の内部構成である必要はなく、コントローラ310の外部に備わったものでもよい。
HDMIインタフェース320は、HDMI規格に準拠した通信を実施するための通信インタフェースである。HDMIインタフェース320は、画像・音声等の各種デジタル信号を双方向に伝送することができる。HDMIインタフェース320は、HDMIケーブル110を介して、他の電子機器のHDMIに電気的に接続される。すなわち、表示装置300は、HDMIケーブル110を介して、他の電子機器(リモートカメラ200など)に電気的に接続される。これにより、表示装置300は、他の電子機器から画像・音声等の各種デジタル信号を受信したり、他の電子機器に対して制御コマンド等の各種デジタル信号を送信したりすることができる。なお、HDMIインタフェース320に換えて、有線LAN(Local Area Network)や無線LANなど、他の接続手段を用いても良い。
画像処理部330は、HDMIインタフェース320を介して取得した画像データに対して各種の画像処理を施す。各種処理としては、ガンマ補正、ホワイトバランス補正、YC変換処理、電子ズーム処理、圧縮処理、伸張処理等が挙げられるが、これらに限定されるものではない。画像処理部330は、ハードワイヤードな電子回路で構成してもよいし、これらの処理を行うためのプログラムを実行するマイクロコンピュータ等で構成してもよい。また、コントローラ310等と共に1つの集積回路として構成してもよい。
メモリ340は、コントローラ310や、画像処理部330のワークメモリとして機能する記憶媒体である。メモリ340はDRAM(Dynamic Random Access Memory)などで実現できる。メモリ340は、出力画像記憶領域340aを有する。出力画像記憶領域340aは、液晶ディスプレイ350に出力する画像を一時的に記憶させておくための記憶領域である。
液晶ディスプレイ350は、画像処理部330にて処理されメモリ340内の出力画像記憶領域340aに記憶された画像を表示する。なお、液晶ディスプレイ350に代えて、有機ELディスプレイなど、他の表示デバイスを用いてもよい。
操作部360は、表示装置300に備わっているキーボード及びマウス等の総称であり、ユーザによる操作を受け付ける。操作部360は、ユーザによる操作を受け付けると、コントローラ310に種々の動作指示信号を送信する。
〔1−1−3.赤外線リモコン〕
図7は、赤外線リモコン400の電気的構成図である。赤外線リモコン400の構成について、図7を用いて説明する。
図7に示すように、赤外線リモコン400は、操作部410、コントローラ420、赤外線送信部430を備える。
操作部410は、赤外線リモコン400に備わっている十字キーや、ナンバーキー等の総称であり、ユーザによる操作を受け付ける。操作部410は、ユーザによる操作を受け付けると、コントローラ420に種々の動作指示信号を通知する。
コントローラ420は、赤外線リモコン400全体の動作を統括制御する。コントローラ420は、操作部410から受信された動作指示信号に基づいて、制御信号を生成する。コントローラ420は、生成した制御信号を赤外線送信部430に送信する。
赤外線送信部430は、リモートカメラ200の赤外線受光部270に赤外線信号を送信するためのインタフェースである。赤外線送信部430は、コントローラ420から受信した制御信号に基づいて、赤外線信号を外部に発信する。
なお、赤外線リモコン400は、テレビ会議システム100に必須の構成ではない。但し、赤外線通信に対応していることにより、使用者に対して、複数の操作方法を提供することができる。
〔1−1−3−1.リモートカメラの操作画面〕
図8は、リモートカメラ200を操作する画面の一例を示す図である。図8を用いて、リモートカメラ200を操作するための画面について説明する。
図8に示す表示画面500は、リモートカメラ200で作成され、HDMIケーブル110を介して表示装置300に送信され、表示装置300の液晶ディスプレイ350に表示される。尚、図8に示す表示画面は、リモートカメラ200側ではなく、表示装置300側で作成するようにしてもよい。表示画面500は、カメラ画像表示領域510、ズーム指示釦520、方向指示釦530、制御対象選択釦540、PinP表示選択釦550等を有している。表示画面500の各種釦520、530、・・・は、表示装置300の操作部360により操作される。
なお、表示画面500において、ズーム指示釦520、方向指示釦530、制御対象選択釦540、PinP表示選択釦550は必須の構成要素ではない。リモートカメラ200の操作を赤外線リモコン400等の他の操作手段を用いて行う場合は、これらの構成要素はなくてもよい。
表示画面500の各構成要素について説明する。カメラ画像表示領域510は、リモートカメラ200から出力されたリアルタイム画像を表示する領域である。
ズーム指示釦520は、望遠方向(画像拡大方向)のズーム指示釦と、広角方向(画像縮小方向)のズーム指示釦とを含む。ユーザは、表示装置300の操作部360を操作して、ズーム指示釦520のいずれかの方向の釦を押下することにより、リモートカメラ200に対して望遠方向または広角方向へのズーム指示を行う。操作部360の操作によりズーム指示を受け付けると、コントローラ310は、HDMIインタフェース320及びHDMIケーブル110を介して、リモートカメラ200にズーム指示する。リモートカメラ200のコントローラ210は、表示装置300からのズーム指示に従ってズーム制御を行なう。そして、リモートカメラ200は、ズーム指示内容が反映された画像を、HDMIインタフェース260及びHDMIケーブル110を介して表示装置300に送信する。これにより、カメラ画像表示領域510に、ズーム指示内容が反映された画像が表示される。
方向指示釦530は、上下左右方向の移動指示釦を含む。ユーザは、操作部360を操作して、方向指示釦530のいずれかの方向の釦を押下することにより、リモートカメラ200により撮影される被写体の位置を変更することができる。
制御対象選択釦540は、メイン画面とPinP画面のいずれを、ズーム指示釦520および方向指示釦530による制御対象とするかを設定するための釦である。ユーザは、表示装置300の操作部360を操作して、制御対象選択釦540のうちのメイン画面釦かPinP画面釦のいずれかを押下する。これにより、リモートカメラ200に対する、ズーム指示釦520または方向指示釦530に基づく指示を、メイン画像とPinP画像のどちらの制御に対して適用するかを選択することができる。
PinP表示選択釦550は、PinP表示のON/OFFを切り替えるための釦である。ユーザにより、操作部360が操作されて、PinP表示の「ON」が選択されると、メイン画面の右上にPinP画像を重畳した合成画像がリモートカメラ200から表示装置300に出力される。これにより、表示画面500のカメラ画像表示領域510に、リモートカメラ200から出力された合成画像(PinP画像)が表示される。PinP表示の「OFF」が選択された場合は、PinP画像は重畳されず、メイン画面のみリモートカメラ200から表示装置300に出力される。これにより、カメラ画像表示領域510にメイン画面のみが表示される。
〔1−2.動作〕
実施の形態1にかかるテレビ会議システム100の動作について順次説明する。
〔1−2−1.PinP表示選択釦の操作時の動作〕
図9は、図8に示す表示画面500においてPinP表示選択釦550が操作されたときの動作を示すフローチャートである。図9を用いて、PinP表示選択釦550を操作したときの動作を説明する。
表示装置300のコントローラ310は、PinP表示選択釦550に対するユーザによる操作(ON/OFF)を監視している(S600)。ユーザがPinP表示選択釦550を操作して、PinP画像の「OFF」を指示する釦が押下された場合(S600におけるNO)、表示装置300のコントローラ310は、PinP画像を出力せずメイン画像のみを出力する旨の指示(PinP表示OFFの指示)を、HDMIインタフェース320経由でリモートカメラ200に送信する。なお、リモートカメラ200へのPinP表示のON/OFFの指示は、表示装置300からHDMIインタフェース320、260経由で行なってもよいし、赤外線リモコン400を使用してリモートカメラ200内部に付属している赤外線受光部270経由で行なってもよい。
リモートカメラ200のコントローラ210は、PinP表示OFFの指示を受信した場合、メモリ250の出力画像記憶領域250bにメイン画像のデータのみ書き込みを行い、その後、出力画像記憶領域250bに書き込んだメイン画像のデータをHDMIインタフェース260を介して表示装置300に出力する。
表示装置300のコントローラ310は、リモートカメラ200からHDMIインタフェース320経由で入力された画像データが示す画像(PinP画像なしのメイン画面)を、液晶ディスプレイ350上のカメラ画像表示領域510に表示する(S610)。
一方、PinP表示選択釦550のうちPinP画像の「ON」を指示する釦が押下された場合(S600におけるYES)、表示装置300のコントローラ310は、メイン画像にPinP画像を重畳した合成画像を出力する旨の指示(PinP表示ONの指示)を、HDMIインタフェース320経由でリモートカメラ200に送信する。リモートカメラ200のコントローラ210は、PinP表示ONの指示を受信すると、メモリ250の出力画像記憶領域250bにおいて、メイン画像の書き込みを行った後メイン画像の画像右上にPinP画像を重畳させて書き込みを行って、合成画像を生成する。その後、コントローラ210は、出力画像記憶領域250bに書き込んだ合成画像を、HDMIインタフェース260を介して表示装置300に出力する。
表示装置300のコントローラ310は、リモートカメラ200からHDMIインタフェース320経由で入力した合成画像を、液晶ディスプレイ350のカメラ画像表示領域510に表示する(S620)。
尚、PinP画像をメイン画像に重畳する位置は右上に限定されず、ユーザ操作による設定により画面の右上、左上、左下、右下等の任意の位置を選択できるようにしてもよい。
〔1−2−2.制御対象選択釦の操作時の動作〕
図10は、制御対象選択釦540が操作されたときの表示装置300の動作を示すフローチャートである。図10を用いて、制御対象選択釦540が操作されたときの表示装置300の動作を説明する。
表示装置300のコントローラ310は、制御対象選択釦540についてメイン画像釦またはPinP画像釦のいずれかが選択されたか否かを監視している。図10のフローチャートに示す処理は、制御対象選択釦540についてメイン画像釦またはPinP画像釦のいずれかが選択されたときに実行される。
ユーザにより制御対象選択釦540のうちメイン画像釦が押下された場合(S700におけるNO)、表示装置300のコントローラ310は、制御対象をメイン画像とする旨の指示を、HDMIインタフェース320経由でリモートカメラ200に送信する(S705)。リモートカメラ200のコントローラ210は、制御対象をメイン画像とする旨の指示を受信する。この状態で表示装置300からズーム指示釦520の操作指示内容が通知されると、リモートカメラ200のコントローラ210は、画像処理部240に対して、メイン画像のみを、操作指示内容に基づきズーム処理するように指示する。
尚、リモートカメラ200におけるズーム処理は、画像処理部240による電子ズーム処理に限定されず、レンズ220による光学的なズーム処理でもよい。
リモートカメラ200の画像処理部240では、垂直同期信号(VD)に基づいて、メイン画像とPinP画像に対して交互に処理を行っている。すなわち、メイン画像を処理しているタイミングにおいて、デジタルズーム処理を行い、デジタルズーム処理された画像をメモリ250に書き込み、HDMIインタフェース260を経由して出力する。方向指示釦530が操作された場合、コントローラ210は、メイン画像が示す被写体の位置を変更するように、画像処理部240に対して指示する。
画像処理部240は、メイン画像の画像処理を行うタイミングにおいて、CMOSイメージセンサ230から出力された撮像画像(メモリ250の撮像画像記憶領域250aに書き込まれた画像)における、メイン画像として採用する画像領域の位置を、方向指示釦530の操作にしたがい変更する。画像処理部240は、変更した画像領域の画像データをメモリ250の出力画像記憶領域250bに書き込み、HDMIインタフェース260を経由して出力する。表示装置300のコントローラ310は、リモートカメラ200からHDMIインタフェース320経由で入力された画像データが示す画像をカメラ画像表示領域510に表示する。
次に、ユーザがPinP画像を制御対象として選択した場合を説明する。図10のフローチャートにおいて、ユーザにより制御対象選択釦540のうちPinP画像釦が押下された場合(S700におけるYES)、表示装置300のコントローラ310は、メイン画像が示す画像の範囲がより広くなるようにHDMIインタフェース320経由でリモートカメラ200に指示を行う(S710)。すなわち、コントローラ310は、メイン画像のズームポジションをワイド端へ移動させるようにリモートカメラ200に指示を行う(S710)。
PinP画像が制御対象になっているとき、ユーザは、ズーム指示釦520や方向指示釦530を操作することで、撮像画像の全領域のうちの任意の画像領域をPinP画像として設定できる。PinP画像が制御対象になったときに、コントローラ210がメイン画像が示す画像の範囲をより広くすることにより(すなわち、ズームポジションをワイド端へ移動することにより)、ユーザは、PinP画像の現在または将来の設定位置をより把握しやすくなる。すなわち、メイン画像を最も広角な画像に変更されることで、ユーザは、撮像画像領域全体におけるPinP画像の相対的な位置関係を把握しやすくなる。よって、ユーザは、撮像画像領域における、現在設定されているPinP画像領域の位置を把握しやすくなる。また、ユーザは、撮像画像の領域中のいずれの位置にPinP画像を設定すればよいかを、把握しやすくなる。
本実施形態では、PinP画像の設定位置の操作時に、よりユーザが把握しやすいように、ズームポジションをワイド端に移動させた。しかし、ズームポジションはワイド端まで移動させなくてもよい。PinP画像が制御対象とされる直前まで表示されていたメイン画像の画角よりも、よりワイド端側の画角になるよう、ズームポジションをシフトさせてもよい。このような方法であっても、ユーザは、撮像画像領域全体におけるPinP画像の相対的な位置関係を把握しやすくなる。
リモートカメラ200のコントローラ210は、メイン画像のズームポジションをワイド端へ移動する指示を受け取ると、画像処理部240に対して、メイン画像をワイド端にズームするように指示する。画像処理部240は、メイン画像の画像処理をしているタイミングにおいて、ズームポジションがワイド端になるようズーム処理を行い、撮像した画像データをメモリ250に書き込み、HDMIインタフェース260経由で出力する。表示装置300は、HDMIインタフェース320を介して、ズームポジションがワイド端に移動したメイン画像を含む合成画像をリモートカメラ200から取得する(S720)。
そして、表示装置300のコントローラ310は、リモートカメラ200からHDMIインタフェース320経由で取得した合成画像を、液晶ディスプレイ350のカメラ画像表示領域510に表示する(S730)。これにより、ユーザがPinP画像の領域や位置を把握しやすい(すなわち、PinP画像を制御しやすい)合成画像が表示装置300に表示された状態になる。
この状態において、表示装置300のコントローラ310は、ズーム指示釦520や方向指示釦530が操作されたか否かを監視している(S740)。ズーム指示釦520または方向指示釦530が操作された場合(S740におけるYES)、コントローラ310は、操作内容に従ってリモートカメラ200に対して指示を行う(S750)。
例えば、ズーム指示釦520が操作された場合、コントローラ310は、リモートカメラ200の画像処理部240に対して、メイン画像に対してはズーム処理をせず、PinP画像のみをズーム処理するように指示する。画像処理部240は、PinP画像の画像処理をしている期間のみ、PinP画像に対してデジタルズーム処理を行う。そして、画像処理部240は、メモリ250の出力画像記憶領域250bに、デジタルズーム処理後のPinP画像を含む合成画像を書き込む。その後、HDMIインタフェース260経由で合成画像が出力される。
方向指示釦530が操作された場合も同様に、コントローラ310は、リモートカメラ200の画像処理部240に対して、撮像画像の画像領域における、新たなPinP画像の読み出し位置を指示する。画像処理部240では、垂直同期信号に基づいて、PinP画像の画像処理をしている期間において、撮像画像の領域におけるPinP画像の読み出し位置を変更する。変更後の読み出し位置の画像データがメモリ250に書き込まれ、HDMIインタフェース260経由で出力される。
表示装置300のコントローラ310は、リモートカメラ200からHDMIインタフェース320経由で受信した画像データが示す画像をカメラ画像表示領域510に表示する。
この状態において、表示装置300のコントローラ310は、メイン画像が制御対象として選択されたか否かを監視している(S760)。表示装置300のコントローラ310は、メイン画像が制御対象として再び選択されるまで、すなわちPinP画像が制御対象として選択されている間は、ステップS730からステップS760の動作を繰り返す。
その後、メイン画像が制御対象として選択された場合(S760におけるYES)、表示装置300のコントローラ310は、メイン画像が再びステップS700以前の画角に復帰させるようリモートカメラ200に指示する(S770)。そして、表示装置300のコントローラ310は、以前の画角のメイン画像(以前のズームポジションで撮影されたメイン画像)を含む画像データをリモートカメラ200から受信し、受信した画像データが示す画像をカメラ画像表示領域510に表示する(S780)。以上により、撮像画像が示す画像領域のうちいずれの画像領域をPinP画像とするかの設定が完了する。
図11は、制御対象選択釦504が操作されたときの画面の遷移を説明した図である。以下、図11(A)から図11(E)を用いて、制御対象選択釦540が操作されたときの画面遷移について説明する。
図11(A)は、メイン画像800が制御対象として選択されており、PinP画像810の表示がOFFに選択されているときの、カメラ画像表示領域510に表示された画面の例を示した図である。このとき、PinP画像810の表示がOFFに選択されているため、カメラ画像表示領域510にはPinP画像810は表示されない。また、メイン画像800が制御対象として選択されているため、ユーザは、ズーム指示釦520や方向指示釦530を操作することにより、撮像画像の全画像領域において、いずれの画像領域をメイン画像とするかを設定することができる。
図11(B)は、図11(A)の画面から遷移した画面を示している。図11(B)は、メイン画像800が制御対象として選択されたままであり、PinP画像810の表示がONに選択されたときの画面例を示す図である。このとき、PinP画像810の表示がONに選択されたため、カメラ画像表示領域510は、メイン画像800にPinP画像810が重畳された合成画像を表示する。
図11(C)は、図11(B)の画面から遷移した画面を示している。図11(C)は、PinP画像810の表示がONに選択されたままであり、PinP画像810が制御対象として選択されたときの画面の例を示す図である。このとき、PinP画像810が制御対象に選択されたことに伴い、破線枠820がメイン画像800に重畳されて表示されている。この破線枠820は、メイン画像800の画像領域においてPinP画像810として読み出している領域を示している。この破線枠820により、ユーザは、メイン画像800が示す画像領域のうち、いずれの画像領域がPinP画像810として設定されているかを把握することができる。また、PinP画像810が制御対象に選択されたことに伴い、メイン画像800が示す画像領域の画角(ズームポジション)が、ワイド端にシフトしている。これにより、ユーザは、撮像画像のうちPinP画像として現在設定されている画像領域の位置および、撮像画像のうちいずれの画像領域にPinP画像としての設定位置を変更させればよいかを、把握しやすくなる。図11(C)の画面が表示された状態において、ユーザは、より広角なメイン画像の領域中においてPinP画像の領域を設定することができる。
図11(D)は、図11(C)の画面から遷移した画面を示している。図11(D)は、PinP画像810の表示がONに選択されたままであり、PinP画像810が制御対象として選択されたままである。図11(D)では、PinP画像の設定位置を示す破線枠820が、方向指示釦530の操作により、図11(C)に示す位置から移動している。このとき、PinP画像の設定位置を示す破線枠820の位置の移動に伴って、PinP画像810の表示内容も変化している。これにより、ユーザは、PinP画像の設定位置を移動させながら、PinP画像810の表示内容がどのように変更されるかを把握しやすくなる。また、このとき、PinP画像810が制御対象として選択されたままであるので、メイン画像800が示す画像領域の画角(ズームポジション)は、ワイド端に維持されたままとなる。これにより、ユーザは、撮像画像のうちいずれの画像領域にPinP画像としての設定位置を変更させればよいか把握しながら、PinP読み出し位置を移動させることができる。
図11(E)は、図11(D)に示す画面から遷移した画面を示している。図11(E)は、PinP画像810の表示はONに選択されたままであるが、制御対象がPinP画像810からメイン画像800に変更されたときの画面を示す図である。制御対象がPinP画像810からメイン画像800に変更されたことに伴い、PinP画像の設定位置を示す枠820が表示されなくなっている。また、制御対象がPinP画像810からメイン画像800に変更されたことに伴い、PinP画像の設定位置の設定操作が完了したとみなし、メイン画像800が示す画像領域の画角(ズームポジション)を、制御対象がPinP画像810に選択された直前の画角(ズームポジション)に復帰させている。以上の方法により、撮像画像が示す画像領域において、所望の画像領域をPinP画像に設定することができる。
〔1−2−3.アスペクト比の切替時の動作〕
図12は、HDMIインタフェース経由での画像出力時におけるアスペクト比の切り替え時の動作を示すフローチャートである。図12を用いて、HDMI出力時の画像のアスペクト比の切り替えの動作について説明する。
リモートカメラ200のコントローラ210は、メイン画面のアスペクト比に変更があるか否かを監視している(S900)。ユーザは、リモートカメラ200のメニュー操作により、HDMI出力時の出力画像のアスペクト比の切り替えを行うことができる。リモートカメラ200のアスペクト比に変更があった場合(S900におけるYES)、リモートカメラ200のコントローラ210は、リモートカメラ200の画像処理部240に対して、PinP画像を重畳させる位置をシフトするように指示を行う(S910)。
ここで、16:9の出力アスペクトの設定時であって、PinP画像をメイン画像が示す画像領域の右上端に表示している場合に、出力アスペクトが4:3サイドカットに変更された場合を例に説明する。このとき、メイン画像が示す画像領域において、PinP画像を重畳させる位置を内側に移動させる。具体的には、画像処理部240は、4:3サイドカットによりメイン画像に重畳されたPinP画像が表示されなくなるのを防ぐために、PinP画像の位置を少なくともサイドカットの幅の分だけ内側に移動させる。画像処理部240は、PinP画像を画像処理しているタイミングにおいて、この処理を行う。画像処理部240は、メモリ250の出力画像記憶領域250bにPinP画像をメイン画像に重畳して書き込むときに、PinP画像の書き込み位置をずらして書き込む。具体的には、PinP画像の書き込み位置を、少なくともサイドカットにより表示されなくなるのを回避できる幅の分だけ、画面中心側にずらして、PinP画像の書き込みを行う。リモートカメラ200のコントローラ210は、メモリ250の出力画像記憶領域250bから、メイン画像と、画面内側にずらして書き込まれたPinP画像との合成画像を読み出し、画面左右にサイドブラックをつけてHDMIインタフェース260経由で出力する。
表示装置300のコントローラ310は、画面左右にサイドブラックが付けられた合成画像をHDMIインタフェース320を介して、リモートカメラ200から取得する(S920)。
そして、コントローラ310は、リモートカメラ200から取得した合成画像を、液晶ディスプレイ350のカメラ画像表示領域510に表示する(S930)。
以上のように、出力アスペクト比の切り替え時には、PinP画像の表示位置がシフトされる。なお、アスペクト比が4:3から16:9に変更される場合、PinP画像の表示位置は外側にシフトされてもよい。
図13は、出力画像のアスペクト比の切り替え時の画面遷移を説明した図である。図13(A)は、出力アスペクトが16:9に設定されているときの画面の例を示す図である。一方、図13(B)は、図13(A)の状態から出力アスペクトが4:3サイドカットに設定変更されたときの画面の例を示す図である。図13(B)に示すように、出力アスペクトが4:3サイドカットに設定変更されたときに、メイン画像に重畳させるPinP画像の画像領域がサイドカットに重ならないように、PinP画像の位置を移動させている。これにより、PinP画像が、サイドカットにより表示されなくなるのを回避することができる。
上記の例では、アスペクト比が4:3サイドカットに設定変更された場合を説明したが、サイドカットに限らず上下カットでもよい。この場合は、アスペクト比の設定変更に伴い、メイン画像に重畳させるPinP画像の領域が上下カットに重ならないように、PinP画像の位置を移動させる。
また上記の例では、アスペクト比の切り替え操作をリモートカメラ200側にて行なうようにしたが、表示装置300からアスペクト比の切り替えを指示するように構成してもよい。
〔1−3.効果等〕
以上のように、表示装置300は、液晶ディスプレイ350で表示される映像を制御する表示制御装置である。表示装置300は、メイン画像及びメイン画像に重畳したPinP画像を含む画像を生成して液晶ディスプレイ350に表示させるコントローラ310を備える。コントローラ310は、メイン画面を制御対象にするモード(第1のモード)に設定されているときは、所定の画角(第1の画角)のメイン画像を液晶ディスプレイ350に表示するよう制御する。なお、第1のモードでは、メイン画像にPinP画像が重畳されて表示されているが、制御対象はメイン画面となっている。一方、PinP画面を制御対象にするモード、すなわち、メイン画像の領域においてPinP画像の領域を設定するためのモード(第2のモード)に設定されているときは、コントローラ310は、より広角な画角のメイン画像を液晶ディスプレイ350に表示するよう制御する。これにより、ユーザは、撮像画像領域における、PinP画像の現在の設定位置およびこれから設定するPinP画像の位置を把握しやすくなる。
また、コントローラ310は、撮像画像が示す画像領域より狭い範囲の画像領域をメイン画像として設定し、撮像画像が示す画像領域における所定の領域をPinP画像としてそれぞれ設定する。そして、コントローラ310は、設定されたメイン画像に、設定されたPinP画像を重畳させた合成画像を液晶ディスプレイ350に表示するよう制御する。これにより、液晶ディスプレイ350に表示されたメイン画像が示す画像領域の外側の画像領域を、PinP画像として設定することもできる。
また、表示装置300は、メイン画像と、PinP画像とを取得し、取得されたメイン画像のうち、液晶ディスプレイ350への表示領域とする画像領域のアスペクト比に応じて、取得されたPinP画像をメイン画像に重畳させる位置を決定してもよい。その決定した位置に基づいてメイン画像にPinP画像を重畳させた合成画像を液晶ディスプレイ350に表示してもよい。これにより、PinP画像の書き込み位置を、出力画像のアスペクト比の設定変更により表示されなくなるのを回避することができる。
(他の実施の形態)
以上のように、本出願において開示する技術の例示として、実施の形態1を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態1で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。
上記の実施形態では、メイン画像に対して1つのPinP画像を重畳して表示する例を説明したが、PinP画像の数は一つに限らない。メイン画像に対して、複数のPinP画像を重畳して表示させてもよい。
上記の実施形態では、PinP機能に関する技術思想を、リモートカメラ200と表示装置300で構成されるテレビ会議システムに適用したが、適用対象は、テレビ会議システムに限定されない。上記実施の形態の技術思想は、PinP機能を有する電子機器に適用できる。例えば、監視カメラと、監視カメラをコントロールする機器との組み合わせに適用することができる。
上記の実施形態では、表示装置300は液晶ディスプレイ350等の表示デバイスを内部に備えたが、必ずしも表示デバイスを備える必要はない。表示装置300は、映像信号を外部接続した表示デバイスに出力してもよい。すなわち、表示装置300は、内部に備えた又は外部接続した表示デバイスで表示される画像を制御できる装置であればよい。
メイン画像は第1の画像の一例である。PinP画像は第2の画像の一例である。コントローラ310は制御部の一例である。HDMIインタフェース320は通信部の一例である。液晶ディスプレイ350は表示部の一例である。表示装置300は表示制御装置の一例である。
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
本開示は、PinP表示機能を制御する表示制御装置、表示制御システムに適用可能である。

Claims (5)

  1. 表示部で表示される映像を制御する表示制御装置であって、
    第1の画像及び前記第1の画像に重畳した第2の画像を含む画像を生成して前記表示部に表示させる制御部を備え、
    前記制御部は、
    第1のモードに設定されているときは、第1の画角の前記第1の画像を前記表示部に表示するよう制御し、
    第2のモードに設定されているときは、前記第1の画角よりも広角な第2の画角の前記第1の画像を前記表示部に表示するよう制御し、
    前記第2のモードは、前記第2の画角の前記第1の画像の領域中における前記第2の画像の領域を設定するためのモードである、
    表示制御装置。
  2. 前記第1のモードにおいて、前記制御部は、前記第1の画角で表示された前記第1の画像に、前記第2のモードにおいて設定された前記第2の画像を合成した画像を前記表示部に表示させる、
    請求項1に記載の表示制御装置。
  3. 撮像装置と通信を行う通信部をさらに備え、
    前記第1の画像は、前記撮像装置で撮像され、前記通信部を介して前記撮像装置から受信した画像であり、
    前記制御部は、前記第1のモードから前記第2のモードに切り替えられたときに、前記通信部を介して前記撮像装置に対して、前記第2の画角で画像を撮像するよう指示を送信する、
    請求項1または2に記載の表示制御装置。
  4. 前記制御部は、前記第2の画角で撮像された前記第1の画像を、前記通信部を介して前記撮像装置から受信する、
    請求項3に記載の表示制御装置。
  5. 前記第1の画像及び前記第2の画像は、撮像装置により撮像された画像の全領域の一部を切り出した画像である、
    請求項1または2に記載の表示制御装置。
JP2014524617A 2012-07-10 2013-06-13 表示制御装置 Expired - Fee Related JP5799194B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014524617A JP5799194B2 (ja) 2012-07-10 2013-06-13 表示制御装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012154262 2012-07-10
JP2012154262 2012-07-10
PCT/JP2013/003709 WO2014010170A1 (ja) 2012-07-10 2013-06-13 表示制御装置
JP2014524617A JP5799194B2 (ja) 2012-07-10 2013-06-13 表示制御装置

Publications (2)

Publication Number Publication Date
JP5799194B2 JP5799194B2 (ja) 2015-10-21
JPWO2014010170A1 true JPWO2014010170A1 (ja) 2016-06-20

Family

ID=49915655

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014524617A Expired - Fee Related JP5799194B2 (ja) 2012-07-10 2013-06-13 表示制御装置

Country Status (4)

Country Link
US (1) US9263001B2 (ja)
JP (1) JP5799194B2 (ja)
CN (1) CN103814567B (ja)
WO (1) WO2014010170A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI554103B (zh) * 2014-11-13 2016-10-11 聚晶半導體股份有限公司 影像擷取裝置及其數位變焦方法
JP6516480B2 (ja) * 2015-01-19 2019-05-22 キヤノン株式会社 表示装置、表示システム及び表示方法
CN108270986A (zh) * 2016-12-30 2018-07-10 中兴通讯股份有限公司 一种云台控制及处理方法、装置、系统、电子设备
CN109547731B (zh) * 2018-12-11 2021-06-29 视联动力信息技术股份有限公司 一种视频会议的展示方法和系统

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02171094A (ja) * 1988-12-23 1990-07-02 Fujitsu Ltd 画像伝送方式
US5742329A (en) 1992-10-26 1998-04-21 Canon Kabushiki Kaisha Image pickup system and communication system for use in video conference system or the like
JP3177022B2 (ja) * 1992-10-26 2001-06-18 キヤノン株式会社 テレビ会議装置
DE69424109T2 (de) 1993-09-20 2000-10-12 Canon Kk Videosystem
JP3372628B2 (ja) * 1993-12-31 2003-02-04 キヤノン株式会社 カメラ制御装置
JPH07231442A (ja) 1994-02-21 1995-08-29 Fujitsu Ltd 防犯監視装置
JPH09163260A (ja) 1995-12-13 1997-06-20 Sony Corp テレビ受信機
JP4596987B2 (ja) 2005-06-07 2010-12-15 オリンパス株式会社 画像撮像装置
US7920200B2 (en) 2005-06-07 2011-04-05 Olympus Corporation Image pickup device with two cylindrical lenses
JP2007122633A (ja) * 2005-10-31 2007-05-17 Casio Comput Co Ltd 情報表示制御装置および情報表示制御プログラム
US8155479B2 (en) * 2008-03-28 2012-04-10 Intuitive Surgical Operations Inc. Automated panning and digital zooming for robotic surgical systems
CN101312526A (zh) * 2008-06-26 2008-11-26 天津市亚安科技电子有限公司 全景联动视频监控装置及其全景图像的拼接方法
JP5083181B2 (ja) 2008-11-14 2012-11-28 株式会社ニコン デジタルカメラ
US20100188579A1 (en) * 2009-01-29 2010-07-29 At&T Intellectual Property I, L.P. System and Method to Control and Present a Picture-In-Picture (PIP) Window Based on Movement Data
JP2011071668A (ja) * 2009-09-25 2011-04-07 Hitachi Consumer Electronics Co Ltd テレビ電話機能付きテレビ受信機
EP2442549B1 (en) * 2010-10-14 2015-10-14 Sony Corporation Image capturing device, system and method

Also Published As

Publication number Publication date
CN103814567A (zh) 2014-05-21
US9263001B2 (en) 2016-02-16
JP5799194B2 (ja) 2015-10-21
CN103814567B (zh) 2017-02-22
US20140184642A1 (en) 2014-07-03
WO2014010170A1 (ja) 2014-01-16

Similar Documents

Publication Publication Date Title
JP6238184B2 (ja) 撮像装置
US10455180B2 (en) Electronic apparatus and method for conditionally providing image processing by an external apparatus
JP4971594B2 (ja) プログラム及び表示制御装置
US8471912B2 (en) Electronic device and communication system
WO2013132828A1 (ja) 通信システムおよび中継装置
JP5436019B2 (ja) 制御装置、制御方法、プログラム及び記録媒体
JP5799194B2 (ja) 表示制御装置
JP2010177736A (ja) 画像表示システムおよび画像表示装置
US9323496B2 (en) Electronic device capable of transmitting an image
JP4369263B2 (ja) デジタルカメラ及び画像信号生成方法
JP5094583B2 (ja) 撮像装置、データ通信システムおよびデータ通信方法
JP2011205232A (ja) 撮像装置、画像表示装置および画像表示システム
US11509810B2 (en) Image capture apparatus, operation apparatus and control methods
JP6445831B2 (ja) 撮像装置及びその制御方法ならびにプログラム
JP2014016507A (ja) 表示制御装置
US20210144393A1 (en) Image capturing device, distribution system, distribution method, and recording medium
JP2013090243A (ja) 画像出力装置及び画像表示装置
JP5509590B2 (ja) 電子カメラ
JP2014016506A (ja) 表示制御装置
JP6917800B2 (ja) 画像処理装置およびその制御方法ならびにプログラム
JP6889622B2 (ja) 画像処理装置およびその制御方法ならびにプログラム
JP6666024B2 (ja) 撮像装置及びそれを操作する外部操作器
JP2017022589A (ja) 撮像装置
JP2019110423A (ja) 撮影装置、制御方法及びプログラム
JP2023067423A (ja) 撮像装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150203

R151 Written notification of patent or utility model registration

Ref document number: 5799194

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees