WO2014010170A1 - 表示制御装置 - Google Patents

表示制御装置 Download PDF

Info

Publication number
WO2014010170A1
WO2014010170A1 PCT/JP2013/003709 JP2013003709W WO2014010170A1 WO 2014010170 A1 WO2014010170 A1 WO 2014010170A1 JP 2013003709 W JP2013003709 W JP 2013003709W WO 2014010170 A1 WO2014010170 A1 WO 2014010170A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
display
pinp
controller
display device
Prior art date
Application number
PCT/JP2013/003709
Other languages
English (en)
French (fr)
Inventor
卓 北原
修史 守屋
一政 田畑
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to JP2014524617A priority Critical patent/JP5799194B2/ja
Priority to CN201380003000.0A priority patent/CN103814567B/zh
Publication of WO2014010170A1 publication Critical patent/WO2014010170A1/ja
Priority to US14/202,138 priority patent/US9263001B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43632—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H04N21/43635—HDMI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4854—End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4856—End-user interface for client configuration for language selection, e.g. for the menu or subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0442—Handling or displaying different aspect ratios, or changing the aspect ratio
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/12—Use of DVI or HDMI protocol in interfaces along the display data pipeline

Definitions

  • This disclosure relates to a display control apparatus having a PinP (Picture in Picture) function.
  • PinP Pin in Picture
  • Patent Document 1 discloses a television receiver that displays an image of one broadcast program and an image of another broadcast program that are simultaneously broadcast from different television broadcast stations on one screen.
  • Patent Literature 1 an image of one broadcast program is displayed as a parent image, and an image of the other broadcast program is displayed as a child image in PinP display.
  • the present disclosure provides a display control device capable of performing more suitable PinP display.
  • the display control device is a display control device that controls an image displayed on the display unit.
  • the display control device includes a control unit that generates and displays an image including a first image and a second image superimposed on the first image on the display unit.
  • the control unit controls the display unit to display the first image having the first angle of view when the first mode is set, and when the second mode is set, the control unit controls the first image. Control is performed so that the first image having the second angle of view wider than the angle of view is displayed on the display unit.
  • the second mode is a mode for setting a region of the second image in the region of the first image having the second angle of view.
  • FIG. 1 is a system configuration diagram of the video conference system according to the first embodiment.
  • the video conference system 100 according to the first embodiment includes a remote camera 200 and a display device 300 connected to the remote camera 200 via an HDMI cable 110.
  • FIG. 2 is a diagram showing a configuration when the two bases A and B are connected in the video conference system 100 according to the first embodiment. Between the two sites A and B, the remote camera 200 and the display device 300 may be connected via a network.
  • the display of the PinP image displayed on the display device 300 can be controlled by the operation of the infrared remote controller 400 with respect to the remote camera 200 or the operation of the display device 300.
  • the PinP image is another image 810 displayed in the main image 800 as shown in FIG.
  • the video conference system 100 of the present embodiment has a PinP display function for displaying such a PinP image together with the main image 800 on the display device 300.
  • FIG. 4 is an electrical configuration diagram of the remote camera 200. The configuration of the remote camera 200 will be described with reference to FIG.
  • the remote camera 200 includes a controller 210, a lens 220, a CMOS image sensor 230, an image processing unit 240, a memory 250, an HDMI interface 260, and an infrared light receiving unit 270.
  • the controller 210 controls the overall operation of the remote camera 200.
  • the controller 210 includes a ROM (not shown) that stores information such as programs, a CPU (not shown) that processes information such as programs, and the like.
  • the ROM stores a program for controlling the overall operation of the remote camera 200 in addition to a program for lens control and digital zoom control.
  • the controller 210 transmits a control signal to the CMOS image sensor 230, the image processing unit 240, and the like based on the vertical synchronization signal (VD).
  • the controller 210 may be configured with a hard-wired electronic circuit or a microcomputer. Further, it may be configured as one integrated circuit together with an image processing unit 240 described later.
  • the ROM does not have to be an internal configuration of the controller 210, and may be provided outside the controller 210.
  • the lens 220 includes an optical system such as a focus lens.
  • the remote camera 200 may include a zoom lens, a diaphragm, a mechanical shutter, and an optical camera shake correction lens.
  • the various lenses constituting the lens 220 may be composed of any number of lenses or any number of groups.
  • the CMOS image sensor 230 captures a subject image formed through the lens 220 and generates image data.
  • the CMOS image sensor 230 generates image data of a new frame at a predetermined frame rate (for example, 30 frames / second).
  • the image data generation timing and electronic shutter operation of the CMOS image sensor 230 are controlled by the controller 210.
  • another image sensor such as a CCD image sensor or an NMOS image sensor may be used.
  • the image processing unit 240 performs various types of image processing on the image data output from the CMOS image sensor 230. Examples of various processing include, but are not limited to, gamma correction, white balance correction, YC conversion processing, electronic zoom processing, compression processing, expansion processing, and the like.
  • the image processing unit 240 may be configured by a hard-wired electronic circuit, or may be configured by a microcomputer that executes a program for performing these processes. Further, it may be configured as one integrated circuit together with the controller 210 and the like.
  • the memory 250 is a storage medium that functions as a work memory for the controller 210 and the image processing unit 240.
  • the memory 250 can be realized by a DRAM (Dynamic Random Access Memory) or the like.
  • the memory 250 has a captured image storage area 250a and an output image storage area 250b.
  • the captured image storage area 250a is a storage area for temporarily storing an image captured by the CMOS image sensor 230.
  • the output image storage area 250b is a storage area for temporarily storing an image to be output to the display device 300.
  • a part of the image captured by the CMOS image sensor 230 is an image output to the display device 300.
  • the angle of view of the image captured by the CMOS image sensor 230 is larger than the angle of view of the image output to the display device 300.
  • the HDMI interface 260 is a communication interface for performing communication conforming to the HDMI (High-Definition Multimedia Interface) standard.
  • the HDMI interface 260 can bidirectionally transmit various digital signals such as images and sounds.
  • the HDMI interface 260 is electrically connected to HDMI of another electronic device via the HDMI cable 110. That is, the remote camera 200 is electrically connected to other electronic devices (such as the display device 300) via the HDMI cable 110. Thereby, the remote camera 200 can transmit various digital signals such as images and sounds to other electronic devices, and can receive various digital signals such as control commands from other electronic devices.
  • other connection means such as a wired LAN (Local Area Network) and a wireless LAN may be used.
  • the infrared light receiving unit 270 is an interface for receiving an infrared signal from the infrared remote controller 400.
  • the infrared signal received by the infrared light receiving unit 270 is transmitted to the controller 210.
  • the controller 210 executes various controls based on the received infrared signal.
  • the infrared light receiving unit 270 is not an essential component for the remote camera 200. However, since the infrared light receiving unit 270 is provided, an infrared signal transmitted from the infrared remote controller 400 can be received, and a plurality of operation methods can be provided to the user.
  • FIG. 5 is a diagram for explaining each region used for display in the entire image region imaged by the CMOS image sensor 230.
  • the captured image area 900 is the entire image area obtained by imaging with the CMOS image sensor 230.
  • the main image area 910 is a part of the captured image area 900, and is adopted (displayed) as a main screen on the display device 300 when a later-described main image 800 is selected as a control target.
  • the PinP image areas 920A to 920C are examples of image areas that are adopted (displayed) as PinP images on the display device 300 in the captured image area 900.
  • FIG. 5 illustrates image region variations 920A to 920C that can be adopted as the PinP image region.
  • the PinP image area 920A is an example when a PinP image area that is completely included in the main image area 910 is set.
  • the PinP image area 920B is an example when the PinP image area is set so as to partially overlap the main image area 910.
  • the PinP image area 920C is an example when an image area outside the main image area 910 is set as a PinP image area.
  • a part of the captured image area 900 is cut out as a PinP image area and displayed on the display device 300. That is, as long as it is within the captured image area 900, the area of the main image 800 shifted to the wide end in the mode for setting the PinP image area to be described later, whether outside or inside the main image area 910. If it is within the range, it can be adopted as a PinP image region. Thereby, a suitable PinP image can be displayed according to the use of the video conference system 100.
  • FIG. 6 is an electrical configuration diagram of the display device 300. A configuration of the display device 300 will be described with reference to FIG.
  • the display device 300 includes a controller 310, an HDMI 320, an image processing unit 330, a memory 340, a liquid crystal display 350, and an operation unit 360.
  • the controller 310 controls the overall operation of the display device 300.
  • the controller 310 includes a ROM (not shown) that stores information such as programs, a CPU (not shown) that processes information such as programs, and the like.
  • the ROM stores a program for overall control of the operation of the entire display device 300 in addition to a program related to display control.
  • the controller 310 transmits a control signal to the image processing unit 330, the liquid crystal display 350, and the like based on the vertical synchronization signal (VD).
  • the controller 310 may be configured with a hard-wired electronic circuit or a microcomputer. Further, it may be configured as one integrated circuit together with an image processing unit 330 described later. Note that the ROM does not have to be an internal configuration of the controller 310, and may be provided outside the controller 310.
  • the HDMI interface 320 is a communication interface for performing communication conforming to the HDMI standard.
  • the HDMI interface 320 can bidirectionally transmit various digital signals such as images and sounds.
  • the HDMI interface 320 is electrically connected to HDMI of another electronic device via the HDMI cable 110. That is, the display device 300 is electrically connected to another electronic device (such as the remote camera 200) via the HDMI cable 110. Accordingly, the display device 300 can receive various digital signals such as images and sounds from other electronic devices, and can transmit various digital signals such as control commands to the other electronic devices.
  • other connection means such as a wired LAN (Local Area Network) or a wireless LAN may be used.
  • the image processing unit 330 performs various types of image processing on the image data acquired via the HDMI interface 320. Examples of various processing include, but are not limited to, gamma correction, white balance correction, YC conversion processing, electronic zoom processing, compression processing, expansion processing, and the like.
  • the image processing unit 330 may be configured by a hard-wired electronic circuit, or may be configured by a microcomputer that executes a program for performing these processes. Further, it may be configured as one integrated circuit together with the controller 310 or the like.
  • the memory 340 is a storage medium that functions as a work memory for the controller 310 and the image processing unit 330.
  • the memory 340 can be realized by a DRAM (Dynamic Random Access Memory) or the like.
  • the memory 340 has an output image storage area 340a.
  • the output image storage area 340a is a storage area for temporarily storing an image to be output to the liquid crystal display 350.
  • the liquid crystal display 350 displays an image processed by the image processing unit 330 and stored in the output image storage area 340a in the memory 340.
  • other display devices such as an organic EL display may be used.
  • the operation unit 360 is a general term for a keyboard, a mouse, and the like provided in the display device 300, and accepts an operation by a user. When the operation unit 360 receives an operation by the user, the operation unit 360 transmits various operation instruction signals to the controller 310.
  • FIG. 7 is an electrical configuration diagram of the infrared remote controller 400. The configuration of the infrared remote controller 400 will be described with reference to FIG.
  • the infrared remote controller 400 includes an operation unit 410, a controller 420, and an infrared transmission unit 430.
  • the operation unit 410 is a generic term for a cross key, a number key, and the like provided in the infrared remote controller 400, and accepts an operation by a user. When the operation unit 410 receives an operation by the user, the operation unit 410 notifies the controller 420 of various operation instruction signals.
  • the controller 410 controls the overall operation of the infrared remote controller 400.
  • the controller 420 generates a control signal based on the operation instruction signal received from the operation unit 410.
  • the controller 420 transmits the generated control signal to the infrared transmission unit 430.
  • the infrared transmission unit 430 is an interface for transmitting an infrared signal to the infrared light receiving unit 270 of the remote camera 200.
  • the infrared transmitter 430 transmits an infrared signal to the outside based on the control signal received from the controller 420.
  • the infrared remote controller 400 is not an essential component of the video conference system 100. However, since it corresponds to the infrared ray 400, a plurality of operation methods can be provided to the user.
  • FIG. 8 is a diagram illustrating an example of a screen for operating the remote camera 200. A screen for operating the remote camera 200 will be described with reference to FIG.
  • a display screen 500 shown in FIG. 8 is created by the remote camera 200, transmitted to the display device 300 via the HDMI cable 110, and displayed on the liquid crystal display 350 of the display device 300. Note that the display screen shown in FIG. 8 may be created not on the remote camera 200 side but on the display device 300 side.
  • the display screen 500 includes a camera image display area 510, a zoom instruction button 520, a direction instruction button 530, a control target selection button 540, a PinP display selection button 550, and the like.
  • Various buttons 520, 530,... On the display screen 500 are operated by the operation unit 360 of the display device 300.
  • the zoom instruction button 520, the direction instruction button 530, the control target selection button 540, and the PinP display selection button 550 are not essential components.
  • these components may be omitted.
  • the camera image display area 510 is an area for displaying a real-time image output from the remote camera 200.
  • the zoom instruction button 520 includes a zoom instruction button in the telephoto direction (image enlargement direction) and a zoom instruction button in the wide angle direction (image reduction direction).
  • the user operates the operation unit 360 of the display device 300 and presses a button in any direction of the zoom instruction button 520 to instruct the remote camera 200 to zoom in the telephoto direction or the wide-angle direction.
  • the controller 310 instructs the remote camera 200 to zoom via the HDMI interface 320 and the HDMI cable 110.
  • the controller 210 of the remote camera 200 performs zoom control according to the zoom instruction from the display device 300.
  • the remote camera 200 transmits an image reflecting the zoom instruction content to the display device 300 via the HDMI interface 260 and the HDMI cable 110.
  • an image reflecting the zoom instruction content is displayed in the camera image display area 510.
  • the direction instruction button 530 includes up / down / left / right movement instruction buttons. The user can change the position of the subject photographed by the remote camera 200 by operating the operation unit 360 and pressing any one of the direction instruction buttons 530.
  • the control target selection button 540 is a button for setting which of the main screen and the PinP screen is to be controlled by the zoom instruction button 520 and the direction instruction button 530.
  • the user operates the operation unit 360 of the display device 300 and presses either the main screen button or the PinP screen button among the control target selection buttons 540. Thereby, it is possible to select whether the instruction based on the zoom instruction button 520 or the direction instruction button 530 to the remote camera 200 is applied to the control of the main image or the PinP image.
  • the PinP display selection button 550 is a button for switching ON / OFF of the PinP display.
  • a composite image in which the PinP image is superimposed on the upper right of the main screen is output from the remote camera 200 to the display device 300.
  • the composite image (PinP image) output from the remote camera 200 is displayed in the camera image display area 510 of the display screen 500.
  • “OFF” of PinP display is selected, the PinP image is not superimposed and only the main screen is output from the remote camera 200 to the display device 300. As a result, only the main screen is displayed in the camera image display area 510.
  • FIG. 9 is a flowchart showing an operation when the PinP display selection button 550 is operated on the display screen 500 shown in FIG. The operation when the PinP display selection button 550 is operated will be described with reference to FIG.
  • the controller 310 of the display device 300 monitors a user operation (ON / OFF) for the PinP display selection button 550 (S600).
  • a user operation ON / OFF
  • the controller 310 of the display device 300 does not output the PinP image but only the main image. Is transmitted to the remote camera 200 via the HDMI interface 320.
  • the remote camera 200 may be instructed to turn on / off the PinP display from the display device 300 via the HDMI interfaces 320 and 260, or attached to the remote camera 200 using the infrared remote controller 400. You may carry out via the infrared light-receiving part 270.
  • the controller 210 of the remote camera 200 When the controller 210 of the remote camera 200 receives an instruction to turn off the PinP display, the controller 210 writes only the main image data in the output image storage area 250b of the memory 250, and then the main image data written in the output image storage area 250b. Are output to the display device 300 via the HDMI interface 260.
  • the controller 310 of the display device 300 displays the image (main screen without the PinP image) indicated by the image data input from the remote camera 200 via the HDMI interface 320 in the camera image display area 510 on the liquid crystal display 350 (S610). ).
  • the controller 310 of the display device 300 outputs a composite image in which the PinP image is superimposed on the main image.
  • An instruction to do so (PinP display ON instruction) is transmitted to the remote camera 200 via the HDMI interface 320.
  • the controller 210 of the remote camera 200 writes the main image in the output image storage area 250b of the memory 250 and then superimposes the PinP image on the upper right of the main image. To generate a composite image. Thereafter, the controller 210 outputs the composite image written in the output image storage area 250 b to the display device 300 via the HDMI interface 260.
  • the controller 310 of the display device 300 displays the composite image input from the remote camera 200 via the HDMI interface 320 in the camera image display area 510 of the liquid crystal display 350 (S620).
  • the position where the PinP image is superimposed on the main image is not limited to the upper right, and any position such as the upper right, upper left, lower left, and lower right of the screen may be selected by a user operation.
  • FIG. 10 is a flowchart showing the operation of the display device 300 when the control target selection button 540 is operated. The operation of the display device 300 when the control target selection button 540 is operated will be described using FIG.
  • the controller 310 of the display device 300 monitors whether the main image button or the PinP image button is selected for the control object selection button 540.
  • the process shown in the flowchart of FIG. 10 is executed when either the main image button or the PinP image button is selected for the control target selection button 540.
  • the controller 310 of the display device 300 issues an instruction to set the control target as the main image via the HDMI interface 302. 200 (S705).
  • the controller 210 of the remote camera 200 receives an instruction indicating that the control target is the main image.
  • the controller 210 of the remote camera 200 performs zoom processing on only the main image based on the operation instruction content to the image processing unit 240. To instruct.
  • the zoom process in the remote camera 200 is not limited to the electronic zoom process by the image processing unit 240, and may be an optical zoom process by the lens 220.
  • the main image and the PinP image are alternately processed based on the vertical synchronization signal (VD). That is, at the timing when the main image is processed, digital zoom processing is performed, the digital zoom processed image is written into the memory 250, and is output via the HDMI interface 260.
  • VD vertical synchronization signal
  • the controller 210 instructs the image processing unit 240 to change the position of the subject indicated by the main image.
  • the image processing unit 240 is an image area used as the main image in the captured image (the image written in the captured image storage area 250a of the memory 250) output from the CMOS image sensor 230 at the timing of performing the image processing of the main image. Is changed according to the operation of the direction instruction button 530.
  • the image processing unit 240 writes the image data of the changed image area in the output image storage area 250 b of the memory 250 and outputs it via the HDMI interface 260.
  • the controller 310 of the display device 300 displays the image indicated by the image data input from the remote camera 200 via the HDMI interface 320 in the camera image display area 510.
  • a PinP image When a PinP image is a control target, the user can set an arbitrary image region of all the regions of the captured image as a PinP image by operating the zoom instruction button 520 or the direction instruction button 530.
  • the controller 210 increases the range of the image indicated by the main image (that is, by moving the zoom position to the wide end), so that the user can It becomes easier to grasp the future setting position. That is, by changing the main image to the widest-angle image, the user can easily grasp the relative positional relationship of the PinP images in the entire captured image area. Therefore, the user can easily grasp the position of the currently set PinP image area in the captured image area. In addition, the user can easily grasp at which position in the captured image area the PinP image should be set.
  • the zoom position is moved to the wide end so that the user can easily grasp the setting position of the PinP image.
  • the zoom position need not be moved to the wide end.
  • the zoom position may be shifted so that the angle of view on the wide end side is larger than the angle of view of the main image displayed until immediately before the PinP image is controlled. Even with this method, the user can easily grasp the relative positional relationship of the PinP images in the entire captured image region.
  • the controller 210 of the remote camera 200 instructs the image processing unit 240 to zoom the main image to the wide end.
  • the image processing unit 240 performs zoom processing so that the zoom position is at the wide end at the timing when image processing of the main image is performed, writes the captured image data to the memory 250, and outputs the image data via the HDMI interface 260.
  • the display device 300 acquires a composite image including the main image with the zoom position moved to the wide end from the remote camera 200 via the HDMI interface 320 (S720).
  • the controller 310 of the display device 300 displays the composite image acquired from the remote camera 200 via the HDMI interface 320 in the camera image display area 510 of the liquid crystal display 350 (S730). As a result, a composite image that allows the user to easily grasp the region and position of the PinP image (that is, to easily control the PinP image) is displayed on the display device 300.
  • the controller 310 of the display device 300 monitors whether or not the zoom instruction button 520 and the direction instruction button 530 are operated (S740).
  • the controller 310 instructs the remote camera 200 according to the operation content (S750).
  • the controller 310 instructs the image processing unit 240 of the remote camera 200 not to perform the zoom process on the main image but to perform the zoom process on only the PinP image.
  • the image processing unit 240 performs digital zoom processing on the PinP image only during the period during which the image processing of the PinP image is performed.
  • the image processing unit 240 writes a composite image including the PinP image after the digital zoom process in the output image storage area 250b of the memory 250. Thereafter, the composite image is output via the HDMI interface 260.
  • the controller 310 instructs the image processing unit 240 of the remote camera 200 to read a new PinP image reading position in the image area of the captured image.
  • the image processing unit 240 changes the readout position of the PinP image in the captured image area during the period during which the PinP image is processed based on the vertical synchronization signal.
  • the image data at the read position after the change is written into the memory 250 and output via the HDMI interface 260.
  • the controller 310 of the display device 300 displays the image indicated by the image data received from the remote camera 200 via the HDMI interface 320 in the camera image display area 510.
  • the controller 310 of the display device 300 monitors whether or not the main image is selected as a control target (S760).
  • the controller 310 of the display device 300 repeats the operations from step S730 to step S760 until the main image is selected again as the control target, that is, while the PinP image is selected as the control target.
  • the controller 310 of the display device 300 instructs the remote camera 200 to restore the main image to the angle of view before step S700 again (S770). Then, the controller 310 of the display device 300 receives image data including the main image of the previous angle of view (main image taken at the previous zoom position) from the remote camera 200, and the image indicated by the received image data is received by the camera. The image is displayed in the image display area 510 (S780). As described above, the setting of which image region as the PinP image among the image regions indicated by the captured image is completed.
  • FIG. 11 is a diagram for explaining the transition of the screen when the control target selection button 504 is operated.
  • screen transition when the control target selection button 540 is operated will be described with reference to FIGS. 11A to 11E.
  • FIG. 11A shows an example of a screen displayed in the camera image display area 510 when the main image 800 is selected as a control target and the display of the PinP image 810 is selected OFF. It is. At this time, since the display of the PinP image 810 is selected to be OFF, the PinP image 810 is not displayed in the camera image display area 510. In addition, since the main image 800 is selected as a control target, the user operates the zoom instruction button 520 or the direction instruction button 530 to set any image area as the main image in the entire image area of the captured image. Can be set.
  • FIG. 11 (B) shows a screen transitioned from the screen of FIG. 11 (A).
  • FIG. 11B is a diagram illustrating a screen example when the main image 800 remains selected as a control target and the display of the PinP image 810 is selected to be ON.
  • the camera image display area 510 displays a composite image in which the PinP image 810 is superimposed on the main image 800.
  • FIG. 11 (C) shows a screen transitioned from the screen of FIG. 11 (B).
  • FIG. 11C is a diagram illustrating an example of a screen when the display of the PinP image 810 is still selected to be ON and the PinP image 810 is selected as a control target.
  • a broken line frame 820 is displayed superimposed on the main image 800.
  • the broken line frame 820 indicates an area that is read as the PinP image 810 in the image area of the main image 800.
  • the broken line frame 820 allows the user to grasp which image area is set as the PinP image 810 from among the image areas indicated by the main image 800.
  • the angle of view (zoom position) of the image area indicated by the main image 800 is shifted to the wide end.
  • the user grasps the position of the image region currently set as the PinP image in the captured image and which image region in the captured image the set position as the PinP image should be changed. It becomes easy.
  • the user can set the area of the PinP image in the area of the main image having a wider angle.
  • FIG. 11 (D) shows a screen transitioned from the screen of FIG. 11 (C).
  • the display of the PinP image 810 remains selected as ON, and the PinP image 810 remains selected as a control target.
  • the broken line frame 820 indicating the setting position of the PinP image is moved from the position shown in FIG. 11C by the operation of the direction instruction button 530.
  • the display content of the PinP image 810 also changes with the movement of the position of the broken line frame 820 indicating the setting position of the PinP image.
  • the user can easily understand how the display content of the PinP image 810 is changed while moving the setting position of the PinP image.
  • the angle of view (zoom position) of the image area indicated by the main image 800 is maintained at the wide end. Accordingly, the user can move the PinP reading position while grasping which image region of the captured image should be changed in the setting position as the PinP image.
  • FIG. 11 (E) shows a screen transitioned from the screen shown in FIG. 11 (D).
  • FIG. 11E is a diagram showing a screen when the display of the PinP image 810 remains selected to be ON, but the control target is changed from the PinP image 810 to the main image 800. As the control target is changed from the PinP image 810 to the main image 800, the frame 820 indicating the setting position of the PinP image is not displayed.
  • the setting operation of the setting position of the PinP image has been completed with the change of the control target from the PinP image 810 to the main image 800, and the angle of view (zoom position) of the image area indicated by the main image 800 is
  • the control object is returned to the angle of view (zoom position) immediately before the PinP image 810 is selected.
  • FIG. 12 is a flowchart illustrating an operation at the time of switching the aspect ratio when outputting an image via the HDMI interface. The operation for switching the aspect ratio of an image during HDMI output will be described with reference to FIG.
  • the controller 210 of the remote camera 200 monitors whether there is a change in the aspect ratio of the main screen (S900). The user can switch the aspect ratio of the output image during HDMI output by operating the menu of the remote camera 200. When the aspect ratio of the remote camera 200 is changed (YES in S900), the controller 210 of the remote camera 200 instructs the image processing unit 240 of the remote camera 200 to shift the position where the PinP image is superimposed. (S910).
  • the output aspect is changed to 4: 3 side cut.
  • the position where the PinP image is superimposed is moved inward in the image area indicated by the main image.
  • the image processing unit 240 moves the position of the PinP image inward by at least the width of the side cut to prevent the PinP image superimposed on the main image from being displayed by the 4: 3 side cut from being displayed. Let The image processing unit 240 performs this process at the timing when the PinP image is image-processed.
  • the image processing unit 240 When the PinP image is superimposed on the main image and written in the output image storage area 250b of the memory 250, the image processing unit 240 writes the PinP image while shifting the writing position. Specifically, the PinP image writing is performed by shifting the PinP image writing position to the center of the screen by at least a width that can prevent the PinP image from being displayed due to the side cut.
  • the controller 210 of the remote camera 200 reads from the output image storage area 250b of the memory 250 a composite image of the main image and the PinP image that is written while being shifted to the inside of the screen, and attaches side black to the left and right sides of the screen to add an HDMI interface 260. Output via.
  • the controller 310 of the display device 300 acquires a composite image with side black on the left and right sides of the screen from the remote camera 200 via the HDMI interface 320 (S920).
  • the controller 310 displays the composite image acquired from the remote camera 200 in the camera image display area 510 of the liquid crystal display 350 (S930).
  • the display position of the PinP image is shifted.
  • the aspect ratio is changed from 4: 3 to 16: 9
  • the display position of the PinP image may be shifted outward.
  • FIG. 13 is a diagram illustrating screen transition when the aspect ratio of the output image is switched.
  • FIG. 13A is a diagram illustrating an example of a screen when the output aspect is set to 16: 9.
  • FIG. 13B is a diagram showing an example of a screen when the output aspect is changed from the state of FIG. 13A to 4: 3 side cut.
  • the position of the PinP image is set so that the image area of the PinP image to be superimposed on the main image does not overlap the side cut. It is moved. Thereby, it can be avoided that the PinP image is not displayed due to the side cut.
  • the position of the PinP image is moved so that the area of the PinP image to be superimposed on the main image does not overlap the upper and lower cuts with the change in the aspect ratio setting.
  • the aspect ratio switching operation is performed on the remote camera 200 side.
  • the display device 300 may be configured to instruct the aspect ratio switching.
  • the display device 300 is a display control device that controls an image displayed on the liquid crystal display 350.
  • the display device 300 includes a controller 310 that generates a main image and an image including a PinP image superimposed on the main image and displays the image on the liquid crystal display 350.
  • the controller 310 controls the liquid crystal display 350 to display a main image having a predetermined angle of view (first angle of view) when the mode (first mode) in which the main screen is a control target is set. . In the first mode, the PinP image is displayed superimposed on the main image, but the control target is the main screen.
  • the controller 310 displays a wider-angle image. Control is performed so that the main image of the corner is displayed on the liquid crystal display 350. Accordingly, the user can easily grasp the current setting position of the PinP image and the position of the PinP image to be set in the captured image area.
  • the controller 310 sets an image area narrower than the image area indicated by the captured image as a main image, and sets predetermined areas in the image area indicated by the captured image as PinP images. Then, the controller 310 controls the liquid crystal display 350 to display a composite image obtained by superimposing the set PinP image on the set main image. Thereby, the image area outside the image area indicated by the main image displayed on the liquid crystal display 350 can be set as a PinP image.
  • the display device 300 acquires a main image and a PinP image, and the acquired PinP image is displayed according to the aspect ratio of the image area to be displayed on the liquid crystal display 350 among the acquired main images.
  • the position to be superimposed on the main image may be determined.
  • a composite image obtained by superimposing the PinP image on the main image based on the determined position may be displayed on the liquid crystal display 350.
  • the first embodiment has been described as an example of the technique disclosed in the present application.
  • the technology in the present disclosure is not limited to this, and can also be applied to an embodiment in which changes, replacements, additions, omissions, and the like are appropriately performed.
  • the technical idea related to the PinP function is applied to the video conference system including the remote camera 200 and the display device 300, but the application target is not limited to the video conference system.
  • the technical idea of the above embodiment can be applied to an electronic device having a PinP function.
  • the present invention can be applied to a combination of a surveillance camera and a device that controls the surveillance camera.
  • the display device 300 includes a display device such as the liquid crystal display 350, but it is not always necessary to include the display device.
  • the display device 300 may output the video signal to an externally connected display device. That is, the display device 300 may be any device that can control an image displayed on a display device provided inside or connected externally.
  • the main image is an example of the first image.
  • the PinP image is an example of a second image.
  • the controller 360 is an example of a control unit.
  • the HDMI interface 320 is an example of a communication unit.
  • the liquid crystal display 350 is an example of a display unit.
  • the display device 300 is an example of a display control device.
  • the present disclosure is applicable to a display control device and a display control system that control the PinP display function.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Marketing (AREA)
  • Business, Economics & Management (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

　表示制御装置は、表示部で表示される画像を制御する。表示制御装置は、第１の画像及び第１の画像に重畳した第２の画像を含む画像を生成して表示部に表示させる制御部を備える。制御部は、第１のモードに設定されているときは、第１の画角の第１の画像を表示部に表示するよう制御し（図１１（Ａ）（Ｂ））、第２のモードに設定されているときは、第１の画角よりも広角な第２の画角の第１の画像を表示部に表示するよう制御する（図１１（Ｃ）（Ｄ））。第２のモードは、第２の画角の第１の画像の領域中における第２の画像の領域を設定するためのモードである。

Description

表示制御装置
　本開示は、ＰｉｎＰ（Picture in Picture）機能を有する表示制御装置に関する。
　一の画像中に別の画像を表示するＰｉｎＰ（Picture in Picture）機能を有する表示制御装置が知られている。例えば、特許文献１は、それぞれ異なるテレビ放送局から同時に放送されている、一の放送番組の画像と、他の放送番組の画像とを一画面中に表示するテレビ受像機を開示している。特許文献１では、一方の放送番組の画像を親画像とし、他方の放送番組の画像を子画像としてＰｉｎＰ表示している。
特開平９－１６３２６０号公報
　本開示は、より好適なＰｉｎＰ表示を行なうことができる表示制御装置を提供する。
　本開示に係る表示制御装置は、表示部で表示される映像を制御する表示制御装置である。表示制御装置は、第１の画像及び第１の画像に重畳した第２の画像を含む画像を生成して表示部に表示させる制御部を備える。制御部は、第１のモードに設定されているときは、第１の画角の第１の画像を表示部に表示するよう制御し、第２のモードに設定されているときは、第１の画角よりも広角な第２の画角の第１の画像を表示部に表示するよう制御する。第２のモードは、第２の画角の第１の画像の領域中における第２の画像の領域を設定するためのモードである。
　本発明の表示制御装置によれば、より好適なＰｉｎＰ表示を行なうことができる。
本実施形態のテレビ会議システムの構成図 ２つの拠点間を接続したテレビ会議システムの利用形態を示した図 メイン画像中にＰｉｎＰ画像を表示するＰｉｎＰ表示機能を説明した図 リモートカメラの電気的構成図 撮像画像領域、メイン画像領域、及びＰｉｎＰ画像領域を説明した図 表示装置の電気的構成図 赤外線リモコンの電気的構成図 リモートカメラを操作するための操作画面を説明した図 ＰｉｎＰ表示選択釦が操作されたときの表示装置の動作を示すフローチャート 制御対象選択釦が操作されたときの表示装置の動作を示すフローチャート 制御対象選択釦が操作されたときの画面遷移を説明した図 ＨＤＭＩ出力時の出力アスペクト比の切り替え時の表示装置の動作を示すフローチャート 出力アスペクト比の切り替え時の画面遷移を説明した図
　以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
　〔実施の形態１〕
　図１は、実施の形態１にかかるテレビ会議システムのシステム構成図である。図１に示すように、実施の形態１にかかるテレビ会議システム１００は、リモートカメラ２００と、リモートカメラ２００とＨＤＭＩケーブル１１０を介して接続された表示装置３００とを備える。
　図２は、実施の形態１のテレビ会議システム１００で２つの拠点Ａ、Ｂ間を接続した時の構成を示した図である。２つの拠点Ａ、Ｂ間において、リモートカメラ２００と表示装置３００はネットワークを経由して接続されてもよい。
　テレビ会議システム１００においては、リモートカメラ２００に対する赤外線リモコン４００の操作や、表示装置３００の操作により、表示装置３００に表示するＰｉｎＰ画像の表示を制御することができる。ここで、ＰｉｎＰ画像とは、図３に示すような、メイン画像８００中に表示される別の画像８１０である。本実施形態のテレビ会議システム１００は、表示装置３００上に、メイン画像８００とともにこのようなＰｉｎＰ画像を表示させるＰｉｎＰ表示機能を有する。
　以下、テレビ会議システム１００の構成および動作について順に説明する。
　〔１－１．構成〕
　〔１－１－１．リモートカメラ〕
　図４は、リモートカメラ２００の電気的構成図である。リモートカメラ２００の構成について、図４を用いて説明する。
　図４に示すように、リモートカメラ２００は、コントローラ２１０、レンズ２２０、ＣＭＯＳイメージセンサ２３０、画像処理部２４０、メモリ２５０、ＨＤＭＩインタフェース２６０、及び赤外線受光部２７０を備える。
　コントローラ２１０は、リモートカメラ２００全体の動作を統括制御する。コントローラ２１０は、プログラム等の情報を格納するＲＯＭ（不図示）、プログラム等の情報を処理するＣＰＵ（不図示）等により構成される。ＲＯＭは、レンズ制御や、デジタルズーム制御に関するプログラムの他、リモートカメラ２００全体の動作を統括制御するためのプログラムを格納している。コントローラ２１０は、垂直同期信号（ＶＤ）に基づいて、ＣＭＯＳイメージセンサ２３０及び画像処理部２４０などに制御信号を送信する。コントローラ２１０は、ハードワイヤードな電子回路で構成してもよいし、マイクロコンピュータなどで構成してもよい。また、後述する画像処理部２４０などと共に１つの集積回路として構成してもよい。なお、ＲＯＭはコントローラ２１０の内部構成である必要はなく、コントローラ２１０の外部に備わったものでもよい。
　レンズ２２０は、フォーカスレンズ等の光学系を含む。リモートカメラ２００は、図示していないが、ズームレンズ、絞り、メカニカルシャッタ、光学式手ぶれ補正レンズを含んでいてもよい。レンズ２２０を構成する各種レンズは何枚から構成されるものでも、何群から構成されるものでもよい。
　ＣＭＯＳイメージセンサ２３０は、レンズ２２０を通して形成された被写体像を撮像して画像データを生成する。ＣＭＯＳイメージセンサ２３０は、所定のフレームレート（例えば、３０フレーム／秒）で新しいフレームの画像データを生成する。ＣＭＯＳイメージセンサ２３０の画像データ生成タイミングおよび電子シャッタ動作は、コントローラ２１０によって制御される。なお、ＣＭＯＳイメージセンサ２３０に代えて、ＣＣＤイメージセンサやＮＭＯＳイメージセンサなど、他の撮像素子を用いても良い。
　画像処理部２４０は、ＣＭＯＳイメージセンサ２３０から出力された画像データに対して各種の画像処理を施す。各種処理としては、ガンマ補正、ホワイトバランス補正、ＹＣ変換処理、電子ズーム処理、圧縮処理、伸張処理等が挙げられるが、これらに限定されるものではない。画像処理部２４０は、ハードワイヤードな電子回路で構成してもよいし、これらの処理を行うためのプログラムを実行するマイクロコンピュータ等で構成してもよい。また、コントローラ２１０等と共に１つの集積回路として構成してもよい。
　メモリ２５０は、コントローラ２１０及び画像処理部２４０のワークメモリとして機能する記憶媒体である。メモリ２５０はＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などで実現できる。メモリ２５０は、撮像画像記憶領域２５０ａと、出力画像記憶領域２５０ｂを有する。撮像画像記憶領域２５０ａは、ＣＭＯＳイメージセンサ２３０が撮像した画像を一時的に記憶させておくための記憶領域である。出力画像記憶領域２５０ｂは、表示装置３００に出力する画像を一時的に記憶させておくための記憶領域である。なお、本例では、ＣＭＯＳイメージセンサ２３０が撮像した画像の一部の領域を、表示装置３００に出力する画像とする。このため、ＣＭＯＳイメージセンサ２３０が撮像した画像の画角は、表示装置３００に出力する画像の画角よりも大きくなる。
　ＨＤＭＩインタフェース２６０は、ＨＤＭＩ（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）規格に準拠した通信を実施するための通信インタフェースである。ＨＤＭＩインタフェース２６０は、画像・音声等の各種デジタル信号を双方向に伝送することができる。ＨＤＭＩインタフェース２６０は、ＨＤＭＩケーブル１１０を介して、他の電子機器のＨＤＭＩに電気的に接続される。すなわち、リモートカメラ２００は、ＨＤＭＩケーブル１１０を介して、他の電子機器（表示装置３００など）に電気的に接続される。これにより、リモートカメラ２００は、他の電子機器に対して画像・音声等の各種デジタル信号を送信したり、他の電子機器から制御コマンド等の各種デジタル信号を受信したりすることができる。なお、ＨＤＭＩインタフェース２６０に換えて、有線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）や無線ＬＡＮなど、他の接続手段を用いても良い。
　赤外線受光部２７０は、赤外線リモコン４００からの赤外線信号を受信するためのインタフェースである。赤外線受光部２７０で受信した赤外線信号は、コントローラ２１０に送信される。コントローラ２１０は、受信した赤外線信号に基づいて各種の制御を実行する。赤外線受光部２７０は、リモートカメラ２００に必須の構成要素ではない。但し、赤外線受光部２７０を備えていることによって、赤外線リモコン４００から送信される赤外線信号を受信することができ、使用者に対して、複数の操作方法を提供することができる。
　〔１－１－１－１．撮像領域における画像領域〕
　図５は、ＣＭＯＳイメージセンサ２３０により撮像された全画像領域において表示に使用される各領域を説明するための図である。撮像画像領域９００は、ＣＭＯＳイメージセンサ２３０の撮像によって得られる画像領域の全領域である。メイン画像領域９１０は、撮像画像領域９００のうちの一部の領域であって、後述のメイン画像８００が制御対象として選択されているときに、表示装置３００上でメイン画面として採用（表示）される画像領域である。ＰｉｎＰ画像領域９２０Ａ～９２０Ｃは、撮像画像領域９００のうち、表示装置３００上でＰｉｎＰ画像として採用（表示）される画像領域の例である。図５は、ＰｉｎＰ画像領域として採用可能な画像領域のバリエーション９２０Ａ～９２０Ｃを例示している。ＰｉｎＰ画像領域９２０Ａは、メイン画像領域９１０内に完全に包含されるＰｉｎＰ画像領域を設定した場合の例である。ＰｉｎＰ画像領域９２０Ｂは、メイン画像領域９１０と一部が重なるようにＰｉｎＰ画像領域を設定した場合の例である。ＰｉｎＰ画像領域９２０Ｃは、メイン画像領域９１０の外側の画像領域をＰｉｎＰ画像領域として設定した場合の例である。このように、本テレビ会議システム１００では、撮像画像領域９００の一部の領域がＰｉｎＰ画像領域として切り出され、表示装置３００に表示される。すなわち、撮像画像領域９００内であれば、メイン画像領域９１０の外側であっても内側であっても、後述するＰｉｎＰ画像領域を設定するモードにおいて、ワイド端方にシフトしたメイン画像８００の領域の範囲内であれば、ＰｉｎＰ画像領域として採用することができる。これにより、テレビ会議システム１００の用途に応じて適切なＰｉｎＰ画像を表示させることができる。
　〔１－１－２．表示装置〕
　図６は、表示装置３００の電気的構成図である。表示装置３００の構成について、図６を用いて説明する。
　図６に示すように、表示装置３００は、コントローラ３１０、ＨＤＭＩ３２０、画像処理部３３０、メモリ３４０、液晶ディスプレイ３５０、操作部３６０を備える。
　コントローラ３１０は、表示装置３００全体の動作を統括制御する。コントローラ３１０は、プログラム等の情報を格納するＲＯＭ（不図示）、プログラム等の情報を処理するＣＰＵ（不図示）等により構成される。ＲＯＭは、表示制御に関するプログラムの他、表示装置３００全体の動作を統括制御するためのプログラムを格納している。コントローラ３１０は、垂直同期信号（ＶＤ）に基づいて、画像処理部３３０及び液晶ディスプレイ３５０などに制御信号を送信する。コントローラ３１０は、ハードワイヤードな電子回路で構成してもよいし、マイクロコンピュータなどで構成してもよい。また、後述する画像処理部３３０などと共に１つの集積回路として構成してもよい。なお、ＲＯＭはコントローラ３１０の内部構成である必要はなく、コントローラ３１０の外部に備わったものでもよい。
　ＨＤＭＩインタフェース３２０は、ＨＤＭＩ規格に準拠した通信を実施するための通信インタフェースである。ＨＤＭＩインタフェース３２０は、画像・音声等の各種デジタル信号を双方向に伝送することができる。ＨＤＭＩインタフェース３２０は、ＨＤＭＩケーブル１１０を介して、他の電子機器のＨＤＭＩに電気的に接続される。すなわち、表示装置３００は、ＨＤＭＩケーブル１１０を介して、他の電子機器（リモートカメラ２００など）に電気的に接続される。これにより、表示装置３００は、他の電子機器から画像・音声等の各種デジタル信号を受信したり、他の電子機器に対して制御コマンド等の各種デジタル信号を送信したりすることができる。なお、ＨＤＭＩインタフェース３２０に換えて、有線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）や無線ＬＡＮなど、他の接続手段を用いても良い。
　画像処理部３３０は、ＨＤＭＩインタフェース３２０を介して取得した画像データに対して各種の画像処理を施す。各種処理としては、ガンマ補正、ホワイトバランス補正、ＹＣ変換処理、電子ズーム処理、圧縮処理、伸張処理等が挙げられるが、これらに限定されるものではない。画像処理部３３０は、ハードワイヤードな電子回路で構成してもよいし、これらの処理を行うためのプログラムを実行するマイクロコンピュータ等で構成してもよい。また、コントローラ３１０等と共に１つの集積回路として構成してもよい。
　メモリ３４０は、コントローラ３１０や、画像処理部３３０のワークメモリとして機能する記憶媒体である。メモリ３４０はＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などで実現できる。メモリ３４０は、出力画像記憶領域３４０ａを有する。出力画像記憶領域３４０ａは、液晶ディスプレイ３５０に出力する画像を一時的に記憶させておくための記憶領域である。
　液晶ディスプレイ３５０は、画像処理部３３０にて処理されメモリ３４０内の出力画像記憶領域３４０ａに記憶された画像を表示する。なお、液晶ディスプレイ３５０に代えて、有機ＥＬディスプレイなど、他の表示デバイスを用いてもよい。
　操作部３６０は、表示装置３００に備わっているキーボード及びマウス等の総称であり、ユーザによる操作を受け付ける。操作部３６０は、ユーザによる操作を受け付けると、コントローラ３１０に種々の動作指示信号を送信する。
　〔１－１－３．赤外線リモコン〕
　図７は、赤外線リモコン４００の電気的構成図である。赤外線リモコン４００の構成について、図７を用いて説明する。
　図７に示すように、赤外線リモコン４００は、操作部４１０、コントローラ４２０、赤外線送信部４３０を備える。
　操作部４１０は、赤外線リモコン４００に備わっている十字キーや、ナンバーキー等の総称であり、ユーザによる操作を受け付ける。操作部４１０は、ユーザによる操作を受け付けると、コントローラ４２０に種々の動作指示信号を通知する。
　コントローラ４１０は、赤外線リモコン４００全体の動作を統括制御する。コントローラ４２０は、操作部４１０から受信された動作指示信号に基づいて、制御信号を生成する。コントローラ４２０は、生成した制御信号を赤外線送信部４３０に送信する。
　赤外線送信部４３０は、リモートカメラ２００の赤外線受光部２７０に赤外線信号を送信するためのインタフェースである。赤外線送信部４３０は、コントローラ４２０から受信した制御信号に基づいて、赤外線信号を外部に発信する。
　なお、赤外線リモコン４００は、テレビ会議システム１００に必須の構成ではない。但し、赤外線４００に対応していることにより、使用者に対して、複数の操作方法を提供することができる。
　〔１－１－３－１．リモートカメラの操作画面〕
　図８は、リモートカメラ２００を操作する画面の一例を示す図である。図８を用いて、リモートカメラ２００を操作するための画面について説明する。
　図８に示す表示画面５００は、リモートカメラ２００で作成され、ＨＤＭＩケーブル１１０を介して表示装置３００に送信され、表示装置３００の液晶ディスプレイ３５０に表示される。尚、図８に示す表示画面は、リモートカメラ２００側ではなく、表示装置３００側で作成するようにしてもよい。表示画面５００は、カメラ画像表示領域５１０、ズーム指示釦５２０、方向指示釦５３０、制御対象選択釦５４０、ＰｉｎＰ表示選択釦５５０等を有している。表示画面５００の各種釦５２０、５３０、・・・は、表示装置３００の操作部３６０により操作される。
　なお、表示画面５００において、ズーム指示釦５２０、方向指示釦５３０、制御対象選択釦５４０、ＰｉｎＰ表示選択釦５５０は必須の構成要素ではない。リモートカメラ２００の操作を赤外線リモコン４００等の他の操作手段を用いて行う場合は、これらの構成要素はなくてもよい。
　表示画面５００の各構成要素について説明する。カメラ画像表示領域５１０は、リモートカメラ２００から出力されたリアルタイム画像を表示する領域である。
　ズーム指示釦５２０は、望遠方向（画像拡大方向）のズーム指示釦と、広角方向（画像縮小方向）のズーム指示釦とを含む。ユーザは、表示装置３００の操作部３６０を操作して、ズーム指示釦５２０のいずれかの方向の釦を押下することにより、リモートカメラ２００に対して望遠方向または広角方向へのズーム指示を行う。操作部３６０の操作によりズーム指示を受け付けると、コントローラ３１０は、ＨＤＭＩインタフェース３２０及びＨＤＭＩケーブル１１０を介して、リモートカメラ２００にズーム指示する。リモートカメラ２００のコントローラ２１０は、表示装置３００からのズーム指示に従ってズーム制御を行なう。そして、リモートカメラ２００は、ズーム指示内容が反映された画像を、ＨＤＭＩインタフェース２６０及びＨＤＭＩケーブル１１０を介して表示装置３００に送信する。これにより、カメラ画像表示領域５１０に、ズーム指示内容が反映された画像が表示される。
　方向指示釦５３０は、上下左右方向の移動指示釦を含む。ユーザは、操作部３６０を操作して、方向指示釦５３０のいずれかの方向の釦を押下することにより、リモートカメラ２００により撮影される被写体の位置を変更することができる。
　制御対象選択釦５４０は、メイン画面とＰｉｎＰ画面のいずれを、ズーム指示釦５２０および方向指示釦５３０による制御対象とするかを設定するための釦である。ユーザは、表示装置３００の操作部３６０を操作して、制御対象選択釦５４０のうちのメイン画面釦かＰｉｎＰ画面釦のいずれかを押下する。これにより、リモートカメラ２００に対する、ズーム指示釦５２０または方向指示釦５３０に基づく指示を、メイン画像とＰｉｎＰ画像のどちらの制御に対して適用するかを選択することができる。
　ＰｉｎＰ表示選択釦５５０は、ＰｉｎＰ表示のＯＮ/ＯＦＦを切り替えるための釦である。ユーザにより、操作部３６０が操作されて、ＰｉｎＰ表示の「ＯＮ」が選択されると、メイン画面の右上にＰｉｎＰ画像を重畳した合成画像がリモートカメラ２００から表示装置３００に出力される。これにより、表示画面５００のカメラ画像表示領域５１０に、リモートカメラ２００から出力された合成画像（ＰｉｎＰ画像）が表示される。ＰｉｎＰ表示の「ＯＦＦ」が選択された場合は、ＰｉｎＰ画像は重畳されず、メイン画面のみリモートカメラ２００から表示装置３００に出力される。これにより、カメラ画像表示領域５１０にメイン画面のみが表示される。
　〔１－２．動作〕
　実施の形態１にかかるテレビ会議システム１００の動作について順次説明する。
　〔１－２－１．ＰｉｎＰ表示選択釦の操作時の動作〕
　図９は、図８に示す表示画面５００においてＰｉｎＰ表示選択釦５５０が操作されたときの動作を示すフローチャートである。図９を用いて、ＰｉｎＰ表示選択釦５５０を操作したときの動作を説明する。
　表示装置３００のコントローラ３１０は、ＰｉｎＰ表示選択釦５５０に対するユーザによる操作（ＯＮ/ＯＦＦ）を監視している（Ｓ６００）。ユーザがＰｉｎＰ表示選択釦５５０を操作して、ＰｉｎＰ画像の「ＯＦＦ」を指示する釦が押下された場合（Ｓ６００におけるＮＯ）、表示装置３００のコントローラ３１０は、ＰｉｎＰ画像を出力せずメイン画像のみを出力する旨の指示（ＰｉｎＰ表示ＯＦＦの指示）を、ＨＤＭＩインタフェース３２０経由でリモートカメラ２００に送信する。なお、リモートカメラ２００へのＰｉｎＰ表示のＯＮ／ＯＦＦの指示は、表示装置３００からＨＤＭＩインタフェース３２０、２６０経由で行なってもよいし、赤外線リモコン４００を使用してリモートカメラ２００内部に付属している赤外線受光部２７０経由で行なってもよい。
　リモートカメラ２００のコントローラ２１０は、ＰｉｎＰ表示ＯＦＦの指示を受信した場合、メモリ２５０の出力画像記憶領域２５０ｂにメイン画像のデータのみ書き込みを行い、その後、出力画像記憶領域２５０ｂに書き込んだメイン画像のデータをＨＤＭＩインタフェース２６０を介して表示装置３００に出力する。
　表示装置３００のコントローラ３１０は、リモートカメラ２００からＨＤＭＩインタフェース３２０経由で入力された画像データが示す画像（ＰｉｎＰ画像なしのメイン画面）を、液晶ディスプレイ３５０上のカメラ画像表示領域５１０に表示する（Ｓ６１０）。
　一方、ＰｉｎＰ表示選択釦５５０のうちＰｉｎＰ画像の「ＯＮ」を指示する釦が押下された場合（Ｓ６００におけるＹＥＳ）、表示装置３００のコントローラ３１０は、メイン画像にＰｉｎＰ画像を重畳した合成画像を出力する旨の指示（ＰｉｎＰ表示ＯＮの指示）を、ＨＤＭＩインタフェース３２０経由でリモートカメラ２００に送信する。リモートカメラ２００のコントローラ２１０は、ＰｉｎＰ表示ＯＮの指示を受信すると、メモリ２５０の出力画像記憶領域２５０ｂにおいて、メイン画像の書き込みを行った後メイン画像の画像右上にＰｉｎＰ画像を重畳させて書き込みを行って、合成画像を生成する。その後、コントローラ２１０は、出力画像記憶領域２５０ｂに書き込んだ合成画像を、ＨＤＭＩインタフェース２６０を介して表示装置３００に出力する。
　表示装置３００のコントローラ３１０は、リモートカメラ２００からＨＤＭＩインタフェース３２０経由で入力した合成画像を、液晶ディスプレイ３５０のカメラ画像表示領域５１０に表示する（Ｓ６２０）。
　尚、ＰｉｎＰ画像をメイン画像に重畳する位置は右上に限定されず、ユーザ操作による設定により画面の右上、左上、左下、右下等の任意の位置を選択できるようにしてもよい。
　〔１－２－２．制御対象選択釦の操作時の動作〕
　図１０は、制御対象選択釦５４０が操作されたときの表示装置３００の動作を示すフローチャートである。図１０を用いて、制御対象選択釦５４０が操作されたときの表示装置３００の動作を説明する。
　表示装置３００のコントローラ３１０は、制御対象選択釦５４０についてメイン画像釦またはＰｉｎＰ画像釦のいずれかが選択されたか否かを監視している。図１０のフローチャートに示す処理は、制御対象選択釦５４０についてメイン画像釦またはＰｉｎＰ画像釦のいずれかが選択されたときに実行される。
　ユーザにより制御対象選択釦５４０のうちメイン画像釦が押下された場合（Ｓ７００におけるＮＯ）、表示装置３００のコントローラ３１０は、制御対象をメイン画像とする旨の指示を、ＨＤＭＩインタフェース３０２経由でリモートカメラ２００に送信する（Ｓ７０５）。リモートカメラ２００のコントローラ２１０は、制御対象をメイン画像とする旨の指示を受信する。この状態で表示装置３００からズーム指示釦５２０の操作指示内容が通知されると、リモートカメラ２００のコントローラ２１０は、画像処理部２４０に対して、メイン画像のみを、操作指示内容に基づきズーム処理するように指示する。
　尚、リモートカメラ２００におけるズーム処理は、画像処理部２４０による電子ズーム処理に限定されず、レンズ２２０による光学的なズーム処理でもよい。
　リモートカメラ２００の画像処理部２４０では、垂直同期信号（ＶＤ）に基づいて、メイン画像とＰｉｎＰ画像に対して交互に処理を行っている。すなわち、メイン画像を処理しているタイミングにおいて、デジタルズーム処理を行い、デジタルズーム処理された画像をメモリ２５０に書き込み、ＨＤＭＩインタフェース２６０を経由して出力する。方向指示釦５３０が操作された場合、コントローラ２１０は、メイン画像が示す被写体の位置を変更するように、画像処理部２４０に対して指示する。
　画像処理部２４０は、メイン画像の画像処理を行うタイミングにおいて、ＣＭＯＳイメージセンサ２３０から出力された撮像画像（メモリ２５０の撮像画像記憶領域２５０ａに書き込まれた画像）における、メイン画像として採用する画像領域の位置を、方向指示釦５３０の操作にしたがい変更する。画像処理部２４０は、変更した画像領域の画像データをメモリ２５０の出力画像記憶領域２５０ｂに書き込み、ＨＤＭＩインタフェース２６０を経由して出力する。表示装置３００のコントローラ３１０は、リモートカメラ２００からＨＤＭＩインタフェース３２０経由で入力された画像データが示す画像をカメラ画像表示領域５１０に表示する。
　次に、ユーザがＰｉｎＰ画像を制御対象として選択した場合を説明する。図１０のフローチャートにおいて、ユーザにより制御対象選択釦５４０のうちＰｉｎＰ画像釦が押下された場合（Ｓ７００におけるＹＥＳ）、表示装置３００のコントローラ３１０は、メイン画像が示す画像の範囲がより広くなるようにＨＤＭＩ３２０経由でリモートカメラ２００に指示を行う（Ｓ７１０）。すなわち、コントローラ３１０は、メイン画像のズームポジションをワイド端へ移動させるようにリモートカメラ２００に指示を行う（Ｓ７１０）。
　ＰｉｎＰ画像が制御対象になっているとき、ユーザは、ズーム指示釦５２０や方向指示釦５３０を操作することで、撮像画像の全領域のうちの任意の画像領域をＰｉｎＰ画像として設定できる。ＰｉｎＰ画像が制御対象になったときに、コントローラ２１０がメイン画像が示す画像の範囲をより広くすることにより（すなわち、ズームポジションをワイド端へ移動することにより）、ユーザは、ＰｉｎＰ画像の現在または将来の設定位置をより把握しやすくなる。すなわち、メイン画像を最も広角な画像に変更されることで、ユーザは、撮像画像領域全体におけるＰｉｎＰ画像の相対的な位置関係を把握しやすくなる。よって、ユーザは、撮像画像領域における、現在設定されているＰｉｎＰ画像領域の位置を把握しやすくなる。また、ユーザは、撮像画像の領域中のいずれの位置にＰｉｎＰ画像を設定すればよいかを、把握しやすくなる。
　本実施形態では、ＰｉｎＰ画像の設定位置の操作時に、よりユーザが把握しやすいように、ズームポジションをワイド端に移動させた。しかし、ズームポジションはワイド端まで移動させなくてもよい。ＰｉｎＰ画像が制御対象とされる直前まで表示されていたメイン画像の画角よりも、よりワイド端側の画角になるよう、ズームポジションをシフトさせてもよい。このような方法であっても、ユーザは、撮像画像領域全体におけるＰｉｎＰ画像の相対的な位置関係を把握しやすくなる。
　リモートカメラ２００のコントローラ２１０は、メイン画像のズームポジションをワイド端へ移動する指示を受け取ると、画像処理部２４０に対して、メイン画像をワイド端にズームするように指示する。画像処理部２４０は、メイン画像の画像処理をしているタイミングにおいて、ズームポジションがワイド端になるようズーム処理を行い、撮像した画像データをメモリ２５０に書き込み、ＨＤＭＩインタフェース２６０経由で出力する。表示装置３００は、ＨＤＭＩインタフェース３２０を介して、ズームポジションがワイド端に移動したメイン画像を含む合成画像をリモートカメラ２００から取得する（Ｓ７２０）。
　そして、表示装置３００のコントローラ３１０は、リモートカメラ２００からＨＤＭＩインタフェース３２０経由で取得した合成画像を、液晶ディスプレイ３５０のカメラ画像表示領域５１０に表示する（Ｓ７３０）。これにより、ユーザがＰｉｎＰ画像の領域や位置を把握しやすい（すなわち、ＰｉｎＰ画像を制御しやすい）合成画像が表示装置３００に表示された状態になる。
　この状態において、表示装置３００のコントローラ３１０は、ズーム指示釦５２０や方向指示釦５３０が操作されたか否かを監視している（Ｓ７４０）。ズーム指示釦５２０または方向指示釦５３０が操作された場合（Ｓ７４０におけるＹＥＳ）、コントローラ３１０は、操作内容に従ってリモートカメラ２００に対して指示を行う（Ｓ７５０）。
　例えば、ズーム指示釦５２０が操作された場合、コントローラ３１０は、リモートカメラ２００の画像処理部２４０に対して、メイン画像に対してはズーム処理をせず、ＰｉｎＰ画像のみをズーム処理するように指示する。画像処理部２４０は、ＰｉｎＰ画像の画像処理をしている期間のみ、ＰｉｎＰ画像に対してデジタルズーム処理を行う。そして、画像処理部２４０は、メモリ２５０の出力画像記憶領域２５０ｂに、デジタルズーム処理後のＰｉｎＰ画像を含む合成画像を書き込む。その後、ＨＤＭＩインタフェース２６０経由で合成画像が出力される。
　方向指示釦５３０が操作された場合も同様に、コントローラ３１０は、リモートカメラ２００の画像処理部２４０に対して、撮像画像の画像領域における、新たなＰｉｎＰ画像の読み出し位置を指示する。画像処理部２４０では、垂直同期信号に基づいて、ＰｉｎＰ画像の画像処理をしている期間において、撮像画像の領域におけるＰｉｎＰ画像の読み出し位置を変更する。変更後の読み出し位置の画像データがメモリ２５０に書き込まれ、ＨＤＭＩインタフェース２６０経由で出力される。
　表示装置３００のコントローラ３１０は、リモートカメラ２００からＨＤＭＩインタフェース３２０経由で受信した画像データが示す画像をカメラ画像表示領域５１０に表示する。
　この状態において、表示装置３００のコントローラ３１０は、メイン画像が制御対象として選択されたか否かを監視している（Ｓ７６０）。表示装置３００のコントローラ３１０は、メイン画像が制御対象として再び選択されるまで、すなわちＰｉｎＰ画像が制御対象として選択されている間は、ステップＳ７３０からステップＳ７６０の動作を繰り返す。
　その後、メイン画像が制御対象として選択された場合（Ｓ７６０におけるＹＥＳ）、表示装置３００のコントローラ３１０は、メイン画像が再びステップＳ７００以前の画角に復帰させるようリモートカメラ２００に指示する（Ｓ７７０）。そして、表示装置３００のコントローラ３１０は、以前の画角のメイン画像（以前のズームポジションで撮影されたメイン画像）を含む画像データをリモートカメラ２００から受信し、受信した画像データが示す画像をカメラ画像表示領域５１０に表示する（Ｓ７８０）。以上により、撮像画像が示す画像領域のうちいずれの画像領域をＰｉｎＰ画像とするかの設定が完了する。
　図１１は、制御対象選択釦５０４が操作されたときの画面の遷移を説明した図である。以下、図１１（Ａ）から図１１（Ｅ）を用いて、制御対象選択釦５４０が操作されたときの画面遷移について説明する。
　図１１（Ａ）は、メイン画像８００が制御対象として選択されており、ＰｉｎＰ画像８１０の表示がＯＦＦに選択されているときの、カメラ画像表示領域５１０に表示された画面の例を示した図である。このとき、ＰｉｎＰ画像８１０の表示がＯＦＦに選択されているため、カメラ画像表示領域５１０にはＰｉｎＰ画像８１０は表示されない。また、メイン画像８００が制御対象として選択されているため、ユーザは、ズーム指示釦５２０や方向指示釦５３０を操作することにより、撮像画像の全画像領域において、いずれの画像領域をメイン画像とするかを設定することができる。
　図１１（Ｂ）は、図１１（Ａ）の画面から遷移した画面を示している。図１１（Ｂ）は、メイン画像８００が制御対象として選択されたままであり、ＰｉｎＰ画像８１０の表示がＯＮに選択されたときの画面例を示す図である。このとき、ＰｉｎＰ画像８１０の表示がＯＮに選択されたため、カメラ画像表示領域５１０は、メイン画像８００にＰｉｎＰ画像８１０が重畳された合成画像を表示する。
　図１１（Ｃ）は、図１１（Ｂ）の画面から遷移した画面を示している。図１１（Ｃ）は、ＰｉｎＰ画像８１０の表示がＯＮに選択されたままであり、ＰｉｎＰ画像８１０が制御対象として選択されたときの画面の例を示す図である。このとき、ＰｉｎＰ画像８１０が制御対象に選択されたことに伴い、破線枠８２０がメイン画像８００に重畳されて表示されている。この破線枠８２０は、メイン画像８００の画像領域においてＰｉｎＰ画像８１０として読み出している領域を示している。この破線枠８２０により、ユーザは、メイン画像８００が示す画像領域のうち、いずれの画像領域がＰｉｎＰ画像８１０として設定されているかを把握することができる。また、ＰｉｎＰ画像８１０が制御対象に選択されたことに伴い、メイン画像８００が示す画像領域の画角（ズームポジション）が、ワイド端にシフトしている。これにより、ユーザは、撮像画像のうちＰｉｎＰ画像として現在設定されている画像領域の位置および、撮像画像のうちいずれの画像領域にＰｉｎＰ画像としての設定位置を変更させればよいかを、把握しやすくなる。図１１（Ｃ）の画面が表示された状態において、ユーザは、より広角なメイン画像の領域中においてＰｉｎＰ画像の領域を設定することができる。
　図１１（Ｄ）は、図１１（Ｃ）の画面から遷移した画面を示している。図１１（Ｄ）は、ＰｉｎＰ画像８１０の表示がＯＮに選択されたままであり、ＰｉｎＰ画像８１０が制御対象として選択されたままである。図１１（Ｄ）では、ＰｉｎＰ画像の設定位置を示す破線枠８２０が、方向指示釦５３０の操作により、図１１（Ｃ）に示す位置から移動している。このとき、ＰｉｎＰ画像の設定位置を示す破線枠８２０の位置の移動に伴って、ＰｉｎＰ画像８１０の表示内容も変化している。これにより、ユーザは、ＰｉｎＰ画像の設定位置を移動させながら、ＰｉｎＰ画像８１０の表示内容がどのように変更されるかを把握しやすくなる。また、このとき、ＰｉｎＰ画像８１０が制御対象として選択されたままであるので、メイン画像８００が示す画像領域の画角（ズームポジション）は、ワイド端に維持されたままとなる。これにより、ユーザは、撮像画像のうちいずれの画像領域にＰｉｎＰ画像としての設定位置を変更させればよいか把握しながら、ＰｉｎＰ読み出し位置を移動させることができる。
　図１１（Ｅ）は、図１１（Ｄ）に示す画面から遷移した画面を示している。図１１（Ｅ）は、ＰｉｎＰ画像８１０の表示はＯＮに選択されたままであるが、制御対象がＰｉｎＰ画像８１０からメイン画像８００に変更されたときの画面を示す図である。制御対象がＰｉｎＰ画像８１０からメイン画像８００に変更されたことに伴い、ＰｉｎＰ画像の設定位置を示す枠８２０が表示されなくなっている。また、制御対象がＰｉｎＰ画像８１０からメイン画像８００に変更されたことに伴い、ＰｉｎＰ画像の設定位置の設定操作が完了したとみなし、メイン画像８００が示す画像領域の画角（ズームポジション）を、制御対象がＰｉｎＰ画像８１０に選択された直前の画角（ズームポジション）に復帰させている。以上の方法により、撮像画像が示す画像領域において、所望の画像領域をＰｉｎＰ画像に設定することができる。
　〔１－２－３．アスペクト比の切替時の動作〕
　図１２は、ＨＤＭＩインタフェース経由での画像出力時におけるアスペクト比の切り替え時の動作を示すフローチャートである。図１２を用いて、ＨＤＭＩ出力時の画像のアスペクト比の切り替えの動作について説明する。
　リモートカメラ２００のコントローラ２１０は、メイン画面のアスペクト比に変更があるか否かを監視している（Ｓ９００）。ユーザは、リモートカメラ２００のメニュー操作により、ＨＤＭＩ出力時の出力画像のアスペクト比の切り替えを行うことができる。リモートカメラ２００のアスペクト比に変更があった場合（Ｓ９００におけるＹＥＳ）、リモートカメラ２００のコントローラ２１０は、リモートカメラ２００の画像処理部２４０に対して、ＰｉｎＰ画像を重畳させる位置をシフトするように指示を行う（Ｓ９１０）。
　ここで、１６：９の出力アスペクトの設定時であって、ＰｉｎＰ画像をメイン画像が示す画像領域の右上端に表示している場合に、出力アスペクトが４：３サイドカットに変更された場合を例に説明する。このとき、メイン画像が示す画像領域において、ＰｉｎＰ画像を重畳させる位置を内側に移動させる。具体的には、画像処理部２４０は、４：３サイドカットによりメイン画像に重畳されたＰｉｎＰ画像が表示されなくなるのを防ぐために、ＰｉｎＰ画像の位置を少なくともサイドカットの幅の分だけ内側に移動させる。画像処理部２４０は、ＰｉｎＰ画像を画像処理しているタイミングにおいて、この処理を行う。画像処理部２４０は、メモリ２５０の出力画像記憶領域２５０ｂにＰｉｎＰ画像をメイン画像に重畳して書き込むときに、ＰｉｎＰ画像の書き込み位置をずらして書き込む。具体的には、ＰｉｎＰ画像の書き込み位置を、少なくともサイドカットにより表示されなくなるのを回避できる幅の分だけ、画面中心側にずらして、ＰｉｎＰ画像の書き込みを行う。リモートカメラ２００のコントローラ２１０は、メモリ２５０の出力画像記憶領域２５０ｂから、メイン画像と、画面内側にずらして書き込まれたＰｉｎＰ画像との合成画像を読み出し、画面左右にサイドブラックをつけてＨＤＭＩインタフェース２６０経由で出力する。
　表示装置３００のコントローラ３１０は、画面左右にサイドブラックが付けられた合成画像をＨＤＭＩインタフェース３２０を介して、リモートカメラ２００から取得する（Ｓ９２０）。
　そして、コントローラ３１０は、リモートカメラ２００から取得した合成画像を、液晶ディスプレイ３５０のカメラ画像表示領域５１０に表示する（Ｓ９３０）。
　以上のように、出力アスペクト比の切り替え時には、ＰｉｎＰ画像の表示位置がシフトされる。なお、アスペクト比が４：３から１６：９に変更される場合、ＰｉｎＰ画像の表示位置は外側にシフトされてもよい。
　図１３は、出力画像のアスペクト比の切り替え時の画面遷移を説明した図である。図１３（Ａ）は、出力アスペクトが１６：９に設定されているときの画面の例を示す図である。一方、図１３（Ｂ）は、図１３（Ａ）の状態から出力アスペクトが４：３サイドカットに設定変更されたときの画面の例を示す図である。図１３（Ｂ）に示すように、出力アスペクトが４：３サイドカットに設定変更されたときに、メイン画像に重畳させるＰｉｎＰ画像の画像領域がサイドカットに重ならないように、ＰｉｎＰ画像の位置を移動させている。これにより、ＰｉｎＰ画像が、サイドカットにより表示されなくなるのを回避することができる。
　上記の例では、アスペクト比が４：３サイドカットに設定変更された場合を説明したが、サイドカットに限らず上下カットでもよい。この場合は、アスペクト比の設定変更に伴い、メイン画像に重畳させるＰｉｎＰ画像の領域が上下カットに重ならないように、ＰｉｎＰ画像の位置を移動させる。
　また上記の例では、アスペクト比の切り替え操作をリモートカメラ２００側にて行なうようにしたが、表示装置３００からアスペクト比の切り替えを指示するように構成してもよい。
　〔１－３．効果等〕
　以上のように、表示装置３００は、液晶ディスプレイ３５０で表示される映像を制御する表示制御装置である。表示装置３００は、メイン画像及びメイン画像に重畳したＰｉｎＰ画像を含む画像を生成して液晶ディスプレイ３５０に表示させるコントローラ３１０を備える。コントローラ３１０は、メイン画面を制御対象にするモード（第１のモード）に設定されているときは、所定の画角（第１の画角）のメイン画像を液晶ディスプレイ３５０に表示するよう制御する。なお、第１のモードでは、メイン画像にＰｉｎＰ画像が重畳されて表示されているが、制御対象はメイン画面となっている。一方、ＰｉｎＰ画面を制御対象にするモード、すなわち、メイン画像の領域においてＰｉｎＰ画像の領域を設定するためのモード（第２のモード）に設定されているときは、コントローラ３１０は、より広角な画角のメイン画像を液晶ディスプレイ３５０に表示するよう制御する。これにより、ユーザは、撮像画像領域における、ＰｉｎＰ画像の現在の設定位置およびこれから設定するＰｉｎＰ画像の位置を把握しやすくなる。
　また、コントローラ３１０は、撮像画像が示す画像領域より狭い範囲の画像領域をメイン画像として設定し、撮像画像が示す画像領域における所定の領域をＰｉｎＰ画像としてそれぞれ設定する。そして、コントローラ３１０は、設定されたメイン画像に、設定されたＰｉｎＰ画像を重畳させた合成画像を液晶ディスプレイ３５０に表示するよう制御する。これにより、液晶ディスプレイ３５０に表示されたメイン画像が示す画像領域の外側の画像領域を、ＰｉｎＰ画像として設定することもできる。
　また、表示装置３００は、メイン画像と、ＰｉｎＰ画像とを取得し、取得されたメイン画像のうち、液晶ディスプレイ３５０への表示領域とする画像領域のアスペクト比に応じて、取得されたＰｉｎＰ画像をメイン画像に重畳させる位置を決定してもよい。その決定した位置に基づいてメイン画像にＰｉｎＰ画像を重畳させた合成画像を液晶ディスプレイ３５０に表示してもよい。これにより、ＰｉｎＰ画像の書き込み位置を、出力画像のアスペクト比の設定変更により表示されなくなるのを回避することができる。
　（他の実施の形態）
　以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。
　上記の実施形態では、メイン画像に対して１つのＰｉｎＰ画像を重畳して表示する例を説明したが、ＰｉｎＰ画像の数は一つに限らない。メイン画像に対して、複数のＰｉｎＰ画像を重畳して表示させてもよい。
　上記の実施形態では、ＰｉｎＰ機能に関する技術思想を、リモートカメラ２００と表示装置３００で構成されるテレビ会議システムに適用したが、適用対象は、テレビ会議システムに限定されない。上記実施の形態の技術思想は、ＰｉｎＰ機能を有する電子機器に適用できる。例えば、監視カメラと、監視カメラをコントロールする機器との組み合わせに適用することができる。
　上記の実施形態では、表示装置３００は液晶ディスプレイ３５０等の表示デバイスを内部に備えたが、必ずしも表示デバイスを備える必要はない。表示装置３００は、映像信号を外部接続した表示デバイスに出力してもよい。すなわち、表示装置３００は、内部に備えた又は外部接続した表示デバイスで表示される画像を制御できる装置であればよい。
　メイン画像は第１の画像の一例である。ＰｉｎＰ画像は第２の画像の一例である。コントローラ３６０は制御部の一例である。ＨＤＭＩインタフェース３２０は通信部の一例である。液晶ディスプレイ３５０は表示部の一例である。表示装置３００は表示制御装置の一例である。
　以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
　したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
　また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
　本開示は、ＰｉｎＰ表示機能を制御する表示制御装置、表示制御システムに適用可能である。

Claims (5)

  1. 　表示部で表示される映像を制御する表示制御装置であって、
    　第１の画像及び前記第１の画像に重畳した第２の画像を含む画像を生成して前記表示部に表示させる制御部を備え、
    　前記制御部は、
    　　第１のモードに設定されているときは、第１の画角の前記第１の画像を前記表示部に表示するよう制御し、
    　　第２のモードに設定されているときは、前記第１の画角よりも広角な第２の画角の前記第１の画像を前記表示部に表示するよう制御し、
    　前記第２のモードは、前記第２の画角の前記第１の画像の領域中における前記第２の画像の領域を設定するためのモードである、
    表示制御装置。
  2. 　前記第１のモードにおいて、前記制御部は、前記第１の画角で表示された前記第１の画像に、前記第２のモードにおいて設定された前記第２の画像を合成した画像を前記表示部に表示させる、
    　請求項１に記載の表示制御装置。
  3. 　撮像装置と通信を行う通信部をさらに備え、
    　前記第１の画像は、前記撮像装置で撮像され、前記通信部を介して前記撮像装置から受信した画像であり、
    　前記制御部は、前記第１のモードから前記第２のモードに切り替えられたときに、前記通信部を介して前記撮像装置に対して、前記第２の画角で画像を撮像するよう指示を送信する、
    　請求項１または２に記載の表示制御装置。
  4. 　前記制御部は、前記第２の画角で撮像された前記第１の画像を、前記通信部を介して前記撮像装置から受信する、
    　請求項３に記載の表示制御装置。
  5. 　前記第１の画像及び前記第２の画像は、撮像装置により撮像された画像の全領域の一部を切り出した画像である、
    　請求項１または２に記載の表示制御装置。
PCT/JP2013/003709 2012-07-10 2013-06-13 表示制御装置 WO2014010170A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014524617A JP5799194B2 (ja) 2012-07-10 2013-06-13 表示制御装置
CN201380003000.0A CN103814567B (zh) 2012-07-10 2013-06-13 显示控制装置
US14/202,138 US9263001B2 (en) 2012-07-10 2014-03-10 Display control device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012154262 2012-07-10
JP2012-154262 2012-07-10

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/202,138 Continuation US9263001B2 (en) 2012-07-10 2014-03-10 Display control device

Publications (1)

Publication Number Publication Date
WO2014010170A1 true WO2014010170A1 (ja) 2014-01-16

Family

ID=49915655

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/003709 WO2014010170A1 (ja) 2012-07-10 2013-06-13 表示制御装置

Country Status (4)

Country Link
US (1) US9263001B2 (ja)
JP (1) JP5799194B2 (ja)
CN (1) CN103814567B (ja)
WO (1) WO2014010170A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI554103B (zh) * 2014-11-13 2016-10-11 聚晶半導體股份有限公司 影像擷取裝置及其數位變焦方法
JP6516480B2 (ja) * 2015-01-19 2019-05-22 キヤノン株式会社 表示装置、表示システム及び表示方法
CN108270986A (zh) * 2016-12-30 2018-07-10 中兴通讯股份有限公司 一种云台控制及处理方法、装置、系统、电子设备
CN109547731B (zh) * 2018-12-11 2021-06-29 视联动力信息技术股份有限公司 一种视频会议的展示方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02171094A (ja) * 1988-12-23 1990-07-02 Fujitsu Ltd 画像伝送方式
JPH06141312A (ja) * 1992-10-26 1994-05-20 Canon Inc テレビ会議装置
JPH07203274A (ja) * 1993-12-31 1995-08-04 Canon Inc 画像入力カメラの制御装置
JP2011071668A (ja) * 2009-09-25 2011-04-07 Hitachi Consumer Electronics Co Ltd テレビ電話機能付きテレビ受信機

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5742329A (en) 1992-10-26 1998-04-21 Canon Kabushiki Kaisha Image pickup system and communication system for use in video conference system or the like
EP1686802A3 (en) 1993-09-20 2008-05-21 Canon Kabushiki Kaisha Video system
JPH07231442A (ja) 1994-02-21 1995-08-29 Fujitsu Ltd 防犯監視装置
JPH09163260A (ja) 1995-12-13 1997-06-20 Sony Corp テレビ受信機
US7920200B2 (en) 2005-06-07 2011-04-05 Olympus Corporation Image pickup device with two cylindrical lenses
JP4596987B2 (ja) 2005-06-07 2010-12-15 オリンパス株式会社 画像撮像装置
JP2007122633A (ja) * 2005-10-31 2007-05-17 Casio Comput Co Ltd 情報表示制御装置および情報表示制御プログラム
US8155479B2 (en) * 2008-03-28 2012-04-10 Intuitive Surgical Operations Inc. Automated panning and digital zooming for robotic surgical systems
CN101312526A (zh) * 2008-06-26 2008-11-26 天津市亚安科技电子有限公司 全景联动视频监控装置及其全景图像的拼接方法
JP5083181B2 (ja) 2008-11-14 2012-11-28 株式会社ニコン デジタルカメラ
US20100188579A1 (en) * 2009-01-29 2010-07-29 At&T Intellectual Property I, L.P. System and Method to Control and Present a Picture-In-Picture (PIP) Window Based on Movement Data
EP2442549B1 (en) * 2010-10-14 2015-10-14 Sony Corporation Image capturing device, system and method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02171094A (ja) * 1988-12-23 1990-07-02 Fujitsu Ltd 画像伝送方式
JPH06141312A (ja) * 1992-10-26 1994-05-20 Canon Inc テレビ会議装置
JPH07203274A (ja) * 1993-12-31 1995-08-04 Canon Inc 画像入力カメラの制御装置
JP2011071668A (ja) * 2009-09-25 2011-04-07 Hitachi Consumer Electronics Co Ltd テレビ電話機能付きテレビ受信機

Also Published As

Publication number Publication date
US20140184642A1 (en) 2014-07-03
CN103814567B (zh) 2017-02-22
CN103814567A (zh) 2014-05-21
JPWO2014010170A1 (ja) 2016-06-20
JP5799194B2 (ja) 2015-10-21
US9263001B2 (en) 2016-02-16

Similar Documents

Publication Publication Date Title
US10455180B2 (en) Electronic apparatus and method for conditionally providing image processing by an external apparatus
JP4971594B2 (ja) プログラム及び表示制御装置
WO2013132828A1 (ja) 通信システムおよび中継装置
US8471912B2 (en) Electronic device and communication system
JP5436019B2 (ja) 制御装置、制御方法、プログラム及び記録媒体
JP5799194B2 (ja) 表示制御装置
US9323496B2 (en) Electronic device capable of transmitting an image
JP4369263B2 (ja) デジタルカメラ及び画像信号生成方法
JP5094583B2 (ja) 撮像装置、データ通信システムおよびデータ通信方法
US9392250B2 (en) Imaging apparatus and control method therefor
US20220247917A1 (en) Image capture apparatus, operation apparatus and control methods
JP6445831B2 (ja) 撮像装置及びその制御方法ならびにプログラム
JP2014016507A (ja) 表示制御装置
JP2013090243A (ja) 画像出力装置及び画像表示装置
JP5509590B2 (ja) 電子カメラ
JP2014016506A (ja) 表示制御装置
US20220377249A1 (en) Image capturing apparatus, control method thereof, and storage medium
JP6666024B2 (ja) 撮像装置及びそれを操作する外部操作器
JP6889622B2 (ja) 画像処理装置およびその制御方法ならびにプログラム
JP2017022589A (ja) 撮像装置
JP6917800B2 (ja) 画像処理装置およびその制御方法ならびにプログラム
JP2007123961A (ja) 画像表示装置及びビデオ信号生成方法
JP2019110423A (ja) 撮影装置、制御方法及びプログラム
JP2023067423A (ja) 撮像装置
KR20230019873A (ko) 영상표시장치 및 그의 동작방법

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2014524617

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13816823

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13816823

Country of ref document: EP

Kind code of ref document: A1