WO2014155623A1 - 携帯端末装置、表示制御方法およびプログラム - Google Patents

携帯端末装置、表示制御方法およびプログラム Download PDF

Info

Publication number
WO2014155623A1
WO2014155623A1 PCT/JP2013/059358 JP2013059358W WO2014155623A1 WO 2014155623 A1 WO2014155623 A1 WO 2014155623A1 JP 2013059358 W JP2013059358 W JP 2013059358W WO 2014155623 A1 WO2014155623 A1 WO 2014155623A1
Authority
WO
WIPO (PCT)
Prior art keywords
display screen
captured image
imaging
display
image
Prior art date
Application number
PCT/JP2013/059358
Other languages
English (en)
French (fr)
Inventor
一泰 大脇
土田 雅基
尾林 稔夫
Original Assignee
株式会社東芝
東芝ライフスタイル株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社東芝, 東芝ライフスタイル株式会社 filed Critical 株式会社東芝
Priority to JP2013552023A priority Critical patent/JP5861218B2/ja
Priority to PCT/JP2013/059358 priority patent/WO2014155623A1/ja
Priority to US14/465,678 priority patent/US20140362211A1/en
Publication of WO2014155623A1 publication Critical patent/WO2014155623A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4222Remote control device emulator integrated into a non-television apparatus, e.g. a PDA, media center or smart toy
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/045Zooming at least part of an image, i.e. enlarging it or shrinking it
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program

Definitions

  • Embodiments of the present invention relate to a mobile terminal device, a display control method, and a program.
  • An image displayed on the display device according to the detected viewer position by detecting the viewer position (for example, the distance from the display device to the viewer) which is the position of the viewer who views the display device such as a television
  • a technique for optimizing image quality parameters of the above and parameters for example, depth information etc.
  • a method of detecting a viewer position for example, a method of detecting a viewer position using a distance sensor such as an infrared sensor, a camera provided on a display device captures a face of the viewer and the captured face image
  • a distance sensor such as an infrared sensor
  • a viewer position is calculated using a captured image obtained by imaging of an imaging unit included in a portable terminal device such as a tablet terminal or a smartphone.
  • a method of adjusting the image quality of the image displayed on the display device based on the calculated viewer position.
  • the present invention has been made in view of the above, and increases the cost of a television set including a television case and a remote controller by providing a distance sensor and a camera, and restricts the design of the television case.
  • Abstract A portable terminal device, a display control method, and a program that enable adjustment of the image quality of an image displayed on a display device based on the acquired viewer position without acquiring the viewer position and the acquired viewer position. Do.
  • the mobile terminal device of the embodiment includes an imaging unit, a display unit, and a transmission unit.
  • the imaging unit can capture at least a part of the display screen of the display device.
  • the display unit can display a captured image obtained by imaging of the imaging unit.
  • the transmission unit is an adjustment for performing the image quality adjustment of the display screen based on the distance calculated using the captured image when the calculation image required to calculate the distance from the display screen to the own device is included in the captured image. Send information to the display.
  • FIG. 1 is an external perspective view showing an example of a television broadcast display apparatus according to the first embodiment.
  • FIG. 2 is a diagram showing an example of the hardware configuration of the mobile terminal device according to the first embodiment.
  • FIG. 3 is a block diagram showing a functional configuration of the mobile terminal device according to the first embodiment.
  • FIG. 4 is a flowchart showing the flow of the process of calculating the viewing distance in the mobile terminal device according to the first embodiment.
  • FIG. 5 is a diagram for explaining the process of calculating the viewing distance by the mobile terminal device according to the first embodiment.
  • FIG. 6 is a block diagram showing a functional configuration of the mobile terminal device according to the second embodiment.
  • FIG. 7 is a flowchart showing a flow of transmission processing of adjustment information by the mobile terminal device according to the second embodiment.
  • FIG. 8 is a view showing an example of a captured image obtained by capturing a display screen on which a test chart is displayed.
  • FIG. 9 is a block diagram showing a functional configuration of the mobile terminal device according to the third embodiment.
  • FIG. 10 is a flowchart showing a flow of transmission processing of adjustment information by the mobile terminal device according to the third embodiment.
  • FIG. 11 is a diagram for explaining a process of acquiring a viewing position by the mobile terminal device according to the modification.
  • FIG. 1 is an external perspective view showing an example of a television broadcast display apparatus according to the first embodiment.
  • the television broadcast display device 1 is configured of an LCD (Liquid Crystal Display) or the like, is supported by a support portion 103, and has a casing 101 having a rectangular appearance in front view, a still image or a moving image. And a display screen G capable of displaying various information such as.
  • the television broadcast display device 1 is an example of a display device having a display screen G.
  • FIG. 2 is a diagram showing an example of the hardware configuration of the mobile terminal device according to the first embodiment.
  • the mobile terminal device 2 according to the present embodiment includes a display unit 21, an input unit 22, an acceleration sensor 23, an imaging unit 24, a communication unit 25, and a storage unit 26. , And a control unit 27.
  • the mobile terminal device 2 also includes a speaker, a microphone, and the like.
  • the display unit 21 is a display device that includes, for example, an LCD, an organic EL (Electro Luminescence) display, or the like, and can display a captured image obtained by imaging of the imaging unit 24.
  • the display unit 21 displays various types of information under the control of the control unit 27.
  • the input unit 22 includes, for example, a pointing device and a button, and receives various instructions and information input from the user.
  • the input unit 22 uses a touch panel provided with a transparent coordinate detection device disposed on the screen of the display unit 21 as a pointing device, but the present invention is not limited to this.
  • the acceleration sensor 23 is a sensing device that senses the acceleration of the own device. For example, the acceleration sensor 23 outputs, as a sensing result, a change (tilt or rotation) of the attitude of the own device in the three axial directions.
  • the imaging unit 24 can capture at least a part of the display screen G from the front of the display screen G included in the television broadcast display device 1.
  • the communication unit 25 is a communication interface connectable to a network (not shown) such as the Internet.
  • the communication unit 25 exchanges various types of information with an external device (for example, the television broadcast display device 1) connected to the network under the control of the control unit 27.
  • the storage unit 26 includes a non-volatile storage medium such as a read only memory (ROM), a hard disk drive (HDD), and a solid state drive (SSD), and stores various programs, setting information, and the like.
  • ROM read only memory
  • HDD hard disk drive
  • SSD solid state drive
  • the control unit 27 has a central processing unit (CPU), a random access memory (RAM), and the like (none of which are shown), and cooperates with the program stored in the storage unit 26. Control the operation centrally.
  • CPU central processing unit
  • RAM random access memory
  • FIG. 3 is a block diagram showing a functional configuration of the mobile terminal device according to the first embodiment.
  • the portable terminal device 2 executes the program (display control application) stored in the storage unit 26 by the CPU or the like of the control unit 27, thereby obtaining the acquisition unit 301, the calculation unit 302, and the transmission.
  • the control unit 303 is realized.
  • the acquisition unit 301 receives angle-of-view information indicating the angle of view of the imaging unit 24 or the size of the display screen G of the television broadcast display device 1 input via the input unit 22 (the length of one side of the display screen G Information necessary for acquiring the distance from the display screen G of the television broadcast display device 1 to the own device (the portable terminal device 2) (hereinafter referred to as viewing distance), such as size information indicating.
  • the calculation unit 302 includes a calculation image (for example, one side of the display screen G of the television broadcast display device 1), which is an image required to calculate the viewing distance, in the captured image obtained by the imaging of the imaging unit 24. And the size of the display screen G indicated by the angle of view and size information indicated by the angle of view information acquired by the acquisition unit 301 (in other words, input from the input unit 22), and the display in the captured image
  • the viewing distance is calculated using the ratio of the length of one side of the screen G to the length of one side of the captured image.
  • the transmission control unit 303 is adjustment information for adjusting the image quality of the display screen G of the television broadcast display device 1 via the communication unit 25 (in the present embodiment, the viewing distance calculated by the calculation unit 302, etc. ) To the television broadcast display apparatus 1. That is, in the present embodiment, when the acquisition unit 301, the calculation unit 302, and the transmission control unit 303 include the calculation image in the captured image obtained by the imaging of the imaging unit 24, the display screen G based on the viewing distance Functions as a transmission unit that transmits adjustment information for performing the image quality adjustment of the above to the television broadcast display apparatus 1.
  • FIG. 4 is a flowchart showing the flow of the process of calculating the viewing distance in the mobile terminal device according to the first embodiment.
  • FIG. 5 is a diagram for explaining the process of calculating the viewing distance by the mobile terminal device according to the first embodiment.
  • the imaging unit 24 images the display screen G of the television broadcast display device 1 (step S401).
  • the imaging unit 24 images the display screen G of the television broadcast display device 1 so that the entire television broadcast display device 1 is included in the captured image.
  • the imaging unit 24 may perform imaging so that at least a part of the display screen G included in the television broadcast display device 1 is included in the captured image.
  • the display unit 21 displays the captured image obtained by the imaging of the imaging unit 24.
  • the user of the portable terminal device 2 looks at the captured image displayed on the display unit 21 and sets the captured image obtained by the imaging of the imaging unit 24 to the viewing distance from the display screen G to the portable terminal device 2. Since whether or not the calculation image required for calculation is included can be confirmed, the imaging region of the imaging unit 24 can be adjusted so that the calculation image is included in the captured image obtained by the imaging of the imaging unit 24.
  • the acquisition unit 301 acquires angle of view information indicating the angle of view of the imaging unit 24 via the API (Application Program Interface) of the Operating System (OS) of the mobile terminal device 2 (Step S402).
  • OS Operating System
  • the acquisition unit 301 performs “public float get” which is an Android_API command with respect to the API of Android (registered trademark) which is the OS of the mobile terminal device 2
  • the “Horizontal View Angle” command is transmitted to acquire angle-of-view information indicating the angle of view of the imaging unit 24.
  • the acquisition unit 301 acquires the angle of view information via the API of the OS of the mobile terminal device 2, but the invention is not limited to this.
  • the acquisition unit 301 is acquired by imaging of the imaging unit 24
  • Field angle information indicating a field angle of the imaging unit 24 may be acquired from an Exif file included in captured image data of a captured image.
  • the acquiring unit 301 acquires, from the Exif file, information (for example, 35 mm equivalent focal length) capable of specifying the angle of view of the imaging unit 24 and, based on the acquired information, the angle of view of the imaging unit 24 It may be acquired (calculated).
  • the acquiring unit 301 also acquires size information indicating the size of the display screen G of the television broadcast display device 1 (step S403).
  • the acquisition unit 301 acquires specific information (for example, model number information of the television broadcast display device 1) that can specify the size of the display screen G, which is input by the user via the input unit 22. .
  • the acquiring unit 301 acquires size information indicating the size of the display screen G (the length (mm) of each of the vertical and horizontal directions of the display screen G).
  • the calculation unit 302 recognizes the display screen G (image of the display screen G) included in the television broadcast display device 1 from the captured image obtained by the imaging of the imaging unit 24 (step S404). In the present embodiment, the calculation unit 302 uses the outline of the entire television broadcast display device 1 included in the captured image obtained by the imaging of the imaging unit 24 to use the image of the display screen G included in the captured image. Recognize (detect) Then, when the image of the display screen G is recognized from the captured image, the calculation unit 302 uses the outline of the entire television broadcast display device 1 in the captured image to calculate a calculation image (in the present embodiment) It is determined whether the image of the whole display screen G is included. In the present embodiment, the calculation unit 302 determines whether the captured image includes the entire display screen G.
  • the vertical direction of the display screen G such as an image of one side of the display screen G It may be determined whether an image (an example of an image for calculation) capable of specifying the length of at least one of (vertical direction) and horizontal direction (horizontal direction) is included.
  • the calculation unit 302 determines that the calculation image is included in the captured image, the size of the display screen G indicated by the size information acquired by the acquisition unit 301 and the imaging obtained by the imaging of the imaging unit 24 Using the image area of the display screen G in the image (for example, the length of at least one of the left side, the right side, the upper side, and the lower side of the display screen G in the captured image, etc.) The distance is calculated (step S405).
  • the vertical and horizontal distance of the captured image is the length in the vertical direction (vertical direction) or the horizontal direction (horizontal direction) of the imaging region which is a region imaged by the imaging unit 24.
  • the calculation unit 302 uses the area of the display screen image in the captured image (the left side and the right side of the display screen G in the captured image). , Upper and lower sides).
  • the calculation unit 302 displays the display screen G in the captured image P obtained by the imaging of the imaging unit 24 as shown in FIG.
  • the ratio of the length l2 of the upper side of the captured image P to the length l1 of the image of the upper side of the image T is calculated.
  • the calculating unit 302 calculates the horizontal length of the imaging region based on the calculated ratio and the horizontal length of the display screen G indicated by the acquired size information.
  • the length in the vertical direction of the imaging area is calculated in the same manner.
  • the calculation unit 302 determines whether the calculation unit 302 calculates, based on the calculation image included in the captured image, either the horizontal length of the imaging region or the vertical length of the imaging region as the vertical-horizontal distance of the captured image.
  • the calculation image included in the captured image is an image (an image on the left side or the right side of the display screen G) capable of specifying the length in the vertical direction of the display screen G
  • the calculation unit 302 The length of the direction is calculated as the vertical and horizontal distance of the captured image.
  • the calculation unit 302 determines the width of the imaging area.
  • the length of the direction is calculated as the vertical and horizontal distance of the captured image. Furthermore, when the calculation image included in the captured image is an image of the entire display screen G, the calculation unit 302 sets in advance the length in the horizontal direction of the imaging region and the length in the vertical direction of the imaging region. The length of the direction is calculated as the vertical and horizontal distance of the captured image.
  • the calculation unit 302 uses the angle of view indicated by the angle of view information acquired by the acquisition unit 301 and the vertical and horizontal distance of the captured image to use the display screen G of the television broadcast display device 1 to the portable terminal device 2.
  • the viewing distance is calculated (step S406). That is, the calculating unit 302 determines the size of the display screen G indicated by the acquired size information, the angle of view indicated by the acquired angle of view information, and one side of the display screen G in the captured image obtained by imaging by the imaging unit 24.
  • the viewing distance is calculated using the length and the ratio of the length of one side of the captured image.
  • the calculation unit 302 has described the case where the viewing distance L is calculated using the horizontal length of the imaging region as the vertical and horizontal distance of the captured image, the vertical length of the imaging region is the vertical and horizontal length of the captured image The same applies to the case where the viewing distance L is calculated using the distance.
  • the position of the user relative to the display screen G is shifted rightward or leftward toward the display screen G, and the image lengths of the right and left sides of the display screen G included in the captured image (Refer to FIG. 11), the viewing distance calculated using the image on the right side of the display screen G included in the captured image and the viewing distance calculated using the image on the right side of the display screen G included in the captured image
  • the transmission control unit 303 uses the calculated viewing distance as adjustment information for adjusting the image quality of the display screen G of the television broadcast display device 1 as television information. Transmit to the display device 1.
  • the transmission control unit 303 transmits the viewing distance to the television broadcast display device 1 as adjustment information, but performs image quality adjustment of the display screen G based on the viewing distance calculated using the captured image. It is not limited to this as long as it transmits adjustment information for causing the change.
  • the transmission control unit 303 transmits captured image data of a captured image (captured image including a calculation image) obtained by the imaging of the imaging unit 24 to the television broadcast display device 1 (or a server (not shown)) as adjustment information. You may.
  • the television broadcast display device 1 (or a server (not shown)) performs the same processing as the above-described steps S402 to S406 to calculate the viewing distance.
  • the transmission control unit 303 sets television parameters as adjustment information (for example, resolution in the case of increasing the resolution of an image displayed on the display screen G) when adjusting the image quality of the display screen G based on the calculated viewing distance. It may be transmitted to the John broadcast display device 1.
  • the viewing distance calculated using the captured image using the captured image obtained by the imaging of the imaging unit 24 included in the mobile terminal device 2 Because the television broadcast display device 1 can perform the image quality adjustment based on the above, the cost increase of the television set including the housing of the television broadcast display device 1 and the remote controller and the television by providing the distance sensor and the camera The viewing distance is acquired and the image quality adjustment of the display screen G is enabled based on the acquired viewing distance without being restricted by the design of the housing of the broadcast display device 1.
  • the user of the mobile terminal device 2 looks at the captured image displayed on the display unit 21 and calculates the viewing distance from the display screen G to the mobile terminal device 2 in the captured image obtained by the imaging of the imaging unit 24 It is possible to check whether or not the calculation image required for the image is included, so that the imaging area of the imaging unit 24 can be adjusted so that the calculation image is included in the captured image obtained by the imaging of the imaging unit 24.
  • the calculating unit 302 calculates the viewing distance using the angle of view indicated by the angle of view information acquired by the acquiring unit 301, but the imaging of the imaging unit 24 when calculating the viewing distance is predetermined. In the case where the angle of view is performed, it is also possible to calculate the viewing distance without using the angle of view of the imaging unit 24.
  • the mobile terminal device 2 displays the size of the display screen G (the length of one side of the display screen G) and the image of the display screen G included in the captured image obtained by imaging by the imaging unit 24 at a predetermined angle of view. The number of pixels on one side of T and the viewing distance are associated with each other and stored in the storage unit 26.
  • the imaging unit 24 images at least a part of the display screen G at a predetermined angle of view.
  • the calculation unit 302 calculates the length of one side of the display screen G acquired by the acquisition unit 301 and the number of pixels of one side of the display screen G in the captured image acquired by imaging by the imaging unit 24. The viewing distance stored in association is read out. Then, the transmission control unit 303 transmits the read viewing distance to the television broadcast display device 1 as adjustment information.
  • the present embodiment is an example in which the viewing distance is calculated using a test chart displayed on the display screen of the television broadcast display device.
  • descriptions of portions similar to those of the first embodiment will be omitted.
  • FIG. 6 is a block diagram showing a functional configuration of the mobile terminal device according to the second embodiment.
  • FIG. 7 is a flowchart showing a flow of transmission processing of adjustment information by the mobile terminal device according to the second embodiment.
  • FIG. 8 is a view showing an example of a captured image obtained by capturing a display screen on which a test chart is displayed.
  • the transmission control unit 612 instructs the television broadcast display device 1 to display a predetermined test chart (test screen for display screen recognition) prior to imaging by the imaging unit 24. (Step S701).
  • the television broadcast display device 1 receives an instruction to display a test chart from the mobile terminal device 600, the television broadcast display device 1 causes the display screen G to display a predetermined test chart.
  • the calculation unit 611 recognizes the image of the display screen G of the television broadcast display device 1 using the image of the test chart included in the captured image obtained by the imaging of the imaging unit 24 (step S702). Thereby, it is possible to easily recognize the image of the display screen G from the captured image obtained by the imaging of the imaging unit 24. Specifically, as illustrated in FIG. 8, in the captured image P obtained by capturing the captured image 24, the calculation unit 611 determines, among the images t of the plurality of rectangular test charts included in the captured image P, the captured image P. The region inside the image t of the test chart placed on the outermost side is recognized as the image T of the display screen G.
  • the portable terminal device 600 uses the image t of the test chart to select the viewing distance. It can be calculated.
  • the acquiring unit 610 receives the number of pixels of the test chart displayed on the display screen G (for example, the number of pixels of the rectangular area arranged at the four corners of the rectangular test chart, and the number of pixels of one side of the rectangular test chart And the like), and acquires angle of view information indicating the resolution of the display screen G and the angle of view of the imaging unit 24.
  • the acquiring unit 610 acquires angle of view information indicating the number of pixels of the test chart, the resolution of the display screen G, and the angle of view of the imaging unit 24 input through the input unit 22.
  • the calculating unit 611 determines the number of pixels of the acquired test chart, the resolution of the display screen G, the angle of view indicated by the information on the angle of view, and the length of one side of the test chart in the captured image obtained by imaging by the imaging unit 24.
  • the viewing distance is calculated using the ratio of the length to the length of one side of the captured image.
  • the calculation unit 611 determines the length of one side of the test chart displayed on the display screen G (for example, the four corners of the rectangular test chart) using the acquired number of pixels of the test chart and the resolution of the display screen. Calculate the length of one side of the rectangular area arranged in (1) or the length of one side of the rectangular test chart.
  • the calculation unit 611 calculates a captured image from the calculated size of the test chart and the ratio of the length of one side of the test chart in the captured image obtained by the imaging of the imaging unit 24 to the length of one side of the captured image. Calculate the vertical and horizontal distance of For example, as illustrated in FIG. 8, the calculation unit 611 may be configured such that the size of the image t of the test chart in the captured image P obtained by the imaging of the imaging unit 24 (for example, a quadrangle disposed at four corners of the rectangular test chart The ratio of the length l2 of the upper side of the captured image P to the length l3) of one side of the image is calculated.
  • the calculation unit 611 calculates the size of the imaging area based on the calculated ratio and the size of the acquired test chart (for example, the length of one side of the rectangular area arranged at the four corners of the rectangular test chart). Calculate the horizontal length. Then, the calculation unit 611 calculates the viewing distance using the angle of view indicated by the angle of view information and the calculated vertical and horizontal distance of the captured image.
  • the transmission control unit 612 transmits the calculated viewing distance to the television broadcast display device 1 as adjustment information for adjusting the image quality of the display screen G of the television broadcast display device 1 (step S703).
  • the number of pixels of the test chart, the resolution of the display screen G and the angle of view indicated by the information of the angle of view, and the captured image obtained by the imaging of the imaging unit 24 If the test chart is included in the captured image, the viewing distance is calculated by calculating the viewing distance using the length of one side of the test chart in the inside and the ratio of the length of one side of the captured image. Since the angle of view of the imaging unit 24 is small and the captured image including the calculation image that can specify the length in the vertical direction or the horizontal direction of the display screen G can not be obtained, the viewing distance is calculated. can do.
  • the present embodiment is an example in which specific information capable of specifying the size of the display screen of the television broadcast display device is received from the television broadcast display device, and the size of the display screen is acquired using the received specific information. is there.
  • descriptions of portions similar to those of the second embodiment will be omitted.
  • FIG. 9 is a block diagram showing a functional configuration of the mobile terminal device according to the third embodiment.
  • FIG. 10 is a flowchart showing a flow of transmission processing of adjustment information by the mobile terminal device according to the third embodiment.
  • the transmission control unit 902 uses a communication function such as application software (hereinafter referred to as an APPS function) or a communication function such as USB (Universal Serial Bus) to display television test instructions for displaying a predetermined test chart. It transmits to the display apparatus 1 (step S1001).
  • a communication function such as application software (hereinafter referred to as an APPS function) or a communication function such as USB (Universal Serial Bus) to display television test instructions for displaying a predetermined test chart. It transmits to the display apparatus 1 (step S1001).
  • APPS function application software
  • USB Universal Serial Bus
  • the acquisition unit 901 can specify the size of the display screen G of the television broadcast display device 1 from the television broadcast display device 1 using the APPS function or a communication function such as USB. Specific information (for example, model number information of the television broadcast display apparatus 1) is received. Then, the acquiring unit 901 acquires size information indicating the size of the display screen G using the received specific information (step S1002).
  • the specific information is received from the television broadcast display device 1 using the communication function, and the size of the display screen G is determined using the received specific information.
  • the size of the display screen G is automatically acquired, and the user of the mobile terminal device 900 can calculate the viewing distance simply by imaging the display screen G by the imaging unit 24. Therefore, the convenience of the mobile terminal device 900 can be obtained. It is possible to improve the quality.
  • the horizontal direction (left and right direction) of the user (viewer) relative to the display screen is directed toward the display screen according to the shape of the image of the display screen included in the captured image obtained by imaging by the imaging unit. And it is an example which acquires the viewing-and-listening position which is a position of at least any one of the vertical direction (vertical direction).
  • the vertical direction vertical direction
  • the calculating unit 302 calculates the ratio between the length in the vertical direction of the display screen G indicated by the size information acquired by the acquiring unit 301 and the length in the horizontal direction of the display screen G (hereinafter referred to as a first ratio). Calculate). In addition, when the image of the display screen G is recognized from the captured image, the calculating unit 302 determines the ratio of the length of the image of the display screen G in the vertical direction to the length of the image of the display screen G in the horizontal direction (hereinafter referred to as Calculate 2 ratio). Then, based on the first ratio and the second ratio, the calculation unit 302 acquires the viewing position, which is the position of the viewer in the horizontal direction and the vertical direction with respect to the display screen G, toward the display screen G. .
  • the calculation unit 302 may direct the display screen G toward the display screen G based on the lengths of the right side and the left side of the image of the display screen G recognized from the captured image. You may acquire the viewing which is the position of.
  • the calculation unit 302 moves the display screen G toward the display screen G based on the lengths of the upper side and the lower side of the image of the display screen G recognized from the captured image, and the vertical position of the viewer relative to the display screen G. You may acquire the viewing which is.
  • FIG. 11 is a diagram for explaining a process of acquiring a viewing position by the mobile terminal device according to the modification. For example, as illustrated in FIG. 11, when the length of the right side of the image T of the display screen G is longer than the length of the left side of the image T of the display screen G recognized from the captured image, as illustrated in FIG. Toward G, it is acquired that the position of the viewer in the left-right direction with respect to the display screen G is in the right direction.
  • the calculation unit 611 displays the image according to the shape of the image of the test chart included in the captured image obtained by the imaging of the imaging unit 24. It is also possible to acquire the viewing position in the left and right direction and the up and down direction of the user relative to the display screen G toward the screen G. Specifically, as shown in FIG. 8, the calculation unit 611 moves toward the display screen G according to the size of the rectangular image disposed at the four corners of the image t of the rectangular test chart included in the captured image P, as shown in FIG. And acquires the viewing positions in the left and right direction and the up and down direction of the user with reference to the display screen G.
  • the calculation unit 611 references the display screen G toward the display screen G when the rectangular image at the upper left among the quadrilateral images arranged at the four corners of the image t of the test chart is larger than the other rectangular images. It is acquired that the user's viewing position is the upper left.
  • the television set including the housing of the television broadcast display device 1 and the remote controller by providing the distance sensor and the camera in the television broadcast display device 1
  • the viewing distance can be acquired, and the image quality adjustment of the display screen G based on the acquired viewing distance can be performed without being subjected to the cost increase and the restriction of the design of the casing of the television broadcast display device 1.
  • the program executed by the portable terminal device 2, 600, 900 of the present embodiment is a file of an installable format or an executable format, and is a CD-ROM, a flexible disk (FD), a CD-R, a DVD (Digital Versatile Disk). Etc.) may be recorded and provided in a computer readable recording medium.
  • the program executed by the portable terminal device 2, 600, 900 of the present embodiment may be stored on a computer connected to a network such as the Internet and provided by being downloaded via the network. good. Further, the program executed by the portable terminal device 2, 600, 900 according to the present embodiment may be provided or distributed via a network such as the Internet.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Selective Calling Equipment (AREA)
  • Telephone Function (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

 距離センサやカメラを設けることによる、テレビジョンの筐体およびリモートコントローラを含むテレビセットのコストアップやデザインの制約を受けることなく、視聴者位置を取得しかつ取得した視聴者位置に基づいて表示装置に表示された画像の画質の調整を可能にすることを目的とする。 携帯端末装置(2)は、撮像部と、表示部と、送信部と、を備える。撮像部は、表示装置が有する表示画面の少なくとも一部を撮像可能である。表示部は、撮像部の撮像により得られた撮像画像を表示可能である。送信部は、表示画面から自装置までの距離の算出に要する算出用画像(T)が撮像画像に含まれる場合に、撮像画像を用いて算出される距離(L)に基づく表示画面の画質調整を行なわせるための調整情報を表示装置に送信する。

Description

携帯端末装置、表示制御方法およびプログラム
 本発明の実施形態は、携帯端末装置、表示制御方法およびプログラムに関する。
 テレビジョン等の表示装置を視聴する視聴者の位置である視聴者位置(例えば、表示装置から視聴者までの距離)を検出し、検出した視聴者位置に応じて、表示装置に表示された画像の画質パラメータや表示装置に立体画像を表示する際のパラメータ(例えば、奥行情報など)を最適化する技術が開示されている。視聴者位置を検出する方法としては、例えば、赤外線センサ等の距離センサを用いて視聴者位置を検出する方法、表示装置に設けたカメラにより視聴者の顔を撮像するとともに撮像した顔の画像に含まれる視聴者の眼間距離に基づいて視聴者位置を検出する方法等が開示されている。
特開2010-60638号公報
 ところで、赤外線センサ等の距離センサや表示装置に設けたカメラを用いずに、タブレット端末やスマートフォン等の携帯端末装置が備える撮像部の撮像により得られた撮像画像を用いて視聴者位置を算出し、算出した視聴者位置に基づいて表示装置に表示された画像の画質を調整する方法が求められている。
 本発明は、上記に鑑みてなされたものであって、距離センサやカメラを設けることによる、テレビジョンの筐体およびリモートコントローラを含むテレビセットのコストアップやテレビジョンの筐体のデザインの制約を受けることなく、視聴者位置を取得しかつ取得した視聴者位置に基づいて表示装置に表示された画像の画質の調整を可能にする携帯端末装置、表示制御方法およびプログラムを提供することを目的とする。
 実施形態の携帯端末装置は、撮像部と、表示部と、送信部と、を備える。撮像部は、表示装置が有する表示画面の少なくとも一部を撮像可能である。表示部は、撮像部の撮像により得られた撮像画像を表示可能である。送信部は、表示画面から自装置までの距離の算出に要する算出用画像が撮像画像に含まれる場合に、撮像画像を用いて算出される距離に基づく表示画面の画質調整を行なわせるための調整情報を表示装置に送信する。
図1は、第1の実施形態にかかるテレビジョン放送表示装置の一例を示す外観斜視図である。 図2は、第1の本実施形態にかかる携帯端末装置のハードウェア構成例を示す図である。 図3は、第1の実施形態にかかる携帯端末装置の機能構成を示すブロック図である。 図4は、第1の実施形態にかかる携帯端末装置における視聴距離の算出処理の流れを示すフローチャートである。 図5は、第1の実施形態にかかる携帯端末装置による視聴距離の算出処理を説明するための図である。 図6は、第2の実施形態にかかる携帯端末装置の機能構成を示すブロック図である。 図7は、第2の実施形態にかかる携帯端末装置による調整情報の送信処理の流れを示すフローチャートである。 図8は、テストチャートが表示された表示画面を撮像して得られた撮像画像の一例を示す図である。 図9は、第3の実施形態にかかる携帯端末装置の機能構成を示すブロック図である。 図10は、第3の実施形態にかかる携帯端末装置による調整情報の送信処理の流れを示すフローチャートである。 図11は、変形例にかかる携帯端末装置による視聴位置を取得する処理を説明するための図である。
(第1の実施形態)
 図1は、第1の実施形態にかかるテレビジョン放送表示装置の一例を示す外観斜視図である。図1に示すように、テレビジョン放送表示装置1は、LCD(Liquid Crystal Display)等で構成され、支持部103により支持され正面視で長方形状の外観を有する筐体101と、静止画や動画等の各種情報を表示可能な表示画面Gと、を備えている。本実施形態では、テレビジョン放送表示装置1は、表示画面Gを有する表示装置の一例である。
 図2は、第1の本実施形態にかかる携帯端末装置のハードウェア構成例を示す図である。図1および図2に示すように、本実施形態にかかる携帯端末装置2は、表示部21と、入力部22と、加速度センサ23と、撮像部24と、通信部25と、記憶部26と、制御部27とを備える。また、図示しないが、携帯端末装置2は、スピーカやマイクロフォン等も備えるものとする。
 表示部21は、例えばLCDや有機EL(Electro Luminescence)ディスプレイ等で構成され、撮像部24の撮像により得られた撮像画像を表示可能な表示デバイスである。表示部21は、制御部27による制御の下、各種の情報を表示する。
 入力部22は、例えばポインティングデバイスやボタン等で構成され、ユーザから各種指示や情報入力を受け付ける。なお、本実施形態では、入力部22は、ポインティングデバイスとして、表示部21の画面上に配置された透明の座標検出装置を備えたタッチパネルを用いるものとするが、これに限らないものとする。
 加速度センサ23は、自装置の加速度をセンシングするセンシング機器である。例えば、加速度センサ23は、3軸方向における自装置の姿勢の変化(傾斜や回転)を、センシング結果として出力する。
 撮像部24は、テレビジョン放送表示装置1が備える表示画面Gの前方から、当該表示画面Gの少なくとも一部を撮像可能である。
 通信部25は、インターネットなどのネットワーク(図示せず)に接続可能な通信インタフェースである。通信部25は、制御部27による制御の下、ネットワークに接続された外部装置(例えば、テレビジョン放送表示装置1)との間で各種の情報を授受する。
 記憶部26は、ROM(Read Only Memory)、HDD(Hard Disk Drive)、SSD(Solid State Drive)等の不揮発性の記憶媒体を有し、各種のプログラムや設定情報等を記憶する。
 制御部27は、CPU(Central Processing Unit)、RAM(Random Access Memory)等を有し(何れも図示せず)、記憶部26に記憶されたプログラムと協働することで、携帯端末装置2の動作を統括的に制御する。
 次に、図3を用いて、本実施形態にかかる携帯端末装置2の機能構成について説明する。図3は、第1の実施形態にかかる携帯端末装置の機能構成を示すブロック図である。
 携帯端末装置2は、制御部27が有するCPU等が、記憶部26に記憶されたプログラム(表示制御アプリケーション)を実行することにより、図3に示すように、取得部301、算出部302および送信制御部303を実現する。
 取得部301は、入力部22を介して入力された、撮像部24の画角を示す画角情報やテレビジョン放送表示装置1が有する表示画面Gのサイズ(当該表示画面Gの一辺の長さ)を示すサイズ情報等、テレビジョン放送表示装置1が有する表示画面Gから自装置(携帯端末装置2)までの距離(以下、視聴距離と言う)の取得に必要な情報を取得する。
 算出部302は、視聴距離の算出に要する画像である算出用画像(例えば、テレビジョン放送表示装置1が有する表示画面Gの一辺など)が、撮像部24の撮像により得られた撮像画像に含まれている場合に、取得部301により取得された(言い換えると、入力部22から入力された)画角情報が示す画角およびサイズ情報が示す表示画面Gのサイズと、当該撮像画像内における表示画面Gの一辺の長さと当該撮像画像の一辺の長さとの比と、を用いて視聴距離を算出する。
 送信制御部303は、通信部25を介して、テレビジョン放送表示装置1が有する表示画面Gの画質調整を行なわせるための調整情報(本実施形態では、算出部302により算出された視聴距離など)をテレビジョン放送表示装置1に送信する。すなわち、本実施形態では、取得部301、算出部302および送信制御部303が、算出用画像が、撮像部24の撮像により得られた撮像画像に含まれる場合に、視聴距離に基づく表示画面Gの画質調整を行なわせるための調整情報をテレビジョン放送表示装置1に送信する送信部として機能する。
 次に、図3~5を用いて、本実施形態にかかる携帯端末装置2における視聴距離の算出処理について詳細に説明する。図4は、第1の実施形態にかかる携帯端末装置における視聴距離の算出処理の流れを示すフローチャートである。図5は、第1の実施形態にかかる携帯端末装置による視聴距離の算出処理を説明するための図である。
 テレビジョン放送表示装置1が有する表示画面Gの画質調整を行なわせる表示制御アプリケーションが起動すると、撮像部24は、テレビジョン放送表示装置1が有する表示画面Gを撮像する(ステップS401)。本実施形態では、撮像部24は、テレビジョン放送表示装置1全体が撮像画像に含まれるように、当該テレビジョン放送表示装置1が有する表示画面Gを撮像する。また、撮像部24は、テレビジョン放送表示装置1が有する表示画面Gの少なくとも一部が撮像画像に含まれるように撮像しても良い。
 撮像部24による表示画面Gの撮像が開始されると、表示部21は、撮像部24の撮像により得られた撮像画像を表示する。これにより、携帯端末装置2のユーザは、表示部21に表示された撮像画像を見て、撮像部24の撮像により得られた撮像画像に、表示画面Gから携帯端末装置2までの視聴距離の算出に要する算出用画像が含まれているか否かを確認できるので、撮像部24の撮像により得られる撮像画像に算出用画像が含まれるように撮像部24の撮像領域を調整することができる。
 次いで、取得部301は、携帯端末装置2のOS(Operating System)のAPI(Application Program Interface)を介して、撮像部24の画角を示す画角情報を取得する(ステップS402)。例えば、携帯端末装置2のOSがAndroid(登録商標)である場合、取得部301は、携帯端末装置2のOSであるAndroid(登録商標)のAPIに対して、Android_APIコマンドである「public float get Horizontal View Angle」コマンドを送信して、撮像部24の画角を示す画角情報を取得する。
 本実施形態では、取得部301は、携帯端末装置2のOSのAPIを介して画角情報を取得しているが、これに限定するものではなく、例えば、撮像部24の撮像により得られた撮像画像の撮像画像データに含まれるExifファイルから、撮像部24の画角を示す画角情報を取得しても良い。または、取得部301は、Exifファイルから、撮像部24の画角を特定可能な情報(例えば、35mm判換算焦点距離)を取得し、当該取得した情報に基づいて、撮像部24の画角を取得(算出)しても良い。
 また、取得部301は、テレビジョン放送表示装置1が有する表示画面Gのサイズを示すサイズ情報を取得する(ステップS403)。本実施形態では、取得部301は、入力部22を介してユーザにより入力された、表示画面Gのサイズを特定可能な特定情報(例えば、テレビジョン放送表示装置1の型番情報など)を取得する。そして、取得部301は、取得した特定情報を用いて、表示画面Gのサイズ(表示画面Gの縦および横それぞれの長さ(mm))を示すサイズ情報を取得する。
 算出部302は、撮像部24の撮像により得られた撮像画像から、テレビジョン放送表示装置1が有する表示画面G(当該表示画面Gの画像)を認識する(ステップS404)。本実施形態では、算出部302は、撮像部24の撮像により得られた撮像画像に含まれるテレビジョン放送表示装置1全体の輪郭を利用して、当該撮像画像に含まれる表示画面Gの画像を認識(検出)する。そして、算出部302は、撮像画像から表示画面Gの画像が認識された場合、撮像画像内におけるテレビジョン放送表示装置1全体の輪郭を用いて、当該撮像画像に算出用画像(本実施形態では、表示画面G全体の画像)が含まれているか否かを判断する。本実施形態では、算出部302は、撮像画像に表示画面G全体の画像が含まれているか否かを判断しているが、例えば、表示画面Gの一辺の画像など、表示画面Gの縦方向(上下方向)および横方向(左右方向)の少なくともいずれか一方の長さを特定可能な画像(算出用画像の一例)が含まれている否かを判断しても良い。
 そして、算出部302は、撮像画像に算出用画像が含まれていると判断した場合、取得部301により取得したサイズ情報が示す表示画面Gのサイズと、撮像部24の撮像により得られた撮像画像内における表示画面Gの画像の領域(例えば、撮像画像内における表示画面Gの左辺、右辺、上辺および下辺の少なくともいずれか一つの画像の長さ等)と、を用いて、撮像画像の縦横距離を算出する(ステップS405)。ここで、撮像画像の縦横距離とは、撮像部24により撮像される領域である撮像領域の縦方向(上下方向)または横方向(左右方向)の長さである。本実施形態では、算出部302は、撮像画像内におけるテレビジョン放送表示装置1全体の輪郭を用いて、当該撮像画像内における表示画面の画像の領域(撮像画像内における表示画面Gの左辺、右辺、上辺および下辺)を検出する。
 例えば、撮像領域の横方向の長さを撮像画像の縦横距離として算出する場合、算出部302は、図5に示すように、撮像部24の撮像により得られた撮像画像P内における表示画面Gの画像Tの上辺の画像の長さl1に対する、撮像画像Pの上辺の長さl2の比率を算出する。そして、算出部302は、算出した比率と、取得したサイズ情報が示す表示画面Gの横方向の長さと、に基づいて、撮像領域の横方向の長さを算出する。撮像領域の縦方向の長さを同様にして算出するものとする。
 また、算出部302は、撮像画像に含まれる算出用画像に基づいて、撮像領域の横方向の長さおよび撮像領域の縦方向の長さのいずれかを、撮像画像の縦横距離として算出するかを決定可能である。例えば、算出部302は、撮像画像に含まれる算出用画像が、表示画面Gの縦方向の長さを特定可能な画像(表示画面Gの左辺または右辺の画像)である場合、撮像領域の縦方向の長さを、撮像画像の縦横距離として算出する。また、算出部302は、撮像画像に含まれる算出用画像が、表示画面Gの横方向の長さを特定可能な画像(表示画面Gの上辺または下辺の画像)である場合、撮像領域の横方向の長さを、撮像画像の縦横距離として算出する。さらに、算出部302は、撮像画像に含まれる算出用画像が、表示画面G全体の画像である場合、撮像領域の横方向の長さおよび撮像領域の縦方向の長さのうち予め設定された方向の長さを、撮像画像の縦横距離として算出する。
 次いで、算出部302は、取得部301により取得した画角情報が示す画角と、撮像画像の縦横距離と、を用いて、テレビジョン放送表示装置1の表示画面Gから携帯端末装置2までの視聴距離を算出する(ステップS406)。すなわち、算出部302は、取得したサイズ情報が示す表示画面Gのサイズと、取得した画角情報が示す画角と、撮像部24の撮像により得られた撮像画像内における表示画面Gの一辺の長さと当該撮像画像の一辺の長さとの比と、を用いて、視聴距離を算出する。
 本実施形態では、算出部302は、図5に示すように、取得した画角情報が示す画角θおよび撮像画像の縦横距離(撮像領域の横方向の長さ)に基づいて、視聴距離Lを算出する。具体的には、算出部302は、下記の式(1)を用いて、視聴距離Lを算出する。
 視聴距離L=撮像画像の縦横距離/2tan(θ/2)・・・(1)
 ここで、算出部302は、撮像領域の横方向の長さを撮像画像の縦横距離として用いて視聴距離Lを算出した場合について説明したが、撮像領域の縦方向の長さを撮像画像の縦横距離として用いて視聴距離Lを算出する場合も同様である。
 算出部302は、表示画面Gに向かって、当該表示画面Gを基準とするユーザの位置が右方向または左方向にずれていて、撮像画像に含まれる表示画面Gの右辺および左辺それぞれの画像長さが異なる場合(図11参照)、撮像画像に含まれる表示画面Gの右辺の画像を用いて算出した視聴距離と、撮像画像に含まれる表示画面Gの右辺の画像を用いて算出した視聴距離との平均値を、視聴距離としても良い。すなわち、算出部302は、撮像画像に含まれる表示画面Gの右辺の長さおよび当該表示画面Gの左辺の長さの中間値を用いて、視聴距離を算出する。
 算出部302により視聴距離が算出されると、送信制御部303は、算出された視聴距離を、テレビジョン放送表示装置1が有する表示画面Gの画質調整を行なわせるための調整情報としてテレビジョン放送表示装置1に送信する。
 本実施形態では、送信制御部303は、視聴距離を調整情報としてテレビジョン放送表示装置1に送信しているが、撮像画像を用いて算出される視聴距離に基づく表示画面Gの画質調整を行なわせるための調整情報を送信するものであれば、これに限定するものではない。例えば、送信制御部303は、撮像部24の撮像により得られた撮像画像(算出用画像を含む撮像画像)の撮像画像データを調整情報としてテレビジョン放送表示装置1(または図示しないサーバ)に送信しても良い。この場合、テレビジョン放送表示装置1(または図示しないサーバ)は、上述したステップS402~ステップS406と同様の処理を行って、視聴距離を算出する。または、送信制御部303は、算出した視聴距離に基づく表示画面Gの画質調整の際のパラメータ(例えば、表示画面Gに表示する画像を高解像度化する場合における解像度など)を、調整情報としてテレビジョン放送表示装置1に送信しても良い。
 このように、第1の実施形態の携帯端末装置2によれば、携帯端末装置2が有する撮像部24の撮像により得られた撮像画像を用いて、当該撮像画像を用いて算出される視聴距離に基づく画質調整をテレビジョン放送表示装置1に行わせることができるので、距離センサやカメラを設けることによる、テレビジョン放送表示装置1の筐体およびリモートコントローラを含むテレビセットのコストアップやテレビジョン放送表示装置1の筐体のデザインの制約を受けることなく、視聴距離を取得しかつ取得した視聴距離に基づいて表示画面Gの画質調整を可能にする。また、携帯端末装置2のユーザは、表示部21に表示された撮像画像を見て、撮像部24の撮像により得られた撮像画像に、表示画面Gから携帯端末装置2までの視聴距離の算出に要する算出用画像が含まれているか否かを確認できるので、撮像部24の撮像により得られる撮像画像に算出用画像が含まれるように撮像部24の撮像領域を調整することができる。
 本実施形態では、算出部302は、取得部301により取得された画角情報が示す画角を用いて視聴距離を算出しているが、視聴距離を算出する際の撮像部24の撮像が所定の画角で行われる場合には、撮像部24の画角を用いずに視聴距離を算出することも可能である。この場合、携帯端末装置2は、表示画面Gのサイズ(表示画面Gの一辺の長さ)と、所定の画角での撮像部24の撮像により得られる撮像画像に含まれる表示画面Gの画像Tの一辺の画素数と、視聴距離と、を対応付けて記憶部26に記憶させる。
 撮像部24は、表示制御アプリケーションが起動すると、所定の画角で表示画面Gの少なくとも一部を撮像する。次いで、算出部302は、記憶部26において、取得部301により取得された表示画面Gの一辺の長さおよび撮像部24の撮像により得られた撮像画像内における表示画面Gの一辺の画素数と対応付けて記憶された視聴距離を読み出す。そして、送信制御部303は、読み出された視聴距離を調整情報としてテレビジョン放送表示装置1に送信する。
(第2の実施形態)
 本実施形態は、テレビジョン放送表示装置の表示画面に表示されたテストチャートを用いて、視聴距離を算出する例である。以下の説明では、第1の実施形態と同様の箇所については説明を省略する。
 図6~8を用いて、本実施形態にかかる携帯端末装置600における調整情報の送信処理について詳細に説明する。図6は、第2の実施形態にかかる携帯端末装置の機能構成を示すブロック図である。図7は、第2の実施形態にかかる携帯端末装置による調整情報の送信処理の流れを示すフローチャートである。図8は、テストチャートが表示された表示画面を撮像して得られた撮像画像の一例を示す図である。
 本実施形態では、送信制御部612は、表示制御アプリケーションが起動すると、撮像部24による撮像に先立って、所定のテストチャート(表示画面認識用テストチャート)の表示の指示をテレビジョン放送表示装置1に送信する(ステップS701)。テレビジョン放送表示装置1は、携帯端末装置600からテストチャートの表示の指示を受信すると、所定のテストチャートを表示画面Gに表示させる。
 本実施形態では、算出部611は、撮像部24の撮像により得られた撮像画像に含まれるテストチャートの画像を用いて、テレビジョン放送表示装置1が有する表示画面Gの画像を認識する(ステップS702)。これにより、撮像部24の撮像により得られた撮像画像から、容易に表示画面Gの画像を認識することが可能となる。具体的には、算出部611は、図8に示すように、撮像画像24の撮像により得られた撮像画像Pにおいて、当該撮像画像Pに含まれる複数の矩形状のテストチャートの画像tのうち、最も外側に配置されたテストチャートの画像tの内側の領域を表示画面Gの画像Tと認識する。
 図8に示すように、撮像部24の撮像により得られた撮像画像Pにテストチャートの画像tが含まれている場合、携帯端末装置600は、テストチャートの画像tを用いて、視聴距離を算出できる。まず、取得部610は、表示画面Gに表示されたテストチャートの画素数(例えば、矩形状のテストチャートの四隅に配置された四角形の領域の画素数、矩形状のテストチャートの一辺の画素数など)、表示画面Gの解像度および撮像部24の画角を示す画角情報を取得する。本実施形態では、取得部610は、入力部22を介して入力された、テストチャートの画素数、表示画面Gの解像度および撮像部24の画角を示す画角情報を取得するものとする。
 次に、算出部611は、取得したテストチャートの画素数、表示画面Gの解像度および画角情報が示す画角と、撮像部24の撮像により得られた撮像画像内におけるテストチャートの一辺の長さと当該撮像画像の一辺の長さとの比と、を用いて視聴距離を算出する。具体的には、算出部611は、取得したテストチャートの画素数および表示画面の解像度を用いて、表示画面Gに表示されたテストチャートの一辺の長さ(例えば、矩形状のテストチャートの四隅に配置された四角形の領域の一辺の長さ、または矩形状のテストチャートの一辺の長さ)を算出する。
 次いで、算出部611は、算出したテストチャートのサイズと、撮像部24の撮像により得られた撮像画像内におけるテストチャートの一辺の長さと当該撮像画像の一辺の長さとの比と、から撮像画像の縦横距離を算出する。例えば、算出部611は、図8に示すように、撮像部24の撮像により得られた撮像画像P内におけるテストチャートの画像tのサイズ(例えば、矩形状のテストチャートの四隅に配置された四角形の画像の一辺の長さl3)に対する、撮像画像Pの上辺の長さl2の比率を算出する。そして、算出部611は、算出した比率と、取得したテストチャートのサイズ(例えば、矩形状のテストチャートの四隅に配置された四角形の領域の一辺の長さ)と、に基づいて、撮像領域の横方向の長さを算出する。そして、算出部611は、画角情報が示す画角と、算出した撮像画像の縦横距離と、を用いて、視聴距離を算出する。送信制御部612は、算出された視聴距離を、テレビジョン放送表示装置1が有する表示画面Gの画質調整を行なわせるための調整情報としてテレビジョン放送表示装置1に送信する(ステップS703)。
 このように、第2の実施形態の携帯端末装置600によれば、テストチャートの画素数、表示画面Gの解像度および画角情報が示す画角と、撮像部24の撮像により得られた撮像画像内におけるテストチャートの一辺の長さと当該撮像画像の一辺の長さの比と、を用いて視聴距離を算出することにより、撮像画像内にテストチャートが含まれていれば、視聴距離を算出することができるので、撮像部24の画角が小さく、表示画面Gの縦方向または横方向への長さを特定可能な算出用画像を含む撮像画像を得ることができない場合においても視聴距離を算出することができる。
(第3の実施形態)
 本実施形態は、テレビジョン放送表示装置が有する表示画面のサイズを特定可能な特定情報を当該テレビジョン放送表示装置から受信し、受信した特定情報を用いて、表示画面のサイズを取得する例である。以下の説明では、第2の実施形態と同様の箇所については説明を省略する。
 図9および図10を用いて、本実施形態にかかる携帯端末装置900における調整情報の送信処理について説明する。図9は、第3の実施形態にかかる携帯端末装置の機能構成を示すブロック図である。図10は、第3の実施形態にかかる携帯端末装置による調整情報の送信処理の流れを示すフローチャートである。
 本実施形態では、送信制御部902は、アプリケーションソフトウェアによる機能(以下、APPS機能と言う)やUSB(Universal Serial Bus)等の通信機能を用いて、所定のテストチャートの表示の指示をテレビジョン放送表示装置1に送信する(ステップS1001)。
 また、本実施形態では、取得部901は、APPS機能やUSBなどの通信機能を用いて、テレビジョン放送表示装置1から、当該テレビジョン放送表示装置1が有する表示画面Gのサイズを特定可能な特定情報(例えば、テレビジョン放送表示装置1の型番情報など)を受信する。そして、取得部901は、受信した特定情報を用いて、表示画面Gのサイズを示すサイズ情報を取得する(ステップS1002)。
 このように、第3の実施形態の携帯端末装置900によれば、通信機能を用いて、テレビジョン放送表示装置1から特定情報を受信し、受信した特定情報を用いて表示画面Gのサイズを取得することにより、表示画面Gのサイズが自動的に取得され、携帯端末装置900のユーザは撮像部24により表示画面Gを撮像するだけで視聴距離が算出されるので、携帯端末装置900の利便性を向上させることができる。
(変形例)
 本変形例は、撮像部の撮像により得られた撮像画像に含まれる表示画面の画像の形状に従って、表示画面に向かって、表示画面を基準とするユーザ(視聴者)の横方向(左右方向)および縦方向(上下方向)の少なくともいずれか一方の位置である視聴位置を取得する例である。以下の説明では、上述の実施形態と同様の箇所については説明を省略する。
 本変形例では、算出部302は、取得部301により取得されたサイズ情報が示す表示画面Gの縦方向の長さと当該表示画面Gの横方向の長さとの比率(以下、第1比率と言う)を算出する。また、算出部302は、撮像画像から表示画面Gの画像が認識された場合、表示画面Gの画像の縦方向の長さと当該表示画面Gの画像の横方向の長さとの比率(以下、第2比率と言う)を算出する。そして、算出部302は、第1比率および第2比率に基づいて、表示画面Gに向かって、当該表示画面Gを基準とする視聴者の左右方向および上下方向の位置である視聴位置を取得する。
 また、算出部302は、撮像画像から認識された表示画面Gの画像の右辺および左辺それぞれの長さに基づいて、表示画面Gに向かって、当該表示画面Gを基準とする視聴者の左右方向の位置である視聴を取得しても良い。算出部302は、撮像画像から認識された表示画面Gの画像の上辺および下辺それぞれの長さに基づいて、表示画面Gに向かって、当該表示画面Gを基準とする視聴者の上下方向の位置である視聴を取得しても良い。
 図11は、変形例にかかる携帯端末装置による視聴位置を取得する処理を説明するための図である。例えば、算出部302は、図11に示すように、撮像画像から認識された表示画面Gの画像Tの左辺の長さより、当該表示画面Gの画像Tの右辺の長さが長い場合、表示画面Gに向かって、当該表示画面Gを基準とする視聴者の左右方向の位置が、右方向であることを取得する。
 また、テレビジョン放送表示装置1の表示画面Gにテストチャートが表示されている場合、算出部611は、撮像部24の撮像により得られた撮像画像に含まれるテストチャートの画像の形状に従って、表示画面Gに向かって、表示画面Gを基準とするユーザの左右方向および上下方向の視聴位置を取得することもできる。具体的には、算出部611は、図8に示すように、撮像画像Pに含まれる矩形状のテストチャートの画像tの四隅に配置された四角形の画像の大きさに従って、表示画面Gに向かって、表示画面Gを基準とするユーザの左右方向および上下方向の視聴位置を取得する。例えば、算出部611は、テストチャートの画像tの四隅に配置された四角形の画像のうち左上の四角形の画像が他の四角形の画像より大きい場合、表示画面Gに向かって、表示画面Gを基準とするユーザの視聴位置が左上であることを取得する。
 以上説明したとおり、第1から第3の実施形態によれば、テレビジョン放送表示装置1に距離センサやカメラを設けることによる、当該テレビジョン放送表示装置1の筐体およびリモートコントローラを含むテレビセットのコストアップやテレビジョン放送表示装置1の筐体のデザインの制約を受けることなく、視聴距離を取得しかつ取得した視聴距離に基づく表示画面Gの画質調整が可能となる。
 本実施形態の携帯端末装置2,600,900で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD-ROM、フレキシブルディスク(FD)、CD-R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されて提供されるようにしても良い。
 また、本実施形態の携帯端末装置2,600,900で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の携帯端末装置2,600,900で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
 本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。
 1… テレビジョン放送表示装置、2,600,900…携帯端末装置、21…表示部、22…入力部、24…撮像部、25…通信部、26…記憶部、27…制御部、301,610,901…取得部、302,611…算出部、303,612,902…送信制御部、G…表示画面。

Claims (9)

  1.  表示装置が有する表示画面の少なくとも一部を撮像可能な撮像部と、
     前記撮像部の撮像により得られた撮像画像を表示可能な表示部と、
     前記表示画面から自装置までの距離の算出に要する算出用画像が前記撮像画像に含まれる場合に、前記撮像画像を用いて算出される前記距離に基づく前記表示画面の画質調整を行なわせるための調整情報を前記表示装置に送信する送信部と、
     を備えた携帯端末装置。
  2.  前記送信部は、前記表示画面の一辺が前記算出用画像として前記撮像画像に含まれている場合に、前記表示画面のサイズおよび前記撮像部の画角が入力され、入力された前記表示画面のサイズおよび前記撮像部の画角と、前記撮像画像内における前記表示画面の一辺の長さと当該撮像画像の一辺の長さとの比と、を用いて前記距離を算出し、算出した前記距離を前記調整情報として送信する請求項1に記載の携帯端末装置。
  3.  前記送信部は、前記表示画面に表示されたテストチャートが前記算出用画像として前記撮像画像に含まれている場合に、前記テストチャートの画素数、前記表示画面の解像度および前記撮像部の画角が入力され、入力された前記テストチャートの画素数、前記表示画面の解像度および前記撮像部の画角と、前記撮像画像内における前記テストチャートのサイズと当該撮像画像のサイズとの比と、を用いて前記距離を算出し、算出した前記距離を前記調整情報として送信する請求項1に記載の携帯端末装置。
  4.  前記表示画面の一辺の長さと、所定の画角での前記撮像部の撮像により得られた前記撮像画像における当該表示画面の一辺の画素数と、前記距離と、を対応付けて記憶する記憶部を備え、
     前記撮像部は、前記所定の画角で前記表示画面の少なくとも一部を撮像可能であり、
     前記送信部は、前記表示画面の一辺の長さが入力され、入力された前記表示画面の一辺の長さおよび前記撮像画像における前記表示画面の一辺の画素数と対応付けて記憶された前記距離を前記調整情報として送信する請求項1に記載の携帯端末装置。
  5.  前記送信部は、前記撮像部による撮像に先立って、前記テストチャートの表示の指示を前記表示装置に送信する請求項3に記載の携帯端末装置。
  6.  前記送信部は、前記表示画面のサイズを特定可能な特定情報を前記表示装置から受信し、受信した前記特定情報を用いて、前記表示画面のサイズを取得する請求項2に記載の携帯端末装置。
  7.  前記送信部は、自装置が有するOSのAPI(Application Program Interface)を介して、前記撮像部の画角を取得する請求項2に記載の携帯端末装置。
  8.  表示装置が有する表示画面の少なくとも一部を撮像可能な撮像部と、前記撮像部の撮像により得られた撮像画像を表示可能な表示部と、を備えた携帯端末装置において実行される表示制御方法であって、
     送信部が、前記表示画面から自装置までの距離の算出に要する算出用画像が前記撮像画像に含まれる場合に、前記撮像画像を用いて算出される前記距離に基づく前記表示画面の画質調整を行なわせるための調整情報を前記表示装置に送信する過程、
     を含む表示制御方法。
  9.  表示装置が有する表示画面の少なくとも一部を撮像可能な撮像部と、前記撮像部の撮像により得られた撮像画像を表示可能な表示部と、を備えた携帯端末装置を制御するコンピュータを、
     前記表示画面から自装置までの距離の算出に要する算出用画像が前記撮像画像に含まれる場合に、前記撮像画像を用いて算出される前記距離に基づく前記表示画面の画質調整を行なわせるための調整情報を前記表示装置に送信する送信部と、
     として機能させるためのプログラム。
     
     
     
     
     
     
PCT/JP2013/059358 2013-03-28 2013-03-28 携帯端末装置、表示制御方法およびプログラム WO2014155623A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2013552023A JP5861218B2 (ja) 2013-03-28 2013-03-28 携帯端末装置、表示制御方法およびプログラム
PCT/JP2013/059358 WO2014155623A1 (ja) 2013-03-28 2013-03-28 携帯端末装置、表示制御方法およびプログラム
US14/465,678 US20140362211A1 (en) 2013-03-28 2014-08-21 Mobile terminal device, display control method, and computer program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/059358 WO2014155623A1 (ja) 2013-03-28 2013-03-28 携帯端末装置、表示制御方法およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/465,678 Continuation US20140362211A1 (en) 2013-03-28 2014-08-21 Mobile terminal device, display control method, and computer program product

Publications (1)

Publication Number Publication Date
WO2014155623A1 true WO2014155623A1 (ja) 2014-10-02

Family

ID=51622696

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/059358 WO2014155623A1 (ja) 2013-03-28 2013-03-28 携帯端末装置、表示制御方法およびプログラム

Country Status (3)

Country Link
US (1) US20140362211A1 (ja)
JP (1) JP5861218B2 (ja)
WO (1) WO2014155623A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023188429A1 (ja) * 2022-04-01 2023-10-05 オリンパスメディカルシステムズ株式会社 画像表示システム、表示制御装置および画像表示方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105094789A (zh) * 2014-05-22 2015-11-25 阿里巴巴集团控股有限公司 一种数据流转方法及装置
CN107423007B (zh) * 2016-05-23 2020-08-28 南宁富桂精密工业有限公司 屏幕显示比例调整装置及方法
TWI581636B (zh) * 2016-05-23 2017-05-01 鴻海精密工業股份有限公司 螢幕顯示比例調整裝置及方法
CN106482641B (zh) * 2016-12-27 2020-10-16 努比亚技术有限公司 一种尺寸测量装置和方法
CN107633398A (zh) 2017-08-24 2018-01-26 阿里巴巴集团控股有限公司 图像显示方法及装置和电子设备
CN108613627A (zh) * 2018-04-12 2018-10-02 湘潭大学 一种具有直线长度测量功能的手机及其测量方法
CN110865785B (zh) * 2019-11-21 2023-10-13 武汉真元生物数据有限公司 像素尺寸的获取方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007057599A (ja) * 2005-08-22 2007-03-08 Sony Corp 画像信号処理装置、画像信号処理方法及び画像信号処理システム
JP2010060638A (ja) 2008-09-01 2010-03-18 Toshiba Corp 画像表示装置及びその方法
JP2010276792A (ja) * 2009-05-27 2010-12-09 Ntt Docomo Inc 画像表示システム、画像表示方法、及び携帯端末
WO2011061975A1 (ja) * 2009-11-19 2011-05-26 シャープ株式会社 画像表示システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004015332A (ja) * 2002-06-05 2004-01-15 Olympus Corp テーブル型ディスプレイ装置およびその組立方法
JP4468442B2 (ja) * 2004-03-31 2010-05-26 キヤノン株式会社 イメージングシステム性能測定
US8704895B2 (en) * 2011-08-29 2014-04-22 Qualcomm Incorporated Fast calibration of displays using spectral-based colorimetrically calibrated multicolor camera

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007057599A (ja) * 2005-08-22 2007-03-08 Sony Corp 画像信号処理装置、画像信号処理方法及び画像信号処理システム
JP2010060638A (ja) 2008-09-01 2010-03-18 Toshiba Corp 画像表示装置及びその方法
JP2010276792A (ja) * 2009-05-27 2010-12-09 Ntt Docomo Inc 画像表示システム、画像表示方法、及び携帯端末
WO2011061975A1 (ja) * 2009-11-19 2011-05-26 シャープ株式会社 画像表示システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023188429A1 (ja) * 2022-04-01 2023-10-05 オリンパスメディカルシステムズ株式会社 画像表示システム、表示制御装置および画像表示方法

Also Published As

Publication number Publication date
US20140362211A1 (en) 2014-12-11
JPWO2014155623A1 (ja) 2017-02-16
JP5861218B2 (ja) 2016-02-16

Similar Documents

Publication Publication Date Title
WO2014155623A1 (ja) 携帯端末装置、表示制御方法およびプログラム
JP6205072B2 (ja) 撮像制御装置、撮像制御方法、カメラ、カメラシステム及びプログラム
US8605174B2 (en) Apparatus, method, and system of image processing, and recording medium storing image processing control program
JP6899875B2 (ja) 情報処理装置、映像表示システム、情報処理装置の制御方法、及びプログラム
WO2015194075A1 (ja) 画像処理装置、画像処理方法及びプログラム
US9743048B2 (en) Imaging apparatus, camera unit, display unit, image-taking method, display method and computer readable recording medium recording program thereon
JP7191853B2 (ja) ヘッドマウントディスプレイおよび方法
US10694115B2 (en) Method, apparatus, and terminal for presenting panoramic visual content
KR102078198B1 (ko) 전자 장치 및 전자 장치의 3차원 모델링을 위한 촬영방법
JP2017535755A (ja) 動画カメラフォーカス用途における距離測定デバイス
KR20180129667A (ko) 표시 제어 장치, 표시 제어 방법 및 저장 매체
US11062422B2 (en) Image processing apparatus, image communication system, image processing method, and recording medium
US11706378B2 (en) Electronic device and method of controlling electronic device
US20190333468A1 (en) Head mounted display device and visual aiding method
JP2017046065A (ja) 情報処理装置
JP2012234411A5 (ja)
EP3599763A2 (en) Method and apparatus for controlling image display
CN108476290B (zh) 用于提供全景图像的电子装置及其控制方法
KR102457559B1 (ko) 이미지에 포함된 오브젝트에 기반하여 이미지를 보정하기 위한 전자 장치 및 방법
TW201205344A (en) Adjusting system and method for screen, advertisement board including the same
WO2017163649A1 (ja) 画像処理装置
JP2015012550A (ja) 撮像装置および撮像システム
JP2016225805A (ja) 画像処理装置、画像処理システム、画像合成装置、画像処理方法及びプログラム
US9860480B2 (en) Method for processing information and electronic device
KR102309451B1 (ko) 웨어러블 디바이스 및 웨어러블 디바이스 디스플레이 제어 방법

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2013552023

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13875323

Country of ref document: EP

Kind code of ref document: A1

WD Withdrawal of designations after international publication
NENP Non-entry into the national phase

Ref country code: DE