JP5185424B1 - Calibration method and video display device - Google Patents

Calibration method and video display device Download PDF

Info

Publication number
JP5185424B1
JP5185424B1 JP2011217601A JP2011217601A JP5185424B1 JP 5185424 B1 JP5185424 B1 JP 5185424B1 JP 2011217601 A JP2011217601 A JP 2011217601A JP 2011217601 A JP2011217601 A JP 2011217601A JP 5185424 B1 JP5185424 B1 JP 5185424B1
Authority
JP
Japan
Prior art keywords
display
camera
image
positional relationship
relative positional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011217601A
Other languages
Japanese (ja)
Other versions
JP2013076667A (en
Inventor
伊央 中山
義浩 菊池
崇博 瀧本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2011217601A priority Critical patent/JP5185424B1/en
Priority to KR1020120086446A priority patent/KR20130035862A/en
Priority to CN2012102798676A priority patent/CN103037182A/en
Priority to TW101128489A priority patent/TW201315210A/en
Application granted granted Critical
Publication of JP5185424B1 publication Critical patent/JP5185424B1/en
Publication of JP2013076667A publication Critical patent/JP2013076667A/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/12—Synchronisation between the display unit and other units, e.g. other display units, video-disc players
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0693—Calibration of display systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

【課題】テレビジョン装置に固定されたカメラのキャリブレーションを行い易いキャリブレーション方法および映像表示装置を提供することである。
【解決手段】実施形態のキャリブレーション方法は、カメラおよび第１ディスプレイを備える映像表示装置のカメラ映像を補正するキャリブレーション方法であって、設置工程と、第１表示工程と、反射工程と、撮像工程と、算出工程と、補正工程とを含む。設置工程では、前記第１ディスプレイと、第２ディスプレイとを対向させて設置する。第１表示工程では、前記第１ディスプレイに所定の表示画像を表示させる。反射工程では、前記第１ディスプレイ上の表示画像を前記第２ディスプレイの表面で反射させる。撮像工程では、前記第２ディスプレイで反射された前記表示画像を前記カメラによって撮像する。算出工程では、カメラ映像における前記表示画像の位置のずれから、前記カメラと前記第１ディスプレイとの相対的位置関係を算出する。補正工程では、前記相対的位置関係に基づいて前記カメラ映像を補正する。
【選択図】図８To provide a calibration method and an image display device that facilitate calibration of a camera fixed to a television device.
A calibration method according to an embodiment is a calibration method for correcting a camera image of a video display device including a camera and a first display, and includes an installation step, a first display step, a reflection step, and imaging. A process, a calculation process, and a correction process are included. In the installation step, the first display and the second display are installed facing each other. In the first display step, a predetermined display image is displayed on the first display. In the reflection step, the display image on the first display is reflected by the surface of the second display. In the imaging step, the display image reflected by the second display is captured by the camera. In the calculation step, a relative positional relationship between the camera and the first display is calculated from a shift in the position of the display image in the camera video. In the correction step, the camera image is corrected based on the relative positional relationship.
[Selection] Figure 8

Description

本発明の実施形態は、キャリブレーション方法および映像表示装置に関する。   Embodiments described herein relate generally to a calibration method and a video display device.

近年、デジタルテレビジョン装置においては、カメラを内蔵して、その内蔵カメラによって視聴者を撮影し、撮影した映像を自装置のディスプレイに表示させるタイプのものが知られている。このようなテレビジョン装置においては、カメラが固定されているため、外付けのカメラとは異なって内蔵カメラの位置や光軸等を微調整することができない。   2. Description of the Related Art In recent years, a type of digital television apparatus is known in which a camera is incorporated, a viewer is photographed by the built-in camera, and the photographed video is displayed on the display of the apparatus. In such a television apparatus, since the camera is fixed, the position and optical axis of the built-in camera cannot be finely adjusted unlike an external camera.

従来、カメラで撮影されたカメラ映像をディスプレイに表示する場合には、カメラ映像の表示位置や回転角度、その他の画像の歪み等を画像処理によって補正し、補正後の映像をディスプレイに表示させる技術が知られている。   Conventionally, when displaying a camera image captured by a camera on a display, a technique for correcting the display position and rotation angle of the camera image, other image distortion, etc. by image processing and displaying the corrected image on the display It has been known.

特開２００９−４２１６２号公報JP 2009-42162 A

しかしながら、従来技術においては、テレビジョン装置に固定して設けられたカメラで撮影されたカメラ映像を補正するキャリブレーション方法については開発途上であり、簡便に行うことができるキャリブレーション方法が望まれていた。   However, in the prior art, a calibration method for correcting a camera image captured by a camera fixed to a television device is under development, and a calibration method that can be easily performed is desired. It was.

本発明が解決しようとする課題は、テレビジョン装置に固定されたカメラのキャリブレーションを行い易いキャリブレーション方法および映像表示装置を提供することである。   The problem to be solved by the present invention is to provide a calibration method and a video display device that facilitate calibration of a camera fixed to a television device.

実施形態のキャリブレーション方法は、カメラおよび第１ディスプレイを備える映像表示装置のカメラ映像を補正するキャリブレーション方法であって、設置工程と、第１表示工程と、反射工程と、撮像工程と、算出工程と、補正工程とを含む。設置工程では、前記第１ディスプレイと、第２ディスプレイとを対向させて設置する。第１表示工程では、前記第１ディスプレイに所定の表示画像を表示させる。反射工程では、前記第１ディスプレイ上の表示画像を前記第２ディスプレイの表面で反射させる。撮像工程では、前記第２ディスプレイで反射された前記表示画像を前記カメラによって撮像する。算出工程では、カメラ映像における前記表示画像の位置のずれから、前記カメラと前記第１ディスプレイとの相対的位置関係を算出する。補正工程では、前記相対的位置関係に基づいて前記カメラ映像を補正する。   A calibration method according to an embodiment is a calibration method for correcting a camera image of a video display device including a camera and a first display, and includes an installation process, a first display process, a reflection process, an imaging process, and a calculation. A process and a correction process. In the installation step, the first display and the second display are installed facing each other. In the first display step, a predetermined display image is displayed on the first display. In the reflection step, the display image on the first display is reflected by the surface of the second display. In the imaging step, the display image reflected by the second display is captured by the camera. In the calculation step, a relative positional relationship between the camera and the first display is calculated from a shift in the position of the display image in the camera video. In the correction step, the camera image is corrected based on the relative positional relationship.

図１は、本実施形態のキャリブレーション方法を概略的に説明する図である。FIG. 1 is a diagram schematically illustrating the calibration method of the present embodiment. 図２は、テレビジョン装置の一例を示す外観斜視図である。FIG. 2 is an external perspective view illustrating an example of a television device. 図３は、テレビジョン装置の信号処理系を示すブロック図である。FIG. 3 is a block diagram showing a signal processing system of the television apparatus. 図４は、カメラが撮影するカメラ映像と、ディスプレイが表示する表示映像の位置ずれの一例を説明する図である。FIG. 4 is a diagram for explaining an example of a positional deviation between a camera image captured by the camera and a display image displayed on the display. 図５は、テレビジョン装置が有するソフトウェア構成を示すブロック図である。FIG. 5 is a block diagram illustrating a software configuration of the television device. 図６は、テレビジョン装置が行う補正値算出処理の手順を示すフローチャートである。FIG. 6 is a flowchart illustrating a procedure of correction value calculation processing performed by the television apparatus. 図７は、第１ディスプレイの表示画像を第２ディスプレイの表面で反射させてカメラで撮影する場合の動作説明図である。FIG. 7 is an operation explanatory diagram in the case where the display image of the first display is reflected by the surface of the second display and photographed by the camera. 図８は、第２ディスプレイの表示画像をカメラで撮像する場合の動作説明図である。FIG. 8 is an operation explanatory diagram when a display image on the second display is captured by a camera. 図９は、座標系を説明する図である。FIG. 9 is a diagram illustrating a coordinate system. 図１０は、第１ディスプレイの表示画像と、その表示画像の虚像と、第２ディスプレイの表示画像と、カメラとの位置関係を示す模式図である。FIG. 10 is a schematic diagram showing the positional relationship between the display image on the first display, the virtual image of the display image, the display image on the second display, and the camera. 図１１は、テレビジョン装置が行うカメラ映像の補正処理の手順を示すフローチャートである。FIG. 11 is a flowchart illustrating a procedure of camera image correction processing performed by the television apparatus.

図１は、本実施形態のキャリブレーション方法を概略的に説明する図である。本実施形態のキャリブレーション方法は、カメラ４と第１ディスプレイ３とを備える映像表示装置（テレビジョン装置１）において、カメラ４が撮像するカメラ映像の補正を行う方法である。概略的には、第１ディスプレイ３と第２ディスプレイ５とを対向設置し、第２ディスプレイ５を用いてキャリブレーションを行う方法である。次に、本実施形態の映像表示装置であるテレビジョン装置１の構成について説明する。   FIG. 1 is a diagram schematically illustrating the calibration method of the present embodiment. The calibration method according to the present embodiment is a method for correcting a camera image captured by the camera 4 in a video display device (television device 1) including the camera 4 and the first display 3. In general, the first display 3 and the second display 5 are opposed to each other, and calibration is performed using the second display 5. Next, the configuration of the television device 1 that is the video display device of the present embodiment will be described.

図２は、テレビジョン装置１の一例を示す外観斜視図である。図２に示すように、テレビジョン装置１は、前方から見た正面視（前面に対する平面視）で、長方形状の外観を呈している。テレビジョン装置１は、筐体２と、第１ディスプレイ３を備えている。第１ディスプレイ３は、例えばＬＣＤ（Liquid Crystal Display）等で構成され、後述する映像処理部１７（図３参照）から映像信号を受け取り、静止画や動画等の映像を表示する。また、筐体２にはカメラ４が設けられている。このカメラは、例えばテレビジョン装置１の視聴者等を撮影する目的で用いることができる。また、筐体２は、支持部６に支持されている。   FIG. 2 is an external perspective view showing an example of the television apparatus 1. As shown in FIG. 2, the television apparatus 1 has a rectangular appearance when viewed from the front (when viewed from the front). The television apparatus 1 includes a housing 2 and a first display 3. The first display 3 is composed of, for example, an LCD (Liquid Crystal Display) or the like, receives a video signal from a video processing unit 17 (see FIG. 3) described later, and displays a video such as a still image or a moving image. The housing 2 is provided with a camera 4. This camera can be used, for example, for the purpose of photographing a viewer of the television apparatus 1. The housing 2 is supported by the support portion 6.

図３は、テレビジョン装置１の信号処理系を示すブロック図である。図３に示すように、テレビジョン装置１は、アンテナ１２で受信したデジタルテレビジョン放送信号を、入力端子１３を介してチューナ部１４に供給することにより、所望のチャンネルの放送信号を選局することが可能になっている。チューナＡ１４１およびチューナＢ１４２は地上デジタル放送受信用のチューナであり、チューナＣ１４３はＢＳ／ＣＳデジタル放送受信用のチューナである。なお、図３においては、チューナを３台有している場合について示すが、チューナの数はこれに限定されるものではない。   FIG. 3 is a block diagram showing a signal processing system of the television apparatus 1. As shown in FIG. 3, the television apparatus 1 selects a broadcast signal of a desired channel by supplying a digital television broadcast signal received by an antenna 12 to a tuner unit 14 via an input terminal 13. It is possible. Tuner A 141 and tuner B 142 are tuners for receiving terrestrial digital broadcasts, and tuner C 143 is a tuner for receiving BS / CS digital broadcasts. Although FIG. 3 shows a case where three tuners are provided, the number of tuners is not limited to this.

チューナ部１４は受信した放送信号を復調復号部１５に出力する。復調復号部１５は、入力された放送信号をデジタルの映像信号及び音声信号等に復元し、入力信号処理部１６に出力する。   The tuner unit 14 outputs the received broadcast signal to the demodulation / decoding unit 15. The demodulation / decoding unit 15 restores the input broadcast signal to a digital video signal, an audio signal, and the like, and outputs the restored signal to the input signal processing unit 16.

テレビジョン装置１には、テレビジョン装置１の外部からデジタルの映像信号又は音声信号を直接入力するための入力端子２１が設けられている。入力端子２１を介して入力されたデジタルの映像信号及び音声信号は、記録再生処理部２９に入力される。   The television apparatus 1 is provided with an input terminal 21 for directly inputting a digital video signal or audio signal from the outside of the television apparatus 1. The digital video signal and audio signal input via the input terminal 21 are input to the recording / playback processing unit 29.

操作部２４は、筐体２に設けられ、電源のオン・オフを行うスイッチ、チャンネルを切り替えるスイッチ等を備えている。受信部２６は、リモートコントローラ（以下、リモコンと略称する）２５から信号を受信して受信した信号を制御部４０に出力する。制御部４０は、操作部２４またはリモコン２５におけるユーザの操作に基づいて再生、チャンネル切替、録画予約等の指示を受付ける。   The operation unit 24 is provided in the housing 2 and includes a switch for turning on / off the power, a switch for switching a channel, and the like. The receiving unit 26 receives a signal from a remote controller (hereinafter abbreviated as “remote controller”) 25 and outputs the received signal to the control unit 40. The control unit 40 receives instructions for reproduction, channel switching, recording reservation, and the like based on user operations on the operation unit 24 or the remote controller 25.

ディスクドライブ部２７は、例えばＤＶＤ（Digital Versatile Disk）等の光ディスク２８に対してデジタルデータの記録再生を行う。ディスクドライブ部２７は、制御部４０の指示に基づいて光ディスク２８からデジタルの映像信号、音声信号を読み出し、記録再生処理部２９に出力する。また、ディスクドライブ部２７は、記録再生処理部２９から入力されたデジタルの映像信号、音声信号を光ディスク２８に記録する。   The disk drive unit 27 records and reproduces digital data on an optical disk 28 such as a DVD (Digital Versatile Disk). The disc drive unit 27 reads out digital video signals and audio signals from the optical disc 28 based on instructions from the control unit 40, and outputs them to the recording / playback processing unit 29. The disk drive unit 27 records the digital video signal and audio signal input from the recording / playback processing unit 29 on the optical disk 28.

ＨＤＤ（Hard Disk Drive）２０は、内部に備えるハードディスクに対する記録および再生を行う。ＨＤＤ２０は、制御部４０の指示に基づいてハードディスクからデジタルの映像信号、音声信号を読み出し、記録再生処理部２９に出力する。また、ＨＤＤ２０は、記録再生処理部２９から入力されたデジタルの映像信号、音声信号をハードディスクに記録する。   An HDD (Hard Disk Drive) 20 performs recording and reproduction with respect to an internal hard disk. The HDD 20 reads digital video signals and audio signals from the hard disk based on instructions from the control unit 40, and outputs them to the recording / playback processing unit 29. The HDD 20 records the digital video signal and audio signal input from the recording / playback processing unit 29 on the hard disk.

記録再生処理部２９は、復調復号部１５、入力端子２１、ディスクドライブ部２７、ＨＤＤ２０、図示しないネットワークインタフェースから入力されるデジタルの映像信号、音声信号を暗号化し所定の記録フォーマットに変換する。そして変換後の信号をディスクドライブ部２７またはＨＤＤ２０に出力する。また、記録再生処理部２９は、ディスクドライブ部２７またはＨＤＤ２０から読み出されたデジタルの映像信号、音声信号を複合化して、入力信号処理部１６に出力する。   The recording / reproducing processor 29 encrypts digital video signals and audio signals input from the demodulator / decoder 15, the input terminal 21, the disk drive unit 27, the HDD 20, and a network interface (not shown), and converts them into a predetermined recording format. The converted signal is output to the disk drive unit 27 or the HDD 20. The recording / playback processing unit 29 combines the digital video signal and audio signal read from the disk drive unit 27 or the HDD 20 and outputs them to the input signal processing unit 16.

入力信号処理部１６は、復調復号部１５または記録再生処理部２９から入力されたデジタルの映像信号及び音声信号に対して所定のデジタル信号処理を施す。入力信号処理部１６は、デジタルの映像信号を映像処理部１７に出力し、デジタルの音声信号を音声処理部１８に出力する。   The input signal processing unit 16 performs predetermined digital signal processing on the digital video signal and audio signal input from the demodulation / decoding unit 15 or the recording / reproduction processing unit 29. The input signal processing unit 16 outputs a digital video signal to the video processing unit 17 and outputs a digital audio signal to the audio processing unit 18.

映像処理部１７は、入力信号処理部１６または制御部４０から入力されたデジタルの映像信号を、第１ディスプレイ３で表示可能なフォーマットのアナログ映像信号に変換して、第１ディスプレイ３に入力する。第１ディスプレイ３は、映像処理部１７から出力されたアナログ映像信号によって、番組の視聴画面や、その他の映像等を表示する。また、テレビジョン装置１には出力端子１７１が設けられており、この出力端子１７１には第２ディスプレイ５を接続することができる。映像処理部１７は、出力端子１７１を介して接続された第２ディスプレイ５にアナログ映像信号を入力し、第２ディスプレイ５は、入力されたアナログ映像信号に応じて映像を表示する。   The video processing unit 17 converts the digital video signal input from the input signal processing unit 16 or the control unit 40 into an analog video signal in a format that can be displayed on the first display 3, and inputs the analog video signal to the first display 3. . The first display 3 displays a program viewing screen, other video, and the like by the analog video signal output from the video processing unit 17. In addition, the television apparatus 1 is provided with an output terminal 171, and the second display 5 can be connected to the output terminal 171. The video processing unit 17 inputs an analog video signal to the second display 5 connected via the output terminal 171, and the second display 5 displays a video according to the input analog video signal.

音声処理部１８は、入力信号処理部１６から入力されたデジタルの音声信号を、後段のスピーカ１９で再生可能なフォーマットのアナログ音声信号に変換して、スピーカ１９に入力する。スピーカ１９は、音声処理部１８から入力されたアナログ音声信号に基づいて音声を再生する。   The audio processing unit 18 converts the digital audio signal input from the input signal processing unit 16 into an analog audio signal in a format that can be reproduced by the speaker 19 at the subsequent stage, and inputs the analog audio signal to the speaker 19. The speaker 19 reproduces sound based on the analog sound signal input from the sound processing unit 18.

制御部４０は、チューナ部１４、記録再生処理部２９、入力信号処理部１６、操作部２４、受信部２６、ディスクドライブ部２７、ＨＤＤ２０、図示しないネットワークインタフェース等とバスやインタフェースによって接続されており、これら各部の動作を制御する。また、制御部４０は、視聴者による操作部２４やリモートコントローラ２５の操作に基づいて、制御部４０に接続された上記各部を制御し、番組視聴、チャンネル切替、番組の録画予約、映像コンテンツ等の処理を行う。   The control unit 40 is connected to the tuner unit 14, the recording / playback processing unit 29, the input signal processing unit 16, the operation unit 24, the receiving unit 26, the disk drive unit 27, the HDD 20, a network interface (not shown), and the like through a bus or an interface. Control the operation of these parts. Further, the control unit 40 controls the above-described units connected to the control unit 40 based on the operation of the operation unit 24 and the remote controller 25 by the viewer, and program viewing, channel switching, program recording reservation, video content, etc. Perform the process.

また、制御部４０は、図３に示すように、ＣＰＵ（Central Processing Unit）４０ａと、ＣＰＵ４０ａが実行する制御プログラムを格納したＲＯＭ（Read Only Memory）４０ｂと、該ＣＰＵ４０ａに作業エリアを提供するためのＲＡＭ（Random Access Memory）４０ｃとを備えている。   Further, as shown in FIG. 3, the control unit 40 provides a central processing unit (CPU) 40a, a ROM (Read Only Memory) 40b storing a control program executed by the CPU 40a, and a work area for the CPU 40a. RAM (Random Access Memory) 40c.

ここで、カメラ４が撮影するカメラ映像と、第１ディスプレイ３が表示する表示映像の位置ずれについて説明する。図４は、カメラ４が撮影するカメラ映像と、第１ディスプレイ３が表示する表示映像の位置ずれの一例を説明する図である。まず、カメラ４によって撮影されるカメラ映像の中心位置は、カメラ４のレンズの中心位置となり、第１ディスプレイ３が表示する表示映像の中心位置は、第１ディスプレイ３の中心位置となるため、これらの中心位置は第１ディスプレイ３の幅に応じて離間することとなる。また、図４に示すように、カメラ４の光軸は第１ディスプレイ３の前の視聴者を撮影できるよう第１ディスプレイ３の中心寄りに傾けて設置される。従って、カメラ４のレンズ表面の法線ベクトル５１と、ディスプレイ表面の法線ベクトル５２とは異なる方向を向くこととなる。従って、カメラ映像を第１ディスプレイ３に表示する場合には、これらカメラ映像と第１ディスプレイ３の表示映像との相対的位置関係に応じて、位置や方向のずれを補正する必要がある。また、カメラ４をテレビジョン装置１に設置する際にはその位置に個体差が生じる場合もあるため、カメラ４の設置位置や設置方向を各々のテレビジョン装置１で補正する必要がある。   Here, the positional deviation between the camera image captured by the camera 4 and the display image displayed on the first display 3 will be described. FIG. 4 is a diagram for explaining an example of the positional deviation between the camera image captured by the camera 4 and the display image displayed on the first display 3. First, the center position of the camera image captured by the camera 4 is the center position of the lens of the camera 4, and the center position of the display image displayed on the first display 3 is the center position of the first display 3. The center position of is separated according to the width of the first display 3. As shown in FIG. 4, the optical axis of the camera 4 is installed to be inclined toward the center of the first display 3 so that a viewer in front of the first display 3 can be photographed. Therefore, the normal vector 51 on the lens surface of the camera 4 and the normal vector 52 on the display surface face different directions. Therefore, when displaying the camera video on the first display 3, it is necessary to correct the shift in position and direction according to the relative positional relationship between the camera video and the display video on the first display 3. In addition, when the camera 4 is installed in the television apparatus 1, there may be individual differences in the position thereof, and therefore it is necessary to correct the installation position and installation direction of the camera 4 in each television apparatus 1.

図５は、テレビジョン装置１が有するソフトウェア構成を示すブロック図である。制御部４０（図３参照）は、制御部４０が備えるＣＰＵ４０ａがＲＯＭ４０ｂに格納されたプログラムをＲＡＭ４０ｃに展開して実行することにより、図５に示すように、第１表示部４１、第２表示部４２、画像取込部４３、算出部４４、補正部４５としての機能を実現する。また、制御部４０の不揮発性の記憶エリアには、補正値格納部４６が設けられている。次に、各部の機能について概略的に説明する。   FIG. 5 is a block diagram illustrating a software configuration of the television device 1. The control unit 40 (see FIG. 3) is configured such that the CPU 40a included in the control unit 40 expands and executes the program stored in the ROM 40b on the RAM 40c, thereby causing the first display unit 41 and the second display as shown in FIG. Functions as the unit 42, the image capturing unit 43, the calculation unit 44, and the correction unit 45 are realized. A correction value storage unit 46 is provided in the nonvolatile storage area of the control unit 40. Next, the function of each unit will be schematically described.

第１表示部４１は、映像処理部１７を介して第１ディスプレイ３を制御し、第１ディスプレイ３にキャリブレーション用の画像を表示させる。また、第１表示部４１は、第１ディスプレイ３の輝度を制御する。第２表示部４２は、映像処理部１７を介して第２ディスプレイ５を制御し、第２ディスプレイ５にキャリブレーション用の画像を表示させる。また、第２表示部４２は、第２ディスプレイ５の輝度を制御する。   The first display unit 41 controls the first display 3 via the video processing unit 17 to display an image for calibration on the first display 3. The first display unit 41 controls the luminance of the first display 3. The second display unit 42 controls the second display 5 via the video processing unit 17 and causes the second display 5 to display an image for calibration. The second display unit 42 controls the brightness of the second display 5.

第１表示部４１または第２表示部４２が表示させるキャリブレーション用の画像としては、例えばチェッカーボード等のパターン画像を用いることができるが、画像の種類や色、大きさは特に限定されるものではない。   As a calibration image displayed by the first display unit 41 or the second display unit 42, for example, a pattern image such as a checkerboard can be used, but the type, color, and size of the image are particularly limited. is not.

画像取込部４３（撮像手段）は、第２ディスプレイ５の表面で反射された第１ディスプレイ３上の表示画像をカメラ４によって撮像し、そのカメラ映像をＲＡＭ等のメモリ上に取り込む。また、画像取込部４３（第２撮像手段）は、第２ディスプレイ５に表示された表示画像をカメラ４によって撮像し、そのカメラ映像をＲＡＭ等のメモリ上に取り込む。   The image capturing unit 43 (imaging means) captures a display image on the first display 3 reflected by the surface of the second display 5 by the camera 4 and captures the camera image on a memory such as a RAM. In addition, the image capturing unit 43 (second imaging unit) captures a display image displayed on the second display 5 with the camera 4 and captures the camera image on a memory such as a RAM.

算出部４４（算出手段）は、カメラ映像における第１ディスプレイ３の表示画像の位置のずれから、カメラ４と第１ディスプレイ３との相対的位置関係を算出する。また、算出部４４（第２算出手段）は、カメラ映像における第２ディスプレイ５の表示画像の位置のずれから、カメラ４と第２ディスプレイ５との相対的位置関係を算出する。さらに、算出部４４は、カメラ４と第１ディスプレイ３との相対的位置関係、およびカメラ４と第２ディスプレイとの相対的位置関係から、カメラ４と第１ディスプレイ３との相対的位置関係を算出し、これを補正値として補正値格納部４６に格納する。尚、相対的位置関係とは、相対的な配置のずれ、相対的な向きのずれ等のことである。   The calculation unit 44 (calculation means) calculates the relative positional relationship between the camera 4 and the first display 3 from the displacement of the position of the display image on the first display 3 in the camera video. Further, the calculation unit 44 (second calculation means) calculates the relative positional relationship between the camera 4 and the second display 5 from the shift of the position of the display image on the second display 5 in the camera video. Furthermore, the calculation unit 44 determines the relative positional relationship between the camera 4 and the first display 3 from the relative positional relationship between the camera 4 and the first display 3 and the relative positional relationship between the camera 4 and the second display. This is calculated and stored in the correction value storage unit 46 as a correction value. The relative positional relationship means a relative dislocation, a relative orientation shift, and the like.

補正部４５は、補正値格納部４６に格納された補正値によってカメラ映像を補正する。尚、各部のより詳細な機能については後述する。   The correction unit 45 corrects the camera image with the correction value stored in the correction value storage unit 46. Note that more detailed functions of each unit will be described later.

次に、テレビジョン装置１が行うカメラ映像のキャリブレーション処理の工程について、図５および図６を参照して説明する。図６はテレビジョン装置１が行う補正値算出処理の手順を示すフローチャートである。   Next, a camera image calibration process performed by the television apparatus 1 will be described with reference to FIGS. 5 and 6. FIG. 6 is a flowchart showing a procedure of correction value calculation processing performed by the television apparatus 1.

まず、第１ディスプレイ３と第２ディスプレイ５とを対向させて設置する（ステップＳ１）。また、第１ディスプレイ３と第２ディスプレイ５との相対的位置関係は、ステップＳ６〜Ｓ８において測定されるため、ステップＳ１では第１ディスプレイ３と第２ディスプレイ５とを完全に正対させずともよい。即ち、第１ディスプレイ３と第２ディスプレイ５との相対的位置関係は、第１ディスプレイ３上の表示画像が第２ディスプレイ５の表面で反射された場合にこの表示画像の鏡像がカメラ４で撮像可能であり、かつ、第２ディスプレイ５の表示画像をカメラ４で撮像可能である位置関係であればよい。尚、第１ディスプレイ３と第２ディスプレイ５とが平行である場合、或いは、第１ディスプレイ３と第２ディスプレイ５との相対的な向きが既知である場合には、ステップＳ６〜Ｓ８の手順を省略することができる。   First, the first display 3 and the second display 5 are installed facing each other (step S1). In addition, since the relative positional relationship between the first display 3 and the second display 5 is measured in steps S6 to S8, the first display 3 and the second display 5 are not completely opposed in step S1. Good. That is, the relative positional relationship between the first display 3 and the second display 5 is such that when the display image on the first display 3 is reflected by the surface of the second display 5, a mirror image of this display image is captured by the camera 4. Any positional relationship is possible as long as it is possible and the display image of the second display 5 can be captured by the camera 4. If the first display 3 and the second display 5 are parallel, or if the relative orientation between the first display 3 and the second display 5 is known, the procedure of steps S6 to S8 is performed. Can be omitted.

次に、第１表示部４１は、第１ディスプレイ３にキャリブレーション用のパターン画像（以降では単に補正用パターンという）を表示させる（ステップＳ２）。   Next, the first display unit 41 displays a pattern image for calibration (hereinafter simply referred to as a correction pattern) on the first display 3 (step S2).

ここで、図７は、第１ディスプレイ３の表示画像を第２ディスプレイ５の表面で反射させてカメラ４で撮影する場合の動作説明図である。第２表示部４２は第２ディスプレイ５の輝度を低減させて、第１ディスプレイ３に表示されている補正用パターンを第２ディスプレイ５によって反射しやすい状態とする（ステップＳ３）。   Here, FIG. 7 is an operation explanatory diagram in the case where the display image of the first display 3 is reflected by the surface of the second display 5 and photographed by the camera 4. The second display unit 42 reduces the luminance of the second display 5 so that the correction pattern displayed on the first display 3 is easily reflected by the second display 5 (step S3).

尚、第２ディスプレイ５で反射される映像をより鮮明にするために、第２ディスプレイ５の表面は反射率の高い部材であることが好ましい。好適な実施形態としては、第２ディスプレイ５は、表面にグレアパネルを有することが好ましい。また、その他の好適な実施形態として、表面にハーフミラーを設けた第２ディスプレイ５を用いるとしてもよい。   In order to make the image reflected by the second display 5 clearer, the surface of the second display 5 is preferably a member having a high reflectance. In a preferred embodiment, the second display 5 preferably has a glare panel on the surface. Further, as another preferred embodiment, the second display 5 having a half mirror on the surface may be used.

次に、画像取込部４３は、第２ディスプレイ５の表面で反射された補正用パターンの鏡像（虚像）をカメラ４によって撮像し、そのカメラ映像をメモリ上に取り込む（ステップＳ４）。   Next, the image capturing unit 43 captures a mirror image (virtual image) of the correction pattern reflected by the surface of the second display 5 with the camera 4, and captures the camera image on the memory (step S4).

そして、算出部４４は、カメラ映像内の所定の位置（例えば、カメラ映像の中心位置など）に対する補正用パターンの位置のずれから、カメラ４と第１ディスプレイ３との相対的位置関係を算出する（ステップＳ５）。   Then, the calculation unit 44 calculates the relative positional relationship between the camera 4 and the first display 3 from the deviation of the position of the correction pattern with respect to a predetermined position (for example, the center position of the camera image) in the camera image. (Step S5).

次に、第２表示部４２は、第２ディスプレイ５に、補正用パターンを表示させる（ステップＳ６）。   Next, the second display unit 42 displays the correction pattern on the second display 5 (step S6).

ここで、図８は、第２ディスプレイ５の表示画像をカメラ４で撮像する場合の動作説明図である。第１表示部４１は第１ディスプレイ３の輝度を低減させる。これにより、第２ディスプレイ５に第１ディスプレイ３の表示画像が映りこむことを防いで、第２ディスプレイ５上に表示された補正用パターンの画像解析を行い易くすることができる。   Here, FIG. 8 is an operation explanatory diagram when the camera 4 captures a display image on the second display 5. The first display unit 41 reduces the luminance of the first display 3. Thereby, it is possible to prevent the display image on the first display 3 from appearing on the second display 5 and to easily perform the image analysis of the correction pattern displayed on the second display 5.

そして、画像取込部４３は、第２ディスプレイ５に表示された補正用パターンをカメラ４によって撮像し、そのカメラ映像をメモリ上に取り込む（ステップＳ７）。   Then, the image capturing unit 43 captures the correction pattern displayed on the second display 5 with the camera 4, and captures the camera image on the memory (step S7).

算出部４４は、カメラ映像内の所定の位置に対する補正用パターンの位置のずれから、カメラ４と第２ディスプレイ５との相対的位置関係を算出する（ステップＳ８）。   The calculation unit 44 calculates the relative positional relationship between the camera 4 and the second display 5 from the shift of the position of the correction pattern with respect to a predetermined position in the camera video (step S8).

そして、算出部４４は、ステップＳ５、Ｓ８で算出された相対的位置関係に基づいて、カメラ４と第１ディスプレイ３との相対的位置関係を算出する（ステップＳ９）。ここで、ステップＳ５、Ｓ８、Ｓ９で行われる算出処理の一例について、図９、図１０を用いてより詳細に説明する。   Then, the calculation unit 44 calculates the relative positional relationship between the camera 4 and the first display 3 based on the relative positional relationship calculated in steps S5 and S8 (step S9). Here, an example of the calculation process performed in steps S5, S8, and S9 will be described in more detail with reference to FIGS.

まず、図９を用いて座標系について説明する。図９は、座標系を説明する図である。図９に示すように、第１ディスプレイ３の中心Ｃを通り、ディスプレイの幅方向に伸びる軸がＸ軸であり、第１ディスプレイ３の高さ方向に伸びる軸がＹ軸であり、第１ディスプレイ３の表面に垂直に、奥行き方向に伸びる軸がＺ軸である。また、Ｘ、Ｙ、Ｚ各軸周りの回転角度はそれぞれθｘ、θｙ、θｚである。   First, the coordinate system will be described with reference to FIG. FIG. 9 is a diagram illustrating a coordinate system. As shown in FIG. 9, the axis extending through the center C of the first display 3 and extending in the width direction of the display is the X axis, and the axis extending in the height direction of the first display 3 is the Y axis. The axis extending in the depth direction perpendicular to the surface of 3 is the Z axis. The rotation angles around the X, Y, and Z axes are θx, θy, and θz, respectively.

次に、図１０を用いて、ｘ軸方向のずれを一例に挙げて説明する。図１０は、第１ディスプレイ３の表示画像３０１（補正用パターン）と、その表示画像３０１の虚像３０２と、第２ディスプレイ５の表示画像５０１（補正用パターン）と、カメラ４との位置関係を示す模式図である。ステップＳ４において画像取込部４３は、第２ディスプレイ５の表面に映し出された表示画像３０１の虚像３０２をカメラ４で撮像する。   Next, the shift in the x-axis direction will be described as an example with reference to FIG. FIG. 10 shows the positional relationship between the display image 301 (correction pattern) on the first display 3, the virtual image 302 of the display image 301, the display image 501 (correction pattern) on the second display 5, and the camera 4. It is a schematic diagram shown. In step S <b> 4, the image capturing unit 43 captures a virtual image 302 of the display image 301 displayed on the surface of the second display 5 with the camera 4.

ステップＳ５において算出部４４は、虚像３０２の中心点３０２ｃとカメラ映像の中心点とのずれを検出することにより、当該中心点３０２ｃとカメラ４のレンズ中心位置とのＸ軸方向のずれｄｘ１を算出する。同様に、中心点３０２ｃとカメラ４のレンズ中心位置とのＹ軸、Ｚ軸方向のずれｄｙ１、ｄｚ１を算出する。また、算出部４４は、虚像３０２とカメラ４の光軸との回転角度（ずれ角度）を算出し、各軸周りの回転角度θｘ１、θｙ１、θｚ１をそれぞれ算出する。   In step S5, the calculation unit 44 detects a shift between the center point 302c of the virtual image 302 and the center point of the camera image, thereby calculating a shift dx1 in the X-axis direction between the center point 302c and the lens center position of the camera 4. To do. Similarly, deviations dy1 and dz1 in the Y-axis and Z-axis directions between the center point 302c and the lens center position of the camera 4 are calculated. Further, the calculation unit 44 calculates a rotation angle (shift angle) between the virtual image 302 and the optical axis of the camera 4 and calculates rotation angles θx1, θy1, and θz1 around each axis.

また、ステップＳ７において画像取込部４３は、第２ディスプレイ５に表示された表示画像５０１をカメラ４で撮像する。ステップＳ８において算出部４４は、表示画像５０１の中心点５０１ｃとカメラ映像の中心点とのずれを検出することにより、当該中心点５０１ｃとカメラ４のレンズ中心位置とのＸ軸方向のずれｄｘ２を算出する。同様に、中心点５０１ｃとカメラ４のレンズ中心位置とのＹ軸、Ｚ軸方向のずれｄｙ２、ｄｚ２を算出する。また、算出部４４は、表示画像５０１とカメラ４の光軸との回転角度（ずれ角度）を算出し、各軸周りの回転角度θｘ２、θｙ２、θｚ２をそれぞれ算出する。   In step S <b> 7, the image capturing unit 43 captures the display image 501 displayed on the second display 5 with the camera 4. In step S <b> 8, the calculation unit 44 detects a shift between the center point 501 c of the display image 501 and the center point of the camera image, thereby calculating a shift dx <b> 2 in the X-axis direction between the center point 501 c and the lens center position of the camera 4. calculate. Similarly, deviations dy2 and dz2 in the Y-axis and Z-axis directions between the center point 501c and the lens center position of the camera 4 are calculated. The calculation unit 44 calculates a rotation angle (shift angle) between the display image 501 and the optical axis of the camera 4 and calculates rotation angles θx2, θy2, and θz2 around each axis.

そして、算出部４４は、ステップＳ５で算出した相対的位置関係ｄｘ１、ｄｙ１、ｄｚ１、θｘ１、θｙ１、θｚ１と、ステップＳ８で算出した相対的位置関係ｄｘ２、ｄｙ２、ｄｚ２、θｘ２、θｙ２、θｚ２とに基づいて、カメラ４と第１ディスプレイ３との相対的位置関係を算出する（ステップＳ９）。   Then, the calculation unit 44 calculates the relative positional relationships dx1, dy1, dz1, θx1, θy1, and θz1 calculated in step S5, and the relative positional relationships dx2, dy2, dz2, θx2, θy2, and θz2 calculated in step S8. Based on the above, the relative positional relationship between the camera 4 and the first display 3 is calculated (step S9).

ここで、カメラ４のレンズ中心位置と第１ディスプレイ３の中心位置とのＸ、Ｙ、Ｚ各軸方向の平行移動量をそれぞれΔｄｘ、Δｄｙ、Δｄｚとし、Ｘ、Ｙ、Ｚ各軸周りの回転角度をそれぞれΔθｘ、Δθｙ、Δθｚとする。鏡の入射角と反射角の関係から、各相対的位置関係は、次式のように示される。ただし、Δｄｚは算出できないためここでは０とする。   Here, the amounts of translation in the X, Y, and Z axis directions between the lens center position of the camera 4 and the center position of the first display 3 are Δdx, Δdy, and Δdz, respectively, and rotation about the X, Y, and Z axes is performed. The angles are assumed to be Δθx, Δθy, and Δθz, respectively. From the relationship between the incident angle and the reflection angle of the mirror, each relative positional relationship is expressed as follows. However, since Δdz cannot be calculated, it is set to 0 here.

Figure 0005185424
Figure 0005185424
Figure 0005185424
Figure 0005185424
Figure 0005185424
Figure 0005185424
Figure 0005185424
Figure 0005185424
Figure 0005185424
Figure 0005185424
Figure 0005185424
Figure 0005185424

算出部４４は、上述の式（１）〜式（６）で示されるカメラ４と第１ディスプレイ３との相対的位置関係を、カメラ映像のキャリブレーションに用いる補正値として補正値格納部４６に格納する（ステップＳ１０）。   The calculation unit 44 stores the relative positional relationship between the camera 4 and the first display 3 expressed by the above formulas (1) to (6) in the correction value storage unit 46 as a correction value used for camera image calibration. Store (step S10).

尚、図９、図１０を用いて上述した例では、補正用パターンの中心点（中心点３０２ｃ、中心点５０１ｃ）とカメラ映像の中心点とのずれを検出するとしたが、本実施形態はこれに限定されることなく、補正用パターンのその他の点のずれを検出するとしてもよい。また、複数の点についてカメラ映像との位置ずれをそれぞれ検出し、ずれ量の算出に用いるとしてもよい。   In the example described above with reference to FIGS. 9 and 10, the shift between the center points (center point 302 c and center point 501 c) of the correction pattern and the center point of the camera image is detected. Without being limited to the above, it is also possible to detect misalignment of other points of the correction pattern. Further, it is also possible to detect a positional deviation from the camera video for a plurality of points and use it for calculating the deviation amount.

次に、テレビジョン装置１が行うカメラ映像の補正処理の手順について説明する。図１１は、テレビジョン装置１が行うカメラ映像の補正処理の手順を示すフローチャートである。図１１に示すように、補正部４５は、補正値格納部４６に格納されている上記補正値を用いて、カメラ４で撮像されるカメラ映像のキャリブレーションを行う（ステップＳ１１）。   Next, a procedure of camera image correction processing performed by the television device 1 will be described. FIG. 11 is a flowchart illustrating a procedure of camera image correction processing performed by the television apparatus 1. As shown in FIG. 11, the correction unit 45 uses the correction value stored in the correction value storage unit 46 to calibrate the camera image captured by the camera 4 (step S11).

以上説明したとおり、本実施形態によれば、第２ディスプレイ５で反射された第１ディスプレイ３上の表示画像をカメラ４によって撮像し、カメラ映像内における表示画像の位置のずれから、カメラ４と第１ディスプレイ３との相対的位置関係を算出し、この相対的位置関係に基づいてカメラ映像を補正する。従って、自装置と第２ディスプレイ５があればカメラ４のキャリブレーションを行うことができるので、テレビジョン装置１に固定されているカメラ４のキャリブレーションを行い易い映像表示装置、映像表示方法およびプログラムを提供することができる。   As described above, according to the present embodiment, the display image on the first display 3 reflected by the second display 5 is picked up by the camera 4, and the position of the display image in the camera video is shifted from that of the camera 4. A relative positional relationship with the first display 3 is calculated, and the camera image is corrected based on the relative positional relationship. Therefore, since the camera 4 can be calibrated if the device itself and the second display 5 are present, a video display device, a video display method, and a program that facilitate the calibration of the camera 4 fixed to the television device 1. Can be provided.

また、本実施形態によれば、第２ディスプレイ５に表示させた表示画像をカメラ４によって撮像し、カメラ位置に対する当該表示画像の位置のずれから、カメラ４と第２ディスプレイ５との相対的位置関係を算出し、この相対的位置関係をさらに用いて補正値を算出する。従って、第１ディスプレイ３と第２ディスプレイ５とを厳密に平行にする必要性、或いは、第１ディスプレイ３と第２ディスプレイ５との相対的位置関係（相対的な配置、相対的な向き）を把握する必要性がなくなるので、カメラ４のキャリブレーションをより簡便に行うことができる。   In addition, according to the present embodiment, the display image displayed on the second display 5 is captured by the camera 4, and the relative position between the camera 4 and the second display 5 is determined from the displacement of the display image relative to the camera position. A relationship is calculated, and a correction value is calculated by further using this relative positional relationship. Therefore, it is necessary to make the first display 3 and the second display 5 strictly parallel, or the relative positional relationship (relative arrangement, relative orientation) between the first display 3 and the second display 5. Since there is no need to grasp, the camera 4 can be calibrated more easily.

尚、第１ディスプレイ３に表示されるキャリブレーション用の画像と、第２ディスプレイ５に表示されるキャリブレーション用の画像とは、大きさが異なってもよいし、同じであってもよい。また、上述では、キャリブレーション用の画像としてチェッカーボード（市松模様）のパターンを用いたが、これに限定されずその他の画像を用いるとしてもよい。さらに、第２ディスプレイ５に表示されるキャリブレーション用の画像は、第１ディスプレイ３に表示されるキャリブレーション用の画像を左右反転させた虚像であってもよいが、虚像でなくてもよく、各画像内の所定の位置とカメラ４との相対的位置関係が夫々算出できればよい。   Note that the calibration image displayed on the first display 3 and the calibration image displayed on the second display 5 may be different in size or the same. In the above description, a checkerboard pattern is used as an image for calibration. However, the present invention is not limited to this, and other images may be used. Further, the calibration image displayed on the second display 5 may be a virtual image obtained by horizontally inverting the calibration image displayed on the first display 3, but may not be a virtual image. It is only necessary to calculate the relative positional relationship between the predetermined position in each image and the camera 4.

尚、上述では、テレビジョン装置１が第２表示部４２を備えるとしたが、これに限定されず、第２ディスプレイ５を制御する他の映像表示装置が第２表示部４２を備えるとし、テレビジョン装置１と上記他の映像表示装置とを連携させてキャリブレーションを行うとしてもよい。   In the above description, the television device 1 includes the second display unit 42. However, the present invention is not limited thereto, and another video display device that controls the second display 5 includes the second display unit 42. The John apparatus 1 and the other video display apparatus may be linked to perform calibration.

尚、第１ディスプレイ３、第２ディスプレイ５の輝度を低減する方法は特に限定されないが、例えば、各ディスプレイに黒色画像や濃色画像等を表示させることや、各ディスプレイの映像出力をオフとすることにより、各ディスプレイの輝度を低減することができる。   The method of reducing the brightness of the first display 3 and the second display 5 is not particularly limited. For example, a black image or a dark color image is displayed on each display, or the video output of each display is turned off. As a result, the brightness of each display can be reduced.

なお、本実施形態のテレビジョン装置１で実行されるプログラムは、ＲＯＭ等に予め組み込まれて提供される。本実施形態のテレビジョン装置１で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。   Note that the program executed by the television apparatus 1 of the present embodiment is provided by being incorporated in advance in a ROM or the like. The program executed in the television apparatus 1 of the present embodiment is a file in an installable format or an executable format, and is a computer such as a CD-ROM, a flexible disk (FD), a CD-R, a DVD (Digital Versatile Disk). The information may be provided by being recorded on a recording medium that can be read by the user.

さらに、本実施形態のテレビジョン装置１で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態のテレビジョン装置１で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。   Furthermore, the program executed by the television device 1 of the present embodiment may be provided by being stored on a computer connected to a network such as the Internet and downloaded via the network. Further, the program executed by the television apparatus 1 of the present embodiment may be provided or distributed via a network such as the Internet.

また、本実施形態は、カメラを備えていないテレビジョン装置１に後付けでカメラを増設する場合に適用するとしてもよい。即ち、カメラを増設した場合に、上記の補正値算出処理を行い、算出された補正値を用いてカメラ映像のキャリブレーションを行うとしてもよい。   Further, the present embodiment may be applied to the case where a camera is added later to the television apparatus 1 that does not include a camera. That is, when the number of cameras is increased, the correction value calculation process described above may be performed, and camera image calibration may be performed using the calculated correction values.

また、上述では、カメラ４が第１ディスプレイ３に固定される場合について説明したが、カメラ４の取り付け箇所はこれに限定されるものではない。カメラ４はテレビジョン装置１の支持部６等、その他の箇所に取り付けられるとしてもよい。   Moreover, although the case where the camera 4 was fixed to the 1st display 3 was demonstrated above, the attachment location of the camera 4 is not limited to this. The camera 4 may be attached to other places such as the support portion 6 of the television apparatus 1.

また、上述では、第１ディスプレイ３と第２ディスプレイ５とを対向配置して補正値算出処理を行うとしたが、第１ディスプレイ３と第２ディスプレイ５の配置関係はこれに限定されるものではない。その他の例として、第１ディスプレイ３と第２ディスプレイ５との間に鏡等の光学系を新たに配置して、パターン画像をこの光学系によって回折させた後にカメラ４によって撮影し、補正値算出処理に用いるとしてもよい。   In the above description, the correction value calculation process is performed by arranging the first display 3 and the second display 5 to face each other. However, the arrangement relationship between the first display 3 and the second display 5 is not limited to this. Absent. As another example, an optical system such as a mirror is newly disposed between the first display 3 and the second display 5, and a pattern image is diffracted by the optical system and then photographed by the camera 4 to calculate a correction value. It may be used for processing.

尚、上述では、本実施形態の映像表示装置をテレビジョン装置１に適用した例について説明したが、本実施形態はこれに限定されるものではなく、ＰＣ等の情報処理装置や各種ディスプレイ装置に適用してもよい。また、上述では、テレビジョン装置１が平面視表示タイプである場合について説明したが、本実施形態を立体視表示タイプのテレビジョン装置に適用するとしてもよい。   In addition, although the example which applied the video display apparatus of this embodiment to the television apparatus 1 was demonstrated above, this embodiment is not limited to this, Information processing apparatus, such as PC, and various display apparatuses You may apply. In the above description, the case where the television apparatus 1 is a planar display type has been described. However, the present embodiment may be applied to a stereoscopic display type television apparatus.

また、本実施形態の適用例として、カメラ映像において検出された人の位置や顔の位置を、本実施形態の補正値を用いて補正するとしてもよい。   As an application example of the present embodiment, the position of a person or face detected in a camera image may be corrected using the correction values of the present embodiment.

また、上述ではカメラ４を１つ備える映像表示装置を例に挙げて説明したが、カメラの数は１つに限定されない。映像表示装置は、ステレオカメラ等のように２つのカメラを備えるとしてもよいし、それ以上の複数のカメラを備えて各カメラに対して上述したキャリブレーションを行うとしてもよい。   In the above description, the video display device including one camera 4 has been described as an example, but the number of cameras is not limited to one. The video display device may include two cameras such as a stereo camera, or may include a plurality of cameras, and perform the above-described calibration for each camera.

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。   Although several embodiments of the present invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.

１…テレビジョン装置、２…筐体、３…第１ディスプレイ、４…カメラ、５…第２ディスプレイ、６…支持部、２６…受信部、２７…ディスクドライブ部、２８…光ディスク、２９…記録再生処理部、４０…制御部、４１…第１表示部、４２…第２表示部、４３…画像取込部、４４…算出部、４５…補正部、４６…補正値格納部、５１、５２…法線ベクトル、３０１…表示画像、３０２…虚像、３０２ｃ…中心点、５０１ｃ…中心点、５０１…表示画像、Ｃ…中心 DESCRIPTION OF SYMBOLS 1 ... Television apparatus, 2 ... Housing | casing, 3 ... 1st display, 4 ... Camera, 5 ... 2nd display, 6 ... Support part, 26 ... Reception part, 27 ... Disk drive part, 28 ... Optical disk, 29 ... Recording Reproduction processing unit, 40 ... control unit, 41 ... first display unit, 42 ... second display unit, 43 ... image capturing unit, 44 ... calculation unit, 45 ... correction unit, 46 ... correction value storage unit, 51, 52 ... normal vector, 301 ... display image, 302 ... virtual image, 302c ... center point, 501c ... center point, 501 ... display image, C ... center

Claims (6)

カメラおよび第１ディスプレイを備える映像表示装置のカメラ映像を補正するキャリブレーション方法であって、
前記第１ディスプレイと、第２ディスプレイとを対向させて設置する設置工程と、
前記第１ディスプレイに所定の表示画像を表示させる第１表示工程と、
前記第１ディスプレイ上の表示画像を前記第２ディスプレイの表面で反射させる反射工程と、
前記第２ディスプレイで反射された前記表示画像を前記カメラによって撮像する撮像工程と、
カメラ映像における前記表示画像の位置のずれから、前記カメラと前記第１ディスプレイとの相対的位置関係を算出する算出工程と、
前記相対的位置関係に基づいて前記カメラ映像を補正する補正工程と、
を含むキャリブレーション方法。 A calibration method for correcting a camera image of a video display device including a camera and a first display,
An installation step of installing the first display and the second display opposite to each other;
A first display step of displaying a predetermined display image on the first display;
A reflection step of reflecting a display image on the first display by a surface of the second display;
An imaging step of imaging the display image reflected by the second display with the camera;
A calculation step of calculating a relative positional relationship between the camera and the first display from a shift in the position of the display image in a camera image;
A correction step of correcting the camera image based on the relative positional relationship;
Calibration method including: 前記第２ディスプレイに所定の表示画像を表示させる第２表示工程と、
前記第２ディスプレイに表示された前記表示画像を前記カメラによって撮像する第２撮像工程と、
カメラ映像における前記表示画像の位置のずれから、前記カメラと前記第２ディスプレイとの相対的位置関係を算出する第２算出工程と、をさらに含み、
前記補正工程では、前記算出工程で算出された前記カメラと前記第１ディスプレイとの相対的位置関係、および、前記第２算出工程で算出された前記カメラと前記第２ディスプレイとの相対的位置関係に基づいて、前記カメラ映像を補正する、
請求項１に記載のキャリブレーション方法。 A second display step of displaying a predetermined display image on the second display;
A second imaging step of imaging the display image displayed on the second display by the camera;
A second calculation step of calculating a relative positional relationship between the camera and the second display from a position shift of the display image in a camera image,
In the correction step, the relative positional relationship between the camera and the first display calculated in the calculation step, and the relative positional relationship between the camera and the second display calculated in the second calculation step. Correcting the camera image based on:
The calibration method according to claim 1. 前記反射工程では、前記第２ディスプレイの輝度を低減し、前記第１ディスプレイ上の表示画像を前記第２ディスプレイの表面で反射させる、請求項１または２に記載のキャリブレーション方法。   The calibration method according to claim 1, wherein, in the reflection step, the brightness of the second display is reduced and a display image on the first display is reflected by a surface of the second display. 前記設置工程で設置される前記第２ディスプレイは、表面にグレアパネルを有する請求項１ないし３のいずれか１つに記載のキャリブレーション方法。   The calibration method according to any one of claims 1 to 3, wherein the second display installed in the installation step has a glare panel on a surface thereof. 前記設置工程で設置される前記第２ディスプレイは、表面にハーフミラーを有する請求項１ないし３のいずれか１つに記載のキャリブレーション方法。   The calibration method according to claim 1, wherein the second display installed in the installation step has a half mirror on a surface. 映像を撮影するカメラと、
映像を表示する第１ディスプレイと、
前記第１ディスプレイに所定の表示画像を表示させる第１表示手段と、
前記第１ディスプレイに対向設置された第２ディスプレイの表面により反射された前記表示画像を前記カメラによって撮像する撮像手段と、
カメラ映像における前記表示画像の位置のずれから、前記カメラと前記第１ディスプレイとの相対的位置関係を算出する算出手段と、
前記相対的位置関係に基づいて前記カメラ映像を補正する補正手段と、
前記第２ディスプレイに所定の表示画像を表示させる第２表示手段と、
前記第２ディスプレイに表示された前記表示画像を前記カメラによって撮像する第２撮像手段と、
カメラ映像における前記表示画像の位置のずれから、前記カメラと前記第２ディスプレイとの相対的位置関係を算出する第２算出手段と、を備え、
前記補正手段は、前記算出手段が算出した前記カメラと前記第１ディスプレイとの相対的位置関係、および、前記第２算出手段が算出した前記カメラと前記第２ディスプレイとの相対的位置関係に基づいて前記カメラ映像を補正する、
映像表示装置。 A camera for taking pictures,
A first display for displaying images;
First display means for displaying a predetermined display image on the first display;
Imaging means for imaging the display image reflected by the surface of a second display disposed opposite to the first display by the camera;
Calculating means for calculating a relative positional relationship between the camera and the first display from a displacement of the position of the display image in a camera image;
Correction means for correcting the camera image based on the relative positional relationship;
Second display means for displaying a predetermined display image on the second display;
Second imaging means for imaging the display image displayed on the second display by the camera;
Second calculation means for calculating a relative positional relationship between the camera and the second display from a position shift of the display image in a camera image;
The correcting means is based on the relative positional relationship between the camera and the first display calculated by the calculating means, and the relative positional relationship between the camera and the second display calculated by the second calculating means. To correct the camera image,
Video display device.
JP2011217601A 2011-09-30 2011-09-30 Calibration method and video display device Expired - Fee Related JP5185424B1 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2011217601A JP5185424B1 (en) 2011-09-30 2011-09-30 Calibration method and video display device
KR1020120086446A KR20130035862A (en) 2011-09-30 2012-08-07 Calibration method and video display apparatus
CN2012102798676A CN103037182A (en) 2011-09-30 2012-08-07 Calibration method and video display apparatus
TW101128489A TW201315210A (en) 2011-09-30 2012-08-07 Calibration method and video display apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011217601A JP5185424B1 (en) 2011-09-30 2011-09-30 Calibration method and video display device

Publications (2)

Publication Number Publication Date
JP5185424B1 true JP5185424B1 (en) 2013-04-17
JP2013076667A JP2013076667A (en) 2013-04-25

Family

ID=48023611

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011217601A Expired - Fee Related JP5185424B1 (en) 2011-09-30 2011-09-30 Calibration method and video display device

Country Status (4)

Country Link
JP (1) JP5185424B1 (en)
KR (1) KR20130035862A (en)
CN (1) CN103037182A (en)
TW (1) TW201315210A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210358451A1 (en) * 2018-09-26 2021-11-18 Sharp Nec Display Solutions, Ltd. Video reproduction system, video reproduction device, and calibration method for video reproduction system

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101496441B1 (en) 2013-11-01 2015-02-27 한국과학기술연구원 Apparatus and Method for registration of flat panel display device and imaging sensor, and Electronic device having flat panel display device and imaging sensor which are registered using the method
CN104739429B (en) * 2013-12-31 2020-06-23 Ge医疗系统环球技术有限公司 X-ray machine and alignment method of X-ray machine
KR102265109B1 (en) 2014-01-24 2021-06-15 삼성전자주식회사 Method and apparatus for image processing
KR102158026B1 (en) * 2014-01-28 2020-09-21 엘지이노텍 주식회사 calibaraton device and camera system
JP2016078648A (en) * 2014-10-16 2016-05-16 ヤンマー株式会社 Work vehicle
KR102415501B1 (en) * 2015-08-07 2022-07-01 삼성전자주식회사 Method for assuming parameter of 3d display device and 3d display device thereof
CN106060514A (en) * 2016-07-06 2016-10-26 中国计量大学 Device and method for controlling pose of television in multi-vision mode
WO2021251240A1 (en) * 2020-06-11 2021-12-16 ソニーグループ株式会社 Information processing device, information processing method, and information processing program
KR102591844B1 (en) * 2021-01-22 2023-10-23 (주) 루리텍 Apparatus for camera calibration using mirrors

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0797024B2 (en) * 1987-12-22 1995-10-18 旭硝子株式会社 Reflection image distortion measurement method
JP3340296B2 (en) * 1995-12-27 2002-11-05 株式会社東海理化電機製作所 Distortion inspection method and distortion inspection device
JP4453119B2 (en) * 1999-06-08 2010-04-21 ソニー株式会社 Camera calibration apparatus and method, image processing apparatus and method, program providing medium, and camera
JP3906194B2 (en) * 2002-11-29 2007-04-18 株式会社東芝 CALIBRATION METHOD, CALIBRATION SUPPORT DEVICE, CALIBRATION DEVICE, AND CAMERA SYSTEM MANUFACTURING METHOD
KR100571219B1 (en) * 2003-01-08 2006-04-13 엘지전자 주식회사 Digital convergence device based on 3-d virtual screen of video display system
JP2009042162A (en) * 2007-08-10 2009-02-26 Toshiba Corp Calibration device and method therefor
WO2010132305A1 (en) * 2009-05-09 2010-11-18 Vital Art And Science Incorporated Handheld vision tester and calibration thereof

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210358451A1 (en) * 2018-09-26 2021-11-18 Sharp Nec Display Solutions, Ltd. Video reproduction system, video reproduction device, and calibration method for video reproduction system
US11562712B2 (en) * 2018-09-26 2023-01-24 Sharp Nec Display Solutions, Ltd. Video reproduction system, video reproduction device, and calibration method for video reproduction system

Also Published As

Publication number Publication date
TW201315210A (en) 2013-04-01
JP2013076667A (en) 2013-04-25
KR20130035862A (en) 2013-04-09
CN103037182A (en) 2013-04-10

Similar Documents

Publication Publication Date Title
JP5185424B1 (en) Calibration method and video display device
JP5453352B2 (en) Video display device, video display method and program
US9071751B2 (en) Image processor method and program for correcting distance distortion in panorama images
JP2006245726A (en) Digital camera
US9967464B2 (en) Image reproducing apparatus, image reproducing method, and storage medium
US20050073600A1 (en) Image capture apparatus, image display method, and program
JP2006186884A (en) Method and apparatus of correcting distortion of image pickup signal
US10447944B2 (en) Imaging apparatus, control method thereof and program
JPH04355740A (en) Projector
CN113574856A (en) Image processing apparatus, image processing method, and program
JP4258540B2 (en) Information processing apparatus, information processing program, and recording medium thereof
JP2000122617A (en) Trapezoidal distortion correction device
JP2014027457A (en) Image display apparatus, image display method, and image display program
JP4900939B2 (en) Method for controlling imaging apparatus
JP5492651B2 (en) Photography device, panoramic photography method
JP2013083755A (en) Display device, method of controlling display device, and program
JP2005229282A (en) Projector and multi-projection display
JP2007202177A (en) Projector and multi-projection display
JP6330371B2 (en) Image projection apparatus and image projection method
WO2017104102A1 (en) Imaging device
US11218662B2 (en) Image processing device, image processing method, and projection system
JP2000081593A (en) Projection type display device and video system using the same
JP2014176053A (en) Image signal processor
JP2005130360A (en) Image display device having distortion correcting function in image display
KR101011704B1 (en) Apparatus and method for processing video signal to generate wide viewing image

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130117

R151 Written notification of patent or utility model registration

Ref document number: 5185424

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160125

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313121

Free format text: JAPANESE INTERMEDIATE CODE: R313115

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees