JP5414910B2 - 表示ユニット、撮像ユニット及び表示システム装置 - Google Patents

表示ユニット、撮像ユニット及び表示システム装置 Download PDF

Info

Publication number
JP5414910B2
JP5414910B2 JP2012544012A JP2012544012A JP5414910B2 JP 5414910 B2 JP5414910 B2 JP 5414910B2 JP 2012544012 A JP2012544012 A JP 2012544012A JP 2012544012 A JP2012544012 A JP 2012544012A JP 5414910 B2 JP5414910 B2 JP 5414910B2
Authority
JP
Japan
Prior art keywords
unit
imaging
image
video
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012544012A
Other languages
English (en)
Other versions
JPWO2012066610A1 (ja
Inventor
達也 三次
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Application granted granted Critical
Publication of JP5414910B2 publication Critical patent/JP5414910B2/ja
Publication of JPWO2012066610A1 publication Critical patent/JPWO2012066610A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57Control of contrast or brightness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Emergency Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Devices (AREA)

Description

この発明は、撮像部を有する撮像ユニット、撮像部で撮像された画像又は映像を表示する表示部を有する表示ユニット及びこれらを備えた表示システム装置に関する。
例えば、特許文献1に記載される従来の表示システム装置では、表示ユニット側に、撮像ユニットの撮像装置を検出する接続機器認識部、及び撮像装置との整合を図るための情報を外部より取得する情報取得部を有する画質最適化処理部と、画質最適化処理部によって取得された撮像装置と整合を図るための情報を参照して、撮像装置から入力される映像信号を最適化して表示装置に表示させる制御部とを備えることにより、撮像装置と表示装置の特性や撮影情報を考慮して高画質化された映像を表示することができる。
特開2007−178831号公報
特許文献1に代表される従来の技術では、表示ユニットの表示装置が、接続機器認識部で検出された撮像装置の機種に応じたダイナミックレンジやコントラスト比等の映像設定に関する情報を外部のサーバから取得して撮像装置で撮像された映像の画質を最適化している。また、サーバから付帯情報として取得した天気情報に基づいて、天気に応じたホワイトバランスや露出等のパラメータを加味して、撮像装置で撮像された映像信号の最適化処理を行っている。
このように、従来の技術は、撮像ユニットの撮像装置において、撮像時に自動調整される撮像条件及びその画質を規定するパラメータと、表示ユニットの表示装置で表示する映像の画質を規定するパラメータとを整合させるものではない。このため、撮像ユニットの周辺環境で撮像画像に影響を与える照度等が時々刻々と変化した場合、撮像対象が同じであっても、表示装置で異なる見え方になり、最適な映像を表示できない可能性があるという課題があった。例えば、車両の移動に伴った周辺環境の照度変化により表示装置で表示される映像が、入力映像が同一であっても異なって見えることがある。
この発明は、上記のような課題を解決するためになされたもので、撮像ユニットの周辺環境の変化で撮像部における画像又は映像の撮像条件及びその画質を規定するパラメータが変更されると、これに応じて表示ユニットの表示部で表示する画像又は映像の画質を規定するパラメータを調整することで、撮像ユニットの撮像部で撮像された画像又は映像を表示ユニットの表示部で適切に表示することができる表示ユニット、撮像ユニット及び表示システム装置を得ることを目的とする。
この発明に係る表示システム装置は、画像又は映像を撮像する撮像部と、周辺環境の変化に応じて撮像部の撮像条件及び画質を規定する撮像側パラメータを変更するとともに、変更した撮像側パラメータに従って撮像部を制御する撮像側制御部と、変更した撮像側パラメータ及び変更内容を抽出するとともに、変更内容に応じて撮像側パラメータの変更の情報を含む調整指示を選択する変更抽出部と、撮像した画像又は映像と、選択した調整指示とを送信する通信部とを備えた撮像ユニットと、像ユニットが撮像した画像又は映像と、調整指示とを受信する通信部と、受信した画像又は映像を表示する表示部と、表示する画像又は映像の画質を規定する表示側パラメータに従って表部を制御する表示側制御部と、調整指示を解釈し、撮像側パラメータの変更に対応した表示側パラメータを調整する調整部とを備えた表示ユニットとを備え、調整指示は、単一の撮像側パラメータの変更に対応した単一コマンド、又は複数の撮像側パラメータそれぞれの変更に対応した調整指示をパッキングして抽象化したパッキングコマンドのいずれかであることを特徴とする。
この発明によれば、撮像ユニットの周辺環境が変化しても、撮像ユニットで撮像された画像又は映像を表示ユニットの表示部で適切に表示することができるという効果がある。
この発明の実施の形態1による表示システム装置の構成を示すブロック図である。 図1中のカメラ制御部の構成を示すブロック図である。 図1中のディスプレイ制御部の構成を示すブロック図である。 カメラユニットによるカメラ映像パラメータの変更抽出の流れを示すフローチャートである。 カメラユニットによるカメラ映像パラメータの調整指示処理の流れを示すフローチャートである。 ホストユニットによるディスプレイ映像パラメータの調整処理の流れを示すフローチャートである。 カメラ映像パラメータとディスプレイ映像パラメータとの対応関係を示す対応データの一例を示す図である。
以下、この発明をより詳細に説明するため、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態1.
図1は、この発明の実施の形態1による表示システム装置の構成を示すブロック図である。図1において、実施の形態1の表示システム装置1は、カメラユニット(撮像ユニット)2とホストユニット(表示ユニット)3を備えており、ホストユニット3がカメラユニット2に撮像された映像を同一時間で映像表示する。カメラユニット2は、イメージセンサ(撮像部)20、カメラ制御部(撮像側制御部)21、カメラ映像パラメータ格納部22、カメラ映像パラメータ変更抽出部(変更抽出部)23及びカメラ側通信部(通信部)24を備える。また、ホストユニット3は、ディスプレイ側通信部(通信部)30、ディスプレイ映像パラメータ調整部(調整部)31、ディスプレイ映像パラメータ格納部32、ディスプレイ制御部(表示側制御部)33及びディスプレイパネル(表示部)34を備える。
イメージセンサ20は、カメラユニット2に設けた撮像装置であって、例えば、CCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)イメージセンサが用いられる。なお、カメラユニット2には、複数のイメージセンサ20を設けてもよい。例えば、左目用画像及び右目用画像をそれぞれ撮像する2つのイメージセンサ20をカメラユニット2の左右に配置して3次元立体画像又は映像を得る構成であってもよい。
カメラ制御部21は、イメージセンサ20の撮像を制御する構成部であり、イメージセンサ20における画像又は映像の撮像条件及びその画質を規定するパラメータ(以下、カメラ映像パラメータと呼ぶ)(撮像側パラメータ)に従って、イメージセンサ20の撮像を制御する。
なお、撮像時の周辺環境に応じて、カメラ制御部21が自動調整する映像の撮像条件には、AE(Automatic Exposure)設定、AWB(Automatic White Balance)設定、AGC(Automatic Gain Control)設定、及びBLC(Black Level Control)設定があり、撮像画像の画質を規定するパラメータには、ガンマカーブ調整、フィルタ処理切り替え、輪郭強調段数切り替え、HUE調整、彩度調整、コントラスト調整、シャープネス調整、シェーディング調整及び白黒レベル調整等がある。これらのパラメータは、イメージセンサ20の種類によって異なり、また解像度も異なる。
カメラ映像パラメータ格納部22は、カメラ映像パラメータを記憶する記憶部であり、カメラ制御部21から読み出し可能なメモリに構築される。また、カメラ映像パラメータ格納部22には、カメラユニット2の撮像時の周辺環境に応じてカメラ制御部21により調整(変更)されたカメラ映像パラメータが格納される。
カメラ映像パラメータ変更抽出部23は、カメラユニット2の周辺環境の変化に応じて変更されたカメラ映像パラメータの変更内容を抽出する構成部であり、カメラユニット2の撮像時において、カメラ側通信部24を介して抽出結果のカメラ映像パラメータの変更内容をホストユニット3へ送信する。
カメラ側通信部24は、有線又は無線の通信手段でホストユニット3と通信を行う構成部である。また、ホストユニット3のディスプレイ側通信部30は、有線又は無線の通信手段でカメラユニット2と通信を行う構成部である。カメラ側通信部24とディスプレイ側通信部30の通信方式は、例えば、互いをケーブルで接続した有線通信であってもよいが、携帯電話、無線LAN(Local Area Network)、Bluetooth(登録商標)等を用いてもよい。
ディスプレイ映像パラメータ調整部31は、カメラユニット2から受信したカメラ映像パラメータの変更内容に応じて、ディスプレイパネル34で表示する画像又は映像の画質を規定するパラメータ(以下、ディスプレイ映像パラメータと呼ぶ)(表示側パラメータ)を調整する構成部である。
なお、ディスプレイ映像パラメータには、自動色制御、ホワイトピーク制御、ガンマピーク調整、ノイズ圧縮調整、色輪郭補正、輝度輪郭補正、HUE調整、彩度調整、コントラスト調整、シャープネス調整、バックライト調光等がある。また、ディスプレイパネル34の種類により、色空間、解像度が異なる。
ディスプレイ映像パラメータ格納部32は、ディスプレイ映像パラメータを記憶する記憶部であり、ディスプレイ制御部33から読み出し可能なメモリに構築される。また、ディスプレイ映像パラメータ格納部32には、ディスプレイ映像パラメータ調整部31で調整された調整後のディスプレイ映像パラメータが格納される。
ディスプレイ制御部33は、ディスプレイパネル34の映像表示を制御する構成部であり、ディスプレイ映像パラメータ格納部32から読み出したディスプレイ映像パラメータを用いて、ディスプレイパネル34による映像表示を制御する。ディスプレイパネル34は、カメラユニット2で撮像された映像を表示する表示装置である。実施の形態1では、ディスプレイパネル34として、バックライトを調光することにより画面の明るさを調整可能な液晶ディスプレイパネルを用いる。
図2は、図1のカメラ制御部の構成を示すブロック図である。図2において、カメラ制御部21は、自動露光調整部21a、自動ホワイトバランス調整部21b、黒レベル調整部21c、色信号調整部21d及び輝度信号調整部21eを備える。
自動露光調整部21aは、イメージセンサ20での撮像における自動露光調整を行う構成部であり、イメージセンサ20で撮像された映像信号や、イメージセンサ20の近傍に設けた照度センサの検出信号に応じて、自動露光調整に関するカメラ映像パラメータを調整することにより、露光エリアや露光の収束値の明るさ、収束値の明るさへの時間変化等を変更する。調整後の自動露光調整に関するカメラ映像パラメータは、自動露光調整部21aからカメラ映像パラメータ格納部22へ格納される。
自動ホワイトバランス調整部21bは、イメージセンサ20での撮像における自動ホワイトバランス調整を行う構成部であり、例えば、イメージセンサ20で撮像された映像信号を解析して、自動ホワイトバランス調整に関するカメラ映像パラメータを変更することにより、バランスエリアや収束させる色空間、収束させる色空間までの時間変化等を調整する。
黒レベル調整部21cは、自動露光調整部21aと自動ホワイトバランス調整部21bで調整された映像信号における黒レベルを調整する構成部であり、例えば、イメージセンサ20で撮像された映像信号が示す映像の黒部分の輝度を解析して、黒レベル調整に関するカメラ映像パラメータを変更することにより、適切な黒レベルに調整する。
色信号調整部21dは、イメージセンサ20で撮像された映像信号における色信号を調整する構成部であり、例えば、イメージセンサ20で撮像された映像信号の色信号を解析して、色信号調整に関するカメラ映像パラメータを変更することにより、適切な色信号に調整する。
輝度信号調整部21eは、イメージセンサ20で撮像された映像信号における輝度信号を調整する構成部であり、例えば、黒レベル調整部21cで黒レベルが調整された映像信号の輝度信号を解析して、輝度信号調整に関するカメラ映像パラメータを変更することにより、適切な輝度信号に調整する。色信号調整部21dで調整された色信号と、輝度信号調整部21eで調整された輝度信号とを含む映像信号は、カメラ側通信部24を介してホストユニット3へ送信される。
図3は、図1中のディスプレイ制御部の構成を示すブロック図である。図3において、ディスプレイ制御部33は、色信号調整部33a、輝度信号調整部33b及びバックライト調光部33cを備える。色信号調整部33aは、カメラユニット2から入力した映像信号における色信号を調整する構成部であって、色信号調整に関するディスプレイ映像パラメータに応じて、ディスプレイパネル34で表示する映像信号の色信号を調整する。
輝度信号調整部33bは、カメラユニット2から入力した映像信号における輝度信号を調整する構成部であって、輝度信号調整に関するディスプレイ映像パラメータに応じて、ディスプレイパネル34で表示する映像信号の輝度信号を調整する。なお、色信号調整部33aで調整された色信号と、輝度信号調整部33bで調整された輝度信号とを含む映像信号が、ディスプレイパネル34で映像表示される。バックライト調光部33cは、バックライト調光に関するディスプレイ映像パラメータに応じて、ディスプレイパネル34のバックライトを調光する構成部である。
次に動作について説明する。
図4は、実施の形態1のカメラユニットによるカメラ映像パラメータの変更抽出の流れを示すフローチャートである。
カメラユニット2による撮像において、カメラ制御部21の自動露光調整部21aが、露光エリアや露光の収束値の明るさ、収束値の明るさへの時間変化等を規定する自動露光調整に関するカメラ映像パラメータに従ってイメージセンサ20の自動露光調整を行い、適切な露光状態を得る。
また、自動ホワイトバランス調整部21bは、バランスエリアや収束させる色空間、収束させる色空間までの時間変化等を規定する自動ホワイトバランス調整に関するカメラ映像パラメータに従ってイメージセンサ20の自動ホワイトバランス調整を行い、適切な色状態を得る。
さらに、黒レベル調整部21c、色信号調整部21d、及び輝度信号調整部21eが、各調整に関するカメラ映像パラメータに従って、自動露光調整部21aと自動ホワイトバランス調整部21bで調整された映像信号の調整を実施し、カメラ側通信部24を介して調整後の映像信号をホストユニット3へ送信する。
上述の一連の処理において、カメラユニット2の周辺環境の明るさが変化すると、自動露光調整部21aは、明るさの変化に応じて自動露光調整に関するカメラ映像パラメータを変更し、変更後のカメラ映像パラメータに従ってイメージセンサ20の自動露光調整を行い、カメラユニット2の周辺環境に応じた露光状態を得る。同様に、自動ホワイトバランス調整部21bも、明るさの変化に応じて自動ホワイトバランス調整に関するカメラ映像パラメータを変更し、変更後のカメラ映像パラメータに従って、イメージセンサ20の自動ホワイトバランス調整を行う。変更後のカメラ映像パラメータは、カメラ映像パラメータ格納部22へ格納される。上述したようなカメラ映像パラメータの変更処理が、ステップST1に相当する。
カメラ映像パラメータ変更抽出部23は、カメラ映像パラメータ格納部22に格納されるカメラ映像パラメータの変更を監視しており、カメラ映像パラメータの変更が検出されると、変更されたカメラ映像パラメータを抽出する(ステップST2)。
図5は、実施の形態1のカメラユニット2によるカメラ映像パラメータの調整指示処理の流れを示すフローチャートである。
カメラ映像パラメータ変更抽出部23は、カメラ映像パラメータ格納部22に格納されるカメラ映像パラメータの変更を検出すると、変更されたカメラ映像パラメータを抽出する(ステップST1a)。
次に、カメラ映像パラメータ変更抽出部23は、複数のカメラ映像パラメータが変更されたか否かを判定する(ステップST2a)。ここで、複数のカメラ映像パラメータが変更されていなかった場合(ステップST2a;NO)、カメラ映像パラメータ変更抽出部23は、変更があった単一のカメラ映像パラメータに応じたディスプレイ映像パラメータ調整を指示する単一コマンドを選択する(ステップST3a)。選択された単一コマンドは、カメラ側通信部24を介してホストユニット3へ送信される。
一方、複数のカメラ映像パラメータが変更された場合(ステップST2a;YES)、カメラ映像パラメータ変更抽出部23は、変更された複数のカメラ映像パラメータに応じたディスプレイ映像パラメータ調整をそれぞれ指示する複数のコマンドを、パッキングして抽象化したパッキングコマンドを選択する(ステップST4a)。選択されたパッキングコマンドは、カメラ側通信部24を介してホストユニット3へ送信される。
図6は、実施の形態1のホストユニットによるディスプレイ映像パラメータの調整処理の流れを示すフローチャートである。
ホストユニット3では、ディスプレイ側通信部30によるカメラ側通信部24との通信により、カメラユニット2から映像信号を受信すると、ディスプレイ制御部33の色信号調整部33aが、色信号に関するディスプレイ映像パラメータに従って、入力映像信号の色信号の調整を行う。また、輝度信号調整部33bは、輝度信号に関するディスプレイ映像パラメータに従って、入力映像信号の輝度信号の調整を行う。このようにして調整された映像信号は、ディスプレイパネル34に出力される。
さらに、バックライト調光部33cが、バックライト調光に関するディスプレイ映像パラメータに従って、ディスプレイパネル34のバックライトを調光することにより、ディスプレイパネル34全体の明るさが調整される。
なお、ディスプレイパネル34の種類によって色空間や解像度が異なることから、色信号調整部33a、輝度信号調整部33b及びバックライト調光部33cは、ディスプレイパネル34の種類に対応するディスプレイ映像パラメータに従って調整処理を実施する。
上述の一連の処理において、ディスプレイ側通信部30が、カメラユニット2からディスプレイ映像パラメータの変更を指示する通信コマンドを受信すると(ステップST1b)、当該通信コマンドは、ディスプレイ側通信部30からディスプレイ映像パラメータ調整部31へ出力される。
ディスプレイ映像パラメータ調整部31は、ディスプレイ側通信部30を介して取得した通信コマンドの内容を、図7を用いて後述する対応データを参照して解釈することで、カメラユニット2で変更されたカメラ映像パラメータに応じたディスプレイ映像パラメータとその調整内容を特定する(ステップST2b)。
次に、ディスプレイ映像パラメータ調整部31は、調整指示されたディスプレイ映像パラメータの値を、その調整内容に従って変更する(ステップST3b)。
このようにして調整されたディスプレイ映像パラメータに従って、カメラユニット2の映像信号を調整することにより、当該映像信号をディスプレイパネル34で適切な画質で表示することが可能となる。
図7は、実施の形態1のカメラ映像パラメータとディスプレイ映像パラメータとの対応関係を示す対応データの一例を示す図である。図7に示すようなパラメータの対応データは、ホストユニット3のディスプレイ映像パラメータ調整部31に設定される。図7に示すように、ディスプレイ映像パラメータとカメラ映像パラメータとの間には類似性があるので、カメラ映像パラメータの変更に応じて、ディスプレイ映像パラメータの変更を追従させる。
ディスプレイ映像パラメータとカメラ映像パラメータとの対応関係例を下記に挙げる。
カメラ制御部21が、周辺環境の変化に応じて、AWB設定に関する色調を規定するカメラ映像パラメータを変更すると、イメージセンサ20の色空間が変更される。
例えば、やや赤色方向に自動色調整された場合、ホストユニット3でディスプレイパネル34の表示映像を調整をしないと、白色の被写体が赤っぽい白色で表示される。
すなわち、従来の技術では、カメラ映像パラメータの変更に応じてディスプレイ映像パラメータが変更されていなかったので、上述のような不適切な映像表示がなされる。
これに対して、本発明では、カメラユニット2で赤色方向に自動色調整されると、この自動色調整に関するカメラ映像パラメータとその変更内容を含む調整指示をホストユニット3に送信し、ホストユニット3のディスプレイ映像パラメータ調整部31が、この調整指示に従って、ディスプレイパネル34での色空間を、イメージセンサ20の色空間とは逆位相の方向に調整する。これにより、白色の被写体は、ディスプレイパネル34においても白色で映像表示される。
また、カメラ制御部21が、周辺環境の変化に応じて、AGC設定又はBLC設定に関する輝度を規定するカメラ映像パラメータを変更すると、イメージセンサ20の白黒の輝度範囲が変更される。
例えば、白色の輝度の最大値がやや灰色の輝度になるように調整された場合、ホストユニット3でディスプレイパネル34の表示映像の調整をしないと、白色の被写体が灰色で表示される。
本発明では、カメラユニット2で灰色に輝度調整されると、この調整に関するカメラ映像パラメータとその変更内容を含む調整指示をホストユニット3に送信し、ホストユニット3のディスプレイ映像パラメータ調整部31が、この調整指示に従ってディスプレイパネル34での輝度範囲を、イメージセンサ20の輝度範囲とは逆方向に調整する。これにより、白色の被写体は、ディスプレイパネル34においても白色で映像表示される。
同様に、カメラユニット2の映像信号をガンマ補正するためのガンマカーブ調整に関するカメラ映像パラメータと、ホストユニット3で表示する映像信号をガンマ補正するためのガンマカーブ調整に関するディスプレイ映像パラメータとを対応させる。
カメラユニット2の周波数フィルタのフィルタ処理切り替えに関するカメラ映像パラメータと、ホストユニット3のノイズ圧縮調整に関するディスプレイ映像パラメータとを対応させる。
カメラユニット2の輪郭強調段数切り替えに関するカメラ映像パラメータと、ホストユニット3の色輪郭補正及び輝度輪郭補正に関するディスプレイ映像パラメータとを対応させる。
カメラユニット2の彩度調整に関するカメラ映像パラメータと、ホストユニット3の彩度(飽和)調整に関するディスプレイ映像パラメータとを対応させる。
カメラユニット2のコントラスト調整に関するカメラ映像パラメータと、ホストユニット3のコントラスト調整に関するディスプレイ映像パラメータとを対応させる。
カメラユニット2のシャープネス調整に関するカメラ映像パラメータと、ホストユニット3のシャープネス調整に関するディスプレイ映像パラメータとを対応させる。
また、カメラ映像パラメータの値に応じて、ディスプレイ制御部33は、バックライトを調光する。例えば、夜で車両内が暗いときに、バックライトが昼と同じ光量であると、ディスプレイパネル34の画面が明るすぎる場合がある。この場合、本発明では、カメラユニット2が車内の環境に応じてカメラ映像パラメータを変更した際に、ホストユニット3が、これに応じてバックライトを調光する。これにより、上記の不具合を解消することができる。
以上のように、この実施の形態1によれば、画像又は映像を撮像するイメージセンサ20、周辺環境の変化に応じてイメージセンサ20の画像又は映像の撮像条件及び画質を規定するカメラ映像パラメータを変更し、当該カメラ映像パラメータに従ってイメージセンサ20による撮像を制御するカメラ制御部21、及び、カメラ制御部21により変更されたカメラ映像パラメータ及び変更内容を抽出し、当該カメラ映像パラメータの変更に応じた調整指示を行うカメラ映像パラメータ変更抽出部23を有するカメラユニット2と、カメラユニット2と通信を行うディスプレイ側通信部30、ディスプレイパネル34で表示する画像又は映像の画質を規定するディスプレイ映像パラメータに従って、ディスプレイ側通信部30を介してカメラユニット2から受信したイメージセンサ20の画像又は映像をディスプレイパネル34に表示するディスプレイ制御部33、及び、ディスプレイ側通信部30を介してカメラ映像パラメータ変更抽出部23から調整指示を受信すると、当該調整指示が示すカメラ映像パラメータに対応するディスプレイ映像パラメータを、当該カメラ映像パラメータの変更内容に応じて調整するディスプレイ映像パラメータ調整部31を有するホストユニット3とを備える。
このように、カメラユニット2のカメラ映像パラメータと、ホストユニット3のディスプレイ映像パラメータとの対応をとり、カメラユニット2の周辺環境の変化でカメラ映像パラメータが変更されると、この変更に応じてディスプレイ映像パラメータも変更することから、カメラユニット2の周辺環境が変化しても、カメラユニット2で撮像された映像をホストユニット3のディスプレイパネル34で適切に表示することができる。
例えば、カメラユニット2を携帯して移動しながら撮像した映像を、ホストユニット3で3次元立体映像として表示する場合を例に挙げる。この場合、カメラユニット2には、左目用画像及び右目用画像をそれぞれ撮像する2つのイメージセンサ20が設けられており、これらイメージセンサ20で撮像された左目用画像及び右目用画像を用いて、ホストユニット3で3次元立体映像が表示される。左目用画像と右目用画像は、左右に配置したイメージセンサ20によって、同一の撮像条件で同一の被写体を左目で見た場合と右目で見た場合とを模擬して撮像される。
従って、例えばユーザの影になって左右のイメージセンサ20のいずれか一方の周辺が暗くなった状態で左目用画像及び右目用画像の撮像を続けた場合に、これらの画像の撮像条件が異なるため、ホストユニット3において正常な3次元立体表示ができなくなる可能性がある。
これに対して、本発明では、周辺が暗くなることで変更されたカメラ映像パラメータとその変更内容に応じて、ホストユニット3でディスプレイ映像パラメータを調整することから、上述のような状況になっても適切な3次元立体表示が可能である。
なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
1 表示システム装置、2 カメラユニット(撮像ユニット)、3 ホストユニット(表示ユニット)、20 イメージセンサ(撮像部)、21 カメラ制御部(撮像側制御部)、21a 自動露光調整部、21b 自動ホワイトバランス調整部、21c 黒レベル調整部、21d 色信号調整部、21e 輝度信号調整部、22 カメラ映像パラメータ格納部、23 カメラ映像パラメータ変更抽出部(変更抽出部)、24 カメラ側通信部(通信部)、30 ディスプレイ側通信部(通信部)、31 ディスプレイ映像パラメータ調整部(調整部)、32 ディスプレイ映像パラメータ格納部、33 ディスプレイ制御部(表示側制御部)、33a 色信号調整部、33b 輝度信号調整部、33c バックライト調光部、34 ディスプレイパネル(表示部)。

Claims (8)

  1. 撮像ユニットが撮像した画像又は映像と該画像又は映像の撮像条件及び画質を規定する撮像側パラメータの変更の情報を含む調整指示とを受信する通信部と、
    受信した前記画像又は映像を表示する表示部と、
    表示する前記画像又は映像の画質を規定する表示側パラメータに従って前記表示部を制御する表示側制御部と、
    受信した前記調整指示を解釈して前記撮像側パラメータの変更に対応した前記表示側パラメータを調整する調整部とを備え、
    前記調整指示は、単一の前記撮像側パラメータの変更に対応した単一コマンド又は複数の前記撮像側パラメータそれぞれの変更に対応した調整指示をパッキングして抽象化したパッキングコマンドのいずれかである
    ことを特徴とする表示ユニット。
  2. 前記表示側パラメータは、
    前記撮像側パラメータにおける前記撮像ユニットの自動ホワイトバランス設定に関するパラメータに対応する、前記表示部に表示する画像又は映像の自動色制御に関するパラメータ、又は、
    前記撮像側パラメータにおける前記撮像ユニットの自動ゲイン制御に関するパラメータと前記撮像ユニットの黒レベル制御設定に関するパラメータとに対応する、前記表示部に表示する画像又は映像のホワイトピーク制御に関するパラメータのうちの少なくとも1つを含む
    ことを特徴とする請求項1記載の表示ユニット。
  3. 前記表示側パラメータは、
    前記撮像側パラメータにおける前記撮像ユニットで撮像した画像又は映像のガンマカーブ調整に関するパラメータに対応する、前記表示部に表示する画像又は映像のガンマカーブ調整に関するパラメータ、
    前記撮像側パラメータにおける前記撮像ユニットで撮像した画像又は映像に対する周波数フィルタの切り替えに関するパラメータに対応する、前記表示部に表示する画像又は映像のノイズ圧縮調整に関するパラメータ、
    前記撮像側パラメータにおける前記撮像ユニットで撮像した画像又は映像の輪郭強調段数切り替えに関するパラメータに対応する、前記表示部に表示する画像又は映像の色輪郭補正に関するパラメータ及び前記表示部に表示する画像又は映像の輝度輪郭補正に関するパラメータ、
    前記撮像側パラメータにおける前記撮像ユニットで撮像した画像又は映像のHUE調整に関するパラメータに対応する、前記表示部に表示する画像又は映像のHUE調整に関するパラメータ、
    前記撮像側パラメータにおける前記撮像ユニットで撮像した画像又は映像の彩度調整に関するパラメータに対応する、前記表示部に表示する画像又は映像の彩度調整に関するパラメータ、
    前記撮像側パラメータにおける前記撮像ユニットで撮像した画像又は映像のコントラスト調整に関するパラメータに対応する、前記表示部に表示する画像又は映像のコントラスト調整に関するパラメータ、又は、
    前記撮像側パラメータにおける前記撮像ユニットで撮像した画像又は映像のシャープネス調整に関するパラメータに対応する、前記表示部に表示する画像又は映像のシャープネス調整に関するパラメータ、のうち少なくとも1つを含む
    ことを特徴とする請求項2記載の表示ユニット。
  4. 前記表示部は、バックライトを有する液晶表示部であり、
    前記表示側制御部は、前記撮像ユニットでの前記撮像側パラメータの変更に応じて、前記バックライトを調光する
    ことを特徴とする請求項1記載の表示ユニット。
  5. 画像又は映像を撮像する撮像部と、
    周辺環境の変化に応じて前記撮像部の撮像条件及び画質を規定する撮像側パラメータを変更するとともに、変更した前記撮像側パラメータに従って前記撮像部を制御する撮像側制御部と、
    変更した前記撮像側パラメータ及び変更内容を抽出するとともに、前記変更内容に応じて前記撮像側パラメータの変更の情報を含む調整指示を選択する変更抽出部と、
    撮像した前記画像又は映像と選択した前記調整指示とを表示ユニットに送信する通信部とを備え、
    前記調整指示は、単一の前記撮像側パラメータの変更に対応した単一コマンド又は複数の前記撮像側パラメータそれぞれの変更に対応した調整指示をパッキングして抽象化したパッキングコマンドのいずれかである
    ことを特徴とする撮像ユニット。
  6. 画像又は映像を撮像する撮像部と、周辺環境の変化に応じて前記撮像部の撮像条件及び画質を規定する撮像側パラメータを変更するとともに、変更した前記撮像側パラメータに従って前記撮像部を制御する撮像側制御部と、変更した前記撮像側パラメータ及び変更内容を抽出するとともに、前記変更内容に応じて前記撮像側パラメータの変更の情報を含む調整指示を選択する変更抽出部と、撮像した前記画像又は映像と選択した前記調整指示とを送信する通信部とを備えた撮像ユニットと、
    前記撮像ユニットが撮像した前記画像又は映像と前記調整指示とを受信する通信部と、受信した前記画像又は映像を表示する表示部と、表示する前記画像又は映像の画質を規定する表示側パラメータに従って前記表示部を制御する表示側制御部と、前記調整指示を解釈して前記撮像側パラメータの変更に対応した前記表示側パラメータを調整する調整部とを備えた表示ユニットとを備え、
    前記調整指示は、単一の前記撮像側パラメータの変更に対応した単一コマンド又は複数の前記撮像側パラメータそれぞれの変更に対応した調整指示をパッキングして抽象化したパッキングコマンドのいずれかである
    ことを特徴とする表示システム装置。
  7. 前記撮像ユニットは、前記画像又は映像を撮像と同一時間で送信し、
    前記表示ユニットは、前記画像又は映像を受信と同一時間で表示する
    ことを特徴とする請求項6記載の表示システム装置。
  8. 前記撮像ユニットは、左目用画像及び右目用画像を撮像する2つの前記撮像部を備え、
    前記表示ユニットは、前記左目用画像及び前記右目用画像を用いて3次元立体映像を表示する
    ことを特徴とする請求項6記載の表示システム装置。
JP2012544012A 2010-11-19 2010-11-19 表示ユニット、撮像ユニット及び表示システム装置 Active JP5414910B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/006800 WO2012066610A1 (ja) 2010-11-19 2010-11-19 表示ユニット、撮像ユニット及び表示システム装置

Publications (2)

Publication Number Publication Date
JP5414910B2 true JP5414910B2 (ja) 2014-02-12
JPWO2012066610A1 JPWO2012066610A1 (ja) 2014-05-12

Family

ID=46083579

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012544012A Active JP5414910B2 (ja) 2010-11-19 2010-11-19 表示ユニット、撮像ユニット及び表示システム装置

Country Status (5)

Country Link
US (1) US20130128074A1 (ja)
JP (1) JP5414910B2 (ja)
CN (1) CN103155028B (ja)
DE (1) DE112010006012B4 (ja)
WO (1) WO2012066610A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9495004B2 (en) * 2014-09-08 2016-11-15 Qualcomm Incorporated Display device adjustment by control device
CN104464688A (zh) * 2014-12-15 2015-03-25 昆山工研院新型平板显示技术中心有限公司 色彩补偿方法及其系统
CN104639843B (zh) * 2014-12-31 2017-12-05 小米科技有限责任公司 图像处理方法及装置
AU2015224397A1 (en) * 2015-09-08 2017-03-23 Canon Kabushiki Kaisha Methods for adjusting control parameters on an image capture device
CN105721888B (zh) * 2016-03-31 2020-03-24 徐文波 一种实时视频应用中的画质处理方法及装置
CN106469037A (zh) * 2016-08-30 2017-03-01 北京小米移动软件有限公司 信息显示方法和装置
WO2019174044A1 (zh) * 2018-03-16 2019-09-19 深圳市大疆创新科技有限公司 一种图像处理方法、设备、系统及存储介质
US11463747B2 (en) 2018-04-05 2022-10-04 Tvu Networks Corporation Systems and methods for real time control of a remote video production with multiple streams
US10966001B2 (en) 2018-04-05 2021-03-30 Tvu Networks Corporation Remote cloud-based video production system in an environment where there is network delay
US11212431B2 (en) * 2018-04-06 2021-12-28 Tvu Networks Corporation Methods and apparatus for remotely controlling a camera in an environment with communication latency
US11115602B2 (en) 2019-06-11 2021-09-07 Watchguard Video, Inc. Emulating light sensitivity of a target
CN112637476A (zh) * 2019-09-24 2021-04-09 中兴通讯股份有限公司 一种视频录制方法、装置、终端以及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002344989A (ja) * 2001-01-17 2002-11-29 Seiko Epson Corp 画像ファイルの出力画像調整
JP2005348355A (ja) * 2004-06-07 2005-12-15 Seiko Epson Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP2010103607A (ja) * 2008-10-21 2010-05-06 Mitsubishi Electric Corp 画像表示システム、ディジタルカメラ、テレビ

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4099552B2 (ja) * 1998-08-03 2008-06-11 ソニー株式会社 撮像表示装置及び撮像表示装置の制御方法
JP3551123B2 (ja) * 2000-04-18 2004-08-04 ミノルタ株式会社 電子カメラ
JP2002314803A (ja) 2001-01-17 2002-10-25 Seiko Epson Corp 画像ファイルの生成および出力
CN100389589C (zh) * 2003-12-15 2008-05-21 联想(北京)有限公司 一种自动校正数码相片显示的方法
TW200608342A (en) * 2004-08-27 2006-03-01 Benq Corp Display apparatus abstract
JP2007178831A (ja) 2005-12-28 2007-07-12 Toshiba Corp 画像表示装置および画像表示システム
CN101548551B (zh) * 2006-12-08 2011-08-31 皇家飞利浦电子股份有限公司 环境照明
US8994757B2 (en) * 2007-03-15 2015-03-31 Scalable Display Technologies, Inc. System and method for providing improved display quality by display adjustment and image processing using optical feedback
JP2009044240A (ja) * 2007-08-06 2009-02-26 Nikon Corp 電子カメラ
US20090219932A1 (en) * 2008-02-04 2009-09-03 Stmicroelectronics, Inc. Multi-stream data transport and methods of use
JP5085618B2 (ja) * 2008-08-27 2012-11-28 ミツミ電機株式会社 画質調整装置、画質調整方法、及び画質調整プログラム
US8605861B2 (en) * 2009-06-05 2013-12-10 Siemens Medical Solutions Usa, Inc. System for medical image display and image filter selection
CN101661734A (zh) * 2009-09-09 2010-03-03 深圳市融创天下科技发展有限公司 一种摄像终端屏幕显示的调整方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002344989A (ja) * 2001-01-17 2002-11-29 Seiko Epson Corp 画像ファイルの出力画像調整
JP2005348355A (ja) * 2004-06-07 2005-12-15 Seiko Epson Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP2010103607A (ja) * 2008-10-21 2010-05-06 Mitsubishi Electric Corp 画像表示システム、ディジタルカメラ、テレビ

Also Published As

Publication number Publication date
DE112010006012T5 (de) 2013-08-22
DE112010006012B4 (de) 2018-05-17
CN103155028B (zh) 2015-06-24
US20130128074A1 (en) 2013-05-23
JPWO2012066610A1 (ja) 2014-05-12
CN103155028A (zh) 2013-06-12
WO2012066610A1 (ja) 2012-05-24

Similar Documents

Publication Publication Date Title
JP5414910B2 (ja) 表示ユニット、撮像ユニット及び表示システム装置
KR101900097B1 (ko) 이미지 캡처 방법 및 이미지 캡처 장치
US9819874B2 (en) Camera color temperature compensation system and smart terminal employing same
KR101953614B1 (ko) 카메라장치의 이미지처리장치 및 방법
CN103986875A (zh) 一种图像获取装置、方法、终端及视频获取方法
US20140176789A1 (en) Image capturing apparatus and control method thereof
US20150271405A1 (en) System for auto-hdr capture decision making
US9706074B2 (en) Method and apparatus for capturing images in an electronic device
US10110806B2 (en) Electronic device and method for operating the same
KR102375688B1 (ko) 촬상 장치, 촬영 시스템 및 촬영 방법
JP2007057599A (ja) 画像信号処理装置、画像信号処理方法及び画像信号処理システム
CN114630053B (zh) 一种hdr图像显示方法及显示设备
EP2161938B1 (en) Imaging apparatus, imaging method and computer readable recording medium storing programs for executing the imaging method
CN110933313B (zh) 暗光拍照方法及相关设备
US10182184B2 (en) Image processing apparatus and image processing method
WO2014098143A1 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム
US8502882B2 (en) Image pick-up apparatus, white balance setting method and recording medium
US8781226B2 (en) Digital image processing apparatus for recognizing fireworks, method of operating the same, and computer-readable storage medium
KR101630303B1 (ko) 디지털 영상 처리 장치 및 그 제어 방법
JP2009282436A (ja) 液晶表示装置及び液晶表示方法
JP2014132771A (ja) 画像処理装置および方法、並びにプログラム
JP4528858B2 (ja) 画像表示装置及び出力画像補正方法
CN103167183A (zh) 一种半透明取景框处理方法、系统及移动终端
JP2020048159A (ja) 撮像制御装置、撮像制御方法、およびプログラム
US12106529B2 (en) Imaging apparatus

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131015

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131112

R150 Certificate of patent or registration of utility model

Ref document number: 5414910

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250