JP7113282B2 - 映像表示システムおよび映像表示方法 - Google Patents

映像表示システムおよび映像表示方法 Download PDF

Info

Publication number
JP7113282B2
JP7113282B2 JP2018034503A JP2018034503A JP7113282B2 JP 7113282 B2 JP7113282 B2 JP 7113282B2 JP 2018034503 A JP2018034503 A JP 2018034503A JP 2018034503 A JP2018034503 A JP 2018034503A JP 7113282 B2 JP7113282 B2 JP 7113282B2
Authority
JP
Japan
Prior art keywords
gradation
data
value
video
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018034503A
Other languages
English (en)
Other versions
JP2019149755A (ja
Inventor
竜司 渕上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2018034503A priority Critical patent/JP7113282B2/ja
Priority to PCT/JP2019/003045 priority patent/WO2019167521A1/ja
Priority to US16/968,803 priority patent/US11356589B2/en
Publication of JP2019149755A publication Critical patent/JP2019149755A/ja
Application granted granted Critical
Publication of JP7113282B2 publication Critical patent/JP7113282B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/391—Resolution modifying circuits, e.g. variable screen formats
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/395—Arrangements specially adapted for transferring the contents of the bit-mapped memory to the screen
    • G09G5/397—Arrangements specially adapted for transferring the contents of two or more bit-mapped memories to the screen simultaneously, e.g. for mixing or overlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0252—Improving the response speed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0686—Adjustment of display parameters with two or more screen areas displaying information with different brightness or colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G09G2320/103—Detection of image changes, e.g. determination of an index representative of the image change
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0428—Gradation resolution change

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本開示は、比較的高いフレームレートを有する映像の表示に好適な映像表示システムおよび映像表示方法に関する。
映像（動画像）に対して画像処理や伝送を行うことにより、表示装置に映像を表示する映像表示システムは、人の視覚を考慮して６０ｆｐｓ（frame per seconds）以下のフレームレートにて動作するよう設計されるのが一般的である。このような映像表示システムでは、例えば、フレームレートが６０ｆｐｓの場合には、１フレームあたりの時間が約１６．６ｍｓとなるため、撮像装置によって生成された映像が表示装置で表示されるまでの間に、複数の画像処理や伝送が実行されることにより、システム全体としてある程度（例えば、１００ｍｓ）の遅延が発生することになる。
そのような撮像（映像出力）に対する映像表示の遅延は、例えば、産業用ロボットで不規則に動く対象をピッキングする場合などのフィードバックを伴うリアルタイムシステムでは、ロボット等の動作の安定性に悪影響を及ぼし得る。また、そのような映像表示の遅延が解消されれば、リアルタイム映像を利用する内視鏡手術及び遠隔手術や、災害救助ロボットの遠隔操作などに用いられる映像表示システムにも有益である。
一方で、映像に比較的高いフレームレート（例えば、９６０ｆｐｓ）を適用することにより、そのような遅延を解消（抑制）することも考えられるが、単にフレームレートを増大させた場合には、伝送量や演算量の増大を招くことになる。
従来、映像の高解像度を維持しつつ伝送量を抑制するための技術として、例えば、監視用カメラによって撮影された映像に関し、人が出入りするドアの付近などに注目し、この監視したい注目監視エリアを高フレームレートで表示し、植物が置かれた場所や壁など注目監視エリアの背景となるようなエリアをネットワーク帯域の有効利用を考慮して低フレームレートで伝送を行うようにしたものが知られている。
特開２００８－２１９４８４号公報
ところで、上記特許文献１に記載された従来技術では、高フレームレートとして３０フレーム／秒程度が想定されているが、映像の高解像度を維持することが前提であるため、より高いフレームレート（例えば、９６０ｆｐｓ）を適用した場合には、高フレームレートの適用が画像の一部（注目監視エリア）であったとしても伝送量や演算量の増大は問題となり得る。
本開示は、このような従来技術の課題を鑑みて案出されたものであり、比較的高いフレームレートを有する映像（フレームレートが６０ｆｐｓを超える映像）を撮像装置から表示装置に対して伝送する場合に、表示映像の品質低下を抑制しつつ、映像の伝送量および演算量の増大を抑制することを可能とする映像表示システムおよび映像表示方法を提供することを主目的とする。
本開示の映像表示システムは、撮像によって第１のビット数を有する第１階調の撮像映像データを順次生成すると共に、前記撮像映像データに基づき、前記第１のビット数よりも小さい第２のビット数を有する第２階調の表示映像データを順次出力する撮像装置と、前記撮像装置からの前記表示映像データに基づく映像を順次表示する表示装置と、を備え、前記表示装置では、前記表示映像データに基づき時系列で連続する複数のフレームの表示を実行する場合に、前記複数のフレームに対応する前記撮像映像データに含まれる所定画素の前記第１階調に基づく第１の階調値が前記撮像装置において変化しないにも拘わらず、前記複数のフレームに対応する前記表示映像データに含まれる前記所定画素の前記第２階調に基づく第２の階調値が変動することを特徴とする。
また、本開示の映像表示方法は、撮像によって第１のビット数を有する第１階調の撮像映像データを順次生成すると共に、前記撮像映像データに基づき、前記第１のビット数よりも小さい第２のビット数を有する第２階調の表示映像データを順次出力する撮像装置と、前記撮像装置からの前記表示映像データに基づく映像を順次表示する表示装置と、を備えた映像表示システムによる映像表示方法であって、前記表示装置では、前記表示映像データに基づき時系列で連続する複数のフレームの表示を実行する場合に、前記複数のフレームに対応する前記撮像映像データに含まれる所定画素の前記第１階調に基づく第１の階調値が前記撮像装置において変化しないにも拘わらず、前記複数のフレームに対応する前記表示映像データに含まれる前記所定画素の前記第２階調に基づく第２の階調値が変動することを特徴とする。
本開示によれば、比較的高いフレームレートを有する映像（フレームレートが６０ｆｐｓを超える映像）を撮像装置から表示装置に対して伝送する場合に、表示映像の品質低下を抑制しつつ、映像の伝送量および演算量の増大を抑制することが可能となる。
第１実施形態に係る映像表示システムの全体構成図 第１実施形態に係る高速表示装置の詳細を示す図 第１実施形態に係る映像表示システムの動作例を示す説明図 第２実施形態に係る映像表示システムの全体構成図 第２実施形態に係る高速表示装置の詳細を示す図 第２実施形態に係る映像表示システムの第１の動作例を示す説明図 第２実施形態に係る映像表示システムの第１の動作例を示す説明図 第２実施形態に係る映像表示システムの第２の動作例を示す説明図 第２実施形態に係る映像表示システムの第２の動作例を示す説明図 第２実施形態の変形例に係る映像表示システムの全体構成図 第２実施形態の変形例に係る高速表示装置の詳細を示す図 第２実施形態の変形例に係る映像表示システムの動作例を示す説明図 第２実施形態の変形例に係る映像表示システムの動作例を示す説明図 第３実施形態に係る映像表示システムの全体構成図 第３実施形態に係る映像表示システムの第１の動作例を示す説明図 第３実施形態に係る映像表示システムの第２の動作例を示す説明図
前記課題を解決するためになされた第１の発明は、撮像によって第１のビット数を有する第１階調の撮像映像データを順次生成すると共に、前記撮像映像データに基づき、前記第１のビット数よりも小さい第２のビット数を有する第２階調の表示映像データを順次出力する撮像装置と、前記撮像装置からの前記表示映像データに基づく映像を順次表示する表示装置と、を備え、前記表示装置では、前記表示映像データに基づき時系列で連続する複数のフレームの表示を実行する場合に、前記複数のフレームに対応する前記撮像映像データに含まれる所定画素の前記第１階調に基づく第１の階調値が前記撮像装置において変化しないにも拘わらず、前記複数のフレームに対応する前記表示映像データに含まれる前記所定画素の前記第２階調に基づく第２の階調値が変動することを特徴とする。
これによると、比較的高いフレームレートを有する映像（フレームレートが６０ｆｐｓを超える映像）を撮像装置から表示装置に対して伝送する場合に、撮像映像データよりも階調を低下させた表示映像データを伝送する一方、表示装置における複数のフレームの表示では人間の視覚特性によってその階調を回復させることができるため、表示映像の品質低下を抑制しつつ、映像の伝送量および演算量の増大を抑制することが可能となる。
また、第２の発明は、前記撮像装置は、前記撮像映像データを生成する撮像部と、前記撮像映像データの量子化により前記表示映像データを生成する変調部とを有し、前記表示装置における前記第２の階調値の変動量は、前記変調部における前記量子化によって生じる前記第２階調よりも小さい階調値成分に相関することを特徴とする。
これによると、撮像装置における量子化によって失われた階調値成分を、表示装置における複数のフレームの表示では人間の視覚特性によって回復させることができるため、表示映像の品質低下を効果的に抑制することが可能となる。
また、第３の発明は、前記表示装置は、映像を表示する表示デバイスと、前記撮像装置からの前記表示映像データが６０ｆｐｓを超えるフレームレートで入力される第１映像入力部と、前記撮像装置とは異なる外部機器から６０ｆｐｓ以下のフレームレートで外部映像データが入力される第２映像入力部と、前記第１映像入力部からの前記表示映像データおよび前記第２映像入力部からの前記外部映像データを、前記表示デバイスに対して選択的に入力するスイッチと、を備えたことを特徴とする。
これによると、撮像装置から入力される６０ｆｐｓを超えるフレームレートの映像を表示可能な表示装置において、外部機器から入力される６０ｆｐｓ以下のフレームレートの映像（通常の映像）を表示することが可能となり、ユーザの利便性が向上する。
また、第４の発明は、前記変調部は、前記撮像映像データに基づく入力データを前記表示映像データに量子化した量子化データを順次出力する量子化器と、前記量子化器から出力される前記量子化データを順次記憶する記憶部と、現フレームに関する前記第１階調の撮像映像データと前記記憶部に記憶された以前のフレームに関する前記量子化データとの差分を順次算出する差分計算器と、前記差分計算器から出力される前記差分を順次積算した積分データを、前記量子化器の前記入力データとして順次出力する積分器と、を備えたことを特徴とする。
これによると、撮像映像データの階調を量子化により下げると共に、この量子化によって排除された情報（下位のビット）を、後続のフレームに反映させる構成としたため、比較的高いフレームレートを有する映像を伝送する場合に、表示映像の品質低下を抑制しつつ、映像の伝送量および演算量の増大を抑制することが可能となる。
また、第５の発明は、前記変調部は、前記撮像映像データに基づく入力データを前記表示映像データに量子化した量子化データを順次出力する量子化器と、前記量子化器から出力される前記量子化データを順次記憶する記憶部と、前記記憶部に記憶された前記量子化データを順次積算した積分データを順次出力する積分器と、前記第１階調の撮像映像データと前記積分データとの差分を順次算出し、前記量子化器の前記入力データとして順次出力する差分計算器と、を備えたことを特徴とする。
これによると、撮像映像データの階調を量子化により下げると共に、この量子化によって排除された情報（下位のビット）を、後続のフレームに反映させる構成としたため、比較的高いフレームレートを有する映像を伝送する場合に、表示映像の品質低下を抑制しつつ、映像の伝送量および演算量の増大を抑制することが可能となる。
また、第６の発明は、前記変調部は、前記第２のビット数を有する変動値データを統計的または確率的に順次生成する発振器と、前記第１階調の撮像映像データに前記変動値データを順次加算する加算器と、前記加算器から出力されたデータを前記第２階調の表示映像データに量子化した量子化データを順次出力する量子化器と、を備えたことを特徴とする。
これによると、撮像映像データの階調を量子化により下げると共に、この量子化によって排除される情報を代替する変動値データとして反映させる構成としたため、比較的高いフレームレートを有する映像を伝送する場合に、表示映像の品質低下を抑制しつつ、映像の伝送量および演算量の増大を抑制することが可能となる。
また、第７の発明は、撮像によって第１のビット数を有する第１階調の撮像映像データを順次生成すると共に、前記撮像映像データに基づき、前記第１のビット数よりも小さい第２のビット数を有する第２階調の表示映像データを順次出力する撮像装置と、前記撮像装置からの前記表示映像データに基づく映像を順次表示する表示装置と、を備えた映像表示システムによる映像表示方法であって、前記表示装置では、前記表示映像データに基づき時系列で連続する複数のフレームの表示を実行する場合に、前記複数のフレームに対応する前記撮像映像データに含まれる所定画素の前記第１階調に基づく第１の階調値が前記撮像装置において変化しないにも拘わらず、前記複数のフレームに対応する前記表示映像データに含まれる前記所定画素の前記第２階調に基づく第２の階調値が変動することを特徴とする。
これによると、比較的高いフレームレートを有する映像（フレームレートが６０ｆｐｓを超える映像）を撮像装置から表示装置に対して伝送する場合に、撮像映像データよりも階調を低下させた表示映像データを伝送する一方、表示装置における複数のフレームの表示では人間の視覚特性によってその階調を回復させることができるため、表示映像の品質低下を抑制しつつ、映像の伝送量および演算量の増大を抑制することが可能となる。
以下、本開示の実施の形態を、図面を参照しながら説明する。
（第１実施形態）
図１は、本開示の第１実施形態に係る映像表示システム１の全体構成図であり、図２は、図１に示した高速表示装置３の詳細を示す図である。
図１に示すように、映像表示システム１は、任意の対象物を撮像する撮像装置２と、撮像装置２から出力された映像データ（映像信号）がリアルタイムで入力される高速表示装置（表示装置）３とを主として備える。
撮像装置２は、撮像によって第１のビット数（例えば、８ビット）を有する第１階調の映像データ（撮像映像データ）を生成する撮像部１１と、第１階調の映像データの量子化により第２階調の映像データ（表示映像データ）を生成する変調部１２とを有する。
撮像部１１は、人間の視覚時間感度（すなわち、視覚情報処理の時間的解像度）を超える比較的高いフレームレート（ここでは、９６０ｆｐｓ）の映像を出力することが可能な高速度カメラから構成される。撮像部１１において生成された映像データは、変調部１２に対して順次入力される。撮像部１１によって撮影される映像（映像データ）の階調は、特に限定されないが、例えば、ＲＧＢで各８ビット（２４ビットカラー）とすることができる。また、撮像部１１は、撮像した映像に対して必要な画像処理を行うための公知の画像処理機能を有する。
変調部１２は、撮像装置２から入力された映像データを符号化することにより、その第１のビット数よりも小さい第２のビット数（例えば、４ビット）を有する第２階調の映像データとして出力する。変調部１２において、量子化器２１は、積分器２４から出力された第１階調（例えば、８ビット）の映像データに基づくデータ（入力データ）を、第２階調（例えば、４ビット）の映像データに量子化して順次出力する。例えば、量子化器２１は、第１階調の８ビットの入力データのうちの上位４ビットを取得する（すなわち、下位４ビットを切り捨てる）ことにより、第２階調に階調を下げたデータ（量子化データ）を生成することができる。この量子化データは、映像データとして高速表示装置３に対して順次出力されると共に、ＳＤＲＡＭ等の公知のメモリによって構成される第１フレームメモリ２２に順次記憶される。
また、変調部１２において、差分計算器２３は、撮像装置２から順次入力される現フレームに関する８ビットの映像データと第１フレームメモリ２２に記憶された以前のフレーム（ここでは、直前のフレーム）に関する量子化データとの差分を順次算出する。このような構成により、量子化器２１の処理によって切り捨てられた下位４ビットの情報を、第１フレームメモリ２２および差分計算器２３を介したフィードバックループによって後続のフレームに順次反映させることが可能となる。また、積分器２４は、差分計算器２３から出力される差分を順次積算した積分データを、量子化器２１の入力データとして順次出力する。また、算出された積分データは、ＳＤＲＡＭ等の公知のメモリによって構成される第２フレームメモリ２５に順次記憶され、次回の積分データを算出する際に順次読み出される。
図２に示すように、高速表示装置３は、公知の構成を有する液晶ディスプレイやプラズマディスプレイ等から構成される高速表示デバイス３１を備え、入力インタフェースを構成する高速映像入力部（第１映像入力部）３２から少なくとも６０ｆｐｓを超えるフレームレートで入力される撮像装置２からの高速映像（映像データ）を表示することが可能である。また、高速表示装置３は、撮像装置２とは異なる任意の外部機器から６０ｆｐｓ以下のフレームレートで通常映像（外部映像データ）が入力される入力インタフェースを構成する通常映像入力部（第２映像入力部）３３を有している。外部機器からの映像入力は、ＨＤＭＩ（登録商標）やＤＶＩ等の規格に準拠したケーブルを介して行うことができる。この通常映像は、公知のディスプレイコントローラ３４によって映像調整等が行われた後に高速表示デバイス３１で表示される。さらに、高速表示装置３は、高速映像入力部３２からの高速映像の信号と、通常映像入力部３３（ディスプレイコントローラ３４）からの通常映像の信号とを、ユーザの操作に応じて高速表示デバイス３１に対して選択的に出力可能なスイッチ３５を備える。
高速表示装置３は、撮像装置２から入力される６０ｆｐｓを超えるフレームレートの高速映像を表示可能でありながら、外部機器から入力される６０ｆｐｓ以下のフレームレートの通常映像を表示することが可能な構成であるため、ユーザの利便性が向上する。なお、高速表示装置３は、少なくとも撮像装置２からの高速映像を表示可能な構成であればよく、上述の通常映像を表示するための構成は省略可能である。
このような映像表示システム１は、撮像装置２で撮影された比較的高いフレームレートを有する映像を、高速表示装置３への伝送によっても大きな遅延を発生させることなく、高速表示装置３において映像の品質低下を抑制しつつ表示させることが可能であり、例えば、リアルタイム映像を利用する内視鏡手術及び遠隔手術や、災害救助ロボットの遠隔操作などに用いるのに好適である。
図３は、第１実施形態に係る映像表示システム１の動作例を示す説明図である。
図３では、第１実施形態に係る映像表示システム１の動作例として、所定の時間間隔（例えば、１ｍｓ）で設定された時刻ｔ０～ｔ１５において、０～２４０まで設定された８ビットの映像データの各階調値が、撮像部１１から変調部１２に入力される場合が示されている。ここでは、説明の便宜上、時刻ｔ０～ｔ１５にそれぞれ対応する１６のフレームの所定画素について、各階調値（同一の階調値）が連続して入力された場合（各階調値が１６フレームにわたり変化しない場合）が示されている。ただし、実際の映像データの階調値はフレーム毎に適宜変化し得る。
ここで、量子化器２１は、８ビットの映像データの階調値を、０～１５の階調値からなる４ビットの映像データに変換して順次出力する。例えば、映像データの階調値が３の場合には、量子化器２１からの出力の初期値は、３を１６で除した値（ただし、１未満の数値が生じた場合には切り捨てる（以下同様））である０となり、また、積分値（積分器２４からの出力値）の初期値は０である。
また、映像データの階調値が３の場合、時刻ｔ０においては、量子化器２１からの出力値（延いては、撮像装置２からの出力値）は、積分値の初期値０に映像データの階調値３を加えた値を１６で除した値である０となり、積分値は、その初期値０に対し、映像データの階調値３と量子化器２１からの出力の初期値との差分（すなわち、差分計算器２３による算出値）を加算した値である３となる。ここで、差分計算器２３による差分の計算には、量子化器２１からの出力値に１６を乗じて逆量子化した値が用いられる（以下同様）。
続く時刻ｔ１においては、量子化器２１からの出力値は、時刻ｔ０における積分値３に映像データの階調値３を加えた値を１６で除した値である０となり、積分値は、時刻ｔ０の積分値３に対し、映像データの階調値３と時刻ｔ０における量子化器２１からの出力値との差分を加算した値である６となる。
続く時刻ｔ２においては、量子化器２１からの出力値は、時刻ｔ１における積分値６に映像データの階調値３を加えた値を１６で除した値である０となり、積分値は、時刻ｔ１の積分値６に対し、映像データの階調値３と時刻ｔ１における量子化器２１からの出力値との差分を加算した値である９となる。以降、時刻ｔ３～時刻ｔ１５における量子化器２１からの出力値および積分値も上述の場合と同様に設定される。また、映像データの階調値が３以外の場合も、上述の場合と同様に時刻ｔ０～ｔ１５における量子化器２１からの出力値および積分値を求めることができる。
また、各階調値に関し、時刻ｔ０～ｔ１５における量子化器２１からの出力値の平均値に１６を乗じた値（平均値の逆量子化値）は、元の階調値と概ね等しくなる。
このように、第１実施形態に係る撮像装置２は、撮像部１１から変調部１２に入力された映像データの階調を量子化により下げると共に、この量子化によって排除された情報（ここでは、下位の４ビット）を、積分器２４での積分値を介して後続のフレームに反映させる構成としたため、人間の視覚時間感度を超える比較的高いフレームレートを有する映像（例えば、フレームレートが６０ｆｐｓを超える映像）を伝送する場合に、高速表示装置３における表示映像の品質低下を抑制しつつ、映像の伝送量および演算量の増大を抑制することが可能となる。
上述の図３の例によれば、高速表示装置３において、撮像装置２からの映像データに基づき時系列で連続する複数のフレームの表示を実行する場合に、それら複数のフレームに対応する撮像部１１における第１階調（例えば、８ビット）の映像データに含まれる所定画素の階調値（第１の階調値）が３のまま変化しないにも拘わらず、それら複数のフレームに対応する撮像装置２からの第２階調（例えば、４ビット）の映像データに含まれるその所定画素の階調値（第２の階調値）が－１～２の間で変動することになる。また、撮像装置２からの第２階調の映像データに含まれるその所定画素の階調値の変動量は、上述の量子化器２１の処理によって切り捨てられた下位ビット（ここでは、下位４ビット）の情報（第２階調よりも小さい階調値成分）に相関する。
この場合、撮像装置２から第２階調（ここでは、４ビット）のデータが出力されるにも拘わらず、高速表示装置３に表示される映像を視聴するユーザは、人の視覚の性質上、表示される物体の運動に関しては１フレーム分の遅延としか認知できないにもかかわらず、階調に関しては１０～２０フレーム分程度（図３の例では各階調値の時刻ｔ０～ｔ１５における複数のフレームに相当）の映像を残像として重ね合わせたように知覚されることになり、撮像装置２において排除された階調が視覚的に復元された（あたかも第１階調（ここでは、８ビット）の映像が表示された）ような効果が得られる。また、撮像装置２から高速表示装置３への映像データの伝送時に一部のデータが欠落した場合も、一時的な階調低下を引き起こすのみで、継続の復号不能には陥らないため、再送制御を行わずにシステム動作を継続できるという利点もある。
なお、映像表示システム１は、後述する他の実施形態や複数の変形例を含め、撮像装置２で生成された現フレームに関する映像データの階調を量子化により下げると共に、この量子化によって排除された下位ビット（例えば、８ビットにおける下位４ビット）または統計的または確率的手法に基づくそれらの下位ビットに相当する代替データが、後続するフレームに関する映像データにおける上位ビット（例えば、８ビットにおける上位４ビット）に対して影響を及ぼすことが可能な構成であればよい。
また、第１実施形態に係る撮像装置２の変調部１２による動作は、従来の音声信号の符号化に用いられるΔΣ（デルタシグマ）変調に類似するが、音声信号に関するΔΣ変調の処理は、音声信号の量子化において発生し得るエイリアスノイズを低減して音質を向上させるためのものであり、変調部１２による映像の処理とは、目的や効果を異にするものである。
（第２実施形態）
図４は、本開示の第２実施形態に係る映像表示システム１の全体構成図であり、図５は、図４に示した高速表示装置３の詳細を示す図である。図４及び図５では、それぞれ図１及び図２に示した映像表示システム１に対応する構成については、同一の符号が付してある。第２実施形態に関し、以下で特に言及しない事項については、上述の第１実施形態に係る映像表示システム１と同様として詳細な説明を省略する。
第２実施形態に係る高速表示装置３の変調部１２において、量子化器４１は、上述の量子化器２１と同様に、差分計算器４４から出力された第１階調（例えば、８ビット）の映像データに基づくデータ（入力データ）を、第２階調（例えば、４ビット）の映像データに量子化して順次出力する。この量子化データは、高速表示装置３に順次出力されると共に、ＳＤＲＡＭ等の公知のメモリによって構成される第１フレームメモリ４２に順次記憶される。
積分器４３は、第１フレームメモリ４２に記憶されたデータを順次積算した積分データを、差分計算器４４に対して順次出力する。また、積分データは、ＳＤＲＡＭ等の公知のメモリによって構成される第２フレームメモリ４５に順次記憶され、次回の積分データを算出する際に順次読み出される。
差分計算器４４は、撮像部１１から入力される現フレームに関する８ビットの映像データと積分器４３からの積分データとの差分を順次算出し、この差分データを量子化器４１の入力データとして順次出力する。このような構成により、量子化器４１の処理によって切り捨てられた下位４ビットの情報を、第１フレームメモリ４２、積分器４３、及び差分計算器４４を介したフィードバックループにより後続のフレームに反映させることが可能となる。
図５に示すように、高速表示装置３は、高速映像入力部３２から高速映像に関する映像データが入力される積分器４６を備える。積分器４６は、上述の積分器４３と同様に、撮像装置２からの第２階調の映像データ（すなわち、量子化器４１の出力）を順次積分する。積分器４６から出力される積分値は、スイッチ３５を介して高速表示デバイス３１に入力されることにより、撮像装置２からの映像データに基づく映像が表示される。
図６及び図７は、それぞれ第２実施形態に係る映像表示システム１の第１の動作例を示す説明図（数値例およびそれに対応するグラフ）であり、図８及び図９は、それぞれ第２実施形態に係る映像表示システム１の第２の動作例を示す説明図（数値例およびそれに対応するグラフ）である。なお、図６及び図８における数値例は、それぞれ一部を省略して示してある。
図６及び図７では、第２実施形態に係る映像表示システム１の第１の動作例として、所定の時間間隔（例えば、１ｍｓ）で入力されるフレームの所定画素について、０～２５５まで設定された８ビットの映像データ（入力データ）の階調値が、変化しつつ撮像部１１から変調部１２に入力される場合が示されている。ただし、実際の映像データの階調値の変化は、ここに示すものに限定されず任意に変化し得る（後述する他の動作例についても同様）。
ここで、量子化器４１は、８ビットの映像データの階調値を、－８～７の階調値からなる４ビットの映像データに変換して順次出力する。図６において、例えば、フレームＮｏ．１では、映像データの階調値８が入力され、この映像データの階調値８と積分値０（積分器４３からの出力値）との差分（すなわち、差分計算器４４による算出値）に基づく７が、撮像装置２からの出力値（すなわち、量子化器２１からの出力値）となる。ここで、差分計算器４４で算出された差分値が７を超える場合には、撮像装置２からの出力値は上限値７に設定され、その差分値が－８未満の場合には、撮像装置２からの出力値は下限値－８に設定される（以下同様）。高速表示装置３では、その撮像装置２からの出力値７を受信し、これを初期の輝度値０（フレームＮｏ．０参照）に加算することにより、対象画素の表示に関して輝度値７が設定される。
続くフレームＮｏ．２では、映像データの階調値９が入力され、この映像データの階調値９からフレームＮｏ．２の積分値７（すなわち、フレームＮｏ．１の積分値０および撮像装置２からの出力値７の和）を減じた値に基づく２が、撮像装置２からの出力値となる。高速表示装置３では、その撮像装置２からの出力値２を受信し、これをフレームＮｏ．１までの輝度値７（積分値）に加算することにより、対象画素の表示に関して輝度値９が設定される。
続くフレームＮｏ．３では、映像データの階調値１０が入力され、この映像データの階調値１０からフレームＮｏ．３の積分値９（すなわち、フレームＮｏ．２の積分値７および撮像装置２からの出力値２の和）を減じた値に基づく１が、撮像装置２からの出力値となる。高速表示装置３では、その撮像装置２からの出力値１を受信し、これをフレームＮｏ．２までの輝度値９（積分値）に加算することにより、対象画素の表示に関して輝度値１０が設定される。フレームＮｏ．４以降についても、上述の場合と同様に、入力される映像データの階調値に基づき、積分値、撮像装置２からの出力値、及び高速表示装置３の輝度値がそれぞれ設定される。
図６及び図７の例によれば、高速表示装置３において、撮像装置２からの映像データに基づき時系列で連続する複数のフレーム（例えば、フレームＮｏ．４６～４９を参照）の表示を実行する場合に、それら複数のフレームに対応する撮像部１１における第１階調（例えば、８ビット）の映像データに含まれる所定画素の階調値（第１の階調値）が変化しないにも拘わらず、それら複数のフレームに対応する撮像装置２からの第２階調（例えば、４ビット）の映像データに含まれるその所定画素の階調値（第２の階調値）が変動することになる。また、撮像装置２からの第２階調の映像データに含まれるその所定画素の階調値の変動量は、上述の量子化器４１の処理によって切り捨てられた下位ビット（ここでは、下位４ビット）の情報（第２階調よりも小さい階調値成分）に相関する。
次に、図８及び図９では、第２実施形態に係る映像表示システム１の第２の動作例として、所定の時間間隔（例えば、１ｍｓ）で入力されるフレームの所定画素について、０～２５５まで設定された８ビットの映像データ（入力データ）の階調値が、変化しつつ撮像部１１から撮像装置２に入力される場合が示されている。
ここで、量子化器４１は、８ビットの映像データの階調値を、－１、１の階調値からなる１ビットの映像データに変換して順次出力する。図８において、例えば、フレームＮｏ．１では、映像データの階調値８が入力され、この映像データの階調値８と積分値（積分器４３からの出力値）との差分（すなわち、差分計算器４４による算出値８）に基づく１が、撮像装置２からの出力値（すなわち、量子化器４１からの出力値）となる。ここで、差分計算器４４で算出された差分値が１を超える場合には、撮像装置２からの出力値は上限値１に設定され、その差分値が－１未満の場合には、撮像装置２からの出力値は下限値－１に設定される（以下同様）。高速表示装置３では、その撮像装置２からの出力値１を受信し、これを初期の輝度値０（フレームＮｏ．０参照）に加算することにより、対象画素の表示に関して輝度値１が設定される。
続くフレームＮｏ．２では、映像データの階調値８が入力され、この映像データの階調値８からフレームＮｏ．２の積分値１（すなわち、フレームＮｏ．１の積分値０および撮像装置２からの出力値１の和）を減じた値（差分の値は７）に基づく１が、撮像装置２からの出力値となる。高速表示装置３では、その撮像装置２からの出力値１を受信し、これをフレームＮｏ．１までの輝度値２（積分値）に加算することにより、対象画素の表示に関して輝度値２が設定される。
続くフレームＮｏ．３では、映像データの階調値８が入力され、この映像データの階調値８からフレームＮｏ．３の積分値２（すなわち、フレームＮｏ．２の積分値１および撮像装置２からの出力値１の和）を減じた値（差分の値は６）に基づく１が、撮像装置２からの出力値となる。高速表示装置３では、その撮像装置２からの出力値１を受信し、これをフレームＮｏ．２までの輝度値２（積分値）に加算することにより、対象画素の表示に関して輝度値３が設定される。フレームＮｏ．４以降についても、上述の場合と同様に、入力される映像データの階調値に基づき、積分値、撮像装置２からの出力値、及び高速表示装置３の輝度値がそれぞれ設定される。
図８及び図９の例によれば、高速表示装置３において、撮像装置２からの映像データに基づき時系列で連続する複数のフレーム（例えば、フレームＮｏ．１～１６を参照）の表示を実行する場合に、それら複数のフレームに対応する撮像部１１における第１階調（例えば、８ビット）の映像データに含まれる所定画素の階調値（第１の階調値）が変化しないにも拘わらず、それら複数のフレームに対応する撮像装置２からの第２階調（例えば、４ビット）の映像データに含まれるその所定画素の階調値（第２の階調値）が変動することになる。また、撮像装置２からの第２階調の映像データに含まれるその所定画素の階調値の変動量は、上述の量子化器４１の処理によって切り捨てられた下位ビット（ここでは、下位４ビット）の情報（第２階調よりも小さい階調値成分）に相関する。
このように、第２実施形態に係る映像表示システム１は、上述の第１実施形態に係る映像表示システム１と同様に、撮像部１１から変調部１２に入力された映像データの階調を量子化により下げると共に、この量子化によって排除された情報を、積分器４３での積分値を介して後続のフレームに反映させる構成としたため、比較的高いフレームレートを有する映像を伝送する場合に、高速表示装置３における表示映像の品質低下を抑制しつつ（すなわち、図６及び図８に示すように、映像データの階調値を高速表示装置３の輝度値と良好に一致させて、視覚的階調を回復しつつ）、映像の伝送量および演算量の増大を抑制することが可能となる。
また、第２実施形態に係る変調部１２による動作は、従来の音声信号の符号化に用いられるΔ（デルタ）変調に類似するが、音声信号に関するΔ変調の処理は、音声信号の量子化において発生し得るエイリアスノイズを低減して音質を向上させるためのものであり、変調部１２による映像の処理とは、目的や効果を異にするものである。
（第２実施形態の変形例）
図１０は、第２実施形態の変形例に係る映像表示システムの全体構成図であり、図１１は、図１０に示した高速表示装置３の詳細を示す図である。第２実施形態の変形例に関し、以下で特に言及しない事項については、上述の第１または第２実施形態に係る映像表示システム１と同様として詳細な説明を省略する。
この変形例に係る映像表示システム１では、量子化器４１は、非線形量子化を実行し、また、図１０に示すように、量子化器４１からの出力を逆量子化する逆量子化部５０を更に備える。逆量子化部５０によって逆量子化された量子化器４１からの出力は、上述の第２実施形態に係る映像表示システム１と同様に、第１フレームメモリ４２に順次記憶される。
また、図１１に示すように、高速表示装置３は、高速映像入力部３２から入力された高速映像に関する映像データを、上述の逆量子化部５０と同様に逆量子化するための逆量子化部６１を備える。逆量子化部６１によって逆量子化された映像データは、積分器４６に順次入力される。
図１２及び図１３は、それぞれ第２実施形態に係る映像表示システム１の動作例を示す説明図（数値例およびそれに対応するグラフ）である。なお、図１２における数値例は、一部を省略して示してある。
図１２では、第２実施形態の変形例に係る映像表示システム１の動作例として、所定の時間間隔（例えば、１ｍｓ）で入力されるフレームの所定画素について、０～２５５まで設定された８ビットの映像データ（入力データ）の階調値が、変化しつつ撮像部１１から変調部１２に入力される場合が示されている。
ここで、量子化器４１は、非線形量子化を実行することにより、８ビットの映像データの階調値を、－５～５の階調値からなる４ビットの映像データに変換して順次出力する。図１２において、例えば、フレームＮｏ．１では、映像データの階調値１０が入力され、この映像データの階調値１０とフレームＮｏ．１での積分値０（積分器４３からの出力値）との差分（すなわち、差分計算器４４による算出値）に基づく差分値１０（すなわち、差分計算器４４による算出値）が量子化器４１に入力される。そこで、量子化器４１では、その差分値が正の場合には、２を底とする差分値の対数（ただし、１未満の数値が生じた場合には切り捨てる（以下同様））を出力し、また、その差分値が負の場合には、２を底とする差分値の絶対値の対数（ただし、１未満の数値が生じた場合には切り捨てる（以下同様））に－１を乗じた値を出力し、また、差分値が０の場合には、０を出力する（以下同様）。これにより、フレームＮｏ．１では、撮像装置２からの出力値（すなわち、量子化器４１からの出力値）は３となる。ここで、量子化器４１からの出力値を「Ｑ」とすると、Ｑが０以上の場合には、逆量子化部５０は、２のＱ乗を算出することにより逆量子化を行い、また、Ｑが負の場合には、逆量子化部５０は、２の－Ｑ乗を算出することにより逆量子化を行う（以下同様）。これにより、フレームＮｏ．１では、逆量子化部５０からの出力値は８（２の３乗）となる。また、フレームＮｏ．１に関する撮像装置２からの出力値を受信した高速表示装置３では、逆量子化部６１により逆量子化部５０と同様の逆量子化値８が算出され、さらに、高速表示装置３では、その逆量子化値８を初期の輝度値０（フレームＮｏ．０参照）に加算することにより、対象画素の表示に関して輝度値８が設定される。
続くフレームＮｏ．２では、映像データの階調値１７が入力され、この映像データの階調値１７とフレームＮｏ．２での積分値８（フレームＮｏ．１の積分値０と逆量子化値８との和）との差分に基づく差分値９が量子化器４１に入力される。これにより、フレームＮｏ．２では、撮像装置２（量子化器４１）からの出力値は３となる。また、フレームＮｏ．２では、逆量子化部５０からの出力値は８となる。さらに、フレームＮｏ．２に関し、高速表示装置３では、その逆量子化値８をフレームＮｏ．１までの輝度値８（積分値）に加算することにより、対象画素の表示に関して輝度値１６が設定される。
続くフレームＮｏ．３では、映像データの階調値２８が入力され、この映像データの階調値２８とフレームＮｏ．３での積分値１６（フレームＮｏ．２の積分値８と逆量子化値８との和）との差分に基づく差分値１２が量子化器４１に入力される。これにより、フレームＮｏ．３では、撮像装置２（量子化器４１）からの出力値は３となる。また、フレームＮｏ．３では、逆量子化部５０からの出力値は８となる。さらに、フレームＮｏ．３に関し、高速表示装置３では、その逆量子化値８をフレームＮｏ．２までの輝度値１６に加算することにより、対象画素の表示に関して輝度値２４が設定される。フレームＮｏ．４以降についても、上述の場合と同様に、入力される映像データの階調値に基づき、積分値、差分、撮像装置２からの出力値、及び高速表示装置３の輝度値がそれぞれ設定される。
このように、第２実施形態の変形例に係る映像表示システム１は、上述の第１実施形態に係る映像表示システム１と同様に、撮像部１１から変調部１２に入力された映像データの階調を量子化により下げると共に、この量子化によって排除された情報を、後続のフレームに反映させる構成としたため、比較的高いフレームレートを有する映像を伝送する場合に、高速表示装置３における表示映像の品質低下を抑制しつつ（すなわち、図１３に示すように、映像データの階調値を高速表示装置３の輝度値と良好に一致させて、視覚的階調を回復しつつ）、映像の伝送量および演算量の増大を抑制することが可能となる。特に、第２実施形態の変形例に係る映像表示システム１では、非線形量子化を実行するため、撮像部１１から変調部１２に入力された映像データの変動が比較的大きい場合（高い周波数を有する場合）にも、上述のような線形量子化を実行する場合と比べて円滑な処理が可能となるという利点がある。
なお、第２実施形態の変形例に係る映像表示システム１においても、上述の第２実施形態の場合と同様に、高速表示装置３において、撮像装置２からの映像データに基づき時系列で連続する複数のフレームの表示を実行する場合には、それら複数のフレームに対応する撮像部１１における第１階調（例えば、８ビット）の映像データに含まれる所定画素の階調値（第１の階調値）が変化しないにも拘わらず、それら複数のフレームに対応する撮像装置２からの第２階調（例えば、４ビット）の映像データに含まれるその所定画素の階調値（第２の階調値）が変動することになる。また、撮像装置２からの第２階調の映像データに含まれるその所定画素の階調値の変動量は、上述の量子化器４１の処理によって切り捨てられた下位ビット（ここでは、下位４ビット）の情報（第２階調よりも小さい階調値成分）に相関する。
（第３実施形態）
図１４は、本開示の第３実施形態に係る映像表示システム１の全体構成図である。図１４では、図１に示した映像表示システム１に対応する構成については、同一の符号が付してある。第３実施形態に関し、以下で特に言及しない事項については、上述の第１実施形態に係る映像表示システム１と同様として詳細な説明を省略する。
第３実施形態に係る高速表示装置３の変調部１２において、発振器５１は、撮像部１１から入力される第１階調の映像データよりも小さいビット数（例えば、４ビット）を有する変動値データを統計的または確率的に順次生成し、加算器５２に対して出力する。このような変動値データは、例えば、乱数や三角波を利用して生成することができる。
加算器５２は、撮像部１１から順次入力される現フレームに関する８ビットの映像データと変動値データを加算したデータを生成し、これを量子化器５３に対して出力する。
量子化器５３は、上述の量子化器２１と同様に、加算器５２から出力されたデータを第２階調（例えば、４ビット）の映像データに量子化することにより、階調を下げたデータ（量子化データ）を生成することができる。
図１５及び図１６は、それぞれ第３実施形態に係る映像表示システム１の第１及び第２の動作例を示す説明図である。
図１５では、第３実施形態に係る映像表示システム１の第１の動作例として、０～２４０まで設定された８ビットの映像データ（入力データ）の各階調値が、所定の時間間隔（例えば、１ｍｓ）で、撮像部１１から変調部１２に入力される場合が示されている。このとき、発振器５１は、三角波を利用して変動値０～１５（変動値データ）を順次生成し、これにより、加算器５２は、８ビットの映像データにその変動値を加算したデータを生成し、これを量子化器５３に対して出力する。また、量子化器５３は、加算器５２からの８ビットの映像データの階調値を、０～１５の階調値からなる４ビットの映像データに変換して順次出力する。
変動値０に関し、８ビットの階調値２４０は、それに変動値０を加算した値を１６で除して求められる４ビットの階調値１５（ただし、１未満の数値が生じた場合には切り捨てる（以下同様））に変換され、８ビットの階調値２３９は、それに変動値０を加算した値を１６で除して求められる４ビットの階調値１４に変換され、それ以降も同様に、８ビットの階調値が４ビットの階調値に変換される。また、変動値１に関し、映像データの８ビットの階調値（映像の輝度値）２４０は、それに変動値１を加算した値を１６で除して求められる４ビットの階調値１５に変換され、８ビットの階調値２３９は、それに変動値１を加算した値を１６で除して求められる４ビットの階調値１４に変換され、それ以降も同様に、８ビットの階調値が４ビットの階調値に変換される。また、変動値２～１５に関しても同様に、映像データの８ビットの階調値から４ビットの階調値１４に変換される。
図１６では、第３実施形態に係る映像表示システム１の第２の動作例として、０～２４０まで設定された８ビットの映像データ（入力データ）の各階調値が、所定の時間間隔（例えば、１ｍｓ）で、撮像部１１から変調部１２に入力される場合が示されている。このとき、発振器５１は、乱数を利用して変動値０～１５（変動値データ）を順次生成し、これにより、加算器５２は、８ビットの映像データとその変動値を加算したデータを生成し、これを量子化器５３に対して出力する。また、量子化器５３は、加算器５２からの８ビットの映像データの階調値を、０～１５の階調値からなる４ビットの映像データに変換して順次出力する。
変動値０に関し、８ビットの階調値２４０は、それに変動値０を加算した値を１６で除して求められる４ビットの階調値１５（ただし、１未満の数値が生じた場合には切り捨てる（以下同様））に変換され、８ビットの階調値２３９は、それに変動値０を加算した値を１６で除して求められる４ビットの階調値１４に変換され、それ以降も同様に、８ビットの階調値が４ビットの階調値に変換される。また、変動値１５に関し、映像データの８ビットの階調値（映像の輝度値）２４０は、それに変動値１５を加算した値を１６で除して求められる４ビットの階調値１５に変換され、８ビットの階調値２３９は、それに変動値１５を加算した値を１６で除して求められる４ビットの階調値１５に変換され、それ以降も同様に、８ビットの階調値が４ビットの階調値に変換される。また、他の変動値についても同様に、映像データの８ビットの階調値から４ビットの階調値１４に変換される。
ここで、８ビットの階調値を「元の階調値」、４ビットの階調値を「変動階調値」と呼ぶものとする。或るフレームにおいて、例えば元の階調値１０１を出力する場合には、変動階調値６を１１回出力し、変動階調値７を５回出力する。即ち、１０１＝６×１１＋７×５となり、４ビット階調を出力するにもかかわらず、１６フレーム内において、変動階調値を必要に応じて変動させることにより、あたかも８ビット階調が表示されたように見せることができる。
このような構成により、第３実施形態に係る映像表示システム１は、撮像部１１から変調部１２に入力された映像データの階調を量子化により下げると共に、この量子化によって排除される情報を代替する変動値データとして反映させる構成としたため、比較的高いフレームレートを有する映像を伝送する場合に、高速表示装置３における表示映像の品質低下を抑制しつつ、映像の伝送量および演算量の増大を抑制することが可能となる。
なお、第３実施形態に係る映像表示システム１においても、上述の第１実施形態の場合と同様に、高速表示装置３において、撮像装置２からの映像データに基づき時系列で連続する複数のフレームの表示を実行する場合には、それら複数のフレームに対応する撮像部１１における第１階調（例えば、８ビット）の映像データに含まれる所定画素の階調値（第１の階調値）が変化しないにも拘わらず、それら複数のフレームに対応する撮像装置２からの第２階調（例えば、４ビット）の映像データに含まれるその所定画素の階調値（第２の階調値）が変動することになる。
以上、本開示を特定の実施の形態に基づいて説明したが、これらの実施の形態はあくまでも例示であって、本開示はこれらの実施の形態によって限定されるものではない。なお、上記実施の形態に示した本開示に係る映像表示システムおよび映像表示方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
本開示に係る映像表示システムおよび映像表示方法は、比較的高いフレームレートを有する映像（フレームレートが６０ｆｐｓを超える映像）を撮像装置から表示装置に対して伝送する場合に、高いフレームレートを生かした低遅延の伝送を維持しつつ、表示映像の品質低下を抑制しつつ、映像の伝送量および演算量の増大を抑制することを可能とし、比較的高いフレームレートを有する映像の表示に好適な映像表示システムおよび映像表示方法などとして有用である。
１ ：映像表示システム
２ ：撮像装置
３ ：高速表示装置
１１ ：撮像部
１２ ：変調部
２１ ：量子化器
２２ ：第１フレームメモリ
２３ ：差分計算器
２４ ：積分器
２５ ：第２フレームメモリ
３１ ：高速表示デバイス
３２ ：高速映像入力部
３３ ：通常映像入力部
３４ ：ディスプレイコントローラ
３５ ：スイッチ
４１ ：量子化器
４２ ：第１フレームメモリ
４３ ：積分器
４４ ：差分計算器
４５ ：第２フレームメモリ
４６ ：積分器
５０ ：逆量子化部
５１ ：発振器
５２ ：加算器
５３ ：量子化器
６１ ：逆量子化部

Claims (7)

  1. 撮像によって第１のビット数を有する第１階調の撮像映像データを順次生成すると共に、前記撮像映像データに基づき、前記第１のビット数よりも小さい第２のビット数を有する第２階調の表示映像データを順次出力する撮像装置と、
    前記撮像装置からの前記表示映像データに基づく映像を順次表示する表示装置と、
    を備え、
    前記表示装置では、前記表示映像データに基づき時系列で連続する複数のフレームの表示を実行する場合に、前記複数のフレームに対応する前記撮像映像データに含まれる所定画素の前記第１階調に基づく第１の階調値が前記撮像装置において変化しないにも拘わらず、前記複数のフレームに対応する前記表示映像データに含まれる前記所定画素の前記第２階調に基づく第２の階調値が変動することを特徴とする映像表示システム。
  2. 前記撮像装置は、前記撮像映像データを生成する撮像部と、前記撮像映像データの量子化により前記表示映像データを生成する変調部とを有し、
    前記表示装置における前記第２の階調値の変動量は、前記変調部における前記量子化によって生じる前記第２階調よりも小さい階調値成分に相関することを特徴とする請求項１に記載の映像表示システム。
  3. 前記表示装置は、
    映像を表示する表示デバイスと、
    前記撮像装置からの前記表示映像データが６０ｆｐｓを超えるフレームレートで入力される第１映像入力部と、
    前記撮像装置とは異なる外部機器から６０ｆｐｓ以下のフレームレートで外部映像データが入力される第２映像入力部と、
    前記第１映像入力部からの前記表示映像データおよび前記第２映像入力部からの前記外部映像データを、前記表示デバイスに対して選択的に入力するスイッチと、
    を備えたことを特徴とする請求項１または請求項２に記載の映像表示システム。
  4. 前記変調部は、
    前記撮像映像データに基づく入力データを前記表示映像データに量子化した量子化データを順次出力する量子化器と、
    前記量子化器から出力される前記量子化データを順次記憶する記憶部と、
    現フレームに関する前記第１階調の撮像映像データと前記記憶部に記憶された以前のフレームに関する前記量子化データとの差分を順次算出する差分計算器と、
    前記差分計算器から出力される前記差分を順次積算した積分データを、前記量子化器の前記入力データとして順次出力する積分器と、
    を備えたことを特徴とする請求項２または請求項３に記載の映像表示システム。
  5. 前記変調部は、
    前記撮像映像データに基づく入力データを前記表示映像データに量子化した量子化データを順次出力する量子化器と、
    前記量子化器から出力される前記量子化データを順次記憶する記憶部と、
    前記記憶部に記憶された前記量子化データを順次積算した積分データを順次出力する積分器と、
    前記第１階調の撮像映像データと前記積分データとの差分を順次算出し、前記量子化器の前記入力データとして順次出力する差分計算器と、
    を備えたことを特徴とする請求項２または請求項３に記載の映像表示システム。
  6. 前記変調部は、
    前記第２のビット数を有する変動値データを統計的または確率的に順次生成する発振器と、
    前記第１階調の撮像映像データに前記変動値データを順次加算する加算器と、
    前記加算器から出力されたデータを前記第２階調の表示映像データに量子化した量子化データを順次出力する量子化器と、
    を備えたことを特徴とする請求項２または請求項３に記載の映像表示システム。
  7. 撮像によって第１のビット数を有する第１階調の撮像映像データを順次生成すると共に、前記撮像映像データに基づき、前記第１のビット数よりも小さい第２のビット数を有する第２階調の表示映像データを順次出力する撮像装置と、前記撮像装置からの前記表示映像データに基づく映像を順次表示する表示装置と、を備えた映像表示システムによる映像表示方法であって、
    前記表示装置では、前記表示映像データに基づき時系列で連続する複数のフレームの表示を実行する場合に、前記複数のフレームに対応する前記撮像映像データに含まれる所定画素の前記第１階調に基づく第１の階調値が前記撮像装置において変化しないにも拘わらず、前記複数のフレームに対応する前記表示映像データに含まれる前記所定画素の前記第２階調に基づく第２の階調値が変動することを特徴とする映像表示方法。
JP2018034503A 2018-02-28 2018-02-28 映像表示システムおよび映像表示方法 Active JP7113282B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018034503A JP7113282B2 (ja) 2018-02-28 2018-02-28 映像表示システムおよび映像表示方法
PCT/JP2019/003045 WO2019167521A1 (ja) 2018-02-28 2019-01-30 映像表示システムおよび映像表示方法
US16/968,803 US11356589B2 (en) 2018-02-28 2019-01-30 Video display system and video display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018034503A JP7113282B2 (ja) 2018-02-28 2018-02-28 映像表示システムおよび映像表示方法

Publications (2)

Publication Number Publication Date
JP2019149755A JP2019149755A (ja) 2019-09-05
JP7113282B2 true JP7113282B2 (ja) 2022-08-05

Family

ID=67808833

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018034503A Active JP7113282B2 (ja) 2018-02-28 2018-02-28 映像表示システムおよび映像表示方法

Country Status (3)

Country Link
US (1) US11356589B2 (ja)
JP (1) JP7113282B2 (ja)
WO (1) WO2019167521A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010101924A (ja) 2008-10-21 2010-05-06 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
JP2013101190A (ja) 2011-11-07 2013-05-23 Canon Inc 画像処理装置、画像処理方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997014247A1 (en) * 1995-10-13 1997-04-17 Apple Computer, Inc. Method and apparatus for video scaling and convolution for displaying computer graphics on a conventional television monitor
JP2002158992A (ja) * 2000-11-22 2002-05-31 Fujitsu Ltd 画像配信装置、画像処理装置およびカメラ
US7305114B2 (en) * 2001-12-26 2007-12-04 Cognex Technology And Investment Corporation Human/machine interface for a machine vision sensor and method for installing and operating the same
US7663597B2 (en) * 2003-07-16 2010-02-16 Honeywood Technologies, Llc LCD plateau power conservation
US7714831B2 (en) * 2003-07-16 2010-05-11 Honeywood Technologies, Llc Background plateau manipulation for display device power conservation
US20070127909A1 (en) * 2005-08-25 2007-06-07 Craig Mowry System and apparatus for increasing quality and efficiency of film capture and methods of use thereof
US8406309B2 (en) * 2005-10-21 2013-03-26 Qualcomm Incorporated Video rate adaptation to reverse link conditions
JP2008219484A (ja) 2007-03-05 2008-09-18 Victor Co Of Japan Ltd 監視用カメラ、表示制御装置、および監視システム
US8352594B2 (en) * 2008-06-12 2013-01-08 Panasonic Corporation Network monitoring device, bus system monitoring device, method and program
JP2010276987A (ja) * 2009-05-29 2010-12-09 Tpo Displays Corp 表示制御装置
US10027883B1 (en) * 2014-06-18 2018-07-17 Amazon Technologies, Inc. Primary user selection for head tracking
JP2016045393A (ja) * 2014-08-25 2016-04-04 セイコーエプソン株式会社 画像処理装置、表示装置、および表示方法
JP6750210B2 (ja) * 2015-02-10 2020-09-02 株式会社Ｊｖｃケンウッド 表示信号処理システム、処理装置、表示信号生成装置、処理方法、及び表示信号生成方法
US9811946B1 (en) * 2016-05-30 2017-11-07 Hong Kong Applied Science and Technology Research Institute Company, Limited High resolution (HR) panorama generation without ghosting artifacts using multiple HR images mapped to a low resolution 360-degree image
KR102503819B1 (ko) * 2016-08-31 2023-02-23 엘지디스플레이 주식회사 타이밍 컨트롤러 및 이를 포함하는 표시 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010101924A (ja) 2008-10-21 2010-05-06 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
JP2013101190A (ja) 2011-11-07 2013-05-23 Canon Inc 画像処理装置、画像処理方法

Also Published As

Publication number Publication date
WO2019167521A1 (ja) 2019-09-06
US20200404136A1 (en) 2020-12-24
US11356589B2 (en) 2022-06-07
JP2019149755A (ja) 2019-09-05

Similar Documents

Publication Publication Date Title
JP4612716B2 (ja) 画像符号化装置、画像符号化方法、画像符復号化システム
US8233060B2 (en) Image data processing apparatus, image data processing method, and program
JP6729170B2 (ja) 画像処理システム及び画像復号装置
JPH08237659A (ja) 連続画像の適応型復号装置
US10110929B2 (en) Method of pre-processing digital images, and digital image preprocessing system
JPH0746596A (ja) イントラ−ブロックｄｃ変換係数量子化方法
JP2007081474A (ja) 画像符号化装置及び方法
JP2004336103A (ja) 画像情報圧縮装置
JP4874184B2 (ja) 画像処理装置及び画像処理方法
US5515105A (en) Video signal coder using variance controlled quantization
EP3648460B1 (en) Method and apparatus for controlling encoding resolution ratio
JP7445904B2 (ja) 映像出力装置、映像出力方法および映像出力システム
JP5149427B2 (ja) 符号化装置、復号化装置、符復号化システム、符号化方法及び復号化方法
JP7113282B2 (ja) 映像表示システムおよび映像表示方法
JP6512741B2 (ja) 画像処理装置および画像処理方法
JP7186374B2 (ja) 映像信号処理装置、映像表示システム、及び映像信号処理方法
US11245901B2 (en) Video signal processing device, video display system, and video signal processing method
JP2019193025A (ja) 映像輝度変換装置およびそのプログラム
KR100387229B1 (ko) 영상부호화장치
JP3497664B2 (ja) 立体画像符号化装置
JP2005064785A (ja) 画像伝送装置、画像再生装置および画像伝送システム
KR100991421B1 (ko) 고압축 영상 인코딩 장치 및 방법과, 이를 이용하는 동적커패시턴스 보상 신호 처리 장치 및 방법
JP2016082395A (ja) 符号化装置、符号化方法及びプログラム
JP7503655B2 (ja) トーンマッピング曲線のためのパラメータセットの決定
KR100316770B1 (ko) 시감색차특성을 고려한 영상부호화 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220426

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220519

R151 Written notification of patent or utility model registration

Ref document number: 7113282

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151