JP7235035B2 - 映像信号処理装置、映像信号処理方法および撮像装置 - Google Patents

映像信号処理装置、映像信号処理方法および撮像装置 Download PDF

Info

Publication number
JP7235035B2
JP7235035B2 JP2020502889A JP2020502889A JP7235035B2 JP 7235035 B2 JP7235035 B2 JP 7235035B2 JP 2020502889 A JP2020502889 A JP 2020502889A JP 2020502889 A JP2020502889 A JP 2020502889A JP 7235035 B2 JP7235035 B2 JP 7235035B2
Authority
JP
Japan
Prior art keywords
video signal
tone
processing
output
signal processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020502889A
Other languages
English (en)
Other versions
JPWO2019167555A1 (ja
Inventor
浩二 神谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2019167555A1 publication Critical patent/JPWO2019167555A1/ja
Application granted granted Critical
Publication of JP7235035B2 publication Critical patent/JP7235035B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • G06T5/92
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/68Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/68Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H04N9/69Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing

Description

本技術は、撮像部によって生成された映像信号を処理する映像信号処理装置、映像信号処理方法および撮像装置に関する。
撮像装置により撮影された映像信号を、最終的にユーザが意図する画の見え方(トーン)に調整するために、ディスプレイガンマやOETF(Optical-Electro Transfer Function)変換等のための標準のガンマ処理に加え、トーン調整のための任意のカーブ特性を映像信号に付与する処理が行われる。
特開2015-154307号公報
上記のように、ディスプレイガンマやOETF(Optical-Electro Transfer Function)変換等のための標準のガンマ処理に加えて、トーン調整のための任意のカーブ特性を映像信号に付与する処理が行われる。そのため信号処理が複雑となり、最終的にユーザが意図する画の見え方(トーン)に調整することが難しい。
本技術は、映像信号に付与される標準のカーブ特性に加えて、トーン調整のための任意のトーン・カーブ特性を付与する信号処理を容易化することのできる映像信号処理装置、映像信号処理方法および撮像装置を提供することを目的とするものである。
上記の課題を解決するために、本技術に係る一形態の映像信号処理装置は、リニア特性 を有する入力映像信号に対してトーン調整のためのトーン・カーブ特性を付与するトーンコントロール部を含む第1の処理回路部と、前記第1の処理回路部によって処理された映像信号に対して第1の出力用のカーブ特性を付与して第1の出力映像信号を生成する第1のカーブ特性付与部を含む第2の処理回路部とを具備する。
上記の映像信号処理装置において、前記第2の処理回路部は、前記第1の処理回路部によって処理された映像信号に対して第2の出力用のカーブ特性を付与して第2の出力映像信号を生成する第2のカーブ特性付与部をさらに含むものであってよい。
上記の映像信号処理装置において、前記第1の出力用のカーブ特性がOETF(Optical-Electro Transfer Function)変換のためのカーブ特性およびディスプレイガンマ処理のためのカーブ特性のいずれか一方であり、前記第2の出力用のカーブ特性がその他方であることとしてもよい。
上記の映像信号処理装置において、前記トーンコントロール部は、設定情報に基づき前記トーン調整用のトーン・カーブ特性を作成するものであってよい。
上記の映像信号処理装置において、前記設定情報は、トーン・カーブ特性が与えられる入力信号レベルの範囲の中心を定義するパラメータを含むものとしてよい。
上記の映像信号処理装置において、前記設定情報は、トーン・カーブ特性が与えられる入力信号レベルの範囲を定義するパラメータを含むものとしてよい。
上記の映像信号処理装置において、前記設定情報は、トーン・カーブ特性のカーブ形状を定義するパラメータを含むものとしてよい。
上記の映像信号処理装置において、前記設定情報が、トーン・カーブ特性が与えられる入力信号レベルの範囲の中心における出力信号レベルの変動量を定義するパラメータを含むものとしてよい。
上記の映像信号処理装置において、前記トーンコントロール部は、前記設定情報に基づき色成分毎の係数をそれぞれ作成し、これら色成分毎の係数と色成分毎に任意に与えられたゲイン調整値とに基づき前記トーン・カーブ特性を作成するものであってよい。
上記の映像信号処理装置において、前記トーンコントロール部は、前記設定情報に基づき複数の色成分に共通の係数を作成し、この係数と色成分毎に任意に与えられたゲイン調整値とに基づき前記トーン・カーブ特性を作成するものであってよい。
上記の映像信号処理装置において、前記トーンコントロール部は、前記設定情報に基づき色成分毎の係数をそれぞれ作成し、これら色成分毎の係数と色成分毎に任意に与えられたゲイン調整値とに基づき前記トーン・カーブ特性を作成する第1のトーンコントロール機能と、前記設定情報に基づき複数の色成分に共通の係数を作成し、この係数と色成分毎に任意に与えられたゲイン調整値とに基づき前記トーン・カーブ特性を作成する第2のトーンコントロール機能とで、実行させるトーンコントロール機能を切り替え可能に構成されたものであってよい。
上記の映像信号処理装置において、前記第1の処理回路部は、撮像素子により生成された信号に対して補正および色バランス調整を行う補正/色バランス調整部をさらに具備し、前記トーンコントロール部は、前記補正/色バランス調整回路より出力された信号を前記入力映像信号として処理するように構成されてよい。
上記の映像信号処理装置において、前記第2の処理回路部は、少なくとも、前記トーン・カーブ特性が付与された映像信号に対してマトリクス処理を行ってカラー画像データを生成するマトリクス処理部と、前記生成されたカラー画像データのディテール処理およびニー処理を行うディテール・ニー処理部とを含み、前記第1のカーブ特性付与部は、前記ディテール・ニー処理部より出力されたカラー画像データに対して前記出力用のカーブ特性を付与するように構成されてよい。
上記の映像信号処理装置において、前記第2の処理回路部は、少なくとも、前記トーン・カーブ特性が付与された映像信号に対してマトリクス処理を行って第1の解像度の第1のカラー画像データを生成する第1のマトリクス処理部と、前記第1のカラー画像データのディテール処理およびニー処理を行う第1のディテール・ニー処理部と、前記トーン・カーブ特性が付与された映像信号に対してマトリクス処理を行って第2の解像度の第2のカラー画像データを生成する第2のマトリクス処理部と、前記生成された第2のカラー画像データのディテール処理およびニー処理を行う第2のディテール・ニー処理部とを含み、前記第1のカーブ特性付与部は、前記第1のディテール・ニー処理部より出力された前記第1のカラー画像データに対して前記第1の出力用のカーブ特性を付与し、前記第2のカーブ特性付与部は、前記第2のディテール・ニー処理部より出力された前記第2のカラー画像データに対して前記第2の出力用のカーブ特性を付与するものであってよい。
上記の映像信号処理装置において、前記第1のカラー画像データがHDR(High Dynamic Range)ビデオであり、前記第2のカラー画像データがSDR(Standard Dynamic Range)ビデオであってよい。
本技術に係る別の形態の撮像装置は、リニア特性を有する入力映像信号を生成する撮像部と、前記入力映像信号に対してトーン調整のためのトーン・カーブ特性を付与するトーンコントロール部を含む第1の処理回路部と、第1の出力用のカーブ特性を付与して第1の出力映像信号を生成する第1のカーブ特性付与部を含む第2の処理回路部とを具備する。
本技術に係る別の形態の映像信号処理方法は、第1の処理回路部が、リニア特性を有する入力映像信号に対してトーン調整のためのトーン・カーブ特性を付与し、第2の処理回路部が、前記第1の処理回路部によって処理された映像信号に対して第1の出力用のカーブ特性を付与して第1の出力映像信号を生成することに特徴を有する。
以上のように、本技術によれば、最終的にユーザが意図する画の見え方(トーン)に調整することが容易になる。
本技術に係る第1の実施形態の撮像装置1の構成を示すブロック図である。 本技術に係る第2の実施形態の撮像装置1aの構成を示すブロック図である。 本技術に係る第3の実施形態の撮像システム100の構成を示すブロック図である。 トーンコントロール部の第1の構成例を示すブロック図である。 トーンコントロール部の第2の構成例を示すブロック図である。 トーンコントロール部の第3の構成例を示すブロック図である。 トーンコントロール部の第4の構成例を示すブロック図である。 トーンコントロール部の第5の構成例を示すブロック図である。 トーン・カーブ特性の設定情報である4つのパラメータを説明する図である。 図9のトーン・カーブ特性62に対して輝度中心を変化させたトーン・カーブ特性63を示す図である。 振幅を変化させたトーン・カーブ特性64を示す図である。 輝度幅を変化させたトーン・カーブ特性65を示す図である。 カーブ形状を変化させたトーン・カーブ特性66を示す図である。 ビデオ信号全体にカーブ特性を与えたトーン・カーブ特性67の例を示す図である。 複数のトーンコントロール部を用いた撮像装置の構成を示すブロック図である。 複数のトーンコントロール部を用いた撮像装置の別の構成を示すブロック図である。 手術室システムの全体構成を概略的に示す図である。 集中操作パネルにおける操作画面の表示例を示す図である。 手術室システムが適用された手術の様子の一例を示す図である。 図19に示すカメラヘッド及びCCUの機能構成の一例を示すブロック図である。
以下、本技術に係る実施の形態を説明する。
<第1の実施形態>
図1は、本技術に係る第1の実施形態の撮像装置1の構成を示すブロック図である。
本実施形態の撮像装置1は、リニア特性を有する入力映像信号に対してトーン調整のためのトーン・カーブ特性を付与するトーンコントロール部23を含む第1の処理回路部と、前記第1の処理回路部によって処理された映像信号に対して第1の出力用のカーブ特性を付与して第1の出力映像信号を生成するカーブ特性付与部26を含む第2の処理回路部とを具備する。ここで、リニア特性を有する入力映像信号は、入力光量に対して出力信号が略線形的に増大する特性を示すもので、少なくとも映像出力用のカーブ特性の付与を行う前の信号であり、欠陥補正、レンズ収差補正などの補正処理、ゲイン調整後の信号で、かつディテール・ニー処理を行う前の信号であることが好ましい。
また、本実施形態の撮像装置1において、第1の処理回路部は、撮像素子により生成された信号に対して補正および色バランス調整を行うプリプロセッサ21とRGBゲイン調整部22をさらに具備し、トーンコントロール部23は、プリプロセッサ21とRGBゲイン調整部22により生成された信号を入力映像信号として処理するように構成される。
以下、本実施形態の撮像装置1をさらに詳しく説明する。
撮像装置1は、撮像のためのレンズ群を有する光学系11と、例えばCMOS(Complementary Metal-Oxide-Semiconductor)素子、CCD(Charge-Coupled Device)などの撮像素子を有する撮像部12とを備える。撮像部12は、光学系11を通して入射した光を撮像素子において光強度に応じた電気的な画素信号に変換して映像信号処理部20に供給する。
映像信号処理部20は、プリプロセッサ21、RGBゲイン調整部22、トーンコントロール部23、マトリクス処理部24、ディテール・ニー処理部25、カーブ特性付与部26、フォーマッタ―27を有する。
さらに、撮像装置1は、装置全体の制御を行うCPU28を有する。CPU28は操作部40との間で通信を行うことが可能である。操作部40は、ディスプレイ41および操作入力部42を備える。CPU28は、操作部40を用いてユーザより入力された指令に基づいて対応する制御を行ったり、操作部40を用いてユーザより入力された、トーン・カーブ特性の設定情報などの各種パラメータの入力を受け付ける。操作入力部42は、例えば操作キー、マウス、トラックボール、ダイヤル、レバー、タッチセンサーパネル、リモートコントローラーなどで構成されてよい。ディスプレイ41はビューファインダーであってもよい。
映像信号処理部20の構成の説明に戻る。
プリプロセッサ21は、撮像部12より供給された画素信号に対する欠陥補正、レンズ収差補正などの補正処理を行う。
RGBゲイン調整部22は、マスターゲインの調整の他、ホワイトバランス調整のためのRGBゲインの制御を行う。
トーンコントロール部23は、プリプロセッサ21およびRGBゲイン調整部22を通過した画素信号(入力映像信号)に対してトーン・カーブ特性を付与する。
マトリクス処理部24は、トーンコントロール部23を通過した画素信号に対するデベイヤー処理、リニアマトリクス処理などを行ってカラー画像データを生成する。
ディテール・ニー処理部25は、カラー画像データに対するディテール処理およびニー(KNEE)補正を行う。
カーブ特性付与部26は、ディテール・ニー処理部25を通過したカラー画像データに対して、例えばSDRのディスプレイガンマ処理、あるいはHDRのOETF(Optical-Electro Transfer Function:光電気伝達関数)変換など、映像出力用のカーブ特性の付与を行う。
フォーマッタ―27は、カラー画像データを出力用の伝送フォーマットに変換して出力映像信号を生成する。
本実施形態では、SDRのガンマ処理やHDRのOETF変換などのための映像出力用のカーブ特性が付与される前の、光強度に対してリニア特性を有する画素信号(入力映像信号)に対して、トーンコントロール部23にて、ユーザから与えられた設定情報に基づくトーン・カーブ特性が付与される。これにより、ユーザはSDRのディスプレイガンマ特性やHDRのOETF特性など、映像信号に対して付与される出力用のカーブ特性を意識せずにトーン・カーブ特性の設定情報を入力するだけで任意のトーン調整を行うことができ、ユーザの負荷を低減できる。このとき、まずはリニアな入力映像信号に対してトーン調整用のカーブ特性のみを付与すればよく、出力用のカーブ特性とトーン調整用のカーブ特性の付与をあわせて行う方式に比べ、より信号処理を簡素化することができる。
<第2の実施形態>
次に、リニア領域でトーン・カーブ特性が付与された入力映像信号から2系統の出力映像信号を同時に生成することが可能な撮像装置について説明する。ここで、2系統の出力映像信号として、第1のダイナミックレンジを有する第1のビデオと第1のビデオよりも広いダイナミックレンジである第2のダイナミックレンジを有する第2のビデオを想定する。以下、第1のダイナミックレンジを有する第1のビデオをSDRビデオ、第2のダイナミックレンジを有する第2のビデオをHDRビデオとして本技術に係る第2の実施形態を説明する。
図2は本技術に係る第2の実施形態の撮像装置1aの構成を示すブロック図である。
本実施形態の撮像装置1aにおいて、第2の処理回路部は、第1の処理回路部によって処理された映像信号に対して第2の出力用のカーブ特性を付与して第2の出力映像信号を生成するSDRガンマ処理部26Bをさらに含む。
以下、本実施形態の撮像装置1aをさらに詳しく説明する。
この撮像装置1aにおける光学系11および撮像部12と、映像信号処理部20aにおけるプリプロセッサ21、RGBゲイン調整部22およびトーンコントロール部23は、第1の実施形態の映像信号処理部20の構成と同じである。
映像信号処理部20aは、トーンコントロール部23の後段に、HDRプロセス部AおよびSDRプロセス部Bを有する。
HDRプロセス部Aは、トーンコントロール部23にてトーン・カーブ特性が付与された映像信号からHDRビデオを生成する処理を行う。HDRプロセス部Aは、マトリクス処理部24A、ディテール・ニー処理部25A、HDR-OETF処理部26A、フォーマッタ―27Aを有する。
マトリクス処理部24Aは、トーンコントロール部23より出力された画素信号に対するデベイヤー処理、リニアマトリクス処理などを行ってカラー画像データを生成する。
ディテール・ニー処理部25Aは、マトリクス処理部24Aにより生成されたカラー画像データのディテール処理およびニー処理を行う。
HDR-OETF処理部26Aは、ディテール・ニー処理部25Aを通過したカラー画像データに対してHDR用のOETF(Optical-Electro Transfer Function:光電気伝達関数)変換のためのカーブ特性を付与する。
フォーマッタ―27Aは、HDR-OETF処理部26Aによって生成されたカラー画像データをHDRビデオの伝送フォーマットに変換する。
一方、SDRプロセス部Bは、解像度変換部29B、リレイティブゲイン調整部30B、マトリクス処理部24B、ディテール・ニー処理部25B、SDRガンマ処理部26B、フォーマッタ―27Bを有する。
解像度変換部29Bは、トーンコントロール部23より供給された画素信号の解像度(例えば4K解像度)を、この供給された画素信号の解像度よりも低い解像度、例えばHDなどの解像度に変換する。
リレイティブゲイン調整部30Bは、リレイティブゲインに基づくマスターゲインの制御、ホワイトバランス調整のためのRGBゲインの制御を行う。ここで、リレイティブゲインとは、SDRビデオのダイナミックレンジとHDRビデオのダイナミックレンジとの相関を設定する情報である。リレイティブゲインはCPU28によって設定およびその変更などが可能である。
マトリクス処理部24Bは、リレイティブゲイン調整部30Bを通過した画素信号に対するデベイヤー処理、リニアマトリクス処理などを行ってカラー画像データを得る。
ディテール・ニー処理部25Bは、カラー画像データに対するディテールの処理およびニー(KNEE)補正を行う。
SDRガンマ処理部26Bは、ディテール・ニー処理部25Bを通過したカラー画像データに対してSDR用のガンマ処理のためのカーブ特性の付与および出力先のディスプレイ用のガンマ処理のためのカーブ特性の付与などを行う。
フォーマッタ―27Bは、カラー画像データをSDRビデオの伝送フォーマットに変換する。
なお、HDRビデオのダイナミックレンジはSDRビデオのダイナミックレンジよりも広い。例として、SDRビデオのダイナミックレンジを0~100%とすると、HDRビデオの輝度ダイナミックレンジは例えばHLG(ハイブリッドログガンマ)方式では、0%~1200%などである。撮像部12の出力の輝度レンジは0~1300%などである。
以上のように構成された撮像装置1aでは、リニア特性を有する画素信号(入力信号)に対してトーンコントロール部23にて任意のトーン・カーブ特性が付与された映像信号が、HDRプロセス部AおよびSDRプロセス部Bに供給される。そしてHDRプロセス部AにてOETF変換のためのカーブ特性の付与が行われるとともに、SDRプロセス部Bにてガンマ処理のためのカーブ特性の付与が行われる。これにより、SDRのガンマ特性と、HDRのOETF特性が大きく異なる場合であっても、リニアな入力信号に対してトーン調整用のカーブ特性を付与した後の信号を、あたかも撮影時にそのような照明環境であったかのような基準信号として取り扱うことができ、HDRプロセス部AおよびSDRプロセス部Bにおいては、この基準信号に対してそれぞれSDRのガンマ特性と、HDRのOETF特性を付与することができるために、ユーザの意図するトーン調整が同等に施されたHDRビデオとSDRビデオを比較的容易な信号処理でリアルタイムで並列(例えば同時)に生成することができる。さらに、SDRのガンマ処理後の映像信号とHDRのOETF変換後の映像信号がユーザの意図する画の見え方(トーン)になるよう、それぞれの映像信号を個別にトーン調整する必要がなくなり、トーン調整のユーザの負荷を低減できる。
<第3の実施形態>
図3は、本技術に係る第3の実施形態の撮像システム100の構成を示すブロック図である。
この撮像システム100は、撮像装置1bとカメラ信号処理ユニット120とで構成される。撮像装置1bは、光学系11、撮像部12、プリプロセッサ21、RGBゲイン調整部22、トーンコントロール部23および伝送部31を有する。カメラ信号処理ユニット120は、伝送部32、HDRプロセス部A、SDRプロセス部Bを有する。ここで、撮像装置1bとカメラ信号処理ユニット120は互いの伝送部31,32によって光ケーブルなどのカメラケーブル33を通じて接続される。
この撮像システム100では、撮像装置1bのトーンコントロール部23にてトーン・カーブ特性が付与された映像信号が、伝送部31によってカメラケーブル33を通じて接続されたカメラ信号処理ユニット120に伝送される。カメラ信号処理ユニット120では、カメラケーブル33を通じて撮像装置1bより伝送されてきた映像信号が伝送部32にて受信され、HDRプロセス部AとSDRプロセス部Bに供給されてHDRビデオとSDRビデオがリアルタイムで並列(例えば同時)に生成される。
また、トーンコントロール部は、撮像装置1bから、信号処理ユニット120の伝送部の後段側に移して、構成しても良い。
[トーンコントロール部の構成]
次に、本技術に係る各実施形態におけるトーンコントロール部23の構成を説明する。
(第1の構成例)
図4はトーンコントロール部の第1の構成例を示すブロック図である。
このトーンコントロール部23aは、RGBなどの色成分毎のLUT(Look Up Table)51、52、53を有する。LUT(Look Up Table)51R、51G、51Bには、色成分毎の入力映像信号の値に対してトーン・カーブ特性の付与された値がテーブル構造で登録されている。あるいは、トーンコントロール部23aは、色成分毎に折れ線近似カーブを付与する構成によっても実現可能である。すなわち、このトーンコントロール部23aは、色成分毎の入力映像信号に対して色成分毎のLUT(Look Up Table)51R、51G、51Bからそれぞれトーン・カーブ特性の付与された映像信号が読み出されることによって、任意のトーン・カーブ特性の付与された映像信号が生成される。
(第2の構成例)
図5はトーンコントロール部の第2の構成例を示すブロック図である。
このトーンコントロール部23bは、色成分毎の入力映像信号の値に対してトーン・カーブ特性の付与された変動分(差分)の値が、色成分毎のLUT(Look Up Table)52R、52G、52Bから読み出される。色成分毎のLUT(Look Up Table)52R、52G、52Bからそれぞれ読み出された値は、色成分毎に任意に与えられたゲイン調整値Cr、Cg、Cbと乗算されることによって任意の調整がなされ、それぞれ色成分毎の入力映像信号に加算される。これにより、入力映像信号に対して任意のトーン・カーブ特性が付与された映像信号が得られる。
(第3の構成例)
図6はトーンコントロール部の第3の構成例を示すブロック図である。
このトーンコントロール部23cは、トーン・カーブ特性の設定情報に基づきトーン調整用のトーン・カーブ特性を作成する。
すなわち、トーンコントロール部23cは、まず、色成分毎の入力映像信号の値に対して、トーン・カーブ特性の設定情報に基づき色成分毎の係数53R、53G、53Bをそれぞれ作成する。ここでトーン・カーブ特性の設定情報は、全ての色成分について共通の設定であってもよいし、色成分毎に別々の設定であってもよい。各係数53R、53G、53Bは、色成分毎に任意に与えられたゲイン調整値Cr、Cg、Cbと乗算されることよって調整がなされ、それぞれに"1"が加算される。このように各色成分について生成された値が、トーン・カーブ特性の設定結果である。トーン・カーブ特性の設定結果として色成分毎に生成された値は、それぞれ対応する色成分の入力映像信号に乗算される。これにより、入力映像信号に対して任意のトーン・カーブ特性が付与される。
(第4の構成例)
図7はトーンコントロール部の第4の構成例を示すブロック図である。
このトーンコントロール部23dは、入力映像信号の輝度信号(Y)を生成し、この輝度信号(Y)に対して、トーン・カーブ特性の設定情報に基づき係数55を作成する。作成された係数55は、色成分毎に任意に与えられたゲイン調整値Cr、Cg、Cbと乗算されることよって色成分毎の係数とされ、それぞれに"1"が加算される。このように各色成分について生成された値が、トーン・カーブ特性の設定結果である。トーン・カーブ特性の設定結果として色成分毎に生成された値は、それぞれ対応する色成分の入力映像信号に乗算される。これにより、入力映像信号に対して任意のトーン・カーブ特性が付与される。
(第5の構成例)
図8はトーンコントロール部の第5の構成例を示すブロック図である。
このトーンコントロール部23eは、第3の構成例であるトーンコントロール部23cの機能と第4の構成例であるトーンコントロール部23dの機能とを複数のスイッチSW1、SW2、SW3により切り替え可能なように構成されたものである。複数のスイッチSW1、SW2、SW3は操作部40を使ってユーザから与えられた命令を受けたCPU28によって切り替えられる。複数のスイッチSW1、SW2、SW3は各々同期してA側とB側とに切り替えられる。
各スイッチSW1、SW2、SW3がA側に切り替えられているとき、入力映像信号の輝度信号(Y)に対して、トーン・カーブ特性の設定情報に基づき係数が作成される。作成された係数は、色成分毎に任意に与えられたゲイン調整値Cr、Cg、Cbと乗算されることよって色成分毎の係数とされ、それぞれに"1"が加算され、それぞれ対応する色成分の入力映像信号に乗算される。このように、各スイッチSW1、SW2、SW3がA側に切り替えられているとき、トーンコントロール部23eは第4の構成例のトーンコントロール部23dと同様に動作する。
一方、各スイッチSW1、SW2、SW3がB側に切り替えられているとき、色成分毎の入力映像信号に対して、トーン・カーブ特性の設定情報に基づき色成分毎の係数がそれぞれ作成される。各係数は、色成分毎に任意に与えられたゲイン調整値Cr、Cg、Cbと乗算されることよって調整がなされ、それぞれに"1"が加算され、それぞれ対応する色の入力映像信号に乗算される。これにより、トーンコントロール部23eは第3の構成例のトーンコントロール部23cと同様に動作する。
これにより、入力映像信号に対して、色成分毎の値に基づくトーンコントロールと、輝度成分の値に基づくトーンコントロールの2種類のトーンコントロールを適宜切り替えて行うことができ、映像の見え方を切り替えることができる。
なお、ゲイン調整値Cr、Cg、Cbは、トーン・カーブ特性とは別に色成分毎にユーザが適宜リアルタイムに設定することのできるパラメータである。ユーザは調整の結果である出力映像を見ながら、色成分毎のゲイン調整値Cr、Cg、Cbを任意に設定することができる。
上記第3の構成例のトーンコントロール部23cおよび上記第4の構成例のトーンコントロール部23dは、トーン・カーブ特性の設定情報をもとに入力映像信号に乗じるゲインを生成する。このように算術的にトーンコントロールを行うトーンコントロール部23c、トーンコントロール部23dなどのトーンコントロール部23は、例えば、図15に示すように、第1のトーンコントロール部23A、第2のトーンコントロール部23Bとして直列に設けることが可能である。ここで、第1のトーンコントロール部23A、第2のトーンコントロール部23Bはいずれも第3の構成例のトーンコントロール部23cであってもよいし、第4の構成例のトーンコントロール部23dであってもよい。あるいは、第3の構成例のトーンコントロール部23cと第4の構成例のトーンコントロール部23dとの組み合わせであってもよい。
さらに、図16に示すように、複数のトーンコントロール部23A、23Bのそれぞれによって生成されるゲインを合成した結果を、入力映像信号に乗じる構成を採ることも可能である。
(トーン・カーブ特性の設定情報について)
本実施形態では、トーン・カーブ特性の設定情報であるパラメータとして、輝度中心、輝度幅、カーブ形状および振幅が、操作部40を使ってユーザより与えられる。
図9は、トーン・カーブ特性の設定情報のための4つのパラメータを説明する図である。
ここで、横軸はトーンコントロール部23への入力信号レベル、縦軸はトーンコントロール部23からの出力信号レベルである。入力信号レベルおよび出力信号レベルの各値はSDRビデオのダイナミックレンジを0-100%とした場合の%値によって与えられる。
同図において、実線の直線61は、トーン・カーブ特性が与えられる前のリニア特性を示す。点線62は与えられたトーン・カーブ特性を示す。輝度中心は、トーン・カーブ特性が与えられる入力信号レベルの範囲の中心である。例えば、図9の例では、90%の入力信号レベルが輝度中心として設定された場合を示している。輝度幅は、トーン・カーブ特性が与えられる入力信号レベルの範囲を示す。カーブ形状はトーン・カーブ特性のカーブ形状を定義するパラメータである。例えば、高輝度側のトーンを強める、低輝度側のトーンを弱めるといった非対称のトーン・カーブ特性などを定義することが可能である。振幅は輝度中心での出力レベルの変動量によって与えられる。
図10は、図9のトーン・カーブ特性62に対して輝度中心を90%位置から105%位置に変化させたときのトーン・カーブ特性63を示す図である。
図11は、図9のトーン・カーブ特性62に対して振幅をh1からh2に拡げたトーン・カーブ特性64を示す図である。
図12は、図9のトーン・カーブ特性62に対して輝度幅をw1からw2に拡げたトーン・カーブ特性65を示す図である。
図13は、図9のトーン・カーブ特性62に対して高輝度側のトーンを弱め、低輝度側のトーンを強めたカーブ形状に変更したトーン・カーブ特性66を示す図である。
さらに、図14は、輝度中心を入力信号のレンジ(1300%)を越えた範囲に設定するとともに、輝度幅を1.0倍以上の値に設定することによって、ビデオ信号全体にカーブ特性を与えたトーン・カーブ特性67の例である。
以上のように、本実施形態では、輝度中心、輝度幅、カーブ形状および振幅などの各パラメータを用いて、ユーザが意図する様々なトーン・カーブ特性を高い自由度で設定することができる。
これらトーン・カーブ特性の設定情報である各パラメータの設定、さらには、ゲイン調整値Cr、Cg、Cbの設定は、操作部40のディスプレイ41に設定用のGUI(Graphical User Interface)を表示させ、このGUIに対してユーザが操作入力部42を操作することなどによって行うことが可能である。撮像装置の本体に設けられた操作入力パネルに対する操作入力によって各パラメータの設定が行われてもよい。
<<応用例>>
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、手術室システムに適用されてもよい。
図17は、本開示に係る技術が適用され得る手術室システム5100の全体構成を概略的に示す図である。図17を参照すると、手術室システム5100は、手術室内に設置される装置群が視聴覚コントローラ(AV Controller)5107及び手術室制御装置5109を介して互いに連携可能に接続されることにより構成される。
手術室には、様々な装置が設置され得る。図17では、一例として、内視鏡下手術のための各種の装置群5101と、手術室の天井に設けられ術者の手元を撮像するシーリングカメラ5187と、手術室の天井に設けられ手術室全体の様子を撮像する術場カメラ5189と、複数の表示装置5103A~5103Dと、レコーダ5105と、患者ベッド5183と、照明5191と、を図示している。
ここで、これらの装置のうち、装置群5101は、後述する内視鏡手術システム5113に属するものであり、内視鏡や当該内視鏡によって撮像された画像を表示する表示装置等からなる。内視鏡手術システム5113に属する各装置は医療用機器とも呼称される。一方、表示装置5103A~5103D、レコーダ5105、患者ベッド5183及び照明5191は、内視鏡手術システム5113とは別個に、例えば手術室に備え付けられている装置である。これらの内視鏡手術システム5113に属さない各装置は非医療用機器とも呼称される。視聴覚コントローラ5107及び/又は手術室制御装置5109は、これら医療機器及び非医療機器の動作を互いに連携して制御する。
視聴覚コントローラ5107は、医療機器及び非医療機器における画像表示に関する処理を、統括的に制御する。具体的には、手術室システム5100が備える装置のうち、装置群5101、シーリングカメラ5187及び術場カメラ5189は、手術中に表示すべき情報(以下、表示情報ともいう)を発信する機能を有する装置(以下、発信元の装置とも呼称する)であり得る。また、表示装置5103A~5103Dは、表示情報が出力される装置(以下、出力先の装置とも呼称する)であり得る。また、レコーダ5105は、発信元の装置及び出力先の装置の双方に該当する装置であり得る。視聴覚コントローラ5107は、発信元の装置及び出力先の装置の動作を制御し、発信元の装置から表示情報を取得するとともに、当該表示情報を出力先の装置に送信し、表示又は記録させる機能を有する。なお、表示情報とは、手術中に撮像された各種の画像や、手術に関する各種の情報(例えば、患者の身体情報や、過去の検査結果、術式についての情報等)等である。
具体的には、視聴覚コントローラ5107には、装置群5101から、表示情報として、内視鏡によって撮像された患者の体腔内の術部の画像についての情報が送信され得る。また、シーリングカメラ5187から、表示情報として、当該シーリングカメラ5187によって撮像された術者の手元の画像についての情報が送信され得る。また、術場カメラ5189から、表示情報として、当該術場カメラ5189によって撮像された手術室全体の様子を示す画像についての情報が送信され得る。なお、手術室システム5100に撮像機能を有する他の装置が存在する場合には、視聴覚コントローラ5107は、表示情報として、当該他の装置からも当該他の装置によって撮像された画像についての情報を取得してもよい。
あるいは、例えば、レコーダ5105には、過去に撮像されたこれらの画像についての情報が視聴覚コントローラ5107によって記録されている。視聴覚コントローラ5107は、表示情報として、レコーダ5105から当該過去に撮像された画像についての情報を取得することができる。なお、レコーダ5105には、手術に関する各種の情報も事前に記録されていてもよい。
視聴覚コントローラ5107は、出力先の装置である表示装置5103A~5103Dの少なくともいずれかに、取得した表示情報(すなわち、手術中に撮影された画像や、手術に関する各種の情報)を表示させる。図示する例では、表示装置5103Aは手術室の天井から吊り下げられて設置される表示装置であり、表示装置5103Bは手術室の壁面に設置される表示装置であり、表示装置5103Cは手術室内の机上に設置される表示装置であり、表示装置5103Dは表示機能を有するモバイル機器(例えば、タブレットPC(Personal Computer))である。
また、図17では図示を省略しているが、手術室システム5100には、手術室の外部の装置が含まれてもよい。手術室の外部の装置は、例えば、病院内外に構築されたネットワークに接続されるサーバや、医療スタッフが用いるPC、病院の会議室に設置されるプロジェクタ等であり得る。このような外部装置が病院外にある場合には、視聴覚コントローラ5107は、遠隔医療のために、テレビ会議システム等を介して、他の病院の表示装置に表示情報を表示させることもできる。
手術室制御装置5109は、非医療機器における画像表示に関する処理以外の処理を、統括的に制御する。例えば、手術室制御装置5109は、患者ベッド5183、シーリングカメラ5187、術場カメラ5189及び照明5191の駆動を制御する。
手術室システム5100には、集中操作パネル5111が設けられており、ユーザは、当該集中操作パネル5111を介して、視聴覚コントローラ5107に対して画像表示についての指示を与えたり、手術室制御装置5109に対して非医療機器の動作についての指示を与えることができる。集中操作パネル5111は、表示装置の表示面上にタッチパネルが設けられて構成される。
図18は、集中操作パネル5111における操作画面の表示例を示す図である。図18では、一例として、手術室システム5100に、出力先の装置として、2つの表示装置が設けられている場合に対応する操作画面を示している。図18を参照すると、操作画面5193には、発信元選択領域5195と、プレビュー領域5197と、コントロール領域5201と、が設けられる。
発信元選択領域5195には、手術室システム5100に備えられる発信元装置と、当該発信元装置が有する表示情報を表すサムネイル画面と、が紐付けられて表示される。ユーザは、表示装置に表示させたい表示情報を、発信元選択領域5195に表示されているいずれかの発信元装置から選択することができる。
プレビュー領域5197には、出力先の装置である2つの表示装置(Monitor1、Monitor2)に表示される画面のプレビューが表示される。図示する例では、1つの表示装置において4つの画像がPinP表示されている。当該4つの画像は、発信元選択領域5195において選択された発信元装置から発信された表示情報に対応するものである。4つの画像のうち、1つはメイン画像として比較的大きく表示され、残りの3つはサブ画像として比較的小さく表示される。ユーザは、4つの画像が表示された領域を適宜選択することにより、メイン画像とサブ画像を入れ替えることができる。また、4つの画像が表示される領域の下部には、ステータス表示領域5199が設けられており、当該領域に手術に関するステータス(例えば、手術の経過時間や、患者の身体情報等)が適宜表示され得る。
コントロール領域5201には、発信元の装置に対して操作を行うためのGUI(Graphical User Interface)部品が表示される発信元操作領域5203と、出力先の装置に対して操作を行うためのGUI部品が表示される出力先操作領域5205と、が設けられる。図示する例では、発信元操作領域5203には、撮像機能を有する発信元の装置におけるカメラに対して各種の操作(パン、チルト及びズーム)を行うためのGUI部品が設けられている。ユーザは、これらのGUI部品を適宜選択することにより、発信元の装置におけるカメラの動作を操作することができる。なお、図示は省略しているが、発信元選択領域5195において選択されている発信元の装置がレコーダである場合(すなわち、プレビュー領域5197において、レコーダに過去に記録された画像が表示されている場合)には、発信元操作領域5203には、当該画像の再生、再生停止、巻き戻し、早送り等の操作を行うためのGUI部品が設けられ得る。
また、出力先操作領域5205には、出力先の装置である表示装置における表示に対する各種の操作(スワップ、フリップ、色調整、コントラスト調整、2D表示と3D表示の切り替え)を行うためのGUI部品が設けられている。ユーザは、これらのGUI部品を適宜選択することにより、表示装置における表示を操作することができる。
なお、集中操作パネル5111に表示される操作画面は図示する例に限定されず、ユーザは、集中操作パネル5111を介して、手術室システム5100に備えられる、視聴覚コントローラ5107及び手術室制御装置5109によって制御され得る各装置に対する操作入力が可能であってよい。
図19は、以上説明した手術室システムが適用された手術の様子の一例を示す図である。シーリングカメラ5187及び術場カメラ5189は、手術室の天井に設けられ、患者ベッド5183上の患者5185の患部に対して処置を行う術者(医者)5181の手元及び手術室全体の様子を撮影可能である。シーリングカメラ5187及び術場カメラ5189には、倍率調整機能、焦点距離調整機能、撮影方向調整機能等が設けられ得る。照明5191は、手術室の天井に設けられ、少なくとも術者5181の手元を照射する。照明5191は、その照射光量、照射光の波長(色)及び光の照射方向等を適宜調整可能であってよい。
内視鏡手術システム5113、患者ベッド5183、シーリングカメラ5187、術場カメラ5189及び照明5191は、図17に示すように、視聴覚コントローラ5107及び手術室制御装置5109(図19では図示せず)を介して互いに連携可能に接続されている。手術室内には、集中操作パネル5111が設けられており、上述したように、ユーザは、当該集中操作パネル5111を介して、手術室内に存在するこれらの装置を適宜操作することが可能である。
以下、内視鏡手術システム5113の構成について詳細に説明する。図示するように、内視鏡手術システム5113は、内視鏡5115と、その他の術具5131と、内視鏡5115を支持する支持アーム装置5141と、内視鏡下手術のための各種の装置が搭載されたカート5151と、から構成される。
内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ5139a~5139dと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ5139a~5139dから、内視鏡5115の鏡筒5117や、その他の術具5131が患者5185の体腔内に挿入される。図示する例では、その他の術具5131として、気腹チューブ5133、エネルギー処置具5135及び鉗子5137が、患者5185の体腔内に挿入されている。また、エネルギー処置具5135は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具5131はあくまで一例であり、術具5131としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。
内視鏡5115によって撮影された患者5185の体腔内の術部の画像が、表示装置5155に表示される。術者5181は、表示装置5155に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具5135や鉗子5137を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ5133、エネルギー処置具5135及び鉗子5137は、手術中に、術者5181又は助手等によって支持される。
(支持アーム装置)
支持アーム装置5141は、ベース部5143から延伸するアーム部5145を備える。図示する例では、アーム部5145は、関節部5147a、5147b、5147c、及びリンク5149a、5149bから構成されており、アーム制御装置5159からの制御により駆動される。アーム部5145によって内視鏡5115が支持され、その位置及び姿勢が制御される。これにより、内視鏡5115の安定的な位置の固定が実現され得る。
(内視鏡)
内視鏡5115は、先端から所定の長さの領域が患者5185の体腔内に挿入される鏡筒5117と、鏡筒5117の基端に接続されるカメラヘッド5119と、から構成される。図示する例では、硬性の鏡筒5117を有するいわゆる硬性鏡として構成される内視鏡5115を図示しているが、内視鏡5115は、軟性の鏡筒5117を有するいわゆる軟性鏡として構成されてもよい。
鏡筒5117の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡5115には光源装置5157が接続されており、当該光源装置5157によって生成された光が、鏡筒5117の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者5185の体腔内の観察対象に向かって照射される。なお、内視鏡5115は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
カメラヘッド5119の内部には光学系及び撮像素子が設けられており、観察対象からの反射光(観察光)は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、RAWデータとしてカメラコントロールユニット(CCU:Camera Control Unit)5153に送信される。なお、カメラヘッド5119には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。
なお、例えば立体視(3D表示)等に対応するために、カメラヘッド5119には撮像素子が複数設けられてもよい。この場合、鏡筒5117の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。
(カートに搭載される各種の装置)
CCU5153は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡5115及び表示装置5155の動作を統括的に制御する。具体的には、CCU5153は、カメラヘッド5119から受け取った画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。CCU5153は、当該画像処理を施した画像信号を表示装置5155に提供する。また、CCU5153には、図17に示す視聴覚コントローラ5107が接続される。CCU5153は、画像処理を施した画像信号を視聴覚コントローラ5107にも提供する。また、CCU5153は、カメラヘッド5119に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。当該撮像条件に関する情報は、入力装置5161を介して入力されてもよいし、上述した集中操作パネル5111を介して入力されてもよい。
表示装置5155は、CCU5153からの制御により、当該CCU5153によって画像処理が施された画像信号に基づく画像を表示する。内視鏡5115が例えば4K(水平画素数3840×垂直画素数2160)又は8K(水平画素数7680×垂直画素数4320)等の高解像度の撮影に対応したものである場合、及び/又は3D表示に対応したものである場合には、表示装置5155としては、それぞれに対応して、高解像度の表示が可能なもの、及び/又は3D表示可能なものが用いられ得る。4K又は8K等の高解像度の撮影に対応したものである場合、表示装置5155として55インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置5155が設けられてもよい。
光源装置5157は、例えばLED(light emitting diode)等の光源から構成され、術部を撮影する際の照射光を内視鏡5115に供給する。
アーム制御装置5159は、例えばCPU等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置5141のアーム部5145の駆動を制御する。
入力装置5161は、内視鏡手術システム5113に対する入力インタフェースである。ユーザは、入力装置5161を介して、内視鏡手術システム5113に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置5161を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置5161を介して、アーム部5145を駆動させる旨の指示や、内視鏡5115による撮像条件(照射光の種類、倍率及び焦点距離等)を変更する旨の指示、エネルギー処置具5135を駆動させる旨の指示等を入力する。
入力装置5161の種類は限定されず、入力装置5161は各種の公知の入力装置であってよい。入力装置5161としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ5171及び/又はレバー等が適用され得る。入力装置5161としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置5155の表示面上に設けられてもよい。
あるいは、入力装置5161は、例えばメガネ型のウェアラブルデバイスやHMD(Head Mounted Display)等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置5161は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置5161は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置5161が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ(例えば術者5181)が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
処置具制御装置5163は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具5135の駆動を制御する。気腹装置5165は、内視鏡5115による視野の確保及び術者の作業空間の確保の目的で、患者5185の体腔を膨らめるために、気腹チューブ5133を介して当該体腔内にガスを送り込む。レコーダ5167は、手術に関する各種の情報を記録可能な装置である。プリンタ5169は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
以下、内視鏡手術システム5113において特に特徴的な構成について、更に詳細に説明する。
(支持アーム装置)
支持アーム装置5141は、基台であるベース部5143と、ベース部5143から延伸するアーム部5145と、を備える。図示する例では、アーム部5145は、複数の関節部5147a、5147b、5147cと、関節部5147bによって連結される複数のリンク5149a、5149bと、から構成されているが、図19では、簡単のため、アーム部5145の構成を簡略化して図示している。実際には、アーム部5145が所望の自由度を有するように、関節部5147a~5147c及びリンク5149a、5149bの形状、数及び配置、並びに関節部5147a~5147cの回転軸の方向等が適宜設定され得る。例えば、アーム部5145は、好適に、6自由度以上の自由度を有するように構成され得る。これにより、アーム部5145の可動範囲内において内視鏡5115を自由に移動させることが可能になるため、所望の方向から内視鏡5115の鏡筒5117を患者5185の体腔内に挿入することが可能になる。
関節部5147a~5147cにはアクチュエータが設けられており、関節部5147a~5147cは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置5159によって制御されることにより、各関節部5147a~5147cの回転角度が制御され、アーム部5145の駆動が制御される。これにより、内視鏡5115の位置及び姿勢の制御が実現され得る。この際、アーム制御装置5159は、力制御又は位置制御等、各種の公知の制御方式によってアーム部5145の駆動を制御することができる。
例えば、術者5181が、入力装置5161(フットスイッチ5171を含む)を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置5159によってアーム部5145の駆動が適宜制御され、内視鏡5115の位置及び姿勢が制御されてよい。当該制御により、アーム部5145の先端の内視鏡5115を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部5145は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部5145は、手術室から離れた場所に設置される入力装置5161を介してユーザによって遠隔操作され得る。
また、力制御が適用される場合には、アーム制御装置5159は、ユーザからの外力を受け、その外力にならってスムーズにアーム部5145が移動するように、各関節部5147a~5147cのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部5145に触れながらアーム部5145を移動させる際に、比較的軽い力で当該アーム部5145を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡5115を移動させることが可能となり、ユーザの利便性を向上させることができる。
ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡5115が支持されていた。これに対して、支持アーム装置5141を用いることにより、人手によらずに内視鏡5115の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。
なお、アーム制御装置5159は必ずしもカート5151に設けられなくてもよい。また、アーム制御装置5159は必ずしも1つの装置でなくてもよい。例えば、アーム制御装置5159は、支持アーム装置5141のアーム部5145の各関節部5147a~5147cにそれぞれ設けられてもよく、複数のアーム制御装置5159が互いに協働することにより、アーム部5145の駆動制御が実現されてもよい。
(光源装置)
光源装置5157は、内視鏡5115に術部を撮影する際の照射光を供給する。光源装置5157は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、RGBレーザ光源の組み合わせにより白色光源が構成される場合には、各色(各波長)の出力強度及び出力タイミングを高精度に制御することができるため、光源装置5157において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド5119の撮像素子の駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
また、光源装置5157は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド5119の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
また、光源装置5157は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光(すなわち、白色光)に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察(Narrow Band Imaging)が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの(自家蛍光観察)、又はインドシアニングリーン(ICG)等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置5157は、このような特殊光観察に対応した狭帯域光及び/又は励起光を供給可能に構成され得る。
(カメラヘッド及びCCU)
図20を参照して、内視鏡5115のカメラヘッド5119及びCCU5153の機能についてより詳細に説明する。図20は、図19に示すカメラヘッド5119及びCCU5153の機能構成の一例を示すブロック図である。
図20を参照すると、カメラヘッド5119は、その機能として、レンズユニット5121と、撮像部5123と、駆動部5125と、通信部5127と、カメラヘッド制御部5129と、を有する。また、CCU5153は、その機能として、通信部5173と、画像処理部5175と、制御部5177と、を有する。カメラヘッド5119とCCU5153とは、伝送ケーブル5179によって双方向に通信可能に接続されている。
まず、カメラヘッド5119の機能構成について説明する。レンズユニット5121は、鏡筒5117との接続部に設けられる光学系である。鏡筒5117の先端から取り込まれた観察光は、カメラヘッド5119まで導光され、当該レンズユニット5121に入射する。レンズユニット5121は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット5121は、撮像部5123の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。
撮像部5123は撮像素子によって構成され、レンズユニット5121の後段に配置される。レンズユニット5121を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部5123によって生成された画像信号は、通信部5127に提供される。
撮像部5123を構成する撮像素子としては、例えばCMOS(Complementary Metal Oxide Semiconductor)タイプのイメージセンサであり、Bayer配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば4K以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者5181は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。
また、撮像部5123を構成する撮像素子は、3D表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための1対の撮像素子を有するように構成される。3D表示が行われることにより、術者5181は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部5123が多板式で構成される場合には、各撮像素子に対応して、レンズユニット5121も複数系統設けられる。
また、撮像部5123は、必ずしもカメラヘッド5119に設けられなくてもよい。例えば、撮像部5123は、鏡筒5117の内部に、対物レンズの直後に設けられてもよい。
駆動部5125は、アクチュエータによって構成され、カメラヘッド制御部5129からの制御により、レンズユニット5121のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部5123による撮像画像の倍率及び焦点が適宜調整され得る。
通信部5127は、CCU5153との間で各種の情報を送受信するための通信装置によって構成される。通信部5127は、撮像部5123から得た画像信号をRAWデータとして伝送ケーブル5179を介してCCU5153に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者5181が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部5127には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル5179を介してCCU5153に送信される。
また、通信部5127は、CCU5153から、カメラヘッド5119の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに/又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部5127は、受信した制御信号をカメラヘッド制御部5129に提供する。なお、CCU5153からの制御信号も、光通信によって伝送されてもよい。この場合、通信部5127には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部5129に提供される。
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてCCU5153の制御部5177によって自動的に設定される。つまり、いわゆるAE(Auto Exposure)機能、AF(Auto Focus)機能及びAWB(Auto White Balance)機能が内視鏡5115に搭載される。
カメラヘッド制御部5129は、通信部5127を介して受信したCCU5153からの制御信号に基づいて、カメラヘッド5119の駆動を制御する。例えば、カメラヘッド制御部5129は、撮像画像のフレームレートを指定する旨の情報及び/又は撮像時の露光を指定する旨の情報に基づいて、撮像部5123の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部5129は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部5125を介してレンズユニット5121のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部5129は、更に、鏡筒5117やカメラヘッド5119を識別するための情報を記憶する機能を備えてもよい。
なお、レンズユニット5121や撮像部5123等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド5119について、オートクレーブ滅菌処理に対する耐性を持たせることができる。
次に、CCU5153の機能構成について説明する。通信部5173は、カメラヘッド5119との間で各種の情報を送受信するための通信装置によって構成される。通信部5173は、カメラヘッド5119から、伝送ケーブル5179を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部5173には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部5173は、電気信号に変換した画像信号を画像処理部5175に提供する。
また、通信部5173は、カメラヘッド5119に対して、カメラヘッド5119の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。
画像処理部5175は、カメラヘッド5119から送信されたRAWデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理(帯域強調処理、超解像処理、NR(Noise reduction)処理及び/又は手ブレ補正処理等)、並びに/又は拡大処理(電子ズーム処理)等、各種の公知の信号処理が含まれる。また、画像処理部5175は、AE、AF及びAWBを行うための、画像信号に対する検波処理を行う。
画像処理部5175は、CPUやGPU等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部5175が複数のGPUによって構成される場合には、画像処理部5175は、画像信号に係る情報を適宜分割し、これら複数のGPUによって並列的に画像処理を行う。
制御部5177は、内視鏡5115による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部5177は、カメラヘッド5119の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部5177は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡5115にAE機能、AF機能及びAWB機能が搭載されている場合には、制御部5177は、画像処理部5175による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。
また、制御部5177は、画像処理部5175によって画像処理が施された画像信号に基づいて、術部の画像を表示装置5155に表示させる。この際、制御部5177は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部5177は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具5135使用時のミスト等を認識することができる。制御部5177は、表示装置5155に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者5181に提示されることにより、より安全かつ確実に手術を進めることが可能になる。
カメラヘッド5119及びCCU5153を接続する伝送ケーブル5179は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
ここで、図示する例では、伝送ケーブル5179を用いて有線で通信が行われていたが、カメラヘッド5119とCCU5153との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル5179を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル5179によって妨げられる事態が解消され得る。
以上、本開示に係る技術が適用され得る手術室システム5100の一例について説明した。なお、ここでは、一例として手術室システム5100が適用される医療用システムが内視鏡手術システム5113である場合について説明したが、手術室システム5100の構成はかかる例に限定されない。例えば、手術室システム5100は、内視鏡手術システム5113に代えて、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。
本開示に係る技術は、以上説明した構成のうち、内視鏡によって撮像された患者の体腔内の術部の画像のトーン調整に好適に適用され得る。具体的には、診断領域(消化器、循環器など)の特性に応じて最適なパラメータを設定することによって、診断領域毎に最適なトーンの画像を得ることができ、観察精度の向上を図ることができる。
また、本開示に係る技術は、内視鏡のメーカ、機種による特性の違いに対して、ユーザが意図するトーンを設定する場合に用いられる。
以上のトーンコントロールは、ユーザがマニュアル操作で行われてもよいし、自動で行われてもよい。
なお、本技術は以下のような構成もとることができる。
(1)リニア特性 を有する入力映像信号に対してトーン調整のためのトーン・カーブ特性を付与するトーンコントロール部を含む第1の処理回路部と、
前記第1の処理回路部によって処理された映像信号に対して第1の出力用のカーブ特性を付与して第1の出力映像信号を生成する第1のカーブ特性付与部を含む第2の処理回路部と
を具備する映像信号処理装置。
(2)上記(1)に記載の映像信号処理装置であって、
前記第2の処理回路部は、
前記第1の処理回路部によって処理された映像信号に対して第2の出力用のカーブ特性を付与して第2の出力映像信号を生成する第2のカーブ特性付与部をさらに含む
映像信号処理装置。
(3)上記(2)に記載の映像信号処理装置であって、
前記第1の出力用のカーブ特性がOETF(Optical-Electro Transfer Function)変換のためのカーブ特性およびディスプレイガンマ処理のためのカーブ特性のいずれか一方であり、
前記第2の出力用のカーブ特性がその他方である
映像信号処理装置。
(4)上記(1)から(3)のいずれかに記載の映像信号処理装置であって、
前記トーンコントロール部は、
設定情報に基づき前記トーン調整用のトーン・カーブ特性を作成する
映像信号処理装置。
(5)上記(4)に記載の映像信号処理装置であって、
前記設定情報が、トーン・カーブ特性が与えられる入力信号レベルの範囲の中心を定義するパラメータを含む
映像信号処理装置。
(6)上記(4)に記載の映像信号処理装置であって、
前記設定情報が、トーン・カーブ特性が与えられる入力信号レベルの範囲を定義するパラメータを含む
映像信号処理装置。
(7)上記(4)に記載の映像信号処理装置であって、
前記設定情報が、トーン・カーブ特性のカーブ形状を定義するパラメータを含む
映像信号処理装置。
(8)上記(4)に記載の映像信号処理装置であって、
前記設定情報が、トーン・カーブ特性が与えられる入力信号レベルの範囲の中心における出力信号レベルの変動量を定義するパラメータを含む
映像信号処理装置。
(9)上記(4)から(8)のいずれかに記載の映像信号処理装置であって、
前記トーンコントロール部は、
前記設定情報に基づき色成分毎の係数をそれぞれ作成し、これら色成分毎の係数と色成分毎に任意に与えられたゲイン調整値とに基づき前記トーン・カーブ特性を作成する
映像信号処理装置。
(10)上記(4)から(8)のいずれかに記載の映像信号処理装置であって、
前記トーンコントロール部は、
前記設定情報に基づき複数の色成分に共通の係数を作成し、この係数と色成分毎に任意に与えられたゲイン調整値とに基づき前記トーン・カーブ特性を作成する
映像信号処理装置。
(11)上記(4)から(8)のいずれかに記載の映像信号処理装置であって、
前記トーンコントロール部は、
前記設定情報に基づき色成分毎の係数をそれぞれ作成し、これら色成分毎の係数と色成分毎に任意に与えられたゲイン調整値とに基づき前記トーン・カーブ特性を作成する第1のトーンコントロール機能と、
前記設定情報に基づき複数の色成分に共通の係数を作成し、この係数と色成分毎に任意に与えられたゲイン調整値とに基づき前記トーン・カーブ特性を作成する第2のトーンコントロール機能とで、
実行させるトーンコントロール機能を切り替え可能に構成された
映像信号処理装置。
(12)上記(1)から(11)のいずれかに記載の映像信号処理装置であって、
前記第1の処理回路部は、
撮像素子により生成された信号に対して補正および色バランス調整を行う補正/色バランス調整部をさらに具備し、前記トーンコントロール部は、前記補正/色バランス調整回路より出力された信号を前記入力映像信号として処理する
映像信号処理装置。
(13)上記(1)から(12)のいずれかに記載の映像信号処理装置であって、
前記第2の処理回路部は、
少なくとも、前記トーン・カーブ特性が付与された映像信号に対してマトリクス処理を行ってカラー画像データを生成するマトリクス処理部と、前記生成されたカラー画像データのディテール処理およびニー処理を行うディテール・ニー処理部とを含み、前記第1のカーブ特性付与部は、前記ディテール・ニー処理部より出力されたカラー画像データに対して前記出力用のカーブ特性を付与する
映像信号処理装置。
(14)上記(1)から(12)のいずれかに記載の映像信号処理装置であって、
前記第2の処理回路部は、
少なくとも、前記トーン・カーブ特性が付与された映像信号に対してマトリクス処理を行って第1の解像度の第1のカラー画像データを生成する第1のマトリクス処理部と、前記第1のカラー画像データのディテール処理およびニー処理を行う第1のディテール・ニー処理部と、前記トーン・カーブ特性が付与された映像信号に対してマトリクス処理を行って第2の解像度の第2のカラー画像データを生成する第2のマトリクス処理部と、前記生成された第2のカラー画像データのディテール処理およびニー処理を行う第2のディテール・ニー処理部とを含み、
前記第1のカーブ特性付与部は、前記第1のディテール・ニー処理部より出力された前記第1のカラー画像データに対して前記第1の出力用のカーブ特性を付与し、
前記第2のカーブ特性付与部は、前記第2のディテール・ニー処理部より出力された前記第2のカラー画像データに対して前記第2の出力用のカーブ特性を付与する
映像信号処理装置。
(15)上記(1)から(14)のいずれかに記載の映像信号処理装置であって、
前記第1のカラー画像データがHDR(High Dynamic Range)ビデオであり、
前記第2のカラー画像データがSDR(Standard Dynamic Range)ビデオである
映像信号処理装置。
(16)リニア特性を有する入力映像信号を生成する撮像部と、
前記入力映像信号に対してトーン調整のためのトーン・カーブ特性を付与するトーンコントロール部を含む第1の処理回路部と、
第1の出力用のカーブ特性を付与して第1の出力映像信号を生成する第1のカーブ特性付与部を含む第2の処理回路部と
を具備する撮像装置。
(17)上記(16)に記載の撮像装置であって、
前記第2の処理回路部は、
前記第1の処理回路部によって処理された映像信号に対して第2の出力用のカーブ特性を付与して第2の出力映像信号を生成する第2のカーブ特性付与部をさらに含む
撮像装置。
(18)上記(17)に記載の撮像装置であって、
前記第1の出力用のカーブ特性がOETF(Optical-Electro Transfer Function)変換のためのカーブ特性およびディスプレイガンマ処理のためのカーブ特性のいずれか一方であり、
前記第2の出力用のカーブ特性がその他方である
撮像装置。
(19)上記(16)から(18)のいずれかに記載の撮像装置であって、
前記トーンコントロール部は、
前記トーンコントロール部は、
設定情報に基づき前記トーン調整用のトーン・カーブ特性を作成する
撮像装置。
(20)上記(19)に記載の撮像装置であって、
前記設定情報が、トーン・カーブ特性が与えられる入力信号レベルの範囲の中心を定義するパラメータを含む
撮像装置。
(21)上記(19)に記載の撮像装置であって、
前記設定情報が、トーン・カーブ特性が与えられる入力信号レベルの範囲を定義するパラメータを含む
撮像装置。
(22)上記(19)に記載の撮像装置であって、
前記設定情報が、トーン・カーブ特性のカーブ形状を定義するパラメータを含む
撮像装置。
(23)上記(19)に記載の撮像装置であって、
前記設定情報が、トーン・カーブ特性が与えられる入力信号レベルの範囲の中心における出力信号レベルの変動量を定義するパラメータを含む
撮像装置。
(24)上記(19)から(23)のいずれかに記載の撮像装置であって、
前記トーンコントロール部は、
前記設定情報に基づき色成分毎の係数をそれぞれ作成し、これら色成分毎の係数と色成分毎に任意に与えられたゲイン調整値とに基づき前記トーン・カーブ特性を作成する
撮像装置。
(25)上記(19)から(23)のいずれかに記載の撮像装置であって、
前記トーンコントロール部は、
前記設定情報に基づき複数の色成分に共通の係数を作成し、この係数と色成分毎に任意に与えられたゲイン調整値とに基づき前記トーン・カーブ特性を作成する
撮像装置。
(26)上記(19)から(23)のいずれかに記載の撮像装置であって、
前記トーンコントロール部は、
前記設定情報に基づき色成分毎の係数をそれぞれ作成し、これら色成分毎の係数と色成分毎に任意に与えられたゲイン調整値とに基づき前記トーン・カーブ特性を作成する第1のトーンコントロール機能と、
前記設定情報に基づき複数の色成分に共通の係数を作成し、この係数と色成分毎に任意に与えられたゲイン調整値とに基づき前記トーン・カーブ特性を作成する第2のトーンコントロール機能とで、
実行させるトーンコントロール機能を切り替え可能に構成された
撮像装置。
(27)上記(19)から(23)のいずれかに記載の撮像装置であって、
前記第1の処理回路部は、
撮像素子により生成された信号に対して補正および色バランス調整を行う補正/色バランス調整部をさらに具備し、前記トーンコントロール部は、前記補正/色バランス調整回路より出力された信号を前記入力映像信号として処理する
撮像装置。
(28)上記(16)から(27)のいずれかに記載の撮像装置であって、
前記第2の処理回路部は、
少なくとも、前記トーン・カーブ特性が付与された映像信号に対してマトリクス処理を行ってカラー画像データを生成するマトリクス処理部と、前記生成されたカラー画像データのディテール処理およびニー処理を行うディテール・ニー処理部とを含み、前記第1のカーブ特性付与部は、前記ディテール・ニー処理部より出力されたカラー画像データに対して前記出力用のカーブ特性を付与する
撮像装置。
(29)上記(16)から(28)のいずれかに記載の撮像装置であって、
前記第2の処理回路部は、
少なくとも、前記トーン・カーブ特性が付与された映像信号に対してマトリクス処理を行って第1の解像度の第1のカラー画像データを生成する第1のマトリクス処理部と、前記第1のカラー画像データのディテール処理およびニー処理を行う第1のディテール・ニー処理部と、前記トーン・カーブ特性が付与された映像信号に対してマトリクス処理を行って第2の解像度の第2のカラー画像データを生成する第2のマトリクス処理部と、前記生成された第2のカラー画像データのディテール処理およびニー処理を行う第2のディテール・ニー処理部とを含み、
前記第1のカーブ特性付与部は、前記第1のディテール・ニー処理部より出力された前記第1のカラー画像データに対して前記第1の出力用のカーブ特性を付与し、
前記第2のカーブ特性付与部は、前記第2のディテール・ニー処理部より出力された前記第2のカラー画像データに対して前記第2の出力用のカーブ特性を付与する
撮像装置。
(30)上記(16)から(29)のいずれかに記載の撮像装置であって、
前記第1のカラー画像データがHDR(High Dynamic Range)ビデオであり、
前記第2のカラー画像データがSDR(Standard Dynamic Range)ビデオである
撮像装置。
(31)第1の処理回路部が、リニア特性を有する入力映像信号に対してトーン調整のためのトーン・カーブ特性を付与し、
第2の処理回路部が、前記第1の処理回路部によって処理された映像信号に対して第1の出力用のカーブ特性を付与して第1の出力映像信号を生成する
映像信号処理方法。
(32)上記(31)に記載の映像信号処理方法であって、
前記第2の処理回路部が、
前記第1の処理回路部によって処理された映像信号に対して第2の出力用のカーブ特性を付与して第2の出力映像信号を生成する
映像信号処理方法。
(33)上記(32)に記載の映像信号処理方法であって、
前記第1の出力用のカーブ特性がOETF(Optical-Electro Transfer Function)変換のためのカーブ特性およびディスプレイガンマ処理のためのカーブ特性のいずれか一方であり、
前記第2の出力用のカーブ特性がその他方である
映像信号処理方法。
(34)上記(31)から(33)のいずれかに記載の映像信号処理方法であって、
前記第1の処理回路部は、
設定情報に基づき前記トーン調整用のトーン・カーブ特性を作成する
映像信号処理方法。
(35)上記(34)に記載の映像信号処理方法であって、
前記設定情報が、トーン・カーブ特性が与えられる入力信号レベルの範囲の中心を定義するパラメータを含む
映像信号処理方法。
(36)上記(34)に記載の映像信号処理方法であって、
前記設定情報が、トーン・カーブ特性が与えられる入力信号レベルの範囲を定義するパラメータを含む
映像信号処理方法。
(37)上記(34)に記載の映像信号処理方法であって、
前記設定情報が、トーン・カーブ特性のカーブ形状を定義するパラメータを含む
映像信号処理方法。
(38)上記(34)に記載の映像信号処理方法であって、
前記設定情報が、トーン・カーブ特性が与えられる入力信号レベルの範囲の中心における出力信号レベルの変動量を定義するパラメータを含む
映像信号処理方法。
(39)上記(34)から(38)のいずれかに記載の映像信号処理方法であって、
前記第1の処理回路部は、
前記設定情報に基づき色成分毎の係数をそれぞれ作成し、これら色成分毎の係数と色成分毎に任意に与えられたゲイン調整値とに基づき前記トーン・カーブ特性を作成する
映像信号処理方法。
(40)上記(34)から(38)のいずれかに記載の映像信号処理方法であって、
前記第1の処理回路部は、
前記設定情報に基づき複数の色成分に共通の係数を作成し、この係数と色成分毎に任意に与えられたゲイン調整値とに基づき前記トーン・カーブ特性を作成する
映像信号処理方法。
(41)上記(34)から(38)のいずれかに記載の映像信号処理方法であって、
前記第1の処理回路部は、
前記設定情報に基づき色成分毎の係数をそれぞれ作成し、これら色成分毎の係数と色成分毎に任意に与えられたゲイン調整値とに基づき前記トーン・カーブ特性を作成する第1のトーンコントロール機能と、
前記設定情報に基づき複数の色成分に共通の係数を作成し、この係数と色成分毎に任意に与えられたゲイン調整値とに基づき前記トーン・カーブ特性を作成する第2のトーンコントロール機能とで、
実行させるトーンコントロール機能を切り替える
映像信号処理方法。
(42)上記(31)から(41)のいずれかに記載の映像信号処理方法であって、
前記第1の処理回路部は、
撮像素子により生成された信号に対して補正および色バランス調整を行い、この結果得た信号を前記入力映像信号として処理する
映像信号処理方法。
(43)上記(31)から(42)のいずれかに記載の映像信号処理方法であって、
前記第2の処理回路部は、
少なくとも、前記トーン・カーブ特性が付与された映像信号に対してマトリクス処理を行ってカラー画像データを生成し、前記生成されたカラー画像データのディテール処理およびニー処理を行い、この結果得たカラー画像データに対して前記出力用のカーブ特性を付与する
映像信号処理方法。
(44)上記(31)から(42)のいずれかに記載の映像信号処理装置であって、
前記第2の処理回路部は、
少なくとも、前記トーン・カーブ特性が付与された映像信号に対してマトリクス処理を行って第1の解像度の第1のカラー画像データを生成し、前記第1のカラー画像データのディテール処理およびニー処理を行った後、前記第1のカラー画像データに対して前記第1の出力用のカーブ特性を付与し、
一方、前記トーン・カーブ特性が付与された映像信号に対してマトリクス処理を行って第2の解像度の第2のカラー画像データを生成し、前記生成された第2のカラー画像データのディテール処理およびニー処理を行った後、前記第2のカラー画像データに対して前記第2の出力用のカーブ特性を付与する
映像信号処理方法。
(45)上記(31)から(44)のいずれかに記載の映像信号処理方法であって、
前記第1のカラー画像データがHDR(High Dynamic Range)ビデオであり、
前記第2のカラー画像データがSDR(Standard Dynamic Range)ビデオである
映像信号処理方法。
A…HDRプロセス部
B…SDRプロセス部
1…撮像装置
11…光学系
12…撮像部
20…映像信号処理部
21…プリプロセッサ
22…RGBゲイン調整部
23…トーンコントロール部
24…マトリクス処理部
25…ディテール・ニー処理部
26…カーブ特性付与部
28…CPU

Claims (15)

  1. リニア特性を有する入力映像信号に対してトーン調整のためのトーン・カーブ特性を付与するトーンコントロール部を含む第1の処理回路部と、
    前記第1の処理回路部によって処理された映像信号に対して第1の出力用のカーブ特性を付与して第1の出力映像信号を生成する第1のカーブ特性付与部を含む第2の処理回路部とを具備し、
    前記トーンコントロール部は、設定情報に基づき色成分毎の係数または複数の色成分に共通の係数のいずれかを作成し、作成された色成分毎の係数または共通の係数と、色成分毎に任意に与えられたゲイン調整値とに基づき前記トーン・カーブ特性を作成する
    映像信号処理装置。
  2. 請求項1に記載の映像信号処理装置であって、
    前記設定情報が、トーン・カーブ特性が与えられる入力信号レベルの範囲の中心を定義するパラメータを含む
    映像信号処理装置。
  3. 請求項1に記載の映像信号処理装置であって、
    前記設定情報が、トーン・カーブ特性が与えられる入力信号レベルの範囲を定義するパラメータを含む
    映像信号処理装置。
  4. 請求項1に記載の映像信号処理装置であって、
    前記設定情報が、トーン・カーブ特性のカーブ形状を定義するパラメータを含む
    映像信号処理装置。
  5. 請求項1に記載の映像信号処理装置であって、
    前記設定情報が、トーン・カーブ特性が与えられる入力信号レベルの範囲の中心における出力信号レベルの変動量を定義するパラメータを含む
    映像信号処理装置。
  6. 請求項1に記載の映像信号処理装置であって、
    前記第2の処理回路部は、前記第1の処理回路部によって処理された映像信号に対して第2の出力用のカーブ特性を付与して第2の出力映像信号を生成する第2のカーブ特性付与部をさらに含む
    映像信号処理装置。
  7. 請求項6に記載の映像信号処理装置であって、
    前記第1の出力用のカーブ特性がOETF(Optical-Electro Transfer Function)変換のためのカーブ特性およびディスプレイガンマ処理のためのカーブ特性のいずれか一方であり、
    前記第2の出力用のカーブ特性がその他方である
    映像信号処理装置。
  8. 請求項1に記載の映像信号処理装置であって、
    前記第1の処理回路部は、撮像素子により生成された信号に対して補正および色バランス調整を行う補正/色バランス調整部をさらに具備し、
    前記トーンコントロール部は、前記補正/色バランス調整より出力された信号を前記入力映像信号として処理する
    映像信号処理装置。
  9. 請求項1に記載の映像信号処理装置であって、
    前記第2の処理回路部は、少なくとも、前記トーン・カーブ特性が付与された映像信号に対してマトリクス処理を行ってカラー画像データを生成するマトリクス処理部と、
    前記生成されたカラー画像データのディテール処理およびニー処理を行うディテール・ニー処理部とを含み、
    前記第1のカーブ特性付与部は、前記ディテール・ニー処理部より出力されたカラー画像データに対して出力用のカーブ特性を付与する
    映像信号処理装置。
  10. 請求項6に記載の映像信号処理装置であって、
    前記第2の処理回路部は、少なくとも、前記トーン・カーブ特性が付与された映像信号に対してマトリクス処理を行って第1の解像度の第1のカラー画像データを生成する第1のマトリクス処理部と、前記第1のカラー画像データのディテール処理およびニー処理を行う第1のディテール・ニー処理部と、前記トーン・カーブ特性が付与された映像信号に対してマトリクス処理を行って第2の解像度の第2のカラー画像データを生成する第2のマトリクス処理部と、前記生成された第2のカラー画像データのディテール処理およびニー処理を行う第2のディテール・ニー処理部とを含み、
    前記第1のカーブ特性付与部は、前記第1のディテール・ニー処理部より出力された前記第1のカラー画像データに対して前記第1の出力用のカーブ特性を付与し、
    前記第2のカーブ特性付与部は、前記第2のディテール・ニー処理部より出力された前記第2のカラー画像データに対して前記第2の出力用のカーブ特性を付与する
    映像信号処理装置。
  11. 請求項10に記載の映像信号処理装置であって、
    前記第1のカラー画像データがHDR(High Dynamic Range)ビデオであり、前記第2のカラー画像データがSDR(Standard Dynamic Range)ビデオである
    映像信号処理装置。
  12. 請求項1に記載の映像信号処理装置であって、
    前記トーンコントロール部は、設定情報に基づき色成分毎の係数をそれぞれ作成し、これら色成分毎の係数と色成分毎に任意に与えられたゲイン調整値とに基づき前記トーン・カーブ特性を作成する第1のトーンコントロール機能と、設定情報に基づき複数の色成分に共通の係数を作成し、これらの係数と色成分毎に任意に与えられたゲイン調整値とに基づき前記トーン ・カーブ特性を作成する第2のトーンコントロール機能とで、実行させるトーンコントロール機能を切り替え可能に構成された
    映像信号処理装置。
  13. リニア特性を有する入力映像信号を生成する撮像部と、
    前記入力映像信号に対してトーン調整のためのトーン・カーブ特性を付与するトーンコントロール部を含む第1の処理回路部と、
    第1の出力用のカーブ特性を付与して第1の出力映像信号を生成する第1のカーブ特性付与部を含む第2の処理回路部とを具備し、
    前記トーンコントロール部は、設定情報に基づき色成分毎の係数または複数の色成分に共通の係数のいずれかを作成し、作成された色成分毎の係数または共通の係数と、色成分毎に任意に与えられたゲイン調整値とに基づき前記トーン・カーブ特性を作成する
    撮像装置。
  14. 請求項13に記載の撮像装置であって、
    前記トーンコントロール部は、設定情報に基づき色成分毎の係数をそれぞれ作成し、これら色成分毎の係数と色成分毎に任意に与えられたゲイン調整値とに基づき前記トーン・カーブ特性を作成する第1のトーンコントロール機能と、設定情報に基づき複数の色成分に共通の係数を作成し、これらの係数と色成分毎に任意に与えられたゲイン調整値とに基づき前記トーン ・カーブ特性を作成する第2のトーンコントロール機能とで、実行させるトーンコントロール機能を切り替え可能に構成された
    撮像装置。
  15. 第1の処理回路部が、設定情報に基づき色成分毎の係数または複数の色成分に共通の係数のいずれかを作成し、作成された色成分毎の係数または共通の係数と、色成分毎に任意に与えられたゲイン調整値とに基づきトーン・カーブ特性を作成し、リニア特性を有する入力映像信号に対して前記トーン・カーブ特性を付与し、
    第2の処理回路部が、前記第1の処理回路部によって処理された映像信号に対して第1の出力用のカーブ特性を付与して第1の出力映像信号を生成する
    映像信号処理方法。
JP2020502889A 2018-03-02 2019-02-04 映像信号処理装置、映像信号処理方法および撮像装置 Active JP7235035B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018037906 2018-03-02
JP2018037906 2018-03-02
PCT/JP2019/003806 WO2019167555A1 (ja) 2018-03-02 2019-02-04 映像信号処理装置、映像信号処理方法および撮像装置

Publications (2)

Publication Number Publication Date
JPWO2019167555A1 JPWO2019167555A1 (ja) 2021-02-25
JP7235035B2 true JP7235035B2 (ja) 2023-03-08

Family

ID=67805269

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020502889A Active JP7235035B2 (ja) 2018-03-02 2019-02-04 映像信号処理装置、映像信号処理方法および撮像装置

Country Status (4)

Country Link
US (2) US11394942B2 (ja)
EP (1) EP3761637B1 (ja)
JP (1) JP7235035B2 (ja)
WO (1) WO2019167555A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4057270A4 (en) * 2019-11-07 2022-12-28 Sony Group Corporation IMAGE PROCESSING SYSTEM, INFORMATION PROCESSING DEVICE, IMAGING DEVICE AND IMAGE PROCESSING DEVICE
US11902669B1 (en) * 2022-09-09 2024-02-13 Gopro, Inc. Adaptive acquisition control

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016197861A (ja) 2014-05-16 2016-11-24 パナソニックIpマネジメント株式会社 変換方法および変換装置
JP2016225965A (ja) 2015-05-26 2016-12-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 表示方法および表示装置
JP2018007246A (ja) 2016-06-27 2018-01-11 ソニー株式会社 信号処理装置、信号処理方法、カメラシステム、ビデオシステムおよびサーバ
JP2018014766A (ja) 2017-10-25 2018-01-25 ソニー株式会社 撮像システムおよび撮像方法
JP2018033164A (ja) 2017-10-25 2018-03-01 ソニー株式会社 カメラシステム、ビデオ処理方法およびプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015154307A (ja) 2014-02-17 2015-08-24 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
US10116938B2 (en) * 2015-07-22 2018-10-30 Arris Enterprises Llc System for coding high dynamic range and wide color gamut sequences
MX364488B (es) * 2015-12-17 2019-04-29 Koninklijke Philips Nv Codificación de intervalo dinámico para imágenes y video.

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016197861A (ja) 2014-05-16 2016-11-24 パナソニックIpマネジメント株式会社 変換方法および変換装置
JP2016225965A (ja) 2015-05-26 2016-12-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 表示方法および表示装置
JP2018007246A (ja) 2016-06-27 2018-01-11 ソニー株式会社 信号処理装置、信号処理方法、カメラシステム、ビデオシステムおよびサーバ
JP2018014766A (ja) 2017-10-25 2018-01-25 ソニー株式会社 撮像システムおよび撮像方法
JP2018033164A (ja) 2017-10-25 2018-03-01 ソニー株式会社 カメラシステム、ビデオ処理方法およびプログラム

Also Published As

Publication number Publication date
JPWO2019167555A1 (ja) 2021-02-25
US20220311983A1 (en) 2022-09-29
WO2019167555A1 (ja) 2019-09-06
US11729519B2 (en) 2023-08-15
US11394942B2 (en) 2022-07-19
EP3761637B1 (en) 2023-06-28
US20210014466A1 (en) 2021-01-14
EP3761637A4 (en) 2021-03-31
EP3761637A1 (en) 2021-01-06

Similar Documents

Publication Publication Date Title
CN109565563B (zh) 多相机系统、信息处理装置以及非暂态计算机可读介质
US11729519B2 (en) Video signal processing apparatus, video signal processing method, and image-capturing apparatus
KR20190109406A (ko) 영상 신호 처리 장치, 영상 신호 처리 방법, 및 다이나믹 레인지 압축용 프로그램
JP7230807B2 (ja) 信号処理装置、撮像装置、信号処理方法及びプログラム
WO2019187502A1 (ja) 画像処理装置と画像処理方法およびプログラム
JP7188083B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JPWO2019239942A1 (ja) 手術用観察装置、手術用観察方法、手術用光源装置、及び手術用の光照射方法
CN108353144B (zh) 多摄像机系统、摄像机、摄像机处理方法、确认设备和确认设备处理方法
JP7264051B2 (ja) 画像処理装置および画像処理方法
JP7420137B2 (ja) 信号処理装置、撮像装置、信号処理方法
WO2020213296A1 (ja) 信号処理装置、信号処理方法、プログラム及び指向性可変用システム
US11729493B2 (en) Image capture apparatus and image capture method
JP7135869B2 (ja) 発光制御装置、発光制御方法、プログラム、発光装置、および撮像装置
JP7136093B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP7092111B2 (ja) 撮像装置、映像信号処理装置および映像信号処理方法
WO2020203265A1 (ja) 映像信号処理装置、映像信号処理方法および撮像装置
WO2021181937A1 (ja) 撮像装置と撮像制御方法およびプログラム
WO2022004250A1 (ja) 医療システム、情報処理装置及び情報処理方法
WO2020241050A1 (ja) 音声処理装置、音声処理方法およびプログラム
US11394759B2 (en) Communication system and control apparatus
WO2020084999A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211216

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20211216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230206

R151 Written notification of patent or utility model registration

Ref document number: 7235035

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151