JPWO2018168578A1 - 撮像装置、映像信号処理装置および映像信号処理方法 - Google Patents

撮像装置、映像信号処理装置および映像信号処理方法 Download PDF

Info

Publication number
JPWO2018168578A1
JPWO2018168578A1 JP2019505907A JP2019505907A JPWO2018168578A1 JP WO2018168578 A1 JPWO2018168578 A1 JP WO2018168578A1 JP 2019505907 A JP2019505907 A JP 2019505907A JP 2019505907 A JP2019505907 A JP 2019505907A JP WO2018168578 A1 JPWO2018168578 A1 JP WO2018168578A1
Authority
JP
Japan
Prior art keywords
video signal
processing unit
signal processing
divided areas
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019505907A
Other languages
English (en)
Other versions
JP7092111B2 (ja
Inventor
浩二 神谷
浩二 神谷
幸裕 木下
幸裕 木下
康貴 中島
康貴 中島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2018168578A1 publication Critical patent/JPWO2018168578A1/ja
Application granted granted Critical
Publication of JP7092111B2 publication Critical patent/JP7092111B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/815Camera processing pipelines; Components thereof for controlling the resolution by using a single image
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/02Viewfinders
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/18Signals indicating condition of a camera member or suitability of light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes

Abstract

この撮像装置は、撮像素子を有する撮像部と、撮像部により得られた画素信号から第1の解像度の第1の映像信号を生成する第1の映像信号処理部と、第1の映像信号処理部により生成された第1の映像信号を空間的に区分する複数の分割エリアを設定し、個々の分割エリア毎に、第1の映像信号から対応する分割エリアのサイズ未満の領域の前記第1の映像信号をブロックとして切り出し、互いに繋ぎ合せることによって、第1の解像度より低い第2の解像度の第2の映像信号を生成する第2の映像信号処理部と、第2の映像信号を表示するビューファインダーと、を具備する。

Description

本技術は、ビデオカメラなどの撮像装置、撮像装置などに用いられる映像信号処理装置および映像信号処理方法に関する。
ビデオカメラの撮像画素数が増大してきている。近年では、4K(3840×2160)の撮像画素数を有するカメラも多い。このようにビデオカメラの撮像画素数が増大すると、フォーカス調整に高い精度が要求される。そこで、撮像した映像の一部を拡大してビューファインダーに表示することによって、ユーザによるフォーカス調整の精度向上を図る技術がある(特許文献1参照)。
特開2007−336257号公報
しかしながら、ビューファインダーに表示された局所的な映像をユーザが見ながらのフォーカス調整は実用的に不十分な点があり、その解決が求められている。
本技術の目的は、ビューファインダーの表示映像を視認しながらのフォーカス調整を良好に行うことのできる撮像装置、映像信号処理装置および映像信号処理方法に関する。
上記の課題を解決するために、本技術に係る第1の形態である撮像装置は、
撮像素子を有する撮像部と、
前記撮像部により得られた画素信号から第1の解像度の第1の映像信号を生成する第1の映像信号処理部と、
前記第1の映像信号処理部により生成された前記第1の映像信号を空間的に区分する複数の分割エリアを設定し、個々の前記分割エリア毎に、前記第1の映像信号から対応する前記分割エリアのサイズ未満の領域の前記第1の映像信号をブロックとして切り出し、互いに繋ぎ合せることによって、前記第1の解像度より低い第2の解像度の第2の映像信号を生成する第2の映像信号処理部と、
前記第2の映像信号を表示するビューファインダーとを具備する。
前記分割エリアのサイズは横3×縦3画素以上であり、前記ブロックのサイズは横2×縦1画素以上および横1×縦2画素以上のいずれかである。
前記第2の映像信号処理部は、前記第1の映像信号を第1のサイズの1以上の分割エリアと、前記第1のサイズより小さい第2のサイズの複数の分割エリアとに区分するように構成されてもよい。
前記第2の映像信号処理部は、前記第1のサイズの1以上の分割エリアを前記第1の映像信号による映像空間の中央部に配置し、前記第2のサイズの複数の分割エリアを前記第1のサイズの1以上の分割エリアの周囲に配置するように構成されてもよい。
前記第2の映像信号処理部は、前記第2の映像信号処理部は、個々の前記ブロックを、複数の分割エリアに跨るような位置に設定するように構成されてもよい。
上記の撮像装置は、ユーザより与えられる切替指示に従って、前記各分割エリアの前記ブロックの位置をそれぞれ移動させるように前記第2の映像信号処理部を制御する制御ユニットをさらに具備するものであってよい。
前記第2の映像信号処理部は、前記第1の映像信号からダウンコンバートによって前記第2の解像度を有する第3の映像信号を生成するダウンコンバータと、前記第2の映像信号と前記第3の映像信号とを切り替える切替部とをさらに具備するものであってよい。
前記第2の映像信号処理部は、前記第2の映像信号の輪郭を強調する処理を、前記ブロック間の繋ぎ目をスキップして行うディテール処理部を有するものであってよい。
本技術に係る第2の形態である撮像装置は、
撮像素子を有する撮像部と、
前記撮像部により得られた画素信号から第1の解像度の第1の映像信号を生成する第1の映像信号処理部と、
外縁部の前記第1の映像信号をダウンコンバートしてダウンコンバート映像を生成し、前記外縁部の内側の領域の前記第1の映像信号を空間的に区分する複数の分割エリアを設定し、個々の前記分割エリア毎に、前記第1の映像信号から対応する前記分割エリアのサイズ未満の領域の前記第1の映像信号をブロックとして切り出し、互いに繋ぎ合せることによってブロック連結映像を生成し、前記ダウンコンバート映像と前記ブロック連結映像とを繋ぎ合せて前記第1の解像度より低い第2の解像度の第2の映像信号を生成する第2の映像信号処理部と、
前記第2の映像信号を表示するビューファインダーとを具備する。
本技術に係る第3の形態である映像信号処理装置は、
撮像装置により得られた画素信号から第1の解像度の第1の映像信号を生成する第1の映像信号処理部と、
前記第1の映像信号処理部により生成された前記第1の映像信号を空間的に区分する複数の分割エリアを設定し、個々の前記分割エリア毎に、前記第1の映像信号から対応する前記分割エリアのサイズ未満の領域の前記第1の映像信号をブロックとして切り出し、互いに繋ぎ合せることによって、前記第1の解像度より低い第2の解像度の第2の映像信号を生成する第2の映像信号処理部と
を具備する。
本技術に係る映像信号処理方法は、
第1の映像信号処理部が、撮像装置により得られた画素信号から第1の解像度の第1の映像信号を生成し、
第2の映像信号処理部が、前記第1の映像信号を空間的に区分する複数の分割エリアを設定し、個々の前記分割エリア毎に、前記第1の映像信号から対応する前記分割エリアのサイズ未満の領域の前記第1の映像信号をブロックとして切り出し、互いに繋ぎ合せることによって、前記第1の解像度より低い第2の解像度の第2の映像信号を生成する。
以上のように、本技術によれば、ビューファインダーの表示映像を視認しながらのフォーカス調整を良好に行うことができる。
本技術に係る第1の実施形態の撮像装置の構成を示すブロック図である。 図1の撮像装置1におけるVF信号処理部15の機能的な構成を示すブロック図である。 4Kの第1の映像信号からVFに表示させるHDの第2の映像信号を生成する典型的な方法を示す図である。 4Kの第1の映像信号から切り出すHD解像度分の領域の移動を示す図である。 4Kの第1の解像信号に対する分割エリアの設定例を示す図である。 分割エリアのブロックの設定例を示す図である。 各ブロックを繋ぎ合せて生成される第2の映像信号の例を示す図である。 VF映像フォーマットの変形例を示す図である。 分割エリアのフォーマットの変形例を示す図である。 分割エリア毎のブロック位置の変形例を示す図である。 分割エリア毎のブロック位置の他の変形例を示す図である。 分割エリア内のブロックの移動制御を示す図である。 ディテール処理について説明する図である。 ブロック繋ぎ機能に関するユーザ設定のためのUI画面を示す図である。 撮像装置1のブロック繋ぎ機能に関する操作子を示す側面図である。 図14に示したUI画面で操作子を変更する場合の操作方法を示す図である。 図14に示したUI画面における複数のダイヤル間の切替順を示す図である。 図14に示したUI画面における複数のボタン間の切替順を示す図である。 図14に示したUI画面において、操作子の重複設定が発生した場合の表示例を示す図である。 内視鏡手術システムの概略的な構成の一例を示す図である。 図20に示すカメラヘッド及びCCUの機能構成の一例を示すブロック図である。
以下、本技術に係る実施形態を、図面を参照しながら説明する。
<第1の実施形態>
図1は、本技術に係る第1の実施形態の撮像装置の構成を示すブロック図である。
この撮像装置1は、光学ブロック11と、撮像部12と、本線映像信号処理部13と、出力部14と、VF信号処理部15と、VF(ビューファインダー)16と、制御ユニット17と、操作入力部18とを備える。
光学ブロック11は、レンズ、フォーカス調整機構、シャッター機構、絞り(アイリス)機構などを有している。光学ブロック11は、被写体からの反射光をレンズによって撮像部12の撮像素子の撮像面に結像する。
撮像部12は、撮像素子、アナログ信号処理回路、A/D変換回路などを有する。撮像素子はCCD(Charge Coupled Device)イメージセンサー、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサーなどで構成される。撮像素子は、例えば4K(3840×2160)、8K(7680×4320)など、比較的高い有効画素数を有する。撮像部12の撮像素子で得られた画素信号は本線映像信号処理部13に供給される。
本線映像信号処理部13は、特許請求の範囲の「第1の映像信号処理部」に相当するものであり、撮像部12より供給された画素信号に対して、例えば、欠陥補正、ノイズ除去、レンズ収差補正、A/D変換、RAW現像などの信号処理を行うことによって、撮像素子の有効画素数に対応する第1の解像度の第1の映像信号を生成する。第1の映像信号は、例えば、4K映像信号、8K映像信号など、比較的高い解像度の映像信号である。なお、本明細書では、4K映像信号が生成される場合を想定して説明を続ける。生成された第1の映像信号は出力部14およびVF信号処理部15に供給される。
出力部14は、本線映像信号処理部13によって得られた第1の映像信号をカメラケーブルを通じてCCU(カメラ制御ユニット)などの外部の映像機器やディスプレイに出力したりする処理を行う。CCUでは、撮像装置1よりカメラケーブル30を通じて伝送された第1の映像信号などを受信し、例えば、伝送に適した形式のデジタル映像信号、アナログ映像信号に変換して伝送する処理などが行われる。
なお、本線映像信号処理部13によって得られた第1の映像信号はSSD(Solid State Drive)などの記録媒体に記録されてもよい。
VF信号処理部15は、特許請求の範囲の「第2の映像信号処理部」に相当するものであり、本線映像信号処理部13によって得られた第1の解像度の第1の映像信号から、VF16の画面解像度である第2の解像度の第2の映像信号を生成する。
VF16は、第2の映像信号を表示可能な画面を有する。
操作入力部18は、ユーザから撮像装置1を操作するための命令や各種設定などの入力を受け付けるものであり、例えば、ボタン、スイッチ、ダイヤル、VF16の画面に設けられたタッチパネルセンサーなどにより構成される。
制御ユニット17は、撮像装置1の各部を制御するためのコントローラであり、CPU(Central Processing Unit)、RAM(Random Access Memory)およびROM(Read Only Member)などで構成される。RAMあるいはROMには、CPUにより実行されるプログラムや各種パラメータなどが格納される。制御ユニット17は、操作入力部18において受け付けられたユーザの操作入力の情報を解釈し、解釈した入力情報に応じて撮像装置1を制御する。
次に、上記のVF信号処理部15の詳細について説明する。
図2は、VF信号処理部15の機能的な構成を示すブロック図である。
VF信号処理部15は、ダウンコンバータ151、ブロック連結部152、切替部153、ディテール処理部154を有する。
ダウンコンバータ151は、入力された第1の映像信号を、典型的な解像度変換によってVF16の画面解像度の第2の映像信号に変換する。より具体的には、ダウンコンバータ151は、4K解像度の第1の映像信号をダウンコンバートによってHD解像度の第2の映像信号に変換する。4Kの解像度の第1の映像信号をHD解像度の第2の映像信号にダウンコンバートする典型的な方法としては、例えば、第1の映像信号の縦横2×2画素の平均値を第2の映像信号の1画素の値に変換する方法などがある。
ブロック連結部152は、入力された第1の映像信号を空間的に区分する複数の分割エリアを設定し、個々の分割エリア毎に、第1の映像信号から、対応する分割エリアのサイズ未満の領域の第1の映像信号をブロックとして切り出し、互いに繋ぎ合せることによって第2の解像度の第2の映像信号を生成する。
切替部153は、操作入力部18を使ってユーザから与えられた選択命令に従って、ダウンコンバータ151の出力である第2の映像信号とブロック連結部152の出力である第2の映像信号の一方を選択してディテール処理部154に供給する。
ディテール処理部154は、切替部153によって選択された第2の映像信号に対して被写体の輪郭を強調するディテール処理を行い、その結果をVF16に出力する。
このVF信号処理部15では、操作入力部18を使ってユーザから与えられた選択命令に従って、VF16に供給する第2の映像信号を、ダウンコンバータ151によって得られる第2の映像信号と、ブロック連結部152によって得られる第2の映像信号とを切り替えることが可能である。
なお、上記の撮像装置1の構成において、本線映像信号処理部13とVF信号処理部15は、本技術に係る特許請求の範囲の「映像信号処理装置」に相当するものである。
(VF映像信号の生成)
4K解像度の第1の映像信号からVF映像信号として用いられるHD解像度の第2の映像信号を生成する典型的な方法には、例えば、図3に示すように、4K解像度の第1の映像信号31からHD解像度分の領域32Aの映像信号を切り出してVF16の画面に第2の映像信号33として表示させる方法がある。なお、図3においては、4K解像度の第1の映像信号31の映像とHD解像度の第2の映像信号33の映像とを同じ大きさで表記しているが、実際には、第2の映像信号33の映像の大きさは、4K解像度の第1の映像信号31の映像の大きさの縦横とも1/2である。
しかしながら、カメラマン(ユーザ)がフレーム内でフォーカスを合わせようとする位置は一定ではないため、図4に示すように、4K解像度の第1の映像信号31から切り出すHD解像度分の領域を領域32Aの位置から領域32Bの位置に移動させる必要があり、そのための煩雑なユーザ操作が必要になる。
そこで、本実施形態では、VF信号処理部15内のブロック連結部152が、入力された第1の解像度(例えば4K)の第1の映像信号を空間的に区分する複数の分割エリアを設定し、個々の分割エリア毎に、第1の映像信号から、対応する分割エリアのサイズ未満の領域の第1の映像信号をブロックとして切り出し、互いに繋ぎ合せることによって第2の解像度(例えばHD)の第2の映像信号を生成する。
分割エリアのサイズは理論的には横3×縦3画素以上、ブロックのサイズは理論的には横2×縦1画素以上または横1×縦2画素以上である必要がある。これはフォーカスの状態を視認するためには、第1の映像信号において互いに隣接する2つの画素間のコントラストが指標となるからである。
但し、分割エリア、ブロックのサイズをあまり小さくすると、フォーカス状態の視認が困難であるため、実用的には、例えば、分割エリアの数は横縦とも2個から20個までが適切であろう。分割エリアの横縦の数は必ずしも同一とする必要はない。
また、第1の解像度は4K、8K、それ以上の解像度であってもよい。
第1の解像度が4Kである場合、第2の解像度はHD、それ以下の解像度であってよい。
第1の解像度が8Kである場合、第2の解像度は4K、HD、それ以下の解像度であってよい。
(ブロック連結部152によるVF信号生成の具体的説明)
次に、ブロック連結部152の動作を具体的に説明する。
なお、この具体例において、第1の映像信号の解像度は4K、第2の映像信号の解像度はHD、分割エリアのサイズは横1280×縦720画素、ブロックのサイズは横640×縦360画素とする。
まず、ブロック連結部152は、図5に示すように、4Kの第1の解像信号31を空間的に区分する横3×縦3個の計9個の分割エリアA0−A8を設定する。個々の分割エリアA0−A8のサイズは横1280×縦720画素である。
次に、ブロック連結部152は、図6に示すように、個々の分割エリアA0−A8毎に、第1の映像信号31から、横640×縦360画素のまとまりをブロックB0−B8として切り出す。本例では、各々の分割エリアA0−A8から切り出されるブロックB0−B8の位置は、各々対応する分割エリアA0−A8の中央部にあたる横640×横360画素の矩形領域である場合を想定する。
なお、分割エリアA0−A8から切り出されるブロックB0−B8の位置は中央部分以外であってもよい。また、それぞれの分割エリアA0−A8から切り出されるブロックB0−B8のサイズと位置は、各分割エリアA0−A8間で同一であってもよいし、同一でなくてもよい。
次に、ブロック連結部152は、図7に示すように、各分割エリアA0−A8からそれぞれ切り出された各ブロックB0−B8を、第1の映像信号31における各分割エリアA0−A8の縦横の位置関係に対応して繋ぎ合せることによって、HD解像度の第2の映像信号34を生成する。そして、VF信号処理部15は、生成した第2の映像信号34をVF16にVF映像信号として供給して、VF16の画面に表示させる。
このように本実施形態の撮像装置1によれば、VF信号処理部15のブロック連結部152が、第1の解像度の第1の映像信号を空間的に区分する複数の分割エリアを設定し、個々の分割エリア毎に、第1の映像信号から、対応する分割エリアのサイズ未満の領域の第1の映像信号をブロックとして切り出し、互いに繋ぎ合せることによって第2の解像度の第2の映像信号を生成し、VF16の画面に表示させる。
これにより、第1の映像信号の解像度よりも画面解像度が低いVF16の画面で、第1の映像信号の各分割エリアの位置でのフォーカス状態を視認することが可能なVF映像信号が得られる。したがって、ユーザは、VF16の画面に表示させる第1の映像信号の領域を移動させる操作を要することなく、任意の分割エリアに対してフォーカスを合わせる操作を開始でき、迅速にフォーカス調整を行うことができる。
次に、本技術に係る変形例を説明する。
<変形例1>
(VF映像フォーマットの変形例)
図8は、VF信号処理部15により得られるVF映像フォーマットの変形例を示す図である。
この変形例では、VF信号処理部15は、第1の解像度(例えば4K)の第1の映像信号31を、外縁部の領域41と内側領域42とに分ける。VF信号処理部15のダウンコンバータ151は、外縁部の領域41の第1の映像信号31をダウンコンバートすることによって、第2の映像信号34の外縁部の領域43のダウンコンバート映像を生成する。
また、VF信号処理部15は、ブロック連結部152にて、内側領域42の第1の映像信号31を空間的に区分する複数の分割エリアA0−A24を設定し、個々の分割エリアA0−A24毎に、内側領域42の第1の映像信号31から、対応する分割エリアA0−A24のサイズ未満の領域の第1の映像信号をブロックB0−B24として切り出し、互いに繋ぎ合せることによって、第2の映像信号34の内側領域44のブロック連結映像を生成する。
そしてVF信号処理部15は、ダウンコンバータ151によって得られた外縁部の領域43のダウンコンバート映像とブロック連結部152によって得られた内側領域44のブロック連結映像とを繋ぎ合せて、第2の解像度(例えばHD)の第2の映像信号34を生成し、VF16に出力する。
このように、外縁部の領域41の第1の映像信号31をダウンコンバートしたダウンコンバート映像を、第2の映像信号34の外縁部の領域43に配置することによって、第1の映像信号の各分割エリアのフォーカス状態を視認できるとともに、被写体の撮像範囲の視認をも容易なVF映像が得られる。
<変形例2>
(2種類のサイズの分割エリア)
第1の映像信号を空間的に区分する複数の分割エリアのサイズはすべて同じである必要はない。また、ブロックのサイズもすべて同じである必要はない。
例えば、図9に示すように、第1の映像信号31の中部部分の分割エリアA6のサイズをその周囲の複数の分割エリア(A0−A5、A7−A12)のサイズよりも大きくするとともに、この中部部分の分割エリアA6から切り出されるブロックB6のサイズも周囲の各分割エリア(A0−A5、A7−A12)から切り出されるブロック(B0−B5、B7−B12)のサイズよりも大きくしてよい。
図9の例は、中部部分の分割エリアA6のサイズを周囲の分割エリア(A0−A5、A7−A12)のサイズの横縦2倍とし、かつ中部部分の分割エリアA6から切り出されるブロックのサイズを周囲の分割エリアから切り出されるブロックのサイズの横縦2倍とした例である。これにより、中央部分の分割エリアA6から切り出されたブロックB6の映像の注目度を高めた第2の映像信号を得ることができ、撮像装置1の視野の中央部分にフォーカスを合わせて撮像が行われる頻度が高い場合に好適なVF映像信号が得られる。
その他、フォーカスを合わせるように選定される頻度が高い領域の位置に合わせて、第1の映像信号の中央部分以外の領域にサイズの大きい分割エリア、ブロックを1以上設定してもよい。
<変形例3>
(分割エリアから切り出すブロックの位置)
分割エリアから切り出すブロックの位置は、必ずしも分割エリアの中央部分である必要はない。例えば、図10に示すように、分割エリア内の偏心位置にブロックを設定してもよい。図10の例は、周辺部分の複数の分割エリア(A0−A5、A7−A12)については、中央の分割エリアA6寄りの偏心位置にブロック(B0−B5、B7−B12)が設定されたものである。もちろん、周辺部分の複数の分割エリア(A0−A5、A7−A12)については、中央の分割エリアA6から離れる方向に偏心した位置にブロック(B0−B5、B7−B12)が設定されてもよい。
また、図11に示すように、ブロックは、隣接する複数の分割ブロック間に跨るようにして設定されてもかまわない。図11の例は、中央の分割エリアA6の上下左右に隣接する複数の分割エリア(A1、A2、A4、A5、A7、A8、A10、A11)に対応するブロック(B1、B2、B4、B5、B7、B8、B10、B11)の各々の一部分が、中央の分割エリアA6内に侵入して設定される場合を示している。
<変形例4>
(分割エリア内のブロック位置の移動)
分割エリア内でブロックの位置は移動可能とされていてもよい。
分割エリア内でブロックの位置を移動させるために、制御ユニット17は、操作入力部18を使ってユーザから与えられる切替指示に従って、分割エリア内のブロックの位置をリアルタイムに移動させるように制御する。
図12は、ブロック位置の移動制御の例を示す図である。
この例において、各々の分割エリアA0−A15は、縦2×横2の計4つの領域に等分され、その中の1つの領域がブロックB0−B15として有効となる。制御ユニット17は、操作入力部18を使ってユーザから与えられる切替指示に従って、各分割エリアA0−A15内のブロックB0−B15を時計回り方向に次の領域に同時に移動させるように制御を行う。この例では、4回の切替指示が与えられることによって、ブロックB0−B15は一周して元の位置に戻る。
また、ユーザによる設定によって、ブロックの移動方向を時計回り方向と反時計回り方向との間で切り替えることができるようにしてもよい。
<変形例5>
(ディテール処理のキャンセル)
上記の実施形態において、VF信号処理部15内のディテール処理部154は、第2の映像信号に対して被写体の輪郭を強調するディテール処理を行うものである。このディテール処理は、映像の輝度変化部を輪郭と判定して行われるので、図13に示すように、ブロックB00、B01の繋ぎ目部分45の多くを輪郭として強調してしまい、フォーカス状態を視認するうえでの障害となり得る。
そこで、VF信号処理部15は、制御ユニット17から与えられたブロックの繋ぎ目の位置情報をもとに、ブロック間の繋ぎ目のディテール処理を無効にするように構成される。これによって、フォーカスの状態を視認するための映像において無益な輪郭強調部の発生を防止することができる。
<変形例6>
[ブロック繋ぎ機能に関するユーザ設定について]
以上説明した撮像装置1では、上記のブロック繋ぎ機能に関して、ユーザによる次のような設定が可能である。
1.ブロック繋ぎ機能のオン/オフ
2.分割数
3.ブロックサイズ
4.ブロック位置
5.ダイヤル方向
6.マルチサイズ分割エリアのオン/オフ
7.ディテールキャンセル
ブロック繋ぎ機能のオン/オフは、上述したブロック繋ぎ機能のオン/オフを切り替える設定である。
分割数は、第1の映像信号を空間的に区分する複数の分割エリアの数の設定である。分割数は、例えば、4から分割最大数までの間で選択可能である。例えば、分割数が9のとき、第1の映像信号は空間的に横3×縦3の9個の分割エリアに分割される。分割数が12のとき、第1の映像信号は空間的に横4×縦3の12個の分割エリアに分割される。分割数が16のとき、第1の映像信号は空間的に横4×縦4の16個の分割エリアに分割される。分割数が25のとき、第1の映像信号は空間的に横5×縦5の25個の分割エリアに分割される。その他、様々な数や横縦比の分割数の設定が可能であってよい。分割数の上限は25個よりもさらに多くてもよい。
ブロックサイズは、分割エリア内のブロックのサイズ(横と縦の各画素数)の設定である。あるいは、ブロックサイズは、分割エリアのサイズに対する割合の値で設定されても良い。
ブロック位置は、分割エリア内のブロックの位置の設定である。例えば、図12に示したように、分割エリアが縦2×横2の計4つの領域に等分され、その中のどの領域をブロックとして用いるかが設定される。
ダイヤル方向は、分割数、ブロックサイズの設定に割り当てられた操作子(ダイヤル)の回転操作方向(時計回り方向、反時計回り方向)に対する分割数、ブロックサイズの増減の設定である。例えば、分割数の種類として"9"、"16"、"25"が存在し、ダイヤルの時計回り方向に"増"が設定されている場合、ダイヤルの時計回り方向の回転量(回転角度)の増大に伴い、分割数が9→16→25の順に切り替えられ、ダイヤルの反時計回り方向の回転量(回転角度)の増大に伴い、分割数が25→16→9の順に切り替えられる。ブロックサイズの設定に割り当てられたダイヤル方向についても同様である。
マルチサイズ分割エリアのオン/オフは、例えば、図9に示したように、第1の映像信号の中部部分の分割エリアのサイズをその周囲の複数の分割エリアのサイズよりも大きくしたマルチサイズ分割エリアを利用するかどうかの設定である。
ディテールキャンセルは、ディテール処理をキャンセルするかどうかの設定である。
図14は、上記ユーザ設定のためのUI(User Interface)画面を示す図である。
このUIに関して、例えば、撮像装置1のVF16や外部ディスプレイなどがUI表示部として用いられ、撮像装置1に設けられた特定の操作ボタンなどが設定入力部として用いられる。
UI画面では、設定項目毎に割り当てる操作子を複数の操作子群のなかからユーザが選択することが可能とされる。設定項目に対して割り当てが可能な操作子群は、撮像装置1の操作入力部18に設けられた特定のボタン群およびダイヤル群などである。
図15は撮像装置1のブロック繋ぎ機能に関する操作子を示す側面図である。同図に示すように、撮像装置1は、ブロック繋ぎ機能に関する各設定項目の割り当てが可能な操作子群として、複数のボタンB1、B2、B3、B4、B5と複数のダイヤルD1、D2、D3、D4を備える。
なお、この図では操作子群が撮像装置1のボディ1Aの側面に設けられる場合を示したが、撮像装置1の上面など、他の面に設けられたものであってよいし、VF16に設けられてもよい。
次に、図14に示したUI画面で、ユーザが、撮像装置1の操作子群において、任意の設定項目に対して任意の操作子を割り当てる方法を説明する。
なお、図14に示したUI画面には、設定項目毎に操作子の初期値が設定されている場合を想定している。例えば、ブロック繋ぎ機能のオン/オフの設定にはボタンB1の操作子が、分割数にはダイヤルD1の操作子が、ブロックサイズの設定にはダイヤルD2の操作子が、ブロック位置の設定にはダイヤルD3の操作子が、ダイヤル方向の設定にはボタンB2が、マルチサイズ分割エリアのオン/オフの設定にはボタンB3が、そしてディテールキャンセルの設定にはボタンB4が各々初期値として設定される。
図16は図14に示したUI画面で、ブロックサイズの設定に割り当てられた操作子をダイヤルD2からダイヤルD3に変更する場合の操作方法を示す図である。
UI画面においてユーザは、操作子を変更したい設定項目を、例えば操作入力部18に設けられたカーソルキー20などを操作して選択する。例えば、カーソルキー20の下キー20dが2回押されると、操作子の変更対象となる設定項目は、ブロック繋ぎ機能のオン/オフからブロックサイズに移動する。次に、カーソルキー20の右キー20rが一回押されると、ブロックサイズの設定項目に対する操作子の表示がダイヤルD2からダイヤルD3に変更される。これにより、ブロックサイズの設定項目に対する操作子の割り当てがダイヤルD2からダイヤルD3に変更される。なお、カーソルキー20の右キー20rが二回押された場合には、横の中央部分画素数の設定項目に対する操作子の表示がダイヤルD2からダイヤルD4に変更される。これにより、横のブロックサイズの設定項目に対する操作子の割り当てがダイヤルD2からダイヤルD4に変更される。同様の要領により、他の設定項目に対する操作子の割り当ても変更することができる。
図17は、複数のダイヤルD1−D4間の切替順を示す図である。このように、設定変更前のダイヤルがダイヤルD2である場合、カーソルキー20の右キー20rが一回押されるたびに、選択されたダイヤルはダイヤルD3、ダイヤルD4、ダイヤルD1の順にスイッチされる。また、図18に示すように、ボタンB1−B5についても同様のルールで切り替えられるようになっている。
なお、横の中央部分画素数の設定項目に対する操作子の割り当てがダイヤルD2からダイヤルD3に変更された場合、ブロック位置の設定に対して割り当てられた操作子と重複する。このように複数の設定項目に対する操作子の重複が発生した場合、図19に示すように、以前よりその操作子が割り当てられた側の操作項目(例えばブロック位置の設定項目)に対する操作子の設定変更を促すように、その操作項目が反転表示などによって判別可能な状態で表示される。これによりユーザは、操作子の重複設定を避けるように、操作子の割り当てを変更することができる。
[設定変更に伴うVF映像生成へのリアルタイム反映]
ユーザは、撮影時に、ブロック繋ぎ機能に関する各設定項目に割り当てられた各々の操作子を操作することによって、VF16や外部ディスプレイなどに表示させる第2の映像信号の見え方をリアルタイムに変化させることができる。これにより、視認によるフォーカス調整に最適な設定値をユーザが選定することができる。
すなわち、制御ユニット17は、操作入力部18においてブロック繋ぎ機能に関する各設定項目に個別に割り当てられた各操作子の状態をそれぞれ検出する。制御ユニット17は、検出した状態に対応する各設定値を生成し、VF信号処理部15に設定する。VF信号処理部15は、制御ユニット17により与えられた各設定値をもとにVF映像信号を生成し、VF16に出力する。
<<応用例>>
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。
図20は、本開示に係る技術が適用され得る内視鏡手術システム5000の概略的な構成の一例を示す図である。図20では、術者(医師)5067が、内視鏡手術システム5000を用いて、患者ベッド5069上の患者5071に手術を行っている様子が図示されている。図示するように、内視鏡手術システム5000は、内視鏡5001と、その他の術具5017と、内視鏡5001を支持する支持アーム装置5027と、内視鏡下手術のための各種の装置が搭載されたカート5037と、から構成される。
内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ5025a〜5025dと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ5025a〜5025dから、内視鏡5001の鏡筒5003や、その他の術具5017が患者5071の体腔内に挿入される。図示する例では、その他の術具5017として、気腹チューブ5019、エネルギー処置具5021及び鉗子5023が、患者5071の体腔内に挿入されている。また、エネルギー処置具5021は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具5017はあくまで一例であり、術具5017としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。
内視鏡5001によって撮影された患者5071の体腔内の術部の画像が、表示装置5041に表示される。術者5067は、表示装置5041に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具5021や鉗子5023を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ5019、エネルギー処置具5021及び鉗子5023は、手術中に、術者5067又は助手等によって支持される。
(支持アーム装置)
支持アーム装置5027は、ベース部5029から延伸するアーム部5031を備える。図示する例では、アーム部5031は、関節部5033a、5033b、5033c、及びリンク5035a、5035bから構成されており、アーム制御装置5045からの制御により駆動される。アーム部5031によって内視鏡5001が支持され、その位置及び姿勢が制御される。これにより、内視鏡5001の安定的な位置の固定が実現され得る。
(内視鏡)
内視鏡5001は、先端から所定の長さの領域が患者5071の体腔内に挿入される鏡筒5003と、鏡筒5003の基端に接続されるカメラヘッド5005と、から構成される。図示する例では、硬性の鏡筒5003を有するいわゆる硬性鏡として構成される内視鏡5001を図示しているが、内視鏡5001は、軟性の鏡筒5003を有するいわゆる軟性鏡として構成されてもよい。
鏡筒5003の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡5001には光源装置5043が接続されており、当該光源装置5043によって生成された光が、鏡筒5003の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者5071の体腔内の観察対象に向かって照射される。なお、内視鏡5001は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
カメラヘッド5005の内部には光学系及び撮像素子が設けられており、観察対象からの反射光(観察光)は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、RAWデータとしてカメラコントロールユニット(CCU:Camera Control Unit)5039に送信される。なお、カメラヘッド5005には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。
なお、例えば立体視(3D表示)等に対応するために、カメラヘッド5005には撮像素子が複数設けられてもよい。この場合、鏡筒5003の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。
(カートに搭載される各種の装置)
CCU5039は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡5001及び表示装置5041の動作を統括的に制御する。具体的には、CCU5039は、カメラヘッド5005から受け取った画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。CCU5039は、当該画像処理を施した画像信号を表示装置5041に提供する。また、CCU5039は、カメラヘッド5005に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。
表示装置5041は、CCU5039からの制御により、当該CCU5039によって画像処理が施された画像信号に基づく画像を表示する。内視鏡5001が例えば4K(水平画素数3840×垂直画素数2160)又は8K(水平画素数7680×垂直画素数4320)等の高解像度の撮影に対応したものである場合、及び/又は3D表示に対応したものである場合には、表示装置5041としては、それぞれに対応して、高解像度の表示が可能なもの、及び/又は3D表示可能なものが用いられ得る。4K又は8K等の高解像度の撮影に対応したものである場合、表示装置5041として55インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置5041が設けられてもよい。
光源装置5043は、例えばLED(light emitting diode)等の光源から構成され、術部を撮影する際の照射光を内視鏡5001に供給する。
アーム制御装置5045は、例えばCPU等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置5027のアーム部5031の駆動を制御する。
入力装置5047は、内視鏡手術システム5000に対する入力インタフェースである。ユーザは、入力装置5047を介して、内視鏡手術システム5000に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置5047を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置5047を介して、アーム部5031を駆動させる旨の指示や、内視鏡5001による撮像条件(照射光の種類、倍率及び焦点距離等)を変更する旨の指示、エネルギー処置具5021を駆動させる旨の指示等を入力する。
入力装置5047の種類は限定されず、入力装置5047は各種の公知の入力装置であってよい。入力装置5047としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ5057及び/又はレバー等が適用され得る。入力装置5047としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置5041の表示面上に設けられてもよい。
あるいは、入力装置5047は、例えばメガネ型のウェアラブルデバイスやHMD(Head Mounted Display)等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置5047は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置5047は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置5047が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ(例えば術者5067)が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
処置具制御装置5049は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具5021の駆動を制御する。気腹装置5051は、内視鏡5001による視野の確保及び術者の作業空間の確保の目的で、患者5071の体腔を膨らめるために、気腹チューブ5019を介して当該体腔内にガスを送り込む。レコーダ5053は、手術に関する各種の情報を記録可能な装置である。プリンタ5055は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
以下、内視鏡手術システム5000において特に特徴的な構成について、更に詳細に説明する。
(支持アーム装置)
支持アーム装置5027は、基台であるベース部5029と、ベース部5029から延伸するアーム部5031と、を備える。図示する例では、アーム部5031は、複数の関節部5033a、5033b、5033cと、関節部5033bによって連結される複数のリンク5035a、5035bと、から構成されているが、図20では、簡単のため、アーム部5031の構成を簡略化して図示している。実際には、アーム部5031が所望の自由度を有するように、関節部5033a〜5033c及びリンク5035a、5035bの形状、数及び配置、並びに関節部5033a〜5033cの回転軸の方向等が適宜設定され得る。例えば、アーム部5031は、好適に、6自由度以上の自由度を有するように構成され得る。これにより、アーム部5031の可動範囲内において内視鏡5001を自由に移動させることが可能になるため、所望の方向から内視鏡5001の鏡筒5003を患者5071の体腔内に挿入することが可能になる。
関節部5033a〜5033cにはアクチュエータが設けられており、関節部5033a〜5033cは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置5045によって制御されることにより、各関節部5033a〜5033cの回転角度が制御され、アーム部5031の駆動が制御される。これにより、内視鏡5001の位置及び姿勢の制御が実現され得る。この際、アーム制御装置5045は、力制御又は位置制御等、各種の公知の制御方式によってアーム部5031の駆動を制御することができる。
例えば、術者5067が、入力装置5047(フットスイッチ5057を含む)を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置5045によってアーム部5031の駆動が適宜制御され、内視鏡5001の位置及び姿勢が制御されてよい。当該制御により、アーム部5031の先端の内視鏡5001を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部5031は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部5031は、手術室から離れた場所に設置される入力装置5047を介してユーザによって遠隔操作され得る。
また、力制御が適用される場合には、アーム制御装置5045は、ユーザからの外力を受け、その外力にならってスムーズにアーム部5031が移動するように、各関節部5033a〜5033cのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部5031に触れながらアーム部5031を移動させる際に、比較的軽い力で当該アーム部5031を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡5001を移動させることが可能となり、ユーザの利便性を向上させることができる。
ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡5001が支持されていた。これに対して、支持アーム装置5027を用いることにより、人手によらずに内視鏡5001の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。
なお、アーム制御装置5045は必ずしもカート5037に設けられなくてもよい。また、アーム制御装置5045は必ずしも1つの装置でなくてもよい。例えば、アーム制御装置5045は、支持アーム装置5027のアーム部5031の各関節部5033a〜5033cにそれぞれ設けられてもよく、複数のアーム制御装置5045が互いに協働することにより、アーム部5031の駆動制御が実現されてもよい。
(光源装置)
光源装置5043は、内視鏡5001に術部を撮影する際の照射光を供給する。光源装置5043は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、RGBレーザ光源の組み合わせにより白色光源が構成される場合には、各色(各波長)の出力強度及び出力タイミングを高精度に制御することができるため、光源装置5043において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド5005の撮像素子の駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
また、光源装置5043は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド5005の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
また、光源装置5043は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光(すなわち、白色光)に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察(Narrow Band Imaging)が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの(自家蛍光観察)、又はインドシアニングリーン(ICG)等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置5043は、このような特殊光観察に対応した狭帯域光及び/又は励起光を供給可能に構成され得る。
(カメラヘッド及びCCU)
図21を参照して、内視鏡5001のカメラヘッド5005及びCCU5039の機能についてより詳細に説明する。図21は、図20に示すカメラヘッド5005及びCCU5039の機能構成の一例を示すブロック図である。
図21を参照すると、カメラヘッド5005は、その機能として、レンズユニット5007と、撮像部5009と、駆動部5011と、通信部5013と、カメラヘッド制御部5015と、を有する。また、CCU5039は、その機能として、通信部5059と、画像処理部5061と、制御部5063と、を有する。カメラヘッド5005とCCU5039とは、伝送ケーブル5065によって双方向に通信可能に接続されている。
まず、カメラヘッド5005の機能構成について説明する。レンズユニット5007は、鏡筒5003との接続部に設けられる光学系である。鏡筒5003の先端から取り込まれた観察光は、カメラヘッド5005まで導光され、当該レンズユニット5007に入射する。レンズユニット5007は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット5007は、撮像部5009の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。
撮像部5009は撮像素子によって構成され、レンズユニット5007の後段に配置される。レンズユニット5007を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部5009によって生成された画像信号は、通信部5013に提供される。
撮像部5009を構成する撮像素子としては、例えばCMOS(Complementary Metal Oxide Semiconductor)タイプのイメージセンサであり、Bayer配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば4K以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者5067は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。
また、撮像部5009を構成する撮像素子は、3D表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための1対の撮像素子を有するように構成される。3D表示が行われることにより、術者5067は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部5009が多板式で構成される場合には、各撮像素子に対応して、レンズユニット5007も複数系統設けられる。
また、撮像部5009は、必ずしもカメラヘッド5005に設けられなくてもよい。例えば、撮像部5009は、鏡筒5003の内部に、対物レンズの直後に設けられてもよい。
駆動部5011は、アクチュエータによって構成され、カメラヘッド制御部5015からの制御により、レンズユニット5007のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部5009による撮像画像の倍率及び焦点が適宜調整され得る。
通信部5013は、CCU5039との間で各種の情報を送受信するための通信装置によって構成される。通信部5013は、撮像部5009から得た画像信号をRAWデータとして伝送ケーブル5065を介してCCU5039に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者5067が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部5013には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル5065を介してCCU5039に送信される。
また、通信部5013は、CCU5039から、カメラヘッド5005の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに/又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部5013は、受信した制御信号をカメラヘッド制御部5015に提供する。なお、CCU5039からの制御信号も、光通信によって伝送されてもよい。この場合、通信部5013には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部5015に提供される。
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてCCU5039の制御部5063によって自動的に設定される。つまり、いわゆるAE(Auto Exposure)機能、AF(Auto Focus)機能及びAWB(Auto White Balance)機能が内視鏡5001に搭載される。
カメラヘッド制御部5015は、通信部5013を介して受信したCCU5039からの制御信号に基づいて、カメラヘッド5005の駆動を制御する。例えば、カメラヘッド制御部5015は、撮像画像のフレームレートを指定する旨の情報及び/又は撮像時の露光を指定する旨の情報に基づいて、撮像部5009の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部5015は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部5011を介してレンズユニット5007のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部5015は、更に、鏡筒5003やカメラヘッド5005を識別するための情報を記憶する機能を備えてもよい。
なお、レンズユニット5007や撮像部5009等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド5005について、オートクレーブ滅菌処理に対する耐性を持たせることができる。
次に、CCU5039の機能構成について説明する。通信部5059は、カメラヘッド5005との間で各種の情報を送受信するための通信装置によって構成される。通信部5059は、カメラヘッド5005から、伝送ケーブル5065を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部5059には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部5059は、電気信号に変換した画像信号を画像処理部5061に提供する。
また、通信部5059は、カメラヘッド5005に対して、カメラヘッド5005の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。
画像処理部5061は、カメラヘッド5005から送信されたRAWデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理(帯域強調処理、超解像処理、NR(Noise reduction)処理及び/又は手ブレ補正処理等)、並びに/又は拡大処理(電子ズーム処理)等、各種の公知の信号処理が含まれる。また、画像処理部5061は、AE、AF及びAWBを行うための、画像信号に対する検波処理を行う。
画像処理部5061は、CPUやGPU等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部5061が複数のGPUによって構成される場合には、画像処理部5061は、画像信号に係る情報を適宜分割し、これら複数のGPUによって並列的に画像処理を行う。
制御部5063は、内視鏡5001による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部5063は、カメラヘッド5005の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部5063は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡5001にAE機能、AF機能及びAWB機能が搭載されている場合には、制御部5063は、画像処理部5061による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。
また、制御部5063は、画像処理部5061によって画像処理が施された画像信号に基づいて、術部の画像を表示装置5041に表示させる。この際、制御部5063は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部5063は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具5021使用時のミスト等を認識することができる。制御部5063は、表示装置5041に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者5067に提示されることにより、より安全かつ確実に手術を進めることが可能になる。
カメラヘッド5005及びCCU5039を接続する伝送ケーブル5065は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
ここで、図示する例では、伝送ケーブル5065を用いて有線で通信が行われていたが、カメラヘッド5005とCCU5039との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル5065を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル5065によって妨げられる事態が解消され得る。
以上、本開示に係る技術が適用され得る内視鏡手術システム5000の一例について説明した。なお、ここでは、一例として内視鏡手術システム5000について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、本開示に係る技術は、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。
本開示に係る技術は、以上説明した構成に表示装置5041よりも画面解像度の低い第2の表示装置を追加した場合に、CCU5039にて、カメラヘッド5005により撮像された画像から第2の表示装置に表示させる画像を生成する処理において好適に適用され得る。これにより、画面解像度が低い第2の表示装置の画面で、各分割エリアの位置でのフォーカス状態を視認することが可能な映像信号が得られる。したがって、術者5067は、第2の表示装置の画面に表示させる画像の領域を移動させる操作を要することなく、任意の分割エリアに対してフォーカスを合わせる操作を開始でき、迅速にフォーカス調整を行うことができるので、手術をより安全にかつより確実に行うことが可能になる。
なお、本技術は以下のような構成もとることができる。
(1)撮像素子を有する撮像部と、
前記撮像部により得られた画素信号から第1の解像度の第1の映像信号を生成する第1の映像信号処理部と、
前記第1の映像信号処理部により生成された前記第1の映像信号を空間的に区分する複数の分割エリアを設定し、個々の前記分割エリア毎に、前記第1の映像信号から対応する前記分割エリアのサイズ未満の領域の前記第1の映像信号をブロックとして切り出し、互いに繋ぎ合せることによって、前記第1の解像度より低い第2の解像度の第2の映像信号を生成する第2の映像信号処理部と、
前記第2の映像信号を表示するビューファインダーと
を具備する撮像装置。
(2)前記(1)に記載の撮像装置であって、
前記分割エリアのサイズは横3×縦3画素以上であり、前記ブロックのサイズは横2×縦1画素以上および横1×縦2画素以上のいずれかである
撮像装置。
(3)前記(1)または(2)に記載の撮像装置であって、
前記第2の映像信号処理部は、前記第1の映像信号を第1のサイズの1以上の分割エリアと、前記第1のサイズより小さい第2のサイズの複数の分割エリアとに区分するように構成される
撮像装置。
(4)前記(3)に記載の撮像装置であって、
前記第2の映像信号処理部は、前記第1のサイズの1以上の分割エリアを前記第1の映像信号による映像空間の中央部に配置し、前記第2のサイズの複数の分割エリアを前記第1のサイズの1以上の分割エリアの周囲に配置するように構成される
撮像装置。
(5)前記(1)ないし(4)のいずれかに記載の撮像装置であって、
前記第2の映像信号処理部は、個々の前記ブロックを、複数の分割エリアに跨るような位置に設定するように構成される
撮像装置。
(6)前記(1)ないし(5)のいずれかに記載の撮像装置であって、
前記第2の映像信号処理部は、
前記第1の映像信号からダウンコンバートによって前記第2の解像度を有する第3の映像信号を生成するダウンコンバータと、
前記第2の映像信号と前記第3の映像信号とを切り替える切替部と
をさらに具備する
撮像装置。
(7)前記(1)ないし(6)のいずれかに記載の撮像装置であって、
前記第2の映像信号処理部は、前記第2の映像信号の輪郭を強調する処理を、前記ブロック間の繋ぎ目をスキップして行うディテール処理部をさらに有する
撮像装置。
(8)前記(1)ないし(7)のいずれかに記載の撮像装置であって、
前記第2の映像信号処理部により生成された前記第2の映像信号を外部機器に出力する出力部を
さらに具備する撮像装置。
(9)前記(1)ないし(8)のいずれかに記載の撮像装置であって、
前記分割エリアの数のユーザによる設定情報を受け付ける第1の操作子を含む複数の操作子群を有する操作入力部と、
前記制御部は、撮影時、前記第1の操作子の状態を検出し、前記設定情報を前記第2の映像信号処理部の動作にリアルタイムで反映させるように構成される
撮像装置。
(10)前記(9)に記載の撮像装置であって、
前記操作子群は、前記ブロックのサイズのユーザによる設定情報を受け付ける第2の操作子をさらに含み、
前記制御部は、撮影時、前記第2の操作子の状態を検出し、前記設定情報を前記第2の映像信号処理部の動作にリアルタイムで反映させるように構成される
撮像装置。
(11)前記(9)または(10)に記載の撮像装置であって、
前記操作子群は、前記ブロックの位置のユーザによる設定情報を受け付ける第3の操作子を含み、
前記制御部は、撮影時、前記第3の操作子の状態を検出し、前記設定情報を前記第2の映像信号処理部の動作にリアルタイムで反映させるように構成される
撮像装置。
(12)前記(9)ないし(11)のいずれかに記載の撮像装置であって、
前記操作子群は、前記第1の映像信号を前記第1のサイズの1以上の分割エリアと前記第2のサイズの複数の分割エリアとに区分することのオン/オフの設定情報をユーザより受け付ける第4の操作子を含み、
前記制御部は、撮影時、前記第4の操作子の状態を検出し、前記設定情報を前記第2の映像信号処理部の動作にリアルタイムで反映させるように構成される
撮像装置。
(13)前記(12)に記載の撮像装置であって、
前記操作子群における前記第1の操作子、前記第2の操作子、前記第3の操作子および前記第4の操作子の割り当てを設定可能なユーザインタフェースをさらに具備する
撮像装置。
(14)撮像素子を有する撮像部と、
前記撮像部により得られた画素信号から第1の解像度の第1の映像信号を生成する第1の映像信号処理部と、
外縁部の前記第1の映像信号をダウンコンバートしてダウンコンバート映像を生成し、前記外縁部の内側の領域の前記第1の映像信号を空間的に区分する複数の分割エリアを設定し、個々の前記分割エリア毎に、前記第1の映像信号から対応する前記分割エリアのサイズ未満の領域の前記第1の映像信号をブロックとして切り出し、互いに繋ぎ合せることによってブロック連結映像を生成し、前記ダウンコンバート映像と前記ブロック連結映像とを繋ぎ合せて前記第1の解像度より低い第2の解像度の第2の映像信号を生成する第2の映像信号処理部と、
前記第2の映像信号を表示するビューファインダーと
を具備する撮像装置。
(15)前記(14)に記載の撮像装置であって、
前記分割エリアのサイズは横3×縦3画素以上であり、前記ブロックのサイズは横2×縦1画素以上および横1×縦2画素以上のいずれかである
撮像装置。
(16)前記(14)または(15)に記載の撮像装置であって、
前記第2の映像信号処理部は、前記第1の映像信号を第1のサイズの1以上の分割エリアと、前記第1のサイズより小さい第2のサイズの複数の分割エリアとに区分するように構成される
撮像装置。
(17)前記(16)に記載の撮像装置であって、
前記第2の映像信号処理部は、前記第1のサイズの1以上の分割エリアを前記第1の映像信号による映像空間の中央部に配置し、前記第2のサイズの複数の分割エリアを前記第1のサイズの1以上の分割エリアの周囲に配置するように構成される
撮像装置。
(18)前記(14)ないし(17)のいずれかに記載の撮像装置であって、
前記第2の映像信号処理部は、個々の前記ブロックを、複数の分割エリアに跨るような位置に設定するように構成される
撮像装置。
(19)前記(14)ないし(18)のいずれかに記載の撮像装置であって、
前記第2の映像信号処理部は、
前記第1の映像信号からダウンコンバートによって前記第2の解像度を有する第3の映像信号を生成するダウンコンバータと、
前記第2の映像信号と前記第3の映像信号とを切り替える切替部と
をさらに具備する
撮像装置。
(20)前記(14)ないし(18)のいずれかに記載の撮像装置であって、
前記第2の映像信号処理部は、前記第2の映像信号の輪郭を強調する処理を、前記ブロック間の繋ぎ目をスキップして行うディテール処理部をさらに有する
撮像装置。
(21)前記(14)ないし(20)のいずれかに記載の撮像装置であって、
前記第2の映像信号処理部により生成された前記第2の映像信号を外部機器に出力する出力部を
さらに具備する撮像装置。
(22)前記(14)ないし(20)のいずれかに記載の撮像装置であって、
前記分割エリアの数のユーザによる設定情報を受け付ける第1の操作子を含む複数の操作子群を有する操作入力部と、
前記制御部は、撮影時、前記第1の操作子の状態を検出し、前記設定情報を前記第2の映像信号処理部の動作にリアルタイムで反映させるように構成される
撮像装置。
(23)前記(22)に記載の撮像装置であって、
前記操作子群は、前記ブロックのサイズのユーザによる設定情報を受け付ける第2の操作子をさらに含み、
前記制御部は、撮影時、前記第2の操作子の状態を検出し、前記設定情報を前記第2の映像信号処理部の動作にリアルタイムで反映させるように構成される
撮像装置。
(24)前記(22)または(23)に記載の撮像装置であって、
前記操作子群は、前記ブロックの位置のユーザによる設定情報を受け付ける第3の操作子を含み、
前記制御部は、撮影時、前記第3の操作子の状態を検出し、前記設定情報を前記第2の映像信号処理部の動作にリアルタイムで反映させるように構成される
撮像装置。
(25)前記(22)ないし(24)のいずれかに記載の撮像装置であって、
前記操作子群は、前記第1の映像信号を前記第1のサイズの1以上の分割エリアと前記第2のサイズの複数の分割エリアとに区分することのオン/オフの設定情報をユーザより受け付ける第4の操作子を含み、
前記制御部は、撮影時、前記第4の操作子の状態を検出し、前記設定情報を前記第2の映像信号処理部の動作にリアルタイムで反映させるように構成される
撮像装置。
(26)前記(25)に記載の撮像装置であって、
前記操作子群における前記第1の操作子、前記第2の操作子、前記第3の操作子および前記第4の操作子の割り当てを設定可能なユーザインタフェースをさらに具備する
撮像装置。
(27)撮像装置により得られた画素信号から第1の解像度の第1の映像信号を生成する第1の映像信号処理部と、
前記第1の映像信号処理部により生成された前記第1の映像信号を空間的に区分する複数の分割エリアを設定し、個々の前記分割エリア毎に、前記第1の映像信号から対応する前記分割エリアのサイズ未満の領域の前記第1の映像信号をブロックとして切り出し、互いに繋ぎ合せることによって、前記第1の解像度より低い第2の解像度の第2の映像信号を生成する第2の映像信号処理部と
を具備する映像信号処理装置。
(28)前記(27)に記載の映像信号処理装置であって、
前記分割エリアのサイズは横3×縦3画素以上であり、前記ブロックのサイズは横2×縦1画素以上および横1×縦2画素以上のいずれかである
映像信号処理装置。
(29)前記(27)または(28)に記載の映像信号処理装置であって、
前記第2の映像信号処理部は、前記第1の映像信号を第1のサイズの1以上の分割エリアと、前記第1のサイズより小さい第2のサイズの複数の分割エリアとに区分するように構成される
映像信号処理装置。
(30)前記(29)に記載の映像信号処理装置であって、
前記第2の映像信号処理部は、前記第1のサイズの1以上の分割エリアを前記第1の映像信号による映像空間の中央部に配置し、前記第2のサイズの複数の分割エリアを前記第1のサイズの1以上の分割エリアの周囲に配置するように構成される
映像信号処理装置。
(31)前記(27)ないし(30)のいずれかに記載の映像信号処理装置であって、
前記第2の映像信号処理部は、個々の前記ブロックを、複数の分割エリアに跨るような位置に設定するように構成される
映像信号処理装置。
(32)前記(27)ないし(31)のいずれかに記載の映像信号処理装置であって、
前記第2の映像信号処理部は、
前記第1の映像信号からダウンコンバートによって前記第2の解像度を有する第3の映像信号を生成するダウンコンバータと、
前記第2の映像信号と前記第3の映像信号とを切り替える切替部と
をさらに具備する映像信号処理装置。
(33)前記(27)ないし(32)のいずれかに記載の映像信号処理装置であって、
前記第2の映像信号処理部は、前記第2の映像信号の輪郭を強調する処理を、前記ブロック間の繋ぎ目をスキップして行うディテール処理部をさらに有する
映像信号処理装置。
(34)第1の映像信号処理部が、撮像装置により得られた画素信号から第1の解像度の第1の映像信号を生成し、
第2の映像信号処理部が、前記第1の映像信号を空間的に区分する複数の分割エリアを設定し、個々の前記分割エリア毎に、前記第1の映像信号から対応する前記分割エリアのサイズ未満の領域の前記第1の映像信号をブロックとして切り出し、互いに繋ぎ合せることによって、前記第1の解像度より低い第2の解像度の第2の映像信号を生成する
映像信号処理方法。
(35)前記(34)に記載の映像信号処理方法であって、
前記分割エリアのサイズは横3×縦3画素以上であり、前記ブロックのサイズは横2×縦1画素以上および横1×縦2画素以上のいずれかである
映像信号処理方法。
(36)前記(34)または(35)に記載の映像信号処理方法であって、
前記第2の映像信号処理部は、前記第1の映像信号を第1のサイズの1以上の分割エリアと、前記第1のサイズより小さい第2のサイズの複数の分割エリアとに区分する
映像信号処理方法。
(37)前記(36)に記載の映像信号処理方法であって、
前記第2の映像信号処理部は、前記第1のサイズの1以上の分割エリアを前記第1の映像信号による映像空間の中央部に配置し、前記第2のサイズの複数の分割エリアを前記第1のサイズの1以上の分割エリアの周囲に配置する
映像信号処理方法。
(38)前記(34)ないし(37)のいずれかに記載の映像信号処理方法であって、
前記第2の映像信号処理部は、個々の前記ブロックを、複数の分割エリアに跨るような位置に設定する
映像信号処理方法。
(39)前記(34)ないし(38)のいずれかに記載の映像信号処理方法であって、
前記第2の映像信号処理部は、
前記第1の映像信号からダウンコンバートによって前記第2の解像度を有する第3の映像信号を生成し、
前記第2の映像信号と前記第3の映像信号とを切り替えて出力する
映像信号処理方法。
(40)前記(34)ないし(39)のいずれかに記載の映像信号処理方法であって、
前記第2の映像信号処理部は、前記第2の映像信号の輪郭を強調する処理を、前記ブロック間の繋ぎ目をスキップして行う
映像信号処理方法。
1…撮像装置
11…光学ブロック
12…撮像部
13…本線映像信号処理部
14…伝送部
15…VF信号処理部
16…VF
17…制御ユニット
18…操作入力部
151…ダウンコンバータ
152…ブロック連結部
153…切替部
154…ディテール処理部

Claims (17)

  1. 撮像素子を有する撮像部と、
    前記撮像部により得られた画素信号から第1の解像度の第1の映像信号を生成する第1の映像信号処理部と、
    前記第1の映像信号処理部により生成された前記第1の映像信号の少なくとも一部を空間的に区分する複数の分割エリアを設定し、個々の前記分割エリア毎に、前記第1の映像信号から対応する前記分割エリアのサイズ未満の領域の前記第1の映像信号をブロックとして切り出し、互いに繋ぎ合せることによって、前記第1の解像度より低い第2の解像度の第2の映像信号を生成する第2の映像信号処理部と、
    前記第2の映像信号を表示するビューファインダーと
    を具備する撮像装置。
  2. 請求項1に記載の撮像装置であって、
    前記分割エリアのサイズは横3×縦3画素以上であり、前記ブロックのサイズは横2×縦1画素以上および横1×縦2画素以上のいずれかである
    撮像装置。
  3. 請求項2に記載の撮像装置であって、
    前記第2の映像信号処理部は、前記第1の映像信号を第1のサイズの1以上の分割エリアと、前記第1のサイズより小さい第2のサイズの複数の分割エリアとに区分するように構成される
    撮像装置。
  4. 請求項3に記載の撮像装置であって、
    前記第2の映像信号処理部は、前記第1のサイズの1以上の分割エリアを前記第1の映像信号による映像空間の中央部に配置し、前記第2のサイズの複数の分割エリアを前記第1のサイズの1以上の分割エリアの周囲に配置するように構成される
    撮像装置。
  5. 請求項4に記載の撮像装置であって、
    前記第2の映像信号処理部は、個々の前記ブロックを、複数の分割エリアに跨るような位置に設定するように構成される
    撮像装置。
  6. 請求項1に記載の撮像装置であって、
    前記第2の映像信号処理部は、
    前記第1の映像信号からダウンコンバートによって前記第2の解像度を有する第3の映像信号を生成するダウンコンバータと、
    前記第2の映像信号と前記第3の映像信号とを切り替える切替部と
    をさらに具備する撮像装置。
  7. 請求項1に記載の撮像装置であって、
    前記第2の映像信号処理部は、前記第2の映像信号の輪郭を強調する処理を、前記ブロック間の繋ぎ目をスキップして行うディテール処理部をさらに有する
    撮像装置。
  8. 請求項1に記載の撮像装置であって、
    前記第2の映像信号処理部により生成された前記第2の映像信号を外部機器に出力する出力部を
    さらに具備する撮像装置。
  9. 請求項1に記載の撮像装置であって、
    ユーザによる操作を受け付ける少なくとも1つ以上の操作子を有する操作入力部を更に具備し、
    前記制御部は、撮影時、前記少なくとも1つ以上の操作子の状態を検出し、前記操作に基づいた設定情報を前記第2の映像信号処理部の動作にリアルタイムで反映させるように構成される
    撮像装置。
  10. 請求項9に記載の撮像装置であって、
    前記設定情報は前記分割エリアの数である
    撮像装置。
  11. 請求項9に記載の撮像装置であって、
    前記設定情報は前記ブロックのサイズである
    撮像装置。
  12. 請求項9に載の撮像装置であって、
    前記設定情報は前記ブロックの位置である
    撮像装置。
  13. 請求項9に記載の撮像装置であって、
    前記設定情報は前記第1の映像信号を前記第1のサイズの1以上の分割エリアと前記第2のサイズの複数の分割エリアとに区分することのオン/オフである
    撮像装置。
  14. 撮像素子を有する撮像部と、
    前記撮像部により得られた画素信号から第1の解像度の第1の映像信号を生成する第1の映像信号処理部と、
    外縁部の前記第1の映像信号をダウンコンバートしてダウンコンバート映像を生成し、前記外縁部の内側の領域の前記第1の映像信号を空間的に区分する複数の分割エリアを設定し、個々の前記分割エリア毎に、前記第1の映像信号から対応する前記分割エリアのサイズ未満の領域の前記第1の映像信号をブロックとして切り出し、互いに繋ぎ合せることによってブロック連結映像を生成し、前記ダウンコンバート映像と前記ブロック連結映像とを繋ぎ合せて前記第1の解像度より低い第2の解像度の第2の映像信号を生成する第2の映像信号処理部と、
    前記第2の映像信号を表示するビューファインダーと
    を具備する撮像装置。
  15. 撮像装置により得られた画素信号から第1の解像度の第1の映像信号を生成する第1の映像信号処理部と、
    前記第1の映像信号処理部により生成された前記第1の映像信号を空間的に区分する複数の分割エリアを設定し、個々の前記分割エリア毎に、前記第1の映像信号から対応する前記分割エリアのサイズ未満の領域の前記第1の映像信号をブロックとして切り出し、互いに繋ぎ合せることによって、前記第1の解像度より低い第2の解像度の第2の映像信号を生成する第2の映像信号処理部と
    を具備する映像信号処理装置。
  16. 第1の映像信号処理部が、撮像装置により得られた画素信号から第1の解像度の第1の映像信号を生成し、
    第2の映像信号処理部が、前記第1の映像信号を空間的に区分する複数の分割エリアを設定し、個々の前記分割エリア毎に、前記第1の映像信号から対応する前記分割エリアのサイズ未満の領域の前記第1の映像信号をブロックとして切り出し、互いに繋ぎ合せることによって、前記第1の解像度より低い第2の解像度の第2の映像信号を生成する
    映像信号処理方法。
  17. 撮像素子を有する撮像部と、
    前記撮像部により得られた画素信号から第1の解像度の第1の映像信号を生成する第1の映像信号処理部と、
    前記第1の映像信号処理部により生成された前記第1の映像信号の少なくとも一部を空間的に区分する複数の分割エリアを設定し、個々の前記分割エリア毎に、前記第1の映像信号から対応する前記分割エリアのサイズ未満の領域の前記第1の映像信号をブロックとして切り出し、互いに繋ぎ合せることによって、前記第1の解像度より低い第2の解像度の第2の映像信号を生成する第2の映像信号処理部と、
    前記第2の映像信号を出力する出力部と
    を具備する撮像装置。
JP2019505907A 2017-03-15 2018-03-06 撮像装置、映像信号処理装置および映像信号処理方法 Active JP7092111B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017050621 2017-03-15
JP2017050621 2017-03-15
PCT/JP2018/008601 WO2018168578A1 (ja) 2017-03-15 2018-03-06 撮像装置、映像信号処理装置および映像信号処理方法

Publications (2)

Publication Number Publication Date
JPWO2018168578A1 true JPWO2018168578A1 (ja) 2020-05-14
JP7092111B2 JP7092111B2 (ja) 2022-06-28

Family

ID=63523893

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019505907A Active JP7092111B2 (ja) 2017-03-15 2018-03-06 撮像装置、映像信号処理装置および映像信号処理方法

Country Status (5)

Country Link
US (1) US11039067B2 (ja)
EP (1) EP3598735A4 (ja)
JP (1) JP7092111B2 (ja)
CN (1) CN110383817B (ja)
WO (1) WO2018168578A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3586717B1 (en) * 2017-03-27 2023-07-05 Sony Olympus Medical Solutions Inc. Control device and endoscope system
CN114500702B (zh) * 2022-01-30 2023-01-06 上海傲显科技有限公司 基于子像素排列分段方法、移动终端和终端可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050128333A1 (en) * 2003-12-15 2005-06-16 Samsung Techwin Co., Ltd. Method of controlling digital photographing apparatus
JP2007259104A (ja) * 2006-03-23 2007-10-04 Fujifilm Corp 2画面間の移動ベクトル算出方法及びその装置
JP2014222801A (ja) * 2013-05-13 2014-11-27 ソニー株式会社 撮像装置、撮像方法、プログラム
JP2016066838A (ja) * 2014-09-22 2016-04-28 キヤノン株式会社 撮像装置、表示装置の制御方法ならびにプログラム
JP2016197819A (ja) * 2015-04-03 2016-11-24 キヤノン株式会社 表示制御装置及びその制御方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4658401B2 (ja) 2001-07-27 2011-03-23 オリンパス株式会社 撮像装置
JP2005142680A (ja) * 2003-11-04 2005-06-02 Olympus Corp 画像処理装置
JP2007336257A (ja) 2006-06-15 2007-12-27 Matsushita Electric Ind Co Ltd フォーカスアシスト機能付撮像装置
US20100214445A1 (en) * 2009-02-20 2010-08-26 Sony Ericsson Mobile Communications Ab Image capturing method, image capturing apparatus, and computer program
JP5490514B2 (ja) 2009-12-22 2014-05-14 三星電子株式会社 撮像装置及び撮像方法
US8558915B2 (en) 2009-12-22 2013-10-15 Samsung Electronics Co., Ltd. Photographing apparatus and method
KR20140054518A (ko) * 2012-10-29 2014-05-09 삼성전자주식회사 영상처리장치 및 그 제어방법
US10491828B2 (en) 2015-04-03 2019-11-26 Canon Kabushiki Kaisha Display control apparatus and control method of the same
US20160295122A1 (en) * 2015-04-03 2016-10-06 Canon Kabushiki Kaisha Display control apparatus, display control method, and image capturing apparatus

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050128333A1 (en) * 2003-12-15 2005-06-16 Samsung Techwin Co., Ltd. Method of controlling digital photographing apparatus
JP2007259104A (ja) * 2006-03-23 2007-10-04 Fujifilm Corp 2画面間の移動ベクトル算出方法及びその装置
JP2014222801A (ja) * 2013-05-13 2014-11-27 ソニー株式会社 撮像装置、撮像方法、プログラム
JP2016066838A (ja) * 2014-09-22 2016-04-28 キヤノン株式会社 撮像装置、表示装置の制御方法ならびにプログラム
JP2016197819A (ja) * 2015-04-03 2016-11-24 キヤノン株式会社 表示制御装置及びその制御方法

Also Published As

Publication number Publication date
WO2018168578A1 (ja) 2018-09-20
CN110383817A (zh) 2019-10-25
CN110383817B (zh) 2021-06-29
EP3598735A1 (en) 2020-01-22
US20190394395A1 (en) 2019-12-26
JP7092111B2 (ja) 2022-06-28
US11039067B2 (en) 2021-06-15
EP3598735A4 (en) 2020-03-11

Similar Documents

Publication Publication Date Title
JP7095693B2 (ja) 医療用観察システム
WO2019239942A1 (ja) 手術用観察装置、手術用観察方法、手術用光源装置、及び手術用の光照射方法
US11729519B2 (en) Video signal processing apparatus, video signal processing method, and image-capturing apparatus
JP2019004978A (ja) 手術システムおよび手術用撮像装置
JP7092111B2 (ja) 撮像装置、映像信号処理装置および映像信号処理方法
US11729493B2 (en) Image capture apparatus and image capture method
JP7063321B2 (ja) 撮像装置、映像信号処理装置および映像信号処理方法
JPWO2018142993A1 (ja) 発光制御装置、発光制御方法、プログラム、発光装置、および撮像装置
WO2020203265A1 (ja) 映像信号処理装置、映像信号処理方法および撮像装置
WO2018043205A1 (ja) 医療用画像処理装置、医療用画像処理方法、プログラム
JPWO2020045014A1 (ja) 医療システム、情報処理装置及び情報処理方法
WO2021010020A1 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム
JP7456385B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
WO2022004250A1 (ja) 医療システム、情報処理装置及び情報処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220411

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20220411

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220517

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220530

R151 Written notification of patent or utility model registration

Ref document number: 7092111

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151