JP6338772B2 - 画像処理装置及び画像処理システム - Google Patents

画像処理装置及び画像処理システム Download PDF

Info

Publication number
JP6338772B2
JP6338772B2 JP2017519696A JP2017519696A JP6338772B2 JP 6338772 B2 JP6338772 B2 JP 6338772B2 JP 2017519696 A JP2017519696 A JP 2017519696A JP 2017519696 A JP2017519696 A JP 2017519696A JP 6338772 B2 JP6338772 B2 JP 6338772B2
Authority
JP
Japan
Prior art keywords
video signal
image
mask
unit
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017519696A
Other languages
English (en)
Other versions
JPWO2016199735A1 (ja
Inventor
宏 玉井
宏 玉井
忠夫 江藤
忠夫 江藤
佐野　大輔
大輔 佐野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2016199735A1 publication Critical patent/JPWO2016199735A1/ja
Application granted granted Critical
Publication of JP6338772B2 publication Critical patent/JP6338772B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25825—Management of client data involving client display capabilities, e.g. screen resolution of a mobile phone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4516—Management of client data or end-user data involving client characteristics, e.g. Set-Top-Box type, software version or amount of memory available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4545—Input to filtering algorithms, e.g. filtering a region of the image
    • H04N21/45455—Input to filtering algorithms, e.g. filtering a region of the image applied to a region of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects
    • H04N9/76—Circuits for processing colour signals for obtaining special effects for mixing of colour signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Description

本発明は、撮像素子にて撮像して得られた撮像信号に対して画像処理を施す画像処理システムに関する。
画像処理システムでは、撮像素子から出力された撮像信号に対して各種の画像処理を施し、得られた画像信号を、モニターやプリンタ等の外部デバイスに出力する。
例えば、電子内視鏡装置においては、スコープから出力された撮像信号に画像処理を施して得られた内視鏡画像をモニターに表示する際には、撮像素子の撮像領域のすべてをモニターに表示させるのではなく、マスク領域を設けるのが一般的である。モニターには、撮像素子の撮像領域うちの所定の領域の画像のみが表示される。
このようなマスク領域を有する画像に対して変倍処理を施す技術に関しては、画素を１ビット情報で表した変倍マスク信号を用いることにより、画像処理に要する時間を短縮する技術について開示されている（例えば、特許文献１）。
また、カラーフィルタの設けられたスコープで撮像して得られる画像を、カラーフィルタの種類によらずに同一の色を撮像した場合常に同じ色空間上の一点で表されるカラー画像を表示させる技術についても開示されている（例えば、特許文献２）。また、これにおいて、スコープの種類に応じてマスクされる領域の大きさを決定することについても開示されている。
更には、出力先のデバイスごとに映像処理回路や表示制御回路を備え、内視鏡映像信号を分配してこれらの回路に与え、それぞれの回路で処理を施す技術についても開示されている（例えば、特許文献３）。
特開２００１−２２４０１７号公報 特開２００６−１１５９６３号公報 特開２００５−１３４０９号公報
ネットワーク技術の進展等により、画像処理システムと複数の外部デバイスとを接続し、各デバイスに向けて映像を出力していくような形態も、今後更に一般的になっていくものと見込まれる。その際には、従来における画像処理の方法をそのまま用いるとすると、例えば複数のモニターのそれぞれに画像を表示させるために、各モニター向けの画像処理を何回も実施する必要が生じる。これによる問題点について、図４を参照して具体的に説明する。
図４は、特許文献１における従来の画像サイズを変更する方法の概要を示す図であり、（Ａ）〜（Ｄ）は、マスク映像の倍率を変更する処理の各段階の状態を示している。図４に示すように、このような方法では、画像処理中の（Ｂ）や（Ｃ）の段階では、画像をモニターに表示させることができず、（Ｄ）の段階になるまで待機する必要がある。このような画像処理を出力先ごとに行っていたのでは、全てのモニターに映像が表示されるまでに時間を要し、遅延が大きくなってしまう。
本発明は、画像処理システムにおいて、遅延を増大させることなく複数の外部デバイスに画像信号を出力することを可能とする技術を提供することを目的とする。
本発明の一態様に係る画像処理装置によれば、撮像素子から出力される撮像信号に基づいて生成された映像信号を、出力先であるデバイスの表示領域のサイズに応じて前記映像信号を複製する映像信号分配部と、前記映像信号分配部により複製された前記映像信号に対して、出力先であるデバイスの解像度に合せて前記映像信号を拡縮する映像信号拡縮部と、前記映像信号拡縮部より出力された前記映像信号を受信し、前記映像信号に対して出力先であるデバイスの表示領域のサイズうちの第１の表示領域のサイズに応じた倍率に画サイズ変更処理を行う第１の画サイズ変更処理部と、前記映像信号拡縮部より出力された前記映像信号を受信し、前記映像信号に対して出力先であるデバイスの表示領域のサイズうちの第２の表示領域のサイズに応じた倍率に画サイズ変更処理を行う第２の画サイズ変更処理部と、を備えることを特徴とする。
本発明によれば、画像処理システムにおいて、遅延を増大させることなく複数の外部デバイスに向けて画像信号を出力することが可能となる。
実施形態に係る画像処理システムの構成図である。 実施形態に係る画像処理システムの構成図である。 マスク映像の画サイズの拡縮について説明する図である。 映像信号及びマスク映像信号を模式的に示す図である。 従来における画サイズを変更する方法の概要を示す図である。
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
図１Ａ、図１Ｂは、本実施形態に係る画像処理システムの構成図である。図１Ａ、図１Ｂに示すように、本実施形態に係る画像処理システムは、例えば、内視鏡システムのビデオプロセッサに適用される。ビデオプロセッサは、スコープ先端に配置される撮像素子にて撮像して得られた撮像信号を処理して内視鏡映像を得て、得られた内視鏡映像や画像を、接続部を介して接続されているモニターやプリンタ等の複数のデバイスに出力する。
本実施形態に係る画像処理システムは、ストリーム映像分配部１３、１４Ａ、１４Ｂ、ストリーム映像拡縮部１５Ａ、１５Ｂ、画サイズ変更処理部１１Ａ、１１Ｂ、１２Ａ、１２Ｂ、マスク映像生成部１６Ａ、１６Ｂ及びインデックス映像生成部１７Ａ、１７Ｂ並びにＤＤＲ（Double-Data-Rate）メモリ１８を含んで構成される。
図１Ａ、図１Ｂの画像処理システムには、スコープから入力された撮像信号から生成された内視鏡映像のビットストリーム信号とともに、撮像素子の有効領域のうちの所定の領域のみを出力するためのマスク映像信号が入力される。画像処理システムは、入力された内視鏡映像のストリーム信号とマスク映像信号とから、出力先のデバイスである複数のモニターのそれぞれに応じたマスクされた内視鏡映像を生成する。マスクされた内視鏡映像を、以下においてはマスク映像ともいう。
まず、図１Ａ、図１Ｂの画像処理システムでは、撮像により得られたインタレース映像信号をＩ／Ｐ（インタレース／プログレッシブ）変換して得られるプログレッシブ映像信号が、マスク映像信号とともに、ストリーム映像分配部１３に入力される。
ストリーム映像分配部１３は、プログレッシブ映像信号及びマスク映像信号を、出力先のデバイス数に応じて分配し、分配された映像信号及びマスク映像信号を出力する。具体的には、ストリーム映像分配部１３は、映像信号及びマスク映像信号をコピーして、複数の出力先に出力する。本実施形態においては、マスク映像信号は、透過信号から構成される。透過信号は、映像信号に重畳されて伝送され、映像信号をモニターに表示させる際にはこれを透過させるか否か、すなわち、マスク映像として出力させるか否かを画素単位で設定する。透過信号については、後に図面を参照して具体的に説明する。
実施例では、ストリーム映像分配部１３から出力された映像信号及びマスク映像信号は、更にストリーム映像分配部１４Ａ、１４Ｂに入力される。
ストリーム映像分配部１４Ａ、１４Ｂは、ストリーム映像分配部１３から入力された映像信号を、それぞれ２つに分配し、分配した２つの映像信号の一方で、マスク映像を、他方で、インデックス映像を生成する。
ここで、インデックス映像とは、レリーズ操作がなされたことをモニター上に表すため、また、レリーズされた画像をユーザがモニターで確認可能とするために、モニター上に表示する画像であり、レリーズ操作のタイミングのフレーム画像からなる。インデックス映像は、マスク映像と比較して小さいサイズでモニター上に出力されるのが一般的である。
ストリーム映像分配部１４Ａ、１４Ｂから出力された映像信号及びマスク映像信号は、それぞれストリーム映像拡縮部１５Ａ、１５Ｂに入力される。
ストリーム映像拡縮部１５Ａ、１５Ｂは、出力先のデバイスであるモニターに応じて映像信号及びマスク映像信号の拡縮処理を施す。図１Ａ、図１Ｂに示す例では、出力先のモニターは、それぞれＨＤＴＶ（High Definition Television）及びＳＤＴＶ（Standard Definition Television）である。ストリーム映像拡縮部１５Ａ、１５Ｂは、出力先のモニターの解像度に合わせて映像信号及びマスク映像信号を拡縮させる。
ＨＤＴＶ用に、ストリーム映像拡縮部１５Ａから出力された映像信号及びマスク映像信号は、画サイズ変更処理部１１Ａ、１２Ａに入力される。ＳＤＴＶ用に、ストリーム映像拡縮部１５Ｂから出力された映像信号及びマスク映像信号は、画サイズ変更処理部１１Ｂ、１２Ｂに入力される。
ユーザがユーザ操作部３０を介して拡大または縮小の指示を入力した場合には、画サイズ変更処理部１１Ａ、１１Ｂ、１２Ａ、１２Ｂは、映像信号及びマスク映像信号に対して、マスク映像やインデックス映像の倍率に画サイズ変更処理を施す。画サイズを拡大する際の倍率や縮小する際の倍率等の画サイズの変更倍率に関する情報は、出力先の外部デバイスごとに、予め不揮発性メモリ等の記憶部（不図示）に記憶されている。画サイズ変更処理部１１Ａ、１１Ｂ、１２Ａ、１２Ｂは、それぞれメモリ等から出力先の外部デバイスに対応する画サイズの変更倍率に関する情報を読み出し、読み出した情報にしたがって、画サイズ変更処理を施す。画サイズ変更処理の詳細については後述する。
画サイズ変更処理を施された映像信号及びマスク映像信号は、マスク映像生成部１６Ａ、１６Ｂやインデックス映像生成部１７Ａ、１７Ｂに入力される。
マスク映像生成部１６Ａ、１６Ｂ、インデックス映像生成部１７Ａ、１７Ｂは、それぞれ画サイズ変更処理部１１Ａ、１１Ｂ、１２Ａ、１２Ｂから入力された映像信号とマスク映像信号とを合成して、合成画像信号を生成する。生成された合成画像信号は、ＤＭＡ（Direct Memory Access）転送され、ＤＤＲメモリ１８に書き込まれる。
ＤＤＲメモリ１８は、マスク映像生成部１６Ａ、１６Ｂ、インデックス映像生成部１７Ａ、１７Ｂからメモリバスを介して転送された合成画像信号を保持し、保持する合成画像信号を、それぞれのインタフェース部（不図示）を介してモニターに向けて出力する。
このように、本実施形態に係る画像処理システムによれば、ユーザ操作部３０を介してモニターに表示する内視鏡映像を拡大または縮小するよう指示されると、モニターごとに画サイズの変更（拡大または縮小）の処理を並列で実施する。出力先デバイスごとに画サイズ変更処理部（図１Ａ、図１Ｂの例では画サイズ変更処理部１１Ａ及び１１Ｂ）を備えているため、他のモニター向けの合成画像信号が生成されるまで待機する必要がないため、合成画像信号は、遅延なくモニターに向けて出力される。
次に、図１Ａ、図１Ｂの画サイズ変更処理部１１Ａ、１１Ｂの構成及びマスク映像の画サイズを変更する方法について具体的に説明する。以下の説明においては、ＨＤＴＶ用の画サイズ変更処理部１１ＡとＳＤＴＶ用の画サイズ変更処理部１１Ｂとで区別する必要がない場合は、Ａ、Ｂの符号は省略して記載することとする。
画サイズ変更処理部１１は、マスク信号抽出部２１、映像信号抽出部２２、マスク用拡縮部２３、観察画像拡縮部２４及びマスク映像混合部２５を含んで構成される。先述のとおり、画サイズ変更処理部１１には、ストリーム映像拡縮部１５において出力先のモニターの解像度に応じて拡縮されたストリーム映像信号及びマスク映像信号が入力される。
画サイズ変更処理部１１にて入力されたストリーム映像信号とマスク映像信号をどのように処理してマスク映像を拡大や縮小させるかについて説明する前に、まず、図面を参照して、マスク映像について説明することとする。
図２は、マスク映像の画サイズの拡縮について説明する図である。
図２の左列には、撮像素子の有効領域と、マスク領域とを模式的に示す。実施例では、マスク領域は八角形である。
撮像素子の種類によって、撮像素子の有効領域のうちのいずれの領域の画素をマスク領域とするか、また、いずれの箇所をマスク領域とするかは異なる。図面においては、撮像素子の種類によってマスク領域に設定される範囲や位置が異なることを視認しやすくするため、撮像素子の有効領域をＲ（赤）、Ｇ（緑）、Ｂ（青）を用いて表している。図２においては、（１）乃至（３）の３とおりを示す。
図１Ａ、図１Ｂの画像処理システムを有する内視鏡システムは、スコープ先端の撮像素子の種類に応じたマスク領域の範囲や位置、その形状等のマスク領域に関する情報を、図１Ａ、図１Ｂにおいては不図示の不揮発性メモリ等の記憶部に保持している。当該内視鏡システムにおいては、使用される撮像素子の種類に対応するマスク領域の範囲や位置、形状等の情報をメモリ等から読み出し、読み出した情報に基づいて、ストリーム映像信号と対応付けてマスク映像信号を生成する。すなわち、ストリーム映像信号により表される画素データのうち、マスク映像として使用する画素データには、これと対応付けて、その画素データを透過とすべきことを表す値をマスク映像信号に設定する。マスク映像として使用しない画素データ（マスク領域外の画素データ）には、これと対応付けて、その画素データを非透過とすべきことを表す値をマスク映像信号に設定する。
画サイズ変更処理部１１のうち、マスク信号抽出部２１は、入力された信号の中からマスク領域を表すマスク映像信号を抽出し、映像信号抽出部２２は、ストリーム映像信号を抽出する。マスク信号抽出部２１及び映像信号抽出部２２は、メモリ等からマスク領域の範囲や位置、その形状等のマスク領域に関する情報を読み出して、入力された信号のうち、マスク領域に含まれる映像信号及びマスク映像信号をそれぞれ判断することにより抽出を行う。マスク信号抽出部２１により抽出されたマスク映像信号は、マスク用拡縮部２３に入力され、映像信号抽出部２２により抽出された映像信号は、観察画像拡縮部２４に入力される。
マスク用拡縮部２３は、設定された倍率にしたがってマスクの拡縮処理を実施し、観察画像拡縮部２４は、内視鏡画像の拡縮処理を実施する。
実施例では、ユーザ操作部３０を介して拡大または縮小の指示が入力されると、それぞれ１．０を上回る、または１．０を下回る所定の倍率を設定する。
図２の中列（図２中央の３列）には、左から順に通常倍率の画像、拡大画像及び縮小画像を模式的に示す。拡大または縮小画像では、図２の左列のマスク領域の画像が、それぞれ拡大・縮小され、これに応じてマスクも拡大・縮小されている。
なお、図２の右列には、ユーザ操作部３０の操作に応じて拡縮させた画像と比較するために、電子ズームによる拡大画像を示す。この場合は、マスク領域の大きさは変更せず、領域内の画像のみが拡大される。
観察画像拡縮部２４及びマスク用拡縮部２３に、あるラインの映像信号及びマスク映像信号が入力された場合に、画像の拡縮処理によって映像信号及びマスク映像信号（透過信号）がどのように変更されるかについて、図３を参照して説明する。
図３は、映像信号及びマスク映像信号（透過信号）を模式的に示す図である。図３においては、あるラインの映像信号及びマスク映像信号が拡縮処理によりどのように変更されるかを、（１）〜（３）の３とおりを示している。
（１）は縮小処理後、（２）は拡大処理後、（３）は拡縮処理を施していない通常倍率における映像信号及びマスク映像信号（透過信号ａ）を示す。いずれの倍率画像においても、透過信号ａは、マスク映像を構成する映像信号と対応付けて「透過（オン）」に設定される。
図３に模式的に示すように、観察画像拡縮部２４は、ユーザ操作部３０の操作により設定された所定の倍率に応じて、ライン上の画素数を変更（増加または減少）させる。これとともに、マスク用拡縮部２３は、映像信号の画素数を増加または減少させた割合と同様の割合で、ライン上の透過信号を増加または減少させる。例えば図１Ａ、図１Ｂの観察画像拡縮部２４Ａ及びマスク用拡縮部２３Ａを例にとると、観察画像拡縮部２４がマスク映像の画素数をｃ倍に変更する場合には、マスク用拡縮部２３もまた、透過信号ａの画素数をｃ倍に変更する。観察画像拡縮部２４及びマスク用拡縮部２３にて拡縮処理を施された映像信号及びマスク映像信号（透過信号ａ）は、ともにマスク映像混合部２５に入力される。
マスク映像混合部２５では、観察画像拡縮部２４及びマスク用拡縮部２３から入力される信号の同期をとって、マスク生成部１６に出力する。マスク生成部１６では、アルファブレンディングにより、映像信号と透過信号とからマスク映像２０を生成する。具体的には、マスク生成部１６は、映像信号のうち、対応する透過信号ａに「透過」を表す値の設定されている画素については、マスク映像を構成する画素と判断して透過させ、他の画素は非透過とすることで、マスク映像２０を生成する。
生成されたマスク映像２０は、ＤＭＡ転送によりＤＤＲメモリ１８に書き込まれ、ＤＤＲメモリ１８から出力先のデバイスへとマスク映像の信号が出力される点については、先に述べたとおりである。
画サイズ変更処理部１１において観察画像拡縮部２４及びマスク用拡縮部２３が同倍率で拡縮処理を施すことで、マスク生成部１６にて拡大または縮小したマスク映像を生成する際には、透過信号により映像信号のうちいずれがマスク映像を構成するかを判断すれば足り、したがって、拡大または縮小したマスク映像の生成処理を高速に行うことが可能となる。
なお、図１Ａ、図１Ｂの画像処理システムによれば、レリーズ操作がなされたことをモニター上に表すためのインデックス映像についても、マスク映像と同様に、ユーザ操作部３０の操作にしたがって拡縮可能である。マスク映像と比較すると、インデックス映像では、１フレームの画像のうちのインデックス映像の配置される位置、インデックス映像のサイズ及び拡大または縮小の倍率については、マスク映像と異なる。しかし、画サイズの変更方法については、画サイズ変更処理部１１Ａ、１１Ｂと同様である。このため、インデックス映像の画サイズを変更する画サイズ変更処理部１２Ａ、１２Ｂの構成、例えばマスク信号抽出部２１、映像信号抽出部２２、マスク用拡縮部２３等については、マスク映像の画サイズを変更する画サイズ変更処理部１１Ａ、１１Ｂと同様の符号を用いている。変更後の画サイズの倍率がｃ倍、ｄ倍、ｅ倍及びｆ倍と異なっているため、各構成要素の符号に「Ａ」〜「Ｄ」を付して区別をしている。
以上説明したように、図１Ａ、図１Ｂの画像処理システムは、画サイズ変更処理部１１により、透過信号ａを用いてマスク映像の拡縮を行う。透過信号ａを用いることで、拡縮前の原画像及びマスクに対してそれぞれについて拡縮処理を施す、といった煩雑な処理を不要とし、簡易にマスク映像を拡縮させることが可能となる。また、原画像及びマスクのそれぞれについて拡縮処理を施す方法と異なり、ストリーム映像信号を先頭から順次処理して出力していくことが可能となり、１フレーム分の画像データが生成されるまで待つことなく、処理の完了した画素から順にモニターに画像を表示していくことも可能となる。
本発明は、上述した実施形態そのままに限定されるものではく、実施段階でのその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素を適宜組み合わせても良い。更に、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このような、発明の趣旨を逸脱しない範囲内において種々の変形や応用が可能であることはもちろんである。
１１Ａ、１１Ｂ、１２Ａ、１２Ｂ 画サイズ変更処理部
１３、１４Ａ、１４Ｂ ストリーム映像分配部
２１Ａ〜２１Ｄ マスク信号抽出部
２２Ａ〜２２Ｄ 映像信号抽出部
２３Ａ〜２３Ｄ マスク用拡縮部
２４Ａ〜２４Ｄ 観察画像拡縮部
２５Ａ〜２５Ｄ マスク映像混合部

Claims (7)

  1. 撮像素子から出力される撮像信号に基づいて生成された映像信号を、出力先であるデバイスの表示領域のサイズに応じて前記映像信号を複製する映像信号分配部と、
    前記映像信号分配部により複製された前記映像信号に対して、出力先であるデバイスの解像度に合せて前記映像信号を拡縮する映像信号拡縮部と、
    前記映像信号拡縮部より出力された前記映像信号を受信し、前記映像信号に対して出力先であるデバイスの表示領域のサイズうちの第１の表示領域のサイズに応じた倍率に画サイズ変更処理を行う第１の画サイズ変更処理部と、
    前記映像信号拡縮部より出力された前記映像信号を受信し、前記映像信号に対して出力先であるデバイスの表示領域のサイズうちの第２の表示領域のサイズに応じた倍率に画サイズ変更処理を行う第２の画サイズ変更処理部と、
    を備えることを特徴とする画像処理装置。
  2. 前記第１及び第２の画サイズ変更処理部は、
    前記映像信号分配部により前記第１の表示領域のサイズ用に分配された第１の映像信号及び前記第２の表示領域のサイズ用に分配された第２の映像信号から、それぞれ非表示領域に対応するマスク映像信号を抽出するマスク信号抽出部と、
    前記映像信号分配部により分配された前記第１及び第２の映像信号から、それぞれ表示領域に対応する映像信号を抽出する映像信号抽出部と、備え、
    前記第１及び第２の画サイズ変更処理部から出力される前記マスク映像信号及び前記表示領域に対応する映像信号を合成して合成画像信号を生成し、出力先である前記デバイスへと出力する画像信号合成部を備える、
    ことを特徴とする請求項１記載の画像処理装置。
  3. 前記マスク信号抽出部及び前記映像信号抽出部は、それぞれ前記マスク映像信号及び前記表示領域に対応する映像信号が同倍率となるよう信号の抽出を行い、抽出した前記マスク映像信号及び前記表示領域に対応する映像信号を前記画像信号合成部に出力する
    ことを特徴とする請求項２記載の画像処理装置。
  4. 前記マスク映像信号として前記表示領域に対応する映像信号に重畳された透過信号により、前記表示領域に対応する映像信号を前記デバイスへ出力させて前記第１及び第２の表示領域へ表示させる際に、透過させるか又はマスクして非透過にするかを、画素単位で設定するマスク生成部を備える
    ことを特徴とする請求項３記載の画像処理装置。
  5. 前記デバイスの前記第１及び第２の表示領域のサイズに応じたサイズ変更倍率に関する情報を記憶する記憶部を更に備え、
    前記第１及び第２の画サイズ変更処理部は、前記記憶部に記憶された前記サイズ変更倍率に関する情報に基づいて、画サイズ変更処理を施す
    ことを特徴とする請求項１記載の画像処理装置。
  6. 前記記憶部は、前記画像処理装置に接続されるスコープに搭載された複数の撮像素子の種類に応じたマスク領域に関するマスク画像情報を更に記憶し、
    前記第１及び第２の画サイズ変更処理部は、前記記憶部に記憶された前記マスク画像情報に基づいて、それぞれの前記マスク映像信号及び前記表示領域に対応する映像信号に対して画サイズ変更処理を施す
    ことを特徴とする請求項５記載の画像処理装置。
  7. 請求項１から請求項６のいずれか一項に記載の画像処理装置が設けられた内視鏡用プロセッサを有する
    ことを特徴とする画像処理システム。
JP2017519696A 2015-06-12 2016-06-06 画像処理装置及び画像処理システム Active JP6338772B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015119745 2015-06-12
JP2015119745 2015-06-12
PCT/JP2016/066811 WO2016199735A1 (ja) 2015-06-12 2016-06-06 画像処理システム

Publications (2)

Publication Number Publication Date
JPWO2016199735A1 JPWO2016199735A1 (ja) 2017-09-07
JP6338772B2 true JP6338772B2 (ja) 2018-06-06

Family

ID=57504728

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017519696A Active JP6338772B2 (ja) 2015-06-12 2016-06-06 画像処理装置及び画像処理システム

Country Status (3)

Country Link
US (1) US10491814B2 (ja)
JP (1) JP6338772B2 (ja)
WO (1) WO2016199735A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11418700B2 (en) * 2017-03-27 2022-08-16 Sony Olympus Medical Solutions Inc. Control device, endoscope system, processing method, and program
JP6936826B2 (ja) * 2019-03-18 2021-09-22 株式会社モリタ製作所 画像処理装置、表示システム、画像処理方法、および画像処理プログラム
CN113767619A (zh) * 2019-06-18 2021-12-07 索尼半导体解决方案公司 发射装置、接收装置和通信系统
CN115314731B (zh) * 2022-06-23 2024-06-25 浙江大华技术股份有限公司 视频处理系统、方法、计算机设备和存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3251076B2 (ja) * 1992-12-21 2002-01-28 オリンパス光学工業株式会社 内視鏡装置
JP3842944B2 (ja) 2000-02-07 2006-11-08 フジノン株式会社 電子内視鏡の電気マスク生成装置
US6670983B2 (en) 2000-02-07 2003-12-30 Fuji Photo Optical Co., Ltd. Electric mask generating apparatus of electronic endoscope
US6885801B1 (en) * 2001-12-06 2005-04-26 Clear Image Technology Llc Enhancement of fiber based images
JP4037688B2 (ja) * 2002-05-28 2008-01-23 オリンパス株式会社 電子内視鏡システムの信号処理装置
JP2005013409A (ja) 2003-06-25 2005-01-20 Olympus Corp 内視鏡装置または内視鏡システム
JP4606838B2 (ja) 2004-10-20 2011-01-05 富士フイルム株式会社 電子内視鏡装置
JP2010051372A (ja) * 2008-08-26 2010-03-11 Fujifilm Corp 内視鏡のプロセッサ装置及び内視鏡画像のマスク処理方法

Also Published As

Publication number Publication date
JPWO2016199735A1 (ja) 2017-09-07
US20180109727A1 (en) 2018-04-19
WO2016199735A1 (ja) 2016-12-15
US10491814B2 (en) 2019-11-26

Similar Documents

Publication Publication Date Title
JP6338772B2 (ja) 画像処理装置及び画像処理システム
WO2017149591A1 (ja) 画像処理装置
JP2008244981A (ja) 映像合成装置および映像出力装置
JP2013073508A (ja) データ処理装置、データ処理方法、及びプログラム
US20180270448A1 (en) Image processing system
US20100172599A1 (en) Image signal scaler and image signal processor including the same
JP2004274724A (ja) 高解像度画像を再構成する方法および装置
JP2014096746A (ja) 画像処理装置及び画像処理方法
JP6239843B2 (ja) 画像処理装置およびその制御方法
JP2015096920A (ja) 画像処理装置および画像処理システムの制御方法
JP7066454B2 (ja) 医療用観察装置
JP4698139B2 (ja) 画像表示装置及びマルチディスプレイ装置
JP2004170475A (ja) 画像処理システム
JP7357734B2 (ja) 撮像装置及びその制御方法
JP2007201816A (ja) 映像表示システム及び映像受信装置
JP6351382B2 (ja) 映像処理装置、その制御方法、およびプログラム
TWI816483B (zh) 偏光式三維顯示系統及其三維資料格式轉換方法
JP5271567B2 (ja) 画像前処理装置
JP2018182551A (ja) 撮像装置
US20240112294A1 (en) Multi-pass writeback with single-pass display consumption
JP2018005389A (ja) 画像変形回路、画像処理装置、及び画像変形方法
JP2006211699A (ja) 画像入力装置における信号処理回路
JP4015682B2 (ja) 画像入力装置における信号処理回路
JP2007298539A (ja) 画像処理システム
JP2017220821A (ja) 画像処理装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170411

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170411

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20170411

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170710

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170718

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180131

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180410

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180508

R151 Written notification of patent or utility model registration

Ref document number: 6338772

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250