JP6412361B2 - 内視鏡用撮像装置 - Google Patents

内視鏡用撮像装置 Download PDF

Info

Publication number
JP6412361B2
JP6412361B2 JP2014155077A JP2014155077A JP6412361B2 JP 6412361 B2 JP6412361 B2 JP 6412361B2 JP 2014155077 A JP2014155077 A JP 2014155077A JP 2014155077 A JP2014155077 A JP 2014155077A JP 6412361 B2 JP6412361 B2 JP 6412361B2
Authority
JP
Japan
Prior art keywords
line data
line
image
interpolation
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014155077A
Other languages
English (en)
Other versions
JP2016030157A (ja
Inventor
雅之 萩原
雅之 萩原
克哉 丹内
克哉 丹内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hoya Corp
Original Assignee
Hoya Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya Corp filed Critical Hoya Corp
Priority to JP2014155077A priority Critical patent/JP6412361B2/ja
Priority to US14/807,087 priority patent/US9978122B2/en
Priority to EP15178626.6A priority patent/EP2981067B1/en
Priority to CN201510455100.8A priority patent/CN105323505B/zh
Publication of JP2016030157A publication Critical patent/JP2016030157A/ja
Application granted granted Critical
Publication of JP6412361B2 publication Critical patent/JP6412361B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/713—Transfer or readout registers; Split readout registers or multiple readout registers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/73—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors using interline transfer [IT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012—Conversion between an interlaced and a progressive signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Veterinary Medicine (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Studio Devices (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本願発明は、画像を拡大する内視鏡用撮像装置に関する。
従来、撮像素子が出力した１フレームの画像を構成する全てのデータを記憶装置に記憶させ、記憶済みのデータを用いて拡大画像を得る構成が知られている。特許文献１は、撮像素子が規則的に出力した複数の走査線データを複数のラインメモリに各々記憶させ、新たな走査線データを補間することにより画像を拡大する構成を開示する。ラインメモリの本数は、補間に用いる走査線の本数よりも１本以上多いことが必要である。補間は、高次の補間を用いてもよい。特許文献２は、撮像素子が間欠的に出力した１フレームのデータ全てをメモリに記憶させ、新たなラインのデータを補間することにより画像を拡大する構成を開示する。
特開平１−２６１０８６号公報 特開２０００−１８４２９５号公報
しかし、特許文献１は、高次の補間について詳細を開示せず、特許文献２において１フレームのデータ全てを記憶する記憶装置を設けると、コストが嵩むばかりでなく、消費電力の増加、基板面積の増加等の問題が生じる。
本発明はこれらの問題に鑑みてなされたものであり、少ないメモリで画像を拡大可能な内視鏡用撮像装置を得ることを目的とする。
本願第１の発明による内視鏡用撮像装置は、１フレームの画像の一部を構成するラインデータを間欠的に出力する撮像素子と、撮像素子が出力したラインデータを記憶する記憶部と、ラインデータを用いて画像を拡大して拡大画像を作成する補間処理部とを備えることを特徴とする。
マスク信号を第２の周期で出力するマスク信号生成部と、パルス信号を第１の周期で出力し、マスク信号を受信したときにパルス信号を出力しないＣＣＤ駆動信号生成部とをさらに備え、撮像素子は、パルス信号を受信したときにラインデータを出力することが好ましい。ラインデータを補間する期間を確保できる。
マスク信号を第２の周期で出力するマスク信号生成部と、パルス信号を第１の周期で出力し、マスク信号を受信したときにパルス信号を出力しないＣＣＤ駆動信号生成部とをさらに備え、補間処理部は、パルス信号を受信したとき記憶部に記憶されているラインデータと、撮像素子から受信したラインデータとを用いて拡大画像を作成し、パルス信号を受信していないときは記憶部に記憶されているラインデータを用いて拡大画像を作成することが好ましい。ラインデータを補間できる。
記憶部は、４つのラインデータを記憶可能であって、補間処理部は、４つのラインデータを用いて拡大画像を作成することが好ましい。少ないメモリで画像を拡大できる。
マスク信号を第２の周期で出力するマスク信号生成部と、パルス信号を第１の周期で出力し、マスク信号を受信したときにパルス信号を出力しないＣＣＤ駆動信号生成部とをさらに備え、撮像素子はＣＣＤであって、パルス信号を受信したときに垂直転送を行ってラインデータを出力し、パルス信号を受信していないときは垂直転送を行なわずラインデータを出力しないことが好ましい。ラインデータを補間する期間を確保できる。
本発明によれば、少ないメモリで画像を拡大可能な内視鏡用撮像装置を得る。
本願発明による内視鏡用撮像装置を有する内視鏡システムを概略的に示したブロック図である。 映像処理回路を概略的に示したブロック図である。 補間処理部を概略的に示したブロック図である。 画像拡大の原理を示した図である。 画像拡大の原理を示した図である。 撮像素子の駆動タイミングを示したタイミングチャートである。
以下、本発明の一実施形態による内視鏡用撮像装置１００を備える内視鏡システム２００について説明する。図１は内視鏡システム２００を概略的に示す図である。内視鏡システム２００は、スコープ１２０と、スコープ１２０に接続される内視鏡プロセッサ１３０と、内視鏡プロセッサ１３０に接続されるモニタ１５０とを主に備える。
内視鏡用撮像装置１００は、撮像素子１０１と、ＣＣＤ駆動信号生成部を成すＣＣＤ駆動回路１０２と、映像処理回路１０３と、マスク信号生成部を成すスコープタイミングコントローラ１０４とを主に備える。
スコープ１２０は、内視鏡用撮像装置１００と、アナログ信号処理回路１２３と、マスク処理回路１２４と、スコープシステムコントローラ１２５と、スコープメモリ１２６と、ライトガイドファイバ１２７とを主に備える。
撮像素子１０１は、複数の画素を格子状に並べたＣＣＤであり、画素に蓄積された電荷をライン毎に出力することによって１フレームの画像を出力する。１ラインの電荷をラインデータと呼ぶ。スコープ１２０の先端部に撮像素子１０１は格納され、患者の体内に挿入されて観察対象物を撮像する。そして、撮像した画像をラインデータ毎にアンプ１２２に送信する。
アンプ１２２は、ラインデータを所定のレベルに増幅し、アナログ信号処理回路１２３に送信する。アナログ信号処理回路１２３は、撮像素子１０１からアナログ信号を受信してデジタル信号に変換し、映像処理回路１０３に送信する。
映像処理回路１０３は、補間処理部１０５と、記憶部を成す複数のラインメモリ１０６とを主に備える。補間処理部１０５は、ラインメモリ１０６を使用しながら、１フレームの画像を処理して通常画像を作成、又は１フレームの画像を拡大して拡大画像を作成することができる。通常画像及び拡大画像はマスク処理回路１２４に送信される。
マスク処理回路１２４は、１フレームの周縁部にマスクを掛け、内視鏡プロセッサ１３０に送信する。
スコープタイミングコントローラ１０４は、スコープシステムコントローラ１２５からの信号に応じて、アナログ信号処理回路１２３、映像処理回路１０３、及びＣＣＤ駆動回路１０２にタイミング信号を送信するとともに、後述するマスク信号をＣＣＤ駆動回路１０２に送信する。
ＣＣＤ駆動回路１０２は、スコープタイミングコントローラ１０４からのタイミング信号に応じて、後述するパルス信号を撮像素子１０１に送信する。パルス信号は、垂直読み出しパルス信号、垂直転送パルス信号、水平転送パルス信号を含み、スコープタイミングコントローラ１０４は、垂直読み出しパルス信号、垂直転送パルス信号、及び水平転送パルス信号を常に周期的に撮像素子１０１に送信する。
スコープメモリ１２６は、スコープ１２０のファームウェアや各種の設定情報などを記憶する。ライトガイドファイバ１２７は、内視鏡プロセッサ１３０から受光した照明光を観察対象物に照射する。
内視鏡プロセッサ１３０は、内視鏡プロセッサ１３０の動作を制御するプロセッサシステムコントローラ１３１と、プロセッサタイミングコントローラ１３２と、信号処理部１３３と、フロントパネル１３４と、モータ１３５と、絞り１３６と、集光レンズ１３７と、光源１３８とを主に備える。
プロセッサシステムコントローラ１３１は、スコープシステムコントローラ１２５に接続され、スコープシステムコントローラ１２５と情報をやりとりする。
信号処理部１３３は、アナログ信号処理回路１２３から画像データを受信して、モニタ１５０に表示可能なフォーマットに変換して、変換した画像データをモニタ１５０に送信する。モニタ１５０は信号処理部１３３から受信した画像データを表示する。
プロセッサタイミングコントローラ１３２は、プロセッサシステムコントローラ１３１、信号処理部１３３、及びスコープシステムコントローラ１２５に接続され、プロセッサシステムコントローラ１３１の制御の下で各部材の同期を図る。
フロントパネル１３４は、図示しない画面及び複数の操作ボタンを備え、スコープシステムコントローラ１２５に接続される。画面は、内視鏡システム２００を操作するために必要な情報を表示する。例えば医師であるユーザは、操作ボタンを操作して内視鏡システム２００を操作する。
光源１３８は、照明光を照射する。照明光は集光レンズ１３７及び絞り１３６を介してライトガイドファイバ１２７に入射する。絞り１３６はロータリシャッタから成り、照明光の光量及び発光タイミングを調節する。絞り１３６の開度及びタイミングは、プロセッサシステムコントローラ１３１に接続されたモータ１３５により制御される。
次に、図２及び３を用いて映像処理回路１０３について説明する。
映像処理回路１０３は、前段信号処理回路１０７と、補間処理部１０５と、後段信号処理回路１０８とを主に備える。前段信号処理回路１０７は、アナログ信号処理回路１２３からラインデータを受信して所定の処理を行った後に、補間処理部１０５に送信する。
画像を拡大する場合、拡大された画像は、撮像素子１０１から受信したラインデータよりも多くのラインデータを有するため、撮像素子１０１から受信したラインデータを用いて新たなラインデータを作成する必要がある。そこで、画像を拡大する場合、補間処理部１０５は、複数のラインデータを用いて新たなラインデータを作成し、後段信号処理回路１０８に送信する。
後段信号処理回路１０８は、補間処理部１０５からラインデータを受信して所定の処理を施した後、マスク処理部に送信する。
図３は、補間処理部１０５の内部に設けられるセレクタ１０９及びラインメモリ１０６を示す。補間処理部１０５は、４つのラインメモリ１０６ａ−ｄを備える。ラインメモリ１０６ａ−ｄには、メモリ書き込み制御信号を伝送する信号線１１０が接続される。信号線１１０は、スコープタイミングコントローラ１０４に接続される。信号線１１０を介してメモリ書き込み制御信号を受信したラインメモリ１０６ａ−ｄは、書き込みを停止、すなわち現在記憶しているラインデータを維持し、新たなラインデータを記憶しない。
セレクタ１０９は、前段信号処理回路１０７、ラインメモリ１０６ａ、ラインメモリ１０６ｂ、及びラインメモリ１０６ｃから受信したラインデータの組合せ、またはラインメモリ１０６ａ−ｄが出力したラインデータの組合せのどちらかを選択して後段信号処理回路１０８に送信する。セレクタ１０９には、セレクト信号線１１１が接続される。セレクト信号線１１１は、スコープタイミングコントローラ１０４に接続される。セレクト信号線１１１を介してセレクト信号を受信したセレクタ１０９は、セレクト信号に応じて、前段信号処理回路１０７、ラインメモリ１０６ａ、ラインメモリ１０６ｂ、及びラインメモリ１０６ｃから受信したラインデータの組合せ、またはラインメモリ１０６ａ−ｄが出力したラインデータの組合せのどちらかを後段信号処理回路１０８に送信する。
次に、内視鏡用撮像装置１００が通常画像を出力する処理について説明する。
撮像素子１０１は、ＣＣＤ駆動回路１０２から垂直読み出しパルス信号を受信すると、画素に蓄積された電荷を垂直転送部に移動させる。次に、垂直転送パルス信号を受信すると、垂直転送部に記憶されている電荷のうち、１ライン分を水平転送部に移動させる。次に水平転送パルス信号を受信すると、水平転送部に記憶されている電荷全てをアンプ１２２に出力する。これにより、１ラインのラインデータが撮像素子１０１から出力される。これを全てのライン分だけ反復実行することにより、１フレームの画像を構成するラインデータ全てが出力される。
次に、内視鏡用撮像装置１００が拡大画像を出力する処理について説明する。
まず、図４及び５を用いて、画像を拡大する原理について説明する。一例として、バイキュービック法を用いて１．５倍に画像を拡大する場合について説明する。拡大画像は、通常画像を拡大して得られるものであり、通常画像に存在するラインデータと、通常画像に存在せず拡大画像に存在するラインデータを備える。通常画像に存在せず拡大画像に存在するラインデータを補間ラインデータという。補間処理部１０５は、補間ラインデータを作成する場合、４つのラインデータを用いて、１つのラインデータを補間、すなわち１つの補間ラインデータを作成する。他方、通常画像に存在するラインデータに関しては、補間を行わず、そのまま拡大画像のラインデータとして使用する。つまり、図４において、補間ラインデータＬ’３は、ラインデータＬ１、Ｌ２、Ｌ３、及びＬ４を用いて作成され、補間ラインデータＬ’４は、ラインデータＬ３を用いて作成され、補間ラインデータＬ’５は、ラインデータＬ２、Ｌ３、Ｌ４、及びＬ５を用いて作成され、補間ラインデータＬ’６は、ラインデータＬ３、Ｌ４、Ｌ５、及びＬ６を用いて作成され、補間ラインデータＬ’７は、ラインデータＬ５を用いて作成される。
図５を参照すると、補間ラインデータＡ４は、ラインデータＬ１、Ｌ２、Ｌ３、及びＬ４、並びに係数ｗ１、ｗ２、ｗ３、及びｗ４を用いて、以下の式により求められる。
Ａ４＝ｗ１・Ｌ１＋ｗ２・Ｌ２＋ｗ３・Ｌ３＋ｗ４・Ｌ４
ここで、補間ラインデータＡ４とラインデータＬｎとの距離をｘｎとすると、係数ｗ１、ｗ２、ｗ３、及びｗ４は以下の式により求められる。
｜ｘｎ｜≦１．０の場合
ｗｎ（ｘｎ）＝（ａ＋２）・｜ｘｎ３｜−（ａ＋３）・｜ｘｎ２｜＋１
１．０≦｜ｘｎ｜＜２の場合
ｗｎ（ｘｎ）＝ａ・｜ｘｎ３｜−５ａ・ｘｎ２＋８・ａ｜ｘｎ｜−４ａ
２．０≦｜ｘｎ｜の場合
ｗｎ（ｘｎ）＝０
補間処理部１０５が、４つのラインデータを用いて、１つの補間ラインデータを作成するには一定の期間を要するため、撮像素子１０１が通常画像と同様のタイミングでラインデータを出力すると、出力されたラインデータの数よりも拡大に用いたラインデータの数が少ない状態が発生する。そのため、拡大処理が間に合わなくなるため、出力されたラインデータをメモリ等に記憶しておく必要が生じる。しかし、メモリは基板上で一定の範囲を占め、かつコストが掛かるため、できる限り削減されなければならない。そこで、１つの補間ラインデータを作成する期間と同じ期間だけ撮像素子１０１がラインデータを出力せず、補間ラインデータを作成する期間を確保する。これにより、１フレーム分のラインデータ全てが記憶されていなくても、４つのラインデータをラインメモリ１０６が記憶していれば、ラインメモリ１０６に記憶されている４つのラインデータを用いて補間ラインデータを補間処理部１０５が作成することができる。あるいは、４つのラインデータ全てをラインメモリ１０６が記憶していなくても、ラインメモリ１０６に記憶されている３つのラインデータと、前段信号処理回路１０７から受信したラインデータとを用いて補間ラインデータを補間処理部１０５が作成することも可能である。以下、これらについて詳細に説明する。
図６を用いて撮像素子１０１の駆動タイミングについて説明する。撮像素子１０１は、ＣＣＤ駆動回路１０２から垂直読み出しパルス信号を受信すると、画素に蓄積された電荷を垂直転送部に移動させる。次に、垂直転送パルス信号を受信すると、垂直転送部に記憶されている電荷のうち、１ライン分を水平転送部に移動させる。次に水平転送パルス信号を受信すると、水平転送部に記憶されている電荷全てをアンプ１２２に出力する。そして、所定の期間経過ごと、例えば２ライン分のラインデータをアンプ１２２に出力するごとに、ＣＣＤ駆動回路１０２が垂直転送パルス信号を撮像素子１０１に出力すると同時に、スコープタイミングコントローラ１０４がマスク信号をＣＣＤ駆動回路１０２に送信する。マスク信号は垂直転送パルス信号をマスク、すなわち打ち消す。これにより、垂直転送パルス信号が間欠的に撮像素子１０１に送信され、撮像素子１０１は垂直転送パルス信号を受信しないため、垂直転送部に記憶されている電荷が水平転送部に移動されない。そのため、次に撮像素子１０１が水平転送パルス信号を受信したとき、出力されるラインデータは０の値を取る。その後更に、撮像素子１０１が垂直転送パルス信号を受信すると、垂直転送部に記憶されている電荷のうち、１ライン分を水平転送部に移動させる。次に水平転送パルス信号を受信すると、水平転送部に記憶されている電荷全てをアンプ１２２に出力する。これにより、撮像素子１０１がラインデータを間欠的に出力する。
ラインメモリ１０６ａ−ｄは、前段信号処理回路１０７を介して撮像素子１０１からラインデータを受信して記憶する。図６において、撮像素子１０１がラインデータを出力するタイミングとラインメモリ１０６がラインデータを記憶するタイミングが離れているのは、アンプ１２２、アナログ信号処理回路１２３、及び前段信号処理回路１０７がラインデータを処理するために一定の期間が経過するためである。ラインメモリ１０６は、始めに受信したラインデータ１を先ずラインメモリ１０６ａが記憶する。そして、次にラインメモリ１０６ａがラインデータ２を受信すると、ラインメモリ１０６ｂにラインデータ１を記憶させ、ラインメモリ１０６ａがラインデータ２を記憶する。これをラインデータ４まで反復すると、ラインメモリ１０６ａがラインデータ４を記憶し、ラインメモリ１０６ｂがラインデータ３を記憶し、ラインメモリ１０６ｃがラインデータ２を記憶し、ラインメモリ１０６ｄがラインデータ１を記憶する。その後、０のラインデータが入力ラインからラインメモリ１０６ａに送信される。ここで、ラインメモリ１０６ａが０のラインデータを受信するとき、補間処理部１０５は、ラインメモリ１０６ａにメモリ書き込み制御信号を送信している。メモリ書き込み制御信号を受信したラインメモリ１０６ａは、０のラインデータを記憶しない。これにより、ラインメモリ１０６ａはラインデータ４を記憶しつづけ、次のラインデータ５を待つ。さらにその後、ラインメモリ１０６ａがラインデータ５を受信すると、ラインメモリ１０６ａはラインデータ５を記憶する。同様にして、ラインメモリ１０６ｂがラインデータ４を記憶し、ラインメモリ１０６ｃがラインデータ３を記憶し、ラインメモリ１０６ｄはラインデータ１を破棄してラインデータ２を記憶する。
ラインメモリ１０６ａがラインデータ３を記憶し、ラインメモリ１０６ｂがラインデータ２を記憶し、ラインメモリ１０６ｃがラインデータ１を記憶したタイミングにおいて、補間処理部１０５は、入力ラインから受信したラインデータ４及びラインメモリ１０６ａ−ｃに記憶されているラインデータ１−３を用いて補間ラインデータＬ’３を作成する。
ラインメモリ１０６ａがラインデータ４を記憶し、ラインメモリ１０６ｂがラインデータ３を記憶し、ラインメモリ１０６ｃがラインデータ２を記憶し、ラインメモリ１０６ｄがラインデータ１を記憶したタイミングにおいて、補間処理部１０５は、ラインメモリ１０６ｂに記憶されているラインデータ３を用いて補間ラインデータＬ’４を作成する。その後、入力ラインからラインデータ５を受信したタイミングにおいて、入力ラインから受信したラインデータ５及びラインメモリ１０６ａ−ｃに記憶されているラインデータ２−４を用いて補間ラインデータＬ’５を作成する。
入力ラインからラインデータ６を受信し、ラインメモリ１０６ａがラインデータ５を記憶し、ラインメモリ１０６ｂがラインデータ４を記憶し、ラインメモリ１０６ｃがラインデータ３を記憶したタイミングにおいて、補間処理部１０５は、入力ラインから受信したラインデータ６及びラインメモリ１０６ａ−ｃに記憶されているラインデータ３−５を用いて補間ラインデータＬ’６を作成する。
ラインメモリ１０６ａがラインデータ６を記憶し、ラインメモリ１０６ｂがラインデータ５を記憶し、ラインメモリ１０６ｃがラインデータ４を記憶し、ラインメモリ１０６ｄがラインデータ３を記憶したタイミングにおいて、補間処理部１０５は、ラインメモリ１０６ｂに記憶されているラインデータ５を用いて補間ラインデータＬ’７を作成する。その後、入力ラインからラインデータ７を受信したタイミングにおいて、入力ラインから受信したラインデータ７及びラインメモリ１０６ａ−ｃに記憶されているラインデータ４−６を用いて補間ラインデータＬ’８を作成する。以降、これらと同様の処理を反復することにより、全ての補間ラインデータが作成される。
本実施形態によれば、少ないメモリで画像を拡大することができる。
なお、拡大倍率及びラインメモリ１０６の数は例示であって、前述の値に限定されない。
１００ 内視鏡用撮像装置
１０１ 撮像素子
１０２ ＣＣＤ駆動回路
１０３ 映像処理回路
１０４ スコープタイミングコントローラ
１０５ 補間処理部
１０６ ラインメモリ
１０７ 前段信号処理回路
１０８ 後段信号処理回路
１０９ セレクタ
１１０ 信号線
１１１ セレクト信号線
１２０ スコープ
１２２ アンプ
１２３ アナログ信号処理回路
１２４ マスク処理回路
１２５ スコープシステムコントローラ
１２６ スコープメモリ
１２７ ライトガイドファイバ
１３０ 内視鏡プロセッサ
１３１ プロセッサシステムコントローラ
１３２ プロセッサタイミングコントローラ
１３３ 信号処理部
１３４ フロントパネル
１３５ モータ
１３７ 集光レンズ
１３８ 光源
１５０ モニタ
２００ 内視鏡システム

Claims (5)

  1. １フレームの画像の一部を構成するラインデータを間欠的に出力する撮像素子と、
    前記撮像素子が出力した前記ラインデータを記憶する記憶部と、
    前記ラインデータを用いて前記画像を拡大して、通常画像に存在するラインデータと、通常画像に存在せず拡大画像に存在する補間ラインデータとを備えた拡大画像を作成する補間処理部とを備え、
    前記記憶部が、Ｎ（Ｎは整数）個のラインメモリを有し、
    前記記憶部に入力されたラインデータは、Ｎ個のラインメモリに順次シフトしながら記憶され、
    前記補間処理部は、前記撮像素子からラインデータが出力されるとき、前記記憶部に入力されるラインデータと、Ｎ−１個のラインメモリに記憶されているラインデータとを用いて補間ラインデータを作成し、前記撮像素子からラインデータが出力されないとき、Ｎ個のラインメモリに記憶されているラインデータを用いて補間ラインデータを作成する内視鏡用撮像装置。
  2. １つの補間ラインデータを作成する期間と同じ期間だけ、前記撮像素子がラインデータを出力しない請求項１に記載の内視鏡用撮像装置。
  3. マスク信号を第２の周期で出力するマスク信号生成部と、
    パルス信号を第１の周期で前記撮像素子に出力し、前記マスク信号を受信したときに前記パルス信号を前記撮像素子に出力しないＣＣＤ駆動信号生成部とをさらに備える請求項１又は２に記載の内視鏡用撮像装置。
  4. 前記記憶部は、４つのラインメモリを有し、
    前記補間処理部は、４つのラインデータを用いて補間ラインデータを作成する請求項１から３のいずれかに記載の内視鏡用撮像装置。
  5. 前記撮像素子はＣＣＤであって、パルス信号を受信したときに垂直転送を行って前記ラインデータを出力し、パルス信号を受信していないときは垂直転送を行なわず前記ラインデータを出力しない請求項１から４のいずれかに記載の内視鏡用撮像装置。
JP2014155077A 2014-07-30 2014-07-30 内視鏡用撮像装置 Active JP6412361B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014155077A JP6412361B2 (ja) 2014-07-30 2014-07-30 内視鏡用撮像装置
US14/807,087 US9978122B2 (en) 2014-07-30 2015-07-23 Electronic endoscope
EP15178626.6A EP2981067B1 (en) 2014-07-30 2015-07-28 Electronic endoscope
CN201510455100.8A CN105323505B (zh) 2014-07-30 2015-07-29 电子内窥镜

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014155077A JP6412361B2 (ja) 2014-07-30 2014-07-30 内視鏡用撮像装置

Publications (2)

Publication Number Publication Date
JP2016030157A JP2016030157A (ja) 2016-03-07
JP6412361B2 true JP6412361B2 (ja) 2018-10-24

Family

ID=53835277

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014155077A Active JP6412361B2 (ja) 2014-07-30 2014-07-30 内視鏡用撮像装置

Country Status (4)

Country Link
US (1) US9978122B2 (ja)
EP (1) EP2981067B1 (ja)
JP (1) JP6412361B2 (ja)
CN (1) CN105323505B (ja)

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2933165B2 (ja) * 1988-01-08 1999-08-09 オリンパス光学工業株式会社 電子内視鏡装置
KR920006956B1 (en) 1988-04-12 1992-08-22 Matsushita Electric Ind Co Ltd Image pickup apparatus
JPH0767154B2 (ja) 1988-04-12 1995-07-19 松下電器産業株式会社 撮像装置
JP2913797B2 (ja) 1990-08-10 1999-06-28 ソニー株式会社 画像拡縮処理方法
US5532742A (en) * 1992-07-22 1996-07-02 Matsushita Electric Industrial Co., Ltd. Image pickup apparatus with horizontal line interpolation function having three image pickup units shifted in vertical phase from one another
EP0644687B1 (en) * 1993-09-17 2003-12-03 Canon Kabushiki Kaisha Image pickup apparatus
JP4149591B2 (ja) * 1998-12-14 2008-09-10 富士フイルム株式会社 固体撮像装置
JP3922890B2 (ja) 2001-03-30 2007-05-30 フジノン株式会社 電子内視鏡装置
US7084923B2 (en) 2003-10-28 2006-08-01 Clairvoyante, Inc Display system having improved multiple modes for displaying image data from multiple input source formats
JP4868959B2 (ja) * 2006-06-29 2012-02-01 オリンパスメディカルシステムズ株式会社 体腔内プローブ装置
JP2008104535A (ja) 2006-10-24 2008-05-08 Pentax Corp 電子内視鏡装置
JP4953759B2 (ja) 2006-10-27 2012-06-13 Ｈｏｙａ株式会社 電子内視鏡装置
JP2008113177A (ja) 2006-10-30 2008-05-15 Pentax Corp 電子内視鏡装置
JP2008110004A (ja) 2006-10-30 2008-05-15 Pentax Corp 電子内視鏡装置
US8005995B2 (en) * 2007-08-16 2011-08-23 Micron Technology, Inc. Command interface systems and methods
JP2009136459A (ja) * 2007-12-05 2009-06-25 Hoya Corp ノイズ除去システム、内視鏡プロセッサ、および内視鏡システム
JP5244644B2 (ja) * 2008-03-07 2013-07-24 オリンパス株式会社 固体撮像装置及びその応用装置
JP5267587B2 (ja) * 2011-01-31 2013-08-21 株式会社リコー 撮像装置及び撮像方法
JP2013077945A (ja) * 2011-09-30 2013-04-25 Sony Corp 画像処理装置、補正方法、並びに、撮像装置
JP2014128394A (ja) 2012-12-28 2014-07-10 Hoya Corp 内視鏡装置

Also Published As

Publication number Publication date
US20160035064A1 (en) 2016-02-04
CN105323505A (zh) 2016-02-10
US9978122B2 (en) 2018-05-22
CN105323505B (zh) 2019-06-14
EP2981067A1 (en) 2016-02-03
EP2981067B1 (en) 2017-12-06
JP2016030157A (ja) 2016-03-07

Similar Documents

Publication Publication Date Title
JP5636247B2 (ja) 電子内視鏡用プロセッサ及び電子内視鏡装置
JP5948512B2 (ja) 処理装置、撮像装置および内視鏡システム
WO2012164985A1 (ja) 撮像装置、撮像方法
JP6141084B2 (ja) 撮像装置
JP5284013B2 (ja) 撮像装置およびその制御方法、プログラム
JP2008005048A (ja) 撮像装置及び信号処理装置
JP2009254736A (ja) 内視鏡制御ユニットおよび内視鏡システム
JP2005094142A (ja) 撮像装置
JP7025177B2 (ja) 撮像装置
JP2016202380A (ja) 画像処理装置および内視鏡装置
JP2016058877A (ja) 撮像装置及びその制御方法
JP2014220690A (ja) 信号処理装置、信号処理方法
JP5959331B2 (ja) 内視鏡装置
JP6412361B2 (ja) 内視鏡用撮像装置
JP6251059B2 (ja) 電子内視鏡システム
JP5538067B2 (ja) 内視鏡システム
JP2010017452A (ja) 電子内視鏡用プロセッサ装置及び画像処理システム
JP2009004947A (ja) 撮像デバイス及び画像処理表示装置
JP2010051372A (ja) 内視鏡のプロセッサ装置及び内視鏡画像のマスク処理方法
JP4606989B2 (ja) 撮影装置
JP2008048269A (ja) 立体撮像装置を搭載する観察装置及び立体撮像方法
JP2005118158A (ja) 電子内視鏡装置
JP6188990B2 (ja) 撮像装置
JP6764572B2 (ja) イメージセンサ、および電子機器
JP2017158672A (ja) 電子内視鏡システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180123

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180626

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180827

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180918

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180928

R150 Certificate of patent or registration of utility model

Ref document number: 6412361

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250