JP6908039B2 - 画像処理装置、画像処理方法、プログラム、及び画像処理システム - Google Patents

画像処理装置、画像処理方法、プログラム、及び画像処理システム Download PDF

Info

Publication number
JP6908039B2
JP6908039B2 JP2018523548A JP2018523548A JP6908039B2 JP 6908039 B2 JP6908039 B2 JP 6908039B2 JP 2018523548 A JP2018523548 A JP 2018523548A JP 2018523548 A JP2018523548 A JP 2018523548A JP 6908039 B2 JP6908039 B2 JP 6908039B2
Authority
JP
Japan
Prior art keywords
image
eye image
depth
eye
field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2018523548A
Other languages
English (en)
Other versions
JPWO2017217115A1 (ja
Inventor
貴美 水倉
貴美 水倉
浩司 鹿島
浩司 鹿島
高橋　健治
健治 高橋
白木　寿一
寿一 白木
鶴　大輔
大輔 鶴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2017217115A1 publication Critical patent/JPWO2017217115A1/ja
Application granted granted Critical
Publication of JP6908039B2 publication Critical patent/JP6908039B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00193—Optical arrangements adapted for stereoscopic vision
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/26—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes using light guides
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Image Processing (AREA)
  • Endoscopes (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Studio Devices (AREA)

Description

本開示は、画像処理装置、画像処理方法、プログラム、及び画像処理システムに関する。
従来、例えば下記の特許文献１には、選択的に２次元/３次元の観察状態に切り換えが可能で、２次元観察時には高解像度で明るい被検査部位の観察画像を得られ、必要に応じて３次元観察画像が得られる内視鏡装置を提供することが記載されている。
特開平１０−２４８８０７号公報
立体視カメラを用いて観察する際に、シーンによっては立体視観察するよりも、手前から奥までピントが合った鮮明な画像を観察したい場合がある。しかしながら、上記特許文献１に記載された技術では、被検査部位を高解像度で観察することはできるものの、手前から奥までピントが合った鮮明な画像を得ることができなかった。
そこで、状況に応じて立体視画像と被写界深度拡大画像を切り替えて観察できるようにすることが望まれていた。
本開示によれば、左右一対の左眼用画像及び右眼用画像を撮像する立体視用撮像装置による前記左眼用画像及び前記右眼用画像の撮影状況に関する情報を取得する撮影状況取得部と、前記撮影状況に関する情報に応じて、前記左眼用画像及び前記右眼用画像に対して立体視画像処理を行うか、又は前記左眼用画像及び前記右眼用画像の少なくとも一方による２次元の被写界深度拡大処理を行うかを判定する判定部と、を備え、前記撮影状況に関する情報は、前記左眼用画像及び前記右眼用画像を撮像した際の光学ズーム値、前記左眼用画像及び前記右眼用画像を撮像した際の電子ズーム値、前記左眼用画像と前記右眼用画像の視差情報、前記左眼用画像及び前記右眼用画像の被写体までの距離情報、及びユーザによる操作情報の少なくともいずれかである、画像処理装置が提供される。
また、本開示によれば、左右一対の左眼用画像及び右眼用画像を撮像する立体視用撮像装置による前記左眼用画像及び前記右眼用画像の撮影状況に関する情報を取得することと、前記撮影状況に関する情報に応じて、前記左眼用画像及び前記右眼用画像に対して立体視画像処理を行うか、又は前記左眼用画像及び前記右眼用画像の少なくとも一方による２次元の被写界深度拡大処理を行うかを判定することと、を備え、前記撮影状況に関する情報は、前記左眼用画像及び前記右眼用画像を撮像した際の光学ズーム値、前記左眼用画像及び前記右眼用画像を撮像した際の電子ズーム値、前記左眼用画像と前記右眼用画像の視差情報、前記左眼用画像及び前記右眼用画像の被写体までの距離情報、及びユーザによる操作情報の少なくともいずれかである、画像処理方法が提供される。
また、本開示によれば、左右一対の左眼用画像及び右眼用画像を撮像する立体視用撮像装置による前記左眼用画像及び前記右眼用画像の撮影状況に関する情報を取得する手段、前記撮影状況に関する情報に応じて、前記左眼用画像及び前記右眼用画像に対して立体視画像処理を行うか、又は前記左眼用画像及び前記右眼用画像の少なくとも一方による２次元の被写界深度拡大処理を行うかを判定する手段、としてコンピュータを機能させ、前記撮影状況に関する情報は、前記左眼用画像及び前記右眼用画像を撮像した際の光学ズーム値、前記左眼用画像及び前記右眼用画像を撮像した際の電子ズーム値、前記左眼用画像と前記右眼用画像の視差情報、前記左眼用画像及び前記右眼用画像の被写体までの距離情報、及びユーザによる操作情報の少なくともいずれかである、プログラムが提供される。
また、本開示によれば、左右一対の左眼用画像及び右眼用画像を撮像する立体視用撮像装置と、前記立体視用撮像装置による前記左眼用画像及び前記右眼用画像の撮影状況に関する情報を取得する取得部と、前記撮影状況に関する情報に応じて、前記左眼用画像及び前記右眼用画像に対して立体視画像処理を行うか、又は前記左眼用画像及び前記右眼用画像の少なくとも一方による２次元の被写界深度拡大処理を行うかを判定する判定部と、を有する、画像処理装置と、を備え、前記撮影状況に関する情報は、前記左眼用画像及び前記右眼用画像を撮像した際の光学ズーム値、前記左眼用画像及び前記右眼用画像を撮像した際の電子ズーム値、前記左眼用画像と前記右眼用画像の視差情報、前記左眼用画像及び前記右眼用画像の被写体までの距離情報、及びユーザによる操作情報の少なくともいずれかである、撮像システムが提供される。
また、本開示によれば、左右一対の左眼用画像及び右眼用画像を撮像する立体視用撮像装置により撮像された前記左眼用画像及び前記右眼用画像を取得する撮像画像取得部と、前記左眼用画像及び前記右眼用画像のそれぞれについて被写界深度を拡大し、被写界深度が拡大された前記左眼用画像及び前記右眼用画像を合成することで被写界深度拡大画像を生成する被写界深度拡大処理部と、を備える画像処理装置が提供される。
また、本開示によれば、左右一対の左眼用画像及び右眼用画像を撮像する立体視用撮像装置により撮像された前記左眼用画像及び前記右眼用画像を取得することと、前記左眼用画像及び前記右眼用画像のそれぞれについて被写界深度を拡大し、被写界深度が拡大された前記左眼用画像及び前記右眼用画像を合成することで被写界深度拡大画像を生成することと、を備える、画像処理方法が提供される。
また、本開示によれば、左右一対の左眼用画像及び右眼用画像を撮像する立体視用撮像装置により撮像された前記左眼用画像及び前記右眼用画像を取得することと、前記左眼用画像及び前記右眼用画像のそれぞれについて被写界深度を拡大し、被写界深度が拡大された前記左眼用画像及び前記右眼用画像を合成することで被写界深度拡大画像を生成することと、としてコンピュータを機能させるためのプログラムが提供される。
以上説明したように本開示によれば、状況に応じて立体視画像と被写界深度拡大画像を切り替えて観察することが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係るシステムの構成を示す模式図である。 被写界深度拡大補正処理部における基本的な補正手順を示す模式図である。 図２のステップＳ１０において、フォーカス位置が異なる右画像Ａ、左画像Ｂを取得した場合を示す模式図である。 右画像Ａの合焦位置と左画像Ｂの合焦位置を示す模式図である。 デプス位置に応じた合成比率を示す特性図である。 空間距離情報(デプスマップ)を示す模式図である。 レンズのボケ方を示すＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）の距離による変化特性を示す模式図である。 レンズの光学特性に応じて、入力波長光の差分によって軸上色収差が発生する例を示す模式図である。 各チャネルの高周波成分をデプスに応じて他チャネルに合成して、ＥＤｏＦ画像を得る例を示す模式図である。 光源を、ＲＧＢ ＬＥＤやＬａｓｅｒ等の波長ピークを有し、半値幅が狭いものに光源を連動して切り替えることにより、よりチャネル間の軸上色収差の差分を引き出す例を示す模式図である。 各フレーム頃に時間をずらして合焦位置を変えて撮影することで、合焦位置をずらして撮影した２枚の画像を用意する例を示す模式図である。 中心合焦位置が異なる２種類のＥＤｏＦ画像を更に位置合わせして合成することにより、片眼画像の単独でＥＤｏＦ処理した場合よりも更に合焦位置が拡大されたＥＤｏＦ画像を得る例を示す模式図である。 位置合わせ処理を示すフローチャートである。 左右の画角の共通部分を切り出して、左右の画像差分がぼけ差分以外なるべく少ない状態になるように画像処理を行う例を示す模式図である。 デフォーカス量に応じた合成比率を示す特性図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１．）システムの構成例
２．）立体視画像とＥＤｏＦ画像の切り替え
３．）被写界深度拡大補正処理部における処理
３．１．）被写界深度拡大補正処理部における基本的な処理
３．２．）２枚画像準備
３．２．１．１．）Ｄｅｐｔｈ＋ＰＳＦデータによるデコンボリューション（逆重畳積分、逆重畳：Ｄｅｃｏｎｖｏｌｕｔｉｏｎ）
３．２．１．２．）Ｒ／Ｇ／Ｂチャネル間の軸上色収差利用
３．２．１．３．）フレームシーケンシャル（ＦＳ）による時間差合焦位置ずらし
３．２．２．）左右画像各々でＥＤｏＦする処理
３．３．）位置合わせ
３．４．）２枚画像の合成（１枚の被写界深度拡大画像の作成）
３．４．１．）デプスマップ（Ｄｅｐｔｈ ｍａｐ）を利用した合成
３．４．２．）デフォーカスマップ（Ｄｅｆｏｃｕｓ ｍａｐ）を利用した合成
１．）システムの構成例
まず、図１を参照して、本開示の一実施形態に係るシステム１０００の構成について説明する。図１に示すように、このシステム１０００は、カメラヘッド（撮像装置）１００、画像処理装置２００、表示装置３００、照明装置４００、を有して構成されている。カメラヘッド１００は、撮像素子とズーム光学系を有する立体視カメラから構成され、左右１対の画像（左眼用画像、右眼用画像）から構成されるステレオ画像を撮像する。一例として、本実施形態では、カメラヘッド２００は患者の体内に挿入される内視鏡に装着される。
画像処理装置２００は、立体視／被写界深度拡大切替判定部２１０、被写界深度拡大補正処理部２２０、照明制御部２４０を有して構成されている。なお、本実施形態では、特に立体視用の画像処理と被写界深度拡大用の画像処理について例示するが、それに限らず、超解像画像を生成してもよい。立体視／被写界深度拡大切替判定部２１０は、光学ズーム値、電子ズーム値、ユーザによる操作情報、視差情報、距離情報などの撮影状況に関する情報を取得する撮影状況取得部２１２と、撮影状況に関する情報に応じて、左眼用画像及び右眼用画像による３次元の立体視画像を出力するか、又は左眼用画像及び右眼用画像の少なくとも一方による２次元の被写界深度拡大画像を出力するかを判定する判定部２１４を有して構成されている。また、被写界深度拡大補正処理部２２０は、左眼用画像及び右眼用画像を取得する撮像画像取得部２２と、左眼用画像及び前記右眼用画像のそれぞれについて被写界深度を拡大し、また、被写界深度が拡大された左眼用画像及び右眼用画像を合成することで被写界深度拡大画像を生成する被写界深度拡大処理部２２４を有して構成されている。
表示装置３００は、液晶表示ディスプレイ（ＬＣＤ）等から構成され、画像処理部２００によって画像処理が成された画像を表示する。照明装置４００は、カメラヘッド１００が撮像する被写体を照明する。
２．）立体視画像と被写界深度拡大（ＥＤｏＦ：Ｅｘｔｅｎｄｅｄ Ｄｅｐｔｈ ＯＦ Ｆｉｅｌｄ）画像の切り替え
立体視カメラを用いて観察する際に、シーンによっては立体視（３次元）画像による観察をするよりも、被写界深度を拡大して観察する（ＥＤｏＦ観察）の方が良いケースがある。例えば、立体視画像において、対象物に物理的に近づく、ズームで拡大するなどを行うと、視差が極端に付き過ぎて眼精疲労を引き起こすことが広く知られている。また、立体視画像を長時間に渡って見続けると、眼精疲労を引き起こすことも知られている。更には、立体視画像ではなく被写体の手前から奥までピントが合った画像を観察したい場合も生じる。本実施形態では、以下に記述する条件にあてはまる場合には、立体視表示を止めて被写界深度拡大（２次元）表示に切り替えることで、これらの眼精疲労を低減する。
このため、本実施形態では、撮影時の状況に応じて、立体視画像と被写界深度拡大画像（被写界深度拡大画像）を最適に切り換えて観察者が観察できるようにする。例えば、拡大観察時(融像しない場合)、奥行きがあるシーン時を観察する場合(手前／奥が見辛い)、眼性疲労が発生した場合、等のケースが該当する。被写界深度拡大画像の方が適している場合、カメラヘッド１００が撮像した画像から、２次元の被写界深度拡張した画像（ＥＤｏＦ画像）を合成し、表示する。これにより、立体視観察している場合に発生する上記課題を克服しつつ、被写界深度を伸長した観察を実現することが可能となる。
より具体的には、立体視画像から被写界深度拡大画像に切り替える判定条件として、以下のように、拡大時、シーン判定時、眼が疲れてきた時、等を設定する。画像処理装置２００の立体視／被写界深度拡大切替判定部２１０の判定部２１４は、以下に示す判定条件に応じて、立体視画像とＥＤｏＦ画像の切り替えを行う。
・拡大時
立体視画像で観察中に被写体に物理的に近づいた場合、視差が付き過ぎて、被写体が手前に飛び出し過ぎたりする。このため、観察者が対象物を見辛くなり、眼精疲労を引き起こす。このような場合、被写界深度拡大画像に切り替えると、手前／奥の画像情報を確認できつつ、眼が疲れなくなる。このため、画像処理装置２００の立体視／被写界深度拡大切替判定部２１０は、視差情報、距離情報に基づいて、立体視画像から被写界深度拡大画像に切り替えるか否かを判定する。
また、立体視画像で観察中に光学ズームで拡大すると、焦点距離が短くなり、ＤｏＦ被写界深度が浅くなる。このため、フォーカスしている被写体の手前と奥がぼやけて見辛くなる。また、この場合、拡大により視差が過大となる場合がある。このような場合、ＥＤｏＦ画像に切り替えると、フォーカスしている被写体の手前と奥を鮮明に観察できる。このため、画像処理装置２００の立体視／被写界深度拡大切替判定部２１０は、光学ズーム値、距離情報に基づいて、立体視画像からＥＤｏＦ画像に切り替えるか否かを判定する。
また、立体視画像で観察中に電子ズームで拡大すると、俯瞰時は気にならなかった小さなボケが目立ち、拡大箇所の同定が難しくなる。また、この場合も、拡大により視差が過大となる場合がある。このような場合、ＥＤｏＦ画像に切り替えると、拡大箇所の、特に背景の情報が良く見えるようになる。このため、画像処理装置２００の立体視／被写界深度拡大切替判定部２１０は、電子ズーム値、距離情報に基づいて、立体視画像からＥＤｏＦ画像に切り替えるか否かを判定する。
・シーン判定時
立体視画像で被写体に奥行きがあるシーンを観察すると、フォーカスしている被写体の奥側が被写界深度外となり、融像限界を超えるため、ぼけて良く見えなくなる場合がある。このような場合、ＥＤｏＦ画像に切り替えると、奥の画像情報が良く見えるようになり、全体をより把握し易くなり、立体感よりも部分的な詳細情報を得ることができる。このため、画像処理装置２００の立体視／被写界深度拡大切替判定部２１０は、デプスマップの情報に基づいて、立体視画像からＥＤｏＦ画像に切り替えるか否かを判定する。
また、複数の鉗子で異なるポートからアプローチを行う場合、注目している鉗子とそれ以外の鉗子の距離が、同じポートからアプローチする場合に比べ離れる事が多く、作業領域の一部が被写界深度外となることで、画像がぼけて良く見えなくなることがある。このような場合も、ＥＤｏＦ画像に切り替えると、画像情報が良く見えるようになる。
・眼が疲れてきた時
立体視画像による観察を行ってから一定時間経過すると、眼が疲れたり、頭痛がしたりする場合がある。このような場合、ＥＤｏＦ画像に切り替えると、フォーカスしている被写体の手前や奥の画像情報を強調しつつ、被写界深度拡大表示を行うことで眼が疲れなくなる。このため、立体視／被写界深度拡大切替判定部２１０は、経過時間情報に基づいて、立体視画像からＥＤｏＦ画像に切り替えるか否かを判定する。
・ユーザ指定時
立体視画像による観察中に、立体視で被写体の位置関係を立体感で把握するよりも、フォーカスしている被写体の手前、奥の詳細情報を見たいこともある。このような場合、ＥＤｏＦ画像に切り替えると、フォーカスしている被写体の手前、奥のボケをとり、詳細な画像情報を把握することができる。このため、立体視／被写界深度拡大切替判定部２１０は、ユーザの操作をトリガーとして、立体視画像からＥＤｏＦ画像に切り替える。
なお、対象物との距離は、左右カメラの視差を利用し画像から取得することが可能であり、別手法としては、ＴｏＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）等の距離センサを用いることも可能である。また、画像から距離情報を推定する手法として、ステレオマッチングがよく知られている。
立体像を快適に楽しむための奥行き（飛び出し、引っ込み）範囲を快適視差範囲という。従来の研究や経験則によると、快適視差範囲は、視差角１度（６０分）以下が目安となる。また、融像限界（二重像が生じない範囲）については、視差角２度（１２０分）程度以下と考えるのが安全である。視差角は、輻輳角の差として定義されるが、直感的な把握が難しい。代わりに、画面上での視差をピクセル数で計った数値や、画面幅に対する比率を用いるのが便利である。標準鑑視距離（画面の高さの三倍）で鑑賞する場合の換算表は、次の通りとなる。
Figure 0006908039
画面上の視差α(ピクセル)は、視差角をθ、モニタまでの距離をＬとすると、
α＝Ｌ×ｔａｎ(θ)
で表すことができる。Ｌは１０８０×３とする。上式から、視差角１．０度の場合、視差α（ピクセル数）は５６．５５（ピクセル）程度になることが分かる。拡大ズームした場合は、距離Ｌを短くしたのと等価となる。例えば、２倍ズームだと視差角１．０度で１１３ピクセルとなり、視差が大きくなる。
上述のように、視差αを極端に大きくすると眼精疲労を引き起こすことが知られている。両眼での画像融合が自然に行われる範囲はナムの融合領域と呼ばれており、基準となるスクリーン面に対して視差が１°程度以下とされている。また、上述のように、融像限界については、視差角２度以下と考えるのが安全である。このため、判定部２１４は、視差角が２度を超える場合に立体視画像からＥＤｏＦ画像に切り替えることを判定することができる。
図１に示すように、カメラヘッド１００から画像処理装置２００には、左右１対の画像情報の他、光学ズーム値、電子ズーム値、ユーザトリガー(ユーザによる操作情報)、視差情報、距離情報（デプスマップ）、などの撮影状況に関する各種情報が送られる。立体視／被写界深度拡大切替判定部２１０の撮影状況取得部２１２は、撮影状況に関するこれらの情報を取得し、判定部２１４は、撮影状況に関するこれらの情報に応じて、左眼用画像及び右眼用画像による３次元の立体視画像を出力するか、又は左眼用画像及び右眼用画像の少なくとも一方による２次元の被写界深度拡大画像を出力するかを判定する。立体視／被写界深度拡大切替判定部２１０は判定の結果に基づいて、上述したような立体視画像とＥＤｏＦ画像の切り替えを行う。
立体視／被写界深度拡大切替判定部２１０による判定の結果、立体視画像を表示する場合は、カメラヘッド１００から送られた左右１対の画像情報が表示装置３００に送られて、表示装置３００において、左右１対の画像による立体視表示が行われる。
一方、立体視／被写界深度拡大切替判定部２１０による判定の結果、ＥＤｏＦ画像を表示する場合は、カメラヘッド１００から送られた左右１対の画像情報が被写界深度拡大補正処理部２２０に送られて、被写界深度を拡大するための各種処理が行われる。
３．）被写界深度拡大補正処理部における処理
３．１．）被写界深度拡大補正処理部における基本的な処理
図２は、被写界深度拡大補正処理部２２０における基本的な補正手順を示す模式図であって、主として被写界深度拡大処理部２２４で行われる処理を示している。図２の処理を行う前提として、撮像画像取得部２２２が立体視／被写界深度拡大切替判定部２１０から左右１対の画像情報を取得する。先ず、ステップＳ１０では、立体視／被写界深度拡大切替判定部２１０から送られた左右１対の右眼用画像及び左眼用画像（右画像Ａ、左画像Ｂ）を準備する。この２枚の画像は、フォーカス位置が異なるものであっても良い。
また、ステップＳ１０では、左右画像の各々でＥＤｏＦ処理（被写界深度拡大処理）を行う。ＥＤｏＦ処理の詳細については、後述する。
次のステップＳ１２では、右画像Ａと左画像Ｂの位置合わせを行う。具体的には、右画像Ａと左画像Ｂの共通部を抜き出し、形状補正を行うことで、位置合わせを行う。位置合わせの際には、視差を相殺するような処理を行う。
次のステップＳ１４では、位置合わせした右画像Ａと左画像Ｂを合成する。この際、デプス位置（奥行き位置）に依存して、右画像Ａと左画像Ｂの合成比率を変える。これにより、次のステップＳ１６において、２次元の被写界深度拡大画像が得られる。
図３は、図２のステップＳ１０において、フォーカス位置が異なる右画像Ａ、左画像Ｂを取得した場合を示す模式図である。図３に示すように、右画像Ａは中央の被写体ａに合焦点しており、周囲（背景）の被写体ｂはボケている。一方、左画像Ｂは中央の被写体ａがボケており、周囲の被写体ｂに合焦している。
図４は、右画像Ａの合焦位置と左画像Ｂの合焦位置を示す模式図である。図４に示すように、右画像Ａは被写体ａの位置で合焦しており、左画像Ｂは被写体ｂの位置で合焦している。
ステップＳ１２の位置合わせを行った後、ステップＳ１４では、デプス位置に応じて右画像Ａと左画像Ｂの合成比率を変える。中央の被写体ａの位置では右画像Ａの比率を高くし、周囲の被写体ｂでは左画像Ｂの比率を高くする。図５は、デプス位置に応じた合成比率を示す特性図である。デプス位置が奥になるほど（背景に近づくほど）、右画像Ａの比率ＲＡが低くなり、左画像Ｂの比率ＲＢが大きくなる。また、デプス位置が手前になるほど、右画像Ａの比率ＲＡが高くなり、左画像Ｂの比率ＲＢが低くなる。なお、ＲＢ＝１−ＲＡとすることができる。メインの画像は、中央部で合焦している右画像Ａとなる。デプスマップに基づいて、図５に従って右画像Ａと左画像Ｂを合成することで、空間的に合成比率を変更することが可能となり、中央と周囲の双方で合焦した２次元の被写界深度拡大画像を得ることができる。
以下では、図２のステップＳ１０の２枚画像準備、ステップＳ１２の位置合わせ、ステップＳ１６の２枚画像の合成について、詳細に説明する。
３．２．）２枚画像準備
３．２．１．）左右画像いずれかでＥＤｏＦする処理
被写界深度拡大補正処理部２２０では、右画像Ａと左画像Ｂのそれぞれで単独にＥＤｏＦ処理を行うことができる。この場合、左右どちらかの片眼の画１枚だけで、ＥＤｏＦを実施する。片眼の画像１枚を利用したＥＤｏＦ処理には、以下に示す複数のバリエーションがある。この場合、片眼だけでもＥＤｏＦは完成するので、合焦位置が異なる２枚の画像を用意することはダミーとなり、もう１枚の画はＥＤｏＦした画のコピーとしても良い。
３．２．１．１．）Ｄｅｐｔｈ＋ＰＳＦデータによるデコンボリューション（逆重畳積分、逆重畳：Ｄｅｃｏｎｖｏｌｕｔｉｏｎ）
この方法では、図６に示すような空間距離情報(デプスマップ：ｄｅｐｔｈ ｍａｐ)と、図７に示すような、レンズのボケ方を示すＰＳＦ（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）の距離による変化特性を用いる。図６では、左側に撮像画像を、右側にデプス情報を示している。右側のデプス情報では、濃度が黒いほど被写体が遠く（奥）にあり、濃度が白いほど被写体が近く（手前）にあることを示している。
図６に示すデプス情報は、視差情報から得ることができる。ブロックマッチングの結果、左右画像の視差情報をピクセル数として求めることができ、視差情報を距離情報に変換することができる。従って、図６に示すデプス情報は、視差情報、距離情報によって求めることができる。
また、図７では、合焦位置に対して、デプスに応じてボケが発生する様子を示しており、合焦位置から離れるほどボケが大きくなる様子を示している。図７に示すように、デプスに応じたボケ量は、Ｐｉｌｌ Ｂｏｘ Ｆｕｎｃｔｉｏｎによるぼけ関数、２次元Ｇａｕｓｓ関数によるぼけ関数で近似することができる。図７に示すＰＳＦの情報は、カメラヘッド１００の光学系の仕様から予め求められており、被写界深度拡大補正処理部２２０に入力される。なお、ＰＳＦの情報は、カメラヘッド１００から取得しても良い。
被写界深度拡大補正処理部２２０は、距離情報及びＰＳＦ情報に基づいて、ＥＤｏＦ処理を行う。この際、視差情報、距離情報は、カメラヘッド１００側で算出しても良いし、被写界深度拡大補正処理部２２０側で算出しても良い。図６及び図７の情報が取得されていれば、デプス位置に応じたボケ量が判るため、撮像された画像のぼけている部分に逆ＰＳＦフィルタ処理（ｄｅｃｏｎｖｏｌｕｔｉｏｎ）を行うことにより、ボケを除去したＥＤｏＦ画像を得ることができる。
３．２．１．２．）Ｒ／Ｇ／Ｂチャネル間の軸上色収差利用
レンズの光学特性に応じて、入力波長光の差分によって合焦位置が異なるという現象（軸上色収差）が発生する。このため、カラー画像のＲ,Ｇ,Ｂの各々のチャネルの画像は合焦位置が異なっている。この特性を利用し、図８及び図９に示すように、各チャネルの高周波成分をデプス（ｄｅｐｔｈ）に応じて他チャネルに合成（ｓｈａｒｐｎｅｓｓ ｔｒａｎｓｆｅｒ）して、ＥＤｏＦ画像を得ることができる。
図８に示すように、被写界深度拡大補正処理部２２０は、最もシャープな色の画像から高周波成分を抽出する。また、図７に示したようなデプス情報を別途抽出しておく。そして、抽出した高周波成分を、最もシャープな色の画像のデプス位置の他の色の画像に合成する。これにより、図９に示すように、Ｒ,Ｇ,Ｂの各々のチャネルの画像の被写界深度は、それぞれＤＲ，ＤＧ，ＤＢであるが、デプス位置に応じて最もシャープなチャンネルの高周波成分を合成することで、ＥＤｏＦ処理後の被写界深度ＤＥを大幅に拡大することができる。
しかしながら、この方法を利用する際に、図１０の右図に示す広波長光源を利用すると、最もシャープなチャネルの画像情報の中に、合焦している波長信号成分と合焦していない波長信号成分の混在率が高くなるため、高周波成分の抽出度合が減り、他チャネルへ高周波成分を合成しても、被写界深度拡大の効果が十分得られないことがある。そのような場合に、図１０の左図に示すＬＥＤやＬａｓｅｒの様なより狭帯域の照明に切り替えることにより、より合焦している信号成分を多く抽出することができるため、被写界深度拡大効果を高めることができる。このため、照明制御部２４０は、照明装置４００を制御して図１０に示すような狭波長光源、または広波長光源による被写体への照射を行う。このように、光源を連動させて、光源を狭波長にすることにより、より軸上色収差を出して、ＥＤｏＦの度合いを上げることも可能である。これにより、より広い被写界深度のＥＤｏＦ画像を得ることが可能となる。
３．２．１．３．）フレームシーケンシャル（ＦＳ）による時間差合焦位置ずらし
フレームレート（Ｆｒａｍｅ ｒａｔｅ）は半分になるが、図１１に示すように、各フレーム毎に時間をずらして合焦位置Ａ，Ｂを変えて撮影すれば、合焦位置をずらして撮影した２枚の画像を用意できることになり、その２枚を合成すればＥＤｏＦ画像を得ることができる。合成方法として、図４及び図５と同様の方法を用いることができ、一例として合焦位置Ａを図４の被写体ａの位置とし、合焦位置Ｂを図４の被写体ｂの位置とする。
なお、上述した例以外にも、画像１枚からＥＤｏＦ処理を行う公知の各種方法を用いることができる。デプス情報が得られていれば、被写体距離に応じたデコンボリューションが可能である。
３．２．２．）左右画像各々でＥＤｏＦする処理
片眼の画像で単独でＥＤｏＦ処理を行う場合、パンフォーカス（全体的に焦点が合っている画）が作れるわけではなく、元々の合焦位置からの合焦範囲がある程度拡大する効果がある。左右画像を用いて撮像時に合焦位置をずらして撮影し、且つ片眼画像の各々で上記のＥＤｏＦ処理を行うことにより、中心合焦位置が異なる２種類の単独ＥＤｏＦ画像を得ることができる。このＥＤｏＦ画像を、図１２に示すように、更に位置合わせして合成することにより、片眼画像の単独でＥＤｏＦ処理した場合よりも更に合焦位置が拡大されたＥＤｏＦ画像（スーパーＥＤｏＦ画像)を得ることが可能となる。
図１２に示す例では、上述した手法により左右画像のそれぞれで単独にＥＤｏＦ処理を行っている。図１２において、ステップＳ１０〜Ｓ１６は図２のステップＳ１０〜Ｓ１６に対応している。図１２のステップＳ１０では、左右画像の合焦位置をずらして右画像Ａと左画像Ｂを準備し、右画像Ａと左画像Ｂのそれぞれについて単独でＥＤｏＦ処理を行い、右ＥＤｏＦ画像、左ＥＤｏＦ画像を得る。
その後、ステップＳ１２で位置合わせを行い、ステップＳ１４で左右画像を合成することで、ステップＳ１６では、図２よりも被写界深度が拡大されたスーパーＥＤｏＦ画像を得ることができる。これにより、単独ＥＤｏＦよりもより深度の深いＥＤｏＦが実現可能となる。なお、ステップＳ１２〜Ｓ１６の詳細は後述する。
以上のように、右画像Ａと左画像Ｂのフォーカス位置を異ならせた上で、それぞれに単独にＥＤｏＦ処理を行った後、上述した手法で両者を合成することで、被写界深度をより拡大することが可能となる。
３．３．）位置合わせ
左右の画像には視差が存在するため、単に合成すると画像上にギャップが生じる。このため、２枚の画像の位置を合わせて共通画角を切り出す処理を行い、左右視差を相殺するような位置合わせ処理を行う（図２及び図１２のステップＳ１４）。図１３は、位置合わせ処理を示すフローチャートである。先ず、ステップＳ２０では、２枚の画像から位置合わせの指標となる、特徴点を抽出する。次のステップＳ２２では、特徴点を利用して位置合わせを行う。ここでは、例えば特許第４１３６０４４号に記載されているような、特徴量を使って位置を合わせる方法などが利用できる。指標となるいくつかの特徴点を抽出できたら、それらの位置を合わせるために、ステップＳ２４では、例えばアフィン変換のような手法を用いて、左右画像を微小に変形させて形状フィッティングを行って補正する。また、ステップＳ２４では、必要に応じて、周辺画素で埋める等のオクルージョンの補正も実施する。その後、ステップＳ２６では、図１４に示すような左右の画角の共通部分を切り出して、左右の画像差分がぼけ差分以外なるべく少ない状態になるように画像処理を行う。
なお、片眼画像の単独でＥＤｏＦ処理する場合は、他方の画像はＥＤｏＦ処理した画像のコピーで済むため、位置合わせは不要である。
３．４．）２枚画像の合成（１枚の被写界深度拡大画像の作成）
３．４．１．）デプスマップ（Ｄｅｐｔｈ ｍａｐ）を利用した合成
デプスマップが取得できている場合、図５に示したように、左右の画像の合成比率をデプス値に応じて決定し、画像の空間ピクセル(pixel)毎に合成比率を変調して合成画像を作成する。図５の例であれば、中央の被写体付近ではほとんど右画像Ａの画像情報が使われ、背景に関しては左画像Ｂの画像情報が使われる。中間の距離にある被写体に関しては、合成比グラフを参照して、左画像Ｂ、右画像Ａの画像情報が程よく合成されるようにする。合成比関数の遷移部分の設計は経験値に基づいて行われても良いし、左画像Ｂ〜右画像Ａへの急激な遷移が発生しないよう、シグモイド関数など数学的に滑らかな曲線でつないでも良い。
３．４．２．）デフォーカスマップ（Ｄｅｆｏｃｕｓ ｍａｐ）を利用した合成
デプスマップが取得できない場合であっても、撮像できている画像の特徴量からボケ量を推定し、それを指標として画像を合成することができる。左右いずれか一方の画像から空間的なｂｌｕｒ変化を推定して、デフォーカスマップを作成する公知の方法が知られている。デフォーカスマップが作成できれば、それを参照して、図１５に示すような変調を実施する。すなわち、デフォーカス量が少ないところはデフォーカスマップの元になった画像（図１５の例では右画像Ａ）の合成比を上げ、そうでない場所ではもう片方の合成比を上げることで、全体として合焦箇所が多い画像を得ることができる。なお、デフォーカス量とデプス量の違いは、デプス量が合焦位置に対して手前であるかまたは奥であるかの情報を有しているのに対し、デフォーカス量はその情報は有しておらず、合焦位置からの差分量を示す情報のみである点である。この方法はデプスマップを利用しないため、デプス検出の計算負荷を最小限に抑えることができ、また距離センサが不要となるメリットがある。
上記以外にも、複数画像から被写界深度の深い画像を合成する方法であれば、公知の技術を適用可能である。例えば、複数画像からの合成により被写界深度を拡大する方法では、明示的にデプスマップやデフォーカスマップを利用しなくても、画像さえあればフォーカスの合った合成画像を作成可能である。本実施形態におけるＥＤｏＦ処理とは、複数画像から被写界深度拡大画像を作成する公知の全ての方法を含む概念である。
以上説明したように本実施形態によれば、状況に応じて３次元の立体視画像による観察か、又は２次元の被写界深度拡大画像による観察を行うことができる。従って、例えば得次元画像の観察により眼精疲労が生じた場合、手前から奥行きまでの広い領域の画像情報を得たい場合など、状況に応じて２次元の被写界深度拡大画像による観察を行うことが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１） 左眼用画像又は右眼用画像の撮影状況に関する情報を取得する撮影状況取得部と、
前記撮影状況に関する情報に応じて、前記左眼用画像又は前記右眼用画像に対して立体視画像処理を行うか、又は前記左眼用画像及び前記右眼用画像の少なくとも一方による２次元の被写界深度拡大処理を行うかを判定する判定部と、
を備える、画像処理装置。
（２） 前記撮影状況に関する情報は、前記左眼用画像又は前記右眼用画像を撮像した際の光学ズーム値、前記左眼用画像又は前記右眼用画像を撮像した際の電子ズーム値、前記左眼用画像と前記右眼用画像の視差情報、前記左眼用画像又は前記右眼用画像の被写体までの距離情報、及びユーザによる操作情報の少なくともいずれかである、前記（１）に記載の画像処理装置。
（３） 更に、被写界深度拡大処理部を備え、
前記被写界深度拡大処理部は、前記判定部により被写界深度拡大処理を行うと判定された場合に、前記左眼用画像及び前記右眼用画像の少なくとも１つを用いて被写界深度拡大画像を生成する、前記（１）又は（２）に記載の画像処理装置。
（４） 前記被写界深度拡大処理部は、前記左眼用画像と前記右眼用画像の視差角が２度以上の場合に前記被写界深度拡大画像を生成する、前記（３）に記載の画像処理装置。
（５） 前記被写界深度拡大処理部は、前記左眼用画像及び前記右眼用画像の少なくとも１つについて、デプス量に応じたぼけ関数に基づいて逆変換を行うことで前記被写界深度拡大画像を生成する、前記（３）に記載の画像処理装置。
（６） 前記被写界深度拡大処理部は、合焦位置の異なるＲ，Ｇ，Ｂの各色の画像のうちデプス位置に応じて最も高周波成分の多い画像を同じデプス位置の他の色の画像に合成することで前記被写界深度拡大画像を生成する、前記（３）に記載の画像処理装置。
（７） 更に、照明制御部を備え、
前記照明制御部は、前記Ｒ，Ｇ，Ｂの各色の画像の合焦位置を調整するために照明を制御する、前記（６）に記載の画像処理装置。
（８） 前記被写界深度拡大処理部は、フレーム毎に異なる合焦位置で撮像された複数の画像を合成することで前記被写界深度拡大画像を生成する、前記（３）に記載の画像処理装置。
（９） 前記被写界深度拡大処理部は、異なる合焦位置で撮像された前記左眼用画像及び前記右眼用画像のそれぞれについて被写界深度を拡大し、被写界深度が拡大された前記左眼用画像及び前記右眼用画像を合成することで前記被写界深度拡大画像を生成する、前記（３）に記載の画像処理装置。
（１０） 前記被写界深度拡大処理部は、デプス位置又はデフォーカス位置に応じて前記左眼用画像及び前記右眼用画像の合成比率を変える、前記（９）に記載の画像処理装置。
（１１） 前記被写界深度拡大処理部は、前記左眼用画像及び前記右眼用画像の位置合わせをして前記合成を行う、前記（９）に記載の画像処理装置。
（１２） 前記被写界深度拡大処理部は、前記左眼用画像及び前記右眼用画像の共通範囲を切り出して前記合成を行う、前記（９）に記載の画像処理装置。
（１３） 左眼用画像又は右眼用画像の撮影状況に関する情報を取得することと、
前記撮影状況に関する情報に応じて、前記左眼用画像又は前記右眼用画像に対して立体視画像処理を行うか、又は前記左眼用画像及び前記右眼用画像の少なくとも一方による２次元の被写界深度拡大処理を行うかを判定することと、
を備える、画像処理方法。
（１４） 左眼用画像又は右眼用画像の撮影状況に関する情報を取得する手段、
前記撮影状況に関する情報に応じて、前記左眼用画像又は前記右眼用画像に対して立体視画像処理を行うか、又は前記左眼用画像及び前記右眼用画像の少なくとも一方による２次元の被写界深度拡大処理を行うかを判定する手段、
としてコンピュータを機能させるためのプログラム。
（１５） 左眼用画像及び右眼用画像を撮像する撮像装置と、
左眼用画像又は右眼用画像の撮影状況に関する情報を取得する取得部と、前記撮影状況に関する情報に応じて、前記左眼用画像又は前記右眼用画像に対して立体視画像処理を行うか、又は前記左眼用画像及び前記右眼用画像の少なくとも一方による２次元の被写界深度拡大処理を行うかを判定する判定部と、を有する、画像処理装置と、
を備える、撮像システム。
（１６） 左眼用画像及び右眼用画像を取得する撮像画像取得部と、
前記左眼用画像及び前記右眼用画像のそれぞれについて被写界深度を拡大し、被写界深度が拡大された前記左眼用画像及び前記右眼用画像を合成することで被写界深度拡大画像を生成する被写界深度拡大処理部と、
を備える、画像処理装置。
（１７） 前記被写界深度拡大処理部は、デプス位置又はデフォーカス位置に応じて前記左眼用画像及び前記右眼用画像の合成比率を変える、請求項１６に記載の画像処理装置。
（１８） 前記被写界深度拡大処理部は、前記左眼用画像及び前記右眼用画像の位置合わせをし、前記左眼用画像及び前記右眼用画像の共通範囲を切り出して前記合成を行う、前記（１６）に記載の画像処理装置。
（１９） 左眼用画像及び右眼用画像を取得することと、
前記左眼用画像及び前記右眼用画像のそれぞれについて被写界深度を拡大し、被写界深度が拡大された前記左眼用画像及び前記右眼用画像を合成することで被写界深度拡大画像を生成することと、
を備える、画像処理方法。
（２０） 左眼用画像及び右眼用画像を取得することと、
前記左眼用画像及び前記右眼用画像のそれぞれについて被写界深度を拡大し、被写界深度が拡大された前記左眼用画像及び前記右眼用画像を合成することで被写界深度拡大画像を生成することと、
としてコンピュータを機能させるためのプログラム。
１００ カメラヘッド
２００ 画像処理装置
２１０ 立体視／被写界深度拡大切替判定部
２１２ 撮影状況取得部
２１４ 判定部
２２０ 被写界深度拡大補正処理部
２２２ 撮像画像取得部
２２４ 被写界深度拡大処理部
２４０ 照明制御部

Claims (19)

  1. 左右一対の左眼用画像及び右眼用画像を撮像する立体視用撮像装置による前記左眼用画像及び前記右眼用画像の撮影状況に関する情報を取得する撮影状況取得部と、
    前記撮影状況に関する情報に応じて、前記左眼用画像及び前記右眼用画像に対して立体視画像処理を行うか、又は前記左眼用画像及び前記右眼用画像の少なくとも一方による２次元の被写界深度拡大処理を行うかを判定する判定部と、
    を備え、
    前記撮影状況に関する情報は、前記左眼用画像及び前記右眼用画像を撮像した際の光学ズーム値、前記左眼用画像及び前記右眼用画像を撮像した際の電子ズーム値、前記左眼用画像と前記右眼用画像の視差情報、前記左眼用画像及び前記右眼用画像の被写体までの距離情報、及びユーザによる操作情報の少なくともいずれかである、
    画像処理装置。
  2. 更に、被写界深度拡大処理部を備え、
    前記被写界深度拡大処理部は、前記判定部により被写界深度拡大処理を行うと判定された場合に、前記左眼用画像及び前記右眼用画像の少なくとも１つを用いて被写界深度拡大画像を生成する、請求項１に記載の画像処理装置。
  3. 前記被写界深度拡大処理部は、前記左眼用画像と前記右眼用画像の視差角が２度以上の場合に前記被写界深度拡大画像を生成する、請求項２に記載の画像処理装置。
  4. 前記被写界深度拡大処理部は、前記左眼用画像及び前記右眼用画像の少なくとも１つについて、デプス量に応じたぼけ関数に基づいて逆変換を行うことで前記被写界深度拡大画像を生成する、請求項２に記載の画像処理装置。
  5. 前記被写界深度拡大処理部は、合焦位置の異なるＲ，Ｇ，Ｂの各色の画像のうちデプス位置に応じて最も高周波成分の多い画像を同じデプス位置の他の色の画像に合成することで前記被写界深度拡大画像を生成する、請求項２に記載の画像処理装置。
  6. 更に、照明制御部を備え、
    前記照明制御部は、前記Ｒ，Ｇ，Ｂの各色の画像の合焦位置を調整するために照明を制御する、請求項５に記載の画像処理装置。
  7. 前記被写界深度拡大処理部は、フレーム毎に異なる合焦位置で撮像された複数の画像を合成することで前記被写界深度拡大画像を生成する、請求項２に記載の画像処理装置。
  8. 前記被写界深度拡大処理部は、異なる合焦位置で撮像された前記左眼用画像及び前記右眼用画像のそれぞれについて被写界深度を拡大し、被写界深度が拡大された前記左眼用画像及び前記右眼用画像を合成することで前記被写界深度拡大画像を生成する、請求項２に記載の画像処理装置。
  9. 前記被写界深度拡大処理部は、デプス位置又はデフォーカス位置に応じて前記左眼用画像及び前記右眼用画像の合成比率を変える、請求項８に記載の画像処理装置。
  10. 前記被写界深度拡大処理部は、前記左眼用画像及び前記右眼用画像の位置合わせをして前記合成を行う、請求項８に記載の画像処理装置。
  11. 前記被写界深度拡大処理部は、前記左眼用画像及び前記右眼用画像の共通範囲を切り出して前記合成を行う、請求項８に記載の画像処理装置。
  12. 左右一対の左眼用画像及び右眼用画像を撮像する立体視用撮像装置による前記左眼用画像及び前記右眼用画像の撮影状況に関する情報を取得することと、
    前記撮影状況に関する情報に応じて、前記左眼用画像及び前記右眼用画像に対して立体視画像処理を行うか、又は前記左眼用画像及び前記右眼用画像の少なくとも一方による２次元の被写界深度拡大処理を行うかを判定することと、
    を備え、
    前記撮影状況に関する情報は、前記左眼用画像及び前記右眼用画像を撮像した際の光学ズーム値、前記左眼用画像及び前記右眼用画像を撮像した際の電子ズーム値、前記左眼用画像と前記右眼用画像の視差情報、前記左眼用画像及び前記右眼用画像の被写体までの距離情報、及びユーザによる操作情報の少なくともいずれかである、
    画像処理方法。
  13. 左右一対の左眼用画像及び右眼用画像を撮像する立体視用撮像装置による前記左眼用画像及び前記右眼用画像の撮影状況に関する情報を取得する手段、
    前記撮影状況に関する情報に応じて、前記左眼用画像及び前記右眼用画像に対して立体視画像処理を行うか、又は前記左眼用画像及び前記右眼用画像の少なくとも一方による２次元の被写界深度拡大処理を行うかを判定する手段、
    としてコンピュータを機能させ、
    前記撮影状況に関する情報は、前記左眼用画像及び前記右眼用画像を撮像した際の光学ズーム値、前記左眼用画像及び前記右眼用画像を撮像した際の電子ズーム値、前記左眼用画像と前記右眼用画像の視差情報、前記左眼用画像及び前記右眼用画像の被写体までの距離情報、及びユーザによる操作情報の少なくともいずれかである、
    プログラム。
  14. 左右一対の左眼用画像及び右眼用画像を撮像する立体視用撮像装置と、
    前記立体視用撮像装置による前記左眼用画像及び前記右眼用画像の撮影状況に関する情報を取得する取得部と、前記撮影状況に関する情報に応じて、前記左眼用画像及び前記右眼用画像に対して立体視画像処理を行うか、又は前記左眼用画像及び前記右眼用画像の少なくとも一方による２次元の被写界深度拡大処理を行うかを判定する判定部と、を有する、画像処理装置と、
    を備え、
    前記撮影状況に関する情報は、前記左眼用画像及び前記右眼用画像を撮像した際の光学ズーム値、前記左眼用画像及び前記右眼用画像を撮像した際の電子ズーム値、前記左眼用画像と前記右眼用画像の視差情報、前記左眼用画像及び前記右眼用画像の被写体までの距離情報、及びユーザによる操作情報の少なくともいずれかである、
    撮像システム。
  15. 左右一対の左眼用画像及び右眼用画像を撮像する立体視用撮像装置により撮像された前記左眼用画像及び前記右眼用画像を取得する撮像画像取得部と、
    前記左眼用画像及び前記右眼用画像のそれぞれについて被写界深度を拡大し、被写界深度が拡大された前記左眼用画像及び前記右眼用画像を合成することで被写界深度拡大画像を生成する被写界深度拡大処理部と、
    を備える画像処理装置。
  16. 前記被写界深度拡大処理部は、デプス位置又はデフォーカス位置に応じて前記左眼用画像及び前記右眼用画像の合成比率を変える、請求項１５に記載の画像処理装置。
  17. 前記被写界深度拡大処理部は、前記左眼用画像及び前記右眼用画像の位置合わせをし、前記左眼用画像及び前記右眼用画像の共通範囲を切り出して前記合成を行う、請求項１５に記載の画像処理装置。
  18. 左右一対の左眼用画像及び右眼用画像を撮像する立体視用撮像装置により撮像された前記左眼用画像及び前記右眼用画像を取得することと、
    前記左眼用画像及び前記右眼用画像のそれぞれについて被写界深度を拡大し、被写界深度が拡大された前記左眼用画像及び前記右眼用画像を合成することで被写界深度拡大画像を生成することと、
    を備える、画像処理方法。
  19. 左右一対の左眼用画像及び右眼用画像を撮像する立体視用撮像装置により撮像された前記左眼用画像及び前記右眼用画像を取得することと、
    前記左眼用画像及び前記右眼用画像のそれぞれについて被写界深度を拡大し、被写界深度が拡大された前記左眼用画像及び前記右眼用画像を合成することで被写界深度拡大画像を生成することと、
    としてコンピュータを機能させるためのプログラム。
JP2018523548A 2016-06-17 2017-04-21 画像処理装置、画像処理方法、プログラム、及び画像処理システム Expired - Fee Related JP6908039B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016120888 2016-06-17
JP2016120888 2016-06-17
PCT/JP2017/016067 WO2017217115A1 (ja) 2016-06-17 2017-04-21 画像処理装置、画像処理方法、プログラム、及び画像処理システム

Publications (2)

Publication Number Publication Date
JPWO2017217115A1 JPWO2017217115A1 (ja) 2019-04-25
JP6908039B2 true JP6908039B2 (ja) 2021-07-21

Family

ID=60664361

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018523548A Expired - Fee Related JP6908039B2 (ja) 2016-06-17 2017-04-21 画像処理装置、画像処理方法、プログラム、及び画像処理システム

Country Status (5)

Country Link
US (1) US10992917B2 (ja)
EP (1) EP3473157A4 (ja)
JP (1) JP6908039B2 (ja)
CN (1) CN109310278B (ja)
WO (1) WO2017217115A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12363430B2 (en) 2022-07-07 2025-07-15 Canon Kabushiki Kaisha Image processing apparatus, display apparatus, and image processing method

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11699215B2 (en) * 2017-09-08 2023-07-11 Sony Corporation Imaging device, method and program for producing images of a scene having an extended depth of field with good contrast
JP7143092B2 (ja) * 2018-03-12 2022-09-28 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置、医療用観察装置、および画像処理方法
JP7176855B2 (ja) * 2018-04-23 2022-11-22 株式会社エビデント 内視鏡装置、内視鏡装置の作動方法、プログラム、および記録媒体
US10955657B2 (en) * 2018-12-20 2021-03-23 Acclarent, Inc. Endoscope with dual image sensors
CN113574437A (zh) * 2019-03-25 2021-10-29 索尼奥林巴斯医疗解决方案公司 医学观察系统
WO2021038789A1 (ja) * 2019-08-29 2021-03-04 オリンパス株式会社 画像処理方法および画像処理装置
CN112714303B (zh) * 2020-12-28 2023-05-12 烟台艾睿光电科技有限公司 一种红外立体成像方法、系统及设备
WO2023042453A1 (ja) * 2021-09-14 2023-03-23 ソニーグループ株式会社 撮像装置、および画像処理方法、並びにプログラム
CN113902666B (zh) * 2021-12-13 2022-06-14 湖南警察学院 一种车载多波段立体视觉感知方法、装置、设备和介质
CN114488511B (zh) * 2021-12-23 2024-10-15 南京大学 一种基于深度测量辅助成像的拓展景深光纤内窥成像方法
US12034907B2 (en) * 2022-08-12 2024-07-09 Varjo Technologies Oy Selective extended depth-of-field correction
US12249050B2 (en) * 2022-11-21 2025-03-11 Varjo Technologies Oy Extended depth-of-field correction using reconstructed depth map
US20240169493A1 (en) * 2022-11-21 2024-05-23 Varjo Technologies Oy Determining and using point spread function for image deblurring
US12112457B2 (en) * 2022-11-21 2024-10-08 Varjo Technologies Oy Selective extended depth-of-field correction for image reconstruction
US20240169495A1 (en) * 2022-11-21 2024-05-23 Varjo Technologies Oy Determining point spread function from consecutive images
CN118233617B (zh) * 2024-05-21 2024-08-27 浙江华诺康科技有限公司 一种双目成像设备的调节方法、装置和计算机设备

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5625408A (en) * 1993-06-24 1997-04-29 Canon Kabushiki Kaisha Three-dimensional image recording/reconstructing method and apparatus therefor
JPH10248807A (ja) * 1997-03-13 1998-09-22 Olympus Optical Co Ltd 内視鏡装置
FR2906899B1 (fr) * 2006-10-05 2009-01-16 Essilor Int Dispositif d'affichage pour la visualisation stereoscopique.
EP2228677A1 (en) * 2009-03-09 2010-09-15 Global Bionic Optics Pty Ltd. Extended depth-of-field surveillance imaging system
WO2010108119A2 (en) * 2009-03-19 2010-09-23 Flextronics Ap, Llc Dual sensor camera
US9750399B2 (en) * 2009-04-29 2017-09-05 Koninklijke Philips N.V. Real-time depth estimation from monocular endoscope images
US8212915B1 (en) * 2010-03-27 2012-07-03 Lloyd Douglas Clark Externally actuable photo-eyepiece relay lens system for focus and photomontage in a wide-field imaging system
JP5073013B2 (ja) * 2010-06-11 2012-11-14 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御方法および表示制御システム
US8705801B2 (en) * 2010-06-17 2014-04-22 Panasonic Corporation Distance estimation device, distance estimation method, integrated circuit, and computer program
JP2012027263A (ja) * 2010-07-23 2012-02-09 Sony Corp 撮像装置、その制御方法およびプログラム
TW201216204A (en) * 2010-10-13 2012-04-16 Altek Corp Method for combining dual-lens images into mono-lens image
CN103181173B (zh) * 2010-10-27 2016-04-27 松下知识产权经营株式会社 三维图像处理装置、三维摄像装置以及三维图像处理方法
EP2466872B1 (en) * 2010-12-14 2018-06-06 Axis AB Method and digital video camera for improving the image quality of images in a video image stream
EP2629504B1 (en) 2010-12-14 2017-07-12 Olympus Corporation Imaging apparatus
WO2012095322A1 (en) * 2011-01-14 2012-07-19 Sony Corporation Imaging system using a lens unit with longitudinal chromatic aberrations and method of operating
EP2672696B1 (en) * 2011-01-31 2018-06-13 Panasonic Corporation Image restoration device, imaging device, and image restoration method
JP5121970B2 (ja) 2011-04-28 2013-01-16 オリンパス株式会社 医療用撮影装置
US8610813B2 (en) * 2011-05-31 2013-12-17 Omnivision Technologies, Inc. System and method for extending depth of field in a lens system by use of color-dependent wavefront coding
JP2013005259A (ja) * 2011-06-17 2013-01-07 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
CN107913053B (zh) * 2011-08-12 2020-10-30 直观外科手术操作公司 外科手术器械中的图像捕获单元
US8734328B2 (en) * 2011-08-12 2014-05-27 Intuitive Surgical Operations, Inc. Increased resolution and dynamic range image capture unit in a surgical instrument and method
CN202204985U (zh) * 2011-08-30 2012-04-25 何晓昀 一种显微镜快速图像扩展、融合和三维成像系统
US8937646B1 (en) 2011-10-05 2015-01-20 Amazon Technologies, Inc. Stereo imaging using disparate imaging devices
JP2013115668A (ja) * 2011-11-29 2013-06-10 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
CN103503434B (zh) * 2011-12-16 2016-09-28 奥林巴斯株式会社 深度扩展装置
JP2013128723A (ja) * 2011-12-22 2013-07-04 Olympus Corp 内視鏡装置
CN102609931B (zh) * 2012-02-01 2014-04-09 广州市明美光电技术有限公司 一种显微图像的景深扩展方法及装置
EP3798717B1 (en) * 2012-02-16 2023-07-05 University Of Washington Through Its Center For Commercialization Extended depth of focus for high-resolution image scanning
JP5931528B2 (ja) * 2012-03-21 2016-06-08 オリンパス株式会社 手術用映像システムおよび手術用映像システムの作動方法
JP6125154B2 (ja) * 2012-05-09 2017-05-10 東芝メディカルシステムズ株式会社 Ｘ線撮影装置及び医用画像処理装置
CN102750731B (zh) * 2012-07-05 2016-03-23 北京大学 基于左右单眼感受野和双目融合的立体视觉显著计算方法
US20140218478A1 (en) * 2013-02-07 2014-08-07 National University Of Singapore Method and apparatus for stereoscopic imaging
DE202013011877U1 (de) * 2013-07-04 2014-09-05 Leica Microsystems (Schweiz) Ag Mikroskopsystem
AU2014280872A1 (en) * 2014-12-22 2016-07-07 Canon Kabushiki Kaisha Multiscale depth estimation using depth from defocus

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12363430B2 (en) 2022-07-07 2025-07-15 Canon Kabushiki Kaisha Image processing apparatus, display apparatus, and image processing method

Also Published As

Publication number Publication date
US20190158803A1 (en) 2019-05-23
EP3473157A4 (en) 2019-09-04
CN109310278A (zh) 2019-02-05
US10992917B2 (en) 2021-04-27
EP3473157A1 (en) 2019-04-24
WO2017217115A1 (ja) 2017-12-21
JPWO2017217115A1 (ja) 2019-04-25
CN109310278B (zh) 2022-05-03

Similar Documents

Publication Publication Date Title
JP6908039B2 (ja) 画像処理装置、画像処理方法、プログラム、及び画像処理システム
JP5963422B2 (ja) 撮像装置、表示装置、コンピュータプログラムおよび立体像表示システム
JP6296365B2 (ja) 手術内視鏡用カメラコントロールユニット
JP5284731B2 (ja) 立体画像撮影表示システム
CN105850120B (zh) 立体内窥镜图像处理装置
JP6419118B2 (ja) 画像表示システム
JP2005167310A (ja) 撮影装置
US20180309980A1 (en) Surgical microscope, image processing device, and image processing method
JP2015531271A (ja) 外科用画像処理システム、外科用画像処理方法、プログラム、コンピュータ可読記録媒体、医用画像処理装置、および画像処理検査装置
CN104185441B (zh) 立体视觉内窥镜系统
JP5464279B2 (ja) 画像処理装置、そのプログラム、および画像処理方法
JPWO2012001970A1 (ja) 画像処理装置および方法並びにプログラム
US20190037209A1 (en) Image processing apparatus, camera apparatus, and output control method
JP2019025082A (ja) 画像処理装置、カメラ装置及び画像処理方法
JP2015220643A (ja) 立体観察装置
JP2006208407A (ja) 立体画像観察用顕微鏡システム
JP2021015273A (ja) 光学撮像機器及び表示画像の改善方法
JP5891554B2 (ja) 立体感提示装置および方法ならびにぼけ画像生成処理装置，方法およびプログラム
WO2018225346A1 (ja) 医療用システム及び制御ユニット
JP2019029875A (ja) 画像処理装置、カメラ装置及び画像処理方法
US11652974B2 (en) Stereoscopic imaging device and method for image processing
WO2017098755A1 (ja) ステレオ画像撮像装置
CN112204959A (zh) 医疗图像处理装置
WO2012043547A1 (ja) 立体視画像表示方法および立体視画像表示装置

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200413

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200413

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201013

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210601

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210614

R151 Written notification of patent or utility model registration

Ref document number: 6908039

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees