JP7456385B2 - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

Description

本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。具体的には画像のダウンコンバート処理を実行する画像処理装置、および画像処理方法、並びにプログラムに関する。

例えばカメラの撮影した高解像度画像をカメラの表示部、あるいはテレビやＰＣ等の外部モニタ等の表示部に出力して表示する場合、撮影画像の画素数を表示部に出力可能な画素数に低減するダウンコンバート処理を行うことが必要となる。また、記憶部に格納する際にもデータ容量の削減のためダウンコンバートを行う場合がある。

ダウンコンバートについて開示した従来技術の多くは、コンバート前後の画質の変化を低減することを目的としている。
例えば特許文献１（特開２００４－３１２７６５号公報）は、ダウンコンバート対象となる高解像度映像に対して、複数画素の画素値の平均化処理を行う平均化フィルタを適用した処理や、画素の間引き処理を実行することで画質劣化の少ないダウンコンバート画像を生成する構成を開示している。

しかし、このように複数画素の平均化処理や画素間引きを行うと、ダウンコンバート前の元画像が有していたコントラストやテクスチャが弱められてしまうことが多い。このような画像は表示部に表示した場合、ぼんやりとした画像となり画質の劣化を感じさせてしまう。

また、カメラによる画像撮影時のフォーカス調整において画像のコントラストに基づくフォーカス調整を行うことが多い。例えばユーザが画像を見てコントラストが最大となる点をフォーカスポイントとするマニュアル調整の他、自動フォーカス調整であるコントラストＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）も多く利用されている。しかし、コントラストが弱められたダウンコンバート画像を利用すると正確なフォーカス調整が困難になるという問題が発生する。

特開２００４－３１２７６５号公報

本開示は、例えば、上記の問題点に鑑みてなされたものであり、ダウンコンバート前の高解像度画像が有するコントラストやテクスチャを大きく損なうことのないダウンコンバート画像の生成を可能とする画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。

本開示の第１の側面は、
ダウンコンバート処理対象となる画像を入力して、ダウンコンバート画像に出力する画素の選択に利用する隣接画素差分情報を生成する画像解析部と、
前記画像解析部の生成した隣接画素差分情報に基づいてダウンコンバート画像に利用する隣接画素である画素ペアを選択し、選択した画素ペアに基づいてダウンコンバート画像を生成する出力画像生成部を有する画像処理装置にある。

さらに、本開示の第２の側面は、
画像処理装置において実行する画像処理方法であり、
画像解析部が、ダウンコンバート処理対象となる画像を入力して、ダウンコンバート画像に出力する画素の選択に利用する隣接画素差分情報を生成する画像解析ステップと、
出力画像生成部が、前記画像解析ステップで生成された隣接画素差分情報に基づいてダウンコンバート画像に利用する隣接画素である画素ペアを選択し、選択した画素ペアに基づいてダウンコンバート画像を生成する出力画像生成ステップを実行する画像処理方法にある。

さらに、本開示の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
画像解析部に、ダウンコンバート処理対象となる画像を入力して、ダウンコンバート画像に出力する画素の選択に利用する隣接画素差分情報を生成させる画像解析ステップと、
出力画像生成部に、前記画像解析ステップで生成された隣接画素差分情報に基づいてダウンコンバート画像に利用する隣接画素である画素ペアを選択し、選択した画素ペアに基づいてダウンコンバート画像を生成させる出力画像生成ステップを実行させるプログラムにある。

なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本開示の一実施例の構成によれば、元画像のコントラストやテクスチャ情報を大きく損なうことのないダウンコンバート画像を生成する装置、方法が実現される。
具体的には、例えば、ダウンコンバート対象画像を入力して、ダウンコンバート画像に出力する画素選択に利用する隣接画素差分情報を生成する画像解析部と、隣接画素差分情報に基づいてダウンコンバート画像に利用する隣接画素である画素ペアを選択し、選択した画素ペアの画素値調整を実行してダウンコンバート画像を生成する出力画像生成部を有する。画像解析部は、処理ブロック構成画素の隣接画素ペアの差分を算出し、差分の大きいものから順にならべたソート結果を生成し、出力画像生成部はソート結果に基づいて差分値の大きいものから順にダウンコンバート画像に利用する画素ペアを選択する。
これらの処理により、元画像のコントラストやテクスチャ情報を大きく損なうことのないダウンコンバート画像を生成する装置、方法が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

本開示の画像処理装置の構成について説明する図である。 画像解析部の構成と処理について説明する図である。 画像解析部の処理画像の例について説明する図である。 画像解析部の実行する隣接画素の差分算出処理の一例について説明する図である。 画像解析部の実行する隣接画素の差分算出処理の一例について説明する図である。 画像解析部の実行する隣接画素の差分算出処理の一例について説明する図である。 画像解析部の実行する隣接画素の差分算出結果のソート処理例について説明する図である。 画像解析部の実行する隣接画素の差分算出結果のソート処理例について説明する図である。 画像解析部の実行する周辺輝度算出処理の一例について説明する図である。 出力画像生成部の構成と処理について説明する図である。 出力画像生成部の実行する画素ペアの選択処理の具体例について説明する図である。 出力画像生成部の実行する画素ペアの選択処理の具体例について説明する図である。 出力画像生成部の実行する画素ペアの選択処理の具体例について説明する図である。 画素値調整部の構成と処理について説明する図である。 周辺輝度平均値（Ｙｍ）に基づく周辺輝度依存係数（出力信号値調整ゲインＹｍｇａｉｎ）の算出処理の一例について説明する図である。 差分ゲイン調整部の実行する処理について説明する図である。 出力信号調整部の実行する処理について説明する図である。 画素配置決定部の実行する画素配置決定処理の一例について説明する図である。 撮像装置の構成例について説明する図である。 画像処理装置のハードウェア構成例について説明する図である。 内視鏡手術システムの概略的な構成の一例を示す図である。 図２１に示すカメラヘッドおよびＣＣＵの機能構成の一例を示すブロック図である。

以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
１．本開示の画像処理装置の全体構成と処理の概要について
２．画像解析部の構成と処理の詳細について
３．出力画像生成部の構成と処理の詳細について
４．本開示の画像処理装置を撮像装置に適用した場合の構成例について
５．本開示の画像処理装置のハードウェア構成例について
６．応用例について
７．本開示の構成のまとめ

［１．本開示の画像処理装置の全体構成と処理の概要について］
まず、図１を参照して本開示の画像処理装置の全体構成と処理の概要について説明する。

図１は、本開示の画像処理装置１００の全体構成を示すブロック図である。
なお、この図１に示す画像処理装置は、具体的には、例えばカメラ内部の信号処理部として構成することが可能である。あるいは、例えばカメラ撮影画像を入力して表示部に表示するテレビやＰＣ等、表示部に対する表示画像を生成する画像処理装置として構成することも可能である。

図１に示す画像処理装置１００の構成と処理の概要について説明する。
画像処理装置１００は、図１に示すように２つの大きな処理ブロックから構成される。画像解析部１２０と出力画像生成部１４０である。
画像処理装置１００は、例えば高画素数の撮像素子を有するカメラの撮影した画像である処理対象画像１０を入力し、画像解析部１２０と出力画像生成部１４０の処理によって、画素数を低減させたダウンコンバート画像２０を生成して出力する。

画像処理装置１００の生成したダウンコンバート画像２０は、例えばカメラのモニタや、テレビやＰＣ等の表示部に表示される。あるいは記憶部に格納される。
また、画像処理装置１００がカメラの信号処理部内に構成されている場合、画像処理装置１００の生成したダウンコンバート画像２０は、画像コントラストに基づくフォーカス調整にも利用可能である。例えばコントラストＡＦ等に利用可能である。
本開示の画像処理装置１００の生成するダウンコンバート画像２０は、ダウンコンバート前のコントラストやテクスチャ情報が大きく損なわれることがないため、高精度なフォーカス調整が可能となる。

図１に示す画像処理装置１００の画像解析部１２０の実行する主要な処理は、出力するダウンコンバート画像２０の構成画素として利用する画素を選択するために必要となる情報を生成する処理である。
画像解析部１２０は、処理対象画像１０を入力し、予め規定した画素ブロック単位で、出力するダウンコンバート画像２０の構成画素に利用する画素を選択するための情報、具体的には、隣接画素の画素値差分情報を生成する。
画像解析部１２０が選択した隣接画素差分情報は、出力画像生成部１４０に入力される。

出力画像生成部１４０は、画像解析部１２０が生成した隣接画素差分情報に基づいて、ダウンコンバート画像２０の構成画素として利用する画素を選択す。さらに、選択した画素候補の画素値の調整等の処理を実行してダウンコンバート画像２０の構成画素の画素値を決定する。
以下、図２以下を参照して、図１に示す画像処理装置１００の画像解析部１２０と出力画像生成部１４０の詳細な構成と処理について説明する。

［２．画像解析部の構成と処理の詳細について］
まず、図２以下を参照して図１に示す画像処理装置１００の画像解析部１２０の構成と処理の詳細について説明する。

図２は、図１に示す画像処理装置１００の画像解析部１２０の詳細構成を示すブロック図である。
画像解析部１２０は、まず、処理対象画像１０をメモリ１２１に格納する。
なお、処理対象画像１０は各画素にＲＧＢ画素値の設定された画像である。ただし、これは処理対象画像１０の一例であり、画像処理装置１００が処理する処理対象画像１０はＲＧＢ画像以外の例えばＹＣｂＣｒ等の他の画素値の設定された画像であってもよい。以下では、一例として処理対象画像１０がＲＧＢ画像である場合の処理例について説明する。

輝度信号生成部１２２は、メモリ１２１に格納された処理対象画像１０の各画素に対応する輝度（Ｙ）信号を生成する。ＲＧＢ信号からＹ信号への変換は既存の変換式（Ｙ＝ｆ（Ｒ，Ｇ，Ｂ））を適用して実行することができる。

隣接画素値差分算出部１２３は、メモリ１２１に格納された処理対象画像１０であるＲＧＢ画像の各画素のＲＧＢ信号を入力するとともに、各画素対応のＹ（輝度）信号を輝度信号生成部１２２から入力する。
なお、隣接画素値差分算出部１２３に入力される信号は、例えば、図３に示すような各画素対応のＲＧＢＹの各信号となる。

隣接画素値差分算出部１２３以降の構成部、すなわち画像解析部１２０の隣接画素値差分算出部１２３、ソート処理部１２５、さらに後段の出力画像生成部１４０は、処理対象画像１０であるＲＧＢ画像の各画素のＲＧＢ信号各々について、以下に説明する処理を順次、または並列に実行する。

輝度信号生成部１２２の生成した各画素対応のＹ（輝度）信号は、ＲＧＢ各信号の処理に際して補助的に利用する信号である。
以下に説明する実施例は、輝度信号生成部１２２においてＹ（輝度）信号を生成して、生成したＹ信号をＲＧＢ各信号の処理に共通に適用する実施例である。
ただし、Ｙ（輝度）信号を生成して利用することは必須ではなく、Ｙ（輝度）信号の代わりにＲＧＢ信号自体を用いて処理を行う構成としてもよい。

隣接画素値差分算出部１２３は、各画素対応のＲＧＢ信号やＹ（輝度）信号の差分を算出する。
Ｙ（輝度）信号を用いる場合は、Ｙ（輝度）信号の差分を算出する。
Ｙ（輝度）信号を用いない場合は、処理対象信号となるＲＧＢ信号、いずれかの差分信号を算出する。

なお、以下の実施例の説明では、Ｙ（輝度）信号を生成して、生成したＹ信号をＲＧＢ各信号の処理に用いる実施例を説明する。
本実施例において、隣接画素値差分算出部１２３は、各画素対応のＹ（輝度）信号を輝度信号生成部１２２から入力して、隣接画素のＹ（輝度）信号の差分を算出する。

なお、隣接画素の画素値差分（輝度値差分）の算出態様は、ダウンコンバート比に応じた態様とする。一例として、ダウンコンバート比２：１の場合の画素値差分算出処理例について説明する。
また、画素値差分算出対象とする隣接画素の選択態様としては、
上下方向の隣接画素、
左右方向の隣接画素、
斜め方向の隣接画素、
これら３種類の選択態様がある。なお、複数の隣接画素を選択する場合には、上記いずれか１種類の選択態様を用いても良いし、複数種類の選択態様を組み合わせて用いても良い。

図４は、上下方向の隣接画素を差分算出対象とした場合の差分算出画素の設定例を示す図である。
隣接画素値差分算出部１２３は、予め規定した処理ブロック単位で処理を行う。図４に示す例は、４×４画素を１つの処理単位（処理ブロック）とした例である。

隣接画素値差分算出部１２３は、１つの処理ブロックに含まれる複数画素について、上下方向の隣接画素の差分を全て算出する。本例では輝度（Ｙ）信号の差分を算出する。
図４に示すように、４×４画素の処理ブロックには４×４＝１６画素が含まれ、この１６画素について上下方向の隣接画素の差分を全て算出すると、１２個の差分データ（ｄｉｆ１～ｄｉｆ１２）を算出することができる。

図５は、左右方向の隣接画素を差分算出対象とした場合の差分算出画素の設定例を示す図である。
図５に示すように、４×４画素の処理ブロックの１６画素について左右方向の隣接画素の差分を全て算出すると、１２個の差分データ（ｄｉｆ１～ｄｉｆ１２）を算出することができる。

図６は、斜め方向の隣接画素を差分算出対象とした場合の差分算出画素の設定例を示す図である。
図６に示すように、４×４画素の処理ブロックの１６画素について斜め方向の隣接画素の差分を全て算出すると、１８個の差分データ（ｄｉｆ１～ｄｉｆ１８）を算出することができる。

差分算出対象を上下方向の隣接画素とするか、左右方向の隣接画素とするか、斜め方向の隣接画素とするかは、ユーザによって設定可能である。図１、図２には入力部を示していないが、例えば、ユーザはカメラの表示部に構成されたタッチパネル等によって構成されるユーザＩＦ等の入力部を介して設定情報を入力することができる。処理ブロックの大きさについても同様であり、ユーザが任意の大きさに設定することができる。ユーザは例えば表示部に表示されたダウンコンバート画像を観察しながら、設定を切り替えるといった処理を行うことも可能である。

なお、デフォルト設定情報、あるいはユーザが最終設定した設定情報はカメラのメモリに格納され、新たなユーザ入力がない場合は、このメモリに格納された設定に従った処理が実行される。
以下では、処理ブロックを４×４画素とし、上下方向の隣接画素を差分算出対象とした設定の下で処理を実行する場合の処理例について説明する。

先に図４を参照して説明した通り、処理ブロックを４×４画素とし、上下方向の隣接画素を差分算出対象とした設定の下で画素値差分を算出すると、１２個の差分データ（ｄｉｆ１～ｄｉｆ１２）を算出することができる。
隣接画素値差分算出部１２３は、この１２個の差分データ（ｄｉｆ１～ｄｉｆ１２）を算出し、算出データをソート処理部１２５に入力する。図２に示す「隣接画素値差分データ」である。

ソート処理部１２５には、処理対象画像１０のＲＧＢ画素値データと、輝度信号生成部１２２の生成した各画素対応の輝度（Ｙ）信号と、隣接画素値差分算出部１２３が算出した「隣接画素値差分データ」が入力される。

ソート処理部１２５は、隣接画素値差分算出部１２３が算出した「隣接画素値差分データ」を用いて「隣接画素値差分データ」のソート処理を実行する。
なお、処理は、処理ブロック単位で実行される。すなわち、図４に示す４×４画素の処理ブロックである。
ソート処理部１２５は、図４を参照して説明した４×４画素の処理ブロックから得られる上下方向の隣接画素値差分データである１２個の差分データ（ｄｉｆ１～ｄｉｆ１２）を、差分値を値の大きいものから順に並べるソート処理を実行する。

なお、ソート処理の態様として、以下の２つの処理態様がある。
（１）画素重複を許容したソート処理
（２）画素重複を許容しないソート処理
図７、図８を参照して、これらのソート処理の具体例について説明する。

まず、図７を参照して、「（１）画素重複を許容したソート処理」について説明する。
図７左に示す図は、図４に示した処理ブロックと同様の４×４画素の処理ブロックである。上下方向の隣接画素値差分データである１２個の差分データ（ｄｉｆ１～ｄｉｆ１２）を示している。

図７右側に示す表は、１２個の差分データ（ｄｉｆ１～ｄｉｆ１２）を、差分値の大きいものから順に並べるソート処理を実行した結果を示している。このソート処理結果は、「（１）画素重複を許容したソート処理」の結果である。
１２個の差分データ（ｄｉｆ１～ｄｉｆ１２）を、差分値の大きいものから順に並べた結果である。
図７の右側の表に示す（１），（２），（３）・・・の順に差分値の大きい差分データ（ｄｉｆ１～ｄｉｆ１２）が並べられている。

図７の右側の表に示す（１），（２），（３）・・・の各エントリには、ソート差分データ（ｄｉｆｎ）と、差分算出画素Ｐｘ，Ｐｙが記録されている。差分算出画素Ｐｘ，Ｐｙは、図７左側に示す４×４画素の処理ブロック中の上下方向の隣接画素のペアである。
「（１）画素重複を許容したソート処理」では、１２個の差分データ（ｄｉｆ１～ｄｉｆ１２）を、単純に差分値の大きいものから順に並べるソート処理である。

次に、図８を参照して、「（２）画素重複を許容しないソート処理」について説明する。
図８左に示す図は、図４に示した処理ブロックと同様の４×４画素の処理ブロックである。上下方向の隣接画素値差分データである１２個の差分データ（ｄｉｆ１～ｄｉｆ１２）を示している。

図８右側に示す表は、１２個の差分データ（ｄｉｆ１～ｄｉｆ１２）について、「（２）画素重複を許容しないソート処理」を実行した結果を示している。

まず、１２個の差分データ（ｄｉｆ１～ｄｉｆ１２）を、差分値の大きいものから順に並べ、その結果の各エントリの差分算出画素を解析し、ソート結果の上位で既に使用されている画素が差分算出画素として含まれるエントリを除去する。
例えば、上から２番目の（×）の設定されたエントリ（差分：ｄｉｆ２）の差分算出画素はＰ１２，Ｐ２２である。この２つの画素のうち、画素Ｐ２２は、ソート結果の上位のエントリ（１）の差分：ｄｉｆ６の算出画素であるＰ２２，Ｐ３２の一方の画素Ｐ２２に等しい。

すなわち画素Ｐ２２は、ソート結果の上位の差分算出画素としてすでに利用されている画素である。
このようにソート結果の上位データにおいて、利用済みの画素を差分算出画素とした差分データはソート結果から除去する。
図８右側のソート結果のエントリ中（×）の設定されたエントリが、この処理によってソート結果から除去されるエントリである。

このような処理後に残ったソート結果、すなわち、図８の右側に示す表のエントリ（１），（２），（３）・・・が、「（２）画素重複を許容しないソート処理」を実行した結果となる。

なお、ソート処理部１２５の実行するソート処理の設定を、
（１）画素重複を許容したソート処理
（２）画素重複を許容しないソート処理
これら（１），（２）のいずれに設定するかは、ユーザが自由に設定することができる。設定情報は入力部（ユーザＩＦ）を介して入力可能である。ユーザは例えば表示部に表示されたダウンコンバート画像を観察しながら、設定を切り替えるといった処理を行うことも可能である。

ソート処理部１２５が実行したソート結果は、差分データ（ｄｉｆｎ）と、差分算出対象の画素位置情報（Ｐｘ，Ｐｙ）とともに、出力画像生成部１４０に入力される。
図２に示す「隣接画素値差分ソート結果＆画素位置情報」である。

次に、周辺輝度平均値算出部１２４の実行する処理について図９を参照して説明する。
周辺輝度平均値算出部１２４は、処理ブロック単位で、その処理ブロックの周辺にある周辺画素の輝度の平均値（Ｙｍ）を算出する。

図９には４×４画素の処理ブロックを中心とした周囲の１２×１２画素を示している。周辺輝度平均値算出部１２４は、例えば図９に示す４×４画素の処理ブロックに対応する「周辺輝度平均値（Ｙｍ）」として、図９に示す１２×１２画素の画素領域の平均輝度を算出する。
図９に示す例では、図９に示す１２×１２＝１４４画素の輝度値の平均値（Ｙｍ）を算出し、この算出値を図９に示す４×４画素の処理ブロックに対応する「周辺輝度平均値（Ｙｍ）」とする。

なお、この「周辺輝度平均値（Ｙｍ）」を算出する周辺画素領域の設定についてもユーザが自由に設定することができる。設定情報は入力部（ユーザＩＦ）を介して入力可能である。ユーザは例えば表示部に表示されたダウンコンバート画像を観察しながら、設定を切り替えるといった処理を行うことも可能である。

上述したように、周辺輝度平均値算出部１２４は、処理ブロック単位で、その処理ブロックの周辺にある周辺画素の輝度の平均値（Ｙｍ）を算出し、算出した「周辺輝度平均値（Ｙｍ）」を出力画像生成部１４０に入力する。

図２に示すように、出力画像生成部１４０には、以下の各データが入力される。
（１）処理対象画像１０のＲＧＢ画素値データ、
（２）周辺輝度平均値算出部１２４が算出した周辺輝度平均値（Ｙｍ）
（３）隣接画素値差分算出部１２３が算出した「隣接画素値差分データ（ｄｉｆｎ）」、
（４）ソート処理部１２５が生成した「隣接画素値差分ソート結果＆画素位置情報」

［３．出力画像生成部の構成と処理の詳細について］
次に、図１０以下を参照して出力画像生成部の構成と処理の詳細について説明する。

図１０は、図１に示す画像処理装置１００の出力画像生成部１４０の詳細構成を示すブロック図である。
出力画像生成部１４０は、出力画素選択部１５０、画素値調整部１６０、画素推知決定部１７０を有する。

出力画像生成部１４０は、まず、出力画素選択部１５０に、前段の画像解析部１２０からの出力情報である以下の各情報を入力する。
（１）処理対象画像１０のＲＧＢ画素値データ、
（２）周辺輝度平均値算出部１２４が算出した周辺輝度平均値（Ｙｍ）
（３）隣接画素値差分算出部１２３が算出した「隣接画素値差分データ（ｄｉｆｎ）」、
（４）ソート処理部１２５が生成した「隣接画素値差分ソート結果＆画素位置情報」

出力画素選択部１５０は、まず、４×４画素の処理ブロック単位のソート処理結果、すなわち、ソート処理部１２５が生成した「隣接画素値差分ソート結果＆画素位置情報」を参照して、どのエントリの画素ペアを、ダウンコンバート画像２０に利用する画素（出力画素）として選択するかを決定する。

出力画素選択部１５０による画素ペアの選択処理、すなわち出力画素選択処理の方法としては、以下の２つの方法がある。
（１）任意のペアをユーザが選択する方法、
（２）差分値（ｄｉｆｎ）が、予め規定した閾値ＴＨ＿Ｓよりも大きい場合、採用するペアから除外し、それ以外のペアの差分が大きい方から順に選択する方法、

なお、（２）の方法において、予め規定した閾値ＴＨ＿Ｓよりも大きいペアを除外する理由は、処理ブロックに欠陥画素等、実際の被写体とは全く違った誤った画素値が設定された画素のような欠陥画素を選択しないための処理である。

基本的には上記（２）の処理、すなわち、予め規定した閾値ＴＨ＿Ｓよりも大きい場合、採用するペアから除外し、それ以外のペアの差分が大きい方から順に選択する。この処理を行うことで、元画像のコントラストやテクスチャ情報の維持が可能となる。

基本的には上記（２）の処理を実行する設定とし、ユーザによる選択情報が入力された場合は、（１）のユーザ選択による処理に切り替えるといった処理を行うことが好ましい。

なお、ユーザによる選択を行う場合、選択情報は入力部（ユーザＩＦ）を介して入力可能である。ユーザは例えば表示部に表示されたダウンコンバート画像を観察しながら、選択設定を切り替えるといった処理を行うことも可能である。

出力画素選択部１５０による画素ペアの選択処理において選択する画素ペアの数は、画像処理装置１００かぜ実行するダウンコンバート処理のダウンコンバート比率に応じた数とする。

図１１以下を参照して、出力画素選択部１５０による画素ペアの選択処理の具体例について説明する。
図１１の左には、処理対象画像１０の１つの処理ブロック、すなわち４×４の処理ブロックを示している。右側が画像処理装置１００によるダウンコンバート後のダウンコンバート画像２０の一部画像領域である２×２画素領域を示している。
図１１に示す例は、処理対象画像１０の１つの処理ブロック、すなわち４×４＝１６画素を、２×２＝４画素にダウンコンバートする例である。

このようなダウンコンバート処理を行う場合、処理対象画像１０の１つの処理ブロック、すなわち４×４の処理ブロックから、２つの画素ペアを出力画素ペアとして選択する。
図に示す画素ペアａと画素ペアｂである。これら２つの画素ペアａ，ｂを構成する４つの画素が、ダウンコンバート画像２０の一部画像領域である２×２画素領域に配置されることになる。
出力画素選択部１５０は、ダウンコンバート画像２０に利用する画素数に達するまで画素ペアを選択する。

ただし、選択された画素ペアａ，ｂの画素値は、そのままではなく、後述する画素値調整が実行された後、ダウンコンバート画像２０の構成画素値に設定される。
この処理により、処理対象画像の４×４画素領域が、ダウンコンバート画像２０の２×２画素にダウンコンバートされる。

次に、図１２を参照してダウンコンバート比率の異なる処理例について説明する。図１２に示す例は、処理対象画像１０の８×８＝６４画素を、２×２＝４画素にダウンコンバートする例である。

図１２に示す例では、処理対象画像１０の８×８＝６４画素を１つの処理ブロックとしている。このダウンコンバート処理を行う場合、処理対象画像１０の１つの処理ブロック、すなわち８×８の処理ブロックから、２つの画素ペアを出力画素ペアとして選択する。
図に示す画素ペアａと画素ペアｂである。これら２つの画素ペアａ，ｂを構成する４つの画素が、ダウンコンバート画像２０の一部画像領域である２×２画素領域に配置されることになる。

ただし、選択された画素ペアａ，ｂの画素値は、そのままではなく、後述する画素値調整が実行された後、ダウンコンバート画像２０の構成画素値に設定される。
この処理により、処理対象画像の８×８画素領域が、ダウンコンバート画像２０の２×２画素にダウンコンバートされる。

図１３は、図１２と同様、処理対象画像１０の８×８＝６４画素を、２×２＝４画素にダウンコンバートする例であるが、図１３に示す例では、処理対象画像１０の４×４＝１６画素を１つの処理ブロックとしている。すなわち、処理対象画像１０の８×８＝６４画素には４つの処理ブロックが含まれる。

このような設定でダウンコンバート処理を行う場合、処理対象画像１０の４つの処理ブロックから、２つの画素ペアを出力画素ペアとして選択する。

この場合は、出力画素選択部１５０は、画像解析部１２０のソート処理部１２５の生成した処理ブロック単位のソート結果を４つ集めて、再ソート処理を行い、その結果を利用して出力する画素ペアの選択処理を行う。
この結果、図１３に示すように、例えば、処理ブロックＰと処理ブロックＳから１つずつ出力画素ペアが選択される。

図に示す画素ペアａと画素ペアｂである。これら２つの画素ペアａ，ｂを構成する４つの画素が、ダウンコンバート画像２０の一部画像領域である２×２画素領域に配置されることになる。

ただし、選択された画素ペアａ，ｂの画素値は、そのままではなく、後述する画素値調整が実行された後、ダウンコンバート画像２０の構成画素値に設定される。
この処理により、処理対象画像の８×８画素領域が、ダウンコンバート画像２０の２×２画素にダウンコンバートされる。

このように、出力画素選択部１５０による画素ペアの選択処理において選択する画素ペアの数は、画像処理装置１００が実行するダウンコンバート処理のダウンコンバート比率に応じた数となる。

出力画素選択部１５０による画素ペアの選択処理の結果である「出力画素ペアデータ」は、次の画素値調整部１６０に入力される。
なお、「出力画素ペアデータ」には、選択された画素ペアの画素値差分情報（ｄｉｆｎ）と画素位置情報（Ｐｘ，Ｐｙ）が含まれる。
なお、出力画素選択部１５０が選択した「出力画素ペアデータ」には、様々な個数の画素ペア、例えば２つの画素ペアや４つの画素ペア等、様々な数の画素ペアによって構成される。この数は先に図１１～図１３を参照して説明したようにダウンコンバート比率と、処理ブロックの大きさによって決定されることになる。

画素値調整部１６０は、出力画素値選択部１５０が選択した画素ペアの画素値を調整する。具体的には、出力画素値選択部１５０が選択した画素ペアの画素値（本実施例では輝度値）の差分値に応じた変調処理を実行する。

図１４を参照して画素値調整部１６０の構成と処理の詳細について説明する。
画素値調整部１６０は、図１４に示すように、低振幅差分除去部１６１、周辺輝度依存係数算出部１６２、差分ゲイン調整部１６３、出力信号調整部１６４を有する。

出力画素値選択部１５０が選択した画素ペアの差分値（ｄｉｆｓｅｌ）は、低振幅差分除去部１６１に入力される。
低振幅差分除去部１６１は、出力画素値選択部１５０が選択した各画素ペアの差分値（ｄｉｆｓｅｌ）が、予め規定した閾値ＴＨ＿Ｎ以下であるか否かを判定する。
すなわち、出力画素値選択部１５０が選択した各画素ペアの差分値（ｄｉｆｓｅｌ）が、
ｄｉｆｓｅｌ≦ＴＨ＿Ｎ
上記判定式を満たすか否かを判定する。
画素ペアの差分値（ｄｉｆｓｅｌ）が、上記判定式を満たす場合、その画素ペアの差分値（ｄｉｆｓｅｌ）を以下のいずれかの調整差分値（ｄｉｆｓｅｌ）に更新する。
（調整例１）調整差分値（ｄｉｆｓｅｌ）＝０、
（調整例２）調整差分値（ｄｉｆｓｅｌ）＝差分値（ｄｉｆｓｅｌ）－ＴＨ＿Ｎ

この処理は、差分の小さい画素ペアの差分はノイズである可能性が高いため、このノイズ成分を除去するための処理である。
なお、この（調整例１）、（調整例２）のいずれを実行するかは、ユーザが設定可能である。ユーザ設定情報は入力部（ユーザＩＦ）を介して入力可能である。ユーザは例えば表示部に表示されたダウンコンバート画像を観察しながら、設定を切り替える処理を行うことが可能である。

上述したように、出力画素値選択部１５０が選択した各画素ペアの差分値（ｄｉｆｓｅｌ）が、
ｄｉｆｓｅｌ≦ＴＨ＿Ｎ
上記判定式を満たす場合、上記（調整例１）または（調整例２）の調整がなされた画素ペアの差分値（ｄｉｆｓｅｌ）が差分ゲイン調整部１６３に入力される。
なお、出力画素値選択部１５０が選択した画素ペアの差分値（ｄｉｆｓｅｌ）が、
ｄｉｆｓｅｌ≦ＴＨ＿Ｎ
上記判定式を満たさない場合は、その画素ペアの差分値（ｄｉｆｓｅｌ）は、そのまま差分ゲイン調整部１６３に入力される。

例えば、出力画素値選択部１５０が選択した画素ペアが２組ある場合、差分の大きい一方が上記判定式を満たさず、差分の小さい２番目の画素ペアが上記判定式を満たす場合、差分の大きい画素ペアの差分値（ｄｉｄｓｅｌ１）はそのまま差分ゲイン調整部１６３に入力され、差分の小さい２番目の画素ペアの差分値（ｄｉｄｓｅｌ２）は、上記（調整例１）または（調整例２）の調整がなされて差分ゲイン調整部１６３に入力される。

図１４に示す低振幅差分除去部１６１から差分ゲイン調整部１６３に入力される「低振幅差分除去出力画素値差分値（ｄｉｆｓｅｌ）」には、これらの様々な画素値差分値が含まれる。

次に周辺輝度依存係数算出部１６２の実行する処理について説明する。
周辺輝度依存係数算出部１６２は、画像解析部１２０の周辺輝度平均値算出部１２４が算出した周辺輝度平均値（Ｙｍ）を出力画像生成部１４０の出力画素選択部１５０を介して入力する。

周辺輝度平均値（Ｙｍ）は、先に図９を参照して説明したように、処理ブロックを中心とした周囲画素を含む画素の輝度値の平均値である。例えば図９に示す４×４画素の処理ブロックに対応する「周辺輝度平均値（Ｙｍ）」は、図９に示す１２×１２画素の画素領域の平均輝度である。

周辺輝度依存係数算出部１６２は、周辺輝度平均値（Ｙｍ）に基づいて周辺輝度依存係数であるゲイン値（Ｙｍｇａｉｎ）を算出する。
周辺輝度平均値（Ｙｍ）に基づく周辺輝度依存係数（出力信号値調整ゲインＹｍｇａｉｎ）の算出処理は、例えば、図１５に示すような規定の変換関数（Ｆ）を用いて実行する。
変換関数Ｆは、周辺輝度平均値（Ｙｍ）に基づいて、周辺輝度依存係数（出力信号値調整ゲインＹｍｇａｉｎ）を算出する関数、すなわち、
Ｙｍｇａｉｎ＝Ｆ（Ｙｍ）
である。

図１５に示す例では、周辺輝度依存係数（出力信号値調整ゲインＹｍｇａｉｎ）は、周辺輝度平均値（Ｙｍ）の値に応じて０～２の範囲で変化する関数として設定されている。
なお、人間の目に最も見やすいレベルの輝度に対応する周辺輝度平均値（Ｙｍ）の近傍をゲインの最も高い（ゲイン＝２）領域に設定することが好ましい。

なお、この変換関数は、ユーザが自由に調整できる。調整は入力部（ユーザＩＦ）を介して行うことが可能である。ユーザは例えば表示部に表示されたダウンコンバート画像を観察しながら、調整する処理を行うことが可能である。

周辺輝度依存係数算出部１６２が、周辺輝度平均値（Ｙｍ）に基づいて算出した周辺輝度依存係数（出力信号値調整ゲインＹｍｇａｉｎ）は、次の差分ゲイン調整部１６３に入力される。

差分ゲイン調整部１６３は、以下の各データを入力する。
（１）低振幅差分除去部１６１の生成した「低振幅差分除去出力画素値差分値（ｄｉｆｓｅｌ）」
（２）周辺輝度依存係数算出部１６２が算出した周辺輝度依存係数（出力信号値調整ゲインＹｍｇａｉｎ）

なお、前述したように、（１）低振幅差分除去部１６１の生成した「低振幅差分除去出力画素値差分値（ｄｉｆｓｅｌ）」は、出力画素値選択部１５０が選択した画素ペア対応のデータであり、１つに限らず複数の画素ペアに対応する画素値差分値（ｄｉｆｓｅｌ）によって構成されている。
その一部（差分がしきい値（ＴＨ＿Ｎ）以下）の差分値は、低振幅差分除去部１６１において以下のいずれかの調整がなされた差分値である。
（調整例１）調整差分値（ｄｉｆｓｅｌ）＝０、
（調整例２）調整差分値（ｄｉｆｓｅｌ）＝差分値（ｄｉｆｓｅｌ）－ＴＨ＿Ｎ

差分ゲイン調整部１６３の実行する処理について図１６を参照して説明する。図１６には、以下のデータおよび処理を説明する図を示している。
（ａ）選択画素ペアの画素値差分（低振幅差分除去後）
（ｂ）選択画素ペアの画素値差分（低振幅差分除去後）のゲイン調整

図１６（ａ）は、出力画素値選択部１５０が選択した出力画素ペア（画素１と画素２）に対応する画素値差分（ｄｉｆｓｅｌ）を示している。
なお、この画素値差分は、低振幅差分除去部１６１の生成した「低振幅差分除去出力画素値差分値（ｄｉｆｓｅｌ）」である。

差分ゲイン調整部１６３は、この低振幅差分除去部１６１の生成した「低振幅差分除去出力画素値差分値（ｄｉｆｓｅｌ）」に対して、周辺輝度依存係数算出部１６２が算出した周辺輝度依存係数（出力信号値調整ゲインＹｍｇａｉｎ）を乗算する処理を行い、ゲイン調整画素値差分（ｄｉｆｓｅｌＧ）を算出する。すなわち、図１６（ｂ）に示すように、以下の（式１）に従って、ゲイン調整画素値差分（ｄｉｆｓｅｌＧ）を算出する。
ｄｉｆｓｅｌＧ＝ｄｉｆｓｅｌ×Ｙｍｇａｉｎ・・・（式１）

差分ゲイン調整部１６３は、低振幅差分除去部１６１から入力する各出力画素ペアの差分値（ｄｉｆｓｅｌ）のゲイン調整を行う。
上記（式１）に従って算出された各出力画素ペア対応のゲイン調整画素値差分（ｄｉｆｓｅｌＧ）は、出力信号調整部１６４に入力される。

出力信号調整部１６４の実行する処理について、図１７を参照して説明する。
図１７には、図１６を参照して説明した、
（ｂ）選択画素ペアの画素値差分（低振幅差分除去後）のゲイン調整
この図に加えて、
（ｃ）出力信号調整処理
を示している。

図１７（ｃ）に示す出力信号調整処理が、出力信号調整部１６４の実行する処理に相当する。
出力信号調整部１６４は、出力画素値選択部１５０が選択した出力画素ペア（画素１と画素２）の各々の信号Ｓ１，Ｓ２に対して、差分ゲイン調整部１６３が算出したゲイン調整画素値差分（ｄｉｆｓｅｌＧ）を加算および減算する処理を行う。
なお、信号Ｓ１，Ｓ２は、選択された出力画素ペアの元々のＲＧＢいずれかの信号値である。

出力画素値選択部１５０が選択した出力画素ペア（画素１と画素２）中、画素値（輝度値）の高い画素１（画素値Ｓ１）については、原画素値Ｓ１に、差分ゲイン調整部１６３が算出したゲイン調整画素値差分（ｄｉｆｓｅｌＧ）を加算する。
一方、出力画素ペア（画素１と画素２）中、画素値の低い画素２（画素値Ｓ２）については、原画素値Ｓ２から、差分ゲイン調整部１６３が算出したゲイン調整画素値差分（ｄｉｆｓｅｌＧ）を減算する。

すなわち、画素１については、新たな画素値（調整画素値）Ｓ１ｎｅｗを、
ＳＩｎｅｗ＝Ｓ１＋ｄｉｆｓｅｌＧ
として算出し、
画素２については、新たな画素値（調整画素値）Ｓ２ｎｅｗを、
Ｓ２ｎｅｗ＝Ｓ２－ｄｉｆｓｅｌＧ
として算出する。
これらの調整画素値がダウンコンバート画像の出力画素値となる。

このように、出力画素値選択部１５０が選択した出力画素ペア（画素１と画素２）の各々の信号Ｓ１，Ｓ２に対して、差分ゲイン調整部１６３が算出したゲイン調整画素値差分（ｄｉｆｓｅｌＧ）を加算および減算する処理を行うことで、出力するダウンコンバート画像２０のコントラストやテクスチャ情報が、元の処理対象画像１０と同様のコントラストやテクスチャ情報を有する画像とすることができる。

出力信号調整部１６４は、図１７を参照して説明した処理を、出力画素値選択部１５０が選択した出力画素ペア（画素１と画素２）の各々の信号に対して実行し、出力画素ペア（画素１と画素２）の各々の新たな画素値（調整画素値＝Ｓ１ｎｅｗ，Ｓ２ｎｅｗ）を算出する。
これらの算出画素値（Ｓｎｎｅｗ）は、画素配置決定部１７０に入力される。

画素配置決定部１７０は、出力画素値選択部１５０が選択した出力画素ペア各々に対応する算出画素値（Ｓｎｎｅｗ）として、出力信号調整部１６４が算出した画素値をダウンコンバート画像２０の画素値として設定する際の配置を決定する。

画素配置決定部１７０は、元の処理対象画像１０から出力画素ペアとして選択された画素ペアの位置関係を、出力するダウンコンバート画像２０において維持するように配置を決定する。

具体例について、図１８を参照して説明する。
図１８の左側のブロックは、処理対象画像１０の１つの処理ブロック、すなわち４×４の処理ブロックである。右側が画像処理装置１００によるダウンコンバート後のダウンコンバート画像２０の一部画像領域である２×２画素ブロックである。
図１８に示す例は、処理対象画像１０の１つの処理ブロック、すなわち４×４＝１６画素を、２×２＝４画素にダウンコンバートする例である。

このようなダウンコンバート処理を行う場合、画素配置決定部１７０は、元の処理対象画像１０から出力画素ペアとして選択された画素ペアの位置関係を各ダウンコンバート画像２０において維持するように配置を決定する。
具体的には、処理対象画像１０の１つの処理ブロックから選択された複数の画素ペアの上下や左右の配置関係をできるだけ反映させてダウンコンバート画像２０に配置する。少なくとも上下や左右の配置関係を逆転させない配置とすることが好ましい。

このような配置処理を行うことで、元の処理対象画像１０のコントラストやテクスチャの位置関係を、そのままの位置関係でダウンコンバート画像２０に反映させることができる。

以上、本開示の画像処理装置の構成例と処理について説明したが、上記処理を行うことで、例えば、以下の効果が得られる。
（ａ）解像度の低い表示デバイスでもテクスチャの視認性が向上する。
（ｂ）コントラストに基づくフォーカス調整をユーザが行う場合も、オートフォーカスとして行う場合も高精度な調整が可能となる。
（ｃ）ダイナミックレンジの低い表示デバイスでも表示デバイスに応じたダイナミックレンジでの出力幅に値養成することが可能であり、例えば白飛び等の低減した画像出力が可能となる。
（ｄ）処理ブロック単位の選択画素ペアの設定変更により、任意の解像度へのダウンコンバートが可能となる。
例えば、このような効果がある。

［４．本開示の画像処理装置を撮像装置に適用した場合の構成例について］
次に、上述した本開示の画像処理装置１００を撮像装置に適用した場合の構成例について説明する。

図１９は、本開示の画像処理装置１００を撮像装置３００に適用した場合の構成例について説明するブロック図である。
図１９に示す撮像装置３００は、光学レンズ３０１、撮像素子３０２、ＡＤ変換部３０３、信号処理部３０４、メモリ３０５、表示部（ＬＣＤ／ＥＶＦ）３０６、記録部３０７、入力部３０８、制御部３１０を有する。
信号処理部３０４内に、上述した画像処理装置１００の処理と同様の処理を実行するダウンコンバート処理部３２０が含まれる。

入力部３０８は、例えばレリーズボタン（シャッターボタン）や、撮影態様、撮影モードの設定、表示部３０６の表示画像の設定、さらせにダウンコンバート処理部３２０におけるダウンコンバート処理の設定など、様々なユーザ入力を行うための操作部である。
なお、表示部３０６をタッチパネル形式としてユーザ操作部として利用することも可能である。

制御部３１０は、撮像素子３０２～記録部３０７に対する制御信号や同期信号を入力し、各構成部の処理の実行タイミングの制御等、様々な処理制御を実行する。
制御部３１０は、具体的には、図示しない記憶部に格納されたプログラムに従った処理を実行するＣＰＵ等によって構成される。

光学レンズ３０１を介して入射される光は撮像部、例えばＣＭＯＳイメージセンサなどによって構成される撮像素子３０２に入射し、光電変換による画像データを出力する。なお、撮像素子３０２の出力画像は、ＡＤ変換部３０３に入力される。
ＡＤ変換部３０３は、入力信号のＡ／Ｄ変換、すなわちアナログ信号をデジタル信号に変換する処理を実行して、変換後のデジタル値を信号処理部３０４に入力する。

信号処理部３０４は、例えばホワイトバランス（ＷＢ）調整、ガンマ補正等、一般的なカメラにおける信号処理を実行し、記録部３０７に格納するための記録用画像を生成する。さらにダウンコンバート処理部３２０は、表示部３０６に表示するための表示用画像を生成する。あるいは記憶部３０７に記録する画像を生成する。
このダウンコンバート処理は、上述した画像処理装置１００の実行するダウンコンバート処理と同様の処理であり、上述した実施例に従った処理が実行される。

なお、ダウンコンバート処理部３２０は、記録部３０７に格納された画像がダウンコンバート画像でない場合、その画像を表示部３０６に表示する際にダウンコンバートを実行する構成としてもよい。
表示部３０６は、例えばＬＣＤやＥＶＦ等によって構成され、撮影者が確認することができる。
なお、ダウンコンバート処理部３２０の生成したダウンコンバート画像は、ユーザ、あるいは制御部３１０によって実行されるコントラストに基づくフォーカス調整にも利用される。

本開示の処理を適用することでコントラストの低下しないダウンコンバート画像を生成することが可能であり、ダウンコンバート画像を用いたコントラストに基づくフォーカス調整を高精度に行うことが可能となる。

［５．本開示の画像処理装置のハードウェア構成例について］
次に、上述した実施例において説明した画像処理装置１００のハードウェア構成例について、図２０を参照して説明する。
図２０は、本開示の処理を実行する画像処理装置のハードウェア構成例を示す図である。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５０１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５０２、または記憶部５０８に記憶されているプログラムに従って各種の処理を実行する制御部やデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５０３には、ＣＰＵ５０１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ５０１、ＲＯＭ５０２、およびＲＡＭ５０３は、バス５０４により相互に接続されている。

ＣＰＵ５０１はバス５０４を介して入出力インタフェース５０５に接続され、入出力インタフェース５０５には、撮像部５２１の撮影画像の入力を行うとともに、ユーザ入力可能な各種スイッチ、キーボード、マウス、マイクロフォンなどよりなる入力部５０６、表示部５２２やスピーカなどに対するデータ出力を実行する出力部５０７が接続されている。ＣＰＵ５０１は、入力部５０６から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部５０７に出力する。

入出力インタフェース５０５に接続されている記憶部５０８は、例えばハードディスク等からなり、ＣＰＵ５０１が実行するプログラムや各種のデータを記憶する。通信部５０９は、Ｗｉ－Ｆｉ通信、ブルートゥース（登録商標）（ＢＴ）通信、その他インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。

入出力インタフェース５０５に接続されているドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア５１１を駆動し、データの記録あるいは読み取りを実行する。

［６．応用例について］
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、内視鏡手術システムに適用されてもよい。

図２１は、本開示に係る技術が適用され得る内視鏡手術システム５０００の概略的な構成の一例を示す図である。図２１では、術者（医師）５０６７が、内視鏡手術システム５０００を用いて、患者ベッド５０６９上の患者５０７１に手術を行っている様子が図示されている。図示するように、内視鏡手術システム５０００は、内視鏡５００１と、その他の術具５０１７と、内視鏡５００１を支持する支持アーム装置５０２７と、内視鏡下手術のための各種の装置が搭載されたカート５０３７と、から構成される。

内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ５０２５ａ～５０２５ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ５０２５ａ～５０２５ｄから、内視鏡５００１の鏡筒５００３や、その他の術具５０１７が患者５０７１の体腔内に挿入される。図示する例では、その他の術具５０１７として、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３が、患者５０７１の体腔内に挿入されている。また、エネルギー処置具５０２１は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具５０１７はあくまで一例であり、術具５０１７としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。

内視鏡５００１によって撮影された患者５０７１の体腔内の術部の画像が、表示装置５０４１に表示される。術者５０６７は、表示装置５０４１に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具５０２１や鉗子５０２３を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３は、手術中に、術者５０６７又は助手等によって支持される。

（支持アーム装置）
支持アーム装置５０２７は、ベース部５０２９から延伸するアーム部５０３１を備える。図示する例では、アーム部５０３１は、関節部５０３３ａ、５０３３ｂ、５０３３ｃ、及びリンク５０３５ａ、５０３５ｂから構成されており、アーム制御装置５０４５からの制御により駆動される。アーム部５０３１によって内視鏡５００１が支持され、その位置及び姿勢が制御される。これにより、内視鏡５００１の安定的な位置の固定が実現され得る。

（内視鏡）
内視鏡５００１は、先端から所定の長さの領域が患者５０７１の体腔内に挿入される鏡筒５００３と、鏡筒５００３の基端に接続されるカメラヘッド５００５と、から構成される。図示する例では、硬性の鏡筒５００３を有するいわゆる硬性鏡として構成される内視鏡５００１を図示しているが、内視鏡５００１は、軟性の鏡筒５００３を有するいわゆる軟性鏡として構成されてもよい。

鏡筒５００３の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡５００１には光源装置５０４３が接続されており、当該光源装置５０４３によって生成された光が、鏡筒５００３の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者５０７１の体腔内の観察対象に向かって照射される。なお、内視鏡５００１は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。

カメラヘッド５００５の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Ｃａｍｅｒａ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）５０３９に送信される。なお、カメラヘッド５００５には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。

なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド５００５には撮像素子が複数設けられてもよい。この場合、鏡筒５００３の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。

（カートに搭載される各種の装置）
ＣＣＵ５０３９は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等によって構成され、内視鏡５００１及び表示装置５０４１の動作を統括的に制御する。具体的には、ＣＣＵ５０３９は、カメラヘッド５００５から受け取った画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ５０３９は、当該画像処理を施した画像信号を表示装置５０４１に提供する。また、ＣＣＵ５０３９は、カメラヘッド５００５に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。

表示装置５０４１は、ＣＣＵ５０３９からの制御により、当該ＣＣＵ５０３９によって画像処理が施された画像信号に基づく画像を表示する。内視鏡５００１が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置５０４１としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、表示装置５０４１として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置５０４１が設けられてもよい。

光源装置５０４３は、例えばＬＥＤ（ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）等の光源から構成され、術部を撮影する際の照射光を内視鏡５００１に供給する。

アーム制御装置５０４５は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置５０２７のアーム部５０３１の駆動を制御する。

入力装置５０４７は、内視鏡手術システム５０００に対する入力インタフェースである。ユーザは、入力装置５０４７を介して、内視鏡手術システム５０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置５０４７を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置５０４７を介して、アーム部５０３１を駆動させる旨の指示や、内視鏡５００１による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具５０２１を駆動させる旨の指示等を入力する。

入力装置５０４７の種類は限定されず、入力装置５０４７は各種の公知の入力装置であってよい。入力装置５０４７としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ５０５７及び／又はレバー等が適用され得る。入力装置５０４７としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置５０４１の表示面上に設けられてもよい。

あるいは、入力装置５０４７は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置５０４７は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置５０４７は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置５０４７が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者５０６７）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。

処置具制御装置５０４９は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具５０２１の駆動を制御する。気腹装置５０５１は、内視鏡５００１による視野の確保及び術者の作業空間の確保の目的で、患者５０７１の体腔を膨らめるために、気腹チューブ５０１９を介して当該体腔内にガスを送り込む。レコーダ５０５３は、手術に関する各種の情報を記録可能な装置である。プリンタ５０５５は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。

以下、内視鏡手術システム５０００において特に特徴的な構成について、更に詳細に説明する。

（支持アーム装置）
支持アーム装置５０２７は、基台であるベース部５０２９と、ベース部５０２９から延伸するアーム部５０３１と、を備える。図示する例では、アーム部５０３１は、複数の関節部５０３３ａ、５０３３ｂ、５０３３ｃと、関節部５０３３ｂによって連結される複数のリンク５０３５ａ、５０３５ｂと、から構成されているが、図２１では、簡単のため、アーム部５０３１の構成を簡略化して図示している。実際には、アーム部５０３１が所望の自由度を有するように、関節部５０３３ａ～５０３３ｃ及びリンク５０３５ａ、５０３５ｂの形状、数及び配置、並びに関節部５０３３ａ～５０３３ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部５０３１は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部５０３１の可動範囲内において内視鏡５００１を自由に移動させることが可能になるため、所望の方向から内視鏡５００１の鏡筒５００３を患者５０７１の体腔内に挿入することが可能になる。

関節部５０３３ａ～５０３３ｃにはアクチュエータが設けられており、関節部５０３３ａ～５０３３ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置５０４５によって制御されることにより、各関節部５０３３ａ～５０３３ｃの回転角度が制御され、アーム部５０３１の駆動が制御される。これにより、内視鏡５００１の位置及び姿勢の制御が実現され得る。この際、アーム制御装置５０４５は、力制御又は位置制御等、各種の公知の制御方式によってアーム部５０３１の駆動を制御することができる。

例えば、術者５０６７が、入力装置５０４７（フットスイッチ５０５７を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置５０４５によってアーム部５０３１の駆動が適宜制御され、内視鏡５００１の位置及び姿勢が制御されてよい。当該制御により、アーム部５０３１の先端の内視鏡５００１を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部５０３１は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５０３１は、手術室から離れた場所に設置される入力装置５０４７を介してユーザによって遠隔操作され得る。

また、力制御が適用される場合には、アーム制御装置５０４５は、ユーザからの外力を受け、その外力にならってスムーズにアーム部５０３１が移動するように、各関節部５０３３ａ～５０３３ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部５０３１に触れながらアーム部５０３１を移動させる際に、比較的軽い力で当該アーム部５０３１を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡５００１を移動させることが可能となり、ユーザの利便性を向上させることができる。

ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡５００１が支持されていた。これに対して、支持アーム装置５０２７を用いることにより、人手によらずに内視鏡５００１の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。

なお、アーム制御装置５０４５は必ずしもカート５０３７に設けられなくてもよい。また、アーム制御装置５０４５は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置５０４５は、支持アーム装置５０２７のアーム部５０３１の各関節部５０３３ａ～５０３３ｃにそれぞれ設けられてもよく、複数のアーム制御装置５０４５が互いに協働することにより、アーム部５０３１の駆動制御が実現されてもよい。

（光源装置）
光源装置５０４３は、内視鏡５００１に術部を撮影する際の照射光を供給する。光源装置５０４３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置５０４３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。

また、光源装置５０４３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。

また、光源装置５０４３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Ｎａｒｒｏｗ Ｂａｎｄ Ｉｍａｇｉｎｇ）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又はインドシアニングリーン（ＩＣＧ）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置５０４３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。

（カメラヘッド及びＣＣＵ）
図２２を参照して、内視鏡５００１のカメラヘッド５００５及びＣＣＵ５０３９の機能についてより詳細に説明する。図２２は、図２１に示すカメラヘッド５００５及びＣＣＵ５０３９の機能構成の一例を示すブロック図である。

図２２を参照すると、カメラヘッド５００５は、その機能として、レンズユニット５００７と、撮像部５００９と、駆動部５０１１と、通信部５０１３と、カメラヘッド制御部５０１５と、を有する。また、ＣＣＵ５０３９は、その機能として、通信部５０５９と、画像処理部５０６１と、制御部５０６３と、を有する。カメラヘッド５００５とＣＣＵ５０３９とは、伝送ケーブル５０６５によって双方向に通信可能に接続されている。

まず、カメラヘッド５００５の機能構成について説明する。レンズユニット５００７は、鏡筒５００３との接続部に設けられる光学系である。鏡筒５００３の先端から取り込まれた観察光は、カメラヘッド５００５まで導光され、当該レンズユニット５００７に入射する。レンズユニット５００７は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット５００７は、撮像部５００９の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。

撮像部５００９は撮像素子によって構成され、レンズユニット５００７の後段に配置される。レンズユニット５００７を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部５００９によって生成された画像信号は、通信部５０１３に提供される。

撮像部５００９を構成する撮像素子としては、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）タイプのイメージセンサであり、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者５０６７は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。

また、撮像部５００９を構成する撮像素子は、３Ｄ表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成される。３Ｄ表示が行われることにより、術者５０６７は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部５００９が多板式で構成される場合には、各撮像素子に対応して、レンズユニット５００７も複数系統設けられる。

また、撮像部５００９は、必ずしもカメラヘッド５００５に設けられなくてもよい。例えば、撮像部５００９は、鏡筒５００３の内部に、対物レンズの直後に設けられてもよい。

駆動部５０１１は、アクチュエータによって構成され、カメラヘッド制御部５０１５からの制御により、レンズユニット５００７のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部５００９による撮像画像の倍率及び焦点が適宜調整され得る。

通信部５０１３は、ＣＣＵ５０３９との間で各種の情報を送受信するための通信装置によって構成される。通信部５０１３は、撮像部５００９から得た画像信号をＲＡＷデータとして伝送ケーブル５０６５を介してＣＣＵ５０３９に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者５０６７が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部５０１３には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル５０６５を介してＣＣＵ５０３９に送信される。

また、通信部５０１３は、ＣＣＵ５０３９から、カメラヘッド５００５の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部５０１３は、受信した制御信号をカメラヘッド制御部５０１５に提供する。なお、ＣＣＵ５０３９からの制御信号も、光通信によって伝送されてもよい。この場合、通信部５０１３には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部５０１５に提供される。

なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ５０３９の制御部５０６３によって自動的に設定される。つまり、いわゆるＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）機能、ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）機能及びＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）機能が内視鏡５００１に搭載される。

カメラヘッド制御部５０１５は、通信部５０１３を介して受信したＣＣＵ５０３９からの制御信号に基づいて、カメラヘッド５００５の駆動を制御する。例えば、カメラヘッド制御部５０１５は、撮像画像のフレームレートを指定する旨の情報及び／又は撮像時の露光を指定する旨の情報に基づいて、撮像部５００９の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部５０１５は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部５０１１を介してレンズユニット５００７のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部５０１５は、更に、鏡筒５００３やカメラヘッド５００５を識別するための情報を記憶する機能を備えてもよい。

なお、レンズユニット５００７や撮像部５００９等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド５００５について、オートクレーブ滅菌処理に対する耐性を持たせることができる。

次に、ＣＣＵ５０３９の機能構成について説明する。通信部５０５９は、カメラヘッド５００５との間で各種の情報を送受信するための通信装置によって構成される。通信部５０５９は、カメラヘッド５００５から、伝送ケーブル５０６５を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部５０５９には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部５０５９は、電気信号に変換した画像信号を画像処理部５０６１に提供する。

また、通信部５０５９は、カメラヘッド５００５に対して、カメラヘッド５００５の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。

画像処理部５０６１は、カメラヘッド５００５から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Ｎｏｉｓｅ ｒｅｄｕｃｔｉｏｎ）処理及び／又は手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部５０６１は、ＡＥ、ＡＦ及びＡＷＢを行うための、画像信号に対する検波処理を行う。

画像処理部５０６１は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部５０６１が複数のＧＰＵによって構成される場合には、画像処理部５０６１は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。

制御部５０６３は、内視鏡５００１による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部５０６３は、カメラヘッド５００５の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部５０６３は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡５００１にＡＥ機能、ＡＦ機能及びＡＷＢ機能が搭載されている場合には、制御部５０６３は、画像処理部５０６１による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。

また、制御部５０６３は、画像処理部５０６１によって画像処理が施された画像信号に基づいて、術部の画像を表示装置５０４１に表示させる。この際、制御部５０６３は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部５０６３は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具５０２１使用時のミスト等を認識することができる。制御部５０６３は、表示装置５０４１に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者５０６７に提示されることにより、より安全かつ確実に手術を進めることが可能になる。

カメラヘッド５００５及びＣＣＵ５０３９を接続する伝送ケーブル５０６５は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。

ここで、図示する例では、伝送ケーブル５０６５を用いて有線で通信が行われていたが、カメラヘッド５００５とＣＣＵ５０３９との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル５０６５を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル５０６５によって妨げられる事態が解消され得る。

以上、本開示に係る技術が適用され得る内視鏡手術システム５０００の一例について説明した。なお、ここでは、一例として内視鏡手術システム５０００について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、本開示に係る技術は、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。

本開示に係る技術は、以上説明した構成のうち、画像処理部の一機能に適用され得る。具体的には、カメラ撮影画像を表示装置に表示する際に実行する画像のダウンコンバート処理の実行機能として適用可能である。
また、本開示の構成は、コントラストの低下しないダウンコンバート画像が生成可能であり、ダウンコンバート画像を用いたコントラストに基づくフォーカス調整を高精度に行うことが可能となる。この本開示の特徴は、例えば、内視鏡カメラを用いた手術において内視鏡カメラのマニュアルフォーカスを行う場合に利用可能である。
例えば、モニタにダウンコンバート画像を表示し、さらにコントラスト状態を示すインジケータ、例えばコントラスト最大位置を示すピーキング表示を行う。このピーキング表示に基づくマニュアルフォーカスを実行することで、高精度なフォーカス調整（ピント調整）を行うことが可能となる。

［７．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） ダウンコンバート処理対象となる画像を入力して、ダウンコンバート画像に出力する画素の選択に利用する隣接画素差分情報を生成する画像解析部と、
前記画像解析部の生成した隣接画素差分情報に基づいてダウンコンバート画像に利用する隣接画素である画素ペアを選択し、選択した画素ペアに基づいてダウンコンバート画像を生成する出力画像生成部を有する画像処理装置。

（２） 前記出力画像生成部は、前記選択した画素ペアの画素値調整を実行して前記ダウンコンバート画像を生成する（１）に記載の画像処理装置。

（３） 前記画像解析部は、
処理ブロック構成画素の隣接画素ペアの差分を算出し、差分の大きいものから順にならべるソート処理を実行して、ソート結果を前記出力画像生成部に出力し、
前記出力画像生成部は、
前記ソート結果に基づいて差分値の大きいものから順にダウンコンバート画像に利用する画素ペアを選択する（１）または（２）に記載の画像処理装置。

（４） 前記出力画像生成部は、
前記差分値が規定しきい値より大きい場合、選択対象から除外する（３）に記載の画像処理装置。

（５） 前記出力画像生成部は、
ダウンコンバート画像に利用する画素数に達するまで画素ペアを選択する（３）または（４）に記載の画像処理装置。

（６） 前記画像解析部は、
処理ブロックの構成画素の上下方向隣接画素、または左右方向隣接画素、または斜め方向隣接画素のいずれかの隣接画素の画素ペアの差分を算出し、算出差分値の大きいものから順にならべるソート処理を実行する（３）～（５）いずれかに記載の画像処理装置。

（７） 前記画像解析部は、
処理ブロックの構成画素の重複利用を許容した画素ペア差分のソート処理、または、
処理ブロックの構成画素の重複利用を許容しない画素ペア差分のソート処理のいずれかのソート処理を実行する（３）～（６）いずれかに記載の画像処理装置。

（８） 前記画像解析部は、
処理ブロックを中心とする規定の周囲画素領域における輝度平均値を算出し、算出した輝度平均値を前記出力画像生成部に出力し、
前記出力画像生成部は、
前記輝度平均値に基づいて、前記ダウンコンバート画像に利用する隣接画素である画素ペアの画素値調整を実行する（１）～（７）いずれかに記載の画像処理装置。

（９） 前記出力画像生成部は、
前記輝度平均値に基づいて出力信号調整ゲインを算出し、算出した出力信号調整ゲインを前記ダウンコンバート画像に利用する画素ペアの画素値差分の差分値に乗算してゲイン乗算差分値を生成し、生成したゲイン乗算差分値を利用して前記画素ペアを構成する各画素の画素値を調整する（８）に記載の画像処理装置。

（１０） 前記出力画像生成部は、
前記画素ペアを構成する画素値の大きい画素に前記ゲイン乗算差分値を加算し、
前記画素ペアを構成する画素値の小さい画素から前記ゲイン乗算差分値を減算して、前記ダウンコンバート画像の出力画素値を算出する（９）に記載の画像処理装置。

（１１） 前記出力画像生成部は、
予め規定された変換関数を適用して、前記輝度平均値に基づいて前記出力信号調整ゲインを算出する（９）または（１０）に記載の画像処理装置。

（１２） 前記出力画像生成部は、
前記ダウンコンバート画像に利用する画素ペアのダウンコンバート画像における配置を決定する画素配置決定部を有し、
前記画素配置決定部は、
ダウンコンバート処理対象となる画像における前記画素ペアの位置関係に基づいて、前記ダウンコンバート画像における配置を決定する（１）～（１１）いずれかに記載の画像処理装置。

（１３） 前記画素配置決定部は、
ダウンコンバート処理対象となる画像における前記画素ペアの上下配置関係および左右配置関係が逆転しないように、前記ダウンコンバート画像における配置を決定する（１２）に記載の画像処理装置。

（１４） 前記画像解析部は、
ダウンコンバート処理対象となる画像の画素値に基づく各画素の輝度値を算出し、
前記隣接画素差分情報は、画素の輝度値差分情報によって構成される情報である（１）～（１３）いずれかに記載の画像処理装置。

（１５） 画像処理装置において実行する画像処理方法であり、
画像解析部が、ダウンコンバート処理対象となる画像を入力して、ダウンコンバート画像に出力する画素の選択に利用する隣接画素差分情報を生成する画像解析ステップと、
出力画像生成部が、前記画像解析ステップで生成された隣接画素差分情報に基づいてダウンコンバート画像に利用する隣接画素である画素ペアを選択し、選択した画素ペアに基づいてダウンコンバート画像を生成する出力画像生成ステップを実行する画像処理方法。

（１６） 画像処理装置において画像処理を実行させるプログラムであり、
画像解析部に、ダウンコンバート処理対象となる画像を入力して、ダウンコンバート画像に出力する画素の選択に利用する隣接画素差分情報を生成させる画像解析ステップと、
出力画像生成部に、前記画像解析ステップで生成された隣接画素差分情報に基づいてダウンコンバート画像に利用する隣接画素である画素ペアを選択し、選択した画素ペアに基づいてダウンコンバート画像を生成させる出力画像生成ステップを実行させるプログラム。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本開示の一実施例の構成によれば、元画像のコントラストやテクスチャ情報を大きく損なうことのないダウンコンバート画像を生成する装置、方法が実現される。
具体的には、例えば、ダウンコンバート対象画像を入力して、ダウンコンバート画像に出力する画素選択に利用する隣接画素差分情報を生成する画像解析部と、隣接画素差分情報に基づいてダウンコンバート画像に利用する隣接画素である画素ペアを選択し、選択した画素ペアの画素値調整を実行してダウンコンバート画像を生成する出力画像生成部を有する。画像解析部は、処理ブロック構成画素の隣接画素ペアの差分を算出し、差分の大きいものから順にならべたソート結果を生成し、出力画像生成部はソート結果に基づいて差分値の大きいものから順にダウンコンバート画像に利用する画素ペアを選択する。
これらの処理により、元画像のコントラストやテクスチャ情報を大きく損なうことのないダウンコンバート画像を生成する装置、方法が実現される。

１００ 画像処理装置
１２０ 画像解析部
１２１ メモリ
１２２ 輝度信号生成部
１２３ 隣接画素差分算出部
１２４ 周辺輝度平均値算出部
１２５ ソート処理部
１５０ 出力画素選択部
１６０ 画素値調整部
１６１ 低振幅差分除去部
１６２ 周辺輝度依存係数算出部
１６３ 差分ゲイン調整部
１６４ 出力信号調整部
１７０ 画素配置決定部
３００ 撮像装置
３０１ 光学レンズ
３０２ 撮像素子
３０３ ＡＤ変換部
３０４ 信号処理部
３０５ メモリ
３０６ 表示部
３０７ 記録部
３０８ 入力部
３１０ 制御部
３２０ ダウンコンバート処理部
５０１ ＣＰＵ
５０２ ＲＯＭ
５０３ ＲＡＭ
５０４ バス
５０５ 入出力インタフェース
５０６ 入力部
５０７ 出力部
５０８ 記憶部
５０９ 通信部
５１０ ドライブ
５１１ リムーバブルメディア
５２１ 撮像部
５２２ 表示部

Claims (14)

1. ダウンコンバート処理対象となる画像を入力して、ダウンコンバート画像に出力する画素の選択に利用する隣接画素差分情報を生成する画像解析部と、
   前記画像解析部の生成した隣接画素差分情報に基づいてダウンコンバート画像に利用する隣接画素である画素ペアを選択し、選択した画素ペアに基づいてダウンコンバート画像を生成する出力画像生成部を有し、
   前記画像解析部は、
   処理ブロック構成画素の隣接画素ペアの差分を算出し、差分の大きいものから順にならべるソート処理を実行して、ソート結果を前記出力画像生成部に出力し、
   前記出力画像生成部は、
   前記ソート結果に基づいて差分値の大きいものから順にダウンコンバート画像に利用する画素ペアを選択する処理を実行し、
   前記差分値が規定しきい値より大きい場合、選択対象から除外する処理を実行する画像処理装置。
2. 前記出力画像生成部は、
   ダウンコンバート画像に利用する画素数に達するまで画素ペアを選択する請求項１に記載の画像処理装置。
3. 前記画像解析部は、
   処理ブロックの構成画素の上下方向隣接画素、または左右方向隣接画素、または斜め方向隣接画素のいずれかの隣接画素の画素ペアの差分を算出し、算出差分値の大きいものから順にならべるソート処理を実行する請求項１に記載の画像処理装置。
4. 前記画像解析部は、
   処理ブロックの構成画素の重複利用を許容した画素ペア差分のソート処理、または、
   処理ブロックの構成画素の重複利用を許容しない画素ペア差分のソート処理のいずれかのソート処理を実行する請求項１に記載の画像処理装置。
5. ダウンコンバート処理対象となる画像を入力して、ダウンコンバート画像に出力する画素の選択に利用する隣接画素差分情報を生成する画像解析部と、
   前記画像解析部の生成した隣接画素差分情報に基づいてダウンコンバート画像に利用する隣接画素である画素ペアを選択し、選択した画素ペアの画素値調整を実行してダウンコンバート画像を生成する出力画像生成部を有し、
   前記画像解析部は、
   処理ブロックを中心とする規定の周囲画素領域における輝度平均値を算出し、算出した輝度平均値を前記出力画像生成部に出力し、
   前記出力画像生成部は、
   前記輝度平均値に基づいて出力信号調整ゲインを算出し、算出した出力信号調整ゲインを前記ダウンコンバート画像に利用する画素ペアの画素値差分の差分値に乗算してゲイン乗算差分値を生成し、生成したゲイン乗算差分値を利用して前記画素ペアを構成する各画素の画素値を調整する画像処理装置。
6. 前記出力画像生成部は、
   前記画素ペアを構成する画素値の大きい画素に前記ゲイン乗算差分値を加算し、
   前記画素ペアを構成する画素値の小さい画素から前記ゲイン乗算差分値を減算して、前記ダウンコンバート画像の出力画素値を算出する請求項５に記載の画像処理装置。
7. 前記出力画像生成部は、
   予め規定された変換関数を適用して、前記輝度平均値に基づいて前記出力信号調整ゲインを算出する請求項５に記載の画像処理装置。
8. 前記出力画像生成部は、
   前記ダウンコンバート画像に利用する画素ペアのダウンコンバート画像における配置を決定する画素配置決定部を有し、
   前記画素配置決定部は、
   ダウンコンバート処理対象となる画像における前記画素ペアの位置関係に基づいて、前記ダウンコンバート画像における配置を決定する請求項１または５に記載の画像処理装置。
9. 前記画素配置決定部は、
   ダウンコンバート処理対象となる画像における前記画素ペアの上下配置関係および左右配置関係が逆転しないように、前記ダウンコンバート画像における配置を決定する請求項８に記載の画像処理装置。
10. 前記画像解析部は、
    ダウンコンバート処理対象となる画像の画素値に基づく各画素の輝度値を算出し、
    前記隣接画素差分情報は、画素の輝度値差分情報によって構成される情報である請求項１または５に記載の画像処理装置。
11. 画像処理装置において実行する画像処理方法であり、
    画像解析部が、ダウンコンバート処理対象となる画像を入力して、ダウンコンバート画像に出力する画素の選択に利用する隣接画素差分情報を生成する画像解析ステップと、
    出力画像生成部が、前記画像解析ステップで生成された隣接画素差分情報に基づいてダウンコンバート画像に利用する隣接画素である画素ペアを選択し、選択した画素ペアに基づいてダウンコンバート画像を生成する出力画像生成ステップを実行し、
    前記画像解析ステップでは、
    処理ブロック構成画素の隣接画素ペアの差分を算出し、差分の大きいものから順にならべるソート処理を実行して、ソート結果を前記出力画像生成部に出力し、
    前記出力画像生成ステップでは、
    前記ソート結果に基づいて差分値の大きいものから順にダウンコンバート画像に利用する画素ペアを選択する処理を実行し、
    前記差分値が規定しきい値より大きい場合、選択対象から除外する処理を実行する画像処理方法。
12. 画像処理装置において実行する画像処理方法であり、
    画像解析部が、ダウンコンバート処理対象となる画像を入力して、ダウンコンバート画像に出力する画素の選択に利用する隣接画素差分情報を生成する画像解析ステップと、
    出力画像生成部が、前記画像解析ステップで生成された隣接画素差分情報に基づいてダウンコンバート画像に利用する隣接画素である画素ペアを選択し、選択した画素ペアに基づいてダウンコンバート画像を生成する出力画像生成ステップを実行し、
    前記画像解析ステップでは、
    処理ブロックを中心とする規定の周囲画素領域における輝度平均値を算出し、算出した輝度平均値を前記出力画像生成部に出力し、
    前記出力画像生成ステップでは、
    前記輝度平均値に基づいて出力信号調整ゲインを算出し、算出した出力信号調整ゲインを前記ダウンコンバート画像に利用する画素ペアの画素値差分の差分値に乗算してゲイン乗算差分値を生成し、生成したゲイン乗算差分値を利用して前記画素ペアを構成する各画素の画素値を調整する画像処理方法。
13. 画像処理装置において画像処理を実行させるプログラムであり、
    画像解析部に、ダウンコンバート処理対象となる画像を入力して、ダウンコンバート画像に出力する画素の選択に利用する隣接画素差分情報を生成させる画像解析ステップと、
    出力画像生成部に、前記画像解析ステップで生成された隣接画素差分情報に基づいてダウンコンバート画像に利用する隣接画素である画素ペアを選択し、選択した画素ペアに基づいてダウンコンバート画像を生成させる出力画像生成ステップを実行させ、
    前記画像解析ステップでは、
    処理ブロック構成画素の隣接画素ペアの差分を算出し、差分の大きいものから順にならべるソート処理を実行して、ソート結果を前記出力画像生成部に出力させ、
    前記出力画像生成ステップでは、
    前記ソート結果に基づいて差分値の大きいものから順にダウンコンバート画像に利用する画素ペアを選択する処理を実行させ、
    前記差分値が規定しきい値より大きい場合、選択対象から除外する処理を実行させるプログラム。
14. 画像処理装置において画像処理を実行させるプログラムであり、
    画像解析部に、ダウンコンバート処理対象となる画像を入力して、ダウンコンバート画像に出力する画素の選択に利用する隣接画素差分情報を生成させる画像解析ステップと、
    出力画像生成部に、前記画像解析ステップで生成された隣接画素差分情報に基づいてダウンコンバート画像に利用する隣接画素である画素ペアを選択し、選択した画素ペアに基づいてダウンコンバート画像を生成させる出力画像生成ステップを実行させ、
    前記画像解析ステップでは、
    処理ブロックを中心とする規定の周囲画素領域における輝度平均値を算出し、算出した輝度平均値を前記出力画像生成部に出力させ、
    前記出力画像生成ステップでは、
    前記輝度平均値に基づいて出力信号調整ゲインを算出し、算出した出力信号調整ゲインを前記ダウンコンバート画像に利用する画素ペアの画素値差分の差分値に乗算してゲイン乗算差分値を生成し、生成したゲイン乗算差分値を利用して前記画素ペアを構成する各画素の画素値を調整する処理を実行させるプログラム。

Images