WO2023188429A1

WO2023188429A1 - 画像表示システム、表示制御装置および画像表示方法

Info

Publication number: WO2023188429A1
Application number: PCT/JP2022/016995
Authority: WO
Inventors: 亨口丸
Original assignee: オリンパスメディカルシステムズ株式会社
Priority date: 2022-04-01
Filing date: 2022-04-01
Publication date: 2023-10-05

Abstract

画像表示システムは、３次元画像を表示可能なモニタと、前記モニタに対する観察者の位置またはモニタ観察用グラスの位置を観察位置として検出する検出装置と、前記検出装置が検出した前記観察位置に基づいて、前記モニタに表示する前記３次元画像の表示サイズと表示位置の少なくとも一方を決定する表示制御装置と、を備える。

Description

画像表示システム、表示制御装置および画像表示方法

　本発明は、画像表示システム、表示制御装置および画像表示方法に関する。

　従来、３次元画像を表示可能な３次元モニタ（３次元ディスプレイ）が使用されている。３次元モニタとして、偏光眼鏡などの眼鏡を用いる眼鏡式モニタや、眼鏡を使用しない裸眼式モニタなどが考案されている。３次元モニタは、両眼の視差を利用しているため、３次元モニタに表示される３次元画像を適切に観察できる範囲（３次元観察可能領域）は、３次元モニタごとに規定される推奨範囲に限定される。

　特許文献１には、左目用画像と右目用画像とを含む視差画像を表示する表示手段と、鑑賞者に表示装置の鑑賞位置を案内する案内手段とを備える表示システムが記載されている。特許文献１に記載の案内手段は、立体視に適した鑑賞位置を表示して案内できる。

　特許文献２には、画面に対する立体視眼鏡の位置および傾きを検出して左目用画像や右目用画像を補正する表示システムが記載されている。

特開２０１２－１９５７２８号公報特開２０１１－０７１８９８号公報

　しかしながら、特許文献１や特許文献２に記載の表示システムにおいて、観察者の位置が３次元モニタに表示される３次元画像を適切に観察できる範囲（３次元観察可能領域）に含まれない状態が生じる場合がある。この場合、３次元モニタに対する観察者の位置の変更や、左目用画像や右目用画像の補正が必要であった。

　上記事情を踏まえ、本発明は、３次元モニタに対する観察者の位置の変更や画像の大幅な補正を行わずに観察者に適切な３次元画像を表示できる画像表示システム、表示制御装置および画像表示方法を提供することを目的とする。

　上記課題を解決するために、この発明は以下の手段を提案している。
　本発明の第一の態様に係る画像表示システムは、３次元画像を表示可能なモニタと、前記モニタに対する観察者の位置またはモニタ観察用グラスの位置を観察位置として検出する検出装置と、前記検出装置が検出した前記観察位置に基づいて、前記モニタに表示する前記３次元画像の表示サイズと表示位置の少なくとも一方を決定する表示制御装置と、を備える。

　本発明の第二の態様に係る表示制御装置は、３次元画像を表示可能なモニタに対する観察者の位置またはモニタ観察用グラスの位置である観察位置に基づいて、前記モニタに表示する前記３次元画像の表示サイズと表示位置の少なくとも一方を決定する。

　本発明の第三の態様に係る画像表示方法は、モニタに対する観察者の位置またはモニタ観察用グラスの位置を観察位置として検出する工程と、検出した観察位置に基づいて、前記モニタに表示する３次元画像の表示サイズと表示位置の少なくとも一方を決定する。

　本発明の画像表示システム、表示制御装置および画像表示方法によれば、３次元モニタに対する観察者の位置の変更や画像の大幅な補正を行わずに観察者に適切な３次元画像を表示できる。

第一実施形態に係る内視鏡システムを示す図である。上方向から見た同内視鏡システムの３次元モニタに対する観察者の観察位置を示す図である。横方向から見た同内視鏡システムの３次元モニタに対する観察者の観察位置を示す図である。同３次元モニタに表示された３次元画像を示す図である。同内視鏡システムの表示制御装置の動作を説明する図である。同表示制御装置の動作を説明する図である。同表示制御装置の動作を説明する図である。同表示制御装置の動作を説明する図である。同表示制御装置の動作を説明する図である。同表示制御装置の動作を説明する図である。同表示制御装置の動作を説明する図である。

（第一実施形態）
　本発明の第一実施形態に係る内視鏡システム１００について、図１から図１１を参照して説明する。

[内視鏡システム１００]
　図１は内視鏡システム１００を示す図である。
　内視鏡システム（画像表示システム）１００は、内視鏡１と、３次元モニタ２と、検出装置３と、表示制御装置４と、を備える。

［内視鏡１］
　内視鏡１は、例えば手術台Ｔに横たわる患者の体内を観察および処置する装置である。内視鏡１は、患者の体内に挿入される細長い挿入部１０と、挿入部１０の基端に接続された操作部１８と、操作部１８から延出するユニバーサルコード１９と、を備える。

　挿入部１０は、先端に撮像部１４を有する。撮像部１４は、ステレオ光学系と、ＣＭＯＳイメージセンサ等の撮像素子と、を有する。撮像部１４は、ステレオ画像（３次元画像）を生成可能な撮像信号を取得可能である。

　操作部１８は、内視鏡１に対する操作を受け付ける。ユニバーサルコード１９は、内視鏡１と表示制御装置４とを接続する。撮像部１４は、ユニバーサルコード１９を経由して表示制御装置４に撮像信号を送信する。

［３次元モニタ２］
　３次元モニタ（３次元ディスプレイ）２は、内視鏡１により生成された画像や、内視鏡システム１００に関する各種情報等を表示する。３次元モニタ２は、３次元画像を表示可能なモニタであって、例えば眼鏡式モニタや裸眼式モニタである。

　眼鏡式モニタは、観察者Ｓに特殊な光学特性を持った眼鏡を掛けさせ、両眼に視差をつけた画像を表示するモニタである。眼鏡式モニタを観察する観察者Ｓが掛ける眼鏡は、偏光眼鏡Ｇや液晶シャッター眼鏡などである。

　裸眼式モニタは、観察者Ｓが眼鏡を使用せずに裸眼立体視画像を観察可能なモニタである。裸眼式モニタは、例えばパララックスバリア方式やレンチキュラーレンズ方式により裸眼立体視画像を観察可能なモニタである。

　本実施形態において、３次元モニタ２は、観察者Ｓが偏光眼鏡Ｇを用いる眼鏡式モニタである。なお、３次元モニタ２は、観察者Ｓが眼鏡を使用せずに裸眼立体視画像を観察可能な裸眼式モニタであってもよい。

［検出装置３］
　検出装置３は、例えば３次元モニタ２の上部に設置されており、３次元モニタ２に対する観察者Ｓの位置を「観察位置Ｐ」として検出する位置センサである。検出装置３が検出した３次元モニタ２に対する観察者Ｓの位置は、表示制御装置４によって取得される。検出装置３は、例えば、撮像した画像から観察者Ｓが掛けている偏光眼鏡Ｇや観察者Ｓの顔などを検出することにより、３次元モニタ２に対する観察者Ｓの位置を検出する。なお、表示制御装置４が、検出装置３が撮像した画像から偏光眼鏡Ｇや観察者Ｓの顔を検出する画像処理を実施してもよい。

　検出装置３は、例えばレーザや赤外線により３次元モニタ２に対する観察者Ｓの位置を検出する位置センサであってもよい。また、検出装置３は、偏光眼鏡Ｇに組み込まれたマーカー等を検出する位置センサであってもよい。

　図２は、上方向から見た３次元モニタ２に対する観察者Ｓの観察位置Ｐを示す図である。図３は、横方向から見た３次元モニタ２に対する観察者Ｓの観察位置Ｐを示す図である。観察位置Ｐは、例えば図２に示すように、観察者Ｓの両眼付近の位置である。検出装置３は、観察者Ｓの両眼よりも少し３次元モニタ２側の位置を観察位置Ｐとしてもよい。

［表示制御装置４］
　表示制御装置４は、撮像部１４から取得した撮像信号に基づいて３次元画像Ａを生成し、生成した３次元画像Ａを３次元モニタ２に表示する装置である。表示制御装置４は、ＣＰＵなどのプロセッサとプログラムを読み込み可能なメモリ等を有するプログラム実行可能な処理回路（コンピュータ）、ＡＳＩＣやＦＰＧＡに実装された論理回路、またはそれらの組み合わせである。

　表示制御装置４は、インターネットを経由して内視鏡１と３次元モニタ２とに接続されるクラウドサーバ上に設けられた演算装置であってもよい。

　図４は、３次元モニタ２に表示された３次元画像Ａを示す図である。
　表示制御装置４は、検出装置３が検出した観察者Ｓの観察位置Ｐに基づいて、３次元モニタ２に表示する３次元画像Ａの表示サイズと表示位置の少なくとも一方を決定する。具体的には、表示制御装置４は、３次元モニタ２において観察者Ｓが３次元画像を適切に観察できる範囲範囲（以降、「３次元観察可能領域Ｒ」ともいう）に観察位置Ｐが配置されるように、３次元モニタ２に表示する３次元画像Ａの表示サイズと表示位置の少なくとも一方を決定する。

　本実施形態において、表示制御装置４は、図２に示すように、３次元観察可能領域Ｒにおいて最も３次元モニタ２側に観察位置Ｐが配置されるように、３次元モニタ２に表示する３次元画像Ａの表示サイズと表示位置の少なくとも一方を決定する。

　表示制御装置４は、３次元モニタ２から観察位置Ｐに基づいて、３次元モニタ２に表示する３次元画像Ａの表示位置を決定する。具体的には、図２に示すように、表示制御装置４は、観察位置Ｐから３次元モニタ２に対する垂線と３次元モニタ２との交点を、３次元画像Ａの表示領域ＡＲの中心ＡＯとする。

　表示制御装置４は、３次元モニタ２から観察位置Ｐに基づいて、３次元モニタ２に表示する３次元画像Ａの表示サイズを決定する。具体的には、表示制御装置４は、３次元モニタ２から観察位置Ｐまでの観察距離Ｄと、３次元モニタ２の視野角θと、に基づいて３次元画像Ａの表示サイズ（表示領域ＡＲのサイズ）を決定する。

　ここで、３次元モニタ２は、３次元モニタ２の特性により３次元画像Ａを最適に観察可能な視野角θが規定されている。具体的には、視野角θは、３次元モニタ２の液晶サイズや偏光フィルムの仕様により規定される垂直視野角および水平視野角である。

　３次元モニタ２は、例えば、垂直方向に交互に右目用画素と左目用画素が並んでいる。右目用画素と左目用画素の配置ピッチと、画素と偏光フィルムの距離、偏光フィルムの仕様等によって、右目用画素と左目用画素からの光線角度が図３に示す垂直視野角θｖとして定まる。図２に示す水平視野角も、液晶サイズや画素ピッチ、偏光フィルムの仕様等に基づいて定まる。

　表示制御装置４は、３次元モニタ２における表示領域ＡＲ以外の領域に、例えば黒などの背景色を表示する。表示制御装置４は、３次元モニタ２における表示領域ＡＲ以外の領域に、内視鏡システム１００の情報を表示するＧＵＩ画像を表示してもよい。

[内視鏡システム１００の動作]
　次に内視鏡システム１００の表示制御装置４の動作（画像制御方法）について説明する。ここでは、観察者Ｓが移動したときにおける表示制御装置４の動作例を示す。図５から図１１は、表示制御装置４の動作を説明する図である。

＜接近動作＞
　観察者Ｓが図２から図５に示す位置に移動したとき、表示制御装置４は、検出装置３が検出した観察者Ｓの新しい観察位置Ｐに基づいて、３次元モニタ２に表示する３次元画像Ａの表示サイズと表示位置の少なくとも一方を決定する。

　図６は、図５に示す新しい観察位置Ｐに対応して更新された３次元画像Ａを示す図である。図５に示す新しい観察位置Ｐは、図２に示す観察位置Ｐよりも３次元モニタ２に近く、観察距離Ｄが短くなる。そのため、図６に示すように、表示制御装置４が決定する３次元画像Ａの表示サイズ（表示領域ＡＲのサイズ）は小さくなる。観察者Ｓが３次元モニタ２に接近した場合であっても、観察位置Ｐが３次元観察可能領域Ｒに含まれるように、表示領域ＡＲが更新される。その結果、観察者Ｓは３次元モニタ２に接近した場合であっても適切な３次元画像を観察できる。

＜平行移動動作＞
　観察者Ｓが図５から図７に示す左側の位置に平行移動したとき、表示制御装置４は、検出装置３が検出した観察者Ｓの新しい観察位置Ｐに基づいて、３次元モニタ２に表示する３次元画像Ａの表示サイズと表示位置の少なくとも一方を決定する。

　図８は、図７に示す新しい観察位置Ｐに対応して更新された３次元画像Ａを示す図である。図７に示す新しい観察位置Ｐは、図５に示す観察位置Ｐと比較して、異なる位置にあるが、観察距離Ｄはほぼ同じである。そのため、図８に示すように、表示制御装置４が決定する３次元画像Ａの表示サイズ（表示領域ＡＲのサイズ）は変わらないが、３次元画像Ａの表示領域ＡＲの中心ＡＯが左側に変更される。観察者Ｓが３次元モニタ２に対して平行移動した場合であっても、観察位置Ｐが３次元観察可能領域Ｒに含まれるように、表示領域ＡＲが更新される。その結果、観察者Ｓは３次元モニタ２に対して平行移動した場合であっても適切な３次元画像を観察できる。

＜しゃがみ動作＞
　観察者Ｓが図９に示すようにしゃがんだとき、表示制御装置４は、検出装置３が検出した観察者Ｓの新しい観察位置Ｐに基づいて、３次元モニタ２に表示する３次元画像Ａの表示サイズと表示位置の少なくとも一方を決定する。

　図９に示す新しい観察位置Ｐは、図７に示す観察位置Ｐと比較して、異なる位置にあるが、観察距離Ｄはほぼ同じである。そのため、図９に示すように、表示制御装置４が決定する３次元画像Ａの表示サイズ（表示領域ＡＲのサイズ）は変わらないが、３次元画像Ａの表示領域ＡＲの中心ＡＯが下側に変更される。観察者Ｓが３次元モニタ２に対してしゃがんだ場合であっても、観察位置Ｐが３次元観察可能領域Ｒに含まれるように、表示領域ＡＲが更新される。その結果、観察者Ｓは３次元モニタ２に対してしゃがんだ場合であっても適切な３次元画像を観察できる。

＜追従限界＞
　観察者Ｓが平行移動したときやしゃがんだときにおいて、新たな観察位置Ｐに基づいて算出された３次元画像Ａの表示領域ＡＲの少なくとも一部が３次元モニタ２の表示可能領域外にある場合が生じる。この場合、表示制御装置４は、３次元画像Ａの表示領域ＡＲを３次元モニタ２の表示可能領域内に変更する。例えば、表示制御装置４は、観察位置Ｐから３次元モニタ２に対する垂線と３次元モニタ２との交点よりも内側の位置を、３次元画像Ａの表示領域ＡＲの中心ＡＯとする。その結果、３次元画像Ａの全体が３次元モニタ２に表示され、観察者Ｓは３次元画像Ａの全体を観察できる。

＜複数観察者＞
　３次元モニタ２に表示される３次元画像Ａを観察する観察者Ｓが二人であるとき、表示制御装置４は、観察者Ｓごとに３次元画像Ａを生成して表示する。二人の観察者Ｓを第一観察者Ｓ１と第二観察者Ｓ２とする。

　表示制御装置４は、検出装置３が検出した第一観察者Ｓ１の観察位置Ｐ１に基づいて、３次元モニタ２に表示する３次元画像Ａの表示領域ＡＲ１の中心ＡＯ１と、３次元画像Ａの表示サイズ（表示領域ＡＲ１のサイズ）を決定する。

　表示制御装置４は、検出装置３が検出した第二観察者Ｓ２の観察位置Ｐ２に基づいて、３次元モニタ２に表示する３次元画像Ａの表示領域ＡＲ２の中心ＡＯ２と、３次元画像Ａの表示サイズ（表示領域ＡＲ２のサイズ）を決定する。

　観察者Ｓが複数である場合であっても、観察位置Ｐごとに３次元観察可能領域Ｒが更新される。その結果、観察者Ｓはそれぞれにとって適切な３次元画像を観察できる。観察者Ｓが３人以上であっても同様である。

＜間欠制御：距離＞
　表示制御装置４は、検出装置３が検出した観察位置Ｐが属する観察領域ＰＲに基づいて３次元モニタ２に表示する３次元画像Ａの表示サイズと表示位置の少なくとも一方を決定してもよい。図２に示すように観察領域ＰＲは所定の範囲を有している。表示制御装置４は、観察位置Ｐが同じ観察領域ＰＲに配置されている場合、３次元画像Ａの表示サイズと表示位置を更新しない。その結果、３次元画像Ａの表示サイズや表示位置が変化しすぎて視認性が低下することを防止できる。

＜間欠制御：時間＞
　表示制御装置４は、所定の時間間隔ごとに検出装置３が検出した観察位置Ｐに基づいて３次元モニタ２に表示する３次元画像Ａの表示サイズと表示位置の少なくとも一方を決定してもよい。その結果、３次元画像Ａの表示サイズや表示位置が変化しすぎて視認性が低下することを防止できる。

　本実施形態に係る内視鏡システム１００によれば、３次元モニタに対する観察者の位置の変更や画像の大幅な補正を行わずに観察者に適切な３次元画像を表示できる。

　以上、本発明の第一実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。また、上述の実施形態および変形例において示す構成要素は適宜に組み合わせて構成することが可能である。

（変形例１）
　上記実施形態において、表示制御装置４は、内視鏡１から取得した撮像信号からステレオ画像を３次元画像Ａとして生成する。しかしながら、表示制御装置４が生成する３次元画像はステレオ画像に限定されない。

（変形例２）
　上記実施形態において、検出装置３は、３次元モニタ２に設置された位置センサである。しかしながら、検出装置３の態様はこれに限定されない。例えば、検出装置は、内視鏡１の撮像部（撮像装置）１４であってもよい。観察者Ｓは内視鏡１を使用する前に撮像部１４に手に持ち、３次元モニタ２などの基準物を撮像する。表示制御装置４は、基準物を撮像した画像に基づいて、３次元モニタ２に対する観察者Ｓの観察位置Ｐを算出してもよい。

　各実施形態におけるプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

１００　内視鏡システム（画像表示システム）
１　内視鏡
２　３次元モニタ（３次元ディスプレイ）
３　検出装置
４　表示制御装置
１０　挿入部
１４　撮像部（撮像装置）
Ｓ　観察者
Ｐ　観察位置
Ｄ　観察距離
θ　視野角
Ｇ　偏光眼鏡
Ｒ　３次元観察可能領域
Ａ　３次元画像
ＡＲ　表示領域
ＡＯ　中心

Claims

　３次元画像を表示可能なモニタと、
　前記モニタに対する観察者の位置またはモニタ観察用グラスの位置を観察位置として検出する検出装置と、
　前記検出装置が検出した前記観察位置に基づいて、前記モニタに表示する前記３次元画像の表示サイズと表示位置の少なくとも一方を決定する表示制御装置と、
　を備える、
　画像表示システム。
　前記表示制御装置は、前記モニタにおける３次元観察可能領域に前記観察位置が配置されるように、前記モニタに表示する前記３次元画像の表示サイズと表示位置の少なくとも一方を決定する、
　請求項１に記載の画像表示システム。
　前記表示制御装置は、前記モニタから前記観察位置までの観察距離に基づいて、前記モニタに表示する前記３次元画像の表示サイズを決定する、
　請求項１に記載の画像表示システム。
　前記検出装置は、前記モニタに設けられ、前記モニタに対する観察者の位置またはモニタ観察用グラスの位置を検出するセンサである、
　請求項１に記載の画像表示システム。
　前記観察者が使用する撮像装置をさらに備え、
　前記検出装置は、前記撮像装置が前記モニタを撮像した画像に基づいて、前記観察位置を検出する、
　請求項１に記載の画像表示システム。
　前記撮像装置は、前記３次元画像を撮像可能な内視鏡の一部である、
　請求項５に記載の画像表示システム。
　前記表示制御装置は、前記観察位置に基づいて決定した前記３次元画像を表示する領域の少なくとも一部が前記モニタの表示可能領域外にあるとき、前記３次元画像を表示する領域を前記モニタの表示可能領域内に変更する、
　請求項１に記載の画像表示システム。
　前記表示制御装置は、前記検出装置が検出した前記観察位置が属する観察領域に基づいて前記モニタに表示する前記３次元画像の表示サイズと表示位置の少なくとも一方を決定するとき、
　請求項１に記載の画像表示システム。
　前記表示制御装置は、所定の時間間隔ごとに前記検出装置が検出した前記観察位置に基づいて前記モニタに表示する前記３次元画像の表示サイズと表示位置の少なくとも一方を決定する、
　請求項１に記載の画像表示システム。
　前記観察位置は二以上であり、
　前記３次元画像は、前記観察位置ごとに独立して表示される、
　請求項１に記載の画像表示システム。
　３次元画像を表示可能なモニタに対する観察者の位置またはモニタ観察用グラスの位置である観察位置に基づいて、前記モニタに表示する前記３次元画像の表示サイズと表示位置の少なくとも一方を決定する、
　表示制御装置。
　前記モニタにおける３次元観察可能領域に前記観察位置が配置されるように、前記モニタに表示する前記３次元画像の表示サイズと表示位置の少なくとも一方を決定する、
　請求項１１に記載の表示制御装置。
　前記モニタから前記観察位置までの観察距離に基づいて、前記モニタに表示する前記３次元画像の表示サイズを決定する、
　請求項１１に記載の表示制御装置。
　前記観察位置に基づいて決定した前記３次元画像を表示する領域の少なくとも一部が前記モニタの表示可能領域外にあるとき、前記３次元画像を表示する領域を前記モニタの表示可能領域内に変更する、
　請求項１１に記載の表示制御装置。
　前記観察位置が属する観察領域に基づいて前記モニタに表示する前記３次元画像の表示サイズと表示位置の少なくとも一方を決定するとき、
　請求項１１に記載の表示制御装置。
　所定の時間間隔ごとに検出した前記観察位置に基づいて前記モニタに表示する前記３次元画像の表示サイズと表示位置の少なくとも一方を決定する、
　請求項１１に記載の表示制御装置。
　前記観察位置は二以上であり、
　前記３次元画像は、前記観察位置ごとに独立して前記モニタに表示させる、
　請求項１１に記載の表示制御装置。
　モニタに対する観察者の位置またはモニタ観察用グラスの位置を観察位置として検出する工程と、
検出した観察位置に基づいて前記モニタに表示する３次元画像の表示サイズと表示位置の少なくとも一方を決定する工程と、
　を有する画像表示方法。
　前記モニタにおける３次元観察可能領域に前記観察位置が配置されるように、前記モニタに表示する前記３次元画像の表示サイズと表示位置の少なくとも一方を決定する、
　請求項１８に記載の画像表示方法。
　前記モニタから前記観察位置までの観察距離に基づいて、前記モニタに表示する前記３次元画像の表示サイズを決定する、
　請求項１８に記載の画像表示方法。