WO2020217874A1 - 表示制御装置、表示制御方法および表示制御プログラム - Google Patents
表示制御装置、表示制御方法および表示制御プログラム Download PDFInfo
- Publication number
- WO2020217874A1 WO2020217874A1 PCT/JP2020/014618 JP2020014618W WO2020217874A1 WO 2020217874 A1 WO2020217874 A1 WO 2020217874A1 JP 2020014618 W JP2020014618 W JP 2020014618W WO 2020217874 A1 WO2020217874 A1 WO 2020217874A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- display
- unit
- display control
- control device
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/2092—Details of a display terminals using a flat panel, the details relating to the control arrangement of the display terminal and to the interfaces thereto
- G09G3/2096—Details of the interface to the display terminal specific for a flat panel
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/18—Signals indicating condition of a camera member or suitability of light
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/045—Zooming at least part of an image, i.e. enlarging it or shrinking it
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/04—Changes in size, position or resolution of an image
- G09G2340/0464—Positioning
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/14—Solving problems related to the presentation of information to be displayed
- G09G2340/145—Solving problems related to the presentation of information to be displayed related to small screens
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
全画角については画素間引きで第1撮像信号を出力し、全画角内の一部領域については全画素で第2撮像信号を出力する撮像素子から出力される第1撮像信号に基づく第1画像と、第2撮像信号に基づく第2画像を表示部に表示するように制御する表示制御部を備える表示制御装置である。
Description
本技術は、表示制御装置、表示制御方法および表示制御プログラムに関する。
デジタルカメラやデジタルビデオカメラ等の撮像装置において、ユーザは被写体の一部にピント合わせを行った状態で、静止画あるいは動画の撮影を行う。ユーザはピント合わせやその確認のためには、撮像装置に設けられた表示部(背面パネルや電子ファインダー等)に表示される被写体のモニタリング画像を目視して確認する。
通常、撮像装置の表示部は物理的なサイズが小さいため、ピントの確認や被写体の確認が難しいという問題がある。そのため、手動でのピント合わせ操作時に表示部に被写体の一部を全画面に拡大して表示させることでユーザがピント状態を確認する際の視認性を改善する技術が提案されている(特許文献1)。
しかし、特許文献1に記載の技術においては、被写体の一部を全画面に拡大して表示すると、その被写体の一部しか見えなくなり、撮像範囲全体を把握することができなくなってしまうため、ユーザは例えばピントを調整しながらの構図の調整など行うことができないという問題がある。
本技術はこのような問題点に鑑みなされたものであり、撮像範囲全体と、撮像範囲の一部領域と同時に確認することができる表示制御装置、表示制御方法および表示制御プログラムを提供することを目的とする。
上述した課題を解決するために、第1の技術は、全画角については画素間引きで第1撮像信号を出力し、全画角内の一部領域については全画素で第2撮像信号を出力する撮像素子から出力される第1撮像信号に基づく第1画像と、第2撮像信号に基づく第2画像を表示部に表示するように制御する表示制御部を備える表示制御装置である。
また、第2の技術は、全画角については画素間引きで第1撮像信号を出力し、全画角内の一部領域については全画素で第2撮像信号を出力する撮像素子から出力される第1撮像信号に基づく第1画像と、第2撮像信号に基づく第2画像を表示部に表示するように制御する表示制御方法である。
さらに、第3の技術は、全画角については画素間引きで第1撮像信号を出力し、全画角内の一部領域については全画素で第2撮像信号を出力する撮像素子から出力される第1撮像信号に基づく第1画像と、第2撮像信号に基づく第2画像を表示部に表示するように制御する表示制御方法をコンピュータに実行させる表示制御プログラムである。
以下、本技術の実施の形態について図面を参照しながら説明する。なお、説明は以下の順序で行う。
<1.実施の形態>
[1-1.撮像装置100の構成]
[1-2-1.第1の表示態様]
[1-2-2.第2の表示態様]
[1-2-3.第3の表示態様]
<2.応用例>
<3.応用例>
<4.変形例>
<1.実施の形態>
[1-1.撮像装置100の構成]
[1-2-1.第1の表示態様]
[1-2-2.第2の表示態様]
[1-2-3.第3の表示態様]
<2.応用例>
<3.応用例>
<4.変形例>
<1.実施の形態>
[1-1.撮像装置100の構成]
まず、図1を参照して本技術に係る表示制御装置200の機能を備える撮像装置100の構成について説明する。
[1-1.撮像装置100の構成]
まず、図1を参照して本技術に係る表示制御装置200の機能を備える撮像装置100の構成について説明する。
撮像装置100は、光学撮像系101、光学系駆動部102、撮像素子103、前処理部104、カメラ処理部105、画像メモリ106、記録画像生成部107、OSD画像生成部108、表示画像生成部109、記憶部110、表示部111、入力部112、センサ部113、制御部114を備えて構成されている。
光学撮像系101は、被写体からの光を撮像素子103に集光するための撮影レンズ、撮影レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、シャッタ機構、アイリス機構などから構成されている。これらは光学系駆動部102の制御により駆動される。光学撮像系101を介して得られた被写体の光画像は、撮像素子103上に結像される。
光学系駆動部102は、例えばマイコンなどにより構成され、制御部114の制御に従い、光学撮像系101の駆動機構、シャッタ機構、アイリス機構などの動作を制御する。これにより、露光時間(シャッタースピード)の調整、絞り値(F値)などの調整がなされる。
撮像素子103は、被写体からの入射光を光電変換して電荷量に変換し、撮像信号として出力する。撮像素子103から出力される撮像信号は前処理部104に出力される。撮像素子103としては、CCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)などが用いられる。
本技術において撮像素子103は、画像としての解像度が異なる複数の読み出しモードで動作可能である。読み出しモードには図2Aに示すように撮像範囲全体である全画角において全ての有効画素から読み出して撮像信号を出力する全画素モードがある。また、読み出しモードには図2Bに示すように撮像範囲全体である全画角において画素を間引いて読み出して撮像信号を出力する間引きモードがある。図2Bでは有効画素のうち、番号を円で囲った画素からのみ読出しを行っている。なお、図2および図3における撮像素子103に付された各番号は画素を示すものである。
さらに図3に示すように、読み出しモードには全画素/間引きモードがある。全画素/間引きモードは、撮像範囲全体である全画角においては番号を円で囲った画素に示すように画素を間引いて読み出して撮像信号を出力する。さらに、全画素/間引きモードでは、全画角内の太線で囲う一部領域においては番号を三角形で囲った画素に示すように全画素から読み出して撮像信号を出力する。この2つの方法の撮像信号の読み出しと出力を同一露光内に同時に行う。なお、図3において太線で囲った一部領域は説明の便宜上設定したものであり、一部領域がそこに限定されるものではない。
撮像素子103は読み出しモード制御部203の制御に従って上記いずれかのモードで動作して撮像信号を出力する。この撮像素子103の動作モードはモード制御部203の制御により切り替え可能とする。
全画素/間引きモードにおける、全画角において画素を間引いて読み出して出力される撮像信号は特許請求の範囲における第1撮像信号に相当する。また、全画角内の一部領域における全画素から読み出して出力される撮像信号は特許請求の範囲における第2撮像信号に相当する。そして、第1撮像信号に基づく画像は特許請求の範囲における第1画像であり、第2撮像信号に基づく画像は特許請求の範囲における第2画像である。第2画像は撮像範囲の部分拡大画像である。第1画像および第2画像はスルー画(モニタリング画像)を構成するフレーム画像である。フレームごとの撮像素子103からの撮像信号の出力で随時更新されて、連続で表示されることによりスルー画を構成する。
前処理部104は、A/D(Analog/Digital)変換によりアナログ撮像信号をデジタル画像信号に変換して出力する。また撮像信号に対してAGC(Auto Gain Control)処理により利得を制御してもよい。
カメラ処理部105は、画像信号に対してホワイトバランス調整処理や色補正処理、ガンマ補正処理、Y/C変換処理、AE(Auto Exposure)処理などの信号処理を画像信号に施す。
画像メモリ106は、揮発性メモリ、例えば、DRAM(Dynamic Random Access Memory)で構成されるバッファメモリであり、前段回路によって所定の処理が施された画像データを一時的に蓄えておくものである。
記録画像生成部107は、カメラ処理部105で処理された画像をもとにして解像度変換や記録形式(例えば、JPEG(Joint Photographic Experts Group)やMPEG-4等)への符号化処理を行って記録画像を生成する。
OSD画像生成部108は、例えば、時刻や現在の露出モード、F値、電池残り残量等のカメラ情報をユーザに通知するためのOSD(On Screen Display)画像を生成する。
表示画像生成部109は、表示部111に表示する画像を生成する。例えば、モニタリング画像とOSD画像の合成処理や表示部111の解像度に合わせた解像度変換拡処理等を行う。
記憶部110は、例えば、HDD(Hard Disc Drive)、SSD(Solid State Drive)、SDメモリカードなどの大容量記憶媒体である。画像は例えばJPEG(Joint Photographic Experts Group)などの規格に基づいて圧縮された状態で保存される。また、保存された画像に関する情報、撮像日時などの付加情報を含むEXIF(Exchangeable Image File Format)データもその画像に対応付けられて保存される。動画は、例えば、MPEG2(Moving Picture Experts Group2)、MPEG4などの形式で保存される。
表示部111は、例えば、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、有機EL(Electro Luminescence)パネルなどにより構成された表示デバイスである。表示部111には、撮像装置100のユーザインターフェース、メニュー画面、撮像中のモニタリング画像、記憶部110に記録された撮影済み画像、撮影済み動画などが表示される。
入力部112は、例えば、電源オン/オフ切り替えのための電源ボタン、撮像画像の記録の開始を指示するためのレリーズボタン、ズーム調整用の操作子、表示部111と一体に構成されたタッチスクリーンなどからなる。入力部112に対して入力がなされると、その入力に応じた制御信号が生成されて制御部114に出力される。そして、制御部114はその制御信号に対応した演算処理や制御を行う。
センサ部113は各種センサを包括的に示している。例えば手ぶれ、或いは撮像装置100の姿勢や移動等の撮像装置100の全体の動きを検出するためのジャイロセンサ(角速度センサ)、加速度センサ等が設けられる。また露光調整等のための外部照度を検出する照度センサ、さらには被写体距離を測定する測距センサが設けられてもよい。
制御部114は、CPU(Central Processing Unit)、RAM(Random Access Memory)およびROM(Read Only Memory)などから構成されている。ROMには、CPUにより読み込まれ動作されるプログラムなどが記憶されている。RAMは、CPUのワークメモリとして用いられる。CPUは、ROMに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって撮像装置100全体の制御を行う。
本実施の形態において制御部114は表示制御装置200を構成する動作決定部201、表示制御部202、モード制御部203としての機能ブロックを備える。
動作決定部201は、撮像装置100の現在の状態を検出して次に行うべき動作を判定・決定する。例えば、静止画撮影モード中にシャッターボタンが押下されたことを検知して静止画撮影動作実行を決定する。また、例えば、静止画撮影モードでマニュアルフォーカスなどの所定の入力操作が行われたことを検出して本技術に係る表示制御の実行を決定するなどを行う。
表示制御部202は、例えば、動作決定部201によって本技術に係る表示制御の実行が決定された際に、表示部111における表示を本技術に係る表示態様とするように表示制御を行い、第1画像と第2画像を所定の態様で表示部111に表示させる。本技術に係る表示制御の詳細は後述する。また、読み出しモード制御部203に適切な読み出しモード切り替えの指示を行う。
読み出しモード制御部203は、撮像素子103が有する上述した読み出しモードの切り替えを制御する。具体的には本技術に係る表示制御が実行される場合には、図3に示すように全画角においては画素を間引き、かつ、全画角内の一部領域においては全画素で同一露光内にこれらを同時に読み出す全画素/間引きモードになるようにモードの切り替えを行う。
表示制御装置200はプログラムで構成され、そのプログラムは予め撮像装置100内にインストールされていてもよいし、ダウンロード、記憶媒体などで配布されて、ユーザが自らインストールするようにしてもよい。なお、表示制御装置200はプログラムによって実現されるのみでなく、その機能を有するハードウェアによる専用の装置、回路などを組み合わせて実現されてもよい。
表示制御装置200としての機能を備える撮像装置100は以上のようにして構成されている。
撮像素子103が全画素/間引きモードの場合、間引きで読み出す第1撮像信号と一部領域について全画素で読み出す第2撮像信号が撮像素子103から出力される。この場合、図4に示すように撮像素子103から前処理部104への撮像信号の伝送は、LVDS(Low voltage differential signaling)やMIPI(Mobile Industry Processor Interface)といったデジタル信号のインターフェースを複数設け、各々を第1撮像信号用、第2撮像信号用の信号伝送経路として行う。
なお、異なる経路で第1撮像信号と第2撮像信号を伝送する場合、一方の撮像信号が他方の撮像信号に対して遅延する可能性がある。そのような遅延が生じる場合、第1撮像信号と第2撮像信号にタイミング情報を付加し、同じタイミング情報を有する第1撮像信号と第2撮像信号の両方が届くまで前処理部104は待機し両方の信号を受信した後に処理を行うようにしてもよい。
なお、このタイミング同期処理は前処理部104以外にも撮像素子103と前処理部104の間に信号受信部を設け、その信号受信部で行ってもよい。
なお、撮像素子103からの撮像信号の伝送は有線経路ではなく、無線経路であっても構わない。また、帯域が十分に確保され、かつ処理が間に合うのならば1本の伝送経路で第1撮像信号と第2撮像信号を交互に送っても構わない。
[1-2-1.第1の表示態様]
次に表示制御装置200の表示制御による第1の表示態様について説明する。なお、この第1の表示態様、さらに後ほど説明する第2の表示態様および第3の表示態様はユーザが撮像装置100で撮影を行う際に表示部111としての背面表示パネルやEVF(Electronic View Finder)においてスルー画を表示するためのものである。ユーザはその表示を見ながら画角の調整、構図の調整、ピント合わせ、被写体の確認などを行って撮影を行う。
次に表示制御装置200の表示制御による第1の表示態様について説明する。なお、この第1の表示態様、さらに後ほど説明する第2の表示態様および第3の表示態様はユーザが撮像装置100で撮影を行う際に表示部111としての背面表示パネルやEVF(Electronic View Finder)においてスルー画を表示するためのものである。ユーザはその表示を見ながら画角の調整、構図の調整、ピント合わせ、被写体の確認などを行って撮影を行う。
まず図5のフローチャートにおけるステップS101で、ユーザから撮像装置100に対してマニュアルフォーカスなどの所定の入力または本技術に係る表示制御の実行を指示する入力があったか否かが判定される。入力があった場合処理はステップS102に進む(ステップS101のYes)。
次にステップS102で動作決定部201は本技術に係る表示制御の実行を決定する。次にステップS103で表示制御部202は読み出しモード制御部203に撮像素子103のモードを切り替えるよう指示する。
次にステップS104で読み出しモード制御部203が撮像素子103に制御信号を送信し、撮像素子103のモードを全画素/間引きモードに設定する。撮像素子103が全画素/間引きモードに設定されると第1撮像信号と第2撮像信号が撮像素子103から前処理回路に供給されて上述した画像処理を経て第1画像と第2画像が生成される。
そしてステップS105で表示制御部202は表示部111における表示を制御して第1画像と第2画像を表示させる。
ここで図6を参照して第1の表示態様について説明する。
図6Aは表示部111に表示される通常の状態のスルー画の表示である。この状態でユーザから表示制御実行を指示する入力があると表示制御部202による制御によって表示は図6Bに示すように切り替わる。
図6Bに示す第1の表示態様においては、第1撮像信号に基づく第1画像と第2撮像信号に基づく第2画像の両方が表示部111に並んで同時に表示される。第1画像は全画角において画素間引きで出力された第1撮像信号に基づく画像であり、第2画像は全画角内の一部領域において全画素で出力された第2撮像信号に基づく画像である。よって、第1画像は第2画像よりも低画質であり、第2画像は第1画像よりも高画質となる。
第1画像は全画角において画素間引きで出力された第1撮像信号に基づく画像であるため、ユーザは第1画像を見ることで撮像範囲全体である全画角を確認することができる。これによりユーザは第1画像を見ながら画角調整、フレーミング、構図調整などを行うことができる。
また、第2画像は全画角内の一部領域の画像であり第1画像の部分拡大画像である。被写体が拡大して表示されるため被写体の細部まで目視で確認することができる。よってユーザはこの第2画像を見ながら正確なピント調整、小さい被写体や複雑な被写体の確認、被写体の色の確認などを行うことができる。
なお、第2画像で拡大する第1画像中の一部領域は、デフォルトで例えば第1画像の中央に配置されてもよいし、公知の被写体検出機能により検出した特定の被写体(例えば人物の顔)を含めるように配置されてもよい。また、一部領域の位置およびサイズはユーザが任意に変更できるようにしてもよい。
第1画像と第2画像は表示部111において並んで表示されているため、ユーザは第1画像を見ながらの画角調整、構図調整などを行うと同時に第2画像を見ながらピント調整や被写体確認を行うことができる。さらに、ユーザは第1画像を見ながら行う画角調整、画角調整や構図調整と、第2画像を見ながら行うピント調整や被写体確認を表示部111における表示を切り替えることなく行うことができる。
なお、第1画像は画角調整、構図調整を行うためのものであるため第2画像より低画質であっても支障はない。
第1画像上には第2画像で拡大している領域を示す矩形状のアイコンTが重畳表示されている。これによりユーザは第2画像が第1画像の中のどこを拡大したものであるかを容易に確認することができる。
[1-2-2.第2の表示態様]
次に図7および図8を参照して表示制御装置200の表示制御による第2の表示態様について説明する。なお、図7のフローチャートにおけるステップS101乃至ステップS104は図5における処理と同様であるため説明を省略する。
次に図7および図8を参照して表示制御装置200の表示制御による第2の表示態様について説明する。なお、図7のフローチャートにおけるステップS101乃至ステップS104は図5における処理と同様であるため説明を省略する。
ステップS104の次にステップS201で表示部111の解像度が所定値以上であるか否かが判定される。解像度が所定値以上とは例えば解像度がFHD(Full High Definition)以上であるか否かである。
表示部111の解像度が所定値以上である場合処理はステップS202に進む(ステップS201のYes)。そしてステップS202で、図8に示すように表示制御部202は第1画像と第2画像を同時に並べて表示する上述の第1の表示態様と同様の並列表示制御を行う。
一方、表示部111の解像度が所定値以上ではない場合、処理はステップS203に進む(ステップS201のNo)。そしてステップS203で表示制御部202は図8に示すように第1画像上に第2画像を重畳して表示する重畳表示制御を行う。
図8に示す、第1画像上に第2画像を重畳して表示する態様では、全画角において画素間引きで出力された第1撮像信号に基づく第1画像は表示部111全体に第2画像よりも大きく表示される。また、全画角内の一部領域において全画素で出力された第2撮像信号に基づく第2画像は第1画像上に重畳して表示される。この場合、第2画像は図6に示す第1の表示態様において表示される状態よりも大きいサイズで表示される。なぜなら図8に示す重畳表示は表示部111の解像度が低い場合に行うものであり、部分拡大画像である第2画像をユーザに見やすく提示するためには大きなサイズで表示するのがよいからである。また重畳表示することにより、第1画像の全体を覆ってしまわない範囲で第2画像のサイズは大きくすることができるからである。
第1画像は全画角において画素間引きで出力された第1撮像信号に基づく画像であるため、ユーザは第1画像を見ることで全画角を確認することができる。これによりユーザは第1画像を見ながら画角調整、構図調整などを行うことができる。なお、重畳表示すると第2画像により第1画像の一部が隠れることになるが、図8に示す重畳表示では第1画像の上下左右の端は表示されているため、特定の被写体を画角内に入れるように調整したり、大まかな構図の調整は問題なく行うことができる。
また、第2画像は全画角内の一部領域を拡大した画像であるため、被写体の細部まで目視で確認することができ、ユーザはこの第2画像を見ながらより正確なピント調整、被写体確認などを行うことができる。
このように第2の表示態様では表示部111の解像度に応じて表示態様を切り替える。例えば、表示部111がFHD(1920×1080)以上のような高解像度である場合は、図8のように、2つの画像のサイズを小さくして並べて同時に表示してもユーザは被写体を確認できる。しかし、表示部111が低解像度の場合、高解像度の場合と同様に2つの画像のサイズを小さくして並べて同時に表示すると見づらくなる。したがって、低解像度の場合は拡大画像である第2画像を優先して、第1画像上に第2画像を重畳して表示する。これにより低解像度であってもユーザは第2画像を見て正確なピント合わせや被写体確認などを行うことができる。
なお、EVFと背面表示パネルを持つような撮像装置100の場合、通常EVFの方が背面表示パネルよりも高解像度であることが多く、EVFでは第1画像と第2画像を並べて表示し、背面表示パネルにおいては第1画像上に第2画像を重畳して表示する、というようにしてもよい。
[1-2-3.第3の表示態様]
次に図9および図10を参照して表示制御装置200の表示制御による第3の表示態様について説明する。なお、図9のフローチャートにおけるステップS101乃至ステップS104は図5における処理と同様であるため説明を省略する。
次に図9および図10を参照して表示制御装置200の表示制御による第3の表示態様について説明する。なお、図9のフローチャートにおけるステップS101乃至ステップS104は図5における処理と同様であるため説明を省略する。
ステップS104の次にステップS301でユーザから第1画像および/または第2画像の表示位置および/または表示サイズを指定する入力があったか否かが判定される。ユーザから入力があった場合処理はステップ302に進む(ステップS301のYes)。
ユーザから表示位置および/または表示サイズを指定する入力は例えば図10Aに示すようなOffset,Width,Heightの具体的な値を入力することにより行われる。また、表示部111上でユーザがドラッグ操作やピンチイン・ピンチアウト操作などで第1画像と第2画像の表示位置および表示サイズを表す矩形アイコンを操作してOffset,Width,Heightを設定してもよい。サイズおよび位置の情報は、このようなデータ構成で表示制御装置200内に記憶する。
そしてステップS302で表示制御部202はユーザからの入力に従い第1画像と第2画像を表示部111に表示させる。
一方、ステップS301でユーザから表示位置および/または表示サイズを指定する入力がない場合、処理はステップS303に進み(ステップS301のNo)、予め表示制御装置内に設定しておいたデフォルトの設定で第1画像と第2画像を表示部111に表示させる。
図10Bはユーザからの表示位置および/または表示サイズの指定に応じた表示部111における表示例である。図10Bに示すようにユーザは第1画像および第2画像の表示位置および/または表示サイズを画面上やメニューから自由に指定して変更することができる。
Offsetは各画像を表示位置の基準となる二次元座標を示す。基準位置は例えば画像の左上の角である。Widthは各画像の水平方向のサイズであり、Heightは各画像の垂直方向のサイズを示す。なお、図10の例ではピクセル単位の値になっているが、正規化された値で記憶しておき、表示時に表示デバイスの解像度から計算してもよい。
なお、ユーザが指定する表示位置と表示サイズによっては第1画像と第2画像が一部重なる場合がある。このような場合、図10Bに示すように第1画像と第2画像を重ねて表示してもよいし、Offset,Width,Heightの設定を第1画像と第2画像が重ならない範囲で設定できるように制限を設けてもよい。
ユーザからの入力に応じて第1画像と第2画像の表示を変更する例としては、図11に示すようにユーザからの入力に応じて第2画像で拡大表示する第1画像中の領域を変更する例もある。
表示部111が入力部112と一体に構成されたタッチスクリーンである場合、図11Aに示すように、第2画像中の任意の位置にユーザが指を接触させる(タップ操作)と、接触位置を基準とした所定の範囲を示す情報が表示制御装置200から撮像素子103に供給される。範囲情報を受けた撮像素子103は、第2撮像信号を出力する全画角内の一部領域を範囲情報で示される範囲に変更し、その一部領域における全画素で出力された第2撮像信号を前処理部104に供給する。
そして、その変更された一部領域から出力された第2撮像信号から生成された第2画像が表示部111に表示されることにより、図11Bに示すようにユーザからの入力に従って第2画像における拡大範囲を変更することができる。図11の例ではユーザが指を被写体の動物の位置に接触させることにより動物が第2画像として拡大表示される。
このように第2画像で拡大表示する第1画像中の一部領域の位置を変更する場合、表示制御装置200は第1画像上において一部領域の位置を示す矩形アイコンTの位置も変化させる。
なお、タップ操作に限らずピンチイン・ピンチアウト操作などの他の操作に応じて第2画像の範囲を変更できるようにしてもよい。また、設定されるOffset、Width、Heightによっては第1画像と第2画像が重ねて表示してもよい。
本技術における処理は以上のように行われる。本技術によれば、全画角を確認できる全体画像と一部分を拡大して確認できる部分拡大画像を同時に表示するので、撮影画像全体の画角調整、構図調整とピント調整、被写体の詳細確認を同時に行うことができ、ユーザの使用性が向上する。
部分拡大画像である第2画像は間引きしない撮像信号に基づき高画質であるため、ピント状態や被写体の確認しやすく、ユーザの使用性が向上する。
また、全体画像である第1画像は間引き読み出しであり、部分拡大画像である第2画像は全画素読み出しなので、撮像素子103における消費電力が従来からの通常の撮像素子103とほぼ変わらないため、効率性は損なわれない。
また、表示部111の解像度によって自動的に最適な画面構成にするので、ピント調整や被写体確認におけるユーザの使用性が向上する。
また、少ない入力操作で部分拡大する位置を変更できるので、ピント調整や被写体確認におけるユーザの使用性が向上する。
さらに、全画角を確認できる全体画像と部分拡大画像の位置/サイズをユーザが自由に設定できるので、個々のユーザに適した画面構成となり、ユーザの使用性が向上する。
<2.応用例>
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、手術室システムに適用されてもよい。
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、手術室システムに適用されてもよい。
図12は、本開示に係る技術が適用され得る手術室システム5100の全体構成を概略的に示す図である。図12を参照すると、手術室システム5100は、手術室内に設置される装置群が視聴覚コントローラ(AV Controller)5107及び手術室制御装置5109を介して互いに連携可能に接続されることにより構成される。
手術室には、様々な装置が設置され得る。図12では、一例として、内視鏡下手術のための各種の装置群5101と、手術室の天井に設けられ術者の手元を撮像するシーリングカメラ5187と、手術室の天井に設けられ手術室全体の様子を撮像する術場カメラ5189と、複数の表示装置5103A~5103Dと、レコーダ5105と、患者ベッド5183と、照明5191と、を図示している。
ここで、これらの装置のうち、装置群5101は、後述する内視鏡手術システム5113に属するものであり、内視鏡や当該内視鏡によって撮像された画像を表示する表示装置等からなる。内視鏡手術システム5113に属する各装置は医療用機器とも呼称される。一方、表示装置5103A~5103D、レコーダ5105、患者ベッド5183及び照明5191は、内視鏡手術システム5113とは別個に、例えば手術室に備え付けられている装置である。これらの内視鏡手術システム5113に属さない各装置は非医療用機器とも呼称される。視聴覚コントローラ5107及び/又は手術室制御装置5109は、これら医療機器及び非医療機器の動作を互いに連携して制御する。
視聴覚コントローラ5107は、医療機器及び非医療機器における画像表示に関する処理を、統括的に制御する。具体的には、手術室システム5100が備える装置のうち、装置群5101、シーリングカメラ5187及び術場カメラ5189は、手術中に表示すべき情報(以下、表示情報ともいう)を発信する機能を有する装置(以下、発信元の装置とも呼称する)であり得る。また、表示装置5103A~5103Dは、表示情報が出力される装置(以下、出力先の装置とも呼称する)であり得る。また、レコーダ5105は、発信元の装置及び出力先の装置の双方に該当する装置であり得る。視聴覚コントローラ5107は、発信元の装置及び出力先の装置の動作を制御し、発信元の装置から表示情報を取得するとともに、当該表示情報を出力先の装置に送信し、表示又は記録させる機能を有する。なお、表示情報とは、手術中に撮像された各種の画像や、手術に関する各種の情報(例えば、患者の身体情報や、過去の検査結果、術式についての情報等)等である。
具体的には、視聴覚コントローラ5107には、装置群5101から、表示情報として、内視鏡によって撮像された患者の体腔内の術部の画像についての情報が送信され得る。また、シーリングカメラ5187から、表示情報として、当該シーリングカメラ5187によって撮像された術者の手元の画像についての情報が送信され得る。また、術場カメラ5189から、表示情報として、当該術場カメラ5189によって撮像された手術室全体の様子を示す画像についての情報が送信され得る。なお、手術室システム5100に撮像機能を有する他の装置が存在する場合には、視聴覚コントローラ5107は、表示情報として、当該他の装置からも当該他の装置によって撮像された画像についての情報を取得してもよい。
あるいは、例えば、レコーダ5105には、過去に撮像されたこれらの画像についての情報が視聴覚コントローラ5107によって記録されている。視聴覚コントローラ5107は、表示情報として、レコーダ5105から当該過去に撮像された画像についての情報を取得することができる。なお、レコーダ5105には、手術に関する各種の情報も事前に記録されていてもよい。
視聴覚コントローラ5107は、出力先の装置である表示装置5103A~5103Dの少なくともいずれかに、取得した表示情報(すなわち、手術中に撮影された画像や、手術に関する各種の情報)を表示させる。図示する例では、表示装置5103Aは手術室の天井から吊り下げられて設置される表示装置であり、表示装置5103Bは手術室の壁面に設置される表示装置であり、表示装置5103Cは手術室内の机上に設置される表示装置であり、表示装置5103Dは表示機能を有するモバイル機器(例えば、タブレットPC(Personal Computer))である。
また、図12では図示を省略しているが、手術室システム5100には、手術室の外部の装置が含まれてもよい。手術室の外部の装置は、例えば、病院内外に構築されたネットワークに接続されるサーバや、医療スタッフが用いるPC、病院の会議室に設置されるプロジェクタ等であり得る。このような外部装置が病院外にある場合には、視聴覚コントローラ5107は、遠隔医療のために、テレビ会議システム等を介して、他の病院の表示装置に表示情報を表示させることもできる。
手術室制御装置5109は、非医療機器における画像表示に関する処理以外の処理を、統括的に制御する。例えば、手術室制御装置5109は、患者ベッド5183、シーリングカメラ5187、術場カメラ5189及び照明5191の駆動を制御する。
手術室システム5100には、集中操作パネル5111が設けられており、ユーザは、当該集中操作パネル5111を介して、視聴覚コントローラ5107に対して画像表示についての指示を与えたり、手術室制御装置5109に対して非医療機器の動作についての指示を与えることができる。集中操作パネル5111は、表示装置の表示面上にタッチパネルが設けられて構成される。
図13は、集中操作パネル5111における操作画面の表示例を示す図である。図13では、一例として、手術室システム5100に、出力先の装置として、2つの表示装置が設けられている場合に対応する操作画面を示している。図13を参照すると、操作画面5193には、発信元選択領域5195と、プレビュー領域5197と、コントロール領域5201と、が設けられる。
発信元選択領域5195には、手術室システム5100に備えられる発信元装置と、当該発信元装置が有する表示情報を表すサムネイル画面と、が紐付けられて表示される。ユーザは、表示装置に表示させたい表示情報を、発信元選択領域5195に表示されているいずれかの発信元装置から選択することができる。
プレビュー領域5197には、出力先の装置である2つの表示装置(Monitor1、Monitor2)に表示される画面のプレビューが表示される。図示する例では、1つの表示装置において4つの画像がPinP表示されている。当該4つの画像は、発信元選択領域5195において選択された発信元装置から発信された表示情報に対応するものである。4つの画像のうち、1つはメイン画像として比較的大きく表示され、残りの3つはサブ画像として比較的小さく表示される。ユーザは、4つの画像が表示された領域を適宜選択することにより、メイン画像とサブ画像を入れ替えることができる。また、4つの画像が表示される領域の下部には、ステータス表示領域5199が設けられており、当該領域に手術に関するステータス(例えば、手術の経過時間や、患者の身体情報等)が適宜表示され得る。
コントロール領域5201には、発信元の装置に対して操作を行うためのGUI(Graphical User Interface)部品が表示される発信元操作領域5203と、出力先の装置に対して操作を行うためのGUI部品が表示される出力先操作領域5205と、が設けられる。図示する例では、発信元操作領域5203には、撮像機能を有する発信元の装置におけるカメラに対して各種の操作(パン、チルト及びズーム)を行うためのGUI部品が設けられている。ユーザは、これらのGUI部品を適宜選択することにより、発信元の装置におけるカメラの動作を操作することができる。なお、図示は省略しているが、発信元選択領域5195において選択されている発信元の装置がレコーダである場合(すなわち、プレビュー領域5197において、レコーダに過去に記録された画像が表示されている場合)には、発信元操作領域5203には、当該画像の再生、再生停止、巻き戻し、早送り等の操作を行うためのGUI部品が設けられ得る。
また、出力先操作領域5205には、出力先の装置である表示装置における表示に対する各種の操作(スワップ、フリップ、色調整、コントラスト調整、2D表示と3D表示の切り替え)を行うためのGUI部品が設けられている。ユーザは、これらのGUI部品を適宜選択することにより、表示装置における表示を操作することができる。
なお、集中操作パネル5111に表示される操作画面は図示する例に限定されず、ユーザは、集中操作パネル5111を介して、手術室システム5100に備えられる、視聴覚コントローラ5107及び手術室制御装置5109によって制御され得る各装置に対する操作入力が可能であってよい。
図14は、以上説明した手術室システムが適用された手術の様子の一例を示す図である。シーリングカメラ5187及び術場カメラ5189は、手術室の天井に設けられ、患者ベッド5183上の患者5185の患部に対して処置を行う術者(医者)5181の手元及び手術室全体の様子を撮影可能である。シーリングカメラ5187及び術場カメラ5189には、倍率調整機能、焦点距離調整機能、撮影方向調整機能等が設けられ得る。照明5191は、手術室の天井に設けられ、少なくとも術者5181の手元を照射する。照明5191は、その照射光量、照射光の波長(色)及び光の照射方向等を適宜調整可能であってよい。
内視鏡手術システム5113、患者ベッド5183、シーリングカメラ5187、術場カメラ5189及び照明5191は、図12に示すように、視聴覚コントローラ5107及び手術室制御装置5109(図14では図示せず)を介して互いに連携可能に接続されている。手術室内には、集中操作パネル5111が設けられており、上述したように、ユーザは、当該集中操作パネル5111を介して、手術室内に存在するこれらの装置を適宜操作することが可能である。
以下、内視鏡手術システム5113の構成について詳細に説明する。図示するように、内視鏡手術システム5113は、内視鏡5115と、その他の術具5131と、内視鏡5115を支持する支持アーム装置5141と、内視鏡下手術のための各種の装置が搭載されたカート5151と、から構成される。
内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ5139a~5139dと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ5139a~5139dから、内視鏡5115の鏡筒5117や、その他の術具5131が患者5185の体腔内に挿入される。図示する例では、その他の術具5131として、気腹チューブ5133、エネルギー処置具5135及び鉗子5137が、患者5185の体腔内に挿入されている。また、エネルギー処置具5135は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具5131はあくまで一例であり、術具5131としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。
内視鏡5115によって撮影された患者5185の体腔内の術部の画像が、表示装置5155に表示される。術者5181は、表示装置5155に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具5135や鉗子5137を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ5133、エネルギー処置具5135及び鉗子5137は、手術中に、術者5181又は助手等によって支持される。
(支持アーム装置)
支持アーム装置5141は、ベース部5143から延伸するアーム部5145を備える。図示する例では、アーム部5145は、関節部5147a、5147b、5147c、及びリンク5149a、5149bから構成されており、アーム制御装置5159からの制御により駆動される。アーム部5145によって内視鏡5115が支持され、その位置及び姿勢が制御される。これにより、内視鏡5115の安定的な位置の固定が実現され得る。
支持アーム装置5141は、ベース部5143から延伸するアーム部5145を備える。図示する例では、アーム部5145は、関節部5147a、5147b、5147c、及びリンク5149a、5149bから構成されており、アーム制御装置5159からの制御により駆動される。アーム部5145によって内視鏡5115が支持され、その位置及び姿勢が制御される。これにより、内視鏡5115の安定的な位置の固定が実現され得る。
(内視鏡)
内視鏡5115は、先端から所定の長さの領域が患者5185の体腔内に挿入される鏡筒5117と、鏡筒5117の基端に接続されるカメラヘッド5119と、から構成される。図示する例では、硬性の鏡筒5117を有するいわゆる硬性鏡として構成される内視鏡5115を図示しているが、内視鏡5115は、軟性の鏡筒5117を有するいわゆる軟性鏡として構成されてもよい。
内視鏡5115は、先端から所定の長さの領域が患者5185の体腔内に挿入される鏡筒5117と、鏡筒5117の基端に接続されるカメラヘッド5119と、から構成される。図示する例では、硬性の鏡筒5117を有するいわゆる硬性鏡として構成される内視鏡5115を図示しているが、内視鏡5115は、軟性の鏡筒5117を有するいわゆる軟性鏡として構成されてもよい。
鏡筒5117の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡5115には光源装置5157が接続されており、当該光源装置5157によって生成された光が、鏡筒5117の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者5185の体腔内の観察対象に向かって照射される。なお、内視鏡5115は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
カメラヘッド5119の内部には光学系及び撮像素子が設けられており、観察対象からの反射光(観察光)は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、RAWデータとしてカメラコントロールユニット(CCU:Camera Control Unit)5153に送信される。なお、カメラヘッド5119には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。
なお、例えば立体視(3D表示)等に対応するために、カメラヘッド5119には撮像素子が複数設けられてもよい。この場合、鏡筒5117の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。
(カートに搭載される各種の装置)
CCU5153は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡5115及び表示装置5155の動作を統括的に制御する。具体的には、CCU5153は、カメラヘッド5119から受け取った画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。CCU5153は、当該画像処理を施した画像信号を表示装置5155に提供する。また、CCU5153には、図12に示す視聴覚コントローラ5107が接続される。CCU5153は、画像処理を施した画像信号を視聴覚コントローラ5107にも提供する。また、CCU5153は、カメラヘッド5119に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。当該撮像条件に関する情報は、入力装置5161を介して入力されてもよいし、上述した集中操作パネル5111を介して入力されてもよい。
CCU5153は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡5115及び表示装置5155の動作を統括的に制御する。具体的には、CCU5153は、カメラヘッド5119から受け取った画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。CCU5153は、当該画像処理を施した画像信号を表示装置5155に提供する。また、CCU5153には、図12に示す視聴覚コントローラ5107が接続される。CCU5153は、画像処理を施した画像信号を視聴覚コントローラ5107にも提供する。また、CCU5153は、カメラヘッド5119に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。当該撮像条件に関する情報は、入力装置5161を介して入力されてもよいし、上述した集中操作パネル5111を介して入力されてもよい。
表示装置5155は、CCU5153からの制御により、当該CCU5153によって画像処理が施された画像信号に基づく画像を表示する。内視鏡5115が例えば4K(水平画素数3840×垂直画素数2160)又は8K(水平画素数7680×垂直画素数4320)等の高解像度の撮影に対応したものである場合、及び/又は3D表示に対応したものである場合には、表示装置5155としては、それぞれに対応して、高解像度の表示が可能なもの、及び/又は3D表示可能なものが用いられ得る。4K又は8K等の高解像度の撮影に対応したものである場合、表示装置5155として55インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置5155が設けられてもよい。
光源装置5157は、例えばLED(light emitting diode)等の光源から構成され、術部を撮影する際の照射光を内視鏡5115に供給する。
アーム制御装置5159は、例えばCPU等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置5141のアーム部5145の駆動を制御する。
入力装置5161は、内視鏡手術システム5113に対する入力インタフェースである。ユーザは、入力装置5161を介して、内視鏡手術システム5113に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置5161を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置5161を介して、アーム部5145を駆動させる旨の指示や、内視鏡5115による撮像条件(照射光の種類、倍率及び焦点距離等)を変更する旨の指示、エネルギー処置具5135を駆動させる旨の指示等を入力する。
入力装置5161の種類は限定されず、入力装置5161は各種の公知の入力装置であってよい。入力装置5161としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ5171及び/又はレバー等が適用され得る。入力装置5161としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置5155の表示面上に設けられてもよい。
あるいは、入力装置5161は、例えばメガネ型のウェアラブルデバイスやHMD(Head Mounted Display)等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置5161は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置5161は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置5161が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ(例えば術者5181)が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
処置具制御装置5163は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具5135の駆動を制御する。気腹装置5165は、内視鏡5115による視野の確保及び術者の作業空間の確保の目的で、患者5185の体腔を膨らめるために、気腹チューブ5133を介して当該体腔内にガスを送り込む。レコーダ5167は、手術に関する各種の情報を記録可能な装置である。プリンタ5169は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
以下、内視鏡手術システム5113において特に特徴的な構成について、更に詳細に説明する。
(支持アーム装置)
支持アーム装置5141は、基台であるベース部5143と、ベース部5143から延伸するアーム部5145と、を備える。図示する例では、アーム部5145は、複数の関節部5147a、5147b、5147cと、関節部5147bによって連結される複数のリンク5149a、5149bと、から構成されているが、図14では、簡単のため、アーム部5145の構成を簡略化して図示している。実際には、アーム部5145が所望の自由度を有するように、関節部5147a~5147c及びリンク5149a、5149bの形状、数及び配置、並びに関節部5147a~5147cの回転軸の方向等が適宜設定され得る。例えば、アーム部5145は、好適に、6自由度以上の自由度を有するように構成され得る。これにより、アーム部5145の可動範囲内において内視鏡5115を自由に移動させることが可能になるため、所望の方向から内視鏡5115の鏡筒5117を患者5185の体腔内に挿入することが可能になる。
支持アーム装置5141は、基台であるベース部5143と、ベース部5143から延伸するアーム部5145と、を備える。図示する例では、アーム部5145は、複数の関節部5147a、5147b、5147cと、関節部5147bによって連結される複数のリンク5149a、5149bと、から構成されているが、図14では、簡単のため、アーム部5145の構成を簡略化して図示している。実際には、アーム部5145が所望の自由度を有するように、関節部5147a~5147c及びリンク5149a、5149bの形状、数及び配置、並びに関節部5147a~5147cの回転軸の方向等が適宜設定され得る。例えば、アーム部5145は、好適に、6自由度以上の自由度を有するように構成され得る。これにより、アーム部5145の可動範囲内において内視鏡5115を自由に移動させることが可能になるため、所望の方向から内視鏡5115の鏡筒5117を患者5185の体腔内に挿入することが可能になる。
関節部5147a~5147cにはアクチュエータが設けられており、関節部5147a~5147cは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置5159によって制御されることにより、各関節部5147a~5147cの回転角度が制御され、アーム部5145の駆動が制御される。これにより、内視鏡5115の位置及び姿勢の制御が実現され得る。この際、アーム制御装置5159は、力制御又は位置制御等、各種の公知の制御方式によってアーム部5145の駆動を制御することができる。
例えば、術者5181が、入力装置5161(フットスイッチ5171を含む)を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置5159によってアーム部5145の駆動が適宜制御され、内視鏡5115の位置及び姿勢が制御されてよい。当該制御により、アーム部5145の先端の内視鏡5115を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部5145は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部5145は、手術室から離れた場所に設置される入力装置5161を介してユーザによって遠隔操作され得る。
また、力制御が適用される場合には、アーム制御装置5159は、ユーザからの外力を受け、その外力にならってスムーズにアーム部5145が移動するように、各関節部5147a~5147cのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部5145に触れながらアーム部5145を移動させる際に、比較的軽い力で当該アーム部5145を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡5115を移動させることが可能となり、ユーザの利便性を向上させることができる。
ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡5115が支持されていた。これに対して、支持アーム装置5141を用いることにより、人手によらずに内視鏡5115の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。
なお、アーム制御装置5159は必ずしもカート5151に設けられなくてもよい。また、アーム制御装置5159は必ずしも1つの装置でなくてもよい。例えば、アーム制御装置5159は、支持アーム装置5141のアーム部5145の各関節部5147a~5147cにそれぞれ設けられてもよく、複数のアーム制御装置5159が互いに協働することにより、アーム部5145の駆動制御が実現されてもよい。
(光源装置)
光源装置5157は、内視鏡5115に術部を撮影する際の照射光を供給する。光源装置5157は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、RGBレーザ光源の組み合わせにより白色光源が構成される場合には、各色(各波長)の出力強度及び出力タイミングを高精度に制御することができるため、光源装置5157において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド5119の撮像素子の駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
光源装置5157は、内視鏡5115に術部を撮影する際の照射光を供給する。光源装置5157は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、RGBレーザ光源の組み合わせにより白色光源が構成される場合には、各色(各波長)の出力強度及び出力タイミングを高精度に制御することができるため、光源装置5157において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド5119の撮像素子の駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
また、光源装置5157は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド5119の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
また、光源装置5157は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光(すなわち、白色光)に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察(Narrow Band Imaging)が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの(自家蛍光観察)、又はインドシアニングリーン(ICG)等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置5157は、このような特殊光観察に対応した狭帯域光及び/又は励起光を供給可能に構成され得る。
(カメラヘッド及びCCU)
図15を参照して、内視鏡5115のカメラヘッド5119及びCCU5153の機能についてより詳細に説明する。図15は、図14に示すカメラヘッド5119及びCCU5153の機能構成の一例を示すブロック図である。
図15を参照して、内視鏡5115のカメラヘッド5119及びCCU5153の機能についてより詳細に説明する。図15は、図14に示すカメラヘッド5119及びCCU5153の機能構成の一例を示すブロック図である。
図15を参照すると、カメラヘッド5119は、その機能として、レンズユニット5121と、撮像部5123と、駆動部5125と、通信部5127と、カメラヘッド制御部5129と、を有する。また、CCU5153は、その機能として、通信部5173と、画像処理部5175と、制御部5177と、を有する。カメラヘッド5119とCCU5153とは、伝送ケーブル5179によって双方向に通信可能に接続されている。
まず、カメラヘッド5119の機能構成について説明する。レンズユニット5121は、鏡筒5117との接続部に設けられる光学系である。鏡筒5117の先端から取り込まれた観察光は、カメラヘッド5119まで導光され、当該レンズユニット5121に入射する。レンズユニット5121は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット5121は、撮像部5123の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。
撮像部5123は撮像素子によって構成され、レンズユニット5121の後段に配置される。レンズユニット5121を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部5123によって生成された画像信号は、通信部5127に提供される。
撮像部5123を構成する撮像素子としては、例えばCMOS(Complementary Metal Oxide Semiconductor)タイプのイメージセンサであり、Bayer配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば4K以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者5181は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。
また、撮像部5123を構成する撮像素子は、3D表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための1対の撮像素子を有するように構成される。3D表示が行われることにより、術者5181は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部5123が多板式で構成される場合には、各撮像素子に対応して、レンズユニット5121も複数系統設けられる。
また、撮像部5123は、必ずしもカメラヘッド5119に設けられなくてもよい。例えば、撮像部5123は、鏡筒5117の内部に、対物レンズの直後に設けられてもよい。
駆動部5125は、アクチュエータによって構成され、カメラヘッド制御部5129からの制御により、レンズユニット5121のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部5123による撮像画像の倍率及び焦点が適宜調整され得る。
通信部5127は、CCU5153との間で各種の情報を送受信するための通信装置によって構成される。通信部5127は、撮像部5123から得た画像信号をRAWデータとして伝送ケーブル5179を介してCCU5153に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者5181が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部5127には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル5179を介してCCU5153に送信される。
また、通信部5127は、CCU5153から、カメラヘッド5119の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに/又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部5127は、受信した制御信号をカメラヘッド制御部5129に提供する。なお、CCU5153からの制御信号も、光通信によって伝送されてもよい。この場合、通信部5127には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部5129に提供される。
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてCCU5153の制御部5177によって自動的に設定される。つまり、いわゆるAE(Auto Exposure)機能、AF(Auto Focus)機能及びAWB(Auto White Balance)機能が内視鏡5115に搭載される。
カメラヘッド制御部5129は、通信部5127を介して受信したCCU5153からの制御信号に基づいて、カメラヘッド5119の駆動を制御する。例えば、カメラヘッド制御部5129は、撮像画像のフレームレートを指定する旨の情報及び/又は撮像時の露光を指定する旨の情報に基づいて、撮像部5123の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部5129は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部5125を介してレンズユニット5121のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部5129は、更に、鏡筒5117やカメラヘッド5119を識別するための情報を記憶する機能を備えてもよい。
なお、レンズユニット5121や撮像部5123等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド5119について、オートクレーブ滅菌処理に対する耐性を持たせることができる。
次に、CCU5153の機能構成について説明する。通信部5173は、カメラヘッド5119との間で各種の情報を送受信するための通信装置によって構成される。通信部5173は、カメラヘッド5119から、伝送ケーブル5179を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部5173には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部5173は、電気信号に変換した画像信号を画像処理部5175に提供する。
また、通信部5173は、カメラヘッド5119に対して、カメラヘッド5119の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。
画像処理部5175は、カメラヘッド5119から送信されたRAWデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理(帯域強調処理、超解像処理、NR(Noise reduction)処理及び/又は手ブレ補正処理等)、並びに/又は拡大処理(電子ズーム処理)等、各種の公知の信号処理が含まれる。また、画像処理部5175は、AE、AF及びAWBを行うための、画像信号に対する検波処理を行う。
画像処理部5175は、CPUやGPU等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部5175が複数のGPUによって構成される場合には、画像処理部5175は、画像信号に係る情報を適宜分割し、これら複数のGPUによって並列的に画像処理を行う。
制御部5177は、内視鏡5115による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部5177は、カメラヘッド5119の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部5177は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡5115にAE機能、AF機能及びAWB機能が搭載されている場合には、制御部5177は、画像処理部5175による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。
また、制御部5177は、画像処理部5175によって画像処理が施された画像信号に基づいて、術部の画像を表示装置5155に表示させる。この際、制御部5177は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部5177は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具5135使用時のミスト等を認識することができる。制御部5177は、表示装置5155に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者5181に提示されることにより、より安全かつ確実に手術を進めることが可能になる。
カメラヘッド5119及びCCU5153を接続する伝送ケーブル5179は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
ここで、図示する例では、伝送ケーブル5179を用いて有線で通信が行われていたが、カメラヘッド5119とCCU5153との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル5179を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル5179によって妨げられる事態が解消され得る。
以上、本開示に係る技術が適用され得る手術室システム5100の一例について説明した。なお、ここでは、一例として手術室システム5100が適用される医療用システムが内視鏡手術システム5113である場合について説明したが、手術室システム5100の構成はかかる例に限定されない。例えば、手術室システム5100は、内視鏡手術システム5113に代えて、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。
本開示に係る技術は、以上説明した構成のうち、患者の患部全体の画像と患部の一部拡大を拡大して表示するのに好適に適用され得る。具体的には、撮像部5123における撮影に本技術を適用し、患部全体を撮影した第1画像と患部の一部拡大画像である第2画像を2つの表示装置(Monitor1、Monitor2)のいずれかに表示する。これにより術者5181又は助手は患部全体と患部の一部領域を同時に確認することができる。また、本技術は手術に限られず、カメラで撮影した映像を使った患者の診察や遠隔医療などにも利用することができる。
<3.応用例>
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械(トラクター)などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械(トラクター)などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
図16は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム7000の概略的な構成例を示すブロック図である。車両制御システム7000は、通信ネットワーク7010を介して接続された複数の電子制御ユニットを備える。図16に示した例では、車両制御システム7000は、駆動系制御ユニット7100、ボディ系制御ユニット7200、バッテリ制御ユニット7300、車外情報検出ユニット7400、車内情報検出ユニット7500、及び統合制御ユニット7600を備える。これらの複数の制御ユニットを接続する通信ネットワーク7010は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)又はFlexRay(登録商標)等の任意の規格に準拠した車載通信ネットワークであってよい。
各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク7010を介して他の制御ユニットとの間で通信を行うためのネットワークI/Fを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信I/Fを備える。図16では、統合制御ユニット7600の機能構成として、マイクロコンピュータ7610、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660、音声画像出力部7670、車載ネットワークI/F7680及び記憶部7690が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信I/F及び記憶部等を備える。
駆動系制御ユニット7100は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット7100は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット7100は、ABS(Antilock Brake System)又はESC(Electronic Stability Control)等の制御装置としての機能を有してもよい。
駆動系制御ユニット7100には、車両状態検出部7110が接続される。車両状態検出部7110には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット7100は、車両状態検出部7110から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
ボディ系制御ユニット7200は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット7200は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット7200には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット7200は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
バッテリ制御ユニット7300は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池7310を制御する。例えば、バッテリ制御ユニット7300には、二次電池7310を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット7300は、これらの信号を用いて演算処理を行い、二次電池7310の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
車外情報検出ユニット7400は、車両制御システム7000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット7400には、撮像部7410及び車外情報検出部7420のうちの少なくとも一方が接続される。撮像部7410には、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部7420には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム7000を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びLIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)装置のうちの少なくとも一つであってよい。これらの撮像部7410及び車外情報検出部7420は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
ここで、図17は、撮像部7410及び車外情報検出部7420の設置位置の例を示す。撮像部7910,7912,7914,7916,7918は、例えば、車両7900のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部7910及び車室内のフロントガラスの上部に備えられる撮像部7918は、主として車両7900の前方の画像を取得する。サイドミラーに備えられる撮像部7912,7914は、主として車両7900の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部7916は、主として車両7900の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部7918は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図17には、それぞれの撮像部7910,7912,7914,7916の撮影範囲の一例が示されている。撮像範囲aは、フロントノーズに設けられた撮像部7910の撮像範囲を示し、撮像範囲b,cは、それぞれサイドミラーに設けられた撮像部7912,7914の撮像範囲を示し、撮像範囲dは、リアバンパ又はバックドアに設けられた撮像部7916の撮像範囲を示す。例えば、撮像部7910,7912,7914,7916で撮像された画像データが重ね合わせられることにより、車両7900を上方から見た俯瞰画像が得られる。
車両7900のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7922,7924,7926,7928,7930は、例えば超音波センサ又はレーダ装置であってよい。車両7900のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7926,7930は、例えばLIDAR装置であってよい。これらの車外情報検出部7920~7930は、主として先行車両、歩行者又は障害物等の検出に用いられる。
図16に戻って説明を続ける。車外情報検出ユニット7400は、撮像部7410に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット7400は、接続されている車外情報検出部7420から検出情報を受信する。車外情報検出部7420が超音波センサ、レーダ装置又はLIDAR装置である場合には、車外情報検出ユニット7400は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット7400は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
また、車外情報検出ユニット7400は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部7410により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット7400は、異なる撮像部7410により撮像された画像データを用いて、視点変換処理を行ってもよい。
車内情報検出ユニット7500は、車内の情報を検出する。車内情報検出ユニット7500には、例えば、運転者の状態を検出する運転者状態検出部7510が接続される。運転者状態検出部7510は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット7500は、運転者状態検出部7510から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット7500は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
統合制御ユニット7600は、各種プログラムにしたがって車両制御システム7000内の動作全般を制御する。統合制御ユニット7600には、入力部7800が接続されている。入力部7800は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット7600には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部7800は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム7000の操作に対応した携帯電話又はPDA(Personal Digital Assistant)等の外部接続機器であってもよい。入力部7800は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部7800は、例えば、上記の入力部7800を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット7600に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部7800を操作することにより、車両制御システム7000に対して各種のデータを入力したり処理動作を指示したりする。
記憶部7690は、マイクロコンピュータにより実行される各種プログラムを記憶するROM(Read Only Memory)、及び各種パラメータ、演算結果又はセンサ値等を記憶するRAM(Random Access Memory)を含んでいてもよい。また、記憶部7690は、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
汎用通信I/F7620は、外部環境7750に存在する様々な機器との間の通信を仲介する汎用的な通信I/Fである。汎用通信I/F7620は、GSM(Global System of Mobile communications)、WiMAX、LTE(Long Term Evolution)若しくはLTE-A(LTE-Advanced)などのセルラー通信プロトコル、又は無線LAN(Wi-Fi(登録商標)ともいう)、Bluetooth(登録商標)などのその他の無線通信プロトコルを実装してよい。汎用通信I/F7620は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)へ接続してもよい。また、汎用通信I/F7620は、例えばP2P(Peer To Peer)技術を用いて、車両の近傍に存在する端末(例えば、運転者、歩行者若しくは店舗の端末、又はMTC(Machine Type Communication)端末)と接続してもよい。
専用通信I/F7630は、車両における使用を目的として策定された通信プロトコルをサポートする通信I/Fである。専用通信I/F7630は、例えば、下位レイヤのIEEE802.11pと上位レイヤのIEEE1609との組合せであるWAVE(Wireless Access in Vehicle Environment)、DSRC(Dedicated Short Range Communications)、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信I/F7630は、典型的には、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、車両と家との間(Vehicle to Home)の通信及び歩車間(Vehicle to Pedestrian)通信のうちの1つ以上を含む概念であるV2X通信を遂行する。
測位部7640は、例えば、GNSS(Global Navigation Satellite System)衛星からのGNSS信号(例えば、GPS(Global Positioning System)衛星からのGPS信号)を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部7640は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、PHS若しくはスマートフォンといった端末から位置情報を取得してもよい。
ビーコン受信部7650は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部7650の機能は、上述した専用通信I/F7630に含まれてもよい。
車内機器I/F7660は、マイクロコンピュータ7610と車内に存在する様々な車内機器7760との間の接続を仲介する通信インタフェースである。車内機器I/F7660は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)又はWUSB(Wireless USB)といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器I/F7660は、図示しない接続端子(及び、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(High-Definition Multimedia Interface)、又はMHL(Mobile High-definition Link)等の有線接続を確立してもよい。車内機器7760は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも1つを含んでいてもよい。また、車内機器7760は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器I/F7660は、これらの車内機器7760との間で、制御信号又はデータ信号を交換する。
車載ネットワークI/F7680は、マイクロコンピュータ7610と通信ネットワーク7010との間の通信を仲介するインタフェースである。車載ネットワークI/F7680は、通信ネットワーク7010によりサポートされる所定のプロトコルに則して、信号等を送受信する。
統合制御ユニット7600のマイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム7000を制御する。例えば、マイクロコンピュータ7610は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット7100に対して制御指令を出力してもよい。例えば、マイクロコンピュータ7610は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ7610は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
マイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の3次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ7610は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
音声画像出力部7670は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図16の例では、出力装置として、オーディオスピーカ7710、表示部7720及びインストルメントパネル7730が例示されている。表示部7720は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部7720は、AR(Augmented Reality)表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ7610が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
なお、図16に示した例において、通信ネットワーク7010を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム7000が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク7010を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク7010を介して相互に検出情報を送受信してもよい。
なお、本実施形態に係る表示制御装置200の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
以上説明した車両制御システム7000において、本実施形態に係る表示制御装置200は、図16に示した応用例の統合制御ユニット7600に適用することができる。車両7900の後方を撮影する撮像部7916が実施の形態における撮像素子103と同様に全画素/間引きモードで第1撮像信号および第2撮像信号を出力可能なものとし、第1撮像信号に基づく第1画像と第2撮像信号に基づく第2画像を表示部7720に表示する。これにより、車両7900の後方を広く撮影した第1画像と、第1画像の一部領域(例えば車庫入れにおいて壁などと衝突する恐れがあるバンパー部分など)の拡大画像の両方表示部7720に表示できる。これにより運転手は車両7900の後方を広く確認しつつ、バンパー部分などが壁に衝突しないようにより注意をしながら運転することができる。なお、このような表示制御装置200による表示制御は車両7900の後方の撮像部だけでなく、前方、左右に設けられた撮像部による画像についても行うことができる。
<4.変形例>
以上、本技術の実施の形態について具体的に説明したが、本技術は上述の実施の形態に限定されるものではなく、本技術の技術的思想に基づく各種の変形が可能である。
以上、本技術の実施の形態について具体的に説明したが、本技術は上述の実施の形態に限定されるものではなく、本技術の技術的思想に基づく各種の変形が可能である。
本技術はデジタルカメラ、デジタルビデオカメラ、一眼レフカメラなどに限らず、スマートフォン、タブレット端末、携帯ゲーム機、メガネ型ウェアラブルデバイスなどカメラ機能を備える機器であればどのようなものにも適用可能である。
また、画像/映像を撮影するカメラ部と撮影した映像を表示する表示部が別筐体として構成されてネットワークで接続されているいわゆるネットワークカメラにも本技術は適用可能である。第1撮像信号と第2撮像信号をカメラ部がネットワークを介して表示部に送信する場合、第1撮像信号と第2撮像信号との間に遅延が生じる可能性がある。この場合は実施の形態で説明したようにタイミング情報に基づいて対応する第1撮像信号と第2撮像信号を同期させるとよい。
また、撮像素子103から全画角の全画素の撮像信号を一旦出力してそれを受信部などで受信し、そこから第1撮像信号と第2撮像信号とに分けて前処理部104に供給するようにしてもよい。
また、第1撮像信号出力用の撮像素子と第2撮像信号出力用の撮像素子を撮像装置100に設けることによっても本技術は実現できる。
本技術は以下のような構成も取ることができる。
(1)
全画角については画素間引きで第1撮像信号を出力し、前記全画角内の一部領域については全画素で第2撮像信号を出力する撮像素子から出力される前記第1撮像信号に基づく第1画像と、前記第2撮像信号に基づく第2画像を表示部に表示するように制御する表示制御部を備える表示制御装置。
(2)
前記第1画像と前記第2画像は同時に前記表示部に表示される(1)に記載の表示制御装置。
(3)
前記第1画像は撮像範囲全体を表す画像である(1)または(2)に記載の表示制御装置。
(4)
前記第2画像は前記撮像範囲の部分拡大画像である(1)から(3)のいずれかに記載の表示制御装置。
(5)
前記第1画像と前記第2画像は並べて表示される(1)から(4)のいずれかに記載の表示制御装置。
(6)
前記第2画像は前記第1画像上に重畳して表示される(1)から(5)のいずれかに記載の表示制御装置。
(7)
前記第1画像は前記第2画像よりも大きく表示される(6)に記載の表示制御装置。
(8)
前記第2画像は前記第1画像よりも高画質である(1)から(7)のいずれかに記載の表示制御装置。
(9)
前記表示制御部は、前記表示部の解像度に応じて前記第1画像と前記第2画像の表示態様を変化させる(1)から(8)のいずれかに記載の表示制御装置。
(10)
前記表示部の解像度が所定値以上である場合、前記第1画像と前記第2画像を並べて表示させる(9)に記載の表示制御装置。
(11)
前記表示部の解像度が所定値以下である場合、前記第1画像上に前記第2画像を重畳して表示させる(9)に記載の表示制御装置。
(12)
前記第1画像は前記表示部全体に表示させる(11)に記載の表示制御装置。
(13)
前記第2画像は、前記第1画像と並べて表示させる状態における前記第2画像のサイズよりも大きく表示させる(11)に記載の表示制御装置。
(14)
前記表示制御部は、ユーザからの指示に応じて前記表示部における前記第1画像および/または前記第2画像の表示位置を変更する(1)から(13)のいずれかに記載の表示制御装置。
(15)
前記表示制御部は、ユーザからの指示に応じて前記表示部における前記第1画像および/または前記第2画像のサイズを変更する(1)から(14)のいずれかに記載の表示制御装置。
(16)
前記表示部において、前記第1画像内における前記第2画像に対応する領域を示すアイコンを前記第1画像上に表示させる(1)から(15)のいずれかに記載の表示制御装置。
(17)
全画角については画素間引きで第1撮像信号を出力し、前記全画角内の一部領域については全画素で第2撮像信号を出力する撮像素子から出力される前記第1撮像信号に基づく第1画像と、前記第2撮像信号に基づく第2画像を表示部に表示するように制御する表示制御方法。
(18)
全画角については画素間引きで第1撮像信号を出力し、前記全画角内の一部領域については全画素で第2撮像信号を出力する撮像素子から出力される前記第1撮像信号に基づく第1画像と、前記第2撮像信号に基づく第2画像を表示部に表示するように制御する表示制御方法をコンピュータに実行させる表示制御プログラム。
(1)
全画角については画素間引きで第1撮像信号を出力し、前記全画角内の一部領域については全画素で第2撮像信号を出力する撮像素子から出力される前記第1撮像信号に基づく第1画像と、前記第2撮像信号に基づく第2画像を表示部に表示するように制御する表示制御部を備える表示制御装置。
(2)
前記第1画像と前記第2画像は同時に前記表示部に表示される(1)に記載の表示制御装置。
(3)
前記第1画像は撮像範囲全体を表す画像である(1)または(2)に記載の表示制御装置。
(4)
前記第2画像は前記撮像範囲の部分拡大画像である(1)から(3)のいずれかに記載の表示制御装置。
(5)
前記第1画像と前記第2画像は並べて表示される(1)から(4)のいずれかに記載の表示制御装置。
(6)
前記第2画像は前記第1画像上に重畳して表示される(1)から(5)のいずれかに記載の表示制御装置。
(7)
前記第1画像は前記第2画像よりも大きく表示される(6)に記載の表示制御装置。
(8)
前記第2画像は前記第1画像よりも高画質である(1)から(7)のいずれかに記載の表示制御装置。
(9)
前記表示制御部は、前記表示部の解像度に応じて前記第1画像と前記第2画像の表示態様を変化させる(1)から(8)のいずれかに記載の表示制御装置。
(10)
前記表示部の解像度が所定値以上である場合、前記第1画像と前記第2画像を並べて表示させる(9)に記載の表示制御装置。
(11)
前記表示部の解像度が所定値以下である場合、前記第1画像上に前記第2画像を重畳して表示させる(9)に記載の表示制御装置。
(12)
前記第1画像は前記表示部全体に表示させる(11)に記載の表示制御装置。
(13)
前記第2画像は、前記第1画像と並べて表示させる状態における前記第2画像のサイズよりも大きく表示させる(11)に記載の表示制御装置。
(14)
前記表示制御部は、ユーザからの指示に応じて前記表示部における前記第1画像および/または前記第2画像の表示位置を変更する(1)から(13)のいずれかに記載の表示制御装置。
(15)
前記表示制御部は、ユーザからの指示に応じて前記表示部における前記第1画像および/または前記第2画像のサイズを変更する(1)から(14)のいずれかに記載の表示制御装置。
(16)
前記表示部において、前記第1画像内における前記第2画像に対応する領域を示すアイコンを前記第1画像上に表示させる(1)から(15)のいずれかに記載の表示制御装置。
(17)
全画角については画素間引きで第1撮像信号を出力し、前記全画角内の一部領域については全画素で第2撮像信号を出力する撮像素子から出力される前記第1撮像信号に基づく第1画像と、前記第2撮像信号に基づく第2画像を表示部に表示するように制御する表示制御方法。
(18)
全画角については画素間引きで第1撮像信号を出力し、前記全画角内の一部領域については全画素で第2撮像信号を出力する撮像素子から出力される前記第1撮像信号に基づく第1画像と、前記第2撮像信号に基づく第2画像を表示部に表示するように制御する表示制御方法をコンピュータに実行させる表示制御プログラム。
103・・・撮像素子
111・・・表示部
200・・・表示制御装置
202・・・表示制御部
111・・・表示部
200・・・表示制御装置
202・・・表示制御部
Claims (18)
- 全画角については画素間引きで第1撮像信号を出力し、前記全画角内の一部領域については全画素で第2撮像信号を出力する撮像素子から出力される前記第1撮像信号に基づく第1画像と、前記第2撮像信号に基づく第2画像を表示部に表示するように制御する表示制御部
を備える表示制御装置。 - 前記第1画像と前記第2画像は同時に前記表示部に表示される
請求項1に記載の表示制御装置。 - 前記第1画像は撮像範囲全体を表す画像である
請求項1に記載の表示制御装置。 - 前記第2画像は前記撮像範囲の部分拡大画像である
請求項1に記載の表示制御装置。 - 前記第1画像と前記第2画像は並べて表示される
請求項1に記載の表示制御装置。 - 前記第2画像は前記第1画像上に重畳して表示される
請求項1に記載の表示制御装置。 - 前記第1画像は前記第2画像よりも大きく表示される
請求項6に記載の表示制御装置。 - 前記第2画像は前記第1画像よりも高画質である
請求項1に記載の表示制御装置。 - 前記表示制御部は、前記表示部の解像度に応じて前記第1画像と前記第2画像の表示態様を変化させる
請求項1に記載の表示制御装置。 - 前記表示部の解像度が所定値以上である場合、前記第1画像と前記第2画像を並べて表示させる
請求項9に記載の表示制御装置。 - 前記表示部の解像度が所定値以下である場合、前記第1画像上に前記第2画像を重畳して表示させる
請求項9に記載の表示制御装置。 - 前記第1画像は前記表示部全体に表示させる
請求項11に記載の表示制御装置。 - 前記第2画像は、前記第1画像と並べて表示させる状態における前記第2画像のサイズよりも大きく表示させる
請求項11に記載の表示制御装置。 - 前記表示制御部は、ユーザからの指示に応じて前記表示部における前記第1画像および/または前記第2画像の表示位置を変更する
請求項1に記載の表示制御装置。 - 前記表示制御部は、ユーザからの指示に応じて前記表示部における前記第1画像および/または前記第2画像のサイズを変更する
請求項1に記載の表示制御装置。 - 前記表示部において、前記第1画像内における前記第2画像に対応する領域を示すアイコンを前記第1画像上に表示させる
請求項1に記載の表示制御装置。 - 全画角については画素間引きで第1撮像信号を出力し、前記全画角内の一部領域については全画素で第2撮像信号を出力する撮像素子から出力される前記第1撮像信号に基づく第1画像と、前記第2撮像信号に基づく第2画像を表示部に表示するように制御する
表示制御方法。 - 全画角については画素間引きで第1撮像信号を出力し、前記全画角内の一部領域については全画素で第2撮像信号を出力する撮像素子から出力される前記第1撮像信号に基づく第1画像と、前記第2撮像信号に基づく第2画像を表示部に表示するように制御する
表示制御方法をコンピュータに実行させる表示制御プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/419,418 US11482159B2 (en) | 2019-04-26 | 2020-03-30 | Display control device, display control method, and display control program |
JP2021515918A JPWO2020217874A1 (ja) | 2019-04-26 | 2020-03-30 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019085344 | 2019-04-26 | ||
JP2019-085344 | 2019-04-26 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020217874A1 true WO2020217874A1 (ja) | 2020-10-29 |
Family
ID=72942608
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2020/014618 WO2020217874A1 (ja) | 2019-04-26 | 2020-03-30 | 表示制御装置、表示制御方法および表示制御プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11482159B2 (ja) |
JP (1) | JPWO2020217874A1 (ja) |
WO (1) | WO2020217874A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230085413A (ko) * | 2021-12-07 | 2023-06-14 | 엘지디스플레이 주식회사 | 표시장치 |
JP7164750B1 (ja) * | 2022-07-07 | 2022-11-01 | 株式会社あかつき | 情報処理システム、情報処理装置、プログラム及び情報処理方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001145005A (ja) * | 1999-11-10 | 2001-05-25 | Olympus Optical Co Ltd | 撮像装置 |
JP2006267599A (ja) * | 2005-03-24 | 2006-10-05 | Fuji Photo Film Co Ltd | 撮像装置および撮像方法 |
JP2010226496A (ja) * | 2009-03-24 | 2010-10-07 | Olympus Imaging Corp | 撮影装置およびライブビュー表示方法 |
WO2014013979A1 (ja) * | 2012-07-17 | 2014-01-23 | Necディスプレイソリューションズ株式会社 | 表示装置、及び表示方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100699486B1 (ko) | 2005-06-30 | 2007-03-26 | 삼성전자주식회사 | 촬영장치에서의 매뉴얼 포커싱 방법 및 매뉴얼 포커싱 장치 |
US8953909B2 (en) * | 2006-01-21 | 2015-02-10 | Elizabeth T. Guckenberger | System, method, and computer software code for mimic training |
US11079995B1 (en) * | 2017-09-30 | 2021-08-03 | Apple Inc. | User interfaces for devices with multiple displays |
-
2020
- 2020-03-30 WO PCT/JP2020/014618 patent/WO2020217874A1/ja active Application Filing
- 2020-03-30 US US17/419,418 patent/US11482159B2/en active Active
- 2020-03-30 JP JP2021515918A patent/JPWO2020217874A1/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001145005A (ja) * | 1999-11-10 | 2001-05-25 | Olympus Optical Co Ltd | 撮像装置 |
JP2006267599A (ja) * | 2005-03-24 | 2006-10-05 | Fuji Photo Film Co Ltd | 撮像装置および撮像方法 |
JP2010226496A (ja) * | 2009-03-24 | 2010-10-07 | Olympus Imaging Corp | 撮影装置およびライブビュー表示方法 |
WO2014013979A1 (ja) * | 2012-07-17 | 2014-01-23 | Necディスプレイソリューションズ株式会社 | 表示装置、及び表示方法 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2020217874A1 (ja) | 2020-10-29 |
US20220076612A1 (en) | 2022-03-10 |
US11482159B2 (en) | 2022-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10834315B2 (en) | Image transfer apparatus and moving image generating system for transferring moving image data | |
US11372200B2 (en) | Imaging device | |
WO2018020857A1 (ja) | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 | |
WO2018003305A1 (ja) | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 | |
JP6950706B2 (ja) | 情報処理装置および方法、並びにプログラム | |
JPWO2020100664A1 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
US20200382823A1 (en) | Display control apparatus, display control method, and video output apparatus | |
JPWO2020174865A1 (ja) | 可変焦点距離レンズ系及び撮像装置 | |
JPWO2019082539A1 (ja) | 制御装置と制御方法およびプログラム | |
WO2020217874A1 (ja) | 表示制御装置、表示制御方法および表示制御プログラム | |
WO2018037680A1 (ja) | 撮像装置、撮像システム、及び、信号処理方法 | |
US11156751B2 (en) | Imaging optical system, camera module, and electronic device | |
JP7081609B2 (ja) | レンズ装置及び撮像装置 | |
US11743593B2 (en) | Imaging device, imaging signal processing device, and imaging signal processing method to reduce image display delay | |
JP7484892B2 (ja) | 駆動モーター、像ぶれ補正装置及び撮像装置 | |
WO2020202812A1 (ja) | 駆動モーター、像ぶれ補正装置及び撮像装置 | |
WO2022124166A1 (ja) | 液晶表示素子、表示装置および電子機器、並びに、駆動基板および駆動基板の製造方法 | |
JP7405132B2 (ja) | レンズ鏡筒及び撮像装置 | |
WO2022102466A1 (ja) | 液晶表示素子、表示装置および電子機器、並びに、駆動基板および駆動基板の製造方法 | |
JPWO2020174866A1 (ja) | 可変焦点距離レンズ系及び撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20794647 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2021515918 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 20794647 Country of ref document: EP Kind code of ref document: A1 |