以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明は以下の順序で行う。
1.実施の形態
2.応用例1
3.応用例2
4.応用例3
5.変形例
<1.実施の形態>
[データ伝送システムの構成]
図1は、実施の形態としてのAV(Audio and Visual)伝送システム10の構成を示している。このAV伝送システム10は、電子機器100Aと、電子機器100Bと、これらの電子機器を接続するインタフェースケーブル200とからなっている。例えば、電子機器100Aはブルーレイディスクレコーダ等のソース機器であり、電子機器100Bは画像表示装置などのシンク機器である。
インタフェースケーブル200は、複数の信号線201を有している。この信号線201は、電気で通信を行う場合は銅線でよく、光で通信を行う場合は光ファイバでもよい。電子機器100A,100Bは、それぞれ、データ通信を行うデータ通信部としてのデータ送受信部101と、制御通信を行う制御通信部としての制御コマンド送受信部102と、信号線201で構成されるレーンの状態を制御するレーン制御部103を有している。
複数の信号線201のうち、一つの制御データ伝送用レーン(以下、適宜、「制御レーン」という)に用いられるものは、電子機器100Aおよび電子機器100Bの制御コマンド送受信部101に接続される。また、複数の信号線201のうち、複数のデータ伝送用レーン(以下、適宜、「データレーン」という)に用いられるものは、電子機器100Aおよび電子機器100Bのデータ送受信部101に接続される。
電子機器100Aおよび電子機器100Bの制御コマンド送受信部102で制御コマンドの通信、つまり制御通信が行われ、当該制御通信に応じて、レーン制御部103で、レーン状態の制御が行われる。
なお、電子機器100Aおよび電子機器100Bは、1レーンで双方向通信ができてもよく、あるいは1レーンで単方向通信、双方向通信に2レーンのペアを用いる構成にも本技術は適用可能である。
図2は、レーン状態の定義を示している。この実施の形態において、レーン状態には、アイドル(IDLE)、アクティブ(ACTIVE)、リンクアップ(LINKUP)、スタンバイ(STANDBY)、スリープ(SLEEP)の5つの状態が存在する。
アイドル状態は、通信待機中であり、例えば通信上意味のないデータ(パディングデータ等)を送受信している状態である。アクティブ状態は、通常通信中であり、AVデータや制御コマンド等のデータを送受信している状態である。リンクアップ状態は、通常通信を行うためにレーンのクロック同期動作を行っている状態である。
スタンバイ状態は、通信停止はしていないものの、送受信されるデータ量が制限されている通信制限状態である。スリープ状態は、通信停止状態であり、全ての状態の中で最も消費電力が少ない。この実施の形態において、スタンバイ状態およびスリープ状態は、消費電力を低減するためのレーン状態を構成している。
図3は、レーン制御通信開始処理のフローチャートを示している。処理開始時、制御レーンはアクティブ状態、データレーンはアイドル状態とする。ステップS1において、制御レーンで制御通信開始処理を行うことで、制御レーンを使用した機器間でのコマンドのやり取りが可能となる。
ステップS1では、接続機器間で制御通信開始リクエストコマンドとレスポンスコマンド(COMMCNTL: communication control command)を相互に送受信し、接続された機器両方が制御レーンでの制御通信開始状態となる。制御レーンが通信可能状態であれば、それ以外のレーン(データレーン)の状態制御が可能となる。
図4は、COMMCNTLコマンドの送受信フローを示している。ここで、例えば、イニシエートサイド(Initiate side)は、図1の電子機器100Aであり、レスポンスサイド(Response side)は、図1の電子機器100Bである。
イニシエートサイドは、“COMMCNTL(request)”により、制御通信開始を要求する。レスポンスサイドは、イニシエートサイドからのリクエストに対するレスポンスとして、“Acknowledgement + COMMCNTL(request) (リクエスト承認)”を送る。そして、このリクエスト承認を受けたイニシエートサイドが“Acknowledgement”を送り、レーン制御通信開始処理が完了する。図示しないが、“Acknowledgement”の代わりに、“Not Acknowledgement”を送ることで、リクエスト拒否もできる。
図5は、データレーン状態の遷移図を示している。データレーンの状態は、制御レーンにおけるレーンコンフィグレーションチェンジコマンド(LCNFコマンド)のリクエスト/レスポンスにより、変更される。スリープ(SLEEP)状態、もしくはスタンバイ(STANDBY)状態からアクティブ(ACTIVE)状態への遷移TR1,TR2は、LCNFコマンドにより開始される。
その後、リンクアップ(LINKUP)状態に遷移し、レーンの同期を行ったのち、遷移TR3にて、アクティブ(ACTIVE)状態となる。この遷移TR3は、自動遷移である。リンクアップ状態からアクティブ状態に遷移したことを接続先機器に知らせるためには、制御レーンを用いて、レーンステータスインフォメーションコマンド(LSIFコマンド)を送る。LSIFコマンドを受け取ることで、接続先の対象レーンがアクティブ状態に遷移したことを知ることができる。その他の状態間遷移は、LCNFコマンドにより制御される。
図6は、LCNFコマンドの送受信フローを示している。ここで、例えば、イニシエートサイド(Initiate side)は、図1の電子機器100Aであり、レスポンスサイド(Response side)は、図1の電子機器100Bである。
イニシエートサイドは、“LCNF(request, lane, value)”により、「lane」で指定したレーンの遷移先の状態である「value」を指定して、レスポンスサイドへ状態遷移要求を送る。レスポンスサイドは、イニシエートサイドからのリクエストに対するレスポンスとして、“Acknowledgement + LCNF(lane, value)”として、受け取ったリクエストをイニシエートサイドへ返送する。
そして、この返送を受けたイニシエートサイドが“Acknowledgement”をレスポンスサイドに送り、状態遷移処理が完了し、イニシエートサイドおよびレスポンスサイドの「lane」で指定されたレーンが「value」で指定された状態へと遷移する。図示しないが、“Acknowledgement”の代わりに、“Not Acknowledgement”を送ることで、リクエスト拒否もできる。
図7は、LSIFコマンドの送受信フローを示している。ここで、例えば、イニシエートサイド(Initiate side)は、図1の電子機器100Aであり、レスポンスサイド(Response side)は、図1の電子機器100Bである。
図7(a)は、イニシエートサイドからレスポンスサイドにリクエストを行って、イニシエートサイドがレスポンスサイドからレーン状態の通知を受ける「送受信方法1」の例を示している。
イニシエートサイドは、“LSIF(request, lane)”により、「lane」で指定したレーンの状態通知をレスポンスサイドへ要求する。レスポンスサイドは、イニシエートサイドからのリクエストに対するレスポンスとして、“Acknowledgement + LSIF(value, lane)”として、「lane」で指定されたレーンの状態である「value」をイニシエートサイドへ返送する。
そして、この返送を受けたイニシエートサイドが“Acknowledgement”をレスポンスサイドに送り、状態通知要求処理が完了する。図示しないが、“Acknowledgement”の代わりに、“Not Acknowledgement”を送ることで、リクエスト拒否もできる。
図7(b)は、イニシエートサイドからレスポンスサイドに一方的にレーン状態を通知する「送受信方法2」の例を示している。イニシエートサイドは、“LSIF(value, lane)”により、「lane」で指定されたレーンの状態である「value」をレスポンスサイドへ通知する。この通知を受けたレスポンスサイドが“Acknowledgement”をイニシエートサイドに送り、状態通知処理が完了する。
この「送受信方法2」は、上述のリンクアップ状態からアクティブ状態に遷移したことを接続先機器に知らせる際に用いてもよい。これにより、接続先機器のデータレーンがリンクアップ状態からアクティブ状態に遷移したか否かについて、送受信方法1でポーリングをかけることなく確認することが可能となる。
図8は、制御レーン状態の遷移図を示している。制御レーンは、データレーンの状態遷移を制御することに加え、制御レーン自身の状態制御も可能である。制御レーンの状態制御は、データレーンの状態制御と同様に、LCNFコマンドのリクエスト/レスポンスによって行われる。
制御レーンは、遷移TR4でアクティブ状態からスタンバイ状態へ、遷移TR5でアクティブ状態からスリープ状態へ遷移可能である。このような遷移は、例えば、アクティブ状態において、制御ラインで一定時間以上何も伝送が行われなかった場合などに行われる。なお、制御レーンは、遷移TR4でアクティブ状態からスタンバイ状態へ遷移した後に、一定時間が経過したとか、あるいは機器電源がオフになったなどの条件で、遷移TR8でスタンバイ状態からスリープ状態へ遷移可能である。
制御レーンが遷移R4でスタンバイ状態に遷移した場合、制御レーンは通信制限状態となるため、制御レーンにおけるコマンドの通信によるアクティブ状態への遷移はできない。制御レーンがスタンバイ状態である場合のリンクアップ状態を経由したアクティブ状態への遷移TR6はコマンドの送受信で行わず、例えば特定の波形を送受信することで行う。
リンクアップ状態からアクティブ状態に遷移したことを接続先機器に知らせる方法は、データレーンの場合と同様である。制御コマンド送受信部10は、リンクアップ状態にある場合、接続先機器からのLSIFコマンドの状態通知リクエストを処理することはできない。この場合、図7(b)の「送受信方法2」が有効である。
遷移TR5で制御レーンがアクティブ状態からスリープ状態へ遷移した場合には、例えばユーザが操作部で電源オフ等のリセット操作を行ったことに応じて、上位レイヤー(機器のシステムコントローラ等)からの指示を受けて遷移TR7を行ってシステムリセットされ、再度制御通信開始処理を行う。リセットがされた場合、制御レーンは、リンクアップ状態を経由しアクティブ状態に遷移し、あるいは一旦スタンバイ状態に遷移した後にユーザ操作に応じてアクティブ状態に遷移する。
「制御レーンのスタンバイ状態からアクティブ状態への遷移」
ここで、制御レーンがスタンバイ状態である場合のアクティブ状態への遷移を特定の波形を送受信することで行う場合の詳細を、図9~図12を参照して説明する。
まず、アクティブ状態からスタンバイ状態への遷移が行われる条件について規定を行う。以下の二つの条件のうち、少なくとも一つが満足された場合に、スタンバイ状態からアクティブ状態への遷移が行われる。ここでは、例えば、電子機器100A,100Bの通信装置(制御コマンド送受信部102)が受信部「Sub stream link Rx ch」および送信部「Sub stream link Tx ch」を有しているものとする。
条件1:スタンバイ状態のSub stream link Rx chが対向Tx chからのアクティブ遷移要求信号を検知すること。
条件2:実装依存の条件。例えば、ユーザからのアクティブ状態への遷移指示等。
また、アクティブ状態遷移時においてアクティブ遷移要求信号を受け取った通信装置は、アクティブ状態への遷移が可能であれば、Tx chからアクティブ遷移承認信号(Accept Activation Response)を出力する。アクティブ遷移承認信号は、接続に用いるケーブル等の損失を考慮し、Tx chとRx chそれぞれについて例えば以下のように定義される。
Sub stream linkのTx chから出力されるアクティブ遷移承認信号は、Tactの間継続するPth_Tx以上の平均パワーを有する信号(信号線201が銅線である場合は電気信号、信号線201が光ファイバである場合は光信号)である。また、Sub stream linkのRx chに入力されるアクティブ遷移承認信号は、Tactの間継続するPth_Rx以上の平均パワーを有する信号である。
ここで、アクティブ遷移要求信号を出力する通信装置のTx chは、Twait_actの間継続するPth_Tx以上の平均パワーを対向Sub stream link Rx chに送信し続ける。
このTwait_actの間に対向Sub stream Tx chからのアクティブ遷移承認信号を受信しない場合、対向通信装置はアクティブ状態遷移を拒否したとみなし、アクティブ状態への遷移は取り消される。ここで、Twait_actは、アクティブ遷移要求信号を出力した通信装置が、対向通信装置からのアクティブ遷移承認信号受信を待つ上限の時間(例えば1300ms)であり、Twait_actの間Pth_Tx以上のパワーを出力することは、アクティブ遷移要求信号を継続して複数回出力していることと同義である。
図9は、ユーザからのアクティブ遷移指示によりスタンバイ状態からアクティブ状態に遷移する場合の動作フロー例を示すフローチャートである。まず、通信装置(制御コマンド送受信部102)は、ユーザからのアクティブ遷移指示を待機し続ける(S302)。通信装置は、ユーザからのアクティブ遷移指示があると(S302においてYES)、Sub stream linkRx chをアクティブ状態に遷移させ(S304)る。さらに通信装置は、Sub stream link Tx chからアクティブ遷移要求信号を継続して対向通信装置に送信する(S306)。
続いて、通信装置は、対向通信装置からのアクティブ遷移承認信号を待機する(S308)。所定の待ち時間Twait_actが経過してもアクティブ遷移承認信号を受信しない場合(S308おいてNOかつ、S310においてYES)、通信装置はPower Profileが最大になるまで、Power Profileの電力供給値を上げ(S316)、ステップS306~ステップS314を繰り返す。Power Profileが最大であっても(S312においてYES)、アクティブ遷移承認信号を受信しない場合には、通信装置は、アクティブ状態への遷移を取り消し、Sub stream linkのRx ch、及びTx chをスタンバイ状態に遷移させる。
一方、通信装置が所定の待ち時間Twait_act以内にアクティブ遷移承認信号を受信した場合(S308においてYES)、通信装置はSub stream link Tx chをアクティブ状態に遷移させる(S316)。
図10は、対向通信装置からのアクティブ遷移要求信号によりアクティブ状態に遷移する場合の動作フロー例を示すフローチャートである。まず、通信装置は、対向通信装置からのアクティブ遷移要求信号の受信を待機し続ける(S402)。通信装置は、対向通信装置からのアクティブ遷移要求信号を受信すると(S402においてYES)、アクティブ状態に遷移可能であるか否かの判定を行う(S404)。アクティブ状態に遷移可能ではない場合(S404においてNO)、通信装置は、対向通信装置にアクティブ遷移承認信号を送信せず、アクティブ状態へ遷移しない。一方、アクティブ状態に遷移可能な場合(S404においてYES)、通信装置は、対向通信装置にアクティブ遷移承認信号を送信する(S406)。続いて、通信装置はアクティブ状態に遷移する(S408)。
図11は、スタンバイ状態からアクティブ状態への遷移が可能である場合の各通信装置のTx chから出力される信号例を示すタイミングチャートである。スタンバイ状態だったマスタ装置(例えば録画装置)は時刻t31にアクティブ状態への遷移を開始する。さらに、マスタ装置はスタンバイ状態であるスレーブ装置(例えばTV)に対し、時刻t31からアナログフロントエンドの起動時間Twpが経過した時刻t33において、アクティブ遷移要求信号を送信開始する。
一方、スレーブ装置の検知部は、前回の間欠動作から間欠非動作時間Tdwnが経過した時刻t32に信号を検知可能な状態となる。
時刻t33からさらに信号立ち上がりに必要な時間Tcと所定時間Tactが経過した時刻t34において、スレーブ装置はアクティブ遷移要求信号を受信したと判定し、アクティブ遷移承認信号の送信を開始する。
時刻t34からアナログフロントエンドの起動時間Twpが経過した時刻t35から信号立ち上がりに必要な時間Tcが経過した時刻t36からさらに所定時間Tactが経過した時刻t37においてマスタ装置はアクティブ遷移承認信号を受信したと判定する。マスタ装置、及びスレーブ装置が共にアクティブ状態に遷移し、出力信号のトレーニングが完了した時刻t38以降は、マスタ装置、及びスレーブ装置から通常信号が出力される。
図12は、スタンバイ状態からアクティブ状態への遷移が不可能である場合の各通信装置のTx chから出力される信号例を示すタイミングチャートである。スタンバイ状態であるマスタ装置は、時刻t41にアクティブ状態への遷移を開始する。さらに、マスタ装置はバッテリ切れ状態のスレーブ装置に対し、時刻t41からアナログフロントエンドの起動時間Twpが経過した時刻t42において、アクティブ遷移要求信号を送信開始する。
しかし、スレーブ装置はバッテリ切れ状態であるため、アクティブ遷移承認信号を送信することが出来ない。時刻t42から所定の待ち時間Twait_actが経過した時刻t43において、マスタ装置は、アクティブ状態への遷移を取り消してスタンバイ状態に遷移する。なお、マスタ装置がスレーブ装置へIFケーブルを経由した電力供給を行っている場合、図9を参照して説明したように、マスタ装置はPower Profileを変更して電力供給値を上げた後、再試行(アクティブ遷移要求信号を送信)してもよい。
上述したように、図1に示すAV伝送システム10においては、複数のデータ伝送用レーン(データレーン)の状態を、選択的に、消費電力を低減するためのレーン状態に制御できる。そのため、未使用のデータ伝送用レーンの状態を、通信停止状態(スリープ状態)あるいは通信制限状態(スタンバイ状態)に制御して、消費電力を低減することが可能となる。
ここで、使用レーン数低減による消費電力抑制の例を説明する。例えば1レーンが12 Gbpsの伝送帯域を有する計12レーンのインタフェースケーブルにおいて、伝送されるデータレートが50 Gbpsであった場合を考える。このとき、制御レーンが1レーン、データレーンが5レーン(12 Gbps × 5レーン)の計6レーンあれば50 Gbpsのデータ伝送が可能である。よって、残りの6レーンはデータ伝送に不要であり、それらのレーンをスリープ状態もしくはスタンバイ状態にすることで、不要なデータレーンで消費される電力を低減できる。
また、図1に示すAV伝送システム10においては、1つの制御データ伝送用レーン(制御レーン)の状態を、選択的に、消費電力を低減するためのレーン状態に制御できる。そのため、未使用の制御データ伝送用レーンの状態を、通信停止状態(スリープ状態)あるいは通信制限状態(スタンバイ状態)に制御して、消費電力を低減することが可能となる。
[電子機器のハードウェア構成例]
図13は、電子機器100(100A,100B)のハードウェア構成の一例を示している。なお、電子機器100のハードウェア構成は、これに限定されないことは勿論である。
電子機器100は、主に、CPU901と、ROM902と、RAM903と、を備える。また、電子機器100は、更に、ホストバス907と、ブリッジ909と、外部バス911と、インタフェース913と、入力装置915と、出力装置917と、ストレージ装置919と、ドライブ921と、接続ポート923と、通信装置925とを備える。
CPU901は、演算処理装置および制御装置として機能し、ROM902、RAM903、ストレージ装置919、またはリムーバブル記録媒体927に記録された各種プログラムに従って、電子機器100内の動作全般またはその一部を制御する。ROM902は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM903は、CPU901が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはCPUバス等の内部バスにより構成されるホストバス907により相互に接続されている。
ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。
入力装置915は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなどユーザが操作する操作手段である。また、入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール手段(いわゆる、リモコン)であってもよいし、電子機器100の操作に対応した携帯電話やPDA等の外部接続機器929であってもよい。さらに、入力装置915は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、CPU901に出力する入力制御回路などから構成されている。電子機器100のユーザは、この入力装置915を操作することにより、電子機器100に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置917は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。このような装置として、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置およびランプなどの表示装置や、スピーカおよびヘッドホンなどの音声出力装置や、プリンタ装置、携帯電話、ファクシミリなどがある。出力装置917は、例えば、電子機器100が行った各種処理により得られた結果を出力する。具体的には、表示装置は、電子機器100が行った各種処理により得られた結果を、テキストまたはイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。
ストレージ装置919は、電子機器100の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD(Hard Disk Drive)等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイス等により構成される。このストレージ装置919は、CPU901が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
ドライブ921は、記録媒体用リーダライタであり、電子機器100に内蔵、あるいは外付けされる。ドライブ921は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体927に記録されている情報を読み出して、RAM903に出力する。また、ドライブ921は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体927に記録を書き込むことも可能である。
リムーバブル記録媒体927は、例えば、DVDメディア、HD-DVDメディア、Blu-rayメディア等である。また、リムーバブル記録媒体927は、コンパクトフラッシュ(登録商標)(CompactFlash:CF)、フラッシュメモリ、または、SDメモリカード(Secure Digital memory card)等であってもよい。また、リムーバブル記録媒体927は、例えば、非接触型ICチップを搭載したICカード(Integrated Circuit card)または電子機器等であってもよい。
接続ポート923は、機器を電子機器100に直接接続するためのポートである。接続ポート923の一例として、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポート等がある。接続ポート923の別の例として、RS-232Cポート、光デジタル端子、HDMI(High-Definition Multimedia Interface)ポート等がある。この接続ポート923に外部接続機器929を接続することで、電子機器100は、外部接続機器929から直接各種のデータを取得したり、外部接続機器929に各種のデータを提供したりする。なお、上記の光デジタル端子を上述した光通信コネクタ10Bを含む光送受信部110として構成してもよい。
通信装置925は、例えば、通信網931に接続するための通信デバイス等で構成された通信インタフェースである。本実施形態において、通信装置925は、上述した光通信コネクタ10Bを含む光送受信部110を含んで構成されている。通信装置925は、光通信用のルータであってもよい。また、通信装置925は、例えば、有線または無線LAN(Local Area Network)、Bluetooth(登録商標)、またはWUSB(Wireless USB)用の通信カード等をさらに含んでもよい。
また、通信装置925は、DSL(Asymmetric Digital Subscriber Line)用のルータ、または、各種通信用のモデム等を含んで構成されていてもよい。この通信装置925は、例えば、インターネットや他の通信機器との間で、例えばFTTR、FTTB、FTTH、FTTD等のFTTxや、TCP/IP等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置925に接続される通信網931は、有線または無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信または衛星通信等であってもよい。
[ディスクレコーダの構成例]
図14は、電子機器100Aの具体例としてのディスクレコーダ11の構成例を示している。このディスクレコーダ11は、データ送受信部101と、制御コマンド送受信部102を有している。データ送受信部101は、インタフェースケーブル200の複数のデータ伝送用レーンに接続されている。制御コマンド送受信部102は、インタフェースケーブル200の1つの制御データ伝送用レーンに接続されている。このディスクレコーダ11は、インタフェースケーブル200を通じて、外部機器、例えば後述する画像表示装置12に接続される。
また、このディスクレコーダ11は、CPU(Central Processing Unit)121と、内部バス405と、フラッシュROM(Read Only Memory)406と、SDRAM(Synchronous Random Access Memory)407と、リモコン受信部408と、リモコン送信機409と、電源部123を有している。
また、ディスクレコーダ11は、SATA(Serial Advanced Technology Attachment)インタフェース410と、BD(Blu-Ray Disc)ドライブ411と、イーサネットインタフェース(Ethernet I/F)412と、ネットワーク端子413を有している。また、ディスクレコーダ11は、MPEG(Moving Picture Expert Group)デコーダ415と、グラフィック生成回路416と、映像出力端子417と、音声出力端子418を有している。
また、ディスクレコーダ11は、表示制御部421と、パネル駆動回路422と、表示パネル423を有している。なお、「イーサネット」および「Ethernet」は登録商標である。CPU121、フラッシュROM406、SDRAM407、SATAインタフェース410、イーサネットインタフェース412、MPEGデコーダ415および表示制御部421は、内部バス405に接続されている。
CPU121は、ディスクレコーダ11の各部の動作を制御する。このCPU121は、連制御部103の機能も備える。フラッシュROM406は、制御ソフトウェアの格納およびデータの保管を行う。SDRAM407は、CPU121のワークエリアを構成する。CPU121は、フラッシュROM406から読み出したソフトウェアやデータをSDRAM407上に展開してソフトウェアを起動させ、ディスクレコーダ11の各部を制御する。
リモコン受信部408は、リモコン送信機409から送信されたリモーコントロール信号(リモコンコード)を受信し、CPU121に供給する。CPU121は、リモコンコードに従ってディスクレコーダ11の各部を制御する。なお、図示の例では、ユーザ指示入力部としてリモートコントロール部を示しているが、ユーザ指示入力部は、その他の構成、例えば、スイッチ、ホイール、近接/タッチにより指示入力を行うタッチパネル部、マウス、キーボード、カメラで指示入力を検出するジェスチャ入力部、音声により指示入力を行う音声入力部などであってもよい。
データ送受信部101は、インタフェースケーブル200を通じて、外部機器と通信をする。この場合、外部機器に、画像(ビデオ)データ、音声(オーディオ)データなどのメディアデータを送信する。制御コマンド送受信部102は、インタフェースケーブル200を通じて、外部機器と通信をする。この場合、外部機器との間で制御コマンド通信(制御通信)を行う。CPU121は、この制御コマンド通信に応じて、インタフェースケーブル200の複数のデータ伝送用レーンの状態を制御し、例えば、未使用のデータ伝送用レーンをスリープ状態あるいはスタンバイ状態にして、消費電力を低減する。
BDドライブ411は、ディスク状記録メディアとしてのBDディスク(図示せず)に対して、コンテンツデータを記録し、あるいは、このBDからコンテンツデータを再生する。このBDドライブ411は、SATAインタフェース410を介して内部バス405に接続されている。MPEGデコーダ415は、BDドライブ411で再生されたMPEG2ストリームに対してデコード処理を行って画像および音声のデータを得る。
ディスクレコーダ11から外部機器に画像(ビデオ)および音声(オーディオ)のデータを送信する場合、MPEGデコーダ415からデータ送受信部101に画像および音声のデータが供給される。この場合、画像および音声のデータは圧縮データ、非圧縮データのいずれであってもよい。
グラフィック生成回路416は、MPEGデコーダ415で得られた画像データに対して、必要に応じてグラフィックスデータの重畳処理等を行う。映像出力端子417は、グラフィック生成回路416から出力される画像データを出力する。音声出力端子418は、MPEGデコーダ415で得られた音声データを出力する。
パネル駆動回路422は、グラフィック生成回路416から出力される映像(画像)データに基づいて、表示パネル423を駆動する。表示制御部421は、グラフィクス生成回路416やパネル駆動回路422を制御して、表示パネル423における表示を制御する。表示パネル423は、例えば、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、有機EL(Organic Electro-Luminescence)パネル等で構成されている。
なお、図示の例では、CPU404の他に表示制御部421を有しているが、表示パネル423における表示をCPU404が直接制御するようにしてもよい。また、CPU404と表示制御部421は、1つのチップになっていても、複数コアであってもよい。
図14に示すディスクレコーダ11の動作を簡単に説明する。記録時には、図示されないデジタルチューナを介して、あるいはネットワーク端子413からイーサネットインタフェース412を介して、記録すべきコンテンツデータが取得される。このコンテンツデータは、SATAインタフェース410に入力され、BDドライブ411によりBDに記録される。場合によっては、このコンテンツデータは、SATAインタフェース410に接続された、図示されないHDD(ハードディスクドライブ)に記録されてもよい。
再生時には、BDドライブ411によりBDから再生されたコンテンツデータ(MPEGストリーム)は、SATAインタフェース410を介してMPEGデコーダ415に供給される。MPEGデコーダ415では、再生されたコンテンツデータに対してデコード処理が行われ、非圧縮の画像および音声のデータが得られる。画像データは、グラフィック生成回路416を通じて映像出力端子417に出力される。また、音声データは、音声出力端子418に出力される。
また、再生時には、MPEGデコーダ415で得られた画像データが、ユーザ操作に応じて、グラフィック生成回路416を通じてパネル駆動回路422に供給され、表示パネル423に再生画像が表示される。また、MPEGデコーダ415で得られた音声データが、ユーザ操作に応じて、図示しないスピーカに供給され、再生画像に対応した音声が出力される。
また、この再生時に、ディスクレコーダ11から外部機器に画像(ビデオ)および音声(オーディオ)のデータを送信する場合、MPEGデコーダ415からデータ送受信部101に画像および音声のデータ(非圧縮データあるいは非圧縮データ)が供給され、インタフェースケーブル200を通じて、外部機器に送信される。
なお、再生時に、BDドライブ411で再生されたコンテンツデータをネットワークに送出する際には、このコンテンツデータは、イーサネットインタフェース412を介して、ネットワーク端子413に出力される。ここで、画像データを出力する前に、著作権保護技術、例えばHDCP、DTCP、DTCP+などを用いて暗号化してから伝送(送信)してもよい。
[画像表示装置の構成例]
図15は、電子機器100Bとしての画像表示装置12の構成例を示している。この画像表示装置12は、データ送受信部101と、制御コマンド送受信部102を有している。データ送受信部101は、インタフェースケーブル200の複数のデータ伝送用レーンに接続されている。制御コマンド送受信部102は、インタフェースケーブル200の1つの制御データ伝送用レーンに接続されている。この画像表示装置12は、インタフェースケーブル200を通じて、外部機器、例えば上述のディスクレコーダ11に接続される。
また、この画像表示装置12は、アンテナ端子505と、デジタルチューナ506と、MPEGデコーダ507と、映像信号処理回路508と、グラフィック生成回路509と、パネル駆動回路510と、表示パネル511を有している。また、この画像表示装置12は、音声信号処理回路512と、音声増幅回路513と、スピーカ514と、内部バス520と、CPU131と、フラッシュROM522と、SDRAM(Synchronous Random Access Memory)523を有している。
また、この画像表示装置12は、イーサネットインタフェース(Ethernet I/F)524と、ネットワーク端子525と、リモコン受信部526と、リモコン送信機527と、電源部133を有している。また、このポータブル画像表示装置12は、表示制御部531を有している。CPU131、フラッシュROM522、SDRAM523、イーサネットインタフェース524、MPEGデコーダ507および表示制御部531は、内部バス520に接続されている。
CPU131は、画像表示装置12の各部の動作を制御する。このCPU131は、連制御部103の機能も備える。フラッシュROM522は、制御ソフトウェアの格納およびデータの保管を行う。SDRAM523は、CPU131のワークエリアを構成する。CPU131は、フラッシュROM522から読み出したソフトウェアやデータをSDRAM523上に展開してソフトウェアを起動させ、画像表示装置12の各部を制御する。
リモコン受信部526は、リモコン送信機527から送信されたリモーコントロール信号(リモコンコード)を受信し、CPU131に供給する。CPU131は、このリモコンコードに基づいて、画像表示装置12の各部を制御する。なお、図示の例では、ユーザ指示入力部としてリモートコントロール部を示しているが、ユーザ指示入力部は、その他の構成、例えば、近接/タッチにより指示入力を行うタッチパネル部、マウス、キーボード、カメラで指示入力を検出するジェスチャ入力部、音声により指示入力を行う音声入力部などであってもよい。
データ送受信部101は、インタフェースケーブル200を通じて、外部機器と通信をする。この場合、外部機器から、画像(ビデオ)データ、音声(オーディオ)データなどのメディアデータを受信する。制御コマンド送受信部102は、インタフェースケーブル200を通じて、外部機器と通信をする。この場合、外部機器との間で制御コマンド通信(制御通信)を行う。CPU131は、この制御コマンド通信に応じて、インタフェースケーブル200の複数のデータ伝送用レーンの状態を制御し、例えば、未使用のデータ伝送用レーンをスリープ状態あるいはスタンバイ状態にして、消費電力を低減する。
アンテナ端子505は、受信アンテナ(図示せず)で受信されたテレビ放送信号を入力する端子である。デジタルチューナ506は、アンテナ端子505に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のトランスポートストリームから、パーシャルTS(Transport Stream)(映像データのTSパケット、音声データのTSパケット)を抽出する。
また、デジタルチューナ506は、得られたトランスポートストリームから、PSI/SI(Program Specific Information/Service Information)を取り出し、CPU521に出力する。デジタルチューナ506で得られた複数のトランスポートストリームから任意のチャネルのパーシャルTSを抽出する処理は、PSI/SI(PAT/PMT)から当該任意のチャネルのパケットID(PID)の情報を得ることで可能となる。
MPEGデコーダ507は、デジタルチューナ506で得られる映像データのTSパケットにより構成される映像PES(Packetized Elementary Stream)パケットに対してデコード処理を行って画像データを得る。また、MPEGデコーダ507は、デジタルチューナ506で得られる音声データのTSパケットにより構成される音声PESパケットに対してデコード処理を行って音声データを得る。また、MPEGデコーダ507は、ネットワーク端子525からイーサネットインタフェース524を介して供給されるコンテンツデータ(画像データ、音声データ)に対してデコード処理を行って画像および音声のデータを得る。
映像信号処理回路508およびグラフィック生成回路509は、MPEGデコーダ507で得られた画像(ビデオ)データ、あるいは通信部132で受信された画像(ビデオ)データに対して、必要に応じてスケーリング処理(解像度変換処理)、グラフィックスデータの重畳処理等を行う。
パネル駆動回路510は、グラフィック生成回路509から出力される映像(画像)データに基づいて、表示パネル511を駆動する。表示制御部531は、グラフィクス生成回路509やパネル駆動回路510を制御して、表示パネル511における表示を制御する。表示パネル511は、例えば、LCD(Liquid Crystal Display)、PDP(Plasma Display Panel)、有機EL(Organic Electro-Luminescence)パネル等で構成されている。
なお、図示の例では、CPU131の他に表示制御部531を有する例を示しているが、表示パネル511における表示をCPU131が直接制御するようにしてもよい。また、CPU131と表示制御部531は、1つのチップになっていても、複数コアであってもよい。
音声信号処理回路512はMPEGデコーダ507で得られた音声(オーディオ)データ、あるいは通信部132で受信された音声(オーディオ)データに対してD/A変換等の必要な処理を行う。音声増幅回路513は、音声信号処理回路512から出力される音声信号を増幅してスピーカ514に供給する。
なお、スピーカ514は、モノラルでもステレオでもよい。また、スピーカ514は、1つでもよく、2つ以上でもよい。また、スピーカ514は、イヤホン、ヘッドホンでもよい。また、スピーカ514は、2.1チャネルや、5.1チャネルなどに対応するものであってもよい。また、スピーカ514は、ポータブル画像表示装置12と無線で接続してもよい。また、スピーカ514は、他機器であってもよい。
なお、例えば、受信されたコンテンツデータをネットワークに送出する際には、このコンテンツデータは、イーサネットインタフェース524を介して、ネットワーク端子525に出力される。ここで、画像データを出力する前に、著作権保護技術、例えばHDCP、DTCP、DTCP+などを用いて暗号化してから伝送してもよい。
図15に示す画像表示装置12の動作を簡単に説明する。アンテナ端子505に入力されたテレビ放送信号はデジタルチューナ506に供給される。このデジタルチューナ506では、テレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のトランスポートストリームが出力され、トランスポートストリームから、パーシャルTS(映像データのTSパケット、音声データのTSパケット)が抽出され、当該パーシャルTSはMPEGデコーダ507に供給される。
MPEGデコーダ507では、映像データのTSパケットにより構成される映像PESパケットに対してデコード処理が行われて画像データが得られる。この画像データは、映像信号処理回路508およびグラフィック生成回路509において、必要に応じて、スケーリング処理(解像度変換処理)、グラフィックスデータの重畳処理等が行われた後に、パネル駆動回路510に供給される。そのため、表示パネル511には、ユーザの選択チャネルに対応した画像が表示される。
また、MPEGデコーダ507では、音声データのTSパケットにより構成される音声PESパケットに対してデコード処理が行われて音声データが得られる。この音声データは、音声信号処理回路512でD/A変換等の必要な処理が行われ、さらに、音声増幅回路513で増幅された後に、スピーカ514に供給される。そのため、スピーカ514から、ユーザの選択チャネルに対応した音声が出力される。
また、ネットワーク端子525からイーサネットインタフェース524に供給されるコンテンツデータ(画像データ、音声データ)は、MPEGデコーダ507に供給される。以降は、上述したテレビ放送信号の受信時と同様の動作となり、表示パネル511に画像が表示され、スピーカ514から音声が出力される。
また、ポータブル画像表示装置12が外部機器から画像(ビデオ)および音声(オーディオ)のデータを受信する場合、データ送受信部101で受信された画像および音声のデータは、それぞれ映像信号処理回路508および音声信号処理回路512に供給される。以降は、上述したテレビ放送信号の受信時と同様の動作となり、表示パネル511に画像が表示され、スピーカ514から音声が出力される。
<2.応用例1>
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械(トラクター)などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
図16は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム7000の概略的な構成例を示すブロック図である。車両制御システム7000は、通信ネットワーク7010を介して接続された複数の電子制御ユニットを備える。図16に示した例では、車両制御システム7000は、駆動系制御ユニット7100、ボディ系制御ユニット7200、バッテリ制御ユニット7300、車外情報検出ユニット7400、車内情報検出ユニット7500、及び統合制御ユニット7600を備える。これらの複数の制御ユニットを接続する通信ネットワーク7010は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)又はFlexRay(登録商標)等の任意の規格に準拠した車載通信ネットワークであってよい。
各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク7010を介して他の制御ユニットとの間で通信を行うためのネットワークI/Fを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信I/Fを備える。図16では、統合制御ユニット7600の機能構成として、マイクロコンピュータ7610、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660、音声画像出力部7670、車載ネットワークI/F7680及び記憶部7690が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信I/F及び記憶部等を備える。
駆動系制御ユニット7100は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット7100は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット7100は、ABS(Antilock Brake System)又はESC(Electronic Stability Control)等の制御装置としての機能を有してもよい。
駆動系制御ユニット7100には、車両状態検出部7110が接続される。車両状態検出部7110には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット7100は、車両状態検出部7110から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
ボディ系制御ユニット7200は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット7200は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット7200には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット7200は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
バッテリ制御ユニット7300は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池7310を制御する。例えば、バッテリ制御ユニット7300には、二次電池7310を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット7300は、これらの信号を用いて演算処理を行い、二次電池7310の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
車外情報検出ユニット7400は、車両制御システム7000を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット7400には、撮像部7410及び車外情報検出部7420のうちの少なくとも一方が接続される。撮像部7410には、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部7420には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム7000を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びLIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)装置のうちの少なくとも一つであってよい。これらの撮像部7410及び車外情報検出部7420は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
ここで、図17は、撮像部7410及び車外情報検出部7420の設置位置の例を示す。撮像部7910,7912,7914,7916,7918は、例えば、車両7900のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部7910及び車室内のフロントガラスの上部に備えられる撮像部7918は、主として車両7900の前方の画像を取得する。サイドミラーに備えられる撮像部7912,7914は、主として車両7900の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部7916は、主として車両7900の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部7918は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図17には、それぞれの撮像部7910,7912,7914,7916の撮影範囲の一例が示されている。撮像範囲aは、フロントノーズに設けられた撮像部7910の撮像範囲を示し、撮像範囲b,cは、それぞれサイドミラーに設けられた撮像部7912,7914の撮像範囲を示し、撮像範囲dは、リアバンパ又はバックドアに設けられた撮像部7916の撮像範囲を示す。例えば、撮像部7910,7912,7914,7916で撮像された画像データが重ね合わせられることにより、車両7900を上方から見た俯瞰画像が得られる。
車両7900のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7922,7924,7926,7928,7930は、例えば超音波センサ又はレーダ装置であってよい。車両7900のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部7920,7926,7928,7930は、例えばLIDAR装置であってよい。これらの車外情報検出部7920~7930は、主として先行車両、歩行者又は障害物等の検出に用いられる。
図16に戻って説明を続ける。車外情報検出ユニット7400は、撮像部7410に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット7400は、接続されている車外情報検出部7420から検出情報を受信する。車外情報検出部7420が超音波センサ、レーダ装置又はLIDAR装置である場合には、車外情報検出ユニット7400は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット7400は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット7400は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
また、車外情報検出ユニット7400は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット7400は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部7410により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット7400は、異なる撮像部7410により撮像された画像データを用いて、視点変換処理を行ってもよい。
車内情報検出ユニット7500は、車内の情報を検出する。車内情報検出ユニット7500には、例えば、運転者の状態を検出する運転者状態検出部7510が接続される。運転者状態検出部7510は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット7500は、運転者状態検出部7510から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット7500は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
統合制御ユニット7600は、各種プログラムにしたがって車両制御システム7000内の動作全般を制御する。統合制御ユニット7600には、入力部7800が接続されている。入力部7800は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット7600には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部7800は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム7000の操作に対応した携帯電話又はPDA(Personal Digital Assistant)等の外部接続機器であってもよい。入力部7800は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部7800は、例えば、上記の入力部7800を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット7600に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部7800を操作することにより、車両制御システム7000に対して各種のデータを入力したり処理動作を指示したりする。
記憶部7690は、マイクロコンピュータ7610により実行される各種プログラムを記憶するROM(Read Only Memory)、及び各種パラメータ、演算結果又はセンサ値等を記憶するRAM(Random Access Memory)を含んでいてもよい。また、記憶部7690は、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
汎用通信I/F7620は、外部環境7750に存在する様々な機器との間の通信を仲介する汎用的な通信I/Fである。汎用通信I/F7620は、GSM(Global System of Mobile communications)、WiMAX、LTE(Long Term Evolution)若しくはLTE-A(LTE-Advanced)などのセルラー通信プロトコル、又は無線LAN(Wi-Fi(登録商標)ともいう)、Bluetooth(登録商標)などのその他の無線通信プロトコルを実装してよい。汎用通信I/F7620は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)へ接続してもよい。また、汎用通信I/F7620は、例えばP2P(Peer To Peer)技術を用いて、車両の近傍に存在する端末(例えば、運転者、歩行者若しくは店舗の端末、又はMTC(Machine Type Communication)端末)と接続してもよい。
専用通信I/F7630は、車両における使用を目的として策定された通信プロトコルをサポートする通信I/Fである。専用通信I/F7630は、例えば、下位レイヤのIEEE802.11pと上位レイヤのIEEE1609との組合せであるWAVE(Wireless Access in Vehicle Environment)、DSRC(Dedicated Short Range Communications)、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信I/F7630は、典型的には、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、車両と家との間(Vehicle to Home)の通信及び歩車間(Vehicle to Pedestrian)通信のうちの1つ以上を含む概念であるV2X通信を遂行する。
測位部7640は、例えば、GNSS(Global Navigation Satellite System)衛星からのGNSS信号(例えば、GPS(Global Positioning System)衛星からのGPS信号)を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部7640は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、PHS若しくはスマートフォンといった端末から位置情報を取得してもよい。
ビーコン受信部7650は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部7650の機能は、上述した専用通信I/F7630に含まれてもよい。
車内機器I/F7660は、マイクロコンピュータ7610と車内に存在する様々な車内機器7760との間の接続を仲介する通信インタフェースである。車内機器I/F7660は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)又はWUSB(Wireless USB)といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器I/F7660は、図示しない接続端子(及び、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(High-Definition Multimedia Interface)、又はMHL(Mobile High-definition Link)等の有線接続を確立してもよい。車内機器7760は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも1つを含んでいてもよい。また、車内機器7760は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器I/F7660は、これらの車内機器7760との間で、制御信号又はデータ信号を交換する。
車載ネットワークI/F7680は、マイクロコンピュータ7610と通信ネットワーク7010との間の通信を仲介するインタフェースである。車載ネットワークI/F7680は、通信ネットワーク7010によりサポートされる所定のプロトコルに則して、信号等を送受信する。
統合制御ユニット7600のマイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム7000を制御する。例えば、マイクロコンピュータ7610は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット7100に対して制御指令を出力してもよい。例えば、マイクロコンピュータ7610は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ7610は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
マイクロコンピュータ7610は、汎用通信I/F7620、専用通信I/F7630、測位部7640、ビーコン受信部7650、車内機器I/F7660及び車載ネットワークI/F7680のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の3次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ7610は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
音声画像出力部7670は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図16の例では、出力装置として、オーディオスピーカ7710、表示部7720及びインストルメントパネル7730が例示されている。表示部7720は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部7720は、AR(Augmented Reality)表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ7610が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
なお、図16に示した例において、通信ネットワーク7010を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム7000が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク7010を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク7010を介して相互に検出情報を送受信してもよい。
なお、図1~図15を用いて説明した本実施形態に係る電子機器100(100A,100B)の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
以上説明した車両制御システム7000において、図1~図15を用いて説明したデータ送受信部101、制御コマンド送受信部102などからなるインタフェースは、図16に示した各種インタフェースに適用することができる。例えば、データ送受信部101、制御コマンド送受信部102などからなるインタフェースは、汎用通信I/F7620、専用通信I/F7630、車内機器I/F7660、音声画像出力部7670、車載ネットワークI/F7680や、これに対応する外部環境7750、車内機器7760、オーディオスピーカ7710、表示部7720、インストルメントパネル7730、通信ネットワーク7010等における通信インタフェースとして適用可能である。また、本開示に係る電子機器100(100A,100B)は、例えば統合制御ユニット7600に適用することができる。さらに、本開示に係るインタフェースケーブル200は、通信ネットワーク7010の他、車両制御システム7000内外の各インタフェースおよび機器との接続に適用可能である。
また、図1~図15を用いて説明した電子機器100(100A,100B)の少なくとも一部の構成要素は、図16に示した統合制御ユニット7600のためのモジュール(例えば、一つのダイで構成される集積回路モジュール)において実現されてもよい。あるいは、図1~図15を用いて説明した電子機器100(100A,100B)が、図16に示した車両制御システム7000の複数の制御ユニットによって実現されてもよい。本開示に係る技術を適用することにより、消費電力の低減を図ることができる。
<3.応用例2>
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、手術室システムに適用されてもよい。
図18は、本開示に係る技術が適用され得る手術室システム5100の全体構成を概略的に示す図である。図18を参照すると、手術室システム5100は、手術室内に設置される装置群が視聴覚コントローラ(AV Controller)5107及び手術室制御装置5109を介して互いに連携可能に接続されることにより構成される。
手術室には、様々な装置が設置され得る。図18では、一例として、内視鏡下手術のための各種の装置群5101と、手術室の天井に設けられ術者の手元を撮像するシーリングカメラ5187と、手術室の天井に設けられ手術室全体の様子を撮像する術場カメラ5189と、複数の表示装置5103A~5103Dと、レコーダ5105と、患者ベッド5183と、照明5191と、を図示している。
ここで、これらの装置のうち、装置群5101は、後述する内視鏡手術システム5113に属するものであり、内視鏡や当該内視鏡によって撮像された画像を表示する表示装置等からなる。内視鏡手術システム5113に属する各装置は医療用機器とも呼称される。一方、表示装置5103A~5103D、レコーダ5105、患者ベッド5183及び照明5191は、内視鏡手術システム5113とは別個に、例えば手術室に備え付けられている装置である。これらの内視鏡手術システム5113に属さない各装置は非医療用機器とも呼称される。視聴覚コントローラ5107及び/又は手術室制御装置5109は、これら医療機器及び非医療機器の動作を互いに連携して制御する。
視聴覚コントローラ5107は、医療機器及び非医療機器における画像表示に関する処理を、統括的に制御する。具体的には、手術室システム5100が備える装置のうち、装置群5101、シーリングカメラ5187及び術場カメラ5189は、手術中に表示すべき情報(以下、表示情報ともいう)を発信する機能を有する装置(以下、発信元の装置とも呼称する)であり得る。また、表示装置5103A~5103Dは、表示情報が出力される装置(以下、出力先の装置とも呼称する)であり得る。また、レコーダ5105は、発信元の装置及び出力先の装置の双方に該当する装置であり得る。視聴覚コントローラ5107は、発信元の装置及び出力先の装置の動作を制御し、発信元の装置から表示情報を取得するとともに、当該表示情報を出力先の装置に送信し、表示又は記録させる機能を有する。なお、表示情報とは、手術中に撮像された各種の画像や、手術に関する各種の情報(例えば、患者の身体情報や、過去の検査結果、術式についての情報等)等である。
具体的には、視聴覚コントローラ5107には、装置群5101から、表示情報として、内視鏡によって撮像された患者の体腔内の術部の画像についての情報が送信され得る。また、シーリングカメラ5187から、表示情報として、当該シーリングカメラ5187によって撮像された術者の手元の画像についての情報が送信され得る。また、術場カメラ5189から、表示情報として、当該術場カメラ5189によって撮像された手術室全体の様子を示す画像についての情報が送信され得る。なお、手術室システム5100に撮像機能を有する他の装置が存在する場合には、視聴覚コントローラ5107は、表示情報として、当該他の装置からも当該他の装置によって撮像された画像についての情報を取得してもよい。
あるいは、例えば、レコーダ5105には、過去に撮像されたこれらの画像についての情報が視聴覚コントローラ5107によって記録されている。視聴覚コントローラ5107は、表示情報として、レコーダ5105から当該過去に撮像された画像についての情報を取得することができる。なお、レコーダ5105には、手術に関する各種の情報も事前に記録されていてもよい。
視聴覚コントローラ5107は、出力先の装置である表示装置5103A~5103Dの少なくともいずれかに、取得した表示情報(すなわち、手術中に撮影された画像や、手術に関する各種の情報)を表示させる。図示する例では、表示装置5103Aは手術室の天井から吊り下げられて設置される表示装置であり、表示装置5103Bは手術室の壁面に設置される表示装置であり、表示装置5103Cは手術室内の机上に設置される表示装置であり、表示装置5103Dは表示機能を有するモバイル機器(例えば、タブレットPC(Personal Computer))である。
また、図18では図示を省略しているが、手術室システム5100には、手術室の外部の装置が含まれてもよい。手術室の外部の装置は、例えば、病院内外に構築されたネットワークに接続されるサーバや、医療スタッフが用いるPC、病院の会議室に設置されるプロジェクタ等であり得る。このような外部装置が病院外にある場合には、視聴覚コントローラ5107は、遠隔医療のために、テレビ会議システム等を介して、他の病院の表示装置に表示情報を表示させることもできる。
手術室制御装置5109は、非医療機器における画像表示に関する処理以外の処理を、統括的に制御する。例えば、手術室制御装置5109は、患者ベッド5183、シーリングカメラ5187、術場カメラ5189及び照明5191の駆動を制御する。
手術室システム5100には、集中操作パネル5111が設けられており、ユーザは、当該集中操作パネル5111を介して、視聴覚コントローラ5107に対して画像表示についての指示を与えたり、手術室制御装置5109に対して非医療機器の動作についての指示を与えたりすることができる。集中操作パネル5111は、表示装置の表示面上にタッチパネルが設けられて構成される。
図19は、集中操作パネル5111における操作画面の表示例を示す図である。図19では、一例として、手術室システム5100に、出力先の装置として、2つの表示装置が設けられている場合に対応する操作画面を示している。図19を参照すると、操作画面5193には、発信元選択領域5195と、プレビュー領域5197と、コントロール領域5201と、が設けられる。
発信元選択領域5195には、手術室システム5100に備えられる発信元装置と、当該発信元装置が有する表示情報を表すサムネイル画面と、が紐付けられて表示される。ユーザは、表示装置に表示させたい表示情報を、発信元選択領域5195に表示されているいずれかの発信元装置から選択することができる。
プレビュー領域5197には、出力先の装置である2つの表示装置(Monitor1、Monitor2)に表示される画面のプレビューが表示される。図示する例では、1つの表示装置において4つの画像がPinP表示されている。当該4つの画像は、発信元選択領域5195において選択された発信元装置から発信された表示情報に対応するものである。4つの画像のうち、1つはメイン画像として比較的大きく表示され、残りの3つはサブ画像として比較的小さく表示される。ユーザは、4つの画像が表示された領域を適宜選択することにより、メイン画像とサブ画像を入れ替えることができる。また、4つの画像が表示される領域の下部には、ステータス表示領域5199が設けられており、当該領域に手術に関するステータス(例えば、手術の経過時間や、患者の身体情報等)が適宜表示され得る。
コントロール領域5201には、発信元の装置に対して操作を行うためのGUI(Graphical User Interface)部品が表示される発信元操作領域5203と、出力先の装置に対して操作を行うためのGUI部品が表示される出力先操作領域5205と、が設けられる。図示する例では、発信元操作領域5203には、撮像機能を有する発信元の装置におけるカメラに対して各種の操作(パン、チルト及びズーム)を行うためのGUI部品が設けられている。ユーザは、これらのGUI部品を適宜選択することにより、発信元の装置におけるカメラの動作を操作することができる。なお、図示は省略しているが、発信元選択領域5195において選択されている発信元の装置がレコーダである場合(すなわち、プレビュー領域5197において、レコーダに過去に記録された画像が表示されている場合)には、発信元操作領域5203には、当該画像の再生、再生停止、巻き戻し、早送り等の操作を行うためのGUI部品が設けられ得る。
また、出力先操作領域5205には、出力先の装置である表示装置における表示に対する各種の操作(スワップ、フリップ、色調整、コントラスト調整、2D表示と3D表示の切り替え)を行うためのGUI部品が設けられている。ユーザは、これらのGUI部品を適宜選択することにより、表示装置における表示を操作することができる。
なお、集中操作パネル5111に表示される操作画面は図示する例に限定されず、ユーザは、集中操作パネル5111を介して、手術室システム5100に備えられる、視聴覚コントローラ5107及び手術室制御装置5109によって制御され得る各装置に対する操作入力が可能であってよい。
図20は、以上説明した手術室システムが適用された手術の様子の一例を示す図である。シーリングカメラ5187及び術場カメラ5189は、手術室の天井に設けられ、患者ベッド5183上の患者5185の患部に対して処置を行う術者(医者)5181の手元及び手術室全体の様子を撮影可能である。シーリングカメラ5187及び術場カメラ5189には、倍率調整機能、焦点距離調整機能、撮影方向調整機能等が設けられ得る。照明5191は、手術室の天井に設けられ、少なくとも術者5181の手元を照射する。照明5191は、その照射光量、照射光の波長(色)及び光の照射方向等を適宜調整可能であってよい。
内視鏡手術システム5113、患者ベッド5183、シーリングカメラ5187、術場カメラ5189及び照明5191は、図18に示すように、視聴覚コントローラ5107及び手術室制御装置5109(図20では図示せず)を介して互いに連携可能に接続されている。手術室内には、集中操作パネル5111が設けられており、上述したように、ユーザは、当該集中操作パネル5111を介して、手術室内に存在するこれらの装置を適宜操作することが可能である。
以下、内視鏡手術システム5113の構成について詳細に説明する。図示するように、内視鏡手術システム5113は、内視鏡5115と、その他の術具5131と、内視鏡5115を支持する支持アーム装置5141と、内視鏡下手術のための各種の装置が搭載されたカート5151と、から構成される。
内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ5139a~5139dと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ5139a~5139dから、内視鏡5115の鏡筒5117や、その他の術具5131が患者5185の体腔内に挿入される。図示する例では、その他の術具5131として、気腹チューブ5133、エネルギー処置具5135及び鉗子5137が、患者5185の体腔内に挿入されている。また、エネルギー処置具5135は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具5131はあくまで一例であり、術具5131としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。
内視鏡5115によって撮影された患者5185の体腔内の術部の画像が、表示装置5155に表示される。術者5181は、表示装置5155に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具5135や鉗子5137を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ5133、エネルギー処置具5135及び鉗子5137は、手術中に、術者5181又は助手等によって支持される。
(支持アーム装置)
支持アーム装置5141は、ベース部5143から延伸するアーム部5145を備える。図示する例では、アーム部5145は、関節部5147a、5147b、5147c、及びリンク5149a、5149bから構成されており、アーム制御装置5159からの制御により駆動される。アーム部5145によって内視鏡5115が支持され、その位置及び姿勢が制御される。これにより、内視鏡5115の安定的な位置の固定が実現され得る。
(内視鏡)
内視鏡5115は、先端から所定の長さの領域が患者5185の体腔内に挿入される鏡筒5117と、鏡筒5117の基端に接続されるカメラヘッド5119と、から構成される。図示する例では、硬性の鏡筒5117を有するいわゆる硬性鏡として構成される内視鏡5115を図示しているが、内視鏡5115は、軟性の鏡筒5117を有するいわゆる軟性鏡として構成されてもよい。
鏡筒5117の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡5115には光源装置5157が接続されており、当該光源装置5157によって生成された光が、鏡筒5117の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者5185の体腔内の観察対象に向かって照射される。なお、内視鏡5115は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
カメラヘッド5119の内部には光学系及び撮像素子が設けられており、観察対象からの反射光(観察光)は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、RAWデータとしてカメラコントロールユニット(CCU:Camera Control Unit)5153に送信される。なお、カメラヘッド5119には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。
なお、例えば立体視(3D表示)等に対応するために、カメラヘッド5119には撮像素子が複数設けられてもよい。この場合、鏡筒5117の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。
(カートに搭載される各種の装置)
CCU5153は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等によって構成され、内視鏡5115及び表示装置5155の動作を統括的に制御する。具体的には、CCU5153は、カメラヘッド5119から受け取った画像信号に対して、例えば現像処理(デモザイク処理)等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。CCU5153は、当該画像処理を施した画像信号を表示装置5155に提供する。また、CCU5153には、図18に示す視聴覚コントローラ5107が接続される。CCU5153は、画像処理を施した画像信号を視聴覚コントローラ5107にも提供する。また、CCU5153は、カメラヘッド5119に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。当該撮像条件に関する情報は、入力装置5161を介して入力されてもよいし、上述した集中操作パネル5111を介して入力されてもよい。
表示装置5155は、CCU5153からの制御により、当該CCU5153によって画像処理が施された画像信号に基づく画像を表示する。内視鏡5115が例えば4K(水平画素数3840×垂直画素数2160)又は8K(水平画素数7680×垂直画素数4320)等の高解像度の撮影に対応したものである場合、及び/又は3D表示に対応したものである場合には、表示装置5155としては、それぞれに対応して、高解像度の表示が可能なもの、及び/又は3D表示可能なものが用いられ得る。4K又は8K等の高解像度の撮影に対応したものである場合、表示装置5155として55インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置5155が設けられてもよい。
光源装置5157は、例えばLED(light emitting diode)等の光源から構成され、術部を撮影する際の照射光を内視鏡5115に供給する。
アーム制御装置5159は、例えばCPU等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置5141のアーム部5145の駆動を制御する。
入力装置5161は、内視鏡手術システム5113に対する入力インタフェースである。ユーザは、入力装置5161を介して、内視鏡手術システム5113に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置5161を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置5161を介して、アーム部5145を駆動させる旨の指示や、内視鏡5115による撮像条件(照射光の種類、倍率及び焦点距離等)を変更する旨の指示、エネルギー処置具5135を駆動させる旨の指示等を入力する。
入力装置5161の種類は限定されず、入力装置5161は各種の公知の入力装置であってよい。入力装置5161としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ5171及び/又はレバー等が適用され得る。入力装置5161としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置5155の表示面上に設けられてもよい。
あるいは、入力装置5161は、例えばメガネ型のウェアラブルデバイスやHMD(Head Mounted Display)等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置5161は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置5161は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置5161が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ(例えば術者5181)が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
処置具制御装置5163は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具5135の駆動を制御する。気腹装置5165は、内視鏡5115による視野の確保及び術者の作業空間の確保の目的で、患者5185の体腔を膨らめるために、気腹チューブ5133を介して当該体腔内にガスを送り込む。レコーダ5167は、手術に関する各種の情報を記録可能な装置である。プリンタ5169は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
以下、内視鏡手術システム5113において特に特徴的な構成について、更に詳細に説明する。
(支持アーム装置)
支持アーム装置5141は、基台であるベース部5143と、ベース部5143から延伸するアーム部5145と、を備える。図示する例では、アーム部5145は、複数の関節部5147a、5147b、5147cと、関節部5147bによって連結される複数のリンク5149a、5149bと、から構成されているが、図20では、簡単のため、アーム部5145の構成を簡略化して図示している。実際には、アーム部5145が所望の自由度を有するように、関節部5147a~5147c及びリンク5149a、5149bの形状、数及び配置、並びに関節部5147a~5147cの回転軸の方向等が適宜設定され得る。例えば、アーム部5145は、好適に、6自由度以上の自由度を有するように構成され得る。これにより、アーム部5145の可動範囲内において内視鏡5115を自由に移動させることが可能になるため、所望の方向から内視鏡5115の鏡筒5117を患者5185の体腔内に挿入することが可能になる。
関節部5147a~5147cにはアクチュエータが設けられており、関節部5147a~5147cは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置5159によって制御されることにより、各関節部5147a~5147cの回転角度が制御され、アーム部5145の駆動が制御される。これにより、内視鏡5115の位置及び姿勢の制御が実現され得る。この際、アーム制御装置5159は、力制御又は位置制御等、各種の公知の制御方式によってアーム部5145の駆動を制御することができる。
例えば、術者5181が、入力装置5161(フットスイッチ5171を含む)を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置5159によってアーム部5145の駆動が適宜制御され、内視鏡5115の位置及び姿勢が制御されてよい。当該制御により、アーム部5145の先端の内視鏡5115を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部5145は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部5145は、手術室から離れた場所に設置される入力装置5161を介してユーザによって遠隔操作され得る。
また、力制御が適用される場合には、アーム制御装置5159は、ユーザからの外力を受け、その外力にならってスムーズにアーム部5145が移動するように、各関節部5147a~5147cのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部5145に触れながらアーム部5145を移動させる際に、比較的軽い力で当該アーム部5145を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡5115を移動させることが可能となり、ユーザの利便性を向上させることができる。
ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡5115が支持されていた。これに対して、支持アーム装置5141を用いることにより、人手によらずに内視鏡5115の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。
なお、アーム制御装置5159は必ずしもカート5151に設けられなくてもよい。また、アーム制御装置5159は必ずしも1つの装置でなくてもよい。例えば、アーム制御装置5159は、支持アーム装置5141のアーム部5145の各関節部5147a~5147cにそれぞれ設けられてもよく、複数のアーム制御装置5159が互いに協働することにより、アーム部5145の駆動制御が実現されてもよい。
(光源装置)
光源装置5157は、内視鏡5115に術部を撮影する際の照射光を供給する。光源装置5157は、例えばLED、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、RGBレーザ光源の組み合わせにより白色光源が構成される場合には、各色(各波長)の出力強度及び出力タイミングを高精度に制御することができるため、光源装置5157において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、RGBレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド5119の撮像素子の駆動を制御することにより、RGBそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
また、光源装置5157は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド5119の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
また、光源装置5157は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光(すなわち、白色光)に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察(Narrow Band Imaging)が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの(自家蛍光観察)、又はインドシアニングリーン(ICG)等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置5157は、このような特殊光観察に対応した狭帯域光及び/又は励起光を供給可能に構成され得る。
(カメラヘッド及びCCU)
図21を参照して、内視鏡5115のカメラヘッド5119及びCCU5153の機能についてより詳細に説明する。図21は、図20に示すカメラヘッド5119及びCCU5153の機能構成の一例を示すブロック図である。
図21を参照すると、カメラヘッド5119は、その機能として、レンズユニット5121と、撮像部5123と、駆動部5125と、通信部5127と、カメラヘッド制御部5129と、を有する。また、CCU5153は、その機能として、通信部5173と、画像処理部5175と、制御部5177と、を有する。カメラヘッド5119とCCU5153とは、伝送ケーブル5179によって双方向に通信可能に接続されている。
まず、カメラヘッド5119の機能構成について説明する。レンズユニット5121は、鏡筒5117との接続部に設けられる光学系である。鏡筒5117の先端から取り込まれた観察光は、カメラヘッド5119まで導光され、当該レンズユニット5121に入射する。レンズユニット5121は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット5121は、撮像部5123の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。
撮像部5123は撮像素子によって構成され、レンズユニット5121の後段に配置される。レンズユニット5121を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部5123によって生成された画像信号は、通信部5127に提供される。
撮像部5123を構成する撮像素子としては、例えばCMOS(Complementary Metal Oxide Semiconductor)タイプのイメージセンサであり、Bayer配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば4K以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者5181は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。
また、撮像部5123を構成する撮像素子は、3D表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための1対の撮像素子を有するように構成される。3D表示が行われることにより、術者5181は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部5123が多板式で構成される場合には、各撮像素子に対応して、レンズユニット5121も複数系統設けられる。
また、撮像部5123は、必ずしもカメラヘッド5119に設けられなくてもよい。例えば、撮像部5123は、鏡筒5117の内部に、対物レンズの直後に設けられてもよい。
駆動部5125は、アクチュエータによって構成され、カメラヘッド制御部5129からの制御により、レンズユニット5121のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部5123による撮像画像の倍率及び焦点が適宜調整され得る。
通信部5127は、CCU5153との間で各種の情報を送受信するための通信装置によって構成される。通信部5127は、撮像部5123から得た画像信号をRAWデータとして伝送ケーブル5179を介してCCU5153に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者5181が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部5127には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル5179を介してCCU5153に送信される。
また、通信部5127は、CCU5153から、カメラヘッド5119の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに/又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部5127は、受信した制御信号をカメラヘッド制御部5129に提供する。なお、CCU5153からの制御信号も、光通信によって伝送されてもよい。この場合、通信部5127には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部5129に提供される。
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてCCU5153の制御部5177によって自動的に設定される。つまり、いわゆるAE(Auto Exposure)機能、AF(Auto Focus)機能及びAWB(Auto White Balance)機能が内視鏡5115に搭載される。
カメラヘッド制御部5129は、通信部5127を介して受信したCCU5153からの制御信号に基づいて、カメラヘッド5119の駆動を制御する。例えば、カメラヘッド制御部5129は、撮像画像のフレームレートを指定する旨の情報及び/又は撮像時の露光を指定する旨の情報に基づいて、撮像部5123の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部5129は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部5125を介してレンズユニット5121のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部5129は、更に、鏡筒5117やカメラヘッド5119を識別するための情報を記憶する機能を備えてもよい。
なお、レンズユニット5121や撮像部5123等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド5119について、オートクレーブ滅菌処理に対する耐性を持たせることができる。
次に、CCU5153の機能構成について説明する。通信部5173は、カメラヘッド5119との間で各種の情報を送受信するための通信装置によって構成される。通信部5173は、カメラヘッド5119から、伝送ケーブル5179を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部5173には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部5173は、電気信号に変換した画像信号を画像処理部5175に提供する。
また、通信部5173は、カメラヘッド5119に対して、カメラヘッド5119の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。
画像処理部5175は、カメラヘッド5119から送信されたRAWデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理(帯域強調処理、超解像処理、NR(Noise reduction)処理及び/又は手ブレ補正処理等)、並びに/又は拡大処理(電子ズーム処理)等、各種の公知の信号処理が含まれる。また、画像処理部5175は、AE、AF及びAWBを行うための、画像信号に対する検波処理を行う。
画像処理部5175は、CPUやGPU等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部5175が複数のGPUによって構成される場合には、画像処理部5175は、画像信号に係る情報を適宜分割し、これら複数のGPUによって並列的に画像処理を行う。
制御部5177は、内視鏡5115による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部5177は、カメラヘッド5119の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部5177は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡5115にAE機能、AF機能及びAWB機能が搭載されている場合には、制御部5177は、画像処理部5175による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。
また、制御部5177は、画像処理部5175によって画像処理が施された画像信号に基づいて、術部の画像を表示装置5155に表示させる。この際、制御部5177は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部5177は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具5135使用時のミスト等を認識することができる。制御部5177は、表示装置5155に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者5181に提示されることにより、より安全かつ確実に手術を進めることが可能になる。
カメラヘッド5119及びCCU5153を接続する伝送ケーブル5179は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
ここで、図示する例では、伝送ケーブル5179を用いて有線で通信が行われていたが、カメラヘッド5119とCCU5153との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル5179を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル5179によって妨げられる事態が解消され得る。
以上、本開示に係る技術が適用され得る手術室システム5100の一例について説明した。なお、ここでは、一例として手術室システム5100が適用される医療用システムが内視鏡手術システム5113である場合について説明したが、手術室システム5100の構成はかかる例に限定されない。例えば、手術室システム5100は、内視鏡手術システム5113に代えて、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。
本開示に係る技術は、以上説明した構成のうち、手術室システムを構成する各機器のインタフェース部に好適に適用され得る。具体的には、図1~図15を用いて説明したデータ送受信部101、制御コマンド送受信部102などからなるインタフェースは、図21におけるカメラヘッド、CCUなどのインタフェース部に適用できる。本開示に係る技術を適用することにより、消費電力の低減を図ることができる。
<4.応用例3>
本開示に係る技術は、いわゆる「物のインターネット」であるIoT(Internet of things)と呼ばれる技術へ応用可能である。IoTとは、「物」であるIoTデバイス9100が、他のIoTデバイス9003、インターネット、クラウド9005などに接続され、情報交換することにより相互に制御する仕組みである。IoTは、農業、家、自動車、製造、流通、エネルギー、など様々な産業に利用できる。
図22は、本開示に係る技術が適用され得るIoTシステム9000の概略的な構成の一例を示す図である。
IoTデバイス9001には、温度センサ、湿度センサ、照度センサ、加速度センサ、距離センサ、画像センサ、ガスセンサー、人感センサなどの各種センサなどが含まれる。また、IoTデバイス9001には、スマートフォン、携帯電話、ウェアラブル端末、ゲーム機器などの端末を含めてもよい。IoTデバイス9001は、AC電源、DC電源、電池、非接触給電、いわゆるエナジーハーベストなどにより給電される。IoTデバイス9001は、有線、無線、近接無線通信などにより通信することができる。通信方式は3G/LTE、WiFi、IEEE802.15.4、Bluetooth、Zigbee(登録商標)、Z-Waveなどが好適に用いられる。IoTデバイス9001は、これらの通信手段の複数を切り替えて通信してもよい。
IoTデバイス9001は、1対1、星状、ツリー状、メッシュ状のネットワークを形成してもよい。IoTデバイス9001は、直接に、またはゲートウエイ9002を通して、外部のクラウド9005に接続してもよい。IoTデバイス9001には、IPv4、IPv6、6LoWPANなどによって、アドレスが付与される。IoTデバイス9001から収集されたデータは、他のIoTデバイス9003、サーバ9004、クラウド9005などに送信される。IoTデバイス9001からデータを送信するタイミングや頻度は好適に調整され、データを圧縮して送信してもよい。このようなデータはそのまま利用してもよく、統計解析、機械学習、データマイニング、クラスタ分析、判別分析、組み合わせ分析、時系列分析など様々な手段でデータをコンピュータ9008で分析してもよい。このようなデータを利用することにより、コントロール、警告、監視、可視化、自動化、最適化、など様々なサービスを提供することができる。
本開示に係る技術は、家に関するデバイス、サービスにも応用可能である。家におけるIoTデバイス9001には、洗濯機、乾燥機、ドライヤ、電子レンジ、食洗機、冷蔵庫、オーブン、炊飯器、調理器具、ガス器具、火災報知器、サーモスタット、エアコン、テレビ、レコーダ、オーディオ、照明機器、温水器、給湯器、掃除機、扇風機、空気清浄器、セキュリティカメラ、錠、扉・シャッター開閉装置、スプリンクラー、トイレ、温度計、体重計、血圧計などが含まれる。さらにIoTデバイス9001には、太陽電池、燃料電池、蓄電池、ガスメータ、電力メータ、分電盤を含んでもよい。
家におけるIoTデバイス9001の通信方式は、低消費電力タイプの通信方式が望ましい。また、IoTデバイス9001は屋内ではWiFi、屋外では3G/LTEにより通信するようにしてもよい。クラウド9005上にIoTデバイス制御用の外部サーバ9006を設置し、IoTデバイス9001を制御してもよい。IoTデバイス9001は、家庭機器の状況、温度、湿度、電力使用量、家屋内外の人・動物の存否などのデータを送信する。家庭機器から送信されたデータは、クラウド9005を通じて、外部サーバ9006に蓄積される。このようなデータに基づき、新たなサービスが提供される。このようなIoTデバイス9001は、音声認識技術を利用することにより、音声によりコントロールすることができる。
また各種家庭機器からテレビに情報を直接送付することにより、各種家庭機器の状態を可視化することができる。さらには、各種センサが居住者の有無を判断し、データを空調機、照明などに送付することで、それらの電源をオン・オフすることができる。さらには、各種家庭機器に供えられたディスプレイにインターネットを通じて広告を表示することができる。
以上、本開示に係る技術が適用され得るIoTシステム9000の一例について説明した。本開示に係る技術は、以上説明した構成のうち、例えば、家庭機器間をインタフェースケーブルで接続するためのそれぞれのインタフェース部に好適に適用され得る。具体的には、各種家庭機器とテレビとをインタフェースケーブルで接続する際に、それぞれの機器が持つインタフェース部に適用できる。本開示に係る技術を適用することにより、消費電力の低減を図ることができる。
<5.変形例>
なお、上述実施の形態においては、電子機器100Aと電子機器100Bが1本のインタフェースケーブル200で接続される例を示したが、複数本のインタフェースケーブル200で接続される構成も考えられる。
また、本技術は、以下のような構成をとることもできる。
(1)インタフェースケーブルの複数のデータ伝送用レーンに接続されて外部機器との間でデータ通信を行うデータ通信部と、
上記複数のデータ伝送用レーンの状態を、選択的に、消費電力を低減するためのレーン状態に制御する制御部を備える
電子機器。
(2)上記消費電力を低減するためのレーン状態は、通信停止状態あるいは通信制限状態である
前記(1)に記載の電子機器。
(3)上記インタフェースケーブルの一つの制御データ伝送用レーンに接続されて上記外部機器との間で制御通信を行う制御通信部をさらに備え、
上記制御部は、上記制御通信部における制御通信に応じて、上記複数のデータ伝送用レーンの状態を制御する
前記(1)または(2)に記載の電子機器。
(4)上記制御通信部は、上記外部機器との間で制御通信を開始するとき、上記外部機器に上記制御データ伝送用レーンを通じて、制御通信の開始を要求するコマンドを送信する
前記(3)に記載の電子機器。
(5)上記制御通信部は、上記外部機器に上記制御データ伝送用レーンを通じて、レーン情報とレーン状態情報を含む状態遷移要求コマンドを送信する
前記(3)または(4)に記載の電子機器。
(6)上記制御通信部は、上記外部機器から上記制御データ伝送用レーンを通じて、レーン情報とレーン状態情報を含む状態遷移要求コマンドを受信する
前記(3)から(5)のいずれかに記載の電子機器。
(7)上記制御通信部は、上記外部機器に上記制御データ伝送用レーンを通じて、レーン情報を含む状態通知要求コマンドを送信する
前記(3)から(6)のいずれかに記載の電子機器。
(8)上記制御通信部は、上記外部機器から上記制御データ伝送用レーンを通じて、レーン情報を含む状態通知要求コマンドを受信する
前記(3)から(7)のいずれかに記載の電子機器。
(9)上記制御通信部は、上記外部機器に上記制御データ伝送用レーンを通じて、レーン情報とレーン状態情報を含む状態通知コマンドを送信する
前記(3)から(8)のいずれかに記載の電子機器。
(10)上記制御通信部は、上記外部機器から上記制御データ伝送用レーンを通じて、レーン情報とレーン状態情報を含む状態通知コマンドを受信する
前記(3)から(9)のいずれかに記載の電子機器。
(11)インタフェースケーブルの複数のデータ伝送用レーンに接続されて外部機器との間でデータ通信を行うデータ通信部を備える電子機器のレーン状態制御方法であって、
上記複数のデータ伝送用レーンの状態を、選択的に、消費電力を低減するためのレーン状態に制御する
電子機器のレーン状態制御方法。
(12)インタフェースケーブルの複数のデータ伝送用レーンに接続されて外部機器との間でデータ通信を行うデータ通信部と、
上記インタフェースケーブルの一つの制御データ伝送用レーンに接続されて上記外部機器との間で制御通信を行う制御通信部と、
上記制御データ伝送用レーンの状態を、選択的に、消費電力を低減するためのレーン状態に制御する制御部を備える
電子機器。
(13)上記消費電力を低減するためのレーン状態は、通信停止状態あるいは通信制限状態である
前記(12)に記載の電子機器。
(14)上記消費電力を低減するためのレーン状態とされた上記制御データ伝送用レーンの状態をアクティブ状態に回復させるための操作部をさらに備える
前記(13)または(14)に記載の電子機器。
(15)インタフェースケーブルの複数のデータ伝送用レーンに接続されて外部機器との間でデータ通信を行うデータ通信部と、上記インタフェースケーブルの一つの制御データ伝送用レーンに接続されて上記外部機器との間で制御通信を行う制御通信部を備える電子機器のレーン状態制御方法であって、
上記制御データ伝送用レーンの状態を、選択的に、消費電力を低減するためのレーン状態に制御する
電子機器のレーン状態制御方法。