JPWO2013186960A1

JPWO2013186960A1 - 画像データ処理装置及び画像データ処理方法

Info

Publication number: JPWO2013186960A1
Application number: JP2014521206A
Authority: JP
Inventors: 啓田坂
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2012-06-15
Filing date: 2013-02-13
Publication date: 2016-02-01
Anticipated expiration: 2033-02-13
Also published as: US9646380B2; JP6004354B2; WO2013186960A1; US20150086106A1

Abstract

本出願は、第１領域に表示される第１領域画像と、該第１領域に隣り合う第２領域に表示される第２領域画像と、を含む出力画像を表す出力画像データを生成する画像データ処理装置を開示する。画像データ処理装置は、第１画像を表す第１画像データの一部を、前記第１領域画像を表す第１抽出データとして抽出し、且つ、前記第１画像と同時に観察並びに比較される第２画像を表す第２画像データの一部を、前記第２領域画像を表す第２抽出データとして抽出する抽出部を備える。該抽出部は、前記第１抽出データと前記第２抽出データとを処理し、前記出力画像データを生成する。

Description

本発明は、複数種の画像データから出力画像データを生成する技術に関する。

立体画像は、一般的に、左眼で観察される左画像と、右眼で観察される右画像と、を用いて表現される（特許文献１参照）。左画像と右画像との間のオブジェクトや背景の位置的なずれの大きさは、立体画像の質に大きく影響する。左画像と右画像との間のオブジェクトや背景の位置的なずれが過度に大きいならば、観察者は、過度に強調された立体感を受けることもある。左画像と右画像との間のオブジェクトや背景の位置的なずれが過度に小さいならば、観察者は、画像を立体的に知覚できないこともある。したがって、左画像と右画像との間のオブジェクトや背景の位置的なずれの大きさの調整は、立体画像を作成する編集者にとって、重要である。

複数種の画像を比較することによって、画像中に表された物の時間的な変化も容易に確認され得る。例えば、経時的な色変化や手術といった処理の前後の視覚的な特性の変化は、複数種の画像の比較によって明確に把握され得る。

上述の如く、複数種の画像間の比較によって、様々な視覚的な情報を取得することが可能であるが、現状において、複数種の画像を容易に比較するための技術は存在しない。例えば、左画像と右画像との間のオブジェクトや背景の位置的なずれの大きさの調整は、編集者の技量に大きく依存する。

特開２０１１−１５８７７７号公報

本発明は、複数種の画像を容易に比較するための技術を提供することを目的とする。

本発明の一局面に係る画像データ処理装置は、第１領域に表示される第１領域画像と、前記第１領域に隣り合う第２領域に表示される第２領域画像と、を含む出力画像を表す出力画像データを生成する。画像データ処理装置は、第１画像を表す第１画像データの一部を、前記第１領域画像を表す第１抽出データとして抽出し、且つ、前記第１画像と同時に観察並びに比較される第２画像を表す第２画像データの一部を、前記第２領域画像を表す第２抽出データとして抽出する抽出部を備える。該抽出部は、前記第１抽出データと前記第２抽出データとを処理し、前記出力画像データを生成する。

本発明の他の局面に係る画像データ処理方法は、第１領域に表示される第１領域画像と、前記第１領域に隣り合う第２領域に表示される第２領域画像と、を含む出力画像を表す出力画像データを生成するために利用される。画像データ処理方法は、第１画像を表す第１画像データの一部を、前記第１領域画像を表す第１抽出データとして抽出し、且つ、前記第１画像と同時に観察並びに比較される第２画像を表す第２画像データの一部を、前記第２領域画像を表す第２抽出データとして抽出する段階と、前記第１抽出データと前記第２抽出データとを用いて、前記出力画像データを生成する段階と、を備える。

本発明は、使用者に複数種の画像を容易に比較させることができる。

本発明の目的、特徴及び利点は、以下の詳細な説明と添付図面とによって、より明白となる。

例示的なデータ処理システムの機能構成を表す概略的なブロック図である。図１に示されるデータ処理システムの表示面の概略的な正面図である。図１に示されるデータ処理システムの第１記憶部に記憶された第１画像データによって表現される例示的な第１画像の概略図である。図１に示されるデータ処理システムの第２記憶部に記憶された第２画像データによって表現される例示的な第２画像の概略図である。図３Ａに示される第１画像の概略図である。図３Ｂに示される第２画像の概略図である。図４Ａに示される第１画像を表現する第１画像データの概念図である。図４Ｂに示される第２画像を表現する第２画像データの概念図である。図１に示されるデータ処理システムが生成する出力画像データの概念図である。図６に示される出力画像データによって表現される出力画像の概略図である。図１に示されるデータ処理システムの画像データ処理装置が実行するデータ処理の概略的なフローチャートである。例示的な撮像システムの概略図である。図９に示される撮像システムのハードウェア構成を表す概略的なブロック図である。図１０に示される撮像システムが実行する画像処理を表す概略的なフローチャートである。図１０に示される撮像システムの処理制御部が実行する画像データの抽出処理の概念図である。図１０に示される撮像システムの処理制御部が実行する画像データの抽出処理の概念図である。図１０に示される撮像システムが出力する出力画像の生成に用いられるデータ領域の概念図である。図１０に示される撮像システムの処理制御部が実行する出力画像データの生成処理の概念図である。図１０に示される撮像システムの処理制御部が出力画像データに組み込む境界データによって表される例示的な境界線像の概略図である。図１６に示される境界線像を含む出力画像の生成処理の概念図である。図１０に示される撮像システムの処理制御部が出力画像データに組み込む識別データによって表される例示的な識別像の概略図である。図１８に示される識別像を含む出力画像の生成処理の概念図である。左画像が表示される領域と右画像が表示される領域とを識別するための識別パターンの概念図である。他の撮像システムの概略図である。例示的な撮像タイミングを表す概略的なタイミングチャートである。例示的な撮像タイミングを表す概略的なタイミングチャートである。他の撮像システムのハードウェア構成を表す概略的なブロック図である。図２４に示される撮像システムの表示装置の概略図である。瞼の切開手術の前に撮影された眼の画像である。瞼の切開手術の後に撮影された眼の画像である。図２６Ａ及び図２６Ｂに示される画像から作成された出力画像である。

画像データを処理するための例示的な技術が、図面を参照して説明される。尚、以下に説明される実施形態において、同一の構成要素に対して同一の符号が付されている。また、データ処理技術の概念の明瞭化のため、必要に応じて、重複する説明は省略される。図面に示される構成、配置或いは形状並びに図面に関連する記載は、本実施形態の原理を容易に理解させることを目的とする。したがって、本実施形態の原理は、これらに何ら限定されない。

（データ処理システム）
図１は、例示的なデータ処理システム１００の機能構成を表す概略的なブロック図である。図１を参照して、データ処理システム１００が説明される。

データ処理システム１００は、データ生成装置２００と、表示装置３００と、画像データ処理装置４００と、を備える。データ生成装置２００は、複数の種類の画像データを生成する。データ処理システム１００が、立体画像を生成するために用いられるならば、データ生成装置２００は、左眼で観察される左画像を表現するための左画像データと、右眼で観察される右画像を表現するための右画像データと、を生成する。データ処理システム１００が、視覚的に把握される特性の時間的な変化に関する情報の取得に用いられるならば、データ生成装置２００は、異なる時刻に取得された画像データを生成する。データ生成装置２００は、カメラ装置であってもよく、或いは、画像データを生成することができる他の装置（例えば、コンピュータ）であってもよい。複数の種類の画像データは、データ生成装置２００から画像データ処理装置４００へ送られる。画像データ処理装置４００は、ケーブルによってデータ生成装置２００に接続されてもよい。この場合、画像データは、ケーブルを通じて、画像データ処理装置４００に電気信号として送信される。代替的に、画像データは、無線信号として、データ生成装置２００から画像データ処理装置４００へ送られてもよい。画像データ処理装置４００は、複数の種類の画像データを合成し、出力画像データを生成する。出力画像データは、画像データ処理装置４００から表示装置３００へ送られる。表示装置３００は、表示面３１０を備える。表示装置３００は、出力画像データによって表される出力画像を表示面３１０に表示する。使用者は、表示面３１０に写し出された出力画像を参照し、複数の種類の画像データを同時に観察並びに比較することができる。表示装置３００は、データ処理システム１００に専ら用いられる専用のモニタ装置であってもよい。代替的に、表示装置３００は、表示機能を有する携帯端末であってもよい。データ生成装置２００と画像データ処理装置４００との間のデータ伝送技術と同様に、画像データ処理装置４００から表示装置３００へのデータ伝送は、有線式であってもよく、或いは、無線式であってもよい。

画像データ処理装置４００は、記憶部４１０と、抽出部４２０と、を備える。記憶部４１０は、データ生成装置２００が生成した複数の種類の画像データを記憶する。抽出部４２０は、複数の種類の画像データを合成し、出力画像データを生成する。出力画像データは、抽出部４２０から表示装置３００へ送られる。

記憶部４１０は、第１記憶部４１１と、第２記憶部４１２と、を含む。データ処理システム１００が、立体画像の生成に利用されるならば、第１記憶部４１１は、左画像及び右画像のうち一方を記憶する一方で、第２記憶部４１２は、左画像及び右画像のうち他方を記憶する。データ処理システム１００が、視覚的に把握される特性の時間的な変化に関する情報の取得に用いられるならば、第１記憶部４１１は、先に取得された画像データを記憶し、第２記憶部４１２は、後に取得された画像データを記憶してもよい。以下の説明において、第１記憶部４１１に記憶された画像データは、「第１画像データ」と称される。第２記憶部４１２に記憶された画像データは、「第２画像データ」と称される。

記憶部４１０は、磁気的或いは光学的な記憶ディスクやＵＳＢメモリといった一般的な記憶媒体であってもよい。第１記憶部４１１及び第２記憶部４１２は、記憶媒体中の異なる記憶領域であってもよい。

本実施形態において、データ生成装置２００は、２種類の画像データを画像データ処理装置４００に出力する。代替的に、データ生成装置は、３種類以上の画像データを画像データ処理装置へ出力してもよい。この場合、画像データ処理装置の記憶部は、３種類以上の記憶領域（或いは、記憶素子）を含んでもよい。

抽出部４２０は、読出部４２１と、合成部４２２と、を含む。読出部４２１は、第１記憶部４１１から第１画像データを読み出す。読出部４２１は、第２記憶部４１２から第２画像データを読み出す。第１画像データ及び第２画像データは、読出部４２１から合成部４２２へ出力される。合成部４２２は、第１画像データ及び第２画像データを処理し、出力画像データを生成する。出力画像データは、合成部４２２から表示装置３００へ出力される。

図２は、表示面３１０の概略的な正面図である。図１及び図２を参照して、表示面３１０が説明される。

図２に示される表示面３１０は、複数の第１領域３１１と、複数の第２領域３１２と、に概念的に区分されている。本実施形態において、表示面３１０は、均等に区分されている。代替的に、表示面３１０は、不均等に区分されてもよい。

各第１領域３１１は、水平方向に延びる帯状の領域である。各第２領域３１２も、水平方向に延びる帯状の領域である。代替的に、第１領域及び第２領域は、他の形状であってもよい。例えば、第１領域及び第２領域は、垂直方向に延びる帯状の領域であってもよい。

第１領域３１１及び第２領域３１２は、交互に垂直方向に配列される。したがって、第２領域３１２は、第１領域３１１に上下に隣り合う。第１領域及び第２領域が、垂直方向に延びる帯状の領域であるならば、第１領域及び第２領域は、交互に水平方向に配列される。この場合、第２領域は、第１領域に左右に隣り合う。

図１を参照して説明された如く、出力画像データによって表される出力画像は、表示面３１０に亘って全体的に表示される。以下の説明において、第１領域３１１に表示される画像は、「第１領域画像」と称される。第２領域３１２に表示される画像は、「第２領域画像」と称される。

図３Ａは、第１記憶部４１１に記憶された第１画像データによって表現される例示的な第１画像ＦＩの概略図である。図３Ｂは、第２記憶部４１２に記憶された第２画像データによって表現される例示的な第２画像ＳＩの概略図である。図１乃至図３Ｂを参照して、第１画像ＦＩ及び第２画像ＳＩが説明される。

第１画像データによって表現される第１画像ＦＩは、表示面３１０と等しい形状及び大きさを有してもよい。同様に、第２画像データによって表現される第２画像ＳＩは、表示面３１０と等しい形状及び大きさを有してもよい。したがって、図２を参照して説明された表示面３１０に対する領域分割の手法にしたがって、第１画像ＦＩ及び第２画像ＳＩが分割されるように、合成部４２２は、第１画像データ及び第２画像データを処理することができる。

図４Ａは、第１画像ＦＩの概略図である。図４Ｂは、第２画像ＳＩの概略図である。図２、図４Ａ及び図４Ｂを参照して、第１画像ＦＩ及び第２画像ＳＩが更に説明される。

第１画像ＦＩは、複数の第１領域３１１にそれぞれ対応する複数の領域ＦＲ１と、複数の第２領域３１２にそれぞれ対応する複数の領域ＦＲ２と、を含む。第１画像ＦＩが表示面３１０に表示されるならば、複数の領域ＦＲ１内の画像部分は、複数の第１領域３１１にそれぞれ表示される。第１画像ＦＩが表示面３１０に表示されるならば、複数の領域ＦＲ２内の画像部分は、複数の第２領域３１２にそれぞれ表示される。本実施形態において、領域ＦＲ１は、第１対応領域として例示される。

本実施形態において、各第１領域３１１は、水平方向に延びる帯状の領域として規定されているので、各領域ＦＲ１も水平方向に延びる帯状の領域になる。また、各第２領域３１２は、水平方向に延びる帯状の領域として規定されているので、各領域ＦＲ２も水平方向に延びる帯状の領域になる。尚、第１画像中で区画される領域の形状は、表示面中の分割概念に応じて決定される。したがって、表示面が垂直方向に延びる帯状の領域を用いて区画されるならば、第１画像中の領域も垂直方向に延びる帯状の領域を用いて区画される。本実施形態において、領域ＦＲ１は、第１帯状領域として例示される。

第２画像ＳＩは、複数の第１領域３１１にそれぞれ対応する複数の領域ＳＲ１と、複数の第２領域３１２にそれぞれ対応する複数の領域ＳＲ２と、を含む。第２画像ＳＩが表示面３１０に表示されるならば、複数の領域ＳＲ１内の画像部分は、複数の第１領域３１１にそれぞれ表示される。第２画像ＳＩが表示面３１０に表示されるならば、複数の領域ＳＲ２内の画像部分は、複数の第２領域３１２にそれぞれ表示される。本実施形態において、領域ＳＲ２は、第２対応領域として例示される。

本実施形態において、各第１領域３１１は、水平方向に延びる帯状の領域として規定されているので、各領域ＳＲ１も水平方向に延びる帯状の領域になる。また、各第２領域３１２は、水平方向に延びる帯状の領域として規定されているので、各領域ＳＲ２も水平方向に延びる帯状の領域になる。尚、第２画像中で区画される領域の形状は、表示面中の分割概念に応じて決定される。したがって、表示面が垂直方向に延びる帯状の領域を用いて区画されるならば、第２画像中の領域も垂直方向に延びる帯状の領域を用いて区画される。本実施形態において、領域ＳＲ２は、第２帯状領域として例示される。

図５Ａは、第１画像ＦＩを表現する第１画像データＦＤＴの概念図である。図５Ｂは、第２画像ＳＩを表現する第２画像データＳＤＴの概念図である。図４Ａ乃至図５Ｂを参照して、第１画像データＦＤＴ及び第２画像データＳＤＴが説明される。

第１画像データＦＤＴは、領域ＦＲ１内で表示される画像を表現するデータ部分ＦＤＲ１と、領域ＦＲ２内で表示される画像を表現するデータ部分ＦＤＲ２と、を含む。第２画像データＳＤＴは、領域ＳＲ１内で表示される画像を表現するデータ部分ＳＤＲ１と、領域ＳＲ２内で表示される画像を表現するデータ部分ＳＤＲ２と、を含む。

図６は、出力画像データＯＩＤの概念図である。図１、図２、図５Ａ乃至図６を参照して、抽出部４２０によるデータ処理が説明される。

読出部４２１は、第１記憶部４１１から第１画像データＦＤＴを読み出す。また、読出部４２１は、第２記憶部４１２から第２画像データＳＤＴを読み出す。

読出部４２１は、第１画像データＦＤＴからデータ部分ＦＤＲ１を抽出する。また、読出部４２１は、第２画像データＳＤＴから、データ部分ＳＤＲ２を抽出する。データ部分ＦＤＲ１，ＳＤＲ２は、読出部４２１から合成部４２２へ出力される。本実施形態において、データ部分ＦＤＲ１は、第１抽出データとして例示される。データ部分ＳＤＲ２は、第２抽出データとして例示される。

合成部４２２は、第１領域３１１に表示される画像を表すデータとして、データ部分ＦＤＲ１を処理する。合成部４２２は、第２領域３１２に表示される画像を表すデータとして、データ部分ＳＤＲ２を処理する。この結果、データ部分ＦＤＲ１，ＳＤＲ２を含む出力画像データＯＩＤが生成される。

図７は、出力画像データＯＩＤによって表現される出力画像ＯＩの概略図である。図１乃至図３Ｂ、図６及び図７を参照して、出力画像ＯＩが説明される。

合成部４２２による合成処理の結果、出力画像ＯＩは、複数の領域ＦＲ１と複数の領域ＳＲ２とを含む。出力画像ＯＩ中において、領域ＦＲ１及び領域ＳＲ２は、交互に配列される。領域ＦＲ１は、第１領域３１１に表示される。領域ＳＲ２は、第２領域３１２に表示される。領域ＦＲ１，ＳＲ２は、表示面３１０に同時に表示されるので、使用者は、第１画像ＦＩと第２画像ＳＩとを容易に比較することができる。本実施形態において、領域ＦＲ１は、第１領域画像として例示される。領域ＳＲ２は、第２領域画像として例示される。

図８は、画像データ処理装置４００が実行するデータ処理の概略的なフローチャートである。図１及び図８を参照して、画像データ処理装置４００のデータ処理が説明される。

（ステップＳ１１０）
ステップＳ１１０において、第１記憶部４１１は、第１画像を表す第１画像データを記憶する。第２記憶部４１２は、第２画像を表す第２画像データを記憶する。その後、ステップＳ１２０が実行される。

（ステップＳ１２０）
ステップＳ１２０において、読出部４２１は、第１記憶部４１１から第１画像データを読み出す。また、読出部４２１は、第２記憶部４１２から第２画像データを読み出す。読出部４２１は、その後、第１画像データから一部のデータを抽出する。また、読出部４２１は、第２画像データから一部のデータを抽出する。代替的に、読出部４２１は、第１画像データを読み出しながら、第１画像データの一部を抽出してもよい。読出部４２１は、第２画像データを読み出しながら、第２画像データの一部を抽出してもよい。読出部４２１による読出並びに抽出処理の手法は、本実施形態の原理を何ら限定しない。抽出されたデータは、読出部４２１から合成部４２２へ出力される。その後、ステップＳ１３０が実行される。

（ステップＳ１３０）
ステップＳ１３０において、合成部４２２は、読出部４２１から受け取ったデータを合成し、出力画像データを生成する。

（立体画像の作成への用途）
上述のデータ処理技術は、立体画像の作成に有用である。

図９は、撮像システム１１０の概略図である。図１乃至図３Ｂ、図５Ａ乃至図７並びに図９を参照して、撮像システム１１０が説明される。尚、図１を参照して説明された様々な要素と同一の要素に対して、同一の符号が付されている。同一の符号が付された要素に対して、図１乃至図８に基づく説明が適用される。

撮像システム１１０は、カメラ装置５００と、表示装置３００と、ケーブル３２０と、を備える。カメラ装置５００は、データ生成装置２００の機能と画像データ処理装置４００の機能とを有する（図１を参照）。

カメラ装置５００は、筐体５１０と、左レンズ部５２１と、右レンズ部５３１と、を備える。筐体５１０は、左レンズ部５２１と右レンズ部５３１とを保持する。左レンズ部５２１及び右レンズ部５３１は水平方向に整列する。カメラ装置５００は、左レンズ部５２１及び右レンズ部５３１を用いて、被写体Ｏを撮像する。尚、カメラ装置５００は、左レンズ部５２１及び右レンズ部５３１を同時に用いて、被写体Ｏを撮像してもよい。代替的に、カメラ装置５００は、左レンズ部５２１及び右レンズ部５３１のうち一方を先に用いて被写体Ｏを撮像し、その後、左レンズ部５２１及び右レンズ部５３１のうち他方を用いて被写体Ｏを撮像してもよい。

カメラ装置５００は、左レンズ部５２１を通じて入射した光を用いて、左画像データを生成する。また、カメラ装置５００は、右レンズ部５３１を通じて入射した光を用いて、右画像データを生成する。左画像データは、左眼で観察される左画像を生成するために利用される。右画像データは、右眼で観察される右画像を生成するために利用される。左画像データは、第１画像データＦＤＴとして処理されてもよい（図５Ａを参照）。この場合、左画像は、第１画像ＦＩとして表示される（図３Ａを参照）。右画像データは、第２画像データＳＤＴとして処理されてもよい（図５Ｂを参照）。この場合、右画像は、第２画像ＳＩとして表示される（図３Ｂを参照）。

筐体５１０は、左画像データ及び右画像データを処理するための様々な装置を収容する。ケーブル３２０は、カメラ装置５００と表示装置３００とに接続される。カメラ装置５００は、左画像データ及び右画像データを処理し、出力画像データＯＩＤを生成する（図６を参照）。出力画像データＯＩＤは、ケーブル３２０を通じて、カメラ装置５００から表示装置３００へ出力される。

表示装置３００は、表示面３１０上に、出力画像データＯＩＤに応じて、出力画像ＯＩを表示する（図７を参照）。この結果、使用者は、左画像内の被写体Ｏと右画像内の被写体Ｏとの間の位置的な差異を視覚的に把握することができる。両画像内の被写体Ｏの位置的な差異が適切な値になるように、使用者は、カメラ装置５００を調整することができる。

必要に応じて、カメラ装置５００は、左画像データ及び右画像データを表示装置３００に選択的に出力してもよい。この結果、使用者は、左レンズ部５２１に対する調整作業と、右レンズ部５３１に対する調整作業と、を個別に行うことができる。

必要に応じて、カメラ装置５００は、左画像データ全てを出力する出力動作と、右画像データ全てを出力する出力動作と、を交互に繰り返してもよい。この間、表示装置３００は、表示面３１０全体に左画像を表示する表示動作と、表示面３１０全体に右画像を表示する表示動作と、を実行することができる。使用者が、これらの表示動作の切替に同期して開閉する眼鏡装置を通じて、表示面３１０を観察するならば、使用者は、左眼で左画像を観察し、右眼で右画像を観察することができる。この結果、使用者は、表示面３１０に表示された映像を立体的に知覚することができる。したがって、使用者は、左画像データと右画像データとによって表現される立体画像の質を評価することができる。

必要に応じて、カメラ装置５００は、左画像データを第１画像データＦＤＴとして処理し、且つ、右画像データを第２画像データＳＤＴとして処理する処理動作と、右画像データを第１画像データＦＤＴとして処理し、且つ、左画像データを第２画像データＳＤＴとして処理する処理動作と、を交互に切り替えてもよい。カメラ装置５００が、左画像データを第１画像データＦＤＴとして処理し、且つ、右画像データを第２画像データＳＤＴとして処理する処理動作を実行している間、表示装置３００は、第１領域３１１に左画像を表示し、第２領域３１２に右画像を表示することができる（図２を参照）。カメラ装置５００が、右画像データを第１画像データＦＤＴとして処理し、且つ、左画像データを第２画像データＳＤＴとして処理する処理動作を実行している間、表示装置３００は、第１領域３１１に右画像を表示し、第２領域３１２に左画像を表示することができる（図２を参照）。この場合、表示装置３００は、第１領域３１１から出射される映像光と第２領域３１２から出射される映像光に対して、互いに異なる光学的特性を与えてもよい。使用者が着用する眼鏡装置が、光学的特性に応じて光の透過及び遮断を行う光学素子を有するならば、使用者は、表示面３１０上に表示された映像を立体的に知覚することができる。したがって、使用者は、左画像データと右画像データとによって表現される立体画像の質を評価することができる。

カメラ装置５００は、使用者に立体的に映像を知覚させるための既知の様々な技術にしたがって、表示装置３００への出力動作を変更してもよい。

図１０は、撮像システム１１０のハードウェア構成を表す概略的なブロック図である。図１、図９及び図１０を参照して、撮像システム１１０が更に説明される。

カメラ装置５００は、左撮像部５２０と、右撮像部５３０と、レンズ制御部５４０と、信号処理部５５０と、メモリ５６０と、入力インターフェース５７０と、を備える。左撮像部５２０は、左画像データを生成する。左画像データは、信号処理部５５０に出力され、その後、メモリ５６０に格納される。右撮像部５３０は、右画像データを生成する。右画像データは、信号処理部５５０に出力され、その後、メモリ５６０に格納される。左撮像部５２０及び右撮像部５３０は、データ生成装置２００に対応する（図１を参照）。メモリ５６０は、記憶部４１０に対応する（図１を参照）。

信号処理部５５０は、メモリ５６０から、左画像データ及び右画像データを読み出す。信号処理部５５０は、その後、左画像データ及び右画像データを合成し、出力画像データを生成する。出力画像データは、信号処理部５５０から表示装置３００へ出力される。表示装置３００は、出力画像データに応じて、出力画像を表示面３１０に表示する。

入力インターフェース５７０は、キーボード、マウス、入力ボタン、リモートコントローラ、タッチパネルやケーブルを介して信号処理部５５０に接続された外部入力装置であってもよい。使用者は、表示面３１０に写し出された画像を観察し、入力インターフェース５７０に所望の動作を行ってもよい。入力インターフェース５７０は、使用者の操作に応じた操作信号を信号処理部５５０に出力する。信号処理部５５０は、レンズ制御部５４０及び／又は表示装置３００を駆動するための駆動信号を出力してもよい。

レンズ制御部５４０は、信号処理部５５０からの駆動信号に応じて、左撮像部５２０と右撮像部５３０とを制御する。この結果、撮像システム１１０は、立体画像を適切に作成することができる。

左撮像部５２０は、上述の左レンズ部５２１を備える。左レンズ部５２１は、複数のレンズを含むレンズ群であってもよい。左レンズ部５２１に加えて、左撮像部５２０は、左撮像素子５２２と、左ＡＤ変換器５２３と、左アクチュエータ５２４と、を備える。

左アクチュエータ５２４は、レンズ制御部５４０の制御下で、左レンズ部５２１を動作させる。例えば、左アクチュエータ５２４は、左レンズ部５２１のレンズ間の距離を調整してもよい。この結果、被写体Ｏからの光に対する焦点が適切に調整される。また、左レンズ部５２１のレンズ間の距離の調整によって、ズーム機能がもたらされてもよい。左アクチュエータ５２４は、モータや、レンズを駆動することができる他の動力装置であってもよい。

左撮像素子５２２は、左レンズ部５２１を透過した光を受ける。左撮像素子５２２は、その後、受光された光のエネルギを、電気エネルギに変換する。この結果、被写体Ｏからの光は、電気信号に変換される。電気信号は、左撮像素子５２２から左ＡＤ変換器５２３へ出力される。

左撮像素子５２２は、アナログ信号を左ＡＤ変換器５２３へ出力する。左ＡＤ変換器５２３は、アナログ信号を、デジタル信号に変換する。デジタル信号は、左画像データに相当する。アナログ信号からデジタル信号への変換によって、信号処理部５５０は、左画像データを容易に処理することができる。

右撮像部５３０は、上述の右レンズ部５３１を備える。右レンズ部５３１は、複数のレンズを含むレンズ群であってもよい。右レンズ部５３１に加えて、右撮像部５３０は、右撮像素子５３２と、右ＡＤ変換器５３３と、右アクチュエータ５３４と、を備える。

右アクチュエータ５３４は、レンズ制御部５４０の制御下で、右レンズ部５３１を動作させる。例えば、右アクチュエータ５３４は、右レンズ部５３１のレンズ間の距離を調整してもよい。この結果、被写体Ｏからの光に対する焦点が適切に調整される。また、右レンズ部５３１のレンズ間の距離の調整によって、ズーム機能がもたらされてもよい。右アクチュエータ５３４は、モータや、レンズを駆動することができる他の動力装置であってもよい。

右撮像素子５３２は、右レンズ部５３１を透過した光を受ける。右撮像素子５３２は、その後、受光された光のエネルギを、電気エネルギに変換する。この結果、被写体Ｏからの光は、電気信号に変換される。電気信号は、右撮像素子５３２から右ＡＤ変換器５３３へ出力される。

右撮像素子５３２は、アナログ信号を右ＡＤ変換器５３３へ出力する。右ＡＤ変換器５３３は、アナログ信号を、デジタル信号に変換する。デジタル信号は、右画像データに相当する。アナログ信号からデジタル信号への変換によって、信号処理部５５０は、右画像データを容易に処理することができる。

信号処理部５５０は、左信号処理部５５１と、右信号処理部５５２と、処理制御部５５３と、を備える。左信号処理部５５１及び右信号処理部５５２は、処理制御部５５３の制御下で動作する。

上述の如く、左ＡＤ変換器５２３は、左画像データに相当するデジタル信号を生成する。デジタル信号は、左ＡＤ変換器５２３から左信号処理部５５１に出力される。左ＡＤ変換器５２３は、処理制御部５５３の制御下で、デジタル信号を処理する。処理制御部５５３が、デジタル信号によって定められる輝度レベルを増大させる指示を左信号処理部５５１に与えるならば、左信号処理部５５１は、デジタル信号を処理し、輝度レベルを増大させる。尚、処理制御部５５３は、左信号処理部５５１に、コントラストを調整するための補正指示、色相を調整するための補正指示、エッジ（輪郭）の強度を調整するための補正指示を与えてもよい。左信号処理部５５１は、処理制御部５５３の制御下で様々な信号処理を行うことができる。

上述の如く、右ＡＤ変換器５３３は、右画像データに相当するデジタル信号を生成する。デジタル信号は、右ＡＤ変換器５３３から右信号処理部５５２に出力される。右ＡＤ変換器５３３は、処理制御部５５３の制御下で、デジタル信号を処理する。処理制御部５５３が、デジタル信号によって定められる輝度レベルを増大させる指示を右信号処理部５５２に与えるならば、右信号処理部５５２は、デジタル信号を処理し、輝度レベルを増大させる。尚、処理制御部５５３は、右信号処理部５５２に、コントラストを調整するための補正指示、色相を調整するための補正指示、エッジ（輪郭）の強度を調整するための補正指示を与えてもよい。右信号処理部５５２は、処理制御部５５３の制御下で様々な信号処理を行うことができる。

処理制御部５５３は、左信号処理部５５１に入力されるデジタル信号及び右信号処理部５５２に入力されるデジタル信号に対する処理内容を決定する。処理内容は、処理制御部５５３から左信号処理部５５１及び右信号処理部５５２のそれぞれに通知される。左信号処理部５５１によって処理されたデジタル信号によって表される左画像データ及び右信号処理部５５２によって処理されたデジタル信号によって表される右画像データは、メモリ５６０に記憶される。処理制御部５５３は、メモリ５６０に記憶される左画像データ及び右画像データのバランスをとるためのバランス制御を行う。

上述の如く、表示面３１０は、左画像データによって表される左画像の一部及び右画像データによって表される右画像の一部が交互に並べられた出力画像を表示する。例えば、使用者は、表示面３１０に写し出された左画像と右画像とを対比し、左画像中の被写体Ｏと右画像中の被写体Ｏとの間の位置的な差異を見出す。このとき、表示面３１０に写し出された左画像と右画像との間での輝度レベル、色相、コントラストやエッジ強度の差異が大きいならば、使用者は、左画像中の被写体Ｏと右画像中の被写体Ｏとの間の位置的な差異を見極めにくいこともある。例えば、左画像及び右画像のうち一方が明るく、他方が暗いならば、使用者は、両画像を比較しにくいこともある。上述のバランス制御は、表示面３１０に写し出された左画像と右画像との間での輝度レベル、色相、コントラストやエッジ強度の差異を適切な値にすることを目的とする。

使用者が、左画像中の被写体Ｏと右画像中の被写体Ｏとの間の位置的な差異を見極めようとするならば、被写体Ｏを除く領域を表すデジタル信号間での差異は、小さいことが好ましいこともある。この場合、被写体Ｏを除く領域を表すデジタル信号間での差異が小さくなるように、処理制御部５５３は、上述のバランス制御の内容を決定してもよい。左信号処理部５５１及び右信号処理部５５２は、決定された内容のバランス制御の下、デジタル信号を処理してもよい。バランス制御は、比較の目的となる対象以外の領域に関して、左画像と右画像との間の差異を所定の値以下にすることを目的としてもよい。

処理制御部５５３は、バランス制御下で処理された左画像データ及び右画像データをメモリ５６０に出力する。メモリ５６０は、左画像データ及び右画像データを記憶する。

処理制御部５５３は、その後、メモリ５６０から左画像データ及び右画像データを読み出す。この点において、処理制御部５５３は、読出部４２１に相当する（図１を参照）。

処理制御部５５３は、その後、左画像データの一部及び右画像データの一部を抽出する。処理制御部５５３は、左画像データを上述の第１画像データとして処理してもよい。この場合、処理制御部５５３は、右画像データを上述の第２画像データとして処理する。代替的に、処理制御部５５３は、右画像データを上述の第１画像データとして処理してもよい。この場合、処理制御部５５３は、左画像データを上述の第２画像データとして処理する。

処理制御部５５３は、左画像データの一部と右画像データの一部とを組み合わせ、出力画像データを生成する。この点において、処理制御部５５３は、合成部４２２に相当する（図１を参照）。

出力画像データは、処理制御部５５３から表示装置３００に出力される。表示装置３００は、出力画像データに応じて、出力画像を表示する。

図１１は、撮像システム１１０が実行する画像処理を表す概略的なフローチャートである。図１０及び図１１を参照して、撮像システム１１０が実行する画像処理が説明される。

（ステップＳ２１０）
ステップＳ２１０において、左撮像部５２０及び右撮像部５３０は、撮像を行う。この結果、左画像データの生成に用いられるデジタル信号は、左撮像部５２０から左信号処理部５５１に出力される。右画像データの生成に用いられるデジタル信号は、右撮像部５３０から右信号処理部５５２へ出力される。デジタル信号の出力の後、ステップＳ２２０が実行される。

（ステップＳ２２０）
ステップＳ２２０において、左信号処理部５５１及び右信号処理部５５２は、デジタル信号を処理する。処理制御部５５３は、左信号処理部５５１及び右信号処理部５５２に入力されたデジタル信号を解析し、バランス制御の内容を決定する。バランス制御の内容は、左信号処理部５５１と右信号処理部５５２とに通知される。左信号処理部５５１及び右信号処理部５５２は、処理制御部５５３による上述のバランス制御下で、信号処理を実行してもよい。信号処理の後、ステップＳ２３０が実行される。

（ステップＳ２３０）
ステップＳ２３０において、処理制御部５５３は、左信号処理部５５１によって処理されたデジタル信号を左画像データとしてメモリ５６０に格納する。また、処理制御部５５３は、右信号処理部５５２によって処理されたデジタル信号を右画像データとしてメモリ５６０に格納する。メモリ５６０へのデータの記録の後、ステップＳ２４０が実行される。

（ステップＳ２４０）
ステップＳ２４０において、処理制御部５５３は、左画像データと右画像データとをメモリ５６０から読み出す。処理制御部５５３は、左画像データの一部を出力画像データの一部として利用される画像データとして抽出する。また、処理制御部５５３は、右画像データの一部を出力画像データの一部として利用される画像データとして抽出する。処理制御部５５３は、抽出された画像データを組み合わせ、出力画像データを生成する。出力画像データの生成の後、ステップＳ２５０が実行される。

（ステップＳ２５０）
ステップＳ２５０において、出力画像データは、処理制御部５５３から表示装置３００へ出力される。表示装置３００は、出力画像データに応じて、表示面３１０に出力画像を表示する。この結果、使用者は、左画像と右画像とを同時に観察することができる。例えば、使用者は、左画像中の被写体の水平位置と、右画像中の被写体の水平位置と、の間の差異を、左画像と右画像との間の視差量として知覚することができる。両画像間の被写体の位置的な差異が大きいならば、使用者は、左画像と右画像との間の視差量が大きいと判断することができる。両画像間の被写体の位置的な差異が小さいならば、使用者は、左画像と右画像との間の視差量が大きいと判断することができる。

使用者は、視差量の関する上述の判断結果に応じて、左画像と右画像との間の視差量を適切に調整することができる。例えば、使用者は、入力インターフェース５７０を操作し、左撮像部５２０及び右撮像部５３０を調整してもよい。焦点を合わせられた被写体に関する視差量が適切な値となるように、使用者は、左撮像部５２０及び右撮像部５３０を調整することができる。或いは、表示面３１０に現れる画像全体に関する視差量が適切な値となるように、使用者は、左撮像部５２０及び右撮像部５３０を調整することができる。使用者は、視差量の調整のために、左撮像部５２０と右撮像部５３０との間の距離や輻輳角を調整してもよい。

本実施形態の原理によって、使用者は、左画像と右画像との間の視差量を容易に把握することができる。この結果、使用者は、左画像と右画像とを取得するための様々な設定を容易且つ適切に調整することができる。

図１２は、ステップＳ２４０において処理制御部５５３が実行する画像データの抽出処理の概念図である。図１０乃至図１２を参照して、処理制御部５５３が実行する画像データの抽出処理が説明される。

図１２は、例示的な左画像と、左画像に対応する左画像データと、を示す。図１２に示される左画像は、水平方向に延びる１８個の矩形領域を用いて、概念的に区分されている。説明の明瞭化のため、各矩形領域には、上から番号が順に付されている。最も上の矩形領域には、数字「１」が付され、最も下の矩形領域には、数字「１８」が付されている。奇数が付された矩形領域及び偶数が付された矩形領域は垂直方向に交互に整列する。左画像は、奇数が付された矩形領域と偶数が付された矩形領域とによって表現される。

左画像データは、左画像を表現するので、左画像に対する上述の区画パターンが得られるように、処理制御部５５３は、左画像データを区分することができる。ステップＳ２４０において、処理制御部５５３は、奇数が付された矩形領域の画像を表すデータ部分を、左画像データから抽出する。

図１３は、ステップＳ２４０において処理制御部５５３が実行する画像データの抽出処理の概念図である。図１０乃至図１３を参照して、処理制御部５５３が実行する画像データの抽出処理が説明される。

図１３は、例示的な右画像と、右画像に対応する右画像データと、を示す。図１２を参照して説明された左画像と同様に、図１３に示される右画像は、水平方向に延びる１８個の矩形領域を用いて、概念的に区分されている。説明の明瞭化のため、各矩形領域には、上から番号が順に付されている。最も上の矩形領域には、数字「１」が付され、最も下の矩形領域には、数字「１８」が付されている。奇数が付された矩形領域及び偶数が付された矩形領域は垂直方向に交互に整列する。右画像は、奇数が付された矩形領域と偶数が付された矩形領域とによって表現される。図１３に示される右画像に対する区画パターンは、図１２を参照して説明された左画像に対する区画パターンと同一である。

右画像データは、右画像を表現するので、右画像に対する上述の区画パターンが得られるように、処理制御部５５３は、右画像データを区分することができる。ステップＳ２４０において、処理制御部５５３は、偶数が付された矩形領域の画像を表すデータ部分を、右画像データから抽出する。

図１４は、出力画像の生成に用いられるデータ領域の概念図である。図２、図１０乃至図１４を参照して、ステップＳ２４０において処理制御部５５３が実行する出力画像データの生成処理が説明される。

図１４は、１８個のデータ領域を概念的に表す。説明の明瞭化のため、各データ領域には、上から番号が順に付されている。最も上のデータ領域には、数字「１」が付され、最も下のデータ領域には、数字「１８」が付されている。

奇数が付されたデータ領域は、第１領域３１１に表示される画像を表すデータのために割り当てられる（図２を参照）。偶数が付されたデータ領域は、第２領域３１２に表示されるデータのために割り当てられる（図２を参照）。尚、これらのデータ領域は、メモリ５６０の記憶領域の一部であってもよい。

図１１を参照して説明された如く、処理制御部５５３は、奇数が付された矩形領域の画像を表すデータ部分を、左画像データから抽出する。処理制御部５５３は、奇数が付されたデータ領域に書き込む。

図１２を参照して説明された如く、処理制御部５５３は、偶数が付された矩形領域の画像を表すデータ部分を、右画像データから抽出する。処理制御部５５３は、偶数が付されたデータ領域に書き込む。

図１５は、ステップＳ２４０において処理制御部５５３が実行する出力画像データの生成処理の概念図である。図１０及び図１５を参照して、出力画像データの生成処理が説明される。

処理制御部５５３の上述の書込処理によって抽出された左画像データが表現する画像は、第１領域３１１に表示される。処理制御部５５３の上述の書込処理によって抽出された右画像データが表現する画像は、第２領域３１２に表示される。この結果、左画像を表す矩形領域及び右画像を表す矩形領域が交互に垂直方向に整列した画像が、出力画像として、表示面３１０上に表示される。

本実施形態において、左画像が表示される矩形領域及び右画像が表示される矩形領域は、交互に設定されている。代替的に、表示面３１０中において、左画像が表示される矩形領域が部分的に連続する領域が存在してもよい。同様に、表示面３１０中において、右画像が表示される矩形領域が部分的に連続する領域が存在してもよい。使用者が、特定の垂直位置において、左画像と右画像との間の水平方向の位置差を確認したいならば、特定の垂直位置において、左画像と右画像との間の境界が現れるように、処理制御部５５３は、画像データの抽出処理を行ってもよい。

本実施形態において、表示面３１０は、均等に分割されている。代替的に、表示面３１０が概念的に不均等に分割されるように、処理制御部５５３は画像データの抽出処理を行ってもよい。

図１６は、処理制御部５５３が出力画像データに組み込む境界データによって表される例示的な境界線像の概略図である。図１０、図１４及び図１６を参照して、境界線像が説明される。

上述の如く、使用者は、出力画像を観察し、左画像と右画像との間の視差量を見極めることができる。出力画像中に、左画像と右画像との間の境界が表されるならば、使用者は、視差量を容易に把握することができる。境界線像は、左画像と右画像との間の境界を表す。

境界線像は、第１境界線ＦＢＬと第２境界線ＳＢＬとを含んでもよい。本実施形態において、第１境界線ＦＢＬは、第２境界線ＳＢＬよりも太い。代替的に、第１境界線ＦＢＬは、第２境界線ＳＢＬと色相において相違してもよい。

データ領域へ書き込まれるデータが、右画像データから左画像データに切り替えられるときに、処理制御部５５３は、第１境界線ＦＢＬを表すデータをデータ領域に書き込んでもよい。データ領域へ書き込まれるデータが、左画像データから右画像データに切り替えられるときに、処理制御部５５３は、第２境界線ＳＢＬを表すデータをデータ領域に書き込んでもよい。

図１７は、境界線像を含む出力画像の生成処理の概念図である。図１０及び図１７を参照して、出力画像の生成処理が説明される。

上述の如く、処理制御部５５３は、左画像データと右画像データとをデータ領域に書き込む間、境界データも書き込む。この結果、出力画像は、左画像と右画像とに加えて、境界線像も含むことになる。使用者は、第１境界線ＦＢＬの下方、且つ、第２境界線ＳＢＬの上方に存在する領域に表される画像を、左画像として識別することができる。また、使用者は、第１境界線ＦＢＬの上方、且つ、第２境界線ＳＢＬの下方に存在する領域に表される画像を、右画像として識別することができる。

本実施形態において、２種類の境界線が用いられている。代替的に、１種類の境界線が利用されてもよい。この場合、使用者は、境界線間の領域に左画像及び右画像が含まれていると認識した上で、左右の画像間の視差量を見極めることができる。

図１８は、処理制御部５５３が出力画像データに組み込む識別データによって表される例示的な識別像の概略図である。図１０、図１６及び図１８を参照して、識別像が説明される。

上述の如く、使用者は、出力画像を観察し、左画像と右画像との間の視差量を見極めることができる。左画像が表示される領域中に左画像を表す識別像が表示され、及び／又は、右画像が表される領域中に右画像を表す識別像が表示されるならば、使用者は、視差量を容易に把握することができる。

本実施形態において、左画像が表示される領域を表す識別像として、「Ｌ」のマークが用いられる。また、右画像が表示される領域を表す識別像として、「Ｒ」のマークが用いられる。代替的に、左画像と右画像との間で、形状及び／又は色相において異なるマークが識別像として用いられてもよい。

本実施形態において、「Ｌ」のマーク及び「Ｒ」のマークのうち一方は、第１識別像として例示される。「Ｌ」のマーク及び「Ｒ」のマークのうち他方は、第１識別像として例示される。

識別データは、メモリ５６０によって記憶されてもよい。処理制御部５５３は、左画像データとともに「Ｌ」のマークを表示するための識別データをメモリ５６０から読み出してもよい。処理制御部５５３は、「Ｌ」のマークを表示するための識別データを左画像データに組み込み、出力画像を生成してもよい。処理制御部５５３は、右画像データとともに「Ｒ」のマークを表示するための識別データをメモリ５６０から読み出してもよい。処理制御部５５３は、「Ｒ」のマークを表示するための識別データを右画像データに組み込み、出力画像を生成してもよい。

図１８には、識別像とともに、境界線が表されている。境界線は、図１６を参照して説明された技術によって表示されてもよい。

図１９は、識別像を含む出力画像の生成処理の概念図である。図１０及び図１９を参照して、出力画像の生成処理が説明される。

上述の如く、処理制御部５５３は、左画像データと右画像データとをデータ領域に書き込む間、識別データも書き込む。この結果、出力画像は、左画像と右画像とに加えて、識別像も含むことになる。使用者は、「Ｌ」のマークが表示された領域に写し出される画像を、左画像として識別することができる。また、使用者は、「Ｒ」のマークが表示された領域に写し出される画像を、右画像として識別することができる。

本実施形態において、２種類の識別像が用いられている。代替的に、１種類の識別像が利用されてもよい。

図２０は、左画像が表示される領域と右画像が表示される領域とを識別するための識別パターンの概念図である。図１０及び図２０を参照して、識別パターンが説明される。

上述の如く、使用者は、出力画像を観察し、左画像と右画像との間の視差量を見極めることができる。左画像が表示される領域と右画像が表示される領域との間で、色相、コントラスト及び／又は輝度レベルにおいて差異が識別されるならば、使用者は、視差量を容易に把握することができる。

処理制御部５５３は、左画像データと右画像データとの間で、色相、コントラスト及び／又は輝度レベルに関して異なる処理を実行してもよい。処理制御部５５３が、左画像データに関して、赤の色相を強める処理をするならば、使用者は、全体的に赤色がかった領域に表示されている画像を、左画像として認識することができる。尚、左画像データと右画像データとの間における色相、コントラスト及び／又は輝度レベルに関する異なる処理によってもたらされる差異が、左画像と右画像との間の比較を阻害しないように、処理制御部５５３は、識別パターンを作り出す。

図２１は、撮像システム１２０の概略図である。図１、図９及び図２１を参照して、撮像システム１２０が説明される。尚、図９を参照して説明された様々な要素と同一の要素に対して、同一の符号が付されている。同一の符号が付された要素に対して、図１に基づく説明が適用される。

撮像システム１２０は、カメラ装置２５０と、表示装置３００と、ケーブル３２０と、コンピュータ装置４５０と、を備える。カメラ装置２５０は、図１を参照して説明されたデータ生成装置２００に相当する。コンピュータ装置４５０は、図１を参照して説明された画像データ処理装置４００に相当する。

カメラ装置２５０は、左カメラ装置２５１と、右カメラ装置２５２と、を備える。左カメラ装置２５１は、図１０を参照して説明された左撮像部５２０が有するハードウェア構成を有してもよい。右カメラ装置２５２は、図１０を参照して説明された右撮像部５３０が有するハードウェア構成を有してもよい。

コンピュータ装置４５０は、レンズ制御部５４０、信号処理部５５０、メモリ５６０及び入力インターフェース５７０を備えてもよい（図１０を参照）。したがって、撮像システム１２０は、図１０を参照して説明された撮像システム１１０と同様の動作を行うことができる。

図２２は、例示的な撮像タイミングを表す概略的なタイミングチャートである。図１０、図２１及び図２２を参照して、撮像タイミングが説明される。

左撮像部５２０及び右撮像部５３０が、同時に撮像動作をするならば、左画像データ及び右画像データは、同時刻に取得される。同様に、左カメラ装置２５１及び右カメラ装置２５２が、同時に撮像動作をするならば、左画像データ及び右画像データは、同時刻に取得される。この場合、左画像データと右画像データとによって表される画像には、時間的な変動因子は、ほとんど含まれない。したがって、信号処理部５５０は、同時刻に取得された左画像データ及び右画像データを用いて、出力画像を生成してもよい。使用者は、生成された出力画像を観察し、左画像と右画像との間の視差量を適切に見出すことができる。

図２３は、例示的な撮像タイミングを表す概略的なタイミングチャートである。図１０、図２１乃至図２３を参照して、撮像タイミングが説明される。

図２２に示されるタイミングチャートとは異なり、図２３のタイミングチャートは、左画像の撮像タイミングが、右画像の撮像タイミングと相違していることを表している。例えば、左カメラ装置２５１が撮像動作を実行したことを表す信号が、右カメラ装置２５２に出力された後、右カメラ装置２５２が撮像動作を行うならば、図２３のタイミングチャートで表される関係が生ずる。例えば、右画像データの取得タイミングは、右カメラ装置２５２へ信号を出力するための時間長さと右カメラ装置２５２の撮像動作に要求される時間長さとの和の分だけ、左画像データの取得タイミングから遅れることになる。当該遅れは、左画像データと右画像データとの間での取得タイミングの相違となる。

図２３に示されるタイミング関係の下では、左画像と右画像との間には、視差量に加えて、時間的な変動因子が含まれることもある。例えば、被写体が移動しているならば、左画像データと右画像データとの間での取得タイミングの相違の分だけ、被写体の位置、姿勢や形状といった視覚的な特性が時間的に変化することもある。

信号処理部５５０は、視覚的な特性の時間的な変動を低減するための補正処理を行ってもよい。例えば、信号処理部５５０は、左画像データ及び右画像データを用いて、動きベクトルを算出してもよい。信号処理部５５０は、動きベクトルを用いて、擬似的に同時刻となる時間位置の画像を補間してもよい。信号処理部５５０は、補間処理から得られた画像データを用いて、上述の出力画像を生成してもよい。この結果、使用者は、視覚的な特性の時間的な変化の影響をほとんど受けることなく、左画像と右画像との間の視差量を適切に見極めることができる。

図２４は、例示的な撮像システム１１０Ａのハードウェア構成を表す概略的なブロック図である。図１０及び図２４を参照して、撮像システム１１０Ａが説明される。尚、図１０を参照して説明された撮像システム１１０と同一の要素に対して、同一の符号が付されている。同一の符号が付された要素は、図１０に基づく説明が援用される。

撮像システム１１０Ａは、カメラ装置５００Ａと、表示装置３００Ａと、を備える。撮像システム１１０と異なり、カメラ装置５００Ａは、入力インターフェース５７０を備えていない。この点において、撮像システム１１０Ａは、撮像システム１１０とは相違する。

表示装置３００Ａは、表示面３１０Ａを備える。表示面３１０と同様に、表示面３１０Ａは、画像を表示する機能を有する。表示機能に加えて、表示面３１０Ａは、入力インターフェース５７０の機能を有する。即ち、使用者は、表示面３１０Ａを通じて、撮像システム１１０Ａを操作することができる。

図２５は、表示装置３００Ａの概略図である。図２２乃至図２５を参照して、撮像システム１１０Ａが更に説明される。

図２５に示される表示装置３００Ａの表示面３１０Ａ上には、上述の出力画像に加えて、出力画像やカメラ装置５００Ａに対する入力操作に用いられるインターフェース画像ＩＦＩが表示されている。例えば、使用者は、インターフェース画像ＩＦＩを操作し、カメラ装置５００Ａが行う撮像タイミングのパターン（図２２及び図２３を参照）を撮像システム１１０Ａに通知してもよい。

図２５に示されるインターフェース画像ＩＦＩは、「ｐｒｅｖ」の文字と「ｎｅｘｔ」の文字とを含んでいる。表示面３１０Ａに表される出力画像が、図２２に示される左画像「Ｌ２」と右画像「Ｒ２」とから形成され、且つ、使用者が「ｐｒｅｖ」の文字を押圧するならば、信号処理部５５０は、先行する左画像「Ｌ１」と先行する右画像「Ｒ１」とを用いて出力画像を生成してもよい。使用者が「ｎｅｘｔ」の文字を押圧するならば、信号処理部５５０は、後続の左画像「Ｌ３」と後続の右画像「Ｒ３」とを用いて出力画像を生成してもよい。したがって、本実施形態の原理は、静止画だけでなく、動画にも適用可能である。

インターフェース画像ＩＦＩを表すインターフェースデータは、メモリ５６０によって記憶されてもよい。信号処理部５５０は、メモリ５６０からインターフェースデータを読み出してもよい。信号処理部５５０は、出力画像データにインターフェースデータを組み入れてもよい。インターフェースデータは、表示装置３００Ａに出力されてもよい。

使用者は、インターフェース画像ＩＦＩを利用して、様々な操作を行うことができる。例えば、使用者は、インターフェース画像ＩＦＩを用いて、出力画像の質の調整（例えば、輝度調整、コントラスト調整、エッジ強度の調整や色補正）を行ってもよい。したがって、使用者は、立体画像の作成を効率的に行うことができる。

必要に応じて、使用者は、インターフェース画像ＩＦＩを利用して、左画像が表示される領域の垂直方向の寸法及び右画像が表示される領域の垂直方向の寸法を調整してもよい。この結果、使用者は、左画像と右画像とを適切に比較することができる。例えば、使用者が特定の被写体に関する視差量を見極めようとするならば、特定の被写体に合わせて、垂直方向の寸法が設定されてもよい。特定の被写体が大きいならば、使用者は、垂直方向の寸法に対して、大きな値を設定してもよい。特定の被写体が小さいならば、使用者は、垂直方向の寸法に対して、大きな値を設定してもよい。例えば、特定の被写体が、少なくとも１つの第１領域と少なくとも１つの第２領域とによって表されるならば、使用者は、特定の被写体に関する視差量を見極めることができる。

図２５に示される表示装置３００Ａの表示面３１０Ａ上には、インターフェース画像ＩＦＩに加えて、測量像ＭＩが示されている。測量像ＭＩは、左画像と右画像との間のずれ量を測るために用いられる。使用者は、測量像ＭＩを定規として用い、左画像と右画像との間の視差量を見極めることができる。

測量像ＭＩを表す測量像データは、メモリ５６０によって記憶されてもよい。信号処理部５５０は、メモリ５６０から測量像データを読み出してもよい。信号処理部５５０は、出力画像データに測量像データを組み入れてもよい。測量像データは、表示装置３００Ａに出力されてもよい。

使用者が、測量像ＭＩに対してドラッグ操作をする間、信号処理部５５０は、ドラッグ操作に応じて、測量像ＭＩの位置を変更するように、測量像データを処理してもよい。使用者が、測量像ＭＩを、左画像と右画像との境界に重ねるならば、使用者は、左画像と右画像との間の位置的な相違を適切に見極めることができる。代替的に、測量像ＭＩが、左画像と右画像との境界に予め重なるように、信号処理部５５０は、測量像データを処理してもよい。代替的に、測量像ＭＩが、左画像と右画像との境界の近くで表示されるように、信号処理部５５０は、測量像データを処理してもよい。

測量像は、左画像と右画像との間の適切なずれ量を表してもよい。左画像と右画像との間のずれ量が、測量像で表される長さよりも大きいならば、使用者は、左画像と右画像との間のずれ量を低減させる調整処理を行うことができる。左画像と右画像との間のずれ量が、測量像で表される長さよりも小さいならば、使用者は、左画像と右画像との間のずれ量を増大させる調整処理を行うことができる。

必要に応じて、測量像が表す長さは、可変であってもよい。この結果、使用者は、立体画像の作成条件に応じて、基準となるずれ量を適切に設定することができる。

信号処理部５５０は、左画像と右画像との間の境界上又は境界の近くに配置された測量像を表す測量像データと、測量像の周囲の画像データとを用いて、左画像と右画像との間のずれ量が適切であるか否かを判断する機能を有してもよい。また、所定のずれ量（測量象データ）となるように、カメラ装置は、自動調整（ズーム位置、カメラの光軸のなす角度である輻輳角や光軸間距離）する機能を有しても良い。

（手術の効果の検証への用途）
上述の実施形態の原理は、様々な用途に適用可能である。上述の実施形態は視差量を見極めることを目的とする。視差は、一般的に、左画像と右画像との水平方向の位置的な差異によって生ずるので（即ち、視差は、垂直方向の位置的な差異にほとんど依存しないので）、表示領域は、水平方向に延びる複数の矩形領域に分割されている。しかしながら、表示領域の分割パターンは、本実施形態が適用される技術フィールドに依存する。例えば、瞼の切開手術の効果を検証するためには、表示領域は、垂直方向に延びる複数の矩形領域に分割される。他の用途において、表示領域は、同心円状に分割されてもよい。上述の説明から明らかな如く、分割パターンは、複数の種類の画像データからのデータの抽出に依存する。したがって、データの抽出方法が用途に応じて適切に設定されるならば、使用者は、複数の画像を適切に観察することができる。

図２６Ａは、瞼の切開手術の前に撮影された眼の画像である。図２６Ｂは、瞼の切開手術の後に撮影された眼の画像である。

図２６Ａ及び図２６Ｂに示される画像を対比しても、手術の効果は検証されにくい。

図２７は、上述のデータ処理技術を用いて作成された画像である。

手術前後の眼の画像が水平方向に並べられている。したがって、使用者は、手術前後での開眼寸法の変化を容易に見極めることができる。加えて、使用者は、開眼寸法において最も大きな変化があった領域を容易に特定することができる。

図８及び図１１に示されるデータ処理は、ソフトウェアを用いて実行されてもよい。この場合、抽出部４２０（図１を参照）又は信号処理部５５０（図１０を参照）は、ＣＰＵ、ＦＰＧＡ、ＤＳＰ上で動作するソフトウェアプログラムを実行してもよい。

図８及び図１１に示されるデータ処理は、集積素子といったハードウェアを用いて実行されてもよい。この場合、抽出部４２０（図１を参照）又は信号処理部５５０（図１０を参照）は、図８及び図１１に示されるデータ処理を実行するように設計された集積回路であってもよい。

画像データ処理装置４００（図１を参照）は、表示装置３００（図１を参照）と一体化されてもよい。この場合、画像データ処理装置４００は、データ処理機能だけでなく、画像を表示するための表示機能をも有することになる。

上述の実施形態の原理は、写真データだけでなく、コンピュータグラフィクス技術によって作成された画像データの処理にも適用可能である。例えば、画像データの編集中に、本実施形態の原理を利用して、左画像と右画像との間の視差量の確認が行われてもよい。

上述の実施形態に関連して説明された様々な技術は、以下の特徴を主に備える。

上述の実施形態の一局面に係る画像データ処理装置は、第１領域に表示される第１領域画像と、前記第１領域に隣り合う第２領域に表示される第２領域画像と、を含む出力画像を表す出力画像データを生成する。画像データ処理装置は、第１画像を表す第１画像データの一部を、前記第１領域画像を表す第１抽出データとして抽出し、且つ、前記第１画像と同時に観察並びに比較される第２画像を表す第２画像データの一部を、前記第２領域画像を表す第２抽出データとして抽出する抽出部を備える。該抽出部は、前記第１抽出データと前記第２抽出データとを処理し、前記出力画像データを生成する。

上記構成によれば、抽出部は、第１画像を表す第１画像データの一部を、出力画像の第１領域画像を表す第１抽出データとして抽出する。また、抽出部は、第１画像と同時に観察並びに比較される第２画像を表す第２画像データの一部を、第２領域画像を表す第２抽出データとして抽出する。抽出部は、第１抽出データと第２抽出データとを処理し、出力画像データを生成するので、第１画像の一部は、第１領域に表示され、且つ、第２領域の一部は、第２領域に表示される。したがって、使用者は、出力画像を観察し、第１画像と第２画像とを容易に比較することができる。

上記構成において、前記第１画像は、前記第１領域に対応する第１対応領域を含んでもよい。前記第２画像は、前記第２領域に対応する第２対応領域を含んでもよい。前記抽出部は、前記第１対応領域に表示される画像を表すデータを前記第１抽出データとして前記第１画像データから抽出し、且つ、前記第２対応領域に表示される画像を表すデータを前記第２抽出データとして前記第２画像データから抽出してもよい。

上記構成によれば、抽出部は、第１領域に対応する第１対応領域に表示される画像を表すデータを第１抽出データとして前記第１画像データから抽出する。また、抽出部は、第２領域に対応する第２対応領域に表示される画像を表すデータを第２抽出データとして第２画像データから抽出する。したがって、使用者は、出力画像を観察し、第１画像と第２画像とを容易に比較することができる。

上記構成において、前記第１対応領域は、所定の方向に延びる複数の第１帯状領域を含んでもよい。前記第２対応領域は、前記所定の方向に延びる複数の第２帯状領域を含んでもよい。前記第１帯状領域及び前記第２帯状領域が交互に配列されるように、前記抽出部は、前記出力画像データを生成してもよい。

上記構成によれば、第１帯状領域及び第２帯状領域が交互に配列されるように、抽出部は、出力画像データを生成するので、使用者は、第１画像及び第２画像を全体的に比較することができる。

上記構成において、前記所定の方向は、水平方向又は垂直方向であってもよい。

上記構成によれば、第１帯状領域及び第２帯状領域が水平方向に延びるならば、第１帯状領域及び第２帯状領域は垂直方向に交互に配列される。したがって、使用者は、第１画像と第２画像との間の水平方向の位置的な変化を容易に観察することができる。第１帯状領域及び第２帯状領域が垂直方向に延びるならば、第１帯状領域及び第２帯状領域は水平方向に交互に配列される。したがって、使用者は、第１画像と第２画像との間の垂直方向の位置的な変化を容易に観察することができる

上記構成において、前記抽出部は、前記第１画像の一部であることを表現する第１識別像を表示するための第１識別データを前記第１抽出データに組み入れてもよい。

上記構成によれば、抽出部は、第１画像の一部であることを表現する第１識別像を表示するための第１識別データを第１抽出データに組み入れるので、使用者は、第１領域に表示されている画像が第１画像の一部であることを容易に確認することができる。

上記構成において、前記抽出部は、前記第２画像の一部であることを表現する第２識別像を表示するための第２識別データを前記第２抽出データに組み入れてもよい。

上記構成によれば、抽出部は、第２画像の一部であることを表現する第２識別像を表示するための第２識別データを第２抽出データに組み入れるので、使用者は、第２領域に表示されている画像が第２画像の一部であることを容易に確認することができる。

上記構成において、前記抽出部は、前記出力画像に対する入力操作に用いられるインターフェース画像を表すインターフェースデータを前記出力画像データに組み入れてもよい。

上記構成によれば、抽出部は、出力画像に対する入力操作に用いられるインターフェース画像を表すインターフェースデータを出力画像データに組み入れるので、使用者は、インターフェース画像を利用して、出力画像に対して、入力操作を容易に行うことができる。

上記構成において、前記抽出部は、前記第１領域と前記第２領域との間の境界を表す境界線を表す境界データを前記出力画像データに組み入れてもよい。

上記構成によれば、抽出部は、第１領域と第２領域との間の境界を表す境界線を表す境界データを出力画像データに組み入れるので、使用者は、第１画像と第２画像とを容易に比較することができる。

上記構成において、前記第１画像及び前記第２画像は、立体画像の表示のために用いられてもよい。前記第１画像及び前記第２画像のうち一方は、左眼で観察される左画像であってもよい。前記第１画像及び前記第２画像のうち他方は、右眼で観察される右画像であってもよい。

上記構成によれば、使用者は、左画像と右画像とを容易に比較することができるので、立体画像は、容易に作成又は調整される。

上記構成において、前記抽出部は、前記左画像と前記右画像との間のずれ量の測定に利用される測量像を表示する測量像データを前記出力画像データに組み入れてもよい。

上記構成によれば、抽出部は、左画像と右画像との間のずれ量の測定に利用される測量像を表示する測量像データを出力画像データに組み入れるので、使用者は、左画像と右画像との間のずれ量を定量的に把握することができる。

上記構成において、前記第１画像及び前記第２画像は、立体画像の表示のために用いられてもよい。前記第１画像及び前記第２画像のうち一方は、左眼で観察される左画像であってもよい。前記第１画像及び前記第２画像のうち他方は、右眼で観察される右画像であってもよい。前記出力画像は、前記左画像と前記右画像との間のずれ量の測定に利用される測量像と、を含んでもよい。該測量像が前記境界線に重ねられるように、前記抽出部は、前記測量像を表示する測量像データを前記出力画像データに組み入れてもよい。

上記構成によれば、測量像が境界線に重ねられるので、使用者は、左画像と右画像との間のずれ量を容易に測定することができる。

上述の実施形態の一局面に係る画像データ処理方法は、第１領域に表示される第１領域画像と、前記第１領域に隣り合う第２領域に表示される第２領域画像と、を含む出力画像を表す出力画像データを生成するために利用される。画像データ処理方法は、第１画像を表す第１画像データの一部を、前記第１領域画像を表す第１抽出データとして抽出し、且つ、前記第１画像と同時に観察並びに比較される第２画像を表す第２画像データの一部を、前記第２領域画像を表す第２抽出データとして抽出する段階と、前記第１抽出データと前記第２抽出データとを用いて、前記出力画像データを生成する段階と、を備える。

上記構成によれば、第１画像を表す第１画像データの一部は、出力画像の第１領域画像を表す第１抽出データとして抽出される。第１画像と同時に観察される第２画像を表す第２画像データの一部は、第２領域画像を表す第２抽出データとして抽出される。出力画像データは、第１抽出データと第２抽出データとを用いて、生成されるので、第１画像の一部は、第１領域に表示され、且つ、第２領域の一部は、第２領域に表示される。したがって、使用者は、出力画像を観察し、第１画像と第２画像とを容易に比較することができる。

上述の様々の実施形態の原理は、複数種の画像間の比較が要求される様々な技術に有用である。

特開２０１１−１５８７７７号公報

（ステップＳ２５０）
ステップＳ２５０において、出力画像データは、処理制御部５５３から表示装置３００へ出力される。表示装置３００は、出力画像データに応じて、表示面３１０に出力画像を表示する。この結果、使用者は、左画像と右画像とを同時に観察することができる。例えば、使用者は、左画像中の被写体の水平位置と、右画像中の被写体の水平位置と、の間の差異を、左画像と右画像との間の視差量として知覚することができる。両画像間の被写体の位置的な差異が大きいならば、使用者は、左画像と右画像との間の視差量が大きいと判断することができる。両画像間の被写体の位置的な差異が小さいならば、使用者は、左画像と右画像との間の視差量が小さいと判断することができる。

本実施形態において、「Ｌ」のマーク及び「Ｒ」のマークのうち一方は、第１識別像として例示される。「Ｌ」のマーク及び「Ｒ」のマークのうち他方は、第２識別像として例示される。

必要に応じて、使用者は、インターフェース画像ＩＦＩを利用して、左画像が表示される領域の垂直方向の寸法及び右画像が表示される領域の垂直方向の寸法を調整してもよい。この結果、使用者は、左画像と右画像とを適切に比較することができる。例えば、使用者が特定の被写体に関する視差量を見極めようとするならば、特定の被写体に合わせて、垂直方向の寸法が設定されてもよい。特定の被写体が大きいならば、使用者は、垂直方向の寸法に対して、大きな値を設定してもよい。特定の被写体が小さいならば、使用者は、垂直方向の寸法に対して、小さな値を設定してもよい。例えば、特定の被写体が、少なくとも１つの第１領域と少なくとも１つの第２領域とによって表されるならば、使用者は、特定の被写体に関する視差量を見極めることができる。

上記構成によれば、抽出部は、第１画像を表す第１画像データの一部を、出力画像の第１領域画像を表す第１抽出データとして抽出する。また、抽出部は、第１画像と同時に観察並びに比較される第２画像を表す第２画像データの一部を、第２領域画像を表す第２抽出データとして抽出する。抽出部は、第１抽出データと第２抽出データとを処理し、出力画像データを生成するので、第１画像の一部は、第１領域に表示され、且つ、第２画像の一部は、第２領域に表示される。したがって、使用者は、出力画像を観察し、第１画像と第２画像とを容易に比較することができる。

上記構成によれば、第１帯状領域及び第２帯状領域が水平方向に延びるならば、第１帯状領域及び第２帯状領域は垂直方向に交互に配列される。したがって、使用者は、第１画像と第２画像との間の水平方向の位置的な変化を容易に観察することができる。第１帯状領域及び第２帯状領域が垂直方向に延びるならば、第１帯状領域及び第２帯状領域は水平方向に交互に配列される。したがって、使用者は、第１画像と第２画像との間の垂直方向の位置的な変化を容易に観察することができる。

Claims

第１領域に表示される第１領域画像と、前記第１領域に隣り合う第２領域に表示される第２領域画像と、を含む出力画像を表す出力画像データを生成する画像データ処理装置であって、
第１画像を表す第１画像データの一部を、前記第１領域画像を表す第１抽出データとして抽出し、且つ、前記第１画像と同時に観察並びに比較される第２画像を表す第２画像データの一部を、前記第２領域画像を表す第２抽出データとして抽出する抽出部を備え、
該抽出部は、前記第１抽出データと前記第２抽出データとを処理し、前記出力画像データを生成することを特徴とする画像データ処理装置。
前記第１画像は、前記第１領域に対応する第１対応領域を含み、
前記第２画像は、前記第２領域に対応する第２対応領域を含み、
前記抽出部は、前記第１対応領域に表示される画像を表すデータを前記第１抽出データとして前記第１画像データから抽出し、且つ、前記第２対応領域に表示される画像を表すデータを前記第２抽出データとして前記第２画像データから抽出することを特徴とする請求項１に記載の画像データ処理装置。
前記第１対応領域は、所定の方向に延びる複数の第１帯状領域を含み、
前記第２対応領域は、前記所定の方向に延びる複数の第２帯状領域を含み、
前記第１帯状領域及び前記第２帯状領域が交互に配列されるように、前記抽出部は、前記出力画像データを生成することを特徴とする請求項２に記載の画像データ処理装置。
前記所定の方向は、水平方向又は垂直方向であることを特徴とする請求項３に記載の画像データ処理装置。
前記抽出部は、前記第１画像の一部であることを表現する第１識別像を表示するための第１識別データを前記第１抽出データに組み入れることを特徴とする請求項１乃至４のいずれか１項に記載の画像データ処理装置。
前記抽出部は、前記第２画像の一部であることを表現する第２識別像を表示するための第２識別データを前記第２抽出データに組み入れることを特徴とする請求項１乃至５のいずれか１項に記載の画像データ処理装置。
前記抽出部は、前記出力画像に対する入力操作に用いられるインターフェース画像を表すインターフェースデータを前記出力画像データに組み入れることを特徴とする請求項１乃至６のいずれか１項に記載の画像データ処理装置。
前記抽出部は、前記第１領域と前記第２領域との間の境界を表す境界線を表す境界データを前記出力画像データに組み入れることを特徴とする請求項１乃至７のいずれか１項に記載の画像データ処理装置。
前記第１画像及び前記第２画像は、立体画像の表示のために用いられ、
前記第１画像及び前記第２画像のうち一方は、左眼で観察される左画像であり、
前記第１画像及び前記第２画像のうち他方は、右眼で観察される右画像であることを特徴とする請求項１乃至８のいずれか１項に記載の画像データ処理装置。
前記抽出部は、前記左画像と前記右画像との間のずれ量の測定に利用される測量像を表示する測量像データを前記出力画像データに組み入れることを特徴とする請求項９に記載の画像データ処理装置。
前記第１画像及び前記第２画像は、立体画像の表示のために用いられ、
前記第１画像及び前記第２画像のうち一方は、左眼で観察される左画像であり、
前記第１画像及び前記第２画像のうち他方は、右眼で観察される右画像であり、
前記出力画像は、前記左画像と前記右画像との間のずれ量の測定に利用される測量像と、を含み、
該測量像が前記境界線に重ねられるように、前記抽出部は、前記測量像を表示する測量像データを前記出力画像データに組み入れることを特徴とする請求項８に記載の画像データ処理装置。
第１領域に表示される第１領域画像と、前記第１領域に隣り合う第２領域に表示される第２領域画像と、を含む出力画像を表す出力画像データを生成するための画像データ処理方法であって、
第１画像を表す第１画像データの一部を、前記第１領域画像を表す第１抽出データとして抽出し、且つ、前記第１画像と同時に観察並びに比較される第２画像を表す第２画像データの一部を、前記第２領域画像を表す第２抽出データとして抽出する段階と、
前記第１抽出データと前記第２抽出データとを用いて、前記出力画像データを生成する段階と、を備えることを特徴とする画像データ処理方法。