JP6165681B2 - 画像表示装置及び画像表示方法 - Google Patents

Description

本発明は画像表示装置及び画像表示方法に係り、特に複数の画像を表示部に表示させる技術に関する。

カメラのファインダー、監視カメラ、テレビ、コンピュータ及び携帯端末装置等のデバイスは、各種の画像及び情報を表示するためのディスプレイを備え、ユーザは、そのディスプレイ上の表示を参照することで、撮影画像を確認したりデバイスを操作したりする。

例えば特許文献１に開示される撮像装置では、「第１の写真（広角レンズ撮影写真）の上に第２の写真（標準レンズ撮影写真）を重ね、第２の写真の上に第３の写真（望遠レンズ撮影写真）を重ねることで作成される合成写真」や「第１の写真、第２の写真及び第３の写真を縮小して並置することで作成される合成写真」が表示装置に表示される。

また特許文献２に開示される撮像装置では、広角側の撮像範囲で撮られた画像上に望遠側の撮像範囲で撮られた画像がはめ込まれて合成された映像が表示部に表示される。

また特許文献３に開示されるヘッドマウントディスプレイ装置では、広角レンズを使って撮影取得された映像の一部が主画像として取り出され、主画像の周囲の映像が副画像として取り出され、装着者の眼の前方に主画像が表示されるとともに主画像の周囲に副画像が表示される。

特開２０１３−１０９０６７号公報 特開２０１０−２０６６４３号公報 特開２０１１−２０３４４６号公報

上述のように、１つのディスプレイ上に複数の画像を並べて表示する所謂「ピクチャー・バイ・ピクチャー（ＰＢＰ：Ｐｉｃｔｕｒｅ Ｂｙ Ｐｉｃｔｕｒｅ）」や、１つの画像をディスプレイの全体に表示しつつ他の画像をディスプレイの一部において小画像として重畳的に表示する所謂「ピクチャー・イン・ピクチャー（ＰＩＰ：Ｐｉｃｔｕｒｅ Ｉｎ Ｐｉｃｔｕｒｅ）」が、典型的な画像表示手法として知られている。

しかしながら従来の画像表示手法では、ユーザはディスプレイに表示される複数の画像及び情報を同時に的確に把握することが困難であった。

例えば「ピクチャー・バイ・ピクチャー」の画像表示手法では、ディスプレイの表示領域が小領域に区分され、複数の画像の各々がその小領域に独立して表示されるため、ユーザがひと目で認識できる視野範囲を超えた位置に複数の画像（特に各画像中の注目被写体の画像（以下、「表示目的像」とも称する））が配置される。そのためユーザは、ディスプレイに表示される複数の画像のうち特定の画像に注視すると、注視していない他の画像を同時には的確に把握することが難しい。したがって「ピクチャー・バイ・ピクチャー」の画像表示手法では、ユーザは視線を移動させて各画像を順次認識する必要があり、不便である。また「ピクチャー・バイ・ピクチャー」の画像表示手法では各画像が小領域に独立して表示されるため、表示領域全体に１つの画像を表示する場合に比べ、画像毎の表示解像度が低減して各画像を精細に表示することができず、ユーザに対して各画像の情報を詳細に提示することが難しい。したがって、特許文献１及び特許文献３において開示されているような従来の「ピクチャー・バイ・ピクチャー」の画像表示手法は、通常のユーザが複数の画像（特に注目被写体の画像）の内容を同時に的確に把握できるようには、複数の画像を表示することができていない。

また「ピクチャー・イン・ピクチャー」の画像表示手法を採用する特許文献１の撮像装置及び特許文献２の撮像装置では、広角画像上に望遠画像が重畳的に配置された状態の合成画像が表示画面に表示されるため、表示画面上で望遠画像が広角画像の一部の表示を遮ることとなる。その結果として望遠画像が広角画像の情報（とりわけ注目被写体の情報）を損なうことになるため、ユーザは、注目被写体の画像自体については表示部に表示される望遠画像を参照することで確認することができるが、その注目被写体の周囲の画像については、表示画面に表示される望遠画像及び広角画像から的確に把握することが難しい。そのため、特許文献１及び特許文献２において開示されるような従来の「ピクチャー・イン・ピクチャー」の画像表示手法は、画像全体における注目被写体の位置及び状態、或いは注目被写体の周辺の状態をユーザが的確に把握できるようには、複数の画像を表示することができていない。

本発明は上述の事情に鑑みてなされたものであり、大きな視線の動きを必要とすることなくユーザが容易に内容を把握することができるように複数の画像を表示する技術であって、画像全体における注目被写体の画像（表示目的像）の位置及び状態をユーザが適切に把握することができるように複数の画像を表示する技術を提供することを目的とする。

本発明の一態様は、表示部における画像の表示を制御する表示コントローラを備える画像表示装置であって、表示コントローラは、表示部に第１の画像及び第２の画像を同時に表示し、第１の画像の表示目的像の表示部における位置と、第２の画像の表示目的像の表示部における位置とを一致させ、表示部において、第１の画像が表示される領域は第２の画像が表示される領域よりも狭くする画像表示装置に関する。

本態様によれば、表示部において、第１の画像が表示される領域が第２の画像が表示される領域よりも狭められた状態で、第１の画像及び第２の画像の相互間で表示目的像の位置を調和させながら、第１の画像及び第２の画像が表示される。この第１の画像及び第２の画像の表示によって、ユーザは、大きな視線の動きを必要とすることなく、第１の画像及び第２の画像（とりわけ第１の画像の表示目的像及び第２の画像の表示目的像）を容易に把握することができる。また表示目的像が第１の画像及び第２の画像において多面的に表示されるため、ユーザは、画像全体における表示目的像の位置及び状態を適切に把握することができる。

なお、第１の画像の表示目的像の表示部における位置と、第２の画像の表示目的像の表示部における位置とを一致させる手法は、特に限定されない。例えば、表示目的像の位置を第１の画像と第２の画像との間で完全に一致させてもよいし、第１の画像の表示目的像と第２の画像の表示目的像との間で特定の相対的な位置関係が実現されるように第１の画像及び第２の画像の表示部における配置が決定されてもよい。

また「表示目的像の位置」の決定手法は特に限定されず、表示目的像の配置を表す代表的な１又は複数の位置によって、第１の画像及び第２の画像における「表示目的像の位置」を表すことができる。例えば、表示目的像の外周部（輪郭）によって規定される形状の「重心」に基づいて、第１の画像及び第２の画像の各々における「表示目的像の位置」を決定してもよい。ここで言う「表示目的像の外周部（輪郭）によって規定される形状」は、直線又は曲線によって表示目的像の外周部（輪郭）を近似的に示す形状であってもよい。例えば多角形状、円形状、多角形状及び円形状を組み合わせることで作られる形状、或いは他の形状によって、「表示目的像の外周部（輪郭）によって規定される形状」が近似的に表されてもよい。

また表示部に第１の画像及び第２の画像を同時に表示する手法も特に限定されず、表示部の表示を観察する人間の視覚上、第１の画像及び第２の画像が実質的に同時に認識可能に表示されればよい。したがって第１の画像及び第２の画像は、表示部において表示状態が継続的に保たれていてもよいし、表示部において表示及び非表示が繰り返されていてもよい。

望ましくは、第１の画像の表示目的像と第２の画像の表示目的像とは、同一対象の像である。

本態様によれば、表示部に表示される第１の画像及び第２の画像は同一対象の表示目的像を含むため、ユーザは、第１の画像及び第２の画像を総合的に勘案することで、表示目的像の対象の位置及び状態を的確に把握することができる。

望ましくは、第１の画像は広角画像であり、第２の画像は望遠画像である。

本態様によれば、ユーザは、表示部に表示される広角画像及び望遠画像から表示目的像の位置及び状態を適切に把握することができ、例えば広角画像から表示目的像とその周辺との関係を確認することができ、また望遠画像から表示目的像の詳細な情報を確認することができる。

なお、ここで言う「広角画像」及び「望遠画像」とは相対的な関係を表し、例えば相対的に焦点距離が短い光学系を用いて撮影取得される画像を「広角画像」とする一方で、相対的に焦点距離が長い光学系を用いて撮影取得される画像を「望遠画像」とすることができる。

望ましくは、表示コントローラは、表示部の画像表示領域のうち中央部では第１の画像の表示率を第２の画像の表示率よりも大きくした状態で、表示部に第１の画像及び第２の画像を表示する。

本態様によれば、表示部の画像表示領域のうち中央部では第２の画像よりも第１の画像の方が視認性良く表示されるため、ユーザは、表示部の画像表示領域のうち中央部を観察することで、第１の画像中における表示目的像の位置及び状態を把握することができる。

なお、表示部の画像表示領域のうち中央部には、第２の画像が表示されてもよいし、第２の画像が全く表示されなくてもよい。

また表示部の画像表示領域の「中央部」は、その画像表示領域の中心を含む領域である。例えば、表示部の画像表示領域の外周部（輪郭）によって規定される形状の「重心」を「画像表示領域の中心」として扱い、その重心を基準とした特定の範囲が、ここで言う画像表示領域の「中央部」に設定されてもよい。画像表示領域の「中央部」の平面形状は特に限定されず、円形であってもよいし、多角形状であってもよい。

望ましくは、表示コントローラは、表示部の画像表示領域のうち周辺部では第１の画像の表示率を第２の画像の表示率よりも小さくした状態で、又は第１の画像の表示率を第２の画像の表示率と同じにした状態で、表示部に第１の画像及び第２の画像を表示する。

本態様によれば、表示部の画像表示領域のうち周辺部では第１の画像と同等或いはそれ以上に第２の画像が視認性良く表示されるため、ユーザは、表示部の画像表示領域のうち周辺部を観察することで、第２の画像中における表示目的像の位置及び状態を把握することができる。

なお、表示部の画像表示領域のうち周辺部には、第１の画像が表示されてもよいし、第１の画像が全く表示されなくてもよい。

また表示部の画像表示領域の「周辺部」は、上述の「中央部」を含まない領域であり、例えば表示部の画像表示領域の外周部（輪郭）を基準とした特定の範囲が、ここで言う画像表示領域の「周辺部」に設定されてもよい。

望ましくは、表示部において、第１の画像の表示画角は第２の画像の表示画角よりも大きい。

本態様によれば、画角の異なる第１の画像及び第２の画像が表示部に表示されるため、ユーザは、画角の異なる複数の画像を総合的に勘案して、表示目的像の位置及び状態を把握することができる。したがって第１の画像の表示目的像と第２の画像の表示目的像とが同一対象の像である場合、ユーザは、第１の画像を観察することで表示目的像とその周辺との関係を把握することができ、また第２の画像を観察することで表示目的像の詳細な情報を把握することができる。

なお「表示画角」は、表示部に表示される範囲の画角を表し、例えば表示画角が相対的に大きい第１の画像の方が、表示画角が相対的に小さい第２の画像よりも、広範囲の被写体の像が表される。

望ましくは、表示コントローラは、第１の画像における表示目的像の大きさ及び第２の画像における表示目的像の大きさに応じて、表示部における第１の画像の表示領域の大きさを決定する。

本態様によれば、第１の画像及び第２の画像における表示目的像の相対的な大きさに応じて、表示部における第１の画像の表示領域の大きさを適応的に変えることができる。

望ましくは、表示コントローラは、表示部において第１の画像が表示される領域では第２の画像を表示しない。

本態様によれば、表示部において第１の画像が表示される領域では第２の画像が表示されないので、ユーザは、第１の画像を第２の画像に阻害されることなく明瞭な状態で確認することができる。

望ましくは、表示コントローラは、表示部において第１の画像が表示される領域の少なくとも一部では第１の画像と第２の画像とを混合表示する。

本態様によれば、表示部において第１の画像が表示される領域の少なくとも一部では第１の画像と第２の画像とが混合表示されるため、その混合表示領域を「第１の画像が表示される領域」及び「第２の画像が表示される領域」の両方として利用することができる。

ここで言う「表示部において第１の画像が表示される領域の少なくとも一部」は特に限定されず、第１の画像及び第２の画像の表示分離性を良好にする観点からは、第１の画像と第２の画像との境界領域を含む領域であることが好ましく、例えば第１の画像が表示される領域の外周部（輪郭）を含む領域であることが好ましい。

望ましくは、表示コントローラは、表示部において第１の画像が表示される領域の少なくとも一部では、第１の画像の中心部から周辺部に向かう方向に関し、第１の画像に対する第２の画像の表示率を連続的に変える。

本態様によれば、表示部において第１の画像が表示される領域の少なくとも一部では、第１の画像の中心部から周辺部に向かう方向に関し、第１の画像に対する第２の画像の表示率が連続的に変わるため、第１の画像及び第２の画像がグラデーション表示される。

望ましくは、表示コントローラは、表示部において第１の画像が表示される領域の少なくとも一部では、第１の画像の中心部から周辺部に向かう方向に関し、第１の画像に対する第２の画像の表示率を連続的に大きくする。

本態様によれば、第１の画像の中心部から離れて周辺部に向かうほど、第１の画像の表示率が減り、第２の画像の表示率が増すため、表示部における第１の画像及び第２の画像の視認性を向上させることができる。

ここで言う「第１の画像の中心部から周辺部に向かう方向」は、例えば第１の画像の中心部を基準とした動径方向によって表され、第１の画像の外周部（輪郭）によって規定される形状の「重心」から「外周部（輪郭）」に向かう方向に相当する。

望ましくは、画像表示装置は、第１の画像及び第２の画像を示すデータを解析し、第１の画像における表示目的像の位置及び第２の画像における表示目的像の位置を取得する目的像位置取得部を更に備え、表示コントローラは、目的像位置取得部が取得する第１の画像における表示目的像の位置及び第２の画像における表示目的像の位置に基づいて、第１の画像及び第２の画像のうち少なくともいずれか一方の表示部における表示サイズを決定する。

本態様によれば、第１の画像における表示目的像の位置及び第２の画像における表示目的像の位置に応じて、第１の画像及び第２の画像のうち少なくともいずれか一方の表示部における表示サイズを適応的に変えることができる。

ここで言う「表示サイズ」は、「表示部における表示領域の大きさ」に基づいてもよいし、「画像の表示倍率（拡大表示倍率又は縮小表示倍率）の大きさ」に基づいてもよい。

望ましくは、表示コントローラは、表示部において第１の画像及び第２の画像のうち少なくともいずれか一方を立体的に表示し、表示部における第１の画像の表示目的像の奥行き位置を第２の画像の表示目的像の奥行き位置とは異ならせる。

本態様によれば、立体表示によって、第１の画像の表示目的像と第２の画像の表示目的像とが異なる奥行き位置に表示配置され、視認性を向上させることができる。

望ましくは、画像表示装置は、表示部に表示する第１の画像と第２の画像と合成する画像合成部を更に備え、表示コントローラは、画像合成部によって電子的に又は光学的に合成された第１の画像及び第２の画像を表示部に表示する。

本態様によれば、電子的又は光学的に合成された第１の画像及び第２の画像が表示部に表示される。

望ましくは、画像表示装置は、第１の画像の表示目的像及び第２の画像の表示目的像のうち少なくともいずれか一方のブレ量を取得するブレ取得部を更に備え、表示コントローラは、ブレ取得部が取得したブレ量に基づいて、第１の画像及び第２の画像のうち少なくともいずれか一方の表示部における表示割合を決定する。

本態様によれば、第１の画像の表示目的像及び第２の画像の表示目的像のうち少なくともいずれか一方のブレ量に応じて、第１の画像及び第２の画像のうち少なくともいずれか一方の表示部における表示割合を適応的に変えることができる。

ここで言う「ブレ量」は、第１の画像の表示目的像及び第２の画像の表示目的像のうち少なくともいずれか一方のブレの大きさを直接的又は間接的に表すデータであれば、特に限定されない。例えば「被写体自体の動きに起因するブレ（被写体ブレ）」及び「撮影時の撮像装置の動きに起因するブレ」のうちの一方又は両方によってもたらされる「表示目的像の動きの量」を「ブレ量」として用いることができる。

望ましくは、表示コントローラは、ブレ取得部により取得されるブレ量が第１の閾値以上の場合には、ブレ取得部により取得されるブレ量が第１の閾値よりも小さい場合よりも、第１の画像の表示割合を大きくする。

本態様によれば、ブレ量が第１の閾値以上の場合には第１の画像の表示割合が大きくなるため、第１の画像の視認性を向上させることができる。

望ましくは、表示コントローラは、ブレ取得部により取得されるブレ量が第２の閾値以下の場合には、ブレ取得部により取得されるブレ量が第２の閾値よりも大きい場合よりも、第２の画像の表示割合を大きくする。

本態様によれば、ブレ量が第２の閾値以下の場合には第２の画像の表示割合が大きくなるため、第２の画像の視認性を向上させることができる。

望ましくは、表示割合は、表示部における画像表示領域の全体に対する表示面積の割合である。

本態様によれば、ブレ量に応じて、表示部における画像表示領域の全体に対する表示面積の割合を適応的に変えることができる。

望ましくは、表示コントローラは、表示部において第１の画像が表示される領域の少なくとも一部では第１の画像と第２の画像とを混合表示し、表示割合は、表示部において第１の画像が表示される領域の少なくとも一部における表示の混合割合である。

本態様によれば、ブレ量に応じて、表示部において第１の画像が表示される領域の少なくとも一部における表示の混合割合を適応的に変えることができる。

望ましくは、第１の画像の撮影に用いられる第１の光学系は、第２の画像の撮影に用いられる第２の光学系と同一の光軸を有する。

本態様によれば、共通の方向で撮影され視差のない第１の画像及び第２の画像を表示部に表示させることができ、表示部に表示される第１の画像及び第２の画像（とりわけ表示目的像）の視認性を向上させることができる。

本発明の他の態様は、表示部における画像の表示を表示コントローラによって制御する画像表示方法であって、表示部に第１の画像及び第２の画像を同時に表示し、第１の画像の表示目的像の表示部における位置と、第２の画像の表示目的像の表示部における位置とを一致させ、表示部において、第１の画像が表示される領域は第２の画像が表示される領域よりも狭くする画像表示方法に関する。

本発明によれば、表示部において、第１の画像が表示される領域が第２の画像が表示される領域よりも狭められた状態で、第１の画像及び第２の画像の相互間で表示目的像の位置を調和させながら、第１の画像及び第２の画像が表示される。そのため、表示部を観察するユーザは、大きな視線の動きを必要とすることなく、第１の画像及び第２の画像（とりわけ第１の画像の表示目的像及び第２の画像の表示目的像）を容易に把握することができる。また、表示目的像が第１の画像及び第２の画像において多面的に表示されるため、ユーザは、画像全体における表示目的像の位置及び状態を適切に把握することができる。

画像表示システムの外観構成の一例を示す図である。 画像表示システムの機能構成の一例を示すブロック図である。 表示部の画像表示領域を示す平面図である。 第１の画像（広角画像）及び第２の画像（望遠画像）の第１の合成表示例を示す図である。 第１の画像（広角画像）及び第２の画像（望遠画像）の第２の合成表示例を説明するための表示部（画像表示領域）の平面図である。 第１の画像（広角画像）及び第２の画像（望遠画像）の第２の合成表示例を示す図である。 視機能（視力）、情報探索運動及び誘導効果から見た視野特性を示す図である。 人間の視覚特性を考慮した第１の画像及び第２の画像の表示例を示す図である。 画像表示方法の一例を示すフローチャートである。 第１の変形例に係る画像表示システムの機能構成例を示すブロック図である。 第１の光学系、第２の光学系及び撮像素子の一構成例を示す断面図である。 マイクロレンズアレイ及びイメージセンサの要部拡大図である。 イメージセンサに配設されたカラーフィルタ配列等を示す図である。 撮像装置の他の実施形態であるスマートフォンの外観を示すものである。 図１４に示すスマートフォンの構成を示すブロック図である。

以下、図面を参照して本発明の実施形態について説明する。

以下の実施形態では、表示部に表示する第１の画像及び第２の画像として広角画像及び望遠画像を用いる例について説明するが、他の種類の画像を第１の画像及び第２の画像として使用してもよい。また、表示部に表示する第１の画像及び第２の画像は静止画であってもよいし動画であってもよい。本発明は、以下の実施形態に係る画像表示システムに限定されるものではなく、静止画及び／又は動画を表示可能なカメラ、テレビ、コンピュータ及び携帯端末装置等の各種のデバイスに広く適用可能である。

図１は、画像表示システム５の外観構成の一例を示す図である。図２は、画像表示システム５の機能構成の一例を示すブロック図である。

本例の画像表示システム５は、撮像装置１４と、撮像装置１４の本体部１６に原画像伝送部１５を介して接続される画像表示装置１０と、画像表示装置１０に表示画像伝送部１１を介して接続される表示部１２とを備える。

撮像装置１４の本体部１６には、第１の画像である広角画像の撮影に用いられる第１の光学系１８と、第２の画像である望遠画像の撮影に用いられる第２の光学系２０とが取り付けられている。本体部１６に搭載される撮像素子２６は、第１の光学系１８を介して広角画像光２２を受光し、また第２の光学系２０を介して望遠画像光２３を受光し、受光した広角画像（第１の画像）を示す第１の画像データＤ１及び受光した望遠画像（第２の画像）を示す第２の画像データＤ２を出力する。

第１の光学系１８及び第２の光学系２０を含む撮像装置１４の構成は、所望の広角画像及び望遠画像を撮影することが可能であれば、特に限定されない。例えば後述の図１１に示すような「広角画像（第１の画像）の撮影に用いられる第１の光学系１８が、望遠画像（第２の画像）の撮影に用いられる第２の光学系２０と同一の光軸を有する撮像系」によって撮像装置１４を好適に構成することができる。また「広角画像（第１の画像）を撮影するための第１の光学系１８及び撮像素子２６」と「望遠画像（第２の画像）を撮影するための第２の光学系２０及び撮像素子２６」とが、別体として設けられてもよい。

画像表示装置１０は、図２に示すように、画像取得部２８、表示コントローラ３０、画像合成部３４及び目的像位置取得部３６を有する。

画像取得部２８は、第１の画像データＤ１（広角画像データ）及び第２の画像データＤ２（望遠画像データ）を取得する。本例の画像取得部２８は、撮像装置１４の撮像素子２６から原画像伝送部１５を介して直接的に第１の画像データＤ１及び第２の画像データＤ２を受信するが、これに限定されるものではない。例えば、撮像素子２６から出力される第１の画像データＤ１及び第２の画像データＤ２を画像保存メモリ３２に保存しておき、画像取得部２８が画像保存メモリ３２から第１の画像データＤ１及び第２の画像データＤ２を読み出して取得してもよい。この画像保存メモリ３２は、撮像装置１４（本体部１６）又は画像表示装置１０に内蔵されていてもよいし、撮像装置１４及び画像表示装置１０に着脱自在に設けられてもよい。

目的像位置取得部３６は、画像取得部２８から受信した第１の画像データＤ１及び第２の画像データＤ２を解析し、第１の画像における注目被写体の画像（表示目的像）の位置及び大きさと、第２の画像における表示目的像の位置及び大きさとを取得する。目的像位置取得部３６における解析手法は特に限定されず、目的像位置取得部３６は、任意の画像認識処理を第１の画像データＤ１及び第２の画像データＤ２に適用し、第１の画像における表示目的像の位置及び大きさと、第２の画像における表示目的像の位置及び大きさとを取得する。

なお、ここで言う「表示目的像の位置及び大きさ」は任意の手法で決定可能である。目的像位置取得部３６は、例えば表示目的像の輪郭位置を画像認識処理によって取得し、その輪郭位置に基づいて決定される１又は複数の位置を「第１の画像における表示目的像の位置」及び「第２の画像における表示目的像の位置」として決定及び取得してもよい。また目的像位置取得部３６は、第１の画像及び第２の画像において表示目的像が占める位置及び大きさを画像認識処理によって取得し、その表示目的像が占める位置及び大きさ自体を「第１の画像における表示目的像の位置及び大きさ」及び「第２の画像における表示目的像の位置及び大きさ」として決定及び取得してもよい。

目的像位置取得部３６は、「表示目的像の位置及び大きさ」の解析取得処理に伴って、第１の画像及び第２の画像の中から「表示目的像」を決定するが、この表示目的像の決定手法は任意の方法によって実現可能である。目的像位置取得部３６は、例えば第１の画像及び第２の画像の中央部に位置する対象を優先的に「表示目的像」として決定してもよいし、第１の画像及び第２の画像において移動する対象を優先的に「表示目的像」として決定してもよい。また目的像位置取得部３６は、これらの「第１の画像及び第２の画像における位置情報」、「第１の画像及び第２の画像における移動情報」、及び／又は他の情報を複合的に考慮して「表示目的像」を決定してもよい。ここで言う「他の情報」は特に限定されず、第１の画像データＤ１及び第２の画像データＤ２から取得可能な情報であってもよいし、ユーザが指定した条件に基づく情報であってもよい。

なお以下の各実施形態では、第１の画像の表示目的像と第２の画像の表示目的像とは、同一対象の像である。

図２に示す画像合成部３４は、画像取得部２８から第１の画像データＤ１及び第２の画像データＤ２を受信し、表示部１２に表示する第１の画像と第２の画像とを電子的に合成して表示画像データＤ３を生成する。画像合成部３４による表示画像データＤ３の具体的な生成手法は、特に限定されない。本例の画像合成部３４は、表示コントローラ３０の制御下で、「第１の画像を表す第１の画像データＤ１」及び「第２の画像を表す第２の画像データＤ２」を電子的に合成して表示画像データＤ３を生成するが、第１の画像及び第２の画像を光学的に合成して表示画像データＤ３を生成してもよい。

表示コントローラ３０は、画像合成部３４における表示画像データＤ３の生成処理を制御し、また表示部１２の画像表示領域１３における画像の表示を制御する。

例えば、表示コントローラ３０は、第１の画像における表示目的像の大きさ及び第２の画像における表示目的像の大きさに応じて、表示部１２における第１の画像の表示領域の大きさ及び第２の画像の表示領域の大きさを決定する。より具体的には、表示コントローラ３０は、目的像位置取得部３６が取得する「第１の画像における表示目的像の位置及び大きさ」及び「第２の画像における表示目的像の位置及び大きさ」に基づいて、第１の画像及び第２の画像のうち少なくともいずれか一方（本例では、第１の画像及び第２の画像の両方）の表示部１２における表示サイズを決定する。

なお、ここで言う「表示サイズ」は、表示部１２の画像表示領域１３における画像が表示される領域の大きさを意味する概念であってもよいし、その表示領域の大きさに加えて画像の表示倍率の大きさを意味する概念であってもよい。「表示サイズ」が画像の表示倍率の大きさを含む概念である場合、表示コントローラ３０は、「表示部１２における第１の画像及び第２の画像の各々の表示領域の大きさ」及び「第１の画像及び第２の画像における表示目的像の位置及び大きさ」に基づいて、好適な表示倍率を算出して取得する。

表示コントローラ３０は、このようにして決定した「第１の画像の表示領域の大きさ及び第２の画像の表示領域の大きさ」及び「表示部１２における第１の画像及び第２の画像の表示サイズ」の情報データを画像合成部３４に送信する。画像合成部３４は、表示コントローラ３０から受信した情報データに基づいて、第１の画像データＤ１及び第２の画像データＤ２から表示画像データＤ３を生成し、生成した表示画像データＤ３を表示コントローラ３０に送信する。

表示コントローラ３０は、画像合成部３４から受信した表示画像データＤ３を、表示画像伝送部１１を介して表示部１２に送信することで、画像合成部３４によって電子的に又は光学的に合成された第１の画像及び第２の画像を表示部１２に表示する。なお表示コントローラ３０は、表示部１２の表示特性に関する情報を予め取得及び保持しており、例えば画像表示領域１３のサイズ（画面解像度）のデータを有する。表示コントローラ３０は、そのような表示部１２の表示特性に関する情報を考慮した情報データを画像合成部３４に送信し、表示部１２の表示特性を踏まえた表示画像データＤ３を画像合成部３４に生成させる。

表示部１２は、表示コントローラ３０の制御下で送られてくる表示画像データＤ３を画像表示領域１３に表示する。

図３は、表示部１２の画像表示領域１３を示す平面図である。

本例の表示部１２の画像表示領域１３は四角形（長方形）の平面形状を有し、画像表示領域１３の重心Ｃを中心とした円形の平面形状を有する画面中央部４２と、画面中央部４２の周囲の画面周辺部４４とによって構成されている。

表示コントローラ３０（図２参照）は、表示部１２の画像表示領域１３のうち画面中央部４２では第１の画像（広角画像）の表示率を第２の画像（望遠画像）の表示率よりも大きくした状態で、表示部１２に第１の画像及び第２の画像を表示する。

また表示コントローラ３０は、表示部１２の画像表示領域１３のうち画面周辺部４４では第１の画像の表示率を第２の画像の表示率よりも小さくした状態で、又は第１の画像の表示率を第２の画像の表示率と同じにした状態で、表示部１２に第１の画像及び第２の画像を表示する。

なお図３には、「円形の平面形状の画面中央部４２」と「画面周辺部４４」とによって「四角形状の画像表示領域１３」が構成されるケースが例示されているが、表示部１２の画面中央部４２、画面周辺部４４及び画像表示領域１３の大きさや形状は特に限定されない。例えば画面中央部４２の平面形状が四角形であってもよいし、画像表示領域１３の平面形状が四角形以外の形状であってもよい。また表示コントローラ３０（図２参照）は、表示部１２の画像表示領域１３における画面中央部４２及び画面周辺部４４の平面形状、大きさ及び範囲を、第１の画像（広角画像）及び第２の画像（望遠画像）の画像の内容、撮影条件、或いは他の条件に応じて適応的に調整してもよい。

次に、第１の画像（広角画像）及び第２の画像（望遠画像）の具体的な合成表示例について説明する。

＜第１の合成表示例＞
図４は、第１の画像５１（広角画像）及び第２の画像５２（望遠画像）の第１の合成表示例を示す図である。なお図４には画像表示領域１３が正方形状の平面形状を有する例が示されているが、画像表示領域１３の平面形状は特に限定されず、例えば図３に示すように長さと幅が異なる長方形の平面形状を画像表示領域１３は有していてもよい。

本例の表示コントローラ３０（図２参照）は、表示部１２の画像表示領域１３において、第１の画像５１が表示される領域（以下、「第１画像表示領域」と称する）５４を第２の画像５２が表示される領域（以下、「第２画像表示領域」と称する）５６よりも狭くして、第２画像表示領域５６内に第１画像表示領域５４が配置された状態で、表示部１２の画像表示領域１３に第１の画像５１及び第２の画像５２を同時に表示する。

特に本例の表示コントローラ３０は、表示部１２において第１の画像５１が表示される第１画像表示領域５４では第２の画像５２を表示しない。すなわち表示コントローラ３０は、画像表示領域１３の画面中央部４２を第１画像表示領域５４に設定し、画像表示領域１３のうち画面中央部４２を含まない画面周辺部４４を第２画像表示領域５６に設定する。

また表示コントローラ３０は、第１の画像５１の表示目的像５３の表示部１２における位置と、第２の画像５２の表示目的像５３の表示部１２における位置とを一致させる。表示部１２において表示目的像５３の位置を第１の画像５１と第２の画像５２との間で一致させる場合に基準となる「表示目的像５３の位置」を定める条件は、特に限定されない。例えば表示目的像５３の中心位置（重心位置）を基準として、表示部１２（画像表示領域１３）において表示目的像５３の重心位置が第１の画像５１と第２の画像５２との間で概ね一致するように、表示コントローラ３０は、表示部１２における第１の画像５１及び第２の画像５２の表示サイズを決定してもよい。図４に示す例では、「第１の画像５１中の表示目的像５３の重心」の位置と「第２の画像５２中の表示目的像５３の重心」の位置とが一致している。

また表示コントローラ３０は、第１画像表示領域５４が、第２画像表示領域５６に表示される第２の画像５２の表示目的像５３の外周部（輪郭）よりも小さくなるように、「第１画像表示領域５４の大きさ及び第２画像表示領域５６の大きさ」及び「表示部１２における第１の画像及び第２の画像の表示サイズ」を決定する。すなわち表示コントローラ３０は、第２の画像５２中の表示目的像５３の外周部（輪郭）の内側に第１画像表示領域５４を配置し、「手前像を構成する第１の画像５１の表示領域（第１画像表示領域５４）のサイズ」を「後方像を構成する第２の画像５２中の表示目的像５３のサイズ」よりも小さく設定する。

また表示コントローラ３０は、「第１画像表示領域５４の大きさ及び第２画像表示領域５６の大きさ」及び「表示部１２（第１画像表示領域５４及び第２画像表示領域５６）における第１の画像５１及び第２の画像５２の表示サイズ」を決定する際に、表示部１２（画像表示領域１３）において、第１の画像５１の表示画角を第２の画像５２の表示画角よりも大きく設定する。特に表示コントローラ３０は、第１画像表示領域５４が、第１画像表示領域５４に表示される第１の画像５１の表示目的像５３の外周部（輪郭）よりも大きくなるように、「第１画像表示領域５４の大きさ及び第２画像表示領域５６の大きさ」及び「表示部１２における第１の画像及び第２の画像の表示サイズ」を決定する。このように表示部１２の第１画像表示領域５４に表示される第１の画像５１が表示目的像５３の外周部（輪郭）を含むように、第１の画像５１及び第２の画像５２の表示画角を設定することによって、ユーザは表示目的像５３の追跡を容易且つ継続的に行うことができる。

表示コントローラ３０は、上記の条件を示す情報データを画像合成部３４（図２参照）に提供し、上記の条件を満たす表示画像データＤ３を画像合成部３４に生成させる。そして表示コントローラ３０は、その表示画像データＤ３を画像合成部３４から受信して表示部１２に送信し、図４に示すような第１の画像５１及び第２の画像５２の平面的な合成画像を表示部１２の画像表示領域１３に表示させる。

上記の条件を満たす「第１の画像５１及び第２の画像５２の合成画像」を表示部１２に表示することで、ユーザは、第１の画像５１及び第２の画像５２における表示目的像５３の状態を簡便且つ的確に把握することが可能になる。例えば、ユーザは表示部１２に表示される第１の画像５１（広角画像）を参照することで表示目的像５３の動きを把握しつつ、表示部１２に表示される第１の画像５１（広角画像）及び第２の画像５２（望遠画像）の両者を参照することで表示目的像５３の詳細な情報を確認することができる。また、ユーザは表示部１２の第１画像表示領域５４における第１の画像５１を参照して表示目的像５３の周辺の状態を視認することができ、表示目的像５３の捕捉及び追跡が容易になる。また第１画像表示領域５４の周辺の第２画像表示領域５６には「第２の画像５２中の表示目的像５３」が拡大された状態で表示されるため、ユーザは、表示目的像５３の捕捉及び追跡が確実に行われていることを確認することができる。

以上説明したように本例の画像表示手法によれば、図４に示すように、ユーザは第１の画像５１の表示目的像５３及び第２の画像５２の表示目的像５３の両者を、大きな視線の動きを必要とすることなくひと目で認識することができ、ユーザの負担を軽減することができる。特に、広角画像である第１の画像５１を画面中央部４２に配置することで、ユーザは表示目的像５３の周辺の状態を簡便且つ的確に認識することができる。また望遠画像である第２の画像５２中の表示目的像５３の外周部（輪郭）の内側に第１の画像５１を表示することで、ユーザは、表示目的像５３の周辺の状態を第１の画像５１（広角画像）から認識しつつ、表示目的像５３の外周部（輪郭）の状態を第２の画像５２（望遠画像）から認識することができる。このようにユーザは、第１の画像５１及び第２の画像５２（特に表示目的像５３）の内容を容易に把握することができ、画像全体における表示目的像５３の位置及び状態を適切に把握することができる。

また、第１の画像５１及び第２の画像５２を混合することなく独立して表示することで、第１の画像５１及び第２の画像５２の各々を表示部１２に明瞭に表示することができる。

＜第２の合成表示例＞
本例において、上述の第１の合成表示例と同様の構成部分には同一の符号を付し、その詳細な説明は省略する。

本例の表示コントローラ３０（図２参照）は、表示部１２において第１の画像５１が表示される領域（第１画像表示領域５４）の少なくとも一部では、第１の画像５１と第２の画像５２とを混合表示する。

図５は、第１の画像（広角画像）及び第２の画像（望遠画像）の第２の合成表示例を説明するための表示部１２（画像表示領域１３）の平面図である。

本例の表示部１２の画像表示領域１３は、画像表示領域１３の重心Ｃを中心とした中央部に位置する第１単画像表示領域４６と、第１単画像表示領域４６の外側に位置する混合画像表示領域４７と、混合画像表示領域４７の外側に位置する第２単画像表示領域４８とによって構成される。

第１単画像表示領域４６、混合画像表示領域４７及び第２単画像表示領域４８の位置、大きさ及び平面形状は特に限定されない。図５に示す例では、第１単画像表示領域４６は円形状の平面形状を有し、混合画像表示領域４７は円筒の断面形状の平面形状を有し、第２単画像表示領域４８は画像表示領域１３のうち第１単画像表示領域４６及び混合画像表示領域４７以外の領域によって構成される。

第１単画像表示領域４６は第１の画像５１のみが表示される領域であり、混合画像表示領域４７は第１の画像５１と第２の画像５２とが混合表示される領域であり、第２単画像表示領域４８は第２の画像５２のみが表示される領域である。したがって第１の画像５１が表示される領域（第１画像表示領域５４）は、第１単画像表示領域４６及び混合画像表示領域４７によって構成され、第２の画像５２が表示される領域（第２画像表示領域５６）は、混合画像表示領域４７及び第２単画像表示領域４８によって構成される。

表示コントローラ３０は、表示部１２において第１画像表示領域５４が表示される領域の少なくとも一部（図５に示す例では混合画像表示領域４７）では、第１の画像５１の中心部である重心Ｃから周辺部である輪郭Ｐに向かう方向（図５の矢印「Ｒ」参照）に関し、第１の画像５１に対する第２の画像５２の表示率を連続的に変え、特に本例では、第１の画像５１に対する第２の画像５２の表示率を連続的に大きくする。

図６は、第１の画像５１（広角画像）及び第２の画像５２（望遠画像）の第２の合成表示例を示す図である。なお図６には画像表示領域１３が正方形状の平面形状を有する例が示されているが、画像表示領域１３の平面形状は特に限定されず、例えば図５に示すように長さと幅が異なる長方形の平面形状を画像表示領域１３は有していてもよい。

本例では、図６に示すように、第１単画像表示領域４６及び混合画像表示領域４７に第１の画像５１が表示され、また混合画像表示領域４７及び第２単画像表示領域４８に第２の画像５２が表示される。

混合画像表示領域４７は、第１の画像５１及び第２の画像５２が混合表示される領域であり、第１の画像５１の重心（中心）から輪郭に向かう方向（図５の矢印「Ｒ」参照）に関し、第１の画像５１に対する第２の画像５２の表示率が連続的に大きくなる。すなわち「第１単画像表示領域４６と混合画像表示領域４７との境界部」から「混合画像表示領域４７と第２単画像表示領域４８との境界部」に向かう方向に関し、混合画像表示領域４７における第１の画像５１の混合比率（表示比率）が徐々に小さくなる一方で、混合画像表示領域４７における第２の画像５２の混合比率（表示比率）が徐々に大きくなる。

また第１単画像表示領域４６は、第２画像表示領域５６（混合画像表示領域４７及び第２単画像表示領域４８）に表示される第２の画像５２中の表示目的像５３の外周部（輪郭）よりも小さい。また第１の画像５１中の表示目的像５３は、第１単画像表示領域４６内に配置される。すなわち第１単画像表示領域４６は、第１単画像表示領域４６に表示される第１の画像５１中の表示目的像５３の外周部（輪郭）よりも大きい。そのため、第１画像表示領域５４が、第２画像表示領域５６に表示される第２の画像５２中の表示目的像５３の外周部（輪郭）よりも小さくなり、第２の画像５２中の表示目的像５３の外周部（輪郭）の内側に第１の画像５１中の表示目的像５３が配置される。

なお、図６に示す第２の合成表示例は、図４に示す第１の合成表示例と同様に、下記の条件を満たす。

すなわち、第１画像表示領域５４（第１単画像表示領域４６及び混合画像表示領域４７）は、第２画像表示領域５６（混合画像表示領域４７及び第２単画像表示領域４８）よりも狭く、第２画像表示領域５６内に配置される。また表示部１２（画像表示領域１３）において、第１の画像５１の表示目的像５３の重心位置と、第２の画像５２の表示目的像５３の重心位置とは一致する。また表示部１２（画像表示領域１３）において、第１の画像５１の表示画角は第２の画像５２の表示画角よりも大きく、第１画像表示領域５４は、第１画像表示領域５４に表示される第１の画像５１の表示目的像５３の外周部（輪郭）よりも大きい。

表示コントローラ３０は、上記の条件を満たす「第１画像表示領域５４の大きさ及び第２画像表示領域５６の大きさ」及び「表示部１２（第１画像表示領域５４及び第２画像表示領域５６）における第１の画像５１及び第２の画像５２の表示サイズ」を決定する。

表示コントローラ３０は、上記の条件を示す情報データを画像合成部３４（図２参照）に提供し、画像合成部３４に上記の条件を満たす表示画像データＤ３を生成させる。そして表示コントローラ３０は、その表示画像データＤ３を画像合成部３４から受信して表示部１２に送信し、図６に示すような第１の画像５１及び第２の画像５２の合成画像を表示部１２の画像表示領域１３に表示させる。

以上説明したように本例の画像表示手法によれば、図６に示すように、ユーザは第１の画像５１の表示目的像５３及び第２の画像５２の表示目的像５３の両者をひと目で認識することができる。

特に本例では、表示部１２の画像表示領域１３の一部（混合画像表示領域４７）に第１の画像５１及び第２の画像５２の両者が視認可能な状態で表示されるため、上述の第１の合成表示例（図４参照）に比べ、第１の画像５１及び第２の画像５２の表示領域を実質的に拡大することができる。そのため表示部１２において第１の画像５１及び第２の画像５２の両画像が広範囲に表示され、ユーザは、表示目的像５３の状態を広範囲に表示された第１の画像５１及び第２の画像５２から簡便に確認することができる。

＜人間の視覚特性に基づく表示態様について＞
次に、表示部１２における第１の画像及び第２の画像の表示態様を、人間の視覚特性に基づいて決める手法について説明する。

図７は、視機能（視力）、情報探索運動及び誘導効果から見た視野特性を示す図であり、映像情報メディア学会によって提供されている図（映像情報メディア学会、２００９、Ａｌｌ Ｒｉｇｈｔｓ Ｒｅｓｅｒｖｅｄ）と同様のものである。なお、映像情報メディア学会によって提供されている図は、例えば下記のインターネット上のアドレス（ＵＲＬ：Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）にアクセスすることで参照可能である。
http://Dbnst.nii.ac.jp/view_image/2515/4526?height=785&wiDth=421

図７の符号「（Ａ）」は、「中心視」の範囲を示し、高性能な情報処理範囲であって人間の眼の網膜中心部に対応する。この中心視範囲（Ａ）は、「弁別視野」の範囲（図７の符号「（１）」参照）及び「有効視野」の範囲（図７の符号「（２）」参照）を含む。

弁別視野範囲（１）は、視力等の視機能が優れている高密度情報処理範囲であり、人間の眼（瞳孔等）の中心部に対応する。有効視野範囲（２）は、瞬時に視線移動し高性能に情報受容が可能な範囲であり、人間の眼（瞳孔等）の中心部を基準にして水平方向に関して±１５°以内、上方向に関して８°以内、及び下方向に関して１２°以内の視認可能範囲に対応する。

一方、図７の符号「（Ｂ）」は、「周辺視」の範囲を示し、低性能ながら広く情報を受容可能な範囲であって人間の眼の網膜周辺部に対応する。この周辺視範囲（Ｂ）は、「安定注視野」の範囲（図７の符号「（３）」参照）、「誘導視野」の範囲（図７の符号「（４）」参照）及び「補助視野」の範囲（図７の符号「（５）」参照）を含む。

安定注視野範囲（３）は、有効視野範囲（２）を基準として、人間の頭部運動により無理なく情報を受容可能な範囲であり、情報端末利用空間において効果的な情報表示が可能な範囲である。この安定注視野範囲（３）は、人間の眼（瞳孔等）の中心部を基準にして水平方向に関して±３０〜４５°以内、上方向に関して２０〜３０°以内、及び下方向に関して２５〜４０°以内の視認可能範囲に対応する。

誘導視野範囲（４）は、視覚情報による座標系誘導効果がもたらされ臨場感が引き起こされる範囲であり、人間の眼（瞳孔等）の中心部を基準にして水平方向に関して±５０°以内、上方向に関して３５°以内、及び下方向に関して５０°以内の視認可能範囲に対応する。

補助視野範囲（５）は、単純な視覚情報のみを検出及び受容できる範囲であり、人間の眼（瞳孔等）の中心部を基準にして水平方向に関して±１００°以内、上方向に関して５０°以内、及び下方向に関して７０°以内の視認可能範囲に対応する。

図８は、人間の視覚特性を考慮した第１の画像５１及び第２の画像５２の表示例を示す図である。図８には、図７に示す人間の視覚特性を考慮した表示態様を、上述の第１の合成表示例（図４参照）に適用したケースが図示されている。なお、上述の第２の合成表示例（図６参照）に対しても、下述の第１の合成表示例と同様に、図７に示す人間の視覚特性を考慮した表示態様を適用することが可能である。

表示コントローラ３０は画像合成部３４及び表示部１２を制御して、以下の条件を満たす表示画像データＤ３を、画像合成部３４に生成させて表示部１２に表示させることが好ましい。

すなわち第１の画像５１の表示目的像５３は、有効視野範囲（２）内に配置され（図８参照）、好ましくは弁別視野範囲（１）内に配置される。

また第１の画像５１が表示される第１画像表示領域５４は、有効視野範囲（２）を基準に定められる。図８に示す例では第１画像表示領域５４を有効視野範囲（２）と同範囲としており、有効視野範囲（２）を包含する特定の範囲を第１画像表示領域５４に設定してもよい。

また第２の画像５２の表示目的像５３（特に表示目的像５３の外周部（輪郭））は、安定注視野範囲（３）を基準に定められる。第２の画像５２の表示目的像５３は安定注視野範囲（３）内に配置されて第２の画像５２の表示目的像５３の外周部（輪郭）の全部が安定注視野範囲（３）内に位置することが好ましいが、第２の画像５２の表示目的像５３の外周部（輪郭）の一部（好ましくは外周部（輪郭）全体の１／２以上、より好ましくは３／４以上、更に好ましくは７／８以上）が安定注視野範囲（３）内に位置してもよい。

また表示部１２の画像表示領域１３及び第２の画像５２が表示される領域（第２画像表示領域５６）は、誘導視野範囲（４）又は補助視野範囲（５）を基準に定められる。例えば、誘導視野範囲（４）又は補助視野範囲（５）を包含する特定の範囲を第２画像表示領域５６に設定してもよい。

上述のように人間の視覚特性を考慮して「第１の画像５１及び第２の画像５２の合成画像」を生成及び表示することで、ユーザは、第１の画像５１及び第２の画像５２（特に表示目的像５３）を無理なく適切に把握することが可能になる。

＜画像表示処理フロー＞
次に、図２に示される画像表示装置１０による画像表示処理フローの一例について説明する。

図９は、画像表示方法の一例を示すフローチャートである。

まず表示コントローラ３０によって、表示部１２（画像表示領域１３）における第１の画像５１及び第２の画像５２の表示領域である「第１画像表示領域５４」及び「第２画像表示領域５６」が決定される（図９のＳ１１）。より具体的には、第２画像表示領域５６が第１画像表示領域５４を包含し、第１画像表示領域５４は第２画像表示領域５６よりも狭くなるように設定される。なお表示コントローラ３０は、上述の図４又は図６に示すような条件に加え、例えば画像取得部２８を介して取得される第１の画像データＤ１及び第２の画像データＤ２の画像特性（例えば画像サイズ、画像解像度等）に基づいて、第１画像表示領域５４及び第２画像表示領域５６を決定してもよいし、予め定められた領域情報に従って第１画像表示領域５４及び第２画像表示領域５６を決定してもよい。

そして表示コントローラ３０によって、表示部１２（画像表示領域１３）における第１の画像５１中の表示目的像５３の位置及び第２の画像５２中の表示目的像５３の位置を一致させる（Ｓ１２）。より具体的には、表示コントローラ３０は、第１の画像５１中の表示目的像５３の位置（例えば重心位置）と、第２の画像５２中の表示目的像５３の位置（例えば重心位置）とを、表示部１２（画像表示領域１３）において一致させる。

そして表示コントローラ３０は、第１の画像５１及び第２の画像５２の合成データである表示画像データＤ３を画像合成部３４から取得する（Ｓ１３）。すなわち表示コントローラ３０は画像合成部３４を制御して、上述のステップＳ１１及びＳ１２において決定した条件及び他の条件を満たす表示画像データＤ３を画像合成部３４に生成させる。

そして表示コントローラ３０は、表示画像データＤ３を表示部１２に送信し、合成された第１の画像５１及び第２の画像５２を表示部１２（画像表示領域１３）に表示する（Ｓ１４）。

上述の一連の処理ステップＳ１１〜Ｓ１４を含む画像表示方法により、表示部１２において、第１の画像５１が表示される領域（第１画像表示領域５４）は第２の画像５２が表示される領域（第２画像表示領域５６）よりも狭くした状態で、第１の画像５１の表示目的像５３の表示部１２における位置と、第２の画像５２の表示目的像５３の表示部１２における位置とを一致させて、表示部１２に第１の画像５１及び第２の画像５２を同時に表示することができる。

以上説明したように本実施形態によれば、注目被写体の複数チャンネル像である「第１の画像５１中の表示目的像５３」及び「第２の画像５２中の表示目的像５３」の観察に際し、ユーザは視線を殆ど動かさずに済むため、ユーザの負担が大幅に軽減され、使用感も向上させることができる。

なお上述の実施形態に係る画像表示システム５（画像表示装置１０）は一例に過ぎず、他の変形が加えられてもよい。

＜第１の変形例＞
本変形例において上述の実施形態と同一又は類似の構成には同一の符号を付し、その詳細な説明は省略する。

図１０は、第１の変形例に係る画像表示システム５の機能構成例を示すブロック図である。

本変形例に係る画像表示装置１０は、画像取得部２８、表示コントローラ３０、画像合成部３４及び目的像位置取得部３６に加え、ブレ取得部３８を更に有する。ブレ取得部３８は、第１の画像５１の表示目的像５３及び第２の画像５２の表示目的像５３のうち少なくともいずれか一方のブレ量を取得する。

ここで言う「ブレ量」は、撮影時における撮像装置１４自体の動きの大きさを表すデータであってもよいし、被写体（特に表示目的像５３の対象となっている被写体）の動作の大きさを表すデータであってもよいし、これらが複合的に組み合わされたデータであってもよい。

またブレ取得部３８による上記の「ブレ量」の取得方法は、特に限定されない。ブレ取得部３８は、例えば画像取得部２８を介して取得される第１の画像データＤ１及び第２の画像データＤ２を解析することで上記の「ブレ量」を取得してもよいし、ジャイロセンサ等のセンサ類を使って撮像装置１４自体の動き量（ブレ量）を検出可能なブレ量検出部４０を撮像装置１４（本体部１６）に設けて、このブレ量検出部４０から「ブレ量」を取得してもよいし、他の手法によって「ブレ量」を取得してもよい。

表示コントローラ３０は、ブレ取得部３８が取得したブレ量を示すデータを受信し、そのブレ量に基づいて、第１の画像５１及び第２の画像５２のうち少なくともいずれか一方の表示部１２における表示割合を決定する。

すなわち本例の表示コントローラ３０は、ブレ取得部３８により取得される「第１の画像５１の表示目的像５３及び第２の画像５２の表示目的像５３のうち少なくともいずれか一方のブレ量」が第１の閾値以上の場合には、ブレ取得部３８により取得されるブレ量が第１の閾値よりも小さい場合よりも、第１の画像５１（広角画像）の表示割合を大きくする。また本例の表示コントローラ３０は、ブレ取得部３８により取得されるブレ量が第２の閾値以下の場合には、ブレ取得部３８により取得されるブレ量が第２の閾値よりも大きい場合よりも、第２の画像５２（望遠画像）の表示割合を大きくする。

ここで言う「表示割合」は、表示部１２における画像表示領域１３の全体に対する表示面積の割合であってもよい。この場合、ブレ取得部３８により取得されるブレ量が第１の閾値以上の場合には、ブレ取得部３８により取得されるブレ量が第１の閾値よりも小さい場合よりも、表示部１２（画像表示領域１３）における第１の画像５１（広角画像）の表示面積が大きくなる。また、ブレ取得部３８により取得されるブレ量が第２の閾値以下の場合には、ブレ取得部３８により取得されるブレ量が第２の閾値よりも大きい場合よりも、第２の画像５２（望遠画像）の表示面積が大きくなる。

また上述の第２の合成表示例（図５及び図６参照）のように、表示コントローラ３０が、表示部１２において第１の画像５１が表示される領域の少なくとも一部（図５の「混合画像表示領域４７」参照）では第１の画像５１と第２の画像５２とを混合表示する場合、「表示割合」は、表示部１２において第１の画像５１が表示される領域の上記「少なくとも一部」のエリアにおける表示の混合割合であってもよい。この場合、ブレ取得部３８により取得されるブレ量が第１の閾値以上の場合には、ブレ取得部３８により取得されるブレ量が第１の閾値よりも小さい場合よりも、表示部１２（画像表示領域１３）における第１の画像５１（広角画像）の混合比（表示率）が大きくなる。また、ブレ取得部３８により取得されるブレ量が第２の閾値以下の場合には、ブレ取得部３８により取得されるブレ量が第２の閾値よりも大きい場合よりも、第２の画像５２（望遠画像）の混合比（表示率）が大きくなる。

なお、第１の閾値及び第２の閾値の具体的な値は特に限定されず、ユーザやメーカ（製造者）によって適宜設定可能ではあるが、第１の閾値は第２の閾値よりも大きい値となる。すなわち、第１の閾値は、ブレ量が大きく第１の画像５１（広角画像）の表示割合を大きくした方が好ましい状態を定める値であるため、比較的大きな値に設定されうる。一方、第２の閾値は、ブレ量が小さく第２の画像５２（望遠画像）の表示割合を大きくした方が好ましい状態を定める値であるため、比較的小さな値に設定されうる。

他の構成は、上述の図２等に示す実施形態と同一である。

本変形例に係る画像表示装置１０によれば、表示部１２における第１の画像５１及び第２の画像５２の表示態様を、被写体（表示目的像５３）の動きや撮像装置１４の動きに応じて適応的に変えることができる。

例えば被写体（表示目的像５３）の動きや撮像装置１４の動きが激しい場合には、被写体の追跡が困難になるので、被写体の追跡のための情報が豊富である広い画角の第１の画像５１（広角画像）の表示割合が大きい方が好ましい。また被写体（表示目的像５３）の動きや撮像装置１４の動きが激しい場合には、表示部１２に表示される望遠画像ではブレの影響が広角画像よりも大きく表れ、表示される望遠画像の内容をユーザは十分に認識することができない場合もある。そのため被写体（表示目的像５３）の動きや撮像装置１４の動きが激しい場合には、動きが小さい場合よりも、望遠画像である第２の画像５２の表示割合を下げることが、システムリソースの有効利用の点からも妥当である。

本変形例では、ブレ取得部３８によって取得される「ブレ量」が第１の閾値以上の場合には、「ブレ量」が第１の閾値よりも小さい場合よりも、第１の画像５１の表示割合が大きくなるため、ユーザは、豊富な情報を含む第１の画像５１（広角画像）を確認しながら被写体（表示目的像５３）を簡便且つ精度良く追跡することが可能になる。

一方、被写体（表示目的像５３）や撮像装置１４に動きが殆どない場合には、表示部１２に表示される望遠画像においてもブレの影響が非常に小さいため、より高倍率で詳細な情報が提示される第２の画像（望遠画像）の表示割合が大きい方が好ましい。本変形例では、「ブレ量」が第２の閾値以下の場合には、「ブレ量」が第２の閾値よりも大きい場合よりも、第２の画像５２の表示割合が大きくなるため、ユーザは、詳細な情報が視認性良く表示される第２の画像５２（望遠画像）を確認しながら、被写体を簡便且つ的確に観察することが可能になる。

＜第２の変形例＞
本変形例において上述の実施形態及び第１の変形例と同一又は類似の構成には同一の符号を付し、その詳細な説明は省略する。

本変形例に係る表示コントローラ３０は、表示部１２において第１の画像５１及び第２の画像５２のうち少なくともいずれか一方を立体的に表示し、表示部１２における第１の画像５１の表示目的像５３の奥行き位置を第２の画像５２の表示目的像５３の奥行き位置とは異ならせる。

例えば図２又は図１０に示す画像表示装置１０において、表示コントローラ３０は、第１の画像データＤ１及び第２の画像データＤ２から、第１の画像５１（表示目的像５３を含む）に関する奥行き情報と、第２の画像５２（表示目的像５３を含む）に関する奥行き情報とを取得する。そして表示コントローラ３０は、画像合成部３４に提供する情報データに第１の画像５１の奥行き情報及び第２の画像５２の奥行き情報を含める。画像合成部３４は、表示コントローラ３０から提供される第１の画像５１の奥行き情報及び第２の画像５２の奥行き情報に基づいて、表示部１２において第１の画像５１及び第２の画像５２が立体視可能に表示されるために必要な表示画像データＤ３を生成する。表示コントローラ３０は、この立体視用の表示画像データＤ３を画像合成部３４から取得して表示部１２に送信し、表示部１２は表示画像データＤ３に基づいて第１の画像５１及び第２の画像５２の合成画像を立体視可能なように表示する。

なお表示コントローラ３０による第１の画像５１の奥行き情報及び第２の画像５２の奥行き情報の取得手法は特に限定されず、例えば第１の画像５１及び第２の画像５２の特性情報及び撮影情報に基づいて奥行き情報が取得されてもよいし、予め定められた奥行き情報が第１の画像５１及び第２の画像５２の各々の奥行き情報として取得されてもよい。

また第１の画像５１及び第２の画像５２を立体視可能とする手法も特に限定されず、画像合成部３４は、任意の立体視手法に基づいて表示画像データＤ３を生成することができる。例えば両眼視差に基づく立体視手法を利用する場合には、画像合成部３４は、第１の画像５１及び第２の画像５２の合成画像に関する視差画像（すなわち右目画像及び左目画像）のデータを表示画像データＤ３に含めてもよい。この場合、表示部１２は、表示画像データＤ３に含まれる第１の画像５１及び第２の画像５２の合成画像に関する視差画像のデータに基づいて、第１の画像５１及び第２の画像５２の合成画像に関する立体画像を画像表示領域１３に表示する。

上述のように本変形例の画像表示装置１０によれば、表示部１２において、複数のチャンネルの画像（第１の画像５１及び第２の画像５２）の奥行き位置、とりわけ各画像における表示目的像５３の奥行き位置を変えて、画像表示を行うことができる。表示部１２における平面的な画像表示では、複数の画像（第１の画像５１及び第２の画像５２）が複雑に混在表示され、撮影シーンによってはユーザが両画像を分離して認識し難い場合も想定される。しかしながら本変形例のように、複数の画像（第１の画像５１及び第２の画像５２）の奥行き位置に差を設けることで、ユーザは各画像を容易に分離して認識することが可能になり、各画像からより多くの情報を同時に取得することができる。

＜同一の光軸を有する複数の光学系を備える撮像系＞
図１に示す画像表示システム５では第１の画像データＤ１及び第２の画像データＤ２が単一の撮像装置１４によって取得されるが、第１の画像データＤ１及び第２の画像データＤ２が別体の撮像装置１４によって取得されてもよい。

ただし、以下に説明する「第１の画像５１（広角画像）の撮影に用いられる第１の光学系１８が、第２の画像５２（望遠画像）の撮影に用いられる第２の光学系２０と同一の光軸を有する撮像系」によって第１の画像データＤ１及び第２の画像データＤ２を取得することによって、第１の画像５１と第２の画像５２との間に視差が生じるのを防いで、表示部１２における第１の画像５１及び第２の画像５２の合成画像の表示の視認性を向上させることができる。

図１１は、第１の光学系１８、第２の光学系２０及び撮像素子２６の一構成例を示す断面図である。

本例の撮像系は、それぞれ同一の光軸上に配置された、第１の光学系１８としての中央部の中央光学系１１３と、その周辺部の同心円状の第２の光学系２０としての環状光学系１１４とから構成されている。

中央光学系１１３は、第１レンズ１１３ａ、第２レンズ１１３ｂ、第３レンズ１１３ｃ、第４レンズ１１３ｄ、及び共通レンズ１１５から構成された広角光学系（広角レンズ）であり、撮像素子２６を構成するマイクロレンズアレイ１１６上に広角画像を結像させる。

一方、環状光学系１１４は、第１レンズ１１４ａ、第２レンズ１１４ｂ、反射光学系としての第１反射ミラー１１４ｃ、第２反射ミラー１１４ｄ、及び共通レンズ１１５から構成された望遠光学系（望遠レンズ）であり、マイクロレンズアレイ１１６上に望遠画像を結像させる。第１レンズ１１４ａ及び第２レンズ１１４ｂを通過した光束は、第１反射ミラー１１４ｃ及び第２反射ミラー１１４ｄにより２回反射された後、共通レンズ１１５を通過する。第１反射ミラー１１４ｃ及び第２反射ミラー１１４ｄにより光束が折り返されることにより、焦点距離の長い望遠光学系（望遠レンズ）の光軸方向Ｌの長さを短くすることができる。

本例の撮像素子２６は指向性センサによって構成され、マイクロレンズアレイ１１６及びイメージセンサ１１８を有する。

図１２は、マイクロレンズアレイ１１６及びイメージセンサ１１８の要部拡大図である。

マイクロレンズアレイ１１６は、複数のマイクロレンズ（瞳結像レンズ）１１６ａが２次元状に配列されて構成されており、各マイクロレンズ１１６ａの水平方向及び垂直方向の間隔は、イメージセンサ１１８の光電変換素子である受光セル１１８ａの３つ分の間隔に対応している。すなわち、マイクロレンズアレイ１１６の各マイクロレンズ１１６ａは、水平方向及び垂直方向の各方向に関して、２つ置きの受光セル１１８ａの位置に対応して形成されたものが使用される。

また、マイクロレンズアレイ１１６の各マイクロレンズ１１６ａは、撮像系の中央光学系１１３及び環状光学系１１４の各々に対応する円形の中央瞳像（第１の瞳像）１１７ａ及び環状瞳像（第２の瞳像）１１７ｂを、イメージセンサ１１８の対応する受光領域の受光セル１１８ａ上に結像させる。

図１２に示すマイクロレンズアレイ１１６及びイメージセンサ１１８によれば、マイクロレンズアレイ１１６の１マイクロレンズ１１６ａ当たりにつき、格子状（正方格子状）の３×３個の受光セル１１８ａが割り付けられている。以下、１つのマイクロレンズ１１６ａ及び１つのマイクロレンズ１１６ａに対応する受光セル群（３×３個の受光セル１１８ａ）を単位ブロックと呼ぶ。

中央瞳像１１７ａは、単位ブロックの中央の受光セル１１８ａのみに結像し、環状瞳像１１７ｂは、単位ブロックの周囲の８個の受光セル１１８ａに結像する。

上記構成の第１の光学系１８、第２の光学系２０及び撮像素子２６によれば、中央光学系１１３に対応する広角画像と、環状光学系１１４に対応する望遠画像とを同時に撮像することができる。

図１３は、イメージセンサ１１８に配設されたカラーフィルタ配列等を示す図である。なお、図１３で、マイクロレンズアレイ１１６は省略されているが、円形で示した領域は、マイクロレンズアレイ１１６の各マイクロレンズ１１６ａにより瞳像が結像される３×３個の受光セル１１８ａを含む単位ブロックを示す。

図１３（ａ）に示すようにイメージセンサ１１８の撮像面上には、各受光セル上に配設されたカラーフィルタにより構成されるカラーフィルタ配列が設けられる。

このカラーフィルタ配列は、赤（Ｒ）、緑（Ｇ）及び青（Ｂ）の各波長域の光を透過させる３原色のカラーフィルタ（以下、「Ｒフィルタ」、「Ｇフィルタ」、「Ｂフィルタ」と称する）により構成されている。そして、各受光セル上には、Ｒフィルタ、Ｇフィルタ及びＢフィルタのいずれかが配置される。以下、Ｒフィルタが配置された受光セルを「Ｒ受光セル」、Ｇフィルタが配置された受光セルを「Ｇ受光セル」、Ｂフィルタが配置された受光セルを「Ｂ受光セル」と称する。

図１３（ａ）に示すカラーフィルタ配列は、６×６個の受光セルを基本ブロックＢ（図１３（ａ）の太枠で示したブロック、及び図１３（ｂ）参照）とし、基本ブロックＢが水平方向及び垂直方向に繰り返し配置されて構成されている。

図１３（ｂ）に示すように基本ブロックＢは、４個の単位ブロックＢ１〜Ｂ４により構成されている。

図１３（ｃ１）は、４個の単位ブロックＢ１〜Ｂ４の各々における中央の受光セル（図１２に示した中央光学系１１３を通過した光束が入射する受光セル）のグループを示し、図１３（ｃ２）は、４個の単位ブロックＢ１〜Ｂ４の各々における周囲の８個の受光セル（図１２に示した環状光学系１１４を通過した光束が入射する受光セル）のグループを示す。

図１３（ｃ１）に示すように中央の受光セルのグループの画像は、ベイヤ配列のモザイク画像となる。これにより、ベイヤ配列のモザイク画像をデモザイク処理することにより、カラー画像を得ることができる。

一方、図１３（ｃ２）に示すように、単位ブロックＢ１〜Ｂ４の各中央の受光セルの周囲の８個の受光セルのグループは、８個の受光セル内にＲＧＢの全ての受光セル（Ｒ受光セル、Ｇ受光セル、Ｂ受光セル）を含み、且つ単位ブロックＢ１〜Ｂ４にかかわらず、ＲＧＢの受光セルが同じパターンで配置されている。

具体的には、各単位ブロックＢ１〜Ｂ４の４隅の４つの受光セルは、Ｇ受光セルが配置され、中央の受光セルを挟んで上下の２個の受光セルは、Ｒ受光セルが配置され、中央の受光セルを挟んで左右の２個の受光セルは、Ｂ受光セルが配置されている。

また、Ｒ受光セル、Ｇ受光セル、及びＢ受光セルは、それぞれ単位ブロックの中央の受光セル（中心）に対して対称位置に配置されている。これにより、単位ブロック内のＲＧＢの受光セルの出力信号を使用して、その単位ブロック毎のデモザイク処理（同時化処理）後の、画像を構成する１つの画素（ＲＧＢの画素値）を生成することができる。

すなわち、単位ブロック内の４個のＧ受光セルの出力信号（画素値）の平均値を求めることにより、単位ブロック（１マイクロレンズ）の中心位置におけるＧ画素の画素値を取得することができ、同様に単位ブロック内の２個のＲ受光セルの画素値の平均値、及び２個のＢ受光セルの画素値の平均値を求めることにより、それぞれ単位ブロックの中心位置におけるＲ画素及びＢ画素の画素値を取得することができる。

これにより、単位ブロックの周囲の８個の受光セルのグループにより生成される、環状光学系１１４（望遠光学系）に対応する望遠画像については、単位ブロック内のＲＧＢの受光セルの画素値を使用してデモザイク処理を行うことができ、周囲の単位ブロックの受光セルの画素値を補間して特定の波長域の画素の画素値を生成する必要がなく、出力画像の解像度（実質的な画素数）を低下させることがない。

上述のような構成を有する「同一の光軸を有する第１の光学系１８及び第２の光学系２０を備える撮像系」によって、「視差のない広角画像及び望遠画像」を示す第１の画像データＤ１及び第２の画像データＤ２を撮像素子２６から出力することができる。

なお上述の「同一の光軸を有する複数の光学系を備える撮像系」は、例えば特願２０１４−２８３３９においても詳細に説明されており、必要に応じて各種の変形が可能である。また、他の構成を有する撮像系によって「同一の光軸を有する複数の光学系を備える撮像系」を実現してもよい。

また撮影光学系の反射ミラー型のレンズ構成のうちの反射ミラーは、凹面鏡や凸面鏡に限らず、平面鏡でもよく、また、反射ミラーの枚数も２枚に限らず、３枚以上設けるようにしてもよい。

更に、中央光学系１１３及び環状光学系１１４の共通のレンズ１１５、又は指向性センサである撮像素子２６を光軸方向Ｌに移動させる図示しない移動機構を設け、これにより焦点調節を行うようにしてもよい。

＜他の変形例＞
上述の実施形態及び変形例を相互に適宜組み合わせてもよい。

上述の各機能構成は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって実現可能である。例えば、上述の各装置及び処理部（画像表示装置１０等）における画像表示方法（処理手順）をコンピュータに実行させるプログラム、そのプログラムを記憶したコンピュータ読み取り可能な記憶媒体（非一時的記憶媒体）、或いはそのプログラムをインストール可能なコンピュータに対しても本発明を適用することができる。

また、本発明を適用可能な態様は特に限定されず、撮像を主たる機能とするカメラ類の他に、撮像機能に加えて撮像以外の他の機能（通話機能、通信機能、その他のコンピュータ機能）を備えるモバイル機器類に対しても本発明を適用することが可能である。本発明を適用可能な他の態様としては、例えば、カメラ機能（撮像装置１４）及びディスプレイ機能（表示部１２）を有する携帯電話機、スマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、携帯型ゲーム機が挙げられる。

以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。

＜スマートフォンの構成＞
図１４は、撮像装置１４の他の実施形態であるスマートフォン２００の外観を示す図である。図１４に示すスマートフォン２００は、平板状の筐体２０２を有し、筐体２０２の一方の面に表示部としての表示パネル２２１と、入力部としての操作パネル２２２とが一体となった表示入力部２２０を備えている。また、筐体２０２は、スピーカ２３１と、マイクロホン２３２、操作部２４０と、カメラ部２４１とを備える。なお、筐体２０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用することや、折り畳み構造やスライド機構を有する構成を採用することもできる。

図１５は、図１４に示すスマートフォン２００の構成を示すブロック図である。図１５に示すように、スマートフォンの主たる構成要素として、無線通信部２１０と、表示入力部２２０と、通話部２３０と、操作部２４０と、カメラ部２４１と、記憶部２５０と、外部入出力部２６０と、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信部２７０と、モーションセンサ部２８０と、電源部２９０と、主制御部２０１とを備える。また、スマートフォン２００の主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。

無線通信部２１０は、主制御部２０１の指示に従って、移動通信網に収容された基地局装置に対して無線通信を行う。この無線通信部２１０は無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部２２０は、主制御部２０１の制御により、画像（静止画及び動画）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル２２１と、操作パネル２２２とを備える。ユーザが生成された３Ｄ画像を鑑賞する場合には、表示パネル２２１は、３Ｄ表示パネルであることが好ましい。

表示パネル２２１は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）或いはＯＥＬＤ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）などを表示デバイスとして用いる。

操作パネル２２２は、表示パネル２２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部２０１に出力する。次いで、主制御部２０１は、受信した検出信号に基づいて、表示パネル２２１上の操作位置（座標）を検出する。

図１４に示すように、スマートフォン２００の表示パネル２２１と操作パネル２２２とは一体となって表示入力部２２０を構成するが、操作パネル２２２が表示パネル２２１を完全に覆う配置を有する。この配置を採用した場合、操作パネル２２２は、表示パネル２２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル２２２は、表示パネル２２１に重なる重畳部分についての検出領域（以下、「表示領域」と称する）と、それ以外の表示パネル２２１に重ならない外縁部分についての検出領域（以下、「非表示領域」と称する）とを備えていてもよい。

なお、表示領域の大きさと表示パネル２２１の大きさとを完全に一致させてもよいが、両者を必ずしも一致させる必要はない。また、操作パネル２２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体２０２の大きさなどに応じて適宜設計される。更にまた、操作パネル２２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、及び静電容量方式などが挙げられ、いずれの方式が採用されてもよい。

通話部２３０は、スピーカ２３１やマイクロホン２３２を備え、マイクロホン２３２を通じて入力されたユーザの音声を主制御部２０１にて処理可能な音声データに変換して主制御部２０１に出力したり、無線通信部２１０或いは外部入出力部２６０により受信された音声データを復号してスピーカ２３１から出力したりする。また、図１４に示すように、例えば、スピーカ２３１を表示入力部２２０が設けられた面と同じ面に搭載し、マイクロホン２３２を筐体２０２の側面に搭載することができる。

操作部２４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付ける。例えば、操作部２４０は、スマートフォン２００の筐体２０２の表示部の下部、下側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部２５０は、主制御部２０１の制御プログラムや制御データ、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータ、及びダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶する。また、記憶部２５０は、スマートフォン内蔵の内部記憶部２５１と着脱自在な外部メモリスロットを有する外部記憶部２５２により構成される。なお、記憶部２５０を構成する内部記憶部２５１及び外部記憶部２５２の各々は、フラッシュメモリタイプ（ｆｌａｓｈ ｍｅｍｏｒｙ ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ ｄｉｓｋ ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ ｃａｒｄ ｍｉｃｒｏ ｔｙｐｅ）、カードタイプのメモリ（例えば、Ｍｉｃｒｏ ＳＤ（登録商標）メモリ等）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの格納媒体を用いて実現される。

外部入出力部２６０は、スマートフォン２００に連結される全ての外部機器とのインターフェースの役割を果たし、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）（登録商標）及びジグビー（ＺｉｇＢｅｅ）（登録商標）など）により直接的又は間接的に接続する。

スマートフォン２００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Ｍｅｍｏｒｙ ｃａｒｄ）やＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）／ＵＩＭ（Ｕｓｅｒ Ｉｄｅｎｔｉｔｙ Ｍｏｄｕｌｅ Ｃａｒｄ）カード、オーディオ・ビデオＩ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、及びイヤホンなどがある。外部入出力部２６０を介し、このような外部機器から伝送されたデータがスマートフォン２００の内部の各構成要素に伝達され、またスマートフォン２００の内部のデータが外部機器に伝送されるようにしてもよい。

ＧＰＳ受信部２７０は、主制御部２０１の指示に従って、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン２００の緯度、経度及び高度からなる位置を検出する。ＧＰＳ受信部２７０は、無線通信部２１０や外部入出力部２６０（例えば、無線ＬＡＮ）から位置情報を取得できる場合には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部２８０は、例えば、３軸の加速度センサなどを備え、主制御部２０１の指示に従って、スマートフォン２００の物理的な動きを検出する。スマートフォン２００の物理的な動きを検出することにより、スマートフォン２００の動く方向や加速度が検出される。この検出結果は、モーションセンサ部２８０から主制御部２０１に出力される。

電源部２９０は、主制御部２０１の指示に従って、スマートフォン２００の各部に、バッテリ（図示しない）に蓄えられる電力を供給する。

主制御部２０１は、マイクロプロセッサを備え、記憶部２５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン２００の各部を統括して制御する。また、主制御部２０１は、無線通信部２１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部２５０が記憶するアプリケーションソフトウェアに従って主制御部２０１が動作することにより実現される。アプリケーション処理機能としては、例えば、外部入出力部２６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、及びＷｅｂページを閲覧するＷｅｂブラウジング機能などがある。

また、主制御部２０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部２２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部２０１が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部２２０に表示する機能のことをいう。

更に、主制御部２０１は、表示パネル２２１に対する表示制御と、操作部２４０、操作パネル２２２を通じたユーザ操作を検出する操作検出制御を実行する。

表示制御の実行により、主制御部２０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示し、或いは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル２２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部２０１は、操作部２４０を通じたユーザ操作を検出したり、操作パネル２２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、或いは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部２０１は、操作パネル２２２に対する操作位置が、表示パネル２２１に重なる重畳部分（表示領域）か、それ以外の表示パネル２２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル２２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部２０１は、操作パネル２２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、或いはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部２４１は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）やＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）などの撮像素子を用いて電子撮影するデジタルカメラである。このカメラ部２４１に前述した撮像装置１４を適用することができる。特に上述の図１１〜図１３に示す撮像装置１４（第１の光学系１８、第２の光学系２０及び撮像素子２６）の構成はメカ的な切り替え機構等を必要とせずに、広角画像と望遠画像とを撮影することができ、スマートフォン２００のように薄型の携帯端末に組み込むカメラ部として好適である。

また、カメラ部２４１は、主制御部２０１の制御により、撮影によって得た画像データを、例えばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などの圧縮した画像データに変換し、記憶部２５０に記録したり、外部入出力部２６０や無線通信部２１０を通じて出力したりすることができる。図１４に示すスマートフォン２００において、カメラ部２４１は表示入力部２２０と同じ面に搭載されているが、カメラ部２４１の搭載位置はこれに限らず、表示入力部２２０の背面に搭載されてもよいし、或いは、複数のカメラ部２４１が搭載されてもよい。なお、複数のカメラ部２４１が搭載されている場合には、撮影に供するカメラ部２４１を切り替えて単独のカメラ部２４１により撮影を行ったり、或いは、複数のカメラ部２４１を同時に使用して撮影を行ったりすることもできる。

また、カメラ部２４１はスマートフォン２００の各種機能に利用することができる。例えば、表示パネル２２１にカメラ部２４１で取得した画像を表示することや、操作パネル２２２の操作入力の１つとして、カメラ部２４１の画像を利用することができる。また、ＧＰＳ受信部２７０が位置を検出する際に、カメラ部２４１からの画像を参照して位置を検出することもできる。更には、カメラ部２４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン２００のカメラ部２４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部２４１からの画像をアプリケーションソフトウェア内で利用することもできる。

本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

５…画像表示システム、１０…画像表示装置、１１…表示画像伝送部、１２…表示部、１３…画像表示領域、１４…撮像装置、１５…原画像伝送部、１６…本体部、１８…第１の光学系、２０…第２の光学系、２２…広角画像光、２３…望遠画像光、２６…撮像素子、２８…画像取得部、３０…表示コントローラ、３２…画像保存メモリ、３４…画像合成部、３６…目的像位置取得部、３８…ブレ取得部、４０…ブレ量検出部、４２…画面中央部、４４…画面周辺部、４６…第１単画像表示領域、４７…混合画像表示領域、４８…第２単画像表示領域、５１…第１の画像、５２…第２の画像、５３…表示目的像、５４…第１画像表示領域、５６…第２画像表示領域、１１３…中央光学系、１１４…環状光学系、１１５…共通レンズ、１１６…マイクロレンズアレイ、１１８…イメージセンサ、２００…スマートフォン、２０１…主制御部、２０２…筐体、２１０…無線通信部、２２０…表示入力部、２２１…表示パネル、２２２…操作パネル、２３０…通話部、２３１…スピーカ、２３２…マイクロホン、２４０…操作部、２４１…カメラ部、２５０…記憶部、２５１…内部記憶部、２５２…外部記憶部、２６０…外部入出力部、２７０…ＧＰＳ受信部、２８０…モーションセンサ部、２９０…電源部

Claims (20)

1. 表示部における画像の表示を制御する表示コントローラを備える画像表示装置であって、
   前記表示コントローラは、
   前記表示部に第１の画像及び第２の画像を同時に表示し、
   前記第１の画像の表示目的像の前記表示部における位置と、前記第２の画像の表示目的像の前記表示部における位置とを一致させ、
   前記表示部において、前記第１の画像が表示される領域は前記第２の画像が表示される領域よりも狭くし、
   前記第１の画像は広角画像であり、前記第２の画像は望遠画像である画像表示装置。
2. 前記第１の画像の前記表示目的像と前記第２の画像の前記表示目的像とは、同一対象の像である請求項１に記載の画像表示装置。
3. 前記表示コントローラは、前記表示部の画像表示領域のうち中央部では前記第１の画像の表示率を前記第２の画像の表示率よりも大きくした状態で、前記表示部に前記第１の画像及び前記第２の画像を表示する請求項１又は２に記載の画像表示装置。
4. 前記表示コントローラは、前記表示部の画像表示領域のうち周辺部では前記第１の画像の表示率を前記第２の画像の表示率よりも小さくした状態で、又は前記第１の画像の表示率を前記第２の画像の表示率と同じにした状態で、前記表示部に前記第１の画像及び前記第２の画像を表示する請求項１から３のいずれか一項に記載の画像表示装置。
5. 前記表示部において、前記第１の画像の表示画角は前記第２の画像の表示画角よりも大きい請求項１から４のいずれか一項に記載の画像表示装置。
6. 前記表示コントローラは、前記第１の画像における前記表示目的像の大きさ及び前記第２の画像における前記表示目的像の大きさに応じて、前記表示部における前記第１の画像の表示領域の大きさを決定する請求項１から５のいずれか一項に記載の画像表示装置。
7. 前記表示コントローラは、前記表示部において前記第１の画像が表示される領域では前記第２の画像を表示しない請求項１から６のいずれか一項に記載の画像表示装置。
8. 前記表示コントローラは、前記表示部において前記第１の画像が表示される領域の少なくとも一部では前記第１の画像と前記第２の画像とを混合表示する請求項１から６のいずれか一項に記載の画像表示装置。
9. 前記表示コントローラは、前記表示部において前記第１の画像が表示される領域の少なくとも一部では、前記第１の画像の中心部から周辺部に向かう方向に関し、前記第１の画像に対する前記第２の画像の表示率を連続的に変える請求項８に記載の画像表示装置。
10. 前記表示コントローラは、前記表示部において前記第１の画像が表示される領域の少なくとも一部では、前記第１の画像の中心部から周辺部に向かう方向に関し、前記第１の画像に対する前記第２の画像の表示率を連続的に大きくする請求項９に記載の画像表示装置。
11. 前記第１の画像及び前記第２の画像を示すデータを解析し、前記第１の画像における前記表示目的像の位置及び前記第２の画像における前記表示目的像の位置を取得する目的像位置取得部を更に備え、
    前記表示コントローラは、前記目的像位置取得部が取得する前記第１の画像における前記表示目的像の位置及び前記第２の画像における前記表示目的像の位置に基づいて、前記第１の画像及び前記第２の画像のうち少なくともいずれか一方の前記表示部における表示サイズを決定する請求項１から１０のいずれか一項に記載の画像表示装置。
12. 前記表示コントローラは、前記表示部において前記第１の画像及び前記第２の画像のうち少なくともいずれか一方を立体的に表示し、前記表示部における前記第１の画像の前記表示目的像の奥行き位置を前記第２の画像の前記表示目的像の奥行き位置とは異ならせる請求項１から１１のいずれか一項に記載の画像表示装置。
13. 前記表示部に表示する前記第１の画像と前記第２の画像と合成する画像合成部を更に備え、
    前記表示コントローラは、前記画像合成部によって電子的に又は光学的に合成された前記第１の画像及び前記第２の画像を前記表示部に表示する請求項１から１２のいずれか一項に記載の画像表示装置。
14. 前記第１の画像の前記表示目的像及び前記第２の画像の前記表示目的像のうち少なくともいずれか一方のブレ量を取得するブレ取得部を更に備え、
    前記表示コントローラは、前記ブレ取得部が取得した前記ブレ量に基づいて、前記第１の画像及び前記第２の画像のうち少なくともいずれか一方の前記表示部における表示割合を決定する請求項１から１３のいずれか一項に記載の画像表示装置。
15. 前記表示コントローラは、前記ブレ取得部により取得される前記ブレ量が第１の閾値以上の場合には、前記ブレ取得部により取得される前記ブレ量が前記第１の閾値よりも小さい場合よりも、前記第１の画像の表示割合を大きくする請求項１４に記載の画像表示装置。
16. 前記表示コントローラは、前記ブレ取得部により取得される前記ブレ量が第２の閾値以下の場合には、前記ブレ取得部により取得される前記ブレ量が前記第２の閾値よりも大きい場合よりも、前記第２の画像の表示割合を大きくする請求項１４又は１５に記載の画像表示装置。
17. 前記表示割合は、前記表示部における画像表示領域の全体に対する表示面積の割合である請求項１４から１６のいずれか一項に記載の画像表示装置。
18. 前記表示コントローラは、前記表示部において前記第１の画像が表示される領域の少なくとも一部では前記第１の画像と前記第２の画像とを混合表示し、
    前記表示割合は、前記表示部において前記第１の画像が表示される領域の前記少なくとも一部における表示の混合割合である請求項１４から１６のいずれか一項に記載の画像表示装置。
19. 前記第１の画像の撮影に用いられる第１の光学系は、前記第２の画像の撮影に用いられる第２の光学系と同一の光軸を有する請求項１から１８のいずれか一項に記載の画像表示装置。
20. 表示部における画像の表示を表示コントローラによって制御する画像表示方法であって、
    前記表示部に第１の画像及び第２の画像を同時に表示し、
    前記第１の画像の表示目的像の前記表示部における位置と、前記第２の画像の表示目的像の前記表示部における位置とを一致させ、
    前記表示部において、前記第１の画像が表示される領域は前記第２の画像が表示される領域よりも狭くし、
    前記第１の画像は広角画像であり、前記第２の画像は望遠画像である画像表示方法。