JP6249878B2

JP6249878B2 - 撮像装置

Info

Publication number: JP6249878B2
Application number: JP2014104986A
Authority: JP
Inventors: 偉雄藤田; 山下　孝一; 孝一山下; 的場　成浩; 成浩的場
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2014-05-21
Filing date: 2014-05-21
Publication date: 2017-12-20
Anticipated expiration: 2034-05-21
Also published as: JP2015220705A

Description

本発明は、全周囲画像を得ることができる撮像装置に関し、特に全周囲画像の周縁部において、鮮鋭感を高める技術に関する。

３６０度の全周囲画像を得る従来の撮像装置として、撮像で得られた画像データを圧縮して伝送し、受信側で歪補正、画像拡大を行って表示することが知られている。その場合に、重点的に監視したい部分領域のデータと、全体領域のデータを別にして送信することも知られている（特許文献１）。

特開２００５−１０９７２５号公報（第３頁、段落００１６）

従来の撮像装置は、全体領域の画像データと部分領域の画像データを画像圧縮して伝送するので、受信側において各部分を切出して歪補正して表示するときに、解像度が十分でなく画像がぼやけて細部が視認できなくなる問題があった。また、画像のぼやけを補正しようと鮮鋭感を向上させる処理を適用した場合に、画像圧縮に伴うノイズや不自然なアーティファクトを強調して被写体の視認性が損なわれるという問題があった。

この発明は、上述のような課題を解決するためになされたもので、全体画像を伝送し、画像受信側で注目部分を切り出して歪補正して表示するときに、画像のぼやけを防ぐことができる撮像装置を得ることを目的とする。

本発明の撮像装置は、
被写体を撮像して、全周囲画像を撮像画像として生成する撮像部と、
前記撮像部から出力された撮像画像を、回転させ、回転後の画像を出力する画像回転回路と、
前記画像回転回路から出力された撮像画像を、長方形の画面の長辺方向に拡大する画像拡大回路と、
前記画像拡大回路から出力された拡大画像の鮮鋭感を向上させる鮮鋭感向上回路と、
前記鮮鋭感向上回路から出力された画像を画像圧縮する画像圧縮回路と、
前記画像圧縮回路から出力された圧縮画像を伝送する画像伝送回路と
を備えることを特徴とする。

本発明の撮像装置によれば、全周囲の撮像画像を画面の長辺方向に拡大することで拡大画像を形成し、鮮鋭感を向上させてから、画像圧縮して伝送するので画像受信側の表示画像の鮮鋭感が向上し被写体の視認性が向上するという効果がある。

本発明の実施の形態１の撮像装置を示すブロック構成図である。図１の撮像装置を備えた監視システムを示すブロック構成図である。図１の撮像部２の出力画像の一例を示す図である。図１の画像回転回路４の一例を示すブロック構成図である。図１の画像回転回路４において高域成分の量の算出を行う複数の方向を示す図である。第１の斜め方向における高域成分が多い画像の一例を示す図である。図１の画像回転回路４による回転後の画像の一例を示す図である。図１の画像拡大回路５による拡大後の画像の一例を示す図である。図１の画像回転回路４の第３の高域成分算出回路４１ｃで高域成分の算出に用いられる領域の例を示す図である。図１の画像回転回路４の第３の高域成分算出回路４１ｃで高域成分の算出に用いられる領域の他の例を示す図である。図１の画像回転回路４の第３の高域成分算出回路４１ｃで高域成分の算出に用いられる領域のさらに他の例を示す図である。本発明の実施の形態２で用いられる画像回転回路４の一例を示すブロック構成図である。被写体検出回路に入力される画像の例を示す図である。図１２の画像回転回路４の第３の面積算出回路４７ｃで面積の算出に用いられる領域の一例を示す図である。図１の画像回転回路４による回転後の画像を示す図である。図１の画像拡大回路５による拡大後の画像を示す図である。図１２の画像回転回路４の第３の面積算出回路４７ｃで面積の算出に用いられる領域の他の例を示す図である。図１２の画像回転回路４の第３の面積算出回路４７ｃで面積の算出に用いられる領域のさらに他の例を示す図である。

実施の形態１．
図１は本発明の実施の形態１の撮像装置を含む監視システムを示す。
図示の撮像装置１０は、レンズ１と、撮像部２と、撮像信号処理回路３と、画像回転回路４と、画像拡大回路５と、鮮鋭感向上回路６と、画像圧縮回路７と、画像伝送回路８とを有する。撮像部２は、撮像素子２ａと、Ａ／Ｄ変換部２ｂとを有する。

図１の撮像装置１０は、例えば、図２に示すように、ネットワーク１５を介して受信装置２０と接続されており、撮像装置１０と受信装置２０とで監視システムが構成されている。

図１において、レンズ１は、魚眼レンズで、全周囲の画像（撮像画像）を撮像部２の撮像素子２ａの撮像面ＳＣ上に合焦させる。図３のように、撮像部２の撮像面ＳＣは、長方形状であり、撮像面ＳＣ上に円形の撮像画像Ｄ２が形成される。撮像面ＳＣの水平方向のサイズ（画素数）をＮｈで表し、垂直方向のサイズ（画素数）をＮｖで表す。
以下では便宜上、長方形の長辺の方向を水平方向と言い、短辺の方向を垂直方向という。ＮｈとＮｖの比（アスペクト比）は例えば４：３、或いは１６：９である。

また、撮像部２から出力される撮像信号を受けて処理を行う回路、即ち、撮像信号処理回路３、画像回転回路４、画像拡大回路５、鮮鋭感向上回路６、及び画像圧縮回路７も撮像面ＳＣと同じサイズの画面（撮像面と同じ符号「ＳＣ」で表す）上で画像を処理するものであるものとして、言い換えると、これらの回路が撮像面ＳＣと同じサイズの画像に対応した伝送路を有するものとして説明を行う。
さらにまた、円形の撮像画像Ｄ２は、撮像面ＳＣの中央に、撮像面ＳＣの上下端（上下の長辺）に接するように形成されるものとする。

撮像部２の撮像素子２ａで光電変換され、Ａ／Ｄ変換部２ｂでＡ／Ｄ変換された後、撮像部２から出力され、撮像信号処理回路３に供給される。
撮像信号処理回路３は、入力された撮像信号に対して、色同時化処理、階調補正処理、露光調整処理、ノイズ低減処理、輪郭補正処理、白バランス調整処理、信号振幅調整処理、色補正処理などの処理を施し、これらの処理の結果生成された映像信号を出力する。

画像回転回路４は、撮像信号処理回路３から出力される映像信号で表される撮像画像に含まれる、複数の異なる方向毎の高周波数成分（高域成分）を検出し、高域成分を最も多く含む方向が画面の水平方向に向くように、撮像画像を回転させ、回転後の画像を画像拡大回路５に供給する。

画像回転回路４は例えば図４に示されるように、第１乃至第４の高域成分算出回路４１ａ〜４１ｄと、最大判断回路４２と、回転回路４３とを有する。

撮像信号処理回路３から撮像画像が入力端子４０に印加され、第１乃至第４の高域成分算出回路４１ａ〜４１ｄ及び回転回路４３に供給される。

第１乃至第４の高域成分算出回路４１ａ〜４１ｄは、それぞれ画像の第１乃至第４の方向における高域成分の量を算出する。第１乃至第４の方向は、例えば図５に符号ＤＲａ〜ＤＲｄで示す方向である。図５に示す例では、第１の方向ＤＲａは画面ＳＣの長辺方向、即ち水平方向であり、第２の方向ＤＲｂは水平右向きの方向に対して、反時計まわりに４５度の角度を成す方向、従って右上がりの方向（第１の斜め方向）であり、第３の方向ＤＲｃは垂直方向であり、第４の方向ＤＲｄは水平右向きの方向に対して反時計まわりに１３５度の角度を成す方向、従って、左上がりの方向（第２の斜め方向）である。なお、図５において、撮像画像Ｄ２は、図３と同様に画面ＳＣの上端ＳＣＴ及び下端ＳＣＢに接している。

各方向の高域成分算出回路（４１ａ〜４１ｄ）は、当該方向の高域成分（予め定められた空間周波数以上の成分）を抽出するハイパスフィルタと、該ハイパスフィルタの出力を積分する積分回路で実現することができる。

最大判断回路４２は、第１乃至第４の高域成分算出回路４１ａ〜４１ｄの出力を比較し、高域成分算出回路４１ａ〜４１ｄのうち、出力が最大であるものが検出した高域成分の方向を、高域成分の量が最大である方向と判断乃至特定して回転回路４３に知らせる。
回転回路４３は最大判断回路４２で判断した、高域成分の量が最大である方向が水平方向となるように画像を回転させて、回転後の画像Ｄ４を、出力端子４４を介して出力する。

図６は、第１の斜め方向ＤＲｂに高域成分が多く含まれる画像の一例を示す。図示の例では、第１の斜め方向ＤＲｂに直交する方向に延びた白黒の縞模様が含まれる。このような画像の場合、第２の高域成分算出回路４１ｂの出力が最大となる。
この場合、最大判断回路４２は、第２の高域成分算出回路４１ｂの出力が最大と判断して、この判断結果を示すデータ（第１の斜め方向ＤＲｂの高域成分の量が最大であることを示すデータ）を回転回路４３に供給する。

回転回路４３は、撮像信号処理回路３から入力端子４０を介して供給された画像Ｄ２を回転させて、図７に示すように、第１の斜め方向ＤＲｂが回転後の画像Ｄ４において水平方向となるようにする。画像を反時計まわりに４５度、又は時計まわりに１３５度回転させることで、回転前の第１の斜め方向ＤＲｂが回転後の水平方向となる。
回転後の画像Ｄ４は出力端子４４を介して出力され、画像拡大回路５に供給される。

画像拡大回路５は、回転後の撮像画像Ｄ４を図８に示すように、水平方向に拡大し、拡大後の画像Ｄ５の左右端が画面ＳＣの左右の短辺ＳＣＬ、ＳＣＲに接触するようにする。
上記のように拡大前の撮像画像Ｄ４の上限の周縁部が画面の上下端ＳＣＴ、ＳＣＢに接している場合、水平方向の拡大率をＮｈ／Ｎｖとすることで、拡大後の撮像画像Ｄ５が画面の左右端（短辺）ＳＣＬ、ＳＣＲに接することになる。
拡大画像Ｄ５は、鮮鋭感向上回路６に供給される。

鮮鋭感向上回路６は、画像拡大回路５から供給された拡大画像の鮮鋭感を向上させて、画像圧縮回路７に供給する。
鮮鋭感の向上は、例えば高域成分を強調する処理、即ち輪郭を強調する処理によって行われる。また、入力画像に存在しない高解像度成分を予測し、高解像度化を行う超解像処理を行っても良い。
超解像処理には、
（ａ）元の画像と縮小画像の差分関係から、元の画像と高解像度画像の差分関係を類推して高解像度画像を得る超解像処理、
（ｂ）実稼働中に入力される画像からの学習により更新される辞書を使って鮮鋭感を向上させる自己学習型の超解像処理、
（ｃ）事前に適切な高解像度化を学習した辞書を使う辞書型の超解像処理、及び
（ｄ）事前に決めた被写体のオブジェクトに基づく辞書を使うオブジェクト特化型の超解像処理があり、これらのいずれを用いても良い。

鮮鋭感向上後の画像は画像圧縮回路７に供給される。画像圧縮回路７は、Ｈ．２６４などの圧縮方式で画像を圧縮して、画像伝送回路８に供給する。

画像伝送回路８はＩＰパケットにして出力端子９から図２に示されるネットワーク１５に出力する。

画像伝送回路８から出力された画像は、例えば図２に示されるようにネットワーク１５を介して受信装置２０で受信される。受信装置２０は、画像受信回路２１と、画像復号回路２２と、受信信号処理回路２３と、画像表示部２４とを有する。画像受信回路２１は、伝送された画像を受信する。画像復号回路２２は、受信された信号を復号する。受信信号処理回路２３は、画像の一部を切出し、歪補正、パン（方位角の変更）、チルト（天頂角の変更）、ズーム（拡大・縮小）などを行う。画像表示部２４は、受信信号処理回路２３から出力された画像を表示する。

上記のように撮像装置１０で鮮鋭感を向上させてから伝送しているので、受信装置２０で歪補正、ズームなどを行っても、被写体の視認性を良好に保つことができる。

上記の実施の形態によれば、撮像素子２ａの撮像面ＳＣに形成された円形の撮像画像を、長方形の画面の長辺方向に拡大し、さらに鮮鋭感を向上させてから、画像圧縮して伝送するので、伝送された圧縮画像を受信する装置において、表示画像の鮮鋭感が向上し被写体の視認性が向上する効果がある。仮に撮像装置において鮮鋭感を向上させることなく、画像を送信し、画像を受信する装置で鮮鋭感を向上させる処理を行うと、画像圧縮に伴うノイズや不自然なアーティファクトを強調して被写体の視認性が損なわれるが、本実施の形態では、撮像装置で鮮鋭感を向上させてから伝送するので、上記の問題がない。

また、高域成分を多く含む方向が画面の長辺方向となるように画像を回転させてから、その長辺方向に拡大するので、高域成分を多く含む画像の視認性が向上する。

なお、上記の例では、第１乃至第４の高域成分算出回路４１ａ〜４１ｄは、それぞれ円形の画像の全体において、第１乃至第４の方向の高域成分の量を算出するが、代わりに、円形の画像の一部において、各方向の高域成分を検出することとしても良い。例えば、第１乃至第４の高域成分算出回路４１ａ〜４１ｄとして、それぞれ第１乃至第４の方向に延びた細長い領域、例えば帯状の領域における高域成分の量を算出するものを用いても良い。

この場合、各方向に延びた帯状の領域は、例えば円形の撮像画像の中心を通り当該方向に延びた直線を中心として線対称な領域で構成される。図９には、一例として垂直方向に延びた帯状の領域ＳＲｃを示す。
第３の高域成分算出回路４１ｃは、図９に示される帯状の領域ＳＲｃ内に位置する画像部分の高域成分の量を算出する。
他の高域成分算出回路４１ａ、４１ｂ、４１ｄも同様にそれぞれの方向に延びた帯状の領域内の画像部分の高域成分の量を算出する。

また、各方向に延びた帯状の領域における高域成分の代わりに、それぞれの方向に整列した複数の領域内に位置する画像の高域成分を検出しても良い。その一例として、図１０には、垂直方向に整列した２つの領域ＳＲｃａ、ＳＲｃｂを示す。これらの領域は、円形画像の中央部（中心からの距離が予め定められた値以下の部分）を避けて、周縁部に位置するようにすることとしても良い。鮮鋭化のために拡大が特に強く望まれるのは、周縁に近い範囲（周縁部）であるので、その点から、それぞれの方向に整列した複数の領域を、円形画像の周縁に近い範囲（周縁からの距離が予め定められた値以下の範囲）内に設定するのが望ましい。そうすることで、周縁部により多く高域成分が含まれている方向に画像を拡大することができ、これにより周縁部に位置するより多くの高域成分について視認性を高めることができる。

また、各方向に整列した複数の領域として、一対の扇形の領域を用いても良い。その一例として、図１１には、垂直方向に整列した２つの領域ＳＲｃｃ、ＳＲｃｄを示す。扇形の領域を用いれば、円形画像の周縁に近い部分ほど、領域の幅が大きくなるので、高域成分のうち、周縁部における高域成分をより重視して高域成分の量の計算を行うことができる。従って、鮮鋭化のために拡大が特に強く望まれる、周縁部における高域成分の量に応じて拡大の方向を決めることができ、周縁部に位置するより多くの高域成分について視認性を高めることができる。

また、図１１に示される扇形の領域のうち、中央部（中心からの距離が予め定められた値以下の部分）を除いた領域を用いることとしても良い。

また、図９〜図１１を参照して説明した例では、各方向に延びた領域、又は各方向に整列した複数の領域内で高域成分を検出する場合、当該方向の高域成分を検出しているが、代わりに、当該方向に限定せず、いずれかの１又は２以上の方向、例えば水平方向及び垂直方向の高域成分を検出することとしても良い。

また、上記の例では、４つの高域成分算出回路により４つ方向の高域成分の量が算出されるが、高域成分の量を算出する方向の数は４に限らない。一般的に言えば、Ｎ個（Ｎは２以上の整数）の高域成分算出回路を設け、Ｎ個の方向の各々における高域成分の量を算出して、その中で高域成分の量が最大となる方向を特定すれば良い。

また、上記の例では、撮像面ＳＣにおける円形の画像Ｄ２の直径が撮像面ＳＣの垂直方向の寸法に等しく、円形の画像Ｄ２の周縁部が、撮像面ＳＣの上下の長辺に接しているが、撮像面ＳＣにおける円形の画像の直径が撮像面ＳＣの垂直方向の寸法よりも小さく、従って、円形の画像の周縁部が、撮像面ＳＣの上下の長辺に接していない場合には、水平方向のみならず、垂直方向にも拡大する。いずれにしても拡大後の撮像画像が、画面に上下端のみならず、左右端（短辺）の双方に接するように拡大を行うのが望ましい。

上記の説明で長辺方向を水平方向としたが、水平方向以外の方向が長辺方向となる場合にも本発明は適用可能である。

以上、撮像画像を処理する回路が撮像面ＳＣと同じサイズの画面上で画像の処理を行うものとして説明したが、本発明は、画像拡大回路５及びそれ以降の回路が長方形の画面上で画像を処理するものであれば、適用できる。その場合、画像拡大回路５及びそれより後段の回路（画像伝送回路８により伝送された画像を受ける回路を含む）で扱う画面の長辺の寸法（画素数）が互いに同じでなくても適用可能である。長辺の寸法が互いに異なる場合には、画像拡大回路５及びそれより後段の回路で扱う画面のうちで、長辺の寸法が最小のものにおいて拡大後の画像が長辺方向にはみ出さない程度に長辺方向の拡大率を定めることとすれば良い。

上記の実施の形態では、画像拡大回路５と鮮鋭感向上回路６とが別のものであるとして説明したが、水平方向の画像拡大の処理と鮮鋭感向上の処理を同時に行うこととしても良い。その場合にも、本発明の効果は同様に得られる。

上記の実施の形態では、レンズ１が魚眼レンズであるものとして説明したが、代わりに、他の全方位視覚の光学系、例えば双曲面ミラー、放物面ミラー、円錐ミラーを用いても良く、そのようにしても本発明の効果は同様に得られる。

実施の形態２．
本発明の実施の形態２による撮像装置の全体的構成は、図１に示す如くである。
実施の形態２の撮像装置は、画像回転回路４として、図４に示すものの代わりに、図１２に示すものを備える。
図１２に示す画像回転回路４は、注目被写体検出回路４５と、最大方向特定回路４６と、回転回路４３とを有する。最大方向特定回路４６は、第１乃至第４の面積算出回路４７ａ〜４７ｄと、最大判断回路４８とを有する。

撮像信号処理回路３から撮像画像が入力端子４０に印加され、注目被写体検出回路４５、最大方向特定回路４６の第１乃至第４の面積算出回路４７ａ〜４７ｄ、及び回転回路４３へ供給される。

注目被写体検出回路４５は、入力画像の注目被写体の検出を行う。注目被写体とは、例えば画像のうち人の顔の部分など、特に鮮明に表示することが求められる部分である。顔を注目被写体とする場合、例えば図１３に示すように顔を含む領域ＴＡ１、ＴＡ２が検出される。図１３の例では、２箇所にある顔の部分ＴＡ１、ＴＡ２、具体的には、顔を囲む矩形の部分が、注目被写体として検出されている。注目被写体検出回路４５は、検出した注目被写体が占める領域を示すデータを第１乃至第４の面積算出回路４７ａ〜４７ｄに供給する。

第１乃至第４の面積算出回路４７ａ〜４７ｄは、それぞれ画像の第１乃至第４の方向における、注目被写体の含まれている度合いを算出する。例えば第１乃至第４の方向に延びた細長い領域、例えば帯状の領域に含まれている注目被写体の面積、言い換えると、注目被写体のうち、それぞれの帯状の領域に重なる部分の面積を算出する。

第１乃至第４の方向は、実施の形態１で述べたのと同様に、例えば図５に符号ＤＲａ〜ＤＲｄで示す方向である。

各方向に延びた帯状の領域は、例えば円形の撮像画像の中心を通り当該方向に延びた直線を中心として線対称な領域で構成される。図１４には、一例として垂直方向に延びた帯状の領域ＳＲｃを示す。
第３の面積算出回路４７ｃは、注目被写体のうち、図１４に示される帯状の領域ＳＲｃ内に位置する部分の面積を算出する。
他の面積算出回路４７ａ、４７ｂ、４７ｄも同様にそれぞれの方向に延びた帯状の領域に重なる注目被写体の面積を算出する。

最大判断回路４８は、図４の最大判断回路４２と同様に、第１乃至第４の面積算出回路４７ａ〜４７ｄの出力を比較し、面積算出回路４７ａ〜４７ｄのうち、出力が最大であるものが面積の検出に用いた帯状の領域の延びた方向を判断乃至特定して回転回路４３に知らせる。
図１３に示す例では、垂直方向ＤＲｃが、面積が最大となる方向と判断される。

このように、第１乃至第４の面積算出回路４７ａ〜４７ｄと最大判断回路４８とで構成される最大方向特定回路４６は、第１の乃至第４の方向のうちの、注目被写体が最も多く含まれる方向を特定する。

回転回路４３は最大判断回路４８で判断した面積が最大となる方向が水平方向となるように画像を回転させる。入力画像が図１３に示すものである場合、図１３の画像を時計まわりに９０度回転させて、図１９に示す画像Ｄ４を生成する。回転後の画像Ｄ４は出力端子４４を介して出力される。なお、代わりに反時計まわりに９０度回転させても良い。

画像拡大回路５は、実施の形態１の画像拡大回路５と同様に、回転後の撮像画像Ｄ４を図１６に示すように、水平方向に拡大し、拡大後の画像Ｄ５の左右端が画面ＳＣの左右の短辺ＳＣＬ、ＳＣＲに接触するようにする。
拡大画像Ｄ５は、鮮鋭感向上回路６に供給される。

鮮鋭感向上回路６、画像圧縮回路７、及び画像伝送回路８の処理は実施の形態１で説明したのと同じである。

本実施の形態では、注目被写体を多く含む方向（当該方向に延びた細長い領域、例えば帯状の領域又は当該方向に整列した複数の領域に注目被写体が多く含まれる方向）が画面の長辺方向となるように画像を回転させてから、その長辺方向に拡大するので、より多くの注目被写体の視認性が向上する。その他、本実施の形態でも、実施の形態１で述べたのと同様の効果がある。

なお、上記の例では、注目被写体のうち、それぞれの方向に延びた帯状の領域に含まれる部分の面積を求めるが、代わりに注目被写体のうち、それぞれの方向に整列した複数の領域に含まれる部分の面積を求めても良い。その一例として、図１７には、垂直方向に整列した２つの領域ＳＲｃａ、ＳＲｃｂを示す。これらの領域は、円形画像の中央部を避けて、周縁部に位置するようにすることとしても良い。周縁部に位置する領域内で注目被写体の面積を求めることの利点は、実施の形態１で説明したのと同様、周縁部に位置するより多くの注目被写体について視認性を高めることができることである。

また、各方向に整列した複数の領域として、一対の扇形の領域を用いても良い。その一例として、図１８には、垂直方向に整列した２つの領域ＳＲｃｃ、ＳＲｃｄを示す。扇形の領域を用いることの利点は実施の形態１で説明したのと同様である。即ち、扇形の領域を用いれば、円形画像の周縁に近い部分ほど、領域の幅が大きくなるので、注目被写体のうち、周縁部における注目被写体をより重視して面積の計算を行うことができる。従って、鮮鋭化のために拡大が特に強く望まれる、周縁部における注目被写体の量によりよく対応する面積に応じて拡大の方向を決めることができ、周縁部に位置するより多くの注目被写体について視認性を高めることができる。

また、図１８に示される扇形の領域のうち、中央部（中心からの距離が予め定められた値以下の部分）を除いた領域を用いることとしても良い。

また、上記の例では、４つの面積算出回路により４つの方向に存在する注目被写体の面積が算出されるが、注目被写体の面積を算出する方向の数は４に限らない。一般的に言えば、Ｎ個（Ｎは２以上の整数）の面積算出回路を設け、Ｎ個の方向の各々における面積を算出して、その中で面積が最大となる方向を特定すれば良い。

以上のように、本発明によれば、円形の撮像画像を画面の長辺方向に拡大し、鮮鋭化を行った上で、画像圧縮して伝送するので、画像を受信する装置において表示画像の鮮鋭感及び視認性が向上する。
また、高域成分の多い方向、高域成分を多く含む方向又は注目被写体を多く含む方向が画面の長辺方向となるように回転させてから、長辺方向への拡大を行うので、高域成分又は注目被写体の視認性が向上する。
さらに、画面の長辺方向に拡大することで、長方形の画面を有効に活用して、鮮鋭感の向上を図ることができる。即ち、長方形の画面のうち、円形の撮像画像の表示には通常は利用されない部分を有効に活用して、画像の視認性を高めることができる。

１レンズ、２撮像部、２ａ撮像素子、２ｂＡ／Ｄ変換部、ＳＣ撮像面、３撮像信号処理回路、４画像回転回路、５画像拡大回路、６鮮鋭感向上回路、７画像圧縮回路、８画像伝送回路、１０撮像装置、１５ネットワーク、２０受信装置、２１画像受信回路、２２画像復号回路、２３受信信号処理回路、２４画像表示部、４１ａ第１の高域成分算出回路、４１ｂ第２の高域成分算出回路、４１ｃ第３の高域成分算出回路、４１ｄ第４の高域成分算出回路、４２最大判断回路、４３回転回路、４５注目被写体検出回路、４６最大方向特定回路、４７ａ第１の面積算出回路、４７ｂ第２の面積算出回路、４７ｃ第３の面積算出回路、４７ｄ第４の面積算出回路、４８最大判断回路。

Claims

被写体を撮像して、全周囲画像を撮像画像として生成する撮像部と、
前記撮像部から出力された撮像画像を、回転させ、回転後の画像を出力する画像回転回路と、
前記画像回転回路から出力された撮像画像を、長方形の画面の長辺方向に拡大する画像拡大回路と、
前記画像拡大回路から出力された拡大画像の鮮鋭感を向上させる鮮鋭感向上回路と、
前記鮮鋭感向上回路から出力された画像を画像圧縮する画像圧縮回路と、
前記画像圧縮回路から出力された圧縮画像を伝送する画像伝送回路と
を備えることを特徴とする撮像装置。
前記画像回転回路は、前記撮像画像の高域成分が最も多い方向が画面の長辺方向となるように画像を回転させることを特徴とする請求項１に記載の撮像装置。
前記画像回転回路は、前記撮像画像のうち、その周縁部における高域成分が最も多い方向が画面の長辺方向となるように画像を回転させることを特徴とする請求項２に記載の撮像装置。
前記画像回転回路は、予め定められた複数の方向の各々における高域成分の量を算出し、算出した高域成分の量が最大である方向が画面の長辺方向となるように画像を回転させることを特徴とする請求項２又は３に記載の撮像装置。
前記画像回転回路は、前記撮像画像のうち、高域成分が最も多く含まれる方向が画面の長辺方向となるように画像を回転させることを特徴とする請求項１に記載の撮像装置。
前記画像回転回路は、前記撮像画像のうち、その周縁部において、高域成分が最も多く含まれる方向が画面の長辺方向となるように画像を回転させることを特徴とする請求項５に記載の撮像装置。
前記画像回転回路は、予め定められた複数の方向の各々に延びた細長い領域、又は前記複数の方向の各々に整列した複数の領域における高域成分の量を算出し、算出した高域成分の量が最大である方向が画面の長辺方向となるように画像を回転させることを特徴とする請求項５又は６に記載の撮像装置。
前記画像回転回路は、前記撮像画像のうち、注目被写体が最も多く含まれる方向が画面の長辺方向となるように画像を回転させることを特徴とする請求項１に記載の撮像装置。
前記画像回転回路は、前記撮像画像のうち、その周縁部において、注目被写体が最も多く含まれる方向が画面の長辺方向となるように画像を回転させることを特徴とする請求項８に記載の撮像装置。
前記画像回転回路は、注目被写体のうち、予め定められた複数の方向の各々に延びた細長い領域、又は前記複数の方向の各々に整列した複数の領域に重なる部分の面積を算出し、算出した面積が最大である方向が、画面の長辺方向となるように画像を回転させる
ことを特徴とする請求項８又は９に記載の撮像装置。
全周囲画像を前記撮像部に結像させる光学手段をさらに備え、
前記光学手段は、魚眼レンズ、又は全方位反射光学系で構成されることを特徴とする請求項１から１０のいずれか一項に記載の撮像装置。