JP5444970B2 - 撮像装置 - Google Patents

Description

本発明は、電子カメラ等の撮像装置に関する。

従来から、撮像装置の一種である電子カメラを用いて、例えば、会議や講義等で黒板（又は、白板）に書かれた内容をメモ代わりに撮影することがユーザによって行われている。このような場合、撮影する位置によっては、黒板に対して正面から撮影できないため画像が歪んでしまうという問題があった。そこで、画像の歪みを修正し、あたかも正面から見たような画像処理を施す技術が提案されている（例えば、特許文献１参照）。

特開２００５−１１５７１１号公報

しかし、特許文献１の技術では、画像の歪みが修正されても画像の一部を拡大することにより、画像によっては拡大した箇所がぼやけてしまう問題点を有している。

そこで、上記事情に鑑み、画像の歪みを修正した際にも比較的鮮明で好ましい画像を取得できる撮像装置を提供することを目的とする。

第１の発明に係る撮像装置は、撮像素子と、設定部と、画像補正部と、分割部と、拡大率算出部と、輪郭強調部とを有する。撮像素子は、被写体を撮像してライブビューの動画像を生成する。設定部は、被写体に対する撮像素子の傾きによってその被写体が歪んで撮像されたライブビューの第１動画像のうち、歪みを補正する第１領域を設定する。画像補正部は、歪みを補正する射影変換を第１領域に行うことにより、第１領域から歪みが補正されたライブビューの第２動画像を生成する。分割部は、第２画像を複数の第２領域に分割する。拡大率算出部は、各々の第２領域において、射影変換前の各々の第２領域に対応する各々の第１領域と、射影変換後の各々の第２領域との面積比から拡大率をそれぞれ算出する。輪郭強調部は、拡大率に応じて第２領域毎に異なる度合いで輪郭を強調する。
第２の発明に係る撮像装置は、撮像素子と、設定部と、画像補正部と、分割部と、拡大率算出部と、輪郭強調部と、制御部とを有する。撮像素子は、被写体を撮像して画像を生成する。設定部は、被写体に対する撮像素子の傾きによってその被写体が歪んで撮像された第１画像のうち、歪みを補正する第１領域を設定する。画像補正部は、歪みを補正する射影変換を第１領域に行うことにより、第１領域から歪みが補正された第２画像を生成する。分割部は、第２画像を複数の第２領域に分割する。拡大率算出部は、各々の第２領域において、射影変換前の各々の第２領域に対応する各々の第１領域と、射影変換後の各々の第２領域との面積比から拡大率をそれぞれ算出する。輪郭強調部は、拡大率に応じて第２領域毎に異なる度合いで輪郭を強調する。制御部は、被写体の特徴部分を検出するとともに特徴部分に基づいて主要被写体を認識する。また、設定部は、主要被写体を第１領域として設定する。

第３の発明は、第１の発明において、制御部をさらに有する。制御部は、被写体の特徴部分を検出するとともに特徴部分に基づいて主要被写体を認識する。また、設定部は、主要被写体を第１領域として設定する。
第４の発明は、第１の発明から第３の発明のいずれかにおいて、分割部は、拡大率に応じて第２領域の分割数を変更する。

本発明の撮像装置によれば、画像の歪みを修正した際にも比較的鮮明で好ましい画像を取得できる。

本発明の撮像装置の一実施形態である電子カメラ１の内部構成を説明するブロック図 電子カメラ１の画像処理の動作を示すフローチャート 本実施形態の画像処理を説明する図 拡大率の算出の一例を説明する図 拡大率の算出の一例を説明する図

以下、図面に基づいて本発明の実施の形態を詳細に説明する。図１は、本発明の撮像装置の一実施形態である電子カメラ１の内部構成を説明するブロック図である。この電子カメラ１は、静止画撮影機能及び動画撮影機能を有する。

図１に示す通り電子カメラ１は、撮影レンズＬ１と、撮像素子１０と、アナログフロントエンド部（以下、「ＡＦＥ」という。）１１と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３と、表示モニタ１４と、記録インターフェース部（以下「記録Ｉ／Ｆ部」という）１５と、レリーズ釦１６と、操作部１７と、タッチパネル１８と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１９と、バス２０とを備える。

このうち、ＡＦＥ１１、ＲＡＭ１２、ＲＯＭ１３、表示モニタ１４、記録Ｉ／Ｆ部１５及びＣＰＵ１９は、バス１９を介して互いに接続されている。

撮影レンズＬ１は、ズームレンズと、フォーカスレンズとを含む複数のレンズ群で構成されている。なお、簡単のため、図１では、撮影レンズＬ１を１枚のレンズとして図示する。

撮像素子１０は、被写体を撮像して画像を生成する。撮像素子１０は、静止画の撮影時には、記録用の静止画像を生成する。また、撮像素子１０は、動画の撮影時には、所定のフレームレートで複数のフレームの動画像を順次生成する。

ＡＦＥ１１は、撮像素子１０が生成する画像に対して信号処理を施すアナログフロントエンド回路である。このＡＦＥ１１は、ゲイン調整やＡ／Ｄ変換等を行う。このＡＦＥ１１が出力する画像のデータは、ＲＡＭ１２に一時的に記録される。ＲＡＭ１２は、フレームメモリとしても機能する。ＲＯＭ１３は、電子カメラ１の制御を行うプログラム等を予め記憶している不揮発性のメモリである。

表示モニタ１４は、静止画像や電子カメラ１の操作メニュー等を表示する。また、表示モニタ１４は、撮影前における撮像素子１０のライブ映像（ライブビュー）の動画像、録画・再生時の動画像等を表示する。表示モニタ１４には、液晶モニタ等を適宜選択して用いることができる。

記録Ｉ／Ｆ部１５には、着脱自在の記録媒体１００を接続するためのコネクタが形成されている。そして、記録Ｉ／Ｆ部１５は、ＣＰＵ１９からの指示により、そのコネクタに接続された記録媒体１００にアクセスして静止画像や動画の記録処理等を行う。この記録媒体１００は、例えば、不揮発性のメモリカードである。図１では、コネクタに接続された後の記録媒体１００を示している。

レリーズ釦１６は、半押し操作（撮影前におけるオートフォーカス（ＡＦ）等の動作開始の指示入力）と全押し操作（撮像動作開始）との指示入力とを受け付ける。

操作部１７は、例えば、コマンドダイヤル、十字状のカーソルキー、電源ボタン等を有している。そして、操作部１７は、電子カメラ１への操作をユーザから受け付ける。

タッチパネル１８は、タッチパネル表面に接触した指先等の位置を検出する。そして、タッチパネル１８は、検出した位置情報をＣＰＵ１９に出力することでユーザからの入力を受け付ける。

なお、タッチパネル１８は、表示モニタ１４と同等の大きさを有する透明なパネルで構成されており、表示モニタ１４の表面全体に積層して配置される。また、本実施形態では、タッチパネル１８は、静電気による電気信号を感知する静電容量式のパネルで構成されている。タッチパネル１８の構成は、静電容量式に限られず、圧力による電圧の変化を検出する抵抗膜式のパネルを用いても良い。

ＣＰＵ１９は、電子カメラ１の統括的な制御を行うプロセッサである。また、ＣＰＵ１９は、画像処理機能も有しており、ＲＡＭ１２に記録されている画像データを読み出し、各種の画像処理（階調変換処理、ホワイトバランス処理等）を施す。

また、ＣＰＵ１９は、設定部１９ａ、画像補正部１９ｂ、分割部１９ｃ、拡大率算出部１９ｄ及び輪郭強調部１９ｅとしても機能する。

設定部１９ａは、被写体に対する撮像素子１０の傾きによってその被写体が歪んで撮像された第１画像のうち、歪みを補正する第１領域を設定する（詳細は後述する）。

画像補正部１９ｂは、歪みを補正する射影変換を第１領域に行うことにより、第１領域から歪みが補正された第２画像を生成する。画像補正部１９ｂは、一例として、特許文献１に記載の射影変換を行い第１領域の歪みを補正することができる。また、画像補正部１９ｂは、第１領域の歪みを補正するに際し、第１領域の画像の画素を補間する補間処理を行う。この補間処理は、例えば、バイキュービック法又はニヤレストネイバー法といった公知の補間処理により実現される。ここで、バイキュービック法では、例えば、複数の近傍画素の値に対して３次補間法と呼ばれる関数処理を行った後、その関数処理で求めた画素の値を注目画素の値に割り当てる。また、ニヤレストネイバー法では、例えば、注目画素に対して近傍画素の値を割り当てる。

分割部１９ｃは、第２画像を複数の第２領域に分割する。拡大率算出部１９ｄは、各々の第２領域において、射影変換の前後の面積比から拡大率をそれぞれ算出する。輪郭強調部１９ｅは、拡大率に応じて第２領域毎に異なる度合いで輪郭を強調する（詳細は後述する）。

次に、電子カメラ１の画像処理の動作について説明する。

図２は、電子カメラ１の画像処理の動作を示すフローチャートである。なお、説明をわかりやすくするため、本実施形態では、白板に「ＤＡＴＡ」という文字が描かれた被写体に対して、撮像素子１０の傾き（ユーザが電子カメラ１を白板に向ける方向）によって歪んで撮像された第１画像を例にして説明する。

なお、第１画像のデータは、ＲＡＭ１２に記録されていることとする。図２のフローチャートは、コマンドダイヤル等で画像の歪みを修正するモードが選択されると、ＣＰＵ１９の制御により開始される。

ステップＳ１０１：ＣＰＵ１９は、第１画像のデータをＲＡＭ１２から読み出して、表示モニタ１４に表示させる。図３は、本実施形態の画像処理を説明する図である。図３（ａ）は、表示モニタ１４に表示された第１画像を示す。図３（ａ）では、説明の便宜上、白板３０のみを図示し、白板３０は台形状に誇張して描かれている。

ステップＳ１０２：ＣＰＵ１９の設定部１９ａは、タッチパネル１８を介して第１領域の選択指示の入力を受け付ける。図３（ｂ）は、表示モニタ１４に表示された第１領域を示す。設定部１９ａは、図３（ｂ）に示す通り、白板３０の四隅を示す４点（Ａ〜Ｄ）の選択指示の入力をタッチパネル介して受け付ける。これにより、設定部１９ａは、白板３０の四隅を示す４点（Ａ〜Ｄ）で囲まれる領域を第１領域として設定する。この場合、歪みがなければ４点で囲まれる領域は一般的には矩形であるが、歪みがあると４点で囲まれる領域は台形となる。

ステップＳ１０３：ＣＰＵ１９の画像補正部１９ｂは、歪みを補正する射影変換を第１領域に行うことにより、歪みが補正された第２画像を生成する。また、画像補正部１９ｂは、第１領域の歪みを補正するに際し、第１領域の画像の画素を補間する補間処理を行う。

図３（ｃ）は、表示モニタ１４に表示された第２画像を示す。図３（ｃ）では、文字 “ＤＡＴＡ”のうち、文字“ＴＡ”がぼやけて表示されている。ここで、文字“ＴＡ”が文字“ＤＡ”に比較してぼやけて表示されるのは、文字“ＴＡ”を含む領域の方が補間処理でより拡大されたためである。なお、図３（ｃ）では、説明の便宜上、文字“ＴＡ”のぼやけ具合を誇張して描いている。

ステップＳ１０４：ＣＰＵ１９の分割部１９ｃは、第２画像を複数の第２領域に分割する。図３（ｄ）では、分割部１９ｃは、第２領域として４分割（Ａ１〜Ａ４）する。なお、分割部１９ｃは、ＲＡＭ１２に記録されている第２画像のデータに対して処理を行うが、図３（ｄ）では、わかりやすくするためイメージ図で描いている。

ステップＳ１０５：ＣＰＵ１９の拡大率算出部１９ｄは、各々の第２領域において、射影変換の前後の面積比から拡大率をそれぞれ算出する。

図４は、拡大率の算出の一例を説明する図である。図４（ａ）は、第１領域を４分割した図であり、図４（ｂ）は、第２画像を４分割した図である。ここで、拡大率算出部１９ｄは、Ａ１とＡ１’、Ａ２とＡ２’、Ａ３とＡ３’及びＡ４とＡ４’の面積比を各々求める。一例として、拡大率算出部１９ｄは、面積比（Ａ１／Ａ１’）を算出する。拡大率算出部１９ｄは、各々の面積比を拡大率として、一旦ＲＡＭ１２に記録する。なお、拡大率（Ｋ）が０＜Ｋ＜１の値になった場合、拡大率は実質縮小率になっており、本実施形態では、第１領域の画像が第２画像に補正される場合、第２画像が第１領域に比べて小さくなる場合にも対応できる。

ステップＳ１０６：ＣＰＵ１９の輪郭強調部１９ｅは、拡大率に応じて第２領域毎に異なる度合いで輪郭を強調する。例えば、輪郭強調部１９ｅは、輪郭強調処理の一種であるアンシャープマスク処理を行う。アンシャープマスク処理では、先ず画像をぼかし、そのぼかした画像と元画像との差分をとる。そして、アンシャープマスク処理では、この差分を調整して元画像に加えることにより、輪郭強調処理を行う。

具体的には、輪郭強調部１９ｅは、アンシャープマスク処理により、輪郭部分のコントラストを上げて、その輪郭部分を鮮明にする画像処理を行う。アンシャープマスク処理では、一般に閾値を設定することができる。例えば、閾値が「０」の場合、輪郭強調部１９ｅは、指定した第２領域の画像全体に対してコントラストを上げる。閾値が大きく設定されると、輪郭強調部１９ｅは、輪郭部分の階調の差が大きい部分にだけコントラストを上げる。

輪郭強調部１９ｅは、一例として、拡大率と閾値との対応関係を示すテーブルを予め用意しておき、拡大率が大きくなるにしたがって閾値を大きくする。本実施形態では、白板に黒の文字が書かれた場合を例示しており、この場合、黒の輪郭部分のコントラストが上がり、ぼやけが抑制されることとなる。

図３（ｅ）は、表示モニタ１４に表示された第２画像を示す。図３（ｅ）では、輪郭強調処理がされた後の第２画像を示している。図３（ｅ）に示す通り、第２画像は、画像の歪みが修正されるとともに、文字“ＴＡ”を含む領域に対して輪郭が特に強調される。そのため、第２画像は、文字“ＤＡＴＡ”が鮮明になるとともに正面から眺めたような画像となる。

以上より、本実施形態の電子カメラ１は、画像の歪みを修正した際にも比較的鮮明で好ましい画像を取得できる。なお、本実施形態では、白板を例示して説明したが、白板に限られず、例えば、文字が描かれた看板や乗り物の時刻表であっても良い。

＜実施形態の補足事項＞
（１）本実施形態では、分割部１９ｃは、第２画像を４分割したが、これは一例であって例えば８分割、１６分割、３２分割等であっても良い。また、分割部１９ｃは、拡大率に応じて第２領域の分割数を変更しても良い。

図５は、拡大率の算出の一例を説明する図である。ここで、図５（ａ）は、図４（ａ）に示す第１領域のうち、Ａ１’及びＡ２’の領域をさらに分割した場合を表している。また、図５（ｂ）は、図４（ｂ）に示す第２画像の領域うち、Ａ１及びＡ２の領域をさらに分割した場合を表している。

拡大率算出部１９ｄは、一旦、図４に示す４分割にした状態で、拡大率を算出する。分割部１９ｃは、算出結果を参照し、拡大率が他と比較して大きい領域に対して、さらに細かく分割しても良い。そして、拡大率算出部１９ｄは、図５に示す、Ｂ１とＢ１’、Ｂ２とＢ２’、Ｂ３とＢ３’、Ｂ４とＢ４’、Ｂ５とＢ５’及びＢ６とＢ６’の面積比を各々求める。拡大率算出部１９ｄは、各々の面積比を拡大率として、一旦ＲＡＭ１２に記録する。輪郭強調部１９ｅは、拡大率に応じて第２領域毎に輪郭強調処理を行う。これにより、分割する第２領域の数が増加すると、その分、輪郭強調部１９ｅは、輪郭強調処理を綿密に行うことができる。
（２）本実施形態では、撮影後の静止画像に対して、画像補正部１９ｂ及び輪郭強調部１９ｅによる画像処理を施したが、撮影前において、ライブビューの動画像に対して画像補正部１９ｂ及び輪郭強調部１９ｅによる画像処理を施しても良い。この場合、表示モニタ１４には、第２画像の動画像が逐次出力されることになる。ユーザは、表示モニタ１４に表示された第２画像を見て、レリーズ釦１６を押下するようにしても良い。
（３）本実施形態では、設定部１９ａがタッチパネル１８を介して第１領域の選択指示の入力を受け付ける構成とした。ここで、ＣＰＵ１９は、撮影画像から主要被写体の特徴部分を検出して、その特徴部分に基づいて主要被写体を認識する被写体認識機能をさらに備えても良い。例えば、ＣＰＵ１９は、白板３０の輪郭を特徴部分として先ず検出し、輪郭の形状から白板３０と認識する。続いて、ＣＰＵ１９は、その白板３０を第１領域としても良い。これにより、ユーザが第１領域を設定する手間を省くことができる。

１・・・電子カメラ、１０・・・撮像素子、１９ａ・・・設定部、１９ｂ・・・画像補正部、１９ｃ・・・分割部、１９ｄ・・・拡大率算出部、１９ｅ・・・輪郭強調部

Claims (4)

1. 被写体を撮像してライブビューの動画像を生成する撮像素子と、
   前記被写体に対する前記撮像素子の傾きによって該被写体が歪んで撮像されたライブビューの第１動画像のうち、歪みを補正する第１領域を設定する設定部と、
   射影変換を前記第１領域に行うことにより、前記第１領域から前記歪みが補正されたライブビューの第２動画像を生成する画像補正部と、
   前記第２動画像を複数の第２領域に分割する分割部と、
   各々の前記第２領域において、前記射影変換前の各々の前記第２領域に対応する各々の前記第１領域と、前記射影変換後の各々の第２領域との面積比から拡大率をそれぞれ算出する拡大率算出部と、
   前記拡大率に応じて前記第２領域毎に異なる度合いで輪郭を強調する輪郭強調部と、
   を備えることを特徴とする撮像装置。
2. 被写体を撮像して画像を生成する撮像素子と、
   前記被写体に対する前記撮像素子の傾きによって該被写体が歪んで撮像された第１画像のうち、歪みを補正する第１領域を設定する設定部と、
   射影変換を前記第１領域に行うことにより、前記第１領域から前記歪みが補正された第２画像を生成する画像補正部と、
   前記第２画像を複数の第２領域に分割する分割部と、
   各々の前記第２領域において、前記射影変換前の各々の前記第２領域に対応する各々の前記第１領域と、前記射影変換後の各々の第２領域との面積比から拡大率をそれぞれ算出する拡大率算出部と、
   前記拡大率に応じて前記第２領域毎に異なる度合いで輪郭を強調する輪郭強調部と、
   前記被写体の特徴部分を検出するとともに前記特徴部分に基づいて主要被写体を認識する制御部と、
   を備え、
   前記設定部は、前記主要被写体を前記第１領域として設定する
   ことを特徴とする撮像装置。
3. 請求項１に記載の撮像装置において、
   前記被写体の特徴部分を検出するとともに前記特徴部分に基づいて主要被写体を認識する制御部をさらに備え、
   前記設定部は、前記主要被写体を前記第１領域として設定する
   ことを特徴とする撮像装置。
4. 請求項１から請求項３のいずれか１項に記載の撮像装置において、
   前記分割部は、前記拡大率に応じて前記第２領域の分割数を変更することを特徴とする撮像装置。