JP4941761B2 - 撮像装置及びプログラム - Google Patents

Description

本発明は、撮像装置及びプログラムに関し、詳細には、ローリングシャッタ方式の撮像素子を有する撮像装置及びプログラムに関する。

一般的にデジタルカメラやカメラ付き携帯電話機あるいはカメラ付き携帯情報端末などに用いられる撮像素子は、ＣＣＤセンサやＣＭＯＳセンサである。いずれも、多数の光電変換部（画素ともいう）を複数の行（ラインともいう）と列からなるマトリクス状に二次元配列している点で構造類似であるが、撮像信号の読み出し方法の点で違いがある。

図１５は、ＣＣＤセンサとＣＭＯＳセンサの構造模式図であり、（ａ）はＣＣＤセンサ、（ｂ）はＣＭＯＳセンサを示している。なお、この図においては、いずれも簡単化のために単純な画素配列（５行×４列）の例を示している。

まず、ＣＣＤセンサ１は、フォトディテクタ等の光電変換素子２を備えた画素３をマトリクス状に配列すると共に、各々の画素３の列間に垂直転送路４を配置し、且つ、上下いずれか一方（一般的には下側）に水平転送路５を配置して構成されている。全ての画素３に蓄えられた電荷（露光量に対応した電荷）は、同一のタイミングで隣接する垂直転送路４に送り込まれ、この垂直転送路４から水平転送路５へ行単位（ライン単位）に順次に送り込まれた後、画素毎の信号として直列に出力される。なお、太い矢印線は画素情報の移動経路を表している。

一方、ＣＭＯＳセンサ６は、フォトディテクタ等の光電変換素子７とスイッチ８及びアンプ９を備えた画素１０をマトリクス状に配列すると共に、各々の画素１０のスイッチ８を行単位に駆動（ＯＮ）する垂直シフトレジスタ１１と、上下いずれか一方（一般的には下側）に設けられた負荷／ノイズキャンセラ１２と、水平シフトレジスタ１３とを備えて構成されている。各々の画素１０の出力信号（アンプ９の出力信号）は、垂直シフトレジスタ１１からの行単位の駆動信号に従って線順次（ライン単位）に負荷／ノイズキャンセラ１２に送り込まれ、水平シフトレジスタ１３を介して画素毎の信号として直列に出力される。

このように、ＣＣＤセンサ１から得られる画像情報は、１画面内の全ての画素３の情報取り出しに「同時性」があり、したがって、ＣＣＤセンサ１は本質的に電子的なシャッタ機能を備えているが、一方のＣＭＯＳセンサ６は、ライン毎に画素１０の情報を順次に読み出す仕組みになっているため、シビアな時間で見た場合、１画面内の画素１０の情報は、各ライン毎に少しずつずれた時間を示すことになる。このようなライン毎に時間がずれたシャッタ動作のことをローリングシャッタという。

ローリングシャッタの欠点は、撮像素子（ＣＭＯＳセンサ６）と被写体との相対的な位置関係に時間的な動きがある場合、つまり、カメラブレ（手ブレともいう）や被写体ブレが発生した場合に、撮影画像に歪みが生じてしまうことにある。

たとえば、電柱のような垂直な棒状の被写体を撮影する際に、横方向のカメラブレが生じた場合を考えてみる。
図１６は、カメラブレを発生したときのローリングシャッタのイメージ図である。ＣＭＯＳセンサ６で撮影された画像の各ラインに注目すると、最上部の第１ライン（Ｌ１）の読み出し時間を基準にして、第２ライン（Ｌ２）、第３ライン（Ｌ３）、・・・・、第ｎ（ｎは最終ライン番号）ライン（Ｌｎ）の順番で少しずつ読み出し時間がずれる。今、カメラブレが発生していない場合を考えると、静止した垂直棒状の被写体１４とＣＭＯＳセンサ６との相対的な位置関係が変化しないため、読み出し時間のずれにもかかわらず、撮影画像１５に写り込む被写体像１６には歪みが発生せず、本来の姿（垂直）を保っている。しかし、被写体１４に対して、たとえば、右方向へのカメラブレが生じた場合は、上記の読み出し時間のずれによって各々のライン毎の撮影時間に差を生じるため、撮影画像１５に写り込む被写体像は、図示のようなライン毎に徐々に右方にずれた断片像１６ａ〜１６ｄで構成されることとなり、結局、下端に行くほど右方にずれた斜め倒れの歪みを伴った異形状像となって見えてしまう。

かかるローリングシャッタの欠点を解消する従来技術としては、たとえば、下記の特許文献１に記載されたものが知られている。

この文献の段落〔００２０〕には、「１行目のフォトダイオード行を構成するフォトダイオードに蓄積された電荷を読み出してからｎ行目のフォトダイオード行を構成するフォトダイオードに蓄積された電荷を読み出すまでの全ライン読み出し期間は、フォトダイオードに蓄積される電荷の蓄積時間よりも短くなっている」と記載されており、この記載に対応する図面として図３（以下、本件発明の図面と区別するために文献図３という。）が、また、欠点克服前の対比図面として図６（文献図６という。）が示されている。これらの図面（文献図３と文献図６）を見比べると、「全ライン読み出し期間」の長さに違いが認められる。すなわち、明らかに、文献図３の「全ライン読み出し期間」が文献図６のそれよりも短くなっていることが認められる。この期間短縮は、各ラインの読み出しパルス（同文献中の符号１０参照）の位置を時間的に前にずらした結果である。

図１７は、従来技術の概念図であり、（ａ）は文献図６に相当するもの、（ｂ）は文献図３に相当するものである。これらの図において、第１ライン（Ｌ１）〜第１０ライン（Ｌ１０）の各々の電荷蓄積期間（露光期間）は、１フレーム期間ごと、上から下に段違いにずれながら並ぶｎ個の横長図形１７＿１〜１７＿１０、１８＿１〜１８＿１０で表現されている。各ラインの読み出しパルスは、それぞれの横長図形１７＿１〜１７＿１０、１８＿１〜１８＿１０の左端に位置する。したがって、（ａ）における全ライン読み出し期間１９は、Ｌ１の横長図形１７＿１の左端からＬ１０の横長図形１７＿１０の左端までの長さで与えられ、同様に、（ｂ）における全ライン読み出し期間２０は、Ｌ１の横長図形１８＿１の左端からＬ１０の横長図形１８＿１０の左端までの長さで与えられる。

さて、図１７の（ａ）と（ｂ）を対比すると、ｎ個の横長図形１７＿１〜１７＿１０、１８＿１〜１８＿１０の各々の左端を結んだ線２１、２２の傾斜に違いがある。つまり、（ｂ）の線２２の傾斜の方が急になっている。従来技術におけるローリングシャッタの欠点克服の原理は、要するに、ｎ個の横長図形１８＿１〜１８＿１０の各々の左端を結んだ線２２の傾斜を（（ａ）に比べて）急にしたことにより、仮に、撮影画像中に、図１６に示したようなライン毎に徐々に右方にずれた断片像１６ａ〜１６ｄで構成された被写体が写し出されたとしても、断片像１６ａ〜１６ｄのずれの程度を線２２の傾斜に合わせて少なくし、これによって、像の歪みを目立たなくしたことにある。

特開２００４−６４５５８号公報

しかしながら、従来技術のように、ｎ個の横長図形１８＿１〜１８＿１０の左端を結んだ線２２の傾斜を急にしたとしても、その傾斜には自ずと限界（たとえば、図１５の負荷／ノイズキャンセラ１２への信号取り込み時間及び水平シフトレジスタ１３からの直列信号の出力時間を下回ることはできない）があり、したがって、像の歪みを目立たなくすることにも限界があった。

そこで、本発明は、処理対象画像の先頭ラインから最終ラインまでの露光時間差を少なくすることによって、被写体の歪みを軽減（視覚的に見えにくく）できるようにした撮像装置を提供することにある。

請求項１記載の発明は、被写体からの光を電気信号に変換して出力する撮像手段と、前記撮像手段から出力された電気信号をデジタル化および画像生成処理して縦方向複数行×横方向複数列構成の画像データを生成する画像生成処理手段と、前記画像生成処理手段によって生成された画像データを行単位に出力する出力手段とを備える撮像装置であって、該撮像装置の撮影態様が静止画撮影であるか動画撮影であるかを判別する判別手段と、前記出力手段から出力される画像データの横方向サイズを指定する指定手段と、前記判別手段の判別結果が静止画撮影である場合の画像データの横方向サイズに対して前記判別手段の判別結果が動画撮影である場合の画像データの横方向サイズが短くなるように前記指定手段に指定させると共に、前記判別手段の判別結果が静止画撮影である場合の画像データの面積と、前記判別手段の判別結果が動画撮影である場合の画像データの面積とが一致するように、前記動画撮影用画像データの横方向サイズと縦方向サイズとを前記指定手段に指定させる指定制御手段とを備えることを特徴とする撮像装置である。
請求項２記載の発明は、被写体からの光を電気信号に変換して出力する撮像手段と、前記撮像手段から出力された電気信号をデジタル化および画像生成処理して縦方向複数行×横方向複数列構成の画像データを生成する画像生成処理手段と、前記画像生成処理手段によって生成された画像データを行単位に出力する出力手段とを備える撮像装置のプログラムであって、コンピュータに、該撮像装置の撮影態様が静止画撮影であるか動画撮影であるかを判別する機能と、前記出力手段から出力される画像データの横方向サイズを指定する機能と、前記撮影態様が静止画撮影である場合の画像データの横方向サイズに対して前記撮影態様が動画撮影である場合の画像データの横方向サイズが短くなるように指定させると共に、前記撮影態様が静止画撮影である場合の画像データの面積と、前記撮影態様が動画撮影である場合の画像データの面積とが一致するように、前記動画撮影用画像データの横方向サイズと縦方向サイズとを指定させる機能とを実現させるためのプログラムである。

本発明では、静止画撮影の画像データの面積と、動画撮影の画像データの面積とが一致するように、動画撮影の画像データの横方向サイズと縦方向サイズとを指定するので、静止画撮影の画像と動画撮影の画像のフレームレートを実質同一にして、画像生成処理部における処理の簡素化を図ることができる。

以下、本発明の実施形態を、特にそれに限定されないが、カメラ付携帯電話機への適用を例にして、図面を参照しながら説明する。

図１は、実施の形態に係るカメラ付き携帯電話機の構成図である。この図において、カメラ付き携帯電話機（以下、単に携帯電話機という。）３０は、アンテナ３１を有する無線通信部３２と、マイク３３やスピーカ３４を有する音声信号処理部３５と、液晶や有機ＥＬ等の平面表示デバイスで構成された表示部３６と、テンキーやオンフック／オフフックボタン及びシャッタキー並びに各種の機能キー（静止画撮影キー又は動画撮影キー等）などで構成された操作部３７と、ローリングシャッタ方式の撮像素子（典型的にはＣＭＯＳセンサ）で構成された撮像部（カメラモジュールともいう。）３８と、ＲＴＣ（リアルタイムクロック）等で構成された計時部３９と、これらの各部をプログラム制御して携帯電話の機能やカメラの機能を実現するマイクロコンピュータ（コンピュータ）で構成された中央制御部４０と、この中央制御部４０で実行するための各種プログラムやデータを不揮発的に記憶する第１記憶部（以下、ＲＯＭ）４１及び第２記憶部（以下、ＰＲＯＭ）４２などを備える。

なお、ＰＲＯＭ４２は、不揮発性（電源をオフにしても記憶情報が失われないこと）である点でＲＯＭ４１と共通するが、その記憶情報が書き換え可能である点で相違する。このＰＲＯＭ４２には、ユーザ固有の情報（電話帳データや受発信データなど）が記憶されると共に、加えて、撮像部３８で撮影された画像情報、並びに、後述する撮影サイズ情報などの可変的情報が記憶される。撮影画像記憶部４３は前者の情報を記憶するためのもの、撮影サイズ記憶部４４は後者の情報を記憶するためのものである。

図２は、撮像部３８の構成図である。この図に示すように、撮像部３８は、ローリングシャッタ方式の撮像素子（ここではＣＭＯＳセンサ）４５と、画像生成処理部４６と、データ出力部４７とを備える。

図３は、撮像部３８の動作概念図である。この図において、Ｌ１〜Ｌｎはそれぞれ第１ライン（第１行）〜第ｎライン（第ｎ行）を示しており、これらの第１ライン〜第ｎラインは、撮像素子４５の撮影画像の各ラインに対応する。撮像素子４５、画像生成処理部４６及びデータ出力部４７は、各ラインごとに「露光処理」と「画像生成処理」と「データ出力処理」とを順次に実行する。

ここで、本実施の形態の撮像部３８は、中央制御部４０からの指示に従って、静止画モードと動画モードの二つのモードのいずれかで動作し得るものとし、且つ、各モードで出力可能な画像サイズは、以下のものであるとする。

図４は、静止画モードにおける出力画像サイズを示す図である。この図において、撮像素子４５の撮像能力は、ここでは、便宜的に最大で２０００×１６００の画像４８を撮像できるものとする。つまり、水平方向の画素数２０００、垂直方向の画素数１６００の画像４８を出力できるものとする。このような撮像能力を有する撮像素子４５の撮像情報は、中央制御部４０からの指令に従って、全画素モードと間引きモードの二つのモードのいずれかのモードで画像生成処理部４６に取り込まれ、さらに、この画像生成処理部４６、データ出力部４７及び中央制御部４０を経て、たとえば、ＵＸＧＡ規格（１６００×１２００画素）のＵＸＧＡ画像４９、ＸＧＡ規格（１０２４×７６８画素）のＸＧＡ画像５０、ＶＧＡ規格（６４０×４８０画素）のＶＧＡ画像５１、または、ＱＶＧＡ規格（３２０×２４０画素）のＱＶＧＡ画像５２のいずれかが作られる。詳細については後述する。

図５は、動画モードにおける出力画像サイズを示す図である。この図において、撮像素子４５の撮像能力は、上記の静止画モードと同じ（最大で２０００×１６００の画像４８を出力することができる）であるが、画像生成処理部４６に取り込まれる際に「間引きモード」だけが用いられる点で上記の静止画モードと相違する。また、この画像生成処理部４６、データ出力部４７及び中央制御部４０を経て、たとえば、ＱＶＧＡ規格（３２０×２４０画素）のＱＶＧＡ画像５４、Ｌ規格（１７０×１４４画素）のＬ画像５５、Ｍ規格（１２８×９６画素）のＭ画像５６、または、Ｓ規格（９６×８０画素）のＳ画像５７のいずれかが作られる点でも相違する。

このように、静止画モードにおいては、ＵＸＧＡ画像４９、ＸＧＡ画像５０、ＶＧＡ画像５１、または、ＱＶＧＡ画像５２のいずれかが出力され、また、動画モードにおいては、ＱＶＧＡ画像５４、Ｌ画像５５、Ｍ画像５６、または、Ｓ画像５７のいずれかが出力されるようになっており、結局、ユーザ（撮影者）の所望により、４種類のサイズの静止画（ＵＸＧＡ画像４９、ＸＧＡ画像５０、ＶＧＡ画像５１、ＱＶＧＡ画像５２）のいずれかをＰＲＯＭ４２の撮影画像記憶部４３に記憶保存したり、あるいは、４種類のサイズの動画（ＱＶＧＡ画像５４、Ｌ画像５５、Ｍ画像５６、Ｓ画像５７）のいずれかをＰＲＯＭ４２の撮影画像記憶部４３に記憶保存したりできるようになっている。

ここで、一般的なデジタルカメラ等の撮像装置においては、静止画や動画を撮影記録する際に、構図調整のためのモニタ画面（ファインダ画面ともいい、それらの画面に表示する画像のことをスルー画像ともいう。）を表示できるようになっており、このスルー画像としては、モニタ画面（本実施の形態では表示部３６）の表示サイズが高々数インチ程度と小さいことに加え、被写体の動きをスムーズに再現するなどの要求から、たとえば、ＱＶＧＡ規格程度の小さな画像サイズのものが用いられているところ、本実施の形態でもこの仕様に従うものとし、つまり、静止画モードにおけるスルー画像はＱＶＧＡ画像５２であるものとし、また、動画モードにおけるスルー画像も同サイズのＱＶＧＡ画像５４であるものとする。

以上のことをまとめると、以下のとおりとなる。
＜静止画モード＞
記録可能な画像サイズは、ＵＸＧＡ画像４９、ＸＧＡ画像５０、ＶＧＡ画像５１、ＱＶＧＡ画像５２であり、画像のサイズは、ＵＸＧＡ画像４９、ＸＧＡ画像５０、ＶＧＡ画像５１、ＱＶＧＡ画像５２の順に小さくなる。スルー画像は、ＱＶＧＡ画像５２である。
＜動画モード＞
記録可能な画像サイズは、ＱＶＧＡ画像５４、Ｌ画像５５、Ｍ画像５６、Ｓ画像５７であり、画像のサイズは、ＱＶＧＡ画像５４、Ｌ画像５５、Ｍ画像５６、Ｓ画像５７の順に小さくなる。スルー画像は、静止画モードと同じサイズのＱＶＧＡ画像５４である。

次に、全画素モードと間引きモードの詳細について説明する。
図６は、全画素モードの説明図である。全画素モードは静止画撮影時（静止画撮影のシャッタレリーズ時）のみに適用する。この図において、まず、画像生成処理部４６は、撮像素子４５の最大撮像能力の画像４８のうち、中央制御部４０から指定された範囲（ＡＸ１、ＡＹ１）の画像５８を取り込む。次に、画像生成処理部４６は、この画像５８にダミーデータ５９を付加して所定サイズ（ＡＸ２、ＡＹ２）の画像６０を生成し、中央制御部４０に出力する。中央制御部４０は、この画像６０を元に、ユーザによって選択された大きさの画像６１（ＵＸＧＡ画像４９、ＸＧＡ画像５０、ＶＧＡ画像５１、または、ＱＶＧＡ画像５２に相当）を作り、その画像６１をＰＲＯＭ４２の撮影画像記憶部４３に記憶保存する。

図７は、静止画撮影用の間引きモードの説明図である。詳細には、静止画撮影の際のスルー画像表示に用いられる間引きモードの説明図である。この図において、まず、画像生成処理部４６は、撮像素子４５の最大撮像能力の画像４８のうち、中央制御部４０から指定された範囲（ＢＸ１、ＢＹ１）の画像６２を取り込む。次に、画像生成処理部４６は、この画像６２にダミーデータ６３を付加して所定サイズ（ＢＸ２、ＢＹ２）の画像６４を生成し、中央制御部４０に出力する。中央制御部４０は、この画像６４を元に、静止画撮影用のスルー画像６５（図４のＱＶＧＡ画像５２に相当）を作り、その画像６５を表示部３６に出力する。

ここで、全画素モードで用いられる「ＡＸ２」（図６参照）と、静止画撮影用の間引きモードで用いられる「ＢＸ２」（図７参照）とを同じ値に設定することが望ましい。これは、画像生成処理部４６における各モードの処理画像、すなわち、全画素モードの処理画像（画像６０）と、静止画撮影用間引きモードの処理画像（画像６４）のライン長（横方向の画素数）を揃えることを意味しており、そのようにすると、モードの違いにかかわらず、画像生成処理部４６における処理動作の簡素化を図ることができる。

図８は、動画撮影用の間引きモードの説明図である。詳細には、動画撮影の際のスルー画像表示と保存用画像の生成に用いられる間引きモードの説明図である。この図において、まず、画像生成処理部４６は、撮像素子４５の最大撮像能力の画像４８のうち、中央制御部４０から指定された範囲（ＢＸ１、ＢＹ１）の画像６６を取り込む。次に、画像生成処理部４６は、この画像６６にダミーデータ６７を付加して所定サイズ（ＢＸ２、ＢＹ２）の画像６８を生成し、中央制御部４０に出力する。中央制御部４０は、この画像６８を元に、動画撮影用のスルー画像６９（又は記録保存用の画像）（図５のＱＶＧＡ画像５４に相当）を作り、その画像６９を表示部３６に出力する（記録保存用の画像の場合はＰＲＯＭ４２の撮影画像記憶部４３に出力する）。

ここで、図８中に示す「ＢＸ２´」及び「ＢＹ２´」は、前記の静止画撮影用の間引きモードで用いられる「ＢＸ２」及び「ＢＹ２」と同じものである。ダッシュ記号（´）を付したのは、動画撮影用の間引きモードで用いられる「ＢＸ２」及び「ＢＹ２」と区別するためである。

さて、この動画撮影用の間引きモードで用いられる「ＢＸ２」及び「ＢＹ２」の積（ＢＸ２×ＢＹ２）と、前記の静止画撮影用の間引きモードで用いられる「ＢＸ２´」及び「ＢＹ２´」の積（ＢＸ２´×ＢＹ２´）は同値で、且つ、ＢＸ２はＢＸ２´よりも小さい関係にある。つまり、次式（１）の二つの条件を共に満たす関係にある。

（条件１）ＢＸ２×ＢＹ２＝ＢＸ２´×ＢＹ２´
（条件２）ＢＸ２＜ＢＸ２´
・・・・（１）

この関係を満たすことにより、動画撮影時の被写体像の歪みを軽減（視覚的に見えにくく）することができる。その理由を説明する。
図９は、実施の形態における歪み軽減の説明図である。今、（ａ）に示すように、左から右に移動する縦長の被写体７０を考える。この被写体７０は説明の都合上、４つの正方形７１〜７４を積み重ねたものであるとし、且つ、各々の正方形７１〜７４ごとに、画像生成処理部４６のライン処理が行われるものとする。

まず、対比のために、前記の式（１）の関係を満たさない場合を説明する。（ｂ）はその説明図である。この図において、画像６６にダミーデータ６７を付加した処理対象画像（画像６８）のＢＸ２とＢＹ２は、共にＢＸ２´とＢＹ２´と等値であり、条件２が満たされない。このような場合、画像６６に写し込まれる被写体像７５は、上記の被写体７０と同様の４つの正方形７６〜７９を積み重ねたものとして描かれるが、それぞれの正方形７６〜７９の間には、処理対象画像（画像６８）のライン長（ＢＸ２＝ＢＸ２´）に対応する水平処理遅れ時間相当のずれ（水平方向のずれ）が生じる。ここで、「水平処理遅れ時間」とは、処理対象画像（画像６８）の各ラインの処理に必要な時間であり、ラインを構成する画素数×画像生成処理部４６の単位処理時間に相当する時間である。この水平処理遅れ時間は、ラインを構成する画素数が多いほど（ラインが長いほど）大きな値を示す。

これに対して、前記の式（１）の関係を満たした場合は、（ｃ）に示すように、画像６６にダミーデータ６７を付加した処理対象画像（画像６８）のＢＸ２とＢＹ２のうち、少なくともＢＸ２はＢＸ２´よりも小さいため、画像６８のライン長が（ｂ）よりも短くなり、結局、この場合の「水平処理遅れ時間」はＢＸ２とＢＸ２´の差の分だけ短縮されることになる。

したがって、（ｃ）において画像６６に写し込まれる被写体像８０は、（ｂ）と同様に、上記の被写体７０と同じく４つの正方形８１〜８４を積み重ねたものとして描かれるものの、それぞれの正方形８１〜８４の間に生じる水平方向のずれ量、つまり、処理対象画像（画像６８）のライン長（ＢＸ２＜ＢＸ２´）に対応する水平処理遅れ時間相当のずれ量は、（ｂ）に比べて小さくなり、それ故、被写体像８０の歪みを軽減して視覚的に見えにくくすることができるのである。

ちなみに、図示の例でいえば、（ｂ）の画像６８のライン長（ＢＸ２´）に対して、（ｃ）の画像６８のライン長（ＢＸ２）がほぼ２対１の関係（ＢＸ２´：ＢＸ２＝２：１）になっているので、（ｃ）の画像６８の被写体像８０のずれ量は、（ｂ）の画像６８の被写体像７５のずれ量の概ね１／２に軽減されるものと考えられる。

このように、前式（１）の条件２を満たしている限り、被写体像８０の歪みを軽減して視覚的に見えにくくすることができるという効果が得られる。つまり、被写体像８０の歪みを軽減するためには、前式（１）の条件２だけを満たしていればよく、歪み軽減に条件１は関与しない。この条件１は、静止画撮影時の間引きモードと動画撮影時の間引きモードとのフレームレート（時間あたりの画像データの枚数）を実質的同一にして、画像生成処理部４６の制御を簡素化するための付加的条件である。すなわち、前式（１）の条件１を満たさない場合は、静止画撮影時の間引きモードの画像（図７の画像６４）と、動画撮影時の間引きモードの画像（図８の画像６８）との面積が異なることとなり、画像生成処理部４６は、これらの面積相違の二つの画像６４、６８の各々について、異なるフレームレートで処理を実行しなければならず、それだけ処理が複雑になるところ、前式（１）の条件１を満たすようにすれば、両画像６４、６８のフレームレートを実質同一にして、画像生成処理部４６における処理の簡素化を図ることができるからである。

したがって、前式（１）の二つの条件（条件１と条件２）を共に満たすことは、実施の形態のベストモードであって、本発明の主たる目的（被写体像８０の歪みを軽減する）を達成するためには、前式（１）の条件２だけを満たしていればよいのである。

なお、前述の静止画撮影用の間引きモード（図７参照）と同様に、この動画撮影用の間引きモード（図７参照）においても、全画素モードで用いられる「ＡＸ２」（図６参照）と、動画撮影用の間引きモードで用いられる「ＢＸ２」（図８参照）とを同じ値に設定することが望ましい。前記と同様に、画像生成処理部４６における各モードの処理画像、すなわち、全画素モードの処理画像（画像６０）と、動画撮影用間引きモードの処理画像（画像６８）のライン長（横方向の画素数）を揃えることができ、モードの違いにかかわらず、画像生成処理部４６における処理動作の簡素化を図ることができる。

次に、撮影サイズデータテーブルについて説明する。
図１０は、ＰＲＯＭ４２の撮影サイズ記憶部４４に予め記憶保存されている撮影サイズデータテーブルの構造図である。この図において、静止画用撮影サイズデータテーブル８５は、ユーザによる撮影サイズ選択によって択一的にセット（ハッチングは現在セット中のフラグを示す）される設定フラグフィールド８５ａと、複数の撮影サイズを格納する撮影サイズフィールド８５ｂと、静止画撮影における全画素モードのサイズＡＸ１、ＡＹ１、ＡＸ２及びＡＹ２を格納する全画素モードフィールド８５ｃと、静止画撮影における間引きモードのサイズＢＸ１、ＢＹ１、ＢＸ２及びＢＹ２を格納する間引きモードフィールド８５ｄとを含む。ここで、この静止画用撮影サイズデータテーブル８５は、撮影サイズごとの４つのレコードから構成されている。具体的には、第１レコードにはＵＸＧＡのサイズ情報（図４のＵＸＧＡ画像４９のサイズ情報）、第２レコードにはＸＧＡのサイズ情報（図４のＸＧＡ画像５０のサイズ情報）、第３レコードにはＶＧＡのサイズ情報（図４のＶＧＡ画像５１のサイズ情報）、第４レコードにはＱＶＧＡのサイズ情報（図４のＱＶＧＡ画像５２のサイズ情報）が格納されており、且つ、各レコードに共通の全画素モードのサイズ情報（ＡＸ１、ＡＹ１、ＡＸ２及びＡＹ２）と間引きモードのサイズ情報（ＢＸ１、ＢＹ１、ＢＸ２及びＢＹ２）とが格納されている。

なお、静止画用撮影サイズデータテーブル８５におけるＡＸ１は全画素モードの横方向の有効サイズ情報（ＡＸ１＝１６００）であり、ＡＹ１は全画素モードの縦方向の有効サイズ情報（ＡＹ１＝１２００）である。また、ＡＸ２は全画素モードの横方向の出力サイズ情報（ＡＸ２＝２０００）であり、ＡＹ２は全画素モードの縦方向の出力サイズ情報（ＡＹ２＝１６００）である。同様に、ＢＸ１は間引きモードの横方向の有効サイズ情報（ＢＸ１＝８００）であり、ＢＹ１は間引きモードの縦方向の有効サイズ情報（ＢＹ１＝６００）である。また、ＢＸ２は間引きモードの横方向の出力サイズ情報（ＢＸ２＝２０００）であり、ＢＹ２は間引きモードの縦方向の出力サイズ情報（ＢＹ２＝８００）である。

一方、動画用撮影サイズデータテーブル８６も、ユーザによる撮影サイズ選択によって択一的にセット（ハッチングは現在セット中のフラグを示す）される設定フラグフィールド８６ａと、複数の撮影サイズを格納する撮影サイズフィールド８６ｂと、動画撮影における間引きモードのサイズＢＸ１、ＢＹ１、ＢＸ２及びＢＹ２を格納する間引きモードフィールド８６ｄとを含み、前記の静止画用撮影サイズデータテーブル８５とは、全画素モードフィールド８５ｃを含まない点で相違する。ここで、前記の静止画用撮影サイズデータテーブル８５と同様に、この動画用撮影サイズデータテーブル８６も、撮影サイズごとの４つのレコードから構成されている。具体的には、第１レコードにはＱＶＧＡのサイズ情報（図５のＱＶＧＡ画像５４のサイズ情報）、第２レコードにはＬのサイズ情報（図５のＬ画像５５のサイズ情報）、第３レコードにはＭのサイズ情報（図５のＭ画像５６のサイズ情報）、第４レコードにはＳのサイズ情報（図５のＳ画像５７のサイズ情報）が格納されており、且つ、各レコードに共通の間引きモードのサイズ情報（ＢＸ１、ＢＹ１、ＢＸ２及びＢＹ２）が格納されている。

なお、動画用撮影サイズデータテーブル８６におけるＢＸ１は間引きモードの横方向の有効サイズ情報（ＢＸ１＝８００）であり、ＢＹ１は間引きモードの縦方向の有効サイズ情報（ＢＹ１＝６００）である。また、ＢＸ２は間引きモードの横方向の出力サイズ情報（ＢＸ２＝１０００）であり、ＢＹ２は間引きモードの縦方向の出力サイズ情報（ＢＹ２＝１６００）である。前記の静止画用撮影サイズデータテーブル８５との相違はＢＸ２とＢＹ２の値にある。すなわち、前記の静止画用撮影サイズデータテーブル８５のＢＸ２は「２０００」、ＢＹ２は「８００」であるが、この動画用撮影サイズデータテーブル８６のＢＸ２は「１０００」、ＢＹ２は「１６００」である点で相違する。

前式（１）の関係は、静止画用撮影サイズデータテーブル８５の「ＢＸ２」及び「ＢＹ２」と、動画用撮影サイズデータテーブル８６の「ＢＸ２」及び「ＢＹ２」とに現れている。今、両者を区別するために、静止画用撮影サイズデータテーブル８５の「ＢＸ２」と「ＢＹ２」を「ＢＸ２´」と「ＢＹ２´」ということにすると、ＢＸ２´＝２０００、ＢＹ２´＝８００であるから、その積（ＢＸ２´×ＢＹ２´）は「２０００×８００＝１６０００００」になる。一方、動画用撮影サイズデータテーブル８６の「ＢＸ２」及び「ＢＹ２」は、それぞれ１０００と１６００であるから、その積（ＢＸ２×ＢＹ２）も「１０００×１６００＝１６０００００」になり、前式（１）の条件１を満足する。加えて、ＢＸ２＝１０００、ＢＸ２´＝２０００であり、ＢＸ２＜ＢＸ２´であるから、前式（１）の条件２も満足する。

したがって、この二つのテーブルを用いることにより、前記のとおりの原理（図９参照）で、処理対象画像（画像６８）の「水平処理遅れ時間」をＢＸ２とＢＸ２´の差の分だけ短縮し、被写体像８０の歪みを軽減して視覚的に見えにくくすることができる。加えて、静止画撮影時と動画撮影時の間引きモードにおける両画像の面積を同一にすることができ、フレームレートを実質同一にして画像生成処理部４６における処理の簡素化も図ることができる。

なお、以上の二つのテーブルに格納した値は、説明の便宜上の具体例を示すものに過ぎず、それらの値をもって、本件発明の技術思想の外縁を把握してはならない。撮像素子４５の画素数や、表示部３６の表示サイズ、及び、要求される保存画像の種別によっては、例示以外の多種多様な値が格納されることは当然である。要は前式（１）の関係を満たしていればよい。

次に、本実施の形態に係る携帯電話機３０の具体的動作について説明する。
図１１は、携帯電話機３０の動作フローを示す図である。このフローにおいて、携帯電話機３０の電源オンを検知すると（ステップＳ１の“ＹＥＳ”）、無線通信部３１を起動して電話の着信待ち受け状態に移行し（ステップＳ２）、着信の有無を判定する（ステップＳ３）。そして、着信を判定した場合には、通話処理を実行し（ステップＳ４）、通話の終了と共に、再び待ち受け処理（ステップＳ２）と着信判定処理（ステップＳ３）に移行する。なお、通話処理については、本発明と直接の関連がなく、また、周知の技術でもあるため、説明を省く。

一方、着信を判定しなかった場合には、撮影機能の起動操作（たとえば、操作部３７の静止画撮影キー又は動画撮影キーの押し下げ操作）であるか否かを判定し（ステップＳ５）、その判定結果が否定（ＮＯ）であれば、電源オフ操作であるか否かを判定し（ステップＳ６）、その判定結果も否定（ＮＯ）であれば、その他の操作（たとえば、電話の発呼操作や撮影済み画像の再生操作又は電話帳の登録操作等々）であるか否かを判定する（ステップＳ７）。そして、その他の操作である場合には、その操作に対応した処理を実行（ステップＳ８）した後、再び待ち受け処理（ステップＳ２）と着信判定処理（ステップＳ３）に移行し、または、電源オフ操作である場合には、電源オフ処理を実行（ステップＳ９）した後、フローを終了する。あるいは、撮影機能の起動操作である場合には、所定の撮影機能処理を実行（ステップＳ１０）して撮影操作を完了すると、再び待ち受け処理（ステップＳ２）と着信判定処理（ステップＳ３）に移行する。

図１２、図１３は、撮影機能処理のフローを示す図である。このフローにおいて、撮影機能処理を開始すると、まず、前記の撮影機能の起動操作（図１１のステップＳ５参照）が静止画撮影操作であったか否かを判定し（ステップＳ２１）、静止画撮影操作であった場合には、出力設定処理Ａを実行（ステップＳ２２）する一方、静止画撮影操作でなかった場合、つまり、動画撮影操作であった場合には、出力設定処理Ｂを実行（ステップＳ２３）する。

図１４は、出力設定処理Ａと出力設定処理Ｂのフローを示す図である。このフローにおいて、静止画撮影用の「出力設定処理Ａ」では、まず、図１０（ａ）の静止画用撮影サイズデータテーブル８５を参照して、その設定フラグフィールド８５ａの中でフラグがセット（セット＝１）されているレコードの撮影サイズ（ここではＸＧＡ）と、間引きモードのサイズ情報（ＢＸ１、ＢＹ１、ＢＸ２、ＢＹ２）とを読み出し（ステップＳ５１）、撮像部３８に出力する（ステップＳ５２）。同様に、動画撮影用の「出力設定処理Ｂ」では、まず、図１０（ｂ）の動画用撮影サイズデータテーブル８６を参照して、その設定フラグフィールド８６ａの中でフラグがセット（セット＝１）されているレコードの撮影サイズ（ここではＱＶＧＡ）と、間引きモードのサイズ情報（ＢＸ１、ＢＹ１、ＢＸ２、ＢＹ２）とを読み出し（ステップＳ６１）、撮像部３８に出力する（ステップＳ６２）。

再び、図１２のフローにおいて、出力設定処理Ａ又は出力設定処理Ｂから間引きモードに関するサイズ情報の提供を受けた撮像部３８は、そのサイズ情報を用いて間引きモードの画像（静止画撮影の場合は図７の画像６５／動画撮影の場合は図８の画像６９）を生成し、中央処理部４０に出力する（ステップＳ２４）。中央処理部４０は、その画像（画像６５又は画像６９）を、中央制御部４０に設けられている不図示の画像バッファに一時保存する（ステップＳ２５）と共に、表示部３６に出力し、構図確認用のスルー画像として表示する（ステップＳ２６）。

しかる後、ユーザによるシャッタ操作（操作部３７のシャッタキーの押し下げ操作）を判定する（ステップＳ２７の“ＹＥＳ”）と、図１３に進んで、静止画撮影であるか否かを判定し（ステップＳ３７）、静止画撮影である場合には、図１０（ａ）の静止画用撮影サイズデータテーブル８５を参照して、全画素モードのサイズ情報（ＡＸ１、ＡＹ１、ＡＸ２、ＡＹ２）を読み出し（ステップＳ３８）、撮像部３８に出力する（ステップＳ３９）。撮像部３８は、その全画素モードのサイズ情報を用いて全画素モードの画像（図６の画像６１）を生成し、中央処理部４０に出力する（ステップＳ４０）。中央処理部４０は、その画像６１を画像バッファに一時保存する（ステップＳ４１）と共に、ＰＲＯＭ４２の撮影画像記憶部４３に撮影済みの静止画像として記憶し（ステップＳ４２）、さらに、必要であれば、その撮影済みの静止画像を表示部３６に出力し、撮影後の確認画像として表示（ステップＳ４３）した後、再び、図１２の出力設定処理Ａ（ステップＳ２２）に復帰する。

一方、図１３のステップＳ３７の判定結果が否定（ＮＯ）であった場合、すなわち、静止画撮影ではなく動画撮影であった場合、撮像部３８は、先の出力設定処理Ｂで取り込んでおいた動画用間引きモードのサイズ情報（ＢＸ１、ＢＹ１、ＢＸ２、ＢＹ２）に対応した画像（図８の画像６９）を中央処理部４０に出力する（ステップＳ４４）。中央処理部４０は、その画像６９を画像バッファに一時保存し（ステップＳ４５）、動画の撮影終了を判定（ステップＳ４６）するまで、ステップＳ４５をループする。そして、動画の撮影終了を判定すると、画像バッファに一時保存されていた動画データを用いて動画ファイルを生成し、その動画ファイルを、ＰＲＯＭ４２の撮影画像記憶部４３に撮影済みの動画像として記憶する（ステップＳ４７）と共に、必要であれば、その撮影済み動画像を表示部３６に出力し、撮影後の確認画像として表示（ステップＳ４８）した後、再び、図１２の出力設定処理Ｂ（ステップＳ２３）に復帰する。

再度、図１２に戻り、ステップＳ２７でシャッタ操作が判定されなかったときには、ユーザによる静止画撮影又は動画撮影への切替が行われたか否かを判定する（ステップＳ２８）。そして、切替が行われた場合には、それが静止画への切替であるか否かを判定し（ステップＳ３３）、静止画への切替であった場合には、図１４（ａ）の出力設定処理Ａを実行し、静止画への切替でなかった場合、つまり、動画への切替であった場合には、図１４（ｂ）の出力設定処理Ｂを実行する。

または、ステップＳ２８で切替が判定されなかった場合は、次に、ユーザによる撮影サイズの変更操作が行われたか否かを判定する（ステップＳ２９）。撮影サイズの変更操作とは、静止画撮影における現在の撮影サイズ（図１０（ａ）ではＸＧＡ）を他の撮影サイズに変更する操作のことをいう。または、動画撮影における現在の撮影サイズ（図１０（ｂ）ではＱＶＧＡ）を他の撮影サイズに変更する操作のことをいう。撮影サイズの変更操作が行われた場合には、変更された撮影サイズの設定フラグをセット（１）する（ステップＳ３４）と共に、それ以外の設定フラグをリセット（０）（ステップＳ３５）する。

ここで、設定フラグとは、図１０の静止画用撮影サイズデータテーブル８５の設定フラグフィールド８５ａのデータ又は動画用撮影サイズデータテーブル８６の設定フラグフィールド８６ａのデータのことである。ステップＳ３４及びステップＳ３６では、静止画撮影の場合に、静止画用撮影サイズデータテーブル８５の変更先の設定フラグフィールド８５ａに“１”を書き込むと共に、それ以外の設定フラグフィールド８５ａに“０”書き込み、動画撮影の場合に、動画用撮影サイズデータテーブル８６の変更先の設定フラグフィールド８６ａに“１”を書き込むと共に、それ以外の設定フラグフィールド８６ａに“０”書き込む。

その後、静止画撮影であるか否かを判定し（ステップＳ３６）、静止画撮影であれば、図１４（ａ）の出力設定処理Ａを実行し、静止画撮影でなければ、つまり、動画撮影であれば、図１４（ｂ）の出力設定処理Ｂを実行する。

または、ステップＳ２９で撮影サイズの変更操作が判定されなかった場合は、次に、ユーザによる撮影機能終了操作が行われたか否かを判定する（ステップＳ３０）。終了操作が行われた場合は、図１１の待ち受け処理（ステップＳ２）に復帰し、終了操作が行われなかった場合は、その他の操作（たとえば、撮影条件の設定変更操作等々）が行われたか否かを判定し（ステップＳ３１）、その判定結果が否定（ＮＯ）の場合には、まだ、撮影機能継続中であると判断して、再びステップＳ２７のシャッタ操作判定に戻る一方、その他の操作が行われた場合には、その操作に対応した処理を実行（ステップＳ３２）した後、同様に、まだ、撮影機能継続中であると判断して、再びステップＳ２７のシャッタ操作判定に戻る。

以上のとおりの構成としたから、本実施の形態に係る携帯電話機３０によれば、前式（１）の「条件２」を満たすことにより、撮像素子４５のローリングシャッタ動作に起因する、動画像の被写体ブレを軽減して良質の動画像を得ることができるという格別の効果が得られる。また、前式（１）の「条件１」も満たすようにすれば、さらに、静止画撮影時の間引きモード画像と動画撮影時の間引きモード画像の面積を同一にすることができ、画像生成処理部４６におけるフレームレートを実質同一にして、処理の簡素化を図ることができるという効果も得られる。
なお、有効サイズ情報及び出力サイズ情報の値は本実施の形態で使用した値（図１０参照）に限らず、前式（１）の条件２を満たす値、あるいは、前式（１）の条件１と条件２を共に満たす値であれば任意である。

実施の形態に係るカメラ付き携帯電話機の構成図である。 撮像部３８の構成図である。 撮像部３８の動作概念図である。 静止画モードにおける出力画像サイズを示す図である。 動画モードにおける出力画像サイズを示す図である。 全画素モードの説明図である。 静止画撮影用の間引きモードの説明図である。 動画撮影用の間引きモードの説明図である。 実施の形態における歪み軽減の説明図である。 撮影サイズデータテーブルの構造図である。 携帯電話機３０の動作フローを示す図である。 撮影機能処理のフローを示す図（１／２）である。 撮影機能処理のフローを示す図（２／２）である。 出力設定処理Ａと出力設定処理Ｂのフローを示す図である。 ＣＣＤセンサとＣＭＯＳセンサの構造模式図である。 カメラブレを発生したときのローリングシャッタのイメージ図である。 従来技術の概念図である。

符号の説明

３０ 携帯電話機（撮像装置）
４０ 中央制御部（制御手段、判別手段、指定手段、指定制御手段、コンピュータ）
４５ 撮像素子（撮像手段）
４６ 画像生成処理部（画像生成処理手段）
４７ データ出力部（出力手段）

Claims (2)

1. 被写体からの光を電気信号に変換して出力する撮像手段と、
   前記撮像手段から出力された電気信号をデジタル化および画像生成処理して縦方向複数行×横方向複数列構成の画像データを生成する画像生成処理手段と、
   前記画像生成処理手段によって生成された画像データを行単位に出力する出力手段とを備える撮像装置であって、
   該撮像装置の撮影態様が静止画撮影であるか動画撮影であるかを判別する判別手段と、
   前記出力手段から出力される画像データの横方向サイズを指定する指定手段と、
   前記判別手段の判別結果が静止画撮影である場合の画像データの横方向サイズに対して前記判別手段の判別結果が動画撮影である場合の画像データの横方向サイズが短くなるように前記指定手段に指定させると共に、前記判別手段の判別結果が静止画撮影である場合の画像データの面積と、前記判別手段の判別結果が動画撮影である場合の画像データの面積とが一致するように、前記動画撮影用画像データの横方向サイズと縦方向サイズとを前記指定手段に指定させる指定制御手段と
   を備えることを特徴とする撮像装置。
2. 被写体からの光を電気信号に変換して出力する撮像手段と、
   前記撮像手段から出力された電気信号をデジタル化および画像生成処理して縦方向複数行×横方向複数列構成の画像データを生成する画像生成処理手段と、
   前記画像生成処理手段によって生成された画像データを行単位に出力する出力手段とを備える撮像装置のプログラムであって、
   コンピュータに、
   該撮像装置の撮影態様が静止画撮影であるか動画撮影であるかを判別する機能と、
   前記出力手段から出力される画像データの横方向サイズを指定する機能と、
   前記撮影態様が静止画撮影である場合の画像データの横方向サイズに対して前記撮影態様が動画撮影である場合の画像データの横方向サイズが短くなるように指定させると共に、前記撮影態様が静止画撮影である場合の画像データの面積と、前記撮影態様が動画撮影である場合の画像データの面積とが一致するように、前記動画撮影用画像データの横方向サイズと縦方向サイズとを指定させる機能と
   を実現させるためのプログラム。
   

Images