JP4640470B2 - 画像処理装置、画像処理方法、プログラム、および撮像装置 - Google Patents

画像処理装置、画像処理方法、プログラム、および撮像装置 Download PDF

Info

Publication number
JP4640470B2
JP4640470B2 JP2008210018A JP2008210018A JP4640470B2 JP 4640470 B2 JP4640470 B2 JP 4640470B2 JP 2008210018 A JP2008210018 A JP 2008210018A JP 2008210018 A JP2008210018 A JP 2008210018A JP 4640470 B2 JP4640470 B2 JP 4640470B2
Authority
JP
Japan
Prior art keywords
image
operation input
inclination
unit
approximate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008210018A
Other languages
English (en)
Other versions
JP2010045733A (ja
Inventor
康雄 酒井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008210018A priority Critical patent/JP4640470B2/ja
Priority to US12/583,046 priority patent/US9215374B2/en
Priority to CN2009101637618A priority patent/CN101656832B/zh
Publication of JP2010045733A publication Critical patent/JP2010045733A/ja
Application granted granted Critical
Publication of JP4640470B2 publication Critical patent/JP4640470B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters

Description

本発明は、画像処理装置、画像処理方法、プログラム、および撮像装置に関する。
近年、デジタルカメラ（Digital still camera）や、本件出願人が商標権を有する「ハンディカム（Handycam）」などのデジタルビデオカメラ（Digital video camera）、デジタルカメラ機能を有する携帯電話など、静止画像および／または動画像を撮像する撮像機能を有する装置が普及している。また撮像機能が、例えば携帯電話などの携帯型の装置に備わることにより、ユーザが撮像を行う頻度は増している。ここで、上記のような装置を用いて撮像を行うユーザは、一般的にいわゆるプロカメラマンではないため、例えば手振れなどによって被写体が水平方向に対して傾いて撮像されてしまうことがある。上記の場合には、撮像により得られた画像は、画像の水平方向に対して被写体が傾いている画像となってしまう。
このような中、傾きを検出する傾斜センサを必要とせずに画像の水平が維持された撮像画像を得る技術が開発されている。フレーム内の被写体から直線部分を抽出することによって水平方向に対する角度を導出し、導出された角度に基づいて画像の傾きを補正して画像の水平が維持された撮像画像を得る技術としては、例えば、特許文献１が挙げられる。
特開２００７−１７３９６６号公報
しかしながら、傾斜センサを必要とせずに画像の水平が維持された撮像画像を得る従来の技術が適用された、撮像機能を有する装置（以下、「撮像装置」という。）は、フレーム内に直線部分を有する被写体が存在しなければ、画像の傾きを補正することができない。上記の場合には、上記従来の技術が適用された撮像装置は、画像の水平方向が維持された撮像画像を得ることができない。また、上記従来の技術が適用された撮像装置は、たとえフレーム内に直線部分を有する被写体が存在し当該被写体の直線部分に基づいて傾きの補正を行ったとしても、ユーザが所望する撮像画像が得られるとは限らない。例えば、上記従来の技術が適用された撮像装置が、意図しない直線部分（例えば、元々水平方向に対して傾いている部分）に基づいて傾きの補正を行った場合である。さらに、傾斜センサを必要とせずに画像の水平が維持された撮像画像を得る従来の技術を、ハードディスク（Hard Disk）やメモリスティックなどの記録媒体に記憶された画像を処理する画像処理装置に適用したとしても、上記と同様の問題が生じる。
したがって、傾斜センサを必要とせずに画像の水平が維持された撮像画像を得る従来の技術を用いたとしても、画像における水平方向に対する傾きを補正することができるとは限らない。
また、撮像装置に傾斜センサを設けた場合には、当該傾斜センサによって撮像装置の水平方向に対する傾きを検出することによって画像の水平方向が維持された撮像画像を得ることは可能であるが、コストの増大を招いてしまう。さらに述べれば、傾斜センサを記録媒体に記憶された画像を処理する画像処理装置に設けたとしても、傾斜センサでは画像の傾きを検出することはできないため、画像の傾きを補正することはできない。
本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、操作入力に基づいて画像における水平方向に対する傾きを補正することが可能な、新規かつ改良された画像処理装置、画像処理方法、プログラム、および撮像装置を提供することにある。
上記目的を達成するために、本発明の第１の観点によれば、表示画面に画像を表示し、上記表示画面に表示された上記画像に対する操作入力が可能な操作表示部と、上記操作表示部における操作入力を検出する操作入力検出部と、上記操作入力検出部における検出結果に基づいて、上記操作入力の軌跡を近似的に示す第１の近似直線を導出する近似直線導出部と、導出された上記第１の近似直線と予め定められた基準線とに基づいて、上記表示画面に表示された上記画像の傾きを補正する画像補正部とを備える画像処理装置が提供される。
かかる構成により、操作入力に基づいて画像における水平方向に対する傾きを補正することができる。
また、上記画像補正部は、上記第１の近似直線の傾きを上記基準線の傾きと同一として上記画像の傾きを補正してもよい。
また、上記画像補正部は、さらに、上記第１の近似直線と平行な２つの第１直線、および上記第１の近似直線と直交する２つの第２直線により規定される領域のうち、上記画像に含まれる領域を切り出してもよい。
また、上記画像補正部は、切り出された上記領域以外の領域を、前後のフレームの画像から推定して補完してもよい。
また、上記近似直線導出部は、上記表示画面に表示された上記画像の中から所定の特徴点を検出して上記特徴点に基づく近似直線をさらに導出し、上記画像補正部は、上記特徴点に基づく近似直線のうち、上記第１の近似直線の傾きとの差が所定の範囲内である第２の近似直線が存在する場合には、上記第２の近似直線と上記基準線とに基づいて、上記表示画面に表示された上記画像の傾きを補正してもよい。
また、上記画像補正部は、上記第２の近似直線に係る特徴点が上記表示画面に表示された画像内に存在しなくなった場合には、上記画像の傾きの補正を終了してもよい。
また、上記目的を達成するために、本発明の第２の観点によれば、表示画面に画像を表示し、上記表示画面に表示された上記画像に対する操作入力が可能な操作表示部における上記操作入力を検出するステップと、上記検出するステップにおける検出結果に基づいて、上記操作入力の軌跡を近似的に示す第１の近似直線を導出するステップと、上記導出するステップにおいて導出された上記第１の近似直線と予め定められた基準線とに基づいて、上記表示画面に表示された上記画像の傾きを補正するステップとを有する画像処理方法が提供される。
かかる方法を用いることにより、操作入力に基づいて画像における水平方向に対する傾きを補正することができる。
また、上記目的を達成するために、本発明の第３の観点によれば、表示画面に画像を表示し、上記表示画面に表示された上記画像に対する操作入力が可能な操作表示部における上記操作入力を検出するステップ、上記検出するステップにおける検出結果に基づいて、上記操作入力の軌跡を近似的に示す第１の近似直線を導出するステップ、上記導出するステップにおいて導出された上記第１の近似直線と予め定められた基準線とに基づいて、上記表示画面に表示された上記画像の傾きを補正するステップをコンピュータに実行させるためのプログラムが提供される。
かかるプログラムを用いることにより、操作入力に基づいて画像における水平方向に対する傾きを補正することができる。
上記目的を達成するために、本発明の第４の観点によれば、被写体を撮像して撮像画像を生成する撮像部と、上記撮像部において撮像された上記撮像画像を表示画面に表示し、上記表示画面に表示された上記撮像画像に対する操作入力が可能な操作表示部と、上記操作表示部における操作入力を検出する操作入力検出部と、上記操作入力検出部における検出結果に基づいて、上記操作入力の軌跡を近似的に示す第１の近似直線を導出する近似直線導出部と、導出された上記第１の近似直線と予め定められた基準線とに基づいて、上記表示画面に表示された上記撮像画像の傾きを補正する画像補正部と、補正された画像を記録媒体に記録する画像記録部とを備える撮像装置が提供される。
かかる構成により、操作入力に基づいて画像における水平方向に対する傾きを補正することができる。
本発明によれば、操作入力に基づいて画像における水平方向に対する傾きを補正することができる。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、以下では、画像の傾きを補正することが可能な本発明の実施形態に係る画像処理装置（以下、「画像処理装置１００」とよぶ。）、撮像装置（以下、「撮像装置２００」とよぶ。）について説明する。ここで、本発明の実施形態に係る画像は、静止画像であってもよいし、動画像（いわゆる、映像）であってもよい。
以下では、下記に示す順序で説明を行う。
１．本発明の実施形態に係るアプローチ
２．本発明の実施形態に係る画像処理装置
３．本発明の実施形態の画像処理装置に係るプログラム
４．本発明の実施形態に係る撮像装置
５．本発明の実施形態の撮像装置に係るプログラム
（本発明の実施形態に係るアプローチ）
本発明の実施形態に係る画像処理装置１００、および撮像装置２００の構成について説明する前に、まず、本発明の実施形態に係る画像における水平方向に対する傾きの補正アプローチについて説明する。
図１は、本発明の実施形態に係る画像における水平方向に対する傾きの補正アプローチを説明するための説明図である。ここで、図１は、撮像装置２００の一例を示している。以下、撮像装置２００を例に挙げて、本発明の実施形態に係る画像における傾きの補正アプローチを説明する。なお、以下に示す本発明の実施形態に係る画像における傾きの補正アプローチは、画像処理装置１００にも適用することができる。
図１に示すように、撮像装置２００は、表示画面に画像を表示する。また、撮像装置２００のユーザは、表示画面に表示された画像に対して操作入力（ユーザ入力）を行い、傾きを補正するための基準の一つとなる軌跡を描く。ここで、上記操作入力としては、例えば、表示画面へのタッチ（接触）が挙げられるが、上記に限られない。また、上記傾きを補正するための軌跡としては、図１に示すように直線（一直線でなくてもよい。）が挙げられる。なお、図１では、操作入力による軌跡（図２に示すＴ）が表示画面に明示されているが、上記に限られない。例えば、撮像装置２００は、操作入力による軌跡を表示画面に明示しなくてもよい。そして、撮像装置２００は、操作入力により描かれた直線に基づいて、画像の傾きを補正する。
より具体的には、撮像装置２００は、例えば、以下の（１）の処理〜（３）の処理によって、画像における水平方向に対する傾きを補正する。
（１）操作入力による軌跡に基づく近似直線の導出処理
撮像装置２００は、図１に示すような操作入力による軌跡に基づいて、近似直線を導出する。撮像装置２００は、例えば、操作入力に基づいて軌跡上の点の座標（以下、「タッチ座標（Ｘｎ，Ｙｎ）」とよぶ場合がある。ここで、ｎは、自然数。）を定期的に取得し、取得したタッチ座標（Ｘｎ，Ｙｎ）を記憶する。そして、撮像装置２００は、記憶された複数のタッチ座標（Ｘｎ，Ｙｎ）に基づいて近似直線を導出する。ここで、近似直線の導出方法としては、例えば、最小二乗法が挙げられるが、上記に限られない。また、撮像装置２００は、表示画面の一の位置を原点（基準点）とすることによって、タッチ座標（Ｘｎ，Ｙｎ）を導出することができる。上記原点（基準点）としては、例えば、表示画面の左下隅や表示画面の中心位置が挙げられるが、上記に限られない。以下、操作入力による軌跡に基づいて導出される近似直線を「第１の近似直線」とよぶ。
（２）画像の傾きの補正処理
上記（１）の処理において第１の近似直線が導出されると、撮像装置２００は、第１の近似直線と基準線とに基づいて画像の傾きを補正する。ここで、本発明の実施形態に係る基準線とは、画像の傾きを補正するための基準となる直線であり、予め定められる。基準線としては、例えば、画像の鉛直方向の直線、または、画像の水平方向の直線が挙げられる。
また、本発明の実施形態に係る画像の傾きの補正方法としては、例えば、画像の回転や、画像の切り出しが挙げられるが、上記に限られない。例えば、撮像装置２００は、画像が動画像の場合には、切り出した画像の前後のフレームに対応する画像に基づいて、切り出した画像を推定して補完する（つまり、ユーザに対して画像が切り出されたことを意識させない）こともできる。また、撮像装置２００は、例えば、静止画像の場合においても、画像が動画像である場合と同様に、前後のフレームに対応する画像（例えば、傾きの補正を行った画像の前後に撮像された画像など）に基づいて、切り出した画像を推定して補完することができる。なお、本発明の実施形態に係る補正前の画像と補正後の画像の一例および撮像装置２００における処理の具体例については、後述する。
（２−１）第１の傾きの補正処理：画像を回転させる場合
（２−１−１）基準線が鉛直方向の直線である場合
基準線が鉛直方向の直線である場合、撮像装置２００は、例えば、第１の近似直線の傾きが基準線の傾きと同一となるように、すなわち、第１の近似直線と基準線とが平行となるように画像を回転させることによって、傾きの補正を行う。より具体的に説明すると、撮像装置２００は、第１の近似直線がｙ＝ａｘ＋ｂで表現される場合、座標系は例えば図２で表される。ここでは例として、−π／４＜ｔａｎ−１（ａ）＜π／４を鉛直方向とする。撮像装置２００は、例えば、画像を“−ｔａｎ−１（ａ）”回転させることによって、傾きの補正を行う。
（２−１−２）基準線が水平方向の直線である場合
基準線が水平方向の直線である場合、撮像装置２００は、例えば、第１の近似直線の傾きａに応じたｔａｎ−１（ａ）の値に基づいて画像を回転させることによって、傾きの補正を行う。ここでは例として、ｔａｎ−１（ａ）≦-π／４，ｔａｎ−１（ａ）≧π／４を水平方向とする。より具体的に説明すると、撮像装置２００は、第１の近似直線の傾きａに応じたｔａｎ−１（ａ）の値が、ｔａｎ−１（ａ）≦−π／４の場合には、例えば、画像を“（−π／２）−ｔａｎ−１（ａ）”回転させる。また、撮像装置２００は、ｔａｎ−１（ａ）≧π／４の場合には、例えば、画像を“π／２−ｔａｎ−１（ａ）”回転させる。
ここで、傾きの補正の際に画像を回転させる場合における回転の中心位置としては、例えば、画像の中心位置が挙げられるが、上記に限られない。例えば、撮像装置２００は、操作入力による軌跡上の被写体（ユーザにより指定された被写体）や、画像内で動きのある被写体（動画像の場合）を回転の中心位置とすることができる。また、撮像装置２００は、回転の中心を画像上に表示し、ユーザに回転の中心位置を選択させる（例えば、ユーザによるタッチ操作や、表示された中心位置のドラッグアンドドロップ操作など）ことによって回転の中心位置を決定することもできる。
（２−２）第２の傾きの補正処理：画像を切り出す場合
撮像装置２００は、例えば、第１の近似直線と平行な２つの直線（以下、それぞれの直線を「第１直線」という。）と、第１の近似直線と直交する２つの直線（以下、それぞれの直線を「第２直線」という。）とにより規定される領域を導出する。そして、撮像装置２００は、上記領域を切り出し、第１の近似直線と基準線とが平行となるように切り出した画像（上記領域に対応する画像）を回転させる。ここで、撮像装置２００は、上記領域のうち、画像に含まれる面積が最大となる領域を切り出すことができるが、上記に限られない。例えば、撮像装置２００は、以下のような方法によって、画像の傾きと同じ傾きを有し、かつ切り出す前の画像のサイズを超えない画像を切り出すことができる。
１．画像の中心が補正後の中心と一致するように回転させて、切り出す。
２．操作入力による軌跡の位置（例えば、ユーザが引いた直線）が補正後の中心と一致するように回転させて、切り出す。
３．画像の中心付近で動いている対象物（被写体）が補正後の中心となるように回転させて、切り出す（動画像の場合）。
４．画像に含まれる人（被写体）が補正後の中心となるように回転させて、切り出す。
５．補正の中心を画像上に表示し、ユーザに補正の中心位置を選択させる（例えば、ユーザによるタッチ操作や、表示された中心位置のドラッグアンドドロップ操作など）ことによって補正の中心位置を決定する。そして決定された補正の中心位置に基づいて切り出す。
撮像装置２００は、例えば、上記（２−１）、（２−２）に示す処理によって、上記のように操作入力に基づく第１の近似直線と基準線とに基づいて画像における水平方向に対する傾きを補正することができる。ここで、撮像装置２００は、第１の近似直線を操作入力に基づいて導出するので、傾斜センサを必要とせずに画像の水平が維持された撮像画像を得る従来の技術のようにフレーム内に直線部分を有する被写体の存在を必要とはしない。また、撮像装置２００は、第１の近似直線を操作入力に基づいて導出するので、傾斜センサを必要とせずに画像の水平が維持された撮像画像を得る従来の技術のように、ユーザが意図しない直線部分に基づいて画像の傾きが補正されることもない。したがって、撮像装置２００は、例えば、上記（２−１）、（２−２）に示す処理によって、画像における水平方向に対する傾きを、上記従来の技術よりもより確実に補正することができる。
なお、上記では、撮像装置２００が、図１に示すような操作入力による軌跡（直線）に基づいて、近似直線を導出して画像の傾きを補正することを示したが、本発明の実施形態に係る画像における水平方向に対する傾きの補正は、上記に限られない。例えば、撮像装置２００は、操作入力（例えば、ユーザのタッチ操作など）により指定された被写体から特徴点を抽出し、抽出された特徴点に基づいて近似直線を導出することによって、画像の傾きを補正することもできる。上記の場合であっても、撮像装置２００は、操作入力に基づいて近似直線を導出して画像の傾きを補正することができるので、画像における水平方向に対する傾きを、上記従来の技術よりもより確実に補正することができる。
（３）追従処理
上記（２）の処理によって、撮像装置２００は画像の傾きを補正することができる。ここで、例えば画像が動画像である場合や、静止画像であっても表示画面に表示される画像が切り替わった場合には、表示画面に表示される画像の内容が大きく変化することがある。上記の場合には、第１の近似直線に基づく傾きの補正が画像に適した補正であるとは限らない。また、逆に、表示画面に表示される画像の内容が大きく変化しなければ、上記（２）の処理による補正と同様の補正を他の画像に適用したとしても、画像における水平方向に対する傾きを補正することができるといえる。そこで、撮像装置２００は、上記の場合に対応する処理として追従処理をさらに行う。
より具体的には、撮像装置２００は、操作入力に基づいて記憶したタッチ座標（Ｘｎ，Ｙｎ）に基づいて、タッチ座標（Ｘｎ，Ｙｎ）の近傍の被写体から特徴点を導出する。また、撮像装置２００は、導出した特徴点に基づいて近似直線を導出し、例えば導出された特徴点に基づく近似直線の中から第１の近似直線の傾きとの差が所定の範囲内である近似直線（以下、「第２の近似直線」という。）を選択する。なお、撮像装置２００は、導出された特徴点の組み合わせの中から補正に適した特徴点を選択的に用いて第２の近似直線を導出することもできる。撮像装置２００は、第２の近似直線が存在する場合には、第２の近似直線と基準線とに基づいて、上記（２）の処理と同様に画像の傾きを補正する。
また、撮像装置２００は、例えば定期的／非定期的に画像内から第２の近似直線に係る特徴点を抽出し、第２の近似直線に係る特徴点が画像内に存在する場合には、当該特徴点に基づいて第２の近似直線を再度導出する。そして、撮像装置２００は、第２の近似直線と基準線とに基づく補正および第２の近似直線に係る特徴点の抽出を繰り返す。また、撮像装置２００は、第２の近似直線に係る特徴点が画像内に存在しない場合には、表示画面に表示される画像の内容が大きく変化したと判断して、第２の近似直線と基準線とに基づく補正を終了する。
ここで、上記近傍の被写体としては、例えば、タッチ座標（Ｘｎ，Ｙｎ）上の被写体や、特徴点がタッチ座標（Ｘｎ，Ｙｎ）から所定の距離内にある被写体が挙げられる。また、上記特徴点としては、例えば、建物（被写体の一例）の直線部分や、人（被写体の一例）の顔、肩、足の位置などが挙げられるが、上記に限られない。例えば、撮像装置２００は、顔検出の技術を用いて人（被写体の一例）の両目、鼻、口、あるいは耳などを特徴点として検出することもできる。
撮像装置２００は、例えば、上記（１）の処理（操作入力による軌跡に基づく近似直線の導出処理）〜（３）の処理（追従処理）によって、操作入力に基づいて画像における水平方向に対する傾きを補正することができる。以下、撮像装置２００における各処理の具体例について、補正前の画像と補正後の画像の一例を適宜挙げつつ説明する。なお、上述したように、以下に示す本発明の実施形態に係る各処理は、画像処理装置１００にも適用することができる。
[撮像装置２００における各処理の具体例]
〔１〕第１の補正処理：画像の回転による傾きの補正
図２、図３それぞれは、本発明の実施形態に係る第１の補正処理を説明するための説明図である。ここで、図２は、表示画面に表示される補正前の画像の一例を示しており、被写体（人および木）が画像の水平方向から傾いていることが分かる。また、図３は、表示画面に表示される補正後の画像の一例を示しており、画像が回転されたことによって図２に示す画像の傾きが補正されていることが分かる。
図２に示すように、表示画面に対する操作入力が行われると、撮像装置２００は、操作入力による軌跡Ｔに基づいて第１の近似直線Ａを導出する。ここで、図２では、第１の近似直線Ａが、軌跡Ｔから平行移動されている例を示しているが、上記に限られない。また、図２では画像の鉛直方向の基準線Ｄを示しているが、撮像装置２００が表示画面に基準線Ｄを表示しなくてもよいことは、言うまでもない。撮像装置２００は、第１の近似直線Ａと基準線Ｄとに基づいて上述した（２−１）の処理を行うことによって、画像の補正を行う。したがって、表示画面には、図３に示すように画像における水平方向に対する傾きが補正された画像が表示されることとなる。以下、本発明の実施形態に係る第１の補正処理についてより具体的に説明する。
図４は、本発明の実施形態に係る第１の補正処理の一例を示す流れ図である。ここで、図４は、画像の回転によって傾きを補正する処理の一例を示している。
撮像装置２００は、表示画面へのタッチ（操作入力の一例）が検出されたか否かを判定する（Ｓ１００）。ここで、撮像装置２００は、例えば、表示画面がタッチスクリーン（touch screen）で構成される場合には、抵抗膜方式や光学方式、静電容量方式、あるいは超音波方式など様々な方式のタッチスクリーンを用いることによって、ステップＳ１００の判定を行うことができる。ステップＳ１００において表示画面へのタッチが検出されたと判定されない場合には、撮像装置２００は、表示画面へのタッチが検出されるまで処理を進めない。
また、ステップＳ１００において表示画面へのタッチが検出されたと判定された場合には、撮像装置２００は、ｎ＝０に設定する（Ｓ１０２）。
そして、撮像装置２００は、タッチ座標（Ｘｎ，Ｙｎ）を記憶する（Ｓ１０４）。ここで、撮像装置２００は、例えば、表示画面の一の位置を原点（基準点）とすることによって、設定されたｎに対応するタッチ座標（Ｘｎ，Ｙｎ）を導出して記憶する。上記原点（基準点）としては、例えば、表示画面の左下隅や表示画面の中心位置が挙げられるが、上記に限られない。
ステップＳ１０４においてタッチ座標（Ｘｎ，Ｙｎ）が記憶されると、撮像装置２００は、表示画面へのタッチが検出されなくなったか否かを判定する（Ｓ１０６）。ここで、撮像装置２００は、例えば、抵抗膜方式や光学方式、静電容量方式、あるいは超音波方式など様々な方式のタッチスクリーンを用いることによって、ステップＳ１０６の判定を行うことができる。
ステップＳ１０６において表示画面へのタッチが検出されなくなったと判定されない場合には、撮像装置２００は、所定の時間待機し（Ｓ１０８）、待機完了後にｎ＝ｎ＋１に更新する（Ｓ１１０）。そして、撮像装置２００は、ステップＳ１０４からの処理を繰り返す。
また、ステップＳ１０６において表示画面へのタッチが検出されなくなったと判定された場合には、撮像装置２００は、以下の数式１の関係を満たすか否かを判定する（Ｓ１１２）。ここで、数式１に示すｍ（ｍ＞０）は、操作入力による軌跡が所定の長さを満たすか否かを判定するための閾値である。数式１に示すｍの値は、例えば、予め設定された固定値とすることができるが、上記に限られず、操作入力により可変する値とすることもできる。
Figure 0004640470
 ・・・（数式１）
ステップＳ１１２において数式１の関係を満たすと判定されない場合には、撮像装置２００は、第１の補正処理を終了する。このように、閾値ｍを設定することによって、撮像装置２００は、ユーザによる誤操作（例えば、表示画面に意図せずに触れてしまうなど）によるユーザの意図しない画像の補正を防止することができる。
また、ステップＳ１１２において数式１の関係を満たすと判定された場合には、撮像装置２００は、記憶しているタッチ座標（Ｘ０，Ｙ０）〜（Ｘｎ，Ｙｎ）に基づいて、第１の近似直線を導出する（Ｓ１１４）。ここで、撮像装置２００は、例えば、最小二乗法を用いることによって第１の近似直線を導出することができるが、第１の近似直線の導出方法は、上記に限られない。
ステップＳ１１４において第１の近似直線が導出されると、撮像装置２００は、第１の近似直線と予め定められた基準線とに基づいて画像の傾きを補正する（Ｓ１１６）。ここで、撮像装置２００は、例えば上述した（２−１）の処理によって画像の傾きを補正することができる。
撮像装置２００は、例えば、図４に示す処理を行うことによって、画像の回転による傾きの補正を実現することができる。
〔２〕第２の補正処理：画像を切り出しによる傾きの補正
図５、図６それぞれは、本発明の実施形態に係る第２の補正処理を説明するための説明図である。ここで、図５は、表示画面に表示される補正前の画像の一例を示しており、図２と同様に被写体（人および木）が画像の水平方向から傾いていることが分かる。また、図６は、表示画面に表示される補正後の画像の一例を示しており、画像が切り出されたことによって図５に示す画像の傾きが補正されていることが分かる。
図５に示すように、表示画面に対する操作入力が行われると、撮像装置２００は、操作入力による軌跡Ｔに基づいて領域Ｒを設定する。撮像装置２００は、例えば、第１の近似直線Ａ（図示せず）を導出し、導出された第１の近似直線Ａに基づいて第１直線および第２直線を導出することによって、領域Ｒを設定することができる。ここで、図５は、撮像装置２００が領域の面積が最大となる領域Ｒを設定した例を示している。また、図５では画像の鉛直方向の基準線Ｄを示しているが、撮像装置２００が表示画面に基準線Ｄを表示しなくてもよいことは、言うまでもない。撮像装置２００は、設定された領域Ｒを切り出し、第１の近似直線と基準線とに基づいて上述した（２−２）の処理を行うことによって、画像の補正を行う。したがって、表示画面には、図６に示すように画像が切り出されて回転されることによって、画像における水平方向に対する傾きが補正された画像が表示されることとなる。以下、本発明の実施形態に係る第２の補正処理についてより具体的に説明する。
図７は、本発明の実施形態に係る第２の補正処理の一例を示す流れ図である。ここで、図７は、画像の切り出しによって傾きを補正する処理の一例を示している。
撮像装置２００は、図４のステップＳ１００と同様に、表示画面へのタッチ（操作入力の一例）が検出されたか否かを判定する（Ｓ２００）。ステップＳ２００において表示画面へのタッチが検出されたと判定されない場合には、撮像装置２００は、表示画面へのタッチが検出されるまで処理を進めない。
また、ステップＳ２００において表示画面へのタッチが検出されたと判定された場合には、撮像装置２００は、図４のステップＳ１０２と同様に、ｎ＝０に設定する（Ｓ２０２）。そして、撮像装置２００は、図４のステップＳ１０４と同様に、タッチ座標（Ｘｎ，Ｙｎ）を記憶する（Ｓ２０４）。
ステップＳ２０４においてタッチ座標（Ｘｎ，Ｙｎ）が記憶されると、撮像装置２００は、図４のステップＳ１０６と同様に、表示画面へのタッチが検出されなくなったか否かを判定する（Ｓ２０６）。
ステップＳ２０６において表示画面へのタッチが検出されなくなったと判定されない場合には、撮像装置２００は、所定の時間待機し（Ｓ２０８）、待機完了後にｎ＝ｎ＋１に更新する（Ｓ２１０）。そして、撮像装置２００は、ステップＳ２０４からの処理を繰り返す。
また、ステップＳ２０６において表示画面へのタッチが検出されなくなったと判定された場合には、撮像装置２００は、図４のステップＳ１１２と同様に、上記数式１の関係を満たすか否かを判定する（Ｓ２１２）。
ステップＳ２１２において数式１の関係を満たすと判定されない場合には、撮像装置２００は、第２の補正処理を終了する。このように、閾値ｍを設定することによって、撮像装置２００は、図４に示す第１の補正処理と同様に、ユーザによる誤操作によるユーザの意図しない画像の補正を防止することができる。
また、ステップＳ２１２において数式１の関係を満たすと判定された場合には、撮像装置２００は、図４のステップＳ１１４と同様に、記憶しているタッチ座標（Ｘ０，Ｙ０）〜（Ｘｎ，Ｙｎ）に基づいて、第１の近似直線を導出する（Ｓ２１４）。
ステップＳ２１４において第１の近似直線が導出されると、撮像装置２００は、第１の近似直線に基づいて、切り出す領域を設定する（Ｓ２１６）。ここで、撮像装置２００は、例えば上述した（２−２）の処理によって、切り出す領域を設定することができる。
ステップＳ２１６において切り出す領域が設定されると、撮像装置２００は、設定された領域、第１の近似直線、および基準線に基づいて画像の傾きを補正する（Ｓ２１８）。ここで、撮像装置２００は、例えば上述した（２−２）の処理によって画像の傾きを補正することができる。
撮像装置２００は、例えば、図７に示す処理を行うことによって、画像の切り出しによる傾きの補正を実現することができる。
〔３〕追従処理
次に、本発明の実施形態に係る追従処理について説明する。図８は、本発明の実施形態に係る追従処理の一例を示す流れ図である。
撮像装置２００は、タッチ座標（Ｘ０，Ｙ０）〜（Ｘｎ，Ｙｎ）の近傍の被写体から特徴点ｆ_ａｌｌを抽出する（Ｓ３００）。ここで、撮像装置２００は、例えば、タッチ座標（Ｘ０，Ｙ０）〜（Ｘｎ，Ｙｎ）それぞれから所定の距離内に存在する被写体から特徴点を抽出することによって、画像から特徴点ｆ_ａｌｌを抽出することができる。
ステップＳ３００において特徴点ｆ_ａｌｌが抽出されると、撮像装置２００は、特徴点ｆ_ａｌｌの中から、ある特徴点ｆ_ｅを選択する（Ｓ３０２）。ここで、撮像装置２００は、例えば、画像内に含まれる被写体のうちのある被写体から特定の特徴点（例えば、被写体が建物である場合には直線部分。また、被写体が人である場合には、当該人の顔、肩、足の位置など。）を選択することによって、ステップＳ３０２の処理を行うことができる。
ステップＳ３０２において特徴点ｆ_ｅが選択されると、撮像装置２００は、選択された特徴点ｆ_ｅに基づいて近似直線を導出する（Ｓ３０４）。ここで、撮像装置２００は、例えば、最小二乗法によって上記近似直線を導出することができるが、上記に限られない。
ステップＳ３０４において近似直線が導出されると、撮像装置２００は、第１の近似直線の傾きと、特徴点ｆ_ｅに基づく近似直線の傾きとの差が所定の範囲内か否かを判定する（Ｓ３０６）。ここで、撮像装置２００は、上記差の値と所定の範囲を示す閾値とに基づいて、ステップＳ３０６の判定を行うことができるが、上記に限られない。また、上記閾値は、例えば、予め設定された固定値とすることができるが、上記に限られず、操作入力により可変する値とすることもできる。
ステップＳ３０６において傾きの差が所定の範囲内ではないと判定された場合には、撮像装置２００は、ステップＳ３０２からの処理を繰り返す。このとき、撮像装置２００は、ステップＳ３０２において、ステップＳ３０６の判定に用いた近似直線を導出した特徴点とは異なる特徴点ｆ_ｅを選択する。
また、ステップＳ３０６において傾きの差が所定の範囲内であると判定された場合には、撮像装置２００は、特徴点ｆ_ｅに係る近似直線（第２の近似直線）と基準線とに基づいて画像の傾きを補正する。ここで、撮像装置２００は、例えば、上述した（２−１）の処理や（２−２）の処理によって画像の傾きを補正することができる。
ステップＳ３０６において画像の補正が行われると、撮像装置２００は、第２の近似直線に係る特徴点ｆ_ｅが画像内に存在するか否かを判定する（Ｓ３１０）。
ステップＳ３１０において特徴点ｆ_ｅが画像内に存在すると判定された場合には、撮像装置２００は、上記特徴点ｆ_ｅに基づいて近似直線（第２近似直線）を導出する（Ｓ３１２）。そして、撮像装置２００は、ステップＳ３０８からの処理を繰り返す。
また、ステップＳ３１０において特徴点ｆ_ｅが画像内に存在すると判定されない場合には、撮像装置２００は、追従処理を終了する。
撮像装置２００は、例えば、図８に示す処理を行うことによって、表示画面に表示される画像の内容が大きく変化しない場合において、画像における水平方向に対する傾きを操作入力を必要とせずに補正することができる。
撮像装置２００は、例えば、図４、図７、図８に示す処理を行うことによって、上記（２）の処理（画像の傾きの補正処理）、および（３）の処理（追従処理）をそれぞれ実現することができる。
[本発明の実施形態に係る画像の傾きの補正処理の他の例]
上記では、本発明の実施形態に係る画像の傾きの補正処理として、操作入力に基づく第１の近似直線と基準線とに基づく画像の傾きの補正処理を示した。しかしながら、本発明の実施形態に係る画像の傾きの補正処理は、上記に限られない。
図９、図１０それぞれは、本発明の実施形態に係る補正処理の他の例を説明するための説明図である。ここで、図９は、表示画面に表示される補正前の画像の一例を示しており、被写体（人および木）が画像の水平方向から傾いていることが分かる。また、図１０は、表示画面に表示される補正後の画像の一例を示しており、画像が回転されたことによって図９に示す画像の傾きが補正されていることが分かる。
図９に示すように、撮像装置２００は、操作入力に基づいて任意に画像を回転させることができる。上記の場合であっても、操作入力に基づいて補正が行われるので、撮像装置２００では、傾斜センサを必要とせずに画像の水平が維持された撮像画像を得る従来の技術のように、ユーザが意図しない直線部分に基づいて画像の傾きが補正されることがない。したがって、撮像装置２００は、画像における水平方向に対する傾きを、上記従来の技術よりもより確実に補正することができる。さらに、ユーザによる軌跡Ｔに基づく第１の近似直線がユーザの意図したものからわずかにずれたとしても、微調整することができる。
以上に示す画像における水平方向に対する傾きの補正アプローチを用いることによって、本発明の実施形態に係る画像処理装置１００、撮像装置２００それぞれは、操作入力に基づいて画像における水平方向に対する傾きを補正することができる。以下、上述した（１）の処理（操作入力による軌跡に基づく近似直線の導出処理）〜（３）の処理（追従処理）を実現可能な、本発明の実施形態に係る画像処理装置１００、撮像装置２００の構成例について、それぞれ説明する。
（本発明の実施形態に係る画像処理装置１００）
図１１は、本発明の実施形態に係る画像処理装置１００の構成の一例を示すブロック図である。
図１１を参照すると、画像処理装置１００は、操作入力部１０２と、制御部１０４と、記憶部１０６と、通信部１０８とを備える。
また、画像処理装置１００は、例えば、制御部１０４が使用するプログラムや演算パラメータなどの制御用データが記録されたＲＯＭ（Read Only Memory；図示せず）や、制御部１０６により実行されるプログラムなどを一次記憶するＲＡＭ（Random Access Memory；図示せず）などを備えてもよい。画像処理装置１００は、例えば、データの伝送路としてのバス（bus）により上記各構成要素間を接続する。
〔画像処理装置１００のハードウェア構成例〕
図１２は、本発明の実施形態に係る画像処理装置１００のハードウェア構成の一例を示す説明図である。図１２を参照すると、画像処理装置１００は、ＭＰＵ１５０と、ＲＯＭ１５２と、ＲＡＭ１５４と、記録媒体１５６と、入出力インタフェース１５８と、操作表示デバイス１６０と、操作入力デバイス１６２と、表示デバイス１６４と、通信インタフェース１６６とを備える。また、画像処理装置１００は、例えば、データの伝送路としてのバス１６８で各構成要素間を接続する。
ＭＰＵ１５０は、画像処理装置１００全体を制御する制御部１０４として機能する。また、ＭＰＵ１５０は、例えば、後述する操作入力検出部１１０と、近似直線導出部１１２と、画像補正部１１４と、表示制御部１１６として機能することができる。
また、ＭＰＵ１５０は、各種記録媒体（例えば、記憶部１０６）から読み出した画像データに対して伸張処理を施して操作表示デバイス１６０（操作入力・表示部１０２）や表示デバイス１６４に表示させることもできる。
ＲＯＭ１５２は、ＭＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データ、基準線に係るデータなどを記憶する。ここで、上述した各種閾値の値は、例えば、ＲＯＭ１５２に予め記録されていてもよい。また、ＲＡＭ１５４は、ＭＰＵ１５０により実行されるプログラムや、操作入力に応じたタッチ座標（Ｘｎ，Ｙｎ）などを一次記憶する。
記録媒体１５６は、記憶部１０６として機能し、例えば、画像データや、アプリケーションなどを記憶する。ここで、記録媒体１５６としては、例えば、ハードディスクなどの磁気記録媒体や、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）、フラッシュメモリ（flash memory）、ＭＲＡＭ（Magnetoresistive Random Access Memory）、ＦｅＲＡＭ（Ferroelectric Random Access Memory）、ＰＲＡＭ（Phase change Random Access Memory）などの不揮発性メモリ（nonvolatile memory）が挙げられるが、上記に限られない。
入出力インタフェース１５８は、例えば、操作表示デバイス１６０や、操作入力デバイス１６２や、表示デバイス１６４を接続する。ここで、入出力インタフェース１６２としては、例えば、ＵＳＢ（Universal Serial Bus）端子や、ＤＶＩ（Digital Visual Interface）端子、ＨＤＭＩ（High-Definition Multimedia Interface）端子などが挙げられるが、上記に限られない。
操作表示デバイス１６０は、操作入力・表示部１０２として機能し、表示画面に画像を表示し、表示画面に表示された画像に対する操作入力を可能とする。ここで、操作表示デバイス１６０は、例えば、タッチスクリーンで構成され、画像処理装置１００の内部で入出力インタフェース１６０と接続される。また、上記タッチスクリーンは、例えば、ＬＣＤ（Liquid Crystal Display；液晶ディスプレイ）や有機ＥＬディスプレイ（organic ElectroLuminescence display；または、ＯＬＥＤディスプレイ（Organic Light Emitting Diode display）とも呼ばれる。）などの表示デバイスと、接触を検知するための素子が配置されたマトリクス・スイッチなどで実現されるが、上記に限られない。
操作入力デバイス１６２は、例えば、ボタン、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなど、画像処理装置１００上に備えられ、画像処理装置１００の内部で入出力インタフェース１５８と接続される。また、操作入力デバイス１６２は、画像処理装置１００において操作入力・表示部１０２（あるいは、操作部（図示せず））として機能する。
表示デバイス１６４は、例えば、ＬＣＤや有機ＥＬディスプレイなどからなり、画像処理装置１００上に備えられる。そして、表示デバイス１６４は、例えば、画像処理装置１００の内部で入出力インタフェース１５８と接続される。また、表示デバイス１６４は、画像処理装置１００において操作入力・表示部１０２（あるいは、表示部（図示せず））として機能する。
なお、入出力インタフェース１５８は、画像処理装置１００の外部装置としての操作表示デバイス（例えば、液晶ペンタブレットなど）や、操作入力デバイス（例えば、キーボードやマウスなど）、表示デバイス（例えば、外部ディスプレイなど）と接続することもできることは、言うまでもない。
通信インタフェース１６６は、画像処理装置１００が備える通信手段であり、ネットワークを介して（あるいは、直接的に）外部装置と無線／有線で通信を行うための通信部１０８として機能する。ここで、ネットワークとしては、例えば、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）などの有線ネットワーク、基地局を介した無線ＷＡＮ（ＷＷＡＮ；Wireless Wide Area Network）や無線ＭＡＮ（ＷＭＡＮ；Wireless Metropolitan Area Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などの通信プロトコルを用いたインターネットなどが挙げられるが、上記に限られない。また、画像処理装置１００は、例えば、ＵＳＢ接続によって外部装置と直接的に通信を行うことができる。
また、通信インタフェース１６６としては、例えば、通信アンテナおよびＲＦ回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ｂポートおよび送受信回路（無線通信）、ＬＡＮ端子および送受信回路（有線通信）、あるいはＵＳＢポートおよびＵＳＢコントローラ（有線通信／無線通信）などが挙げられるが、上記に限られない。例えば、通信インタフェース１６６は、ネットワークに対応する構成とすることができる。
画像処理装置１００は、図１２に示すようなハードウェア構成によって、上述した（１）の処理（操作入力による軌跡に基づく近似直線の導出処理）〜（３）の処理（追従処理）を行う。したがって、画像処理装置１００は、操作入力に基づいて画像における水平方向に対する傾きを補正することができる。
なお、画像処理装置１００のハードウェア構成は、図１２に示す構成に限られない。例えば、画像処理装置１００は、音声入力デバイスとしてのマイクや、音声出力デバイスとしてのスピーカなど、様々なデバイスを備えることもできる。また、画像処理装置１００は、例えばメモリスティックなどの着脱可能な外部メモリを収納するスロットを備えることもできる。
再度図１１を参照して、画像処理装置１００の構成について説明する。操作入力・表示部１０２（操作表示部）は、表示画面に画像を表示し、表示画面に表示された画像に対する操作入力を可能とする。操作入力・表示部１０２を備えることによって、画像処理装置１００は、ユーザに対して画像を提示すると共に操作入力を可能とし、また、例えば図２に示すようなユーザによる軌跡Ｔを認識することができる。つまり、操作入力・表示部１０２は、上述した（１）の処理（操作入力による軌跡に基づく近似直線の導出処理）を行うための入力デバイスとして機能する。ここで、操作入力・表示部１０２は、例えば、タッチスクリーンで構成されるが、上記に限られない。例えば、操作入力・表示部１０２は、表示デバイスとポインティングデバイスとからなり、ユーザが当該ポインティングデバイスを操作することによって、表示画面に表示された画像に対する操作入力を行う構成とすることもできる。
制御部１０４は、例えば、ＭＰＵなどで構成され、画像処理装置１００全体を制御する役目を果たす。また、制御部１０４は、操作入力検出部１１０と、近似直線導出部１１２と、画像補正部１１４と、表示制御部１１６とを備える。
操作入力検出部１１０は、操作入力・表示部１０２における操作入力を検出し、操作入力に応じたタッチ座標（Ｘｎ，Ｙｎ）を例えばＲＡＭ１５４に保持させる。ここで、操作入力検出部１１０は、例えば、操作入力・表示部１０２から操作入力に応じて伝達される操作信号（例えば、圧力変化に応じた信号、静電気による信号）に基づいて操作入力を検出することができる。よって、操作入力検出部１１０は、上述した（１）の処理（操作入力による軌跡に基づく近似直線の導出処理）の一部を行う役目を果たす。
近似直線導出部１１２は、操作入力検出部１１０における検出結果、すなわち、タッチ座標（Ｘｎ，Ｙｎ）に基づいて、操作入力の軌跡を近似的に示す第１の近似直線を導出する。
また、近似直線導出部１１２は、表示画面に表示された画像の中から所定の特徴点ｆ_ｅを検出し、特徴点ｆ_ｅに基づく近似直線をさらに導出することができる。
よって、近似直線導出部１１２は、上述した（１）の処理（操作入力による軌跡に基づく近似直線の導出処理）の一部、および（３）の処理（追従処理）の一部を行う役目を果たす。
画像補正部１１４は、上述した（２）の処理（画像の傾きの補正処理）を行う役目を果たし、第１の近似直線と予め定められた基準線とに基づいて、表示画面に表示された画像の傾きを補正する。ここで、画像補正部１１４における画像の傾きの補正は、信号処理による補正に相当する。
また、画像補正部１１４は、近似直線導出部１１２が導出した特徴点ｆ_ｅに基づく近似直線の中から第２の近似直線を決定し、第２の近似直線と基準線とに基づいて、表示画面に表示された画像の傾きを補正することもできる。上記の場合には、画像補正部１１４は、第２の近似直線に係る特徴点特徴点ｆ_ｅが表示画面に表示された画像内に存在しなくなった場合には、画像の傾きの補正を終了する。
よって、画像補正部１１４は、上述した（２）の処理（画像の傾きの補正処理）、および（３）の処理（追従処理）の一部を行う役目を果たす。また、画像補正部１１４は、補正処理、追従処理において補正した画像を、例えば、記憶部１０６や外部メモリなどの記録媒体に記録することもできる。
表示制御部１１６は、操作入力・表示部１０２や表示部（図示せず）における画像や文字の表示を制御する。表示制御部１１６を備えることによって、例えば、記憶部１０６に記憶された画像データや、通信部１０８が外部装置から取得した画像データを再生して操作入力・表示部１０２に表示させることができる。
画像処理装置１００は、操作入力検出部１１０、近似直線導出部１１２、および画像補正部１１４を備えることによって、上述した（１）の処理〜（３）の処理を行うことができる。
記憶部１０６は、画像処理装置１００が備える記憶手段である。記憶部１０６は、例えば、画像データや制御部１０４により実行されるアプリケーションなどが記憶される。なお、図１１では、記憶部１０６に画像データ１２０、１２２、…が記憶されている例を示している。また、記憶部１０６としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリなどが挙げられるが、上記に限られない。
通信部１０８は、画像処理装置１００が備える通信手段であり、外部装置と有線／無線で通信を行う役目を果たす。また、通信部１０８は、例えば、制御部１０４によってその通信が制御される。画像処理装置１００は、通信部１０８を備えることによって、例えば、外部装置から画像データやアプリケーションなどを取得することができ、また、外部装置に対して記憶部１０６に記録された画像データを送信することができる。
画像処理装置１００は、上記のような構成によって、上述した（１）の処理（操作入力による軌跡に基づく近似直線の導出処理）、（２）の処理（画像の傾きの補正処理）、および（３）の処理（追従処理）を行う。したがって、画像処理装置１００は、上記のような構成によって、操作入力に基づいて画像における水平方向に対する傾きを補正することができる。
[画像処理装置１００における一連の処理]
次に、画像処理装置１００における画像の傾きの補正に係る一連の処理を示す。図１３は、本発明の実施形態に係る画像処理装置１００における画像の傾きの補正に係る処理の一例を示す流れ図である。
画像処理装置１００は、画像の再生を行うか否かを判定する（Ｓ４００）。ここで、画像処理装置１００は、例えばユーザによる再生ボタンの押下など、ユーザの操作入力に応じて操作部（図示せず）から伝達される操作信号に基づいてステップＳ４００の判定を行うことができる。ステップＳ４００において画像の再生を行うと判定されない場合には、画像処理装置１００は、画像の再生を行うと判定されるまで処理を進めない。
また、ステップＳ４００において画像の再生を行うと判定された場合には、画像処理装置１００は、画像の補正処理を行う（Ｓ４０２）。ここで、画像処理装置１００が行う画像の補正処理としては、例えば、図４に示す第１の補正処理や、図７に示す第２の補正処理が挙げられるが、上記に限られない。また、画像処理装置１００は、ステップＳ４０２において補正された画像を例えば記憶部１０６などの記録媒体に記録することもできる。
ステップＳ４０２において画像の補正処理が行われると、画像処理装置１００は、追従処理を行う（Ｓ４０４）。ここで、画像処理装置１００は、例えば、図８に示す処理によって追従処理を実現することができる。また、画像処理装置１００は、ステップＳ４０４の追従処理において補正された画像を例えば記憶部１０６などの記録媒体に記録することもできる。
ステップＳ４０４において追従処理が終了すると、画像処理装置１００は、画像の再生を終了するか否かを判定する（Ｓ４０６）。ここで、画像処理装置１００は、例えば、ステップＳ４００と同様に、ユーザの操作入力に基づいてステップＳ４０６の判定を行うことができる。
ステップＳ４０６において画像の再生を終了すると判定されない場合には、画像処理装置１００は、ステップＳ４０２からの処理を繰り返す。また、ステップＳ４０６において画像の再生を終了すると判定された場合には、画像処理装置１００は、画像の再生を終了する。上記の場合には、画像処理装置１００における画像の傾きの補正処理も終了することとなる。
画像処理装置１００は、図１３に示す処理を行うによって、操作入力に基づいて画像における水平方向に対する傾きを補正することができる。
以上のように、本発明の実施形態に係る画像処理装置１００は、操作入力による軌跡に基づいて第１の近似直線を導出し、導出された第１の近似直線と予め定められた基準線とに基づいて画像における水平方向に対する傾きを傾斜センサを用いずに補正する。ここで、画像処理装置１００は、第１の近似直線を操作入力に基づいて導出するので、傾斜センサを必要とせずに画像の水平が維持された撮像画像を得る従来の技術のようにフレーム内に直線部分を有する被写体の存在を必要とはしない。また、画像処理装置１００は、第１の近似直線を操作入力に基づいて導出するので、傾斜センサを必要とせずに画像の水平が維持された撮像画像を得る従来の技術のように、ユーザが意図しない直線部分に基づいて画像の傾きが補正されることもない。したがって、画像処理装置１００は、画像における水平方向に対する傾きを、上記従来の技術よりもより確実に補正することができる。
また、画像処理装置１００は、第１の近似直線に係るタッチ座標（Ｘｎ，Ｙｎ）に基づいて第２の近似直線を導出し、導出された第２の近似直線と基準線とに基づいて、画像の傾きを補正する。ここで、画像処理装置１００は、第２の近似直線を適宜更新することによって、画像の内容に応じた補正を行う。また、表示画面に表示される画像の内容が大きく変化した場合（例えば、特徴点ｆ_ｅが画像内に存在すると判定されない場合）には、画像処理装置１００は、第２の近似直線による補正を終了する。したがって、画像処理装置１００は、表示画面に表示される画像の内容が大きく変化しない場合において、画像における水平方向に対する傾きを操作入力を必要とせずに補正することができる。
以上、本発明の実施形態として画像処理装置１００を挙げて説明したが、本発明の実施形態は、かかる形態に限られない。本発明の実施形態は、例えば、デジタルカメラやデジタルカメラ機能を有する携帯電話など撮像機能を有する撮像装置、ＰＣ（Personal Computer）などのコンピュータ、携帯電話やＰＨＳ（Personal Handyphone System）などの携帯型通信装置、ＷＡＬＫ ＭＡＮ（登録商標）などの映像／音楽再生装置、ＰｌａｙＳｔａｔｉｏｎ Ｐｏｒｔａｂｌｅ（登録商標）などの携帯型ゲーム機、など様々な機器に適用することができる。なお、本発明の実施形態の撮像装置への適用については、後述する。
（本発明の実施形態の画像処理装置に係るプログラム）
コンピュータを、本発明の実施形態に係る画像処理装置１００として機能させるためのプログラムによって、操作入力に基づいて画像における水平方向に対する傾きを補正することができる。
（本発明の実施形態に係る撮像装置２００）
次に、本発明の実施形態に係る撮像装置２００の構成について説明する。図１４は、本発明の実施形態に係る撮像装置２００の構成の一例を示すブロック図である。
図１４を参照すると、撮像装置２００は、撮像部２０２と、操作入力部１０２と、制御部２０４と、記憶部１０６と、通信部１０８とを備える。
また、撮像装置２００は、例えば、制御部２０４が使用するプログラムや演算パラメータなどの制御用データが記録されたＲＯＭ（図示せず）や、制御部１０６により実行されるプログラムなどを一次記憶するＲＡＭ（図示せず）などを備えてもよい。撮像装置２００は、例えば、データの伝送路としてのバスにより上記各構成要素間を接続する。
〔撮像装置２００のハードウェア構成例〕
図１５は、本発明の実施形態に係る撮像装置２００のハードウェア構成の一例を示す説明図である。図１５を参照すると、撮像装置２００は、レンズ／撮像素子２５０と、信号処理回路２５２と、ＭＰＵ１５０と、ＲＯＭ１５２と、ＲＡＭ１５４と、記録媒体１５６と、入出力インタフェース１５８と、操作表示デバイス１６０と、操作入力デバイス１６２と、表示デバイス１６４と、通信インタフェース１６６とを備える。また、撮像装置２００は、例えば、データの伝送路としてのバス１６８で各構成要素間を接続する。
レンズ／撮像素子２５０および信号処理回路２５２は、撮像部２０２として機能する。レンズ／撮像素子２５０は、例えば、光学系のレンズ（Lens）とＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子とを複数用いたイメージセンサで構成される。信号処理回路２５２は、例えば、ＡＧＣ（Automatic Gain Control）回路やＡＤＣ（Analog to Digital Converter）を備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換し、各種信号処理を行う。信号処理回路２５２が行う信号処理としては、例えば、Ｗｈｉｔｅ Ｂａｌａｎｃｅ補正処理、補間処理、色調補正処理、ガンマ補正処理、ＹＣｂＣｒ変換処理、エッジ強調処理、およびＪｐｅｇコーディング処理などが挙げられるが、上記に限られない。ここで、Ｗｈｉｔｅ Ｂａｌａｎｃｅ補正処理は、例えば、ＲＡＷ画像データ（信号処理前の画像）に対して、ＲＧＢ（Red Green Blue）の各色ごとに予め設定されたゲインをかけ、各画素（pixel）に対応する画素値を増幅する処理である。補間処理は、例えば、ベイヤー配列からすべての画素のＲＧＢを作り出す処理である。色調補正処理は、例えば、画像の色調を補正する処理である。ガンマ補正処理は、例えば、ＲＧＢの信号を非線形変換し、視覚的なリニアリティ（linearity）を確保する処理である。ＹＣｂＣｒ変換処理は、例えば、所定の変換式に基づいて、ＲＧＢをＹＣｂＣｒに変換する処理である。ここで、Ｙは輝度（luminance）、Ｃｂは色差（chrominance）、そして、Ｃｒは色差（chrominance）をそれぞれ表す。エッジ強調処理は、例えば、画像からエッジ部分を検出し、検出されたエッジ部分の輝度を高めることにより画像の濃淡を強調する処理である。そして、Ｊｐｅｇコーディング処理は、画像をＪｐｅｇ（Joint Photographic Experts Group）形式の画像ファイルに変換する処理である。
ＭＰＵ１５０は、撮像装置２００全体を制御する制御部２０４として機能する。また、ＭＰＵ１５０は、例えば、後述する操作入力検出部１１０と、近似直線導出部１１２と、画像補正部２１４と、画像記録部２１６と、表示制御部１１６として機能することができる。
また、ＭＰＵ１５０は、信号処理回路２５２において信号処理された画像データに対して圧縮処理を施して各種記録媒体（例えば、記憶部１０６）に記録することができる。さらに、ＭＰＵ１５０は、各種記録媒体から読み出した画像データに対して伸張処理を施して操作表示デバイス１６０（操作入力・表示部１０２）や表示デバイス１６４に表示させることもできる。
また、ＲＯＭ１５２、ＲＡＭ１５４、記録媒体１５６、入出力インタフェース１５８、操作表示デバイス１６０、操作入力デバイス１６２、表示デバイス１６４、および通信インタフェース１６６は、それぞれ図１２に示す画像処理装置１００と同様の構成を有することができる。
よって、撮像装置２００は、図１５に示すようなハードウェア構成によって、上述した（１）の処理（操作入力による軌跡に基づく近似直線の導出処理）〜（３）の処理（追従処理）を行う。したがって、撮像装置２００は、操作入力に基づいて画像における水平方向に対する傾きを補正することができる。
また、撮像装置２００は、補正された画像を記録媒体に記録することもできる。ここで、撮像装置２００が画像を記録する記録媒体としては、例えば、記録媒体１５６が挙げられるが、上記に限られない。例えば、撮像装置２００は、着脱可能な外部メモリ（記録媒体の一種）を収納するスロット（図示せず）をさらに備え、当該スロットに収納された外部メモリに画像を記録することもできる。上記外部メモリとしては、例えば、メモリスティックが挙げられるが、上記に限られない。さらに、撮像装置２００は、通信インタフェース１６６を介して、外部装置が備える記憶部（記録媒体の一種）に画像を記録することもできる。
再度図１４を参照して、撮像装置２００の構成について説明する。撮像部２０２は、撮像装置２００が備える撮像手段であり、撮像により画像（撮像画像）を得ることができる。ここで、撮像により得られる画像としては、例えば、ＪＰＥＧやビットマップ（bitmap）などの静止画フォーマットで記録された画像（静止画像）や、ＷＭＶ（Windows Media Video）やＨ．２６４／ＭＰＥＧ−４ ＡＶＣ（H.264/Moving Picture Experts Group phase-4 Advanced Video Coding）などの動画フォーマットで記録された画像（動画像）が挙げられるが上記に限られない。
撮像部２０２は、レンズ２１０と、光電変換部２１２とから構成される。ここで、光電変換部２１２は、例えば、ＣＣＤやＣＭＯＳなどの撮像素子がマトリクス状に配置されたイメージセンサ（なお、レンズ２１０との組み合わせをイメージセンサと捉えることもできる。）と、信号処理回路２５２とから構成される。
また、撮像部２０２は、制御部２０４（より厳密には、後述する画像補正部２１４）から伝達される補正信号に応じて、例えば、レンズ２１０の回転や、イメージセンサの回転を行うこともできる。上記のように撮像部２０２をレンズ２１０やイメージセンサを回転可能な構成とすることによって、撮像装置２００は、撮像している画像の傾きを物理的に補正することができる。
制御部２０４は、例えば、ＭＰＵなどで構成され、撮像装置２００全体を制御する役目を果たす。また、制御部２０４は、操作入力検出部１１０と、近似直線導出部１１２と、画像補正部２１４と、表示制御部１１６とを備える。
操作入力検出部１１０、近似直線導出部１１２、および表示制御部１１６は、それぞれ図１１に示す画像処理装置１００に係る操作入力検出部１１０、近似直線導出部１１２、および表示制御部１１６と同様の機能、構成を有する。
画像補正部２１４は、上述した（２）の処理（画像の傾きの補正処理）を行う役目を果たし、第１の近似直線と予め定められた基準線とに基づいて、表示画面に表示された画像の傾きを補正する。ここで、画像補正部２１４は、例えば、以下の（Ａ）〜（Ｃ）のいずれか、またはこれらの組み合わせによって、画像の傾きの補正を行うことができる。なお、撮像装置２００における画像の傾きの補正は、以下の（Ａ）〜（Ｃ）に限られない。例えば、撮像装置２００は、ミラーなどを用いて画像を回転させることもできる。
（Ａ）信号処理による補正
画像補正部２１４は、図１１に示す画像処理装置１００に係る画像補正部１１４と同様に、画像の傾きの補正を行う。
（Ｂ）撮像部２０２の回転による補正
画像補正部２１４は、画像を回転させる角度に応じた補正信号を生成し、当該補正信号を撮像部２０２に伝達する。ここで、（Ｂ）による補正は、撮像部２０２を物理的に回転させることによって、画像を回転させるものである。また、（Ａ）による補正と（Ｂ）による補正を組み合わせることによって、上述した（２−２）の補正処理（第２の傾きの補正処理）を実現することができる。
（Ｃ）イメージセンサの回転による補正
画像補正部２１４は、上記（Ｂ）と同様に、画像を回転させる角度に応じた補正信号を生成し、当該補正信号を撮像部２０２に伝達する。ここで、（Ｃ）による補正は、イメージセンサを物理的に回転させることによって、画像を回転させるものである。また、（Ａ）による補正と（Ｃ）による補正を組み合わせることによって、上記（Ｂ）と同様に、上述した（２−２）の補正処理（第２の傾きの補正処理）を実現することができる。
また、画像補正部２１４は、図１１に示す画像処理装置１００に係る画像補正部１１４と同様に、近似直線導出部１１２が導出した特徴点ｆ_ｅに基づく近似直線の中から第２の近似直線を決定し、第２の近似直線と基準線とに基づいて、表示画面に表示された画像の傾きを補正することもできる。
よって、画像補正部２１４は、図１１に示す画像処理装置１００に係る画像補正部１１４と同様に、上述した（２）の処理（画像の傾きの補正処理）、および（３）の処理（追従処理）の一部を行う役目を果たす。
撮像装置２００は、操作入力検出部１１０、近似直線導出部１１２、および画像補正部２１４を備えることによって、上述した（１）の処理〜（３）の処理を行うことができる。
画像記録部２１６は、画像補正部２１６が補正した画像を記録媒体に記録する。ここで、上記記録媒体としては、例えば、記憶部１０６や、スロット（図示せず）に収納された外部メモリ、通信部１０８を介して接続された外部装置（図示せず）が備える記憶部などが挙げられる。
撮像装置２００は、上記のような構成によって、上述した（１）の処理（操作入力による軌跡に基づく近似直線の導出処理）、（２）の処理（画像の傾きの補正処理）、および（３）の処理（追従処理）を行う。したがって、撮像装置２００は、図１１に示す画像処理装置１００と同様に、操作入力に基づいて画像における水平方向に対する傾きを補正することができる。
また、撮像装置２００は、上記のような構成によって、傾きが補正された画像を記録媒体に記録する。よって、撮像装置２００によって記録された画像を再生する装置は、特段の補正を行うことなく水平方向に対する傾きが補正された画像を表示画面に表示することができる。
[撮像装置２００における一連の処理]
次に、撮像装置２００における画像の傾きの補正に係る一連の処理を示す。図１６は、本発明の実施形態に係る撮像装置２００における画像の傾きの補正に係る処理の一例を示す流れ図である。
撮像装置２００は、撮像を行うか否かを判定する（Ｓ５００）。ここで、撮像装置２００は、例えばユーザによる撮像ボタンの押下など、ユーザの操作入力に応じて操作部（図示せず）から伝達される操作信号に基づいてステップＳ５００の判定を行うことができる。
〔撮像を行うと判定されない場合〕
ステップＳ５００において撮像を行うと判定されない場合には、撮像装置２００は、画像の再生を行うか否かを判定する（Ｓ５０２）。ここで、撮像装置２００は、図１３のステップＳ４００と同様に、例えば、ユーザの操作入力に応じて操作部（図示せず）から伝達される操作信号に基づいてステップＳ５０２の判定を行うことができる。ステップＳ５０２において画像の再生を行うと判定されない場合には、撮像装置２００は、ステップＳ５０２からの処理を繰り返す。
また、ステップＳ５０２において画像の再生を行うと判定された場合には、撮像装置２００は、第１の画像の補正処理を行う（Ｓ５０４）。ここで、第１の画像の補正処理とは、上記（Ａ）の処理（信号処理による補正）を指す。つまり、撮像装置２００は、図１３のステップＳ４０２と同様の処理によって、画像の傾きの補正を行う。
ステップＳ５０４において画像の補正処理が行われると、撮像装置２００は、追従処理を行う（Ｓ５１０）。ここで、撮像装置２００は、図１３のステップＳ４０４と同様に、例えば、図８に示す処理によって追従処理を実現することができる。
ステップＳ５１０において追従処理が終了すると、撮像装置２００は、画像の撮像および再生を終了するか否かを判定する（Ｓ５１２）。ここで、撮像装置２００は、例えば、ステップＳ５００やステップＳ５０２と同様に、ユーザの操作入力に基づいてステップＳ５０８の判定を行うことができる。
ステップＳ５１２において画像の撮像および再生を終了すると判定されない場合には、撮像装置２００は、ステップＳ５００からの処理を繰り返す。また、ステップＳ５１２において画像の撮像および再生を終了すると判定された場合には、撮像装置２００は、画像の撮像および再生を終了する。上記の場合には、撮像装置２００における画像の傾きの補正処理も終了することとなる。
〔撮像を行うと判定された場合〕
ステップＳ５００において撮像を行うと判定された場合には、撮像装置２００は、第２の画像の補正処理を行う（Ｓ５０６）。ここで、第２の画像の補正処理とは、例えば、上記（Ａ）の処理（信号処理による補正）〜（Ｃ）の処理（イメージセンサの回転による補正）のいずれか、またはこれらの組み合わせを指す。
ステップＳ５０６において画像の補正処理が行われると、撮像装置２００は、補正された画像を記録媒体に記録する（Ｓ５０８）。そして、撮像装置２００は追従処理を行う（Ｓ５１０）。なお、図１６では示していないが、撮像装置２００は、追従処理において、補正された画像を記録媒体に記録し続ける。そして、ステップＳ５１０において追従処理が終了すると、撮像装置２００は、画像の撮像および再生を終了するか否かを判定し（Ｓ５１２）、判定結果に応じて画像の撮像および再生を終了する。
撮像装置２００は、図１６に示す処理を行うことによって、操作入力に基づいて画像における水平方向に対する傾きを補正することができる。
以上のように、本発明の実施形態に係る撮像装置２００は、操作入力による軌跡に基づいて第１の近似直線を導出し、導出された第１の近似直線と予め定められた基準線とに基づいて画像における水平方向に対する傾きを傾斜センサを用いずに補正する。ここで、撮像装置２００は、画像処理装置１００と同様に、第１の近似直線を操作入力に基づいて導出するので、傾斜センサを必要とせずに画像の水平が維持された撮像画像を得る従来の技術のようにフレーム内に直線部分を有する被写体の存在を必要とはしない。また、撮像装置２００は、第１の近似直線を操作入力に基づいて導出するので、傾斜センサを必要とせずに画像の水平が維持された撮像画像を得る従来の技術のように、ユーザが意図しない直線部分に基づいて画像の傾きが補正されることもない。したがって、撮像装置２００は、画像処理装置１００と同様に、画像における水平方向に対する傾きを、上記従来の技術よりもより確実に補正することができる。また、撮像装置２００は、画像処理装置１００と同様に、ユーザによる軌跡Ｔに基づく第１の近似直線がユーザの意図したものからわずかにずれたとしても、微調整することができる。
また、撮像装置２００は、画像処理装置１００と同様に、第１の近似直線に係るタッチ座標（Ｘｎ，Ｙｎ）に基づいて第２の近似直線を導出し、導出された第２の近似直線と基準線とに基づいて、画像の傾きを補正する。ここで、撮像装置２００は、第２の近似直線を適宜更新することによって、画像の内容に応じた補正を行う。また、表示画面に表示される画像の内容が大きく変化した場合には、撮像装置２００は、第２の近似直線による補正を終了する。したがって、撮像装置２００は、表示画面に表示される画像の内容が大きく変化しない場合において、画像における水平方向に対する傾きを操作入力を必要とせずに補正することができる。
さらに、撮像装置２００は、撮像中においても画像の傾きの補正を行うことができるので、例えば三脚などが設定できないために水平な撮影が困難な状況においても、水平方向に対する傾きが微小（あるいは傾きが０）な画像（撮像画像）を得ることができる。
以上、本発明の実施形態として撮像装置２００を挙げて説明したが、本発明の実施形態は、かかる形態に限られない。本発明の実施形態は、例えば、デジタルカメラや、デジタルカメラ機能を有する携帯電話、カメラを備えたＰＣなどのコンピュータ、カメラを備えた携帯型ゲーム機、など撮像機能を有する様々な機器に適用することができる。
（本発明の実施形態の撮像装置に係るプログラム）
コンピュータを、本発明の実施形態に係る撮像装置２００として機能させるためのプログラムによって、操作入力に基づいて画像における水平方向に対する傾きを補正することができる。
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
例えば、上記では、コンピュータを、本発明の実施形態に係る画像処理装置１００、撮像装置２００として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本発明の実施形態は、さらに、上記プログラムを記憶させた記憶媒体も併せて提供することができる。
また、上記では、本発明の実施形態として、画像における水平方向に対する傾きを操作入力を必要とせずに補正する画像処理装置１００、撮像装置２００について説明したが、かかる構成に限られない。本発明の実施形態は、上述した（１）の処理（操作入力による軌跡に基づく近似直線の導出処理）、（２）の処理（画像の傾きの補正処理）、および（３）の処理（追従処理）によって、画像における鉛直方向に対する傾きを操作入力を必要とせずに補正することもできる。
上述した構成は、本発明の実施形態の一例を示すものであり、当然に、本発明の技術的範囲に属するものである。
本発明の実施形態に係る画像における水平方向に対する傾きの補正アプローチを説明するための説明図である。 本発明の実施形態に係る第１の補正処理を説明するための説明図である。 本発明の実施形態に係る第１の補正処理を説明するための説明図である。 本発明の実施形態に係る第１の補正処理の一例を示す流れ図である。 本発明の実施形態に係る第２の補正処理を説明するための説明図である。 本発明の実施形態に係る第２の補正処理を説明するための説明図である。 本発明の実施形態に係る第２の補正処理の一例を示す流れ図である。 本発明の実施形態に係る追従処理の一例を示す流れ図である。 本発明の実施形態に係る補正処理の他の例を説明するための説明図である。 本発明の実施形態に係る補正処理の他の例を説明するための説明図である。 本発明の実施形態に係る画像処理装置の構成の一例を示すブロック図である。 本発明の実施形態に係る画像処理装置のハードウェア構成の一例を示す説明図である。 本発明の実施形態に係る画像処理装置における画像の傾きの補正に係る処理の一例を示す流れ図である。 本発明の実施形態に係る撮像装置の構成の一例を示すブロック図である。 本発明の実施形態に係る撮像装置のハードウェア構成の一例を示す説明図である。 本発明の実施形態に係る撮像装置における画像の傾きの補正に係る処理の一例を示す流れ図である。
符号の説明
１００ 画像処理装置
１０２ 操作入力・表示部
１０４、２０４ 制御部
１１０ 操作入力検出部
１１２ 近似直線導出部
１１４、２１４ 画像補正部
２００ 撮像装置
２０２ 撮像部
２１６ 画像記録部

Claims (10)

  1. 表示画面に画像を表示し、前記表示画面に表示された前記画像に対する操作入力が可能な操作表示部と；
    前記操作表示部における操作入力を検出する操作入力検出部と；
    前記操作入力検出部における検出結果に基づいて、前記操作入力の軌跡を近似的に示す、前記画像の傾きを補正するための基準となる第１の近似直線を導出する近似直線導出部と；
    導出された前記第１の近似直線と予め定められた基準線とに基づいて、前記表示画面に表示された前記画像の傾きを補正する画像補正部と；
    を備える、画像処理装置。
  2. 前記画像補正部は、前記第１の近似直線の傾きを前記基準線の傾きと同一として前記画像の傾きを補正する、請求項１に記載の画像処理装置。
  3. 前記画像補正部は、さらに、前記第１の近似直線と平行な２つの第１直線、および前記第１の近似直線と直交する２つの第２直線により規定される領域のうち、前記画像に含まれる領域を切り出す、請求項２に記載の画像処理装置。
  4. 前記画像補正部は、切り出された前記領域以外の領域を、前後のフレームの画像から推定して補完する、請求項３に記載の画像処理装置。
  5. 前記近似直線導出部は、前記表示画面に表示された前記画像の中から所定の特徴点を検出して前記特徴点に基づく近似直線をさらに導出し、
    前記画像補正部は、前記特徴点に基づく近似直線のうち、前記第１の近似直線の傾きとの差が所定の範囲内である第２の近似直線が存在する場合には、前記第２の近似直線と前記基準線とに基づいて、前記表示画面に表示された前記画像の傾きを補正する、請求項１に記載の画像処理装置。
  6. 前記画像補正部は、前記第２の近似直線に係る特徴点が前記表示画面に表示された画像内に存在しなくなった場合には、前記画像の傾きの補正を終了する、請求項５に記載の画像処理装置。
  7. 表示画面に画像を表示し、前記表示画面に表示された前記画像に対する操作入力が可能な操作表示部における前記操作入力を検出するステップと；
    前記検出するステップにおける検出結果に基づいて、前記操作入力の軌跡を近似的に示す、前記画像の傾きを補正するための基準となる第１の近似直線を導出するステップと；
    前記導出するステップにおいて導出された前記第１の近似直線と予め定められた基準線とに基づいて、前記表示画面に表示された前記画像の傾きを補正するステップと；
    を有する、画像処理方法。
  8. 表示画面に画像を表示し、前記表示画面に表示された前記画像に対する操作入力が可能な操作表示部における前記操作入力を検出するステップ；
    前記検出するステップにおける検出結果に基づいて、前記操作入力の軌跡を近似的に示す、前記画像の傾きを補正するための基準となる第１の近似直線を導出するステップ；
    前記導出するステップにおいて導出された前記第１の近似直線と予め定められた基準線とに基づいて、前記表示画面に表示された前記画像の傾きを補正するステップ；
    をコンピュータに実行させるためのプログラム。
  9. 被写体を撮像して撮像画像を生成する撮像部と；
    前記撮像部において撮像された前記撮像画像を表示画面に表示し、前記表示画面に表示された前記撮像画像に対する操作入力が可能な操作表示部と；
    前記操作表示部における操作入力を検出する操作入力検出部と；
    前記操作入力検出部における検出結果に基づいて、前記操作入力の軌跡を近似的に示す、前記画像の傾きを補正するための基準となる第１の近似直線を導出する近似直線導出部と；
    導出された前記第１の近似直線と予め定められた基準線とに基づいて、前記表示画面に表示された前記撮像画像の傾きを補正する画像補正部と；
    補正された画像を記録媒体に記録する画像記録部と；
    を備える、撮像装置。
  10. 表示画面に画像を表示し、前記表示画面に表示された前記画像に対する操作入力が可能な操作表示部と；
    前記操作表示部における操作入力を検出する操作入力検出部と；
    前記操作入力検出部において検出された前記操作入力により指定された、前記画像内の被写体から特徴点を抽出し、抽出された前記特徴点に基づいて、前記画像の傾きを補正するための基準となる近似直線を導出する近似直線導出部と；
    導出された前記近似直線と予め定められた基準線とに基づいて、前記表示画面に表示された前記画像の傾きを補正する画像補正部と；
    を備える、画像処理装置。
JP2008210018A 2008-08-18 2008-08-18 画像処理装置、画像処理方法、プログラム、および撮像装置 Active JP4640470B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008210018A JP4640470B2 (ja) 2008-08-18 2008-08-18 画像処理装置、画像処理方法、プログラム、および撮像装置
US12/583,046 US9215374B2 (en) 2008-08-18 2009-08-13 Image processing apparatus, image processing method, and imaging apparatus that corrects tilt of an image based on an operation input
CN2009101637618A CN101656832B (zh) 2008-08-18 2009-08-18 图像处理装置、图像处理方法和成像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008210018A JP4640470B2 (ja) 2008-08-18 2008-08-18 画像処理装置、画像処理方法、プログラム、および撮像装置

Publications (2)

Publication Number Publication Date
JP2010045733A JP2010045733A (ja) 2010-02-25
JP4640470B2 true JP4640470B2 (ja) 2011-03-02

Family

ID=41681080

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008210018A Active JP4640470B2 (ja) 2008-08-18 2008-08-18 画像処理装置、画像処理方法、プログラム、および撮像装置

Country Status (3)

Country Link
US (1) US9215374B2 (ja)
JP (1) JP4640470B2 (ja)
CN (1) CN101656832B (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100080822A (ko) * 2007-09-28 2010-07-12 엑세리온 악티에볼라그 네트워크 오퍼레이팅 시스템
JP5371626B2 (ja) * 2009-08-18 2013-12-18 キヤノン株式会社 表示制御装置、表示制御装置の制御方法、プログラム及び記憶媒体
TW201122927A (en) * 2009-12-22 2011-07-01 Avermedia Information Inc Method and system for movement information transformation
US8675089B2 (en) * 2009-12-25 2014-03-18 Samsung Electronics Co., Ltd. Apparatus and method for assisting composition of photographic image
JP2011205468A (ja) * 2010-03-26 2011-10-13 Sony Corp 撮像装置及びプログラム
US10178314B2 (en) * 2011-03-08 2019-01-08 Mitsubishi Electric Corporation Moving object periphery image correction apparatus
CA2833544A1 (en) * 2011-04-18 2012-10-26 Eyesee360, Inc. Apparatus and method for panoramic video imaging with mobile computing devices
US9762848B2 (en) * 2013-03-15 2017-09-12 Google Inc. Automatic adjustment of video orientation
CN104252302A (zh) * 2013-06-26 2014-12-31 富泰华工业（深圳）有限公司 图像自适应调整系统及方法
CN105450918B (zh) * 2014-06-30 2019-12-24 杭州华为企业通信技术有限公司 一种图像处理方法和摄像机
TWI646503B (zh) * 2014-12-30 2019-01-01 香港商富智康〈香港〉有限公司 照片方位校正系統及方法
GB2553103B (en) * 2016-08-19 2022-04-27 Apical Ltd Method of angle detection
JP2020036166A (ja) * 2018-08-29 2020-03-05 アルパイン株式会社 画像表示装置、画像表示方法
JP2020053931A (ja) * 2018-09-28 2020-04-02 日本電産サンキョー株式会社 画像処理装置、イメージスキャナ、及び画像処理方法
CN110677586B (zh) * 2019-10-09 2021-06-25 Oppo广东移动通信有限公司 图像显示方法、图像显示装置及移动终端
CN111787230A (zh) * 2020-07-31 2020-10-16 维沃移动通信（杭州）有限公司 图像显示方法、装置和电子设备
JP7066905B1 (ja) * 2021-09-06 2022-05-13 Dmg森精機株式会社 情報処理装置および工作機械

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007028536A (ja) * 2005-07-21 2007-02-01 Fujifilm Holdings Corp デジタルカメラ
JP2007173966A (ja) * 2005-12-19 2007-07-05 Sony Corp 撮像装置及びその画像データ処理方法
JP2007274720A (ja) * 2007-05-14 2007-10-18 Sanyo Electric Co Ltd 手ぶれ補正装置、手ぶれ補正方法および手ぶれ補正プログラムを記録した記録媒体

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5528387A (en) * 1994-11-23 1996-06-18 Xerox Corporation Electronic image registration for a scanner
JPH09135331A (ja) * 1995-11-10 1997-05-20 Ricoh Co Ltd 画像処理装置
US5901253A (en) * 1996-04-04 1999-05-04 Hewlett-Packard Company Image processing system with image cropping and skew correction
US7893963B2 (en) * 2000-03-27 2011-02-22 Eastman Kodak Company Digital camera which estimates and corrects small camera rotations
JP3903932B2 (ja) * 2003-03-06 2007-04-11 セイコーエプソン株式会社 画像読み取り制御装置およびプログラム
JP4352980B2 (ja) * 2004-04-23 2009-10-28 オムロン株式会社 拡大表示装置及び拡大画像制御装置
US7743348B2 (en) * 2004-06-30 2010-06-22 Microsoft Corporation Using physical objects to adjust attributes of an interactive display application
CN100338618C (zh) * 2004-09-30 2007-09-19 致伸科技股份有限公司 一种倾斜图像自动校正方法
JP2006163360A (ja) * 2004-11-11 2006-06-22 Casio Comput Co Ltd 投影装置、投影方法、投影制御プログラム
JP4738019B2 (ja) * 2005-02-23 2011-08-03 任天堂株式会社 ゲームプログラム、ゲーム装置、ゲーム制御方法およびゲームシステム
US7734058B1 (en) * 2005-08-24 2010-06-08 Qurio Holding, Inc. Identifying, generating, and storing cropping information for multiple crops of a digital image
JP4712613B2 (ja) * 2006-05-25 2011-06-29 富士通株式会社 情報処理装置、情報処理方法およびプログラム
CN101163189A (zh) * 2006-10-13 2008-04-16 上海银晨智能识别科技有限公司 人脸图像校正方法
US7936945B2 (en) * 2006-12-18 2011-05-03 Nokia Corporation System, method, device, and computer program product for providing image correction
US8249391B2 (en) * 2007-08-24 2012-08-21 Ancestry.com Operations, Inc. User interface method for skew correction
US8219936B2 (en) * 2007-08-30 2012-07-10 Lg Electronics Inc. User interface for a mobile device using a user's gesture in the proximity of an electronic device
US8130211B2 (en) * 2007-09-24 2012-03-06 Microsoft Corporation One-touch rotation of virtual objects in virtual workspace
US8121441B2 (en) * 2007-10-26 2012-02-21 Murata Machinery, Ltd. Image processing apparatus, image scanning apparatus, image processing method, and image processing program
WO2009093241A2 (en) * 2008-01-23 2009-07-30 N-Trig Ltd. Graphical object manipulation with a touch sensitive screen
US20090207142A1 (en) * 2008-02-20 2009-08-20 Nokia Corporation Apparatus, method, computer program and user interface for enabling user input
US8064729B2 (en) * 2008-04-03 2011-11-22 Seiko Epson Corporation Image skew detection apparatus and methods
US20090300554A1 (en) * 2008-06-03 2009-12-03 Nokia Corporation Gesture Recognition for Display Zoom Feature
CN101639753A (zh) * 2008-08-01 2010-02-03 鸿富锦精密工业（深圳）有限公司 具有触摸屏的电子设备及其画面比例调节方法
TW201017487A (en) * 2008-10-17 2010-05-01 Asustek Comp Inc Method for operating displayed page and electronic device
US8249388B2 (en) * 2008-11-24 2012-08-21 Microsoft Corporation Identifying portions of an image for cropping
JP5529568B2 (ja) * 2010-02-05 2014-06-25 キヤノン株式会社 画像処理装置、撮像装置、制御方法及びプログラム
US8588550B2 (en) * 2010-10-04 2013-11-19 Sony Corporation Virtual level for a digital camera

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007028536A (ja) * 2005-07-21 2007-02-01 Fujifilm Holdings Corp デジタルカメラ
JP2007173966A (ja) * 2005-12-19 2007-07-05 Sony Corp 撮像装置及びその画像データ処理方法
JP2007274720A (ja) * 2007-05-14 2007-10-18 Sanyo Electric Co Ltd 手ぶれ補正装置、手ぶれ補正方法および手ぶれ補正プログラムを記録した記録媒体

Also Published As

Publication number Publication date
JP2010045733A (ja) 2010-02-25
CN101656832B (zh) 2012-01-18
US9215374B2 (en) 2015-12-15
US20100039548A1 (en) 2010-02-18
CN101656832A (zh) 2010-02-24

Similar Documents

Publication Publication Date Title
JP4640470B2 (ja) 画像処理装置、画像処理方法、プログラム、および撮像装置
JP4396720B2 (ja) 画像処理装置、画像処理方法、およびプログラム
EP3531689B1 (en) Optical imaging method and apparatus
US9860448B2 (en) Method and electronic device for stabilizing video
CN107395898B (zh) 一种拍摄方法及移动终端
US10212350B2 (en) Display control apparatus, display control method, and program
KR102303514B1 (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
US20120070097A1 (en) Refocusing images using scene captured images
US11750934B2 (en) Imaging apparatus, image processing apparatus, control method of these, and storage medium
US20070291177A1 (en) System, method and computer program product for providing reference lines on a viewfinder
WO2017088564A1 (zh) 一种图像处理方法及装置、终端、存储介质
JP2013106284A (ja) 光源推定装置、光源推定方法、光源推定プログラムおよび撮像装置
JP2013162287A (ja) 画像処理装置、画像処理方法、およびプログラム
JP5045731B2 (ja) 撮像装置、ホワイトバランス設定方法、及び、プログラム
JP2015126389A (ja) 撮像装置およびその制御方法
KR100686310B1 (ko) 이미지 기울임 보정 방법, 프로세서 및 이를 위한프로그램이 기록된 기록매체
US20190279340A1 (en) Image processing apparatus, imaging apparatus, image processing method, and image processing program
KR101995258B1 (ko) 카메라를 구비하는 휴대단말기의 동영상 촬영장치 및 방법
US20120170807A1 (en) Apparatus and method for extracting direction information image in a portable terminal
US20130242167A1 (en) Apparatus and method for capturing image in mobile terminal
JP7463111B2 (ja) 電子機器、電子機器の制御方法、プログラムおよび記憶媒体
WO2020110710A1 (ja) 撮像装置、撮像方法、及びプログラム
JP2012238099A (ja) 画像処理装置、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100526

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100608

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100803

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101102

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101115

R151 Written notification of patent or utility model registration

Ref document number: 4640470

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131210

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250