JP5324980B2 - 携帯端末及び画像方向補正方法 - Google Patents

Description

本発明は、例えばカメラ機能付き携帯電話端末に適用して好適な携帯端末、及びその携帯端末に適用される画像方向補正方法に関する。

携帯電話端末に内蔵されたカメラや、一般のカメラで撮像する場合のいずれであっても、通常撮像して得られる画像の縦横比は１：１でなく、横長の画像が一般的である。画像の縦横は、複数種類ある。従って、撮像する被写体に応じて、カメラを構成する筐体の向きを９０°変えて、縦長の画像として撮像する場合と、横長の画像として撮像する場合とがある。例えば、一人の人物を撮像する場合には、縦長の画像として撮像し、複数人が横に並んだ状態で撮像する場合には、横長の画像として撮像する。

その結果、撮像して得た画像信号には縦画像と横画像が混在する場合がある。通常、これらの画像データは携帯端末から外部機器（ＰＣや、デジタルフォトフレーム等）に出力して鑑賞ことが多い。しかし、従来の携帯端末の場合は携帯端末内に保存してあるとおりにしかデータを外部に出力できず、その結果、外部機器にて鑑賞する場合、画面に縦や横の写真が混在して現れることになる。

特許文献１には、カメラ撮影時の傾斜角を示す情報をフィルムに記憶させることにより、現像所等のプリント過程でその情報に基づいてこの傾斜角が解消されるようにプリント画像を回転させるという技術についての記載がある。

特開平１１−２４２２８４号公報

特許文献１に記載されたように、傾斜角情報を画像データに付加して出力した場合には、その画像データを受けた機器側で、表示される画像の縦横を変換する補正処理が必要である。従って、外部機器として、傾斜角情報を判断して補正することに対処した機器である必要がある。このような機能に対応していない外部機器では、縦横が逆の画像が表示されてしまう問題がある。

本発明はかかる点に鑑みてなされたものであり、どのような外部機器でも適正な縦横の向きで画像を表示させることができるようにすることを目的とする。

本発明は、被写体を撮像して画像信号を出力する撮像処理と、撮像処理時の自端末の向きを検出する筐体向き検出処理と、筐体向き検出処理で検出した向きの情報を付加して、前記撮像処理で得た画像信号を記憶する記憶処理とを行う。
そして、記憶された画像信号を読み出す際に、この読み出す画像信号に付加された向きの情報を用いて、読み出した画像信号の表示方向を変換する補正を選択的に行う補正処理を行い、その補正処理を行った画像信号を外部機器に出力する。
この場合、ユーザ操作によりオンが選択された状態で、撮影時の筐体の向きが、画像信号で示される画像を第１の状態に表示させる向きのとき、画像の表示方向を回転させる補正処理を行い、ユーザ操作によりオンが選択された状態で、撮影時の筐体の向きが、画像信号で示される画像を第１の状態とは異なる第２の状態に表示させる向きのとき、補正処理を行わず、ユーザ操作によりオフが選択された状態のとき、撮影時の筐体の向きに係わらず補正処理を行わないようにした。

このようにしたことで、自端末に格納されている画像データを外部機器に出力する際に、ユーザは意識することなく、その画像データの天頂方向に自動で補正処理したうえで、外部機器に出力が行われる。

本発明によると、カメラ撮影時に画像データを得ると同時にそのときの自端末の向きの情報を得ることで、外部機器に出力する際に自端末の撮影状況にあわせた画像補正が行われて出力される。従って、出力先である外部機器に特別な画像補正機能を装備する必要がないので、外部機器の機種を問わずに向きが揃った画像データの表示などが行え、違和感ない画像の閲覧が可能となる。

本発明の一実施の形態の例に係る内部構成例を示すブロック図である。 本発明の一実施の形態の例に係る撮影時の処理の説明図である。 本発明の一実施の形態の例に係る画像データの出力時の処理の説明図である。 本発明の一実施の形態の例に係る出力時における各画像処理の説明図である。

以下、本発明の一実施の形態について、以下の順序で説明する。
１．端末の内部構成（図１）
２．撮影時の処理（図２）
３．画像データの出力時の処理（図３）
４．出力時における各画像の処理（図４）
５．変形例の説明

一実施の形態の例を図１〜４を参照して説明する。本実施の形態においては、カメラ付きの携帯電話端末に適用した例である。

［１．端末の内部構成］
図１は、本実施の形態の例である携帯電話端末１００の内部構成例を示すブロック図である。携帯電話端末１００は、マイクロプロセッサ等よりなる制御部１０１を備え、制御部１０１は、制御信号が伝送される制御ライン１５０又はデータが伝送されるデータライン１６０を介して、携帯電話端末１００内の各部と接続されている。そして、制御部１０１はこれらのラインを通して各部と通信を行い、各部の動作制御を行う。後述するカメラ２０１で撮像して得た画像に関する処理についても、制御部１０１が行う。

制御ライン１５０には、通信回路１０２と、表示部１０３と、操作部１０４と、メモリ１０５と、ジャイロセンサ１０９と、撮像制御部２０２と、外部出力部３０１とが接続されている。

通信回路１０２にはアンテナ１０６が接続してあり、通信回路１０２は、アンテナ１０６で得られた電波を復調して、基地局から伝送された音声信号や各種データなどを取り出す。また、データライン１６０を介して入力された音声信号を音声処理部１０９に供給し、出力用の処理をしてスピーカ１０７に供給して出力させる。また、マイクロホン１０８を備えて、端末の周囲の音声を拾ってアナログ音声信号として音声処理部１１０に供給し、音声処理部１１０で所定のフォーマットの音声信号に変換する。変換された音声信号は、通信回路１０２に供給する。また、音声信号以外の送信させる各種データについても通信回路１０２に供給する。通信回路１０２では、供給される音声信号やその他のデータを、電波に変換してアンテナ１０６に出力する処理を行う。

表示部１０３は、液晶パネル等で構成される表示パネルと、その表示パネルの駆動部とで構成され、着信した電話の電話番号や、アンテナ１０６を通して送受信される電子メールの文章等や、カメラからの撮像が表示される。操作部１０４は、数字などのダイヤルキーやその他の各種機能キーで構成される。そして、それらのキーがユーザに押下された場合に、操作内容に応じた操作信号を生成して制御部１０１に供給する。

メモリ１０５は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）で構成され、メモリ１０５には、携帯電話端末１００の制御に必要なソフトウェア等が格納されている。また、メモリ１０５には、制御部１０１で制御が行われる際に一時的に発生するデータ、カメラ２０１が撮像して得られた画像データ、ジャイロセンサ１０９で得た傾斜角に基づいた天頂位置の情報を記憶する領域も備える。
なお、一時的に発生するデータは１次キャッシュメモリとして記憶され、その記憶するデータには、外部機器に出力する前で傾斜角の情報に基づいて補正を行った画像データをも含まれる。またメモリ１０５は、図１では端末が内蔵したメモリとして示してあるが、例えばメモリカードなどの着脱自在なメモリを使って、画像データや天頂位置の情報を記憶させる構成としてもよい。

カメラ２０１は、撮像制御部２０２と接続してある。カメラ２０１で撮像して得られた画像データは、撮像制御部２０２を通して出力する。カメラ２０１としてズームレンズなどを備えて、撮像する画角の調整が可能である場合には、撮像制御部２０２によりその画角調整が制御される。

ジャイロセンサ１０９は、カメラ２０１の撮像時での、携帯電話端末１００本体を構成する筐体の傾斜角を検出する。制御部１０１は、カメラ２０１で撮像するタイミングに検出した傾斜角の情報に基づいて、筐体を横向きで撮像したのか、或いは筐体を縦向きで撮像したのかを判断する。そして制御部１０１は、この判断した横向きか横向きの情報を、撮像時の天頂位置の情報として、撮像して得た画像信号に付加し、メモリ１０５に記憶させる。例えば、ストレート式携帯電話端末の右側面を上にしてカメラ撮影をした場合は、「天頂位置：左回りに９０度に傾斜した向き」という情報となる。なお、ここでの天頂位置とは、撮像して得た画像の上が向いている位置であり、ここでは最大で以下の４つの情報ａ，ｂ，ｃ，ｄのいずれかである。
情報ａ・・・天頂位置：画像の上がそのままの向き
情報ｂ・・・天頂位置：左回りに９０度傾斜した向き
情報ｃ・・・天頂位置：右回りに９０度傾斜した向き
情報ｄ・・・天頂位置：１８０度傾斜した向き
通常の撮像状態を想定した場合、１８０度傾斜した向きで撮像することは希であり、情報ｄはなくてもよい。

コネクタ接続部３０１は、ＵＳＢケーブル又は１８ピンコネクタを使用して、外部機器と接続を行う。なお、このコネクタ接続部３０１を通して、外部機器に画像データを出力することができる。

この場合、画像データの出力にケーブル接続による通信を示したが、赤外線通信、無線ＬＡＮ通信、ＩＣデータ通信及びＢｌｕｅｔｏｏｔｈなどの電波による近距離無線通信で行っても良い。

［２．撮影時の処理］
図２のフローチャートを参照して、携帯電話端末１００が、撮像を行い、撮像と同時に自端末の傾斜角の情報を取得して、撮像した画像データと向きの情報を保存する処理例について説明する。

図２のフローチャートに従って説明すると、まず、ユーザが携帯電話端末１００のカメラ２０１で撮影を行う（ステップＳ１０１）。

撮影した画像を画像データとして取得する（ステップＳ１０２）。そして、ジャイロセンサ１０９で、カメラ２０１の撮影時での、携帯電話端末１００本体を構成する筐体の傾斜角を取得する（ステップＳ１０３）。
取得した筐体の傾斜角から、画像の天頂位置を検出し、その検出した天頂位置の情報を、画像データと共にメモリ１０５に記憶させる（ステップＳ１０４）。

［３．画像データの出力時の処理］
次に、携帯電話端末１００が格納してある画像データを、外部機器に出力する場合におけるシーケンスの例を、図３のフローチャートを参照して説明する。図３で示した処理は、携帯電話端末１００と外部機器がＵＳＢケーブル又は１８ピンコネクタで接続してある場合に行われる処理である。

まず、携帯電話端末１００の画像補正機能を使用するかを判断する（ステップＳ２０１）。この画像補正機能は、メモリ１０５に保存してある天頂位置の情報に従って、その傾斜角の情報と共に保存されている画像データを天頂方向に向くように、画像補正を行える機能である。例えば、傾斜角の情報が「天頂位置：左回りに９０度方向に傾斜」という情報であれば、画像データは右回りに９０度方向に回転する補正が行われることである。
なお、この画像補正機能についての例については、別途、［４．出力時における各画像の処理］で説明する。

まず、画像補正機能を使用しない場合は、何も変更を加えずに、そのままの状態の画像データはコネクタ接続部３０１を通して、外部機器に出力する（ステップＳ２０５）。

画像補正機能を使用する場合、メモリ１０５に保存してある傾斜角の情報に従って、その傾斜角の情報と共に保存されている画像データが天頂方向に向くように補正処理がなされる（ステップＳ２０２）。

そして、補正処理がされた画像データは、メモリ１０５に１次キャッシュメモリとして保存する（ステップＳ２０３）。その後、その補正された画像データはコネクタ接続部３０１を通して、外部機器に出力する（ステップＳ２０４）。

なお、この補正処理及び出力処理は、選択した画像データのみを行うようにしてもよい。即ち、画像出力させる際などのユーザ操作で１枚の画像ごとに補正のオンオフを選択させて、選択された画像データに対してだけ行うようにしてもよい。

［４．出力時における各画像の処理］
図４では、携帯電話端末１００内で行われる画像補正処理についての例を説明する。

まず、携帯電話端末１００本体を構成している筐体の上端が天頂方向を向けて「Ａ」という文字を撮影した場合について例を説明する。この場合に取得する傾斜角の情報は、「上」ということにする。

画像補正処理機能がオフにした場合、何もせずにその状態のままで、外部機器に出力する（図４のＮｏ．１参照）。
これに対して、画像補正処理機能がオンにした場合、傾斜角の情報に従って、補正をする。ただ、この場合は天頂方向と天頂位置情報「上」は同一であるので、その状態のままで１次キャッシュメモリに保存される。そして、その画像データを外部機器に出力する（図４のＮｏ．２参照）。

次に、携帯電話端末１００本体を構成している筐体の上端が天頂方向に対して左まわりに９０度方向にあるときに、「Ａ」という文字を撮影した場合についてである。この場合の天頂位置情報は「天頂位置：右回りに９０度傾斜した方向」ということにする。

画像補正処理機能がオフにした場合、何もせずにその状態のままで、外部機器に出力する。つまり、「Ａ」の文字が右まわりに９０度の傾斜した状態の画像のままで、外部機器に出力する（図４のＮｏ．３参照）。

画像補正処理機能をオンにした場合、天頂位置情報に従って、補正をする。この場合は、傾斜角の情報は「天頂位置：右回りに９０度傾斜した方向」であるため、画像データは左まわりに９０度回転させる縦横変換の補正処理を行う。つまり、画像データが撮影時の天頂方向に補正されて、「Ａ」の文字が天頂方向に向く画像データに補正されることである。そして、この補正された画像データが、１次キャッシュメモリに保存されて、外部機器に出力する（図４のＮｏ．４参照）。
また、図示はしないが、傾斜角の情報が「天頂位置：左回りに９０度に傾斜」である場合には、図４のＮｏ．４とは逆の補正処理が行われる。即ち、画像データは右まわりに９０度回転させる縦横変換の補正処理を行う。さらに、「天頂位置：１８０度に傾斜」である場合には、画像の上下を反転させる補正処理を行う。

なお、図４のＮｏ．４の縦横変換を行う際に、元の画像データの縦横の画素数に納めるためには、画像サイズの縮小処理が必要になる。さらに、その縮小を行った場合には、そのＮｏ．４の縦横変換を行った画像の左右の斜線で示した空白部分の領域が発生する。この空白部分の領域については、例えば全て黒や白などの色の画像として、補正後の画像データとするのが好ましい。
単に縦横の位置の変換処理だけを行った画像データをそのまま外部機器が入力できる場合には、この画像サイズの縮小処理や空白部分の付加処理は不要である。

このようにして、本実施の形態によると、画像データの出力先である外部機器に特別な画像処理機能を装備することなく、携帯電話端末内で天頂方向に自動補正した画像データを出力することができる。
従って、携帯電話端末から出力される画像データを受けた外部機器では、供給される画像データをそのまま表示させるだけで、全ての画像の向きを、天頂方向を上とした正しい向きとすることができる。この場合、外部機器ではなんら向きを変える処理が必要なく、また画像データ以外のデータ（即ち天頂位置の情報）を受ける必要がなく、どのような表示装置でも対処が可能である。

［５．変形例の説明］
なお、上述した実施の形態では、携帯電話端末に内蔵させたカメラ部について説明したが、いわゆるデジタルスチルカメラなどとして構成された単体のカメラ装置としての端末装置にも適用可能である。或いは、その他の各種電子機器にカメラ部を内蔵させたものにも適用が可能である。
また、上述した実施の形態では、端末の向きの検出にジャイロセンサを使用したが、その他のセンサを検出して向きを検出してもよい。即ち、カメラが内蔵された端末の撮影時の天頂方向（或いは地面方向）などの特定の方向が判るセンサであれば、どのようなセンサでもよい。また、このセンサは専用のセンサでなくてもよく、携帯電話端末などの端末が、その端末自身の動きを検出するために内蔵されたセンサを利用してもよい。
また、上述した実施の形態では静止画像データを得る処理について説明したが、動画像を撮像して保存して出力する場合にも適用可能である。

１００…携帯電話端末、１０１…制御部、１０２…通信回路、１０３…表示部、１０４…操作部、１０５…メモリ、１０６…アンテナ、１０７…スピーカ、１０８…マイクロホン、１０９…ジャイロセンサ、１１０…音声処理部、１５０…制御ライン、１６０…データライン、２０１…カメラ、２０２…撮像制御部、３０１…接続コネクタ部

Claims (6)

1. 被写体を撮像して画像信号を出力するカメラ部と、
   前記カメラ部を収納した筐体の向きを検出する筐体向き検出部と、
   前記カメラ部が得た画像信号を記憶する際に、その画像信号を前記カメラ部が得る際に前記筐体向き検出部が検出した向きの情報を付加して記憶するメモリと、
   前記メモリに記憶された画像信号を読み出す際に、この読み出す画像信号に付加された向きの情報を用いて、読み出した画像信号の表示方向を変換する補正処理を選択的に行う制御部と、
   前記補正処理を行った画像信号を外部機器に出力する外部出力部とを備え、
   前記制御部は、ユーザ操作によりオンが選択された状態で、撮影時の筐体の向きが、画像信号で示される画像を第１の状態に表示させる向きのとき、画像の表示方向を回転させる前記補正処理を行い、ユーザ操作によりオンが選択された状態で、撮影時の筐体の向きが、画像信号で示される画像を前記第１の状態とは異なる第２の状態に表示させる向きのとき、前記補正処理を行わず、ユーザ操作によりオフが選択された状態のとき、撮影時の筐体の向きに係わらず前記補正処理を行わない
   携帯端末。
2. 前記第１の状態は、画像を縦長に表示させる筐体の向きであり、前記第２の状態は、画像を横長に表示させる筐体の向きであり、
   前記補正処理で画像の表示方向を９０°回転させる
   請求項１に記載の携帯端末。
3. 前記第１の状態は、前記第２の状態に対して１８０°回転した筐体の向きであり、
   前記補正処理で画像の表示方向を１８０°回転させる
   請求項１に記載の携帯端末。
4. 被写体を撮像して画像信号を出力する撮像処理と、
   前記撮像処理時の自端末の向きを検出する筐体向き検出処理と、
   前記筐体向き検出処理で検出した向きの情報を付加して、前記撮像処理で得た画像信号を記憶する記憶処理と、
   前記記憶処理で記憶された画像信号を読み出す際に、この読み出す画像信号に付加された向きの情報を用いて、読み出した画像信号の表示方向を変換する補正を選択的に行う補正処理と、
   前記補正処理を行った画像信号を外部機器に出力する外部出力処理とを行う画像方向補正方法であり、
   ユーザ操作によりオンが選択された状態で、撮影時の筐体の向きが、画像信号で示される画像を第１の状態に表示させる向きのとき、画像の表示方向を回転させる前記補正処理を行い、ユーザ操作によりオンが選択された状態で、撮影時の筐体の向きが、画像信号で示される画像を前記第１の状態とは異なる第２の状態に表示させる向きのとき、前記補正処理を行わず、ユーザ操作によりオフが選択された状態のとき、撮影時の筐体の向きに係わらず前記補正処理を行わないようにした
   画像方向補正方法。
5. 前記第１の状態は、画像を縦長に表示させる筐体の向きであり、前記第２の状態は、画像を横長に表示させる筐体の向きであり、
   前記補正処理で画像の表示方向を９０°回転させる
   請求項４に記載の画像方向補正方法。
6. 前記第１の状態は、前記第２の状態に対して１８０°回転した筐体の向きであり、
   前記補正処理で画像の表示方向を１８０°回転させる
   請求項４に記載の画像方向補正方法。

Images