JP5088077B2

JP5088077B2 - カメラ付携帯通信端末

Info

Publication number: JP5088077B2
Application number: JP2007259965A
Authority: JP
Inventors: 佐紀子掛樋
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2007-10-03
Filing date: 2007-10-03
Publication date: 2012-12-05
Anticipated expiration: 2027-10-03
Also published as: JP2009089331A

Description

本発明は、２つのカメラを有するカメラ機能付き携帯通信端末において、２つのカメラで同時に撮影した画像を取得し処理することで、パノラマ画像またはステレオ画像を生成する技術に関する。

携帯電話機等の携帯通信端末に、２つまたはそれ以上のカメラを搭載し、これらのカメラで同時に撮影した画像を用いることにより、パノラマ撮影、あるいは立体撮影（ステレオ撮影）を可能にする技術が特許文献１〜４等で提案されている。

特許文献１に記載の携帯型通信装置では、回動軸により折畳み可能に構成された第１及び第２の筐体の長手方向両端に第１，第２回動軸を軸として回動可能な第１，第２カメラを設け、この第１，第２カメラによって、ステレオ立体画像を作成するための画像撮影、あるいはパノラマ画像を作成するための画像撮影を可能にしている。

特許文献２に記載の携帯通信端末では、それぞれ所定の撮影エリア（画角）を撮影可能な３つのセンサを、携帯電話端末の背面部と両側面部に搭載し、これらのセンサで撮影した画像データをデータ処理回路でつなぎ合わせ、パノラマサイズに画像処理して表示する技術が記載されている。

特許文献３に記載の携帯型情報端末機では、回動軸により折畳み可能に構成された第１及び第２の筐体の長手方向両端に第１，第２回動軸を軸として回動可能な第１，第２カメラを設けるとともに、この第１，第２回動軸を、端末機折り畳み用の回動軸と連動して回動させることにより、筐体の開き角度が変化しても常に一定の撮影範囲でパノラマ撮影、あるいはステレオ撮影を行うことを可能にする技術が記載されている。

特許文献４に記載の携帯機器では、回動軸により折畳み可能に構成された第１及び第２の筐体の長手方向の同一面に、第１，第２撮影光学系を設け、この第１，第２撮影光学系によって、ステレオ立体画像を作成するための画像撮影、あるいはパノラマ画像を作成するための画像撮影を可能にしている。

特開２００３−０５１８７２号公報特開２００４−１５９０１４号公報特開２００５−０８０２１０号公報特開２００５−２６６０２３号公報特開２００７−２０１７２７号公報特開２００３−１７４４９５号公報特開２００５−２７７７７５号公報特開２００３−１９８６７６号公報

上記特許文献１〜４に記載された発明では、パノラマ撮影あるいはステレオ撮影を行うための専用のカメラを付加する、あるいは、カメラ組込み部に回転機構を持たせるなど、パノラマ撮影あるいはステレオ撮影を行うために携帯通信端末に特殊な機構を持たせる必要が生じ、その分構造設計が複雑となり、コストも上昇するという問題がある。

一方、近年の携帯電話の技術動向として、端末筐体の前面と背面にそれぞれカメラを搭載し、背景等の撮影には主に筐体の背面に配置されたカメラを用い、またテレビ電話等として使用する場合には筐体の前面に配置されたカメラでユーザ自身を撮影できるようにしたもの（例えば特許文献２の図６、特許文献５等参照）が多くなっている。

また折り畳み式の携帯電話機では、折畳みヒンジ軸と直交する軸の周りに一方の筐体を１８０度回動可能とする２軸ヒンジ機構を備えることにより、折りたたまれた状態においても、表示画面を表側にして使用できるようにしたもの（例えば特許文献６〜７等参照）も出てきている。また折り畳み式の携帯電話機において、メインの表示部を備えた筐体の背面にサブの表示部を設けることにより使い勝手を向上させたもの（例えば特許文献８等参照）も多く普及している。

本発明の目的は、これらの技術動向等を活用することにより、安価にパノラマ撮影あるいはステレオ撮影を行うことができるカメラ付携帯通信端末を提供することにある。

本発明のカメラ付携帯通信端末は、ヒンジ軸により開閉可能に締結された第１および第２の筐体と、開状態における前記第１の筐体の前面に設置された第１のカメラおよび開状態における前記第２の筐体の背面に設置された第２のカメラを備えるとともに、該第１および第２のカメラを用いてパノラマ撮影を可能にするパノラマ撮影手段を備えたことを特徴とする。

また本発明のカメラ付携帯通信端末は、ヒンジ軸により開閉可能に締結された第１および第２の筐体と、開状態における前記第１の筐体の前面に設置された第１のカメラおよび開状態における前記第２の筐体の背面に設置された第２のカメラを備えるとともに、該第１および第２のカメラを用いてステレオ撮影を可能にするステレオ撮影手段を備えたことを特徴とする。

即ち本発明は、最近のカメラ付携帯通信端末が多く備えている、端末筐体の前面と背面にそれぞれ搭載された２つのカメラを有する構成、およびヒンジ軸により互いに折畳み可能に構成された２つの筐体を備えた携帯通信端末に着目し、該２つの筐体に対する２つのカメラの設置位置関係およびヒンジ機構とを機能的に組み合わせたことを特徴とし、それにより、パノラマ撮影あるいはステレオ撮影を行うための専用のカメラを付加する、あるいは広画角レンズや高画素なカメラモジュールを用いることなく、カメラ付携帯通信端末備え付けの安価なモジュールの組み合わせで、パノラマ撮影あるいはステレオ撮影を可能にする構成としたことを特徴とするものである。

本発明では、カメラ付携帯通信端末に備えられている２つのカメラを利用してパノラマ撮影あるいはステレオ撮影を可能にしているので、カメラ付携帯通信端末によるパノラマ撮影あるいはステレオ撮影を、安価に実現することができる。

また、パノラマ撮影あるいはステレオ撮影用の特殊なレンズ、カメラモジュール、あるいは特殊な機構を用いないで実現可能であるので、携帯通信端末へ容易に組込むことができる。

図１は、本発明の第１の実施形態を示すカメラ付き携帯通信端末の概観図であり、図１(a)はこの携帯通信端末を開状態にして表面側から観た図、図１(b)は開状態にして背面側から観た図、図１(c)は表示部を備えた上部筐体をヒンジ軸と直交する軸の周りに１８０度回転させて逆開状態としたときの概観図をそれぞれ示している。

本実施形態によるカメラ付き携帯通信端末は、キー(103)を有する筐体(102)と、前面にメイン表示部(105)を有し背面にサブ表示部(110)を有する筐体(101)が、２軸ヒンジ機構を有するヒンジ部(108)により結合されている。本実施形態では、前面にキー(103)を有する筐体(102)の裏側（背面）にカメラセンサ(107)を搭載し、また、メイン表示部(105)を有する筐体(101)前面にカメラセンサ(106)を搭載する。なお、カメラセンサ(106)を、サブ表示部(110)を有する筐体(101)裏側（背面）に搭載し、カメラセンサ(107)を、キー(103)を有する筐体(102)のキー面(104)側（前面）に搭載する構成としても良い。

本実施形態によるカメラ付き携帯通信端末を用いて、パノラマ撮影あるいはステレオ撮影を行うときには、表示部(105)、(110)を有する筐体(101)を、２軸ヒンジ機構を有するヒンジ部(108)により、この携帯通信端末を折畳むための回動軸と直交する軸(109)の周りに１８０度回転させることにより、カメラセンサ(106)とカメラセンサ(107)が図１(c)に示す位置関係となるように設定する。これにより、パノラマ撮影あるいはステレオ撮影が可能な状態に設定される。

図２は、本実施形態の２つのカメラを備えた携帯通信端末における本発明と関連する構成例を示す要部ブロック図である。

キー操作部(205)は、使用者がカメラの起動、撮影、保存処理を入力する装置である。カメラセンサ(201)とカメラセンサ(202)は、図１のカメラセンサ(106)とカメラセンサ(107)に対応し、撮影を行う装置である。カメラセンサ(201)はデータバス(208)を介して画像処理部(203)とデータをやりとりする。カメラセンサ(202)はデータバス(209)を介して画像処理部(203)とデータをやりとりする。表示部(206)は、図１のメイン表示部(105)およびサブ表示部(110)を含む構成として示している。

画像処理部(203)は、カメラセンサ(201)とカメラセンサ(202)で撮影された画像データのサイズ補正やパノラマ合成などの加工処理を行う。ＣＰＵ(204)は、キー操作部(205)から入力された操作により、カメラセンサ(201)，(202)に対し撮影命令やデータ転送命令、画像処理部(203)に対し画像処理命令やデータ転送命令、メモリ部(207)への保存処理を行う。

図２においてキー操作部(205)により撮影操作が行われた場合、ＣＰＵ(204)からの命令によりカメラセンサ(201)とカメラセンサ(202)で同時に撮影が行われ、カメラセンサ(201)はデータバス(208)を介して画像処理部(203)に撮影画像データを転送し、カメラセンサ(202)はデータバス(209)を介して画像処理部(203)に撮影画像データを転送する。

画像処理部(203)は、カメラセンサ(201)とカメラセンサ(202)から転送された画像データのパノラマ合成処理を行い、パノラマ画像を作成する。その際、カメラセンサ(201)とカメラセンサ(202)で撮影された画像サイズが異なる場合は、画像処理部(203)で大きさを揃えるサイズ補正処理を行った後、パノラマ合成を行う。

作成されたパノラマ画像は画像処理部(203)からＣＰＵ(204)を介して表示部(206)に表示される。また、キー操作部(205)から保存操作が入力されたときには、作成されたパノラマ画像を画像処理部(203)からＣＰＵ(204)を介してメモリ部(207)に転送し、格納する。

図３は、本実施形態によるパノラマ撮影および画像処理動作を示すイメージ図である。

パノラマ撮影時には、本実施形態のカメラ付携帯通信端末を図１(c)の状態に設定するとともにパノラマ撮影モード指定を行う。そしてメイン表示部(305)あるいはサブ表示部(310)に表示されたプレビューを見ながら撮影ボタンを押下することにより、キー(303)を備えている筐体(302)の背面に配置されたカメラセンサ(307)と、メイン表示部(305)およびサブ表示部(310)を備えている筐体(301)の前面に配置されたカメラセンサ(306)により、撮影エリア甲(311)と撮影エリア乙(312)を同時に撮影する。

撮影された画像データは、取得画像甲(313)と取得画像乙(314)として画像処理部(203)へ送出される。画像処理部(203)は、入力された取得画像甲(313)と取得画像乙(314)の合成処理を行い、パノラマ合成画像(315)を作成する。

なお撮影ボタンは、筐体(302)のキー(303)を兼用する、あるいは筐体(302)の側面に設ける等適宜の位置に配置することができる。また撮影時のプレビュー表示は、景色あるいは第三者を撮影する場合には、サブ表示部(310)に表示させ、バックのパノラマ風景に自分を入れた写真を撮影する場合には、メイン表示部(305)に表示させる。またメモリへ格納するための確認画像の表示の際にはメイン表示部(305)に表示させるように設定する。

プレビュー表示する表示部の切替え設定は、キー走査部(303)からの所定のキー走査により行うことができる。このように、パノラマ撮影シーンに応じてプレビュー表示を行う表示部を切替え設定することにより、プレビュー表示で確認しながら撮影ボタンを押下することが可能であり、メイン表示部(305)とサブ表示部(310)をパノラマ撮影時にも有効に活用することができる。

図４は、本実施形態におけるパノラマ画像撮影処理の実施例を示すフローチャートである。本実施例の動作について、主に図２、図４を参照して説明する。

本実施形態のカメラ付携帯通信端末を図１(c)の状態に設定するとともにカメラパノラマモードが指定されると、カメラパノラマモードが開始され（Ｓ４０１）、まず、カメラセンサ(201)とカメラセンサ(202)が起動（Ｓ４０２）されて、表示部(206)にカメラセンサ(201)とカメラセンサ(202)のプレビュー映像が表示（Ｓ４０３）される。撮影ボタンが押下（Ｓ４０４，ＹＥＳ）された場合、カメラセンサ(201)とカメラセンサ(202)で同時に撮影・画像取得（Ｓ４０５）が行われる。その後、取得画像を画像処理部(203)で画像サイズの補正・パノラマ合成処理（Ｓ４０６）が施され、生成されたパノラマ画像が表示部(206)に表示される（Ｓ４０７）。

キー操作部(205)にて保存実行（Ｓ４０８，ＹＥＳ）が入力された場合、ＣＰＵ(204)を介して画像処理部(203)で生成されたパノラマ画像がメモリ部(207)に保存され（Ｓ４０９）、カメラ終了の確認（Ｓ４１０）が行われる。保存実行されなかった場合（Ｓ４０８，ＮＯ）、パノラマ合成された画像データは破棄され（Ｓ４１１）、カメラ終了の確認（Ｓ４１０）が行われる。キー操作部(205)でカメラ終了が実行された場合（Ｓ４１０，ＹＥＳ）、カメラパノラマモードを終了する（Ｓ４１２）。カメラ終了が実行されなかった場合（Ｓ４１０，ＮＯ）、プレビュー映像表示（Ｓ４０３）に戻る。

本実施例のプレビュー映像表示は、図８(a)に示すように、プレビュー画像表示画面(801)内に、図３で示すカメラセンサ(301)で撮られている撮影エリア甲の映像表示枠(802)とカメラセンサ(302)で撮られている撮影エリア乙の映像表示枠(803)を合成せずに横に並べて表示する。このようにプレビュー映像表示はパノラマ合成処理を行わない映像を表示することで、プレビュー中の画像処理部(203)の負荷を軽減させることが出来る。撮影後の画像表示画面(804)では、図８(b)に示すように、パノラマ合成画像(805)を表示させることで、パノラマ合成画像を確認できる。

図５は、本実施形態におけるパノラマ画像撮影処理の他の実施例を示すフローチャートである。

本実施例の基本的構成は図４に示す実施例と同様であるが、本実施例では、カメラ起動（Ｓ５０１）直後からシャッターボタンが押される（Ｓ５０５）までの間、カメラから出力される画像データを毎フレーム、パノラマ合成処理（Ｓ５０３）を実行することによりプレビュー中から図８(b)に示すパノラマ画像を表示する。

本実施例の構成を採用した場合、プレビュー中の画像処理部(203)の負荷は増えるが、シャッターボタンを押す前に、撮影されるパノラマ画像のイメージを確認することができるので、所望のパノラマ撮影画像を容易に取得することができ、無駄な撮影を減らす効果がある。なお、本実施例の動作は、プレビュー中にパノラマ合成画像を表示する点を除けば、図４に示す実施例の動作と同様であるので、詳細な動作説明は省略する。

図６は、本実施形態における立体（ステレオ）画像撮影処理の実施例を示すフローチャートである。

本実施例の基本的構成は図４に示す実施例と同様であるが、本実施例においては、画像処理部(203)は、カメラセンサ(201)とカメラセンサ(202)で撮影された画像データに対して、立体（ステレオ）合成処理（Ｓ６０６）を行うことにより、本実施形態の携帯通信端末で立体画像撮影を行うことができるようにしている。

ステレオ撮影の場合には、カメラセンサ(201)とカメラセンサ(202)で撮影された画像データはほぼ同一の撮影エリアとなるので、ステレオ撮影時のプレビュー表示は、カメラセンサ(201)とカメラセンサ(202)で撮影された画像データのうちのいずれか一方の映像のみを表示部(206)に表示するように構成することができる。本実施例の動作は、ステレオ撮影であるかパノラマ撮影であるかの違いを除けば、図４に示す実施例の動作とほぼ同様であるので、詳細な動作説明は省略する。

図７は、本発明の第２の実施形態を示すカメラ付き携帯通信端末の概観図であり、図７(a)はこの携帯通信端末を開状態にして表面側から観た図、図７(b)は開状態にして背面側から観た図、図７(c)はこの携帯通信端末を閉状態にしたときの２つのカメラセンサの位置関係を示す図、図７(d)は本実施形態によるパノラマ撮影時のイメージをそれぞれ示している。

本実施形態によるカメラ付き携帯通信端末は、キー(703)を有する筐体(702)と、前面にメイン表示部(705)を有し背面にサブ表示部(710)を有する筐体(701)が、ヒンジ部(708)により折畳み可能に結合されている。前面にキー(703)を有する筐体(702)の裏側（背面）にはカメラセンサ(707)が搭載され、メイン表示部(705)を有する筐体(701)前面にはカメラセンサ(706)が搭載されている。

本実施形態においては、筐体(701)を筐体(702)よりも長く構成するとともに、筐体(701)の前面に設置したカメラセンサ(706)を、ヒンジ部(708)のヒンジ軸から筐体(702)の長さ以上離れた位置に配置する必要がある。これにより、ヒンジ部(708)によりこのカメラ付き携帯通信端末が折り畳まれた状態（閉状態）のとき、図７(c)に示すように、筐体(701)に設置されたカメラセンサ(706)と筐体(702)の裏側（背面）に設置されたカメラセンサ(707)が同方向に向いてそれぞれ撮影可能な状態となり、図７(d)に示すように、パノラマ撮影あるいはステレオ撮影が可能となる。

また本実施形態の場合には、プレビュー表示用のファインダーとして、サブ表示部(710)を利用することができる。本実施形態の構成によれば、ヒンジ部(708)として２軸ヒンジを用いる必要がないので、より簡単な構成で安価に、パノラマ撮影あるいはステレオ撮影が可能なカメラ付き携帯通信端末を提供することができる。

なお本実施形態においても、カメラセンサ(706)を、サブ表示部(710)を有する筐体(701)裏側（背面）に搭載し、カメラセンサ(707)を、キー(703)を有する筐体(702)のキー面(704)側（前面）に搭載する構成としても良い。

その場合には、筐体(702)を筐体(701)よりも長く構成するとともに、カメラセンサ(706)は、筐体(701)裏側（背面）のヒンジ部(708)に近い位置に設置し、カメラセンサ(707)は、ヒンジ部(708)のヒンジ軸から筐体(701)の長さ以上離れた位置に配置する。したがってヒンジ部(708)によりこのカメラ付き携帯通信端末が折り畳まれた状態（閉状態）のとき、筐体(701)の背面に設置されたカメラセンサ(706)と筐体(702)の前面に設置されたカメラセンサ(707)がほぼ同方向に向けられてそれぞれ撮影可能な状態にする。

なお、上記実施形態におけるカメラセンサと画像処理部との接続では、カメラセンサ(201)はデータバス(208)を介して画像処理部(203)に撮影画像データを転送し、カメラセンサ(202)はデータバス(209)を介して画像処理部(203)に撮影画像データを転送する構成を採用しているが、図９に示すように、各カメラセンサ(901)、(902)での撮影タイミングをずらし、撮影した画像を順次転送する構成とすることにより、カメラセンサと画像処理部との接続を共有のデータバス(908)で実現することができる。

また図１０に示すように、カメラセンサ毎にデータを保持するバッファ(1009)，(1010)を持たせ、２つのカメラセンサ(1001)，(1002)で同時に撮影した画像をそれぞれのバッファ(1009)，(1010)に一旦保持し、各バッファ(1009)，(1010)内のデータを画像処理部(1003)に順次転送することでデータバス(1008)を共有させることもできる。

本発明の第１の実施形態を示すカメラ付き携帯通信端末の概観図である。第１または第２実施形態のカメラ付携帯通信端末における要部構成例を示すブロック図である。本実施形態によるパノラマ撮影および画像処理動作を示すイメージ図である。本実施形態におけるパノラマ画像撮影処理の実施例を示すフローチャートである。本実施形態におけるパノラマ画像撮影処理の他の実施例を示すフローチャートである。本実施形態における立体（ステレオ）画像撮影処理の実施例を示すフローチャートである。本発明の第２の実施形態を示すカメラ付き携帯通信端末の概観図である。プレビュー映像表示および合成映像表示の例を示すイメージ図である。第１または第２実施形態のカメラ付携帯通信端末における他の要部構成例を示すブロック図である。第１または第２実施形態のカメラ付携帯通信端末における更に他の要部構成例を示すブロック図である。

符号の説明

101,102,301,302,701,702 筐体
103,303,703 キー
104,704 キー面
105,305,705 メイン表示部
106,107,201,202,306,307,706,707,901,902,1001,1002 カメラセンサ
108 ２軸ヒンジ
109 折畳みヒンジ軸と直交する方向軸
110,310,710 サブ表示部
203,903,1003 画像処理部
204,904,1004 ＣＰＵ
205,905,1005 キー操作部
206,906,1006 表示部
207,907,1007 メモリ部
208,209,908,1008 データバス

Claims

ヒンジ軸により開閉可能に締結された第１および第２の筐体と、開状態における前記第１の筐体の前面に設置された第１のカメラおよび開状態における前記第２の筐体の背面に設置された第２のカメラと、前記第１および第２の筐体のいずれか一方の筐体の前面に配置されたメイン表示部と、該筐体の背面に配置されたサブ表示部とを備えるとともに、該第１および第２のカメラを用いてパノラマ撮影を可能にするパノラマ撮影手段を備え、
パノラマ撮影時のプレビュー表示を、前記メイン表示部または前記サブ表示部に表示するプレビュー表示手段であって、パノラマ撮影時のプレビュー表示を、パノラマ撮影シーンに応じて前記メイン表示部または前記サブ表示部に切替え設定するプレビュー表示手段を備えていることを特徴とするカメラ付携帯通信端末。
前記パノラマ撮影手段は、前記第１および第２の筐体のいずれか一方を前記ヒンジ軸と直交する軸の周りに１８０度回転させる筐体反転機構と、該筐体反転機構により前記第１および第２の筐体のいずれか一方が前記ヒンジ軸と直交する軸の周りに１８０度回転された逆開状態において前記第１および第２のカメラで撮影された映像からパノラマ画像を生成するパノラマ画像生成処理部を有していることを特徴とする請求項１に記載のカメラ付携帯通信端末。
前記第１の筐体の長さは前記第２の筐体よりも長く構成されるとともに、前記第１の筐体前面に設置された第１のカメラは、前記ヒンジ軸から前記第２の筐体の長さ以上離れた位置に配置され、前記パノラマ撮影手段は、前記ヒンジ軸により前記第１および第２の筐体を閉状態にして前記第１および第２のカメラで撮影された映像からパノラマ画像を生成するパノラマ画像生成処理部を有していることを特徴とする請求項１に記載のカメラ付携帯通信端末。
前記メイン表示部は前記第１の筐体の前面に配置されており、前記サブ表示部は前記第１の筐体の背面に配置されており、
前記プレビュー表示手段は、パノラマ撮影時のプレビュー表示を前記サブ表示部に表示することを特徴とする請求項３に記載のカメラ付携帯通信端末。
前記第１の筐体の前面に配置されたキー操作部を備えており、前記メイン表示部は前記第２の筐体の前面に配置されており、前記サブ表示部は前記第２の筐体の背面に配置されており、
前記プレビュー表示手段は、パノラマ撮影時のプレビュー表示を前記サブ表示部に表示することを特徴とする請求項３に記載のカメラ付携帯通信端末。
前記パノラマ撮影時のプレビュー表示手段は、前記第１および第２のカメラで撮影された映像を、前記表示部に並べて表示する機能を有していることを特徴とする請求項４または５に記載のカメラ付携帯通信端末。
前記パノラマ撮影時のプレビュー表示手段は、前記第１および第２のカメラで撮影された映像を合成したパノラマ合成画像を、前記表示部に表示する機能を有していることを特徴とする請求項４または５に記載のカメラ付携帯通信端末。
前記第１および第２のカメラにより撮影された画像データを、それぞれデータバスを介して前記パノラマ画像生成処理部へ転送する手段を備えていることを特徴とする請求項２または３に記載のカメラ付携帯通信端末。
前記第１および第２のカメラでの撮影タイミングをずらす手段と、該第１および第２のカメラにより撮影された画像データを、共通のデータバスを介して前記パノラマ画像生成処理部へ順次転送する手段を備えていることを特徴とする請求項２または３に記載のカメラ付携帯通信端末。
前記第１および第２のカメラにより撮影された画像データをカメラ毎に保持するバッファと、該バッファに保持されたカメラ毎の画像データを、共通のデータバスを介して前記パノラマ画像生成処理部へ順次転送する手段を備えていることを特徴とする請求項２または３に記載のカメラ付携帯通信端末。