JP5267991B2 - 撮影位置及び撮影姿勢を記録する画像撮影装置とその処理方法 - Google Patents

Description

本発明は、撮影画像と共に撮影位置及び撮影姿勢を出力する画像撮影装置とその処理方法に関し、特に撮影位置や撮影姿勢を高精度かつ効率よく取得する技術に関する。

近年、携帯電話端末の高機能化が進んでおり、ほとんどの機種においてインターネットに接続するデータ通信機能や、デジタルカメラと同様の機能を備えたカメラ機能を備えている。さらに、端末位置をＧＰＳによって測定する位置測定機能や、端末の傾き等を検出する機能を備える機種もある。

カメラ機能を用いて、撮影した画像をインターネット上のサーバ装置にアップロードすることは画像掲示板などにおいてしばしば利用されている。さらに本件出願人は、携帯電話端末の位置測定機能や端末の傾きを検出する機能を利用して、撮影した写真と、撮影位置、撮影の方位、仰角などをサーバ装置に送ることを提案している。（非特許文献１）
このようなシステムを用いると、サーバ装置に格納する地図と、写真を組み合わせて、地図上の各地点からどのような風景をみることができるのか、簡易に表示することができる。

しかしながら、各機能はそれぞれ別な目的で備えられたものであり、本システムの利用には撮影者が各機能を別々に実行した後、各情報をまとめてサーバ装置に送信する操作が必要であった。
この方法は煩雑であるだけでなく、位置測定や方位、仰角等の情報に誤差が生じやすいという問題がある。すなわち各機能を呼び出す操作や、各機能の実行処理にはそれぞれ時間を要するため、撮影者が意識して端末を動かさないようにしていないと撮影時と測定時とで位置や向きが変わってしまう。

特に、携帯電話端末に限らず、ＧＰＳによる位置測定は人工衛星からの信号の受信やその解析に短くても１０秒ないし数十秒程度の時間を要するため、画像の撮影と位置測定とを組み合わせる装置においては、上記の問題の解決が欠かせない。

同様の機能を備えた装置としては、特許文献１に記載の測位装置付きの電子カメラや、特許文献２に記載の撮影位置・方向付き写真提供用ＩＣカードなどがある。
また、特許文献３には、こうした装置における撮影対象位置情報付与方法が開示されている。この特許文献３によれば、撮影装置側でＧＰＳ機能にて自己の位置情報を経度・緯度・高度で求め、焦点合わせ機能と方位計と仰角測定器とで撮影対象までの距離・方位・仰角を求め、自己の位置情報と撮影対象までの距離・方位・仰角から撮影対象位置情報を経度・緯度・高度で求め、撮影イメージに、求めた撮影対象の位置情報を記録する、としている。

しかしながら、携帯電話端末のように並行処理が行われず、各機能を順に実行処理しなければならない場合にはこのような方法は用いることができない。また、仮に並行処理ができたとしても、ＧＰＳによる測定等に時間がかかる点は変わらないため、上記の方法では撮影まで時間がかかり使用性が好ましくない問題が残る。

特開平9-247512号公報 特開2006-314066号公報 特開2005-311939号公報

Rieko Kadobayashi, A Gaze-based Guidance System based on aReal-world 3D Photo Logging System, in Proceedings of the Joint Workshop MobileInteraction with the Real World and 5th Workshop on "HCI in MobileGuides",pp. 37-40, 2007年9月

本発明は、上記従来技術の有する問題点に鑑みて創出されたものであり、撮影画像に撮影位置及び撮影姿勢を合わせて出力する際に、それらの情報が撮影された画像と誤差がなく、かつユーザが意識せずに簡便に使用することのできる画像撮影装置及びその処理方法を提供することを目的とする。

上記課題を解決するため、本発明は次のような画像撮影装置を提供する。
すなわち、撮影画像と共に撮影位置及び撮影姿勢を出力する画像撮影装置であって、位置測位を行う位置測定手段と、画像撮影装置の方位及び仰角を含む撮影姿勢を検出する撮影姿勢検出手段と、画像を撮影し、記憶手段に撮影画像を記録する撮像手段と、撮像手段の動作状態を検出すると共に位置測定手段及び撮影姿勢検出手段をそれぞれ制御する情報取得制御手段とを少なくとも備える。
そして、情報取得制御手段が、撮像手段の動作状態として撮像処理が終了したことを検出し、使用者に対して撮影姿勢を検出することを通知し、使用者の了解を受理した直後に、撮影姿勢を検出する制御を行い、該撮影姿勢の検出が完了した直後に、該位置測定手段が位置測位を行う制御を行ない、撮影画像毎に、その撮影時の撮影位置及び撮影姿勢を関連づけて出力することを特徴とする。
ここで、位置測定手段として少なくとも衛星測位手段を用いることもできる。

上記情報制御取得手段が、撮像処理が終了したことを検出した直後に、撮影姿勢検出手段が撮影姿勢を検出する制御を行い、次いで位置測定手段が位置測位を行う制御を行なう構成でもよい。このような順に制御を行った後、撮影画像毎にその撮影時の撮影位置及び撮影姿勢を関連づけて出力することができる。

上記の画像撮影装置が、通信ネットワークに接続して前記撮影画像を所定のサーバ装置に送信可能な構成において、通信ネットワークに接続する通信手段と、上記の撮影画像、撮影位置、撮影姿勢とをサーバ装置に送信する送信手段とを備える構成でもよい。

上記の画像撮影装置が、撮影画像に係る記事を受理する記事受理手段を備え、上記送信手段が、受理した該記事を含めて送信する構成でもよい。

本発明は、次のような画像撮影処理方法を提供することもできる。
すなわち、撮影画像と共に撮影位置及び撮影姿勢を出力する画像撮影処理方法であって、次の各ステップを有する。
（Ｓ１０）撮像手段が画像を撮影し、記憶手段に撮影画像を記録する撮像ステップ
（Ｓ１１）使用者に対して撮影姿勢を検出することを通知し、使用者の了解を受理するステップ
（Ｓ１２）撮像ステップの後に、撮影姿勢検出手段が該画像撮影装置の方位及び仰角を含む撮影姿勢を検出する撮影姿勢検出ステップ
（Ｓ１３）撮影姿勢検出ステップの後に、位置測定手段が位置測位を行う位置測定ステップ
（Ｓ１４）撮影画像毎に、その撮影時の撮影位置及び撮影姿勢を関連づけて出力する出力ステップ
上記位置測定ステップにおいて、位置測定手段として少なくとも衛星測位手段を用いる構成でもよい。

上記画像撮影処理方法において、出力ステップ（Ｓ１３）において、送信手段が、上記の撮影画像、撮影位置、撮影姿勢の組み合わせを通信ネットワークで接続される所定のサーバ装置に送信することもできる。

上記画像撮影処理方法において、位置測定ステップ（Ｓ１２）の後に、
記事受理手段が撮影画像に係る記事を受理する記事受理ステップ
を含むことができる。そして、上記出力ステップ（Ｓ１３）において、送信手段が、受理した該記事を含めて送信する構成でもよい。

本発明は、以上の構成を備えることにより、次の効果を奏する。
すなわち、情報取得制御手段が、撮像画像の動作状態を検出することで撮影の終了を契機として、撮影姿勢検出手段が撮影姿勢を検出する制御を行うことができる。さらに位置測定手段が位置測位を行うことができる。
このような構成によってユーザが意識することなく撮影と、位置測定や姿勢検出を自動的に行うことができる。

また、撮影姿勢を撮影の直後とすることで、撮影後に姿勢を保たなければならない時間を最低限にとどめ、ユーザの負担を軽減すると共に、誤った姿勢検出を防止することができる。
さらに、時間のかかる位置測定を最後に行うことで、ユーザは楽な姿勢で測定を待つことができる。

画像撮影装置が、通信ネットワークに接続して撮影画像を所定のサーバ装置に送信する構成とすることで、本発明装置を持つ多くのユーザから様々な撮影画像を集積することができる。

画像撮影装置が、撮影画像に係る記事を受理する記事受理手段を備えることにより、撮影画像と共に記事を、サーバ装置に送信することができる。

本発明の画像撮影装置の構成図である。 本発明の画像撮影処理方法のフローチャートである。 本発明の画像撮影処理方法（具体的実施例１）のフローチャートである。 本発明の画像撮影処理方法（具体的実施例２）のフローチャートである。

以下、本発明の実施形態を、図面に示す実施例を基に説明する。なお、実施形態は下記に限定されるものではない。
図１は本発明に係る画像撮影装置（１）の構成図である。本実施例では、本装置（１）を公知の携帯電話端末に実装する例として説明する。携帯電話端末は、周知のように様々な処理を行うＣＰＵ（１０）がメモリと協働して動作する。本装置（１）はインターネット（２０）への接続が可能であり、そのための通信アダプタ（１１）を備えている。なお、通信アダプタ（１１）は、携帯電話網に接続するためのアンテナと通信モジュールからなり、実際には該携帯電話網におけるパケットが交換局を経てインターネットと送受信されるが、詳細な構成は説明を省略する。

本装置（１）には、ＣＭＯＳセンサ等と画像処理回路等からなるカメラ（１２）、ダイヤルボタンなどのキーボード（１３）、本装置（１）の姿勢を検出する姿勢センサ（１４）、ＧＰＳ衛星からの電波を受信するＧＰＳアンテナ（１５）、撮影した画像などを保存する画像記憶部（１６）を備えている。

ＣＰＵ（１０）には、ＧＰＳアンテナで受信した信号を処理するＧＰＳ処理部（１０１）、姿勢センサ（１４）の信号処理を行う姿勢センサ処理部（１０２）、カメラ（１２）で取得した画像データを処理する撮像処理部（１０３）、ＧＰＳ処理部（１０１）や姿勢センサ処理部（１０２）の動作を制御する情報取得制御部（１０４）を少なくとも備える。
この他、後述の実施例の通り記事受理部（１０５）と送信部（１０６）を備えてもよい。

本装置（１）は上記の構成により図２に示すフローチャートの処理を行う。
すなわち、まずユーザのキーボード（１３）の操作によりカメラ（１２）及び撮像処理部（１０３）からなる撮像手段が画像撮影を行う（撮像ステップ：Ｓ１０）。
撮影された画像は、画像記憶部（１６）に格納される。

次に情報取得制御部（１０４）は撮像処理部（１０３）から撮影が完了した旨の通知を受けて、姿勢センサ処理部（１０２）に対してその時点の本装置（１）の姿勢を検出するように指示する。
姿勢センサ処理部（１０２）は、姿勢センサ（１４）から撮像時の撮影姿勢に関する姿勢情報を取得する（撮影姿勢検出ステップ：Ｓ１１）。

ここで、姿勢とは本装置（１）の傾きや方位など所定の位置における角度情報や、本装置（１）の両側部の高さの違いを長さで表した偏差情報を指し、姿勢情報から撮影時の仰角、向きなどを測定するために用いる。
姿勢センサ（１４）には公知の任意のセンサを用いることができる。
なお、方位に関しては、ＧＰＳ処理部（１０１）から取得することもできるが、ここでは機能的に分類して姿勢センサ処理部（１０２）から取得することもできる。

姿勢センサ（１４）による姿勢の検出は１秒以下の短時間で終了するため、ユーザは上記撮像ステップ（Ｓ１０）で被写体にカメラ（１２）を向けたままの姿勢で短時間保持すれば、正確な姿勢を検出することができる。

姿勢の検出が完了すると、情報取得制御部（１０４）はＧＰＳ処理部（１０１）に対して現在の本装置（１）の位置を測定するように指示する。
ＧＰＳ処理部（１０１）はＧＰＳアンテナ（１５）で複数の衛星からの信号を受信してその信号処理により現在地を算出する。（位置測定ステップ：Ｓ１２）本処理は公知であるので詳細な説明は省略する。
なお、携帯電話端末の場合には、基地局の情報など他の情報も用いて正確な現在地を算出している。本発明は位置検出手段として任意の技術を用いることができる。

ＧＰＳ処理部（１０１）における処理は通常数十秒程度を要する。しかし、本発明ではすでに姿勢情報を取得済みのため、ユーザは本装置（１）のカメラの向きを変えてもよく、楽な持ち方でしばらく待てばよいことになる。
特に、歩行程度のスピードであれば位置測定の結果に著しい誤差は生じないため、本発明の手順によれば姿勢、位置ともに正確な測定を行うことができる。

以上の処理を経て、撮影画像毎に、その撮影時の撮影位置と撮影姿勢を関連づけることができる。画像は画像記憶部（１６）に記憶してもよい（出力ステップ：Ｓ１３）。

本発明は、上記構成に加えて出力ステップ（Ｓ１３）においてインターネット上の外部のサーバ装置に、撮影画像を送信することもできる。そのために、インターネット（２０）に接続された画像情報サーバ（２１）を備えておき、位置の検出後に送信部（１０６）から通信手段である通信アダプタ（１１）を介して、該画像情報サーバ（２１）にアップロードする構成でもよい。

このように、画像情報サーバ（２１）に多人数から撮影画像や仰角、方位などを収集することで、各地点におけるさまざまな風景を記録することができる。
さらに、アップロードする画像にコメントを付す構成を提供することもできる。図３には実際の携帯電話端末を用いて記事を送信する際の詳細な処理のフローチャートを示す。

まず、本発明の構成をＣＰＵ（１０）に実行処理させるアプリケーションプログラム（以下、アプリ）を起動する（Ｓ３００）。この操作により、まず撮影開始待ち（Ｓ３０１）の状態となり、ユーザがキーボード（１３）から操作してカメラアプリ起動を指示（Ｓ３０２）すると、カメラアプリが起動（Ｓ３０３）して、カメラ（１２）も作動する。

ユーザがシャッターボタン（キーボード）を押下して撮影（Ｓ３０４）すると、写真が画像記憶部（１６）に自動保存（Ｓ３０５）し、カメラアプリが終了する（Ｓ３０６）。撮影の終了後は姿勢センサ処理部（１０２）によって姿勢測定の処理を開始（Ｓ３０７）する。ここで本装置（１）の表示部には姿勢測定を開始する旨の表示がされ、ユーザがボタンを押下するのを待つ（Ｓ３０８）状態となる。このようにボタンの押下を求めるのは、ユーザが姿勢を変更しないように注意を与え、姿勢検出の準備をさせるためである。

ユーザがボタンを押下すると、姿勢計測（Ｓ３０９）を開始し、数秒以内に計測が終了（Ｓ３１０）する。
次に、本実施例ではブラウザが起動する（Ｓ３１１）。これは、携帯電話端末ではアプリケーションから実装する機能に許可無くアクセスすることを防ぐ設計がされており、ブラウザ上からでなければ位置計測の機能が利用できないためである。従って、このような制約の必要性がなければブラウザ起動は不要である。

位置計測を行うかどうかの確認（Ｓ３１２）により行う（Ｓ３１３）場合には、ＧＰＳ処理部（１０１）による測位（Ｓ３１４）処理に進む。そして、測定精度の目安が画面表示されるため、この結果でよいかの確認（Ｓ３１５）があり、良い場合には、測定結果をサーバに送信（Ｓ３１６）する。携帯電話事業者が設置しているサーバ（Ｓ３１６）ではＧＰＳ情報や、通信している携帯電話基地局の情報などから位置情報を計算する。サーバへ送信後、ブラウザを終了（Ｓ３１７）する。

精度が不適当な場合（Ｓ３１５）には、再び測位処理（Ｓ３１４）に戻る。また、位置計測が不要な場合（Ｓ３１３）にはブラウザの終了（Ｓ３１７）に進む。
サーバで測位位置を計算し、本装置（１）はその結果を取得する（Ｓ３１８）。
ここで、画像記憶部（１６）に保存してあった先の写真を読み込む（Ｓ３１９）。

次に、本発明では記事作成を行うことができる。
公知のようにインターネット上では画像やコメントをアップロードできる掲示板や、ブログ、電子地図上に画像等を表示できるサービスが多用されており、本発明ではそのようなサービスを提供する画像情報サーバ（２１）に、画像とそのコメントとを送信することができる。

そこで、ユーザがキーボード（１３）の操作により記事作成を選択（Ｓ３２０）し、タイトルや本文の入力（Ｓ３２１）を行い、投稿ボタンを押下（Ｓ３２２）すると、投稿内容の確認（Ｓ３２３）が出る。ＯＫの押下（Ｓ３２４）により記事受理部（１０５）が記事を受理して、写真に記事と位置、姿勢情報を付けて保存する（Ｓ３２５）。
そして、これを画像情報サーバ（２１）に送信するか否かの確認（Ｓ３２６）で送信を選択（Ｓ３２７）すると、送信部（Ｓ１０６）から該サーバ（２１）に送信され、完了確認（Ｓ３２８）が表示される。ＯＫの押下（Ｓ３２９）により再び、撮影開始待ち（Ｓ３０１）の状態に戻る。送信しない（Ｓ３２６）場合には、そのまま完了（Ｓ３２８）する。

本発明に係る処理方法によれば、位置や姿勢情報を含む画像を簡便に送信することができ、かつコメントは位置計測まで終了した段階でゆっくりと入力することができる。優れた操作性と、高精度な測定により、画像情報サーバ（２１）には大量の有意義な情報が蓄積できる。

本発明は、情報取得制御手段が、位置測定手段と撮影姿勢検出手段をそれぞれ制御する点に最大の特徴があるため、図４に示すような処理のフローチャートでもよい。
すなわち、まずカメラアプリを起動（Ｓ４００）して撮影（Ｓ４０１）する。このとき、カメラアプリに標準で備えられた測位機能を利用して、測位を選択（Ｓ４０２）する。測位（Ｓ４０３）後、精度に問題がなければ（Ｓ４０４）写真を自動保存（Ｓ４０５）し、カメラアプリを終了（Ｓ４０６）する。

ここまでは通常のカメラアプリを利用して実行する。
そして、本発明に係るアプリを起動（Ｓ４０７）する。まず自動的に撮影した写真の選択（Ｓ４０８）を行ってから、姿勢計測を開始（Ｓ４０９）し、ユーザのボタン押下待ち（Ｓ４１）となる。ユーザがボタンを押下することで姿勢計測（Ｓ４１１）が行われ、自動的に終了（Ｓ４１２）する。

次に、記事の作成（Ｓ４１４）に進むが、Ｓ３２０〜Ｓ３２８の各ステップは、Ｓ４１４〜Ｓ４２２）の各ステップと同様であるから説明を省略する。本フローチャートでは完了確認（Ｓ４２２）の後にアプリを終了（Ｓ４２３）して停止する。

以上のように、本発明は携帯電話や、デジタルカメラ、小型パーソナルコンピュータ、ＰＤＡ等を対象として、撮影画像に加える撮影姿勢、位置などの情報を書き加える技術に関する。本発明の提供により、従来は手作業で操作しなければならなかった各処理部の操作を省略し、かつ最適な順序で自動的に情報の取得を行うので、情報の高精度化にも寄与する。

１ 画像撮影装置
１０ ＣＰＵ
１１ 通信アダプタ
１２ カメラ
１３ キーボード
１４ 姿勢センサ
１５ ＧＰＳアンテナ
１６ 画像記憶部
２０ インターネット
２１ 画像情報サーバ
１０１ ＧＰＳ処理部
１０２ 姿勢センサ処理部
１０３ 撮像処理部
１０４ 情報取得制御部
１０５ 記事受理部
１０６ 送信部

Claims (8)

1. 撮影画像と共に撮影位置及び撮影姿勢を出力する画像撮影装置であって、
   位置測位を行う位置測定手段と、
   該画像撮影装置の方位及び仰角を含む撮影姿勢を検出する撮影姿勢検出手段と、
   画像を撮影し、記憶手段に撮影画像を記録する撮像手段と、
   該撮像手段の動作状態を検出すると共に、該位置測定手段及び該撮影姿勢検出手段をそれぞれ制御する情報取得制御手段と
   を少なくとも備え、
   該情報取得制御手段が、前記撮像手段の動作状態として撮像処理が終了したことを検出し、使用者に対して撮影姿勢を検出することを通知し、使用者の了解を受理した直後に、撮影姿勢を検出する制御を行い、該撮影姿勢の検出が完了した直後に、該位置測定手段が位置測位を行う制御を行ない、
   撮影画像毎に、その撮影時の撮影位置及び撮影姿勢を関連づけて出力する
   ことを特徴とする画像撮影装置。
2. 前記位置測定手段に、少なくとも衛星測位手段を用いる
   請求項１に記載の画像撮影装置。
3. 前記画像撮影装置が、通信ネットワークに接続して前記撮影画像を所定のサーバ装置に送信可能な構成において、
   該通信ネットワークに接続する通信手段と、
   前記撮影画像と前記撮影位置と前記撮影姿勢とを該サーバ装置に送信する送信手段と
   を備えた
   請求項１又は２のいずれかに記載の画像撮影装置。
4. 前記画像撮影装置において、
   前記撮影画像に係る記事を受理する記事受理手段を備え、
   前記送信手段が、受理した該記事を含めて送信する
   請求項３に記載の画像撮影装置。
5. 撮影画像と共に撮影位置及び撮影姿勢を出力する画像撮影処理方法であって、
   撮像手段が画像を撮影し、記憶手段に撮影画像を記録する撮像ステップ、
   使用者に対して撮影姿勢を検出することを通知し、使用者の了解を受理するステップ、
   該撮像ステップの後に、撮影姿勢検出手段が該画像撮影装置の方位及び仰角を含む撮影姿勢を検出する撮影姿勢検出ステップ、
   該撮影姿勢検出ステップの後に、位置測定手段が位置測位を行う位置測定ステップ、
   撮影画像毎に、その撮影時の撮影位置及び撮影姿勢を関連づけて出力する出力ステップ
   を有する
   ことを特徴とする画像撮影処理方法。
6. 前記位置測定ステップにおいて、
   前記位置測定手段に、少なくとも衛星測位手段を用いる
   請求項５に記載の画像撮影処理方法。
7. 前記画像撮影処理方法において、
   前記出力ステップにおいて、
   送信手段が、前記撮影画像と前記撮影位置と前記撮影姿勢とを通信ネットワークで接続される所定のサーバ装置に送信する
   請求項５又は６に記載の画像撮影処理方法。
8. 前記画像撮影処理方法において、前記位置測定ステップの後に、
   記事受理手段が前記撮影画像に係る記事を受理する記事受理ステップ
   を含む構成であって、
   前記出力ステップにおいて、送信手段が、受理した該記事を含めて送信する
   請求項７に記載の画像撮影処理方法。

Images