JP6108732B2 - 携帯端末装置、プログラムおよび状況検知方法 - Google Patents

Description

本発明は、携帯端末装置の状況を検知する技術に関する。

昨今、携帯電話、スマートフォン、電子書籍閲覧端末など、ユーザによって携帯されることを想定したコンピュータ（以下、「携帯端末装置」と総称する。）が広く普及している。また、コンピュータにより提供されるアプリケーションとして、バーチャルリアリティ（仮想現実）を駆使したアプリケーションも出現している。バーチャルリアリティを用いたアプリケーションでは、携帯端末装置が操作者に携帯されることを利用して、現実の操作者の動きを携帯端末装置の動きによって検出し、当該操作者の動きに応じた仮想世界における視野（ディスプレイへの表示）を提供するものがある。また、携帯端末装置の動きから操作者の動きを推定して、道案内のための地図を操作者の動きに合わせてリアルタイムに動かしながら表示するアプリケーションも登場している。このようなアプリケーションでは、いかに携帯端末装置の動きを正確に検出できるかが重要である。

従来より、携帯端末装置の動きを検出する技術として、ＧＰＳや加速度センサ（例えば特許文献１）、回転センサ等を用いる技術が知られている。また、携帯端末装置において撮像した画像によって携帯端末装置の動きを検出する技術も登場している。例えば、特許文献２には、携帯端末装置を利用している人の顔を検出して、当該人の顔の軸に対応する向きにディスプレイ上の表示方向を決定する技術が記載されている。すなわち、携帯端末装置とユーザの顔の軸との相対的な位置関係を、撮像されたユーザの顔を検出することにより判別して、ディスプレイ上の表示方向を自動的に変更するための情報とするのである。

特開２０１２−０５８８４７号公報 特開２０１１−２５８１９１号公報

ところが、ＧＰＳでは、地下街や屋内など、ＧＰＳ信号を受信することが困難な場所では、正確な動き検出ができないという問題があった。また、ＧＰＳでは、検出精度（１ｍ程度）が低く、電子書籍の閲覧ソフトなどのように、小さな動き（数１０ｃｍ〜数ｃｍ程度）を検出対象とすることはできず、アプリケーションが限定されるという問題もあった。また、加速度センサ（加速度センサを用いる回転センサを含む。）は、乗り物内など携帯端末装置の動き以外の物体の動きに影響されるため、例えば操作者と携帯端末装置との相対的な動きを検出しようとするアプリケーションにおいて状況により利用できないという問題があった。また、磁気センサを用いる回転センサであれば、周囲の磁気の影響による検出精度の低下という問題があった。さらに、撮像された顔の画像から表示方向を決定する技術では、複雑な動きを検出することはできず、利用範囲（表示方向を決定するだけ）が限られるという問題があった。

このように、携帯端末装置の動きを正確に検出するには、いずれかの技術を採用すれば万全ということはなく、当該携帯端末装置が置かれている状況を見極めて、状況に応じた検出手法を正しく採用することが必要である。また、携帯端末装置（操作者）の状況を見極めるためにも、一つの方法で充分ではなく、様々な方法を重畳的に用いて、相補的に検出する必要がある。

本発明は、上記課題に鑑みてなされたものであり、携帯端末装置を操作する操作者の状況を検出するための新たな手法を提供することを目的とする。

上記の課題を解決するため、請求項１の発明は、操作者によって操作される携帯端末装置であって、周囲を撮像した画像データを取得する画像取得手段と、前記画像取得手段により取得された画像データから前記操作者の顔を表現した顔部データを除いた部分である検出対象データに基づいて、前記画像データにおける被写体の動きを検出する検出手段と、前記検出手段により検出された被写体の動きに応じて、前記操作者の状況を判定する状況判定手段とを備える。

また、請求項２の発明は、請求項１の発明に係る携帯端末装置であって、前記状況判定手段により判定された操作者の状況に応じて、前記携帯端末装置の動作を制御する制御手段をさらに備える。

また、請求項３の発明は、請求項１または２の発明に係る携帯端末装置であって、前記操作者の状況には、操作者が歩行中であるか否かが含まれる。

また、請求項４の発明は、請求項１ないし３のいずれかの発明に係る携帯端末装置であって、前記操作者の状況には、操作者が乗り物による移動中であるかが含まれる。

また、請求項５の発明は、請求項１ないし４のいずれかの発明に係る携帯端末装置であって、前記検出手段は、前記画像取得手段により取得された画像データから前記操作者以外の人物を表現した人物データを除いた部分である検出対象データに基づいて、前記被写体の動きを検出する。

また、請求項６の発明は、請求項１ないし５のいずれかの発明に係る携帯端末装置であって、前記検出手段は、前記被写体の動きの前後における検出対象データに基づいて各画素の移動量を検出する。

また、請求項７の発明は、請求項６の発明に係る携帯端末装置であって、前記検出手段は、検出された各画素の移動量に基づいて、前記各画素の移動量ごとの画素数を求め、画素数が最も多い前記各画素の移動量に応じて、前記被写体の動きを検出する。

また、請求項８の発明は、コンピュータ読み取り可能なプログラムであって、前記プログラムの前記コンピュータによる実行は、前記コンピュータを、周囲を撮像した画像データを取得する画像取得手段と、前記画像取得手段により取得された画像データから前記操作者の顔を表現した顔部データを除いた部分である検出対象データに基づいて、前記画像データにおける被写体の動きを検出する検出手段と、前記検出手段により検出された被写体の動きに応じて、前記操作者の状況を判定する状況判定手段とを備える携帯端末装置として機能させる。

また、請求項９の発明は、携帯端末装置の状況を検知する状況検知方法であって、周囲を撮像した画像データを取得する工程と、取得された画像データから前記操作者の顔を表現した顔部データを除いた部分である検出対象データに基づいて、前記画像データにおける被写体の動きを検出する工程と、検出された被写体の動きに応じて、前記操作者の状況を判定する工程とを有する。

請求項１ないし９に記載の発明は、取得された画像データから操作者の顔を表現した顔部データを除いた部分である検出対象データに基づいて、当該画像データにおける被写体の動きを検出し、検出された被写体の動きに応じて、操作者の状況を判定することにより、加速度センサを搭載していなくても、あるいは加速度センサの出力が信用できない状況であっても、操作者の状況を検出できる。

携帯端末装置の外観を例示する図である。 携帯端末装置のブロック図である。 携帯端末装置が備える機能ブロックをデータの流れとともに示す図である。 携帯端末装置の検知モードにおける動作を例示する流れ図である。 携帯端末装置の検知モードにおける動作を例示する流れ図である。 画像データの例を示す図である。

以下、本発明の好適な実施の形態について、添付の図面を参照しつつ、詳細に説明する。ただし、以下の説明において特に断らない限り、方向や向きに関する記述は、当該説明の便宜上、図面に対応するものであり、例えば実施品、製品または権利範囲等を限定するものではない。

＜１． 実施の形態＞
図１は、携帯端末装置１の外観を例示する図である。また、図２は、携帯端末装置１のブロック図である。図１に示すように、携帯端末装置１は、操作者による携帯が可能なように設計された装置であり、当該操作者によって操作される。

携帯端末装置１は、各種情報を処理しつつ、制御信号を生成することによって携帯端末装置１が備える各構成を制御するＣＰＵ１０と、ＣＰＵ１０によって実行されるプログラム１１０を格納するＲＯＭ１１と、ＣＰＵ１０の一時的なワーキングエリアとして使用されるＲＡＭ１２とを備えている。これにより、携帯端末装置１は、一般的なコンピュータとしての構成および機能を有している。

なお、ＣＰＵ１０の動作および機能については、後述する。また、ＲＡＭ１２は、ＣＰＵ１０によるデータの読み書きが可能な記憶装置を代表して例示するものであって、携帯端末装置１が備える記憶装置を比較的小容量の高速アクセス可能な記憶装置（すなわちＲＡＭ１２）に限定するものではない。携帯端末装置１は、ＲＡＭ１２以外にも、不揮発性の記憶装置や比較的低速でしかアクセスできない記憶装置、大容量の記憶装置等を備えていてもよいし、あるいは、着脱可能な可搬性の記憶媒体を利用することが可能なように構成されていてもよい。

また、携帯端末装置１は、操作部１３、表示部１４、撮像部１５、および、画像信号処理部１６を備えている。

操作部１３は、操作者によって操作されるボタン類やキー、スイッチなどである。例えば、操作部１３は、携帯端末装置１の電源を投入する電源ボタンなどを備えている。また、操作部１３は、後述する表示部１４の表面に配置されるタッチパネルを備えており、操作者が表示部１４の画面（すなわちタッチパネル）に触れることにより、指示を入力することが可能となっている。

表示部１４は、操作者に対して各種の情報を表示する機能を有している。表示部１４としては、例えば、液晶パネルやランプ、ＬＥＤなどが該当する。

撮像部１５は、詳細は図示しないが、レンズなどの光学素子と、ＣＣＤなどの光電変換素子とを備えている。撮像部１５は、レンズから入射した光をデジタル電気信号に変換して画像信号処理部１６に伝達する機能を有している。本実施の形態における撮像部１５は、例えば図１に示す位置に設けられており、表示部１４を注視（閲覧）している操作者を、その撮像範囲に含むように構成されている。言い換えれば、本実施の形態における携帯端末装置１では、操作者が表示部１４を通常の姿勢で注視しているときに撮像される画像データ１６０には操作者が被写体として撮像される。

なお、第１の実施の形態における撮像部１５は、市場に広く流通しているいわゆるデジタルカメラを構成しており、ある瞬間におけるカラー写真（映像）を撮像する機能を有しているが、本発明を実施するためには、カラー写真のように人間の目によって被写体を認識する画像を撮像する機能までは必要ない。すなわち、被写体と携帯端末装置１との相対的な距離や向きの変化を被写体から照射される光（可視光線とは限らない。）を捉えることにより検出できれば充分であり、例えば、赤外線カメラのようなものでもよい。

画像信号処理部１６は、撮像部１５から入力される画像を表現した電気信号を処理して、所定のフォーマットを有する画像データ１６０に変換するハードウェアである。すなわち、画像データ１６０は、直接的には画像信号処理部１６によって作成されるデータではあるが、撮像部１５によって撮像されたデータでもある。すなわち、携帯端末装置１では、撮像部１５および画像信号処理部１６が、周囲を撮像した画像データ１６０を取得する画像取得手段としての機能を有している。

なお、以下の説明において、画像データ１６０に含まれる被写体のうち、操作者以外の部分を「背景」と称する。すなわち、「背景」には、操作者以外の人物が含まれる場合がある。また、画像データ１６０において被写体としての操作者が含まれていない場合、当該画像データ１６０は背景のみの画像データ１６０である。また、被写体における「操作者」とは、特に断らない限り、操作者本人の身体のみならず、操作者が身に付けている物体も含むものとして説明する。例えば、操作者が帽子を着用している場合には、当該帽子は被写体としての「操作者」であり、背景ではないものとする。

詳細は後述するが、本実施の形態における携帯端末装置１は、撮像部１５および画像信号処理部１６によって取得された画像データ１６０に基づいて、当該画像データ１６０における被写体の動きを検出する。そして、さらに携帯端末装置１は、当該被写体の動きに基づいて、表示部１４を閲覧中の操作者の状況（歩行中であるか否か、または、乗り物による移動中であるか否か）を検出する。加速度センサによって自機の動きを検出することにより操作者の動きを検出する従来の技術では、操作者が乗り物に乗車している場合などにおいて、乗り物の動きが影響して誤検出を生じる。しかし、画像データ１６０に基づいて操作者の状況を検出するのであれば、このような問題は生じない。

図３は、携帯端末装置１が備える機能ブロックをデータの流れとともに示す図である。図３に示すデータ作成部１００、検出部１０１、状況判定部１０２は、ＣＰＵ１０がプログラム１１０に従って動作することにより実現される機能ブロックである。

データ作成部１００は、周囲を撮像した画像データ１６０を解析して、撮像されている被写体の特徴を抽出し、検出対象データ１２１、顔部データ１２２および人物データ１２３を作成する。

データ作成部１００は、画像データ１６０において操作者が撮像されている場合には、操作者を表現した部分（画像データ１６０の一部分）に基づいて顔部データ１２２を作成する。そして、画像データ１６０において顔部データ１２２を除外した部分を検出対象データ１２１とする。言い換えれば、本実施の形態におけるデータ作成部１００は、操作者（操作者の顔部を含む。）と背景とを分離する機能を有しており、これによって検出対象データ１２１は、被写体として背景のみを含むデータとなる。

撮像される画像データ１６０によって操作者の歩行動作や乗り物による移動の有無を検出するには、操作者における検出対象となっている状態とそれ以外の状態とにおいて、画像データ１６０における変化を検出しなければならない。ここに言う「変化」とは動きに限定されるものではないが、本発明では、画像データ１６０における被写体の動きによって、歩行動作や乗り物による移動の有無を検出する手法を提供するものである。また、ここに言う「被写体の動き」とは、実空間における被写体の動きではなく、あくまでも被写体を表現した画素の画像データ１６０における位置の変化である。

一方、携帯端末装置１を閲覧するにあたり、操作者は、当該携帯端末装置１（表示部１４）を、自分にとって見やすい位置に保持しつづけるものと予想される。言い換えれば、歩行中や乗り物による移動中であろうとそうでなかろうと、操作者（特に操作者の顔部）と携帯端末装置１との相対的な位置関係は維持される蓋然性が高い。このように、操作者と携帯端末装置１との相対的な位置関係が維持されるならば、画像データ１６０における操作者の動き（操作者を表現した画素の画像データ１６０内における位置の変化）は、ほとんどないものと考えられる。

したがって、特開２０１１−２５８１９１号公報に記載されている技術のように、画像データ１６０内における操作者の顔を観察したとしても、操作者が歩行中であるか否か、あるいは、操作者が乗り物による移動中であるか否かを判定することは困難である。むしろ、操作者のこれらの状況を検出するためには、画像データ１６０から操作者の顔を表現した部分を除外して、その影響を排除した上で判定することが好ましい。したがって、データ作成部１００は、画像データ１６０から顔部データ１２２を除外して検出対象データ１２１を作成する。

すでに説明したように、携帯端末装置１は、被写体を表現した画素の画像データ１６０における位置の変化によって操作者の歩行動作や乗り物による移動の有無を検出する。したがって、携帯端末装置１は、携帯端末装置１を保持した操作者が歩行あるいは乗り物に乗って移動することに起因して生じる画像データ１６０内の位置の変化を検出しなければならない。逆に言えば、操作者の歩行動作や乗り物による移動の有無によらずに生じている位置の変化（あるいは静止）を、操作者の歩行動作の有無や乗り物による移動の有無と誤認しないために、排除することが好ましい。言い換えれば、操作者の歩行動作や乗り物による移動の有無と無関係に移動する物体については検出対象から除外することが好ましい。

ここで、被写体としての操作者のうち顔以外の部分は、当然のことながら「背景」ではない。また、被写体としての操作者のうち顔以外の部分は、画像データ１６０に含まれる被写体の中で、操作者の歩行動作や乗り物による移動の有無と無関係に画像データ１６０内の位置が動く（あるいは静止する）可能性のある被写体である。したがって、本実施の形態におけるデータ作成部１００は、操作者の顔とともに操作者全体を画像データ１６０から除外して、被写体としての操作者を含まない検出対象データ１２１を作成する。

また、データ作成部１００は、特徴抽出によって、画像データ１６０に操作者以外の人物が撮像されていると判断した場合には、当該人物を表現した部分（画像データ１６０の一部分）に基づいて人物データ１２３を作成する。より具体的には、上述のように、画像データ１６０から顔部データ１２２を除外し、残りの部分に人物とみなせる被写体がさらに含まれている場合は、当該人物とみなせる被写体部分を抽出して人物データ１２３とする。そして、画像データ１６０において人物データ１２３を除外した部分を検出対象データ１２１とする。したがって、本実施の形態における検出対象データ１２１は、人物の部分を除いた部分を表現したデータとなる。このように、携帯端末装置１は、操作者の歩行動作や乗り物による移動の有無と無関係に画像データ１６０内の位置が変化する可能性のある被写体として、操作者以外の人物を除外して検出対象データ１２１を作成する。

検出部１０１は、画像データ１６０から少なくとも顔部データ１２２を除いた部分（本実施の形態では、さらに人物データ１２３を除いた部分）である検出対象データ１２１に基づいて、当該検出対象データ１２１に含まれている被写体の動きを検出する。ここに言う被写体の動きとは、当該被写体を表現した画素の検出対象データ１２１における位置の変化である。本実施の形態における検出部１０１は、少なくとも当該被写体の検出対象データ１２１（画像データ１６０）における移動方向を特定する。

また、検出部１０１は、特定した移動方向を示す移動データ１２６を作成する。なお、移動データ１２６に示される移動方向は、携帯端末装置１（撮像部１５）と被写体との相対的な位置関係の変化方向を示すが、当該位置関係の変化は操作者の歩行動作や乗り物による移動の有無によってのみ生じるとは限らない。例えば、操作者が静止した状態（歩行していない状態）であっても、携帯端末装置１を保持した手を動かすことにより、当該動かした方向に応じて検出部１０１によって移動方向が検出される。

状況判定部１０２は、検出部１０１により検出された被写体の移動方向に応じて、操作者が歩行中であるか否かを判定する。また、状況判定部１０２は、検出部１０１により検出された被写体の移動方向に応じて、操作者が乗り物による移動中であるか否かを判定する。さらに、状況判定部１０２は、判定結果に応じて、当該判定結果を示す判定データ１２９を作成する。なお、被写体のどのような動きが検出された場合に、状況判定部１０２が「操作者が歩行中である」と判定するか、あるいは、「操作者が乗り物による移動中である」と判定するかについては後述する。

以上が、第１の実施の形態における携帯端末装置１の構成および機能の説明である。次に、携帯端末装置１が操作者の歩行動作を検出する状況検知方法について説明する。

図４および図５は、携帯端末装置１の検知モードにおける動作を例示する流れ図である。検知モードとは、本発明に係る状況検知方法により、操作者の状況（歩行中であるか否か、または、乗り物による移動中か否か）を検知（監視）する動作モードである。

なお、図４および図５に示す各工程が実行される前に、携帯端末装置１において検知モードが選択されているものとする。また、検知モードの選択は、操作者によるキー操作やタッチパネル操作などにより直接的に選択されてもよいし、操作者の状況に応じて動作を変更する特定のアプリケーションが起動されたときなどに自動的に選択されてもよい。あるいは、撮像した画像データ１６０に被写体としての操作者が含まれているか否かを判定して、操作者が含まれている場合に検知モードが自動的に選択されてもよい。また、本実施の形態における検知モードは他の動作モードと並行して動作するモードであるが、これに限定されるものではなく、単独で動作してもよい。また、特に断らない限り、図４および図５に示す各工程は、ＣＰＵ１０がプログラム１１０に従って動作することにより実現される工程である。

検知モードが開始されると、ＣＰＵ１０は、撮像タイミングが到来しているか否か（ステップＳ１）、および、検知モードを終了するか否か（ステップＳ１６）を監視する状態となる。以下、この状態を監視状態と称する。

監視状態において、撮像タイミングが到来している場合（ステップＳ１においてＹｅｓ。）、撮像部１５が撮像を行い（ステップＳ２）電気信号を画像信号処理部１６に伝達する。次に、画像信号処理部１６が画像データ１６０を作成する（ステップＳ３）。このように、本実施の形態における携帯端末装置１は、所定の時間間隔で撮像を行い、ＲＡＭ１２に新たな画像データ１６０が記憶される。

新たな画像データ１６０がＲＡＭに記憶されると、データ作成部１００が、新たに作成された画像データ１６０に対して画像解析による特徴抽出を実行し（ステップＳ４）、検出対象データ１２１、顔部データ１２２、および、人物データ１２３を作成する（ステップＳ５）。これにより、被写体としての操作者を表現した部分および操作者以外の人物を表現した部分を除いた検出対象データ１２１が新たに作成される。

新たに検出対象データ１２１が作成されると、検出部１０１は、前回ステップＳ５が実行されたときに作成された検出対象データ１２１と、今回作成された検出対象データ１２１とを比較することにより、その間の被写体の動きを検出する（ステップＳ６）。なお、以下では、比較される２つの検出対象データ１２１のうち、先に作成された検出対象データ１２１を「前の検出対象データ１２１」と称し、後に作成された検出対象データ１２１を「後の検出対象データ１２１」と称する。

ここで、検出部１０１が被写体の動きを検出する原理について説明する。

図６は、画像データ１６０の例を示す図である。ただし、図６に示す向き１６９は、画像データ１６０ではなく、画像データ１６０内に定義される方向を便宜上図示したものである。

図６において、被写体１６１は操作者の顔を表現した部分であり、被写体１６２は操作者の顔以外を表現した部分である。また、被写体１６３は空を表現した部分であり、被写体１６４は建物を表現した部分である。

検出部１０１は、データ作成部１００によって作成された顔部データ１２２（被写体１６１，１６２が含まれている。）に基づいて、操作者の顔の軸方向を特定して、これと平行で、かつ、操作者の頭頂部方向に向かう向きとしてＹ軸方向を決定し、さらにＹ軸方向に略垂直方向としてＸ軸方向を決定する。すなわち、検出部１０１は、画像データ１６０（検出対象データ１２１）における向き１６９（図６）を決定する。なお、画像データ１６０における向き１６９の決定の手法としては、例えば、特開２０１１−２５８１９１号公報に記載されている技術を用いてもよい。あるいは、表示部１４に表示している内容（コンテンツ）の向きに応じて決定してもよいし、向き１６９は撮像部１５に対して固定されていてもよい。

検出部１０１は、被写体の動きの前後における検出対象データ１２１に基づいて各画素（ピクセル）の移動量を検出する。より詳細には、前の検出対象データ１２１と後の検出対象データ１２１とを比較して、各画素の移動ベクトル（移動量だけでなく移動方向も含まれる。）を求める。すなわち、検出対象データ１２１における被写体（被写体１６３，１６４）の移動ベクトルを求める。

なお、必ずしも全画素について検出対象データ１２１から移動ベクトルを求める必要はない。複数の画素について、代表する画素の移動ベクトルを求めてもよい。例えば、隣接する４つ（２個×２個）の画素の中の１つの画素についてのみ検出対象データ１２１から移動ベクトルを求め、当該移動ベクトルをこれら４つの画素に共通の移動ベクトルとしてもよい。

次に、検出部１０１は、検出された各画素の移動ベクトルに基づいて、逆に、同じ移動ベクトルとなっている画素の総数を各移動ベクトルごとに求め、画素数が最も多い移動ベクトルを特定する。すなわち、検出部１０１は、前検出対象データ１２１と新検出対象データ１２１において、同じ動きをしている最も広い領域（最も画素数の多い被写体）の移動ベクトルを特定する。以下、このようにして求めた移動ベクトルを「最多移動ベクトル」と称する。

一方、画像データ１６０に基づいて、歩行動作あるいは乗り物による移動の有無による携帯端末装置１の動きを検出するためには、画像データ１６０に含まれる被写体の中で、携帯端末装置１の動きと独立して動く被写体を検出対象から除外することが好ましい。携帯端末装置１の動きと独立して動く物体の画像データ１６０における動きは、携帯端末装置１の動きのみを反映しないからである。そして、本実施の形態においては、このような理由から、すでに説明したように、顔部データ１２２および人物データ１２３を除外する。しかし、このような被写体がデータ作成部１００によって完全に除外できるとは限らない。また、人物以外にも、携帯端末装置１の動きとは独立して動く物体が被写体として背景に映り込んでいることも予想される。

ただし、このような物体は、移動しない物体（携帯端末装置１の動きを検出するための指標に最適な物体）に比べれば、画像データ１６０に占める領域としては小さな領域となっていることが多いと考えられる。背景に含まれる被写体の多くは動かない物体であると考えられるためである。したがって、いくつかの移動ベクトルが検出されたときには、上記のとおり、画素による、いわば多数決を導入することにより、携帯端末装置１の動きと独立して移動する小物体（被写体）の影響を抑えることができる。

なお、完全に同じ移動ベクトルごとの画素数を求めるのではなく、多少の幅を持たせてもよい。すなわち、同じ動きをしているとみなせる範囲を設けて、それぞれの画素数をカウントしてもよい。図６に示す例では、被写体１６３の方が、被写体１６４よりも画素数が多いため、被写体１６３の移動ベクトルが「最多移動ベクトル」として特定される。

さらに、例えば、無地の壁や青空などが背景において広い領域を占める被写体として含まれている場合、実際には携帯端末装置１の動きに応じて背景が移動していたとしても、検出対象データ１２１から検出される最多移動ベクトルにおける移動量がほとんど「０」となる場合がある。このような場合、携帯端末装置１が動いていたにもかかわらず、検出部１０１が移動量を「０」と誤認することになる。

例えば、図６に示す例では、被写体１６３は「空」であるため、濃淡の少ない被写体である。したがって、被写体１６３によって特定される最多移動ベクトルは、例えば、操作者の歩行動作と無関係に「０」となるおそれがある。

そこで、最多移動ベクトルが求まると、検出部１０１は、最多移動ベクトルにおける移動量が閾値以下か否かを判定し、最多移動ベクトルの被写体が実際に画像データ１６０内で移動していると言えるレベルか否かを判定する。そして、当該被写体が移動していないと判定されると、検出部１０１は、先述のような誤認が発生する状況か否かを確認するために、当該被写体が無地で濃淡の少ない被写体であるか否かをさらに判定する。当該判定は、例えば、最多移動ベクトルで移動した画素（当該被写体を表現している画素）について、エッジ強度を求め、閾値と比較し、当該エッジ強度が閾値以下である場合には、当該被写体が無地で濃淡の少ない被写体であるとみなすことにより判定できる。

当該被写体が無地で濃淡の少ない被写体であると判定された場合、検出部１０１は、検出した最多移動ベクトルを破棄し、次点の移動ベクトル（次に画素数の多い移動ベクトル）を新たに最多移動ベクトルとして特定する。図６に示す例では、被写体１６３の移動量が閾値以下であれば、被写体１６４の移動ベクトルが最多移動ベクトルとして特定されることになる。なお、次点以下の移動ベクトルを最多移動ベクトルとして特定した場合も、検出部１０１は、上記の判定を行い、最多移動ベクトルとして採用すべきか否かを判定する。

このように、携帯端末装置１は、無地の壁や青空などの濃淡の少ない被写体が背景において広い領域を占めている場合、他の部分（例えば、当該壁のシミやキズ、小さな模様あるいは当該壁の前に存在する電柱や建物など）を検出の対象に変更する。これにより、背景の移動ベクトルとして正しい移動ベクトルを求めることができるため検出精度が向上する。

ここまでに説明したように、検出部１０１は、背景（検出対象データ１２１）において、同じ動きをする最も広い領域を形成する被写体（ただし、無地で濃淡の少ない動きの小さな被写体を除く。）の動きに応じて最多移動ベクトルを決定する。そして、検出部１０１は、検出した最多移動ベクトルのＸ軸方向成分「ｘ」および最多移動ベクトルのＹ軸方向成分「ｙ」を求めて、移動データ１２６を作成する。このように、移動データ１２６は、画像データ１６０（検出対象データ１２１）における被写体の動きを示す情報となる。

ステップＳ６が実行されて移動データ１２６が作成されると、状況判定部１０２が移動データ１２６に応じて、操作者の状況として、まず、当該操作者が歩行中か否かを判定する（ステップＳ１１）。

ステップＳ１１において、どのような移動データ１２６が作成されている場合に、状況判定部１０２が「歩行中」と判定するかについて説明する。

操作者が歩行中において、操作者は顔部を、歩行方向の前方に向けているのが普通である。また、顔面を傾けながら歩行しつづけることも想定し難い。したがって、操作者の歩行中において、画像データ１６０における背景は（−Ｙ）方向に移動すると考えられる。

そこで、状況判定部１０２は、移動データ１２６におけるｘ，ｙがそれぞれ以下の式１および式２のいずれも満たす場合に、操作者が歩行中であると判定し、それ以外は歩行中でないと判定する。

−δ_ｙ≧ｙ ・・・ 式１

ただし、δ_ｙは、被写体がＹ軸方向に移動しているとみなせるか否かに応じて予め設定される閾値であって、δ_ｙ＞０とする。すなわち、式１は、被写体が（−Ｙ）方向に移動しているとみなせる場合に「真」となる。

δ_ｘ≧｜ｘ｜ ・・・ 式２

ただし、δ_ｘは、被写体がｘ軸方向に移動しているとみなせるか否かに応じて予め設定される閾値であって、δ_ｘ＞０とする。すなわち、式２は、被写体がＸ軸方向には移動していないとみなせる場合に「真」となる。

しかし、操作者が歩行中でなくても、例えば、操作者が携帯端末装置１を保持した腕を動かすことにより携帯端末装置１を（＋Ｙ）方向に移動させると、上記式１および式２は、いずれも「真」となる。あるいは、着席していた操作者が立ち上がり動作をしている間も同様である。したがって、式１および式２による判定だけで操作者が歩行中であると判定すると誤判定のおそれがある。すなわち、操作者の腕の動きや立ち上がる動作を見分けることにより誤判定を抑制する必要がある。

ここで、操作者による歩行動作は、瞬間的に行われるのではなく、一定期間継続して行われる動作であると考えられる。逆に、操作者が歩行せずに腕を動かすことにより携帯端末装置１を（＋Ｙ）方向に継続して移動させることは困難である。当該操作者の腕が伸びきってしまえば、それ以上、携帯端末装置１を（＋Ｙ）方向に移動させることができないからである。また、操作者が立ち上がる動作も比較的短時間で終了する動作である。

したがって、状況判定部１０２は、式１および式２がいずれも満たされた状態が、所定の期間継続した場合に、操作者が歩行中であると判定し、歩行中を示す判定データ１２９を作成する（ステップＳ１２）。一方で、それ以外の場合、状況判定部１０２は、操作者は歩行していないと判定し、さらに、操作者が乗り物による移動中か否かを判定する（ステップＳ１３）。

ステップＳ１３において、どのような移動データ１２６が作成されている場合に、状況判定部１０２が「乗り物による移動中」と判定するかについて説明する。

操作者が乗り物に乗って移動している場合において、車窓が画像データ１６０として撮像されていれば、画像データ１６０における背景はＸ軸に平行ないずれかの方向に移動すると考えられる。

そこで、状況判定部１０２は、移動データ１２６におけるｘ，ｙがそれぞれ以下の式３および式４のいずれも満たす場合に、乗り物に乗って移動中であると判定し、それ以外は乗り物に乗って移動中ではないと判定する。

δ_ｙ≧｜ｙ｜ ・・・ 式３

式３は、被写体がＹ軸に平行な方向に関して移動していないとみなせる場合に「真」となる。

δ_ｘ＜｜ｘ｜ ・・・ 式４

式４は、被写体がＸ軸に平行な方向に移動しているとみなせる場合に「真」となる。

しかし、操作者が乗り物による移動中でなくても、例えば、操作者が携帯端末装置１を保持した腕を動かすことにより携帯端末装置１を（±Ｘ）方向に移動させると、上記式３および式４は、いずれも「真」となる。したがって、式３および式４による判定だけで操作者が乗り物に乗って移動中であると判定すると誤判定のおそれがある。すなわち、操作者の腕の動きを見分けることにより誤判定を抑制する必要がある。

ここで、操作者が乗り物に乗って移動している状況は、瞬間的に完了するものではなく、一定期間継続すると予想される。逆に、操作者が腕を動かすことにより携帯端末装置１を（−Ｘ）方向または（＋Ｘ）方向のいずれか一方に継続して移動させることは困難である。当該操作者の腕が伸びきってしまえば、それ以上、携帯端末装置１を移動させることができないからである。

したがって、状況判定部１０２は、式３および式４がいずれも満たされた状態が、所定の期間継続した場合に、操作者が乗り物に乗って移動中であると判定し、乗り物による移動中を示す判定データ１２９を作成する（ステップＳ１４）。一方で、それ以外の場合、状況判定部１０２は、操作者が歩行中であること、または、操作者が乗り物による移動中であることのいずれもが検出されなかったと判定し、その旨を示す判定データ１２９を作成する（ステップＳ１５）。

本発明は、操作者の状況を、加速度センサ等に頼ることなく検出することを目的としているので、判定データ１２９を作成するところまでについて説明する。このようにして作成された判定データ１２９をどのように利用するかは、アプリケーション等において適宜決定すればよい。

例えば、操作者が歩行中であることを示す判定データ１２９が作成されたことを、操作者の歩行中にのみ発生させるイベントのトリガとしてもよい。

また、操作者が歩行中においてのみ起動が許可されるアプリケーションが考えられる。例えば、歩行による移動開始時間や移動時間とを記録してもよい。これによって、歩行によるカロリー計算を行うアプリケーションなども想定できる。

逆に、歩行中に終了させる（利用を禁止される）アプリケーションなども想定できる。例えば、歩いているときには文字入力モードを自動的にオフにしたり、歩きながら使用すると危険なもの（キーボードなど）については使用できなくしたりすることもできる。このように、歩行中に利用すると危険と思われるアプリケーションやハードウェアを禁止することにより、携帯端末装置１は事故を未然に防止することができる。

また、撮像部１５とは別に外向きのカメラを設けて、歩行中に当該カメラを自動的に起動し、当該カメラが撮影している映像をサブウインドウにリアルタイムに表示してもよい。これにより、例えば、メインウインドウで記事を読みながら、サブウインドウに表示された映像で周囲の状況を確認することができる。すなわち、表示部１４を注視しつつも、携帯端末装置１の前方の状況を当該カメラの映像で確認することができるので、歩行中の危険を抑制することができる。

また、画像データ１６０における被写体の移動量（ピクセル）に基づいて、実際の携帯端末装置１の移動距離を推定し、歩行速度を求めることも可能である。この場合、正確な歩行速度を求めようとするならば被写体と携帯端末装置１との相対距離が必要となるが、これは測距センサや３Ｄカメラなどから求めることもできる。

また、操作者が歩行している状況では、振動により手ぶれが発生し、表示部１４における表示内容が閲覧しにくくなることが想定される。したがって、操作者が歩行中であると判定した場合、携帯端末装置１は、表示部１４に表示している画像や文字を拡大したり、輪郭線や文字線を太く強調して見やすくすることも有効である。

また、ＧＰＳなどの測位手段を活用して現在位置を取得し、動作中のメインアプリケーションとは別のサブウインドウに地図情報を表示したり、歩行による移動軌跡を記録したりしてもよい。

ただし、本実施の形態における携帯端末装置１は、操作者がランニング中やジョギング中においても、「歩行中」と判定する。すなわち、携帯端末装置１が「操作者が歩行中である」と判定した場合とは、実際には操作者が歩いている場合に限定されるものではなく、走っている場合等も含まれることとなる。なお、操作者の動作に関して「歩いている」のか「走っている」のかをより詳細に区別するためには、例えば、振動センサによって振動周期を取得して判定する方法や、移動速度（画像データ１６０における被写体の移動画素速度）によって判定する方法などが考えられる。

一方で、例えば、操作者が乗り物によって移動中であることを示す判定データ１２９が作成された場合には、アプリケーションにおいて加速度センサの出力を無視するというような利用方法も考えられる。すなわち、操作者が乗り物によって移動中において、誤動作や誤検出の可能性のあるアプリケーションやハードウェアを停止することができる。

また、道案内アプリケーションにおいて、乗り物に乗車したとみなして、経路検索を行った情報とＧＰＳなどから取得した現在位置情報とに基づいて乗り換えや降車駅を案内する、あるいは、到着地点が接近したことを案内することも可能である。

また、ＧＰＳの出力を乗り物の予想経路（運行経路図）によって補正するといったことも想定される。

また、携帯端末装置１が通話部を備えている場合には、乗り物によって移動中であると判定したときには、呼び出し音（着信音）を絞ったり、自動的にマナーモードや留守番設定にすることもできる。

また、音声を再生するアプリケーションが起動されているときには、乗り物によって移動中であると判定したときには、再生音量を下げる、イヤホンの使用を促すメッセージを表示する、あるいは、再生音の音質を変化させて音漏れを防止するといった動作も想定される。

また、乗り物で移動中に実行するアプリケーションは限定される傾向がある。したがって、過去に乗り物で移動中に起動していたアプリケーションを予め記憶しておき、それらを起動選択メニューに優先的に表示することもできる。

ただし、本実施の形態における携帯端末装置１は、車窓が撮像されている場合にのみ「乗り物による移動中」と判定することができるものである。すなわち、乗り物による移動中ではあっても、車窓が撮像されていない場合にはステップＳ１３においてＮｏと判定されることになる。したがって、ステップＳ１３においてＮｏと判定された場合であっても、アプリケーションでは「乗り物による移動中でない」と判断するのではなく、「乗り物による移動中か否かは不明」として動作することが好ましい場合もある。すなわち、状況判定部１０２によって「乗り物による移動中」と判定された場合にのみ、積極的に、その状況を利用した動作を行うように構成することが好ましい。

このように、携帯端末装置１は、検出した操作者の状況（判定データ１２９）に応じて、携帯端末装置１の動作を制御するＣＰＵ１０を備えている。これにより、携帯端末装置１は、操作者の状況に応じたサービスの提供が可能となる。したがって、操作者は携帯端末装置１をより快適かつ適切に利用することができる。なお、検知モードを終了するように指示がされた場合は、ステップＳ１６においてＹｅｓと判定し、検知モードを終了する。

以上のように、第１の実施の形態における携帯端末装置１は、周囲を撮像した画像データ１６０を取得する撮像部１５および画像信号処理部１６と、取得された画像データ１６０から操作者の顔を表現した顔部データ１２２を除いた部分である検出対象データ１２１に基づいて、画像データ１６０における被写体の動きを検出する検出部１０１と、検出部１０１により検出された被写体の動きに応じて、操作者が歩行中であるか否かを判定する状況判定部１０２とを備える。これにより、加速度センサを搭載していなくても、あるいは加速度センサの出力が信用できない状況であっても、操作者の状況を検出できる。

また、状況判定部１０２により判定された操作者の状況に応じて、携帯端末装置１の動作を制御するＣＰＵ１０をさらに備えるので、状況に応じた適切な動作が可能となる。そして、検出される操作者の状況には、操作者が歩行中であるか否か、および、操作者が乗り物による移動中であるかが含まれる。

また、検出部１０１は、取得された画像データ１６０から操作者以外の人物を表現した人物データ１２３を除いた部分である検出対象データ１２１に基づいて、被写体の動きを検出する。人物は携帯端末装置１と無関係に移動することがあるので、背景中の人物を考慮して動きを検出すると精度が低下する。しかし、携帯端末装置１は、画像データ１６０に人物が写っていても、これを除外して被写体の動きを検出するので、検出精度の低下を抑制できる。

また、検出部１０１は、被写体の動きの前後における検出対象データ１２１に基づいて各画素の移動量を検出する。そして、検出された各画素の移動量に基づいて、当該各画素の移動量ごとの画素数を求め、画素数が最も多い各画素の移動量に応じて、被写体の動きを検出する。これにより、人物や車など、携帯端末装置１の動きと無関係に動く可能性のある被写体の影響を抑制できる。

なお、本実施の形態における携帯端末装置１は、操作者がエスカレータや動く歩道等に乗って静止している場合も、歩行中であると判定される可能性がある。これを抑制するには、例えば、振動センサを設け、歩行動作に伴う振動の有無を検出して区別することが考えられる。

＜２． 変形例＞
以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。

例えば、上記実施の形態に示した各工程は、あくまでも例示であって、同様の効果が得られるならば、適宜、順序や内容が変更されてもよい。例えば、本実施の形態では、操作者が歩行中であるか否かを判定してから、操作者が乗り物による移動中か否かを判定すると説明したが、これらの工程は逆でもよい。

また、上記実施の形態に示した機能ブロックは、ＣＰＵ１０がプログラム１１０に従って動作することによりソフトウェア的に実現されると説明したが、これらの機能ブロックのうちの一部または全部が専用の電子回路によってハードウェア的に実現されていてもよい。

また、説明の都合上、データ作成部１００が人物データ１２３を作成するとして説明した。しかし、携帯端末装置１は、人物データ１２３を参照することがないので、人物データ１２３は必ずしも必要のないデータである。したがって、人物データ１２３は作成されなくてもよい。すなわち、人物データ１２３に相当する部分が検出対象データ１２１において除外されていればよい。

また、被写体の動きを検出するための検出対象データ１２１から人物データ１２３に相当する部分が予め除外されていなくてもよい。すでに説明したように、検出部１０１は、画素数による多数決によって最多移動ベクトルを特定する。操作者以外の人物は画像データ１６０において比較的小さい領域となることが予想されるため、人物データ１２３が除外されていなくても、操作者以外の人物の動きが最多移動ベクトルとして特定されるおそれは少ない。

また、上記実施の形態では、データ作成部１００によって顔部データ１２２および人物データ１２３に相当する部分を画像データ１６０から除外して、検出対象データ１２１を作成すると説明したが、検出対象データ１２１は必ずしも作成されなくてもよい。例えば、顔部データ１２２および人物データ１２３に対応するマスクデータ（除外対象領域を示す情報）を作成し、当該マスクデータに基づいて画像データ１６０内のデータを検出対象データ１２１に相当する部分であるか否かを判定しつつ、被写体の移動方向および移動量を検出してもよい。

また、上記実施の形態では、画像データ１６０に対して特徴抽出を実行することにより、操作者を表現した部分である顔部データ１２２を特定すると説明した。しかし、このような処理は画像データ１６０に対する特徴抽出以外の方法でも実現できる。通常、画像データ１６０において、操作者が映り込む位置はほぼ特定できるので、操作者が映り込んでいる蓋然性の高い部分を、実際に映り込んでいるか否かに関わらず、検出対象データ１２１から除外するように構成してもよい。あるいはニューラルネットを用いて特定することも可能である。

また、本実施の形態では、歩行中あるいは乗り物による移動中であると判定する際に、（−Ｙ）方向への移動あるいは（±Ｘ）方向への移動の継続時間を指標として判定する例について説明した。しかし、例えば、被写体の移動量（画像データ１６０における移動量）を指標としてもよい。すなわち、被写体が特定の方向に移動を開始してからの総移動量が腕を動かしたときに想定される移動量（閾値）よりも大きくなった時点で、歩行中あるいは乗り物による移動中と判定してもよい。

さらに、加速度センサや回転センサ、振動センサなどを設けて、検出部１０１の検出精度を向上させるように構成してもよい。

１ 携帯端末装置
１０ ＣＰＵ
１００ データ作成部
１０１ 検出部
１０２ 状況判定部
１１ ＲＯＭ
１１０ プログラム
１２ ＲＡＭ
１２１ 検出対象データ
１２２ 顔部データ
１２３ 人物データ
１２６ 移動データ
１２９ 判定データ
１３ 操作部
１４ 表示部
１５ 撮像部
１６ 画像信号処理部
１６０ 画像データ
１６１，１６２，１６３，１６４ 被写体
１６９ 向き

Claims (9)

1. 操作者によって操作される携帯端末装置であって、
   周囲を撮像した画像データを取得する画像取得手段と、
   前記画像取得手段により取得された画像データから前記操作者の顔を表現した顔部データを除いた部分である検出対象データに基づいて、前記画像データにおける被写体の動きを検出する検出手段と、
   前記検出手段により検出された被写体の動きに応じて、前記操作者の状況を判定する状況判定手段と、
   を備える携帯端末装置。
2. 請求項１に記載の携帯端末装置であって、
   前記状況判定手段により判定された操作者の状況に応じて、前記携帯端末装置の動作を制御する制御手段をさらに備える携帯端末装置。
3. 請求項１または２に記載の携帯端末装置であって、
   前記操作者の状況には、操作者が歩行中であるか否かが含まれる携帯端末装置。
4. 請求項１ないし３のいずれかに記載の携帯端末装置であって、
   前記操作者の状況には、操作者が乗り物による移動中であるかが含まれる携帯端末装置。
5. 請求項１ないし４のいずれかに記載の携帯端末装置であって、
   前記検出手段は、前記画像取得手段により取得された画像データから前記操作者以外の人物を表現した人物データを除いた部分である検出対象データに基づいて、前記被写体の動きを検出する携帯端末装置。
6. 請求項１ないし５のいずれかに記載の携帯端末装置であって、
   前記検出手段は、前記被写体の動きの前後における検出対象データに基づいて各画素の移動量を検出する携帯端末装置。
7. 請求項６に記載の携帯端末装置であって、
   前記検出手段は、検出された各画素の移動量に基づいて、前記各画素の移動量ごとの画素数を求め、画素数が最も多い前記各画素の移動量に応じて、前記被写体の動きを検出する携帯端末装置。
8. コンピュータ読み取り可能なプログラムであって、前記プログラムの前記コンピュータによる実行は、前記コンピュータを、
   周囲を撮像した画像データを取得する画像取得手段と、
   前記画像取得手段により取得された画像データから前記操作者の顔を表現した顔部データを除いた部分である検出対象データに基づいて、前記画像データにおける被写体の動きを検出する検出手段と、
   前記検出手段により検出された被写体の動きに応じて、前記操作者の状況を判定する状況判定手段と、
   を備える携帯端末装置として機能させるプログラム。
9. 携帯端末装置の状況を検知する状況検知方法であって、
   周囲を撮像した画像データを取得する工程と、
   取得された画像データから前記操作者の顔を表現した顔部データを除いた部分である検出対象データに基づいて、前記画像データにおける被写体の動きを検出する工程と、
   検出された被写体の動きに応じて、前記操作者の状況を判定する工程と、
   を有する状況検知方法。

Images