JP6164958B2 - 情報処理装置、方向特定方法、コンピュータプログラム、及び記憶媒体 - Google Patents

情報処理装置、方向特定方法、コンピュータプログラム、及び記憶媒体 Download PDF

Info

Publication number
JP6164958B2
JP6164958B2 JP2013141734A JP2013141734A JP6164958B2 JP 6164958 B2 JP6164958 B2 JP 6164958B2 JP 2013141734 A JP2013141734 A JP 2013141734A JP 2013141734 A JP2013141734 A JP 2013141734A JP 6164958 B2 JP6164958 B2 JP 6164958B2
Authority
JP
Japan
Prior art keywords
face
image
information processing
person
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013141734A
Other languages
English (en)
Other versions
JP2015015634A (ja
JP2015015634A5 (ja
Inventor
奥谷 泰夫
泰夫 奥谷
正行 石澤
正行 石澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2013141734A priority Critical patent/JP6164958B2/ja
Priority to US14/322,309 priority patent/US9406136B2/en
Publication of JP2015015634A publication Critical patent/JP2015015634A/ja
Publication of JP2015015634A5 publication Critical patent/JP2015015634A5/ja
Application granted granted Critical
Publication of JP6164958B2 publication Critical patent/JP6164958B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、電子データを通信機器に送信する情報処理装置に関する。
スマートホン等の携帯型の情報処理装置は、カメラ等の撮像装置を搭載したものが一般的である。このような情報処理装置では、撮像装置で撮像した画像から、顔認識技術により人物を特定することができる。また、特定した人物が所有する通信機器を通信相手として特定する技術が、特許文献1に開示されている。特許文献1では、情報処理装置に、予め、顔画像と、この顔画像の人物が所有する通信機器との対応関係を記憶しておく。情報処理装置は、撮像装置により撮像した画像から認識した顔画像と記憶内容とから、この顔画像の人物が所有する通信機器を特定する。特定した通信機器が、該情報処理装置の通信相手となる。
特開2011−172089号公報
情報処理装置の所有者は、該情報処理装置の表示画面に表示される写真等の画像を、他の人物と一緒に閲覧することがある。このときに、この情報処理装置から他の人物が所有する通信機器へ、閲覧中の画像の画像データを送信することがある。
例えば、ユーザAが所有するスマートホン(スマートホンA)から、ユーザAとともに写真を閲覧するユーザBの所有するスマートホン(スマートホンB)へ、ユーザAが、閲覧中の写真を提供する場合がある。このような場合、特許文献1では、ユーザAは、スマートホンAにより、ユーザBを撮像してスマートホンBを通信相手として特定する。
スマートホンのように2つのカメラを備えた情報処理装置では、表示画面側に備えられるカメラ(インカメラ)を用いることで、ユーザBの撮像を、写真を閲覧しながら行うことが可能である。インカメラを用いることで、スマートホンBを通信相手に特定することは、容易に行うことができる。通信相手の特定後に、例えばスマートホンBの方向にタッチ操作(ドラッグ)を行うことで画像データを送信することが可能であれば、容易で直感的な通信が可能になる。そのためには、通信相手に特定したスマートホンBのスマートホンAに対する方向(位置)を特定する必要がある。
本発明は、このような従来の問題を解決するため、通信相手となる通信機器が存在する方向を容易に特定可能な情報処理装置を提供することを主たる課題とする。
上記課題を解決する本発明の情報処理装置は、撮像手段と、複数の人物の顔画像を、各人物を識別するための情報に関連付けて記憶し、且つ前記複数の人物のそれぞれが所有する通信機器の識別情報を、各人物の顔画像に関連付けて記憶する記憶手段と、前記撮像手段により撮像された画像から検出された顔画像と、前記記憶手段に記憶された顔画像とに基づいて、前記検出された顔画像に関連付けられた人物を特定する顔特定手段と、前記撮像手段により撮像された前記画像内の前記顔画像が存在する領域に応じて、前記顔特定手段により特定された人物が所有する通信機器が存在する、自装置に対する方向を特定する方向特定手段と、を備えることを特徴とする。
本発明によれば、撮像された画像内の顔画像の表示される領域により、容易に通信相手となる通信機器が存在する方向を特定することができる。
(a)は情報処理装置のハードウェア構成図、(b)は情報処理装置の機能ブロック図。 登録テーブルの例示図。 (a)、(b)は情報処理装置の利用場面の説明図。 (a)〜(f)は画像データの送受信動作の説明図。 (a)、(b)は情報処理装置の処理を表すフローチャート。 (a)〜(d)は受信者の顔画像を含む画像の例示図。 (a)〜(c)はステップS203の処理を表すフローチャート。 (a)、(b)は情報処理装置の処理を表すフローチャート。 通信機器が存在する方向が特定困難な場合の例示図。 (a)は情報処理装置のハードウェア構成図、(b)は情報処理装置の機能ブロック図。 ステップS203の処理を表すフローチャート。 受信者の顔画像が写り込んでくる様子を表す図。 情報処理装置の本体の傾きが変化する様子を表す図。
以下、本発明の実施の形態を図面を参照しつつ詳細に説明する。本実施形態は本発明の一例であり、本発明の範囲をそれらのみに限定する趣旨のものではない。
<第1実施形態>
図1(a)は、第1実施形態の情報処理装置100のハードウェア構成図である。情報処理装置100は、例えば、スマートホンやタブレットPC(Personal Computer)等の通信機能及び撮像機能を備えた機器により実現される。
情報処理装置100は、CPU(Central Processing Unit)101により各構成要素が制御される。CPU101は、各構成要素の制御のために、ROM(Read Only Memory)102から読み出したコンピュータプログラムを、RAM(Random Access Memory)103を作業領域として実行する。ROM102は、このような各構成要素の制御のための各種コンピュータプログラムを記憶するメモリである。なお、CPU101は、コンピュータプログラムを、情報処理装置100に接続される外部記憶装置からRAM103にロードして実行するようにしてもよい。
HDD(Hard Disk Drive)104は、外部記憶装置の一例である。HDD104は、上記のコンピュータプログラムや、各種電子データを記憶する。なお、外部記憶装置は、HDD104の他に、例えば、メディア(記録媒体)と、当該メディアへのアクセスを実現するための外部記憶ドライブとで実現してもよい。このようなメディアには、例えば、フレキシブルディスク(FD)、CD−ROM、DVD、USBメモリ、MO、フラッシュメモリ等を用いることができる。また、外部記憶装置は、ネットワークで接続されたサーバ装置等に設けられていてもよい。
タッチパネル105は、情報処理装置100の一面に設けられる、ディスプレイとタッチパッド等の位置入力装置とが組み合わされた入出力装置である。タッチパネル105は、各種画像の表示を行い、且つユーザの操作による指示を取得する。通信インタフェース(I/F)106は、公知の通信技術により、他の情報処理装置や通信機器、外部記憶装置等との間で、有線又は無線による双方向の通信を行う。他の通信機器との間では、直接の通信以外に、中継装置を介した間接的な通信も可能である。カメラ107は、人物の画像や映像を撮像する撮像装置である。本実施形態のカメラ107は、情報処理装置100の背面側に設けられるメインカメラ及びタッチパネル105のディスプレイと同じ面に設けられるインカメラである。つまり、インカメラは、ディスプレイを閲覧しようとする人物の顔を撮影可能な位置及び方向に設置されている。
CPU101、ROM102、RAM103、HDD104、タッチパネル105、通信I/F106、及びカメラ107は、システムバス108を介して相互にデータの送受信が可能に接続される。
図1(b)は、情報処理装置100に形成される機能を表す機能ブロック図である。各機能は、CPU101がROM102からコンピュータプログラムを読み出して実行することで実現される。情報処理装置100には、撮像部109、顔特定部110、画像処理部111、方向特定部112、記憶部113、UI画面生成部114、送信部115、判定部116、方向取得部117、入力部118、及び受信部119が形成される。なお、本実施形態では各機能ブロックをソフトウェアにより実現することとしているが、ハードウェアにより実現するようにしてもよい。情報処理装置100は、カメラ107により撮像した画像から人物を特定して、特定した人物の中から、受信者を決める。この受信者の所有する通信機器が通信相手となる。また、情報処理装置100は、カメラ107により撮像した画像内の人物の表示領域に応じて、通信相手となる通信機器の情報処理装置100に対する方向を特定する。このような処理を実現するために、各機能ブロックが形成される。なお、通信相手となる通信機器は、表示機能と通信機能とを備えた装置であり、例えば他の情報処理装置100を通信相手としてもよい。
撮像部109は、カメラ107により撮像した画像の画像データを顔特定部110に送信する。顔特定部110は、撮像部109から受信した画像データによる画像内の人物の特定処理を行う。顔特定部110は、公知の顔認識技術により顔画像を検出して人物の特定を行う。
画像処理部111は、顔特定部110で特定された人物の顔画像の表示領域の特定、顔画像の表示領域の中心座標の検出、目や鼻等の顔画像の器官の位置の検出(器官検出)等の画像処理を行う。これらの画像処理も公知の技術を用いて実現する。なお、顔画像の表示領域を、以下、「顔領域」という。顔画像の表示領域とは、顔画像による顔の輪郭及びその内側の領域である。また、顔画像を包含する矩形、円形等の領域を顔画像の表示領域としてもよい。
方向特定部112は、画像処理部111による画像処理の結果を用いて、情報処理装置100と顔特定部110により特定された人物(受信者)が所有する通信機器との位置関係(相対的な方向)を決定する。
UI(User Interface)画面生成部114は、タッチパネル105への所有者によるタッチ操作(タッチ、ドラッグ等)に基づいて、電子データを送信するためのUI画面を生成する。判定部116は、情報処理装置100に対する受信者が所有する通信機器が存在する方向と、タッチ操作の方向とを比較して、一致するか否かを判定する。一致する場合、判定部116は、UI画面生成部114に、受信者が所有する通信機器に電子データが移動することを表すUI画面を生成させる。一致しない場合、判定部116は、UI画面生成部114に、受信者が所有する通信機器に、電子データが送信されないことを表すUI画面を生成させる。
送信部115は、他の通信機器にデータを送信する。特に、本実施形態では、送信部115は、判定部116による判定結果が一致する場合、受信者が所有する通信機器に、電子データ及びUI画面生成部114で生成した判定結果が一致する場合のUI画面を表すUI画面データを送信する。受信部119は、他の通信機器からデータを受信する。特に、本実施形態では、受信部119は、受信者が所有する通信機器から、電子データ及びUI画面データを受信したことへの完了通知を受信する。送信部115及び受信部119は、通信I/F106により実現される。
入力部118は、タッチパネル105により行われるユーザのタッチ操作を検出する。方向取得部117は、入力部118により検出されたユーザのタッチ操作の操作方向(指示方向)を取得する。
記憶部113は、RAM103やHDD104により実現され、情報処理装置100に登録された複数の人物に関する登録テーブルを記憶する。情報処理装置100の所有者が、他の人物とともに登録テーブルに登録される。登録テーブルは、撮像部109から受信した画像データによる画像内の人物の特定に用いられる。図2は、登録テーブルの例示図である。登録テーブルには、情報処理装置100に登録される人物であるユーザの登録データが記録される。登録データには、ユーザの登録用の顔画像(登録顔画像)309、ユーザを識別するためのユーザID310、ユーザが所有する通信機器を識別するためのデバイスID311、ユーザが電子データの送信者か或いは受信者かを表す属性データ312が含まれる。図2の例では、ユーザAが送信者、ユーザBが受信者として登録されている。ユーザAは、情報処理装置100の所有者である。受信者は、顔特定部110で特定された人物であり、カメラ107で撮像した画像に応じて、ユーザB以外の他の人物(ユーザC)に替わる。登録顔画像309にユーザID310、デバイスID311、及び属性データ312が関連付けられている。登録顔画像309により、ユーザID310、デバイスID311、及び属性データ312が特定可能になっている。
顔特定部110は、検出した顔画像と登録テーブルに登録された登録顔画像309とを比較することで、画像内の人物の特定を行う。顔特定部110は、公知の画像マッチング技術により、検出した顔画像と登録顔画像309との比較を行う。例えば、検出した顔画像と登録顔画像309との特徴点の対応関係により比較を行う。
図3(a)、(b)は、情報処理装置100の利用場面の具体例の説明図である。図3(a)は、情報処理装置100の所有者であるユーザA301と所有者ではないユーザB302とが、情報処理装置100のタッチパネル105に表示された画像の一覧を閲覧する様子を表す図である。
図3(b)は、情報処理装置100をユーザA301、ユーザB302側から見た図である。また、図3(b)では、タッチパネル105に表示される画像一覧を閲覧しているユーザA301、ユーザB302が、インカメラ304で撮像された画像308に写り込む様子を示す。画像308には、ユーザA301の顔画像307及びユーザB302の顔画像306が写り込む。なお、インカメラ304で撮像した画像をタッチパネル105に表示する必要はないが、インカメラ304にユーザA301、ユーザB302が写り込む様子を提示するために表示してもよい。本実施形態では、ユーザA301を送信者、ユーザB302を受信者として、タッチパネル105上に表示される画像一覧から、送信者のタッチ操作により、画像をユーザB302の所有する通信機器に送信する。
図4は、送信者(ユーザA301)の情報処理装置100と受信者(ユーザB302)が所有する通信機器402との間で、UI画面により写真(表示画像)の画像データを送受信する例の説明図である。なお、本実施形態では、写真の画像データを送受信する例を説明するが、送受信されるデータはこれに限らず、他の形式の電子データでよい。
図4(a)では、送信者の情報処理装置100に写真403が表示されている。送信者は、この写真403を通信機器402に送信する。図4(b)は、情報処理装置100と通信機器402とを近接させて、電子データの送受信が可能とした状態を表す。近接することで、情報処理装置100と通信機器402とは、近接無線通信による電子データが可能になる。
図4(c)では、情報処理装置100のタッチパネル105上で、送信者が、写真403を通信機器402が存在する方向にタッチ操作(ドラッグ)404する。通信機器402には、写真403の一部が表示される。通信機器402に表示される写真の割合は、送信者がタッチパネル105上で行うタッチ操作404の操作量(指の移動量)に基づいて決められる。
図4(d)では、通信機器402の所有者である受信者が、通信機器402に表示される写真403の一部をタッチ操作(ドラッグ)405することで写真を受信する。受信者が行うタッチ操作405の方向は、情報処理装置100にて送信者が行うタッチ操作404の方向と同じである。つまり、タッチ操作405の方向は、通信機器402から見て情報処理装置100とは逆の方向である。図4(e)は、通信機器402への写真403の電子データの送信が終了した状態を表す。正常に電子データの送信が終了すると、図4(e)の状態になる。
図4(f)は、送信者が、通信機器402が存在しない向きにタッチ操作406を行った場合を表す。この場合、電子データの送信は行われない。情報処理装置100のタッチパネル105には、電子データを送信できない旨を表すUI画面が表示される。
図5は、図4で説明した動作を実現するための情報処理装置100の処理を表すフローチャートである。この処理は、所定のアプリケーションソフトウェアの起動、情報処理装置100の起動、或いは送信する画像の所有者による選択等により開始され、カメラ107で撮像した画像が更新されるたびに繰り返し実行される。
図5(a)は、情報処理装置100により、受信者が所有する通信機器402が存在する方向を特定する処理を表すフローチャートである。
撮像部109は、カメラ107で撮像された画像の画像データを顔特定部110に送信する。顔特定部110は、撮像部109から送信された画像データを受信し、受信した画像データによる画像に含まれるすべての顔画像を検出して受信者の特定を行う(S201)。顔特定部110は、登録テーブルを参照して顔画像から受信者を特定する。顔特定部110は、検出した顔画像が登録テーブルに登録されていない場合には、この顔画像を無視する。この例では、顔特定部110は、図3(b)の画像308により、ユーザA301の顔画像307及びユーザB302の顔画像306を検出する。顔特定部110は、登録テーブルを参照して、検出した顔画像307から、送信者であるユーザA301を特定する。また、顔特定部110は、登録テーブルを参照して、検出した顔画像306からユーザB302を特定して、受信者に設定する。顔特定部110は、ユーザB302の登録データの属性データ312を「受信者」にすることで、受信者の設定を行う。これにより、「デバイスB」が通信相手の通信機器402に特定される。
顔特定部110により受信者が特定されると、画像処理部111は、受信者の顔画像306の表示領域である顔領域を特定する(S202)。受信者の顔領域の特定後、方向特定部112は、通信機器402(デバイスB)の情報処理装置100に対する方向を、顔領域の位置に応じて特定する(S203)。通信機器402が存在する方向を特定する処理の詳細については後述する。以上のようにして、受信者が所有する通信機器402の情報処理装置100に対する方向を特定する処理が終了する。
図5(b)は、写真(表示画像)の画像データを通信機器402に送信する処理を表すフローチャートである。この処理は、図5(a)の処理と並行して実行される。
入力部118は、送信者(ユーザA301)が表示中の写真(図4(a)の写真403)をタッチ操作(ドラッグ)したか否かを判定する(S204)。入力部118は、タッチ操作があるまで待機する。タッチ操作があると(S204:Y)、方向取得部117は、タッチ操作が行われた方向(ドラッグによる指示方向)を取得する(S205)。方向取得部117は、入力部118からタッチ操作の内容を表すタッチ操作情報を受信し、受信したタッチ操作情報の内容によりタッチ操作による指示方向を取得する。
判定部116は、方向取得部117で取得した指示方向と、ステップS203で特定した通信機器402の情報処理装置100に対する方向とが一致するか否かを判定する(S206)。
一致する場合(S206:Y、図4(c))、UI画面生成部114は、写真の画像データを送信するためのUI画面を生成する(S207)。UI画面生成部114は、入力部118からタッチ操作情報を受信し、受信したタッチ操作情報に基づいてUI画面を生成する。送信部115は、写真の画像データ及び生成されたUI画面を表すUI画面データを、通信機器402に送信する(S208)。受信部119が、通信機器402から受信が完了したことを表す完了通知を受信することで、写真の画像データの送信処理が終了する(S209:Y)
なお、ステップS206において一致しない場合(S206:N、図4(f))、UI画面生成部114は、写真の画像データを送信しないためのUI画面を生成して処理を終了する(S210)。UI画面は、情報処理装置100のタッチパネル105に表示される。このようなUI画面は、例えば、文字で送信できない旨を表示や、ドラッグしても写真が情報処理装置100のタッチパネル105の表示画面からはみ出すことができないような表示である。後者の場合は、写真を表示画面の端までドラッグすることはできるが、それ以上ドラッグしようとしても写真が移動しないUI画面である。
以上のように、通信機器402の情報処理装置100に対する方向(位置)を特定することで、その後のタッチパネル105の操作方向に応じて、画像データの送信を行うか否かが決められる。そのために、送信者は、容易で直感的な操作により、電子データの送信が可能になる。
なお、ステップS208では、通信機器402が、写真の画像データ及びUI画面データを受信する。UI画面データには、タッチ操作による移動距離等の情報が含まれる。通信機器402は、UI画面データにより、通信機器402用のUI画面を生成して表示する。受信者は、通信機器402の表示画面でタッチ操作405を行う。この操作内容は、通信機器402から情報処理装置100に送信される。情報処理装置100のUI画面生成部114は、ステップS207でUI画面を生成する際に、通信機器402から送信された操作内容も考慮してUI画面を生成する。これにより、図4(d)のような表示が可能になる。
本実施形態では、タッチパネル105がタッチ操作された方向により、画像データを送信するか否かを決定する例を説明したが、画像データの送信の可否を他の動作により決定してもよい。例えば、インカメラ304の映像や赤外線センサにより送信者の手の動き(ジェスチャ)を検出し、その動きの方向により画像データの送信の可否を決定してもよい。
また、図5(a)の処理と図5(b)の処理とは、例えば、ステップS205の処理の終了時点で図5(a)の処理を行うようにしてもよい。この場合、図5(a)の処理が終了した後に、ステップS206以降の処理が行われる。
ステップS203の、通信機器402が存在する方向を特定する処理について説明する。図6は、インカメラ304で撮像された受信者の顔画像306を含む画像308の例示図である。画像308内における顔画像306の位置、顔画像306の向き、或いは送信者の顔画像307との位置関係により、通信機器402の情報処理装置100に対する方向(位置)を特定する。図7は、ステップS203の処理を表すフローチャートである。
図6(a)は、画像308の受信者の顔領域の中心座標503の位置により通信機器402が存在する方向を決める場合の例示図である。画像308は、点線504により4つの領域505〜508に分割される。図7(a)は、このような画像308を用いたステップS203の処理を表すフローチャートである。
画像処理部111は、図5(a)のステップS202で特定した顔領域の中心座標503を検出する(S601)。顔領域の中心座標は、顔領域の重心座標や、顔領域の上下及び左右両端の座標から求めた中点の座標である。
画像処理部111は、検出した中心座標503が属する画像308内の領域を特定する(S602)。図6(a)の例では、中心座標503が領域505に属している。方向特定部112は、中心座標503が属する領域505に基づいて、情報処理装置100に対する通信機器402が存在する方向を特定して処理を終了する(S603)。
図6(a)の例では、中心座標503が領域505に属している場合、方向特定部112は、通信機器402が情報処理装置100の左方向にあると特定する。中心座標503が領域506に属している場合、方向特定部112は、通信機器402が情報処理装置100の前方向にあると特定する。中心座標503が領域507に属している場合、方向特定部112は、通信機器402が情報処理装置100の右方向にあると特定する。中心座標503が領域508に属している場合、方向特定部112は、通信機器402が情報処理装置100の後方向にあると特定する。なお、この例では、中心座標503の位置を基準にしているが、顔画像306の他の位置(目等の特徴部分)を基準にして方向を特定してもよい。
図6(b)は、画像308の受信者の顔画像306の向きにより通信機器402が存在する方向を決める場合の例示図である。情報処理装置100は、顔画像306内の目や鼻等の器官の位置により、顔画像306の向きを特定する。情報処理装置100は、顔画像306の左右の目の位置を通る直線509、直線509に垂直で鼻の位置を通る直線510、及び直線510と画像308の縁部との交点511により、通信機器402が存在する方向を特定する。図7(b)は、このよう画像308を用いたステップS203の処理を表すフローチャートである。
画像処理部111は、顔画像306から顔の器官(目及び鼻)の位置を検出する(S604)。画像処理部111は、既知の画像認識技術により目及び鼻の位置を検出する。画像処理部111は、検出した目及び鼻の位置により顔画像306の向きを特定する(S605)。ここで顔の向きとは、直線510の目から鼻に向かう方向である。画像処理部111は、直線510を目から鼻方向へ伸ばした線と画像308の縁部との交点511を特定する(S606)。方向特定部112は、交点511に基づいて、情報処理装置100に対する通信機器402が存在する方向を特定して処理を終了する(S607)。
図6(b)の例では、交点511が画像308の左縁部にあるため、方向特定部112は、通信機器402が情報処理装置100の左方向にあると特定する。同様に、方向特定部112は、交点511が画像308の上縁部にある場合、通信機器402が情報処理装置100の前方向にあると特定する。方向特定部112は、交点511が画像308の右縁部にある場合、通信機器402が情報処理装置100の右方向にあると特定する。方向特定部112は、交点511が画像308の下縁部にある場合、通信機器402が情報処理装置100の後方向にあると特定する。
図6(c)は、画像308の顔領域の中心座標503から画像308の縁部512〜515までの距離により通信機器402が存在する方向を決める場合の例示図である。図7(c)は、このような画像308を用いたステップS203の処理を表すフローチャートである。
画像処理部111は、図7(a)のステップS601と同様にして、顔領域の中心座標503を検出する(S601)。画像処理部111は、画像308の縁部512〜515のうち、中心座標503に最近傍の縁部を特定する(S608)。画像処理部111は、中心座標503から各縁部512〜515までの距離を算出し、距離が最小となる縁部を最近傍の縁部として特定する。図6(c)では、縁部512が最近傍の縁部として特定される。
方向特定部112は、最近傍の縁部512に基づいて、情報処理装置100に対する通信機器402が存在する方向を特定して処理を終了する(S609)。図6(c)の例では、画像308の左側の縁部512が最近傍であるために、方向特定部112は、通信機器402が情報処理装置100の左方向にあると特定する。画像308の上側の縁部513が最近傍である場合、方向特定部112は、通信機器402が情報処理装置100の前方向にあると特定する。画像308の右側の縁部514が最近傍である場合、方向特定部112は、通信機器402が情報処理装置100の右方向にあると特定する。画像308の下側の縁部515が最近傍である場合、方向特定部112は、通信機器402が情報処理装置100の後方向にあると特定する。
図6(d)は、送信者の顔領域の中心座標516及び受信者の顔領域の中心座標503を通る直線518と、画像308の縁部との交点519により通信機器402が存在する方向を決める場合の例示図である。図8は、このような画像308から通信機器402が存在する方向を特定する処理を表すフローチャートである。
図8(a)は、情報処理装置100により、通信機器402が存在する方向を特定する処理を表すフローチャートである。図5のフローチャートと同じ処理には、同じステップ番号を付してある。
顔特定部110は、ステップS201、S202により受信者の顔領域を特定すると、同様の処理により、画像308から送信者の顔領域を特定する(S701、702)。顔特定部110は、送信者の顔画像307を検出し、図2の登録テーブルのユーザAの登録データにより送信者を特定する。また、顔特定部110は、検出した顔画像307により送信者の顔領域を特定する。送信者の顔領域の特定が終了すると、通信機器402が存在する方向を特定する(S203)。
図8(b)は、ステップS203の処理を表すフローチャートである。
画像処理部111は、受信者の顔領域の中心座標503及び送信者の顔領域の中心座標516を検出する(S703)。この処理は、図7(a)のステップS601の処理と同じである。画像処理部111は、検出した中心座標503、516の位置関係を特定する(S704)。図6(d)では、画像処理部111は、中心座標516から中心座標503の方向に伸ばした直線518と、画像308の縁部との交点519を特定する。この交点519が、中心座標503、516の位置関係を表す。方向特定部112は、中心座標503、516の位置関係に基づいて、情報処理装置100に対する通信機器402が存在する方向を特定して処理を終了する(S705)。
図6(d)では、交点519が画像308の左の縁部にあるために、方向特定部112は、通信機器402が情報処理装置100の左方向にあると特定する。交点が画像308の上の縁部にある場合、方向特定部112は、通信機器402が情報処理装置100の前方向にあると特定する。交点が画像308の右の縁部にある場合、方向特定部112は、通信機器402が情報処理装置100の右方向にあると特定する。交点が画像308の下の縁部にある場合、方向特定部112は、通信機器402が情報処理装置100の後方向にあると特定する。
以上のように、簡単な操作により、情報処理装置100に対する通信機器402が存在する方向を特定することができる。なお、以下のように処理を追加或いはセンサ等の構成を追加することで、更に高精度に方向を特定することができる。
<第2実施形態>
図9は、顔画像の表示位置や向きからは、受信者が所有する通信機器が存在する方向が特定困難な場合の例示図である。
図9(a)は、送信者が所有する情報処理装置801の前方向に、受信者803が所有する通信機器402が位置する状態を表す図である。情報処理装置801のカメラで撮像した画像804には、受信者803の顔画像806及び送信者の顔画像805が写り込んでいる。なお、この画像804は、情報処理装置801のディスプレイに表示されない。
このような位置関係にある情報処理装置801及び通信機器402において、送信者が情報処理装置801のタッチパネルを通信機器402が存在する方向807に向けてタッチ操作(ドラッグ)を行う。これにより、情報処理装置801から通信機器402に画像データが送信される。送信者が他の方向(例えば、方向808)へのタッチ操作を行った場合には、画像データの送信は行われない。
図9(b)は、情報処理装置801の左方向に通信機器402が位置する状態を表す図である。このような位置関係にある情報処理装置801及び通信機器402において、送信者が、情報処理装置801のタッチパネルを通信機器402が存在する方向809に向けてタッチ操作(ドラッグ)を行う。これにより、情報処理装置801から通信機器402に画像データが送信される。送信者が他の方向(例えば、方向810)へのタッチ操作を行った場合には、画像データの送信は行われない。
図9(a)及び図9(b)では、情報処理装置801のインカメラで撮像された画像804に、送信者の顔画像805及び受信者803の顔画像806が、同じ位置及び同じ向きで写り込む。そのために、図9(a)、図9(b)のような画像804では、情報処理装置801に対する通信機器402が存在する方向(位置)を特定することが困難である。
図9(c)は、このように画像804中の顔画像の位置及び方向から通信機器402が存在する方向を特定することが困難になる領域を表す図である。指定領域811、812内に受信者の顔画像806が写り込む場合には、通信機器402が存在する方向の特定ができない。指定領域811、812は、事前に情報処理装置801に記憶される。
第2実施形態では、このように通信機器402が存在する方向が特定困難な場合であっても、情報処理装置801に対する通信機器402が存在する方向(位置)を特定可能な、情報処理装置801を提供する。図10は、情報処理装置801の構成を表す図である。図1の第1実施形態の情報処理装置100と同じ構成には同じ符号を付してある。同じ構成の説明は省略する。図10(a)は、情報処理装置801のハードウェア構成図である。情報処理装置801は、第1実施形態の情報処理装置100に、傾き検出器1101を追加した構成である。
傾き検出器1101は、情報処理装置801の本体の傾き(姿勢)を検出する。傾き検出器1101には、ジャイロセンサ、加速度センサ、地磁気センサを用いることができる。傾き検出器1101は、情報処理装置801の本体のピッチ、ロール、ヨーの3軸の傾きを検出する。
図10(b)は、情報処理装置801の機能ブロック図である。情報処理装置801は、第1実施形態の情報処理装置100に構成される機能に、傾き判定部1102が追加された構成である。傾き判定部1102は、傾き検出器1101の検出結果を解析して、情報処理装置801の本体の傾き(姿勢)の判定を行う。
図11は、このような情報処理装置801による、ステップS203の処理を表すフローチャートである。第1実施形態の図7(a)の処理と同じ処理には、同じステップ番号を付してある。
画像処理部111は、図7(a)のステップS601と同様に、受信者803の顔領域の中心座標を検出する(S601)。画像処理部111は、検出した顔領域の中心座標が図9(c)の指定領域811、812のいずれかに含まれるか否かを判断する(S1201)。中心座標が指定領域811、812のいずれかに含まれる場合(S1201:Y)、方向特定部112は、後述する補足情報を用いて通信機器402が存在する方向解析を行う(S1202)。補足情報は、通信機器402が存在する方向を特定可能な、受信者803の顔領域以外の情報である。補足情報を用いた方向解析を行うことで、通信機器402が存在する方向を求める。方向特定部112は、方向解析の結果と受信者803の顔領域の中心座標に基づいて、情報処理装置801に対する通信機器402が存在する方向を特定して、処理を終了する(S1203)。
受信者803の顔領域の中心座標が指定領域811、812のいずれにも含まれない場合(S1201:N)、図7(a)のステップS602以降の処理が行われる。方向特定部112は、通信機器402が存在する方向を特定して処理を終了する(S603)。
ステップS1202の処理について、受信者803の顔領域の変化を補足情報として利用する場合について説明する。
図12は、送信者が所有する情報処理装置801で連続して撮像される画像に、受信者の顔画像が写り込んでくる様子を表す図である。図12(a)は、情報処理装置801の前方向に通信機器402が位置する場合(図9(a)の状態)を表す図である。図12(b)は、情報処理装置801の左方向に通信機器402が位置する場合(図9(b)の状態)を表す図である。
図12(a)の場合、受信者803の顔画像905、906、907が、送信者の顔画像805とともに、情報処理装置801のカメラ107により撮像された画像804に写り込む。(a−1)、(a−2)の画像804において、受信者803の顔画像905、906は、画像804からはみ出している。はみ出した部分は、撮像されない部分であるが、写り込む様子をわかりやすくするために、図12(a)、(b)では表示する。
(a−1)、(a−2)、(a−3)の順に画像804は生成される。(a−1)では受信者803の顔画像905の一部、(a−2)では受信者803の顔画像の半分906、(a−3)では受信者803の顔画像907の全部が写り込んでいる。図12(a)では、受信者803の顔画像905〜907が、画像804内を上から下に移動している。この顔画像905〜907の動きを識別することで、通信機器402の情報処理装置801に対する方向を特定する。情報処理装置801は、受信者803の顔画像905〜907が画像804内を上から下に移動する場合、通信機器402が前方向であると特定する。
図12(b)の場合、(b−1)〜(b−3)に示すように、受信者803の顔画像908〜910が、画像804内を左から右に移動している。この場合、情報処理装置801は、通信機器402が左方向であると特定する。
このように、情報処理装置801は、受信者803の顔画像の移動方向を補足情報として、通信機器402が存在する方向を特定する。補足情報の取得のために、カメラ107が撮像した画像804を表す画像データが、記憶部113に一定時間(例えば2秒間)記憶される。ステップS1202の処理の際には、画像処理部111が、記憶部113から画像データを読み出して顔領域の位置が変化する方向を解析する。
ステップS1202の処理について、送信者が所有する情報処理装置801の本体の傾き(姿勢)の変化を補足情報として利用する場合について説明する。
図13は、情報処理装置801の本体の傾きが変化する様子を表す図である。図13(a)は、情報処理装置801の前方向に通信機器402が位置する場合(図9(a))の、情報処理装置801の本体の傾きの変化を表す。図13(b)は、情報処理装置801の左方向に通信機器402が位置する場合(図9(b))の、情報処理装置801の本体の傾きの変化を表す。
図13(a)では、情報処理装置801が回転軸1005(ピッチ)に対して回転する。(a−1)〜(a−3)の順に、情報処理装置801は回転する。図13(a)は、情報処理装置801が前方向に傾いていく様子を表す。情報処理装置801のこの動きは、例えば、受信者803にこれから送信する写真を閲覧させる動きであり、また、受信者803が所有する通信機器402に写真の画像データを送信するための準備動作でもある。
通信機器402が情報処理装置801の前方向に位置する場合は、このように、情報処理装置801が前方向に傾けられる。傾き判定部1102が、この傾きの変化(ピッチの変化)を取得、判定することで、通信機器402が存在する方向を特定することができる。
図13(b)では、情報処理装置801が回転軸1006(ロール)に対して回転する。(b−1)〜(b−3)に示すように、情報処理装置801の本体は、左方向に傾く。傾き判定部1102が、この傾きの変化(ロールの変化)を取得、判定することで、通信機器402が、情報処理装置801の左方向に位置することを特定することができる(図9(b))。
以上は、図9(c)の指定領域811に受信者803の顔領域の中心座標が存在する場合の処理の説明である。図9(c)の指定領域812に受信者803の顔領域の中心座標が存在する場合も同様の処理により、通信機器402が存在する方向の特定が可能である。
ステップS1202の処理について、送信者が所有する情報処理装置801の本体の傾きを補足情報として利用する場合について説明する。
上述の通り、送信者が情報処理装置801を傾ける動作は、受信者803にこれから送信する写真を閲覧させる動きであり、また、受信者803が所有する通信機器402に写真の画像データを送信するための準備動作でもある。そのために、送信者は、情報処理装置801を受信者側にある程度傾けて動作を止める。例えば図13(a)の(a−3)や、図13(b)の(b−3)の状態で、送信者は情報処理装置801を傾ける動きを止める。この止めた状態の情報処理装置801の傾きを補足情報として利用する。
傾き判定部1102が情報処理装置801の傾きを判定して、判定結果により通信機器402が存在する方向を特定する。情報処理装置801が前方向に傾いている場合は、通信機器402が前方向にあると特定する。情報処理装置801が左方向に傾いている場合は、通信機器402が左方向にあると特定する。情報処理装置801が右方向に傾いている場合は、通信機器402が右方向にあると特定する。情報処理装置801が後方向に傾いている場合は、通信機器402が後方向にあると特定する。情報処理装置801の傾きは、一方向であるとは限らない。そのために傾き判定部1102は、前、右、左、後の4方向のうち、最大の傾きの方向に情報処理装置801が傾いていると判定する。
以上のような補足情報を組み合わせて用いてもよい。例えば、受信者803の顔領域の変化、情報処理装置801の本体の傾きの変化、及び情報処理装置801の傾きの各々に応じて通信機器402が存在する方向を特定し、多数決で最終的な方向を決定してもよい。また、各補足情報に優先度を設け、優先度の高い補足情報により方向を特定してもよい。この場合、特定した方向が正確さを欠く場合に、次に優先度の高い補足情報により方向を特定する。
このように第2実施形態では、補足情報を用いて通信機器402が存在する方向を決定する。そのために、受信者803の顔領域の位置からでは判断が困難な場合でも、精度よく通信機器402が存在する方向を特定することが可能となる。
<その他の変形例>
以上本発明に係る実施形態を説明したが、先に説明したように、情報処理装置は、通常のパーソナルコンピュータ等の汎用情報処理装置であって、その上で動作するコンピュータプログラムで実現できるものである。よって、本発明はコンピュータプログラムをその範疇とすることは明らかである。また、通常、コンピュータプログラムは、CDROM等のコンピュータ読み取り可能な記憶媒体に格納されており、それをコンピュータの対応するドライブにセットしてシステムにコピーやインストール処理することで実行可能となる。よって、本発明は当然にそのようなコンピュータ可読記憶媒体をもその範疇とすることも明らかである。
100,801…情報処理装置、101…CPU、102…ROM、103…RAM、104…HDD、105…タッチパネル、106…通信I/F、107…カメラ、108…システムバス、1101…傾き検出器、109…撮像部、110…顔特定部、111…画像処理部、112…方向特定部、113…記憶部、114…UI画面生成部、115…送信部、116…判定部、117…方向取得部、118…入力部、119…受信部、1102…傾き判定部

Claims (16)

  1. 撮像手段と、
    複数の人物の顔画像を、各人物を識別するための情報に関連付けて記憶し、且つ前記複数の人物のそれぞれが所有する通信機器の識別情報を、各人物の顔画像に関連付けて記憶する記憶手段と、
    前記撮像手段により撮像された画像から検出された顔画像と、前記記憶手段に記憶された顔画像とに基づいて、前記検出された顔画像に関連付けられた人物を特定する顔特定手段と、
    前記撮像手段により撮像された前記画像内の前記顔画像が存在する領域に応じて、前記顔特定手段により特定された人物が所有する通信機器が存在する、自装置に対する方向を特定する方向特定手段と、を備えることを特徴とする、
    情報処理装置。
  2. 前記検出した顔画像が存在する領域の中心座標を検出する検出手段を備え、
    前記方向特定手段は、前記中心座標の前記画像内における位置に応じて、前記顔特定手段により特定された人物が所有する通信機器が存在する方向を特定することを特徴とする、
    請求項記載の情報処理装置。
  3. 前記検出した顔画像から顔の器官の位置を検出する器官検出手段を備え、
    前記方向特定手段は、検出された前記顔の器官の位置により特定される該顔の向きに応じて、前記顔特定手段により特定された人物が所有する通信機器が存在する方向を特定することを特徴とする、
    請求項記載の情報処理装置。
  4. 前記検出した顔画像が存在する領域の中心座標を検出する検出手段を備え、
    前記方向特定手段は、前記中心座標に最も近接する前記画像の縁部に応じて、前記顔特定手段により特定された人物が所有する通信機器が存在する方向を特定することを特徴とする、
    請求項記載の情報処理装置。
  5. 前記検出した顔画像が存在する領域の中心座標を検出する検出手段を備え、
    前記記憶手段は、この情報処理装置の所有者の顔画像を他の人物の顔画像とともに記憶しており、
    前記顔特定手段は、前記撮像手段により撮像された前記画像から、前記所有者の顔画像及び他の人物の顔画像を検出し、前記記憶手段に記憶された前記顔画像を参照して、検出した各顔画像に関連付けられた前記所有者及び他の人物を特定し、
    前記方向特定手段は、前記所有者の顔画像が存在する領域の中心座標及び前記他の人物の顔画像が存在する領域の中心座標に応じて、特定した前記他の人物が所有する通信機器が存在する方向を特定することを特徴とする、
    請求項記載の情報処理装置。
  6. 前記検出した顔画像が存在する領域の中心座標を検出する検出手段を備え、
    前記記憶手段は、前記顔画像が表示されても、前記顔特定手段により特定された人物が所有する通信機器が存在する方向を特定することができない、前記画像内の領域である指定領域を記憶しており、
    前記方向特定手段は、前記中心座標が前記指定領域に含まれれば、前記通信機器が存在する方向を特定可能な、前記顔画像が存在する領域以外の情報である補足情報を用いた方向解析を行い、方向解析の結果及び前記中心座標の位置に応じて、前記顔特定手段により特定された人物が所有する通信機器が存在する方向を特定することを特徴とする、
    請求項記載の情報処理装置。
  7. 情報処理装置の本体の一面にディスプレイを備えており、
    前記撮像手段は、ディスプレイと同じ面に設けられ、前記ディスプレイを閲覧しようとする人物の顔を撮影可能な位置及び方向に設置されたインカメラであり、前記インカメラが撮像した前記画像は前記ディスプレイに表示されないことを特徴とする、
    請求項1乃至のいずれか1項に記載の情報処理装置。
  8. 撮像手段と、
    タッチパネルに対するタッチ操作の方向を検出する入力手段と、
    複数の人物の顔画像を、各人物を識別するための情報に関連付けて記憶する記憶手段と、
    前記撮像手段により撮像された画像から検出された顔画像と、前記記憶手段に記憶された顔画像とに基づいて、前記検出された顔画像に関連付けられた人物を特定する顔特定手段と、
    前記撮像手段により撮像された前記画像内の前記顔画像が存在する領域に応じて、前記顔特定手段により特定された人物が存在する、自装置に対する方向を特定する方向特定手段と、
    前記入力手段で検出した前記タッチ操作の方向と前記方向特定手段で特定した方向とが一致するか否かを判定する判定手段と、
    前記判定手段による判定の結果、一致する場合に、前記顔特定手段により特定された人物が所有する通信機器へ電子データを送信する送信手段と、を備えることを特徴とする、
    情報処理装置。
  9. 撮像手段と、
    複数の人物の顔画像を、各人物を識別するための情報に関連付けて記憶する第1の記憶手段と、
    前記撮像手段により撮像された画像から検出された顔画像と、前記第1の記憶手段に記憶された顔画像とに基づいて、前記検出された顔画像に関連付けられた人物を特定する顔特定手段と、
    前記検出した顔画像が存在する領域の中心座標を検出する検出手段と、
    前記撮像手段によって撮像される画像内に、前記顔画像が存在しても、前記顔特定手段により特定された人物が存在する自装置に対する方向を特定しない指定領域を記憶する第2の記憶手段と、
    前記中心座標が前記指定領域に含まれなければ、前記撮像手段により撮像された前記画像内の前記顔画像が存在する領域に応じて、前記顔特定手段により特定された人物が存在する方向を特定し、前記中心座標が前記指定領域に含まれれば、前記特定された人物が存在する方向を特定可能な、前記顔画像が存在する領域以外の情報である補足情報を用いた方向解析を行い、方向解析の結果及び前記中心座標の位置に応じて、前記顔特定手段により特定された人物が存在する方向を特定する方向特定手段と、を備えることを特徴とする、
    情報処理装置。
  10. 前記第1の記憶手段は、前記複数の人物のそれぞれが所有する通信機器の識別情報を、各人物の顔画像に関連付けて記憶しており、
    前記方向特定手段は、前記顔特定手段により特定された人物が所有する通信機器が存在する自装置に対する方向を特定することを特徴とする、
    請求項に記載の情報処理装置。
  11. 情報処理装置の本体の傾きを検出する傾き検出手段を備え、
    前記方向特定手段は、前記本体の傾きを補足情報として、前記顔特定手段により特定された人物が所有する通信機器が存在する方向解析を行うことを特徴とする、
    請求項記載の情報処理装置。
  12. 情報処理装置の本体の傾きの変化を検出する傾き検出手段を備え、
    前記方向特定手段は、前記本体の傾きの変化を補足情報として、前記顔特定手段により特定された人物が所有する通信機器が存在する方向解析を行うことを特徴とする、
    請求項10記載の情報処理装置。
  13. 前記方向特定手段は、前記撮像手段により連続して撮像された前記画像内の前記顔画像が存在する領域の変化を補足情報として、前記顔特定手段により特定された人物が所有する通信機器が存在する方向解析を行うことを特徴とする、
    請求項10記載の情報処理装置。
  14. 撮像手段と、複数の人物の顔画像を、各人物を識別するための情報に関連付けて記憶し、且つ前記複数の人物のそれぞれが所有する通信機器の識別情報を、各人物の顔画像に関連付けて記憶する記憶手段と、を備えた情報処理装置により実行される方法であって、
    前記撮像手段により撮像された画像から検出された顔画像と、前記記憶手段に記憶された顔画像とに基づいて、前記検出された顔画像に関連付けられた人物を特定するステップと、
    前記撮像手段により撮像された前記画像内の前記顔画像が存在する領域を特定するステップと、
    特定した前記顔画像が存在する領域に応じて、前記特定された人物が所有する通信機器が存在する、前記情報処理装置に対する方向を特定するステップと、を含むことを特徴とする、
    方向特定方法。
  15. 撮像手段を備えたコンピュータを、
    複数の人物の顔画像を、各人物を識別するための情報に関連付けて記憶し、且つ前記複数の人物のそれぞれが所有する通信機器の識別情報を、各人物の顔画像に関連付けて記憶する記憶手段、
    前記撮像手段により撮像された画像から検出された顔画像と、前記記憶手段に記憶された顔画像とに基づいて、前記検出された顔画像に関連付けられた人物を特定する顔特定手段、
    前記撮像手段により撮像された前記画像内の前記顔画像が存在する領域に応じて、前記顔特定手段により特定された人物が所有する通信機器が存在する、自装置に対する方向を特定する方向特定手段、
    として機能させるためのコンピュータプログラム。
  16. 請求項15記載のコンピュータプログラムを記憶する、コンピュータにより読み取り可能な記憶媒体。
JP2013141734A 2013-07-05 2013-07-05 情報処理装置、方向特定方法、コンピュータプログラム、及び記憶媒体 Active JP6164958B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013141734A JP6164958B2 (ja) 2013-07-05 2013-07-05 情報処理装置、方向特定方法、コンピュータプログラム、及び記憶媒体
US14/322,309 US9406136B2 (en) 2013-07-05 2014-07-02 Information processing device, information processing method and storage medium for identifying communication counterpart based on image including person

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013141734A JP6164958B2 (ja) 2013-07-05 2013-07-05 情報処理装置、方向特定方法、コンピュータプログラム、及び記憶媒体

Publications (3)

Publication Number Publication Date
JP2015015634A JP2015015634A (ja) 2015-01-22
JP2015015634A5 JP2015015634A5 (ja) 2016-08-18
JP6164958B2 true JP6164958B2 (ja) 2017-07-19

Family

ID=52437067

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013141734A Active JP6164958B2 (ja) 2013-07-05 2013-07-05 情報処理装置、方向特定方法、コンピュータプログラム、及び記憶媒体

Country Status (1)

Country Link
JP (1) JP6164958B2 (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4284309B2 (ja) * 2005-08-31 2009-06-24 ソフトバンクモバイル株式会社 緊急動作実行方法及び電子機器
JP2008288639A (ja) * 2007-05-15 2008-11-27 Nec Corp 画像撮像装置
JP5392141B2 (ja) * 2010-02-19 2014-01-22 株式会社ニコン 電子機器

Also Published As

Publication number Publication date
JP2015015634A (ja) 2015-01-22

Similar Documents

Publication Publication Date Title
US20230316683A1 (en) Video clip object tracking
JP7058760B2 (ja) 画像処理方法およびその、装置、端末並びにコンピュータプログラム
EP2770729B1 (en) Apparatus and method for synthesizing an image in a portable terminal equipped with a dual camera
US9479693B2 (en) Method and mobile terminal apparatus for displaying specialized visual guides for photography
KR102114377B1 (ko) 전자 장치에 의해 촬영된 이미지들을 프리뷰하는 방법 및 이를 위한 전자 장치
US11061480B2 (en) Apparatus, method and recording medium for controlling user interface using input image
EP3547218B1 (en) File processing device and method, and graphical user interface
KR102028952B1 (ko) 휴대 단말에 의해 촬영된 이미지들을 합성하는 방법, 기계로 읽을 수 있는 저장 매체 및 휴대 단말
US20140300542A1 (en) Portable device and method for providing non-contact interface
US20170214856A1 (en) Method for controlling motions and actions of an apparatus including an image capture device having a moving device connected thereto using a controlling device
KR20140012757A (ko) 시각 장애 사용자들에 의한 이미지 캡처 및 이미지 검토의 촉진
US9888209B1 (en) Remote communication system, method for controlling remote communication system, and storage medium
KR20140002009A (ko) 입력 장치, 입력 방법 및 기록 매체
KR102078198B1 (ko) 전자 장치 및 전자 장치의 3차원 모델링을 위한 촬영방법
JP6828758B2 (ja) 電子機器、情報システム、及びプログラム
US9406136B2 (en) Information processing device, information processing method and storage medium for identifying communication counterpart based on image including person
JP2009094868A (ja) 情報処理装置、遠隔指示システム及びプログラム
US9350918B1 (en) Gesture control for managing an image view display
KR102076629B1 (ko) 휴대 장치에 의해 촬영된 이미지들을 편집하는 방법 및 이를 위한 휴대 장치
JP6164958B2 (ja) 情報処理装置、方向特定方法、コンピュータプログラム、及び記憶媒体
JP6486077B2 (ja) 表示装置、サーバ装置、表示システム及びその制御方法、並びに制御プログラム、記憶媒体
KR102084161B1 (ko) 이미지를 보정하는 전자 장치 및 그 제어 방법
JP2020115327A (ja) 拡張現実の文書編集
JP6173076B2 (ja) 情報処理装置、通信相手の決定方法、コンピュータプログラム
KR101625738B1 (ko) 이동 단말기

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160628

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160628

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170321

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170428

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170523

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170620

R151 Written notification of patent or utility model registration

Ref document number: 6164958

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151