JP5914992B2 - 表示制御装置、表示制御方法、およびプログラム - Google Patents

表示制御装置、表示制御方法、およびプログラム Download PDF

Info

Publication number
JP5914992B2
JP5914992B2 JP2011124346A JP2011124346A JP5914992B2 JP 5914992 B2 JP5914992 B2 JP 5914992B2 JP 2011124346 A JP2011124346 A JP 2011124346A JP 2011124346 A JP2011124346 A JP 2011124346A JP 5914992 B2 JP5914992 B2 JP 5914992B2
Authority
JP
Japan
Prior art keywords
display
display control
target object
region
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011124346A
Other languages
English (en)
Other versions
JP2012253551A5 (ja
JP2012253551A (ja
Inventor
智彦 岡崎
智彦 岡崎
道成 河野
道成 河野
小堀 洋一
洋一 小堀
義己 田中
義己 田中
不二雄 登
不二雄 登
光宏 細木
光宏 細木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2011124346A priority Critical patent/JP5914992B2/ja
Priority to US13/467,386 priority patent/US9805390B2/en
Priority to CN201210165834.9A priority patent/CN102810308B/zh
Publication of JP2012253551A publication Critical patent/JP2012253551A/ja
Publication of JP2012253551A5 publication Critical patent/JP2012253551A5/ja
Application granted granted Critical
Publication of JP5914992B2 publication Critical patent/JP5914992B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0251Targeted advertisements
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09FDISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F27/00Combined visual and audible advertising or displaying, e.g. for public address

Description

本開示は、表示制御装置、表示制御方法、およびプログラムに関する。
近年、広告など様々な情報を表示画面に表示させることが可能な表示装置が、様々な場所に設置されている。電子広告に係る技術としては、例えば特許文献1に記載の技術が挙げられる。
特開2010−102235号公報
例えば特許文献1に示す技術が用いられる電子広告システムでは、画像を表示画面に表示する表示装置にカメラやセンサを設けることによって、当該表示画面の前に立つユーザの属性や距離を認識し、認識結果に基づく表示内容を表示画面に表示させる。よって、例えば上記のような電子広告システムが用いられる場合には、表示画面をみているユーザに合う広告(表示内容の一例)を表示画面に表示させることができる可能性はある。
しかしながら、例えば特許文献1に示す技術を用いる場合には、認識対象のユーザが一人であっても複数であっても、1つの認識結果に対応する表示内容しか表示画面に表示させることはできない。よって、例えば特許文献1に記載の技術を用いたとしても、表示画面に映る画像(動画像または静止画像。以下、同様とする。)をみている1または2以上のユーザそれぞれに、表示画面に表示されている表示内容が自己に対するものであると認識させることができるとは限らない。
本開示では、表示画面に映る画像をみるユーザに、表示画面に表示されている表示内容が自己に対するものであると認識させることが可能な、新規かつ改良された表示制御装置、表示制御方法、およびプログラムを提案する。
本開示によれば、表示画面に表示する表示対象画像と、上記表示画面の表示方向が撮像された撮像画像とに基づいて、上記表示対象画像内に切り抜き領域を設定する領域設定部と、設定された切り抜き領域内に表示する表示内容を設定する表示内容設定部と、設定された切り抜き領域内に設定された表示内容が表示された画像を、表示画面に表示させる表示制御部とを備える、表示制御装置が提供される。
また、本開示によれば、表示画面に表示する表示対象画像と、上記表示画面の表示方向が撮像された撮像画像とに基づいて、上記表示対象画像内に切り抜き領域を設定するステップと、設定された切り抜き領域内に表示する表示内容を設定するステップと、設定された切り抜き領域内に設定された表示内容が表示された画像を、表示画面に表示させるステップとを有する、表示制御方法が提供される。
また、本開示によれば、表示画面に表示する表示対象画像と、上記表示画面の表示方向が撮像された撮像画像とに基づいて、上記表示対象画像内に切り抜き領域を設定するステップ、設定された切り抜き領域内に表示する表示内容を設定するステップ、設定された切り抜き領域内に設定された表示内容が表示された画像を、表示画面に表示させるステップ、をコンピュータに実行させるためのプログラムが提供される。
本開示によれば、表示画面に映る画像をみるユーザに、表示画面に表示されている表示内容が自己に対するものであると認識させることができる。
本実施形態に係る表示制御装置における本実施形態に係る表示制御方法に係る処理の概要を説明するための説明図である。 本実施形態に係る表示制御装置における本実施形態に係る表示制御方法に係る処理の概要を説明するための説明図である。 本実施形態に係る表示制御装置における処理の一例を示す流れ図である。 本実施形態に係る表示制御装置における、本実施形態に係る表示制御方法に係る処理の第1の例を示す流れ図である。 本実施形態に係る表示制御装置における、本実施形態に係る表示制御方法に係る処理の第3の例を示す流れ図である。 本実施形態に係る表示制御装置における、本実施形態に係る表示制御方法の第3の例に係る処理の結果の一例を示す説明図である。 本実施形態に係る表示制御装置における、本実施形態に係る表示制御方法の第3の例に係る処理の結果の一例を示す説明図である。 本実施形態に係る表示制御装置における、本実施形態に係る表示制御方法に係る処理の第4の例を示す流れ図である。 本実施形態に係る表示制御装置における、本実施形態に係る表示制御方法に係る処理の第5の例を示す流れ図である。 本実施形態に係る表示制御装置における、本実施形態に係る表示制御方法の第5の例に係る処理の結果の一例を示す説明図である。 本実施形態に係る表示制御装置における、本実施形態に係る表示制御方法の第5の例に係る処理の結果の一例を示す説明図である。 本実施形態に係る表示制御装置の構成の一例を示すブロック図である。 本実施形態に係る表示制御装置のハードウェア構成の一例を示す説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、以下では、下記に示す順序で説明を行う。
1.本実施形態に係る表示制御方法
2.本実施形態に係る表示制御装置
3.本実施形態に係るプログラム
(本実施形態に係る表示制御方法)
本実施形態に係る表示制御装置の構成について説明する前に、本実施形態に係る表示制御方法について説明する。また、以下では、本実施形態に係る表示制御装置が、本実施形態に係る表示制御方法に係る処理を行うものとして説明する。
上述したように、例えば特許文献1に記載の技術のように、表示画面の前に立つユーザの属性や距離などに基づく1つの認識結果に対応する表示内容を表示画面に表示させる場合には、表示画面をみているユーザに合う表示内容を表示画面に表示させることができる可能性はある。しかしながら、上記のように、認識結果に基づく表示内容を表示画面に表示させたとしても、例えば下記に示すような問題が生じうる。
・表示画面の前に複数のユーザが存在する場合、表示画面に表示された表示内容が誰に対するものであるかを、それぞれのユーザに判別させることは困難である
・例えば表示画面のサイズが大きい場合、表示画面からの距離が大きな位置にいるユーザは、表示内容を認識することができるが、表示画面からの距離が小さな位置にいるユーザは、表示内容を認識することが困難である
したがって、例えば特許文献1に記載の技術を用いたとしても、表示画面に映る画像をみている1または2以上のユーザそれぞれに、表示画面に表示されている表示内容が自己に対するものであると認識させることができるとは限らない。
[本実施形態に係る表示制御方法に係る処理の概要]
そこで、本実施形態に係る表示制御装置は、表示画面に表示する対象の画像(以下、「表示対象画像」と示す。)内に、表示画面をみうるユーザに対応する表示領域を設定する。そして、本実施形態に係る表示制御装置は、表示対象画像から設定された表示領域部分を切り抜いて、切り抜かれた表示領域部分に表示内容が表示された画像を、表示画面に表示させる。以下では、本実施形態に係る表示画面をみうるユーザに対応する表示領域(後述する対象物体に対応する表示領域)を、「切り抜き領域」と示す。
ここで、本実施形態に係る表示制御装置が画像を表示させる表示画面としては、例えば、本実施形態に係る表示制御装置とネットワークを介して(または、直接的に)接続された外部表示装置の表示画面、または、本実施形態に係る表示制御装置が備える表示部(後述する)の表示画面が挙げられる。また、本実施形態に係るネットワークとしては、例えば、LAN(Local Area Network)やWAN(Wide Area Network)などの有線ネットワーク、無線LAN(Wireless Local Area Network)や基地局を介した無線WAN(WWAN;Wireless Wide Area Network)などの無線ネットワーク、あるいは、TCP/IP(Transmission Control Protocol/Internet Protocol)などの通信プロトコルを用いたインターネットなどが挙げられる。
また、本実施形態に係る表示対象画像としては、例えば、ネットワークを介して(または直接的に)外部装置から送信された画像信号が示す画像が挙げられるが、本実施形態に係る表示対象画像は、上記に限られない。例えば、本実施形態に係る表示対象画像は、本実施形態に係る表示制御装置がテレビ塔などから送信された放送波を(直接的、またはセットトップボックスなどを介して間接的に)受信してデコードした結果得られる画像信号が示す画像であってもよい。また、本実施形態に係る表示制御装置は、例えば、記憶部(後述する)や、表示制御装置から着脱可能な外部記録媒体に記憶された画像データをデコードすることにより得た画像信号が示す画像を、表示対象画像とすることも可能である。
より具体的には、本実施形態に係る表示制御装置は、表示対象画像と、表示画面の表示方向が撮像された撮像画像とに基づいて、切り抜き領域を設定する(切り抜き領域設定処理)。また、本実施形態に係る表示制御装置は、設定された切り抜き領域内に表示する表示内容を設定する(表示内容設定処理)。そして、本実施形態に係る表示制御装置は、設定された切り抜き領域内に設定された表示内容が表示された画像を、表示画面に表示させる(表示制御処理)。
ここで、本実施形態に係る撮像画像は、上記のように表示画面の表示方向が撮像された画像である。本実施形態に係る表示制御装置が画像を表示させる表示画面が外部表示装置の表示画面である場合には、例えば、外部表示装置が備える撮像デバイスや、当該外部表示装置と接続された撮像装置によって、撮像が行われる。そして、本実施形態に係る表示制御装置は、上記外部表示装置または上記撮像装置から送信された、撮像画像を示す画像信号を受信することによって、撮像画像を取得する。また、本実施形態に係る表示制御装置が画像を表示させる表示画面が表示部(後述する)の表示画面である場合には、例えば、本実施形態に係る表示制御装置が備える撮像部(後述する)や、本実施形態に係る表示制御装置に接続された撮像装置によって、撮像が行われる。そして、本実施形態に係る表示制御装置は、上記撮像部(後述する)が撮像を行うことによって、または、上記撮像装置から送信された撮像画像を示す画像信号を受信することによって、撮像画像を取得する。なお、本実施形態に係る表示制御装置における撮像画像の取得方法が、上記に限られないことは、言うまでもない。
図1A、図1Bは、本実施形態に係る表示制御装置における本実施形態に係る表示制御方法に係る処理の概要を説明するための説明図である。図1A、図1Bに示す“A”は、表示対象画像の一例を示している。また、図1Aに示す“B”、“C”は、撮像画像から検出する検出対象の物体(以下、「対象物体」と示す。)の一例を示している。ここで、図1Aでは、ユーザ(人間)が対象物体である場合の一例を示しており、また、2人のユーザが撮像画像に含まれる場合を示している。また、図1Bに示す“AR1”は、図1Aに示す“A”に対応する切り抜き領域を示しており、図1Bに示す“AR2”は、図1Aに示す“B”に対応する切り抜き領域を示している。
本実施形態に係る表示制御装置は、例えば撮像画像から対象物体を検出する。ここで、本実施形態に係る表示制御装置は、例えば、顔検出処理やエッジ検出処理などの処理を撮像画像に対して行うことによって、撮像画像からユーザ(対象物体の一例)を検出する。なお、本実施形態に係る表示制御装置における対象物体の検出方法は、上記に限られない。例えば、外部装置において対象物体が検出される場合には、本実施形態に係る表示制御装置は、当該外部装置から送信される検出結果を用いることによって、上記顔検出処理などの処理を撮像画像に対して行うことなく撮像画像から対象物体を検出することも可能である。
なお、本実施形態に係る表示制御装置が撮像画像から検出する対象物体は、図1Aに示すようなユーザに限られない。例えば、本実施形態に係る表示制御装置は、任意の物体検出処理を用いることによって、車や鞄などの任意の物体を対象物体として撮像画像から検出することが可能である。以下では、本実施形態に係る表示制御装置が、ユーザを対象物体とする場合を主に例に挙げて説明する。
撮像画像から対象物体が検出されると、本実施形態に係る表示制御装置は、表示対象画像内での対象物体に対応する画像が占める領域を特定する。そして、本実施形態に係る表示制御装置は、特定された領域を切り抜き領域“AR1”、“AR2”として設定する。
ここで、本実施形態に係る表示制御装置は、例えば、表示対象画像と撮像画像を合成した場合における表示対象画像内での対象物体に対応する画像が占める領域を、切り抜き領域として設定するが、切り抜き領域の設定方法は、上記に限られない。例えば、本実施形態に係る表示制御装置は、表示画面と対象物体との距離を示す距離情報など、対象物体に関する情報を用いることによって、切り抜き領域を設定することも可能である。距離情報を用いる場合には、本実施形態に係る表示制御装置は、例えば、距離情報が示す距離に応じた大きさの切り抜き領域を設定する。本実施形態に係る表示制御装置は、例えば、外部表示装置が備える距離センサや赤外線センサなどの各種検出センサや当該外部表示装置と接続された各種検出センサ、または、本実施形態に係る表示制御装置が備える検出部(後述する)や表示制御装置と接続された各種検出センサから、上記対象物体に関する情報を取得する。
また、本実施形態に係る表示制御装置は、例えば、検出された対象物体の数に基づいて切り抜き領域を設定してもよい。以下では、例えば、対象物体の形や属性、数などのような撮像画像を処理することによって得られる情報や、距離情報などのような検出センサにより得られる情報など、撮像画像に含まれる対象物体に関する情報を、総称して「対象物体情報」と示す場合がある。
なお、本実施形態に係る表示制御装置は、例えば図1Aに示すような、表示対象画像と、撮像画像から検出された対象物体に対応する画像との合成を行わなくても、表示対象画像内での対象物体に対応する画像が占める領域の特定することが可能である。よって、本実施形態に係る表示制御装置は、例えば図1Aに示すような画像の合成を行わなくてもよい。
切り抜き領域“AR1”、“AR2”が設定されると、本実施形態に係る表示制御装置は、例えば図1Bに示すように、設定された切り抜き領域“AR1”、“AR2”に設定された表示内容に対応する画像が合成された画像(切り抜き領域内に設定された表示内容が表示された画像の一例)を、表示画面に表示させる。
ここで、図1Bでは、本実施形態に係る表示制御装置が、切り抜き領域“AR1”に広告を表示させ、また、切り抜き領域“AR2”にショッピングモールの構内図を表示させている例を示している。なお、本実施形態に係る表示制御装置が設定した切り抜き領域に表示させる表示内容は、図1Bに示すような広告や構内図に限られない。例えば、本実施形態に係る表示制御装置は、ユーザ(対象物体の一例)の発言履歴や購入履歴などの履歴情報の内容を、切り抜き領域に表示させる表示内容として設定することもできる。また、例えば本実施形態に係る表示制御装置がテレビ会議システムに適用される場合には、本実施形態に係る表示制御装置は、例えば、参加者(ユーザの一例)の資料を切り抜き領域に表示させたり、会話内容を切り抜き領域に表示させることも可能である。
本実施形態に係る表示制御装置は、例えば、顔認証などの任意の認証技術を用いて対象物体としてのユーザを識別することによって、識別されたユーザに対応する履歴情報などの内容を切り抜き領域に表示させる表示内容として設定する。ここで、本実施形態に係る表示制御装置は、例えば、サーバなどの外部装置や、本実施形態に係る表示制御装置が備える記憶部(後述する)から、特定されたユーザに対応する履歴情報などを取得するが、本実施形態に係る表示制御装置における履歴情報などの取得方法は、上記に限られない。なお、上述したように、本実施形態に係る表示制御装置は、任意の物体を対象物体として撮像画像から検出することが可能である。よって、本実施形態に係る表示制御装置は、任意の識別技術を用いて検出された対象物体を識別することによって、検出された対象物体それぞれに関する情報の内容を、対応する切り抜き領域に表示させる表示内容として設定することが可能である。
さらに、本実施形態に係る表示制御装置は、例えば、検出された対象物体の属性(例えば、ユーザが対象物体の場合には、男女や、年齢層など)や、検出された対象物体のサイズ(例えば、後述する検出された対象物体に対応する面積S)などに基づいて、表示内容を変えることも可能である。ここで、対象物体の属性は、例えば、画像から特徴点を検出して検出された特徴点に基づき判定を行う画像処理など、任意の画像処理技術を用いて判定することが可能である。また、対象物体の属性に基づいて表示内容を変える場合、表示制御装置100は、例えば、属性の判定結果と、属性と表示内容に対応するデータとを対応付けたテーブルなどとを用いて、表示内容を設定する。なお、検出された対象物体のサイズに基づく表示内容の変更に係る処理の一例については、後述する。
また、図1Bでは、本実施形態に係る表示制御装置が、検出された2つの対象物体に対応する切り抜き領域“AR1”、“AR2”それぞれに相異なる情報の内容を設定している例を示しているが、本実施形態に係る表示制御装置が設定した切り抜き領域に表示させる表示内容は、上記に限られない。例えば、本実施形態に係る表示制御装置は、複数の対象物体それぞれに対応する切り抜き領域それぞれに表示させる表示内容として、同一の内容を設定することも可能である。上記同一の内容は、例えば、予め規定されたものであってもよいし、撮像画像から検出された複数の対象物体それぞれの属性を例えば平均などの統計手法を用いて総合評価することによって設定されたものであってもよい。
また、図1Bでは、本実施形態に係る表示制御装置が、切り抜き領域“AR1”、“AR2”に表示内容の一部を表示させている例を示しているが、本実施形態に係る表示制御装置が切り抜き領域に表示させる表示内容は、上記に限られない。例えば、本実施形態に係る表示制御装置は、設定した切り抜き領域内に設定された表示内容の全体を表示させてもよい。なお、図1Bに示す例では、ユーザ(対象物体)が移動することによって、設定された表示内容の他の部分が表示されることとなる。
本実施形態に係る表示制御装置は、例えば図1Bに示すように、撮像画像から検出された対象物体に対応する切り抜き領域に設定された表示内容が表示された画像を、表示画面に表示させる。例えば図1Bに示すように、検出された対象物体に対応する切り抜き領域“AR1”、“AR2”それぞれに表示内容が表示された画像が表示画面に表示されることによって、例えば図1Aに示す“B”に対応するユーザは、切り抜き領域“AR1”に表示された内容が、自己に対するものであると認識することが可能となる。同様に、例えば図1Aに示す“C”に対応するユーザは、切り抜き領域“AR2”に表示された内容が、自己に対するものであると認識することが可能となる。
したがって、本実施形態に係る表示制御装置が、例えば、(1)切り抜き領域設定処理、(2)表示内容設定処理、および(3)表示制御処理を行うことによって、表示画面に映る画像をみるユーザに、表示画面に表示されている表示内容が自己に対するものであると認識させることができる。
[本実施形態に係る表示制御方法に係る処理の具体例]
次に、本実施形態に係る表示制御方法に係る処理について、より具体的に説明する。以下では、本実施形態に係る表示制御装置(以下、「表示制御装置100」と示す場合がある。)が、本実施形態に係る表示制御方法に係る処理を行うものとして説明する。
図2は、本実施形態に係る表示制御装置100における処理の一例を示す流れ図である。ここで、図2は、表示制御装置100における処理の大枠を示している。なお、図2に示す処理の具体例については、後述する。
表示制御装置100は、表示対象画像に切り抜き領域を設定する(S100。切り抜き領域設定処理)。ここで、表示制御装置100は、表示対象画像と撮像画像とに基づいて切り抜き領域を設定する。より具体的には、表示制御装置100は、例えば、撮像画像を処理することによって得られる情報や、各種センサによって得られた対象物体に関する情報などの、対象物体情報を用いることによって、切り抜き領域を設定する。なお、本実施形態に係る表示制御装置100における切り抜き領域の設定に係る処理の具体例については、後述する。
ステップS100において切り抜き領域が設定されると、表示制御装置100は、設定した切り抜き領域それぞれに表示する表示内容を設定する(S102。表示内容設定処理
)。ここで、表示制御装置100は、例えば、予め規定された表示内容を設定してもよいし、または、対象物体の属性や対象物体の識別結果に対応する表示内容を設定してもよい。また、複数の切り抜き領域が設定される場合には、表示制御装置100は、例えば、設定された切り抜き領域それぞれに同一の表示内容を設定してもよいし、相異なる表示内容を設定してもよい。
ステップS102において表示内容が設定されると、表示制御装置100は、ステップS100において設定された切り抜き領域内に、ステップS102において設定された表示内容が表示された画像を、表示画面に表示させる(S104。表示制御処理)。ここで、表示制御装置100が外部表示装置の表示画面に上記画像を表示させる場合には、表示制御装置100は、例えば、上記画像を示す画像信号を外部表示装置へ送信することによって、外部表示装置に上記画像を表示させる。また、表示制御装置100が表示部(後述する)の表示画面に上記画像を表示させる場合には、表示制御装置100は、表示部(後述)に上記画像を示す画像信号を伝達することによって、上記画像を表示させる。
表示制御装置100は、例えば図2に示す処理を行うことによって、本実施形態に係る表示制御方法に係る(1)の処理(切り抜き領域設定処理)〜(3)の処理(表示制御処理)を実現し、撮像画像から検出された対象物体に対応する切り抜き領域に設定された表示内容が表示された画像を、表示画面に表示させる。
よって、表示制御装置100は、例えば図2に示す処理を行うことによって、表示画面に映る画像をみるユーザに、表示画面に表示されている表示内容が自己に対するものであると認識させることができる。なお、例えば図2に示す本実施形態に係る表示制御方法に係る処理は、1回行われれば再度行われないという類の処理ではなく、表示制御装置100は、例えば、定期的に、または、非定期的に、本実施形態に係る表示制御方法に係る処理を繰り返し行う。つまり、表示制御装置100は、リアルタイム(または、ほぼリアルタイム)に処理を行うことが可能である。よって、表示制御装置100は、設定する切り抜き領域に表示する表示内容をリアルタイム(または、ほぼリアルタイム)に変化させることができる。
以下、図2に示す本実施形態に係る表示制御方法に係る処理について、より具体的に説明する。
[1]第1の例
図3は、本実施形態に係る表示制御装置100における、本実施形態に係る表示制御方法に係る処理の第1の例を示す流れ図である。
表示制御装置100は、対象物体が検出されたか否かを判定する(S200)。ここで、表示制御装置100は、ハードウェアおよび/またはソフトウェアにより撮像画像を画像解析することによって、撮像画像から対象物体を検出してステップS200の判定を行うが、本実施形態に係る表示制御装置100における処理は、上記に限られない。例えば、外部表示装置に接続された物体検知センサや表示制御装置100に接続された物体検知センサなどのような、外部検出装置において対象物体が検出される場合には、表示制御装置100は、当該外部検出装置から送信される検出結果に基づいて、ステップS200の判定を行うことも可能である。
ステップS200において対象物体が検出されたと判定されない場合には、表示制御装置100は、切り抜き領域を設定しない(S210)。そして、表示制御装置100は、後述するステップS212の処理を行う。
また、ステップS200において対象物体が検出されたと判定された場合には、表示制御装置100は、対象物体情報を検出する(S202)。ここで、表示制御装置100は、撮像画像を処理することや、外部の検出センサや検出部(後述する)が検出した検出結果を示す情報を用いることによって、対象物体情報を検出する。本実施形態に係る表示制御方法に係る処理の第1の例に係る対象物体情報としては、例えば、対象物体の形や、対象物体の属性、表示画面と対象物体との距離を示す情報などが挙げられる。
ステップS202の処理が行われると、表示制御装置100は、検出された対象物体に対応する面積(検出された対象物体のサイズ)Sと、切り抜き領域を設定する基準となる設定基準領域の面積(設定基準領域のサイズ)Sminとを比較する。そして、表示制御装置100は、面積Sが面積Sminより大きいか否かを判定する(S204)。ここで、本実施形態に係る設定基準領域の面積Sminは、例えば、予め規定された固定値であってもよいし、表示制御装置100のユーザが変更可能な可変値であってもよい。
なお、図3では、表示制御装置100が、ステップS204において面積Sが面積Sminより大きいか否かを判定する例を示しているが、ステップS204の処理は、上記に限られない。例えば、本実施形態に係る表示制御装置100は、ステップS204において、面積Sが面積Smin以上であるか否かを判定してもよい(以下、同様とする。)。
ここで、表示制御装置100は、ステップS202において検出された対象物体の形全体の面積を、対象物体に対応する面積Sとするが、本実施形態に係る表示制御装置100における処理は、上記に限られない。例えば、対象物体がユーザの場合、表示制御装置100は、ユーザの顔の面積など、態様物体の一部の面積を、本実施形態に係る検出された対象物体に対応する面積とすることも可能である。なお、上述したように、本実施形態に係る対象物体は、ユーザに限られない。つまり、対象物体が、例えば鞄や車などであっても、表示制御装置100は、対象物体の一部または全部の面積を、本実施形態に係る検出された対象物体に対応する面積とすることができる。
ステップS204において面積Sが面積Sminより大きいと判定されない場合には、表示制御装置100は、切り抜き領域を設定しない(S210)。そして、表示制御装置100は、後述するステップS212の処理を行う。
また、ステップS204において面積Sが面積Sminより大きいと判定された場合には、表示制御装置100は、対象物体の一部または全部を切り抜き領域として設定する(S206)。
ステップS206の処理が行われると、表示制御装置100は、ステップS206において設定された切り抜き領域に表示する表示内容を設定する(S208)。ここで、表示制御装置100は、例えば、予め規定された表示内容を設定してもよいし、または、例えばステップS202において検出された対象物体情報を用いて、対象物体の属性や対象物体の識別結果に対応する表示内容を設定してもよい。また、複数の切り抜き領域が設定される場合には、表示制御装置100は、例えば、設定された切り抜き領域それぞれに同一の表示内容を設定してもよいし、相異なる表示内容を設定してもよい。
ステップS208および/またはステップS210の処理が行われると、表示制御装置100は、表示画面への画像の表示を制御する(S212)。例えば、撮像画像に対象物体が含まれていない場合や検出された対象物体の全てに対して切り抜き領域が設定されなかった場合には、表示制御装置100は、表示対象画像そのものを表示画面に表示させる(通常の表示)。また、検出された対象物体のいずれかに切り抜き領域が設定された場合には、表示制御装置100は、ステップS206において設定された切り抜き領域内に、ステップS208設定された表示内容が表示された画像を、表示画面に表示させる。
表示制御装置100は、例えば図3に示す処理を行うことによって、撮像画像から検出された対象物体に対応する切り抜き領域に設定された表示内容が表示された画像を、表示画面に表示させる。ここで、図3に示す処理では、例えばステップS200〜S206、S210の処理が、(1)の処理(切り抜き領域設定処理)に該当し、ステップS208の処理が(2)の処理(表示内容設定処理)に該当する。そして、ステップS212の処理が(3)の処理(表示制御処理)に該当する。
したがって、表示制御装置100は、例えば図3に示す処理を行うことによって、表示画面に映る画像をみるユーザに、表示画面に表示されている表示内容が自己に対するものであると認識させることができる。
なお、図3では、表示制御装置100が、検出された対象物体に対応する面積(検出された対象物体のサイズ)Sと、設定基準領域の面積(設定基準領域のサイズ)Sminとの比較結果に基づいて、切り抜き領域を選択的に設定する例を示したが、本実施形態に係る表示制御装置100における本実施形態に係る表示制御方法の第1の例に係る処理は、図3に示す処理に限られない。例えば、表示制御装置100は、ステップS204において、対象物体情報としての距離情報および対象物体の数に基づいて、表示画面からの距離が所定の基準距離より小さい対象物体の数(または、表示画面からの距離が所定の基準距離以下の対象物体の数)Hnが、切り抜き領域の設定基準数Hn_maxより大きいか否かの判定結果に基づいて、切り抜き領域を選択的に設定してもよい。上記の場合には、表示制御装置100は、例えば、対象物体の数Hnが切り抜き領域の設定基準数Hn_maxより大きい場合(または、対象物体の数Hnが切り抜き領域の設定基準数Hn_max以上の場合)に、切り抜き領域を設定する。ここで、本実施形態に係る設定基準数Hn_maxは、例えば、予め規定された固定値であってもよいし、表示制御装置100のユーザが変更可能な可変値であってもよい。
[2]第2の例
対象物体と表示画面との距離が小さいほど切り抜き領域の大きさが大きくなるなど、例えば対象物体と表示画面との距離に応じて、表示制御装置100が設定する切り抜き領域の大きさは異なる。ここで、例えば図1Bの切り抜き領域“AR1”、“AR2”に示すように切り抜き領域の大きさが異なるときには、より大きな切り抜き領域ほど、ユーザに認識させることが可能な情報の情報量は多くなる。そこで、表示制御装置100は、本実施形態に係る表示制御方法の第2の例に係る処理として、例えば、切り抜き領域の大きさに基づいて、切り抜き領域に表示させる情報を変える処理を行う。
より具体的には、表示制御装置100は、基本的に図3に示す処理と同様の処理を行いつつ、検出された対象物体に対応する面積(検出された対象物体のサイズ)S、設定基準領域の面積(設定基準領域のサイズ)Smin、および、表示内容の切替を行う基準となる基準領域の面積Schangeに基づいて、対象物体ごとに下記の(a)〜(c)のいずれかの処理を行う。また、表示制御装置100は、撮像画像から対象物体が検出されない場合には、図3のステップS200およびステップS210に示すように、切り抜き領域を設定しない。
ここで、本実施形態に係る表示内容の切替を行う基準となる基準領域の面積Schangeは、例えば、予め規定された固定値であってもよいし、表示制御装置100のユーザが変更可能な可変値であってもよい。
また、対象物体と表示画面との距離が小さいほど切り抜き領域の大きさが大きくなる場合には、設定基準領域の面積Sminは、対象物体と表示画面との距離が大きいと判定するための閾値に相当する。また、対象物体と表示画面との距離が小さいほど切り抜き領域の大きさが大きくなる場合には、表示内容の切替を行う基準となる基準領域の面積Schangeは、対象物体と表示画面との距離が小さいと判定するための閾値に相当する。
(a)S<Sminの場合の処理(または、S≦Sminの場合の処理)
表示制御装置100は、図3のステップS204およびステップS210に示すように、切り抜き領域を設定しない。
(b)Smin≦S≦Schangeの場合の処理(または、Smin<S<Schangeの場合の処理)
表示制御装置100は、図3のステップS204およびステップS206に示すように、切り抜き領域を設定する。そして、表示制御装置100は、設定された切り抜き領域が大きくないと判定された場合に表示する表示内容を設定する。なお、表示制御装置100は、さらに対象物体情報を用いることによって、例えば対象物体の属性に応じた表示内容を設定してもよい。
(c)S>Schangeの場合の処理(または、S≧Schangeの場合の処理)
表示制御装置100は、図3のステップS204およびステップS206に示すように、切り抜き領域を設定する。そして、表示制御装置100は、設定された切り抜き領域が大きいと判定された場合に表示する表示内容を設定する。なお、表示制御装置100は、さらに対象物体情報を用いることによって、例えば対象物体の属性に応じた表示内容を設定してもよい。
表示制御装置100は、基本的に図3に示す処理と同様の処理を行いつつ、撮像画像に対象物体が存在する場合には、(1)の処理(切り抜き領域設定処理)および(2)の処理(表示内容設定処理)として、上記(a)の処理〜(c)の処理のいずれかの処理を行う。また、表示制御装置100は、図3に示す処理と同様に、表示画面への画像の表示を制御する。
したがって、本実施形態に係る表示制御方法の第2の例に係る処理を行うことによって、表示制御装置100は、表示画面に映る画像をみるユーザに、表示画面に表示されている表示内容が自己に対するものであると認識させることができる。
なお、本実施形態に係る表示制御装置100における、本実施形態に係る表示制御方法の第2の例に係る処理は、上記に示す処理に限られない。例えば、表示制御装置100は、表示内容の切替を行う基準となる基準領域の面積Schangeを複数設定することによって、表示内容を多段階に切り替えることも可能である。
[3]第3の例
上記本実施形態に係る表示制御方法の第1の例に係る処理、第2の例に係る処理では、検出された対象物体に対応する面積(検出された対象物体のサイズ)に基づいて、切り替え領域を設定する処理の一例を示した。しかしながら、本実施形態に係る表示制御方法に係る処理は、上記に限られない。例えば、対象物体が大きく動いている場合には、切り抜き領域を設定して当該切り抜き領域に表示内容を設定したとしても、ユーザが当該表示内容をみていない可能性がある。そこで、次に、本実施形態に係る表示制御方法の第3の例に係る処理として、対象物体の動きに合わせて、選択的に切り替え領域を設定する処理の一例を説明する。
図4は、本実施形態に係る表示制御装置100における、本実施形態に係る表示制御方法に係る処理の第3の例を示す流れ図である。
表示制御装置100は、図3のステップS200と同様に、対象物体が検出されたか否かを判定する(S300)。
ステップS300において対象物体が検出されたと判定されない場合には、表示制御装置100は、切り抜き領域を設定しない(S310)。そして、表示制御装置100は、後述するステップS312の処理を行う。
また、ステップS300において対象物体が検出されたと判定された場合には、表示制御装置100は、図3のステップS202と同様に、対象物体情報を検出する(S302)。本実施形態に係る表示制御方法に係る処理の第3の例に係る対象物体情報としては、例えば、対象物体の形や、対象物体の属性、表示画面と対象物体との距離を示す情報などが挙げられる。
ステップS302の処理が行われると、表示制御装置100は、検出された対象物体の動き量と、対象物体が動いているかを判別する基準となる基準動き量とを比較する。そして、表示制御装置100は、対象物体の動き量と基準動き量との比較結果に基づいて、対象物体が止まっているか否かを判定する(S304)。より具体的には、表示制御装置100は、例えば、対象物体の動き量が基準動き量より小さい場合(または、対象物体の動き量が基準動き量以下の場合。以下、同様とする。)に、対象物体が止まっていると判定する。ここで、本実施形態に係る基準動き量は、例えば、予め規定された固定値であってもよいし、表示制御装置100のユーザが変更可能な可変値であってもよい。
ここで、本実施形態に係る対象物体の動き量は、例えば、時間的に連続している複数のフレーム(フレーム画像)に基づいて算出される。また、本実施形態に係る対象物体の動き量は、撮像画像に基づいて表示制御装置100が算出するが、表示制御装置100が処理に用いる対象物体の動き量は、上記に限られない。例えば、表示制御装置100は、外部装置において算出された対象物体の動き量を示す情報を当該外部装置から取得し、取得された動き量を用いてステップS302の処理を行うことも可能である。
ステップS304において対象物体が止まっていると判定されない場合には、表示制御装置100は、切り抜き領域を設定しない(S310)。そして、表示制御装置100は、後述するステップS312の処理を行う。
また、ステップS304において対象物体が止まっていると判定された場合には、表示制御装置100は、図3のステップS206と同様に、対象物体の一部または全部を切り抜き領域として設定する(S306)。
ステップS306の処理が行われると、表示制御装置100は、図3のステップS208と同様に、ステップS306において設定された切り抜き領域に表示する表示内容を設定する(S308)。
ステップS308および/またはステップS310の処理が行われると、表示制御装置100は、図3のステップS212と同様に、表示画面への画像の表示を制御する(S312)。
図5A、図5Bは、本実施形態に係る表示制御装置100における、本実施形態に係る表示制御方法の第3の例に係る処理の結果の一例を示す説明図である。図5A、図5Bに示す“A”は、表示対象画像の一例を示している。また、図5Aに示す“C”、“D”は、対象物体を示している。ここで、図5Aでは、ユーザが対象物体である場合の一例を示している。また、図5Aは、図5Aに示す“C”に対応するユーザが表示画面の前を走って横切っており、図5Aに示す“D”に対応するユーザが表示画面の前で止まっている例を示している。また、図5Bに示す“AR3”は、図5Aに示す“D”に対応する切り抜き領域を示している。
図5Aに示す例の場合、表示制御装置100は、ステップS304において、図5Aの“C”に示すユーザ(対象物体の一例)は止まっていると判定しないので、図5Aの“C”に示すユーザに対応する切り抜き領域は設定しない。また、表示制御装置100は、ステップS304において、図5Aの“D”に示すユーザ(対象物体の一例)は止まっていると判定するので、図5Aの“D”に示すユーザに対応する切り抜き領域を設定する。よって、図5Bに示すように、表示制御装置100は、複数の対象物体が存在する場合であっても、止まっていると判定された特定の対象物体に対して選択的に切り抜き領域が設定された画像を、表示画面に表示させることができる。
表示制御装置100は、例えば図4に示す処理を行うことによって、撮像画像から検出された対象物体に対応する切り抜き領域に設定された表示内容が表示された画像を、表示画面に表示させる。ここで、図4に示す処理では、例えばステップS300〜S306、S310の処理が、(1)の処理(切り抜き領域設定処理)に該当し、ステップS308の処理が(2)の処理(表示内容設定処理)に該当する。そして、ステップS312の処理が(3)の処理(表示制御処理)に該当する。
したがって、表示制御装置100は、例えば図4に示す処理を行うことによって、表示画面に映る画像をみるユーザに、表示画面に表示されている表示内容が自己に対するものであると認識させることができる。
また、図4に示す処理を行うことによって、例えば、対象物体が動いているときには、切り抜き領域が設定されていない表示対象画像を表示し(通常の表示)、対象物体が止まったと判定された場合に、対象物体に対応する切り抜き領域に設定された表示内容を表示させることが可能となる。例えば、表示制御装置100が表示を制御する表示画面が道路脇に設置された表示装置の表示画面であり、対象物体が車である場合には、例えば下記のようなユースケースを実現することができる。
・車が動いているときには車の切り抜き表示は行われないが、車が止まったときに当該車の前に車の形に切り抜かれた専用の表示領域(切り抜き領域)が現れ、当該表示領域内に専用の公告が表示される
なお、本実施形態に係る表示制御装置100における、本実施形態に係る表示制御方法の第3の例に係る処理は、上記に示す処理に限られない。例えば、表示制御装置100は、図4に示す本実施形態に係る表示制御方法の第3の例に係る処理と、上記本実施形態に係る表示制御方法の第1の例に係る処理(変形例も含む。以下、同様とする。)または第2の例に係る処理(変形例も含む。以下、同様とする。)とを、組み合わせた処理を行うことも可能である。
[4]第4の例
本実施形態に係る表示制御方法に係る処理は、上記第1の例に係る処理〜第3の例に係る処理に限られない。近年、表示とユーザの操作との双方が可能なタッチスクリーンの普及が進んでいる。よって、表示制御装置100は、例えば、対象物体がユーザ(人間)である場合には、ユーザが操作することが可能な操作インタフェースを表示内容として選択的に設定してもよい。
図6は、本実施形態に係る表示制御装置100における、本実施形態に係る表示制御方法に係る処理の第4の例を示す流れ図である。
表示制御装置100は、図3のステップS200と同様に、対象物体が検出されたか否かを判定する(S400)。
ステップS400において対象物体が検出されたと判定されない場合には、表示制御装置100は、切り抜き領域を設定しない(S416)。そして、表示制御装置100は、後述するステップS418の処理を行う。
また、ステップS400において対象物体が検出されたと判定された場合には、表示制御装置100は、図3のステップS202と同様に、対象物体情報を検出する(S402)。
ステップS402の処理が行われると、表示制御装置100は、検出された対象物体に対応する面積(検出された対象物体のサイズ)Sと、切り抜き領域を設定する基準となる設定基準領域の面積(設定基準領域のサイズ)Sminとを比較する。そして、表示制御装置100は、図3のステップS204と同様に、面積Sが面積Sminより大きいか否かを判定する(S404)。
ステップS404において面積Sが面積Sminより大きいと判定されない場合には、表示制御装置100は、切り抜き領域を設定しない(S416)。そして、表示制御装置100は、後述するステップS418の処理を行う。
また、ステップS404において面積Sが面積Sminより大きいと判定された場合には、表示制御装置100は、図3のステップS206と同様に、対象物体の一部または全部を切り抜き領域として設定する(S406)。
ステップS406の処理が行われると、表示制御装置100は、対象物体が人間であるか否かを判定する(S408)。ここで、表示制御装置100は、例えば、対象物体に対して顔検出処理を行い、当該顔検出処理の結果に基づいてステップS408の処理を行うが、ステップS408の処理は、上記に限られない。例えば、ステップS400の処理やステップS402の処理によって、人間と判定するための情報が得られている場合には、表示制御装置100は、既に得られている当該情報を用いてステップS408の処理を行ってもよい。
ステップS408において対象物体が人間であると判定されない場合には、表示制御装置100は、図3のステップS208と同様に、ステップS406において設定された切り抜き領域に表示する表示内容を設定する(S414)。
ステップS408において対象物体が人間であると判定された場合には、表示制御装置100は、表示画面と対象物体との距離Dと、操作インタフェースを表示内容として設定する基準となる基準距離Dminとを比較する。そして、表示制御装置100は、距離Dが基準距離Dminより大きいか否か(または、距離Dが基準距離Dmin以上であるか否か。以下、同様とする。)を判定する(S410)。
ここで、表示制御装置100は、例えば、ステップS402において検出された対象物体情報としての距離情報を用いることによって、距離Dを特定することが可能である。なお、本実施形態に係る表示制御装置100における距離Dの特定方法は、上記に限られない。例えば、対象物体と表示画面との距離が小さいほど切り抜き領域の大きさが大きくなるなど、対象物体と表示画面との距離に対応関係がある場合がある。よって、表示制御装置100は、検出された対象物体に対応する面積Sに基づいて距離を推定し、推定された距離を距離Dとしてもよい。また、本実施形態に係る基準距離Dminは、例えば、予め規定された固定値であってもよいし、表示制御装置100のユーザが変更可能な可変値であってもよい。
ステップS410において距離Dが基準距離Dminより大きいと判定されない場合には、表示制御装置100は、図3のステップS208と同様に、ステップS406において設定された切り抜き領域に表示する表示内容を設定する(S414)。
また、ステップS410において距離Dが基準距離Dminより大きいと判定された場合には、表示制御装置100は、ユーザが操作可能な操作インタフェースを表示内容として設定する(S412)。ここで、本実施形態に係る操作インタフェースとしては、例えば、ソフトウェアキーボードやボタンなどが挙げられるが、後述するユースケースに示すように、本実施形態に係る操作インタフェースは上記に限られない。また、表示制御装置100は、上記操作インタフェースを、ステップS406において設定された切り抜き領域に表示する表示内容として設定するが、ステップS412の処理は、上記に限られない。例えば、表示制御装置100は、ステップS406において設定された切り抜き領域以外の領域に表示する表示内容として、上記操作インタフェースを設定してもよい。
ステップS412、および/または、ステップS414、および/または、ステップS416の処理が行われると、表示制御装置100は、図3のステップS212と同様に、表示画面への画像の表示を制御する(S418)。
表示制御装置100は、例えば図6に示す処理を行うことによって、撮像画像から検出された対象物体に対応する切り抜き領域に設定された表示内容が表示された画像を、表示画面に表示させる。ここで、図6に示す処理では、例えばステップS400〜S406、S416の処理が、(1)の処理(切り抜き領域設定処理)に該当し、ステップS408〜S414の処理が(2)の処理(表示内容設定処理)に該当する。そして、ステップS416の処理が(3)の処理(表示制御処理)に該当する。
したがって、表示制御装置100は、例えば図6に示す処理を行うことによって、表示画面に映る画像をみるユーザに、表示画面に表示されている表示内容が自己に対するものであると認識させることができる。
また、表示制御装置100は、ステップS408〜S414に示すように、対象物体がユーザ(人間)である場合には、距離Dと基準距離Dminとの比較結果に基づいて操作インタフェースを表示内容として選択的に設定する。よって、例えば図6に示す第4の例に係る処理を行うことによって、表示制御装置100は、例えば下記のようなユースケースを実現することができる。
・デパートなどの店舗における行先表示などにおいて、例えば図1Bの“A”に示すように通常は切り抜き領域に各フロアの情報が表示されるが、フロアの情報を触ることによって、その位置の店舗情報に切り替わる
・店舗において、ユーザがモニタの近くを通ったときには切り抜き領域にクーポンの告知表示を行い、当該ユーザが立ち止まって表示画面の正面に顔を向けると、クーポンを取得可能な操作インタフェースが表示される
なお、本実施形態に係る表示制御装置100における、本実施形態に係る表示制御方法の第4の例に係る処理は、上記に示す処理に限られない。例えば、表示制御装置100は、図6に示す本実施形態に係る表示制御方法の第4の例に係る処理と、上記本実施形態に係る表示制御方法の第1の例に係る処理〜第3の例に係る処理(変形例も含む。以下、同様とする。)とを、組み合わせた処理を行うことも可能である。
[5]第5の例
本実施形態に係る表示制御方法に係る処理は、上記第1の例に係る処理〜第4の例に係る処理に限られない。例えば、本実施形態に係る表示制御装置100は、複数の対象物体が検出された場合、検出された対象物体に対応する領域を選択的に結合し、結合された領域を切り抜き領域とすることも可能である。
図7は、本実施形態に係る表示制御装置100における、本実施形態に係る表示制御方法に係る処理の第5の例を示す流れ図である。
表示制御装置100は、図3のステップS200と同様に、対象物体が検出されたか否かを判定する(S500)。
ステップS500において対象物体が検出されたと判定されない場合には、表示制御装置100は、切り抜き領域を設定しない(S514)。そして、表示制御装置100は、後述するステップS516の処理を行う。
また、ステップS500において対象物体が検出されたと判定された場合には、表示制御装置100は、図3のステップS202と同様に、対象物体情報を検出する(S02)。ここで、本実施形態に係る表示制御方法に係る処理の第5の例に係る対象物体情報としては、例えば、対象物体の形や、対象物体の属性、表示画面と対象物体との距離を示す情報などが挙げられる。
ステップS502の処理が行われると、表示制御装置100は、検出された対象物体の数Nと、結合処理を行う基準となる基準数Nminとを比較する。そして、表示制御装置100は、対象物体の数Nが基準数Nminより大きいか否か(または、対象物体の数Nが基準数Nmin以上であるか否か。以下、同様とする。)を判定する(S504)。
ここで、本実施形態に係る結合処理とは、検出された対象物体それぞれに対応する領域が重なる重なり領域を含む、対象物体に対応する領域を選択的に結合する処理である。また、表示制御装置100は、例えば、ステップS502において検出された対象物体情報としての対象物体の数の情報を用いることによって、対象物体の数Nを特定する。また、本実施形態に係る基準数Nminは、例えば、予め規定された固定値であってもよいし、表示制御装置100のユーザが変更可能な可変値であってもよい。
ステップ504において対象物体の数Nが基準数Nminより大きいと判定されない場合には、表示制御装置100は、後述するステップS508の処理を行う。
また、ステップ504において対象物体の数Nが基準数Nminより大きいと判定された場合には、表示制御装置100は、重なり領域を含む対象物体に対応する領域が選択的に結合された、結合領域を設定する(S506)。
より具体的には、表示制御装置100は、例えば、検出された対象物体それぞれに対応する領域が重なる重なり領域を検出する。また、表示制御装置100は、例えば、検出された重なり領域の面積(重なり領域のサイズ)dSと、複数の対象物体に対応する領域を結合する基準となる結合基準領域の面積(結合基準領域のサイズ)dSminとを比較する。そして、表示制御装置100は、比較結果に基づいて、例えば、面積dSが結合基準領域の面積dSminより大きい場合(または、面積dSが結合基準領域の面積dSmin以上の場合)に、重なり領域を含む対象物体に対応する領域を選択的に結合する。例えば、重なり領域を含む対象物体に対応する各領域をs1、…、sn(nは、2以上の整数)とし、重なり領域をdsとすると、表示制御装置100は、“s1+…+sn−ds”に対応する領域を、結合領域として設定する。
なお、本実施形態に係る表示制御装置100におけるステップS506の処理は、上記に限られない。例えば、上記のように結合領域を設定した場合において、重なり領域を含まない対象物体に対応する領域が存在する場合には、表示制御装置100は、当該領域を単独の領域としてもよいし、または、実際には結合されない当該領域を、設定された結合領域と同一の領域として扱うことも可能である。上記の場合には、表示制御装置100は、実際には結合されていない領域に結合領域と対応する表示内容が表示された画像を、表示画面に表示させる。
ステップS504、S506において選択的な結合領域の設定が行われると、表示制御装置100は、図3のステップS204と同様に、検出された対象物体に対応する面積(検出された対象物体のサイズ)Sと、切り抜き領域を設定する基準となる設定基準領域の面積(設定基準領域のサイズ)Sminとを比較する。そして、表示制御装置100は、面積Sが面積Sminより大きいか否かを判定する(S508)。ここで、ステップS506において結合領域が設定されている場合には、表示制御装置100は、例えば、結合領域の面積を上記面積Sとする。また、上記のように、表示制御装置100が、実際には結合されない領域を設定された結合領域と同一の領域として扱う場合には、表示制御装置100は、例えば、結合領域の面積と上記実際には結合されない領域の面積とを合計した面積を、上記面積Sとしてもよい。
ステップS508において面積Sが面積Sminより大きいと判定されない場合には、表示制御装置100は、切り抜き領域を設定しない(S514)。そして、表示制御装置100は、後述するステップS516の処理を行う。
また、ステップS508において面積Sが面積Sminより大きいと判定された場合には、表示制御装置100は、図3のステップS206と同様に、対象物体の一部または全部を切り抜き領域として設定する(S510)。
なお、図7では、表示制御装置100が、対象物体に対応する面積Sと設定基準領域の面積Sminとの比較結果に応じて選択的に切り抜き領域を設定する例を示しているが、本実施形態に係る表示制御方法の第5の例に係る処理は、上記に限られない。例えば、表示制御装置100は、ステップS508の処理を行わないことも可能である。
ステップS510の処理が行われると、表示制御装置100は、図3のステップS208と同様に、ステップS510において設定された切り抜き領域に表示する表示内容を設定する(S512)。
ステップS512および/またはステップS514の処理が行われると、表示制御装置100は、図3のステップS212と同様に、表示画面への画像の表示を制御する(S516)。
図8A、図8Bは、本実施形態に係る表示制御装置100における、本実施形態に係る表示制御方法の第5の例に係る処理の結果の一例を示す説明図である。図8A、図8Bに示す“A”は、表示対象画像の一例を示している。また、図8Aに示す“E”、“F”、“G”は、対象物体を示している。ここで、図8Aでは、ユーザが対象物体である場合の一例を示している。また、図8Aは、図8Aに示す“E”〜“G”の各対象物体に対応する領域に重なり領域が存在する例を示している。また、図8Bに示す“AR4”は、図8Aに示す“E”〜“G”に対応する切り抜き領域を示している。
図8Aに示すように、各対象物体に対応する重なり領域が存在する場合、表示制御装置100は、ステップS506において結合領域を設定する。そして、結合領域が設定された場合には、表示制御装置100は、ステップS510の処理において結合領域を切り抜き領域として設定する。よって、例えば図8Bに示すように、表示制御装置100は、結合領域に対応する切り抜き領域“AR4”にステップS512において設定された表示内容が表示された画像を、表示画面に表示させることができる。
表示制御装置100は、例えば図7に示す処理を行うことによって、撮像画像から検出された対象物体に対応する切り抜き領域に設定された表示内容が表示された画像を、表示画面に表示させる。ここで、図7に示す処理では、例えばステップS500〜S510、S514の処理が、(1)の処理(切り抜き領域設定処理)に該当し、ステップS512の処理が(2)の処理(表示内容設定処理)に該当する。そして、ステップS516の処理が(3)の処理(表示制御処理)に該当する。
したがって、表示制御装置100は、例えば図7に示す処理を行うことによって、表示画面に映る画像をみるユーザに、表示画面に表示されている表示内容が自己に対するものであると認識させることができる。
また、表示制御装置100は、複数の対象物体が存在する場合には、各対象物体に対応する領域を選択的に結合して、結合された結合領域を切り抜き領域として設定する。よって、表示制御装置100は、各対象物体に対応する領域よりもより大きな切り抜き領域に表示内容が表示された画像を、表示画面に表示させることができる。
なお、本実施形態に係る表示制御装置100における、本実施形態に係る表示制御方法の第5の例に係る処理は、上記に示す処理に限られない。例えば、表示制御装置100は、図7に示す本実施形態に係る表示制御方法の第5の例に係る処理と、上記本実施形態に係る表示制御方法の第1の例に係る処理〜第4の例に係る処理(変形例も含む。以下、同様とする。)とを、組み合わせた処理を行うことも可能である。
本実施形態に係る表示制御装置100は、本実施形態に係る表示制御方法に係る処理として、例えば上記第1の例に係る処理〜第5の例に係る処理(変形例も含む。以下、同様とする。)を行う。なお、表示制御装置100における、本実施形態に係る表示制御方法に係る処理が、上記第1の例に係る処理〜第5の例に係る処理に限られないことは、言うまでもない。
(本実施形態に係る表示制御装置)
次に、上述した本実施形態に係る表示制御方法に係る処理を行うことが可能な、本実施形態に係る表示制御装置100の構成の一例について説明する。以下では、表示制御装置100が、外部表示装置の表示画面における表示を制御する場合を主に例に挙げて説明する。
図9は、本実施形態に係る表示制御装置100の構成の一例を示すブロック図である。ここで、図9では、ネットワーク300により接続された表示システム200を併せて示している。ネットワーク300としては、例えば、LANやWANなどの有線ネットワーク、無線LANや基地局を介した無線WANなどの無線ネットワーク、あるいは、TCP/IPなどの通信プロトコルを用いたインターネットなどが挙げられる。
表示システム200は、例えば、表示を行う表示装置400と、撮像を行う撮像装置500とを有し、表示画面への画像の表示と表示画面の表示方向の撮像とを行う。なお、本実施形態に係る表示システム200の構成は、図9に示す構成に限られない。例えば、表示システム200は、表示装置400と撮像装置500とが一体となった装置(例えば撮像機能を有する表示装置)であってもよい。また、表示システム200は、距離センサや赤外線センサ、物体検知センサなどの各種検出センサを有していてもよい。また、表示装置400は、例えばタッチスクリーンなど、表示とユーザ操作とが可能なデバイスで構成されていてもよい。
なお、図9では、表示制御装置100が表示を制御する対象として、表示システム200を構成する1つの表示装置400を示しているが、本実施形態に係る表示制御装置100が表示を制御する対象は、上記に限られない。例えば、表示制御装置100は、ネットワーク300を介して(または直接的に)接続された複数の外部表示装置それぞれの表示画面における表示を制御することもできる。
図9を参照すると、表示制御装置100は、例えば、通信部102と、制御部104とを備える。
また、表示制御装置100は、例えば、ROM(Read Only Memory;図示せず)、RAM(Random Access Memory;図示せず)、記憶部(図示せず)、ユーザが操作可能な操作部(図示せず)、様々な画面を表示画面に表示する表示部(図示せず)などを備えていてもよい。表示制御装置100は、例えば、データの伝送路としてのバス(bus)により上記各構成要素間を接続する。
ROM(図示せず)は、制御部104が使用するプログラムや演算パラメータなどの制御用データを記憶する。RAM(図示せず)は、制御部104により実行されるプログラムなどを一時的に記憶する。
記憶部(図示せず)は、表示制御装置100が備える記憶機能であり、例えば、設定基準領域の面積Sminなどの本実施形態に係る表示制御方法に係る処理に用いる基準値のデータや、画像データ、アプリケーションなど様々なデータを記憶する。ここで、記憶部(図示せず)としては、例えば、ハードディスク(Hard Disk)などの磁気記録媒体や、EEPROM(Electrically Erasable and Programmable Read Only Memory)、フラッシュメモリ(flash memory)などの不揮発性メモリ(nonvolatile memory)などが挙げられる。また、記憶部(図示せず)は、表示制御装置100から着脱可能であってもよい。
操作部(図示せず)としては、例えば後述する操作入力デバイスが挙げられ、また、表示部(図示せず)としては、例えば後述する表示デバイスが挙げられる。また、表示制御装置100は、例えば、表示制御装置100の外部装置としての操作入力デバイス(例えば、キーボードやマウスなど)と接続することもできる。
[表示制御装置100のハードウェア構成例]
図10は、本実施形態に係る表示制御装置100のハードウェア構成の一例を示す説明図である。表示制御装置100は、例えば、MPU150と、ROM152と、RAM154と、記録媒体156と、入出力インタフェース158と、操作入力デバイス160と、表示デバイス162と、通信インタフェース164とを備える。また、表示制御装置100は、例えば、データの伝送路としてのバス166で各構成要素間を接続する。
MPU150は、例えば、MPU(Micro Processing Unit)や、各種処理回路などで構成され表示制御装置100全体を制御する制御部104として機能する。また、MPU150は、表示制御装置100において、例えば、後述する領域設定部110、表示内容設定部112、および表示制御部114の役目を果たす。
ROM152は、MPU150が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。RAM154は、例えば、MPU150により実行されるプログラムなどを一時的に記憶する。
記録媒体156は、記憶部(図示せず)として機能し、例えば、設定基準領域の面積Sminなどの本実施形態に係る表示制御方法に係る処理に用いる基準値のデータや、画像データ、アプリケーションなど様々なデータを記憶する。ここで、記録媒体156としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリが挙げられる。また、記録媒体156は、表示制御装置100から着脱可能であってもよい。
入出力インタフェース158は、例えば、操作入力デバイス160や、表示デバイス162を接続する。操作入力デバイス160は、操作部(図示せず)として機能し、また、表示デバイス162は、表示部(図示せず)として機能する。ここで、入出力インタフェース158としては、例えば、USB(Universal Serial Bus)端子や、DVI(Digital Visual Interface)端子、HDMI(High-Definition Multimedia Interface)端子、各種処理回路などが挙げられる。また、操作入力デバイス160は、例えば、表示制御装置100上に備えられ、表示制御装置100の内部で入出力インタフェース158と接続される。操作入力デバイス160としては、例えば、ボタン、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。また、表示デバイス162は、例えば、表示制御装置100上に備えられ、表示制御装置100の内部で入出力インタフェース158と接続される。表示デバイス162としては、例えば、液晶ディスプレイ(Liquid Crystal Display;LCD)や有機ELディスプレイ(organic ElectroLuminescence display。または、OLEDディスプレイ(Organic Light Emitting Diode display)ともよばれる。)などが挙げられる。なお、入出力インタフェース158が、表示制御装置100の外部装置としての操作入力デバイス(例えば、キーボードやマウスなど)や、表示デバイス(例えば、表示装置400などの外部表示デバイス)、撮像デバイス(例えば、撮像装置500など)などの外部デバイスと接続することもできることは、言うまでもない。また、表示デバイス162は、例えばタッチスクリーンなど、表示とユーザ操作とが可能なデバイスであってもよい。
通信インタフェース164は、表示制御装置100が備える通信機能であり、ネットワーク300を介して(あるいは、直接的に)、例えば表示装置400や撮像装置500、サーバなどの外部装置と無線/有線で通信を行うための通信部102として機能する。ここで、通信インタフェース164としては、例えば、通信アンテナおよびRF(Radio Frequency)回路(無線通信)や、IEEE802.15.1ポートおよび送受信回路(無線通信)、IEEE802.11bポートおよび送受信回路(無線通信)、あるいはLAN(Local Area Network)端子および送受信回路(有線通信)などが挙げられる。
表示制御装置100は、例えば図10に示す構成によって、本実施形態に係る表示制御方法に係る処理を行う。なお、本実施形態に係る表示制御装置100のハードウェア構成は、図10に示す構成に限られない。
例えば、表示制御装置100は、撮像部(図示せず)の役目を果たす撮像デバイスを備えていてもよい。本実施形態に係る撮像デバイスとしては、例えば、レンズ/撮像素子と信号処理回路とから構成される撮像デバイスが挙げられる。レンズ/撮像素子は、例えば、光学系のレンズと、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を複数用いたイメージセンサとで構成される。また、信号処理回路は、例えば、AGC(Automatic Gain Control)回路やADC(Analog to Digital Converter)を備え、撮像素子により生成されたアナログ信号をデジタル信号(画像データ)に変換し、各種信号処理を行う。信号処理回路が行う信号処理としては、例えば、White Balance補正処理、色調補正処理、ガンマ補正処理、YCbCr変換処理、エッジ強調処理などが挙げられる。
また、表示制御装置100は、検出部(図示せず)の役目を果たす検出センサを備えていてもよい。本実施形態に係る検出センサとしては、例えば、距離センサや、赤外線センサ、物体検知センサなど、対象物体の検出に係るセンサが挙げられる。
また、表示制御装置100が外部装置と通信を行わない場合(例えば、表示装置400などの外部表示装置の表示画面における表示を制御せず、表示制御装置100が備える表示部(図示せず)の表示画面における表示を制御する場合など)には、表示制御装置100は、通信インタフェース164を備えない構成をとることも可能である。
再度図9を参照して、本実施形態に係る表示制御装置100の構成の一例について説明する。通信部102は、表示制御装置100が備える通信手段であり、ネットワーク300を介して(あるいは、直接的に)、表示装置400や撮像装置00、サーバなどの外部装置と無線/有線で通信を行う。また、通信部102は、例えば制御部104により通信が制御される。ここで、通信部102としては、例えば、通信アンテナおよびRF回路や、LAN端子および送受信回路などが挙げられるが、通信部102の構成は、上記に限られない。例えば、通信部102は、ネットワーク300を介して外部装置と通信可能な任意の構成をとることができる。
制御部104は、例えば、MPUなどで構成され、表示制御装置100全体を制御する役目を果たす。また、制御部104は、例えば、領域設定部110と、表示内容設定部112と、表示制御部114とを備え、本実施形態に係る表示制御方法に係る処理を主導的に行う役目を果たす。
領域設定部110は、上記(1)の処理(切り抜き領域設定処理)を主導的に行う役目を果たし、例えば表示対象画像と撮像画像とに基づいて、切り抜き領域を設定する。より具体的には、領域設定部110は、例えば、上述した表示制御方法に係る第1の例に係る処理〜第5の例に係る処理における、(1)の処理(切り抜き領域設定処理)に該当する処理を行うことによって、切り抜き領域を設定する。
表示内容設定部112は、上記(2)の処理(表示内容設定処理)を主導的に行う役目を果たし、領域設定部110において設定された切り抜き領域内に表示する表示内容を設定する。より具体的には、表示内容設定部112は、例えば、上述した表示制御方法に係る第1の例に係る処理〜第5の例に係る処理における、(2)の処理(表示内容設定処理)に該当する処理を行うことによって、表示内容を設定する。
表示制御部114は、上記(3)の処理(表示制御処理)を主導的に行う役目を果たし、領域設定部110において設定された切り抜き領域内に表示内容設定部112において設定された表示内容が表示された画像を、表示画面に表示させる。より具体的には、表示制御部114は、例えば、上述した表示制御方法に係る第1の例に係る処理〜第5の例に係る処理における、(3)の処理(表示制御処理)に該当する処理を行うことによって、上記画像を表示画面に表示させる。
制御部104は、例えば、領域設定部110、表示内容設定部112、および表示制御部114を備えることによって、本実施形態に係る表示制御方法に係る処理を主導的に行う。なお、本実施形態に係る表示制御方法に係る処理を実現するための構成が、図9に示す制御部104の構成に限られないことは、言うまでもない。
表示制御装置100は、例えば図9に示す構成によって、本実施形態に係る表示制御方法に係る処理(例えば、(1)の処理(切り抜き領域設定処理)〜(3)の処理(表示制御処理))を行う。したがって、表示制御装置100は、例えば図9に示す構成によって、表示画面に映る画像をみるユーザに、表示画面に表示されている表示内容が自己に対するものであると認識させることができる。
なお、図9では、表示制御装置100が外部表示装置である表示装置400の表示画面における表示を制御する例を示したが、本実施形態に係る表示制御装置100の構成は、図9に示す構成に限られない。例えば、表示制御装置100が表示部(図示せず)を備える場合には、表示制御装置100は、表示部(図示せず)の表示画面における表示を制御することも可能である。
表示部(図示せず)の表示画面における表示を制御する場合には、表示制御装置100は、例えば、通信部102を備えない構成をとることができる(いわゆるスタンドアロンの構成)。また、表示部(図示せず)の表示画面における表示を制御する場合には、表示制御装置100は、例えば、表示部(図示せず)の表示画面の表示方向を撮像する撮像部(図示せず)を備えていてもよい。また、表示制御装置100は、検出部(図示せず)をさらに備える構成をとることも可能である。
以上のように、本実施形態に係る表示制御装置100は、本実施形態に係る表示制御方法に係る処理として、例えば、(1)の処理(切り抜き領域設定処理)〜(3)の処理(表示制御処理)を行う。上記(1)の処理〜(3)の処理を行うことによって、表示制御装置100は、例えば図1Bに示すように、撮像画像から検出された対象物体に対応する切り抜き領域に設定された表示内容が表示された画像を、表示画面に表示させる。上記のように、対象物体ごとに切り抜き領域を設定し、設定された各切り抜き領域に表示内容が表示された画像を表示画面に表示させることによって、ユーザは、表示された画像内に設定された切り抜き領域に表示された内容が、自己に対するものであるか否かをより容易に認識することが可能となる。
したがって、表示制御装置100は、表示画面に映る画像をみるユーザに、表示画面に表示されている表示内容が自己に対するものであると認識させることができる。
また、例えば表示画面のサイズが大きい場合であっても、表示制御装置100は、対象物体ごとに切り抜き領域を設定し、設定された各切り抜き領域に表示内容が表示された画像を表示画面に表示させる。よって、表示画面をみるユーザが、表示画面からの距離が大きな位置にいたとしても、また、表示画面からの距離が小さな位置にいたとしても、ユーザは、切り抜き領域に表示された内容が、自己に対するものであるか否かを認識することができる。また、仮に、ユーザが、表示画面全体を俯瞰することが困難な表示画面からの距離が小さな位置にいたとしても、表示制御装置100は、当該ユーザに対応する切り抜き領域に当該ユーザに対する表示内容が表示された画像を表示させることができる。
以上、本実施形態として表示制御装置100を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、PC(Personal Computer)やサーバなどのコンピュータ、テレビ受像機やサイネージ装置などの表示装置、プロジェクター、映像/音楽再生装置(または映像/音楽記録再生装置)、ゲーム機など、様々な機器に適用することができる。また、本実施形態は、本実施形態に係る表示制御方法に係る処理を行う処理IC(Integrated Circuit)に適用され、例えば、上記のような機器に組み込まれてもよい。
(本実施形態に係るプログラム)
コンピュータを、本実施形態に係る表示制御装置として機能させるためのプログラム(例えば、上記(1)の処理(切り抜き領域設定処理)〜(3)の処理(表示制御処理)など、本実施形態に係る表示制御方法に係る処理を実行することが可能なプログラム)によって、表示画面に映る画像をみるユーザに、表示画面に表示されている表示内容が自己に対するものであると認識させることができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記では、コンピュータを、本実施形態に係る表示制御装置として機能させるためのプログラム(コンピュータプログラム)が提供されることを示したが、本実施形態は、さらに、上記プログラムをそれぞれ記憶させた記録媒体も併せて提供することができる。
上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
表示画面に表示する表示対象画像と、前記表示画面の表示方向が撮像された撮像画像とに基づいて、前記表示対象画像内に切り抜き領域を設定する領域設定部と、
設定された切り抜き領域内に表示する表示内容を設定する表示内容設定部と、
設定された切り抜き領域内に設定された表示内容が表示された画像を、表示画面に表示させる表示制御部と、
を備える、表示制御装置。
(2)
前記領域設定部は、前記撮像画像から検出された対象物体に基づいて前記切り抜き領域を設定する、(1)に記載の表示制御装置。
(3)
前記領域設定部は、
検出された対象物体のサイズと、前記切り抜き領域を設定する基準となる設定基準領域のサイズとを比較し、
比較結果に基づいて前記切り抜き領域を選択的に設定する、(2)に記載の表示制御装置。
(4)
前記領域設定部は、
検出された対象物体の動き量と、対象物体が動いているかを判別する基準となる基準動き量とを比較し、
比較結果に基づいて、前記切り抜き領域を選択的に設定する、(2)または(3)に記載の表示制御装置。
(5)
前記領域設定部は、
複数の対象物体が検出された場合には、検出された対象物体それぞれに対応する領域が重なる重なり領域を検出し、
検出された重なり領域のサイズと、複数の対象物体に対応する領域を結合する基準となる結合基準領域のサイズとを比較し、
比較結果に基づいて、前記重なり領域を含む対象物体に対応する領域を選択的に結合し、
結合された結合領域を前記切り抜き領域として設定する、(2)〜(4)のいずれか1つに記載の表示制御装置。
(6)
前記領域設定部は、検出された対象物体の数と、前記重なり領域を含む対象物体に対応する領域を選択的に結合する結合処理を行う基準となる基準数とを比較し、
比較結果に基づいて、前記結合処理を選択的に行う、(5)に記載の表示制御装置。
(7)
前記表示内容設定部は、前記撮像画像から検出された対象物体のサイズに基づいて、表示内容を設定する、(2)〜(6)のいずれか1つに記載の表示制御装置。
(8)
前記表示内容設定部は、前記対象物体が人間である場合には、前記表示画面と前記対象物体との距離を示す距離情報に基づいて、ユーザが操作することが可能な操作インタフェースを表示内容として選択的に設定する、(2)〜(4)のいずれか1つに記載の表示制御装置。
(9)
前記表示内容設定部は、
前記距離情報が示す距離と、前記操作インタフェースを表示内容として設定する基準となる基準距離とを比較し、
比較結果に基づいて前記操作インタフェースを表示内容として選択的に設定する、(8)に記載の表示制御装置。
(10)
前記表示内容設定部は、検出された対象物体の属性に基づいて、表示内容を設定する、(2)〜(7)のいずれか1つに記載の表示制御装置。
(11)
表示画面に表示する表示対象画像と、前記表示画面の表示方向が撮像された撮像画像とに基づいて、前記表示対象画像内に切り抜き領域を設定するステップと、
設定された切り抜き領域内に表示する表示内容を設定するステップと、
設定された切り抜き領域内に設定された表示内容が表示された画像を、表示画面に表示させるステップと、
を有する、表示制御方法。
(12)
表示画面に表示する表示対象画像と、前記表示画面の表示方向が撮像された撮像画像とに基づいて、前記表示対象画像内に切り抜き領域を設定するステップ、
設定された切り抜き領域内に表示する表示内容を設定するステップ、
設定された切り抜き領域内に設定された表示内容が表示された画像を、表示画面に表示させるステップ、
をコンピュータに実行させるためのプログラム。
100 表示制御装置
102 通信部
110 領域設定部
112 表示内容設定部
114 表示制御部

Claims (10)

  1. 表示画面に表示する表示対象画像と、前記表示画面の表示方向が撮像された撮像画像とに基づいて、前記表示対象画像内に切り抜き領域を設定する領域設定部と、
    設定された切り抜き領域内に表示する表示内容を設定する表示内容設定部と、
    設定された切り抜き領域内に設定された表示内容が表示された画像を、表示画面に表示させる表示制御部と、
    を備え、
    前記領域設定部は、
    前記撮像画像から検出対象である対象物体を検出し、前記対象物体が検出された場合に、前記表示対象画像内における前記対象物体に対応する画像が占める領域を、前記切り抜き領域として設定し、
    複数の対象物体が検出された場合には、検出された対象物体それぞれに対応する領域が重なる重なり領域を検出し、
    検出された重なり領域のサイズと、複数の対象物体に対応する領域を結合する基準となる結合基準領域のサイズとを比較し、
    比較結果に基づいて、前記重なり領域のサイズが前記結合基準領域のサイズよりも大きい場合、または、前記重なり領域のサイズが前記結合基準領域のサイズ以上である場合に、前記重なり領域を含む対象物体に対応する領域を結合し、
    結合された結合領域を前記切り抜き領域として設定する、表示制御装置。
  2. 前記重なり領域が検出されない場合において、前記領域設定部は、
    検出された対象物体のサイズと、前記切り抜き領域を設定する基準となる設定基準領域のサイズとを比較し、
    比較結果に基づいて、前記対象物体のサイズが前記設定基準領域のサイズよりも大きい場合、または、前記対象物体のサイズが前記設定基準領域のサイズ以上である場合に、前記切り抜き領域を設定する、請求項1に記載の表示制御装置。
  3. 前記重なり領域が検出されない場合において、前記領域設定部は、
    検出された対象物体の動き量と、対象物体が動いているかを判別する基準となる基準動き量とを比較し、
    比較結果に基づいて、前記対象物体の動き量が前記基準動き量より小さい場合、または、前記対象物体の動き量が前記基準動き量以下である場合に、前記切り抜き領域を設定する、請求項2に記載の表示制御装置。
  4. 前記領域設定部は、検出された対象物体の数と、前記重なり領域を含む対象物体に対応する領域を結合する結合処理を行う基準となる基準数とを比較し、
    比較結果に基づいて、前記対象物体の数が前記基準数より大きい場合、または、前記対象物体の数が前記基準数以上である場合に、前記結合処理を行う、請求項1〜3のいずれか1項に記載の表示制御装置。
  5. 前記表示内容設定部は、前記撮像画像から検出された対象物体のサイズに基づいて、表示内容を設定する、請求項1〜4のいずれか1項に記載の表示制御装置。
  6. 前記表示内容設定部は、前記対象物体が人間である場合には、前記表示画面と前記対象物体との距離を示す距離情報に基づき特定される距離、または、検出された前記対象物体から推定される前記表示画面と前記対象物体との距離に基づいて、ユーザが操作することが可能な操作インタフェースを表示内容として設定する、請求項1〜3のいずれか1項に記載の表示制御装置。
  7. 前記表示内容設定部は、
    前記距離情報が示き特定される距離または前記推定される前記表示画面と前記対象物体との距離と、前記操作インタフェースを表示内容として設定する基準となる基準距離とを比較し、
    比較結果に基づいて、前記距離情報が示き特定される距離または前記推定される前記表示画面と前記対象物体との距離が、前記基準距離よりも大きい場合、または、前記距離情報が示き特定される距離または前記推定される前記表示画面と前記対象物体との距離が、前記基準距離以上である場合に、前記操作インタフェースを表示内容として設定する、請求項6に記載の表示制御装置。
  8. 前記表示内容設定部は、検出された対象物体の属性に基づいて、表示内容を設定する、請求項1〜5のいずれか1項に記載の表示制御装置。
  9. 表示画面に表示する表示対象画像と、前記表示画面の表示方向が撮像された撮像画像とに基づいて、前記表示対象画像内に切り抜き領域を設定するステップと、
    設定された切り抜き領域内に表示する表示内容を設定するステップと、
    設定された切り抜き領域内に設定された表示内容が表示された画像を、表示画面に表示させるステップと、
    を有し、
    前記切り抜き領域を設定するステップでは、
    前記撮像画像から検出対象である対象物体が検出され、前記対象物体が検出された場合に、前記表示対象画像内における前記対象物体に対応する画像が占める領域が、前記切り抜き領域として設定され、
    複数の対象物体が検出された場合には、検出された対象物体それぞれに対応する領域が重なる重なり領域が検出され、
    検出された重なり領域のサイズと、複数の対象物体に対応する領域を結合する基準となる結合基準領域のサイズとが比較され、
    比較結果に基づいて、前記重なり領域のサイズが前記結合基準領域のサイズよりも大きい場合、または、前記重なり領域のサイズが前記結合基準領域のサイズ以上である場合に、前記重なり領域を含む対象物体に対応する領域が結合され、
    結合された結合領域が前記切り抜き領域として設定される、表示制御方法。
  10. 表示画面に表示する表示対象画像と、前記表示画面の表示方向が撮像された撮像画像とに基づいて、前記表示対象画像内に切り抜き領域を設定するステップ、
    設定された切り抜き領域内に表示する表示内容を設定するステップ、
    設定された切り抜き領域内に設定された表示内容が表示された画像を、表示画面に表示させるステップ、
    をコンピュータに実行させ、
    前記切り抜き領域を設定するステップでは、
    前記撮像画像から検出対象である対象物体が検出され、前記対象物体が検出された場合に、前記表示対象画像内における前記対象物体に対応する画像が占める領域が、前記切り抜き領域として設定され、
    複数の対象物体が検出された場合には、検出された対象物体それぞれに対応する領域が重なる重なり領域が検出され、
    検出された重なり領域のサイズと、複数の対象物体に対応する領域を結合する基準となる結合基準領域のサイズとが比較され、
    比較結果に基づいて、前記重なり領域のサイズが前記結合基準領域のサイズよりも大きい場合、または、前記重なり領域のサイズが前記結合基準領域のサイズ以上である場合に、前記重なり領域を含む対象物体に対応する領域が結合され、
    結合された結合領域が前記切り抜き領域として設定される、プログラム。
JP2011124346A 2011-06-02 2011-06-02 表示制御装置、表示制御方法、およびプログラム Active JP5914992B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011124346A JP5914992B2 (ja) 2011-06-02 2011-06-02 表示制御装置、表示制御方法、およびプログラム
US13/467,386 US9805390B2 (en) 2011-06-02 2012-05-09 Display control apparatus, display control method, and program
CN201210165834.9A CN102810308B (zh) 2011-06-02 2012-05-25 显示控制装置、显示控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011124346A JP5914992B2 (ja) 2011-06-02 2011-06-02 表示制御装置、表示制御方法、およびプログラム

Publications (3)

Publication Number Publication Date
JP2012253551A JP2012253551A (ja) 2012-12-20
JP2012253551A5 JP2012253551A5 (ja) 2014-06-19
JP5914992B2 true JP5914992B2 (ja) 2016-05-11

Family

ID=47234005

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011124346A Active JP5914992B2 (ja) 2011-06-02 2011-06-02 表示制御装置、表示制御方法、およびプログラム

Country Status (3)

Country Link
US (1) US9805390B2 (ja)
JP (1) JP5914992B2 (ja)
CN (1) CN102810308B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI539823B (zh) * 2014-09-29 2016-06-21 晶睿通訊股份有限公司 攝影畫面切換方法與監控系統
JP6931757B2 (ja) * 2016-09-23 2021-09-08 株式会社インテロール サイネージ装置、表示方法、およびプログラム
EP3379842B1 (en) * 2017-03-21 2021-09-08 Nokia Technologies Oy Media rendering
CN110659642A (zh) * 2018-06-29 2020-01-07 北京京东尚科信息技术有限公司 图像处理方法、装置、系统以及计算机可读介质

Family Cites Families (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6005574A (en) * 1991-07-05 1999-12-21 International Business Machines Corporation Data processing system including method and apparatus for performing graphics clipping operations
US5345313A (en) * 1992-02-25 1994-09-06 Imageware Software, Inc Image editing system for taking a background and inserting part of an image therein
US6323911B1 (en) * 1995-10-02 2001-11-27 Starsight Telecast, Inc. System and method for using television schedule information
US6400374B2 (en) * 1996-09-18 2002-06-04 Eyematic Interfaces, Inc. Video superposition system and method
US7904187B2 (en) * 1999-02-01 2011-03-08 Hoffberg Steven M Internet appliance system and method
US6500008B1 (en) * 1999-03-15 2002-12-31 Information Decision Technologies, Llc Augmented reality-based firefighter training system and method
US6614422B1 (en) * 1999-11-04 2003-09-02 Canesta, Inc. Method and apparatus for entering data using a virtual input device
EP1247223A4 (en) * 1999-12-17 2006-01-18 Promo Vu INTERACTIVE INFORMATION COMMUNICATION SYSTEM WITH PROMOTIONAL CHARACTER
JP3880759B2 (ja) * 1999-12-20 2007-02-14 富士通株式会社 移動物体検出方法
JP2001321732A (ja) * 2000-05-16 2001-11-20 Funai Electric Co Ltd タッチパネルの清掃機構、タッチパネルの清掃方法、および、表示装置
WO2001095610A1 (fr) * 2000-06-02 2001-12-13 V-Sync Co., Ltd. Imprimante possedant une fonction de presentation d'annonces publicitaires
US7865306B2 (en) * 2000-09-28 2011-01-04 Michael Mays Devices, methods, and systems for managing route-related information
JP4347053B2 (ja) * 2001-08-03 2009-10-21 ナノスフェアー インコーポレイテッド ナノ粒子撮像システムおよび方法
US20030220830A1 (en) * 2002-04-04 2003-11-27 David Myr Method and system for maximizing sales profits by automatic display promotion optimization
US7730430B2 (en) * 2003-01-24 2010-06-01 Microsoft Corporation High density cursor system and method
US20040148226A1 (en) * 2003-01-28 2004-07-29 Shanahan Michael E. Method and apparatus for electronic product information and business transactions
US7702542B2 (en) * 2003-03-28 2010-04-20 Lions & Bears Llc Electronic cards systems and methods
JP2004304718A (ja) * 2003-04-01 2004-10-28 Nara Institute Of Science & Technology 近接領域画像抽出装置及び近接領域画像抽出方法
US8489452B1 (en) * 2003-09-10 2013-07-16 Target Brands, Inc. Systems and methods for providing a user incentive program using smart card technology
JP4144492B2 (ja) * 2003-09-19 2008-09-03 株式会社日立製作所 画像表示装置
JP4380308B2 (ja) * 2003-11-27 2009-12-09 日本電信電話株式会社 顔領域検出方法及び装置及びプログラム及び顔領域検出プログラムを格納したコンピュータ読み取り可能な記憶媒体
US7664292B2 (en) * 2003-12-03 2010-02-16 Safehouse International, Inc. Monitoring an output from a camera
JP4208726B2 (ja) * 2004-01-14 2009-01-14 キヤノン株式会社 画像表示装置、画像表示方法および画像表示プログラム
US7894637B2 (en) * 2004-05-21 2011-02-22 Asahi Kasei Corporation Device, program, and method for classifying behavior content of an object person
US20050276481A1 (en) * 2004-06-02 2005-12-15 Fujiphoto Film Co., Ltd. Particular-region detection method and apparatus, and program therefor
US7519223B2 (en) * 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
CN100338647C (zh) * 2004-08-06 2007-09-19 马堃 静态图像的动态显示方法及浏览器
EP1867167A4 (en) * 2005-04-03 2009-05-06 Nice Systems Ltd DEVICE AND METHOD FOR SEMI-AUTOMATIC TRACKING AND INVESTIGATION OF AN OBJECT OR EVENT AT A MONITORED LOCATION
US7479967B2 (en) * 2005-04-11 2009-01-20 Systems Technology Inc. System for combining virtual and real-time environments
EP1722295A1 (de) * 2005-05-10 2006-11-15 Siemens Aktiengesellschaft Verfahren, Vorrichtung und Computerprogrammprodukt zur Bereitstellung von Benutzerinformationen innerhalb einer grafischen Benutzeroberfläche
AU2006286320A1 (en) * 2005-09-01 2007-03-08 Astragroup As (A Norwegian Company) Post- recording data analysis and retrieval
US8941669B1 (en) * 2005-10-18 2015-01-27 Nvidia Corporation Split push buffer rendering for scalability
US11004090B2 (en) * 2005-12-24 2021-05-11 Rich Media Club, Llc System and method for creation, distribution and tracking of advertising via electronic networks
WO2007106806A2 (en) * 2006-03-13 2007-09-20 Nielsen Media Research, Inc. Methods and apparatus for using radar to monitor audiences in media environments
JP4707034B2 (ja) * 2006-07-07 2011-06-22 株式会社ソニー・コンピュータエンタテインメント 画像処理方法、入力インタフェース装置
US20080181507A1 (en) * 2007-01-29 2008-07-31 Intellivision Technologies Corp. Image manipulation for videos and still images
US20090099919A1 (en) * 2007-07-18 2009-04-16 Freepath, Inc. Method, system and computer program product for formatting and delivery of playlist presentation content
JP2009065577A (ja) * 2007-09-10 2009-03-26 Ricoh Co Ltd 撮像装置および撮像方法
US20110145068A1 (en) * 2007-09-17 2011-06-16 King Martin T Associating rendered advertisements with digital content
US8139751B1 (en) * 2007-10-04 2012-03-20 United States Automobile Association (USAA) System and method to communicate information to an employee
JP2009109887A (ja) * 2007-10-31 2009-05-21 Akiji Nagasawa 合成プログラム、記録媒体及び合成装置
SG152952A1 (en) * 2007-12-05 2009-06-29 Gemini Info Pte Ltd Method for automatically producing video cartoon with superimposed faces from cartoon template
US8884883B2 (en) * 2008-01-25 2014-11-11 Microsoft Corporation Projection of graphical objects on interactive irregular displays
KR100970326B1 (ko) * 2008-05-16 2010-07-15 엔에이치엔비즈니스플랫폼 주식회사 디지털 방송 서비스에서의 광고 컨텐츠 제공 방법 및시스템, 그리고 광고 컨텐츠 노출 방법 및 시스템
JP5302768B2 (ja) * 2008-06-26 2013-10-02 キヤノン株式会社 画像処理装置及び画像処理方法
US20100004995A1 (en) * 2008-07-07 2010-01-07 Google Inc. Claiming Real Estate in Panoramic or 3D Mapping Environments for Advertising
JP5229944B2 (ja) * 2008-08-04 2013-07-03 株式会社ブイシンク オンデマンドサイネージシステム
JP5410056B2 (ja) * 2008-09-12 2014-02-05 三洋電機株式会社 飲料販売システム
CA2774649A1 (en) * 2008-09-18 2010-03-25 Screen Test Studios, Llc Interactive entertainment system for recording performance
JP5396062B2 (ja) * 2008-10-27 2014-01-22 株式会社ブイシンク 電子広告システム
US20100118200A1 (en) * 2008-11-10 2010-05-13 Geoffrey Michael Gelman Signage
JP5219795B2 (ja) * 2008-12-26 2013-06-26 キヤノン株式会社 被写体追跡装置、その制御方法、撮像装置、表示装置及びプログラム
CN102356405A (zh) * 2009-03-20 2012-02-15 谷歌公司 将所呈现的广告与数字内容相关联
TW201042577A (en) * 2009-05-27 2010-12-01 Chip Goal Electronics Corp Motion image data generator, system using motion image data, and methods thereof
JP5424732B2 (ja) * 2009-06-15 2014-02-26 キヤノン株式会社 撮像装置、その制御方法及びプログラム
EP2452258B1 (en) * 2009-07-07 2019-01-23 Elliptic Laboratories AS Control using movements
US8622830B2 (en) * 2009-08-20 2014-01-07 Wms Gaming, Inc. Controlling sound distribution in wagering game applications
US8512137B2 (en) * 2009-08-21 2013-08-20 Wms Gaming, Inc. Controlling electronic playing cards in wagering environments
JP2011054080A (ja) * 2009-09-04 2011-03-17 Sony Corp 画像処理装置および方法、並びにプログラム
US20110060652A1 (en) * 2009-09-10 2011-03-10 Morton Timothy B System and method for the service of advertising content to a consumer based on the detection of zone events in a retail environment
JP5296218B2 (ja) * 2009-09-28 2013-09-25 株式会社東芝 立体映像表示方法及び立体映像表示装置
JP5310456B2 (ja) * 2009-10-05 2013-10-09 ソニー株式会社 情報処理装置、情報処理方法および情報処理システム
JP4973756B2 (ja) * 2010-03-30 2012-07-11 カシオ計算機株式会社 画像処理装置およびプログラム
US20110282727A1 (en) * 2010-05-14 2011-11-17 Minh Phan Content management in out-of-home advertising networks
US9542091B2 (en) * 2010-06-04 2017-01-10 Apple Inc. Device, method, and graphical user interface for navigating through a user interface using a dynamic object selection indicator
JP5602618B2 (ja) * 2010-06-10 2014-10-08 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および画像処理方法
US20130120123A1 (en) * 2010-07-08 2013-05-16 James Andrew Aman Sports scorekeeping system with integrated scoreboard and automatic entertainment system
JP5631086B2 (ja) * 2010-07-12 2014-11-26 キヤノン株式会社 情報処理装置及びその制御方法、プログラム
US20120016733A1 (en) * 2010-07-13 2012-01-19 Visible Brands, Inc. System and method for correlating electronic advertisements presented to consumers on computing devices with consumer visits to retail environments
WO2012030678A2 (en) * 2010-08-30 2012-03-08 Tunipop, Inc. Techniques for facilitating on-line electronic commerce transactions relating to the sale of goods and merchandise
US10645344B2 (en) * 2010-09-10 2020-05-05 Avigilion Analytics Corporation Video system with intelligent visual display
US9154732B2 (en) * 2012-04-09 2015-10-06 Futurewei Technologies, Inc. Visual conditioning for augmented-reality-assisted video conferencing
US20140157209A1 (en) * 2012-12-03 2014-06-05 Google Inc. System and method for detecting gestures

Also Published As

Publication number Publication date
US20120306911A1 (en) 2012-12-06
US9805390B2 (en) 2017-10-31
JP2012253551A (ja) 2012-12-20
CN102810308A (zh) 2012-12-05
CN102810308B (zh) 2016-09-07

Similar Documents

Publication Publication Date Title
US9674488B2 (en) Information processing device and information processing method
US9319632B2 (en) Display apparatus and method for video calling thereof
JP6299492B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US9704028B2 (en) Image processing apparatus and program
US10574933B2 (en) System and method for converting live action alpha-numeric text to re-rendered and embedded pixel information for video overlay
JP5740972B2 (ja) 情報処理装置および情報処理方法
CN103946871A (zh) 图像处理装置、图像识别装置、图像识别方法以及程序
JP5914992B2 (ja) 表示制御装置、表示制御方法、およびプログラム
WO2015166675A1 (ja) 画像処理装置、画像処理方法、およびプログラム
US20180211445A1 (en) Information processing device, terminal, and remote communication system
JP5929535B2 (ja) エフェクト制御装置、エフェクト制御方法、およびプログラム
US11132553B2 (en) Information processing apparatus and information processing method
JP2012238099A (ja) 画像処理装置、画像処理方法、およびプログラム
JP2014209778A (ja) 情報処理装置および情報処理方法
JP2013120983A (ja) 画像処理装置、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140424

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140424

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150403

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160308

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160321

R151 Written notification of patent or utility model registration

Ref document number: 5914992

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250