JP6528680B2 - 表示装置、表示方法及び表示プログラム - Google Patents

表示装置、表示方法及び表示プログラム Download PDF

Info

Publication number
JP6528680B2
JP6528680B2 JP2015508274A JP2015508274A JP6528680B2 JP 6528680 B2 JP6528680 B2 JP 6528680B2 JP 2015508274 A JP2015508274 A JP 2015508274A JP 2015508274 A JP2015508274 A JP 2015508274A JP 6528680 B2 JP6528680 B2 JP 6528680B2
Authority
JP
Japan
Prior art keywords
image
display
unit
face
imaging unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015508274A
Other languages
English (en)
Other versions
JPWO2014156661A1 (ja
Inventor
博 倉金
博 倉金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2014156661A1 publication Critical patent/JPWO2014156661A1/ja
Application granted granted Critical
Publication of JP6528680B2 publication Critical patent/JP6528680B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/64Constructional details of receivers, e.g. cabinets or dust covers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/64Constructional details of receivers, e.g. cabinets or dust covers
    • H04N5/645Mounting of picture tube on chassis or in housing
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2356/00Detection of the display position w.r.t. other display screens
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、表示装置、表示方法及び表示プログラムに関する。
例えば、2台の撮像部を用いてユーザの両側面の姿を撮像し、撮像した2つの側面撮像を合成した画像を表示部に表示する装置がある(例えば、特許文献1参照)。
2台の撮像部でユーザの正面の姿と後ろ姿とを撮像する装置も存在する。この装置は、例えば、正面の姿を表示部に表示させ、横からの姿を現わす画像を鏡に映してユーザに表示する(例えば、特許文献2参照)。
日本国特開2010−87569号公報 国際公開第2012/124612号
しかしながら、特許文献1に記載されている装置では、ユーザの立ち位置に応じてカメラを設置しなければならず装置全体の構成が大がかりとなる。このため、このような技術をタブレット端末や携帯端末等において応用できないという問題がある。
特許文献2に記載されている装置では、表示部がユーザを表す異なる第1および第2画像を表示する。表示部によって表示された第2の画像は鏡に映される。このように、鏡が必要となるため、装置全体の構成が大がかりとなる。このため、このような技術をタブレット端末や携帯端末等において応用できないという問題がある。
本発明は、上記の事情を考慮してなされた。本発明の目的の一例は、上記の課題を解決することができる表示装置、表示方法及び表示プログラムを提供することである。
本発明の実施態様にかかる表示装置は、互いに相対的に移動可能に接続した第1および第2の筐体と、前記第1筐体に設けられ、第1画像を撮影する第1撮像部と、前記第2筐体に設けられ、第2画像を撮影する第2撮像部と、前記第1筐体に設けられた第1表示部と、前記第2筐体に設けられた第2表示部と、前記第1画像及び前記第2画像が正面の顔を含んでいるか否かを判定する顔認識部と、前記顔認識部が前記第1画像が正面の顔を含んでいると判定した場合、前記第1画像及び前記第2画像を、前記第1画像を撮像した前記第1撮像部と共に前記第1筐体に設けられている前記第1表示部に表示させ、前記顔認識部が前記第2画像が正面の顔を含んでいる判定した場合、前記第1画像及び前記第2画像を、前記第2画像を撮像した前記第2撮像部と共に前記第2筐体に設けられている前記第2表示部に表示させる表示制御部とを備え、前記表示制御部は、前記顔認識部が前記第1画像が正面の顔を含んでいると判定した場合、前記第2表示部に表示を停止させ、前記表示制御部は、前記顔認識部が前記第2画像が正面の顔を含んでいると判定した場合、前記第1表示部への表示を停止させる
本発明の実施態様にかかる表示方法は、互いに相対的に移動可能に接続した第1および第2の筐体と、前記第1筐体に設けられた第1撮像部および第1表示部と、前記第2筐体に設けられた第2撮像部および第2表示部とを備える表示装置のための表示方法であって、前記第1撮像部によって第1画像を撮影し、前記第2撮像部によって第2画像を撮影し、前記第1画像及び前記第2画像が正面の顔を含んでいるか否かを判定し、前記第1画像が正面の顔を含んでいると判定された場合、前記第1画像及び前記第2画像を、前記第1画像を撮像した前記第1撮像部と共に前記第1筐体に設けられている前記第1表示部に表示させ、前記第2画像が正面の顔を含んでいる判定された場合、前記第1画像及び前記第2画像を、前記第2画像を撮像した前記第2撮像部と共に前記第2筐体に設けられている前記第2表示部に表示させ、前記第1画像が正面の顔を含んでいると判定した場合、前記第2表示部に表示を停止させ、記第2画像が正面の顔を含んでいると判定した場合、前記第1表示部への表示を停止させることを含む。
本発明の実施態様にかかるプログラムは、互いに相対的に移動可能に接続した第1および第2の筐体と、前記第1筐体に設けられた第1撮像部および第1表示部と、前記第2筐体に設けられた第2撮像部および第2表示部とを備える表示装置に、前記第1撮像部によって第1画像を撮影し、前記第2撮像部によって第2画像を撮影し、前記第1画像及び前記第2画像が正面の顔を含んでいるか否かを判定し、前記第1画像が正面の顔を含んでいると判定された場合、前記第1画像及び前記第2画像を、前記第1画像を撮像した前記第1撮像部と共に前記第1筐体に設けられている前記第1表示部に表示させ、前記第2画像が正面の顔を含んでいる判定された場合、前記第1画像及び前記第2画像を、前記第2画像を撮像した前記第2撮像部と共に前記第2筐体に設けられている前記第2表示部に表示させ、記第1画像が正面の顔を含んでいると判定した場合、前記第2表示部に表示を停止させ、記第2画像が正面の顔を含んでいると判定した場合、前記第1表示部への表示を停止させることを実行させる。
本発明の実施形態によれば、複数の異なる方向から見たユーザの姿を同一の画面に表示させることができる。
本発明の実施の形態にかかる表示装置を示したブロック図である。 図1に示した表示装置の外観を模式的に示した斜視図である。 図1に示した表示装置の外観を模式的に示した斜視図である。 図1に示した表示装置の動作例を説明するためのフローチャートである。 図1に示した表示装置の第1の動作例を説明するための図である。 第1の動作例を説明するための模式的な平面図である。 図1に示した表示装置の第2の動作例を説明するための図である。 第2の動作例を説明するための模式的な平面図である。 図1に示した表示装置の第3の動作例を説明するための図である。 第3の動作例を説明するための模式的な平面図である。
以下、図面を参照して本発明の実施の形態について説明する。図1は、本発明の実施形態にかかる表示装置1を示したブロック図である。図2及び図3は、表示装置1の外観を模式的に示した斜視図である。各図において同一の構成には同一の符号を付けている。
図1に示した表示装置1は、第1撮像部11と、第1表示部21と、第2撮像部12と、第2表示部22と、顔認識部30と、表示制御部40とを備えている。
表示装置1は、内部に図示していない1又は複数のCPU(中央処理装置)と、メモリと入出力インターフェース回路等をさらに備える。そのCPUが所定のプログラムを実行することで、顔認識部30及び表示制御部40が構成される。
また、表示装置1は、例えば第1表示部21及び第2表示部22のそれぞれと、一体として構成されたタッチパネル等の入力部を備えている。
第1撮像部11は、内部に光学系、撮像素子、撮像素子の駆動や信号変換を行う制御回路を有する。第1撮像部11は、撮像した動画像や静止画像(以下、第1画像と称する)を所定の画像信号として出力する。
第1表示部21は、例えば液晶表示パネルであってもよい。第1表示部21は、表示制御部40が出力した信号に基づいて動画や静止画を表示する。
第1撮像部11と第1表示部21は、例えば、図2に示すように第1筐体61に設けられていてもよい。第1表示部21の表示面21aは、第1撮像部11の撮像方向(つまり光軸方向)と直交する面と平行である。第1表示部21は、表示制御部40から所定の表示停止信号が入力された場合に表示動作を停止する。
第2撮像部12は、第1撮像部11と同一の構成を有する。すなわち、第2撮像部12は、内部に光学系、撮像素子、撮像素子の駆動や信号変換を行う制御回路を有する。第2撮像部12は、撮像した動画像や静止画像(以下、第2画像と称する)を所定の画像信号として出力する。
第2表示部22は、例えば液晶表示パネルであってもよい。第2表示部22は、表示制御部40が出力した信号に基づいて動画や静止画を表示する。
第2撮像部12と第2表示部22は、例えば、図2に示すように第2筐体62に設けられていてもよい。第2表示部22の表示面22aは、第2撮像部12の撮像方向と直交する面と平行である。第2表示部22は、表示制御部40から所定の表示停止信号を入力した場合に表示動作を停止する。
顔認識部30は、第1撮像部11が出力した画像信号に基づいて第1画像に対して所定の顔画像認識処理を行う。また、顔認識部30は、第2撮像部12が出力した画像信号に基づいて第2画像に対して所定の顔画像認識処理を行う。この顔認識部30は、第1画像又は第2画像中に正面の顔が認識できるか否か、つまり、第1画像又は第2画像が正面の顔を含んでいるか否かを判定する。
顔画像認識処理や顔の向きの判定処理の手法は、特に限定されない。判定処理の手法として、一般に知られた手法を用いて行うことができる。例えば予め用意した複数のパターンと比較することで顔の輪郭、目や鼻や口などを認識し、輪郭中の目や鼻や口など相対的な位置に基づいて顔の向きを認識する。
顔認識部30は、第1画像を表す画像信号と第2画像を表す画像信号を表示制御部40に対して出力する。また、顔認識部30は、上記の判定結果を表示制御部40に対して出力する。第1画像を表す画像信号と第2画像を表す画像信号は、第1撮像部11と第2撮像部12から直接、表示制御部40へ入力されてもよい。
表示制御部40は、第1撮像部11及び第2撮像部12がそれぞれ撮像した第1画像及び第2画像に基づき、第1表示部21及び第2表示部22に表示させる画像を制御する。
表示制御部40は、顔認識部30が第1画像が正面の顔を含んでいると判定した場合、第1画像及び第2画像を第1表示部21に表示させる。表示制御部40は、顔認識部30が第2画像が正面の顔を含んでいると判定した場合、表示制御部40は、第1画像及び第2画像を第2表示部22に表示させる。
顔認識部30が第1画像が正面の顔を含んでいると判定した場合について説明する。この場合、表示制御部40は、第1画像が第1表示部21の表示領域(表示面21a)の上部に、第2画像が第1表示部21の表示領域の下部に配置されるように、第1表示部21へ入力する画像信号を生成してもよい。
顔認識部30が第2画像が正面の顔を含んでいると判定した場合について説明する。この場合、表示制御部40は、第2画像が第2表示部22の表示領域(表示面22a)の上部に、第1画像が第2表示部22の表示領域の下部に配置されるように、第2表示部22へ入力する画像信号を生成してもよい。
表示制御部40は、顔認識部30が第1画像が正面の顔を含んでいると判定した場合、第2表示部22に表示を停止させる。
表示制御部40は、顔認識部30が第2画像が正面の顔を含んでいると判定した場合、第2表示部22に表示を停止させる。
表示の停止として、表示制御部40は、第1表示部21又は第2表示部22の電源をオフしてもよく、第1表示部21又は第2表示部22に真っ黒あるいは真っ白の画像を表示させてもよい。
図2に示すように、表示装置1は、第1筐体61と、第2筐体62と、ヒンジ70とを有する。第1筐体61は、第1撮像部11及び第1表示部21を有する。第2筐体62は、第2撮像部12及び第2表示部22を有する。ヒンジ70は、第1筐体61と第2筐体62とを回動自在に接続する。つまり、第1筐体61と第2筐体62とは、互いに移動可能に接続している。
図3に示すように、第1表示部21と第2表示部22とが向かい合うように第1筐体61と第2筐体62とを折りたたむことができるようにヒンジ70の回動範囲を設定してもよい。図2に示すように第1筐体61と第2筐体62とが位置している場合、第1撮像部11の光軸と、第2撮像部12の光軸とは、互いに平行ではなく、交差する。つまり、図2に示す位置関係において、第1撮像部11と第2撮像部12の光軸とは、それぞれ異なる方向から見たユーザを撮像することができる。
図4を参照して、図1に示した表示装置1の動作例について説明する。表示装置1では、図示していない内部のCPUで所定のプログラムを実行することにより、図1に示した各部を制御して、図4に示した処理を実行する。図4に示す判定処理は、1フレーム単位で実行してもよく、所定の複数フレーム単位(あるいは所定の時間単位)で実行してもよい。
表示装置1は、以下に説明するステップS101,S102,S105の処理とステップS103〜S105の処理を並列に実行する。
(ステップS101)
第1撮像部11は、CPUの制御のもと起動される。第1撮像部11は、第1画像を撮像し、画像信号を出力する。
(ステップS102)
第1表示部21は、第1撮像部11から出力される画像信号に基づき、第1画像を表示する。
(ステップS103)
一方、第2撮像部12は、CPUの制御のもと起動される。第2撮像部12は、第2画像を撮像し、画像信号を出力する。
(ステップS104)
第2表示部22は、第2撮像部12から出力される画像信号に基づき、第2画像を表示する。
(ステップS105)
顔認識部30は、第1画像及び第2画像が正面の顔を含んでいるか否かを判定する。顔認識部30が第1画像が正面の顔を含んでいないと判定した場合、表示制御部40は、ステップS102に戻って、第1画像を第1表示部21に表示させる。顔認識部30が第1画像が正面の顔を含んでいないと判定した場合、表示制御部40は、ステップS104に戻って、第2画像を第2表示部22に表示させる。
(ステップS106)
顔認識部30は、第1画像又は第2画像が正面の顔を含んでいると判定した場合、正面の顔が含まれている画像が第1画像および第2画像のいずれであるか判断する。
(ステップS107)
顔認識部30が第1画像が正面の顔を含んでいると判定した場合、表示制御部40は、第1画像及び前記第2画像を第1表示部21に表示させる。例えば、表示制御部40は、第1表示部21の第1表示領域に第1撮像部11の撮像画像(第1画像)を表示し、第1表示部21の第2表示領域に第2撮像部12の撮像画像(第2画像)を表示するための画像処理を行ってもよい。第1表示部21の第1表示領域とは、例えば図5に示した第1表示部21の上半分に位置する領域211である。第1表示部21の第2表示領域とは、例えば図5に示した第1表示部21の下半分に位置する領域212である。
(ステップS108)
表示制御部40は、第2表示部22に表示を停止させる。
(ステップS109)
顔認識部30が第2画像が正面の顔を含んでいると判定した場合、表示制御部40は、第1画像及び前記第2画像を第2表示部22に表示させる。例えば、表示制御部40は、第2表示部22の第1表示領域(例えば上部の表示領域)に第2撮像部12の撮像画像(第2画像)を表示し、第2表示部22の第2表示領域(例えば下部の表示領域)に第1撮像部11の撮像画像(第1画像)を表示するための画像処理を行ってもよい。第2表示部22の第1表示領域とは、例えば図7に示した第2表示部22の上半分に位置する領域221である。第2表示部22の第2表示領域とは、例えば図7に示した第2表示部22の下半分に位置する領域222である。
(ステップS110)
表示制御部40は、第2表示部22への表示を停止させる。
以上の処理によって、表示装置1は、第1撮像部11の撮像画像(第1画像)及び第2撮像部12の撮像画像(第2画像)を、第1表示部21又は第2表示部22の表示画面に表示することができる。つまり、表示装置1は、異なる角度から見たユーザの顔の画像をユーザが見ている位置の画面内(視野内)に表示することができる。よって、ユーザは、一つの表示画面を見ることにより、その表示画面を見ている正面の顔と、異なる角度から見える顔との両方を確認することができる。本実施形態に係る表示装置1の構成をタブレット端末や携帯端末した場合においても、異なる角度から見えるユーザの姿を同時に一つに表示部に簡単に表示させることができる。
また、上記の構成によれば、ユーザは、第1表示部21又は第2表示部22の表示画像を、ハーフミラーを介したり、鏡で反射させたりせずに見ることができる。表示部に表示された画像でみることにより、正面の顔の画質と横顔の画質との差を小さくすることができ、より見やすくなる。
図5及び図6を参照して、図1から図3を参照して説明した表示装置1の第1の動作例について説明する。図5は、表示装置1の第1の動作例を説明するための図である。図6は、第1の動作例における光の進行例を説明するための模式的な平面図である。
図5及び図6に示した第1の動作例では、表示装置1は、ユーザ100の顔正面を第1撮像部11で直接撮像するとともに(つまり実像を撮像するとともに)、第2撮像部12で鏡200の反射面201に写るユーザ100の顔側面の鏡像91を撮像している。第1の動作例では、ユーザが本機能を起動すると、2個の撮像部11及び撮像部12で撮像を開始し、両方の撮像画像を2個の表示部21及び22に表示する。
ユーザ100は一方の撮像部(この場合、第1撮像部11)で自分の正面の姿が、他方の撮像部(この場合、第2撮像部12)で鏡200に映った自分の横顔や後姿が撮影できるように、表示部21又は22の表示を見ながらヒンジ70の角度を調整する。
次に表示装置1は、2個の撮像部11及び12が撮像した画像に対して顔認識処理を行う。
表示装置1は、ユーザ100の正面の顔が認識できた画像(この場合、第1画像)を撮像した撮像部(この場合、第1撮像部11)と同じ筐体(この場合、第1筐体61)に配置された表示部(この場合、第1表示部21)の表示は継続する。
また、表示装置1は、他方の表示部(この場合、第2表示部22)は表示を止める。
この場合、第1の動作例では、第1撮像部11は、ユーザ100の顔正面で反射された光L1を受光することで第1画像を撮像する。
第2撮像部12は、ユーザ100の顔側面で反射された光L2が、反射面201で反射された光L3を受光することで第2画像を撮像する。
この場合、顔認識部30が、第1画像中に顔正面画像を認識するので、第1表示部21の第1表示領域211に顔の正面画像81(すなわち第1画像)が表示され、第1表示領域212に顔の側面画像83(すなわち第2画像)が表示されている。
また、第2表示部22は、表示動作を停止している。
第1の動作例では、第2表示部21で反射面201に写るユーザ100の顔側面の鏡像91を撮像している。この場合、筐体61と筐体62の角度の調節に加え、鏡200の角度も調節できるので、調節の自由度を大きくすることができる。
次に、図7及び図8を参照して、図1から図3を参照して説明した表示装置1の第2の動作例について説明する。図7は、表示装置1の第2の動作例を説明するための図である。図8は、第2の動作例における光の進行例を説明するための模式的な平面図である。
図7及び図8に示した第2の動作例では、表示装置1は、ユーザ100の顔正面を第2撮像部12で直接撮像するとともに、第1撮像部11で鏡200の反射面201に写るユーザ100の顔側面の鏡像91を撮像している。
第2の動作例では、第2撮像部12は、ユーザ100の顔正面で反射された光L1を受光することで第2画像を撮像する。
第1撮像部11は、ユーザ100の顔側面で反射された光L2が、反射面201で反射された光L3を受光することで第1画像を撮像する。
この場合、顔認識部30が、第2画像中に顔正面画像を認識するので、第2表示部22の第1表示領域221に顔の正面画像81(すなわち第2画像)が表示され、第2表示領域222に顔の側面画像83(すなわち第1画像)が表示されている。また、第1表示部21は、表示動作を停止している。
第1の動作例ではユーザ100の正面に第1筐体61を対向させているのに対して、第2の動作例ではユーザ100の正面に第2筐体62を対向させている。第2の動作例でも、第1の動作例と同様に、ユーザ100の正面に対向する表示部で、撮像した2つの画像を表示することができる。
次に、図9及び図10を参照して、図1から図3を参照して説明した表示装置1の第3の動作例について説明する。図9は、表示装置1の第3の動作例を説明するための図である。図10は、第3の動作例における光の進行例を説明するための模式的な平面図である。
図9及び図10に示した第3の動作例では、表示装置1は、ユーザ100の顔正面を第1撮像部11で直接撮像するとともに、第2撮像部12でユーザ100の顔側面を直接撮像している。第3の動作例では、第1撮像部11は、ユーザ100の顔正面で反射された光L1を受光することで第1画像を撮像する。第2撮像部12は、ユーザ100の顔側面で反射された光L2を受光することで第2画像を撮像する。この場合、顔認識部30が、第1画像中に顔正面画像を認識するので、第1表示部12の第1表示領域221に顔の正面画像81(すなわち第1画像)が表示され、第2表示領域222に顔の側面画像82(すなわち第2画像)が表示されている。また、第2表示部22は、表示動作を停止している。
第3の動作例では、ユーザ100の正面の画像と、正面以外の画像とを鏡200を使わず撮像している。この場合、ユーザ100の正面以外の像は、完全な側面又は背面に近い姿の像とはすることはできないが、鏡200を使用せずに、正面と正面以外の画像を同時に表示させることができる。
以上のように、本実施形態によれば、複数の撮像部と複数の表示部を備える表示装置を使って、2面鏡や合わせ鏡と同等の機能を実現できる。また、左右を入れ替えた使い方により、左右の横顔を同様に眺めることができる。また、使用しない表示装置の表示を自動的に止めることによって、消費電力の削減を図ることができる。
本発明の実施形態は、上記に限定されない。例えば、同一の筐体内で撮像部と表示部との位置関係を変更してもよい。表示動作を停止する際に表示動作を停止させる条件が一定時間継続した場合に表示を停止する制御を行うように変更してもよい。本発明の実施形態にかかる表示装置は、CPUとそのCPUが実行するプログラムとを利用して構成してもよい。そのプログラムの一部又は全部はコンピュータ読み取り可能な記録媒体や通信回線を介して流通してもよい。
本発明の実施形態によれば、例えば、第1撮像部11と第2撮像部12で異なる2方向からみたユーザの姿を第1表示部21および第2表示部22のいずれか一方に表示させることができる。その際、ユーザの顔が認識できた場合には、ユーザの正面方向にある第1表示部21および第2表示部22のいずれか一方が表示を行い、他方の表示が停止する。
この場合、ユーザは鏡などを用いずに直接、第1表示部21と第2表示部22の表示画像をみることができる。よって、容易に低消費電力化を図ることができる。
本実施の形態に係る表示装置は、内部にコンピュータシステムを有していてもよい。動作の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータシステムが読み出して実行することによって、上記処理が行われもよい。「コンピュータシステム」は、CPU及び各種メモリやOS、周辺機器等のハードウェアを含む。
「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含む。
各ステップを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、また、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行してもよい。
「コンピュータ読み取り可能な記録媒体」は、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置を含む。
「コンピュータ読み取り可能な記録媒体」は、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含む。
上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体を含む。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
以上、実施形態を参照して本願発明を示し説明したが、本願発明は上記実施形態に限定されない。当業者であれば、請求項によって画定される本願発明の範囲を逸脱しないで、構成や詳細に様々な変更をすることができることが理解されるであろう。
この出願は、2013年3月27日に出願された日本国特願2013−066752を基礎とする優先権を主張し、その開示の全てをここに取り込む。
本発明は、表示装置、表示方法及び表示プログラムに適用し得る。
1 表示装置
11 第1撮像部
12 第2撮像部
21 第1表示部
22 第2表示部
30 顔認識部
40 表示制御部
61 第1筐体
62 第2筐体
70 ヒンジ
200 鏡
201 反射面

Claims (5)

  1. 互いに相対的に移動可能に接続した第1および第2の筐体と、
    前記第1筐体に設けられ、第1画像を撮影する第1撮像部と、
    前記第2筐体に設けられ、第2画像を撮影する第2撮像部と、
    前記第1筐体に設けられた第1表示部と、
    前記第2筐体に設けられた第2表示部と、
    前記第1画像及び前記第2画像が正面の顔を含んでいるか否かを判定する顔認識部と、
    前記顔認識部が前記第1画像が正面の顔を含んでいると判定した場合、前記第1画像及び前記第2画像を、前記第1画像を撮像した前記第1撮像部と共に前記第1筐体に設けられている前記第1表示部に表示させ、前記顔認識部が前記第2画像が正面の顔を含んでいる判定した場合、前記第1画像及び前記第2画像を、前記第2画像を撮像した前記第2撮像部と共に前記第2筐体に設けられている前記第2表示部に表示させる表示制御部と
    を備え、
    前記表示制御部は、前記顔認識部が前記第1画像が正面の顔を含んでいると判定した場合、前記第2表示部に表示を停止させ、
    前記表示制御部は、前記顔認識部が前記第2画像が正面の顔を含んでいると判定した場合、前記第1表示部への表示を停止させる
    表示装置。
  2. 前記第1表示部は、前記第1撮像部の光軸方向と直交する第1の表示面を有し、
    前記第2表示部は、前記第2撮像部の光軸方向と直交する第2の表示面を有する請求項1に記載の表示装置。
  3. 前記第1画像又は前記第2画像が、鏡に反射した鏡像である請求項1または請求項2に記載の表示装置。
  4. 互いに相対的に移動可能に接続した第1および第2の筐体と、前記第1筐体に設けられた第1撮像部および第1表示部と、前記第2筐体に設けられた第2撮像部および第2表示部とを備える表示装置のための表示方法であって、
    前記第1撮像部によって第1画像を撮影し、
    前記第2撮像部によって第2画像を撮影し、
    前記第1画像及び前記第2画像が正面の顔を含んでいるか否かを判定し、
    前記第1画像が正面の顔を含んでいると判定された場合、前記第1画像及び前記第2画像を、前記第1画像を撮像した前記第1撮像部と共に前記第1筐体に設けられている前記第1表示部に表示させ、
    前記第2画像が正面の顔を含んでいる判定された場合、前記第1画像及び前記第2画像を、前記第2画像を撮像した前記第2撮像部と共に前記第2筐体に設けられている前記第2表示部に表示させ
    記第1画像が正面の顔を含んでいると判定した場合、前記第2表示部に表示を停止させ、
    記第2画像が正面の顔を含んでいると判定した場合、前記第1表示部への表示を停止させる
    ことを含む表示方法。
  5. 互いに相対的に移動可能に接続した第1および第2の筐体と、前記第1筐体に設けられた第1撮像部および第1表示部と、前記第2筐体に設けられた第2撮像部および第2表示部とを備える表示装置に、
    前記第1撮像部によって第1画像を撮影し、
    前記第2撮像部によって第2画像を撮影し、
    前記第1画像及び前記第2画像が正面の顔を含んでいるか否かを判定し、
    前記第1画像が正面の顔を含んでいると判定された場合、前記第1画像及び前記第2画像を、前記第1画像を撮像した前記第1撮像部と共に前記第1筐体に設けられている前記第1表示部に表示させ、
    前記第2画像が正面の顔を含んでいる判定された場合、前記第1画像及び前記第2画像を、前記第2画像を撮像した前記第2撮像部と共に前記第2筐体に設けられている前記第2表示部に表示させ、
    記第1画像が正面の顔を含んでいると判定した場合、前記第2表示部に表示を停止させ、
    記第2画像が正面の顔を含んでいると判定した場合、前記第1表示部への表示を停止させる
    ことを実行させるプログラム。
JP2015508274A 2013-03-27 2014-03-12 表示装置、表示方法及び表示プログラム Active JP6528680B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013066752 2013-03-27
JP2013066752 2013-03-27
PCT/JP2014/056535 WO2014156661A1 (ja) 2013-03-27 2014-03-12 表示装置、表示方法及び表示プログラム

Publications (2)

Publication Number Publication Date
JPWO2014156661A1 JPWO2014156661A1 (ja) 2017-02-16
JP6528680B2 true JP6528680B2 (ja) 2019-06-12

Family

ID=51623644

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015508274A Active JP6528680B2 (ja) 2013-03-27 2014-03-12 表示装置、表示方法及び表示プログラム

Country Status (5)

Country Link
US (1) US10936855B2 (ja)
EP (1) EP2981074B1 (ja)
JP (1) JP6528680B2 (ja)
CN (1) CN105144704B (ja)
WO (1) WO2014156661A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11284003B2 (en) * 2015-07-29 2022-03-22 Samsung Electronics Co., Ltd. User terminal apparatus and control method thereof
US10284823B1 (en) * 2016-10-12 2019-05-07 Google Llc Capturing photographs based on rotation of device
CN111726521B (zh) * 2017-01-26 2023-09-22 华为技术有限公司 终端的拍照方法、拍照装置和终端
US10481856B2 (en) * 2017-05-15 2019-11-19 Microsoft Technology Licensing, Llc Volume adjustment on hinged multi-screen device
CN107566736A (zh) * 2017-09-30 2018-01-09 努比亚技术有限公司 一种抓拍方法及移动终端
JP7022622B2 (ja) * 2018-03-08 2022-02-18 キヤノン株式会社 情報処理装置およびその制御方法、並びにプログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63231431A (ja) * 1987-03-20 1988-09-27 Janome Sewing Mach Co Ltd 多面ハ−フミラ−を備えたカメラ装置
JPH11112970A (ja) * 1997-10-08 1999-04-23 Sony Corp メイク機能付きテレビジョン受像機
JP2001025004A (ja) 1999-07-09 2001-01-26 Mitsuru Takashima 電子鏡システム
JP2008111886A (ja) 2006-10-27 2008-05-15 Digital Electronics Corp 自動ドア、画面表示装置、画面表示制御プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
US8177441B2 (en) 2007-08-29 2012-05-15 Nintendo Co., Ltd. Imaging apparatus
US20110210970A1 (en) * 2008-06-18 2011-09-01 Kazu Segawa Digital mirror apparatus
JP2010087569A (ja) 2008-09-29 2010-04-15 Panasonic Electric Works Co Ltd 姿見装置
US8648880B2 (en) * 2010-06-03 2014-02-11 Sony Corporation Terminal device, display method, and application computer program product
US20120075166A1 (en) * 2010-09-29 2012-03-29 Samsung Electronics Co. Ltd. Actuated adaptive display systems
KR101841570B1 (ko) * 2010-11-18 2018-03-26 삼성전자 주식회사 듀얼디스플레이 접이식단말기
US8902156B2 (en) * 2011-01-14 2014-12-02 International Business Machines Corporation Intelligent real-time display selection in a multi-display computer system
KR101802522B1 (ko) 2011-02-10 2017-11-29 삼성전자주식회사 복수의 터치스크린을 가지는 장치 및 복수의 터치스크린을 가지는 장치의 화면변경방법
CN103098461A (zh) * 2011-03-07 2013-05-08 株式会社诺恩格利 电子镜系统
JPWO2012124612A1 (ja) 2011-03-15 2014-07-24 シャープ株式会社 表示装置
JP5085759B2 (ja) * 2011-03-31 2012-11-28 株式会社東芝 表示制御装置、電子機器及び制御プログラム
KR101180119B1 (ko) * 2012-02-23 2012-09-05 (주)올라웍스 카메라 모듈을 통해 사용자의 머리를 트래킹하여 화면을 제어하는 방법, 제어장치 및 컴퓨터 판독 가능한 기록 매체
KR101951228B1 (ko) * 2012-10-10 2019-02-22 삼성전자주식회사 멀티 디스플레이 장치 및 그 촬상 방법
KR102241291B1 (ko) * 2013-03-14 2021-04-16 삼성전자주식회사 전자 장치 및 그 동작 방법

Also Published As

Publication number Publication date
US10936855B2 (en) 2021-03-02
JPWO2014156661A1 (ja) 2017-02-16
EP2981074A4 (en) 2016-08-31
WO2014156661A1 (ja) 2014-10-02
EP2981074A1 (en) 2016-02-03
US20160283781A1 (en) 2016-09-29
CN105144704A (zh) 2015-12-09
CN105144704B (zh) 2018-10-23
EP2981074B1 (en) 2017-11-01

Similar Documents

Publication Publication Date Title
JP6528680B2 (ja) 表示装置、表示方法及び表示プログラム
US11360557B2 (en) Eye tracking system
US10877556B2 (en) Eye tracking system
US11706520B2 (en) Under-display camera and sensor control
US9052414B2 (en) Virtual image device
US9360671B1 (en) Systems and methods for image zoom
WO2020125203A1 (zh) 图像处理方法、电子装置及介质
US20150341551A1 (en) Projecting light at angle corresponding to the field of view of a camera
US20140327753A1 (en) Apparatus and method for positioning an iris for iris image capture
TWI659229B (zh) Virtual reality headset
US20240053823A1 (en) Eye Tracking System
CN106020480B (zh) 一种虚拟现实设备和虚拟现实图像处理方法
TWI676113B (zh) 虹膜識別過程中的預覽方法及裝置
US10225533B2 (en) Structured light generation and processing on a mobile device
CN113282174B (zh) 终端信息显示方法、装置、终端及存储介质
WO2021164437A1 (zh) 头戴式设备
Fujii et al. Aerial video-calling system with eye-matching feature based on polarization-modulated aerial imaging by retro-reflection (p-AIRR)
EP2721813B1 (en) Videoconferencing system using an inverted telescope camera
JP2011113196A (ja) 顔方向特定装置及び撮像装置
TWM514608U (zh) 具有指紋辨識功能的智能眼鏡
WO2018145463A1 (zh) 一种实现增强现实的装置及方法
US11852824B2 (en) Eye-imaging system with switchable hot mirrors
US20230367117A1 (en) Eye tracking using camera lens-aligned retinal illumination
WO2023224878A1 (en) Eye tracking using camera lens-aligned retinal illumination
CN117981296A (zh) 使用多个相机的扩展视场

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180601

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181204

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20181212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190326

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190416

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190429

R150 Certificate of patent or registration of utility model

Ref document number: 6528680

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150