WO2014156661A1 - 表示装置、表示方法及び表示プログラム - Google Patents

表示装置、表示方法及び表示プログラム Download PDF

Info

Publication number
WO2014156661A1
WO2014156661A1 PCT/JP2014/056535 JP2014056535W WO2014156661A1 WO 2014156661 A1 WO2014156661 A1 WO 2014156661A1 JP 2014056535 W JP2014056535 W JP 2014056535W WO 2014156661 A1 WO2014156661 A1 WO 2014156661A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
display
unit
imaging unit
display unit
Prior art date
Application number
PCT/JP2014/056535
Other languages
English (en)
French (fr)
Inventor
博 倉金
Original Assignee
Ｎｅｃカシオモバイルコミュニケーションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｎｅｃカシオモバイルコミュニケーションズ株式会社 filed Critical Ｎｅｃカシオモバイルコミュニケーションズ株式会社
Priority to CN201480016456.5A priority Critical patent/CN105144704B/zh
Priority to EP14773758.9A priority patent/EP2981074B1/en
Priority to JP2015508274A priority patent/JP6528680B2/ja
Priority to US14/778,152 priority patent/US10936855B2/en
Publication of WO2014156661A1 publication Critical patent/WO2014156661A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
    • H04N5/645—Mounting of picture tube on chassis or in housing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2356/00—Detection of the display position w.r.t. other display screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen

Definitions

  • the second imaging unit 12 has the same configuration as the first imaging unit 11.
  • the second imaging unit 12 includes an optical system, an imaging device, and a control circuit that performs driving and signal conversion of the imaging device.
  • the second imaging unit 12 outputs a captured moving image or still image (hereinafter referred to as a second image) as a predetermined image signal.
  • the second display unit 22 may be a liquid crystal display panel, for example.
  • the second display unit 22 displays a moving image or a still image based on the signal output from the display control unit 40.
  • the second imaging unit 12 and the second display unit 22 may be provided in the second housing 62 as illustrated in FIG. 2.
  • the display surface 22 a of the second display unit 22 is parallel to a surface orthogonal to the imaging direction of the second imaging unit 12.
  • the second display unit 22 stops the display operation when a predetermined display stop signal is input from the display control unit 40.
  • the display control unit 40 arranges the first image at the upper part of the display area (display surface 21a) of the first display part 21 and the second image at the lower part of the display area of the first display part 21. An image signal to be input to the first display unit 21 may be generated.
  • the face recognition unit 30 determines that the second image includes a front face will be described.
  • the display control unit 40 arranges the second image at the upper part of the display area (display surface 22a) of the second display part 22 and the first image at the lower part of the display area of the second display part 22. An image signal to be input to the second display unit 22 may be generated.
  • Step S105 The face recognition unit 30 determines whether or not the first image and the second image include a front face.
  • the display control unit 40 returns to step S102 and causes the first display unit 21 to display the first image.
  • the display control unit 40 returns to step S104 and causes the second display unit 22 to display the second image.
  • Step S106 When it is determined that the first image or the second image includes the front face, the face recognition unit 30 determines whether the image including the front face is the first image or the second image. .
  • the angle of the hinge 70 is adjusted while viewing the display on the display unit 21 or 22.
  • the display device 1 performs face recognition processing on images captured by the two imaging units 11 and 12.
  • the display device 1 has the same casing (in this case, the first casing) as the imaging section (in this case, the first imaging section 11) that captured the image (in this case, the first image) in which the face in front of the user 100 could be recognized.
  • the display of the display unit in this case, the first display unit 21) arranged on the body 61
  • the other display unit in this case, the second display unit 22 stops displaying.
  • the present invention can be applied to a display device, a display method, and a display program.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

　表示装置は、互いに相対的に移動可能に接続した第１および第２の筐体と、前記第１筐体に設けられ、第１画像を撮影する第１撮像部と、前記第２筐体に設けられ、第２画像を撮影する第２撮像部と、前記第１筐体に設けられた第１表示部と、前記第２筐体に設けられた第２表示部と、前記第１画像及び前記第２画像が正面の顔を含んでいるか否かを判定する顔認識部と、前記顔認識部が前記第１画像が正面の顔を含んでいると判定した場合、前記第１画像及び前記第２画像を前記第１表示部に表示させ、前記顔認識部が前記第２画像が正面の顔を含んでいる判定した場合、前記第１画像及び前記第２画像を前記第２表示部に表示させる表示制御部とを備える。

Description

表示装置、表示方法及び表示プログラム
　本発明は、表示装置、表示方法及び表示プログラムに関する。
　例えば、２台の撮像部を用いてユーザの両側面の姿を撮像し、撮像した２つの側面撮像を合成した画像を表示部に表示する装置がある（例えば、特許文献１参照）。
　２台の撮像部でユーザの正面の姿と後ろ姿とを撮像する装置も存在する。この装置は、例えば、正面の姿を表示部に表示させ、横からの姿を現わす画像を鏡に映してユーザに表示する（例えば、特許文献２参照）。
日本国特開２０１０－８７５６９号公報 国際公開第２０１２／１２４６１２号
　しかしながら、特許文献１に記載されている装置では、ユーザの立ち位置に応じてカメラを設置しなければならず装置全体の構成が大がかりとなる。このため、このような技術をタブレット端末や携帯端末等において応用できないという問題がある。
　特許文献２に記載されている装置では、表示部がユーザを表す異なる第１および第２画像を表示する。表示部によって表示された第２の画像は鏡に映される。このように、鏡が必要となるため、装置全体の構成が大がかりとなる。このため、このような技術をタブレット端末や携帯端末等において応用できないという問題がある。
　本発明は、上記の事情を考慮してなされた。本発明の目的の一例は、上記の課題を解決することができる表示装置、表示方法及び表示プログラムを提供することである。
　本発明の実施態様にかかる表示装置は、互いに相対的に移動可能に接続した第１および第２の筐体と、前記第１筐体に設けられ、第１画像を撮影する第１撮像部と、前記第２筐体に設けられ、第２画像を撮影する第２撮像部と、前記第１筐体に設けられた第１表示部と、前記第２筐体に設けられた第２表示部と、前記第１画像及び前記第２画像が正面の顔を含んでいるか否かを判定する顔認識部と、前記顔認識部が前記第１画像が正面の顔を含んでいると判定した場合、前記第１画像及び前記第２画像を前記第１表示部に表示させ、前記顔認識部が前記第２画像が正面の顔を含んでいる判定した場合、前記第１画像及び前記第２画像を前記第２表示部に表示させる表示制御部とを備える。
　本発明の実施態様にかかる表示方法は、互いに相対的に移動可能に接続した第１および第２の筐体と、前記第１筐体に設けられた第１撮像部および第１表示部と、前記第２筐体に設けられた第２撮像部および第２表示部とを備える表示装置に用いられる。この表示方法は、前記第１撮像部によって第１画像を撮影し、前記第２撮像部によって第２画像を撮影し、前記第１画像及び前記第２画像が正面の顔を含んでいるか否かを判定し、前記第１画像が正面の顔を含んでいると判定された場合、前記第１画像及び前記第２画像を前記第１表示部に表示させ、前記第２画像が正面の顔を含んでいる判定された場合、前記第１画像及び前記第２画像を前記第２表示部に表示させることを含む。
　本発明の実施態様にかかるプログラムは、互いに相対的に移動可能に接続した第１および第２の筐体と、前記第１筐体に設けられた第１撮像部および第１表示部と、前記第２筐体に設けられた第２撮像部および第２表示部とを備える表示装置に、前記第１撮像部によって第１画像を撮影し、前記第２撮像部によって第２画像を撮影し、前記第１画像及び前記第２画像が正面の顔を含んでいるか否かを判定し、前記第１画像が正面の顔を含んでいると判定された場合、前記第１画像及び前記第２画像を前記第１表示部に表示させ、前記第２画像が正面の顔を含んでいる判定された場合、前記第１画像及び前記第２画像を前記第２表示部に表示させることを実行させる。
　本発明の実施形態によれば、複数の異なる方向から見たユーザの姿を同一の画面に表示させることができる。
本発明の実施の形態にかかる表示装置を示したブロック図である。 図１に示した表示装置の外観を模式的に示した斜視図である。 図１に示した表示装置の外観を模式的に示した斜視図である。 図１に示した表示装置の動作例を説明するためのフローチャートである。 図１に示した表示装置の第１の動作例を説明するための図である。 第１の動作例を説明するための模式的な平面図である。 図１に示した表示装置の第２の動作例を説明するための図である。 第２の動作例を説明するための模式的な平面図である。 図１に示した表示装置の第３の動作例を説明するための図である。 第３の動作例を説明するための模式的な平面図である。
　以下、図面を参照して本発明の実施の形態について説明する。図１は、本発明の実施形態にかかる表示装置１を示したブロック図である。図２及び図３は、表示装置１の外観を模式的に示した斜視図である。各図において同一の構成には同一の符号を付けている。
　図１に示した表示装置１は、第１撮像部１１と、第１表示部２１と、第２撮像部１２と、第２表示部２２と、顔認識部３０と、表示制御部４０とを備えている。
　表示装置１は、内部に図示していない１又は複数のＣＰＵ（中央処理装置）と、メモリと入出力インターフェース回路等をさらに備える。そのＣＰＵが所定のプログラムを実行することで、顔認識部３０及び表示制御部４０が構成される。
　また、表示装置１は、例えば第１表示部２１及び第２表示部２２のそれぞれと、一体として構成されたタッチパネル等の入力部を備えている。
　第１撮像部１１は、内部に光学系、撮像素子、撮像素子の駆動や信号変換を行う制御回路を有する。第１撮像部１１は、撮像した動画像や静止画像（以下、第１画像と称する）を所定の画像信号として出力する。
　第１表示部２１は、例えば液晶表示パネルであってもよい。第１表示部２１は、表示制御部４０が出力した信号に基づいて動画や静止画を表示する。
　第１撮像部１１と第１表示部２１は、例えば、図２に示すように第１筐体６１に設けられていてもよい。第１表示部２１の表示面２１ａは、第１撮像部１１の撮像方向（つまり光軸方向）と直交する面と平行である。第１表示部２１は、表示制御部４０から所定の表示停止信号が入力された場合に表示動作を停止する。
　第２撮像部１２は、第１撮像部１１と同一の構成を有する。すなわち、第２撮像部１２は、内部に光学系、撮像素子、撮像素子の駆動や信号変換を行う制御回路を有する。第２撮像部１２は、撮像した動画像や静止画像（以下、第２画像と称する）を所定の画像信号として出力する。
　第２表示部２２は、例えば液晶表示パネルであってもよい。第２表示部２２は、表示制御部４０が出力した信号に基づいて動画や静止画を表示する。
　第２撮像部１２と第２表示部２２は、例えば、図２に示すように第２筐体６２に設けられていてもよい。第２表示部２２の表示面２２ａは、第２撮像部１２の撮像方向と直交する面と平行である。第２表示部２２は、表示制御部４０から所定の表示停止信号を入力した場合に表示動作を停止する。
　顔認識部３０は、第１撮像部１１が出力した画像信号に基づいて第１画像に対して所定の顔画像認識処理を行う。また、顔認識部３０は、第２撮像部１２が出力した画像信号に基づいて第２画像に対して所定の顔画像認識処理を行う。この顔認識部３０は、第１画像又は第２画像中に正面の顔が認識できるか否か、つまり、第１画像又は第２画像が正面の顔を含んでいるか否かを判定する。
　顔画像認識処理や顔の向きの判定処理の手法は、特に限定されない。判定処理の手法として、一般に知られた手法を用いて行うことができる。例えば予め用意した複数のパターンと比較することで顔の輪郭、目や鼻や口などを認識し、輪郭中の目や鼻や口など相対的な位置に基づいて顔の向きを認識する。
　顔認識部３０は、第１画像を表す画像信号と第２画像を表す画像信号を表示制御部４０に対して出力する。また、顔認識部３０は、上記の判定結果を表示制御部４０に対して出力する。第１画像を表す画像信号と第２画像を表す画像信号は、第１撮像部１１と第２撮像部１２から直接、表示制御部４０へ入力されてもよい。
　表示制御部４０は、第１撮像部１１及び第２撮像部１２がそれぞれ撮像した第１画像及び第２画像に基づき、第１表示部２１及び第２表示部２２に表示させる画像を制御する。
　表示制御部４０は、顔認識部３０が第１画像が正面の顔を含んでいると判定した場合、第１画像及び第２画像を第１表示部２１に表示させる。表示制御部４０は、顔認識部３０が第２画像が正面の顔を含んでいると判定した場合、表示制御部４０は、第１画像及び第２画像を第２表示部２２に表示させる。
　顔認識部３０が第１画像が正面の顔を含んでいると判定した場合について説明する。この場合、表示制御部４０は、第１画像が第１表示部２１の表示領域（表示面２１ａ）の上部に、第２画像が第１表示部２１の表示領域の下部に配置されるように、第１表示部２１へ入力する画像信号を生成してもよい。
　顔認識部３０が第２画像が正面の顔を含んでいると判定した場合について説明する。この場合、表示制御部４０は、第２画像が第２表示部２２の表示領域（表示面２２ａ）の上部に、第１画像が第２表示部２２の表示領域の下部に配置されるように、第２表示部２２へ入力する画像信号を生成してもよい。
　表示制御部４０は、顔認識部３０が第１画像が正面の顔を含んでいると判定した場合、第２表示部２２に表示を停止させる。
　表示制御部４０は、顔認識部３０が第２画像が正面の顔を含んでいると判定した場合、第２表示部２２に表示を停止させる。
　表示の停止として、表示制御部４０は、第１表示部２１又は第２表示部２２の電源をオフしてもよく、第１表示部２１又は第２表示部２２に真っ黒あるいは真っ白の画像を表示させてもよい。
　図２に示すように、表示装置１は、第１筐体６１と、第２筐体６２と、ヒンジ７０とを有する。第１筐体６１は、第１撮像部１１及び第１表示部２１を有する。第２筐体６２は、第２撮像部１２及び第２表示部２２を有する。ヒンジ７０は、第１筐体６１と第２筐体６２とを回動自在に接続する。つまり、第１筐体６１と第２筐体６２とは、互いに移動可能に接続している。
　図３に示すように、第１表示部２１と第２表示部２２とが向かい合うように第１筐体６１と第２筐体６２とを折りたたむことができるようにヒンジ７０の回動範囲を設定してもよい。図２に示すように第１筐体６１と第２筐体６２とが位置している場合、第１撮像部１１の光軸と、第２撮像部１２の光軸とは、互いに平行ではなく、交差する。つまり、図２に示す位置関係において、第１撮像部１１と第２撮像部１２の光軸とは、それぞれ異なる方向から見たユーザを撮像することができる。
　図４を参照して、図１に示した表示装置１の動作例について説明する。表示装置１では、図示していない内部のＣＰＵで所定のプログラムを実行することにより、図１に示した各部を制御して、図４に示した処理を実行する。図４に示す判定処理は、１フレーム単位で実行してもよく、所定の複数フレーム単位（あるいは所定の時間単位）で実行してもよい。
　表示装置１は、以下に説明するステップＳ１０１，Ｓ１０２，Ｓ１０５の処理とステップＳ１０３～Ｓ１０５の処理を並列に実行する。
（ステップＳ１０１）
　第１撮像部１１は、ＣＰＵの制御のもと起動される。第１撮像部１１は、第１画像を撮像し、画像信号を出力する。
（ステップＳ１０２）
　第１表示部２１は、第１撮像部１１から出力される画像信号に基づき、第１画像を表示する。
（ステップＳ１０３）
　一方、第２撮像部１２は、ＣＰＵの制御のもと起動される。第２撮像部１２は、第２画像を撮像し、画像信号を出力する。
（ステップＳ１０４）
　第２表示部２２は、第２撮像部１２から出力される画像信号に基づき、第２画像を表示する。
（ステップＳ１０５）
　顔認識部３０は、第１画像及び第２画像が正面の顔を含んでいるか否かを判定する。顔認識部３０が第１画像が正面の顔を含んでいないと判定した場合、表示制御部４０は、ステップＳ１０２に戻って、第１画像を第１表示部２１に表示させる。顔認識部３０が第１画像が正面の顔を含んでいないと判定した場合、表示制御部４０は、ステップＳ１０４に戻って、第２画像を第２表示部２２に表示させる。
（ステップＳ１０６）
　顔認識部３０は、第１画像又は第２画像が正面の顔を含んでいると判定した場合、正面の顔が含まれている画像が第１画像および第２画像のいずれであるか判断する。
（ステップＳ１０７）
　顔認識部３０が第１画像が正面の顔を含んでいると判定した場合、表示制御部４０は、第１画像及び前記第２画像を第１表示部２１に表示させる。例えば、表示制御部４０は、第１表示部２１の第１表示領域に第１撮像部１１の撮像画像（第１画像）を表示し、第１表示部２１の第２表示領域に第２撮像部１２の撮像画像（第２画像）を表示するための画像処理を行ってもよい。第１表示部２１の第１表示領域とは、例えば図５に示した第１表示部２１の上半分に位置する領域２１１である。第１表示部２１の第２表示領域とは、例えば図５に示した第１表示部２１の下半分に位置する領域２１２である。
（ステップＳ１０８）
　表示制御部４０は、第２表示部２２に表示を停止させる。
（ステップＳ１０９）
　顔認識部３０が第２画像が正面の顔を含んでいると判定した場合、表示制御部４０は、第１画像及び前記第２画像を第２表示部２２に表示させる。例えば、表示制御部４０は、第２表示部２２の第１表示領域（例えば上部の表示領域）に第２撮像部１２の撮像画像（第２画像）を表示し、第２表示部２２の第２表示領域（例えば下部の表示領域）に第１撮像部１１の撮像画像（第１画像）を表示するための画像処理を行ってもよい。第２表示部２２の第１表示領域とは、例えば図７に示した第２表示部２２の上半分に位置する領域２２１である。第２表示部２２の第２表示領域とは、例えば図７に示した第２表示部２２の下半分に位置する領域２２２である。
（ステップＳ１１０）
　表示制御部４０は、第２表示部２２への表示を停止させる。
　以上の処理によって、表示装置１は、第１撮像部１１の撮像画像（第１画像）及び第２撮像部１２の撮像画像（第２画像）を、第１表示部２１又は第２表示部２２の表示画面に表示することができる。つまり、表示装置１は、異なる角度から見たユーザの顔の画像をユーザが見ている位置の画面内（視野内）に表示することができる。よって、ユーザは、一つの表示画面を見ることにより、その表示画面を見ている正面の顔と、異なる角度から見える顔との両方を確認することができる。本実施形態に係る表示装置１の構成をタブレット端末や携帯端末した場合においても、異なる角度から見えるユーザの姿を同時に一つに表示部に簡単に表示させることができる。
　また、上記の構成によれば、ユーザは、第１表示部２１又は第２表示部２２の表示画像を、ハーフミラーを介したり、鏡で反射させたりせずに見ることができる。表示部に表示された画像でみることにより、正面の顔の画質と横顔の画質との差を小さくすることができ、より見やすくなる。
　図５及び図６を参照して、図１から図３を参照して説明した表示装置１の第１の動作例について説明する。図５は、表示装置１の第１の動作例を説明するための図である。図６は、第１の動作例における光の進行例を説明するための模式的な平面図である。
　図５及び図６に示した第１の動作例では、表示装置１は、ユーザ１００の顔正面を第１撮像部１１で直接撮像するとともに（つまり実像を撮像するとともに）、第２撮像部１２で鏡２００の反射面２０１に写るユーザ１００の顔側面の鏡像９１を撮像している。第１の動作例では、ユーザが本機能を起動すると、２個の撮像部１１及び撮像部１２で撮像を開始し、両方の撮像画像を２個の表示部２１及び２２に表示する。
　ユーザ１００は一方の撮像部（この場合、第１撮像部１１）で自分の正面の姿が、他方の撮像部（この場合、第２撮像部１２）で鏡２００に映った自分の横顔や後姿が撮影できるように、表示部２１又は２２の表示を見ながらヒンジ７０の角度を調整する。
　次に表示装置１は、２個の撮像部１１及び１２が撮像した画像に対して顔認識処理を行う。
　表示装置１は、ユーザ１００の正面の顔が認識できた画像（この場合、第１画像）を撮像した撮像部（この場合、第１撮像部１１）と同じ筐体（この場合、第１筐体６１）に配置された表示部（この場合、第１表示部２１）の表示は継続する。
　また、表示装置１は、他方の表示部（この場合、第２表示部２２）は表示を止める。
　この場合、第１の動作例では、第１撮像部１１は、ユーザ１００の顔正面で反射された光Ｌ１を受光することで第１画像を撮像する。
　第２撮像部１２は、ユーザ１００の顔側面で反射された光Ｌ２が、反射面２０１で反射された光Ｌ３を受光することで第２画像を撮像する。
　この場合、顔認識部３０が、第１画像中に顔正面画像を認識するので、第１表示部２１の第１表示領域２１１に顔の正面画像８１（すなわち第１画像）が表示され、第１表示領域２１２に顔の側面画像８３（すなわち第２画像）が表示されている。
　また、第２表示部２２は、表示動作を停止している。
　第１の動作例では、第２表示部２１で反射面２０１に写るユーザ１００の顔側面の鏡像９１を撮像している。この場合、筐体６１と筐体６２の角度の調節に加え、鏡２００の角度も調節できるので、調節の自由度を大きくすることができる。
　次に、図７及び図８を参照して、図１から図３を参照して説明した表示装置１の第２の動作例について説明する。図７は、表示装置１の第２の動作例を説明するための図である。図８は、第２の動作例における光の進行例を説明するための模式的な平面図である。
　図７及び図８に示した第２の動作例では、表示装置１は、ユーザ１００の顔正面を第２撮像部１２で直接撮像するとともに、第１撮像部１１で鏡２００の反射面２０１に写るユーザ１００の顔側面の鏡像９１を撮像している。
　第２の動作例では、第２撮像部１２は、ユーザ１００の顔正面で反射された光Ｌ１を受光することで第２画像を撮像する。
　第１撮像部１１は、ユーザ１００の顔側面で反射された光Ｌ２が、反射面２０１で反射された光Ｌ３を受光することで第１画像を撮像する。
　この場合、顔認識部３０が、第２画像中に顔正面画像を認識するので、第２表示部２２の第１表示領域２２１に顔の正面画像８１（すなわち第２画像）が表示され、第２表示領域２２２に顔の側面画像８３（すなわち第１画像）が表示されている。また、第１表示部２１は、表示動作を停止している。
　第１の動作例ではユーザ１００の正面に第１筐体６１を対向させているのに対して、第２の動作例ではユーザ１００の正面に第２筐体６２を対向させている。第２の動作例でも、第１の動作例と同様に、ユーザ１００の正面に対向する表示部で、撮像した２つの画像を表示することができる。
　次に、図９及び図１０を参照して、図１から図３を参照して説明した表示装置１の第３の動作例について説明する。図９は、表示装置１の第３の動作例を説明するための図である。図１０は、第３の動作例における光の進行例を説明するための模式的な平面図である。
　図９及び図１０に示した第３の動作例では、表示装置１は、ユーザ１００の顔正面を第１撮像部１１で直接撮像するとともに、第２撮像部１２でユーザ１００の顔側面を直接撮像している。第３の動作例では、第１撮像部１１は、ユーザ１００の顔正面で反射された光Ｌ１を受光することで第１画像を撮像する。第２撮像部１２は、ユーザ１００の顔側面で反射された光Ｌ２を受光することで第２画像を撮像する。この場合、顔認識部３０が、第１画像中に顔正面画像を認識するので、第１表示部１２の第１表示領域２２１に顔の正面画像８１（すなわち第１画像）が表示され、第２表示領域２２２に顔の側面画像８２（すなわち第２画像）が表示されている。また、第２表示部２２は、表示動作を停止している。
　第３の動作例では、ユーザ１００の正面の画像と、正面以外の画像とを鏡２００を使わず撮像している。この場合、ユーザ１００の正面以外の像は、完全な側面又は背面に近い姿の像とはすることはできないが、鏡２００を使用せずに、正面と正面以外の画像を同時に表示させることができる。
　以上のように、本実施形態によれば、複数の撮像部と複数の表示部を備える表示装置を使って、２面鏡や合わせ鏡と同等の機能を実現できる。また、左右を入れ替えた使い方により、左右の横顔を同様に眺めることができる。また、使用しない表示装置の表示を自動的に止めることによって、消費電力の削減を図ることができる。
　本発明の実施形態は、上記に限定されない。例えば、同一の筐体内で撮像部と表示部との位置関係を変更してもよい。表示動作を停止する際に表示動作を停止させる条件が一定時間継続した場合に表示を停止する制御を行うように変更してもよい。本発明の実施形態にかかる表示装置は、ＣＰＵとそのＣＰＵが実行するプログラムとを利用して構成してもよい。そのプログラムの一部又は全部はコンピュータ読み取り可能な記録媒体や通信回線を介して流通してもよい。
　本発明の実施形態によれば、例えば、第１撮像部１１と第２撮像部１２で異なる２方向からみたユーザの姿を第１表示部２１および第２表示部２２のいずれか一方に表示させることができる。その際、ユーザの顔が認識できた場合には、ユーザの正面方向にある第１表示部２１および第２表示部２２のいずれか一方が表示を行い、他方の表示が停止する。
　この場合、ユーザは鏡などを用いずに直接、第１表示部２１と第２表示部２２の表示画像をみることができる。よって、容易に低消費電力化を図ることができる。
　本実施の形態に係る表示装置は、内部にコンピュータシステムを有していてもよい。動作の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータシステムが読み出して実行することによって、上記処理が行われもよい。「コンピュータシステム」は、ＣＰＵ及び各種メモリやＯＳ、周辺機器等のハードウェアを含む。
　「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含む。
　各ステップを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、また、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行してもよい。
　「コンピュータ読み取り可能な記録媒体」は、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置を含む。
　「コンピュータ読み取り可能な記録媒体」は、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含む。
　上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体を含む。
　また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
　以上、実施形態を参照して本願発明を示し説明したが、本願発明は上記実施形態に限定されない。当業者であれば、請求項によって画定される本願発明の範囲を逸脱しないで、構成や詳細に様々な変更をすることができることが理解されるであろう。
　この出願は、２０１３年３月２７日に出願された日本国特願２０１３－０６６７５２を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　本発明は、表示装置、表示方法及び表示プログラムに適用し得る。
１　表示装置
１１　第１撮像部
１２　第２撮像部
２１　第１表示部
２２　第２表示部
３０　顔認識部
４０　表示制御部
６１　第１筐体
６２　第２筐体
７０　ヒンジ
２００　鏡
２０１　反射面

Claims (6)

  1. 　互いに相対的に移動可能に接続した第１および第２の筐体と、
    　前記第１筐体に設けられ、第１画像を撮影する第１撮像部と、
    　前記第２筐体に設けられ、第２画像を撮影する第２撮像部と、
    　前記第１筐体に設けられた第１表示部と、
    　前記第２筐体に設けられた第２表示部と、
    　前記第１画像及び前記第２画像が正面の顔を含んでいるか否かを判定する顔認識部と、
    　前記顔認識部が前記第１画像が正面の顔を含んでいると判定した場合、前記第１画像及び前記第２画像を前記第１表示部に表示させ、前記顔認識部が前記第２画像が正面の顔を含んでいる判定した場合、前記第１画像及び前記第２画像を前記第２表示部に表示させる表示制御部と
    　を備える表示装置。
  2. 　前記第１表示部は、前記第１撮像部の光軸方向と直交する第１の表示面を有し、
    　前記第２表示部は、前記第２撮像部の光軸方向と直交する第２の表示面を有する請求項１に記載の表示装置。
  3. 　前記表示制御部は、前記顔認識部が前記第１画像が正面の顔を含んでいると判定した場合、前記第２表示部に表示を停止させ、
    　前記表示制御部は、前記顔認識部が前記第２画像が正面の顔を含んでいると判定した場合、前記第１表示部への表示を停止させる
    　請求項１又は２に記載の表示装置。
  4. 　前記第１画像又は前記第２画像が、鏡に反射した鏡像である請求項１から３のいずれか一項に記載の表示装置。
  5. 　互いに相対的に移動可能に接続した第１および第２の筐体と、前記第１筐体に設けられた第１撮像部および第１表示部と、前記第２筐体に設けられた第２撮像部および第２表示部とを備える表示装置のための表示方法であって、
    　前記第１撮像部によって第１画像を撮影し、
    　前記第２撮像部によって第２画像を撮影し、
    　前記第１画像及び前記第２画像が正面の顔を含んでいるか否かを判定し、
    　前記第１画像が正面の顔を含んでいると判定された場合、前記第１画像及び前記第２画像を前記第１表示部に表示させ、
    　前記第２画像が正面の顔を含んでいる判定された場合、前記第１画像及び前記第２画像を前記第２表示部に表示させる
    　ことを含む表示方法。
  6. 　互いに相対的に移動可能に接続した第１および第２の筐体と、前記第１筐体に設けられた第１撮像部および第１表示部と、前記第２筐体に設けられた第２撮像部および第２表示部とを備える表示装置に、
    　前記第１撮像部によって第１画像を撮影し、
    　前記第２撮像部によって第２画像を撮影し、
    　前記第１画像及び前記第２画像が正面の顔を含んでいるか否かを判定し、
    　前記第１画像が正面の顔を含んでいると判定された場合、前記第１画像及び前記第２画像を前記第１表示部に表示させ、
    　前記第２画像が正面の顔を含んでいる判定された場合、前記第１画像及び前記第２画像を前記第２表示部に表示させる
    　ことを実行させるプログラム。
PCT/JP2014/056535 2013-03-27 2014-03-12 表示装置、表示方法及び表示プログラム WO2014156661A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201480016456.5A CN105144704B (zh) 2013-03-27 2014-03-12 显示设备和显示方法
EP14773758.9A EP2981074B1 (en) 2013-03-27 2014-03-12 Display device, display method, and display program
JP2015508274A JP6528680B2 (ja) 2013-03-27 2014-03-12 表示装置、表示方法及び表示プログラム
US14/778,152 US10936855B2 (en) 2013-03-27 2014-03-12 Display device for displaying in one screen a figure of a user seen from multiple different directions, and display method and recording medium for the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013066752 2013-03-27
JP2013-066752 2013-03-27

Publications (1)

Publication Number Publication Date
WO2014156661A1 true WO2014156661A1 (ja) 2014-10-02

Family

ID=51623644

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/056535 WO2014156661A1 (ja) 2013-03-27 2014-03-12 表示装置、表示方法及び表示プログラム

Country Status (5)

Country Link
US (1) US10936855B2 (ja)
EP (1) EP2981074B1 (ja)
JP (1) JP6528680B2 (ja)
CN (1) CN105144704B (ja)
WO (1) WO2014156661A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11284003B2 (en) * 2015-07-29 2022-03-22 Samsung Electronics Co., Ltd. User terminal apparatus and control method thereof
US10284823B1 (en) * 2016-10-12 2019-05-07 Google Llc Capturing photographs based on rotation of device
CN111726521B (zh) * 2017-01-26 2023-09-22 华为技术有限公司 终端的拍照方法、拍照装置和终端
US10481856B2 (en) * 2017-05-15 2019-11-19 Microsoft Technology Licensing, Llc Volume adjustment on hinged multi-screen device
CN107566736A (zh) * 2017-09-30 2018-01-09 努比亚技术有限公司 一种抓拍方法及移动终端
JP7022622B2 (ja) * 2018-03-08 2022-02-18 キヤノン株式会社 情報処理装置およびその制御方法、並びにプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63231431A (ja) * 1987-03-20 1988-09-27 Janome Sewing Mach Co Ltd 多面ハ−フミラ−を備えたカメラ装置
JP2001025004A (ja) * 1999-07-09 2001-01-26 Mitsuru Takashima 電子鏡システム
JP2008111886A (ja) * 2006-10-27 2008-05-15 Digital Electronics Corp 自動ドア、画面表示装置、画面表示制御プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
WO2012124612A1 (ja) 2011-03-15 2012-09-20 シャープ株式会社 表示装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11112970A (ja) * 1997-10-08 1999-04-23 Sony Corp メイク機能付きテレビジョン受像機
US8177441B2 (en) 2007-08-29 2012-05-15 Nintendo Co., Ltd. Imaging apparatus
US20110210970A1 (en) * 2008-06-18 2011-09-01 Kazu Segawa Digital mirror apparatus
JP2010087569A (ja) 2008-09-29 2010-04-15 Panasonic Electric Works Co Ltd 姿見装置
US8648880B2 (en) * 2010-06-03 2014-02-11 Sony Corporation Terminal device, display method, and application computer program product
US20120075166A1 (en) * 2010-09-29 2012-03-29 Samsung Electronics Co. Ltd. Actuated adaptive display systems
KR101841570B1 (ko) * 2010-11-18 2018-03-26 삼성전자 주식회사 듀얼디스플레이 접이식단말기
US8902156B2 (en) * 2011-01-14 2014-12-02 International Business Machines Corporation Intelligent real-time display selection in a multi-display computer system
KR101802522B1 (ko) 2011-02-10 2017-11-29 삼성전자주식회사 복수의 터치스크린을 가지는 장치 및 복수의 터치스크린을 가지는 장치의 화면변경방법
CN103098461A (zh) * 2011-03-07 2013-05-08 株式会社诺恩格利 电子镜系统
JP5085759B2 (ja) * 2011-03-31 2012-11-28 株式会社東芝 表示制御装置、電子機器及び制御プログラム
KR101180119B1 (ko) * 2012-02-23 2012-09-05 (주)올라웍스 카메라 모듈을 통해 사용자의 머리를 트래킹하여 화면을 제어하는 방법, 제어장치 및 컴퓨터 판독 가능한 기록 매체
KR101951228B1 (ko) * 2012-10-10 2019-02-22 삼성전자주식회사 멀티 디스플레이 장치 및 그 촬상 방법
KR102241291B1 (ko) * 2013-03-14 2021-04-16 삼성전자주식회사 전자 장치 및 그 동작 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63231431A (ja) * 1987-03-20 1988-09-27 Janome Sewing Mach Co Ltd 多面ハ−フミラ−を備えたカメラ装置
JP2001025004A (ja) * 1999-07-09 2001-01-26 Mitsuru Takashima 電子鏡システム
JP2008111886A (ja) * 2006-10-27 2008-05-15 Digital Electronics Corp 自動ドア、画面表示装置、画面表示制御プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
WO2012124612A1 (ja) 2011-03-15 2012-09-20 シャープ株式会社 表示装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2981074A4

Also Published As

Publication number Publication date
US10936855B2 (en) 2021-03-02
JPWO2014156661A1 (ja) 2017-02-16
EP2981074A4 (en) 2016-08-31
JP6528680B2 (ja) 2019-06-12
EP2981074A1 (en) 2016-02-03
US20160283781A1 (en) 2016-09-29
CN105144704A (zh) 2015-12-09
CN105144704B (zh) 2018-10-23
EP2981074B1 (en) 2017-11-01

Similar Documents

Publication Publication Date Title
US11706520B2 (en) Under-display camera and sensor control
WO2014156661A1 (ja) 表示装置、表示方法及び表示プログラム
TWI635349B (zh) 藉由組合攝影機及攝影機圖符功能性最大化行動裝置之顯示區的設備與方法
US10051196B2 (en) Projecting light at angle corresponding to the field of view of a camera
US8633989B2 (en) 3D camera phone
WO2020125203A1 (zh) 图像处理方法、电子装置及介质
CN109844610A (zh) 眼睛跟踪系统
TW201831951A (zh) 虛擬實境頭戴設備
US11516391B2 (en) Multiple camera system for wide angle imaging
TW201404133A (zh) 自動拍照裝置及方法
US10225533B2 (en) Structured light generation and processing on a mobile device
WO2018192531A1 (zh) 一种虹膜识别过程中的预览方法及装置
CN116184746A (zh) 摄像装置、基于摄像装置的图像采集方法及相关产品
JP2011113196A (ja) 顔方向特定装置及び撮像装置
JP2016046740A (ja) 撮影装置、撮影方法、及びプログラム
US11852824B2 (en) Eye-imaging system with switchable hot mirrors
US20230367117A1 (en) Eye tracking using camera lens-aligned retinal illumination
US10499036B2 (en) Image sensing module
KR20220024555A (ko) 3d 데이터 아이템을 구성하기 위한 방법 및 벤더블 디바이스
JPH10206965A (ja) カメラ
JP2006154069A (ja) 携帯情報端末装置
JP2014089304A (ja) 視点計測装置及び電子機器
TWM495518U (zh) 透鏡模組和整合透鏡模組的取像模組
TW201616167A (zh) 取像模組

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201480016456.5

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14773758

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015508274

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2014773758

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014773758

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14778152

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE