JP7017601B2 - 表示画像の自動調整が可能な表示装置とその方法 - Google Patents

表示画像の自動調整が可能な表示装置とその方法 Download PDF

Info

Publication number
JP7017601B2
JP7017601B2 JP2020082790A JP2020082790A JP7017601B2 JP 7017601 B2 JP7017601 B2 JP 7017601B2 JP 2020082790 A JP2020082790 A JP 2020082790A JP 2020082790 A JP2020082790 A JP 2020082790A JP 7017601 B2 JP7017601 B2 JP 7017601B2
Authority
JP
Japan
Prior art keywords
image
display
condition
instruction
camera assembly
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020082790A
Other languages
English (en)
Other versions
JP2020187354A (ja
Inventor
フン-チェン チェン
チァ-シェン リャオ
チン フイ チェン
チィ-ファ クァ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Giga Byte Technology Co Ltd
Original Assignee
Giga Byte Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Giga Byte Technology Co Ltd filed Critical Giga Byte Technology Co Ltd
Publication of JP2020187354A publication Critical patent/JP2020187354A/ja
Application granted granted Critical
Publication of JP7017601B2 publication Critical patent/JP7017601B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/10Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
    • G06F21/106Enforcing content protection by specific content processing
    • G06F21/1066Hiding content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/82Protecting input, output or interconnection devices
    • G06F21/83Protecting input, output or interconnection devices input devices, e.g. keyboards, mice or controllers thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/82Protecting input, output or interconnection devices
    • G06F21/84Protecting input, output or interconnection devices output devices, e.g. displays or monitors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005Input arrangements through a video camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50Maintenance of biometric data or enrolment thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2125Just-in-time application of countermeasures, e.g., on-the-fly decryption, just-in-time obfuscation or de-obfuscation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2141Access rights, e.g. capability lists, access control lists, access tables, access matrices
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/08Arrangements within a display terminal for setting, manually or automatically, display parameters of the display terminal
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2358/00Arrangements for display data security
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Technology Law (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Devices (AREA)

Description

本開示は、表示装置および表示画像を調整する方法に関し、より詳細には、画像認識に基づいて表示画像を調整することができる表示装置およびその方法に関する。
オープンタイプのオフィスには、顧客やメーカー、従業員以外の人が訪れることが多い。これらの人々が通路を通る際に、コンピュータの画面に表示されている機密情報を簡単に覗き見したり、密かにキャプチャしたりすることができる。現在の市場では、覗き見防止製品は、多層光学フィルム又はコーティングが施されたプライバシーフィルタを使用して、のぞき見防止の効果を実現している。この種の製品は、光の反射角度を変化させて、画面の視角内に座っているユーザは画面上の内容を見ることができ、視角外のユーザは内容を見ることができないようにする方法を採用している。
しかし、光学的な原理で覗き見防止効果を実現するプライバシーフィルタは、画面の明るさの低下などの視覚的な干渉をユーザにもたらす。また、プライバシーフィルタを完全に透明にすることは不可能である。そのため、プライバシーフィルタを画面に設置した後は、ユーザが画面の視角内に入っていても、画面が暗い場合がある。また、ユーザは、鮮明な内容を画面に表示するために、画面の輝度を上げなければならない場合がある。この場合、余分な消費電力が発生するだけでなく、ユーザの目の健康にも影響を及ぼすことになる。
画面の覗き見を防止するための別の方法として、モニタ上に設置されたカメラによって取得された画像に基づいて画像認識を行い、所定の条件、例えば、画面の正面に存在する他の顔や、ユーザ以外の視線が画面に向けられていることを検出した場合には、画面をオフにする方法がある。このようにすることで、前述の条件を検出した場合には、現在表示されている画像を隠すことができる。
しかしながら、顔認証や視力検出では、処理にある程度の時間を要する。急にパソコンの画面に近づいてくる人のことを考慮すると、不審者をすぐに検知することは可能である。残念ながら、不審者が検出されてから画面がオフになるまでに、不審者は既に一定時間、機密情報を見ていることになる。言い換えれば、上述の方法では、不審者が画面の視界に突然現れた場合のリアルタイム判定の問題を克服することはまだできない。
したがって、本開示は、表示される画像を自動的に調整することができる表示装置および表示される画像を自動的に調整する方法を提供する。具体的には、本開示では、表示装置上に設置された、または表示装置に追加で接続されたカメラアセンブリを使用して、表示装置の周囲のパノラマを記録して解析し、ユーザが設定したブラックリストまたはホワイトリストを使用して、表示装置の表示画像を自動的に調整する効果を達成する。表示画像を自動的に調整する方法は、表示画像を切り替える、表示画像をオフにする、システムをログアウトするなどの覗き見防止機能を実行するユーザの要件に従う。
本開示の一つ以上の実施形態によれば、表示画像を自動的に調整することができる表示装置は、シェル、及び前記シェルから部分的に露出され、第1方向を向いた表示パネルを含み、表示信号に応じて前記表示パネルに表示画像を表示するように構成される表示装置であって、前記シェル上に設置され、第1視角で第1画像を取得し、第2視角で第2画像を取得するように構成され、前記第1方向は前記第1視角の範囲内にあり且つ前記第2視角の範囲外であるカメラアセンブリと、前記シェルに設置されて前記カメラアセンブリに電気的に接続され、前記第1画像が第1条件を満たす場合には第1指示を生成し、前記第2画像が第2条件を満たす場合には前記第1指示とは異なる第2指示を生成するように構成される画像認識装置と、前記表示パネル及び前記画像認識装置と電気的に接続され、前記第1指示に応じて前記表示信号を調整して前記表示画像を隠し、前記第2指示に応じて前記表示信号を調整して前記表示パネル上に注意喚起メッセージを生成する信号プロセッサと、を含む。
本開示の一つ以上の実施形態によれば、表示画像を自動的に調整する方法は、第1方向に面する表示装置によって表示信号に応じて表示画像を表示すること、前記表示装置によって前記表示画像を表示した後、カメラアセンブリによって第1視角で第1画像を取得し、第2視角で第2画像を取得すること、前記第1方向は前記第1視角の範囲内にあり且つ前記第2視角の範囲外であり、画像認識装置によって前記第1画像及び前記第2画像を検出し、前記第1画像が第1条件を満たす場合には第1指示を送信し、前記第2画像が第2条件を満たす場合には第2指示を送信すること、及び信号プロセッサによって前記第1指示に応じて前記表示信号を調整して前記表示画像を隠すこと、又は前記第2指示に応じて前記表示信号を調整して前記表示画像上に注意喚起メッセージを生成すること、を含む。
要約すると、本開示は、表示画像を自動的に調整することができる表示装置、及び表示画像を自動的に調整する方法を提案した。本開示は、カメラアセンブリを使用して、表示装置の周囲のパノラマ画像を取得する。本開示は、ユーザが、メイン検出フレーム及び副検出フレームに従って二つの条件を個別に設定することを可能にする。本開示は、主検出フレームと副検出フレームとがそれぞれ異なる指示に対応し、フレームがカスタマイズされた条件を満たしていることを検出した場合に指示を生成する。表示装置は、メイン検出フレームが第1条件を満たした場合に、表示画像を自動的に隠すことができる。表示装置は、副検出フレームが第2条件を満たした場合に、表示画像に注意喚起メッセージを生成することができる。本開示のカメラアセンブリは、表示装置の周囲に複数のカメラレンズを配置して、パノラマ画像の死角を低減することができ、したがって、不審者が表示装置に表示される機密情報を覗き見ることを防止する。
本開示の一実施形態による、表示画像を自動的に調整することができる表示装置の構造図である。 表示画像を自動的に調整することができる表示装置に設置されたカメラアセンブリの第1の例を示す図である。 本開示の一実施形態による、表示画像を自動的に調整することができる表示装置の上面図である。 表示画像を自動的に調整することができる表示装置のカメラアセンブリの第2の例を示す図である。 表示画像を自動的に調整することができる表示装置のカメラアセンブリの第2の例の側面図を示す図である。 本開示の一実施形態による、表示画像を自動的に調整する方法のフローチャートである。 本開示の一実施形態の、表示画像を自動的に調整することができる表示装置による第1視角および第2視角の概略図である。 本開示の一実施形態の表示画像を自動的に調整することができる表示装置による第1画像である。 本開示の一実施形態の表示画像を自動的に調整することができる表示装置による第2画像である。 本開示の一実施形態の、表示画像を自動的に調整することができる表示装置による第1画像の例外領域の概略図である。
本開示は、以下に与えられる詳細な説明および例示としてのみ与えられ、したがって本開示を限定しない添付の図面から、より完全に理解されるであろう。
以下の詳細な説明では、説明の目的のため、開示された実施形態の完全な理解を提供するために、多数の具体的な詳細が記載されている。しかしながら、一つ以上の実施形態が、これらの特定の詳細なしに実施されてもよいことは明らかであろう。他の実施例では、図面を簡略化するために、周知の構造および装置が模式的に示されている。
図1を参照されたい。図1は、本開示の一実施形態による、表示画像を自動的に調整することができる表示装置100の構造図である。図1に示すように、表示装置100は、表示パネル10、カメラアセンブリ30、画像認識装置50、および信号プロセッサ70を含み、表示パネル10は信号プロセッサ70に電気的に接続し、画像認識装置50はカメラアセンブリ30および信号プロセッサ70に電気的に接続する。
表示パネル10は、表示信号に応じて表示画像を表示する。カメラアセンブリ30は、少なくとも第1画像および第2画像を取得する。画像認識装置50は、第1画像が第1条件を満たす場合に第1指示を生成し、第2画像が第2条件を満たす場合に第2指示を生成する。ここで、第1指示は、第2指示とは異なる。信号プロセッサ70は、第1指示に応じて表示画像を隠すように表示信号を調整し、第2指示に応じて表示画像上にリマインダメッセージ(注意喚起メッセージ)を生成するように表示信号を調整する。
本開示の一実施形態による表示装置100のカメラアセンブリ30の2つの例が図2A、図2B、図3Aおよび図3Bに示されている。
図2Aを参照されたい。表示装置100の外観は、表示パネル10、カメラアセンブリ30を含み、さらに、シェル90を含む。表示パネル10は、シェル90から部分的に露出している。表示パネル10は、第1方向D1に面しており、ユーザに表示画像を表示する。カメラアセンブリ30は、シェル90上に設置され、カメラアセンブリ30のレンズは、シェル90から部分的に露出される。図2Aおよび図2Bには図示されないが、画像認識装置50および信号プロセッサ70は、シェル内に設けられる。
第1の例では、カメラアセンブリ30は、図2Aに示すように、シェル90の外側に設けられた回転機構40をさらに含む。したがって、カメラアセンブリ30は、Z軸を中心に回転して、表示装置100の周りの画像を取得することができる。
図2Bを参照されたい。図2Bは、表示装置100の上面図である。 図2Bは、カメラアセンブリ30のレンズが2つの方向を向いているときの第1視角A1および第2視角A2を示している。第1方向D1は、第1視角A1の範囲内にあり、第2視角A2の範囲外である。
実際には、カメラアセンブリ30は、180度の画角を有するような広角レンズを含んでもよい。したがって、第1視角A1で得られた画像および第2視角A2で得られた画像は、表示装置100の周囲360度の範囲をカバーすることができる。しかしながら、本開示は、視角A1および視角A2の範囲を限定するものではない。例えば、各レンズの画角が180度より小さい場合、回転機構40を使用してカメラアセンブリ30を制御し、表示装置100の周囲360度の範囲を完全にカバーするために2つ以上の方向で画像を撮影する。
図3Aを参照されたい。第2の例では、カメラアセンブリ30は、合計2つのレンズを含む第1カメラ装置32および32’と、一つのレンズを有する第2カメラ装置34などの複数のカメラ装置を有する。第1カメラ装置32および32’は、第1方向D1に面し、シェル90上に設けられる。第2カメラ装置34はシェル90上に設けられ、第1方向D1は、第2カメラ装置34の画角の範囲内にはない。
図3Bは、図3Aに示される表示装置100によるカメラアセンブリ30の第2の例の側面図を示す。図3Bに示すように、第1カメラ装置32および32’と第2カメラ装置34とは、表示装置100に基づいて異なる視角を有する。本開示は、一つのレンズまたは複数のレンズから構成されるカメラアセンブリ30によって、表示装置100の周囲360度のパノラマ画像を取得する。本開示は、カメラアセンブリ30のカメラ装置の数を限定しない。カメラアセンブリ30が360度のパノラマ画像を得ることができる場合、カメラアセンブリ30を画像認識装置50および信号プロセッサ70と統合することにより、覗き見防止機能を達成することができる。
図4を参照されたい。図4は、本開示の一実施形態による、表示画像を自動的に調整する方法のフローチャートである。
ステップS1を参照されたい。表示装置100は、第1方向D1に面しており、表示信号に応じて表示画像を表示する。
ステップS2を参照されたい。表示装置100によって表示画像が表示された後、カメラアセンブリ30は、第1視角A1で第1画像を取得し、第2視角A2で第2画像を取得する。ここで、第1方向D1は、第1視角A1の範囲内にあり、第2視角A2の範囲外である。
ステップ3を参照されたい。画像認識装置50は、第1画像が第1条件を満たすかどうかを判定する。判定結果がYESである場合、次にステップS5が実行される。すなわち、画像認識装置50が第1指示を送信する。次に、ステップS7が実行される。すなわち、信号プロセッサ70は、第1指示に応じて表示画像を隠すように表示信号を調整する。 例えば、信号プロセッサ70は、表示装置100の輝度、色、またはフォントサイズを変更してもよく、表示画像にポップアウトウィンドウを生成してもよく、または表示画像上にストレージスペースに記憶された特定の画像を表示してもよい。また、信号プロセッサ70は、第1指示を受信すると、第1指示に対応する指示を表示装置100に接続されたコンピュータホストに送信し、ログアウトやウィンドウの切り替えを行ってもよい。ステップS7が終了すると、ステップS1が実行され、表示装置100は、最新の表示信号に応じた表示画像を表示する。
ステップS4を参照されたい。画像認識装置50は、第2画像が第2条件を満たすかどうかを判定する。判定結果がYESである場合、ステップS3’が次に実行される。すなわち、画像認識装置50は、第1画像が第1条件を満たすかどうかを判定する。ステップS3’の判定結果がYESである場合、次にステップS5が実行される。ステップS3’の判定結果がNoである場合、ステップS6が次に実行される。すなわち、画像認識装置50が第2指示を送信し、その後ステップS8が実行される。すなわち、第2指示に応じて、信号プロセッサ70は表示信号を調整して表示パネル上に注意喚起メッセージを生成する。尚、ステップS3’では、ステップ3の判定結果を用いてもよい。
ステップS2で述べた第1視角A1および第2視角A2の詳細について以下に述べる。図5を参照されたい。図5は、図3Aおよび図3Bに示される表示装置100に係る第1視角A1および第2視角A2の模式図である。第1カメラ装置32および32’は、2つの画角、A32およびA32’を有する。第1視角は、上記の2つの画角A32とA32’との組み合わせである。言い換えれば、複数のカメラ装置を使用することにより、より大きな画角を形成して、1つのカメラ装置では画角が小さいという問題を解決できる。第2カメラ装置34の画角は、第2視角A2として機能する。実際には、図5に示される第1カメラ装置32および32’のように複数の第2カメラ装置34があってもよい。本開示は、第2カメラ装置34のレンズの数を限定しない。図5に示すように、第1方向D1は、第1視角A32およびA32’の範囲内にあり、第2視角A34の範囲外にある。図5において、ユーザU1は、表示装置100の第1方向D1に位置し、不審者U2は、第1方向D1とは反対方向に位置する。
図6A及び図6Bを参照されたい。図6Aは、第1カメラ装置32および32’によって取得された第1画像M1を示し、第1画像M1は、ユーザU1を含む。図6Bは、第2カメラ装置34によって取得された第2画像M2を示し、第2画像M2は、不審者U2を含む。
以下、ステップS3で述べた第1条件とステップS4で述べた第2条件について詳細に説明する。尚、第1条件に適合された決定方法は、第2条件にも適合される。本開示の一実施形態では、第2条件は、第2画像M2が人間の顔を含むことである。
本開示の一実施形態では、表示画像を自動的に調整することができる表示装置100は、ホワイトリストを記憶するように構成された記憶装置をさらに備える。ホワイトリストには、複数の有効な顔画像が含まれている。第1条件は、第1画像M1が人間の顔を含み、この人間の顔がホワイトリストの有効な複数の顔画像に該当していないことである。一実施形態では、画像認識装置50は、第1画像M1の人間の顔の特徴値を計算してもよい。さらに、ホワイトリストには、有効な顔画像だけでなく、これらの有効な顔画像に対応する事前に計算された特徴値も格納される。例えば、画像認識装置50が、第1画像M1におけるユーザU1の人間の顔がホワイトリストの有効な顔画像のいずれとも一致しないと判断した場合、画像認識装置50は、図4のステップS5に示されるように第1指示を生成する。一実施形態において、第1画像M1がホワイトリストの有効な顔画像のいずれかに一致するかどうかを判断する方法は、第1画像M1の人間の顔部分の特徴値とホワイトリストの有効な顔画像の各特徴値との差を計算することである。差が閾値より小さい場合、判定結果は「一致」となる。
画像認識装置50は、ホワイトリストにおいてユーザU1に対応する記録を発見した場合、表示装置10がユーザに表示画像を表示するように、画面のロックを解除する指示を送信する。また、画像認識装置50は、ロック解除操作が行われる度に、ユーザU1の人の顔の特徴量を(ホワイトリストの顔画像として)ホワイトリストの有効な顔画像に更新する。ホワイトリストに基づくロック解除操作の成功率は、ホワイトリストに記憶されている有効な顔画像に特徴値を更新することによって改善することができる。
本開示の別の実施形態では、表示画像を自動的に調整することができる表示装置100は、ブラックリストを記憶するように構成された記憶装置をさらに備える。ブラックリストには、無効な顔画像が複数含まれている。第1条件は、第1画像M1が人間の顔を含み、この人間の顔がブラックリストの無効な顔画像の1つに該当することである。例えば、画像認識装置50が、第1画像M1におけるユーザU1の人間の顔がブラックリストの無効な顔画像のいずれかに一致すると判断した場合、画像認識装置50は、図4のステップS5に示されるように第1指示を生成する。
上記2つの例で説明した顔認識に加えて、2つのタイミングで得られた2つの第1画像M1の比較によって第1指示が生成されてもよい。例えば、カメラアセンブリ30は、指定された間隔で第1画像M1を取得してもよく、第1条件は、連続的に取得される2つの第1画像M1の2つの内容が整合していないことである。
図7を参照されたい。本開示の別の実施形態では、画像認識装置50は、第1画像M1に例外領域ERを設定するようにさらに構成される。この実施形態では、第1条件は、カメラアセンブリ30によって取得された2つの連続する第1画像M1が例外領域ERの外側で整合していないこと、または、第1条件は、第1画像M1が例外領域ERの外側に人間の顔を含むことである。例えば、ユーザU1は、表示装置100の前に現れる可能性のある利用可能領域(例えば、表示装置100の正面に対応する領域)を例外領域ERとして設定してもよい。画像認識装置50は、この利用可能領域外の画像の変化を検出するとすぐに第1指示を生成する。別の例では、画像認識装置50は、この利用可能領域の外側に人間の顔を検出するとすぐに第1指示を生成する。上記の決定方法は、第1条件の柔軟性を改善するために、前述のホワイトリストまたは前述のブラックリストと組み合わせることができる。
以下にステップS4からステップS3’までの流れを詳細に説明する。画像認識装置50は、第2画像M2が第2条件を満たすと判定すると、現在の第1画像M1が第1条件を満たすか否かをさらに判定する。判定結果がYESであれば、ある不審者が表示装置100の正面側に現れ、別の不審者が表示装置100の背面側に現れることを意味する。したがって、機密情報の漏洩を防ぐために、表示画像を隠すことを優先する必要がある。したがって、第1指示を送るためにステップS5が実行される。判定結果がNoであれば、不審者が表示装置100の背面側にしか現れていないことを意味する。したがって、第1指示とは異なる第2指示を送信するためにステップS6が実行される。不審者が表示装置100の正面側に現れる場合と、別の不審者が表示装置100の背面側に現れる場合とでは、上記の条件とは異なる保護メカニズムを実装する必要がある。例えば、不審者が表示装置100の背面側にいる場合、不審者は表示装置100が表示する内容を直接覗くことができないため、信号処理部70は、注意喚起メッセージを生成してユーザに通知するだけでよい。結果として、本開示の実施形態による、表示画像を自動的に調整する方法は、表示画像を不明瞭にする頻度を低減して、ユーザへのさらなる干渉を引き起こさないようにすることができる。
第1画像M1はメイン検出フレームと呼ばれてもよく、メイン検出フレーム以外の空間でカメラアセンブリ30によって取得された第2画像M2は副検出フレームと呼ばれてもよい。カメラアセンブリ30が複数のレンズを有する場合、第1方向D1を向いたレンズはメインレンズと呼ばれ、メインレンズによって撮像された画像がメイン検出フレームと呼ばれる。第1方向D1以外の方向を向くレンズを副レンズと呼ばれ、副レンズによって撮像された画像が副検出フレームと呼ばれる。本開示は、画像認識装置50および信号プロセッサ70を使用して、覗き見防止機能を実行するためにメイン検出フレームで顔認識および画像検出を行い、事前に覗き見を防止する警告機能を実行するために副検出フレームで画像検出を行う。
一実施形態において、画像認識装置50が第2画像M2にブラックリストメカニズムを適用して第2指示を生成する場合、ブラックリストに記録された不審者U2の顔画像は、キャッシュに格納されてもよい。第1画像に人間の顔が現れていることを検出すると、画像認識装置50は、最初にキャッシュ内の顔画像特徴値にアクセスし、それにより、ブラックリストで一致する顔画像を見つける速度を上げる。また、第2指示により信号処理部70が警告を発した後に、不審者U2が表示装置100の正面側に移動して画面を覗く直前に、第1指示を生成して表示画像を隠すようにしてもよく、これにより機密情報の漏洩を防ぐことができる。言い換えると、本開示による表示画像を自動的に調整する方法は、第2条件および第1条件の設定によって、連続時間内に同一の不審者を検出するか否かを判定し、それに応じて対応する覗き見防止メカニズムを実行してもよい。
要約すると、本開示は、表示画像を自動的に調整することができる表示装置および表示画像を自動的に調整する方法を提案した。本開示は、カメラアセンブリを使用して、表示装置の周囲のパノラマ画像を取得する。本開示は、ユーザが、メイン検出フレームおよび副検出フレームに応じて2つの条件を個別に設定することを可能にする。本開示は、フレームがカスタマイズされた条件を満たすことを検出したときに指示を生成し、メイン検出フレームおよび副検出フレームはそれぞれ異なる指示に対応する。表示装置は、メイン検出フレームが第1条件を満たすときに、表示画像を自動的に隠すことができる。表示装置は、副検出フレームが第2条件を満たしたときに、表示画像に注意喚起メッセージを生成することができる。本開示のカメラアセンブリは、表示装置の周囲に複数のカメラレンズを設けて、パノラマ画像の死角を低減することができ、したがって、不審者が表示装置に表示される機密情報を覗き見ることを防止する。
10:表示パネル、30:カメラアセンブリ、32,32’:第1カメラ装置、34:第2カメラ装置、40:回転機構、50:画像認識装置、70:信号プロセッサ、90:シェル、100:表示装置

Claims (18)

  1. シェル、及び前記シェルから部分的に露出され、第1方向を向いた表示パネルを含み、
    表示信号に応じて前記表示パネルに表示画像を表示するように構成される表示装置であって、
    前記シェル上に設置され、第1視角で第1画像を取得し、第2視角で第2画像を取得するように構成され、前記第1方向は前記第1視角の範囲内にあり且つ前記第2視角の範囲外であるカメラアセンブリと、
    前記シェルに設置されて前記カメラアセンブリに電気的に接続され、前記第1画像が第1条件を満たす場合には第1指示を生成し、前記第1画像が前記第1条件を満たさずに前記第2画像が第2条件を満たす場合には前記第1指示とは異なる第2指示を生成するように構成される画像認識装置と、
    前記表示パネル及び前記画像認識装置と電気的に接続され、前記第1指示に応じて前記表示信号を調整して前記表示画像を隠し、前記第2指示に応じて前記表示信号を調整して前記表示パネル上に注意喚起メッセージを生成する信号プロセッサと、
    を含む、表示画像を自動的に調整することができる表示装置。
  2. 前記第1視角と前記第2視角との合計が360°である、請求項1に記載の表示画像を自動的に調整することができる表示装置。
  3. 前記カメラアセンブリは、第1カメラ装置および第2カメラ装置を備え、
    前記第1カメラ装置は、前記第1画像を取得するように構成され、
    前記第2カメラ装置は、前記第2画像を取得するように構成される、請求項1に記載の表示画像を自動的に調整することができる表示装置。
  4. ホワイトリストを記憶するように構成された記憶装置をさらに備え、
    前記ホワイトリストは少なくとも一つの有効な顔画像を含み、前記第1条件は、前記第1画像が人間の顔を含み、前記人間の顔が前記少なくとも一つの有効な顔画像に該当していないことである、請求項1に記載の表示画像を自動的に調整することができる表示装置
  5. ブラックリストを記憶するように構成された記憶装置をさらに備え、
    前記ブラックリストは少なくとも一つの無効な顔画像を含み、前記第1条件は、前記第1画像が人間の顔を含み、前記人間の顔が前記少なくとも一つの無効な顔画像の一つに該当していることである、請求項1に記載の表示画像を自動的に調整することができる表示装置。
  6. 前記カメラアセンブリは、別の第1画像を取得するようにさらに構成され、前記第1画像および前記別の第1画像は、指定された間隔で取得され、前記第1条件は、前記第1画像と前記別の第1画像が整合していないことである、請求項1に記載の表示画像を自動的に調整することができる表示装置。
  7. 前記カメラアセンブリは、別の第1画像を取得するようにさらに構成され、前記第1画像および前記別の第1画像は、指定された間隔で取得され、前記画像認識装置は、前記第1画像に例外領域を設定するようにさらに構成され、前記第1条件は、前記カメラアセンブリによって取得された2つの連続する第1画像が前記例外領域の外側で整合していないこと、または、前記第1条件は、前記第1画像が前記例外領域の外側に人間の顔を含んでいることである、請求項1に記載の表示画像を自動的に調整することができる表示装置。
  8. 前記第2条件は、前記第2画像が人間の顔を含むことである、請求項1に記載の表示画像を自動的に調整することができる表示装置。
  9. 前記信号プロセッサは、前記第1指示および前記第2指示を同時に受信する場合、前記第1指示に従って前記表示信号を調整するようにさらに構成される、請求項1に記載の表示画像を自動的に調整することができる表示装置。
  10. 第1方向に面する表示装置によって表示信号に応じて表示画像を表示すること、
    前記表示装置によって前記表示画像を表示した後、カメラアセンブリによって第1視角で第1画像を取得し、第2視角で第2画像を取得すること、
    前記第1方向は前記第1視角の範囲内にあり且つ前記第2視角の範囲外であり、
    画像認識装置によって前記第1画像および前記第2画像を検出し、前記第1画像が第1条件を満たす場合には第1指示を送信し、前記第1画像が前記第1条件を満たさずに前記第2画像が第2条件を満たす場合には第2指示を送信すること、及び
    信号プロセッサによって前記第1指示に応じて前記表示信号を調整して前記表示画像を隠すこと、又は前記第2指示に応じて前記表示信号を調整して前記表示画像上に注意喚起メッセージを生成すること、
    を含む表示画像を自動的に調整する方法。
  11. 前記信号プロセッサによって前記第1指示に応じて前記表示信号を調整することが、前記第1指示および前記第2指示を同時に受信する場合、前記信号プロセッサによって前記第1指示に応じて前記表示信号を調整することを含む、請求項10に記載の表示画像を自動的に調整する方法。
  12. 前記第1視角と前記第2視角との合計が360°である、請求項10に記載の表示画像を自動的に調整する方法。
  13. 前記カメラアセンブリによって前記第1画像を取得し、前記第2画像を取得することは、
    第1カメラ装置によって前記第1画像を取得すること、及び
    第2カメラ装置によって前記第2画像を取得すること、を含む、請求項10に記載の表示画像を自動的に調整する方法。
  14. 前記画像認識装置によって前記第1画像および前記第2画像を検出する前に、記憶装置によってホワイトリストを記憶することをさらに含み、
    前記ホワイトリストは少なくとも1つの有効な顔画像を含み、
    前記第1条件は、前記第1画像が人間の顔を含み、前記人間の顔が前記少なくとも1つの有効な顔画像に該当していないことである、請求項10に記載の表示画像を自動的に調整する方法。
  15. 前記画像認識装置によって前記第1画像および前記第2画像を検出する前に、記憶装置によってブラックリストを記憶することをさらに含み、
    前記ブラックリストは少なくとも1つの無効な顔画像を含み、
    前記第1条件は、前記第1画像が人間の顔を含み、前記人間の顔が前記少なくとも1つの無効な顔画像の1つに該当していることである、請求項10に記載の表示画像を自動的に調整する方法。
  16. 前記カメラアセンブリによって前記第1画像を取得した後、前記カメラアセンブリによって別の第1画像を取得すること、をさらに含み、
    前記第1画像および前記別の第1画像は、指定された間隔で取得され、
    前記第1条件は、前記第1画像および前記別の第1画像の内容が整合していないことである、請求項10に記載の表示画像を自動的に調整する方法。
  17. 前記カメラアセンブリによって前記第1画像を取得した後、指定された間隔で前記カメラアセンブリによって別の第1画像を取得することと、前記画像認識装置によって例外領域を前記第1画像に設定することと、を含み、
    前記第1条件は、前記カメラアセンブリによって取得された2つの連続する第1画像が前記例外領域の外側で整合していないこと、または、前記第1条件は、前記第1画像が前記例外領域の外側に人間の顔を含んでいることである、請求項10に記載の表示画像を自動的に調整する方法。
  18. 前記第2条件は、前記第2画像が人間の顔を含むことである、請求項10に記載の表示画像を自動的に調整する方法。
JP2020082790A 2019-05-10 2020-05-08 表示画像の自動調整が可能な表示装置とその方法 Active JP7017601B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW108116226 2019-05-10
TW108116226A TWI709130B (zh) 2019-05-10 2019-05-10 自動調整顯示畫面的顯示裝置及其方法

Publications (2)

Publication Number Publication Date
JP2020187354A JP2020187354A (ja) 2020-11-19
JP7017601B2 true JP7017601B2 (ja) 2022-02-08

Family

ID=70390873

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020082790A Active JP7017601B2 (ja) 2019-05-10 2020-05-08 表示画像の自動調整が可能な表示装置とその方法

Country Status (5)

Country Link
US (1) US11216649B2 (ja)
EP (1) EP3736799B1 (ja)
JP (1) JP7017601B2 (ja)
KR (1) KR102365995B1 (ja)
TW (1) TWI709130B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110764859B (zh) * 2019-10-21 2023-06-02 三星电子(中国)研发中心 一种对屏幕可视区域进行自动调整及优化显示的方法
TWI806381B (zh) * 2022-01-25 2023-06-21 宏碁股份有限公司 螢幕的防窺方法及電子裝置
JP7472238B1 (ja) 2022-11-10 2024-04-22 株式会社日本総合研究所 情報処理装置、及び、プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000331209A (ja) 1999-05-25 2000-11-30 Omron Corp 通行制御装置
JP2009156948A (ja) 2007-12-25 2009-07-16 Fujitsu Ltd 表示制御装置、表示制御方法、及び、表示制御プログラム
JP2010122754A (ja) 2008-11-17 2010-06-03 Chugoku Electric Power Co Inc:The 情報処理装置における覗き見防止装置
JP2011243080A (ja) 2010-05-20 2011-12-01 Nec Engineering Ltd ユーザ認証システム
US20140201844A1 (en) 2013-01-14 2014-07-17 Lookout, Inc. Detection of and privacy preserving response to observation of display screen
WO2018082217A1 (zh) 2016-11-04 2018-05-11 深圳大学 移动终端设备的屏幕隐私保护方法及系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100452092B1 (ko) 2002-10-08 2004-10-12 주식회사 싸이닉스 이중 카메라를 이용한 침입자 추적장치 및 그 방법
US7774851B2 (en) 2005-12-22 2010-08-10 Scenera Technologies, Llc Methods, systems, and computer program products for protecting information on a user interface based on a viewability of the information
US9740293B2 (en) * 2009-04-02 2017-08-22 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
JP2010128778A (ja) 2008-11-27 2010-06-10 Sony Ericsson Mobilecommunications Japan Inc 情報表示装置、情報表示装置の覗き見防止方法及び覗き見防止プログラム
US8427476B2 (en) * 2009-12-14 2013-04-23 Acer Incorporated System and method for automatically adjusting visual setting of display device
CN103324899A (zh) 2012-03-23 2013-09-25 富泰华工业(深圳)有限公司 电子设备及其显示屏防窥视方法
CN102610035B (zh) * 2012-04-05 2014-02-12 广州广电运通金融电子股份有限公司 金融自助设备及其防偷窥系统和方法
US9191619B2 (en) * 2012-08-01 2015-11-17 Google Inc. Using an avatar in a videoconferencing system
TWI512537B (zh) * 2014-02-24 2015-12-11 Pegatron Corp 調整螢幕顯示效果的方法及手持電子裝置
US9898619B1 (en) * 2014-10-22 2018-02-20 State Farm Mutual Automobile Insurance Company System and method for concealing sensitive data on a computing device
KR102415501B1 (ko) * 2015-08-07 2022-07-01 삼성전자주식회사 3차원 디스플레이 장치의 파라미터 추정 방법 및 그 방법을 이용한 3차원 디스플레이 장치
US20170068946A1 (en) * 2015-09-08 2017-03-09 Sk Planet Co., Ltd. User equipment, service providing device, pos terminal, payment system including the same, control method thereof, and non-transitory computer-readable storage medium storing computer program recorded thereon
CN109583285B (zh) * 2017-09-29 2023-03-07 阿里巴巴集团控股有限公司 对象识别方法
CN108537187A (zh) * 2017-12-04 2018-09-14 深圳奥比中光科技有限公司 任务执行方法、终端设备及计算机可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000331209A (ja) 1999-05-25 2000-11-30 Omron Corp 通行制御装置
JP2009156948A (ja) 2007-12-25 2009-07-16 Fujitsu Ltd 表示制御装置、表示制御方法、及び、表示制御プログラム
JP2010122754A (ja) 2008-11-17 2010-06-03 Chugoku Electric Power Co Inc:The 情報処理装置における覗き見防止装置
JP2011243080A (ja) 2010-05-20 2011-12-01 Nec Engineering Ltd ユーザ認証システム
US20140201844A1 (en) 2013-01-14 2014-07-17 Lookout, Inc. Detection of and privacy preserving response to observation of display screen
WO2018082217A1 (zh) 2016-11-04 2018-05-11 深圳大学 移动终端设备的屏幕隐私保护方法及系统

Also Published As

Publication number Publication date
KR20200130654A (ko) 2020-11-19
JP2020187354A (ja) 2020-11-19
KR102365995B1 (ko) 2022-02-23
TWI709130B (zh) 2020-11-01
TW202042210A (zh) 2020-11-16
US20200356763A1 (en) 2020-11-12
EP3736799B1 (en) 2024-07-03
US11216649B2 (en) 2022-01-04
EP3736799A1 (en) 2020-11-11

Similar Documents

Publication Publication Date Title
JP7017601B2 (ja) 表示画像の自動調整が可能な表示装置とその方法
US9600688B2 (en) Protecting display of potentially sensitive information
CN106557711B (zh) 移动终端设备的屏幕隐私保护方法及系统
US10469830B2 (en) Unauthorized viewer detection system and method
KR102544062B1 (ko) 가상 이미지 표시 방법, 저장 매체 및 이를 위한 전자 장치
CN104603674B (zh) 图像显示装置
US9648285B2 (en) Monitoring method and camera
US6614408B1 (en) Eye-tap for electronic newsgathering, documentary video, photojournalism, and personal safety
US9928372B2 (en) Selective screen privacy
US10185843B2 (en) Public viewing security
CN109782913A (zh) 一种控制屏幕内容显示的方法及装置
CN112765689B (zh) 一种数据处理方法、装置、设备及介质
US20230008255A1 (en) Privacy protection for electronic devices in public settings
US11081089B2 (en) Flicker-fusion-based image capture privacy control system
CN111914313B (zh) 自动调整显示画面的显示装置及其方法
TWI806381B (zh) 螢幕的防窺方法及電子裝置
CN116893737A (zh) 包括显示屏幕的计算机系统
CN115495032A (zh) 双屏信息显示方法、装置、电子设备和计算机可读存储介质
WO2014093293A1 (en) Unauthorized viewer detection system and method
JP2017092720A (ja) 表示装置及び表示装置における表示制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200508

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210413

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210607

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210817

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211007

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220127

R150 Certificate of patent or registration of utility model

Ref document number: 7017601

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150