KR20220048497A - 열화상 카메라와 스마트 안경을 구비한 차량용 나이트 비젼 시스템 - Google Patents

열화상 카메라와 스마트 안경을 구비한 차량용 나이트 비젼 시스템 Download PDF

Info

Publication number
KR20220048497A
KR20220048497A KR1020200130906A KR20200130906A KR20220048497A KR 20220048497 A KR20220048497 A KR 20220048497A KR 1020200130906 A KR1020200130906 A KR 1020200130906A KR 20200130906 A KR20200130906 A KR 20200130906A KR 20220048497 A KR20220048497 A KR 20220048497A
Authority
KR
South Korea
Prior art keywords
thermal image
smart glasses
thermal
imaging camera
image
Prior art date
Application number
KR1020200130906A
Other languages
English (en)
Other versions
KR102449942B1 (ko
Inventor
김종환
Original Assignee
(주)네오아이알
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)네오아이알 filed Critical (주)네오아이알
Priority to KR1020200130906A priority Critical patent/KR102449942B1/ko
Publication of KR20220048497A publication Critical patent/KR20220048497A/ko
Application granted granted Critical
Publication of KR102449942B1 publication Critical patent/KR102449942B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B60K2370/152—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

본 발명의 일 실시예에 따르면, 차량용 나이트 비젼 시스템에 있어서,
열화상을 표시할 수 있는 표시부를 구비한 스마트 안경; 및 열화상 카메라(C)에 의해 획득된 열화상 - 'RAW 열화상' - 을 수정할 수 있는 열화상 처리장치;를 포함하며, 상기 스마트 안경은 상기 열화상 처리장치로부터 열화상을 수신하여 표시하는 것을 특징으로 하는, 차량용 나이트 비젼 시스템이 제공된다.

Description

열화상 카메라와 스마트 안경을 구비한 차량용 나이트 비젼 시스템{VEHICLE NIGHT VISION WITH THERMAL CAMERA AND SMART GLASS}
본 발명은 열화상 카메라와 스마트 안경을 구비한 차량용 나이트 비젼 시스템에 관한 것이다.
열화상 카메라는 피사체로부터 방사되는 적외선의 양에 맞도록 전기적 신호로 변환하여 열화상을 생성할 수 있는 장치이다. 열화상 카메라는 밤이나 낮 구분없이 피사체에 대한 열화상을 생성할 수 있어서, 차량용 나이트 비젼에 사용되고 있다. 예를 들면, 한국특허등록공보 10-1250566호에는 열화상 카메라를 사용한 나이트 비젼 시스템에 대한 기술이 개시되어 있다.
한편, IT 기술이 발전함에 따라 유무선 통신 기능을 가지고, 외부로부터 영상을 수신하여 표시할 수 있는 안경 - 스마트 안경 - 이 개발되어 상용화되고 있다.
도 1은 스마트 안경을 활용한 나이트 비젼 시스템에 대한 종래의 기술을 설명하기 위한 도면이다. 도 1을 참조하면, 직사각형 점선으로 표시된 영역은 차량의 정면 영역을 나타내며, 열화상 카메라가 촬상하는 영역이다. 즉, 실제 피사체가 차량의 정면 영역에서 중앙에 위치할 경우, 열화상 카메라에 의해 촬상된 열화상에서는, 피사체가 중앙에 존재한다. 한편, (a)와 (b)에서 타원형으로 표시된 영역은 스마트 안경의 표시부를 나타낸 것이다. (b)를 참조하면, 스마트 안경을 쓴 사람이 차량의 정면이 아닌 약간 좌측을 보고 있는 상태이다. 이러한 경우, 종래의 기술에 따르면, 스마트 안경의 표시부의 대략 중앙에 피사체의 열화상이 표시된다. 즉, 스마트 안경을 착용한 사람은 중앙의 차량 전방의 좌측을 바라보는데, 스마트 안경에 구비된 표시부의 중앙에 피사체의 열화상이 표시되는 문제가 있다.
본 발명의 하나 이상의 실시예에 따르면, 열화상 카메라와 스마트 안경을 구비한 차량용 나이트 비젼 시스템이 제공될 수 있다.
본 발명의 하나 이상의 실시예에 따르면, 스마트 안경에 있어서 열화상을 표시하는 방법이 제공될 수 있다.
본 발명의 일 실시예에 따르면, 차량용 나이트 비젼 시스템에 있어서,
열화상을 표시할 수 있는 표시부를 구비한 스마트 안경; 및 열화상 카메라(C)에 의해 획득된 열화상 - 'RAW 열화상' - 을 수정할 수 있는 열화상 처리장치;를 포함하며, 상기 스마트 안경은 상기 열화상 처리장치로부터 열화상을 수신하여 표시하는 것을 특징으로 하는, 차량용 나이트 비젼 시스템이 제공된다.
본 발명의 다른 실시예에 따르면, 스마트 안경에 있어서 열화상을 표시하는 방법에 있어서, 열화상 카메라(C)가 'RAW 열화상'을 획득하는 단계; 열화상 카메라(C)의 촬상 방향과 상기 스마트 안경이 향하는 방향의 차이가 있는지를 확인하는 단계; 열화상 카메라(C) 방향과 스마트 안경이 향하는 방향의 차이가 있으면 'RAW 열화상'을 수정하여 'AMENDED 열화상'을 생성하는 단계; 및 'RAW 열화상' 또는 'AMENDED 열화상'을 표시하는 단계;를 포함하는 스마트 안경에 있어서 열화상을 표시하는 방법이 제공된다.
본 발명의 하나 이상의 실시예에 따르면, 열화상 카메라가 차량이 주행하는 전방 중앙에 존재하는 피사체에 대하여 열화상을 획득한 경우, 스마트 안경을 착용한 운전자가 차량이 주행하는 전방 중앙으로부터 임의의 방향으로 고개를 돌리는 경우라도, 바라본 방향에 맞는 열화상이 스마트 안경에 표시되게 된다.
도 1은 스마트 안경을 활용한 나이트 비젼 시스템에 대한 종래의 기술을 설명하기 위한 도면이다.
도 2는 본 발명에 따른 열화상 카메라와 스마트 안경을 구비한 차량용 나이트 비젼 시스템의 원리를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 열화상 카메라와 스마트 안경을 구비한 차량용 나이트 비젼 시스템을 설명하기 위한 도면이다.
도 4는 본 발명의 제1실시예에 따른 열화상 카메라와 스마트 안경을 구비한 차량용 나이트 비젼 시스템을 설명하기 위한 도면이다.
도 5는 본 발명의 제2실시예에 따른 열화상 카메라와 스마트 안경을 구비한 차량용 나이트 비젼 시스템을 설명하기 위한 도면이다.
도 6은 본 발명의 제3실시예에 따른 열화상 카메라와 스마트 안경을 구비한 차량용 나이트 비젼 시스템을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 스마트 안경에 있어서 열화상을 표시하는 방법을 설명하기 위한 도면이다.
이상의 본 발명의 목적들, 다른 목적들, 특징들 및 이점들은 첨부된 도면과 관련된 이하의 바람직한 실시예들을 통해서 쉽게 이해될 것이다. 그러나 본 발명은 여기서 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.
본 명세서에서, 어떤 구성요소가 다른 구성요소 상에 있다고 언급되는 경우에 그것은 다른 구성요소 상에 직접 위치될 수 있거나 또는 그들 사이에 제3의 구성요소가 개재될 수도 있다는 것을 의미한다. 또한, 도면들에 있어서, 구성요소들의 두께는 기술적 내용의 효과적인 설명을 위해 과장된 것이다.
또한 본 명세서에서 구성요소간의 위치 관계를 설명하기 위해 사용되는 '상부(위)', '하부(아래)', '좌측’, '우측’, '전면', '후면' 등의 표현은 절대적 기준으로서의 방향이나 위치를 의미하지 않으며, 각 도면을 참조하여 본 발명을 설명할 때 해당 도면을 기준으로 설명의 편의를 위해 사용되는 상대적 표현이다.
본 명세서에서 기술하는 실시예들은 본 발명의 이상적인 예시도인 단면도 및/또는 평면도들을 참고하여 설명될 것이다. 본 명세서의 다양한 실시예들에서 제1, 제2 등의 용어가 다양한 구성요소들을 기술하기 위해서 사용되었지만, 이들 구성요소들이 이 같은 용어들에 의해서 한정되어서는 안된다. 이들 용어들은 단지 어느 구성요소를 다른 구성요소와 구별시키기 위해서 사용되었을 뿐이다. 여기에 설명되고 예시되는 실시예들은 그것의 상보적인 실시예들도 포함한다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.
명세서에서 사용되는 '포함한다(comprise)' 및/또는 '포함하는(comprising)'은 언급된 구성요소는 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.
본원 명세서에서는 임의의 구성요소 A와 구성요소 B가 서로 동작적으로 결합되어 있다고 함은, 어떤 동작이 이루어지도록 임의의 구성요소 A와 구성요소 B가 서로 직접 또는 간접(하나 이상의 다른 구성요소를 매개로 하여) 결합되어 있는 것을 의미한다.
이하, 도면을 참조하여 본 발명을 상세히 설명하도록 한다. 아래의 특정 실시예들을 기술하는데 있어서, 여러 가지의 특정적인 내용들은 발명을 더 구체적으로 설명하고 이해를 돕기 위해 작성되었다. 하지만 본 발명을 이해할 수 있을 정도로 이 분야의 지식을 갖고 있는 독자는 이러한 여러 가지의 특정적인 내용들이 없어도 사용될 수 있다는 것을 인지할 수 있다. 어떤 경우에는, 발명을 기술하는 데 있어서 흔히 알려졌으면서 발명과 크게 관련 없는 부분들은 본 발명을 설명하는 데 있어 혼돈을 막기 위해 기술하지 않음을 미리 언급해 둔다.
도면 부호
본원 도면들에서, 열화상 카메라는 모두 동일하게 'C'로 부여하였다.
도 3을 참조하면, 열화상 처리장치와 스마트 안경은 각각 열화상 처리장치(P-F3)와 스마트 안경(G-F3)와 같이 부여되었다. 한편, 도 3에서 열화상 처리장치(P-F3)에 포함된 구성요소들(화상 수신부, 화상 처리부, 화상 송신부, 각속도 수신부)과 스마트 안경(G-F3)에 포함된 구성요소들(화상 수신부, 표시부, 각속도 송신부, 자이로 센서)에 대하여는 도면 부호를 표시하지 않았으며, 다만 본원의 상세한 설명에서 이해의 용이를 위해서 열화상 처리장치(P-F3)에 포함된 구성요소들은 화상 수신부(P-F3), 화상 처리부(P-F3), 화상 송신부(P-F3), 및 각속도 수신부(P-F3) 처럼 언급하였고, 스마트 안경(G-F3)에 포함된 구성요소들은 화상 수신부(G-F3), 표시부(G-F3), 각속도 송신부(G-F3), 자이로 센서(G-F3)와 같이 언급하였다.
도 4를 참조하면 ECU, 무선 단말기, 및 스마트 안경은 각각 ECU(P-F4), 무선 단말기(M-F4), 및 스마트 안경(G-F4)와 같이 부여되었고, 도 5를 참조하면 ECU, 무선 단말기, 및 스마트 안경은 각각 ECU(P-F5), 무선 단말기(M-F5), 및 스마트 안경(G-F5)와 같이 부여되었고, 도 6을 참조하면 열화상 송수신장치와 스마트 안경은 각각 열화상 송수신장치(EM)와 스마트 안경(G-F6) 처럼 부여되었다. 한편, 이들 각각에 포함된 구성요소들에 대하여 도면들에 도면 부호를 표시하지 않았고, 다만, 상세한 설명에서 상기와 같은 방식으로 언급하였다.
용어
본원 명세서에서, 용어 '피사체의 실상' 또는 '실상 피사체'는 스마트 안경을 통해서 사람이 직접 바라본 피사체를 의미한다.
본원 명세서에서, 용어 '피사체의 열화상' 또는 '열화상 피사체'는 열화상 카메라를 통해서 획득된 피사체에 대한 열화상을 의미한다.
본원 명세서에서, 용어 열화상을 '수정'한다고 함은 열화상의 위치를 변경하는 것을 포함한다.
본 발명에 따르면, 차량의 외부에 열화상 카메라가 차량의 정면을 바라보도록 설치되어 있고, 이러한 열화상 카메라가 획득한 열화상은 수정(열화상의 위치가 변경)되거나 또는 수정없이 다른 장치(예를 들면, 차량용 전장장치나 스마트폰과 같은 무선 단말기를 통해서)를 통해서 스마트 안경으로 전송된다. 스마트 안경을 착용한 운전자는 실상과 열화상을 동시 또는 원하는 영상을 바라보며 운전을 할 수 있다. 후술하겠지만, 본원 발명에 따른 나이트 비젼 시스템에서의 스마트 안경을 착용한 운전자는 자신의 시선이 차량의 주행 방향과 차이가 있더라도, 그러한 시선에 맞는 열화상을 볼수 있게 된다. 이하에서는, 본원 발명의 다양한 실시예들에 대하여 도면들을 참조하여 설명하기로 한다.
도 2는 본 발명에 따른 열화상 카메라와 스마트 안경을 구비한 차량용 나이트 비젼 시스템의 원리를 설명하기 위한 도면이다.
도 2를 참조하면, (a)와 (b)에서 직사각형 점선으로 표시된 영역은 차량의 정면 영역을 나타내며, 열화상 카메라가 촬상하는 영역이다. 즉, 실상 피사체가 차량의 정면 영역에서 중앙에 위치할 경우, 열화상 카메라에 의해 촬상된 열화상에서는 피사체(열화상 피사체를 의미)가 중앙에 존재한다. 한편, (a), (b), (c)에서 타원형으로 표시된 영역은 스마트 안경의 표시부를 나타낸 것이다. (a)를 참조하면, 스마트 안경을 쓴 사람이 차량의 정면이 아닌 약간 좌측을 보고 있는 상태이다. 이러한 경우, 종래의 기술에 따르면, 스마트 안경의 표시부의 대략 중앙에 피사체의 열화상이 표시된다.
이러한 경우, 본원 발명에 따르면, 차량 정면(즉, 열화상 카메라 촬상 방향)을 기준으로 스마트 안경이 바라본 방향과의 차이를 알아내고, 이 차이에 기초하여, 스마트 안경에 표시되는 열화상 피사체의 위치가 변경되도록, 열화상('RAW 열화상')을 수정한다. (c)를 참조하면, 수정된 열화상이 스마트 안경의 표시부에 표시되는 것을 예시적으로 나타내었다. 후술하겠지만, (c)와 같이 수정된 열화상을 표시하기 위해서, 본 발명에 따른 다양한 실시예들은, 열화상 카메라의 촬상 방향과 스마트 안경이 향하는 방향의 차이에 기초하여, 열화상 카메라가 획득한 그대로의 열화상('RAW 열화상')을 수정할지 여부를 판단하고, 수정할 것으로 판단한 경우 열화상 카메라의 촬상 방향과 스마트 안경이 향하는 방향의 차이를 반영하여 열화상('RAW 열화상')을 수정한다. 이하, 도 3 내지 도 7을 참조하여, 본 발명의 다양한 실시예들에 대하여 상세히 설명하기로 한다.
도 3은 본 발명의 제1 실시예에 따른 열화상 카메라와 스마트 안경을 구비한 차량용 나이트 비젼 시스템을 설명하기 위한 도면이다.
도 3을 참조하면, 본 발명의 제1 실시예에 따른 열화상 카메라와 스마트 안경을 구비한 차량용 나이트 비젼 시스템(이하, '나이트 비젼 시스템')은 열화상 카메라(C), 열화상 처리장치(P-F3), 및 스마트 안경(G-F3)을 포함한다.
열화상 카메라(C)는 차량의 전방에 존재하는 실상 피사체(들)에 대한 열화상 이미지를 획득하여 제공한다. 열화상 카메라(C)는 예를 들면, 한국등록특허 10-1774091호(이하, '091')에 개시된 장치일 수 있다. '091'호에 기재된 모든 내용은 본원 명세서의 일부로서 결합된다. 본원 발명에 따른 열화상 카메라(C)는 '091'호에 개시된 열화상 카메라에만 한정되는 것은 아니며, 피사체로부터 방사되는 적외선을 전기적 신호로 변환하여 열화상을 생성할 수 있는 장치라면 어떠한 장치라도 본원 발명에 따른 열화상 카메라(C)로 사용될 수 있다.
열화상 카메라(C)는 스마트 안경(G-F3)에 구비된 표시부 상에 표시될 열화상의 수정 여부를 판단하는 동작 - 수정 판단동작 - 과, 열화상의 수정을 할 필요가 있을 경우 열화상 카메라(C)가 획득한 열화상을 수정하는 동작 - 열화상 수정 동작 - 을 수행한다.
한편, 본 발명의 설명의 목적을 위해서, 본원 명세서에서, 열화상 카메라(C)에 의해 획득된 열화상을 'RAW 열화상' 이라고 언급하고, 열화상 수정 동작에 의해 수정된 열화상을 'AMENDED 열화상'이라고 언급하기로 한다.
수정 판단동작
수정 판단동작은 스마트 안경(G-F3)에 구비된 표시부 상에 표시될 열화상의 수정여부를 판단 하는 것이다.
수정 판단동작은, 스마트 안경의 방향과 열화상 카메라(C)가 향하는 방향('열화상 카메라(C) 촬상 방향'이라고 함) - 열화상을 획득하기 위해서 열화상 카메라(C)가 향하는 방향 - 을 고려하여, 열화상 수정여부를 판단하는 동작이다.
수정 판단동작에서는, 열화상 카메라(C) 촬상 방향과 스마트 안경의 방향이 동일하거나 거의 유사하면 열화상 카메라(C)에 의해 획득된 열화상의 위치('열화상 초기위치'라고 함)를 수정할 필요가 없으므로, 열화상을 수정하지 않는 것으로 판단한다. 구체적으로, 열화상 카메라(C) 촬상 방향과 스마트 안경(G-F3)의 방향간에 기준 각도 이상의 차이('스마트 안경-카메라 방향 차이'라고 함)가 있으면 열화상을 수정하는 것으로 판단한다. 여기서, '스마트 안경-카메라 방향 차이'는, 스마트 안경(G-F3)을 통해서 바라본 '피사체 실물의 위치'와 열화상 카메라(C)가 획득한 열화상에서의 '피사체 열화상의 위치'의 차이로부터 기인한 것이다.
열화상 재구성 동작
열화상 재구성 동작은, 수정 판단동작의 수행결과 열화상을 수정할 것으로 판단된 경우, 열화상 카메라(C)가 획득한 'RAW 열화상'을 수정하여 'AMENDED 열화상'을 생성한다. 즉, 'RAW 열화상'을 스마트 안경-카메라 방향 차이를 반영하여 수정한 것이 'AMENDED 열화상'이다.
'RAW 열화상'이 스마트 안경(G-F3)의 열화상이 표시되는 구역(미리 정해져 있음) - 열화상 표시 구역 - 의 크기에 맞도록 생성되었다고 가정하고, 'RAW 열화상'을 어느 한쪽방향으로 소정의 거리만큼 이동시켜 'AMENDED 열화상'을 생성할 경우, 열화상이 표시되는 구역에서 빈 영역(즉, 'RAW 열화상'이 이동하고 난 후 생긴 빈 영역임)이 생길 수 있다. 열화상 재구성 동작에서는, 그러한 빈영역을 비워두거나 또는 보간 동작이 수행될 수 있다. 즉, 열화상 재구성 동작은 'RAW 열화상'을 어느 한쪽방향으로 소정의 거리만큼 이동시키고, 이동에 의해 생긴 빈 영역은 화소값을 채우지 않거나 또는 임의의 데이터로 채움으로써, 'AMENDED 열화상'을 완성할 수 있다.
열화상 재구성 동작은, 예를 들면, 스마트 안경(G-F3)을 통해서 바라본 실상 피사체의 위치와, 스마트 안경(G-F3)의 표시부(G-F3)에 표시되는 열화상 피사체의 위치가 일치되도록, 'RAW 열화상'을 수정하는 동작일 수 있다. 예를 들면, 열화상 재구성 동작은 열화상 표시 구역에서 스마트 안경-카메라 방향 차이의 정도에 따라서 정해진 소정의 거리만큼 'RAW 열화상'을 이동시키는 동작이다. 열화상 재구성 동작에서, 스마트 안경-카메라 방향 차이가 클수록 'RAW 열화상'을 많이 이동시켜 'AMENDED 열화상'을 생성할 수 있다.
구체적인 예를 들면, 차량 전방의 중앙에 실상 노루가 존재하여 열화상 카메라(C)가 노루가 포함된 열화상 - 노루 열화상 - 을 획득하였다고 가정한다. 한편, 스마트 안경(G-F3)을 착용한 사람은, 열화상 카메라(C) 촬상 방향과 약 30도의 차이가 있는 방향으로 주시하였다고 가정한다. 즉, 열화상 카메라(C) 촬상 방향과 스마트 안경의 방향 - 시선 방향 - 간의 각도가 30도의 차이가 있다. 이러한 경우, 사람의 눈에 보이는 노루 - 노루 실상 - 는 스마트 안경(G-F3)의 중앙으로부터 약 30도 각도 차이가 나는 곳에 존재할 것이다(물론, 스마트 안경(G-F3)이 설치된 위치와 열화상 카메라(C)가 설치된 위치가 동일하지 않으므로, 그들의 상대적 위치들까지 고려해야 하지만 본 구체적인 예에서는 이해의 편의를 위해서 그러한 위치들은 무시하고 방향만을 고려 하기로 한다).
이러한 상황에서, 열화상 카메라(C)가 획득한 열화상(중앙에 노루 열화상이 있는 것), 즉 'RAW 열화상'을 그대로 스마트 안경(G-F3)에 전송하여 표시하면, 스마트 안경(G-F3)을 통해서 사람의 눈에 의해 실제로 보이는 장면과는 다를 것이다. 즉, 실제 사람의 눈에 의해 보이는 장면에서는 노루 실상은 중앙이 아닌 곳(스마트 안경-카메라 방향 차이가 약 30도 있으므로)에 존재함에 비하여, 열화상 카메라(C)가 획득한 열화상에서는 중앙에 노루 열화상이 존재하게 된다. 열화상 재구성 동작은, 이러한 상황을 고려하기 위한 것으로, 열화상 카메라(C)가 획득한 노루 열화상의 위치를 사람의 눈에 보이는 노루 실상의 위치에 맞도록, 열화상을 재구성하는 것이다.
열화상 처리장치(P-F3)는 차량에 설치되는 전장장치의 일부로서 구성되거나, 또는 무선 단말기(예를 들면, 스마트폰, 아이패드, 캘럭시 탭, 또는 PDA 와 같은 장치), 또는 스마트 안경의 일부로서 구성이 될 수 있다. 열화상 처리장치(P-F3)가 전장장치에 설치된 경우('제1실시예')는 도 4를 참조하여 설명하고, 열화상 처리장치(P-F3)가 무선 단말기에 설치된 경우('제2실시예')는 도 5를 참조하여 설명하고, 열화상 처리장치(P-F3)가 스마트 안경에 설치된 경우('제3실시예')는 도 6을 참조하여 설명하기로 한다.
전장장치는 통상적으로 차량용 전자제어장치(Electronic Control Apparatus: ECU)라고 불리우는 것으로, 차량내의 전반적인 장치들의 동작을 제어한다. 최근의 전장장치들은 스마트폰, 차량용 맵, 외부와 무선 통신까지 지원하도록 발전되고 있다. 예를 들면, 한국특허등록공보 10-1664883호에는 차량용 전자제어장치의 일반적인 기술이 공개되어 있고, 한국공개특허공보 2014-0079161호에도 차량용 전자제어장치의 일반적인 기술이 공개되어 있다. 이러한 특허들에는, 다른 장치와 연동되는 전자제어장치들에 대한 예시적인 내용들이 공개되어 있다.
스마트 안경(G-F3)은 화상을 수신하여 표시할 수 있다. 예를 들면, 스마트 안경(G-F3)은 열화상 처리장치(P-F3)로부터 전송받은 열화상을 사람의 시각에 의해 보일수 있는 형태로 표시하는 표시부(G-F3)를 구비한다. 일 실시예에 따르면, 스마트 안경(G-F3)이 열화상 처리장치(P-F3)로부터 수신한 열화상은 'RAW 열화상' 또는 'AMENDED 열화상'일 수 있다.
도 3을 계속 참조하면, 열화상 처리장치(P-F3)는, 화상수신부(P-F3), 화상처리부(P-F3), 화상송신부(P-F3), 및 각속도 수신부(P-F3)를 포함할 수 있다.
화상수신부(P-F3)는 열화상 카메라(C)로부터 열화상을 수신하여 화상처리부(P-F3)에게 제공한다. 각속도 수신부(P-F3)는 스마트 안경(G-F3)의 방향을 알 수 있는 정보를 스마트 안경으로부터 수신한다. 화상 송신부(P-F3)는 화상 처리부(P-F3)에 의해 생성된 열화상을 스마트 안경(G-F3)으로 전송한다.
화상 처리부(P-F3)는 상술한 수정 판단동작과 열화상 재구성 동작을 수행한다.
예를 들면, 화상 처리부(P-F3)는, 각속도 수신부(P-F3)가 수신한 스마트 안경(G-F3)의 방향을 알 수 있는 정보 - 예를 들면, 각 속도 정보 - 와, 열화상 카메라(C) 촬상 방향을 고려하여 'RAW 열화상'에 대하여 수정할지 여부를 판단하고 수정이 필요하면 열화상을 재구성한다. 즉, 화상 처리부(P-F3)는 스마트 안경(G-F3)을 통해서 바라본 피사체 실상의 위치와, 스마트 안경(G-F3)의 표시부(G-F3)에 표시되는 열화상 피사체의 위치가 일치되는지 여부를 판단하고, 일치되지 않을 경우, 스마트 안경(G-F3)을 통해서 바라본 실상 피사체의 위치와, 스마트 안경(G-F3)의 표시부(G-F3)에 표시되는 피사체의 열화상의 위치가 일치되도록, 'RAW 열화상'을 수정할 수 있다. 예를 들면, 화상 처리부(P-F3)는, 스마트 안경-카메라 방향 차이의 정도에 따라서 정해진 소정의 거리만큼 'RAW 열화상'을 이동시킴으로써 'AMENDED 열화상'을 생성할 수 있다.
스마트 안경(G-F3)은 화상 수신부(G-F3), 표시부(G-F3), 자이로 센서(G-F3), 및 각속도 송신부(G-F3)를 포함할 수 있다. 화상 수신부(G-F3)는 열화상 처리장치(P-F3)로부터 열화상을 수신한다. 표시부(G-F3)는 화상 수신부(G)가 수신한 열화상을 표시한다. 표시부(G-F3)의 전체 영역에 열화상이 표시되거나, 또는 표시부(G-F3)의 일부 영역 - 열화상이 표시되도록 미리 정한 영역으로, 열화상 표시 구역임 - 에만 열화상이 표시될 수 있다. 자이로 센서(G-F3)는 스마트 안경(G-F3)의 자세(특히, 방향)를 알 수 있는 정보를 획득하기 위한 것이다. 자이로 센서(G-F3)에 의해 감지된 결과는 각속도 송신부(G-F3)를 통해서 열화상 처리장치(P-F3)로 송신된다.
도 4는 본 발명의 제2실시예에 따른 열화상 카메라(C)와 스마트 안경(G-F4)을 구비한 차량용 나이트 비젼 시스템을 설명하기 위한 도면이다.
도 4를 참조하면, 제2실시예에 따른 나이트 비젼 시스템은 열화상 카메라(C), 열화상 처리장치가 구비된 차량용 전장장치(E-F4), 무선 단말기(M-F4), 및 스마트 안경(G-F4)을 포함할 수 있다. 제2실시예에 따른 나이트 비젼 시스템은, 도 3에서 설명한 열화상 처리장치(P-F3)가 차량용 전장장치(E-F4)에 구현된 것이다. 여기서, 차량용 전장장치(E-F4)에서의 종래 알려진 동작은 생략하기로 하고, 열화상 처리장치로서의 구성과 기능에 대하여만 설명하기로 한다. 열화상 처리장치로서의 동작을 위한 구성요소들은, 차량용 전장장치(E-F4)에 종래 알려진 동작의 수행을 위해서 포함되어 있던 자원(소프트웨어와 하드웨어)들을 활용하거나, 차량용 전장장치(E-F4)에 추가적으로 구비될 수 있다.
차량용 전장장치(E-F4)는 화상 수신부(E-F4), 화상 처리부(E-F4), 화상 송신부(E-F4), 및 각속도 수신부(E-F4)를 포함하고, 무선 단말기(M-F4)는 화상 수신부(M-F4), 화상 송신부(M-F4), 각속도 수신부(M-F4), 및 각속도 송신부(M-F4)를 포함하고, 스마트 안경(G-F4)은 화상 수신부(G-F4), 표시부(G-F4), 각속도 송신부(G-F4), 및 자이로 센서(G-F4)를 포함할 수 있다.
열화상 카메라(C)는 차량에 설치되어 차량의 전방에 대한 열화상을 획득하여 차량용 전장장치(E-F4)에게 제공한다.
스마트 안경(G-F4)은 무선 단말기(M-F4)로부터 'RAW 열화상' 또는 'AMENDED 열화상'을 수신하여 표시할 수 있고, 스마트 안경(G-F4)의 방향을 알 수 있는 각속도 정보 - 스마트 안경에 대한 각속도 정보) - 를 주기적 또는 실시간으로 무선 단말기(M-F4)에게 제공한다. 도 4에서의 스마트 안경(G-F4)과 그 구성요소들의 동작은 도 3에서의 스마트 안경(G-F3)과 그 구성요소들의 동작과 동일하므로, 스마트 안경(G-F4)에 대한 보다 상세한 설명은 생략된다.
무선 단말기(M-F4)에서, 각속도 수신부(M-F4)는 스마트 안경으로부터 각속도 정보를 수신하고, 각속도 송신부(M-F4)는 각속도 정보를 차량용 전장장치(E-F4)에게 송신한다. 무선 단말기(M-F4)에서, 화상 수신부(M-F4)는 차량용 전장장치(E-F4)로부터 'RAW 열화상' 또는 'AMENDED 열화상'을 수신하고, 화상 송신부(M-F4)는 'RAW 열화상' 또는 'AMENDED 열화상'을 스마트 안경(G-F4)에게 송신한다.
차량용 전장장치(E-F4)는 무선 단말기(M-F4)로부터 수신한 각속도 정보와, 열화상 카메라(C)의 설치 정보 - 열화상 카메라(C)의 촬상 방향과 위치를 포함 - 에 기초하여 'RAW 열화상'을 수정할지 여부를 결정하는 수정 판단동작과, 수정이 필요할 경우 'AMENDED 열화상'을 생성하는 열화상 재구성 동작을 수행한다. 'RAW 열화상' 또는 'AMENDED 열화상'은 무선 단말기(M-F4)로 전송된다. 도 4에서의 차량용 전장장치(E-F4)에 포함된 구성요소들의 수정 판단동작과 열화상 재구성 동작은, 도 3에서의 열화상 처리장치(P-F3)에 포함된 구성요소들에 의한 동작과 동일하므로, 도 4의 차량용 전장장치(E-F4)에 대한 보다 상세한 설명은 생략된다.
도 5는 본 발명의 제3실시예에 따른 열화상 카메라와 스마트 안경을 구비한 차량용 나이트 비젼 시스템을 설명하기 위한 도면이다.
도 5를 참조하면, 제3실시예에 따른 나이트 비젼 시스템은 열화상 카메라(C), 차량용 전장장치(E-F5), 열화상 처리장치가 구비된 무선 단말기(M-F5), 및 스마트 안경(G-F5)을 포함할 수 있다. 제3실시예에 따른 나이트 비젼 시스템은, 도 3에서 설명한 열화상 처리장치(P-F3)가 무선 단말기(M-F5)에 포함된 것이다. 여기서, 무선 단말기(M-F5)에서의 종래 알려진 동작은 생략하기로 하고, 열화상 처리장치로서의 구성과 동작에 대하여만 설명하기로 한다. 열화상 처리장치로서의 동작을 위한 구성요소들은, 무선 단말기(M-F5)에 종래 알려진 동작의 수행을 위해서 포함되어 있던 자원(소프트웨어와 하드웨어)들을 활용하거나, 무선 단말기(M-F5)에 추가적으로 구비될 수 있다.
차량용 전장장치(E-F5)는 화상 수신부(E-F5)와 화상 송신부(E-F5)를 포함하고, 무선 단말기(M-F5)는 화상 수신부(M-F5), 화상 처리부(M-F5), 화상 송신부(M-F5), 및 각속도 수신부(M-F5)를 포함하고, 스마트 안경(G-F5)은 화상 수신부(G-F5), 표시부(G-F5), 각속도 송신부(G-F5), 및 자이로 센서(G-F5)를 포함할 수 있다.
열화상 카메라(C)는 차량에 설치되어 차량의 전방에 대한 열화상을 획득하여 차량용 전장장치(E-F5)에게 제공한다.
스마트 안경(G-F5)은 무선 단말기(M-F5)로부터 'RAW 열화상' 또는 'AMENDED 열화상'을 수신하여 표시할 수 있고, 스마트 안경(G-F5)의 방향을 알 수 있는 각속도 정보 - 스마트 안경에 대한 각속도 정보) - 를 주기적 또는 실시간으로 무선 단말기(M-F5)에게 제공한다. 도 5에서의 스마트 안경(G-F5)과 그 구성요소들의 동작은 도 3에서의 스마트 안경(G-F3)과 그 구성요소들의 동작과 동일하므로, 스마트 안경(G-F5)에 대한 보다 상세한 설명은 생략된다.
무선 단말기(M-F5)는 스마트 안경(G-F5)로부터 수신한 각속도 정보와, 열화상 카메라(C)의 설치 정보 - 열화상 카메라(C)의 촬상 방향과 위치를 포함 - 에 기초하여 'RAW 열화상'을 수정할지 여부를 결정하는 수정 판단동작과, 수정이 필요할 경우 'AMENDED 열화상'을 생성하는 열화상 재구성 동작을 수행한다. 'RAW 열화상' 또는 'AMENDED 열화상'은 무선 단말기(M-F5)로 전송된다. 도 5에서의 무선 단말기(M-F5)에 포함된 구성요소들의 동작은 도 3에서의 열화상 처리장치(P-F3)에 포함된 구성요소들의 동작과 동일하므로, 도 5의 무선 단말기(M-F5)의 수정 판단동작과 열화상 재구성 동작에 대한 상세한 설명은 생략된다.
차량용 전장장치(E-F5)에서, 화상 수신부는 열화상 카메라(C)로부터 'RAW 열화상'을 수신하고, 화상 송신부는 'RAW 열화상'을 무선 단말기(G-F5)에게 전송한다.
도 6은 본 발명의 제4실시예에 따른 열화상 카메라와 스마트 안경을 구비한 차량용 나이트 비젼 시스템을 설명하기 위한 도면이다.
도 6을 참조하면, 제4실시예에 따른 나이트 비젼 시스템은 열화상 카메라(C), 열화상 송수신장치(EM-F6), 열화상 처리장치가 구비된 스마트 안경(G-F6)을 포함할 수 있다. 제4실시예에 따른 나이트 비젼 시스템은, 도 3에서 설명한 열화상 처리장치(P-F3)가 스마트 안경(G-F6)에 포함된 것이다. 여기서, 스마트 안경(G-F6)에서의 종래 알려진 동작은 생략하기로 하고, 열화상 처리장치로서의 구성과 동작에 대하여만 설명하기로 한다. 열화상 처리장치로서의 동작을 위한 구성요소들은, 스마트 안경(G-F6)에 종래 알려진 동작의 수행을 위해서 포함되어 있던 자원(소프트웨어와 하드웨어)들을 활용하거나, 스마트 안경(G-F6)에 추가적으로 구비될 수 있다.
열화상 송수신장치(EM-F6)는 전장 장치 또는 무선 단말기일 수 있으며, 화상 수신부(EM-F6)와 화상 송신부(EM-F6)를 포함하고, 스마트 안경(G-F6)은 화상 수신부(G-F6), 화상 처리부(G-F6), 표시부(G-F6), 및 자이로 센서(G-F6)를 포함할 수 있다.
열화상 카메라(C)는 차량에 설치되어 차량의 전방에 대한 열화상을 획득하여 열화상 송수신장치(EM-F6)에게 제공한다.
스마트 안경(G-F6)의 화상 수신부(G-F6)는 열화상 송수신장치(EM-F6)로부터 'RAW 열화상'를 수신하고, 화상 처리부(G-F6)는 자이로 센서에 의해 감지된 각속도 정보와, 열화상 카메라(C)의 설치 정보 - 열화상 카메라(C)의 촬상 방향과 위치를 포함 - 에 기초하여 'RAW 열화상'을 수정할지 여부를 결정하는 수정 판단동작과, 수정이 필요할 경우 'AMENDED 열화상'을 생성하는 열화상 재구성 동작을 수행한다. 표시부(G-F6)는, 'RAW 열화상' 또는 'AMENDED 열화상'을 사람이 인식 가능한 형태(예를 들면 시각으로 인식할 수 있는 형태)로 표시한다. 도 6에서의 스마트 안경(G-F6)에 포함된 구성요소들의 동작은 도 3에서의 열화상 처리장치(P-F3)에 포함된 구성요소들의 동작과 동일하므로, 도 6의 스마트 안경(G-F6)의 수정 판단동작과 열화상 재구성 동작에 대한 보다 상세한 설명은 생략된다.
도 7은 본 발명의 일 실시예에 따른 스마트 안경에 있어서 열화상을 표시하는 방법을 설명하기 위한 도면이다.
도 7을 참조하면, 본 발명의 일 실시예에 따른 스마트 안경에 있어서 열화상을 표시하는 방법은 'RAW 열화상'을 획득하는 단계(S101), 스마트 안경의 방향 정보를 획득하는 단계(S102), 열화상 카메라(C) 방향과 스마트 안경이 향하는 방향의 차이가 있는지를 확인하는 단계(S103); 열화상 카메라(C) 방향과 스마트 안경이 향하는 방향의 차이가 있으면 열화상을 수정하여 'AMENDED 열화상'을 생성하는 단계(S105); 및 'RAW 열화상' 또는 'AMENDED 열화상'을 스마트 안경이 표시하는 단계(S107);를 포함할 수 있다.
본 발명의 일 실시예에 따른 스마트 안경에 있어서 열화상을 표시하는 방법은 예를 들면, 상술한 제1실시예, 제2실시예, 또는 제3실시예와 같은 형태로 구현될 수 있다.
예를 들면, 'RAW 열화상'을 획득하는 단계는 열화상 카메라(C)가 열화상을 획득하는 단계는, 스마트 안경의 방향 정보를 획득하는 단계는 스마트 안경에 구비된 자이로 센서가 스마트 안경의 방향을 알 수 있는 정보를 획득하는 단계이고, 열화상 카메라(C) 방향과 스마트 안경이 향하는 방향의 차이가 있는지를 확인하는 단계는 화상 처리부가 수정 판단동작을 수행하는 단계이고, 화상 처리부가 'AMENDED 열화상'을 생성하는 단계는 열화상 재구성 동작을 수행하는 단계이다.
여기서, 각 단계들에 대한 동작은 상술한 제1실시예, 제2실시예, 또는 제3실시예에 기재되어 있으므로 여기서는 생략된다.
이와 같이 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 상술한 명세서의 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
C: 열화상 카메라
P-F3: 열화상 처리장치
G-F3, G-F4, G-F5: 스마트 안경
E-F4, E-F5: 전장 장치
M-F4, M-F5: 무선 단말기
EM-F6: 열화상 송수신장치

Claims (6)

  1. 차량용 나이트 비젼 시스템에 있어서,
    열화상을 표시할 수 있는 표시부를 구비한 스마트 안경; 및
    열화상 카메라(C)에 의해 획득된 열화상 - 'RAW 열화상' - 을 수정할 수 있는 열화상 처리장치;를 포함하며,
    상기 스마트 안경은 상기 열화상 처리장치로부터 열화상을 수신하여 표시하는 것을 특징으로 하는, 차량용 나이트 비젼 시스템.
  2. 제1항에 있어서,
    상기 열화상 처리장치는 상기 스마트 안경의 촬상 방향에 기초하여 'RAW 열화상'의 상기 표시부 상에서의 위치를 수정할 수 있는 것인, 차량용 나이트 비젼 시스템.
  3. 제2항에 있어서,
    전방의 피사체의 열화상을 찍을 수 있는 열화상 카메라(C);를 더 포함하며,
    상기 열화상 처리장치는, 상기 열화상 카메라(C)가 피사체 실상을 찍기 위해서 향하는 촬상 방향과 상기 스마트 안경이 전방을 향하는 방향의 차이를 고려하여 'RAW 열화상'을 수정하는 것인, 차량용 나이트 비젼 시스템.
  4. 제3항에 있어서,
    상기 열화상 처리장치는 차량에 설치되는 전장장치 또는 무선 단말기인 것인, 차량용 나이트 비젼 시스템.
  5. 스마트 안경에 있어서 열화상을 표시하는 방법에 있어서,
    열화상 카메라(C)가 'RAW 열화상'을 획득하는 단계;
    열화상 카메라(C)의 촬상 방향과 상기 스마트 안경이 향하는 방향의 차이가 있는지를 확인하는 단계;
    열화상 카메라(C) 방향과 스마트 안경이 향하는 방향의 차이가 있으면 'RAW 열화상'을 수정하여 'AMENDED 열화상'을 생성하는 단계; 및
    'RAW 열화상' 또는 'AMENDED 열화상'을 표시하는 단계;를 포함하는 스마트 안경에 있어서 열화상을 표시하는 방법.
  6. 제5항에 있어서,
    자이로 센서가 스마트 안경의 방향 정보를 획득하는 단계;를 더 포함하는 것인, 스마트 안경에 있어서 열화상을 표시하는 방법.
KR1020200130906A 2020-10-12 2020-10-12 열화상 카메라와 스마트 안경을 구비한 차량용 나이트 비젼 시스템 KR102449942B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200130906A KR102449942B1 (ko) 2020-10-12 2020-10-12 열화상 카메라와 스마트 안경을 구비한 차량용 나이트 비젼 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200130906A KR102449942B1 (ko) 2020-10-12 2020-10-12 열화상 카메라와 스마트 안경을 구비한 차량용 나이트 비젼 시스템

Publications (2)

Publication Number Publication Date
KR20220048497A true KR20220048497A (ko) 2022-04-20
KR102449942B1 KR102449942B1 (ko) 2022-10-05

Family

ID=81402249

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200130906A KR102449942B1 (ko) 2020-10-12 2020-10-12 열화상 카메라와 스마트 안경을 구비한 차량용 나이트 비젼 시스템

Country Status (1)

Country Link
KR (1) KR102449942B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101526795B1 (ko) * 2014-03-19 2015-06-05 현대자동차주식회사 스마트 글래스, 그를 이용한 차량의 사각지대 표시 시스템 및 그 방법
JP2015105072A (ja) * 2013-12-02 2015-06-08 本田技研工業株式会社 車両用表示システム
KR20160088717A (ko) * 2015-01-16 2016-07-26 현대자동차주식회사 차량에서 웨어러블 기기를 이용한 기능 실행 방법 및 이를 수행하는 차량
KR20190070951A (ko) * 2016-11-17 2019-06-21 주식회사 토비스 나이트 비젼 시스템
KR20190071781A (ko) * 2016-12-13 2019-06-24 주식회사 토비스 열에너지 정보를 표시하는 나이트 비젼 시스템 및 그 제어방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015105072A (ja) * 2013-12-02 2015-06-08 本田技研工業株式会社 車両用表示システム
KR101526795B1 (ko) * 2014-03-19 2015-06-05 현대자동차주식회사 스마트 글래스, 그를 이용한 차량의 사각지대 표시 시스템 및 그 방법
KR20160088717A (ko) * 2015-01-16 2016-07-26 현대자동차주식회사 차량에서 웨어러블 기기를 이용한 기능 실행 방법 및 이를 수행하는 차량
KR20190070951A (ko) * 2016-11-17 2019-06-21 주식회사 토비스 나이트 비젼 시스템
KR20190071781A (ko) * 2016-12-13 2019-06-24 주식회사 토비스 열에너지 정보를 표시하는 나이트 비젼 시스템 및 그 제어방법

Also Published As

Publication number Publication date
KR102449942B1 (ko) 2022-10-05

Similar Documents

Publication Publication Date Title
CN107615755B (zh) 头戴式显示器、平视显示器和影像显示方法
CN107533761B (zh) 图像处理装置和图像处理系统
US10582121B2 (en) System and method for fusing outputs of sensors having different resolutions
US11301677B2 (en) Deep learning for three dimensional (3D) gaze prediction
US11200646B2 (en) Compensation for deformation in head mounted display systems
US20110234475A1 (en) Head-mounted display device
EP3301545B1 (en) Computer program, object tracking method, and display device
JP5329480B2 (ja) ヘッドマウントディスプレイ装置
KR101690646B1 (ko) 시 스루 디스플레이를 위한 카메라 구동 장치 및 그 방법
US20210063732A1 (en) Image processing apparatus, method for controlling the same, non-transitory computer-readable storage medium, and system
JP6669182B2 (ja) 乗員監視装置
WO2019176491A1 (ja) 視線検出装置、該視線検出装置の制御方法、角膜反射像位置の検出方法、コンピュータプログラム、及び記憶媒体
JP6649010B2 (ja) 情報処理装置
CN105323539A (zh) 车用安全系统及其操作方法
JP6439436B2 (ja) 映像処理装置、及び車載映像処理システム
KR102449942B1 (ko) 열화상 카메라와 스마트 안경을 구비한 차량용 나이트 비젼 시스템
KR101817436B1 (ko) 안구 전위 센서를 이용한 영상 표시 장치 및 제어 방법
KR20220051078A (ko) 열화상 카메라와 스마트 안경을 구비한 차량용 나이트 비젼 시스템
KR101526795B1 (ko) 스마트 글래스, 그를 이용한 차량의 사각지대 표시 시스템 및 그 방법
EP3276939A1 (en) Image capturing device, image capturing system, and vehicle
JP2009006968A (ja) 車両用表示装置
JP7247371B2 (ja) 画像処理装置、システム、画像処理方法、および画像処理プログラム
KR20180064894A (ko) 차량용 hmd 장치 및 시스템
KR20170052645A (ko) 차량용 화상 표시 시스템
US20210263315A1 (en) Wifi enabled head up display (hud)

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant