비접촉 방식의 생체신호 측정방법 및 이를 이용한 생체신호 측정장치

청구범위
청구항 1
삭제
청구항 2
삭제
청구항 3
삭제
청구항 4
삭제
청구항 5
사용자의 모습을 반사하여 보여주는 거울 기능이 구동되는 동시에 각종 정보를 표시하는 미러 디스플레이;상기 미러 디스플레이에 내장되며, 사람의 안면 이미지를 일정 시간동안 연속적으로 촬영하는 카메라; 및상기 카메라가 촬영한 안면 이미지 중 관심영역을 선택한 후 RGB(Red Green Blue) 채널로 분리하고, 상기 RGB채널 중 각 채널에 비선형 스케일 팩터(Scale Factor)를 부여하여 신호대 잡음비(SNR)를 조절하고, 상기 비선형스케일 팩터(Scale Factor)가 부여된 신호를 토대로 심장 박동수를 산출하는 제어부;를 포함하고,상기 제어부는, 상기 카메라에 촬영된 사용자의 동작을 분석한 후 사용자가 미리 약속된 동작을 진행했을 때 심장 박동수를 산출하는 동작을 시작하도록 제어하고,상기 제어부는, 상기 비선형 스케일 팩터(Scale Factor)가 부여된 신호를 주파수 영역으로 변환한 후, 상기 심장 박동수에 해당하는 주파수 도메인 중 가장 큰 파워 스펙트럼 주파수 값을 토대로 호흡수를 산출하되,상기 호흡수(Respiratory Rate, RR)는,- : Highest power spectrum frequency in High Frequency area in HRV- 심장 박동수, 즉 심박 변화율(Heart Rate Variability, HRV)를 통해 산출되며,상기 제어부는, 심장 박동수를 산출할 때, 기본적으로 1분 단위로 5회 반복해서 심장 박동수를 산출한 후 그 평균값을 최종 심장 박동수로 표시함에 있어서,총 5회 중 최대값 및 최소값에 해당하는 심장 박동수를 제외한 후 제1 평균값을 산출하고, 최대값 및 최소값이제1 평균값의 +-10 ~ +-20 % 이내 일 경우, 최대값 및 최소값을 추가로 반영하여 다시 제2 평균값을 산출하는것을 특징으로 하는 비접촉 방식의 생체신호 측정장치.
청구항 6
제5항에 있어서,상기 미러 디스플레이에 내장된 적외선 센서;를 더 포함하며상기 적외선 센서는 사용자의 체온을 측정하며, 측정된 체온은 상기 미러 디스플레이에 표시되는 것을 특징으로하는 비접촉 방식의 생체신호 측정장치.
청구항 7
제5항에 있어서,상기 제어부는 상기 신호대 잡음비(SNR)를 조절함에 있어서,상기 비선형 스케일 팩터(Scale Factor)가 부여된 신호(R)는,로써 정의되며,

r=f(t) 는 원신호
c : 상수값이며 실수 단위로 정의됨
t : 시간
인 것을 특징으로 하는 비접촉 방식의 생체신호 측정장치.
청구항 8
제7항에 있어서,상기 스케일 팩터(Scale Factor)의 상수값인 c는,상기 RGB 채널 중 각 채널에 따라 서로 다른 값이 부여되는 것을 특징으로 하는 비접촉 방식의 생체신호 측정장치.
청구항 9
삭제
발명의 설명
기 술 분 야
본 발명은 생체신호 측정에 관한 것으로서, 더 상세하게는 비접촉 방식의 생체신호 [0001] 측정방법 및 이를 이용한 생체신호 측정장치에 관한 것이다.
배 경 기 술
[0002] UN의 2011년 보고에 따르면, 비전염성질환(NCD, non-commuicable disease)로 인하여 사망하는 사람이 5,700만명 중 63%에 해당하는 3,600만명에 이른다.
[0003] 이러한 비전염성질환의 기본적인 예방대책은 평소 개인의 바이탈 사인을 측정하고 관리에 있다고 볼 수 있다.
[0004] 바이탈 사인(vital sign)은 일반적으로 인간이 생명을 유지하기 위한 필수적 요소들의 신호의 형태로써 보여주는 인간의 기본적인 상태를 나타내는 생체신호를 지칭하는 것이다.
[0005] 대부분의 국제 의료표준에서는 심장 박동수(Heart Rate; HR), 호흡수(Respiratory Rate; RR), 혈압(BloodPressure; BP), 체온(Body Temperature; BT)의 4개 요소를 필수적인 바이탈 사인으로 규정하고 있다.
[0006] 바이탈 사인을 측정하기위한 의료기기들은 측정 환경의 제한성과 측정센서의 구속성, 높은 가격, 측정자의 숙련도에 따른 측정값의 정확성에 차이가 있는 점 등의 한계를 내포하고 있다.
[0007] 최근 IT환경의 발전과 개인 모바일기기와 웨어러블기기 등의 보급 활성화로 이를 기반으로 하는 개인 유헬스케어(U-Health care)로의 적용 사례가 많아졌지만, 측정센서를 항상 체내외에 부착하거나 지니고 있어야 하는 단점이 지적되고 있다.
선행기술문헌
특허문헌
(특허문헌 0001) KR 10-1070389 B
발명의 내용
해결하려는 과제
본 발명은 상기와 같은 기술적 과제를 해결하기 위해 제안된 것으로, 사람의 [0008] 안면 이미지의 색상변화를 통해 심장의 박동수를 산출하고, 적외선 센서를 이용하여 체온을 측정할 수 있는 비접촉 방식의 생체신호 측정방법 및이를 이용한 생체신호 측정장치를 제공한다.
과제의 해결 수단
[0009] 본 발명의 일 실시예에 따르면, 사람의 안면 이미지를 일정 시간동안 연속적으로 촬영하는 단계; 사람의 안면이미지 중 관심영역을 선택한 후 RGB(Red Green Blue) 채널로 분리하는 단계; 상기 RGB 채널 중 각 채널에 비선형 스케일 팩터(Scale Factor)를 부여하여 신호대 잡음비(SNR)를 조절하는 단계; 및 상기 비선형 스케일 팩터(Scale Factor)가 부여된 신호를 토대로 심장 박동수를 산출하는 단계;를 포함하는 비접촉 방식의 생체신호 측정방법이 제공된다.
[0010] 또한, 상기 신호대 잡음비(SNR)를 조절하는 단계에서,
[0011] 상기 비선형 스케일 팩터(Scale Factor)가 부여된 신호(R)는, 로써 정의되며,
[0012] r=f(t) 는 원신호
[0013] c : 상수값이며 실수 단위로 정의됨
[0014] t : 시간 인 것을 특징으로 한다.
[0015] 또한, 상기 스케일 팩터(Scale Factor)의 상수값인 c는, 상기 RGB 채널 중 각 채널에 따라 서로 다른 값이 부여되는 것을 특징으로 한다.
[0016] 또한, 상기 비선형 스케일 팩터(Scale Factor)가 부여된 신호를 주파수 영역으로 변환한 후, 상기 심장 박동수에 해당하는 주파수 도메인 중 가장 큰 파워 스펙트럼 주파수 값을 토대로 호흡수를 산출하는 호흡수 산출단계;를 더 포함하는 것을 특징으로 한다.
[0017] 또한, 본 발명의 다른 실시예에 따르면, 사용자의 모습을 반사하여 보여주는 거울 기능이 구동되는 동시에 각종정보를 표시하는 미러 디스플레이; 상기 미러 디스플레이에 내장되며, 사람의 안면 이미지를 일정 시간동안 연속적으로 촬영하는 카메라; 및 상기 카메라가 촬영한 안면 이미지 중 관심영역을 선택한 후 RGB(Red GreenBlue) 채널로 분리하고, 상기 RGB 채널 중 각 채널에 비선형 스케일 팩터(Scale Factor)를 부여하여 신호대 잡음비(SNR)를 조절하고, 상기 비선형 스케일 팩터(Scale Factor)가 부여된 신호를 토대로 심장 박동수를 산출하는 제어부;를 포함하는 비접촉 방식의 생체신호 측정장치가 제공된다.
[0018] 또한, 상기 미러 디스플레이에 내장된 적외선 센서;를 더 포함하며
[0019] 상기 적외선 센서는 사용자의 체온을 측정하며, 측정된 체온은 상기 미러 디스플레이에 표시되는 것을 특징으로한다.
[0020] 또한, 상기 제어부는 상기 신호대 잡음비(SNR)를 조절함에 있어서, 상기 비선형 스케일 팩터(Scale Factor)가부여된 신호(R)는,
[0021] 로써 정의되며,
[0022] r=f(t) 는 원신호
[0023] c : 상수값이며 실수 단위로 정의됨
[0024] t : 시간인 것을 특징으로 한다.
[0025] 또한, 스케일 팩터(Scale Factor)의 상수값인 c는, 상기 RGB 채널 중 각 채널에 따라 서로 다른 값이 부여되는것을 특징으로 한다.
[0026] 또한, 상기 제어부는, 상기 비선형 스케일 팩터(Scale Factor)가 부여된 신호를 주파수 영역으로 변환한 후, 상기 심장 박동수에 해당하는 주파수 도메인 중 가장 큰 파워 스펙트럼 주파수 값을 토대로 호흡수를 산출하는 것을 특징으로 한다.
발명의 효과
[0027] 본 발명의 실시예에 따른 비접촉 방식의 생체신호 측정방법 및 측정장치는, 무구속적이고 비침습적인 방법을통해 짧은 측정 시간내에 체온, 심장 박동수 및 호흡수를 동시에 산출할 수 있다. 또한, 측정된 값은 무선 및유선 네트워크망을 통해 공유될 수 있도록 구성된다.
도면의 간단한 설명
[0028] 도 1은 본 발명의 실시예에 따른 비접촉 방식의 생체신호 측정장치의 개념도이다.
도 2는 도 1의 비접촉 방식의 생체신호 측정장치가 처리하는 비접촉 방식의 생체신호 측정방법의 기본 개념도.
도 3은 합산영역 테이블(Summed Area Table, SAT)을 적용한 예시도.
도 4는 본 발명의 실시예에 따른 비접촉 방식의 생체신호 측정방법을 이용하여 심장 박동수를 산출하는 프로그램을 도시한 도면.
발명을 실시하기 위한 구체적인 내용
[0029] 이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수있을 정도로 상세히 설명하기 위하여, 본 발명의 실시예를 첨부한 도면을 참조하여 설명하기로 한다.
[0030] 도 1은 본 발명의 실시예에 따른 비접촉 방식의 생체신호 측정장치(1)의 개념도이다.
[0031] 본 실시예에 따른 비접촉 방식의 생체신호 측정장치(1)는 제안하고자 하는 기술적인 사상을 명확하게 설명하기위한 간략한 구성만을 포함하고 있다.
[0032] 도 1을 참조하면, 비접촉 방식의 생체신호 측정장치(1)는, 미러 디스플레이(10)와, 카메라(20)와, 적외선 센서(30)와, 제어부(40)를 포함하여 구성된다. 여기에서 제어부(40)는 마이크로컨트롤러 및 중앙제어장치를 총칭하는 구성으로 정의한다.
[0033] 상기와 같이 구성되는 비접촉 방식의 생체신호 측정장치(1)의 세부구성과 주요동작을 살펴보면 다음과 같다.
[0034] 본 발명의 실시예에 따른 비접촉 방식의 생체신호 측정장치(1)는, 사람의 안면(얼굴) 이미지의 색상변화를 통해안면동맥의 박동성 혈액의 흐름을 측정하고 심장 박동수를 산출하도록 구성된다. 즉, 박동성 혈류로 인해서 안면 이미지의 색상 변화가 발생하므로 이를 통해 심장 박동수를 산출한다.
[0035] 미러 디스플레이(10)는 사용자의 모습을 반사하여 보여주는 거울 기능이 구동되는 동시에 각종 정보를 표시하도록 구성된다.
[0036] 즉, 미러 디스플레이(10)는 거울 기능을 수행하면서 거울 표면에 각종 정보를 표시할 수 있도록 구성되므로, 거울 표면에 측정된 생체신호를 표시할 수 있다. 여기에서 생체신호는 체온, 호흡수, 심장 박동수, 혈압 중 어느하나 이상을 포함할 수 있다. 또한, 미러 디스플레이(10)는 무선 및 유선 네트워크망에 연결되어 측정된 생체신호를 외부와 교환할 수 있도록 구성된다.
[0037] 카메라(20)는 미러 디스플레이(10)에 내장되며, 사람의 안면 이미지를 일정 시간동안 연속적으로 촬영한다. 카메라(20)는 기본적으로 동영상 및 정지영상을 모두 촬영할 수 있도록 구성되는 것이 바람직하다.
[0038] 참고적으로, 본 실시예에서 카메라(20)는 50 ~ 900 LUX 의 강도로 촬영조명을 제공할 수 있으며, 기본적으로640 x 480 픽셀의 해상도와, 15 ~ 30 FPS의 속도(24bit RGB with three channels x 8 bits / channel)로 색상정보를 기록할 수 있다.
적외선 센서(30)는 미러 디스플레이(10)에 내장되어 사용자의 체온을 측정하며, [0039] 측정된 체온은 미러 디스플레이(10)에 표시된다. 참고적으로 거리 측정센서가 미러 디스플레이(10)에 추가로 내장될 수 있는데, 거리측정 센서는 적외선 센서(30)가 측정하는 부위까지의 거리를 측정한다.
[0040] 따라서 적외선 센서(30)는 사용자의 체온을 측정할 때, 거리측정 센서의 거리값을 참고하여 사용자의 체온을 보정한 후 최종 체온을 산출한다.
[0041] 제어부(40)는 카메라(20)에서 촬영된 안면 이미지의 색상변화를 통해 안면동맥의 박동성 혈액의 흐름을 측정하여 심장 박동수를 산출한 후, 미러 디스플레이(10)에 표시한다.
[0042] 즉, 제어부(40)는 카메라(20)가 촬영한 안면 이미지 중 관심영역을 선택한 후 RGB(Red Green Blue) 채널로 분리하고, RGB 채널 중 각 채널에 비선형 스케일 팩터(Scale Factor)를 부여하여 신호대 잡음비(SNR)를 조절하고,비선형 스케일 팩터(Scale Factor)가 부여된 신호를 토대로 심장 박동수를 산출한다.
[0043] 참고적으로 제어부(40)는 카메라(20)에 촬영된 사용자의 동작을 분석한 후, 사용자가 미리 약속된 동작을 진행했을 때, 심장 박동수 등을 산출하는 동작을 시작하도록 구성될 수 있다. 예를 들면 사용자가 한 손을 가슴에올리는 동작을 계속 진행하고 있을 때, 심장 박동수, 체온, 호흡수 등을 산출하는 동작이 시작될 수 있다.
[0044] 이하, 비접촉 방식의 생체신호 측정장치(1)의 제어부(40) 등에서 처리되는 비접촉 방식의 생체신호 측정방법에대해서 상세히 살펴보기로 한다.
[0045] 도 2는 도 1의 비접촉 방식의 생체신호 측정장치(1)가 처리하는 비접촉 방식의 생체신호 측정방법의 기본 개념도이다.
[0046] 도 2를 참조하여 비접촉 방식의 생체신호 측정방법이 수행되는 과정에 대해서 상세히 설명한다.
[0047] 우선, 사람의 안면(얼굴) 이미지를 일정 시간동안 연속적으로 촬영하는 단계가 수행된다. 사용자 및 환자의 얼굴에는 많은 안면동맥들이 있고 동맥들은 심장으로부터 박동성을 띤 혈류를 전달하고 있으므로, 안면 이미지를명확히 촬영하는 동작이 진행된다.
[0048] 다음으로, 촬영된 사람의 안면 이미지 중 관심영역(Region Of Interest, ROI)을 선택한 후, 이미지를 RGB(RedGreen Blue) 채널로 분리하는 단계가 수행된다. 이때, 관심영역은 이마, 눈 주위, 볼 주위 등이 선택될 수 있으며, 이마영역을 관심영역으로 설정하는 것이 가장 바람직하다.
[0049] 참고적으로 관심영역을 적용하고 인식할 때는, 물체인식에 사용되는 디지털이미지 프로세싱 기술 중 하나인"Haar-like Feature" 방법을 적용하는 것이 바람직하다.
[0050] 한편, 사용자의 안면 이미지를 신속하고 효율적으로 격자화된 이미지값을 합산하는 데이터 구조로써 합산영역테이블(Summed area table, SAT)을 적용할 수 있다.
[0051] 도 3은 합산영역 테이블(Summed Area Table, SAT)을 적용한 예시도이다.
[0052] 도 3을 참조하면, SAT 알고리듬은 <수학식 1> 과 같이 2차원 평면의 임의 포인트(x,y)에서 좌측, 상측, 좌상측의 값을 모두 더한 값을 사용할 수 있다.
[0053] <수학식 1>
[0054]
[0055] 합산영역 테이블(Summed area table, SAT)에서 임의의 포인트 (x,y)에 합산 영역 테이블의 값은, <수학식 2> 을이용하여 화상 위에 단일 패스에서 효율적으로 계산될 수 있다.
[0056] <수학식 2>
[0057]
[0058] 다음으로, RGB(Red Green Blue) 채널 중 각 채널별로 노이즈를 제거하고 정규화(Normalization)시키는 과정이수행된다. 노이즈 제거 및 정규화 시키는 동작은 독립적으로 수행될 수도 있으며, 각 처리단계마다 내부적으로수행될 수도 있을 것이다.
다음으로, RGB 채널 중 각 채널에 비선형 스케일 팩터(Scale Factor)를 부여하여 [0059] 신호대 잡음비(SNR)를 조절하는 단계가 수행된다.
[0060] 즉, 신호대 잡음비(SNR)를 조절하는 단계에서, 비선형 스케일 팩터(Scale Factor)가 부여된 신호(R)는,
[0061] <수학식 3>
[0062] 로써 정의된다.
[0063] r=f(t) 는 원신호(red)
[0064] c : 상수값이며 실수 단위로 정의됨
[0065] t : 시간
[0066] 이때, 스케일 팩터(Scale Factor)의 상수값인 c는, RGB 채널 중 각 채널에 따라 서로 다른 값이 부여될 수있다.
[0067] <수학식 3>을 참조하면, 원신호(f(t))에 스케일 팩터(Scale Factor)를 곱함으로써, 채널별로 각 신호의 차이를더 크게 확장할 수 있다. 즉, 작은 신호는 더욱 작아지며 큰 신호는 더욱 커지게 된다. 결과적으로 원신호에 스케일 팩터(Scale Factor)를 곱함으로써, 신호대 잡음비(SNR)가 높은 신호를 획득할 수 있다.
[0068] 다음으로, BVP(Blood Volume Pulse)를 독립적으로 추출하기 위하여 BSS(Blind Source Separation) 중 독립요소분석(Independent Component Analysis, ICA) 기법을 적용할 수 있다.
[0069] BSS(Blind Source Separation) 기법은 복잡하게 뒤섞인 신호의 집합을 원 신호의 집합으로 분리하기 위한 기법이며, 본 실시예에서는 독립요소분석(Independent Component Analysis, ICA) 기법의 알고리듬을 적용한다.
[0070] 독립요소분석(ISA, Independent Component Analysis) 기법은 <수학식 4> 과 같이 표현되고
[0071] <수학식 4>
[0072]
[0073] X : mixed signal
[0074] a : signal mix coefficient
[0075] s : independent signal source
[0076] 이를 <수학식 5> 와 같이 행렬식으로 표현하고, 원 소스신호를 구하기 위한 역행렬을 <수학식 6> 와 같이 표현할 수 있다.
[0077] <수학식 5>
[0078]
[0079] <수학식 6>
[0080]
[0081] 다음으로, 분리된 원 소스신호를 이산푸리에 변환 과정을 거쳐 <수학식 7> 과 같이 주파수 도메인 신호로 변환한다.
[0082] <수학식 7>
[0083]
[0084] 다음으로, 비선형 스케일 팩터(Scale Factor)가 부여된 신호를 토대로 심장 박동수를 산출하는 단계가수행된다.
도 4는 본 발명의 실시예에 따른 비접촉 방식의 생체신호 측정방법을 이용하여 [0085] 심장 박동수를 산출하는 프로그램을 도시한 도면이다.
[0086] 도 4를 참조하면, 비선형 스케일 팩터(Scale Factor)가 부여된 신호를 상술한 바와 같은 방법으로 이미지 프로세싱한 후, 심장 박동수를 산출한다.
[0087] 즉, 심장 박동수를 산출하는 단계에서는 스케일 팩터(Scale Factor)가 부여된 신호를 상술한 방법을 통해 이미지 프로세싱한 후, 시간영역을 기준으로 하여 심장 박동수를 산출하도록 구성될 수 있으며, 주파수 영역로 전환한 후 주파수 영역을 기준으로 하여 심장 박동수를 산출하도록 구성될 수도 있을 것이다.
[0088] 참고적으로, 심장 박동수를 산출할 때, 기본적으로 1분 단위로 5회 반복해서 심장 박동수를 산출한 후 그 평균값을 최종 심장 박동수로 표시할 수 있다.
[0089] 평균값을 산출하는 예시를 설명하면,
[0090] 우선, 1분 단위로 총 5회 심장 박동수를 각각 산출한다.
[0091] 다음으로, 총 5회 중 최대값 및 최소값에 해당하는 심장 박동수를 제외한 후 제1 평균값을 산출한다.
[0092] 다음으로, 최대값 및 최소값이 제1 평균값의 +-10 ~ +-20 % 이내 일 경우, 근접한 최대값 및 최소값을 추가로반영하여 제2 평균값을 산출한다. 이때, 최대값 및 최소값 중 제1 평균값의 +-10 ~ 20 % 이내에 해당하는 값만을 반영하여 제2 평균값을 산출하는 것이 바람직하다.
[0093] 한편, 비선형 스케일 팩터(Scale Factor)가 부여된 신호를 상술한 방법으로 이미지 프로세싱한 후 신호를 주파수 영역으로 변환하고, 심장 박동수에 해당하는 주파수 도메인 중 가장 큰 파워 스펙트럼 주파수 값을 토대로호흡수를 산출하는 호흡수 산출단계가 더 진행될 수 있다.
[0094] 즉, 호흡수(Respiratory Rate, RR)는 <수학식 8>과 같이 산출될 수 있다.
[0095] <수학식 8>
[0096]
[0097] - : Highest power spectrum frequency in High Frequency area in HRV
[0098] - 심장 박동수, 즉 심박 변화율(Heart Rate Variability, HRV)
[0099] 본 발명의 실시예에 따른 비접촉 방식의 생체신호 측정방법 및 측정장치는, 무구속적이고 비침습적인 방법을통해 짧은 측정 시간내에 체온, 심장 박동수 및 호흡수를 동시에 산출할 수 있다. 또한, 측정된 값은 무선 및유선 네트워크망을 통해 공유될 수 있도록 구성된다.
[0100] 이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
부호의 설명
[0101] 1 : 비접촉 방식의 생체신호 측정장치
10 : 미러 디스플레이
20 : 카메라
30 : 적외선 센서
40 : 제어부