画像解析による生体信号の抽出

心拍、呼吸、などを被験者の負担が少なく、行動の自由が制限されない方法で取得するアプローチとしてビデオカメラによる画像取得と画像解析があります。そんな照明光（波長）、どんなカメラ（波長特性）、どんな画像解析アルゴリズムによって、これらの生体信号を抽出可能なのか、論文その他の情報をまとめておきたいと思います。

心拍

  1. Contactless Heart Rate Monitoring Using A Standard RGB Camera Conferences >2020 IEEE International Works…  Soumyajyoti Maji et al. Video photo-plethysmography (VPG) methods have been used over the years to monitor the heart rate.
  2. Non-contact measurement of respiratory and heart rates using a CMOS camera-equipped infrared camera for prompt infection screening at airport quarantine stations. (2015).　東京都立大学　Publisher: IEEE　Yosuke Nakayama; Guanghao Sun; Shigeto Abe; Takemi Matsui　https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7158595　we used the CMOS-IR camera (Nippon Avionics, TVS-500EXLV, Japan)  TVS-500EXLV integrates a CMOS sensor camera and an IR camera, and provides the thermal and RGB image-fusion mode.    30 frames per sec with a 640 × 480  During the cardiac cycle, volumetric changes in the facial blood vessels modify the amount of ambient light absorption according to subsequent changes in the amount of reflected light. These changes indicate the timing of cardiovascular events. By shooting a video of the facial region with a CMOS-IR camera, the red, green, and blue color sensors pick up a mixture of the reflected plethysmographic signals, including other sources of fluctuations in light due to artifacts [13]. We adopted the green signal, which is the most suitable color for calculating the heart rate [16].　カラーカメラの緑色の成分で血流変化がわかる（？）
  3. K. Matsumura, P. Rolfe, J. Lee, and T. Yoshitaka, “iPhone 4s Photoplethysmography: Which Light Color Yields the MostAccurate Heart Rate and Normalized Pulse Volume Using the　IPhysioMeter Application in the Presence of Motion Artifact?”　PLoS ONE, vol. 9(3), pp. e91025, 2014.
  4. MEASURING THE PULSE RATE BY USING WEBCAM R.Archana, M.Lakshmi Raviteja　Conference Paper · November 2013　ウェブカメラで心拍数（？）

Photoplethysmography (PPG) 光電容積脈波測定法 フォトプレチィスモグラフィ

  1. 手首からの光電式容積脈波記録信号に基づく脈拍数変動解析のための高信頼性の心拍検出アルゴリズム Foroohar Foroozan, Dr. Jiang Wu 共著　ANALOG DEVICES
  2. Recent advances in photoplethysmography IOP Publishing Speakers: Rich Fletcher, Massachusetts Institute of Technology Raquel Bailón Luesma, University of Zaragoza Ramakrishna Mukkamala, University of Pittsburgh Xiaoman Xing, Suzhou Institute of Biomedical Engineering and Technology YOUTUBE
  3. スマートフォン式光電容積脈波測定法　生体医工学54（３）：120－128、2016　よくまとまったわかりやすい解説　PPGとは、脈拍に伴う動脈容積の変化を光学的に捉えるものである
  4. Remote photoplethysmography (A new core algorithm)　【YOUTUBE　DEMO)　ICA(2011)、CHROM(2013)、PBV(2014)、２SR(2016）の４つのアルゴリズムの比較デモ。２SR(2016）の優位性を示すもの。MATLABのコードも紹介していた。数行。顔の動き（横方向の回転）があっても信号検出がロバスト。論文：A Novel Algorithm for Remote Photoplethysmography: Spatial Subspace Rotation Publisher: IEEE Cite This PDF Wenjin Wang; Sander Stuijk; Gerard de Haan
  5. FibriCheck Beat-to-Beat Accuracy Compared With Wearable ECG in Broad Dynamic Range　fibricheck.com　Hertzman et al were the first to find a relationship between the intensity of backscattered light and blood volume in 1938. …  In 2010, Jonathan and Leahy et al presented a case study which concluded that HR could indeed be measured through PPG by using a smartphone. PPGとECGのピークのタイミングがわかりやすいく図示されている。
  6. A new principle of pulse detection based on terahertz wave plethysmography Yu Rong, Panagiotis C. Theofanopoulos, Georgios C. Trichopoulos & Daniel W. Bliss Scientific Reports volume 12, Article number: 6347 (2022) テラヘルツの光の利用
  7. Photoplethysmogram – Pulse Meter (YOUTUBE) 原理の説明　心拍が押し出したときに血流が増えて光を吸収する（透過光を検出する場合）、もしくは反射する光の量が変化する。暗室で指の向こうに光源をおくと、肉眼でもはっきり心拍が観察できる！
  8. Webcam Pulse Monitor: Measure Heart Beats with Your Face! NickTech　（YOUTUBE)スタンフォード大学電子工学科の学生　ウェブカメラで顔をうつして、心拍を検出するデモ。RGBのGだけ利用　アルゴリズムは MIT:Eulerian Video Magnification　参照。マッチングサイトで気があうかどうかを調べられるのではという応用可能性にも言及していた。（GしかつかわないのならRGBカメラの必要もない。波長特性がフラットなモノクロカメラならGのみを通すフィルターをつければよかろう。）
  9. Comparison between red, green and blue light reflection photoplethysmography for heart rate monitoring during motion Jihyoung Lee, Kenta Matsumura, Ken-ichi Yamakoshi, Peter Rolfe, Shinobu Tanaka, Takehiro Yamakoshi PMID: 24110039 DOI: 10.1109/EMBC.2013.6609852 Annu Int Conf IEEE Eng Med Biol Soc . 2013;2013:1724-7. Reflection photoplethysmography (PPG) using 530 nm (green) wavelength light has the potential to be a superior method for monitoring heart rate (HR) during normal daily life due to its relative freedom from artifacts.  … the limit of agreement in Bland-Altman plots between the HR measured by ECG and PR measured by 530 nm light PPG (±0.61 bpm) was smaller than that achieved when using 645 and 470 nm light PPG (±3.20 bpm and ±2.23 bpm, respectively).  緑、赤、青で比べたかぎり緑が一番正確だったという結果。定量的な実験。
  10. Comparison of reflected green light and infrared photoplethysmography　Annu Int Conf IEEE Eng Med Biol Soc . 2008;2008:2270-2. doi: 10.1109/IEMBS.2008.4649649.  Y Maeda 1, M Sekine, T Tamura, A Moriya, T Suzuki, K Kameyama Affiliations expand PMID: 19163152 DOI: 10.1109/IEMBS.2008.4649649　赤外線（880 nm）と可視光（緑色、525 nm）との比較で、緑色のほうが筋電図との相関が高かったという結果。
  11. Physiological Measurement Published: January 1991 Photoplethysmography Part 2 Influence of light source wavelength L. G. Lindberg & P. Å. Öberg Medical and Biological Engineering and Computing volume 29, pages48–54 (1991)　When the microvascular blood perfusion in human skin is measured by photoplethysmography (PPG), infra-red light (800–960 nm) is normally used as the light source.　赤外線（できるだけ長い波長）をつかうのは、長波長ほど生体の奥まで光がとおるから、つまり、指を透過しやすいからか。だとすると反射光を利用する場合には、必ずしもこの必要がない（？）。
  12. フォトプレチィスモグラフィ　脈管学45（５）2005　May 25　脈波には圧脈波と容積脈派がある。

Oxymetry

心拍の話とはズレますが、酸素の量を測定するパルスオキシメーターに関して。

  1. Pulse Oximetry Basic Principles and Interpretation　Iowa Head and Neck Protocols
  2. パルスオキシメーターVS心電図　dental-diamond.jp
  3. ＮＪＬ５５０１Ｒ搭載　パルスオキシメータ用・反射型センサ　ＤＩＰ化モジュールキット　秋月電子通商　発光波長(λp 660±3nm、940±10nm)　￥350（税込）

その他参考

  1. 表情解析ソフトウェア「フェイスリーダー」　ソフィアサイエンティフィック　基本7感情　喜び　怒り　悲しみ　驚き　恐怖　嫌悪　軽蔑　をリアルタイム解析　活性　退屈・興味・混乱　恥ずかしさ　なども。　参考：YOUTUBE　FaceReader Classifications Demo | Noldus Product Demo（限定公開）
  2. Ｍ５Ｓｔａｃｋ用心拍センサユニット　秋月電子通商　ウェアラブルデバイスの要求要件に合わせて設計された完璧な血中酸素濃度、心拍数センサー　1個 ￥1,620（税込）

 

その他、論文

  1. Heart rate variability with photoplethysmography in 8 million individuals: a cross-sectional study Aravind Natarajan 1, Alexandros Pantelopoulos 1, Hulya Emir-Farinas 1, Pradeep Natarajan　Lancet Digit Health . 2020 Dec;2(12):e650-e657. doi: 10.1016/S2589-7500(20)30246-6. Epub 2020 Nov 23.