ASFGAN: Mô hình Attention Gan kết hợp với biến đổi Fourier giúp chuyển đổi ảnh mô IHC từ ảnh HE
Các tác giả
DOI: https://doi.org/10.59294/HIUJS.32.2024.705Từ khóa:
ASFGAN, BCI, HE, IHCTóm tắt
Nghiên cứu này đề xuất một mô hình học sâu kết hợp giữa mạng sinh đối nghịch (Generative Adversarial Network) theo cơ chế attention và hàm mất mát Smooth Fourier để sinh ảnh mô IHC từ ảnh HE. Kết quả này giúp bác sỹ chọn phương pháp điều trị phù hợp cho từng bệnh nhân khi sớm phát hiện sự phát triển bất thường của các protetin và cung cấp thông tin chi tiết về biểu hiện protein trên mô tế bào vú thông qua ảnh IHC. Thực nghiệm được tiến hành trên bộ dữ liệu Breast Cancer Immunohistochemical (BCI) đã công bố tại hội nghị CVPR 2022, kết quả đạt được theo độ đo PSNR và SSIM lần lượt là 20.5731 và 0.5421. Kết quả này tốt hơn các nghiên cứu đã công bố trước đó và có thể giúp giảm khối lượng công việc cho đội ngũ y bác sĩ, đồng thời giảm thời gian chờ và tăng khả năng điều trị kịp thời cho các bệnh nhân.
Abstract
This study proposes a deep learning model combining a Generative Adversarial Network based on the attention mechanism and the Smooth Fourier loss function to generate IHC tissue images from HE images. This result helps doctors choose the appropriate treatment method for each patient when detecting early abnormal development of proteins and providing detailed information about protein expression on breast tissue cells through IHC images. The experiment was conducted on the Breast Cancer Immunohistochemical (BCI) dataset published at the CVPR 2022 conference, the results achieved according to the PSNR and SSIM measures are 20.5731 and 0.5421, respectively. This result is better than previously published studies and can help reduce the workload of medical teams, while reducing waiting time and increasing the ability to treat patients promptly.
Tài liệu tham khảo
[1] T. Đ. Toàn, N. Đ. Toàn, L. M. Hưng và T. V. Lăng, “Phương pháp WMD-CGAN biến đổi ảnh nhuộm mô HE thành ảnh IHC nhằm hỗ trợ xác định phác đồ điều trị ung thư vú,” in FAIR'2022, Nhà xuất bản Khoa học tự nhiên và Công nghệ, 2022, pp. 413–422. Doi: 10.15625/vap.2022.0250.
[2] Vinmec, “IHC test trong xét nghiệm ung thư vú dương tính với HER2”, 2024 [Trực tuyến]. Địa chỉ: https://www.vinmec.com/vi/serviceline-vu/suc-khoe-thuong-thuc/ihc-test-trong-xet-nghiem-ung-thu-vu-duong-tinh-voi-her2/
[3] Bệnh viện Nguyễn Tri Phương, “Phương pháp nhuộm Hematoxylin & Eosin (H&E)”, 2024. [Trực tuyến]. Địa chỉ: https://bvnguyentriphuong.com.vn/giai-phau-benh/phuong-phap-nhuom-hematoxylin-eosin-he
[4] M. Schutera, M. Hussein, J. Abhau, R. Mikut and M. Reischl, “- Night-to-Day: Online Image-to-Image Translation for Object Detection Within Autonomous Driving by Night,” IEEE Transactions on Intelligent Vehicles, 2020. Doi: 10.1109/TIV.2020.3039456.
DOI: https://doi.org/10.1109/TIV.2020.3039456[5] D. Shiotsuka et al., “- GAN-Based Semantic-Aware Translation for Day-to-Night Images,” Digest of Technical Papers - IEEE International Conference on Consumer Electronics, 2022. Doi: 10.1109/ICCE53296.2022.9730532.
DOI: https://doi.org/10.1109/ICCE53296.2022.9730532[6] T. Karras, M. Aittala, J. Hellsten, S. Laine, J. Lehtinen, and T. Aila, “- Training Generative Adversarial Networks with Limited Data,” Adv Neural Inf Process Syst, vol. 2020, December, 2020. Doi: https://doi.org/10.48550/arXiv.2006.06676.
[7] R. Xu, X. Wang, K. Chen, B. Zhou, and C. C. Loy, “- Positional Encoding as Spatial Inductive Bias in GANs,” Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp. 13564–13573, 2020. Doi: 10.1109/CVPR46437.2021.01336.
DOI: https://doi.org/10.1109/CVPR46437.2021.01336[8] S. Liu, C. Zhu, F. Xu, X. Jia, Z. Shi, and M. Jin, “- BCI: Breast Cancer Immunohistochemical Image Generation through Pyramid Pix2pix,” 2022. [Online]. Available: https://bupt-ai-cz.github.
DOI: https://doi.org/10.1109/CVPRW56347.2022.00198[9] B. Bai, X. Yang, Y. Li, Y. Zhang, N. Pillar, and A. Ozcan, “- Deep Learning-enabled Virtual Histological Staining of Biological Samples,” 2022. Doi: https://doi.org/10.1038/s41377-023-01104-7.
[10] F. Li, Z. Hu, W. Chen, and A. Kak, “- Adaptive Supervised PatchNCE Loss for Learning H&E-to-IHC Stain Translation with Inconsistent Groundtruth Image Pairs,” 2023. Doi: https://doi.org/10.48550
/arXiv.2303.06193.
[11] T. D. Toan, N. D. Toan, L. M. Hung, and H. L. U. Thuc, “Breasthistologygen: Some unconditional breast cancer generative imaging methods based on explicit and implicit density estimates,” in FAIR'2023, Publishing House for Science and Technology, 2023, pp. 27–36. Doi: 10.15625/vap.2023.0018.
[12] A. Vaswani et al., “Attention Is All You Need,” Jun. 2017. Doi: https://doi.org/10.48550/arXiv.1706.03762.
[13] O. Ronneberger, P. Fischer, and T. Brox, “U-Net: Convolutional Networks for Biomedical Image Segmentation,” 2015. Doi: https://doi.org/10.48550/arXiv.1505.04597.
DOI: https://doi.org/10.1007/978-3-319-24574-4_28[14] I. J. Goodfellow et al., “Generative Adversarial Networks,” Jun. 2014. Doi: https://doi.org/10.48550
/arXiv.1406.2661.
[15] A. Horé and D. Ziou, “Image quality metrics: psnr vs. ssim,” proceedings International conference on pattern recognition, pp. 2366–2369, 2010. Doi: 10.1109/icpr.2010.579.
DOI: https://doi.org/10.1109/ICPR.2010.579
Tải xuống
Tải xuống: 68
Đã xuất bản
Cách trích dẫn
Số
Chuyên mục
