SWishLU: Một phương pháp kích hoạt khác của hàm ReLU để nâng cao tính năng của mạng nơ-ron
Các tác giả
Từ khóa:
hàm số kích hoạt, mạng nơ-ron, hàm ReLU, hàm SWishLUTóm tắt
Trong bài viết này, dựa trên cơ sở nghiên cứu hàm số kích hoạt ReLU và các hàm số tương tự khác, chúng tôi đề xuất ra một hàm số kích hoạt mới mang tên SWishLU để tránh sự xuất hiện “nơ-ron chết” trong hàm số ReLU (Dying ReLU). SWishLU sử dụng hàm số Swish để kích hoạt phần âm của đầu vào, do đó hàm số này bao hàm tất cả các ưu điểm của hàm số kích hoạt ReLU và hàm số kích hoạt Swish. Hàm số này không những có thể tránh được sự xuất hiện của “nơ-ron chết” mà còn sử dụng hợp lý các thông tin của đầu vào âm để nâng cao hiệu quả nhận dạng của mạng nơ-ron. Kết quả thử nghiệm trên các tập dữ liệu MNIST, VNCD và CIFAR-10 cho ta thấy, độ nhận dạng chính xác của mạng nơ-ron tích chập Lenet-5 lần lượt đạt tới 99.18%, 82.82% và 63.81%, lần lượt cao hơn 0.09%, 2.08% và 0.74% so với hàm số ReLU.
Abstract
Based on the study of ReLU and its existing modified methods, SWishLU, an improved method of ReLU activation function is proposed to avoid neuronal death caused by ReLU (dying ReLU) in this paper. This function is activated by Swish function in the negative axis part, so the function has the advantages of both Swish and ReLU. SWishLU function not only can avoid the dying ReLU but also reasonably apply the negative input information of the network to improve the network performance. The experimental results show that the Lenet-5 convolutional neural network using SwishLU function achieves high accuracy of 99.18%, 82.82% and 63.81% in MNIST, VNCD and CIFAR-10 datasets respectively, which are 0.09%, 2.08% and 0.74% higher than ReLU function.
Tài liệu tham khảo
[1] Q. Chen, J. Xu, and V. Koltun, “Fast image processing with fully-convolutional networks,” 2017 IEEE International Conference on Computer Vision (ICCV), 2017, pp. 2497-2506.
[2] L.Q. Liu, C.H. Shen and A.V. Hengel, “Cross-Convolutional-Layer Pooling for Image Recognition,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 39, pp. 2305-2313, Nov. 2017.
[3] Y.M. Qian, M.X. Bi, T. Tan and K. Yu, “Very Deep Convolutional Neural Networks for Noise Robust Speech Recognition,” IEEE/ACM Transactions on Audio, Speech, and Language Processing, vol. 24, pp. 2263-2276, Dec. 2016.
[4] D. Bahdanau, J. Chorowski, D. Serdyuk, P. Brakel and Y. Bengio, “End-to-end attention-based large vocabulary speech recognition,” 2016 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) , 2016 .
[5] J. Redmon, S. Divvala, R. Girshick and A. Farhadi, “You Only Look Once: Unified, Real-Time Object Detection,” The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016, pp. 779-788.
[6] R. Girshick, J. Donahue, T. Darrell and J. Malik, “Region-Based Convolutional Networks for Accurate Object Detection and Segmentation,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 38, pp. 142–158, 2016.
[7] N. Akhtar and A. Mian, “Threat of Adversarial Attacks on Deep Learning in Computer Vision: A Survey,” IEEE Access, vol. 6, pp. 14410–14430, 2018.
[8] S.S. Liew, M. Khalil-Hani and R. Bakhteri, “Bounded activation functions for enhanced training stability of deep neural networks on visual pattern recognition problems,” Neurocomputing, vol. 216, pp. 718–734, 2016.
[9] Ö.F. Ertuğrul, “A novel type of activation function in artificial neural networks: Trained activation function,” Neural Networks, vol. 99, pp. 148–157, 2018.
[10] C.E. Nwankpa, W. Ijomah, A. Gachagan and S. Marshall, “Activation Functions: Comparison of Trends in Practice and Research for Deep Learning,” ArXiv e-prints, pp. 1-20, 2018.
[11] K. Hornik, “Approximation capabilities of multilayer feedforward networks,” Neural Networks, vol. 4, pp. 251–257, 1991.
[12] V. Nair and G.E. Hinton, “Rectified linear units improve restricted boltzmann machines,” In Proc. 27th International Conference on International Conference on Machine Learning, 2010, pp. 807–814.
[13] A.L. Maas and A.Y. Hannun, “Rectifier nonlinearities improve neural network acoustic models,” In Proc. International Conference on Machine Learning, 2013.
[14] K. He, X. Zhang, S. Ren and J. Sun, “Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification,” 2015 IEEE International Conference on Computer Vision (ICCV), 2015, pp. 1026-1034.
[15] D.A. Clevert, T. Unterthiner and S. Hochreiter, “Fast and accurate deep network learning by exponential linear units (elus),” International Conference on Learning Representations, 2016.
[16] L. Trottier, P. Giguere and B. Chaib-draa, “Parametric Exponential Linear Unit for Deep Convolutional Neural Networks,” 16th IEEE International Conference on Machine Learning and Applications (ICMLA), 2017, pp. 207-214.
[17] 张涛, 杨剑和宋文爱, “关于改进的激活函数TReLU的研究,” 小型微型计算机系统, vol.40, pp. 58-63, 2019.
[18] 许赟杰和徐菲菲, “基于ArcReLU函数的神经网络激活函数优化研究,” 数据采集与处理, vol.34, pp. 517-529, 2019.
[19] 骆训浩和李培华, “ 一种改进的基于幂线性单元的激活函数,” 计算机应用研究, vol. 36, pp. 3145-3147, 2019.
[20] H. Hu, “vReLU Activation Functions for Artificial Neural Networks,” 14th International Conference on Natural Computation, Fuzzy Systems and Knowledge Discovery (ICNC-FSKD), 2018, pp. 856-860.
[21] P. Ramachandran, B. Zoph and V.Q. Le, “Swish: a Self-Gated activation function,” arXiv: Neural and Evolutionary Computing, 2017.
Tải xuống
Tải xuống: 24
