[TF.6]正则化Regularization
模型选择的典型方法是正则化(Regularization)，正则化是结构风险最小化策略的视线，是在经验风险上加一个正则化项(regularizer)或罚项(penalty term)，正则化项一般是模型复杂度的单调递增函数，模型越复杂，正则化值就越大。 —————《统计学习方法》李航 L0正则化 L0范数是指向量中非0的元素的个数，很难优化求解（NP难问题） L1正则化 L1范数是L0范数的最优凸近似，而且它比L0范数要容易优化求解。L1正则化根据权重的绝对值的总和来惩罚权重。在依赖稀疏特征的模型中，L1 正则化有助于使不相关或几乎不相关的特征的权重正好为 0，从而将这些特征从模型中移除，有助于减小模型。但如果正则化率过高，该模型便不能收敛，损失也会很高。 L2正则化 L2正则化根据权重的平方和来惩罚权重。L2 正则化有助于使离群值（具有较大正值或较小负值）权重接近于 0，但又不正好为 0。在线性模型中，L2 正则化始终可以改进泛化，有助于防止过拟合。 工程化 正则化代码 正则化会降低训练速度 # FtrlOptimizer 是一种使用L1正则化的方法，能比标准梯度下降法得到更好结果 my_optimizer = tf.train.FtrlOptimizer(learning_rate=learning_rate, **l1_regularization_strength=regularization_strength**) my_optimizer = tf.contrib.estimator.clip_gradients_by_norm(my_optimizer, 5.0) 计算模型大小 #该函数深入使用了 Estimator API def model_size(estimator): variables = estimator.get_variable_names() size = 0 for variable in variables: if not any(x in variable for x in [‘global_step’, ‘centered_bias_weight’, ‘bias_weight’, ‘Ftrl’] ): size += np.count_nonzero(estimator.get_variable_value(variable)) return size