简单写个logictic回归

最近做华为软件精英挑战赛热身赛，给出的demo是使用logistic做的金融风控，比赛要求很严格，如果使用Python 进行训练那么不能使用任何第三方机器学习库，只能使用Python和原生numpy1.17。所以就萌生了写一遍原生logistic回归的想法。

数学公式

logistic回归的数学公式很简单，就是以下几个：
$z^{(i)}=w^Tx^{(i)}+b$
$\hat{y^{(i)}}=sigmoid(z^{(i)})$
$l(a^{(i)},y^{(i)}) =-y^{(i)}log(a^{(i)})-(1-y^{(i)})log(1-a^{(i)})$
$J =\frac{1}{m}\sum_{i=1}^ml(a^{(i)},y^{(i)})$
我们就可以根据这些数学公式建立网络模型了。

编程实现

定义z函数

1
2
3

def z(w, x, b):
    z = np.dot(w.T, x) + b
    return z

定义sigmoid函数

1
2
3

def sigmod(z):
    s = 1 / (1 + np.exp(-z))
    return s

初始化参数w和b

def initialize(n):
    """
    此函数为w创建一个维度为（n，1）的0向量，并将b初始化为0。
    参数：
    n - 我们想要的w矢量的大小（或者这种情况下的参数数量）
    返回：
    w - 维度为（n，1）的初始化向量。
    b - 初始化的标量（对应于偏差）
    """
    w = np.zeros(shape=(n, 1))
    b = 0
    return (w, b)

实现目标函数计算误差反向传播

def j(w, b, X, Y):
    m = X.shape[1]
    A = sigmod(z(w, X, b))
    J = (- 1 / m) * np.sum(Y * np.log(A) + (1 - Y) * (np.log(1 - A)))
    dw = (1 / m) * np.dot(X, (A - Y).T)
    db = (1 / m) * np.sum(A - Y)
    return (dw,db)

梯度下降更新参数，这里使用批处理梯度下降
$\theta = \theta - \alpha \text{ } d\theta$

def optimize(w, b, X, Y, num_iterations, learning_rate, print_cost=False):
    costs = []
    for i in range(num_iterations):
        dw, db, cost = j(w, b, X, Y)
        w = w - learning_rate * dw
        b = b - learning_rate * db
        # 记录成本
        if i % 100==0:
            costs.append(cost)
        # 打印成本数据
        if (print_cost) and (i % 100==0):
            print("迭代的次数: %i ， 误差值： %f" % (i, cost))
    params = {
        "w": w,
        "b": b}
    grads = {
        "dw": dw,
        "db": db}
    return (params, grads, costs)

本文采用署名-非商业性使用-相同方式共享 4.0 国际许可协议，转载请注明出处。