全球彩票平台_全球彩票注册平台|官网下载地址

热门关键词: 全球彩票平台,全球彩票注册平台,全球彩官网下载地址

学习笔记TF025

读书笔记TF025:自编码器

价值观机器学习重视非凡的特点工程。深度学习化解有效特征难人工提取难题。无监控学习,无需标记数据,学习数据内容组织情势,提取频仍出现特点,逐层抽象,从轻易到复杂,从微观到宏观。

稀疏编码(Sparse Coding),基本结构构成。自编码器(AutoEncoder),用自己高阶特征编码本身。期望输入/输出一致,使用高阶特征重构本人。

Hinton教师在Science宣布作品《Reducing the dimensionality of data with neural networks》,讲授自编码器降维数据。基于深度信念网络(Deep Belief Networks,DBN,多层 RBN堆放),无监督逐层锻炼贪心算法,逐层提取特征,极深网络权重开首化到较好地点,扶助监督磨炼。

1?限制中间含有层节点数量,降维。中间含有层权重加L1正则,依照惩罚周密调控隐含节点荒芜程度,惩罚周全越大,学到特征结合越荒废,实际运用(非零权重)特征数据越少。
2?数据到场噪声,Denoising AutoEncoder(去噪自编码器),从噪声学习数据特征。学习数据频仍现身形式组织,略去无规律噪声。加性高斯噪声(Additive Gaussian Noise,AGN)。Nasking Noise,随机遮挡噪声,部分图像像素置0,从任何像素结构推测被遮挡像素。

一隐含层自动编码器类似主成分解析(PCA)。Hinton DBN 多少个满含层,每种隐含层是限制性玻尔兹曼机 RBM(Restricted Bltzman Machine,特殊连接遍布神经互联网)。先对每两层无监察和控制预磨炼(pre-training),多层自编码器,互连网权重最初化到能够布满。通过反向传来算法调解模型权重,使用经过标明音讯做监督分类练习。化解梯度弥散(Gradient vanishment)。

去噪自编码器使用限制最广最通用。无噪音自编码器,去掉噪声,保障隐含层节点小于输入层节点。Masking Noise自编码器,高斯噪声改为随机遮挡噪声。Variational AutoEncoder(VAE),对中等节点布满强假设,有极其损失项,用特有SGVB(Stochastic Gradient Variational Bayes)算
法训练。

发轫入常用库NumPy,Scikit-lean preprocessing模块(数据预管理、规范化)。MNIST数据加载模块。

Xavier initialization 参数初步化方法,根据网络输入、输出节点数量自动调解最合适布满。Xaiver Glorot和Yoshua Bengio提议,深度学习模型权重初阶化太小,随机信号在每层传递渐渐减弱,失效;初叶化太大,逐步松开,发散、失效。Xavier初步化器,权重满足0均值,方法为2/(nin nout),遍布用均匀分布或高斯布满。tf.random_uniform创设均匀遍及,fan_in输入节点数量,fan_out输出节点数量。

去噪自编码类,初始化函数__init__()。输入,n_input(输入变量数),n_hidden(隐含层节点数),transfer_function(隐含层激活函数,默许softplus),optimizer(优化器,暗中认可Adam),scale(高斯噪声周详,暗中同意0.1)。

互连网布局,输入x创制维度n_input placeholder。营造提取特征隐含层,输入x加噪声self.x scale*tf.random_normal((n_input,)),tf.matmul相乘噪声输入和带有层权重,tf.add加隐含偏置,self.transfer结果激活函数。输出层数据苏醒、重新塑造,创设reconstruction层,隐含层输出self.hidden乘输出层权重,加输出层偏置。

自编码器损失函数,平方引用误差(Squared Error)作cost,tf.subtract计算输出(self.reconstruction)与输入(self.x)差,tf.pow求差平方,tf.reduce_sum求和。优化器self.optimizer优化损失self.cost。成立Session,开头化自编码器全人体模型子参数。

参数初叶化函数_initialize_weights,创建all_weights字典dict,权重、偏置存入,重回all_weights。隐含层权重用xavier_init函数开端化,传入输入节点数、隐含层节点数,xavier再次回到适合softplus激活函数权重初阶遍及。隐含层偏置用tf.zeros全体置0。输出层self.reconstruction,权重、偏置都置为0。

函数partial_fit用batch数据陶冶再次来到当前损失cost。Session奉行损失cost、磨练进度optimizer总结图节点,输入feed_dict包涵输入数据x,噪声周到scale。

求损失cost函数calc_total_cost,Session施行总结图节点self.cost,传入输入数据x,噪声周密scale,在测量检验集评测模型质量。

Transform函数,重临自编码器隐含层输出结果。提供获取抽象特征,自编码器隐含层最入眼功用是上学出多少高阶特征。

Generate函数,隐含层输出结果为输入,复原重新建立层提取高阶特征为本来数据。

Reconstruct函数,全部运转复原进程,提取高阶特征,再回复数据,transform和generate,输入原始数据,输出复原数据。

GetWeights函数获取隐含层权重。

GetBiases函数获取隐含层偏置全面。

TensorFlow读取示例数据函数输入MNIST数据集。

概念磨练、测量检验数据规范管理函数。规范化,数据造成0均值且专门的学问差1的遍及。先减去均值,再除以规范差。sklearn.preprossing StandardScaler 类,磨炼集上fit,在练习多少和测验数据上必需用同样的Scaler。

获得随机block数据函数,取从0到len(data)-batch_size随机整数,作为block起初地方,顺序取batch size数据,不放回抽样。

用standard_scale函数典型化沟通演习集和测验集。

概念总操练样本数,最大练习轮数(epoch)20,batch_size 128,每隔一轮(epoch)展现贰回损失cost。

创造AGN自编码器实例,定义模型输入节点数n_input 784,自编码器隐含节点数n_hidden 200,隐含层激活函数transfer_function softplus,优化器optimizer Adam,学习速率 0.001,噪声全面scale 0.001。

每一轮循环初叶,平均损失avg_cost设0,总结总共供给batch数(样本总的数量除batch大小),不放回抽样,不能够保险各类样本都被抽到参预演习。种种batch循环,用get_random_block_from_data函数随机抽取block数据,用partial_fit练习batch数据,总结当前cost,整合到avg_cost。每轮迭代显示当前迭代数和本轮平均cost。

质量测量试验,用cal_total_cost测量检验测量检验集X_test,评价指标平方零值误差。

import numpy as np
import sklearn.preprocessing as prep
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
def xavier_init(fan_in, fan_out, constant = 1):
low = -constant * np.sqrt(6.0 / (fan_in   fan_out))
high = constant * np.sqrt(6.0 / (fan_in   fan_out))
return tf.random_uniform((fan_in, fan_out),
minval = low, maxval = high,
dtype = tf.float32)
class AdditiveGaussianNoiseAutoencoder(object):
def __init__(self, n_input, n_hidden, transfer_function = tf.nn.softplus, optimizer = tf.train.AdamOptimizer(),
scale = 0.1):
self.n_input = n_input
self.n_hidden = n_hidden
self.transfer = transfer_function
self.scale = tf.placeholder(tf.float32)
self.training_scale = scale
network_weights = self._initialize_weights()
self.weights = network_weights
# model
self.x = tf.placeholder(tf.float32, [None, self.n_input])
self.hidden = self.transfer(tf.add(tf.matmul(self.x   scale * tf.random_normal((n_input,)),
self.weights['w1']),
self.weights['b1']))
self.reconstruction = tf.add(tf.matmul(self.hidden, self.weights['w2']), self.weights['b2'])
# cost
self.cost = 0.5 * tf.reduce_sum(tf.pow(tf.subtract(self.reconstruction, self.x), 2.0))
self.optimizer = optimizer.minimize(self.cost)
init = tf.global_variables_initializer()
self.sess = tf.Session()
self.sess.run(init)
def _initialize_weights(self):
all_weights = dict()
all_weights['w1'] = tf.Variable(xavier_init(self.n_input, self.n_hidden))
all_weights['b1'] = tf.Variable(tf.zeros([self.n_hidden], dtype = tf.float32))
all_weights['w2'] = tf.Variable(tf.zeros([self.n_hidden, self.n_input], dtype = tf.float32))
all_weights['b2'] = tf.Variable(tf.zeros([self.n_input], dtype = tf.float32))
return all_weights
def partial_fit(self, X):
cost, opt = self.sess.run((self.cost, self.optimizer), feed_dict = {self.x: X,
self.scale: self.training_scale
})
return cost
def calc_total_cost(self, X):
return self.sess.run(self.cost, feed_dict = {self.x: X,
self.scale: self.training_scale
})
def transform(self, X):
return self.sess.run(self.hidden, feed_dict = {self.x: X,
self.scale: self.training_scale
})
def generate(self, hidden = None):
if hidden is None:
hidden = np.random.normal(size = self.weights["b1"])
return self.sess.run(self.reconstruction, feed_dict = {self.hidden: hidden})
def reconstruct(self, X):
return self.sess.run(self.reconstruction, feed_dict = {self.x: X,
self.scale: self.training_scale
})
def getWeights(self):
return self.sess.run(self.weights['w1'])
def getBiases(self):
return self.sess.run(self.weights['b1'])

mnist = input_data.read_data_sets('MNIST_data', one_hot = True)
def standard_scale(X_train, X_test):
preprocessor = prep.StandardScaler().fit(X_train)
X_train = preprocessor.transform(X_train)
X_test = preprocessor.transform(X_test)
return X_train, X_test
def get_random_block_from_data(data, batch_size):
start_index = np.random.randint(0, len(data) - batch_size)
return data[start_index:(start_index   batch_size)]
X_train, X_test = standard_scale(mnist.train.images, mnist.test.images)
n_samples = int(mnist.train.num_examples)
training_epochs = 20
batch_size = 128
display_step = 1
autoencoder = AdditiveGaussianNoiseAutoencoder(n_input = 784,
n_hidden = 200,
transfer_function = tf.nn.softplus,
optimizer = tf.train.AdamOptimizer(learning_rate = 0.001),
scale = 0.01)
for epoch in range(training_epochs):
avg_cost = 0.
total_batch = int(n_samples / batch_size)
# Loop over all batches
for i in range(total_batch):
batch_xs = get_random_block_from_data(X_train, batch_size)
# Fit training using batch data
cost = autoencoder.partial_fit(batch_xs)
# Compute average loss
avg_cost  = cost / n_samples * batch_size
# Display logs per epoch step
if epoch % display_step == 0:
print("Epoch:", 'd' % (epoch   1), "cost=", "{:.9f}".format(avg_cost))
print("Total cost: "   str(autoencoder.calc_total_cost(X_test)))

仿效资料:
《TensorFlow实践》

应接付费咨询(150元每时辰),小编的微信:qingxingfengzi

守旧机器学习重视特出的特色工程。深度学习化解有效特征难人工提取难题。无监督学习,无需注脚数据,学习数...

本文由全球彩票平台发布于全球彩官网下载地址Web前端,转载请注明出处:学习笔记TF025

TAG标签: 全球彩票平台
Ctrl+D 将本页面保存为书签,全面了解最新资讯,方便快捷。