Tensorflow的DataSet的使用详解

Dataset类是TensorFlow非常流行的存储数据的格式。常用来作为输入输出。data模块主要的用途就是通过这种方法创建Dataset。

Dataset使用过程中的一些心得：

经常将自变量X数据以及target数据以元组的形式包裹，如db_train=tf.data.Dataset.from_tensor_slices((x_train,y_train))，创建Dataset。模型的fit()方法可以自动的解包。

Dataset开发者_开发教程能够包括比较灵活的类型，比如db_train=tf.data.Dataset.from_tensor_slices(({"features":features_train,"biomass_start":biomass_start_trarin},y_train))。因为数据最外部依然是最外部包裹，所以model的fit()依然可以自动的对x以及target解包。但由于dataset保存component是以原始数据的形式保存的。所以，fit()里的inputs一般是这个样子：

{'features': <tf.Tensor 'my_rnn/Cast_1:0' shape=(None, 5, 4) dtype=float32>, 'biomass_start': <tf.Tensor 'my_rnn/Cast:0' shape=(None, 1) dtype=float32>}

对于字典内部部分，需要手动的自己解包。这样的好处是，给我们自定义模型的结构提供的很大的遍历，输入一部分导入A网络，一部分导入不同的B网络。

Dataset作为模型的输入，需要设定BATch(编程客栈)。而不在模型内设定batch。更加方便。然而Dataset作为迭代器，迭代完成后再次迭代数据，生成数据的前后数据是不一样的。需要注意。

batch的drop_remainder=True参数比较重要，只有设定为True，input接下来的层还能正确的识别shape

Dataset的常用属性

Datahttp://www.devze.comset.element_spec

这个属性可以检测每一个元素中的component的类型。返回的是一个tf.TypeSpec对象。这个对象的结构跟元素的结构是一致的。

dataset1 = tf.data.Dataset.from_tensor_slices(tf.random.uniform([4, 10]))

dataset1.element_spec
#TensorSpec(shape=(10,), dtype=tf.float32, name=None)
dataset2 = tf.data.Dataset.from_tensor_slices(
 (tf.random.uniform([4]),
  tf.random.uniform([4, 100], maxval=100, dtype=tf.int32)))

dataset2.element_spec
# 标量和向量
# (TensorSpec(shape=(), dtype=tf.float32, name=None),
#TensorSpec(shape=(100,), dtype=tf.int32, name=None))
dataset = tf.data.Dataset.from_tensor_slices(([1, 2], [3, 4], [5, 6]))
dataset.element_spec
#(TensorSpec(shape=(), dtype=tf.int32, name=None),
# TensorSpec(shape=(), dtype=tf.int32, name=None),
# TensorSpec(shape=(), dtype=tf.int32, name=None))

# 注意这里是字典类型
dataset = tf.data.Dataset.from_tensor_slices({"a": [1, 2], "b": [3, 4]})
dataset.element_spec
#{'a': TensorSpec(shape=(), dtype=tf.int32, name=None),
# 'b': TensorSpec(shape=(), dtype=tf.intphp32, name=None)}

Dataset的常用方法

apply方法

对dataset进行转换。

dataset = tf.data.Dataset.range(100)
def dataset_fn(ds):
  return ds.filter(lambda x: x < 5)
dataset = dataset.apply(dataset_fn)
list(dataset.as_numpy_iterator())

as_numpy_iterator

dataset = tf.data.Dataset.from_tensor_slices([1, 2, 3])
for element in dataset.as_numpy_iterator():
  print(element)

这个在dataset比较常用。就是将dataset变成迭代器，将所有元素都变成numy对象输出

shuffle

shuffle(
    buffer_size, seed=None, reshuffle_each_iteration=None, name=None
)

参数：

• buffer_size：缓冲区大小
• seed：随机种子
• reshuffle_each_iteration：bool. 如果为真，表示每次迭代时数据集完成后都应该是进行伪随机重新洗牌的。控制每个epoch的洗牌顺序是否不同。

这个方法用来随机打乱数据集的元素顺序。数据集用buffer_size元素填充一个缓冲区，然后从这个缓冲区随机取样元素，用新元素替换选中的元素。例如，如果您的数据集包含10,000个元素，但是buffer_size被设置为1,000，那么shuffle将首先从缓冲区中的前1,000个元素中选择一个随机元素。一旦一个元素被选中，它在缓冲区中的空间就会被下一个(比如第1001个)元素替换，从而保持这个1,000元素缓冲区。为了实现完美的洗牌，需要一个大于或等于数据集完整大小的缓冲区。

dataset = tf.data.Dataset.range(3)
# 每个每个epoch重新洗牌
dataset = dataset.shuffle(3, reshuffle_androideach_iteration=True)
list(dataset.as_numpy_iterator())
# [1, 0, 2]
list(dataset.as_numpy_iterator())
# [1, 2, 0]
dataset = tf.data.Dataset.range(3)
# 每个每个epoch不重新洗牌
dataset = dataset.shuffle(3, reshuffle_each_iteration=False)
list(dataset.as_numpy_iterator())
# [1, 0, 2]
list(dataset.as_numpy_iterator())
# [1, 0, 2]

batch

batch(
    batch_size,
    drop_remainder=False,
    num_parallel_calls=androidNone,
    deterministic=None,
    name=None
)

参数:

• batch_size: 批处理大小
• drop_remainder：是否删除最后一个短batch。==这个比较重要，只有设定为Ture，model才能正确的判断其输入的shape。==这也比较合理，指定为Falsel，因为谁也不知道后面是不是有一个比较短的batch，只有第一维是None，才能提高程序的稳定性。
• num_parallel_calls：并行计算的数量。不指定会顺序执行。如果有 tf.data.AUTOTUNE，会自动动态的制定这个值。
• deterministic：bool. 指定了num_parallel_calls，才有效。如果设置为False，则允许转换产生无序元素，以牺牲确定性来换取性能。如果不指定，tf.data.Options.deterministic控制这个行为（默认为True）
• name: 标识符

这个方法经常使用，将dataset进行批处理化。因为数据集比较大的时候，一下子完全进行训练占用大量的内存。所以用分批处理。输出的元素增加了一个额外的维度，就是batch维，shape是batch的size.

batch支持一个drop_remainder=True关键字，为真意味着，最后一个batch的size如果小于我们指定值，就会被舍弃。

之所以要删掉最后一个短的batch，是因为如果我们的项目依赖这个batch的size，那最后一个batch不等长，可能会出错。

import tensorflow as tf
from tensorflow.python.data import Dataset

dataset = tf.data.Dataset.range(8)
dataset = dataset.batch(3)
print(list(dataset.as_numpy_iterator()))
# 通过这个看到这个elem也已经是分批了
for elem in dataset:
  print(elem)

# tf.Tensor([0 1 2], shape=(3,), dtype=int64)
# tf.Tensor([3 4 5], shape=(3,), dtype=int64)
# tf.Tensor([6 7], shape=(2,), dtype=int64)

for elem in dataset.as_numpy_iterator():
  print(elem)

# [0 1 2]
# [3 4 5]
# [6 7]
dataset = tf.data.Dataset.range(8)
# drop_remainder舍掉最后一个长度不够的batch
dataset = dataset.batch(3, drop_remainder=True)
list(dataset.as_numpy_iterator())

一般情况下，shuffle跟batch是连续使用的，实现随机读取并批量处理数据：dataset.shuffle(buffer_size).batch(batchsize)

不能对已经batch的dataset进行连续的batch操作，其batchsize不会改变，而是生成了新的异常数据

unbatch

unbatch(
    name=None
)

这里是将Batchdataset这样的dataset分割为一个个元素，元素的格式跟定义时的格式是一样的。而且，这里固定的是对第1个维度进行split操作，且生成shape[0]个元素。

reduce方法

reduce(
    initial_state, reduce_func, name=None
)

将输入数据集简化为一个元素。 reduce_func作用于dataset中每一个元素，输出其dataset的聚合信息。

参数initial_state代表进行reduce之前的初始状态。reduce_func要接收old_state, input_element两个参数，然后生成新的状态newstate。old_state和new_state的结构要一致。

dataset = tf.data.Dataset.from_tensor_slices([8, 3, 0, 8, 2, 1])
print(dataset.reduce(0, lambda state, value: state + value).numpy())
# 22

dataset不支持tf.split属性，也不能直接把dataset给切分为训练集和测试集。

到此这篇关于Tensorflow的DataSet的使用详解的文章就介绍到这了,更多相关Tensorflow DataSet内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！