tf.map_fn

阅读量：700 次

发布时间：2019-03-17

本文共 3597 字，大约阅读时间需要 11 分钟。

TensorFlow中的tf.map_fn函数：高效处理嵌套数据

TensorFlow中的tf.map_fn函数是处理嵌套数据和应用 hàm弓.Nil Mukherjee、Pooja Surana

在TensorFlow中，tf.map_fn函数是一个强大的工具，用于按元素或嵌套结构应用可调用函数。它特别适合处理嵌套数据结构，如列表或元组。通过这篇指南，你将了解如何有效地使用tf.map_fn来处理你的数据。

什么是`tf.map_fn`？

tf.map_fn函数的主要目的是将一个可调用函数应用到一系列元素上。如果元素本身是一个嵌套结构，函数同样知道如何处理这些嵌套结构。这使得它非常适合机器学习和深度学习中的数据预处理任务。

示例

让我用一个简单的例子来表达：

import tensorflow as tf
# 假设elems是形状为(32, 13)的矩阵
battery_tempatures = tf.constant([36.0, 35.0, 37.0], shape=(3,1))
# 定义一个函数，将温度乘以2
multiply_by_two = lambda x: x * 2
# 应用这个函数到每个样本
result = tf.map_fn(
    multiply_by_two,
    battery_tempatures,
    dtype=tf.float32
)
print(result.numpy())
# 输出：[[72.], [70.], [74.]]

在这个例子中，tf.map_fn将每个样本（即每一列）乘以2，结果就是每个样本被放大后的值。

如何处理嵌套数据？

tf.map_fn特别适合处理嵌套数据。例如，如果你有一个列表，其中每个元素都是一个嵌套结构，可以用tf.map_fn来递归处理。

示例

假设elems是这样的一个嵌套结构：

elems = [
    [1, 2, 3],      # 第一张样本
    [4, 5, 6],      # 第二张样本
    [[7, 8], [9, 10]] # 第三张样本是一个子列表
]

定义一个函数来处理这些嵌套样本：

max_in_sample = lambda sample: max(sample)

然后使用tf.map_fn来应用这个函数到每个样本：

result = tf.map_fn(
    max_in_sample,
    elems,
    dtype=tf.float32
)
print(result.numpy())
# 输出：[3, 6, 10]

这个结果是每个样本的最大值。

定义函数的参数和输出

tf.map_fn函数有以下参数：

必选参数：

fn：一个可调用函数，接收一个参数，其参数形状和嵌套结构与elems一致。

elems：一个Tensor或嵌套列表，表示要应用函数的元素。

可选参数：

dtype：返回函数的数据类型。如果函数返回的结构与elems不同，dtype是必须的。

parallel_iterations：并行迭代的次数，默认为10。

swap_memory：在GPU和CPU之间交换内存。

infer_shape：如果设置为False，将跳过形状推断。

name：结果 tensors 的前缀名称。

返回值

tf.map_fn返回一个Tensor或嵌套列表，其形状是通过应用函数到每个元素得到的。

注意事项

图执行与反向传播：如果需要进行反向传播，确保函数是可导的。通常使用tf.custom_background。

性能优化：在图上，parallel_iterations可以提高性能。但在主动执行模式下，只能设置为1。

可序列化函数：确保你的函数是可序列化的，因为TensorFlow需要将其转化为图。

如何处理结果数据类型？

如果fn的输出结构与elems不同，需要指定dtype。例如，如果函数返回一个嵌套结构，dtype应是一个嵌套元组，指定每个输出 tensor 的数据类型。

示例

# 定义一个函数，将温度保持不变，同时增加尺寸
custom_op = lambda x: (x * 2, x * 3)
# 假设battery_tempatures是一个嵌套结构
# battery_tempatures = tf.constant([36.0, 35.0, 37.0], shape=(3,1))
result = tf.map_fn(
    custom_op,
    battery_tempatures,
    dtype=(tf.float32, tf.float32)
)
print(result.numpy())
# 输出：[[72., 70.], [144., 210.], [744., 1110.]]

这样，result将是一个嵌套结构，包含两个Tensors，分别对应原始温度的两倍和三倍。

常见错误及其解决方法

销售错误：无法匹配函数输出结构

原因：

函数输出的结构与指定的dtype不匹配，或者输出的数量和dtype不一致。

解决方法：

确保函数输出的结构与dtype一致。

使用tfDataType或手动定义元组。

错误：无法序列化函数

原因：

函数可能包含不可序列化的Python对象，例如lambda函数。

解决方法：

将 Lambda 函数转换为嵌套的定义式函数。

使用 Python 的functools.wraps装饰器确保函数是可序列化的。

错误：长度不符

原因：

函数输出的 tensor 数量与dtype不匹配。

解决方法：

确保输出的 tensor 数量与dtype一致。

使用tf shapes获取输出的形状，并验证数量。

示例：处理稀疏Tensors

在某些应用中，使用稀疏Tensors可能更高效。tf.map_fn可以处理稀疏Tensor，但需要注意以下几点：

稀疏索引：使用tf.map_fn时，默认会启用稀疏索引。

性能影响：稀疏操作通常比密集操作慢，但在内存有限的情况下仍然有用。

数据类型支持：稀疏Tensors 必须是浮点数类型。

示例

# 假设sparse_input是一个稀疏索引的Tensor
sparse_input = tf.sparse索引矩阵
result = tf.map_fn(
    lambda x: x * 2,
    sparse_input.values,
    dtype=tf.float32
)
print(result.numpy())

示例：处理多个元素

如果有多个元素，函数可以接受多种结构化输入。例如：

elems = [
    [1, 2, 3],
    [4, 5, 6],
    [7, 8, 9],
]
fn = lambda x: sum(x)
result = tf.map_fn(
    fn,
    elems,
    dtype=tf.float32
)
print(result.numpy())
# 输出：[6, 15, 24]

这表明，当函数接受一个嵌套列表时，可以递归应用它。

性能考虑

并行迭代：默认为10，可以设置更高的值以并行化部分操作。

主动执行模式：在eager mode下，默认为1，无法并行化。

内存交换：在设置swap_memory=True时，可以节省GPU内存。

™：如何优化性能

示例中的函数定义

在实际应用中，可能需要复杂的函数定义：

def my_custom_fn(some_input):
    return {
        '_attribute1': some_input.attribues,
        'attribute2': some_input.alterattribute,
        'attribute3': some_input.third_attribute
    }

确保这个函数可以被正确序列化，并且返回的结构与dtype一致。