代码收藏家 嵌入式硬件篇—CPU&GPU&TPU
文章目录
以上就是今天要讲的内容，本文仅仅介绍了CPU、GPU、TPU。
第一部分：处理器
CPU（中央处理器）
CPU，即Central Processing Unit，是计算机的核心组件，负责执行计算机程序中的指令，处理数据，控制硬件。以下是CPU的一些特点：
1.通用性
通用性：CPU设计为能够处理各种不同的任务，从简单的计算到复杂的逻辑操作。
2.核心数
核心数：现代CPU通常有多个核心，可以并行处理多个任务。
3.缓存
缓存：CPU内部有不同级别的缓存，用于快速访问常用数据。
4.指令集
指令集：CPU支持复杂的指令集，可以执行多种类型的操作。
5.功耗和发热
功耗和发热：CPU在执行复杂任务时功耗较高，发热也相对较大。
GPU（图形处理器）
GPU，即Graphics Processing Unit，最初是为图形渲染设计的，但现在在科学计算、机器学习等领域也广泛应用。
1.并行处理
并行处理：GPU包含大量的计算单元，擅长并行处理任务，如同时处理成千上万的像素数据。
2.核心数量
核心数量：GPU的核心数量远超CPU，但每个核心相对简单，适合执行简单的重复任务。
3.内存带宽
内存带宽：GPU通常具有高内存带宽，以支持大量的数据传输。
4.专门的应用
专门的应用：除了图形渲染，GPU在深度学习和其他需要大规模并行计算的场景中表现出色。
TPU（张量处理单元）
TPU，即Tensor Processing Unit，是Google专门为深度学习计算设计的ASIC（Application-Specific Integrated Circuit）。
1.为深度学习定制
为深度学习定制：TPU针对深度学习中的矩阵乘法和卷积运算进行了优化。
2.低精度计算
低精度计算：TPU在**低精度（如16位或8位）**计算上表现出色，这有助于提高能效和速度。
3.固定的功能
固定的功能：与CPU和GPU的通用性不同，TPU的功能更固定，专注于加速深度学习推断和训练。
4.内存和存储
内存和存储：TPU具有大量的内存和存储，以支持大规模的神经网络计算。
总结
CPU：适用于通用计算，能够处理各种复杂的任务和指令。
GPU：适用于需要大量并行处理的任务，如图形渲染和深度学习。
TPU：专门为深度学习设计，提供了针对特定类型计算的优化。
这三种处理器在现代计算系统中通常协同工作，以提供最佳的性能和效率。
第二部分：在Google Colab中使用TPU
启动TPU支持
启用TPU支持： 在Google Colab笔记本中，首先需要确保TPU已经连接。可以使用以下命令来连接TPU：
import os
assert os.environ['COLAB_TPU_ADDR'], 'Make sure to select TPU from Edit > Notebook settings > Hardware accelerator'
安装TensorFlow with TPU支持
安装TensorFlow with TPU支持： 使用以下命令安装与TPU兼容的TensorFlow版本：
!pip install cloud-tpu-client==0.10 https://storage.googleapis.com/tpu-pytorch/wheels/torch_xla-1.7-cp36-cp36m-linux_x86_64.whl
初始化TPU
初始化TPU： 使用以下代码来初始化TPU：
import torch_xla
import torch_xla.core.xla_model as xm
device = xm.xla_device()
编写模型和数据加载代码
编写模型和数据加载代码： 与使用GPU类似，你需要编写模型定义、损失函数、优化器以及数据加载的代码。确保模型和数据被移动到TPU设备上。
训练模型： 在训练循环中，确保使用TPU兼容的方式来进行前向和后向传播。例如：
model = MyModel().to(device)
loss_fn = torch.nn.CrossEntropyLoss()
optimizer = torch.optim.SGD(model.parameters(), lr=0.001)
for epoch in range(num_epochs):
for batch, (data, target) in enumerate(train_loader):
data, target = data.to(device), target.to(device)
optimizer.zero_grad()
output = model(data)
loss = loss_fn(output, target)
loss.backward()
optimizer.step()
在Google Cloud TPU中使用TPU
创建TPU资源
创建TPU资源： 在Google Cloud Console中创建一个TPU节点。
设置环境
设置环境： 在你的虚拟机中设置TPU相关的环境变量，例如：
export TPU_NAME=[your-tpu-name]
export TPU_ZONE=[your-tpu-zone]
export TPU_PROJECT=[your-gcp-project-id]
安装TensorFlow
安装TensorFlow： 确保安装了与TPU兼容的TensorFlow版本：
pip install tensorflow==[version]
连接TPU
连接到TPU： 在你的Python代码中，使用以下代码来连接到TPU：
import tensorflow as tf
tpu = tf.distribute.cluster_resolver.TPUClusterResolver(tpu='')
tf.config.experimental_connect_to_cluster(tpu)
tf.tpu.experimental.initialize_tpu_system(tpu)
strategy = tf.distribute.experimental.TPUStrategy(tpu)
编写并运行代码
编写并运行模型： 使用strategy.scope()来确保你的模型和训练代码在TPU上运行：
with strategy.scope():
# Define your model, loss, and optimizer
model = ...
loss_fn = ...
optimizer = ...
# Train your model
for epoch in range(num_epochs):
for batch in train_dataset:
# Training steps
请注意，TPU的使用可能需要一些特定的代码调整，以确保你的模型和数据管道与TPU兼容。在使用TPU时，还需要注意资源管理和成本控制。
第三部分：TPU处理数据
1. 使用tf.data API
TensorFlow的tf.data API可以高效地加载、预处理和批处理数据。
a. 创建数据集
import tensorflow as tf
#假设train_images和train_labels是已经加载的数据
train_dataset = tf.data.Dataset.from_tensor_slices((train_images, train_labels))
b. 预处理数据
def preprocess(image, label):
# 对图像和标签进行预处理
image = tf.image.resize(image, [224, 224])
image = tf.cast(image, tf.float32) / 255.0
return image, label
train_dataset = train_dataset.map(preprocess)
c. 批处理和预取
train_dataset = train_dataset.batch(128) # TPU通常使用较大的批量大小
train_dataset = train_dataset.prefetch(tf.data.experimental.AUTOTUNE)
2. 使用TPU分布式策略
当使用TPU时，应确保数据集与TPU的分布式策略兼容。
resolver = tf.distribute.cluster_resolver.TPUClusterResolver(tpu='')
tf.config.experimental_connect_to_cluster(resolver)
tf.tpu.experimental.initialize_tpu_system(resolver)
strategy = tf.distribute.experimental.TPUStrategy(resolver)
#使用策略的scope来创建模型和数据集
with strategy.scope():
train_dataset = strategy.experimental_distribute_dataset(train_dataset)
3. 使用交错读取（Interleave）
交错读取可以同时从多个文件中读取数据，这可以显著提高I/O效率。
def parse_function(proto):
# 解析TFRecord文件中的示例
return tf.io.parse_single_example(proto, features)
#假设file_pattern是TFRecord文件的通配符
files = tf.data.Dataset.list_files(file_pattern)
dataset = files.interleave(
lambda filename: tf.data.TFRecordDataset(filename).map(parse_function),
cycle_length=4, # 并行读取的文件数
block_length=16 # 每个文件读取的记录数
)
4. 使用缓存
如果数据集可以放入内存，可以在预处理后缓存数据集，以避免在每次epoch时重新读取数据。
train_dataset = train_dataset.cache()
5. 使用重复数据集
为了进行多次迭代，可以使用repeat方法。
train_dataset = train_dataset.repeat()
6. 使用优化器
使用tf.data API的优化器来自动调整数据加载的性能。
options = tf.data.Options()
options.experimental_optimization.autotune = True
train_dataset = train_dataset.with_options(options)
总结
在TPU上训练时，数据处理的关键是确保数据加载和预处理不会成为瓶颈。使用tf.data API的上述技术可以帮助你有效地利用TPU的计算能力，从而加速模型的训练过程。记住，批量大小、数据预处理和I/O操作都是需要根据具体情况调整的重要参数。
总结
以上就是今天要讲的内容，本文仅仅简单介绍了CPU、GPU、TPU。
作者：Ronin-Lotus
