深入解析 Python tqdm 进度条使用方法

文章目录

tqdm 是 Python 进度条库，可以在 Python 长循环中添加一个进度提示信息。用户只需要封装任意的迭代器，是一个快速、扩展性强的进度条工具库。

1. 语法

1.1 tqdm 参数

tqdm(iterable=None, desc=None, total=None, leave=True, file=None,
     ncols=None, mininterval=0.1, maxinterval=10.0, miniters=None,
     ascii=None, disable=False, unit='it', unit_scale=False,
     dynamic_ncols=False, smoothing=0.3, bar_format=None, initial=0,
     position=None, postfix=None, unit_divisor=1000, write_bytes=None,
     lock_args=None, nrows=None, colour=None, delay=0, gui=False,
     **kwargs):

这些参数为相对比较常用的参数，并且全部都是可选参数(optional)；在自定义进度条当中比较重要的的一个参数为：bar_format，用于定义进度条的具体格式，所包含的具体数据信息；

1.2 bar_format

下面主要介绍这个参数的具体用法；

100%|█████████████████| 3/3 [00:03<00:00, 1.00s/it]

percentage:百分比
n_fmt：当前数
total_fmt：总数
elapsed：消耗的时间
remaining：剩余时间
rate_fmt：速率
postifx：后缀字典描述
desc: 前缀字符串描述
desc、postfix默认为空；

for item in tqdm(data, desc="Processing", bar_format="{l_bar}{bar}| {n_fmt}/{total_fmt} [{elapsed}<{remaining}, {rate_fmt}{postfix}]"):
    # 在这里添加你的代码

案例

yolov8 代码中将tqdm中的bar_format进行了设置，没有使用原有的bar_format格式， 简化了显示内容。

TQDM_BAR_FORMAT = "{l_bar}{bar:10}{r_bar}" if VERBOSE else None

基于新的bar_format格式，重新封装了tqdm，代码如下

from tqdm import tqdm as tqdm_original
class TQDM(tqdm_original):
    def __init__(self, *args, **kwargs):
        """Initialize custom Ultralytics tqdm class with different default arguments."""
        # Set new default values (these can still be overridden when calling TQDM)
        kwargs["disable"] = not VERBOSE or kwargs.get("disable", False)  # logical 'and' with default value if passed
        kwargs.setdefault("bar_format", TQDM_BAR_FORMAT)  # override default value if passed
        super().__init__(*args, **kwargs)

pbar = TQDM(enumerate(self.train_loader), total=nb)

2. 基本用法

2.1 指定可迭代对象

传入迭代器对象(iterable), 默认迭代次数为:len(iterable),：

import time
from tqdm import *
for i in tqdm(range(1000)):
    time.sleep(.01)   #进度条每0.01s前进一次，总时间为1000*0.01=10s 

# 运行结果如下
100%|██████████| 1000/1000 [00:10<00:00, 93.21it/s]  

2.2 指定迭代次数

如果没有传入可迭代对象，可以使用total指定迭代总数，并配合update手动更新进度条

from tqdm import tqdm
import time

pbar = tqdm(total=200) # 设置总长度
for i in range(100):
    time.sleep(0.05)
    # 每次更新进度条的长度
    pbar.update(1) # 相当于在当前长度的基础上 +1 的操作

pbar.close()

2.3 设置显示信息

2.3.1 设置进度条前缀(左侧)信息

s = ('%20s' + '%11s' * 6) % ('Class', 'Images', 'Labels', 'P', 'R', 'mAP@.5', 'mAP@.5:.95')
pbar = tqdm(dataloader, desc=s, bar_format='{l_bar}{bar:10}{r_bar}{bar:-10b}')
for batch_i, (im, targets, paths, shapes) in enumerate(pbar):
	pass

等价于:

s = ('%20s' + '%11s' * 6) % ('Class', 'Images', 'Labels', 'P', 'R', 'mAP@.5', 'mAP@.5:.95')
pbar = tqdm(dataloader, bar_format='{l_bar}{bar:10}{r_bar}{bar:-10b}')
for batch_i, (im, targets, paths, shapes) in enumerate(pbar):
	pbar.desc = s

import time
from tqdm import tqdm

pbar = tqdm(["a","b","c","d"])

for char in pbar:
    pbar.set_description("Processing %s" % char) # 设置描述
    time.sleep(1)  # 每个任务分配1s
    
# 结果如下

Processing a:   0%|          | 0/4 [00:00<?, ?it/s]
Processing b:  25%|██▌       | 1/4 [00:01<00:03,  1.01s/it]
Processing c:  50%|█████     | 2/4 [00:02<00:02,  1.01s/it]
Processing d:  75%|███████▌  | 3/4 [00:03<00:01,  1.01s/it]

for epoch in range(self.start_epoch, self.epochs):
	pbar = TQDM(enumerate(self.train_loader), total=nb)
	for i, batch in pbar:
		self.loss, self.loss_items = self.model(batch)
		
		if RANK in (-1, 0):
             pbar.set_description(
                  ("%11s" * 2 + "%11.4g" * (2 + loss_len))
                  % (f"{epoch + 1}/{self.epochs}", mem, *losses, batch["cls"].shape[0], batch["img"].shape[-1])
              )

pbar.close()

2.3.2 显示进度条后缀(右侧)信息

pbar = tqdm(range(N),total=N, desc="N")
start = time.time()
for i in pbar:
    pbar.postfix=f"{i}"
print("w .postfix: {:.2f}".format(time.time() - start))

# -*- coding: utf-8 -*-
 
from tqdm import tqdm
from collections import OrderedDict
 
total = 10000 #总迭代次数
loss = total
with tqdm(total=total, desc="进度条") as pbar:
    for i  in range(total):
        loss -= 1 
#        pbar.set_postfix(OrderedDict(loss='{0:1.5f}'.format(loss)))
        pbar.set_postfix(val_loss=1.63,fscore=0.88,batch=i) #输入一个字典，显示实验指标
        pbar.update(1)
 

model_train.eval()
for iteration, batch in enumerate(gen_val):
	imgs, pngs, labels = batch
	outputs     = model_train(imgs)
	loss = CE_Loss(outputs, pngs, weights, num_classes = num_classes)
	f_score    = f_score(outputs, labels)
	pbar.set_postfix(**{'loss'  : loss / (iteration + 1),
                      'f_score'   : f_score / (iteration + 1),
                       'lr'        : get_lr(optimizer)})
	pbar.update(1)

可以看到如果传入字典dict，需要**将dict解包为关键字参数，通过字典dict传参，在实际中应用的更加普遍。

3. 项目案例

Init_Epoch =0 
Total_Epoch =300

epoch_iters      = num_train // batch_size  #  iters of one epoch for train
epoch_iters_val  = num_val // batch_size    #  #  iters of one epoch for val
for epoch in range(Init_Epoch, Total_Epoch):

	pbar = tqdm(total=epoch_iters,desc=f'Epoch {epoch + 1}/{Total_Epoch}',postfix=dict,mininterval=0.3)
	
	for iteration, batch in enumerate(train_dataloader):
		imgs, pngs, labels = batch
		outputs = model_train(imgs)
		loss = CE_Loss(outputs, pngs, weights, num_classes = num_classes)
		_f_score = f_score(outputs, labels)
		
		pbar.set_postfix(**{'total_loss': total_loss / (iteration + 1), 
                                'f_score'   : total_f_score / (iteration + 1),
                                'lr'        : get_lr(optimizer)})
        pbar.update(1)
    
	pbar.close()
	

参考

https://github.com/bubbliiiing/deeplabv3-plus-pytorch
https://www.cnblogs.com/softlin/p/13339766.html
https://github.com/ultralytics/ultralytics

作者：@BangBang