开发者

python中编写config文件并及时更新的方法

开发者 https://www.devze.com 2023-03-01 09:19 出处:网络 作者: Rilkean
目录0. Intro1. config.py2. 调用以及更新0. Intro 在pytorch或者其他深度学习框架中,有许多超参数需要调整,包括learning_rate,training_data_path等,因此编写一个config文件统一存放这些参数,方便调用/查看/修
目录
  • 0. Intro
  • 1. config.py
  • 2. 调用以及更新

0. Intro

  • 在pytorch或者其他深度学习框架中,有许多超参数需要调整,包括learning_ratetraining_data_path等,因此编写一个config文件统一存放这些参数,方便调用/查看/修改还是很有必要的。下面是我使用过的一种很简单的方式,不是很优雅,小模型下初步的微调已经够用,希望也对你有所帮助,有更好更pro的方式欢迎大家留言~
  • 我这里的目录结构:
  • MLP
  • mlp.ipynb: 用于training等
  • config.py: 存放超参数、路径
  • data
  • targets:targets data path
  • train:training data path

1. config.py

这个.py文件实际上是一个class,大概如下:

class DefaultConfig(object):

    # dataset划分
    BATch_size = 40
    train_pct = 0.7
    vali_pct = 0.2
    test_pct = 0.1
    
    #learning rate
    learning_rate = 1e-3
    
    javascript# Training data
    traipythonn_path = r"../data/train"
    target_path_met开发者_C入门ric = r"../data/targets"

2. 调用以及更新

写成class之后,在mlp.ipynb中调用只需要引用一下就完事了:

import cjsonfig  # import进来
reload(config)  ################## 注意这里必须reload!!
from config import DefaultConfig	# 引入class

opt = DefaultConfig()		# 实例config对象

# 这里名字最好保持和clas内部一致,方便检查
batch_size = opt.batch_size
train_pct = opt.train_pct
vali_pct = opt.vali_pct
test_pct = opt.test_pct

注意,很可能当我们改动config.py之后,外部文件的参数不会及时更新,所以加入reload语句是一个很好的习惯

import config  # import进来http://www.devze.com
reload(config)  ################## 注意这里必须reload!!

到此这篇关于python中一种编写config文件并及时更新的方法的文章就介绍到这了,更多相关python编写config文件内容请搜索我们以前的文章或继续浏览javascript下面的相关文章希望大家以后多多支持我们!

0

精彩评论

暂无评论...
验证码 换一张
取 消