PARL Logo
latest

概览

  • 特点
  • 框架结构
  • 简易高效的并行接口

安装

  • 安装

教程

  • 快速入门:解决CartPole问题
  • 子模块说明
  • 自定义新算法
  • 模型参数管理
  • 绘制训练曲线
  • 表格输出实验数据

算法接口文档

  • Policy Gradient
  • DQN
  • DDPG
  • DDQN
  • OAC
  • A2C
  • TD3
  • QMIX
  • SAC
  • PPO
  • MADDPG

简易高效的并行接口

  • Xparl并行概览
  • 使用教程
  • 加速案例
  • 加速案例(后台模式)
  • GPU Cluster
  • 如何debug
  • 分发本地文件
  • 序列化加速(非必须)

APIs

  • parl.Model
  • parl.Algorithm
  • parl.Agent
  • parl.remote_class
  • parl.connect

Frequently Asked Questions

  • xparl questions
  • RL questions

EvoKit

  • 简介
  • 入门案例
  • 产业级线上案例
PARL
  • 加速案例(后台模式)
  • Edit on GitHub

加速案例(后台模式)¶

这个教程展示了如何通过并行修饰符`@parl.remote_class`,在**不使用**python的多线程情况下实现并行计算。
在上一个示例中,我们用PARL的修饰符和多线程实现了并行计算,但实际上PARL提供了一种更加简洁的方法来实现并行计算,无需手动创建线程。和上一个教程的区别是在修饰符中添加`wait=false`参数,这样执行函数的时候会立刻得到一个future对象,程序并不会阻塞在当前函数,后续可以通过调用future对象的`get`函数获取到执行结果。
在上一个示例中,我们实现的并行计算如下所示。
import threading
import parl

@parl.remote_class
class A(object):
    def run(self):
        ans = 0
        for i in range(100000000):
            ans += i
threads = []
parl.connect("localhost:6006")
for _ in range(5):
    a = A()
    th = threading.Thread(target=a.run)
    th.start()
    threads.append(th)
for th in threads:
    th.join()
现在我们来看一下如何在**不使用**python的多线程情况下实现并行计算。
import parl

@parl.remote_class(wait=False)
class A(object):
    def run(self):
        ans = 0
        for i in range(100000000):
            ans += i
        return ans

parl.connect("localhost:6006")
actors = [A() for _ in range(5)]
jobs = [actor.run() for actor in actors]
returns = [job.get() for job in jobs]

true_result = sum([i for i in range(100000000)])
for result in returns:
    assert result == true_result
这里有两点需要注意的地方:
  1. 加入`wait=False`使actor的函数调用变成非阻塞版。

  2. 在每个actor运行起来后,调用`job.get()`会阻塞当前程序直到对应job运行结束,并得到返回的结果。

Previous Next

© 版权所有 2021, nlp-ol@baidu.com. Revision 1fc50bf5.

Built with Sphinx using a theme provided by Read the Docs.