python多进程共享Array问题_开发_开发者_运维开发者技术经验分享

目的

可以使用multiprocessing库中的Array来实现多进程共享Array。

multiprocessing库是一个用于实现多进程编程的库，提供了与多进程有关的同步，通信和进程管理等功能。

在这个库中，有一个Array类，用于创建一个多进程共享的数组。

这样，每个进程都可以访问这个共享的数组，从而实现数据共享和同步。

基础知识介绍

1.multiprocessing.Array

multiprocessing.Array是Python的多进程库中的一个数组对象，它用于在多个进程之间共享数组数据。
Array类型是在共享内存中实现的，每个进程可以操作该数组的值。这是在多个进程间同步数据的一种常用方法，因为它们在同一内存中运行。
使用multiprocessing.Array，你可以创建一个共享的数组，并在多个进程中读取和修改数组的值。
通过使用该模块，您可以避免将数组通过管道或套接字从一个进程传递到另python一个进程的问题。

2.multiprocessing.Array 函数接受以下参数

typecode：字符串，表示数组元素的数据类型。可用的数据类型包括 'b'（布尔），'i'（整数），'f'（浮点数），'c'（单字符），'u'（Unicode字符）等。
size：整数，表示数组的大小。
lock：布尔值，指示是否应该为数组元素创建锁（锁定）。

以上参数中，前两个是必需的，而后一个是可选的。

python多进程共享一维Array

举个例子，你可以使用multiprocessing库中的Array创建一个整型数组，并在两个进程中分别执行读取和写入操作，从而实现多进程共享Array。

代码

from multiprocessing import Process, Array
import tiwww.devze.comme


def print_array(arr, n):
    while True:
        for i in range(n):
            print("Process {}: {}".format(i, arr[i]))
        time.sleep(1)


test_count = 1


def seKXZSXapt_array(arr, n):
    global test_count
    while True:
        for i in range(n):
            arr[i] = i + test_count
        time.sleep(1)
        test_count += 1
        print(test_count)


if __name__ == "__main__":
    arr = Array('i', [0, 0, 0, 0, 0, 0, 0, 0, 0])
    n = len(arr)
    process1 = Process(target=print_array, args=(arr, n))
    process2 = Process(target=set_array, args=(arr, n))

    process1.start()python
    process2.start()

    process1.join()
    process2.join()

这段代码创建了两个进程：一个打印数组的进程（print_array）和一个设置数组的进程（set_array）。这两个进程同时运行，互不影响。

print_array 进程通过一个循环打印数组中的每一个元素，并在每次循环之后等待 1 秒。
set_array 进程通过一个循环设置数组中的每一个元素，并在每次循环之后等待 1 秒。它设置的数组的每一个元素的值都是经过累加的。

通过 Array 对象，两个进程共享同一个数组。需要注意的是，在 Python 中多进程之间共享数据时需要特殊处理，以保证同步与数据完整性。这里使用的 multiprocessing.Array 可以方便地共享数组。

程序的主流程是创建两个进程，启动它们并等待它们结束。当两个进程都结束后，程序结束。

运行结果：

Process 0: 0
Process 1: 0
Process 2: 0
Process 3: 0
Process 4: 0
Process 5: 0
Process 6: 0
Process 7: 0
Process 8: 0
2
Process 0: 1
Process 1: 3
Process 2: 4
Process 3: 5
Process 4: 6
Process 5: 7
Process 6: 8
Process 7: 9
Process 8: 10
Process 0: 2
Process 1: 3
Process 2: 4
3ProcesKXZSXaps 3: 5

Process 4: 6
Process 5: 7
Process 6: 8
Process 7: 9
Process 8: 10
4
Process 0: 3
Process 1: 4
Process 2: 6
Process 3: 7
Process 4: 8
Process 5: 9
Process 6: 10
Process 7: 11
Process 8: 12

python多进程共享多维Array

在 Python 中，使用multiprocessing模块的Array来共享多维数组在多进程中需要用到一些特殊的技巧。

首先，你需要定义一个共享内存，并在多个进程中共享该内存。

例如，如果你想要共享一个3维数组，可以定义一个二维共享内存数组，然后再在每个进程中访问它，它仍然是共享的。

下面是一个示例代码，该代码演示了如何在两个进程中共享一个3维数组：

代码

from multiprocessing import Process, Array
import time
import numpy as np


def print_array(arr, shape):
    while True:
        print("Process: \n")
        print(np.array(arr).reshape(shape))
        time.sleep(1)


def set_array(arr, shape):
    while True:
        np.random.shuffle(arr)
        time.sleep(1)
        print("Shuffled the array")


if __name__ == "__main__":
    shape = (2, 3, 4)
    arr = Array('d', np.arange(np.prod(shape)))
    process1 = Process(target=print_array, args=(arr, shape))
    process2 = Process(target=set_array, args=(arr, shape))

    process1.start()
    process2.start()

    process1.join()
    process2.join()

在上面的代码中，我们使用了multiprocessing库中的Array来实现多进程共享一个3维数组，它们可以在两个独立的进程中读取和修改这个数组。

打印结果可能是一个不断变化的3维数组，每隔1秒进行重新洗牌。

运行结果

Process:
[[[ 0. 1. 2. 3.]
[ 4. 5. 6. 7.]
[ 8. 9. 10. 11.]]

[[12. 13. 14. 15.]
[16. 17. 18. 19.]
[20. 21. 22. 23.]]]

警告信息

UserWarning: you are shuffling a 'SynchronizedArray' object which is not a subclass of 'Sequence'; `shuffle` is not guaranteed to behave correctly. E.g., non-numpy array/tensor objects with view semantics may contain duplicates after shuffling.