Pickle data was truncated ошибка

Я пытаюсь отправить данные со своей локальной машины под управлением Big Sur 11.2.3 на удаленный сервер.

server.py

 import socket, pickle
import env

print("Server is listening on port %s..." % env.PORT)
s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
s.bind((env.HOST, env.PORT))
s.listen(1)
conn, addr = s.accept()
print("Connected to %s" % str(addr))

data = []
while True:
    packet = conn.recv(1024)
    if not packet: break
    data.append(packet)
data = pickle.loads(b"".join(data))
print(data)
conn.close()
 

client.py

 import socket, pickle
import env

s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
s.connect((env.HOST, env.PORT))

variable = ['a', 'b', 'c', 'd'] * (2**14)

data_string = pickle.dumps(variable)
s.send(data_string)

s.close()
print('Data sent to server')
 

Первоначально это работало при использовании variable = ['a', 'b', 'c', 'd'] , и для имитации отправки большего объекта я просто умножил его на большое число. Первоначально я думал, что это не сработает, если данные будут больше, чем количество байтов, которое я указывал серверу для получения в качестве каждого пакета, но этот код работает до тех пор, пока я не умножу на 2**14 (используя 2**13 works).

Самое странное, что если я попробую это с моего Raspberry Pi (то есть отправлю данные с pi на удаленный сервер), все будет нормально. Но когда я делаю то же самое со своего macbook, я получаю

 Traceback (most recent call last):
  File "server.py", line 17, in <module>
    data = pickle.loads(b"".join(data))
_pickle.UnpicklingError: pickle data was truncated
 

В чем может быть причина этой неспособности работать на macOS?
Если я попытаюсь сделать это локально (то есть запустить сервер и экземпляр клиента как на моем macbook), он будет работать нормально, но не сработает, когда я попытаюсь отправить с mac на другую машину (также не получится, когда я попытаюсь отправить с mac на pi).

Я читал, что возможны проблемы, когда машины, отправляющие и получающие маринованные данные, работают под управлением разных версий python, но я не верю, что здесь проблема в этом. Удаленный сервер работает под управлением python 3.6.9, а мой pi работает под управлением python 3.7.3. Чтобы убедиться, я запустил сценарий на своем macbook в виртуальной среде env под управлением 3.6.9, и он все равно не удался.

 s.send(data_string)
 

Вам повезло, что он выходит из строя только на macOS. send не гарантирует отправку всех данных, но вы должны проверить, сколько на самом деле было отправлено, и позвонить send еще раз (и, возможно, еще раз) для отправки остальных. Или использовать sendall .

Из документации:

Возвращает количество отправленных байтов. Приложения отвечают за проверку того, что все данные были отправлены; если была передана только часть данных, приложению необходимо попытаться доставить оставшиеся данные.

Почему send он ведет себя по-разному на разных платформах или в разных средах? Потому send что просто помещает данные в буфер отправки сокетов. Буфер имеет ограниченный размер, который может зависеть от операционной системы, конфигурации операционной системы, приложения, текущего состояния системы (т. Е. от нехватки памяти или нет) … . Сингл send поместит в буфер отправки только столько данных, сколько в настоящее время там свободного места. Если буфер заполнен, он будет блокироваться до тех пор, пока не освободится некоторое пространство. Но это не гарантирует, что все можно поместить в буфер сокета.