pytorch모델 학습중 memory usage가 점진적으로 증가하는 문제

학습이 kill 될때까지 memory usage가 점진적으로 증가하는 문제가 있었습니다. num_workers가 0일때는 해당 문제가 없었는데 1이상으로 하면 문제가 발생하더군요. 여러가지 원인이 있을수있겠지만 저같은경우 __getitem__에서 리스트에 대한 인덱싱을 시도할때 발생하는 문제였습니다. numpy array로 바꿔주면 문제가 해결됩니다

 

class CustomDataset(Dataset):
	def __init__(self):
    	...
       
 	def __len__(self):
    	len(self.samples)
        
  	def __getitem__(self, idx):
    	x_path, y_path = self.samples[idx] <= 문제 발생 위치!
        ...