Ограничение оперативной памяти используемой процессом программы с помощью ProcessLasso

Скачиваем ProcessLasso по ссылке

После установки, запускаем ProcessLasso

Переходим в Настройки - Память - Параметры SmartTrim

Далее в открывшемся окне ставим галочку на Разрешить SmartTrim и Усечь рабочие наборы

Выставляем максимальный объем памяти, при превышении которого процессы будут усекаться

Также можно вручную усечь память любому процессу:

ПКМ по процессу - Больше - Усечь память