Если вам индексировать цвета не надо, то ограничить их количество можно с помощью обычной постеризации: Image > Adjustments > Posterise (кол-во цветов).
А если хотите именно проиндексировать, то: 1) загрузите селекцию с прозрачности слоя, 2) закиньте слой в смарт-объект 3) откройте его содержание и переведите в индексный цвет (при этом слой станет фоном) 4) сохраните содержание смарта (просто Ctrl+S), закройте и перейдите к документу. Поскольку слоевая маска не линкуется к смарт-слою, то поместите его в группу - просто имея выделенным смарт нажмите Ctrl+G, и примените текущую селецию как слоевую маску к группе (сету) - для того, чтобы имитировать прозрачность слоя.
Фактически это тоже самое что вынуть слой из документа, проиндексировать цвета и засунуть обратно применив ранее загруженную с этого слоя селекцию как слоевую маску для сохранения прозрачности слоя. С тем только отличием, что вы можете в содержании смарта сохранить полноцветную копию слоя (как невидимый слой), на тот случай, если захотите его переиндексировать.
