Слой экспортируешь в отделшый файл, файлу делаешь Mode - Indexed Color, где задаешь количество цветов, затем запихиваешь обратно a исходный файл.