Select > Color Range.

Но в ФШ нет инструментов развернутого хромакея, чтобы из пограничных пикселов убрался цвет фона - поэтому он там остается и гадит при композинге.