不是所有的痣都不能点掉，但是有一些痣需要特别谨慎处理：

1. 颜色深沉且边缘不规则的痣：这类痣可能是恶性痣（如黑色素瘤），处理时应寻求专业医生的建议，不要自行处理。

2. 带毛的痣或者随着生长的痣：这类痣可能是皮脂腺痣或者其他类型的良性痣，但也可能需要专业评估。

3. 儿童的痣：出生后才出现的痣，特别是出现在脸颊、眼睛周围或足底等位置，可能需要儿科皮肤科医生的指导。

4. 高位痣：位于手指、脚趾、嘴唇、生殖器等区域的痣，由于可能造成破溃感染或术后恢复困难，应在专业指导下处理。

总之，任何痣在考虑去除之前，最好先请医生评估其性质和是否适宜治疗。在专业医生的指导下进行痣的去除可以确保安全有效。