并不是所有的痣都能随意去除，特别是深在皮肤内的痣、直径大于5mm的痣、位于眼部、嘴角、鼻孔附近或有异常变化的痣，都可能属于医疗范畴，需要专业医生评估和处理，以避免可能的风险，如感染、出血、疤痕形成或恶变等。

常见的不能自行去掉的痣有以下几种：

1. 青少年黑痣：青春期出现的深色痣，常常是皮肤黑色素细胞异常增生导致，如果突然变大、颜色加深或形状改变，可能是恶性痣，需就医。

2. 大痣、直径大于5mm的痣：这类痣可能需要专业医生的手术治疗。

3. 扁平或者凸起的不规则痣：皮肤上不平整或者有边缘的痣，可能是良性的，也可能是恶性的，最好由医生判断。

4. 汗管痣、雀斑痣和老年斑：这些痣通常是无害的，除非显著影响美观，一般不需去除。

5. 定位关键部位的痣：如眼睑、鼻梁、嘴唇等，避免影响正常功能或美观。

总之，对于任何痣，尤其是不明显的痣，或是对它有疑虑的痣，最好的做法是咨询皮肤科医生。他们能根据痣的具体情况，给出最好的建议和治疗方案。