乳腺纤维瘤的手术与否并不完全取决于瘤体的大小，而是需要结合多种因素来决定，包括但不限于以下几点：

1. 瘤体大小：通常情况下，如果乳腺纤维瘤超过2厘米，医生可能会建议考虑手术切除，因为较大的瘤体可能对乳腺组织造成更大的压力，或者增加恶变的风险。

2. 症状：如果瘤体导致疼痛、肿胀、不适或影响乳房外观，即使瘤体较小，也可能需要手术。

3. 发展速度：如果瘤体增长迅速，医生可能会建议早期手术，以防恶变。

4. 患者的年龄和生育状况：年轻的育龄妇女，由于可能影响哺乳，医生可能会建议等到哺乳结束后再考虑手术。

5. 患者自身意愿和心理承受能力：有时候，即使瘤体较小，但患者本身对瘤体的担忧也会影响决定。

因此，具体是否需要手术，建议您咨询专业的乳腺外科医生，他们会根据您的具体情况给出最合适的建议。