乳房纤维瘤的大小并不是决定是否需要手术的唯一标准，医生会根据多个因素来判断是否需要治疗，包括：

1. 瘤体的大小：一般来说，如果瘤体直径超过2厘米，可能会增加手术风险和复杂性，但并非所有大于2厘米的肿瘤都需要立即手术。

2. 症状：如果瘤体导致疼痛，不适或者影响乳房外观，即使在较小尺寸时，医生也可能建议手术。

3. 生长速度：快速增长的纤维瘤，无论大小，都应该密切关注并可能需要手术干预。

4. 家族史：如果有乳腺癌病史或有乳腺癌风险因素的家族史，可能需要更早治疗。

5. 患者个人意愿：有时候，虽然瘤体较小，但患者因为担心肿瘤恶变或影响生活质量，也可能选择手术。

因此，对于是否需要手术，建议你咨询专业的医生，根据全面的体检结果和你的具体情况来制定合适的治疗方案。