被人抓住衣领并不算人身攻击。因为抓住人的衣领，并尚未对人身造成威胁，也未产生伤害性的攻击行为，只能说是伤害行为前的一种准备行为。