如果劳动仲裁的申请人或被告人在收到书面通知后无正当理由拒不到庭，或者未经仲裁庭同意中途退庭，会有以下结果：
申请人收到书面通知后无正当理由拒不到庭，或者未经仲裁庭同意中途退庭的，根据《劳动人事争议仲裁办案规则》第三十九条和《劳动争议调解仲裁法》第三十六条的规定，可以视为撤回仲裁申请。
被申请人收到书面通知后无正当理由拒不到庭，或者未经仲裁庭同意中途退庭的，根据《劳动争议调解仲裁法》第三十六条和《中华人民共和国仲裁法》第四十二条的规定，仲裁庭可以缺席裁决。
建议
申请人：如果决定不参加仲裁，应提前了解相关法律规定，并考虑是否有可能通过其他途径解决争议，例如提起民事诉讼。
被申请人：如果担心对方缺席裁决对自己不利，应尽量按时出庭，或者提前向仲裁庭提交相关证据和材料，以保障自己的权益。
总之，不参加仲裁会导致申请人丧失仲裁阶段的胜诉权，被申请人则可能面临缺席裁决的不利后果。因此，建议当事人在仲裁过程中积极参与，以维护自己的合法权益。