AInstEmitSimdMove.cs 12 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275276277278279280281282283284285286287288289290291292293294295296297298299300301302303304305306307308309310311312313314315316317318319320321322323324325326327328329330331332333334335336337338339340341342343344345346347348349350351352353354355356357358359360361362363364365366367368369370371372373374375376377378379380381382383384385386387388389390391392393394395396397398399400401402403404405406407408409410411412413414415416417418419420421422
  1. using ChocolArm64.Decoder;
  2. using ChocolArm64.State;
  3. using ChocolArm64.Translation;
  4. using System;
  5. using System.Reflection.Emit;
  6. using static ChocolArm64.Instruction.AInstEmitSimdHelper;
  7. namespace ChocolArm64.Instruction
  8. {
  9. static partial class AInstEmit
  10. {
  11. public static void Dup_Gp(AILEmitterCtx Context)
  12. {
  13. AOpCodeSimdIns Op = (AOpCodeSimdIns)Context.CurrOp;
  14. int Bytes = Op.GetBitsCount() >> 3;
  15. int Elems = Bytes >> Op.Size;
  16. for (int Index = 0; Index < Elems; Index++)
  17. {
  18. Context.EmitLdintzr(Op.Rn);
  19. EmitVectorInsert(Context, Op.Rd, Index, Op.Size);
  20. }
  21. if (Op.RegisterSize == ARegisterSize.SIMD64)
  22. {
  23. EmitVectorZeroUpper(Context, Op.Rd);
  24. }
  25. }
  26. public static void Dup_S(AILEmitterCtx Context)
  27. {
  28. AOpCodeSimdIns Op = (AOpCodeSimdIns)Context.CurrOp;
  29. EmitVectorExtractZx(Context, Op.Rn, Op.DstIndex, Op.Size);
  30. EmitScalarSet(Context, Op.Rd, Op.Size);
  31. }
  32. public static void Dup_V(AILEmitterCtx Context)
  33. {
  34. AOpCodeSimdIns Op = (AOpCodeSimdIns)Context.CurrOp;
  35. int Bytes = Op.GetBitsCount() >> 3;
  36. int Elems = Bytes >> Op.Size;
  37. for (int Index = 0; Index < Elems; Index++)
  38. {
  39. EmitVectorExtractZx(Context, Op.Rn, Op.DstIndex, Op.Size);
  40. EmitVectorInsert(Context, Op.Rd, Index, Op.Size);
  41. }
  42. if (Op.RegisterSize == ARegisterSize.SIMD64)
  43. {
  44. EmitVectorZeroUpper(Context, Op.Rd);
  45. }
  46. }
  47. public static void Ext_V(AILEmitterCtx Context)
  48. {
  49. AOpCodeSimdExt Op = (AOpCodeSimdExt)Context.CurrOp;
  50. Context.EmitLdvec(Op.Rd);
  51. Context.EmitStvectmp();
  52. int Bytes = Op.GetBitsCount() >> 3;
  53. int Position = Op.Imm4;
  54. for (int Index = 0; Index < Bytes; Index++)
  55. {
  56. int Reg = Op.Imm4 + Index < Bytes ? Op.Rn : Op.Rm;
  57. if (Position == Bytes)
  58. {
  59. Position = 0;
  60. }
  61. EmitVectorExtractZx(Context, Reg, Position++, 0);
  62. EmitVectorInsertTmp(Context, Index, 0);
  63. }
  64. Context.EmitLdvectmp();
  65. Context.EmitStvec(Op.Rd);
  66. if (Op.RegisterSize == ARegisterSize.SIMD64)
  67. {
  68. EmitVectorZeroUpper(Context, Op.Rd);
  69. }
  70. }
  71. public static void Fcsel_S(AILEmitterCtx Context)
  72. {
  73. AOpCodeSimdFcond Op = (AOpCodeSimdFcond)Context.CurrOp;
  74. AILLabel LblTrue = new AILLabel();
  75. AILLabel LblEnd = new AILLabel();
  76. Context.EmitCondBranch(LblTrue, Op.Cond);
  77. EmitVectorExtractF(Context, Op.Rm, 0, Op.Size);
  78. Context.Emit(OpCodes.Br_S, LblEnd);
  79. Context.MarkLabel(LblTrue);
  80. EmitVectorExtractF(Context, Op.Rn, 0, Op.Size);
  81. Context.MarkLabel(LblEnd);
  82. EmitScalarSetF(Context, Op.Rd, Op.Size);
  83. }
  84. public static void Fmov_Ftoi(AILEmitterCtx Context)
  85. {
  86. AOpCodeSimdCvt Op = (AOpCodeSimdCvt)Context.CurrOp;
  87. EmitVectorExtractZx(Context, Op.Rn, 0, 3);
  88. EmitIntZeroUpperIfNeeded(Context);
  89. Context.EmitStintzr(Op.Rd);
  90. }
  91. public static void Fmov_Ftoi1(AILEmitterCtx Context)
  92. {
  93. AOpCodeSimdCvt Op = (AOpCodeSimdCvt)Context.CurrOp;
  94. EmitVectorExtractZx(Context, Op.Rn, 1, 3);
  95. EmitIntZeroUpperIfNeeded(Context);
  96. Context.EmitStintzr(Op.Rd);
  97. }
  98. public static void Fmov_Itof(AILEmitterCtx Context)
  99. {
  100. AOpCodeSimdCvt Op = (AOpCodeSimdCvt)Context.CurrOp;
  101. Context.EmitLdintzr(Op.Rn);
  102. EmitIntZeroUpperIfNeeded(Context);
  103. EmitScalarSet(Context, Op.Rd, 3);
  104. }
  105. public static void Fmov_Itof1(AILEmitterCtx Context)
  106. {
  107. AOpCodeSimdCvt Op = (AOpCodeSimdCvt)Context.CurrOp;
  108. Context.EmitLdintzr(Op.Rn);
  109. EmitIntZeroUpperIfNeeded(Context);
  110. EmitVectorInsert(Context, Op.Rd, 1, 3);
  111. }
  112. public static void Fmov_S(AILEmitterCtx Context)
  113. {
  114. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  115. EmitVectorExtractF(Context, Op.Rn, 0, Op.Size);
  116. EmitScalarSetF(Context, Op.Rd, Op.Size);
  117. }
  118. public static void Fmov_Si(AILEmitterCtx Context)
  119. {
  120. AOpCodeSimdFmov Op = (AOpCodeSimdFmov)Context.CurrOp;
  121. Context.EmitLdc_I8(Op.Imm);
  122. EmitScalarSet(Context, Op.Rd, Op.Size + 2);
  123. }
  124. public static void Fmov_V(AILEmitterCtx Context)
  125. {
  126. AOpCodeSimdImm Op = (AOpCodeSimdImm)Context.CurrOp;
  127. int Elems = Op.RegisterSize == ARegisterSize.SIMD128 ? 4 : 2;
  128. for (int Index = 0; Index < (Elems >> Op.Size); Index++)
  129. {
  130. Context.EmitLdc_I8(Op.Imm);
  131. EmitVectorInsert(Context, Op.Rd, Index, Op.Size + 2);
  132. }
  133. if (Op.RegisterSize == ARegisterSize.SIMD64)
  134. {
  135. EmitVectorZeroUpper(Context, Op.Rd);
  136. }
  137. }
  138. public static void Ins_Gp(AILEmitterCtx Context)
  139. {
  140. AOpCodeSimdIns Op = (AOpCodeSimdIns)Context.CurrOp;
  141. Context.EmitLdintzr(Op.Rn);
  142. EmitVectorInsert(Context, Op.Rd, Op.DstIndex, Op.Size);
  143. }
  144. public static void Ins_V(AILEmitterCtx Context)
  145. {
  146. AOpCodeSimdIns Op = (AOpCodeSimdIns)Context.CurrOp;
  147. EmitVectorExtractZx(Context, Op.Rn, Op.SrcIndex, Op.Size);
  148. EmitVectorInsert(Context, Op.Rd, Op.DstIndex, Op.Size);
  149. }
  150. public static void Movi_V(AILEmitterCtx Context)
  151. {
  152. EmitVectorImmUnaryOp(Context, () => { });
  153. }
  154. public static void Mvni_V(AILEmitterCtx Context)
  155. {
  156. EmitVectorImmUnaryOp(Context, () => Context.Emit(OpCodes.Not));
  157. }
  158. public static void Tbl_V(AILEmitterCtx Context)
  159. {
  160. AOpCodeSimdTbl Op = (AOpCodeSimdTbl)Context.CurrOp;
  161. Context.EmitLdvec(Op.Rm);
  162. for (int Index = 0; Index < Op.Size; Index++)
  163. {
  164. Context.EmitLdvec((Op.Rn + Index) & 0x1f);
  165. }
  166. switch (Op.Size)
  167. {
  168. case 1: AVectorHelper.EmitCall(Context,
  169. nameof(AVectorHelper.Tbl1_V64),
  170. nameof(AVectorHelper.Tbl1_V128)); break;
  171. case 2: AVectorHelper.EmitCall(Context,
  172. nameof(AVectorHelper.Tbl2_V64),
  173. nameof(AVectorHelper.Tbl2_V128)); break;
  174. case 3: AVectorHelper.EmitCall(Context,
  175. nameof(AVectorHelper.Tbl3_V64),
  176. nameof(AVectorHelper.Tbl3_V128)); break;
  177. case 4: AVectorHelper.EmitCall(Context,
  178. nameof(AVectorHelper.Tbl4_V64),
  179. nameof(AVectorHelper.Tbl4_V128)); break;
  180. default: throw new InvalidOperationException();
  181. }
  182. Context.EmitStvec(Op.Rd);
  183. }
  184. public static void Trn1_V(AILEmitterCtx Context)
  185. {
  186. EmitVectorTranspose(Context, Part: 0);
  187. }
  188. public static void Trn2_V(AILEmitterCtx Context)
  189. {
  190. EmitVectorTranspose(Context, Part: 1);
  191. }
  192. public static void Umov_S(AILEmitterCtx Context)
  193. {
  194. AOpCodeSimdIns Op = (AOpCodeSimdIns)Context.CurrOp;
  195. EmitVectorExtractZx(Context, Op.Rn, Op.DstIndex, Op.Size);
  196. Context.EmitStintzr(Op.Rd);
  197. }
  198. public static void Uzp1_V(AILEmitterCtx Context)
  199. {
  200. EmitVectorUnzip(Context, Part: 0);
  201. }
  202. public static void Uzp2_V(AILEmitterCtx Context)
  203. {
  204. EmitVectorUnzip(Context, Part: 1);
  205. }
  206. public static void Xtn_V(AILEmitterCtx Context)
  207. {
  208. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  209. int Elems = 8 >> Op.Size;
  210. int Part = Op.RegisterSize == ARegisterSize.SIMD128 ? Elems : 0;
  211. if (Part != 0)
  212. {
  213. Context.EmitLdvec(Op.Rd);
  214. Context.EmitStvectmp();
  215. }
  216. for (int Index = 0; Index < Elems; Index++)
  217. {
  218. EmitVectorExtractZx(Context, Op.Rn, Index, Op.Size + 1);
  219. EmitVectorInsertTmp(Context, Part + Index, Op.Size);
  220. }
  221. Context.EmitLdvectmp();
  222. Context.EmitStvec(Op.Rd);
  223. if (Part == 0)
  224. {
  225. EmitVectorZeroUpper(Context, Op.Rd);
  226. }
  227. }
  228. public static void Zip1_V(AILEmitterCtx Context)
  229. {
  230. EmitVectorZip(Context, Part: 0);
  231. }
  232. public static void Zip2_V(AILEmitterCtx Context)
  233. {
  234. EmitVectorZip(Context, Part: 1);
  235. }
  236. private static void EmitIntZeroUpperIfNeeded(AILEmitterCtx Context)
  237. {
  238. if (Context.CurrOp.RegisterSize == ARegisterSize.Int32)
  239. {
  240. Context.Emit(OpCodes.Conv_U4);
  241. Context.Emit(OpCodes.Conv_U8);
  242. }
  243. }
  244. private static void EmitVectorTranspose(AILEmitterCtx Context, int Part)
  245. {
  246. AOpCodeSimdReg Op = (AOpCodeSimdReg)Context.CurrOp;
  247. int Words = Op.GetBitsCount() >> 4;
  248. int Pairs = Words >> Op.Size;
  249. for (int Index = 0; Index < Pairs; Index++)
  250. {
  251. int Idx = Index << 1;
  252. EmitVectorExtractZx(Context, Op.Rn, Idx + Part, Op.Size);
  253. EmitVectorExtractZx(Context, Op.Rm, Idx + Part, Op.Size);
  254. EmitVectorInsertTmp(Context, Idx + 1, Op.Size);
  255. EmitVectorInsertTmp(Context, Idx, Op.Size);
  256. }
  257. Context.EmitLdvectmp();
  258. Context.EmitStvec(Op.Rd);
  259. if (Op.RegisterSize == ARegisterSize.SIMD64)
  260. {
  261. EmitVectorZeroUpper(Context, Op.Rd);
  262. }
  263. }
  264. private static void EmitVectorUnzip(AILEmitterCtx Context, int Part)
  265. {
  266. AOpCodeSimdReg Op = (AOpCodeSimdReg)Context.CurrOp;
  267. int Words = Op.GetBitsCount() >> 4;
  268. int Pairs = Words >> Op.Size;
  269. for (int Index = 0; Index < Pairs; Index++)
  270. {
  271. int Idx = Index << 1;
  272. EmitVectorExtractZx(Context, Op.Rn, Idx + Part, Op.Size);
  273. EmitVectorExtractZx(Context, Op.Rm, Idx + Part, Op.Size);
  274. EmitVectorInsertTmp(Context, Pairs + Index, Op.Size);
  275. EmitVectorInsertTmp(Context, Index, Op.Size);
  276. }
  277. Context.EmitLdvectmp();
  278. Context.EmitStvec(Op.Rd);
  279. if (Op.RegisterSize == ARegisterSize.SIMD64)
  280. {
  281. EmitVectorZeroUpper(Context, Op.Rd);
  282. }
  283. }
  284. private static void EmitVectorZip(AILEmitterCtx Context, int Part)
  285. {
  286. AOpCodeSimdReg Op = (AOpCodeSimdReg)Context.CurrOp;
  287. int Words = Op.GetBitsCount() >> 4;
  288. int Pairs = Words >> Op.Size;
  289. int Base = Part != 0 ? Pairs : 0;
  290. for (int Index = 0; Index < Pairs; Index++)
  291. {
  292. int Idx = Index << 1;
  293. EmitVectorExtractZx(Context, Op.Rn, Base + Index, Op.Size);
  294. EmitVectorExtractZx(Context, Op.Rm, Base + Index, Op.Size);
  295. EmitVectorInsertTmp(Context, Idx + 1, Op.Size);
  296. EmitVectorInsertTmp(Context, Idx, Op.Size);
  297. }
  298. Context.EmitLdvectmp();
  299. Context.EmitStvec(Op.Rd);
  300. if (Op.RegisterSize == ARegisterSize.SIMD64)
  301. {
  302. EmitVectorZeroUpper(Context, Op.Rd);
  303. }
  304. }
  305. }
  306. }