AInstEmitSimdArithmetic.cs 30 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275276277278279280281282283284285286287288289290291292293294295296297298299300301302303304305306307308309310311312313314315316317318319320321322323324325326327328329330331332333334335336337338339340341342343344345346347348349350351352353354355356357358359360361362363364365366367368369370371372373374375376377378379380381382383384385386387388389390391392393394395396397398399400401402403404405406407408409410411412413414415416417418419420421422423424425426427428429430431432433434435436437438439440441442443444445446447448449450451452453454455456457458459460461462463464465466467468469470471472473474475476477478479480481482483484485486487488489490491492493494495496497498499500501502503504505506507508509510511512513514515516517518519520521522523524525526527528529530531532533534535536537538539540541542543544545546547548549550551552553554555556557558559560561562563564565566567568569570571572573574575576577578579580581582583584585586587588589590591592593594595596597598599600601602603604605606607608609610611612613614615616617618619620621622623624625626627628629630631632633634635636637638639640641642643644645646647648649650651652653654655656657658659660661662663664665666667668669670671672673674675676677678679680681682683684685686687688689690691692693694695696697698699700701702703704705706707708709710711712713714715716717718719720721722723724725726727728729730731732733734735736737738739740741742743744745746747748749750751752753754755756757758759760761762763764765766767768769770771772773774775776777778779780781782783784785786787788789790791792793794795796797798799800801802803804805806807808809810811812813814815816817818819820821822823824825826827828829830831832833834835836837838839840841842843844845846847848849850851852853854855856857858859860861862863864865866867868869870871872873874875876877878879880881882883884885886887888889890891892893894895896897898899900901902903904905906907908909910911912913914915916917918919920921922923924925926927928929930931932933934935936937938939940941942943944945946947948949950951952953954955956957958959960961962963964965966967968969970971972973974975976977978979980981982983984985986987988989990991992993994995996997998999100010011002100310041005100610071008100910101011101210131014101510161017101810191020102110221023102410251026102710281029103010311032103310341035103610371038103910401041104210431044104510461047104810491050105110521053
  1. using ChocolArm64.Decoder;
  2. using ChocolArm64.State;
  3. using ChocolArm64.Translation;
  4. using System;
  5. using System.Reflection;
  6. using System.Reflection.Emit;
  7. using static ChocolArm64.Instruction.AInstEmitSimdHelper;
  8. namespace ChocolArm64.Instruction
  9. {
  10. static partial class AInstEmit
  11. {
  12. public static void Abs_S(AILEmitterCtx Context)
  13. {
  14. EmitScalarUnaryOpSx(Context, () => EmitAbs(Context));
  15. }
  16. public static void Abs_V(AILEmitterCtx Context)
  17. {
  18. EmitVectorUnaryOpSx(Context, () => EmitAbs(Context));
  19. }
  20. private static void EmitAbs(AILEmitterCtx Context)
  21. {
  22. AILLabel LblTrue = new AILLabel();
  23. Context.Emit(OpCodes.Dup);
  24. Context.Emit(OpCodes.Ldc_I4_0);
  25. Context.Emit(OpCodes.Bge_S, LblTrue);
  26. Context.Emit(OpCodes.Neg);
  27. Context.MarkLabel(LblTrue);
  28. }
  29. public static void Add_S(AILEmitterCtx Context)
  30. {
  31. EmitScalarBinaryOpZx(Context, () => Context.Emit(OpCodes.Add));
  32. }
  33. public static void Add_V(AILEmitterCtx Context)
  34. {
  35. EmitVectorBinaryOpZx(Context, () => Context.Emit(OpCodes.Add));
  36. }
  37. public static void Addhn_V(AILEmitterCtx Context)
  38. {
  39. EmitHighNarrow(Context, () => Context.Emit(OpCodes.Add), Round: false);
  40. }
  41. public static void Addp_S(AILEmitterCtx Context)
  42. {
  43. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  44. EmitVectorExtractZx(Context, Op.Rn, 0, Op.Size);
  45. EmitVectorExtractZx(Context, Op.Rn, 1, Op.Size);
  46. Context.Emit(OpCodes.Add);
  47. EmitScalarSet(Context, Op.Rd, Op.Size);
  48. }
  49. public static void Addp_V(AILEmitterCtx Context)
  50. {
  51. AOpCodeSimdReg Op = (AOpCodeSimdReg)Context.CurrOp;
  52. int Bytes = Context.CurrOp.GetBitsCount() >> 3;
  53. int Elems = Bytes >> Op.Size;
  54. int Half = Elems >> 1;
  55. for (int Index = 0; Index < Elems; Index++)
  56. {
  57. int Elem = (Index & (Half - 1)) << 1;
  58. EmitVectorExtractZx(Context, Index < Half ? Op.Rn : Op.Rm, Elem + 0, Op.Size);
  59. EmitVectorExtractZx(Context, Index < Half ? Op.Rn : Op.Rm, Elem + 1, Op.Size);
  60. Context.Emit(OpCodes.Add);
  61. EmitVectorInsertTmp(Context, Index, Op.Size);
  62. }
  63. Context.EmitLdvectmp();
  64. Context.EmitStvec(Op.Rd);
  65. if (Op.RegisterSize == ARegisterSize.SIMD64)
  66. {
  67. EmitVectorZeroUpper(Context, Op.Rd);
  68. }
  69. }
  70. public static void Addv_V(AILEmitterCtx Context)
  71. {
  72. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  73. int Bytes = Context.CurrOp.GetBitsCount() >> 3;
  74. EmitVectorExtractZx(Context, Op.Rn, 0, Op.Size);
  75. for (int Index = 1; Index < (Bytes >> Op.Size); Index++)
  76. {
  77. EmitVectorExtractZx(Context, Op.Rn, Index, Op.Size);
  78. Context.Emit(OpCodes.Add);
  79. }
  80. EmitScalarSet(Context, Op.Rd, Op.Size);
  81. }
  82. public static void Cls_V(AILEmitterCtx Context)
  83. {
  84. MethodInfo MthdInfo = typeof(ASoftFallback).GetMethod(nameof(ASoftFallback.CountLeadingSigns));
  85. EmitCountLeadingBits(Context, () => Context.EmitCall(MthdInfo));
  86. }
  87. public static void Clz_V(AILEmitterCtx Context)
  88. {
  89. MethodInfo MthdInfo = typeof(ASoftFallback).GetMethod(nameof(ASoftFallback.CountLeadingZeros));
  90. EmitCountLeadingBits(Context, () => Context.EmitCall(MthdInfo));
  91. }
  92. private static void EmitCountLeadingBits(AILEmitterCtx Context, Action Emit)
  93. {
  94. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  95. int Bytes = Context.CurrOp.GetBitsCount() >> 3;
  96. for (int Index = 0; Index < (Bytes >> Op.Size); Index++)
  97. {
  98. EmitVectorExtractZx(Context, Op.Rn, Index, Op.Size);
  99. Context.EmitLdc_I4(8 << Op.Size);
  100. Emit();
  101. EmitVectorInsert(Context, Op.Rd, Index, Op.Size);
  102. }
  103. if (Op.RegisterSize == ARegisterSize.SIMD64)
  104. {
  105. EmitVectorZeroUpper(Context, Op.Rd);
  106. }
  107. }
  108. public static void Cnt_V(AILEmitterCtx Context)
  109. {
  110. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  111. int Elems = Op.RegisterSize == ARegisterSize.SIMD128 ? 16 : 8;
  112. for (int Index = 0; Index < Elems; Index++)
  113. {
  114. EmitVectorExtractZx(Context, Op.Rn, Index, 0);
  115. Context.Emit(OpCodes.Conv_U1);
  116. ASoftFallback.EmitCall(Context, nameof(ASoftFallback.CountSetBits8));
  117. Context.Emit(OpCodes.Conv_U8);
  118. EmitVectorInsert(Context, Op.Rd, Index, 0);
  119. }
  120. if (Op.RegisterSize == ARegisterSize.SIMD64)
  121. {
  122. EmitVectorZeroUpper(Context, Op.Rd);
  123. }
  124. }
  125. private static void EmitHighNarrow(AILEmitterCtx Context, Action Emit, bool Round)
  126. {
  127. AOpCodeSimdReg Op = (AOpCodeSimdReg)Context.CurrOp;
  128. int Elems = 8 >> Op.Size;
  129. int ESize = 8 << Op.Size;
  130. int Part = Op.RegisterSize == ARegisterSize.SIMD128 ? Elems : 0;
  131. for (int Index = 0; Index < Elems; Index++)
  132. {
  133. EmitVectorExtractZx(Context, Op.Rn, Index, Op.Size + 1);
  134. EmitVectorExtractZx(Context, Op.Rm, Index, Op.Size + 1);
  135. Emit();
  136. if (Round)
  137. {
  138. Context.EmitLdc_I8(1L << (ESize - 1));
  139. Context.Emit(OpCodes.Add);
  140. }
  141. Context.EmitLsr(ESize);
  142. EmitVectorInsert(Context, Op.Rd, Part + Index, Op.Size);
  143. }
  144. if (Part == 0)
  145. {
  146. EmitVectorZeroUpper(Context, Op.Rd);
  147. }
  148. }
  149. public static void Fabd_S(AILEmitterCtx Context)
  150. {
  151. EmitScalarBinaryOpF(Context, () =>
  152. {
  153. Context.Emit(OpCodes.Sub);
  154. EmitUnaryMathCall(Context, nameof(Math.Abs));
  155. });
  156. }
  157. public static void Fabs_S(AILEmitterCtx Context)
  158. {
  159. EmitScalarUnaryOpF(Context, () =>
  160. {
  161. EmitUnaryMathCall(Context, nameof(Math.Abs));
  162. });
  163. }
  164. public static void Fadd_S(AILEmitterCtx Context)
  165. {
  166. EmitScalarBinaryOpF(Context, () => Context.Emit(OpCodes.Add));
  167. }
  168. public static void Fadd_V(AILEmitterCtx Context)
  169. {
  170. EmitVectorBinaryOpF(Context, () => Context.Emit(OpCodes.Add));
  171. }
  172. public static void Faddp_V(AILEmitterCtx Context)
  173. {
  174. AOpCodeSimdReg Op = (AOpCodeSimdReg)Context.CurrOp;
  175. int SizeF = Op.Size & 1;
  176. int Bytes = Context.CurrOp.GetBitsCount() >> 3;
  177. int Elems = Bytes >> SizeF + 2;
  178. int Half = Elems >> 1;
  179. for (int Index = 0; Index < Elems; Index++)
  180. {
  181. int Elem = (Index & (Half - 1)) << 1;
  182. EmitVectorExtractF(Context, Index < Half ? Op.Rn : Op.Rm, Elem + 0, SizeF);
  183. EmitVectorExtractF(Context, Index < Half ? Op.Rn : Op.Rm, Elem + 1, SizeF);
  184. Context.Emit(OpCodes.Add);
  185. EmitVectorInsertTmpF(Context, Index, SizeF);
  186. }
  187. Context.EmitLdvectmp();
  188. Context.EmitStvec(Op.Rd);
  189. if (Op.RegisterSize == ARegisterSize.SIMD64)
  190. {
  191. EmitVectorZeroUpper(Context, Op.Rd);
  192. }
  193. }
  194. public static void Fdiv_S(AILEmitterCtx Context)
  195. {
  196. EmitScalarBinaryOpF(Context, () => Context.Emit(OpCodes.Div));
  197. }
  198. public static void Fdiv_V(AILEmitterCtx Context)
  199. {
  200. EmitVectorBinaryOpF(Context, () => Context.Emit(OpCodes.Div));
  201. }
  202. public static void Fmadd_S(AILEmitterCtx Context)
  203. {
  204. EmitScalarTernaryRaOpF(Context, () =>
  205. {
  206. Context.Emit(OpCodes.Mul);
  207. Context.Emit(OpCodes.Add);
  208. });
  209. }
  210. public static void Fmax_S(AILEmitterCtx Context)
  211. {
  212. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  213. EmitScalarBinaryOpF(Context, () =>
  214. {
  215. if (Op.Size == 0)
  216. {
  217. ASoftFallback.EmitCall(Context, nameof(ASoftFallback.MaxF));
  218. }
  219. else if (Op.Size == 1)
  220. {
  221. ASoftFallback.EmitCall(Context, nameof(ASoftFallback.Max));
  222. }
  223. else
  224. {
  225. throw new InvalidOperationException();
  226. }
  227. });
  228. }
  229. public static void Fmax_V(AILEmitterCtx Context)
  230. {
  231. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  232. EmitVectorBinaryOpF(Context, () =>
  233. {
  234. if (Op.Size == 0)
  235. {
  236. ASoftFallback.EmitCall(Context, nameof(ASoftFallback.MaxF));
  237. }
  238. else if (Op.Size == 1)
  239. {
  240. ASoftFallback.EmitCall(Context, nameof(ASoftFallback.Max));
  241. }
  242. else
  243. {
  244. throw new InvalidOperationException();
  245. }
  246. });
  247. }
  248. public static void Fmin_S(AILEmitterCtx Context)
  249. {
  250. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  251. EmitScalarBinaryOpF(Context, () =>
  252. {
  253. if (Op.Size == 0)
  254. {
  255. ASoftFallback.EmitCall(Context, nameof(ASoftFallback.MinF));
  256. }
  257. else if (Op.Size == 1)
  258. {
  259. ASoftFallback.EmitCall(Context, nameof(ASoftFallback.Min));
  260. }
  261. else
  262. {
  263. throw new InvalidOperationException();
  264. }
  265. });
  266. }
  267. public static void Fmin_V(AILEmitterCtx Context)
  268. {
  269. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  270. int SizeF = Op.Size & 1;
  271. EmitVectorBinaryOpF(Context, () =>
  272. {
  273. if (SizeF == 0)
  274. {
  275. ASoftFallback.EmitCall(Context, nameof(ASoftFallback.MinF));
  276. }
  277. else if (SizeF == 1)
  278. {
  279. ASoftFallback.EmitCall(Context, nameof(ASoftFallback.Min));
  280. }
  281. else
  282. {
  283. throw new InvalidOperationException();
  284. }
  285. });
  286. }
  287. public static void Fmaxnm_S(AILEmitterCtx Context)
  288. {
  289. Fmax_S(Context);
  290. }
  291. public static void Fminnm_S(AILEmitterCtx Context)
  292. {
  293. Fmin_S(Context);
  294. }
  295. public static void Fmla_V(AILEmitterCtx Context)
  296. {
  297. EmitVectorTernaryOpF(Context, () =>
  298. {
  299. Context.Emit(OpCodes.Mul);
  300. Context.Emit(OpCodes.Add);
  301. });
  302. }
  303. public static void Fmla_Ve(AILEmitterCtx Context)
  304. {
  305. EmitVectorTernaryOpByElemF(Context, () =>
  306. {
  307. Context.Emit(OpCodes.Mul);
  308. Context.Emit(OpCodes.Add);
  309. });
  310. }
  311. public static void Fmls_V(AILEmitterCtx Context)
  312. {
  313. EmitVectorTernaryOpF(Context, () =>
  314. {
  315. Context.Emit(OpCodes.Mul);
  316. Context.Emit(OpCodes.Sub);
  317. });
  318. }
  319. public static void Fmls_Ve(AILEmitterCtx Context)
  320. {
  321. EmitVectorTernaryOpByElemF(Context, () =>
  322. {
  323. Context.Emit(OpCodes.Mul);
  324. Context.Emit(OpCodes.Sub);
  325. });
  326. }
  327. public static void Fmsub_S(AILEmitterCtx Context)
  328. {
  329. EmitScalarTernaryRaOpF(Context, () =>
  330. {
  331. Context.Emit(OpCodes.Mul);
  332. Context.Emit(OpCodes.Sub);
  333. });
  334. }
  335. public static void Fmul_S(AILEmitterCtx Context)
  336. {
  337. EmitScalarBinaryOpF(Context, () => Context.Emit(OpCodes.Mul));
  338. }
  339. public static void Fmul_Se(AILEmitterCtx Context)
  340. {
  341. EmitScalarBinaryOpByElemF(Context, () => Context.Emit(OpCodes.Mul));
  342. }
  343. public static void Fmul_V(AILEmitterCtx Context)
  344. {
  345. EmitVectorBinaryOpF(Context, () => Context.Emit(OpCodes.Mul));
  346. }
  347. public static void Fmul_Ve(AILEmitterCtx Context)
  348. {
  349. EmitVectorBinaryOpByElemF(Context, () => Context.Emit(OpCodes.Mul));
  350. }
  351. public static void Fneg_S(AILEmitterCtx Context)
  352. {
  353. EmitScalarUnaryOpF(Context, () => Context.Emit(OpCodes.Neg));
  354. }
  355. public static void Fneg_V(AILEmitterCtx Context)
  356. {
  357. EmitVectorUnaryOpF(Context, () => Context.Emit(OpCodes.Neg));
  358. }
  359. public static void Fnmadd_S(AILEmitterCtx Context)
  360. {
  361. AOpCodeSimdReg Op = (AOpCodeSimdReg)Context.CurrOp;
  362. int SizeF = Op.Size & 1;
  363. EmitVectorExtractF(Context, Op.Rn, 0, SizeF);
  364. Context.Emit(OpCodes.Neg);
  365. EmitVectorExtractF(Context, Op.Rm, 0, SizeF);
  366. Context.Emit(OpCodes.Mul);
  367. EmitVectorExtractF(Context, Op.Ra, 0, SizeF);
  368. Context.Emit(OpCodes.Sub);
  369. EmitScalarSetF(Context, Op.Rd, SizeF);
  370. }
  371. public static void Fnmsub_S(AILEmitterCtx Context)
  372. {
  373. AOpCodeSimdReg Op = (AOpCodeSimdReg)Context.CurrOp;
  374. int SizeF = Op.Size & 1;
  375. EmitVectorExtractF(Context, Op.Rn, 0, SizeF);
  376. EmitVectorExtractF(Context, Op.Rm, 0, SizeF);
  377. Context.Emit(OpCodes.Mul);
  378. EmitVectorExtractF(Context, Op.Ra, 0, SizeF);
  379. Context.Emit(OpCodes.Sub);
  380. EmitScalarSetF(Context, Op.Rd, SizeF);
  381. }
  382. public static void Fnmul_S(AILEmitterCtx Context)
  383. {
  384. EmitScalarBinaryOpF(Context, () =>
  385. {
  386. Context.Emit(OpCodes.Mul);
  387. Context.Emit(OpCodes.Neg);
  388. });
  389. }
  390. public static void Frecpe_S(AILEmitterCtx Context)
  391. {
  392. EmitFrecpe(Context, 0, Scalar: true);
  393. }
  394. public static void Frecpe_V(AILEmitterCtx Context)
  395. {
  396. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  397. int SizeF = Op.Size & 1;
  398. int Bytes = Context.CurrOp.GetBitsCount() >> 3;
  399. for (int Index = 0; Index < Bytes >> SizeF + 2; Index++)
  400. {
  401. EmitFrecpe(Context, Index, Scalar: false);
  402. }
  403. if (Op.RegisterSize == ARegisterSize.SIMD64)
  404. {
  405. EmitVectorZeroUpper(Context, Op.Rd);
  406. }
  407. }
  408. private static void EmitFrecpe(AILEmitterCtx Context, int Index, bool Scalar)
  409. {
  410. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  411. int SizeF = Op.Size & 1;
  412. if (SizeF == 0)
  413. {
  414. Context.EmitLdc_R4(1);
  415. }
  416. else /* if (SizeF == 1) */
  417. {
  418. Context.EmitLdc_R8(1);
  419. }
  420. EmitVectorExtractF(Context, Op.Rn, Index, SizeF);
  421. Context.Emit(OpCodes.Div);
  422. if (Scalar)
  423. {
  424. EmitVectorZeroAll(Context, Op.Rd);
  425. }
  426. EmitVectorInsertF(Context, Op.Rd, Index, SizeF);
  427. }
  428. public static void Frecps_S(AILEmitterCtx Context)
  429. {
  430. EmitFrecps(Context, 0, Scalar: true);
  431. }
  432. public static void Frecps_V(AILEmitterCtx Context)
  433. {
  434. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  435. int SizeF = Op.Size & 1;
  436. int Bytes = Context.CurrOp.GetBitsCount() >> 3;
  437. for (int Index = 0; Index < Bytes >> SizeF + 2; Index++)
  438. {
  439. EmitFrecps(Context, Index, Scalar: false);
  440. }
  441. if (Op.RegisterSize == ARegisterSize.SIMD64)
  442. {
  443. EmitVectorZeroUpper(Context, Op.Rd);
  444. }
  445. }
  446. private static void EmitFrecps(AILEmitterCtx Context, int Index, bool Scalar)
  447. {
  448. AOpCodeSimdReg Op = (AOpCodeSimdReg)Context.CurrOp;
  449. int SizeF = Op.Size & 1;
  450. if (SizeF == 0)
  451. {
  452. Context.EmitLdc_R4(2);
  453. }
  454. else /* if (SizeF == 1) */
  455. {
  456. Context.EmitLdc_R8(2);
  457. }
  458. EmitVectorExtractF(Context, Op.Rn, Index, SizeF);
  459. EmitVectorExtractF(Context, Op.Rm, Index, SizeF);
  460. Context.Emit(OpCodes.Mul);
  461. Context.Emit(OpCodes.Sub);
  462. if (Scalar)
  463. {
  464. EmitVectorZeroAll(Context, Op.Rd);
  465. }
  466. EmitVectorInsertF(Context, Op.Rd, Index, SizeF);
  467. }
  468. public static void Frinta_S(AILEmitterCtx Context)
  469. {
  470. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  471. EmitVectorExtractF(Context, Op.Rn, 0, Op.Size);
  472. EmitRoundMathCall(Context, MidpointRounding.AwayFromZero);
  473. EmitScalarSetF(Context, Op.Rd, Op.Size);
  474. }
  475. public static void Frinta_V(AILEmitterCtx Context)
  476. {
  477. EmitVectorUnaryOpF(Context, () =>
  478. {
  479. EmitRoundMathCall(Context, MidpointRounding.AwayFromZero);
  480. });
  481. }
  482. public static void Frinti_S(AILEmitterCtx Context)
  483. {
  484. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  485. EmitScalarUnaryOpF(Context, () =>
  486. {
  487. Context.EmitLdarg(ATranslatedSub.StateArgIdx);
  488. Context.EmitCallPropGet(typeof(AThreadState), nameof(AThreadState.Fpcr));
  489. if (Op.Size == 0)
  490. {
  491. ASoftFallback.EmitCall(Context, nameof(ASoftFallback.RoundF));
  492. }
  493. else if (Op.Size == 1)
  494. {
  495. ASoftFallback.EmitCall(Context, nameof(ASoftFallback.Round));
  496. }
  497. else
  498. {
  499. throw new InvalidOperationException();
  500. }
  501. });
  502. }
  503. public static void Frinti_V(AILEmitterCtx Context)
  504. {
  505. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  506. int SizeF = Op.Size & 1;
  507. EmitVectorUnaryOpF(Context, () =>
  508. {
  509. Context.EmitLdarg(ATranslatedSub.StateArgIdx);
  510. Context.EmitCallPropGet(typeof(AThreadState), nameof(AThreadState.Fpcr));
  511. if (SizeF == 0)
  512. {
  513. ASoftFallback.EmitCall(Context, nameof(ASoftFallback.RoundF));
  514. }
  515. else if (SizeF == 1)
  516. {
  517. ASoftFallback.EmitCall(Context, nameof(ASoftFallback.Round));
  518. }
  519. else
  520. {
  521. throw new InvalidOperationException();
  522. }
  523. });
  524. }
  525. public static void Frintm_S(AILEmitterCtx Context)
  526. {
  527. EmitScalarUnaryOpF(Context, () =>
  528. {
  529. EmitUnaryMathCall(Context, nameof(Math.Floor));
  530. });
  531. }
  532. public static void Frintm_V(AILEmitterCtx Context)
  533. {
  534. EmitVectorUnaryOpF(Context, () =>
  535. {
  536. EmitUnaryMathCall(Context, nameof(Math.Floor));
  537. });
  538. }
  539. public static void Frintn_S(AILEmitterCtx Context)
  540. {
  541. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  542. EmitVectorExtractF(Context, Op.Rn, 0, Op.Size);
  543. EmitRoundMathCall(Context, MidpointRounding.ToEven);
  544. EmitScalarSetF(Context, Op.Rd, Op.Size);
  545. }
  546. public static void Frintn_V(AILEmitterCtx Context)
  547. {
  548. EmitVectorUnaryOpF(Context, () =>
  549. {
  550. EmitRoundMathCall(Context, MidpointRounding.ToEven);
  551. });
  552. }
  553. public static void Frintp_S(AILEmitterCtx Context)
  554. {
  555. EmitScalarUnaryOpF(Context, () =>
  556. {
  557. EmitUnaryMathCall(Context, nameof(Math.Ceiling));
  558. });
  559. }
  560. public static void Frintp_V(AILEmitterCtx Context)
  561. {
  562. EmitVectorUnaryOpF(Context, () =>
  563. {
  564. EmitUnaryMathCall(Context, nameof(Math.Ceiling));
  565. });
  566. }
  567. public static void Frintx_S(AILEmitterCtx Context)
  568. {
  569. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  570. EmitScalarUnaryOpF(Context, () =>
  571. {
  572. Context.EmitLdarg(ATranslatedSub.StateArgIdx);
  573. Context.EmitCallPropGet(typeof(AThreadState), nameof(AThreadState.Fpcr));
  574. if (Op.Size == 0)
  575. {
  576. ASoftFallback.EmitCall(Context, nameof(ASoftFallback.RoundF));
  577. }
  578. else if (Op.Size == 1)
  579. {
  580. ASoftFallback.EmitCall(Context, nameof(ASoftFallback.Round));
  581. }
  582. else
  583. {
  584. throw new InvalidOperationException();
  585. }
  586. });
  587. }
  588. public static void Frintx_V(AILEmitterCtx Context)
  589. {
  590. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  591. EmitVectorUnaryOpF(Context, () =>
  592. {
  593. Context.EmitLdarg(ATranslatedSub.StateArgIdx);
  594. Context.EmitCallPropGet(typeof(AThreadState), nameof(AThreadState.Fpcr));
  595. if (Op.Size == 0)
  596. {
  597. ASoftFallback.EmitCall(Context, nameof(ASoftFallback.RoundF));
  598. }
  599. else if (Op.Size == 1)
  600. {
  601. ASoftFallback.EmitCall(Context, nameof(ASoftFallback.Round));
  602. }
  603. else
  604. {
  605. throw new InvalidOperationException();
  606. }
  607. });
  608. }
  609. public static void Frsqrte_S(AILEmitterCtx Context)
  610. {
  611. EmitScalarUnaryOpF(Context, () =>
  612. {
  613. EmitUnarySoftFloatCall(Context, nameof(ASoftFloat.InvSqrtEstimate));
  614. });
  615. }
  616. public static void Frsqrte_V(AILEmitterCtx Context)
  617. {
  618. EmitVectorUnaryOpF(Context, () =>
  619. {
  620. EmitUnarySoftFloatCall(Context, nameof(ASoftFloat.InvSqrtEstimate));
  621. });
  622. }
  623. public static void Frsqrts_S(AILEmitterCtx Context)
  624. {
  625. EmitFrsqrts(Context, 0, Scalar: true);
  626. }
  627. public static void Frsqrts_V(AILEmitterCtx Context)
  628. {
  629. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  630. int SizeF = Op.Size & 1;
  631. int Bytes = Context.CurrOp.GetBitsCount() >> 3;
  632. for (int Index = 0; Index < Bytes >> SizeF + 2; Index++)
  633. {
  634. EmitFrsqrts(Context, Index, Scalar: false);
  635. }
  636. if (Op.RegisterSize == ARegisterSize.SIMD64)
  637. {
  638. EmitVectorZeroUpper(Context, Op.Rd);
  639. }
  640. }
  641. private static void EmitFrsqrts(AILEmitterCtx Context, int Index, bool Scalar)
  642. {
  643. AOpCodeSimdReg Op = (AOpCodeSimdReg)Context.CurrOp;
  644. int SizeF = Op.Size & 1;
  645. if (SizeF == 0)
  646. {
  647. Context.EmitLdc_R4(3);
  648. }
  649. else /* if (SizeF == 1) */
  650. {
  651. Context.EmitLdc_R8(3);
  652. }
  653. EmitVectorExtractF(Context, Op.Rn, Index, SizeF);
  654. EmitVectorExtractF(Context, Op.Rm, Index, SizeF);
  655. Context.Emit(OpCodes.Mul);
  656. Context.Emit(OpCodes.Sub);
  657. if (SizeF == 0)
  658. {
  659. Context.EmitLdc_R4(0.5f);
  660. }
  661. else /* if (SizeF == 1) */
  662. {
  663. Context.EmitLdc_R8(0.5);
  664. }
  665. Context.Emit(OpCodes.Mul);
  666. if (Scalar)
  667. {
  668. EmitVectorZeroAll(Context, Op.Rd);
  669. }
  670. EmitVectorInsertF(Context, Op.Rd, Index, SizeF);
  671. }
  672. public static void Fsqrt_S(AILEmitterCtx Context)
  673. {
  674. EmitScalarUnaryOpF(Context, () =>
  675. {
  676. EmitUnaryMathCall(Context, nameof(Math.Sqrt));
  677. });
  678. }
  679. public static void Fsub_S(AILEmitterCtx Context)
  680. {
  681. EmitScalarBinaryOpF(Context, () => Context.Emit(OpCodes.Sub));
  682. }
  683. public static void Fsub_V(AILEmitterCtx Context)
  684. {
  685. EmitVectorBinaryOpF(Context, () => Context.Emit(OpCodes.Sub));
  686. }
  687. public static void Mla_V(AILEmitterCtx Context)
  688. {
  689. EmitVectorTernaryOpZx(Context, () =>
  690. {
  691. Context.Emit(OpCodes.Mul);
  692. Context.Emit(OpCodes.Add);
  693. });
  694. }
  695. public static void Mla_Ve(AILEmitterCtx Context)
  696. {
  697. EmitVectorTernaryOpByElemZx(Context, () =>
  698. {
  699. Context.Emit(OpCodes.Mul);
  700. Context.Emit(OpCodes.Add);
  701. });
  702. }
  703. public static void Mls_V(AILEmitterCtx Context)
  704. {
  705. EmitVectorTernaryOpZx(Context, () =>
  706. {
  707. Context.Emit(OpCodes.Mul);
  708. Context.Emit(OpCodes.Sub);
  709. });
  710. }
  711. public static void Mul_V(AILEmitterCtx Context)
  712. {
  713. EmitVectorBinaryOpZx(Context, () => Context.Emit(OpCodes.Mul));
  714. }
  715. public static void Mul_Ve(AILEmitterCtx Context)
  716. {
  717. EmitVectorBinaryOpByElemZx(Context, () => Context.Emit(OpCodes.Mul));
  718. }
  719. public static void Neg_S(AILEmitterCtx Context)
  720. {
  721. EmitScalarUnaryOpSx(Context, () => Context.Emit(OpCodes.Neg));
  722. }
  723. public static void Neg_V(AILEmitterCtx Context)
  724. {
  725. EmitVectorUnaryOpSx(Context, () => Context.Emit(OpCodes.Neg));
  726. }
  727. public static void Raddhn_V(AILEmitterCtx Context)
  728. {
  729. EmitHighNarrow(Context, () => Context.Emit(OpCodes.Add), Round: true);
  730. }
  731. public static void Rsubhn_V(AILEmitterCtx Context)
  732. {
  733. EmitHighNarrow(Context, () => Context.Emit(OpCodes.Sub), Round: true);
  734. }
  735. public static void Saddw_V(AILEmitterCtx Context)
  736. {
  737. EmitVectorWidenRmBinaryOpSx(Context, () => Context.Emit(OpCodes.Add));
  738. }
  739. public static void Smax_V(AILEmitterCtx Context)
  740. {
  741. Type[] Types = new Type[] { typeof(long), typeof(long) };
  742. MethodInfo MthdInfo = typeof(Math).GetMethod(nameof(Math.Max), Types);
  743. EmitVectorBinaryOpSx(Context, () => Context.EmitCall(MthdInfo));
  744. }
  745. public static void Smin_V(AILEmitterCtx Context)
  746. {
  747. Type[] Types = new Type[] { typeof(long), typeof(long) };
  748. MethodInfo MthdInfo = typeof(Math).GetMethod(nameof(Math.Min), Types);
  749. EmitVectorBinaryOpSx(Context, () => Context.EmitCall(MthdInfo));
  750. }
  751. public static void Smlal_V(AILEmitterCtx Context)
  752. {
  753. EmitVectorWidenRnRmTernaryOpSx(Context, () =>
  754. {
  755. Context.Emit(OpCodes.Mul);
  756. Context.Emit(OpCodes.Add);
  757. });
  758. }
  759. public static void Smull_V(AILEmitterCtx Context)
  760. {
  761. EmitVectorWidenRnRmBinaryOpSx(Context, () => Context.Emit(OpCodes.Mul));
  762. }
  763. public static void Sub_S(AILEmitterCtx Context)
  764. {
  765. EmitScalarBinaryOpZx(Context, () => Context.Emit(OpCodes.Sub));
  766. }
  767. public static void Sub_V(AILEmitterCtx Context)
  768. {
  769. EmitVectorBinaryOpZx(Context, () => Context.Emit(OpCodes.Sub));
  770. }
  771. public static void Subhn_V(AILEmitterCtx Context)
  772. {
  773. EmitHighNarrow(Context, () => Context.Emit(OpCodes.Sub), Round: false);
  774. }
  775. public static void Uabd_V(AILEmitterCtx Context)
  776. {
  777. EmitVectorBinaryOpZx(Context, () => EmitAbd(Context));
  778. }
  779. public static void Uabdl_V(AILEmitterCtx Context)
  780. {
  781. EmitVectorWidenRnRmBinaryOpZx(Context, () => EmitAbd(Context));
  782. }
  783. private static void EmitAbd(AILEmitterCtx Context)
  784. {
  785. Context.Emit(OpCodes.Sub);
  786. Type[] Types = new Type[] { typeof(long) };
  787. Context.EmitCall(typeof(Math).GetMethod(nameof(Math.Abs), Types));
  788. }
  789. public static void Uaddl_V(AILEmitterCtx Context)
  790. {
  791. EmitVectorWidenRnRmBinaryOpZx(Context, () => Context.Emit(OpCodes.Add));
  792. }
  793. public static void Uaddlv_V(AILEmitterCtx Context)
  794. {
  795. AOpCodeSimd Op = (AOpCodeSimd)Context.CurrOp;
  796. int Bytes = Context.CurrOp.GetBitsCount() >> 3;
  797. EmitVectorExtractZx(Context, Op.Rn, 0, Op.Size);
  798. for (int Index = 1; Index < (Bytes >> Op.Size); Index++)
  799. {
  800. EmitVectorExtractZx(Context, Op.Rn, Index, Op.Size);
  801. Context.Emit(OpCodes.Add);
  802. }
  803. EmitScalarSet(Context, Op.Rd, Op.Size + 1);
  804. }
  805. public static void Uaddw_V(AILEmitterCtx Context)
  806. {
  807. EmitVectorWidenRmBinaryOpZx(Context, () => Context.Emit(OpCodes.Add));
  808. }
  809. public static void Uhadd_V(AILEmitterCtx Context)
  810. {
  811. EmitVectorBinaryOpZx(Context, () =>
  812. {
  813. Context.Emit(OpCodes.Add);
  814. Context.EmitLdc_I4(1);
  815. Context.Emit(OpCodes.Shr_Un);
  816. });
  817. }
  818. public static void Umull_V(AILEmitterCtx Context)
  819. {
  820. EmitVectorWidenRnRmBinaryOpZx(Context, () => Context.Emit(OpCodes.Mul));
  821. }
  822. }
  823. }