48 #ifndef included_clib_memcpy_avx2_h 49 #define included_clib_memcpy_avx2_h 52 #include <x86intrin.h> 59 xmm0 = _mm_loadu_si128 ((
const __m128i *) src);
60 _mm_storeu_si128 ((__m128i *) dst, xmm0);
68 ymm0 = _mm256_loadu_si256 ((
const __m256i *) src);
69 _mm256_storeu_si256 ((__m256i *) dst, ymm0);
89 __m256i ymm0, ymm1, ymm2, ymm3;
94 _mm256_loadu_si256 ((
const __m256i *) ((
const u8 *) src + 0 * 32));
97 _mm256_loadu_si256 ((
const __m256i *) ((
const u8 *) src + 1 * 32));
99 _mm256_loadu_si256 ((
const __m256i *) ((
const u8 *) src + 2 * 32));
101 _mm256_loadu_si256 ((
const __m256i *) ((
const u8 *) src + 3 * 32));
102 src = (
const u8 *) src + 128;
103 _mm256_storeu_si256 ((__m256i *) ((
u8 *) dst + 0 * 32), ymm0);
104 _mm256_storeu_si256 ((__m256i *) ((
u8 *) dst + 1 * 32), ymm1);
105 _mm256_storeu_si256 ((__m256i *) ((
u8 *) dst + 2 * 32), ymm2);
106 _mm256_storeu_si256 ((__m256i *) ((
u8 *) dst + 3 * 32), ymm3);
107 dst = (
u8 *) dst + 128;
127 *(
u8 *) dstu = *(
const u8 *) srcu;
128 srcu = (
uword) ((
const u8 *) srcu + 1);
129 dstu = (
uword) ((
u8 *) dstu + 1);
133 *(
u16 *) dstu = *(
const u16 *) srcu;
134 srcu = (
uword) ((
const u16 *) srcu + 1);
139 *(
u32 *) dstu = *(
const u32 *) srcu;
140 srcu = (
uword) ((
const u32 *) srcu + 1);
145 *(
u64 *) dstu = *(
const u64 *) srcu;
178 src = (
const u8 *) src + 128;
179 dst = (
u8 *) dst + 128;
181 COPY_BLOCK_128_BACK31:
186 src = (
const u8 *) src + 64;
187 dst = (
u8 *) dst + 64;
205 dstofss = (
uword) dst & 0x1F;
208 dstofss = 32 - dstofss;
211 src = (
const u8 *) src + dstofss;
212 dst = (
u8 *) dst + dstofss;
222 src = (
const u8 *) src + bits;
223 dst = (
u8 *) dst + bits;
228 goto COPY_BLOCK_128_BACK31;
static void * clib_memcpy(void *dst, const void *src, size_t n)
static void clib_mov32(u8 *dst, const u8 *src)
static void clib_mov16(u8 *dst, const u8 *src)
static void clib_mov128(u8 *dst, const u8 *src)
static void clib_mov128blocks(u8 *dst, const u8 *src, size_t n)
static void clib_mov64(u8 *dst, const u8 *src)