Лукин Иван. Технология SEQ-MPI. Сумма элементов вектора. Вариант 1. by elus10n · Pull Request #29 · learning-process/ppc-2025-processes-informatics

elus10n · 2025-11-11T14:31:02Z

Описание

Была сделана задача параллелизма на примере задачи вычисления суммы элементов вектора.

Задача: Сумма элементов вектора
Вариант: 1
Технология: SEQ, MPI
Описание:
SEQ: Последовательно проходим по всему вектору и суммируем все его элементы с помощью std::accumulate.
MPI: Параллельный алгоритм реализует распределенное суммирование элементов вектора с использованием MPI. Корневой процесс распределяет данные между всеми процессами с помощью операции Scatterv, обеспечивая равномерное распределение элементов с учетом возможного остатка (Всем по целой части, остаток распределяется между первыми reminder процессами). Каждый процесс независимо вычисляет локальную сумму своих элементов. Затем с помощью операции Allreduce все частичные суммы складываются, и итоговый результат становится доступен всем процессам одновременно. Для случая, когда количество процессов превышает размер вектора, алгоритм предусматривает специальную обработку, где только root-процесс выполняет последовательное суммирование, а результат рассылается остальным процессам через Broadcast

Чек-лист

Статус CI: Все CI-задачи (сборка, тесты, генерация отчёта) успешно проходят на моей ветке в моем форке
Директория и именование задачи: Я создал директорию с именем <фамилия>_<первая_буква_имени>_<короткое_название_задачи>
Полное описание задачи: Я предоставил полное описание задачи в теле pull request
clang-format: Мои изменения успешно проходят clang-format локально в моем форке (нет ошибок форматирования)
clang-tidy: Мои изменения успешно проходят clang-tidy локально в моем форке (нет предупреждений/ошибок)
Функциональные тесты: Все функциональные тесты успешно проходят локально на моей машине
Тесты производительности: Все тесты производительности успешно проходят локально на моей машине
Ветка: Я работаю в ветке, названной точно так же, как директория моей задачи (например, nesterov_a_vector_sum), а не в master
Правдивое содержание: Я подтверждаю, что все сведения, указанные в этом pull request, являются точными и достоверными

codecov-commenter · 2025-11-11T14:58:10Z

Codecov Report

✅ All modified and coverable lines are covered by tests.
✅ Project coverage is 94.68%. Comparing base (92b24d3) to head (0fc7c5d).

Additional details and impacted files

@@            Coverage Diff             @@
##           master      #29      +/-   ##
==========================================
+ Coverage   94.03%   94.68%   +0.65%     
==========================================
  Files          15       17       +2     
  Lines         486      546      +60     
  Branches      181      199      +18     
==========================================
+ Hits          457      517      +60     
  Partials       29       29

☔ View full report in Codecov by Sentry.
📢 Have feedback on the report? Share it here.

🚀 New features to boost your workflow:

❄️ Test Analytics: Detect flaky tests, report on failures, and find test suite problems.

aobolensk · 2025-11-22T10:20:19Z

+}
+
+bool LukinIElemVecSumMPI::ValidationImpl() {
+  return true;


Implementation is empty

Поправил

aobolensk · 2025-11-22T10:20:42Z

+| mpi         | 4     | 0.09    | 0.22    | 5.0%       |
+| mpi         | 8     | 0.1     | 0.2     | 2.5%       |
+
+Это тесты производительности на векторе из 500 млн элементов. Видно, что расходы на коммуникацию многократно превысили время счета. Также стоит отметить, что тест на 8 процессах не удалось осуществить, что подтверждает выводы о серьезных затратах на Scatterv.


This does not prove anything

aobolensk · 2025-11-22T10:22:12Z

+  }
+
+  std::vector<int> sendcounts(proc_count);
+  std::vector<int> offsets(proc_count);


Why do you need offsets calculation along with using Scatterv for data distribution?

Считал, что задача подразумевает, что данные нужно распределить от корня ко всем процессам, а scatterv был удобен для этого. Сейчас реализация изменена с учетом того, что GetInput доступен всем процессам сразу.

Если данные все же нужно было распределять, а спросили вы, чтобы меня проверить, то ответ - потому что у меня неравномерное распределение данных в общем случае, с этим можно ознакомиться в отчете, я об этом писал. Можно было бы дополнить вектор нейтральными для сложения элементами и использовать Scatter, но я выбрал Scatterv по его непосредственному назначению. Жду обратной связи, если мне нужно откатиться к предыдущей реализации.

Откатился к предыдущей реализации и сделал так, чтобы GetInput был доступен только на корневом процессе, как того и требует задача. Также учел и другие ваши замечания.

aobolensk · 2025-11-22T10:22:45Z

+- Hardware/OS: Intel I5-13420H, 8 cores, 16GB RAM, Win10 OS
+- Toolchain: Microsoft Visual C++ (MSVC), MSBuild 17.14.23, Release
+- Environment: PPC_NUM_PROC
+- Data: Вектор на 20'000'000 элементов, элементы составляют арифметическую прогрессию от 1 до vector.size с шагом 1


I don't see any results for 20M elements

Поправил

…earning-process#29)  ## Описание  Была сделана задача параллелизма на примере задачи вычисления суммы элементов вектора. - **Задача**: _Сумма элементов вектора_ - **Вариант**: _1_ - **Технология**: _SEQ, MPI_ - **Описание**: SEQ: Последовательно проходим по всему вектору и суммируем все его элементы с помощью `std::accumulate`. MPI: Параллельный алгоритм реализует распределенное суммирование элементов вектора с использованием MPI. Корневой процесс распределяет данные между всеми процессами с помощью операции `Scatterv`, обеспечивая равномерное распределение элементов с учетом возможного остатка (Всем по целой части, остаток распределяется между первыми `reminder` процессами). Каждый процесс независимо вычисляет локальную сумму своих элементов. Затем с помощью операции `Allreduce` все частичные суммы складываются, и итоговый результат становится доступен всем процессам одновременно. Для случая, когда количество процессов превышает размер вектора, алгоритм предусматривает специальную обработку, где только root-процесс выполняет последовательное суммирование, а результат рассылается остальным процессам через `Broadcast` --- ## Чек-лист  - [x] **Статус CI**: Все CI-задачи (сборка, тесты, генерация отчёта) успешно проходят на моей ветке в моем форке - [x] **Директория и именование задачи**: Я создал директорию с именем `<фамилия>_<первая_буква_имени>_<короткое_название_задачи>` - [x] **Полное описание задачи**: Я предоставил полное описание задачи в теле pull request - [x] **clang-format**: Мои изменения успешно проходят `clang-format` локально в моем форке (нет ошибок форматирования) - [x] **clang-tidy**: Мои изменения успешно проходят `clang-tidy` локально в моем форке (нет предупреждений/ошибок) - [x] **Функциональные тесты**: Все функциональные тесты успешно проходят локально на моей машине - [x] **Тесты производительности**: Все тесты производительности успешно проходят локально на моей машине - [x] **Ветка**: Я работаю в ветке, названной точно так же, как директория моей задачи (например, `nesterov_a_vector_sum`), а не в `master` - [x] **Правдивое содержание**: Я подтверждаю, что все сведения, указанные в этом pull request, являются точными и достоверными

elus10n and others added 30 commits October 25, 2025 11:51

change names and succesfully build

3cad232

first try to run tests

37a1e98

test commit

af2439c

clang-fix

a3910cb

fix integer compare

bce4655

fix

e33bd2e

small perf time fix

c635d4d

refactoring

3b88549

forget clang

c8d0e9c

again

25f4cb7

new algo

f2af69b

new commit

efe0b33

fix

4d1c2e8

mac))

94b0281

add barrier

2a5c1a7

another realization without allreduce and scatterv

0467950

back to better realization + tests + delete sz==0 branch

d43f85d

mac hater

710cbd4

last try

2e7e57b

last try + format

39b4f9c

another past realization

6519c2b

fix

09f3089

barriers

a630da5

double free try to fix

27084d7

tests

8e21c94

fix kparam

8f1ffa7

-tests and sndc, offs count on root then scatter

6ee7a08

Merge branch 'learning-process:master' into lukin_i_elem_vec_sum

82d8eb6

tests

74a2462

Merge branch 'learning-process:master' into lukin_i_elem_vec_sum

516c9fd

elus10n and others added 12 commits November 7, 2025 22:21

tidy fix#2

61a1421

tidy fix#2+format

7fef7bc

try to better perf and coverage + fix vec copy, fix OutType

39a428d

small fix OutType

db37420

Merge branch 'learning-process:master' into lukin_i_elem_vec_sum

b54b877

?

fe4471d

tidy fix

588257d

back to int

3508978

tidy fix

bbfdfe7

tidy

50407ec

report

d551a33

perf test fix size

f9b2a4b

elus10n requested review from allnes and aobolensk as code owners November 11, 2025 14:31

github-actions Bot added the task label Nov 11, 2025

aobolensk reviewed Nov 22, 2025

View reviewed changes

elus10n added 2 commits November 23, 2025 21:15

review fixes

635d8c3

tidy hotfix

809974e

elus10n requested a review from aobolensk November 23, 2025 19:57

allnes reviewed Nov 23, 2025

View reviewed changes

Comment thread tasks/lukin_i_elem_vec_sum/common/include/common.hpp

elus10n requested a review from allnes November 24, 2025 05:06

back to scatterv realization + GetInput() is now available only on root

0fc7c5d

aobolensk approved these changes Dec 4, 2025

View reviewed changes

allnes approved these changes Dec 10, 2025

View reviewed changes

allnes added Approved (Arseniy) Approved (Alexander) labels Dec 10, 2025

allnes merged commit e727e5d into learning-process:master Dec 10, 2025
41 checks passed

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Лукин Иван. Технология SEQ-MPI. Сумма элементов вектора. Вариант 1.#29

Лукин Иван. Технология SEQ-MPI. Сумма элементов вектора. Вариант 1.#29
allnes merged 52 commits intolearning-process:masterfrom
elus10n:lukin_i_elem_vec_sum

elus10n commented Nov 11, 2025 •

edited

Loading

Uh oh!

codecov-commenter commented Nov 11, 2025 •

edited

Loading

Uh oh!

aobolensk Nov 22, 2025

Uh oh!

elus10n Nov 23, 2025

Uh oh!

aobolensk Nov 22, 2025

Uh oh!

aobolensk Nov 22, 2025

Uh oh!

elus10n Nov 23, 2025 •

edited

Loading

Uh oh!

elus10n Nov 23, 2025

Uh oh!

elus10n Nov 24, 2025

Uh oh!

aobolensk Nov 22, 2025

Uh oh!

elus10n Nov 23, 2025

Uh oh!

Uh oh!

Uh oh!

Reviewers

Assignees

Labels

Projects

Milestone

Development

Uh oh!

4 participants

Conversation

elus10n commented Nov 11, 2025 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Описание

Чек-лист

Uh oh!

codecov-commenter commented Nov 11, 2025 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Codecov Report

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

elus10n Nov 23, 2025 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Uh oh!

Uh oh!

Reviewers

Assignees

Labels

Projects

Milestone

Development

Uh oh!

4 participants

elus10n commented Nov 11, 2025 •

edited

Loading

codecov-commenter commented Nov 11, 2025 •

edited

Loading

elus10n Nov 23, 2025 •

edited

Loading