리포트와 분석

리포트는 한 번의 실행에서 무엇을 검사했고 어떤 결과가 나왔는지 보여 줍니다. 분석 화면은 누적된 실행 기록을 요약해 반복되는 실패와 변화를 찾는 데 사용합니다.

실행 결과 읽기

검증 → 실행 기록에서 실행 기록을 열고 대상 테스트, 환경·페르소나·브라우저 조건, 실행 시각을 먼저 확인합니다. 통과와 실패뿐 아니라 건너뛴 항목과 중단된 실행도 살펴봅니다.

통과율은 실행한 검사에 대한 비율입니다. 테스트하지 않은 기능이나 누락된 assertion을 포함한 제품 전체의 품질 점수가 아닙니다.

실패 근거 확인

검증 목록에서 항목을 선택하면 내용 · 실행 기록 · 산출물로 나뉩니다. 내용에서 테스트 코드와 문서를 펼칠 수 있고, 실행 기록에서 과거 결과를, 산출물에서 수집된 자료를 확인합니다. 개선할 내용은 개선 항목으로 등록해 근거와 재검증 기록을 이어 갑니다.

리포트 상세의 디버깅 자료를 사용해 실패 시점의 상황을 확인합니다. 자료는 테스트 설정과 수집 성공 여부에 따라 달라집니다.

AI 조사 결과는 원인 가설로 검토합니다. 수정 후에는 실패한 조건으로 다시 실행해 해결 여부를 확인합니다. 의도된 화면 변경을 기준 이미지로 승인할 때도 다른 회귀가 함께 포함되지 않았는지 살펴봅니다.

이전 결과와 비교

변경 내역 → 테스트 결과에서 같은 테스트의 서로 다른 실행 두 개를 선택하고 테스트 결과 비교를 엽니다. 변경 내역에서 비교 기준을 확인할 수 있습니다.

비교할 실행의 테스트 범위와 조건을 맞춥니다. 통과에서 실패로 바뀐 항목, 해결된 실패와 새로 추가된 검사를 구분합니다. 환경이나 테스트 코드가 달라졌다면 결과 차이를 제품 변경만으로 설명할 수 없습니다.

결과 상세의 이 테스트 다시 실행은 해당 테스트를 선택한 실행 설정을 엽니다. 현재 코드와 조건을 사용하는 재실행이며 과거 실행의 복원은 아닙니다.

누적 기록 분석

검증의 검증 종류 → 실행 통계에서는 성공률 추이, 실행 시간, 오류 분류, 실패 패턴, 브라우저별 비교와 불안정한 테스트 등을 살펴볼 수 있습니다. 기간 비교는 실행량과 테스트 구성이 비슷한지 함께 확인해야 의미가 있습니다.

프로젝트를 바꿔 각 서비스의 결과를 확인할 수 있습니다. 소개 사이트의 여러 프로젝트 예시를 모든 프로젝트가 자동 통합·검증되는 실시간 화면으로 해석하지 않습니다. 데이터가 없는 프로젝트에는 분석할 실행 근거부터 필요합니다.

결과 공유

개별 리포트의 내보내기 메뉴에서 CSV 또는 Markdown을 사용합니다. 리포트 목록에는 묶음 CSV와 ZIP 내보내기가 있습니다. 공유 전에 계정 정보, URL, 화면과 로그에 민감한 내용이 포함됐는지 확인합니다.

외부 AI에서 최신 결과를 읽으려면 MCP 협업을, 데이터를 일정 간격으로 쌓으려면 정기 실행을 참고합니다.

개요 데이터보드

개요의 품질 현황은 보관된 전체 실행의 집계 데이터를 조회하고 7·30·90일을 선택해 표시합니다. 상세 로그와 첨부 파일은 집계 응답에 포함하지 않습니다. 실행 횟수·통과율·실패 검사 수는 바로 앞의 동일 일수 기간과 비교합니다. 오늘은 현재 시각까지 집계하며 삭제된 기록은 포함하지 않습니다.

• 실행 추세: 날짜별 성공·실패·건너뛴 검사 수. 차트 아래 범위 선택기로 구간을 좁힐 수 있습니다.
• 테스트 결과: 검사 결과 비율. 통과율은 성공 ÷ (성공 + 실패)이며 건너뛴 검사는 제외합니다.
• 반복 실패: 실패한 검사 수가 많은 테스트 상위 5개입니다. 실패율 순위는 아닙니다.
• 개선 상태: 선택한 기간과 별개로 현재 등록된 전체 개선의 상태입니다.

위젯 설정에서 표시 여부, 순서, 너비를 바꿉니다. 위·아래 버튼으로 읽는 순서를 바꾸고 보통·넓게 버튼으로 데스크톱에서 차지할 너비를 선택합니다. 작은 화면에서는 한 열로 표시됩니다. 설정은 이 기기에 프로젝트별로 저장되며 기본 배치로 복원할 수 있습니다. 일별 수치는 일별 집계 데이터 표에서도 확인할 수 있습니다. 데이터가 없는 상태와 조회 실패는 구분하며, 실행 차트의 자세히 보기는 집계에 사용된 기록을, 개선 차트는 개선 관리 화면을 엽니다.

실행 근거와 검증 범위

실행 횟수·통과율·실패 검사 수를 누르면 현재 기간의 집계에 사용된 기록이 열립니다. 테스트 결과의 성공·실패·건너뜀 버튼, 반복 실패의 테스트 이름, 일별 집계 표의 날짜로 범위를 좁힐 수 있습니다. 검색은 선택한 범위 안에서 적용됩니다. 기록 열기는 해당 테스트와 실행 시각의 상세로 이동합니다.

기능과 흐름의 검증 범위는 기간 필터와 별개로 보관된 각 테스트의 가장 최근 실행을 사용합니다. 테스트 미연결, 삭제된 테스트 연결, 실행 근거 없음, 최근 실패, 일부 검사 미실행, 최근 통과를 구분합니다. 연결된 모든 테스트의 근거가 있어야 최근 통과로 분류합니다. 이 분류는 연결한 테스트의 결과이며 제품 전체의 품질 점수가 아닙니다. 상태를 누르면 해당 기능·흐름만 표시하고, 이름은 구조 상세로, 실행 근거는 당시 결과로 연결됩니다.

실행 설정으로 필터링

품질 현황에서 실행 환경·브라우저 설정·테스트 도구를 함께 선택하면 차트, 이전 기간 비교, 실행 근거 목록에 같은 조건이 적용됩니다. 기능과 흐름의 검증 범위는 이 필터와 별개로 전체 이력 기준입니다.

실행 시 지정한 환경과 브라우저 설정 이름을 리포트에 저장합니다. 환경 변수 값은 저장하지 않습니다. 과거 기록이나 설정을 지정하지 않은 실행은 설정 정보 없음으로 표시됩니다. 여러 브라우저를 한 번에 실행한 리포트는 합산 결과이므로 브라우저 조합 그대로 구분합니다. 손상되어 읽지 못한 리포트가 있으면 제외된 건수를 표시합니다.