CANoe/CAPL 기반 차량 ECU Black Box Testing

01 / 프로젝트 역할

검증 전 과정 전담

교육기관의 검증 대상·요구사항을 바탕으로 CANdb·주변 노드·Panel 구성, 테스트 설계, CAPL 작성과 결과 분석을 담당했습니다. 대상 제어 로직 자체를 개발한 프로젝트는 아닙니다.

• 요구사항 분석 · 테스트 설계Fault Detection·Recovery·Clear의 선행 조건, 경계값, Timing을 테스트 조건과 기대 결과로 구체화했습니다.
• 검증 환경 구성 · CAPL 자동화CANdb·CANoe·Panel을 구성하고, 7개 고장 시나리오에 대해 Testcase 24개를 작성했습니다.
• 결함 재현 · 분석 · 문서화Panel·CAN Trace 창을 통한 수동 검증과 CAPL 자동 검증의 결과를 비교했습니다. 각 시험 결과를 요구사양과 연결해 추적성을 확보했습니다.

02 / 트러블슈팅

수동·자동 검증의 판정 불일치 해결

대표 문제 해결 — Fresh Frame 동기화

1. 증상메시지 송신 방식 변경 후 이전 프레임을 기준으로 타이머가 시작돼 Detection 시점 판정이 흔들렸습니다.
2. 원인 분석CAN Trace Timestamp와 CAPL Flag 전환 시점을 비교해 최신 Reference Frame 수신 전 측정이 시작됨을 확인했습니다.
3. 수정waitBattReference·waitIGNReference에서 TestWaitForMessage로 최신 수신 프레임을 확인한 뒤 setTimerCyclic으로 1ms 타이머를 시작하도록 변경했습니다.
4. 재검증경계값·Timing 시나리오를 다시 실행한 기록을 정리했습니다. 수정 전후 비교 로그가 없어 false pass/false fail의 방향과 오차 감소량은 확정하지 않았습니다.

시험 대상의 동작과 테스트 오라클(기대값·시간을 판정하는 로직)을 구분했습니다. 최신 프레임에 시작점을 맞춘 변경은 확인되지만, ±10ms 경계 판정의 정확도를 입증한 것으로 확대하지 않습니다.

OVERVIEW

테스트 수행 흐름

요구사항 분석 → CANdb·CANoe·Panel 환경 구성 → 수동 검증 → CAPL 자동 검증 → 정적·동적 검증 → 결함 분석 및 재확인

CODE

void waitBattReference(int timeoutMs , int data)
{
  if (TestWaitForMessage(BATT_01_10ms, timeoutMs) == 1)
  {
    TestGetWaitEventMsgData(battRef_msg);
    if (battRef_msg.Batt_Percent == data){
      testWaitForTimeout(9);
      setTimerCyclic(t_1ms ,1);
    }
    else{
      while(1){
        if (TestWaitForMessage(BATT_01_10ms, timeoutMs) == 1){
              TestGetWaitEventMsgData(battRef_msg);
              if (battRef_msg.Batt_Percent == data){
                testWaitForTimeout(9);
                setTimerCyclic(t_1ms ,1);
                break;
              }
        }
      }
    }
  }
}

/* 14,15 + IGN=1 + ENG=1 일 때만 fault level 2 기대 */
expectFault = (i == 1 && j == 1 && battPercent <= 15);

waitBattReference(20, battPercent);

while(time_cnt_ms <= 5100)
{
  @sysvar::UDS::Send_msg = 1;
  if(TestWaitForMessage(Fault_sts_Rsp, 20) == 1)
  {
    TestGetWaitEventMsgData(faultRsp_msg);

    if(expectFault)
    {
      if(faultRsp_msg.BATT_Percent_Err_sts == 2)
      {
        if(time_cnt_ms >= 4900 && time_cnt_ms <= 5100)
        {
          faultDetectedInWindow = 1;
          break;
        }
        else
        {
          timingError = 1;
          TestStepFail("1.4",
                       "Fault detected out of time window when IGN=%d, ENG=%d, Batt_Percent=%d, time=%dms",
                       i, j, battPercent, time_cnt_ms);
          break;
        }
      }
    }
    else
    {
      /* fault를 기대하지 않는 모든 경우는 0 유지가 정상 */
      if(faultRsp_msg.BATT_Percent_Err_sts != 0)
      {
        unexpectedStateDetected = 1;
        TestStepFail("1.5",
                     "Unexpected state detected when IGN=%d, ENG=%d, Batt_Percent=%d, Err_sts=%d, time=%dms",
                     i, j, battPercent, faultRsp_msg.BATT_Percent_Err_sts, time_cnt_ms);
        break;
      }
    }
  }
}

대기 실패와 측정 기준을 분리하는 개선 설계

원본 저장소에 기록한 후속 설계입니다. 아래는 의사코드이며 CAPL 컴파일·CANoe 실행 검증 전입니다.

deadline = monotonicNow + totalTimeout
while monotonicNow < deadline:
    frame = waitMessage(deadline - monotonicNow)
    if frame is timeout: return TIMEOUT
    if frame.value == expected: return OK(frame.timestamp)
return TIMEOUT

reference = waitReference(expected, totalTimeout)
if reference is TIMEOUT:
    record TEST_ERROR("기준 프레임 미수신")
    stop current case

if no valid status response before deadline:
    record TEST_ERROR("상태 응답 미수신")
    stop current case
elapsed = firstFaultResponse.timestamp - reference.timestamp

전체 대기시간을 제한하고 성공·실패를 반환합니다. 무응답을 정상 미검출로 판정하지 않습니다. 원본의 “14,15일 때만” 주석은 Batt_Percent ≤ 15 조건과 다르므로 수정 대상입니다.

시간 측정의 범위

Steering 소스에도 9ms 대기(주석: IVS controller 보정값)와 최대 20ms 응답 대기가 있습니다. 보정의 교정 근거와 전체 측정 불확도는 확보하지 못했습니다. 1ms 카운터 분해능과 986~993ms의 관측 산포는 측정 정확도 보증이 아닙니다.

후속 검증에서는 자극 프레임과 첫 상태 2 응답의 시각 차이를 기록하고, 요청·응답 관측 지연을 별도로 평가해야 합니다. 50±10ms 경계의 합격 판정은 이 검증 이후에 가능합니다.

• Detection·Recovery·Clear 시나리오 자동화
• CAN Signal·System Variable 기반 기대값 판정
• 경계값과 선행 조건 조합 입력
• 판정은 TestStepPass·TestStepFail로 기록해 조건과 실제 값을 함께 남김

TEST

대표 검출 결과

• 7개 고장 시나리오 중 보관 소스는 CAPL 6종·testcase 선언 24개입니다. Batt Percent 시나리오는 101 × Ignition 2 × Engine 2 = 404조합을 대상으로 했습니다. 작은 정수 입력 공간에서 경계값과 선행조건 누락을 함께 확인한 범위이며 전체 시스템 전수 시험은 아닙니다.
• 정적 검토 4건: Signal Length·Description 불일치와 값 표기 개선 2건. 127과 0x7F는 같은 값이며 값 자체의 오류는 아닙니다.
• 동적 결함 11건: 경계값, 선행 조건, Recovery, Timing 오류
• Batt Percent 15% 경계값과 IGN 50 Cycle Off-by-One 확인
• Steering Timing 요구사항 50±10ms 대비 스크립트 관측 986~993ms
• Batt Voltage 회복: raw 14400~15000에서 회복 실패를 관측했습니다. 단위·스케일 해석 오류는 원인 가설이며 DBC와 raw 15 회복 증거의 추가 확인이 필요합니다.

결함별 실제 판정 화면

동적 결함 11건 가운데 10건은 CAPL 테스트 리포트의 판정 행을 그대로 남겼습니다. 각 행에는 입력 조건과 관측값이 함께 기록됩니다. Brake·Accel·Vehicle 독립 검출 결함 1건은 캡처가 없어 문서로만 정리했습니다.

Batt Percent 15% — 요구 검출 구간 4900~5100ms에서 Fault 미검출 Batt Percent 80% — 동일 구간에서 Fault 미검출 관측 · 등호 조건 누락 가능성 추정 IGN Cycle — 요구 50 Cycle과 달리 Cycle_cnt=49에서 Clear 동작 (Off-by-One) Batt Voltage 회복 — raw 14400~15000 전 구간 회복 실패. 요구 임계 15.0V와의 단위·스케일 해석 불일치 의심 (내부 원인 미확정) Batt Voltage High — IGN=0 · ENG=0 선행조건 위반 상태에서도 Err_sts=2 검출 Battery Charging — ENG=0에서도 검출, Engine 선행조건 미반영 Ignition Status Error — IGN=3(Error) 입력에 101ms·5109ms 모두 Err_sts=0 Engine Status Error — ENG=2(Fault) 입력에 1028ms까지 Err_sts=0 Steering Timing — 요구사항 50±10ms 대비 스크립트 관측 986~993ms Steering — IGN=0 선행조건 위반 상태에서도 검출

DOCUMENT

원본 저장소의 요구사항 요약·시험 코드·결함 문서를 대조해 2026-09-28에 추적표와 대표 결함 보고서를 보완했습니다. 아래 ID는 사후 정리용이며 교육기관 원본 ID나 당시 리포트 ID가 아닙니다.

요구사항 → 테스트 → 판정 → 결함

정적 검토 예시

BB-DEF-S01: Ignition의 Off/On/Error 세 상태를 1bit로 정의해 상태 수와 표현 범위가 충돌했습니다. 최소 2bit가 필요합니다. BB-DEF-S04: Brake_Err_sts 설명이 Accel을 지칭해 신호명과 설명이 불일치했습니다. 원본 요구사항 이미지는 교육 자료 보호를 위해 재게시하지 않습니다.

DEMO

실제 CANoe 프로젝트 구성과 자동화 시험, Panel·Trace, 결함 결과 화면입니다.

CANoe Network 구성 CAPL 자동화 테스트 환경 Panel 및 Trace 화면 Black Box Test Environment Batt Percent 15% Test Result