[3장] 정적 테스팅 Static Testing

용어(Keyword)

애드혹 리뷰(ad hoc review), 체크리스트 기반 리뷰(checklist-based review), 동적 테스팅(dynamic testing), 공식 리뷰(formal review), 비공식 리뷰(informal review), 인스펙션(inspection), 관점 기반 읽기(perspective-based reading), 리뷰(review), 역할 기반 리뷰(role-based review), 시나리오 기반 리뷰(scenario-based review), 정적 분석(static analysis), 정적 테스팅(static testing), 기술적 리뷰(technical review), 워크스루(walkthrough)

 

3.1 정적 테스팅 기초 Static Testing Basics

테스트하고 있는 소프트웨어의 실행이 필요한 동적 테스팅과는 달리 정적 테스팅은 작업 산출물을 수동으로 검사(예: 리뷰)하거나 코드나 다른 작업 산출물을 도구를 기반으로 평가(tool-driven evaluation 예: 정적 분석)하는 방법에 의존한다.

3.1.1 정적 테스팅으로 검토할 수 있는 작업 산출물 (Work Products that Can Be Examined by Static Testing)

• 비즈니스 요구사항, 기능 요구사항, 보안 요구사항과 같은 명세
• 에픽(epic), 사용자 스토리, 인수 기준
• 아키텍처 및 설계 명세
• 코드
• 테스트 계획, 테스트 케이스, 테스트 프로시저, 자동화 테스트 스크립트와 같은 테스트웨어
• 사용자 가이드
• 웹 페이지
• 계약, 프로젝트 계획, 일정, 예산 기획
• 형상(configuration) 및 인프파 (infrastructure) 셋업
• 액티비티 다이어그램과 같은 모델 기반 테스팅에 사용되는 모델 (ISTQB-CTFL-MBT, Kramer 2016) 참조

3.1.2 정적 테스팅의 효과 (Benefits of Static Testing)

• 동적 테스트 실행 전에 보다 효율적으로 결함을 발견하고 수정
• 동적 테스팅으로 발견이 쉽지 않은 결함 식별
• 요구사항 불일치, 애매 모호함, 모순, 누락, 부정확, 중복 등을 식별해서 설계나 코딩의 결함 예방
• 개발 생산성 향상 (예: 설계 개선, 향상된 코드 유지보수성)
• 개발 비용 및 기간 단축
• 테스팅 비용 및기 간단축
• 수명주기 후반 또는 출시 후 운영 과정에서 발견되는 장애 감소로 소프트웨어 수명주기 전반에 걸친 총 품질 비용 감소
• 리뷰에 참여하는 팀원 간의 의사소통 개선

3.1.3 정적 테스팅과 동적 테스팅의 차이 (Differences between Static and Dynamic Testing)

동적 테스팅과 비교해 정적 테스팅으로 발견하기 쉽고 비용도 적게 들어가는 일반적인 결함 유형은 다음과 같다:

• 요구사항 결함 (예: 불일치, 모호함, 모순, 누락, 부정확, 중복 등)
• 설계 결함 (예: 비효율적인 알고리즘(algorithm)이나 데이터베이스 구조, 높은 결합도(coupling), 낮은
• 응집도(cohesion)) 등
• 코딩 결함(예:정의되지 않은 값이 있는 변수,선언했으나 사용하지 않는 변수,도달할 수 없는 코드, 중복 코드 등)
• 표준과의 차이(예:코딩표준미준수등)
• 잘못된 인터페이스 명세 (예를 들어, 호출하는 시스템과 호출되는 시스템이 서로 다른 측정 단위 사용)
• 보안 취약점 (예를 들어, 버퍼 오버플로우에 대한 취약성)
• 테스트 베이시스 추적성이나 불충분한 커버리지 또는 부정확성 (예를 들어, 특정 인수 조건에 대한 테스트 누락)

또한 대부분의 유지보수성 결함은 정적 테스팅으로만 발견할 수 있다 (예: 잘못된 모듈화, 낮은 컴포넌트 재사용성, 새로운 결함을 발생시키지 않고는 분석하거나 수정하기 어려운 코드 등).

3.2 리뷰 프로세스 Review Process

3.2.1 작업 산출물 리뷰 프로세스 (Work Product Review Process)

리뷰 프로세스의 주요 활동은 다음과 같다:

• 계획 (Planning)
  • 리뷰 목적, 리뷰할 문서가 전체인지 특정 부분인지, 평가할 품질 특성 등을 포함하는 범위의 정의
  • 노력과 기간 추정
  • 리뷰 유형에 따라 결정되는 역할, 활동, 체크리스트와 같은 리뷰 특성의 식별
  • 리뷰에 참석할 인원을 선정하고 역할 할당
  • 인스펙션과같은 보다 공식적인 리뷰의 경우에는 시작 및 종료 조건 정의
  • (공식적인 리뷰 유형의 경우) 시작 조건이 충족되는지 확인
• 리뷰 착수 (Initiate review)
  • (물리적 또는 전자적 수단에 의한) 작업 산출물과 이슈 기록(issue log) 양식, 체크리스트, 관련된 작업 산출물과 같은 기타 자료 배포
  • 참가자에게 범위, 목적, 프로세스, 역할, 작업 산출물을 설명
  • 참가자가 리뷰에 대해 가질 수 있는 여러 질문에 답변
• 개별 리뷰 (Individual review 또는 개별 준비)
  • 작업 산출물 전체 혹은 부분 리뷰
  • 잠재 결함, 권고사항, 질문 기록
• 이슈 논의 및 분석 (Issue communication and analysis)
  • 식별한 잠재 결함 전달(예:리뷰 회의 중 전달)
  • 잠재 결함 분석 및 담당자 및 상태 할당
  • 품질 특성 평가 및 문서화
  • 종료 조건을 기준으로 리뷰 결과를 평가하여 리뷰 결과 결정 (예: 거부(reject), 주요 수정 필요, 약간의 수정 후 수락 등)
• 수정 및 보고 (Fixing and reporting)
  • 작업 산출물에 대한 수정을 요하는 잠재 결함에 대한 결함 보고서 작성
  • 리뷰한 작업 산출물에서 발견한 결함 수정 (일반적으로 저자가 수정)
  • 결함 정보를 적절한 사람이나 팀과 공유(리뷰한 작업 산출물과 연관된 다른 작업 산출물이 있는 경우)
  • 필요한 경우 주석 작성자(comment originator)의 동의를 포함해 (공식적인 리뷰 유형인 경우) 업데이트 된 결함 상태 기록
  • 메트릭 수집 (공식적인 리뷰 유형인 경우)
  • 종료 조건의 충족여부 확인 (공식적인 리뷰 유형인 경우)
  • 종료 조건이 충족되면 해당 작업 산출물 인수

3.2.2 공식 리뷰에서의 역할과 책임 (Roles and responsibilities in a formal review)

일반적으로 공식 리뷰에는 다음과 같은 역할이 포함된다:

• 저자 (Author)
  • 리뷰 대상 작업 산출물 작성
  • 리뷰 대상 작업 산출물 결함 수정 (필요한 경우)
• 관리자 (Management)
  • 리뷰 계획 담당
  • 리뷰 실행 결정
  • 인력, 예산, 시간 할당
  • 진행 비용 대비 효과 모니터링
  • 결과가 만족스럽지 않은 경우 제어 결정(control decisions) 실행
• 촉진자 (Facilitator, 종종 중재자(moderator)로 부름)
  • 리뷰 회의 진행 시 효과적 회의 진행 보장
  • 필요한 경우 다양한 관점들에 대한 중재
  • 많은 경우 리뷰의 성공 여부에 결정적인 역할을 하는 사람
• 리뷰 리더 (Review leader)
  • 전반적으로 리뷰에 대한 책임을 지는 사람
  • 참여자를 결정하고 언제 어디서 진행할지 결정
• 검토자 (Reviewers)
  • 해당 주제에 대한 전문가, 프로젝트 참여 인원, 작업 산출물에 관심이 있는 이해관계자나 특정 기술 혹은 비즈니스 배경을 가진 사람 등
  • 리뷰 대상 작업 산출물의 잠재적 결함 식별
  • 다양한 관점을 대표할 수 있음 (예: 테스터, 개발자, 사용자, 운영자, 비즈니스 분석가, 사용성 전문가 등)
• 서기 (Scribe, 또는 기록자 (Recorder))
  • 개별 리뷰 활동에서 발견한 잠재 결함 수집
  • 리뷰 회의가 진행되는 경우 새로운 잠재 결함, 쟁점, 결정 사항 기록

리뷰 유형에 따라 한 사람이 두 개 이상의 역할을 수행할 수 있으며, 각 역할과 관련된 활동 역시 리뷰 유형에 따라 달라질 수 있다. 또한, 리뷰 프로세스를 지원하는 도구, 특히, 결함, 쟁점 및 의사 결정의 기록을 지원하는 도구로 인해 서기가 필요하지 않은 경우가 많다.

3.2.3 리뷰 유형 (Review Types)

• 비공식 리뷰 (Informal review) (예: 버디 체크 (buddy check), 페어링 (pairing), 짝 리뷰 (pair review))
  • 주요 목적: 잠재적 결함 발견
  • 기타 목적: 새로운 아이디어나 해결책 도출, 소소한 문제의 빠른 해결
  • 공식 (문서화된) 프로세스를 기반으로 하지 않음
  • 리뷰 회의를 진행하지않을 수 있음
  • 저자의 동료(버디체크) 또는 다른 사람이 수행 할 수 있음
  • 결과는 문서로 기록 할 수 있음
  • 검토자에 따라 성과가 달라짐
  • 체크리스트 사용 여부는 상황에 맞게 판단
  • 애자일 개발에서 매우 일반적으로 사용됨
• 워크쓰루 (Walkthrough)
  • 주요 목적: 결함 발견, 소프트웨어 제품 개선, 다른 구현 방법 고려, 표준이나 규정 준수 평가
  • 기타 목적: 다양한 기술이나 스타일에 대한 아이디어 교환, 참여자 교육, 합의 도출
  • 리뷰 회의 전 개별 준비는 필요에 따라 수행
  • 리뷰 회의는 일반적으로 작업 산출물의 저자가 주도
  • 서기 참여 필수
  • 체크리스트 사용 여부는 상황에 맞게 판단
  • 시나리오, 드라이 런(dry run), 시뮬레이션의 형태로 수행할 수 있음
  • 잠재 결함 로그와 리뷰 보고서 작성
  • 실무에서는 비공식적인 형식에서 매우 공식적인 형식까지 다양할 수 있음
• 기술 리뷰 (Technical review)
  • 주요 목적: 합의 도출, 잠재적 결함 발견
  • 기타 목적: 작업 산출물의 품질 평가 및 자신감 획득, 새로운 아이디어 도출, 저자가 미래의 작업 산출물을 개선하도록 지원하고 동기를 부여, 다른 구현 방법 고려
  • 검토자는 저자의 기술 동료이면서, 동일 분야 또는 다른 분야의 기술 전문가여야 함
  • 리뷰 회의 전 개별 준비 필요
  • 리뷰 회의는 선택 사항이며, 이상적으로는 훈련된 촉진자(일반적으로 저자가 아닌)가 주도
  • 서기는 반드시 있어야 하며, 이상적으로는 저자가 아닌 사람이 수행
  • 체크리스트 사용 여부는 상황에 맞게 판단
  • 잠재 결함 로그와 리뷰 보고서 작성
• 인스펙션 (Inspection)
  • 주요 목적: 잠재적 결함 발견, 작업 산출물의 품질 평가 및 자신감 획득, 저자 학습과 근본 원인 분석을 통한 유사 결함의 발생 예방
  • 기타 목적: 저자가 앞으로의 작업 산출물과 소프트웨어 개발 프로세스를 개선하고 합의를 이끌어 내도록 동기를 부여
  • 규칙 및 체크리스틀 기반으로 공식 문서 산출물을 작성하는 정의된 프로세스를 수행
  • 3.2.2 절에서 필수(mandatory)로 지정한 바와 같이 명확하게 정의된 역할 참여, 낭독자(리뷰 회의 중 작업 산출물을 종종 자신의 말로 의역하고 소리 내어 읽는 사람)의 참여 가능
  • 리뷰 회의 전 개별 준비 필요
  • 검토자는 저자의 동료 또는 작업 산출물과 연관된 분야의 전문가
  • 명시된 시작 및 종료 조건을 사용
  • 서기 참여 필수
  • 리뷰 회의는 훈련받은 촉진자(저자가 아닌 사람)가 주도
  • 저자는 리뷰 리더, 글을 읽는 사람 또는 서기가 될 수 없음
  • 잠재적인 결함 로그 및 리뷰 보고서 작성
  • 인스펙션 프로세스 포함 전체 소프트웨어 개발 프로세스를 개선하기 위해 메트릭을 수집하고 사용

3.2.4 리뷰 기법 적용 (Applying Review Techniques)

개별 리뷰(개별 준비) 활동 중에 결함을 발견하기 위해 사용할 수 있는 리뷰 기법에는 여러 가지가 있다. 이런 기법은 위에서 설명한 모든 리뷰 유형에서 사용할 수 있다.

• 애드혹 (Ad hoc)
  • 애드혹 리뷰에서는 검토자에게 리뷰 수행 방법에 대한 안내가 거의 또는 전혀 제공되지 않는다. 검토자는 대부분의 경우 작업 산출물을 순차적으로 읽으면서 이슈를 식별하고 기록한다.
• 체크리스트 기반 (Checklist based)
  • 체크리스트 기반 리뷰는 체계적인 기법으로, 검토자는 리뷰 시작 시점에 배포된(예를 들어, 촉진자에 의해) 체크리스트를 기반으로 이슈를 식별한다.
  • 리뷰 체크리스트는 잠재 결함을 식별하기 위해 경험에서 도출한 일련의 질문으로 구성된다.
• 시나리오 및 드라이 런 (Scenarios and dry runs)
  • 시나리오 기반 리뷰에서 검토자는 작업 산출물을 어떻게 검토할지에 대한 구조화된 지침을 제공받는다.
  • 시나리오 기반 리뷰는 (작업 산출물이 유스케이스와 같은 적절한 형식으로 문서화된 경우) 작업 산출물의 예상되는 용도를 기반으로 작업 산출물에 대해 “드라이런”을 수행할 수 있도록 검토자를 지원한다.
• 관점 기반 (Perspective-based)
  • 관점 기반 읽기(perspective-based reading)는 역할 기반 리뷰와 마찬가지로 검토자가 개별 리뷰 중 다양한 이해관계자의 관점을 사용하게 된다. 일반적으로 사용되는 이해관계자 관점에는 최종 사용자, 영업, 설계자, 테스터, 운영자 등이 있다.
  • 실증적인 연구에 의하면, 관점 기반 읽기가 요구사항 및 기술 작업 산출물에 대한 리뷰에 가장 효과적인 기법이다.
• 역할 기반 (Role-based)
  • 역할 기반 리뷰는 검토자가 작업 산출물을 개별 이해관계자 역할의 관점에서 평가하는 기법이다.

3.2.5 리뷰의 성공 요소 (Success Factors for Reviews)

• 각 리뷰는 명확한 목적이 있어야 한다. 목적은 리뷰 계획 시 정의하며, 측정 가능한 종료 조건으로 사용된다
• 목적을 달성하기에 적합하고, 소프트웨어 작업 산출물 및 참여자 유형 수준에 맞는 리뷰 유형을 적용해야 한다
• 체크리스트 기반 및 역할 기반 리뷰와 같이 사용하는 모든 리뷰 기법은 리뷰 대상 작업 산출물의 결함을 효과적으로 식별하기에 적합해야 한다
• 사용하는 체크리스트는 주요 리스크 식별을 위해 작성해야 하며, 가장 최신의 정보를 반영해야 한다
• 규모가 큰 문서는 작은 단위로 작성하고 리뷰를 수행해 저자에게 결함에 대한 피드백을 조기에 그리고 빈번하게 제공함으로써 품질 관리를 수행한다
• 리뷰는 기업의 품질 및 테스트 정책에 통합된다